Notepad++ で複数の重複行をスペースに置き換える

Question

次のようなテキスト ファイルがあります。

eeeeeeee6fd6e6e7000000800010884f image_0001.png                                                   
eeeeeeee6fd6e6e7000000800010884f image_0002.png                                                   
e6eee7afef77c6c7000000808860003b image_0003.png                                                   
e6eeefa7cfe777170100000008886033 image_0004.png                                                   
e6eeefa7cfe777170100000008886033 image_0005.png                                                   
eeeecfe7afcfe7770100000030088c27 image_0006.png                                                   
efebefe7a7cfc7e70101080000300c03 image_0007.png                                                   
ef6befdf674f97c7000000900200301f image_0008.png                                                   
ef6befdf674f97c7000000900200301f image_0009.png                                                   
6d6d6faff767479700004008810000e1 image_0010.png                                                   
ed6d6dada5f767570000400098830401 image_0011.png                                                   
ed6d6dada5f767570000400098830401 image_0012.png                                                   
efed6d4da595f7a70202004000181303 image_0013.png                                                   
ebececcc2f2797f10000008051043c5b image_0014.png                                                   
e9edecce4e6e26ba120101808058042a image_0015.png                                                   
e9edecce4e6e26ba120101808058042a image_0016.png                                                   
ececeeefcf6f67a61000000080585887 image_0017.png                                                   
cc6ceeefcf4f67e710000020000149d8 image_0018.png                                                   
cc6cefefefcf6fe71000000040000001 image_0019.png                                                   
cc6cefefefcf6fe71000000040000001 image_0020.png                                                   
8ceceeefefcfcfe700000000c0000009 image_0021.png 

そして、Notepad++ を使用して、重複する文字列 (左側のハッシュ値) を 1 つ残してすべて削除し、行のその部分を空白のままにして、右側のファイル名を保持したいと思います。次のようにします。

eeeeeeee6fd6e6e7000000800010884f image_0001.png                                                   
                                 image_0002.png                                                   
e6eee7afef77c6c7000000808860003b image_0003.png                                                   
e6eeefa7cfe777170100000008886033 image_0004.png                                                   
                                 image_0005.png                                                   
eeeecfe7afcfe7770100000030088c27 image_0006.png                                                   
efebefe7a7cfc7e70101080000300c03 image_0007.png                                                   
ef6befdf674f97c7000000900200301f image_0008.png                                                   
                                 image_0009.png                                                   
6d6d6faff767479700004008810000e1 image_0010.png                                                   
ed6d6dada5f767570000400098830401 image_0011.png                                                   
                                 image_0012.png 
...etc.

もちろん、置換する必要のある文字列はたくさんあるので、思ったほど簡単ではありません（特に、そのような行が何千もある場合）。これを実現する正規表現または他の方法はありますか？ ありがとうございます

Answer 1

Python でこれを行う方法はたくさんあります。1 つの方法を以下に示します。

# Note: Your output file must be different to your input file!
# Use absolute filepaths unless the files are in the current working directory.
input_filepath = r"C:\Users\Admin\Desktop\file hashes.txt"
output_filepath = r"C:\Users\Admin\Desktop\file hashes (processed).txt"

hashes = set() # This set keeps track of known file hashes
with open(input_filepath) as fin:
    with open(output_filepath, "w") as fout:
        # After opening both the input and output files,
        # loop over every line in the input file.
        for line in fin:
            # Get the hash, which is between the start of the line and the first space.
            file_hash = line[:line.find(" ")] 
            # Check if it is in the set of known hashes.
            # If it is, write the current line without the hash to the output file.
            # If it isn't, write the current line with the hash to the output file,
            # and add the hash to our set of known hashes
            if file_hash in hashes:
                hash_len = len(file_hash)
                fout.write(" " * hash_len + line[hash_len:])
            else:
                fout.write(line)
                hashes.add(file_hash)

file hashes (processed).txt次のようになります:

eeeeeeee6fd6e6e7000000800010884f image_0001.png                                                   
                                 image_0002.png                                                   
e6eee7afef77c6c7000000808860003b image_0003.png                                                   
e6eeefa7cfe777170100000008886033 image_0004.png                                                   
                                 image_0005.png                                                   
eeeecfe7afcfe7770100000030088c27 image_0006.png                                                   
efebefe7a7cfc7e70101080000300c03 image_0007.png                                                   
ef6befdf674f97c7000000900200301f image_0008.png                                                   
                                 image_0009.png                                                   
6d6d6faff767479700004008810000e1 image_0010.png                                                   
ed6d6dada5f767570000400098830401 image_0011.png                                                   
                                 image_0012.png                                                   
efed6d4da595f7a70202004000181303 image_0013.png                                                   
ebececcc2f2797f10000008051043c5b image_0014.png                                                   
e9edecce4e6e26ba120101808058042a image_0015.png                                                   
                                 image_0016.png                                                   
ececeeefcf6f67a61000000080585887 image_0017.png                                                   
cc6ceeefcf4f67e710000020000149d8 image_0018.png                                                   
cc6cefefefcf6fe71000000040000001 image_0019.png                                                   
                                 image_0020.png                                                   
8ceceeefefcfcfe700000000c0000009 image_0021.png 

お使いのシステムで Python がどのように設定されているかはわかりませんが、上記のコードを のような名前のファイルにコピーしremove_duplicate_hashes.py、それをダブルクリックするか、コマンド プロンプトに入力して実行することで、実行できるはずですpython remove_duplicate_hashes.py。