重複をさらに探す

Question 1

次の awk スクリプトを考えてみましょうduplicates.awk。

#!/usr/bin/awk -f
BEGIN {
    RS = "(\r\n|\n\r|\r|\n)"
    FS = "[\t\v\f ]*;[\t\v\f ]*"
    split("", count)
}

{
    count[$3]++
}

END {
    for (item in count) {
        if (count[item] > 1)
            printf "%s\n", item
    }
}

たとえばを使用して、実行可能にすることを忘れないでくださいchmod a+rx duplicates.awk。入力をコマンドにパイプするか、コマンドラインパラメータとして 1 つ以上の入力ファイルを指定することができます (複数のファイルは 1 つのファイルに連結されているかのように扱われます)。

BEGIN ルールは、ユニバーサル改行 (つまり、MS-DOS から古い Mac、Unix までのすべての改行規則を受け入れます) と、;フィールド区切り文字としてのセミコロンを設定します。説明のために、フィールド区切り文字が周囲の空白も消費するようにしたので、、、の3x;foo bar ; yつのフィールドに解析されます。xfoo bary

レコードルール (スニペットの中央部分) は、入力内のすべてのレコード (行) に適用されます。awk は連想配列をサポートしているため、3 番目のフィールド (文字列) をcount配列のキーとして使用し、そのエントリを 1 ずつ増やします。(awk で存在しない配列エントリを増やすと 1 になるため、最初の増分は 1 になり、コードは期待どおりに動作します。)

END ルールはcount配列をスキャンし、少なくとも 2 回出現したエントリを出力します。この出力はランダムな順序であることに注意してください。(出現回数に応じて出力をソートする方法や、ファイル内の元の順序 (最初の出現) を維持する方法もありますが、OP は順序に関する要件について何も言及していないため、気にしませんでした。定義されていない順序は実装が最も簡単です。)

たとえば、出現回数の後に文字列 (3 列目の値) を印刷する場合は、代わりに次の END ルールを使用します。

END {
    for (item in count)
        printf "%15d %s\n", count[item], item
}

出力は、出力の最初の 15 文字が数値用に予約され、値が 17 番目の文字から始まるようにフォーマットされます。

Answer

次の awk スクリプトを考えてみましょうduplicates.awk。

#!/usr/bin/awk -f
BEGIN {
    RS = "(\r\n|\n\r|\r|\n)"
    FS = "[\t\v\f ]*;[\t\v\f ]*"
    split("", count)
}

{
    count[$3]++
}

END {
    for (item in count) {
        if (count[item] > 1)
            printf "%s\n", item
    }
}