タイムスタンプ列に基づいて日付と時間の列を統合して追加します

Question 1

使用方法awk:

awk 'BEGIN{ OFS=FS="," }
  NR==1{ print "Date", "Hour"; next }
  {
    $0=substr($1, 1, 10) FS substr($1, 12, 2)
    if ($0 == prev) next  # skip to next record if record equals prev
    prev=$0               # remember record
  }
  1                       # print record
' file

したがって、日付文字列は最初のフィールドの位置 1 から始まる最初の 10 文字で構成され、時間は位置 12 から始まる 2 文字から抽出されます。

両方の値とフィールド区切り記号 ( FS) がレコード ( $0) に割り当てられ、以前に記憶されたレコードと異なる場合に印刷されます。

Answer

使用方法awk:

awk 'BEGIN{ OFS=FS="," }
  NR==1{ print "Date", "Hour"; next }
  {
    $0=substr($1, 1, 10) FS substr($1, 12, 2)
    if ($0 == prev) next  # skip to next record if record equals prev
    prev=$0               # remember record
  }
  1                       # print record
' file

したがって、日付文字列は最初のフィールドの位置 1 から始まる最初の 10 文字で構成され、時間は位置 12 から始まる 2 文字から抽出されます。

両方の値とフィールド区切り記号 ( FS) がレコード ( $0) に割り当てられ、以前に記憶されたレコードと異なる場合に印刷されます。

Question 2

sortuniq質問に示されている出力例を提供できます。

$ sed -e 's/Timestamp.*/Date,Hour/; s/ \(..\):.*/,\1/' file.csv  | uniq
Date,Hour
2018 07 16,13
2018 07 16,14
2018 07 16,15
2018 07 16,17
2018 07 16,18
2018 07 17,10
2018 07 18,13
2018 07 19,13

ただし、これらの 2 つの新しいフィールドを現在の入力行に追加したいともおっしゃっています。これはあまり意味がありません。そうすると、日付と時間が各行に重複して入力されることになるからです (これらはすでにタイムスタンプフィールドの各行の先頭にあります)。

以下はまさにあなたが求めていたものではありませんが、私見では改善されています。

各行の末尾に日付と時間を追加する代わりに、sed既存のタイムスタンプフィールドを日付と時間のフィールドに変換するだけです。次に、uniq重複する行を削除するために使用されます。

$ sed -e 's/Timestamp/Date,Hour/; s/ \(..\):[^,]*,/,\1,/' file.csv  | uniq
Date,Hour,data1,data2
2018 07 16,13,23,45
2018 07 16,14,23,45
2018 07 16,15,23,45
2018 07 16,17,23,45
2018 07 16,18,23,45
2018 07 17,10,23,45
2018 07 18,13,23,45
2018 07 19,13,23,45

これは、入力ファイルがすでにタイムスタンプ順になっていることを前提としています。

data1注意:またはの値がdata2変化する可能性がある場合、出力行は一意にならず、行が印刷されます。これは、uniq行全体を前の行と比較するためです (uniqはフィールドをスキップするように設定できますが、フィールド区切りとして空白のみを認識し、カンマを使用するように設定したり、最初の 2 つのフィールドのみを使用するように設定したりすることはできません)。それが必要な場合は、そのまま動作します。

awkそれ以外の場合は、の代わりにまたはperlなどを使用して一意性をチェックする必要がありますuniq。たとえば、次の例では、のawk最初の 2 つのコンマ区切りフィールド (つまり、日付と時間) のみを比較します。

$ sed -e 's/Timestamp/Date,Hour/; s/ \(..\):[^,]*,/,\1,/' file.csv  |
    awk -F, 'prev != $1$2 {print; prev=$1$2}'

sedしかし、の出力をにパイプする場合はawk、を単独で使用してもかまいませんawk。awk はが実行できることはすべて実行できるからですsed。それが awk のsub()、gsub()、gensub()関数の目的です。例:

$ awk -F, -v OFS=, '{ sub(/Timestamp/,"Date,Hour");
                       $1 = gensub(/ ([0-9]+):.*/,",\\1",1,$1)
                    };
                    prev != $1$2 {print; prev=$1$2}' file.csv

または以下と組み合わせるperl:

$ perl -lne 's/Timestamp/Date,Hour/;
             s/ (\d\d):.*?,/,$1,/;
             ($current) = (m/^[^,]+,\d\d|^Date),/);
             if ($prev ne $current) {print ; $prev = $current}' file.csv

Answer