☰

2つのファイルを比較し、列が同じ場合は次の列を何らかの値に置き換えます

tag-icon • tag-icon linux scripting csv
2つのファイルを比較し、列が同じ場合は次の列を何らかの値に置き換えます

別のファイルと比較するときに、ファイル内の列の値を置き換えるにはどうすればよいですか?

ファイルが2つありますテスト1.csvそしてテスト2.csvempdep;列を置き換える必要がありますテスト1.csv値が"サイン*"2番目のファイルテスト2.csvそれを置き換えるのに必要な価値がある"サイン*"。

注:私は使用しておりksh、テスト1.csv約2,048,576行あり、テスト2.csv10000行あります。

テスト1.csv

empname,place,empdep
aaaa,city1,001
bbbb,city2,sign-1
dddd,city1,005
ffff,city5,sign-2
hhhh,city7,sign-1

テスト2.csv

empname,new
aaaa,001
bbbb,002
cccc,003
dddd,005
eeee,006
ffff,007
gggg,008
hhhh,009

期待される結果：

empname,place,empdep
aaaa,city1,001
bbbb,city2,002
dddd,city1,005
ffff,city5,007
hhhh,city7,009

答え1

とawk：

awk '
  BEGIN{ FS=OFS="," } # set input/output field separator to `,`
  NR==FNR{            # if this is the first file `test2.csv`
    a[$1]=$2          # store field2 in array `a` using field1 as index
    next              # continue with next line
  } 
  $3 ~ /^sign/{       # if field3 of `test1.csv` begins with `sign`
    $3=a[$1]          # replace the field with array value (index of field1)
  }
  1                   # print the line
' test2.csv test1.csv

答え2

これは簡単な方法の一つです:

for i in $(cat text1.csv)  
do  
    name=$(echo $i | cut -d',' -f1)   
    empdep=$(echo $i | cut -d',' -f3)  
    newvalue=$(grep $name text2.csv | cut -d',' -f2)    
    if [[ $empdep = sign* ]]    
    then  
        sed -n "s/^$name,\(.*\),.*/$name,\1,$newvalue/pg" text1.csv  
    else  
        echo $i  
    fi  
done

答え3

kshと を使用しますsed。sed解析に使用しますテスト2.csvそして、連想配列 ${new[@]}. 次にループしますテスト1.csv使用してパターン置換必要な出力を印刷するには:

typeset -A new $(sed -n '2,${s/^/new[/;s/,/]=/p}' test2.csv)
while IFS=, read a b c; do echo $a,$b,${c/#sign*/${new[$a]}}; done < test1.csv

出力：

empname,place,empdep
aaaa,city1,001
bbbb,city2,002
dddd,city1,005
ffff,city5,007
hhhh,city7,009

注: この例では、入力ファイルには引用符が付いていません。また、引用符がないとコードは視覚的にシンプルになります。いずれかの入力ファイルにスペースが含まれている場合(または含まれている可能性がある場合)、上記の変数はしなければならない引用される。

答え4

csv-merge -N t1 -p test1.csv -N t2 -p test2.csv | 
csv-sqlite -T 'select t1.empname, t1.place, case when t1.empdep like "sign%" then t2.new else t1.empdep end as empdep
from t1 left join t2 on t1.empname = t2.empname'

csv-mergeとcsv-sqliteはhttps://github.com/mslusarz/csv-nix-tools

関連情報