awk 여러 파일의 행을 순서대로 하나의 파일로 병합

awk 여러 파일의 행을 순서대로 하나의 파일로 병합

파일이 너무 많아서 파일 세 개로 구성된 그룹별로 문자열을 병합해야 합니다. 각 파일에는 ~100-500개의 행이 있으며 결과 파일은 ~100-200Mb입니다.

ppc 키워드 생성기는 동일한 작업을 수행하지만 매우 느립니다. 키워드 100만 개 이후에는 결과 파일 1개당 2~3시간이 소요됩니다.

f1

Acapella Audio Arts
Acoustic Smart

f2

australian
Australia
America

f3

Round Grille
Square Grille
grille
defence grille

결과

Acapella Audio Arts australian Round Grille
Acapella Audio Arts australian Square Grille
Acapella Audio Arts australian grille
Acapella Audio Arts australian defence grille
Acapella Audio Arts Australia Round Grille
Acapella Audio Arts Australia Square Grille
Acapella Audio Arts Australia grille
Acapella Audio Arts Australia defence grille
Acapella Audio Arts America Round Grille
Acapella Audio Arts America Square Grille
Acapella Audio Arts America grille
Acapella Audio Arts America defence grille
Acoustic Smart australian Round Grille
Acoustic Smart australian Square Grille
Acoustic Smart australianе grille
Acoustic Smart australian defence grille
Acoustic Smart Australia Round Grille
Acoustic Smart Australia Square Grille
Acoustic Smart Australia grille
Acoustic Smart Australia defence grille
Acoustic Smart America Round Grille
Acoustic Smart America Square Grille
Acoustic Smart America grille
Acoustic Smart America defence grille 
etc.....

답변1

bash를 사용하면 다음과 같습니다.

while IFS= read -u3 -r product; do
    while IFS= read -u4 -r region; do
        while IFS= read -u5 -r option; do
            echo "$product $region $option"
        done 5<f3
    done 4<f2
done 3<f1

이 버전은 파일 I/O가 적으므로(각 파일을 한 번만 읽음) 속도가 더 빠를 수 있습니다.

mapfile -t products < f1
mapfile -t regions  < f2
mapfile -t options  < f3
for product in "${products[@]}"; do 
    for region in "${regions[@]}"; do
        for option in "${options[@]}"; do
            echo "$product $region $option"
        done
    done
done

관련 정보