☰

awk mesclando linhas por sequência de vários arquivos em um arquivo

tag-icon • tag-icon sed awk cat paste
awk mesclando linhas por sequência de vários arquivos em um arquivo

Tenho muitos arquivos e preciso mesclar strings entre eles em grupos de três arquivos. Cada arquivo tem entre 100 e 500 linhas e o arquivo resultante tem entre 100 e 200 MB.

O gerador de palavras-chave ppc faz a mesma coisa, mas é muito lento; depois de 1 milhão de palavras-chave, leva de 2 a 3 horas para gerar 1 arquivo de resultado.

f1

Acapella Audio Arts
Acoustic Smart

f2

australian
Australia
America

f3

Round Grille
Square Grille
grille
defence grille

resultado

Acapella Audio Arts australian Round Grille
Acapella Audio Arts australian Square Grille
Acapella Audio Arts australian grille
Acapella Audio Arts australian defence grille
Acapella Audio Arts Australia Round Grille
Acapella Audio Arts Australia Square Grille
Acapella Audio Arts Australia grille
Acapella Audio Arts Australia defence grille
Acapella Audio Arts America Round Grille
Acapella Audio Arts America Square Grille
Acapella Audio Arts America grille
Acapella Audio Arts America defence grille
Acoustic Smart australian Round Grille
Acoustic Smart australian Square Grille
Acoustic Smart australianе grille
Acoustic Smart australian defence grille
Acoustic Smart Australia Round Grille
Acoustic Smart Australia Square Grille
Acoustic Smart Australia grille
Acoustic Smart Australia defence grille
Acoustic Smart America Round Grille
Acoustic Smart America Square Grille
Acoustic Smart America grille
Acoustic Smart America defence grille 
etc.....

Responder1

Apenas com bash:

while IFS= read -u3 -r product; do
    while IFS= read -u4 -r region; do
        while IFS= read -u5 -r option; do
            echo "$product $region $option"
        done 5<f3
    done 4<f2
done 3<f1

Esta versão terá menos E/S de arquivo (leia cada arquivo apenas uma vez), então pode ser mais rápida

mapfile -t products < f1
mapfile -t regions  < f2
mapfile -t options  < f3
for product in "${products[@]}"; do 
    for region in "${regions[@]}"; do
        for option in "${options[@]}"; do
            echo "$product $region $option"
        done
    done
done

informação relacionada