☰

配列内のデータをより効率的に抽出するにはどうすればよいでしょうか?

tag-icon • tag-icon bash shell-script text-processing array
配列内のデータをより効率的に抽出するにはどうすればよいでしょうか?

以下のようなデータを持つテキスト ファイルがいくつかあるディレクトリがあります。ループでそれらを読み取り、各行を配列に格納します。正しい方法がわかりません。もっと良い方法をご存知でしたら、教えてください。

Attack On Titan S03E20 720p WEB x264-URANiME[eztv] 6/17/2019 394 MB 114 37
Attack On Titan S003E020 WEB x264-URANiME Yesterday 172 MB 76 3
Attack On Titan S03E18 1080p WEB x264-URANiME 6/5/2019 1 GB 46 3
Attack On Titan S003E017 720p WEB x264-URANiME[eztv] 5/27/2019 555 MB 41 10
Attack On Titan s02E20 WEB x264-URANiME[eztv] 6/17/2019 171 MB 40 7
Attack On Titan S03e18 WEB x264-URANiME 6/3/2019 200 MB 23 3
Attack On Titan S03E16 720p WEB x264-URANiME[eztv] 5/20/2019 522 MB 23 3
Attack On Titan s03e19 WEB x264-URANiME Today 196 MB 20 0
Attack On Titan S03E14 720p WEB x264-URANiME[eztv] 5/6/2019 545 MB 19 2

各行の要素は、トレント名、追加された時間、サイズ (MB/GB 拡張子付き)、シード、リーチとしてタブで区切られます。

たとえば、最初の行のサンプル データの場合、要素は次のようになります。

torrent name: Attack On Titan S03E20 720p WEB x264-URANiME[eztv]
season number: 3
episode number: 20
added time: 6/17/2019
size: 394 MB
seed: 114
leech: 37

注: サイズ番号はさまざまです (MB の場合もあれば GB の場合もあります)。すべてを MB にする必要がありますが、どうすればよいですか?

そこで、ループを使用して配列の各行を読み取り、次のステップに必要な各部分を抽出しました。

for array_list in "${TORRENT_FILE_ARRAY[@]}"
do
    TORRENT_NAME=`echo "$array_list" | awk '{print $1}' FS="\t"`
    SEASON_NUMBER=`echo "$array_list" | awk '{print $1}' FS="\t" | awk '{print $4}' FS=" " | awk 'BEGIN {IGNORECASE = 1} {print $1}' FS="E" | sed "s/[Ss]//g" | sed 's/^0*//'`
    EPISODE_NUMBER=`echo "$array_list" | awk '{print $1}' FS="\t" | awk '{print $4}' FS=" " | awk 'BEGIN {IGNORECASE = 1} {print $2}' FS="E" | sed "s/[Ee]//g" | sed 's/^0*//' `
    FILE_SIZE=`echo "$array_list" | awk '{print $3}' FS="\t"`
    LEECH_NUMBER=`echo "$array_list" | awk '{print $4}' FS="\t"`
    SEED_NUBMBER=`echo "$array_list" | awk '{print $5}' FS="\t"`
    # echo $TORRENT_NAME
    # echo $FILE_SIZE
    # echo $LEECH_NUMBER
    # echo $SEED_NUBMBER
    # echo "SEASON_NUMBER:" $SEASON_NUMBER 
    # echo "EPISODE_NUMBER:" $EPISODE_NUMBER
done

各変数を読み取った後、それを前述の各要素の配列に追加します。つまり、次のようなものになります。

TORRENT_NAME[$x]=$extracted_TORRENT_NAME
FILE_SIZE[$x]=$extracted_FILE_SIZE
LEECH_NUMBER[$x]=$extracted_LEECH_NUMBER
SEED_NUBMBER[$x]=$extracted_SEED_NUBMBER 
SEASON_NUMBER[$x]=$extracted_SEASON_NUMBER
EPISODE_NUMBER[$x]=$extracted_EPISODE_NUMBER

これらの配列をループで埋めたいのですが、データを正しく取得する方法や、より効率的に取得するためにどのツールを使用すればよいかがわかりません。

また、すべてがスクリプト内にあり、スクリプト ファイル以外のファイルを作成したり、ソース ファイルを変更したりすることは許可されていません。

答え1

申し訳ありませんが、質問の残りの部分は理解できませんが、入力から本当に必要なフィールドを分離する方法は次のとおりです。

$ cat file
Attack On Titan S03E20  720p WEB x264-URANiME[eztv]     6/17/2019       394 MB  114     37

$ cat tst.awk
BEGIN { FS=OFS="\t" }
{
    name = $1
    sub(/ [^ ]+$/,"",name)
    sub(/.* [Ss]/,"",$1)
    sub(/[Ee]/,OFS,$1)
    $2 = $1
    $1 = name
    print
}

$ awk -f tst.awk file
Attack On Titan 03      20      6/17/2019       394 MB  114     37

可視性を高めるために、入力/出力でタブをカンマに置き換えます。

$ tr $'\t' ',' < file
Attack On Titan S03E20,720p WEB x264-URANiME[eztv],6/17/2019,394 MB,114,37

$ awk -f tst.awk file | tr $'\t' ','
Attack On Titan,03,20,6/17/2019,394 MB,114,37

awk スクリプトの出力をシェル ループにパイプして、入力行ごとに awk を複数回呼び出すのではなく、開始時に awk を 1 回呼び出すようにします。

awk -f tst.awk file |
while IFS=$'\t' read -r torrent_name season_name episode_number file_size leech_number seed_number; do
    whatever you need to do with creating directories and files
done

何をしようとしているにせよ、シェル ループが適切であると想定していますが、よくわかりません。

関連情報