☰

ウェブサイトのクロールでブラックリストに登録されないように、IP を定期的に変更するにはどうすればよいですか?

tag-icon • tag-icon bash ip
ウェブサイトのクロールでブラックリストに登録されないように、IP を定期的に変更するにはどうすればよいですか?

私は歌詞のウェブサイトをクロールしようとしており、かなり良いスクリプトを作成しました（初めてなので実行速度は遅いですが）

#!/bin/bash

touch visited
touch tobe

>visited
>tobe

url=$(echo http://www.azlyrics.com/)
UA=$(echo "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.75.14 (KHTML, like Gecko) Version/7.0.3 Safari/7046A194A")

wget -q $url --user-agent=$(echo UA) -O index.html
cat index.html | grep \"http.*.html\" -o | cut -f2 -d\" >> temp_tobe

for i in `cat temp_tobe`;
do
    basename $(echo $i) >> tobe
done

rm temp_tobe

while true;
do
for i in `cat tobe`;
do
    echo getting $url -> $i
    wget -q $url$i --user-agent=$(echo UA)
    echo $i >> visited

    #PUT THE NEW LINK TO TOBE
    cat $(basename $(echo $url$i)) | grep \".*.html\" -o | cut -f2 -d\" >> tobe

    #SORT VISITED
    cat visited | sort | uniq > tmp && mv tmp visited

    #SORT TOBE
    cat tobe | sort | uniq > tmp && mv tmp tobe

    #REMOVE THE INTERSECTION FROM TOBE
    comm -23 tobe visited > tmp && mv tmp tobe

done
done

しかし、ブラウザからでもそのサイトにアクセスできないので、これを行うにはブラックリストに登録されていると思います。VPNを起動しましたが、それでもサイトにアクセスできません（これはおかしいです!!!）The connection was reset毎回

IPを頻繁に変更する（オンライン上の他のユーザーの後ろに便乗する）というテクニックを聞いたことがあります。

これを実現する方法（できればこれ）またはウェブサイトにアクセスするための他の方法を教えてください。

必要に応じてご説明ください

答え1

それを実行するための 1 つの方法を提案できます。おそらく最善ではないかもしれませんが、目的は達成できます。tor呼び出されたツールtorifyまたはtorsocksスクリプト内で の前にを使用しますwget。

torify wget -q $url --user-agent=$(echo UA) -O index.html

このコマンドはリクエストを Tor サーバーに送りますが、まずtorサーバーをダウンロードして起動する必要があります。その後は自由に操作できますtorify。

CentOS や Ubunutu などにインストールするには:

yum install tor
apt-get install tor

デフォルトでtorifyインストールされます。

関連情報