☰

Как постоянно менять IP-адрес, чтобы сайт не занес вас в черный список для сканирования?

tag-icon • tag-icon bash ip
Как постоянно менять IP-адрес, чтобы сайт не занес вас в черный список для сканирования?

Я пытаюсь сканировать сайт с текстами песен и написал довольно хороший скрипт (хотя работает медленно, так как это мой первый опыт)

#!/bin/bash

touch visited
touch tobe

>visited
>tobe

url=$(echo http://www.azlyrics.com/)
UA=$(echo "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.75.14 (KHTML, like Gecko) Version/7.0.3 Safari/7046A194A")

wget -q $url --user-agent=$(echo UA) -O index.html
cat index.html | grep \"http.*.html\" -o | cut -f2 -d\" >> temp_tobe

for i in `cat temp_tobe`;
do
    basename $(echo $i) >> tobe
done

rm temp_tobe

while true;
do
for i in `cat tobe`;
do
    echo getting $url -> $i
    wget -q $url$i --user-agent=$(echo UA)
    echo $i >> visited

    #PUT THE NEW LINK TO TOBE
    cat $(basename $(echo $url$i)) | grep \".*.html\" -o | cut -f2 -d\" >> tobe

    #SORT VISITED
    cat visited | sort | uniq > tmp && mv tmp visited

    #SORT TOBE
    cat tobe | sort | uniq > tmp && mv tmp tobe

    #REMOVE THE INTERSECTION FROM TOBE
    comm -23 tobe visited > tmp && mv tmp tobe

done
done

Но я думаю, что меня занесли в черный список, чтобы сделать это, так как я не могу получить доступ к этому сайту даже из браузера. Я запускаю свой VPN, но все еще не могу получить доступ к сайту (ЭТО БЕЗУМИЕ!!!) The connection was resetкаждый раз говорю

Я слышал о методе, при котором вы постоянно меняете свой IP-адрес (прикрываясь адресами других пользователей в сети).

Можете ли вы просветить меня, как этого добиться (предпочтительно ЭТИМ) ИЛИ любым другим способом получить доступ к веб-сайту?

При необходимости обратитесь за разъяснениями.

решение1

Я могу предложить один способ сделать это, может быть, он не самый лучший, но он сделает свою работу. Используйте инструмент для torвызываемого torifyили torsocksв вашем скрипте перед wget:

torify wget -q $url --user-agent=$(echo UA) -O index.html

эта команда позволит запросу пройти через сервер Tor, но, прежде всего, вам нужно загрузить torсервер, а затем запустить его, после этого вы можете делать с ним все, что захотите torify:

Чтобы установить его, например, на CentOS или Ubuntu:

yum install tor
apt-get install tor

по умолчанию torifyбудет установлен.

Связанный контент