Есть ли способ получить исходный код каждой веб-страницы на сайте и сохранить их в одном текстовом файле? С соответствующими символами CRFL, как если бы страницы были получены по отдельности в Internet Explorer? Я пробовал Wget, но, похоже, не могу найти правильную комбинацию опций.
решение1
Если веб-сервер настроен правильно, нет, это невозможно. Это потому, что если бы вы могли загрузить исходный код веб-сайтов, вы бы смогли получить ценные данные, такие как данные аутентификации базы данных веб-сайта.
Однако вы можете загрузитьвизуализированный HTMLвеб-страницы, как она отображается в вашем интернет-браузере, с wget:
wget -E -H -k -K -p URLHERE
Однако некоторые веб-серверы могут воспринимать вас wgetкак робота (программу, которая собирает и сохраняет данные с веб-страниц), в этом случае вы можете использовать переключатели -e robots=offв своей wgetкоманде.