Я использую следующую команду для зеркалирования сайта:
wget -r -p -E -N -l 10 -k -nH -H -Dfoo.com,www.foo.com foo.com
Проблема, с которой я столкнулся, заключается в том, что где-то на foo.com есть ссылки на домены, заканчивающиеся на foo.com (например, newfoo.com), и wget также зеркалирует этот сайт. Возможно ли ограничить домены точным совпадением? Я не хочу сканировать никакие поддомены, кроме www.
решение1
К сожалению, wget выполняет мягкое сопоставление принятых доменов при сканировании сайта. Например, все следующие домены будут соответствовать foo.com:
- barfoo.com
- bar.foo.com
- что угодно.можно.перейти.foo.com
Я на самом деле создалпластырьдля wget 1.15, чтобы добавить опцию для включения этого строгого поведения соответствия. Используя этот патч, весь домен должен точно соответствовать. Это не влияет на другие списки доменов, такие как исключенные домены и т. д.