ich habe bereits eine Antwort auf eine Frage zum Web Scraping mit wget erhalten. Aber je mehr ich lese, desto mehr wird mir klar, dass ich vielleicht nach einem Programm zum Web-Crawling suche. Insbesondere der Teil darüber, dass Web-Crawler bestimmte Daten wie Links oder, in meinem Fall, Produkte abrufen können.
Alle Produkte auf meiner Site haben die folgende Namenskonvention: website.com/uniqueAlphaNumericID.html.
Soweit ich weiß, wird keine dynamische Inhaltsgenerierung verwendet und nur eine Seite pro Element im obigen Format.
Sollte ich einfach an Folgendes denken:
wget website.com | grep *.html
oder sollte ich mich nach Spidern/Crawlern umsehen?