Necesito descargar todos los archivos en una carpeta de dominio, dice https://example.com/folder/subfolder. Los archivos de las subcarpetas no tienen incrementos únicos, lo que significa que los nombres de los archivos son cadenas aleatorias. Quiero descargar todos los archivos de la subcarpeta usando wget o cualquier otro método. Por favor proporcione detalles.
Probé la respuestaaquí. Solo descarga el archivo index.html. Probé otra opción en esa respuesta con la opción --reject, pero no descargo nada.
Respuesta1
Hasta donde yo sé, wgetsolo funciona con enlaces que:
Tener explícitamente un
hrefatributo estándar.Están presentes en un documento HTML determinado (que es algo que genera el servidor, por lo que cadatécnicamenteEs posible que el archivo disponible no siempre aparezca en la lista para
wgetdescargar).
Además, probablemente deberías mirar cualquier fuente de página sin formato (por ejemplo, en tu navegador). Si la página utiliza JavaScript, es posible que no tenga suerte, ya wgetque no procesa JavaScript.
Si un enlace aparece en HTML sin formato, pero sin un hrefatributo estándar, aún puede analizar la página en busca de enlaces, pero no con wget. Probablemente necesitarás escribir tu propio script con algo como Windows PowerShell oPitón(posiblemente conpeticiones) yhermosasopa.
Tenga en cuenta que, en algunos casos excepcionales, si los enlaces se generan en su totalidad mediante JavaScript, es posible que incluso necesiteSeleniopara guardar una página completamente renderizada antes de procesarla para enlaces de archivos. Python tiene unMódulo de selenioy personalmente he tenido buena suerte con las compilaciones independientes "Marmaduke" (archivos zip) deCromo no buscado en Google de Woolysspara la automatización del navegador.