%20con%20OSX%3F.png)
Estoy intentando "obtener" datos de un sitio web.
¿Hay alguna manera de simplemente apuntar un programa a una URL y captura todo en ese dominio? ¿Cómo debo hacer esto en OSX 10.5? Si realmente es necesario, puedo usar Ubuntu o Windows Box como último recurso.
Respuesta1
Puedes usar el wgetcomando que esdisponible para descargar para Mac OS Xincluido con la mayoría de las distribuciones de Linux para descargar el contenido completo de un sitio web, imágenes, CSS, JavaScript, videos, archivos Flash y todo.
Una vez que lo tengas, abre una terminal. Probablemente quieras llamarlo así:
wget -r -l0 -k http://www.example.com/
eso se descargarátododesde http://www.example.com/accesible mediante enlaces. La -ropción activa la descarga recursiva, por lo que descarga algo más que la página de inicio. La -lopción establece en cuántas páginas de profundidad buscará enlaces y descargará, configurando 0como lo hice yo lo configurará para llegar lo más lejos posible. Tenga en cuenta que si el sitio web utiliza generación dinámica de páginas, se podrían descargar muchas, ya que podría haber muchas URL que apunten al mismo contenido o a uno muy similar. El -kcomando es opcional y convertirá wgettodos los enlaces, etiquetas de imágenes, etc. a la ubicación correcta en su máquina local para que pueda verlos con un navegador web en su computadora y funcionará correctamente.
Tenga en cuenta que sólo descargará archivos dewww.ejemplo.com, ningún otro dominio. Si necesita que vaya a otros dominios, use el -Hinterruptor para activarlo y luego use el -Dinterruptor de opción para definir los otros dominios desde los cuales descargar (por ejemplo -D comments.example.com,beta.example.com). Tenga cuidado, si deja el -Dinterruptor apagado y lo configura -len 0/infinite, ¡podría intentar descargar toda la World Wide Web!
Otro cambio que podría ser útil es el -Ncambio, que establecerá la marca de tiempo en el archivo local a la hora proporcionada por el Last-Modifiedencabezado HTTP en el servidor, y no descargará archivos que no hayan sido modificados en descargas posteriores.
Para más información consultarla wgetdocumentación.