Dominar Wget y aprender algunos trucos descargados

A veces no es suficiente guardar un sitio web localmente desde su navegador. A veces necesitas un poco más de poder. Para esto, hay una pequeña herramienta de línea de comandos conocida como Wget. Wget es un programa simple que puede descargar archivos de Internet. Puede o no saber mucho acerca de Wget, pero después de leer este artículo, estará preparado para usarlo para todo tipo de trucos..

Wget está disponible para usarlo de forma nativa en UNIX y en la línea de comandos de Windows, pero es posible instalar wget en Mac OS X Cómo obtener Wget para tu Mac Cómo obtener Wget para tu Mac Los Mac son excelentes, con su interfaz de usuario clara y un Unix. -fin. A veces tienes la sensación de que puedes hacer casi cualquier cosa con ellos. Hasta que un día intentas hacer algo simple y ... Leer más con un poco de persuasión. Entonces, una vez que sepa el tipo de cosas para las que puede usar Wget, es portátil para cualquier sistema operativo que esté usando, y eso es útil. Lo que es aún mejor es que wget se puede usar en archivos por lotes y trabajos cron. Aquí es donde empezamos a ver el verdadero poder detrás de wget..

Wget básico

El uso básico es URL de wget.

 wget http://makeuseof.com/

Las opciones más simples que la mayoría de las personas necesitan saber son los antecedentes (wget -b), continuar la descarga parcial (wget -c), número de intentos (wget -tries = NÚMERO) y por supuesto ayuda (wget -h) para recordar todas las opciones.

wget -b -c --tries = NÚMERO URL

Opciones de Wget moderadamente avanzadas

Wget también puede ejecutarse en segundo plano (wget -b), limitar la velocidad de la descarga (wget -limit-rate = VELOCIDAD), ningún padre para asegurarse de que solo descarga un subdirectorio (wget -np), actualizar solo archivos modificados (wget -N), reflejar un sitio (wget -m), asegúrese de que no se crean nuevos directorios (wget-y), acepta solo ciertas extensiones (wget -accept = LISTA) y establecer un tiempo de espera (wget -wait = SEGUNDOS).

wget -b --limit-rate = SPEED -np -N -m -nd --accept = LIST --wait = URL DE SEGUNDOS

Descargar Con Wget Recursivamente

Puede descargar recursivamente (wget -r), se extienden los hosts a otros dominios (wget -H), convierte los enlaces a versiones locales (wget -convert-links) y establecer el nivel de recursiones (wget -level = NUMBER usando inf o 0 para infinito).

Pero algunos sitios no quieren permitirle descargar de forma recursiva y comprobarán qué navegador está utilizando para intentar bloquear el bot. Para solucionar esto, declare un agente de usuario como Mozilla (wget -user-agent = AGENTE).

wget -r -H --convert-links --level = NUMBER --user-agent = URL del AGENTE

Contraseña protegida Wget

Es posible declarar el nombre de usuario y la contraseña para una URL en particular mientras se usa wget (wget -http-user = USUARIO -http-password = PASAR). Esto no se recomienda en máquinas compartidas, ya que cualquier persona que vea los procesos podrá ver la contraseña en texto sin formato.

wget --http-user = USUARIO --http-password = PASS URL

Un ejemplo de esto en acción es utilizar wget para hacer una copia de seguridad de sus tareas de Remember The Milk. Mejores consejos de respaldo para su Recordar. Tareas de la leche. Mejores consejos de respaldo para su Recordar. Confiar en nuestros servicios favoritos en gran medida. También a veces los amamos y confiamos en ellos, quizás un poco más de lo que deberíamos a veces,… Leer más .

Descargar Wget Bulk

Primero, cree un archivo de texto de todas las URL que desee descargar utilizando wget y llámelo wget_downloads.txt. Luego, para descargar las URL de forma masiva, escriba este comando:

wget -i wget_downloads.txt

Usos geniales para Wget

Esto rastreará un sitio web y generará un archivo de registro de los enlaces rotos:

wget --spider -o wget.log -e robots = off - espera 1 -r -p http://www.mysite.com/

Esto tomará un archivo de texto de tus blogs de música favoritos y descargará cualquier nuevo archivo MP3:

wget -r --level = 1 -H --timeout = 1 -nd -N -np --accept = mp3 -e robots = off -i musicblogs.txt

¿Para qué más usas wget??

Crédito de la imagen: Conexión de redes sociales a través de ShutterStock, Hombre joven viendo televisión a través de Shutterstock, Globo a través de Shutterstock

Explore más sobre: ​​Administración de descargas, Navegación sin conexión.