Cómo hacer un robot web (web bot)
Los motores de búsqueda como Google o Yahoo! incorporan páginas web a sus resultados usando bots web (también llamados arañas o rastreadores), que son programas que escanean internet e indexan sitios en una base de datos. Los bots web pueden crearse con la mayoría de lenguajes de programación, como C, Perl, Python y PHP, que permiten a ingenieros escribir scripts para tareas procedimentales como escaneo e indexación web.
Paso 1
Abre un editor de texto plano, como el Bloc de notas (incluido en Windows) o TextEdit (Mac OS X), donde escribirás una aplicación de bot web en Python.
Paso 2
Inicia el script Python con las siguientes líneas, reemplazando la URL de ejemplo por la del sitio que quieres escanear y el nombre de la base de datos de ejemplo por la que almacenará los resultados:
import urllib2, re, string
enter_point = 'https://www.exampleurl.com'
db_name = 'example.sql'
Paso 3
Incluye las siguientes líneas para definir la secuencia de operaciones que seguirá el bot:
def uniq(seq):
set = {}
map(set.__setitem__, seq, [])
return set.keys()
Paso 4
Obtén las URLs en la estructura del sitio con el siguiente código:
def geturls(url):
items = []
request = urllib2.Request(url)
request.add_header('User', 'Bot_name ;)')
content = urllib2.urlopen(request).read()
items = re.findall('href="https://.?"', content)
urls = []
return urls
Paso 5
Define la base de datos que usará el bot y qué información debe almacenar para completar el bot:
db = open(db_name, 'a')
allurls = uniq(geturls(enter_point))
Paso 6
Guarda el documento de texto y súbelo a un servidor o equipo con conexión a internet donde puedas ejecutar el script y comenzar a escanear páginas web.
- ·Cómo hacer bookmarklets en iPhone
- ·Cómo hacer un CD de karaoke
- ·Cómo hacer que tu TV sea HD Ready con caja conversora
- ·Cómo poner Safari como navegador predeterminado en Mac (Ventura/Sonoma) y iOS
- ·Cómo hacer una copia de una radiografía (rayos X)
- ·Conceptos básicos para usar un navegador web (Chrome, Edge, Firefox, Safari)
- ·Cómo crear tu propio servidor web casero
- ·Cómo insertar una raya larga (em dash) en Adobe InDesign
- Cómo usar el dinero para ganar dinero (inversión básica)
- Cómo hacer salitre (nitrato de potasio) de forma casera
- Cómo hacer un calendario HTML
- Cómo hacer que la página web se ajuste a la pantalla en Windows 8.1
- Cómo crear un sitio web para adultos
- Cómo hacer una página web a pantalla completa (HTML/CSS)
