Cómo hacer un robot web (web bot)

Los motores de búsqueda como Google o Yahoo! incorporan páginas web a sus resultados usando bots web (también llamados arañas o rastreadores), que son programas que escanean internet e indexan sitios en una base de datos. Los bots web pueden crearse con la mayoría de lenguajes de programación, como C, Perl, Python y PHP, que permiten a ingenieros escribir scripts para tareas procedimentales como escaneo e indexación web.

Paso 1

Abre un editor de texto plano, como el Bloc de notas (incluido en Windows) o TextEdit (Mac OS X), donde escribirás una aplicación de bot web en Python.

Paso 2

Inicia el script Python con las siguientes líneas, reemplazando la URL de ejemplo por la del sitio que quieres escanear y el nombre de la base de datos de ejemplo por la que almacenará los resultados:

import urllib2, re, string
enter_point = 'https://www.exampleurl.com'
db_name = 'example.sql'

Paso 3

Incluye las siguientes líneas para definir la secuencia de operaciones que seguirá el bot:

def uniq(seq):
    set = {}
    map(set.__setitem__, seq, [])
    return set.keys()

Paso 4

Obtén las URLs en la estructura del sitio con el siguiente código:

def geturls(url):
    items = []
    request = urllib2.Request(url)
    request.add_header('User', 'Bot_name ;)')
    content = urllib2.urlopen(request).read()
    items = re.findall('href="https://.?"', content)
    urls = []
    return urls

Paso 5

Define la base de datos que usará el bot y qué información debe almacenar para completar el bot:

db = open(db_name, 'a')
allurls = uniq(geturls(enter_point))

Paso 6

Guarda el documento de texto y súbelo a un servidor o equipo con conexión a internet donde puedas ejecutar el script y comenzar a escanear páginas web.