Buscadores, directorios, arañas...

Mucha gente piensa que Google y Yahoo! son esencialmente lo mismo... y se equivocan. El primero es un buscador ("search engine" en inglés) y el segundo un directorio.
En Yahoo! un grupo de personas llamados "surfers" recorren la web seleccionando sitios, comentándolos y clasificándolos en una base de datos según unos criterios más o menos homogéneos. Efectivamente, luego existe un motor de búsqueda que busca en ESA base de
datos. Una base de datos hecha por humanos, más pequeña por tanto que la de cualquier gran buscador, y que está formada por los datos introducidos por esos humanos (es decir, incluye valoraciones como "categoría" o "país").
En Google en cambio un robot (llamado Googlebot) rellena una base de datos primaria con el código de las páginas que visita. Un motor de búsqueda consultará en esa base cuando nosotros le preguntemos y dará resultados atendiendo a un complicado algoritmo que intentaremos comprender en siguientes páginas. La función de ese algoritmo es conseguir emular de una
forma objetiva lo que los humanos hacemos de un modo instintivo: clasificar una página por temas, origen, etc. y listarlas jerárquicamente de acuerdo con su mayor o menor relación con el término buscado por el usuario. El 50% del trabajo de posicionamiento se hace sobre el código de la página, preparándolo todo para que el motor de búsqueda nos destaque entre todas las
páginas almacenadas en su base de datos. El otro 50% del trabajo es una cierta forma de "marketing de red" cuyo objetivo es que el bot nos visite con cierta frecuencia y reporte en la base de datos lo importante que es nuestra página para otras muchas (incluidas otras de nuestro sitio) que la enlazan.

Directorio

Sitio web que gestiona una base de datos confeccionada por
humanos. Esta base de datos almacena y clasifica en categorías URLs junto
con sus comentarios

Buscador

Sitio web que gestiona una base de datos confeccionada por robots. Esta base de datos almacena directamente el código de las páginas visitadas por los bots o parte de él.

Motor de búsqueda

Programa que selecciona y jerarquiza resultados entre las entradas de una base de datos en función de unos términos y criterios de búsqueda.

Robot

(cariñosamente bot): es un programa que navega la web yendo desde cada página a todas las que esta da enlace y enviando e incorporando el código o partes de él a una base de datos de referencia. También se les conoce como "crawlers", spiders o arañas.