Web Superficial y la Web Profunda

Indexar o no indexar, esa es la cuestión

No tenemos dos tipos de Web, pero sí tenemos dos tipos de información al alcance, o no, de los buscadores. 

• La primera, es la Web Superficial. 

Ésta nos permite acceder a los resultados gracias a los robots de búsqueda que indexan la información de la web. Para ello, nos encontramos que la información no está contenida en bases de datos, es de libre acceso y no requiere registro para acceder. Además, la mayoría de las páginas web que encontraremos son Web estáticas, es decir páginas o archivos con una URL fija y accesibles desde otro enlace.
Por hacerlo sencillo, todo aquello que encontremos en Google está en la Web Superficial. 

• La segunda forma de información es la que se encuentra en lo que se llama Web Profunda o invisible (más que "invisible", "no indexable" es el concepto correcto).

En la Web Profunda tenemos el 90% de la información de la red. Aquí se encuentra toda la información de Internet que no podemos encontrar usando los buscadores convencionales. Al contrario que la anterior, casi siempre es información almacenada y accesible mediante bases de datos.  La información es "invisible" a los robots de los buscadores porque los resultados aparecen como páginas dinámicas, páginas que no tienen una URL fija y que se construyen en el mismo instante desapareciendo una vez cerrada la consulta. Aquí podemos encontrar cuatro variantes: 

1. Web opaca

No aparece en el índice de búsqueda por motivos como: 

- Extensión de la indexación: a veces, por economía, no todas las páginas de un sitio son indizadas en los buscadores. 

- Frecuencia de la indización: los buscadores no poseen la capacidad de indizar todas las páginas existentes; a diario se agregan y modifican muchas y la indización no se realiza al ritmo que permita incluirlas a todas. 

- Número máximo de resultados visibles: aunque los motores de búsqueda arrojan a veces un gran número de resultados, generalmente limitan el número de documentos que se muestran (entre 200 y 1000). 

- URL desconectadas: las generaciones más recientes de buscadores, presentan los documentos por relevancia basada en el número de veces que aparecen referenciados en otros. Si un documento no tiene un link a él, desde otro documento, será imposible que la página sea encontrada, pues no se encuentra indizada.

2. Web privada 

Están excluidas de los índices deliberadamente por alguno de estos motivos: 

- Las páginas están protegidas por contraseñas. 

- Contienen un archivo “robots.txt” para evitar ser indizadas. 

- Contienen un campo “noindex” para evitar que el buscador pueda indizar la parte 

correspondiente al cuerpo de la página. 

Este segmento de la Web contiene, en general, documentos excluidos deliberadamente por su falta de utilidad. Son los dueños de la información que contienen los que deciden que no se encuentre disponible, por lo que difícilmente se podrán encontrar mecanismos legítimos para franquear esa barrera.

3. Web propietaria 

Esta concepción incluye aquellas páginas en las que es necesario registrarse para tener acceso al contenido, ya sea de forma gratuita o no. 

4. Web realmente invisible 

Aquí se encuentran las páginas que no pueden ser indizadas por limitaciones técnicas de los buscadores: Programas ejecutables y archivos comprimidos, páginas generadas dinámicamente, es decir, que se generan a partir de datos que introduce el usuario, información almacenada en bases de datos relacionales, que no puede ser extraída a menos que se realice una petición específica.