El Archivo Robots.txt en un Servidor Web
Una manera de empezar a entender aquello ejecutándose sobre un servidor web, es visualizar el archivo de nombre “robots.txt” en el servidor. El archivo “robots.txt” es un listado de directorios y archivos en el servidor web, los cuales el propietario desea sean omitidos por los “web crawlers” del proceso de indexación. Un “web crawler” es una pieza de software el cual se utiliza para catalogar información web a ser utilizada por los motores de búsqueda y archivos, los cuales comúnmente son desplegados por motores de búsqueda como Google o Bing.