Evitar que los buscadores indexen nuestras páginas

Para evitar que los buscadores indexen nuestras páginas solo se tiene que agregar un archivo llamado robots.txt en la raiz del sitio.

El contenido del archivo robots.txt debe de decir:

User-agent: *
Disallow: /


El primer parámetro nos dice el nombre del buscador, en este caso el asterisco aplica para todos, pero si se desea especificar el buscador aquí una pequeña lista:

  • Google: googlebot
  • MSN Search (Bing): msnbot
  • Yahoo: yahoo-slurp
  • Alexa/Wayback: ia_archiver
  • Ask/Teoma: teoma
  • DMOZ: robozilla
  • GigaBlast: gigabot
  • Scrub the web: scrubby
  • Altavista: scooter
  • Google image: googlebot-image
  • Yahoo MM: yahoo-mmcrawler
  • MSN Pic-Search: psbot
  • Yahoo Blogs: yahoo-blogs/v3.9

Tambien pueden agregar una etiqueta META a su HTML.

< meta name="robots" content="noindex,nofollow" >

En esta página pueden encontrar un generador de robots.txt

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *