Para alojar un sitio en un servidor hay que tener en cuenta muchos detalles que muchas veces se pasan por alto, pero que son decisivos a la hora de posicionar su web, las Herramientas para Webmasters de Google ayudan a descubrir algunos de estos problemas.

Problemas de disponibilidad. Un problema que suele verse en algunos sitios es el problema de disponibilidad, puede deberse a multitud de factores, problemas de DNS caída o sobrecarga del servidor y muchos otros tipos de errores que impiden que los rastreadores hagan su trabajo, estos tipos de errores pueden localizarse desde las opciones “errores de URL inaccesibles” y “errores de rastreo”.

Configuración errónea del hosting. El síntoma de este problema es que varias direcciones y distintas alojadas en el mismo hosting devuelven el mismo contenido de un mismo sitio. Para localizar el problema es necesario revisar las cabeceras HTTP que devuelve el host.

Contenido duplicado por el alojamiento de URL de prueba. Para el desarrollo o pruebas del sitio que se va a lanzar es posible añadir subdominios o carpetas dentro del mismo servidor de producción, por ejemplo direcciones como prueba.dominio.com o subcarpetas www.dominio.es/prueba/ estas direcciones también son rastreadas, por lo que es recomendable protegerlas por contraseña para evitar que al ser rastreadas, encuentren contenido duplicado con la versión en producción. Aun así también es recomendable utilizar técnicas de canonización para notificar cuáles son las rutas preferidas.

Hay casos, sobre todo en los dominios secundarios, que al utilizar subcarpetas dentro del dominio principal aparecen de la siguiente forma: www.dominio.com/otraweb/default.aspx, es importante ocultarlas usando URL rewrite u otros sistemas y canalizar los accesos a través de una sola entrada.

Páginas de error. Al acceder a un sitio y encontrar una página de error es posible que el proveedor del hosting devuelva un mensaje de cabecera del tipo HTTP 200 (Éxito) en lugar del código correcto HTTP de error. En los casos en los que aparezca “Pagina no encontrada” podrían devolver un HTTP 200 en vez de un 404 o una “Página temporalmente no accesible” podría devolver un 200 en vez de HTTP 503. Como explica Google en el ejemplo de la jirafa con un cartel que pone “perro”. Solo porque dice perro no quiere decir que sea un perro.

Se puede usar “Recuperar como Googlebot” u otras herramientas para validar si la URL en realidad devuelve el código correcto. Además de comprobar regularmente los errores devueltos en los “errores de rastreo”

Es recomendable desarrollar una página 404 personalizada para mejorar la experiencia del usuario, añadiendo enlaces a las páginas más populares del sitio o un sitemap, además de una buena disculpa, siempre comprobando que el código sea 404.

Spam y Malware. Es posible que algún hacker acceda al código y efectúe modificaciones que solo son visibles para los rastreadores y no para los usuarios y que su web aparezca en resultados por palabras clave como “viagra”. Para evitar esto, debe revisar el sitio con de la herramienta Googlebot y buscar minuciosamente en el código devuelto por el rastreador para solucionar el problema.

Bloqueos a los rastreadores de los buscadores. Esto puede ser debido a una mala configuración del firewall, una mala configuración de archivo “robots.txt”, para comprobarlo es necesario consultar los “errores de rastreo” de las Herramientas Webmaster de Google y ver que páginas son las que están afectadas por ese bloqueo.