Socios y Afiliados
Crawling local
citiservi indexa mensualmente miles de páginas web tratando de conseguir los datos de contacto locales de todas las empresas de España.
citiservibot es el nombre de nuestro robot web. El user-agent es "citiservibot” Soportamos protocolo de exclusión de robots en el fichero robots.txt así que si no quieres que citiservi indexe parte o la totalidad de tu sitio web, puedes indicárnoslo en ese fichero.
Si haces modificaciones en tu fichero robots.txt para el bot de citiservi, lo normal es que pasen varios días hasta que nuestro bot vuelve a leerlo. Si quieres bloquearlo con urgencia lo mejor es que contactes con nosotros directamente.
A veces, hemos visto robots que se identifican como "citiservibot" aunque no sean nuestros. Si quieres asegurarte de que un robot es nuestro, comprueba que su dirección IP coincida con una de estas:
- 94.23.17.153
