CMSKiteBot

Solo sitios cuyos dueños los agregaron a un proyecto de CMSKite y conectaron una propiedad de Google Search Console que coincide con el sitio. La verificación de Search Console es la prueba de propiedad de Google, así que CMSKiteBot nunca rastrea un sitio porque otra persona lo pidió.

Cuando la propiedad verificada es un prefijo de URL en una subruta (por ejemplo https://ejemplo.com.mx/blog/), solo se consultan las páginas dentro de esa ruta. Los blogs alojados en CMSKite nunca se rastrean: ya tenemos su contenido.

Si ves a CMSKiteBot en un sitio que no conectaste, alguien con acceso al Search Console de ese sitio lo hizo. Escríbenos (abajo) y lo revisamos.

• El robots.txt, una vez al inicio de cada ejecución.
• Hasta cuatro archivos de sitemap, del robots.txt o de /sitemap.xml, para saber qué páginas existen.
• El HTML de las páginas que aparecen en tu sitemap o que reporta Search Console. Los enlaces de una página se cuentan, no se siguen, y nunca se descargan imágenes, scripts ni hojas de estilo.
• Como máximo 1 MB de cada página, con 15 segundos para responder.

De cada página lee el código de estado, las redirecciones, el canonical, las metaetiquetas robots y el X-Robots-Tag, el título, la descripción, el h1, el idioma, el conteo de enlaces y los tipos de datos estructurados. No envía nada, no llena formularios y no inicia sesión en ningún lado.

• Como máximo 200 páginas por sitio al día, en una ejecución de 10 minutos como máximo.
• Como máximo una solicitud por segundo a tu servidor, contando redirecciones y sitemaps.
• Más despacio si tu robots.txt lo pide: se respeta un Crawl-delay de hasta 10 segundos entre solicitudes.

Un sitio se rastrea como mucho alrededor de una vez al día. Si el robots.txt responde con un error del servidor o no responde, ese día no se rastrea nada.

CMSKiteBot sigue el robots.txt igual que Google (RFC 9309). Obedece un grupo “User-agent: CMSKiteBot” cuando existe y, si no, el grupo “User-agent: *”. Allow y Disallow, los comodines y el ancla de fin $ funcionan, y gana la regla más larga que coincida. Un robots.txt que responde 404 significa que todo está permitido.

Se respetan las metaetiquetas robots y los encabezados X-Robots-Tag dirigidos a todos los robots o a “cmskitebot”: noindex y nofollow se le reportan al dueño del sitio como tales.

Para mantener a CMSKiteBot fuera de todo tu sitio, agrega esto al robots.txt:

User-agent: CMSKiteBot
Disallow: /

Para mantenerlo pero espaciar sus solicitudes (en segundos, hasta 10):

User-agent: CMSKiteBot
Crawl-delay: 5

Si CMSKiteBot se porta mal en tu sitio, o quieres que se detenga y no puedes tocar el robots.txt, escribe a cmskite.com@gmail.com con tu dominio. El dueño de un sitio también puede detenerlo en cualquier momento desconectando Search Console de su proyecto en CMSKite.