CMSKiteBot

Apenas sites cujos donos os adicionaram a um projeto no CMSKite e conectaram uma propriedade do Google Search Console correspondente ao site. A verificação do Search Console é a prova de propriedade do Google, então o CMSKiteBot nunca rastreia um site a pedido de outra pessoa.

Quando a propriedade verificada é um prefixo de URL em um subcaminho (por exemplo https://exemplo.com.br/blog/), só são buscadas as páginas dentro desse caminho. Blogs hospedados no próprio CMSKite nunca são rastreados: já temos o conteúdo deles.

Se você vê o CMSKiteBot em um site que não conectou, alguém com acesso ao Search Console desse site conectou. Escreva para nós (abaixo) e vamos verificar.

• O robots.txt, uma vez no início de cada execução.
• Até quatro arquivos de sitemap, do robots.txt ou de /sitemap.xml, para saber quais páginas existem.
• O HTML das páginas listadas no seu sitemap ou informadas pelo Search Console. Os links de uma página são contados, não seguidos, e imagens, scripts e folhas de estilo nunca são baixados.
• No máximo 1 MB de cada página, com 15 segundos para responder.

De cada página ele lê o código de status, os redirecionamentos, o canonical, as meta tags robots e o X-Robots-Tag, o título, a descrição, o h1, o idioma, a contagem de links e os tipos de dados estruturados. Nada é enviado, nenhum formulário é preenchido e nenhum login é feito.

• No máximo 200 páginas por site por dia, em uma execução de no máximo 10 minutos.
• No máximo uma requisição por segundo ao seu servidor, contando redirecionamentos e sitemaps.
• Mais devagar se o seu robots.txt pedir: um Crawl-delay é respeitado até 10 segundos entre requisições.

Um site é rastreado no máximo cerca de uma vez por dia. Se o robots.txt responder com erro de servidor ou não responder, nada é rastreado naquele dia.

O CMSKiteBot segue o robots.txt como o Google (RFC 9309). Ele obedece a um grupo “User-agent: CMSKiteBot” quando existe e, se não, ao grupo “User-agent: *”. Allow e Disallow, curingas e a âncora de fim $ funcionam, e vale a regra mais longa que corresponder. Um robots.txt que responde 404 significa que tudo é permitido.

Meta tags robots e cabeçalhos X-Robots-Tag dirigidos a todos os robôs ou a “cmskitebot” são respeitados: noindex e nofollow são informados ao dono do site como tais.

Para manter o CMSKiteBot fora de todo o seu site, adicione isto ao robots.txt:

User-agent: CMSKiteBot
Disallow: /

Para mantê-lo, mas espaçar as requisições (em segundos, até 10):

User-agent: CMSKiteBot
Crawl-delay: 5

Se o CMSKiteBot se comportar mal no seu site, ou se você quiser que ele pare e não puder mexer no robots.txt, escreva para cmskite.com@gmail.com informando o seu domínio. O dono de um site também pode pará-lo a qualquer momento desconectando o Search Console do projeto no CMSKite.