Conheça os princípios da rastreabilidade e saiba ele pode ajudar o Google a encontrar e baixar páginas de um site.
Este post é uma tradução do material What is crawlability?, publicado originalmente no blog da Yoast. O conteúdo foi autorizado para publicação no blog da HostGator.
Você quer superar sua concorrência? Então o conhecimento básico de SEO técnico é indispensável. Claro, você também precisa criar um ótimo conteúdo relevante para o seu site.
Felizmente, o plugin Yoast SEO cuida de (quase) tudo no seu site WordPress. Ainda assim, é bom entender um dos conceitos mais importantes do SEO técnico: rastreabilidade.
O que é mesmo um rastreador?
Um mecanismo de busca como o Google consiste em três coisas: um rastreador, um índice e um algoritmo. Um rastreador segue os links na web. Ele faz isso 24 horas por dia, 7 dias por semana!
Quando um rastreador chega a um site, ele salva a versão HTML em um banco de dados gigantesco chamado índice. Este índice é atualizado toda vez que o rastreador visita o seu site e encontra uma versão nova ou revisada.
Dependendo de quão importante o Google considera o seu site e da quantidade de mudanças que você faz nele, o rastreador visita mais ou menos frequentemente.
Curiosidade: Um rastreador também é chamado de robô, bot ou aranha! E o rastreador do Google às vezes é referido como Googlebot.
E o que é rastreabilidade?
Rastreabilidade tem a ver com as possibilidades que o Google tem para rastrear o seu site. Felizmente, você pode bloquear rastreadores no seu site.
Se o seu site ou uma página do seu site estiver bloqueada, você está dizendo ao rastreador do Google: “Não venha aqui.” Como resultado, seu site ou a respectiva página não aparecerá nos resultados de busca. Pelo menos, na maioria dos casos.
Então, como você bloqueia os rastreadores? Há algumas coisas que podem impedir o Google de rastrear (ou indexar) o seu site:
- Se o seu arquivo robots.txt bloquear o rastreador, o Google não virá ao seu site ou a uma página específica. Antes de rastrear o seu site, o rastreador verificará o cabeçalho HTTP da sua página. Este cabeçalho HTTP contém um código de status;
- Se esse código de status indicar que uma página não existe, o Google não rastreará o seu site;
- Se a meta tag robots em uma página específica impedir o mecanismo de busca de indexar essa página, o Google rastreará essa página, mas não a adicionará ao seu índice.
Como os rastreadores impactam o meio ambiente
Sim, você leu certo. Os rastreadores têm um impacto substancial no meio ambiente, pois eles podem visitar seu site várias vezes ao dia. Por quê? Eles querem descobrir novo conteúdo ou verificar se há atualizações. E toda vez que visitam o seu site, rastrearão tudo o que parece uma URL para eles. Isso significa que uma URL é frequentemente rastreada várias vezes por dia.
Isso é desnecessário, pois é improvável que você faça várias mudanças em uma URL em um dia. Sem mencionar que quase todos os CMS geram URLs que não fazem sentido e os rastreadores podem ignorar com segurança.
Porém, em vez de ignorar essas URLs, os rastreadores as rastrearão repetidamente, toda vez que as encontrarem. Todo esse rastreamento desnecessário consome muitos recursos energéticos, o que é prejudicial ao nosso planeta.
Melhore a rastreabilidade do seu site com o Yoast SEO Premium
Para garantir que você não está desperdiçando energia, é importante ficar atento às configurações de rastreabilidade do seu site. Felizmente, você não precisa fazer todo o trabalho sozinho. Usar ferramentas como o Yoast SEO Premium tornará isso mais fácil para você!
Então, como isso funciona? Temos um recurso de configurações de rastreamento que remove URLs, feeds e ativos desnecessários do seu site. Isso fará com que os rastreadores rastreiem seu site de forma mais eficiente. Não se preocupe, você continua no controle! Porque o recurso também permite que você decida, por tipo de ativo, se deseja remover realmente a URL ou não.