NÃO QUERO IR AO EVENTO

Cupom de Desconto VTEX DAY 2019

Utilize o Cupom de 30% Desconto para o VTEX DAY 2019

Cupom de Desconto VTEX DAYCupom de Desconto VTEX DAY

USE O CUPOM: WEBPEAKVTEXDAY

COMPRE COM O CUPOM DE DESCONTO

Googlebot: o robô do Google que você precisa conhecer

4/6/2018

Googlebot: o robô do Google que você precisa conhecer

Você já sabe que os serviços Google são essenciais para qualquer negócio de sucesso nos dias de hoje, não é? Não dá para pensar em sucesso que não passe por aparecer como resultado de pesquisa no buscador mais famoso e utilizado no Brasil. O que você ainda não sabe é como a sua página vai parar lá. Então vem com a gente conhecer o robô responsável por levar suas informações para o banco de dados da Google, o Googlebot.  

Vamos lá!

Como funciona?

O Googlebot é um “indexador”, também chamado de “crawler” e ou simplesmente de “bot”. Trata-se de um robô virtual que visita as bilhões de páginas de internet existentes no mundo para reunir informações e indexá-las ao banco de dados do buscador. Ele não é o único. Buscadores de outras empresas como Yahoo! e Bing também cumprem esse papel, coletando informações e indexando-as.  

Ao vasculhar uma página da web, o bot salva uma cópia das informações de encontra pelo caminho e é nessas páginas que o Google vai buscar as informações que as tornam compatíveis com o resultado das buscas.

Leia também: Como colocar seu e-commerce no topo do Google e alavancar vendas

Para garantir que sua página apareça como resultado de pesquisas no Google é necessário que o acesso do bot a ela não esteja bloqueado. Além disso, é necessário que a sua página tenha sido construído em HTML, pois outros padrões de construção de sites não conseguem ser salvos pelo Googlebot.

Parece simples, não é? Mas para manter o serviço funcionando e atendendo à dinamicidade da informação no mundo atual é necessário que todos os processos que se relacionam à coleta de informações pelo robô estejam funcionando perfeitamente. Principalmente, no caso do usuário, filtrar o que pode e o que não pode ser coletado pelos crawlers e que aparecerá na pesquisa no Google ou em qualquer site de busca que utilize dos indexadores. Esse filtro pode ser feito a partir do robots.txt que estará no código-fonte do seu site. Vamos aprender como usar o robots.txt em benefício do seu negócio a seguir. Acompanhe!

Usando o robots.txt

Este arquivo de texto, que pode ser criado no Bloco de Notas, tem o papel de controlar as permissões de acesso de robôs a páginas dentro do seu website. Páginas como as de login ou com conteúdo ainda em desenvolvimento, por exemplo, não têm relevância para quem procura pelo seu negócio no Google. O que os desenvolvedores de site podem fazer é bloquear dentro do robots.txt páginas como estas, deixando o foco apenas no que é importante para aumentar o seu alcance nas ferramentas de busca.

No robots.txt existem algumas palavras-chave, comandos que precisam estar no seu radar. Os comandos são:

Disallow: vem do inglês e significa “não permitir”. Quando se utiliza esse comando, a orientação ao robô é não indexar o conteúdo. De maneira geral, todos os conteúdos dentro de um website são passíveis de indexação. Caso não queira que um diretório ou página dentro do seu site seja indexado, deve bloqueá-lo usando o disallow.

Por exemplo: Dentro de meu site, tenho a página “sugestoes.html”, com o fim de que usuários deem sugestões ao meu negócio. Não quero que essa página seja indexada ao mecanismo de pesquisa do Google, portanto em meu robots.txt informarei:

Disallow: sugestoes.html

Também é possível bloquear o acesso a diretórios e pastas dentro do seu site usando o mesmo caminho, mas ao invés de informar a página exata dentro do site, usa-se:

/conteudo - assim, arquivos e diretórios que começarem com “conteudo” não serão indexados pelo Googlebot;

/conteudo/ - o diretório “conteudo” dentro do seu site não será indexado pelo Googlebot;

Feito! Seguindo esses passos você limita o que não deve ser indexado pelo Google como resultado de pesquisa relacionado à sua página. Vamos agora aprender como permitir a indexação com o comando “Allow”.

Allow: também do inglês, significa “permitir”. Ao utilizar esse comando, orienta o robô a indexar os conteúdos presentes no diretório em questão. Quando não se configura o robots.txt, o robô entende que todo o conteúdo do seu site pode ser indexado. Assim, utiliza-se o comando “Allow” quando um bloqueio foi feito para um diretório dentro do seu site, mas é necessário que se indexe uma outra página que está contida nesse diretório. Por exemplo: dentro do diretório “/conteudo” que bloqueamos acima, existe um “/faleconosco”. É importante para o seu negócio, certo? Assim, podemos permitir a indexação apenas dessa página dentro do diretório. Utiliza-se:

Allow: /conteudo/faleconosco

Pronto! Dentro de “conteudo”, o robô do Google só irá coletar as informações contidas na págica “Fale Conosco”.  

User-agent: define qual robô deve seguir a regra de indexação. Exemplo: “User-agent: Googlebot” ou “User-agent: Yahoobot” ou ainda “User-agent: Googlebot-images” (robô no Google Imagens). Quando não se aplica a regra para um robô em específico, utiliza-se “User-agent: *”.

Mais fácil do que imaginava, não é? Basta juntar as informações num mesmo arquivo de texto e adicionar ao código-fonte do seu site que os robôs fazem o resto do trabalho de acordo com os parâmetros que você definiu.

Quer ver como funciona na prática o Googlebot? Veja no exemplo a seguir.

*Note que para consultar o robots.txt de qualquer site na internet, basta adicionar /robots.txt no fim da URL. Em nosso exemplo, uma parte do robots.txt das mais comuns redes sociais.

Instagram:

www.instagram.com/robots.txt

Googlebot: o robô do Google

Facebook:

www.facebook.com/robots.txt

Googlebot: o robô do Google

Twitter:

www.twitter.com/robots.txt

Googlebot: o robô do Google

Viu, só? Até mesmo as redes sociais mais acessadas do mundo filtram os conteúdos que devem e os que não devem ser resultados de buscas na web. Você não pode ficar de fora!

Não deixe de ler: Como funciona o Google

Use o Googlebot ao seu favor

Avalie as informações, arquivos e páginas de seu site que são relevantes para o seu negócio bombar nas ferramentas de busca. Deixe de fora tudo aquilo que não acrescenta, com foco sempre no que deixa uma ótima impressão de seus serviços.  

Já configurou o robots.txt para a sua página? Não?! Converse com o seu desenvolvedor ou se já tem acesso ao código-fonte, aproveite nossas dicas e crie você mesmo o guia para que o robô da Google trabalhe ao seu favor!

Fique por dentro de nossas novidades e espalhe nossas dicas por aí.

Até logo! =)

Autor

Gabriel Heitzmann

Viciado em tecnologia e em café. Falo pelos cotovelos.

Linkedinhttps://www.webpeak.com.br/contato@webpeak.com.br

Últimas Postagens WebPeak

Últimas Noticias WebPeak