Robots.txt: O que é [CONFIRA]

Se você possui um site, deve utilizar o Robots.txt. Esse tipo de ferramenta pode ser a chave para o sucesso do seu espaço na web e você vai entender o motivo disso.

Robots.txt: O que é, e como usar essa ferramenta (As imagens exibidas na Flash Brazil são fornecidas e pertecem a terceiros)
Robots.txt: O que é, e como usar essa ferramenta (As imagens exibidas na Flash Brazil são fornecidas e pertecem a terceiros)

Robots.TXT Quando se fala de Marketing Digital, é necessário entender que há uma série de estratégias para que o seu negócio tenha destaque. Muitas vezes você pode se perguntar porque está se tomando uma nova abordagem, ou porque determinada ferramenta não é mais tão relevante.

E a resposta é que esta área sempre é atualizada para proporcionar uma boa experiência a dois públicos: para quem produz e para quem absorve o conteúdo.

E entre as estratégias que podemos encontrar na web está o robots.txt, já ouviu falar dele?

Vou criar uma situação para que você tenha uma base: quando você cria um site, há campos que você não quer que apareçam nas buscas do Google, certo? Essa ferramenta vai te ajudar a ocultar esses detalhes. Vou te explicar mais sobre ela e como usá-la.

Entenda o robots.txt

Para que você oculte certas informações nas ferramentas de busca, vai precisar que este arquivo (o robots.txt), esteja salvo na pasta raíz do seu site. Se você não irá construí-lo, avise ao programador o que você não quer que apareça.

Ao utilizar este arquivo, as páginas que você quer não apareçam na busca, ficarão ausentes em todos os sites que possuem mecanismo de busca, como o Bing e Google, por exemplo.

Para utilizar é muito fácil, pelo nome você já pode perceber uma dica: o formato do arquivo é em .txt, você pode utilizá-lo por meio de um bloco de notas.

Ótimo, não é? Nem precisa baixar um aplicativo só para isso.

Esta ferramenta é utilizada por meio do Protocolo de Exclusão de Robôs Padrão, ou seja, é um tipo de conjunto de comandos utilizados por robôs de busca - que são dos sites que citei acima -, informando à eles quais campos não podem ser acessados.

Digamos que você quer acessar os arquivos robots.txt, como faz? Digita o endereço do site aqui em cima no navegador e após o .com (ou .br), você colocará assim: /robots.txt. Interessante, não é?

E isso não é só em seu site, se você quiser fazer isso com outros links, pode testar!

Quais as funções do robots.txt?

Bem, acabamos de explicar a função principal do arquivo. Mas, que tal aprofundarmos ainda mais?

  • Controle de acesso a imagens

Sabe quando você está navegando na web, passa por um site com um infográfico interessante e depois de um tempo quer encontrá-lo novamente? Você pesquisa com diversas palavras-chave e nada de contrar, não é?

Em algumas situações isso acontece porque o programador do site utilizou o robots.txt para ter controle do acesso a arquivos de imagem. Isso é ótimo, porque irá converter em acesso à página.

Se você não encontrou a imagem, provavelmente vai ter que buscar o link do texto e a partir disso encontrar a imagem que busca. Para os proprietários, isso renderá em acessos constantes na página.

Embora eu tenha comentado que a imagem pode ser oculta dos sites de busca, isso não quer dizer que quando a pessoa acessar a sua página, ela não possa salvar ou compartilhar.

  • Bloqueio de acessos a arquivos

Outra coisa que o robots.txt bloqueia é o acesso a arquivos de recursos, como o de script e de estilo. O que contribui com isso? Você irá poupar os servidores!

Mas, cuidado! Não utilize a função se os recursos forem necessários para o carregamento eficiente da página. Caso você oculte, isso pode prejudicar a análise da sua página, afinal, pode atrapalhar o trabalho dos rastreadores. Imagine o problemão!

Aprenda a criar um arquivo robots.txt

Mencionei ali em cima que para criar esse tipo de artigo você pode usar seu bloco de notas, não é? Mas você precisa conhece alguns comandos específicos, para que tudo ocorra certinho.

Se você está criando o site, irá precisar ter acesso à pasta raiz do domínio escolhido. Acesse essa pasta e salve o arquivo que criou. Para os próximos passos você vai precisar conhecer sitaxe e os comandos deste arquivo.

Quais os comandos do robots.txt?

Você já teve experiência com HTML? Caso a resposta seja positiva, você vai se familiarizar com os comandos que vamos citar aqui. Para fazer o arquivo robots.txt, você precisará entender sobre linguagens de programação.

Vamos conhecer os tipos de comandos?

  • User-agent

Caso o seu interesse seja colocar ordens específicas para cada robô de busca, você pode fazer isso! O comando User-agent é utilizado para definir qual robô você está direcionando.

No site Web Robots Database você pode encontrar a lista dos robôs de busca do mercado. Vou te ajudar já falando qual é o do Google: Googlebot. Super simples, né?

Para dar um direcionamento específico para ele, você vai escrever assim: User-agent: Googlebot.

Mas, se sua opção é dar uma ordem geral, pode colocar: User-agent:*.

  • Disallow

Esse é o comando específico que indica quais são as páginas que não devem aparecer nos resultados de busca. Assim como o anterior, você irá colocar o endereço do site após colocar o comando.

Por exemplo: Disallow: /beta.php, assim você vai bloquear o acesso à página "beta.php".

Se quiser pode especificar colocando "arquivos" ou se quiser bloquear todas as páginas que iniciem com uma determinada letra, é só colocar: Disallow: /a, por exemplo.

  • Allow

Ao contrário do Disallow, nesse você vai citar todos as páginas que deseja que apareçam nas buscas. Caso você não use essa ferramenta, todas as páginas que você não citou no comando Disallow, irão ser indexadas.

Você só precisa usar o Allow, caso bloqueie uma pasta através do Disallow, mas quer que tenha um outro arquivo que apareça. Vamos ao exemplo?

  1. Disallow: /arquivos/

  2. Allow: /arquivos/produtos.php

O que acabamos de fazer? Bloqueamos o acesso à pasta "arquivos", mas permitimos que "produtos.php" esteja disponível.

  • Sitemap

Esse comando irá dar uma orientação aos robôs de busca, identificando quais são as páginas que compõem seu site.

O Sitemap está perdendo espaço para o Google Webmaster Tools, que já informa esse arquivo e as demais funções.

Caso queira utilizar, basta inserir o arquivo e salvá-lo. Você deve fazer assim:

Sitemap:

http://www.nomedoseusite.com/sitemap.xml

Há limitações?

Como toda ferramenta, há limitações! Então antes de utilizar, busque saber quais são elas.

Essas instruções que comentamos são diretivas, ou seja, os robôs de busca não são obrigados a acatar com tudo. Se o Google é fiel a todas as ordens, outros mecanimos de busca podem não ser.

Por isso, busque utilizar outros métodos para complementar essas limitações.

você pode gostar também Mais do autor

Comentários estão fechados.

error: todos os direitos reservados!!