Dominio: gerenciandoblog.com.br
Chave: 00e39a4dc6309327334fa422703bddd1e83c509f
Hora do cache: 1498488628
Vida do cache: 1498531828
Status: 1
Mensagem: Centive nao respondeu
Chave do Pedido: 11808bbc6205bade68f0b70c302eaa74d4305945
Chave do Produto: PROKEY
Scroll Top

Hospedagem - 728 x 90

Blogger SEO

SEO no Blogger: Robots.txt personalizado

Neste novo artigo da série iniciada em SEO no Blogger: novidades fantásticas, mostrarei o uso do arquivo robots.txt personalizado no Blogger.

Esse é um arquivo utilizado pelos rastreadores do Google e de outras ferramentas de busca para saber quais páginas ele deve ver e quais ele não deve ser em seu blog.

Isso significa que você pode utilizar o robots.txt para indicar as páginas que você não quer que sejam mostradas nos resultados do Google, seja para evitar texto duplicado ou para não divulgar alguma informação importante.

Introdução

Este é um artigo um pouco mais técnico que os outros que escrevi nesta série.

Também trata-se de um recurso que deve ser utilizado com extremo cuidado, pois ele pode fazer com que todas as páginas do seu blog desapareçam dos resultados da busca do Google – o que seria desastroso.

Como nos demais artigos, é importante que você entenda os conceitos envolvidos antes de fazer a configuração do recurso em seu blog.

No artigo Como Aparecer no Google?, eu expliquei como o Google indexa e “armazena” as páginas que ele pode exibir em seus resultados de buscas.

Em linhas gerais, se ele chegar até o seu blog, ele será capaz de ler todas as suas páginas e mostrá-las nos resultados. Mas, ele não funciona assim.

O arquivo robots.txt é muito importante para o Google e outras ferramentas de busca.

Nele, o dono de um blog ou site pode indicar quais são as páginas que devem ser mostradas nos resultados das buscas e quais não devem.

Por isso, primeiro o Google lê o seu arquivo robots.txt para só depois analisar as suas páginas.

Uma informação importante é que seu blog no Blogger sempre teve um arquivo robots.txt.

Para você conhecê-lo, basta acessar o endereço do seu blog acrescido de “/robots.txt” no final.

Por exemplo, o meu arquivo está em http://www.gerenciandoblog.com.br/robots.txt.

Veja o conteúdo dele:

User-agent: Mediapartners-Google
Disallow: 

User-agent: *
Disallow: /search
Allow: /

Sitemap: http://www.gerenciandoblog.com.br/feeds/posts/default?orderby=updated

O conteúdo do arquivo pode ser um pouco diferente de blog para blog caso as opções de “Privacidade” do blog estejam definidas para que ele não esteja visível para os mecanismos de buscas.

Até agora, não tínhamos acesso para modificar diretamente esse arquivo.

É isso o que o Blogger passou a permitir.

O conteúdo do arquivo robots.txt

Dentro do arquivo robots.txt, há apenas 4 tipos diferentes de instruções que podem existir:

  • User-agent: Identifica para qual mecanismo de rastreamento serão dadas as próximas instruções. No exemplo acima, do meu arquivo, o único mecanismo identificado é o “Mediapartners-Google”. Quando ele está como “*”, isso significa que as próximas instruções valerão para todos os rastreadores.
  • Disallow: Informa quais páginas não devem ser analisadas pelos rastreadores. No exemplo, todas as páginas que começarem com http://www.gerenciandoblog.com.br/search não serão rastreadas.
  • Allow: Informa quais páginas devem ser analisadas pelos rastreadores. O símbolo “/” identifica que todas as demais páginas serão analisadas.
  • Sitemap: Mostra a localização do sitemap do seu blog, importante para que os rastreadores encontrem os novos artigos do seu blog. Falei sobre o assunto no artigo Google Webmasters: Sitemap.

Interpretando o meu arquivo original, criado pelo Blogger, a conclusão é que o rastreador “Mediapartners-Google” verá todas as minhas páginas.

Trata-se do rastreador do Google AdSense, responsável por analisar as páginas dos sites determinar que anúncios serão exibidos.

Todos os demais rastreadores verão todas as minhas páginas, com exceção das páginas de “buscas”.

Na verdade, tratam-se das páginas de Categorias (por exemplo,

http://www.gerenciandoblog.com.br/search/label/Blogger) e de artigos por data (como http://www.gerenciandoblog.com.br/search?updated-max=2012-03-08T09:00:00-03:00&max-results=9).

Por que o Blogger faz isso?

Para evitar que o texto de um artigo seja lido pelo Google em mais de um endereço diferente.

Isso faria com que seu blog ficasse com conteúdo duplicado, algo que o Google odeia.

Assim, neste caso as restrições no robots.txt servem como proteção para evitar que você tenha problemas com o Google.

Vale a pena personalizar o arquivo robots.txt?

Só vale a pena fazer a personalização se você souber exatamente o que está fazendo.

O arquivo robots.txt é bastante sensível e, como citei no início do artigo, uma má configuração pode remover todo o seu conteúdo do Google.

A única alteração que considerei conveniente fazer (e que está fase de testes no Gerenciando Blog) foi para remover do Google as visualizações dinâmicas.

Como o endereço de todas elas começa com “/view”, adicionei essa restrição justamente para evitar o conteúdo duplicado.

O recurso também será útil se existem páginas em seu blog que você não quer deixar disponíveis para aparecer nos resultados da busca.

Pode ser uma página com conteúdo pessoal ou outras informações que você queira que fiquem restritas.

Como fazer a personalização do arquivo robots.txt

Mais uma vez, o alerta: tome o máximo cuidado ao fazer esta alteração.

Sugiro que você leia e entenda o restante deste artigo para poder tomar sua decisão.

Isso dito, vamos ao procedimento:

1. Acesse http://www.blogger.com e entre com seu usuário e senha.

2. Clique no nome do seu blog.

3. Acesse a área “Configurações” / “Preferências de pesquisa”.

4. Clique na opção “Editar” ao lado de “robots.txt personalizado”.

SEOBlogger_Robots01

5. Escolha a opção “Sim” para fazer a alteração.

SEOBlogger_Robots02

6. Será aberta uma caixa vazia, onde você deve colocar o conteúdo completo de seu novo robots.txt.

Para facilitar o trabalho, minha sugestão é que você acesse e copie o conteúdo do seu arquivo atual e cole na caixa, para só editar o que deseja alterar.

Ao terminar, clique em “Salvar alterações”.

SEOBlogger_Robots03

7. Para confirmar que a alteração foi bem sucedida, acesse novamente seu arquivo robots.txt.

Ele já deve aparecer alterado.

Conclusão

Imagino que este seja um dos novos recursos de SEO no Blogger que será pouco utilizado.

Diferente dos recursos que apresentei anteriormente, que têm utilidade comprovada para a maioria dos blogs, personalizar o arquivo robots.txt será realmente útil para poucos.

Se você for um deles, o artigo o ajudará a entender melhor a necessidade e a configurá-la.

E você, o que achou desta novidade?

Pretende aplicá-la em seu blog? Deixe um comentário!

SEO no Blogger: Robots.txt personalizado
3 (60%) 2 votes


De um play no vídeo abaixo e aprenda a Criar blogs Profissionais




Gostou deste artigo? Ajude nosso projeto.
Compartilhe em suas redes sociais nos botões abaixo:

Sobre o autor | Website

Especialista em Marketing Digital, presta Consultoria e auxilia diversos clientes. Amante por blogs, é responsável pela administração dos blogs Afiliados na web, Gerenciando Blog e Mundo Blogger.

108 Comentários

  1. Trevis disse:

    Muito bom o tópico,bastante aconselhavel para quem ja esta no blogger ha muito tempo,pois assim podera bloquear artigos antigos ja defasados.

    • Adriano Luz disse:

      Olá, Trevis!

      Sua ideia é interessante: configurando corretamente o arquivo robots.txt, é possível eliminar esses artigos defasados dos resultados das buscas. O próximo artigo desta série mostrará outra forma ainda mais eficiente para fazer isso.

      Um abraço!

  2. Habbo Brazil disse:

    Ótimos Artigos Aqui, você tem me ajudado muito XD

  3. Marcelo disse:

    Meu blog já tinha implamentadas diversas alterações de SEO feitas no html, com essa mudança de agora as alterações no html perderam força? Preciso apagá-las para utilizar as novas ou não? Não haverá conflito ou duplicidade de informações como por exemplo duas descrições e etc?

    • Adriano Luz disse:

      Olá, Marcelo!

      É difícil responder sem saber exatamente quais foram as implementações que você fez em seu template para fins de SEO.

      Muitas das funcionalidades vieram para substituir o que antes fazíamos no template (como a metatag Description na página principal e a indicação de páginas para não indexar). Nestes casos, o melhor é deixar funcionando apenas uma das das opções.

      Mas, o ideal é mesmo avaliar caso a caso as alterações que você já tem em seu template.

      Um abraço!

  4. Trevis disse:

    Adelson,fiz um bloqueio de todas as paginas de arquivos no blogger com a seguinte entrada: "disallow: /*_*_*_archive",pois estavam duplicadas na ferramentas para webmasters.Isso é correto ou podera prejudicar o blog?

    Abraços.

    • Adriano Luz disse:

      Olá, Trevis!

      Até onde sei, entradas como a que você criou não funcionam corretamente no robots.txt. Pesquisei a documentação e não encontrei nela a possibilidade de utilizar o * como caracter coringa para representar parte do nome do arquivo.

      Mas, para eliminar páginas duplicadas de arquivo, o método mais recomendado é o que mostro no artigo SEO no Blogger: Tags de robôs personalizadas.

      Um abraço!

  5. Bboy Guil disse:

    Adelson, caso eu queira permitir que as páginas de categorias sejam indexadas, mas não as páginas de pesquisas e datas não sejam, como deve ficar o meu robots.txt?

    • Adriano Luz disse:

      Olá!

      Infelizmente, acredito que isso não seja possível. Isso porque tanto as páginas de pesquisas quanto as de categorias e datas iniciam-se com "search".

      Assim, ou todas serão indexadas, ou nenhuma delas.

      Um abraço!

  6. Edson F. disse:

    Adelson,
    eu alterei o robots e me arrependi. Voltei nas configurações e deixei desativado. Há algum problema?

  7. Ricardo disse:

    Olhei todas informações da google sobre as visualizações dinâmicas e a mesma diz que não prejudica em nada o blog, seria estranho o blogger colocar algo que possar criar conteúdo duplicado né, então acho que você fez algo desnecessário. Mas de qualquer forma falto um pequeno exemplo na postagem de como bloquear algo no robots.txt, porque tenho uma dúvida se é presciso fazer essas alterações no blogger e no webmastertools da google.

    • Adriano Luz disse:

      Olá, Ricardo!

      Em meu caso, fiz a alteração porque notei que meu conteúdo estava realmente aparecendo duplicado no Google. Mesmo que isso não interfira no posicionamento, fica estranho aparecer nos resultados uma página que não está diretamente relacionada ao conteúdo buscado.

      Quando ao exemplo, no item "Como fazer a personalização do arquivo robots.txt" eu mostro exatamente como ficou o meu arquivo robots.txt, para servir como exemplo.

      Nas Ferramentas para Webmasters, só é possível criar o arquivo. Para colocá-lo no ar, é realmente necessário fazê-lo pelo Blogger.

      Um abraço!

  8. José Gonçalves disse:

    Boas a todos! Devo dizer que este seu artigo me ajudou bastante na configuração do meu blogger, tenho mais dois sites e nunca tive tantos problemas com a configuração dos mesmos, aliás em todas as páginas estáticas e posts posso inserir descrição, tags e até palavras chave na página do post. Não entendo porque o Blogger complica tanto o SEO das suas páginas, e só pessoas com conhecimentos mais avançados podem entender como configurar o seu blogger à altura dos outros na internet. Espero ter configurado o meu convenientemente para que seja encontrado por diversos mecanismos de busca na internet, será que fiz tudo bem?

    • Adriano Luz disse:

      Olá, José!

      Para quem tem conhecimentos técnicos suficientes, realmente é mais simples fazer o uso das metatags diretamente nas páginas. No Blogger, acredito que a intenção deles tenha sido facilitar o uso para quem não sabe fazer isso diretamente pelo HTML. Por isso, a configuração ficou um pouco confusa para quem está acostumado ao método direto.

      Um abraço!

  9. Carla Pontes disse:

    Oi Adelson!

    Como o Edson me arrependi de ter personalizado o robots, desativei-o e voltei a utilizar a configuração padrão. Quanto Tempo após esta alteração os artigos voltam a aparecer nos sites de busca e ocorre a sua alteração nas ferramentas para webmasters?

    • Adriano Luz disse:

      Olá, Carla!

      Esse tempo varia de site para isso. Isso porque há sites que são indexados pelo Google em tempos menores, e outros onde demora mais para que isso aconteça.

      Assim, é necessário aguardar até que o Google indexe novamente o seu site.

      Um abraço!

  10. Anônimo disse:

    Olá, olha eu fiz uma mudança de plataforma de WORDPRESS para BLOGGER assim perdendo todas as postagens que estavam no WP e tenhu links que estão dando página não encontrada sendo assim uma coisa muito ruim para meu blog o que vc me recomendária seria uma boa idéia configurar o robots.txt? ajudaria a sumir esses links com erro do google ?

    Obrigado pela atenção 🙂

  11. PauL disse:

    Obrigado Adelson Smania, Vou Ler O artigo 🙂

  12. Tibério disse:

    Oi Adelson.

    Tenho o site http://www.descontoemfoco.com.br. Ao acessar uma loja o endereço torna-se, por exemplo:
    http://www.descontoemfoco.com.br/loja/americanas

    Existem duas maneiras de exibição do conteúdo: Gride e Lista.

    Existem quatro opções de ordenação: Mais Clicadas, Mais Recentes, Maior Desconto e Maior Porcentagem de Desconto.

    Dependendo da escolha do usuário o endereço torna-se:

    http://www.descontoemfoco.com.br/loja/americanas/tipo-exibicao/lista/modo-exibicao/mais-clicadas
    http://www.descontoemfoco.com.br/loja/americanas/tipo-exibicao/gride/modo-exibicao/mais-clicadas
    http://www.descontoemfoco.com.br/loja/americanas/tipo-exibicao/lista/modo-exibicao/mais-recente
    http://www.descontoemfoco.com.br/loja/americanas/tipo-exibicao/gride/modo-exibicao/mais-recente

    Dentre outras.

    Eu gostaria de saber como bloquear pelo robots.txt esses sub endereços e deixar apenas o principal da loja.

    O correto seria a linha abaixo?
    Disallow: /tipo-exibicao/

    Obrigado!

  13. romulo schmidt disse:

    e para bloquear um site especifico?
    tem um site russo chamado pregolom.com, todo dia sistematicamente visita 14 vezes o meu blog.
    contaminou a estatistica do meu blog. e não posso divulgar na página.

    • Adriano Luz disse:

      Olá, Romulo!

      Infelizmente, eu não conheço nenhum método para bloquear as visitas vinda de um site para o seu.

      O que existe hoje é uma ideia (e, por enquanto, é apenas isso) para que possamos bloquear links indesejáveis que apontam para o nosso site.

      Sinto não poder ajudar.

      Um abraço!

  14. Eletricista Recreio, Barra da Tijuca e Jacarepaguá disse:

    Também estou passando pela a mesma coisa do comentário acima. Esse pregolom também visita várias vezes o meu blog. O que fazer?

  15. Sandro de Andrade Música Católica Cantor Católico disse:

    Qual a dica para que o google visualize meu blogspot com facilidade quando alguém digita na busca um termo como por exemplo gospel?

  16. Augusto Cavalcanti Oceanólogo disse:

    Olá Adelson,
    depois de quase 2 anos consegui registrar o domínio .com.br para meu blog (rgsurf). Ele estava bem cotado no google e agora com a mudança do endereço acabou indo pra terceira página da pesquisa (praia do cassino). Há alguma alteração importante que devo fazer em relação ao robots.txt ou outros mecanismos SEO depois da mudança de endereço? Como eu vinha trabalhando lentamente nesse blog há um bom tempo, não me lembro direito quais técnicas SEO eu apliquei para fazer ele subir na pesquisa. Agradeço se puderes me ajudar nessa questão relacionada à mudança de endereço. Uma reportagem sobre meu blog irá ao ar no jornal local (Jornal Agora de Rio Grande) entre hoje e amanhã e queira aproveitar essa oportunidade para alavancar os acessos. Utilizo bastante suas informações, parabéns pelo trabalho. Augusto

    • Adriano Luz disse:

      Olá, Augusto!

      Quando você configura um domínio próprio em seu blog, é natural que ele perca posições nos primeiros dias ou mesmo semanas. Para o Google, é como se fosse um novo site. O que você precisa fazer agora é trabalhar fortemente na divulgação de seu novo endereço, conquistando links para ele.

      Com o tempo, você conseguirá reverter essa situação e conquistar resultados ainda melhores do que antes.

      Com relação ao robots.txt, não é necessária nenhuma alteração.

      Um abraço!

  17. ka disse:

    Olá Adelson
    só uma perguntinha,
    por que por defeito todos o blogs tem
    Disallow: /search
    ?

    Um saúdo desde Espanha

    • Adriano Luz disse:

      Olá, Ka!

      Isso é feito para evitar conteúdo duplicado. O Blogger usa o endereço "/search" para mostrar resultados de pesquisas, categorias ou datas mais antigas. Se essas páginas fossem indexadas, o texto apareceria em duplicidade, pois já foi indexado na página do artigo.

      Um abraço e obrigado pela visita de tão longe!

  18. Augusto Cavalcanti Oceanólogo disse:

    Adelson, complementando minha pergunta:
    o robot.txt é o seguinte:

    # Blogger Sitemap generated on 2012.06.18

    User-agent: *
    Disallow: /search
    Allow: /

    Sitemap: http://www.rgsurf.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

    Eu fui no Ferramentas para Webmasters e na opção do site http://www.rgsurf.com.br eu criei um sitemap com a extensão /feeds/posts/default
    Diz que tem 26 paginas enviadas e apenas 1 indexada e não apresenta nenhum tipo de erro.

    O meu sitemap, já não deveria ter mudado para o endereço atual?
    Antes todas as minhas novas publicações apareciam no Google logo quando eram publicadas, agora já não aparecem mais? Sabes me explicar o que está acontecendo? Eu devo mexer no meu robot.txt atualizando o endereço do sitemap para as novas postagens serem indexadas? Me dá uma luz hehehe. Obrigado.

    • Adriano Luz disse:

      Olá, Augusto!

      Parece-me que há 3 questões diferentes em sua pergunta:

      1. A indicação do sitemap que aparece em seu arquivo robots.txt só é modificada quando você altera esse arquivo, de acordo com as instruções deste artigo.

      2. Quanto ao número de artigos indexados, pode demorar alguns dias até que o Google analise todos os artigos enviados. Isso é normal.

      3. E com relação à velocidade de indexação do seu blog, também parece estar normal. Acabo de fazer uma busca e vi que o artigo que você publicou hoje (04/11) já está indexado.

      Espero ter esclarecido as questões.

      Um abraço!

  19. Augusto Cavalcanti Oceanólogo disse:

    Adelson, mais uma pergunta!

    Como mudei o endereço do blog, fui ao Ferramentas para Webmasters e criei um novo sitemap para o novo endereço. Você acha que seria interessante eu atualizar o sitemap do arquivo robots.txt para o novo sitemap criado?

    atualmente meu robots.txt é:

    Sitemap: http://www.rgsurf.blogspot.com/atom.xml?redirect=false&start-index=1&max-results=500

    Você sugere eu passar ele para o seguinte?:

    Sitemap: http://www.rgsurf.com.br/feeds/posts/default

    esse foi o que criei no ferramentas para webmasters quando mudei o endereço do blog.

    Obrigado pelas respostas anteriores,
    Augusto
    ps: estou enviando essa pergunta novamente, pois na primeira vez ocorreu um erro e não sei você recebeu.

    • Adriano Luz disse:

      Olá, Augusto!

      Na prática, não deve haver diferença entre um e outro sitemap em seu robots.txt.

      Nas Ferramentas para Webmasters, eu prefiro deixar um sitemap como o que está atualmente em seu robots.txt, pois ele envia ao Google mais artigos que o "feeds/posts/default".

      Um abraço!

  20. Anderson disse:

    o meu robots.txt é User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /search
    Disallow: /

    User-Agent: googlebot
    Disallow: /search
    Allow: /

    Esta errado isso ou não ?

    • Adriano Luz disse:

      Olá, Anderson!

      Esse é o arquivo padrão do Blogger. Não há nada de errado com ele. O que você pode fazer – se desejar – são os pequenos ajustes que mostro no artigo.

      Um abraço!

  21. Alessandro Navarro disse:

    Olá muito bom o seu tutorial sobre Robots, mas estou com uma dúvida que é a seguinte. O Blogger agora esta com a opção .com.br o usuário digita http://meublog.blogspot.com e é redirecionado para .com.br, tem aguma configuração que eu possa fazer no robots para que só o o endereço com final .com.br seja indexado ou o contrário só o com final .com seja? Pois no meu caso na indexação do google aparece essas duas opções gostaria de deixar só uma.
    Obrigado pela a atenção.

    • Adriano Luz disse:

      Olá, Alessandro!

      Infelizmente, não há como ajustar isso no Robots.txt. E também não vejo uma forma para você remover os resultados do .COM que ainda aparecem.

      O melhor é você investir na divulgação do seu endereço .COM.BR – especialmente utilizando o recurso dos Sitemaps. Com o tempo, os resultados do .COM desparecerão e ficarão apenas os do .COM.BR.

      Um abraço!

  22. Meg Rodrigues disse:

    Olá Adelson,

    Procuro ler todos os seus artigos, são de grande ajuda. Meus parabéns.
    Fiz a consulta e o resultado foi bem diferente, não aparece meu blog e sim dois sites de resenha statscrop.
    Por favor…

  23. Meg Rodrigues disse:

    Resultado da página de pesquisa (Santa ignorância, Batman!)
    Mil desculpas, Adelson.

    um abraço

    • Adriano Luz disse:

      Olá, Meg!

      Pelo que entendi, você já encontrou a resposta para a sua pergunta, correto?

      Se ainda tiver dúvidas, é só comentar.

      Um abraço!

  24. tonyrson disse:

    Ola Adelson Smania, mais um artigo show de bola para abrilhantar os usuarios e seguidores da plataforma blogspot. ótimo artigo e super recomendado, no meu caso não vou fazer nenhuma mudança em meu blog acho que esta bom do jeito que estar, mesmo por que já vivo atualizando e corrigindo meus antigos post. quem sabe mais adiante um abraço. Tony

    • Adriano Luz disse:

      Olá, Tonyrson!

      Que bom que tenha gostado!

      Em meu caso, a única alteração que fiz foi acrescentar "/view" para eliminar a duplicidade de indexação das visualizações dinâmicas.

      Um abraço!

  25. Portal Vida de Meme Games disse:

    Parabens este site é o melhor, sigo todas as dicas e estou melhorando o meu site aos poucos e ja vejo os resulrados

  26. Vagner Silva disse:

    SUMIU TUDO DO MEU BLOG DEPOIS QUE EU ADICIONEI MIM AJUDE

    O LINK: http://arcadoeterno.blogspot.com.br/

    • Adriano Luz disse:

      Olá, Vagner!

      Esta alteração não faria com que tudo desaparecesse do seu blog. Como vi que ele já está normal, acredito que tenha ocorrido outro problema que já tenha sido solucionado.

      Um abraço!

  27. Urahara Nakano disse:

    Só uma Pergunta Adelson eu tenho um site de animes online e faço a lista deles por marcadores ou seja todas as listas de episódios do site está com /search/label/anime seria arriscado eu tirar o /search de disalow ou seria melhor eu fazer listas de animes em um post do blogger ? 😡 Mas esse topico ajudou bastante eu n sabia disso mesmo e isso está prejudicando demais meu site… http://www.animacurse.com.br

    • Adriano Luz disse:

      Olá, Urahara!

      O "search" pode mesmo ser desabilitado. O importante é indexar os links de cada uma das postagens, e não das categorias.

      Um abraço!

  28. Bruce Killer disse:

    Ótimo artigo, Adelson!

  29. Alberto Lozéa disse:

    Feito no meu http://www.sexyhelpdesk.net

    Vamos ver se fará alguma diferença. Abraço do SHD…

    • Adriano Luz disse:

      Olá, Alberto!

      Este é um refinamento interessante, que poderá lhe render ganhos de posicionamento nos resultados do Google. Torço para que sinta a diferença!

      Um abraço!

  30. Júlio Amancio disse:

    Muito bom o artigo, na verdade sou novo no ramo de blog e meu endereço nao aparece nas pesquisas do Google e disseram para que eu alterasse o robots, mas ja vi que como nçao sei o que estou fazendo o melhor e deixar do jeito que está rs.

  31. Scorpio disse:

    adelson boa noite!

    migrei do blooger para wordpress e não sei como criar o robo text para ele vc pode me ajudar?
    outra pergunta posso excluir os sitemaps do blogger e deixar apenas do wordpress nas ferramentas para webmasters?

    • Adriano Luz disse:

      Olá, Scorpio!

      Infelizmente, não sei como fazer isso no WordPress. Nessa hora, o Google pode ser um bom apoio, procurando por "robots.txt WordPress".

      Quanto aos sitemaps, só faz sentido manter os do Blogger enquanto seu blog existir lá. Se já foi substituído, pode removê-los.

      Um abraço!

  32. Estevão Veloso disse:

    Ótima dica!
    Como sou recente com blogs tenho certeza que aprenderei muito por aqui.
    Obrigado!

  33. luana oliveira disse:

    eu não rtou endendendo pra colocar do seu arquivo artual ???

  34. Malu Cristo disse:

    Nossa cara, vc tirou meu blog da forca rsrsrsrs. Sou nova comecei não tem nem um mês e tenho muitas dúvidas. Estou com a configuração original dos robots e tenho 13 páginas bloqueadas não sei o que fazer. Como as desbloqueio? Parabéns pelo post. Se vc puder da uma olhada lá no meu blog e me diga se tem algo errado http://saudebelezaplussize.blogspot.com.br/ Preciso da opinião de um especialista.
    Obrigada!

    • Adriano Luz disse:

      Olá, Malu!

      Você precisa verificar nas Ferramentas do Google para Webmasters quais são as páginas que estão bloqueadas. Se forem páginas de Categorias, por exemplo, isso está correto. É justamente isso que as configurações do robots.txt fazem, para evitar o conteúdo duplicado.

      Um abraço!

  35. Miqueias Santos disse:

    Olá a explicação foi ex no Blogger… Eu não uso o Blogger
    como posso colocar em meu site o robots.txt?

    • Adriano Luz disse:

      Olá, Miqueias!

      Sim, o robots.txt é um recurso que o Google e outros buscadores analisam em todos os sites da internet. Assim, você também pode (e deve!) utilizá-lo em seu site para fornecer as informações para a correta indexação de suas páginas

      Um abraço!

  36. Felipe Carvalho disse:

    Oi, eu li o artigo e adorei. Hoje eu fui o google e procurei sobre meu blog, antes aparecia nas buscas do google. Mas hoje não encontrou nada, eu troco muito o nome do blog, será que foi por isso, recentemente aparecia o nome dos dois endereços, será que foi por isso, que ele foi restringido? Agora o que eu posso fazer?
    Obrigado!!!!!!!

    • Adriano Luz disse:

      Olá, Felipe!

      Seu blog está sendo indexado corretamente e seus artigos podem ser vistos com a consulta site:modadepreto.blogspot.com no Google.

      Mas, realmente não é uma boa ideia alterar frequentemente o nome do seu blog, e muito menos o seu endereço. A cada vez que você faz isso, é como se recomeçasse do zero.

      Um abraço!

  37. Ademir Palacios disse:

    Ola Adelson,

    Quando coloco os sitemap em personalizar robos.txt e salvo recebo a mensagem que não está de acordo com formato.
    Então por não saber onde pego o sitemap correto dos blogs coloquei como abaixo e salvei:

    User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /search
    Allow: /

    Onde pego os sitemaps corretos ?

    Obrigado mais uma vez e um abraço.

    • Adriano Luz disse:

      Olá, Ademir!

      Uma forma bastante simples para você ver um sitemap correto é acessando o seu arquivo atual. Para isso, vá até o navegador, acesse a página inicial do seu blog e adicone /robots.txt ao final dela.

      Um abraço!

  38. Cursos 24 Horas disse:

    Olá, obrigado pelas dicas!
    🙂
    Sds,
    Bruno Silva!

  39. Ricardo Silva disse:

    Olá Adelson, tenho uma pequena dúvida meu blog http://trabalhoemcasalucrativo.blogspot.com.br/
    não tem nenhuma página duplicada, nenhuma restrição, como editar meu robots.txt para ficar visivél em todas as páginas!!!
    meu arquivo está assim:

    User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /search
    Allow: /

    Sitemap: http://trabalhoemcasalucrativo.blogspot.com/feeds/posts/default?orderby=UPDATED

    • Adriano Luz disse:

      Olá, Ricardo!

      Essa configuração padrão do Blogger já é suficiente para que todas as suas páginas fiquem visíveis ao Google.

      Um abraço!

  40. Wesley disse:

    Estava pensando em adicionar essa linha no robots.txt: Sitemap: http://example.blogspot.com.br/sitemap.xml. Seria necessário?

    • Adriano Luz disse:

      Olá, Wesley!

      Isso não é necessário. Você pode manter no arquivo a linha que já é incluída por padrão, referenciando o feed de artigos do blog.

      Um abraço!

  41. Wankar Rossi disse:

    não sei onde fica diretório-raiz do meu site porfavor me ajude
    pra mim colocar meu robots.txt

    • Adriano Luz disse:

      Olá, Wankar!

      Este artigo é focado em quem usa o Blogger. Nele, o arquivo é criado automaticamente, sem que você precise fazer o upload dele.

      Para outras plataformas, minha sugestão é pesquisar no Google.

      Um abraço!

  42. Alexandre Rodriz disse:

    Viva Adelson =)
    Recentemente recebi um email do Google indicando de que o googleboot não estava a indexar o meu blog… Fiquei intrigado e deveras surpreendido, e logo eu, que sou tão perfecionista e cuidadoso em questões de otimização para os motores de busca. Fui verificar e estava com tudo o que se relaciona com SEO zerado, tanto na ferramenta para webmasters, quando na configuração em blogger.com. Não faço a minima sobre como isso foi acontecer, até já me coloquei a questão de ter sido alvo de hackeamento, uma vez que estava a subir posições em algumas palavras que poderiam, eventualmente estar a provocar moças para alguém… enfim… um exemplo dessas palavras era 'antivirus' em primeira página Google e á frente de empresas tipo de enorme porte. Nem quero insinuar nada, a verdade é que me deparei perante esta situação, e o mais correto é pensar de que houve um erro qualquer no meio disto tudo. Todo este paleio para escrever, de que tive que recomeçar as configurações SEO do zero, e este artigo é de enorme utilidade para mim. Agora vou passar aos outros artigos SEO com o carimbo Adelson =)

    E já agora quero deixar uma sugestão ao Adelson e Leitores: Vão lá verificar as Vossa definições SEO, se estiver tudo oki, tanto melhor, mas imaginem que pode haver trocadilhos…. procedam à correção o quanto antes. Abraçu.

    • Adriano Luz disse:

      Olá, Alexandre!

      Que situação mais estranha a sua! Eu nunca havia ouvido um relato assim. Como você informou que o problema estava tanto nas Ferramentas para Webmasters quanto no Blogger,é improvável que tenha sido um problema nelas.

      Um sugestão que lhe faço é você ativer o mecanismo de Verificação em Duas Etapas que o Google oferece. Isso dificulta a invasão de sua conta. Veja mais detalhes em Evite que seu blog seja roubado.

      Um abraço!

    • Alexandre Rodriz disse:

      Obrigado Adelson, o Google já me tinha enviado essa recomendação por email, e eu naquela, ah e tal isso só acontece aos outros. Agora aprendi a lição e já estou a seguir esse Seu conselho que é muito mais VALIOSO do que muitos de nós possa julgar. Mas que é estranho é, ainda para mais que os serviços da Google estão cada dia mais excelentes e rigorosos. Quanto melhor conheço outras plataformas mais eu gosto do Blogger! Feliz 2014 =)

    • Adriano Luz disse:

      Olá, Alexandre!

      Aprendi que é importante guardar nossa conta do Google com o máximo de segurança possível. Afinal, temos tantos serviços dependentes dela que não vale a pena afrouxar a segurança.

      Um abraço e ótimo 2014 para você também!

  43. Consagra Jovem disse:

    Acho q o meu tem algo de errado eu não consigo achar meu blog no google n importa o quanto eu pesquise seu link…. e o meu robots.txt é assim

    User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /search
    Allow: /

    Sitemap: http://consagrajovem.blogspot.com/feeds/posts/default?orderby=UPDATED

    • Adriano Luz disse:

      Olá!

      Seu arquivo está correto, nos padrões do Blogger. Se você buscar um trecho exato de uma postagem sua no Google, verá que ela será encontrada, o que indica que seu blog já está sendo indexado corretamente.

      Um abraço!

  44. roger disse:

    por exemplo
    o que fazer apos google indexar
    http://www.dominio.com.br/2012/03/poste-1.html/view
    http://www.dominio.com.br/2012/03/poste-1.html

    seria conteudo duplicado como removo o /view que ja esta indexado??

    • Adriano Luz disse:

      Olá, Roger!

      Infelizmente, não sei dizer se, nessa situação o Google entenderá isso como conteúdo duplicado. Mas, o Blogger não publica os posts nessa estrutura de endereços, até onde me lembro.

      Você pode citar um exemplo de endereço real de um artigo que termine com o /view?

      Um abraço!

  45. Maria Luiza disse:

    Olá Adelson.
    Só para me certificar: o resultado final ficaria dessa forma?
    User-agent: Mediapartners-Google
    User-agent: *
    Disallow: /search
    Disallow: /view
    Allow: /

    2 disallow e um allow?

    Sitemap: http://www.gerenciandoblog.com.br/feeds/posts/de

    • Adriano Luz disse:

      Olá!

      É quase isso. Note que, após a linha "User-agent: Mediapartners-Google" é interessante manter o "Disallow: " que já vem configurado no Blogger.

      A forma mais simples de criar o artigo correto é você acessar o endereço http://www.divinasunhas.com/robots.txt para obter seu arquivo atual e acrescentar as 2 linhas do "Disallow: /search" e "Disallow: /view".

      Um abraço!

  46. J Barros disse:

    Olá Adelson, boa tarde.
    Gostaria de saber se pode me ajudar em um de meus blogs No Google Webmaster Tools não aparece com omarcador verde, como se tivesse ok. No terceiro (último ítem) "Busca de robots.txt" aparece um triangulo amarelo com um ponto de exclamação. O que pode ser isto? Obrigado.

    • Adriano Luz disse:

      Olá, J!

      Não aparece nenhuma informação adicional se você clicar no triângulo? Normalmente, isso mostraria o motivo do alerta.

      Um abraço!

  47. FifaNews Br disse:

    Olá Adelson!
    Recebi este recado no Ferramentas para webmasters hoje:

    "http://fifanewsbr.com.br/: o Googlebot não consegue acessar seu site
    Nas últimas 24 horas, o Googlebot encontrou 1 erros ao tentar acessar seu arquivo robots.txt. Para garantir que não rastreamos páginas listadas no arquivo, adiamos o rastreamento. A taxa geral de erros do arquivo robots.txt de seu site é 100.0%."

    Quando entro nos erros de rastreamento aparece uma exclamação no "Busca de robots.txt". Quando clico no triângulo aparece: "O Googlebot não foi capaz de acessar seu arquivo robots.txt e adiou o rastreamento do site em vez de arriscar no rastreamento de páginas não permitidas."
    Logo embaixo aparece: "O Google não conseguiu rastrear seu site porque não foi possível acessar o arquivo robots.txt."

    O que pode ter acontecido? Não mexi em nada, pode ser um erro temporário no servidor? O que devo fazer? Obrigado!

    • lobão disse:

      Se seu Site não exibir propagandas do AdSense, retire Mediapartners-Google e ponha, em seu lugar Googlebot. Só isso.

    • Adriano Luz disse:

      Olá!

      Note que isso ocorre apenas com o seu domínio sem o WWW (e isso ocorre também comigo esporadicamente).

      Eu acredito que isso tenha a ver com problemas temporários no redirecionamento dos endereços do Blogger. Se for isso mesmo, não há o que fazer – e também acredito que isso não seja prejudicial ao seu blog.

      Um abraço!

  48. Áquila Nícolas disse:

    Olá!

    Parabéns, esse foi o único blog em que encontrei o conteúdo bem explicado!

  49. Alexandre Rodriz disse:

    Boa Tarde Adelson =) Penso não exagerar se afirmar de que este é um dos artigos mais importantes que tem aqui publicado no gerenciandoblog. Ha cerca de 1 semana fiz uma modificação no ficheiro robots.txt, e hoje ao ir verificar o nº de visistas, simplesmente, houve uma inversão de cerca de 7000 para 300 (até escrevo em extenso: De 7000 para 300). Impressionante hein! Ora, toca entao de guglar gerenciandoblog+robots e aqui estou eu a comentar e a dizer um MUITO OBRIGADO! Como esta nossa cabeça não fixa tudo, este seu artigo foi o meu apoio para a devida correção =) Agora resta aguardar para que a minha burrada seja reposta nos search engine's.

  50. Frases de Juahrez Alves disse:

    Amigo, a verificação em duas etapas atrapalha o rastreador do Google Adsense?
    Obrigado,
    Juarez Alves

  51. SportVix disse:

    Olá Amigo. Primeiramente gostaria de dar os parabéns pelo Blog/website que tira todas as dúvidas possíveis, sendo desnecessário procurar em outro local. Vamos lá … eu tenho o interesse de utilizar como teste o robots.txt personalizado. Como eu faço para verificar se tive retorno a partir do momento que eu o personalizo? Pelas Estatísticas e visitas diárias, ou seja, se aumentar o número de visitas quer dizer que funcionou? E para voltar ao robots.txt inicial basta retirar a opção de ativação do robots personalizado, certo? Aguardo seu retorno. Desde já agradeço pela atenção.

  52. Renda Qualificada disse:

    Olá Adelson, muito bom o artigo.
    Ao acessar meu robots.txt aparece a seguinte informação:

    User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /search
    Allow: /

    Oque acontece que ao acessar o final /sitemap.xml do meu site aparece assim:
    Not Found

    Error 404

    No ferramentas para webmaster está configurado o seguinte sitemaps /feeds/posts/default e /atom.xml

    Precisaria alterar o robots.txt e trocar o Sitemap que ele informa ?

    Desde jã Obrigado
    Jean Vargas

  53. VillarteDesign Artesanato disse:

    Olá, Adelson!

    Talvez você possa me ajudar. Nunca enviei um sitemap a lugar nenhum, porque nunca soube o que é sitemap e nem para onde enviar. Tenho Mais de 1.000 artigos publicados, dos quais mais de 500 bloqueados por robots. Testei meu endereço como informado em seu artigo e o que aparece é isto:

    User-agent: Mediapartners-Google
    Disallow:

    User-agent: *
    Disallow: /search
    Allow: /

    Aparentemente, como entendi por seu artigo, os buscadores procuram por um sitemap. Devo trocar tudo por um endereço de feed? Como seria exatamente este endereço de feed?

    Sua página já me ajudou inúmeras vezes. Parabéns. Aguardo sua avaliação e agradeço.

  54. Claudio Gomes disse:

    Lembrando com a recente atualização do Google muitos blogueiros recebendo e-mails avisando que agora precisa de acesso aos arquivos JS e CSS.

    O Googlebot não consegue aceder a ficheiros CSS e JS em seu blog

    Para quem tem dúvidas de como resolver segue um tutorial de como resolver http://blogmarketingonline.com.br/o-googlebot-nao-consegue-aceder-a-ficheiros-css-e-js-em-seu-blog/

  55. Rapha ThunderWolf disse:

    Boa noite, uma pergunta o meu site é .com.br e no robots.txt aparece o meu link .com só isso esta correto? É assim mesmo? Ou eu fiz algo errado? Agradeço.

  56. Gomes pintor disse:

    Gostaria de saber o que acontece se eu deixar o código assim
    User-agent: Mediapartners-Google
    User-agent: *
    Allow: /

  57. Trooper-br disse:

    Boa noite, se eu fizer alteração para noindex para páginas de pesquisa no "robots.txt personalizado", e não quiser nenhuma outra alteração, existe necessidade de se fazer a mesma coisa através do "Tags de cabeçalho de robôs personalizadas"?
    Obrigado!

  58. Leandro disse:

    Muito obrigado Adelson, tirou o meu medo de configurar os robots no blogger, na verdade fiz exatamente como explicou em seu artigo…

  59. Laerte Favero disse:

    Congratulações ! Pergunta: como devo separar as palavras chaves na caixa do conteúdo robots.txt personalizado ? separo as palavras com virgula ou digito uma e dou "Enter". Obrigado.

Para enviar seu comentário, preencha os campos abaixo:

Por gentileza, se deseja alterar o arquivo do rodapé,
entre em contato com o suporte.
Quer aprender como R$173.571,73 como Afiliado em 4 meses?Quero Assistir o Vídeo!