O que o robots.txt faz de fato?
O robots.txt é um arquivo na raiz do site com regras para robôs (os crawlers, programas que visitam páginas para lê-las). Ele diz onde o robô pode ou não entrar. Só isso.
Em um vídeo do Search Central de 21 de outubro de 2026, Gary Illyes, do Google, explicou que as regras padrão do robots.txt, segundo a RFC 9309, definem apenas o que os robôs que as respeitam podem rastrear. Elas não controlam como os sistemas usam o conteúdo depois de rastreado (Search Engine Journal, 24 de outubro de 2026).
"an access preference protocol"
("um protocolo de preferência de acesso")
— Gary Illyes, Google, ao descrever o robots.txt em vídeo do Search Central de 21 de outubro de 2026, segundo o Search Engine Journal.
A própria introdução do Google ao assunto diz que o arquivo "is not a mechanism for keeping a web page out of Google", ou seja, "não é um mecanismo para manter uma página fora do Google" (citada pelo Search Engine Journal em 26 de outubro de 2026).
Uma página bloqueada no robots.txt pode aparecer no Google?
Pode. A documentação do Google diz que uma página bloqueada no robots.txt ainda pode ser indexada se for linkada a partir de outros sites (Search Engine Journal, 26 de outubro de 2026).
Nesse caso o Google não rastreia o conteúdo. Mas a URL, e possivelmente o texto dos links que apontam para ela, pode aparecer nos resultados, sem descrição.
O Search Console tem até um status para isso no relatório de indexação de páginas: "Indexed, though blocked by robots.txt" ("indexada, embora bloqueada pelo robots.txt"). A ajuda do Google para esse status manda remover o bloqueio e usar noindex.
Como tirar uma página das respostas do Google?
Use a regra noindex, que pode ir numa tag meta robots ou no cabeçalho HTTP X-Robots-Tag. Ela diz ao Google para não indexar a página.
Há uma armadilha. A página do Google sobre noindex avisa que a regra só funciona se o robots.txt não bloquear a página, porque senão "the crawler will never see the noindex rule" ("o robô nunca verá a regra noindex"). Ou seja: bloquear e pôr noindex ao mesmo tempo anula o noindex.
O Google também diferencia o alcance dos dois, segundo a página "Control what you share", atualizada em 21 de outubro de 2026: robots.txt vale para "imagens e vídeo"; noindex vale para "todos os tipos de conteúdo".
| O que você quer | O que usar | Cuidado |
|---|---|---|
| Que o robô não visite um caminho | Disallow no robots.txt | A URL ainda pode ser indexada se for linkada |
| Que a página saia do índice do Google | noindex (meta tag ou X-Robots-Tag) | Não bloqueie a página no robots.txt, ou o Google não lê o noindex |
| Tirar o site do ar por pouco tempo | Código 503 | Por no máximo 1 a 2 dias |
Em 26 de outubro de 2026, o Google atualizou seu guia de spam com a seção "Only index content meant for Search". Para páginas feitas para compartilhamento, colaboração ou utilidade, e não para a busca, ele sugere noindex ou bloqueio de rastreamento por padrão (Search Engine Journal, 26 de outubro de 2026). O mesmo texto lembra que, se o robots.txt bloqueia a página, o Googlebot nunca lê o noindex. Por isso, se a ideia é tirar a página do índice, o noindex é o caminho.
E as IAs: o robots.txt impede que usem o meu conteúdo?
Parcialmente, e depende do robô. Cada empresa de IA tem um ou mais robôs, e a regra vale para o nome (o user-agent) de cada um.
- Google: o token Google-Extended controla se o conteúdo rastreado pode ser usado para treinar futuros modelos Gemini e para ancorar respostas no app Gemini e na Vertex AI. O Google diz que ele não afeta a inclusão na Busca. Não é um robô separado: não tem user-agent próprio.
- OpenAI: a documentação separa busca e treinamento. Um site pode permitir o OAI-SearchBot e bloquear o GPTBot, para indicar que o conteúdo não deve servir para treinamento (Search Engine Journal, 24 de outubro de 2026).
- Robôs acionados por usuários: o Google diz que os user-triggered fetchers em geral ignoram o robots.txt. O Google-Agent, que navega em nome de agentes hospedados pelo Google, é um deles.
Há ainda um rascunho, co-escrito por Illyes no IETF, que acrescentaria ao robots.txt uma regra Content-Usage para declarar preferências de uso. Em 24 de outubro de 2026 ele ainda era um documento de grupo de trabalho, sem aprovação.
Um sinal de descoberta também não é permissão. Em 15 de outubro de 2026, Cloudflare e OpenAI relataram um piloto em que sinais ajudaram o robô da OpenAI a achar páginas novas. O texto diz: "A signal about a page doesn't grant permission to access it" ("um sinal sobre uma página não dá permissão para acessá-la").
Posso usar o robots.txt durante uma manutenção?
Não é o indicado. Em 21 de outubro de 2026, o Google Search Central lembrou, num post no LinkedIn, que quem tira servidores do ar para corrigir o PHP deve devolver um código 503. Segundo o post, o 503 "garante que URLs já indexadas sejam preservadas na Busca enquanto você trabalha" (tradução nossa). O Google recomenda evitar páginas de erro 404 ou 200 nessa situação.
Três detalhes da documentação, citados pelo Search Engine Journal em 24 de outubro de 2026:
- O Google recomenda servir 503 por no máximo 1 a 2 dias. Depois de vários dias, ele pode tirar a URL do índice.
- John Mueller, do Google, lembrou no Bluesky que o 503 não precisa ser servido pelo PHP. Se o PHP está fora do ar, a resposta tem de vir de algo que continue no ar, como uma regra de CDN ou um servidor temporário para onde o DNS aponte.
- Segundo o guia do Google para pausar um site, se você devolve 503 para as requisições ao próprio robots.txt, todo o rastreamento fica bloqueado.
O que fazer esta semana?
- Liste as páginas que você bloqueou no robots.txt achando que sairiam do Google.
- No Search Console, veja se alguma aparece como "Indexed, though blocked by robots.txt".
- Se a página não deve aparecer, remova o Disallow dela e ponha noindex. Espere o Google ler a regra antes de pensar em bloquear de novo.
- Se você quer separar busca e treinamento de IA, use as regras por robô (Google-Extended, GPTBot, OAI-SearchBot), sabendo que elas valem para quem as respeita.
- Deixe anotado: manutenção programada é 503, por pouco tempo, e nunca no robots.txt.
Se quiser ver quais robôs de IA passaram pelo seu site, é isso que a Thaira mede. A Thaira é nossa: você a encontra em thaira.ai.
