Existe mesmo uma linha única para bloquear o treinamento de IA?
Existe uma proposta, e três empresas disseram que pretendem honrá-la. Segundo a Search Engine Journal (1º de novembro de 2026), Google, Microsoft e OpenAI anunciaram na sexta-feira, 30 de outubro, planos de respeitar uma linha compartilhada de robots.txt. O site declararia uma preferência de treinamento para todos os provedores que participam, em vez de escrever regras para o crawler de cada empresa.
A linha vem de um Internet Draft enviado por Kevin Kelley, da Anthropic, ao grupo de trabalho AI Preferences do IETF. É um rascunho individual, que não representa uma padronização oficial do IETF. Segundo a mesma fonte, nenhuma das três empresas aceita a linha hoje, com base nos prazos que elas mesmas deram.
Como a linha funciona?
O rascunho não cria uma diretiva nova. Usa um grupo comum de regras de robots.txt, com Allow e Disallow, sob um nome que ele chama de policy token (um identificador de política): __usage_ai-training. O exemplo do rascunho bloqueia o treinamento no site inteiro, menos na pasta /press-kit/:
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/O rascunho define treinamento de IA como usar conteúdo para modificar os parâmetros aprendidos de um modelo generativo. Modelos que só classificam ou ordenam resultados ficam fora dessa definição.
O que a linha não faz?
O rascunho tem limites que importam para quem vai editar o arquivo:
- Um grupo curinga (User-Agent:
*)nunca vale para esse identificador. - Um robots.txt sem o grupo
__usage_ai-trainingindica nenhuma preferência. Segundo Kelley, é o caso de todo robots.txt publicado hoje. - Regras que já estão no arquivo não contam como preferência compartilhada de treinamento.
- O identificador não controla rastreamento (crawling).
Em 22 de outubro, a SEJ cobriu outro rascunho do grupo, com coautoria de Gary Illyes, do Google, que adicionaria uma regra Content-Usage ao robots.txt. Segundo Kelley, o grupo pôs esse rascunho de lado para avançar no vocabulário.
O que cada empresa vai fazer com a linha?
As três anunciaram planos diferentes. A tabela resume o que a SEJ relatou em 1º de novembro de 2026.
| Empresa | Quando | Como trata a linha | O que muda para o site |
|---|---|---|---|
| Início de 2027 | Trata como um bloqueio do Google-Extended, se o site não especificar o Google-Extended | Treinamento e grounding no Gemini Apps ficam juntos | |
| Microsoft | Aceita a partir de 1º de fevereiro de 2027 | Adota a linha para treinamento e cria uma preferência separada de grounding | Substitui NoArchive e NoCache para treinamento e grounding |
| OpenAI | "Nos próximos meses" | Pretende honrar o sinal; a política atual de robots.txt continua valendo | A documentação não diz o que acontece se a linha e o GPTBot entrarem em conflito |
| Anthropic | Sem data | Kelley disse que o desenvolvimento começou; levará tempo em todos os serviços | Hoje há três controles: ClaudeBot, Claude-User e Claude-SearchBot |
Grounding é fornecer ao modelo conteúdo do índice de busca no momento em que ele responde, segundo a descrição do Google.
O que o Google pretende fazer?
No post de John Mueller, o Google diz que, se o site recusar o treinamento pela linha compartilhada e não especificar o Google-Extended, vai interpretar isso assim:
"as if the publisher had disallowed Google-Extended."
("como se o publicador tivesse bloqueado o Google-Extended.") — John Mueller, post do Google, citado pela Search Engine Journal em 1º de novembro de 2026.
O Google mira o suporte em 2027, e a documentação do crawler fala em início de 2027. A documentação diz que o Google-Extended controla o uso do conteúdo para treinar futuros modelos Gemini e também para grounding no Gemini Apps e no Vertex AI. Ele não afeta a inclusão do site na Busca. Os AI Overviews e o AI Mode têm um opt-out separado, o controle de IA generativa da Busca, no Search Console.
Há uma consequência prática. A SEJ aponta que a documentação do Google não descreve um jeito de ficar fora do treinamento do Gemini e ainda permitir grounding no Gemini Apps. Segundo o post, sites que permitem o Google-Extended de forma explícita podem aparecer nas respostas do Gemini Apps por grounding.
O que a Microsoft pretende fazer?
A Microsoft, em post de Krishna Madhavan, adota a linha para o treinamento e cria uma preferência separada, a de AI Grounding. Ela só vale no nível da página e define se o conteúdo pode ajudar a informar respostas geradas por IA. O padrão é permitir. Uma meta tag ou um cabeçalho HTTP também pode definir a preferência de treinamento de uma página e prevalece sobre o robots.txt naquela página.
A opção nova DisallowExtended bloqueia o grounding em ferramentas da própria Microsoft, como o Copilot e o AI Mode do Bing. Ela não bloqueia o grounding por serviços que a Microsoft fornece a outras empresas (Web IQ). A Microsoft avisa que qualquer restrição reduz a visibilidade da marca nas respostas de IA, sem efeito na listagem nos resultados de busca do Bing.
Os prazos são estes:
- 15 de dezembro de 2026: abre uma preferência temporária no Bing Webmaster Tools, só para sites que ainda usam NoArchive ou NoCache nessa data e querem ficar fora do grounding.
- 1º de fevereiro de 2027: a Microsoft começa a honrar as novas opções ao rastrear.
- 1º de março de 2027: as tags antigas deixam de valer como opções de treinamento ou grounding. Segundo o FAQ da empresa, páginas sem preferência nessa data permitem grounding até serem rastreadas de novo.
A Microsoft também diz que, ao detectar uma das novas preferências em um site, ignora as tags NoArchive e NoCache que ainda estiverem nele.
E OpenAI e Anthropic?
A OpenAI pretende honrar o sinal nos próximos meses, e a política atual de robots.txt continua valendo. Nem o post da OpenAI nem a documentação do crawler (consultada em 30 de outubro) dizem o que acontece se o site tiver a linha compartilhada e uma regra para o GPTBot em conflito.
Da Anthropic, a SEJ não encontrou, em 30 de outubro, nenhuma publicação na sala de imprensa sobre o sinal. Pela mensagem de Kelley à lista do grupo, o desenvolvimento começou, mas levará tempo para chegar a todos os serviços.
O que o dono do site pode fazer esta semana?
Nada precisa ser editado agora, porque nenhuma das três empresas aceita a linha hoje. Mas dá para se preparar:
- Liste o que você já usa. Veja no seu robots.txt as regras para Google-Extended e GPTBot, e nas páginas as tags NoArchive e NoCache.
- Decida o que quer bloquear. Treinamento, grounding ou os dois. No Google os dois andam juntos; na Microsoft são separados.
- Se você usa NoArchive ou NoCache para limitar o Copilot, a Microsoft é a única que substitui controles existentes. Marque o dia 15 de dezembro de 2026 e o dia 1º de março de 2027.
- Não retire as regras atuais. Google, OpenAI e Kelley dizem que os controles existentes continuam valendo.
- Volte a conferir. O rascunho de Kelley expira em 3 de maio de 2027, a menos que uma nova versão o substitua, e ele pretende propor o desenho como mudança no rascunho Content-Usage. Os detalhes podem mudar.
Uma ressalva: bloquear treinamento ou grounding pode reduzir a presença da marca nas respostas de IA, como a própria Microsoft avisa. Vale decidir isso sabendo o que você quer perder e o que quer proteger.
