Até pouco tempo, quem visitava o seu site era gente e o robô do Google. Hoje, a maior parte dos robôs que passam pelos nossos perfis é de empresas de IA, e cada um tem um nome e um motivo diferente.
O que são crawlers de IA (GPTBot, PerplexityBot, ClaudeBot) e quais deixar entrar?
Crawlers de IA são os robôs que OpenAI, Perplexity, Anthropic e outras mandam ao seu site: uns para treinar modelos, outros para a busca. Bloquear os de busca tira você das respostas.
ThairaHub
3 min de leitura · 10 de outubro de 2026Lido por 1 IA: Anthropic
Quais são os principais crawlers de IA?
Este é o resumo do que OpenAI, Perplexity e Anthropic dizem nas próprias documentações, consultadas em outubro de 2026:
| Robô | Empresa | Para quê | Respeita o robots.txt? |
|---|---|---|---|
| GPTBot | OpenAI | coletar conteúdo para treinar modelos | sim |
| OAI-SearchBot | OpenAI | a busca do ChatGPT | sim |
| ChatGPT-User | OpenAI | abrir uma página quando alguém pede | pode não respeitar |
| PerplexityBot | Perplexity | a busca do Perplexity (não treina modelos) | sim |
| Perplexity-User | Perplexity | abrir uma página quando alguém pergunta | em geral, não |
| ClaudeBot | Anthropic | coletar conteúdo para os modelos | sim |
| Claude-SearchBot | Anthropic | melhorar a busca | sim |
| Claude-User | Anthropic | pedidos de quem usa o Claude | sim |
Uma frase da documentação da OpenAI vale ser guardada:
"Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers."
Quem bloqueia o OAI-SearchBot não aparece nas respostas de busca do ChatGPT. A mesma documentação diz que bloquear o GPTBot indica que o conteúdo não deve ser usado em treino, e o Perplexity diz que o PerplexityBot não é usado para treinar modelos.
O que chegou nos nossos perfis?
Nos 30 dias até 6 de outubro de 2026, o perfil do João, joaothaira.com, recebeu 68 visitas de robôs de IA: 31 do ClaudeBot, 13 do Amazonbot, 9 do GPTBot, 7 do OAI-SearchBot, 3 da Meta, 2 do PerplexityBot, 2 do ChatGPT-User e 1 do Bytespider. O da ThairaHub, que ainda estava quase vazio, recebeu 30, todas de robôs de coleta: Meta, Amazon e ClaudeBot.
A lição que tiramos: a maior parte do tráfego de IA é coleta para treino. As visitas que significam "alguém perguntou sobre você agora", como as do ChatGPT-User, são poucas, e são as que mais valem.
Quais deixar entrar?
A nossa recomendação, para quem quer ser citado:
- Os robôs de busca (OAI-SearchBot, PerplexityBot, Claude-SearchBot): deixe entrar, sempre. São eles que colocam você nas respostas com fontes.
- Os robôs de treino (GPTBot, ClaudeBot): é uma escolha. Deixar entrar ajuda a IA a saber de você quando responde de memória; bloquear impede que o seu texto vá para o treino.
- Os que agem a pedido de alguém (ChatGPT-User, Perplexity-User): pela própria documentação, podem não seguir o robots.txt, porque quem pediu foi uma pessoa.
Como saber se é o robô de verdade?
Qualquer um pode se apresentar como GPTBot. Por isso, OpenAI, Perplexity e Anthropic publicam as listas de endereços de onde os robôs delas saem, como openai.com/gptbot.json e perplexity.com/perplexitybot.json. Conferir o endereço de origem com essa lista é o que separa o robô verdadeiro de um imitador. O Thaira confere assim as visitas da OpenAI e do Perplexity, entre outras.
Bloquear o GPTBot me tira do ChatGPT?
Não exatamente. O GPTBot é o robô de treino. A busca do ChatGPT usa o OAI-SearchBot. Bloqueando só o GPTBot, você pode continuar aparecendo nas respostas com busca, mas o seu conteúdo não deve ser usado para treinar os modelos.
Crawlers de IAGPTBotrobots.txtGEO
