Pular para o conteúdo

Esta página é uma tradução automática da página em inglês, que é a versão de referência. Ler a página em inglês

Mecanismos de busca e rastreadores de IA

O que o servidor informa aos mecanismos de busca e aos rastreadores de IA, as configurações que mudam isso e como verificar o que ele serve.

robots.txt e as meta tags são declarações que os rastreadores podem ou não respeitar; elas não são um bloqueio técnico. Se você precisa bloquear, use um WAF ou limitação de taxa.

Escopo Configuração Onde alterar Quando não definida
Servidor search_indexing (allow / deny) As seções “Mecanismos de busca” e “IA” na página “Busca e rastreadores” das configurações do servidor na administração, my instance set, PATCH /api/v1/admin/settings (Configurações da instância) deny
Servidor ai_usage (allow / deny_training / deny) Igual deny
Servidor indexable_default (o indexable das contas novas) Igual false
Servidor security_contact (onde relatar vulnerabilidades) Igual Vazio (nenhum security.txt é servido)
Pessoa indexable (aparecer na busca) “Mecanismos de busca e IA” nas configurações do perfil, PATCH /api/v1/accounts/update_credentials indexable_default no cadastro
Pessoa ai_opt_out (recusar o treinamento e o uso por IA) Igual false
  • A declaração de uma página é a mais restritiva entre a configuração do servidor e a do dono da página. Uma pessoa não pode permitir mais do que o servidor permite.
  • Os mecanismos de busca são informados de que podem indexar apenas os perfis e as publicações public de contas com indexable = true, em um servidor com search_indexing = allow. Um servidor que quer ser encontrado na busca altera tanto search_indexing quanto indexable_default. Quem se cadastrou antes de você alterar indexable_default não é incluído até escolher indexable por conta própria.
  • Uma configuração alterada passa a valer em /robots.txt, nas páginas e nas respostas de mídia sem reiniciar.
Resposta Quando recusa a busca Quando recusa IA
Páginas de perfis e de publicações public noindex, noarchive em <meta name="robots"> e X-Robots-Tag noai, noimageai, Content-Usage: train-ai=n (train-ai=n, ai-use=n para deny), e tdm-reservation: 1 (cabeçalho e meta)
Publicações unlisted, páginas 404 de páginas ocultas ou inexistentes, páginas de contas remotas, telas do aplicativo (/home, /settings e assim por diante) noindex, noarchive, qualquer que seja a configuração Segue a configuração do servidor
/, /about, /about/crawler Segue a configuração do servidor Segue a configuração do servidor
/media/ (quando este servidor a serve) Segue a configuração do servidor. Sem declaração por dono Segue a configuração do servidor. Sem declaração por dono
A API de cliente, documentos ActivityPub, /.well-known/, /nodeinfo/, telas de login e OAuth X-Robots-Tag: noindex Não adicionado (o robots.txt basta)

noindex não impede as pré-visualizações de links (veja Pré-visualizações de links).

GET /robots.txt é montado a partir das configurações do servidor e da lista de rastreadores de IA incluída no binário (text/plain; charset=utf-8, Cache-Control: public, max-age=3600, ETag). Os operadores não podem adicionar regras próprias.

  • Se ai_usage for deny_training ou deny, os rastreadores de treinamento (GPTBot, ClaudeBot, CCBot, Google-Extended, Applebot-Extended e assim por diante) recebem Disallow: /.
  • Se ai_usage for deny_training ou deny, um grupo User-agent: __usage_ai-training com Disallow: / declara uma preferência contra o treinamento de IA para todos os caminhos, qualquer que seja o rastreador que busca o conteúdo (o Internet-Draft draft-kelley-aipref-training-preference-signal). Ele nomeia um uso, não um rastreador, então não impede nenhuma busca. Com ai_usage = allow, o grupo fica de fora, porque não declara preferência alguma: o Allow: / dele declararia uma preferência a favor do treinamento para todos os caminhos, inclusive as páginas das pessoas que definiram ai_opt_out.
  • Se ai_usage for deny, os rastreadores de busca de IA, de assistentes e de agentes (OAI-SearchBot, ChatGPT-User, Claude-User, PerplexityBot e assim por diante) também recebem Disallow: /.
  • Todos os rastreadores (User-agent: *) são recusados apenas em /api/, /oauth/, /auth/, /ap/ e /media/proxy/, e as configurações são declaradas nas linhas Content-Usage (o rascunho IETF AI Preferences) e Content-Signal (Content Signals). Recusar a busca não gera Disallow: /: bloquear as buscas impediria os rastreadores de ler o noindex, e também impediria os buscadores de pré-visualização de links que obedecem ao robots.txt.
  • /.well-known/ e /nodeinfo não são recusados, para que as listas de servidores e as estatísticas continuem funcionando.
  • Quando account_domain é separado do host, o lado do host é quem o serve. O robots.txt do domínio do identificador (handle) é assunto do próprio operador.
Caminho Quando é servido Conteúdo
/.well-known/tdmrep.json ai_usage é qualquer valor diferente de allow [{"location": "/*", "tdm-reservation": 1}] (TDM Reservation Protocol). 404 para allow
/.well-known/security.txt security_contact está definido Contact, Expires (30 dias após o horário da resposta), Preferred-Languages (default_locale e en), Canonical (RFC 9116)

A página de informações da instância (/about) mostra se a busca e a IA são permitidas, e o que significa a declaração, a partir de search_indexing e ai_usage em GET /api/v1/instance. A explicação coloca as declarações em relação ao artigo 30-4 da Lei de Direitos Autorais do Japão (tais declarações não podem ser tratadas como uma recusa legal) e ao artigo 4 da Diretiva DSM da UE (uma reserva legível por máquina para mineração de textos e dados). Ela não garante nenhum efeito jurídico.

Essas configurações tratam do que rastreia este servidor. O servidor também rastreia outros sites para os cards de links nas publicações, como my-linkcard: ele obedece ao robots.txt e às diretivas das páginas vinculadas, e limita as suas requisições por host, como descreve pré-visualizações de links. Esse rastreador é definido por link_cards, link_cards_ignore_robots_txt e, por domínio, com domínios de link cards.

Os operadores desses sites leem sobre isso em https://<host>/about/crawler, para onde /about aponta (a página para operadores de sites). Com link_cards_ignore_robots_txt ativado, eles não podem optar por sair pelo robots.txt, e a página diz isso: só podem limitar o card com as diretivas das páginas delas, ou pedir a você uma regra para o domínio delas.

  • O ai_opt_out de uma pessoa é declarado apenas nas páginas que este servidor serve. A mídia não tem dono na chave, e algumas configurações deixam um CDN servi-la diretamente, então a mídia carrega apenas a declaração de todo o servidor. As declarações nas páginas servidas por outros servidores ficam por conta desses servidores (nenhuma extensão ActivityPub própria é enviada).
  • ai_usage = deny também declara uma recusa das ações em que um usuário do ChatGPT ou de um serviço semelhante faz com que uma página deste servidor seja lida.
  • O indexable de uma conta remota (toot:indexable do Mastodon) é recebido e armazenado. Páginas de contas remotas são sempre noindex neste servidor.
  • O indexable também decide se as publicações de uma pessoa entram na busca de texto completo própria deste servidor, em um servidor com mecanismo de busca. Ali ele cobre as visibilidades de search_visibilities, que podem incluir local. search_indexing não tem efeito nessa busca, e o que os mecanismos de busca são informados continua como esta página descreve.

Servindo mídia a partir de armazenamento de objetos ou de um CDN

Seção intitulada “Servindo mídia a partir de armazenamento de objetos ou de um CDN”

Quando o armazenamento de objetos ou um CDN serve a mídia diretamente, as respostas de /media/ não passam por este servidor e não carregam os cabeçalhos da tabela acima. A declaração de todo o servidor continua valendo para tudo, por meio de /robots.txt; para adicionar os cabeçalhos também, inclua o seguinte em /media/* nas regras de cabeçalho de resposta do CDN (um exemplo para ai_usage = deny).

X-Robots-Tag: noindex, noarchive, noai, noimageai
Content-Usage: train-ai=n, ai-use=n
tdm-reservation: 1

Quando você alterar as configurações, altere as regras do CDN para combinar. /media/proxy/ é servido por este servidor, então não precisa de regra.

A lista é gerada a partir do robots.json de ai-robots-txt/ai.robots.txt (MIT) e incluída no binário. Ela não é buscada em tempo de execução, então uma lista mais nova vem com uma atualização.

Janela do terminal
curl -sS https://<host>/robots.txt
curl -sS -o /dev/null -D - -H 'Accept: text/html' https://<host>/@alice | grep -iE 'x-robots-tag|content-usage|tdm-reservation'
curl -sS https://<host>/.well-known/tdmrep.json
curl -sS https://<host>/.well-known/security.txt
  • Em um servidor sem configurações, /robots.txt tem User-agent: GPTBot, User-agent: __usage_ai-training e Content-Usage: search=n, train-ai=n, ai-use=n, e os perfis trazem X-Robots-Tag: noindex, noarchive, noai, noimageai.
  • Com search_indexing = allow e ai_usage = allow, o perfil de uma conta que escolheu indexable não traz X-Robots-Tag, e /.well-known/tdmrep.json retorna 404.

Para LLMs e agentes de programação:llms.txt,llms-full.txt, llms-small.txt

Análise de acesso deste site