Esta página es una traducción automática de la página en inglés, que es la versión de referencia. Leer la página en inglés
Motores de búsqueda y rastreadores de IA
Qué comunica el servidor a los motores de búsqueda y a los rastreadores de IA, la configuración que lo cambia y cómo verificar lo que sirve.
robots.txt y las metaetiquetas son declaraciones que los rastreadores pueden respetar o no; no son un bloqueo técnico. Si necesitas bloquear, usa un WAF o limitación de frecuencia.
Ajustes
Sección titulada «Ajustes»| Ámbito | Ajuste | Dónde cambiarlo | Si no está definido |
|---|---|---|---|
| Servidor | search_indexing (allow / deny) |
Las secciones «Motores de búsqueda» e «IA» de la página «Búsqueda y rastreadores» de los ajustes del servidor de administración, my instance set, PATCH /api/v1/admin/settings (Ajustes de la instancia) |
deny |
| Servidor | ai_usage (allow / deny_training / deny) |
Igual | deny |
| Servidor | indexable_default (el indexable de las cuentas nuevas) |
Igual | false |
| Servidor | security_contact (dónde informar de vulnerabilidades) |
Igual | Vacío (no se sirve security.txt) |
| Persona | indexable (aparecer en la búsqueda) |
«Motores de búsqueda e IA» en los ajustes del perfil, PATCH /api/v1/accounts/update_credentials |
indexable_default en el registro |
| Persona | ai_opt_out (rechazar el entrenamiento y el uso por IA) |
Igual | false |
- La declaración de una página es la más estricta entre el ajuste del servidor y el ajuste del titular de la página. Una persona no puede permitir más de lo que permite el servidor.
- A los motores de búsqueda se les dice que pueden indexar solo los perfiles y las publicaciones
publicde las cuentas conindexable = true, en un servidor consearch_indexing = allow. Un servidor que quiere ser encontrable cambia tantosearch_indexingcomoindexable_default. Las personas que se registraron antes de que cambiarasindexable_defaultno se incluyen hasta que elijanindexablepor sí mismas. - Un ajuste cambiado surte efecto en
/robots.txt, en las páginas y en las respuestas de multimedia sin reiniciar.
Qué devuelve el servidor
Sección titulada «Qué devuelve el servidor»| Respuesta | Al rechazar la búsqueda | Al rechazar la IA |
|---|---|---|
Páginas de perfiles y publicaciones public |
noindex, noarchive en <meta name="robots"> y X-Robots-Tag |
noai, noimageai, Content-Usage: train-ai=n (train-ai=n, ai-use=n para deny) y tdm-reservation: 1 (encabezado y meta) |
Publicaciones unlisted, páginas 404 de páginas ocultas o inexistentes, páginas de cuentas remotas, pantallas de la aplicación (/home, /settings, etc.) |
noindex, noarchive sea cual sea la configuración |
Sigue la configuración del servidor |
/, /about, /about/crawler |
Sigue la configuración del servidor | Sigue la configuración del servidor |
/media/ (cuando este servidor lo sirve) |
Sigue la configuración del servidor. Sin declaración por propietario | Sigue la configuración del servidor. Sin declaración por propietario |
La API de cliente, los documentos de ActivityPub, /.well-known/, /nodeinfo/, las pantallas de inicio de sesión y de OAuth |
X-Robots-Tag: noindex |
No se añade (robots.txt basta) |
noindex no impide las vistas previas de enlaces (consulta Vistas previas de enlaces).
/robots.txt
Sección titulada «/robots.txt»GET /robots.txt se construye a partir de la configuración del servidor y de la lista incluida de rastreadores de IA (text/plain; charset=utf-8, Cache-Control: public, max-age=3600, ETag).
Los operadores no pueden añadir reglas propias.
- Si
ai_usageesdeny_trainingodeny, los rastreadores de entrenamiento (GPTBot,ClaudeBot,CCBot,Google-Extended,Applebot-Extended, etc.) recibenDisallow: /. - Si
ai_usageesdeny_trainingodeny, un grupoUser-agent: __usage_ai-trainingconDisallow: /declara una preferencia contra el entrenamiento de IA para todas las rutas, sea cual sea el rastreador que recupere el contenido (el borrador de Internetdraft-kelley-aipref-training-preference-signal). Nombra un uso, no un rastreador, así que no detiene ninguna recuperación. Conai_usage = allowel grupo se omite, lo que no declara ninguna preferencia, porque suAllow: /declararía una preferencia a favor del entrenamiento para todas las rutas, incluidas las páginas de las personas que definieronai_opt_out. - Si
ai_usageesdeny, los rastreadores de búsqueda de IA, asistentes y agentes (OAI-SearchBot,ChatGPT-User,Claude-User,PerplexityBot, etc.) también recibenDisallow: /. - A todos los rastreadores (
User-agent: *) solo se les rechaza/api/,/oauth/,/auth/,/ap/y/media/proxy/, y la configuración se declara en líneasContent-Usage(el borrador de preferencias de IA del IETF) yContent-Signal(Content Signals). Rechazar la búsqueda no produceDisallow: /: bloquear las recuperaciones impediría que los rastreadores leyerannoindex, y también impediría que los recuperadores de vistas previas de enlaces que obedecen robots.txt funcionaran. /.well-known/y/nodeinfono se rechazan, para que las listas de servidores y las estadísticas sigan funcionando.- Cuando
account_domaines distinto del host, lo sirve el lado del host. El robots.txt del dominio del identificador es asunto del propio operador.
/.well-known/
Sección titulada «/.well-known/»| Ruta | Se sirve cuando | Contenido |
|---|---|---|
/.well-known/tdmrep.json |
ai_usage es distinto de allow |
[{"location": "/*", "tdm-reservation": 1}] (TDM Reservation Protocol). 404 para allow |
/.well-known/security.txt |
security_contact está definido |
Contact, Expires (30 días después del momento de la respuesta), Preferred-Languages (default_locale y en), Canonical (RFC 9116) |
Página de información
Sección titulada «Página de información»La página de información de la instancia (/about) muestra si se permiten la búsqueda y la IA, y qué significa la declaración, a partir de search_indexing y ai_usage en GET /api/v1/instance.
La explicación sitúa las declaraciones frente al artículo 30-4 de la Ley de Propiedad Intelectual de Japón (es posible que tales declaraciones no se traten como un rechazo jurídico) y al artículo 4 de la Directiva DSM de la UE (una reserva legible por máquina de la minería de textos y datos).
No garantiza ningún efecto jurídico.
Las recuperaciones propias de este servidor
Sección titulada «Las recuperaciones propias de este servidor»Esta configuración trata de lo que rastrea este servidor. El servidor también rastrea otros para las tarjetas de los enlaces de las publicaciones, como my-linkcard: obedece robots.txt y las directivas de las páginas enlazadas y limita sus peticiones por host, como describen las vistas previas de enlaces.
Ese rastreador se configura con link_cards, link_cards_ignore_robots_txt y, por dominio, con los dominios de tarjetas de enlaces.
Los operadores de esos sitios lo leen en https://<host>/about/crawler, al que enlaza /about (la página para operadores de sitios). Con link_cards_ignore_robots_txt activado, no pueden excluirse con robots.txt, y la página lo dice: solo pueden limitar la tarjeta con las directivas de sus páginas, o pedirte una regla para su dominio.
Límites
Sección titulada «Límites»- El
ai_opt_outde una persona se declara solo en las páginas que sirve este servidor. El contenido multimedia no tiene propietario en su clave, y algunas configuraciones dejan que una CDN lo sirva directamente, así que el contenido multimedia lleva solo la declaración de todo el servidor. Las declaraciones en páginas servidas por otros servidores quedan en manos de esos servidores (no se envía ninguna extensión personalizada de ActivityPub). ai_usage = denytambién declara un rechazo de las acciones en las que un usuario de ChatGPT o un servicio similar le hace leer una página de este servidor.- El
indexablede una cuenta remota (eltoot:indexablede Mastodon) se recibe y se almacena. Las páginas de cuentas remotas son siemprenoindexen este servidor. indexabletambién decide si las publicaciones de una persona están en la propia búsqueda de texto completo de este servidor, en un servidor con un motor de búsqueda. Allí abarca las visibilidades desearch_visibilities, que pueden incluirlocal.search_indexingno tiene efecto en esa búsqueda, y lo que se comunica a los motores de búsqueda sigue siendo lo que dice esta página.
Servir contenido multimedia desde almacenamiento de objetos o una CDN
Sección titulada «Servir contenido multimedia desde almacenamiento de objetos o una CDN»Cuando el almacenamiento de objetos o una CDN sirve el contenido multimedia directamente, las respuestas de /media/ no pasan por este servidor y no llevan los encabezados de la tabla anterior.
La declaración de todo el servidor sigue aplicándose a todo mediante /robots.txt; para añadir también los encabezados, añade lo siguiente a /media/* en las reglas de encabezados de respuesta de la CDN (un ejemplo para ai_usage = deny).
X-Robots-Tag: noindex, noarchive, noai, noimageaiContent-Usage: train-ai=n, ai-use=ntdm-reservation: 1Cuando cambies la configuración, cambia también las reglas de la CDN para que coincidan. /media/proxy/ lo sirve este servidor, así que no necesita ninguna regla.
La lista de rastreadores de IA
Sección titulada «La lista de rastreadores de IA»La lista se genera a partir de robots.json de ai-robots-txt/ai.robots.txt (MIT) y se incluye en el binario. No se recupera en tiempo de ejecución, así que una lista más reciente llega con una actualización.
Verificar
Sección titulada «Verificar»curl -sS https://<host>/robots.txtcurl -sS -o /dev/null -D - -H 'Accept: text/html' https://<host>/@alice | grep -iE 'x-robots-tag|content-usage|tdm-reservation'curl -sS https://<host>/.well-known/tdmrep.jsoncurl -sS https://<host>/.well-known/security.txt- En un servidor sin configuración propia,
/robots.txttieneUser-agent: GPTBot,User-agent: __usage_ai-trainingyContent-Usage: search=n, train-ai=n, ai-use=n, y los perfiles llevanX-Robots-Tag: noindex, noarchive, noai, noimageai. - Con
search_indexing = allowyai_usage = allow, el perfil de una cuenta que eligióindexableno llevaX-Robots-Tag, y/.well-known/tdmrep.jsones 404.
Para LLM y agentes de programación:llms.txt,llms-full.txt, llms-small.txt