Diese Seite ist eine maschinelle Übersetzung der englischen Seite, die maßgeblich ist. Englische Seite lesen
Suchmaschinen und KI-Crawler
Was der Server Suchmaschinen und KI-Crawlern mitteilt, welche Einstellungen das ändern und wie du prüfst, was er ausliefert.
robots.txt und Meta-Tags sind Aussagen, die Crawler beachten können oder nicht; sie sind keine technische Sperre. Wenn du sperren musst, nutze eine WAF oder Rate Limiting.
Einstellungen
Abschnitt betitelt „Einstellungen“| Bereich | Einstellung | Wo du sie änderst | Wenn nicht gesetzt |
|---|---|---|---|
| Server | search_indexing (allow / deny) |
Die Abschnitte „Suchmaschinen“ und „KI“ auf der Seite „Suche und Crawler“ der Server-Einstellungen in der Administration, my instance set, PATCH /api/v1/admin/settings (Servereinstellungen) |
deny |
| Server | ai_usage (allow / deny_training / deny) |
Gleich | deny |
| Server | indexable_default (das indexable neuer Konten) |
Gleich | false |
| Server | security_contact (wohin Sicherheitslücken gemeldet werden) |
Gleich | Leer (es wird kein security.txt ausgeliefert) |
| Person | indexable (in der Suche erscheinen) |
„Suchmaschinen und KI“ in den Profileinstellungen, PATCH /api/v1/accounts/update_credentials |
indexable_default bei der Registrierung |
| Person | ai_opt_out (KI-Training und -Nutzung ablehnen) |
Gleich | false |
- Die Aussage einer Seite ist die strengere aus der Einstellung des Servers und der Einstellung des Seiteninhabers. Eine Person kann nicht mehr erlauben als der Server.
- Suchmaschinen wird mitgeteilt, dass sie nur die Profile und
public-Beiträge von Konten mitindexable = trueindexieren dürfen, auf einem Server mitsearch_indexing = allow. Ein Server, der auffindbar sein will, ändert sowohlsearch_indexingals auchindexable_default. Personen, die sich registriert haben, bevor duindexable_defaultgeändert hast, sind nicht enthalten, bis sie selbstindexablewählen. - Eine geänderte Einstellung wirkt in
/robots.txt, auf Seiten und in Medienantworten ohne Neustart.
Was der Server zurückgibt
Abschnitt betitelt „Was der Server zurückgibt“| Antwort | Bei Ablehnung der Suche | Bei Ablehnung von KI |
|---|---|---|
Seiten von Profilen und public-Beiträgen |
noindex, noarchive in <meta name="robots"> und X-Robots-Tag |
noai, noimageai, Content-Usage: train-ai=n (train-ai=n, ai-use=n bei deny) und tdm-reservation: 1 (Header und Meta) |
unlisted-Beiträge, 404-Seiten für versteckte oder nicht vorhandene Seiten, Seiten entfernter Konten, App-Bildschirme (/home, /settings und so weiter) |
noindex, noarchive unabhängig von der Einstellung |
Folgt der Servereinstellung |
/, /about, /about/crawler |
Folgt der Servereinstellung | Folgt der Servereinstellung |
/media/ (wenn dieser Server es ausliefert) |
Folgt der Servereinstellung. Keine Aussage je Inhaber | Folgt der Servereinstellung. Keine Aussage je Inhaber |
Die Client-API, ActivityPub-Dokumente, /.well-known/, /nodeinfo/, Anmelde- und OAuth-Bildschirme |
X-Robots-Tag: noindex |
Nicht hinzugefügt (robots.txt genügt) |
noindex hindert Link-Vorschauen nicht (siehe Link-Vorschauen).
/robots.txt
Abschnitt betitelt „/robots.txt“GET /robots.txt wird aus den Servereinstellungen und der mitgelieferten Liste von KI-Crawlern gebaut (text/plain; charset=utf-8, Cache-Control: public, max-age=3600, ETag).
Betreiber können keine eigenen Regeln hinzufügen.
- Ist
ai_usagedeny_trainingoderdeny, erhalten Trainings-Crawler (GPTBot,ClaudeBot,CCBot,Google-Extended,Applebot-Extendedund so weiter)Disallow: /. - Ist
ai_usagedeny_trainingoderdeny, bekundet eine GruppeUser-agent: __usage_ai-trainingmitDisallow: /für jeden Pfad eine Präferenz gegen KI-Training, egal welcher Crawler den Inhalt abruft (das Internet-Draftdraft-kelley-aipref-training-preference-signal). Sie benennt eine Nutzung, keinen Crawler, und stoppt daher keine Abrufe. Beiai_usage = allowentfällt die Gruppe und bekundet damit keine Präferenz, denn ihrAllow: /würde für jeden Pfad eine Präferenz zugunsten von Training bekunden, auch für die Seiten von Personen, dieai_opt_outgesetzt haben. - Ist
ai_usagedeny, erhalten auch die Crawler von KI-Suche, Assistenten und Agenten (OAI-SearchBot,ChatGPT-User,Claude-User,PerplexityBotund so weiter)Disallow: /. - Allen Crawlern (
User-agent: *) werden nur/api/,/oauth/,/auth/,/ap/und/media/proxy/verwehrt, und die Einstellungen werden in ZeilenContent-Usage(das Draft der IETF AI Preferences) undContent-Signal(Content Signals) ausgedrückt. Das Ablehnen der Suche erzeugt keinDisallow: /: Blockierte Abrufe würden Crawler daran hindern,noindexzu lesen, und würden auch die Link-Vorschau-Abrufer stoppen, die robots.txt beachten. /.well-known/und/nodeinfowerden nicht verwehrt, damit Serverlisten und Statistiken weiter funktionieren.- Ist
account_domainvom Host getrennt, liefert die Host-Seite sie aus. Die robots.txt der Domain des Handles ist Sache des Betreibers.
/.well-known/
Abschnitt betitelt „/.well-known/“| Pfad | Ausgeliefert, wenn | Inhalt |
|---|---|---|
/.well-known/tdmrep.json |
ai_usage alles außer allow ist |
[{"location": "/*", "tdm-reservation": 1}] (TDM Reservation Protocol). 404 bei allow |
/.well-known/security.txt |
security_contact gesetzt ist |
Contact, Expires (30 Tage nach dem Zeitpunkt der Antwort), Preferred-Languages (default_locale und en), Canonical (RFC 9116) |
Informationsseite
Abschnitt betitelt „Informationsseite“Die Informationsseite des Servers (/about) zeigt anhand von search_indexing und ai_usage in GET /api/v1/instance, ob Suche und KI erlaubt sind und was die Aussage bedeutet.
Die Erläuterung ordnet die Aussagen gegenüber Artikel 30-4 des japanischen Urheberrechtsgesetzes (solche Aussagen werden womöglich nicht als rechtliche Ablehnung behandelt) und Artikel 4 der EU-DSM-Richtlinie (ein maschinenlesbarer Vorbehalt für Text und Data Mining) ein.
Sie garantiert keine Rechtswirkung.
Die eigenen Abrufe dieses Servers
Abschnitt betitelt „Die eigenen Abrufe dieses Servers“Diese Einstellungen betreffen, was diesen Server durchsucht. Der Server durchsucht auch andere für die Karten von Links in Beiträgen, als my-linkcard: Er beachtet robots.txt und die Direktiven der verlinkten Seiten und begrenzt seine Anfragen pro Host, wie Link-Vorschauen beschreibt.
Dieser Crawler wird mit link_cards, link_cards_ignore_robots_txt und pro Domain mit Link-Karten-Domains eingestellt.
Die Betreiber dieser Websites lesen darüber unter https://<host>/about/crawler, worauf /about verlinkt (die Seite für Website-Betreiber). Ist link_cards_ignore_robots_txt an, können sie nicht per robots.txt widersprechen, und die Seite sagt das: Sie können die Karte nur mit den Direktiven ihrer Seiten einschränken oder dich um eine Regel für ihre Domain bitten.
Grenzen
Abschnitt betitelt „Grenzen“- Das
ai_opt_outeiner Person wird nur auf Seiten ausgedrückt, die dieser Server ausliefert. Medien haben keinen Inhaber im Schlüssel, und manche Setups lassen ein CDN sie direkt ausliefern, deshalb tragen Medien nur die serverweite Aussage. Aussagen auf Seiten, die andere Server ausliefern, bleiben diesen Servern überlassen (es wird keine eigene ActivityPub-Erweiterung gesendet). ai_usage = denybekundet auch eine Ablehnung der Vorgänge, bei denen ein Nutzer von ChatGPT oder einem ähnlichen Dienst eine Seite dieses Servers lesen lässt.- Das
indexableeines entfernten Kontos (Mastodonstoot:indexable) wird empfangen und gespeichert. Seiten entfernter Konten sind auf diesem Server immernoindex. indexableentscheidet auch, ob die Beiträge einer Person in der eigenen Volltextsuche dieses Servers stehen, auf einem Server mit Suchmaschine. Dort deckt es die Sichtbarkeiten aussearch_visibilitiesab, zu denenlocalgehören kann.search_indexinghat auf diese Suche keine Wirkung, und was Suchmaschinen mitgeteilt wird, bleibt so, wie diese Seite es beschreibt.
Medien aus Object Storage oder einem CDN ausliefern
Abschnitt betitelt „Medien aus Object Storage oder einem CDN ausliefern“Wenn Object Storage oder ein CDN Medien direkt ausliefert, laufen die /media/-Antworten nicht über diesen Server und tragen die Header aus der Tabelle oben nicht.
Die serverweite Aussage gilt über /robots.txt weiterhin für alles; um auch die Header hinzuzufügen, ergänze Folgendes für /media/* in den Response-Header-Regeln des CDN (ein Beispiel für ai_usage = deny).
X-Robots-Tag: noindex, noarchive, noai, noimageaiContent-Usage: train-ai=n, ai-use=ntdm-reservation: 1Wenn du die Einstellungen änderst, passe die CDN-Regeln entsprechend an. /media/proxy/ liefert dieser Server aus, es braucht also keine Regel.
Die Liste der KI-Crawler
Abschnitt betitelt „Die Liste der KI-Crawler“Die Liste wird aus robots.json von ai-robots-txt/ai.robots.txt (MIT) erzeugt und in die Binärdatei eingebunden. Sie wird zur Laufzeit nicht abgerufen, eine neuere Liste kommt also mit einem Upgrade.
curl -sS https://<host>/robots.txtcurl -sS -o /dev/null -D - -H 'Accept: text/html' https://<host>/@alice | grep -iE 'x-robots-tag|content-usage|tdm-reservation'curl -sS https://<host>/.well-known/tdmrep.jsoncurl -sS https://<host>/.well-known/security.txt- Auf einem Server ohne Einstellungen enthält
/robots.txtUser-agent: GPTBot,User-agent: __usage_ai-trainingundContent-Usage: search=n, train-ai=n, ai-use=n, und Profile tragenX-Robots-Tag: noindex, noarchive, noai, noimageai. - Mit
search_indexing = allowundai_usage = allowträgt das Profil eines Kontos, dasindexablegewählt hat, keinX-Robots-Tag, und/.well-known/tdmrep.jsonist 404.
Für LLMs und Coding-Agenten:llms.txt,llms-full.txt, llms-small.txt