Ergebnis
Das Ergebnis erscheint hier.Welche KI-Bots man hereinlässt, ist inzwischen eine echte Abwägung: Trainings-Crawler nehmen Inhalte ohne Link zurück, während KI-Such-Crawler wie OAI-SearchBot, PerplexityBot und Claude-SearchBot der Weg sind, auf dem ChatGPT Search, Perplexity und Claude Seiten zum Zitieren finden. Dieser Generator geht von der Liste aus, die ai-robots-txt/ai.robots.txt pflegt – 175 User-Agents im mitgelieferten Snapshot –, und schreibt Regeln für drei Richtlinien: nur Training sperren und Suche sowie von Nutzern angeforderte Abrufe ausdrücklich erlauben, alle KI-Bots sperren oder nur die von Ihnen genannten Namen sperren.
So arbeitet es
- Jeder Crawler im Snapshot wird anhand des Zwecks, den die Upstream-Liste verzeichnet, als Training, Suche, von Nutzern angeforderter Assistent, Agent oder Linkvorschau eingeordnet.
- Gesperrte Crawler teilen sich eine Gruppe von User-agent-Zeilen mit einer einzigen Disallow-Regel – RFC 9309 erlaubt das, und die Datei bleibt kurz.
- facebookexternalhit wird von den vorgefertigten Richtlinien nie gesperrt, weil das die Linkvorschau zerstört, wenn Ihre Seiten geteilt werden.
Wohin Ihre Daten gehen
Nirgendwohin. Dieses Werkzeug läuft vollständig in Ihrem Browser: Der eingefügte Text wird von der Seite verarbeitet und weder an einen Server übertragen noch protokolliert.
Dieses Tool ist kostenlos und braucht kein Konto. Die Ergebnisse existieren nur in Ihrer geöffneten Seite und werden nirgends gespeichert.
Was es kostet
Dieses Werkzeug ist kostenlos, ohne Anmeldung und ohne Punkte.
Häufige Fragen
- Verschwinde ich aus der Google-Suche, wenn ich Google-Extended sperre?
- Nein. Google-Extended ist ein Steuer-Token, kein Crawler: Es teilt Google mit, Ihre Inhalte nicht zum Training von Gemini und Vertex AI zu verwenden, und hat keinen Einfluss darauf, ob Seiten in der Suche erscheinen. Gecrawlt wird weiterhin von Googlebot, der nicht in dieser Liste steht und den Sie nicht sperren sollten, es sei denn, Sie wollen Google verlassen.
- Hält sich jeder Bot an diese Regeln?
- robots.txt ist eine Bitte. Große Betreiber dokumentieren ihre User-Agents und erklären, dass sie die Datei beachten, doch die Upstream-Liste vermerkt die Einhaltung bei vielen Einträgen als unklar, und ein Scraper kann seinen User-Agent schlicht fälschen. Bei Bots, die die Datei ignorieren, hilft nur eine Sperre nach User-Agent oder IP in Ihrem CDN oder Ihrer Firewall.
- Warum die Ausgabe einfügen, statt sie mit meiner bestehenden Datei zusammenzuführen?
- Hängen Sie sie an Ihre bestehende robots.txt an, statt diese zu ersetzen: Diese Gruppen nennen bestimmte Bots und ändern daher nicht, was Ihre Regeln für User-agent: * anderen Crawlern vorgeben. Das Datum des Snapshots steht in der Datei; erzeugen Sie sie alle paar Monate neu, denn es tauchen regelmäßig neue KI-Crawler auf.
Das Open Source dahinter
Dieses Werkzeug läuft auf ai-robots-txt/ai.robots.txt, veröffentlicht unter MIT. Wer dasselbe Verhalten im eigenen Programm braucht, greift zu dieser Bibliothek.
ai-robots-txt/ai.robots.txtAuch bekannt als
- ki crawler blockieren robots.txt
- gptbot blockieren
- robots.txt ki bots
- claudebot sperren
- google-extended robots.txt
- ki training verhindern website