Wer heute in die Zugriffsprotokolle seiner Website schaut, stellt oft fest: Ein großer Teil der Aufrufe stammt nicht von Menschen. Neben den bekannten Suchmaschinen sind Crawler hinzugekommen, die Inhalte für das Training von KI-Modellen oder für Antworten in KI-Suchdiensten sammeln. Manche gehen dabei sehr aggressiv vor: Sie rufen in kurzer Zeit Tausende Seiten ab, darunter auch Such-, Filter- und Warenkorbseiten, die bei jedem Aufruf PHP und Datenbank beanspruchen.
Die Folgen spüren vor allem Ihre echten Besucher: Seiten laden langsamer, Ressourcenlimits werden erreicht, im schlimmsten Fall ist die Website zeitweise nicht erreichbar. Die gute Nachricht: Mit wenigen Maßnahmen bekommen Sie den Bot-Verkehr in den Griff.
Welche Bots unterwegs sind
- Suchmaschinen wie Googlebot und Bingbot. Sie sind für Ihre Sichtbarkeit wichtig und sollten Zugang behalten.
- KI-Trainingscrawler wie GPTBot (OpenAI), ClaudeBot (Anthropic), CCBot (Common Crawl), Meta-ExternalAgent (Meta) oder Bytespider (ByteDance). Sie sammeln Inhalte, mit denen Sprachmodelle trainiert werden.
- KI-Suche und Abrufe im Auftrag von Nutzern wie OAI-SearchBot und ChatGPT-User (OpenAI), Claude-SearchBot und Claude-User (Anthropic) oder PerplexityBot. Wer sie aussperrt, taucht in den Antworten dieser Dienste womöglich seltener oder gar nicht mehr auf.
- Steuerungs-Kennungen ohne eigenen Crawler wie Google-Extended und Applebot-Extended. Darüber legen Sie fest, ob Inhalte für KI-Modelle genutzt werden dürfen, ohne die normale Suche zu beeinflussen.
- Unerwünschte Programme: Scraper, die Preise oder Texte kopieren, Schwachstellenscanner und Bots, die sich mit einer gefälschten Kennung als Browser oder Suchmaschine ausgeben.
Schritt 1: Analysieren, wer die Last erzeugt
Bevor Sie etwas sperren, lohnt ein Blick in das Zugriffsprotokoll Ihres Hostings. Achten Sie auf drei Dinge: die Kennung (User-Agent), die IP-Adressen mit den meisten Aufrufen und die aufgerufenen Adressen. Häufig konzentriert sich die Last auf wenige Bots und auf Seiten mit Parametern, etwa Filter-Kombinationen im Shop. Wie Sie die Protokolle finden und lesen, zeigt unser Artikel Server-Logfiles auslesen und verstehen.
Schritt 2: Bots per robots.txt steuern
Die Datei robots.txt im Hauptverzeichnis Ihrer Domain teilt Crawlern mit, was sie abrufen dürfen. Mehrere User-agent-Zeilen lassen sich zu einer Gruppe zusammenfassen. Ein Beispiel, das KI-Training untersagt, die Suche aber zulässt und teure Seiten für alle Bots sperrt:
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Meta-ExternalAgent
User-agent: Bytespider
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: *
Disallow: /suche
Disallow: /warenkorb
Disallow: /*?filter=
Sitemap: https://www.muster.de/sitemap.xmlPassen Sie die Pfade an Ihr System an. Bedenken Sie dabei zwei Grenzen der robots.txt:
- Sie ist eine Bitte, keine Sperre. Seriöse Crawler halten sich daran, aggressive oder getarnte Bots nicht.
- Sie verhindert nicht, dass bereits gesammelte Inhalte genutzt werden. Sie wirkt nur für künftige Abrufe.
Rechtlich können Sie über einen maschinenlesbaren Nutzungsvorbehalt nach § 44b UrhG widersprechen, dass Ihre Inhalte für Text- und Data-Mining genutzt werden. Die robots.txt ist dafür der gängige Weg. Ob sie allein in jedem Fall genügt, ist rechtlich noch nicht abschließend geklärt. Im Zweifel ergänzen Sie einen Hinweis im Impressum oder in den Nutzungsbedingungen.
Schritt 3: Technisch begrenzen, was sich nicht an Regeln hält
- Rate Limiting: Wer in kurzer Zeit zu viele Anfragen stellt, wird gebremst und erhält den Statuscode 429. Echte Besucher merken davon nichts.
- Firewall-Regeln: Bekannte schädliche Kennungen und auffällige Muster lassen sich an der Web Application Firewall abweisen, bevor sie PHP und Datenbank erreichen.
- Echtheit prüfen: Die Kennung eines Bots lässt sich leicht fälschen. Echte Suchmaschinen-Crawler erkennen Sie über eine Rückwärtsauflösung der IP-Adresse, bei Googlebot etwa auf
googlebot.comodergoogle.com. Ein angeblicher Googlebot von einer fremden Adresse darf gesperrt werden.
Schritt 4: Last senken, egal wer anfragt
- Seiten-Caching: Was aus dem Cache kommt, kostet kaum Rechenzeit, auch nicht bei tausend Bot-Aufrufen.
- Filter- und Suchseiten bändigen: Unendlich viele Filter-Kombinationen sind für Crawler ein Labyrinth. Setzen Sie für solche Seiten
noindexund kanonische Adressen, und verlinken Sie nicht jede Kombination. - Unnötige Schnittstellen schließen: Bei WordPress etwa
xmlrpc.php, wenn Sie sie nicht nutzen. - Ein vorgeschalteter Cache: Ein CDN oder Reverse-Proxy beantwortet wiederkehrende Anfragen, bevor sie Ihren Server erreichen.
Und was ist mit llms.txt?
Die Datei llms.txt ist ein Vorschlag, KI-Systemen eine aufbereitete Übersicht der wichtigsten Inhalte anzubieten. Sie ist kein verbindlicher Standard und keine Sperre: Mit ihr steuern Sie weder, wer Ihre Website abruft, noch wie oft.
Was wir in unserem Hosting dafür tun
In unserem Hosting filtern eine Web Application Firewall und ModSecurity bekannte Angriffsmuster, bevor sie Ihre Anwendung erreichen. Mit ShieldCache kommt ein vorgeschalteter Cache mit Schutzfunktionen hinzu, der wiederkehrende Anfragen abfängt. Belastet ein Bot Ihre Website auffällig, sprechen Sie uns an: Wir werten die Zugriffe gemeinsam mit Ihnen aus und passen die Regeln an.
Fazit
Entscheiden Sie bewusst, welche Bots Sie wollen: Suchmaschinen und KI-Suchdienste bringen Sichtbarkeit, reine Trainingscrawler meist nur Last. Steuern Sie die seriösen Crawler über die robots.txt, begrenzen Sie den Rest technisch, und sorgen Sie mit Caching dafür, dass Bot-Verkehr Ihre echten Besucher nicht ausbremst.
