Kurz gesagt

Ein KI-Crawler ist ein Programm eines KI-Anbieters, das Webseiten abruft, damit ein Sprachmodell den Inhalt später in einer Antwort verwenden kann. OpenAI, Anthropic, Perplexity und Google betreiben je eigene, und sie tragen eigene Kennungen wie GPTBot, ClaudeBot oder PerplexityBot.

Der Unterschied zum Suchbot liegt im Zweck. Ein Suchbot baut einen Index auf, aus dem später eine Liste von Treffern entsteht, und du bekommst einen Platz darin. Ein KI-Crawler liefert Material für eine formulierte Antwort, in der dein Name vorkommt oder eben nicht.

Was wir dazu messen

Über elf eigene und betreute Hosts, im Fenster vom 11. August bis 10. September 2026, 751’386 Zugriffe insgesamt.

Klasse Zugriffe
Menschen 269’524
Scanner auf Schwachstellensuche 263’067
KI-Crawler, verifiziert 17’290
Suchbots 7’976
Fälschungen mit Crawler-Kennung 8’560

Zwei Zahlen daraus sind es wert, behalten zu werden.

KI-Crawler kommen inzwischen mehr als doppelt so oft wie Suchbots, Faktor 2,17. Wer seine Auffindbarkeit weiterhin nur an Googlebot misst, misst den kleineren Teil.

Das Verhältnis hängt stark an der Seite. Auf unserer eigenen Firmenseite kommt auf 3,7 menschliche Besuche ein KI-Crawler-Abruf. Auf einer kleinen, thematisch engen Kundenseite ist es fast eins zu eins, 1’678 Abrufe gegen 1’851 Besuche. Eine kleine, thematisch enge Seite kann für Modelle interessanter sein als für Menschen.

Am Gesamtverkehr sind KI-Crawler 2,3 Prozent. Klein, und trotzdem der Kanal, über den heute Empfehlungen entstehen.

Der häufigste Denkfehler

“KI-Crawler sehen wir in Analytics, wenn sie relevant werden.”

Sie erscheinen dort nie. Ein Zähler im Browser läuft erst, wenn JavaScript ausgeführt wird, und KI-Crawler führen keins aus. Was du in Analytics siehst, ist der menschliche Teil, und der Rest bleibt unsichtbar, bis jemand die Server-Logs danebenlegt. Siehe JavaScript-Hülle.

Abgrenzung

Suchbot. Googlebot und Bingbot bauen einen Index für Trefferlisten. Google-Extended ist der Sonderfall: er gehört zur KI-Seite, erbt aber die Infrastruktur von Googlebot und führt als einziger JavaScript aus.

Scanner. Sucht Schwachstellen, keine Inhalte. Auf unseren Hosts die grösste Gruppe überhaupt, mit 35 Prozent.

Fälschung. Trägt die Kennung eines KI-Crawlers, kommt aber nicht aus dem veröffentlichten Netz des Anbieters. Ohne Adressprüfung zählst du sie mit, siehe Verifizierter Crawl.

KI-Verweis. Ein Mensch, der über einen Link in einer KI-Antwort kommt. Das ist die Wirkung, der Crawl ist die Voraussetzung.

So prüfst du es selbst

Du brauchst Zugriffslogs mit User-Agent und Quelladresse. Filtere auf die bekannten Kennungen, prüfe die Adresse gegen die veröffentlichten Bereiche des jeweiligen Anbieters, und zähle getrennt: verifiziert, gefälscht, Suchbot. Erst diese Trennung macht die Zahl belastbar.

Ein Zähler im Browser taugt dafür nicht, und ein reiner Blick auf den User-Agent auch nicht.

Quellen