TLDR: Wenn ChatGPT, Claude oder Perplexity oder egal welcher KI-Assistent im Web recherchiert, dann durchsucht es nicht das Internet, sondern nur einen gefilterten Ausschnitt davon: einen Index, ein paar Dutzend abgerufene Seiten und das, wozu ihm der Zugang überhaupt gewährt wurde. Dieser Ausschnitt schrumpft seit zwei Jahren messbar, weil Websites, Verlage und CDN-Anbieter Crawler systematisch aussperren. Das Ergebnis wirkt trotzdem vollständig, souverän formuliert und mit Quellen versehen. Genau darin liegt das Risiko.
Drei Schichten, die auch eine KI nicht auseinanderhält
Wer eine KI etwas fragt, bekommt eine Antwort aus drei sehr unterschiedlichen Quellen, die im Output ununterscheidbar verschmelzen.
Die erste Schicht ist das Trainingsmaterial. Ein eingefrorener Zustand des Webs zu einem bestimmten Stichtag, aufbereitet aus Korpora wie C4, RefinedWeb oder Common Crawl. Die zweite Schicht ist der Suchindex, auf den das System zugreift, meist Bing, Google oder ein eigener Index. Die dritte Schicht ist der Live-Abruf: eine Handvoll konkreter Seiten, die im Moment der Anfrage geöffnet und gelesen werden.
Keine dieser drei Schichten enthält “das Internet”. Sie enthalten Teilmengen, die nach ganz eigenen Regeln entstanden sind. Und weil das Sprachmodell die Herkunft im Antworttext einebnet, sieht die Aussage aus einem zehn Jahre alten Forenbeitrag genauso aus wie die aus einer heute abgerufenen Primärstudie.
Das ist kein Fehler des Systems. Das ist seine Bauweise.
Erste Verengung: Zugang wird bewirtschaftet
Der Zugang zum offenen Web war nie ein Naturgesetz, sondern eine Konvention. Diese Konvention wird gerade aufgekündigt.
Das MIT-Team der Data Provenance Initiative hat 14’000 Web-Domains über ein Jahr hinweg beobachtet. Zwischen April 2023 und April 2024 wurden rund fünf Prozent aller Tokens im C4-Korpus per robots.txt vollständig für KI-Crawler gesperrt. Bei den qualitativ wichtigsten Quellen, also den am aktivsten gepflegten Domains mit dem grössten Anteil am Trainingsmaterial, lag der Wert bei über 25 Prozent. Ein Jahr zuvor waren es unter drei Prozent. Nimmt man die Nutzungsbedingungen statt der robots.txt als Massstab, sind 45 Prozent von C4 heute formal eingeschränkt.
Die Autor:innen formulieren die Konsequenz präzise: Wenn diese Sperren respektiert oder durchgesetzt werden, verzerren sie die Vielfalt, die Aktualität und die Skalierungslogik von KI-Systemen. Sie machen sie nicht kleiner, sondern schiefer.
Dazu kommt die Infrastrukturebene. Cloudflare betreibt einen erheblichen Teil des globalen Web-Traffics und hat den Crawler-Zugang von einer technischen zu einer kommerziellen Frage gemacht: Ein-Klick-Blockade, Pay-per-Crawl, und ab 2026 Standardsperren für bestimmte Bot-Kategorien auf werbefinanzierten Seiten. Die Zahlen, die diese Entwicklung begründen, sind eindeutig. Cloudflare misst das Verhältnis von gecrawlten Seiten zu zurückgeschickten Besucher:innen. Im Juli 2025 lag Anthropic bei rund 38’000 Crawls pro Referral, OpenAI bei etwa 1’091, Perplexity bei 195, Google bei 5. Achtzig Prozent des KI-Crawlings dienten dem Training, nicht der Suche.
Cloudflare ergänzt die Zugangskontrolle durch „Pay per Crawl“: Website-Betreiber:innen können KI-Crawler zulassen, blockieren oder für erfolgreiche Inhaltsabrufe einen Preis verlangen. Neben einem Standardpreis pro Zone unterstützt Cloudflare inzwischen auch dynamische Preise, etwa abhängig von URL oder Anfrageeigenschaften.
Aus Sicht eines Verlags ist das kein Tauschgeschäft mehr. Aus Sicht deiner Recherche heisst es: Immer mehr Türen sind zu.
Zweite Verengung: Was technisch gar nicht sichtbar ist
Noch grösser als der bewusst gesperrte Teil ist der Teil, den ein Crawler strukturell nie erreicht.
Fachdatenbanken liegen oft hinter Logins, Paywalls, Firmenintranets. Dazu kommen behördliche Systeme oder kuratierte Systeme, die nur über Formulareingaben Ergebnisse ausliefern, dazu gehören auch Handelsregister-Abfragen, Normen und viele Richtlinien, die kostenpflichtig sind. Auch Archive, die als gescanntes PDF ohne Texterkennung vorliegen und alle Applikationen, die ihre Inhalte erst per JavaScript nachladen. Es gibt Firewalls und Rate-Limits, die Bots stoppen, bevor sie eine Seite sehen.
Dieser sogenannte Deep Web ist um Grössenordnungen umfangreicher als das indexierbare Web, und er enthält systematisch das teurere, geprüftere, spezifischere Wissen. Genau das, was eine anspruchsvolle Recherche braucht.
Für den DACH-Raum kommt eine Sprachverzerrung dazu. Englischsprachiges Material dominiert die Korpora. Schweizer Kantonsrecht, kommunale Verordnungen, Verbandsstatistiken, deutschsprachige Fachpublikationen und branchenspezifische Erhebungen sind unterrepräsentiert oder schlicht nicht erfasst. Eine Frage zur Schweizer Praxis wird dann mit einer plausibel klingenden Antwort beantwortet, die aus US-amerikanischen Verhältnissen abgeleitet ist.
Dritte Verengung: Retrieval ist Auswahl, nicht Vollzugriff
Auch dort, wo der Zugang offen ist, liest ein System nicht alles. Es liest ein paar Treffer.
Ein Retrieval-Schritt formuliert eine Suchanfrage, holt die obersten Ergebnisse, schneidet Textpassagen heraus und übergibt diese an das Modell. Ein Deep-Research-Lauf, der beeindruckend gründlich wirkt, arbeitet je nach System mit einigen Dutzend bis wenigen Hundert Seiten. Das ist gute Arbeit für zehn Minuten. Es ist keine Vollerhebung.
Die Auswahl folgt dabei den Ranking-Logiken der zugrundeliegenden Suchmaschine. Also SEO-optimierten Seiten, aggregierten Zusammenfassungen, Syndikationsplattformen. Das Tow Center for Digital Journalism der Columbia University hat acht KI-Suchsysteme mit Auszügen aus realen Artikeln konfrontiert und nach Titel, Verlag, Datum und URL gefragt. Über 60 Prozent der Antworten waren falsch. Perplexity lag mit 37 Prozent Fehlerquote am besten, Grok 3 bei 94 Prozent. Häufiges Muster: Statt des Originals wurde die Zweitverwertung auf einer Aggregator-Plattform zitiert. Hedging kam kaum vor, die falschen Antworten waren so bestimmt formuliert wie die richtigen.
Die grosse BBC/EBU-Studie von 2025 bestätigt das Bild aus anderer Richtung. 22 öffentlich-rechtliche Medienhäuser aus 18 Ländern werteten über 3’000 KI-Antworten zu Nachrichtenfragen aus. 45 Prozent enthielten mindestens ein signifikantes Problem, 31 Prozent hatten Quellenprobleme. Ein Detail aus dem Studiendesign ist dabei aufschlussreicher als jede Prozentzahl: Die teilnehmenden Häuser mussten ihre eigenen technischen Sperren für die Testphase vorübergehend aufheben, damit die Assistenten ihre Inhalte überhaupt sehen konnten. Danach wurden die Sperren wieder aktiviert.
Vierte Verengung: Verträge formen das Sichtfeld
Was in einer KI-Antwort erscheint, hängt zunehmend davon ab, wer mit wem einen Lizenzvertrag hat.
OpenAI, Google, Microsoft und Perplexity haben unterschiedliche Abkommen mit unterschiedlichen Verlagen, Datenbanken und Plattformen. Wer einen Deal hat, ist im Sichtfeld. Wer keinen hat, kann trotz hervorragender Inhalte unsichtbar bleiben. Das erzeugt eine Asymmetrie, die für Nutzer:innen völlig intransparent ist.
Praktische Konsequenz: Wenn du dieselbe Frage bei zwei Anbietern stellst und beide antworten ähnlich, ist das keine Bestätigung. Es kann bedeuten, dass beide auf dieselbe verfügbare Teilmenge zugreifen. Und wenn sie unterschiedlich antworten, liegt das oft nicht am Modell, sondern am Korpus.
Die Zweitmeinung eines anderen Systems ist ein zweiter Ausschnitt, keine Verifikation.
Was das für deine Recherche heisst
Die Antwort auf diese Struktur ist nicht Misstrauen, sondern Methode.
Öffne die Quelle, statt dem Zitat zu glauben. Wenn eine KI eine Zahl liefert, klick den Link an und such die Zahl im Originaltext. In den erwähnten Studien lag genau hier der häufigste Bruch.
Frag gezielt nach der Primärquelle. Nicht “Was sagt die Forschung zu X”, sondern “Welche Originalstudie, welches Jahr, welche Stichprobe, welcher Verlag”. Systeme, die keine Primärquelle nennen können, haben oft keine gesehen.
Prüf das Datum aktiv. Ein Index kann Monate alt sein, ein Trainingsstand Jahre. Bei allem, was sich ändert, also Preise, Gesetze, Personen, Marktzahlen, ist die Zeitangabe wichtiger als der Inhalt.
Geh für DACH-Themen an die nationale Quelle. Bundesamt für Statistik, SECO, Fedlex, kantonale Portale, Branchenverbände. Diese Ebene fehlt in den globalen Korpora häufig ganz.
Und behandle jede KI-Antwort als Hypothese mit Belegpflicht. Der CRAP-Test bleibt dabei das einfachste Raster: Currency, Reliability, Authority, Purpose. Vier Fragen, die keine zwei Minuten brauchen.
Was das für deine Website heisst
Die gleiche Struktur wirkt in die andere Richtung. Wenn dein Unternehmenswissen nicht im Index ist, existiert es für KI-Systeme nicht. Weder für die Recherche deiner Kund:innen noch für die Antwort, in der du erwähnt werden möchtest.
Damit wird die robots.txt zur strategischen Entscheidung, nicht zur technischen Fussnote. Trainings-Crawler und Antwort-Crawler zu trennen ist möglich und meist sinnvoll: Das eine speist Modelle, das andere holt eine Seite, weil gerade jemand nach dir gefragt hat. Ein pauschales Blockieren erledigt beides gleichzeitig.
Für internes Wissen gilt die Umkehrung. Was in Verträgen, Protokollen, Offerten und Handbüchern steckt, wird kein öffentliches Modell je gesehen haben. Wer damit arbeiten will, braucht eigene Retrieval-Strukturen auf eigenen Daten. Nicht aus Datenschutzgründen allein, sondern weil sonst schlicht nichts da ist, worauf das System zugreifen könnte.
Die eigentliche Kompetenz verschiebt sich damit. Sie liegt nicht mehr im Finden von Information, sondern im Beurteilen, was in einer Antwort fehlt und warum es fehlt. Das ist eine Frage, die dir kein System beantwortet, weil es die eigene Lücke nicht sieht.
Die wichtigsten Punkte für dich zum mitnehmen
- KI-Antworten mischen drei Quellen: eingefrorenes Trainingsmaterial, einen Suchindex und wenige live abgerufene Seiten. Im Output sind diese Herkünfte ununterscheidbar.
- Der zugängliche Teil des Webs schrumpft messbar. Innerhalb eines Jahres wurden über 25 Prozent der Tokens aus den wichtigsten Quelldomains von C4 per robots.txt gesperrt.
- Das Deep Web, also Login-Bereiche, Paywalls, Fachdatenbanken und Behördensysteme, enthält das geprüftere Wissen und bleibt für Crawler strukturell unerreichbar.
- Retrieval liest Treffer, nicht Bestände. Das Tow Center fand in über 60 Prozent der Tests fehlerhafte Quellenangaben, oft mit Zweitverwertungen statt Originalen.
- Lizenzverträge bestimmen mit, wer sichtbar ist. Die Antwort zweier Systeme zu vergleichen ersetzt keine Verifikation.
- Für den DACH-Raum kommt eine Sprach- und Rechtsraumverzerrung dazu: nationale Quellen sind unterrepräsentiert.
- Die eigene robots.txt ist eine strategische Entscheidung über Sichtbarkeit, nicht nur eine technische Einstellung.
Und darum bin ich nach wie vor überzeugt: Die Zukunft gehört nicht mehr dem Tippen und Klicken, sondern dem gemAInsamen arbeiten mit intelligenten Systemen. Aber nur, wenn wir wissen, worauf diese Systeme schauen und worauf nicht.
Wer die Lücke im Sichtfeld kennt, arbeitet besser mit der Maschine als jede und jeder, die ihr blind vertraut. Also wenn Du reden willst, und wenn Du mit mir zusammenarbeiten willst: melde Dich gerne www.rogerbasler.ch
Disclaimer
Dieser Artikel wurde nach meinem eigenen Wissen und dann mit Recherchen mit KI (Perplexity.Ai und Gemini.Google.com) manuell zusammengestellt und mit Deepl.com/write vereinfacht. Der Text wird dann nochmals von zwei Personen meiner Wahl gelesen und kritisch hinterfragt. Das Bild stammt aus KI-generierter Bildgebung (Ideogram/Adobe Firefly). Dieser Artikel ist rein edukativ und erhebt keinen Anspruch auf Vollständigkeit. Die genannten Kennzahlen zu Crawler-Verhalten verändern sich monatlich; die angegebenen Werte beziehen sich auf den jeweils genannten Messzeitraum. Bitte melde dich, wenn Du Ungenauigkeiten feststellst, danke.
Quellen
Deck, A. (2025, 10. März). AI search engines fail to produce accurate citations in over 60% of tests, according to new Tow Center study. Nieman Journalism Lab. https://www.niemanlab.org/2025/03/ai-search-engines-fail-to-produce-accurate-citations-in-over-60-of-tests-according-to-new-tow-center-study/
European Broadcasting Union & BBC. (2025). News integrity in AI assistants: An international PSM study. EBU. https://www.ebu.ch/research/open/report/news-integrity-in-ai-assistants
European Broadcasting Union & BBC. (2025). News integrity in AI assistants toolkit. EBU. https://www.ebu.ch/files/live/sites/ebu/files/Publications/MIS/open/EBU-MIS-BBC_News_Integrity_in_AI_Assistants_Toolkit_2025.pdf
Longpre, S., Mahari, R., Lee, A., Lund, C., Oderinwale, H., Brannon, W., et al. (2024). Consent in crisis: The rapid decline of the AI data commons. arXiv. https://arxiv.org/abs/2407.14933
Tomé, J. (2025, 29. August). The crawl-to-click gap: Cloudflare data on AI bots, training, and referrals. Cloudflare Blog. https://blog.cloudflare.com/crawlers-click-ai-bots-training/
Cloudflare. (2026). AI Insights. Cloudflare Radar. https://radar.cloudflare.com/ai-insights
Cloudflare. (2026, 1. Juli). Your site, your rules: new AI traffic options for all customers. Cloudflare Blog. https://blog.cloudflare.com/content-independence-day-ai-options/
