Ein KI-Agent wie ChatGPT oder Perplexity liest Ihre Website ähnlich wie eine Suchmaschine: Ein Crawler ruft die Seite ab, sofern Ihre robots.txt ihn lässt, liest den Text im HTML und ordnet ihn über Überschriften und strukturierte Daten ein. Gute KI Sichtbarkeit einer Website entsteht deshalb vor allem durch erreichbare, klar geschriebene Seiten, deren Inhalt auch ohne JavaScript im Quelltext steht. Ob ein Assistent Sie versteht, prüfen Sie in drei Schritten: Sie fragen ihn direkt nach Ihrem Betrieb, sehen sich Ihre Seite ohne JavaScript an und kontrollieren die robots.txt auf gesperrte KI-Crawler.
Inhalt
- Wie kommt ein KI-Agent überhaupt an Ihre Website?
- Welche KI-Crawler gibt es, und welche sollten Sie zulassen?
- Was liest der Agent, und was übersieht er?
- Helfen strukturierte Daten, schema.org und llms.txt?
- Wie prüfen Sie die KI Sichtbarkeit Ihrer Website selbst?
- Was haben wir an der eigenen Seite gelernt?
- Häufige Fragen
- Fazit
Ich bin Dennis Isermann und beschäftige mich seit über 17 Jahren mit komplexen IT-Systemen, Softwareentwicklung und Automatisierung. Seit 2007 unterstütze ich mit VaTo24 Unternehmen bei ihrer digitalen Präsenz und entwickle heute auch eigene KI-Lösungen.
In Kundengesprächen höre ich immer häufiger: „Wenn ich ChatGPT nach meinem Betrieb frage, kommt Unsinn heraus.“
Warum das passiert, wie KI-Systeme Ihre Website wahrnehmen und wie Sie in nur 15 Minuten selbst prüfen können, was ChatGPT über Ihr Unternehmen weiß, zeige ich Ihnen in diesem Beitrag. Ganz ohne technische Vorkenntnisse.
Wie kommt ein KI-Agent überhaupt an Ihre Website?
Ein KI-Agent, also ein Programm, das im Auftrag eines Nutzers Informationen sucht und zusammenfasst, kennt Ihre Website nur, wenn ein Crawler sie abgerufen hat. Ein Crawler ist ein automatisches Programm, das Seiten herunterlädt und auswertet. Ohne diesen Abruf weiß der Assistent über Ihren Betrieb nur, was andere Seiten über Sie schreiben.
Dabei gibt es zwei Wege. Beim ersten Weg durchsucht ein Crawler das Netz vorab und baut einen Suchindex auf, ähnlich wie Google es seit Jahrzehnten tut. Beim zweiten Weg ruft der Assistent eine Seite in dem Moment ab, in dem ein Nutzer eine Frage stellt. OpenAI unterscheidet genau diese beiden Fälle: OAI-SearchBot sorgt dafür, dass Websites in den Suchergebnissen von ChatGPT erscheinen, während ChatGPT-User eine Seite nur dann besucht, wenn ein Nutzer in ChatGPT eine Frage stellt (OpenAI, „Overview of OpenAI Crawlers“, 2026).
Bevor ein seriöser Crawler eine Seite lädt, liest er die Datei robots.txt. Das ist eine kleine Textdatei im Hauptverzeichnis Ihrer Domain, in der steht, welche Programme welche Bereiche abrufen dürfen. Was dort gesperrt ist, kommt im Suchindex des jeweiligen Anbieters nicht an. Die robots.txt ist deshalb die erste Stelle, an der KI Sichtbarkeit scheitert, und zugleich die einfachste, die Sie selbst prüfen können.
Die folgende Grafik zeigt die vier Stationen, die Ihre Seite durchläuft, bevor sie in einer KI-Antwort als Quelle auftaucht. Fällt eine Station aus, kommen die späteren nicht mehr zum Zug.
Vom Abruf zur Quelle in der KI-Antwort
Vereinfachter Ablauf bei Suchfunktionen wie ChatGPT-Suche oder Perplexity
Der Crawler liest die robots.txt. Ist er gesperrt, endet der Weg hier.
Er lädt das HTML. Text, der erst per JavaScript erscheint, fehlt womöglich.
Überschriften, Absätze und strukturierte Daten sagen, wer Sie sind und was Sie anbieten.
Der Assistent zitiert klar formulierte Absätze und verlinkt Ihre Seite als Quelle.
Eigene Darstellung auf Basis von OpenAI, „Overview of OpenAI Crawlers“, 2026, Perplexity, „Perplexity Crawlers“, 2026 und Google Search Central, „JavaScript SEO basics“, 2026.
Welche KI-Crawler gibt es, und welche sollten Sie zulassen?
Für die Sichtbarkeit in KI-Antworten zählen vor allem die Such-Crawler, nicht die Trainings-Crawler. Viele Betriebe sperren pauschal „die KI“ und merken nicht, dass sie damit auch aus den Suchergebnissen der Assistenten verschwinden. Die Anbieter trennen diese Aufgaben, und Sie können sie einzeln steuern.
| Crawler | Anbieter | Wofür er da ist | Folge, wenn Sie ihn sperren |
|---|---|---|---|
| OAI-SearchBot | OpenAI | Websites in der ChatGPT-Suche anzeigen | Ihre Seite erscheint nicht in Suchantworten von ChatGPT |
| GPTBot | OpenAI | Inhalte für das Training künftiger Modelle sammeln | Ihre Inhalte sollen nicht ins Training einfließen; die ChatGPT-Suche ist davon getrennt |
| ChatGPT-User | OpenAI | Seiten abrufen, wenn ein Nutzer gerade fragt | Laut OpenAI greift die robots.txt hier unter Umständen nicht, weil ein Mensch den Abruf auslöst |
| PerplexityBot | Perplexity | Websites in den Suchergebnissen von Perplexity anzeigen und verlinken | Ihre Seite fehlt in Perplexity-Ergebnissen |
| Google-Extended | Steuert, ob Inhalte für das Training von Gemini genutzt werden | Kein Einfluss auf die Aufnahme in die Google-Suche |
OpenAI schreibt ausdrücklich, dass Seiten, die OAI-SearchBot aussperren, nicht in den Suchantworten von ChatGPT gezeigt werden, und dass die Einstellungen für OAI-SearchBot und GPTBot unabhängig voneinander gelten (OpenAI, „Overview of OpenAI Crawlers“, 2026). Perplexity empfiehlt, PerplexityBot in der robots.txt zuzulassen, damit eine Seite in den Suchergebnissen erscheint (Perplexity, „Perplexity Crawlers“, 2026). Google stellt klar, dass Google-Extended weder die Aufnahme in die Google-Suche beeinflusst noch als Rankingsignal dient (Google Search Central, „List of Google's common crawlers“, 2026).
Änderungen an der robots.txt wirken nicht sofort. OpenAI nennt etwa 24 Stunden, bis die eigenen Systeme eine geänderte robots.txt berücksichtigen (OpenAI, „Overview of OpenAI Crawlers“, 2026). Perplexity gibt ebenfalls bis zu 24 Stunden an (Perplexity, „Perplexity Crawlers“, 2026). Wer heute etwas freischaltet, sollte den Selbsttest also frühestens morgen wiederholen.
Unsere Meinung dazu: Für eine Kanzlei, eine Praxis oder einen Handwerksbetrieb gibt es selten einen Grund, die Such-Crawler auszusperren. Ihre Leistungsseiten sollen gefunden werden, dafür haben Sie sie gebaut. Ob Sie das Training mit GPTBot oder Google-Extended zulassen, ist dagegen eine echte Abwägung, die Sie getrennt treffen können.
Was liest der Agent, und was übersieht er?
Ein KI-Agent liest vor allem den Text, der im HTML Ihrer Seite steht, und orientiert sich an dessen Gliederung. Bilder mit eingebranntem Text, PDF-Flyer und Inhalte, die erst nach einem Klick oder per JavaScript nachgeladen werden, kommen bei ihm schlechter oder gar nicht an.
Das Problem mit JavaScript
JavaScript ist die Programmiersprache, mit der Websites im Browser bewegliche Elemente, Schieberegler oder nachgeladene Inhalte anzeigen. Viele moderne Baukästen erzeugen den eigentlichen Text erst im Browser. Google rendert solche Seiten mit einem eigenen Browser nach, warnt aber selbst, dass nicht alle Bots JavaScript ausführen können, und empfiehlt deshalb weiterhin serverseitiges Rendering oder Vorab-Rendering (Google Search Central, „Understand the JavaScript SEO basics“, 2026). Serverseitig gerendert heißt: Der Server liefert die fertige Seite mit allem Text aus, statt ein leeres Gerüst, das der Browser erst füllen muss.
Für Ihren Betrieb bedeutet das: Wenn Ihre Leistungen, Öffnungszeiten oder Ihre Telefonnummer nur in einem Element stehen, das per JavaScript erscheint, sieht ein einfacher Crawler womöglich eine Seite ohne diese Angaben. Der Assistent antwortet dann mit dem, was er anderswo findet, und das ist oft veraltet.
Was ein Agent gut versteht
- Eine Überschrift pro Thema: Eine Seite „Heizungswartung in Unna“ ist eindeutiger als eine Seite „Leistungen“, auf der zwölf Dinge durcheinander stehen.
- Eigenständige Absätze: Ein Satz wie „Die Kanzlei berät Arbeitnehmer und Arbeitgeber im Arbeitsrecht, Termine nach Vereinbarung“ lässt sich ohne Zusammenhang zitieren. „Wir sind für Sie da“ lässt sich nicht zitieren.
- Gleiche Angaben überall: Name, Adresse und Telefonnummer sollten auf der Website, im Google-Unternehmensprofil und in Verzeichnissen identisch sein. Widersprüche machen Assistenten vorsichtig.
- Antworten auf echte Fragen: Eine FAQ mit den Fragen, die Ihre Kunden am Telefon stellen, liefert genau die Absätze, die ein Assistent übernehmen kann.
Das ist im Kern dieselbe Arbeit wie gute Suchmaschinenoptimierung. Google schreibt dazu, dass es keine zusätzlichen Anforderungen und keine besonderen Optimierungen braucht, um in den KI-Übersichten oder im KI-Modus zu erscheinen; die üblichen SEO-Grundlagen reichen (Google Search Central, „AI features and your website“, 2026). Was wir in der lokalen Suchmaschinenoptimierung machen, beschreiben wir auf der Seite SEO-Agentur Unna.
Helfen strukturierte Daten, schema.org und llms.txt?
Strukturierte Daten helfen beim Einordnen, sie sind aber kein Schalter für KI Sichtbarkeit. Eine llms.txt ist ein junger Vorschlag, dessen Nutzen wir offen als ungewiss bezeichnen.
Strukturierte Daten nach schema.org
Strukturierte Daten sind ein unsichtbarer Zusatz im Quelltext, der in festen Begriffen beschreibt, worum es auf einer Seite geht: dass hier ein Unternehmen mit dieser Adresse, diesen Öffnungszeiten und dieser Telefonnummer steht. Google beschreibt strukturierte Daten als standardisiertes Format, um Informationen über eine Seite bereitzustellen und ihren Inhalt einzuordnen, und empfiehlt dafür das Format JSON-LD (Google Search Central, „Introduction to structured data markup in Google Search“, 2026).
Das Vokabular dafür liefert schema.org, gegründet von Google, Microsoft, Yahoo und Yandex. Nach eigenen Angaben nutzten im Jahr 2024 über 45 Millionen Web-Domains schema.org mit über 450 Milliarden Objekten (Schema.org, Startseite, 2026). Für einen Betrieb sind meist wenige Typen relevant, etwa LocalBusiness für das Unternehmen, Service für Leistungen und FAQPage für häufige Fragen.
Zwei Einschränkungen sollten Sie kennen. Google schreibt ausdrücklich, dass es für die KI-Funktionen der Suche keine besonderen schema.org-Daten braucht (Google Search Central, „AI features and your website“, 2026). Und die Daten müssen zum sichtbaren Text passen: Google rät davon ab, strukturierte Daten über Informationen einzubauen, die der Besucher nicht sieht (Google Search Central, „Introduction to structured data markup in Google Search“, 2026). Strukturierte Daten machen eine klare Seite also eindeutiger. Eine unklare Seite retten sie nicht.
Die Datei llms.txt
Die llms.txt ist eine Textdatei im Markdown-Format, die einem Sprachmodell eine kurze Zusammenfassung Ihrer Website und eine Liste der wichtigsten Seiten liefert. Vorgeschlagen hat sie Jeremy Howard, die Erstveröffentlichung des Vorschlags ist auf den 3. September 2024 datiert (llmstxt.org, „The /llms.txt file“, 2024). Die Datei liegt im Hauptverzeichnis der Website, also unter ihre-domain.de/llms.txt.
Google sagt zu solchen Dateien klar, dass Sie keine neuen maschinenlesbaren Dateien oder KI-Textdateien anlegen müssen, um in den KI-Funktionen der Suche zu erscheinen (Google Search Central, „AI features and your website“, 2026). In den Crawler-Dokumentationen von OpenAI und Perplexity, die wir für diesen Beitrag gelesen haben, kommt llms.txt nicht vor. Wir legen die Datei trotzdem an, weil sie wenig Aufwand macht und nichts kaputt macht. Sie gehört aber ans Ende der Liste, nach erreichbaren Seiten und klarem Text.
Wie prüfen Sie die KI Sichtbarkeit Ihrer Website selbst?
Den wichtigsten Teil der KI Sichtbarkeit Ihrer Website prüfen Sie ohne Fachwissen in vier Schritten. Sie brauchen dafür einen Browser am Computer und ein kostenloses Konto bei ChatGPT oder Perplexity.
- Fragen Sie den Assistenten direkt. Stellen Sie in ChatGPT mit eingeschalteter Websuche oder in Perplexity eine Frage, wie sie ein Kunde stellen würde, zum Beispiel: „Welche Leistungen bietet [Ihr Betriebsname] in [Ihr Ort] an, und wie erreiche ich ihn?“ Prüfen Sie die Antwort Satz für Satz auf Fehler und sehen Sie nach, welche Quellen verlinkt sind. Steht Ihre eigene Website nicht darunter, sondern nur Verzeichnisse oder Bewertungsportale, kommt der Assistent an Ihre Seite schlecht heran oder versteht sie nicht.
- Stellen Sie eine Frage ohne Ihren Namen. Fragen Sie zusätzlich nach Ihrer Leistung in Ihrer Stadt, etwa „Steuerberater für Handwerksbetriebe in Unna“. So sehen Sie, ob Sie überhaupt als Antwort in Frage kommen und wer stattdessen genannt wird.
- Lesen Sie Ihre Seite ohne JavaScript. Öffnen Sie Ihre wichtigste Leistungsseite in Chrome, Edge oder Firefox und drücken Sie Strg+U. Es öffnet sich der Quelltext, also das, was der Server ausliefert. Suchen Sie dort mit Strg+F nach Ihrer Telefonnummer und nach einem Satz aus Ihrem Leistungstext. Finden Sie beides, ist der Text für Crawler lesbar. Fehlt er, wird er erst im Browser per JavaScript erzeugt.
- Kontrollieren Sie die robots.txt. Geben Sie in die Adresszeile ihre-domain.de/robots.txt ein. Suchen Sie nach Zeilen mit „User-agent: OAI-SearchBot“, „User-agent: PerplexityBot“ oder „User-agent: *“, gefolgt von „Disallow: /“. Diese Kombination sperrt den genannten Crawler für die ganze Seite. „User-agent: *“ gilt für alle Programme, die nicht eigens aufgeführt sind.
Wenn Sie strukturierte Daten eingebaut haben, lohnt ein fünfter Schritt: Geben Sie Ihre Adresse in den Rich-Results-Test von Google oder in den Validator von schema.org ein. Beide zeigen kostenlos, welche Angaben sie erkennen und ob Fehler darin stecken.
Halten Sie die Ergebnisse kurz fest, mit Datum. Antworten von Assistenten schwanken, und erst der Vergleich nach einigen Wochen zeigt, ob eine Änderung etwas bewirkt hat.
Was haben wir an der eigenen Seite gelernt?
Der häufigste Fehler steht nicht in Ihrer robots.txt, sondern in einer Einstellung, an die niemand denkt. Das haben wir an unserer eigenen Produktseite dynomic.ai erlebt.
Die robots.txt in unserem Quellcode ließ KI-Crawler ausdrücklich zu. Als wir die ausgelieferte Datei im Browser geprüft haben, stand dort etwas anderes: Der Dienst Cloudflare, über den die Seite ausgeliefert wird, bietet eine Option für eine „verwaltete robots.txt“. Sie war aktiv und hat vor unsere eigenen Regeln Sperren für KI-Crawler gesetzt. Unsere Datei sagte „willkommen“, die ausgelieferte Datei sagte „draußen bleiben“. Aufgefallen ist das nur, weil wir die Datei unter der echten Adresse aufgerufen haben, statt der Kopie im Projekt zu glauben.
Daraus ziehen wir zwei Lehren, die für jeden Betrieb gelten. Erstens: Prüfen Sie immer die Datei, die unter Ihrer Domain tatsächlich ausgeliefert wird, nicht das, was Ihr Webdesigner Ihnen schickt. Zweitens: Sicherheitsdienste, Hosting-Pakete und Plugins können KI-Crawler ohne Ihr Wissen aussperren. Bei WordPress-Seiten sehen wir dasselbe Muster bei Sicherheits-Plugins, die unbekannte Bots pauschal blockieren. Worauf es bei einer WordPress-Seite technisch sonst ankommt, steht in unserem Beitrag WordPress-Website 2026: Was muss sie können?.
Ein zweites Muster sehen wir bei Websites aus Baukastensystemen: Leistungen und Preise stecken in Reitern oder Schiebereglern, die erst per JavaScript befüllt werden. Für Besucher sieht alles vollständig aus. Im Quelltext stehen dann nur Platzhalter, und genau dort setzt der dritte Schritt des Selbsttests an.
Häufige Fragen
Kann ich dafür sorgen, dass ChatGPT meinen Betrieb empfiehlt?
Garantieren kann das niemand, auch keine Agentur. Sie können aber die Voraussetzungen schaffen: Such-Crawler zulassen, Text im HTML ausliefern, klare Leistungsseiten schreiben und überall dieselben Firmendaten verwenden. Ohne diese Grundlagen wird Ihre Seite nicht als Quelle genannt.
Verliere ich Google-Rankings, wenn ich KI-Crawler sperre?
Für Google-Extended sagt Google ausdrücklich, dass die Einstellung weder die Aufnahme in die Google-Suche noch das Ranking beeinflusst (Google Search Central, „List of Google's common crawlers“, 2026). Sperren Sie dagegen OAI-SearchBot oder PerplexityBot, fehlen Sie in den Suchantworten von ChatGPT oder Perplexity. Die Google-Suche bleibt davon unberührt.
Brauche ich eine llms.txt?
Nötig ist sie nicht, Google sagt sogar ausdrücklich, dass keine KI-Textdateien erforderlich sind. Die Datei schadet nicht und ist schnell angelegt. Kümmern Sie sich zuerst um robots.txt, lesbaren Text und strukturierte Daten.
Wie schnell wirkt eine Änderung in der robots.txt?
OpenAI und Perplexity nennen jeweils etwa 24 Stunden, bis ihre Systeme eine geänderte robots.txt berücksichtigen. Bis Ihre Seite danach tatsächlich neu abgerufen und in Antworten verwendet wird, kann es länger dauern. Wiederholen Sie den Selbsttest deshalb nach einigen Tagen und dann nach einigen Wochen.
Fazit
Rufen Sie heute Ihre robots.txt unter der echten Adresse auf und prüfen Sie, ob OAI-SearchBot und PerplexityBot zugelassen sind. Sehen Sie sich danach Ihre wichtigste Leistungsseite mit Strg+U an und stellen Sie ChatGPT oder Perplexity die Frage, die Ihre Kunden stellen würden. Notieren Sie, was falsch ist, und arbeiten Sie die Punkte in der Reihenfolge Erreichbarkeit, Text, strukturierte Daten ab; was wir dabei übernehmen können, steht auf unserer Seite zur KI-Sichtbarkeit.
Wenn Sie das Ergebnis Ihres Selbsttests gemeinsam mit uns ansehen möchten: Ein Erstgespräch ist kostenlos, Sie können es über die Kontaktseite vereinbaren.
Quellen
- OpenAI: Overview of OpenAI Crawlers, 2026
- Perplexity: Perplexity Crawlers, 2026
- Google Search Central: AI features and your website, 2026
- Google Search Central: List of Google's common crawlers, 2026
- Google Search Central: Understand the JavaScript SEO basics, 2026
- Google Search Central: Introduction to structured data markup in Google Search, 2026
- Schema.org: Startseite, 2026
- llmstxt.org (Jeremy Howard): The /llms.txt file, 2024
