KI-Crawler zulassen:
Technik und Belege, die Assistenten lesen können.
KI-Crawler rufen Ihre Seiten für Assistenten wie ChatGPT, Perplexity und Claude ab, Gemini greift auf den Google-Suchindex zurück. Praxisempfehlung für Softwareanbieter: Erlauben Sie die Such- und Abruf-Crawler und prüfen Sie im Quelltext, ob Preise, Dokumentation und Referenzen ohne Anmeldung und ohne JavaScript lesbar sind.
- Zugang: Dreizehn Crawler mit Zweck und Hinweis, eine Beispiel-robots.txt, die Suche und Abruf erlaubt, und der Stand bei den Signalen für Training.
- Lesbarkeit: Ein Quelltext-Test in vier Schritten für Preistabellen, Reiter und aufklappbare Bereiche.
- Stolpersteine: Sechs Prüfungen für Softwareanbieter: Dokumentation hinter Anmeldung, nachgeladene Preisrechner, Subdomains, Testumgebungen, Weiterleitungen, Preise als Bild oder PDF.
- Ablauf: Technik-Check in 90 Minuten, JSON-LD am Beispiel Musterwerk ERP. Den 30-Tage-Plan finden Sie im Hub des Handbuchs.
Unser Autor: Dr. Marcel Panzer. Forscht zu KI in Unternehmenssoftware und begleitet Auswahlprojekte von der ersten Anforderung bis zur Entscheidung. Hat oft genug gesehen, dass Projekte nicht an Funktionen scheitern, sondern an unklaren Anforderungen. Deshalb setzt er auf saubere Methodik statt Bauchgefühl. Zum Profil.
Der Weg einer Seite
zum Assistenten.
Für Antworten mit Websuche gilt: Ein Assistent kann nur zitieren, was ein Crawler abrufen darf und lesen kann. Der Crawler liest zuerst die robots.txt, dann die Seite. Wo eine Station ausfällt, helfen die späteren nicht. Aus unseren Messdaten: 15 von 50 Antworten enthielten keine Quelle. Eine Antwort ohne Quelle verlinkt keine Seite, daran ändert die Technik Ihrer Seiten nichts.
Eigene Messung: 50 Kaufabsichts-Fragen, 1 Lauf, 1 Assistent mit Websuche (OpenAI-Schnittstelle), 18.11.2026. Evidenz schwach.
Lesbar ohne JavaScript:
Was im Quelltext steht, lesen alle Crawler.
Praxisempfehlung: Planen Sie so, als läse der Crawler nur den Quelltext Ihrer Seite. Google beschreibt, dass es JavaScript in einer eigenen Phase ausführt, sobald Ressourcen frei sind, und empfiehlt Vorab-Erzeugung der Seite, weil nicht alle Bots JavaScript ausführen können. Für die Crawler der Assistenten gilt die Dokumentation des jeweiligen Betreibers. Die Links stehen unter der Crawler-Tabelle.
Diese Bereiche prüfen Sie zuerst
- Preistabellen und Rechner: Holt ein Tarifumschalter die Beträge per Skript, steht im Quelltext nur ein leerer Rahmen. Ein Crawler ohne Skriptausführung findet dann keinen Preis, den er zitieren kann.
- Reiter: Lädt der Inhalt eines Reiters erst beim Klick, fehlt er im Quelltext. Prüfen Sie vor allem die Reiter für Funktionen, Technik und Preise, denn dort suchen Käufer.
- Aufklappbare Bereiche: Kommen die Antworten erst beim Öffnen aus einer Schnittstelle, stehen sie nicht im Quelltext. Prüfen Sie jede FAQ-Liste und jeden Bereich mit Details einzeln.
- Bilder mit Zahlen: Steht ein Preis oder eine Kennzahl nur in einer Grafik, liest ein Textcrawler sie nicht. Ergänzen Sie jede Grafik um einen Satz mit der Zahl und dem Stand.
So steht es im Quelltext
- Fertig ausgelieferter Text: Der Server schickt Überschriften, Absätze, Tabellen und Preise als HTML. Dieser Text liegt in der ersten Antwort Ihres Servers und braucht keine Skriptausführung.
- Aufklappbare Bereiche ohne Skript: Das HTML-Element details mit summary klappt Inhalte auf, die im Dokument stehen und nur verborgen sind. Der Text ist von Anfang an im Quelltext.
- Preise als HTML-Tabelle: Tarif, Einheit, Betrag und Stand-Datum stehen im Text. Ein Rechner darf zusätzlich bestehen, die Tabelle bleibt die Grundlage.
- Links als a-Element mit href: Google entdeckt Links nur in dieser Form. Verwenden Sie sie für Navigation und für Verweise auf Ihre Dokumentation.
Quellen: Google zu JavaScript-SEO, Google zu den technischen Anforderungen, MDN zum Element details, Stand November 2026.
So prüfen Sie es:
Vier Schritte je Seite.
Beginnen Sie mit den Seiten, nach denen Käufer fragen: Ihre Seite mit den Preisen, die Produktübersicht, die Seite zu den Schnittstellen und die Hilfe. Praxisempfehlung: Halten Sie jedes Ergebnis mit Adresse, Datum und Befund fest.
Strg+U unter Windows, Cmd+Alt+U am Mac
Öffnen Sie die Seite im Browser und rufen Sie die Quelltext-Ansicht auf. Sie sehen den HTML-Text, den der Server geliefert hat, noch bevor ein Skript läuft.
- Öffnen Sie die Seite in einem Fenster ohne Anmeldung, so wie sie ein Crawler ohne Zugangsdaten sieht.
- Typischer Fehler: Sie suchen im Browserfenster mit Strg+F statt im Quelltext. Das findet auch nachgeladenen Text und zeigt Ihnen einen Erfolg, den ein Crawler nicht hat.
Ein ganzer Satz mit Zahl
Suchen Sie im Quelltext mit Strg+F nach einem Satz aus dem Haupttext, bei Preisen nach der ersten Zeile der Tabelle. Steht der Satz dort, ist er ohne Skript lesbar. Fehlt er, wird er nachgeladen.
- Prüfen Sie je Seite mindestens drei Stellen: die Einleitung, eine Tabelle und einen aufklappbaren Bereich.
- Typischer Fehler: Sie suchen nach einem Wort, das auch im Menü steht. Nehmen Sie einen ganzen Satz mit einer Zahl, dann trifft die Suche nur den Haupttext.
Die Seite ohne JavaScript laden
In Chrome öffnen Sie die Entwicklerwerkzeuge, rufen mit Strg+Umschalt+P (Mac: Cmd+Umschalt+P) das Befehlsmenü auf und wählen „Disable JavaScript“. Laden Sie die Seite neu. Was jetzt fehlt, hängt am Skript.
- Beispiel Musterwerk ERP: Der Tarifumschalter bleibt leer, weil die Preise nur in einer Schnittstellenantwort stehen. Die Lösung: Der Server liefert die Tabelle mit allen Tarifen fertig aus, und der Umschalter blendet nur Spalten ein oder aus.
- Halten Sie fehlende Bereiche mit Bildschirmfoto und Adresse fest.
Was Google sieht, zeigt die Search Console
Das URL-Prüftool testet die Seite live. Es zeigt das gelieferte HTML mit den HTTP-Headern und einen Screenshot der gerenderten Seite. Der Screenshot erscheint nur bei einem erfolgreichen Live-Test.
- Das Tool gilt nur für Google. Für die Crawler der Assistenten bleibt der Quelltext-Test Ihr Maßstab.
- Typischer Fehler: Die robots.txt sperrt Skriptdateien. Laut Google rendert Google Inhalte aus gesperrten Dateien nicht.
Quellen: Chrome: JavaScript deaktivieren, Google URL-Prüftool, Google zu JavaScript-SEO, Stand November 2026.
Dreizehn Crawler
und wofür sie stehen.
OpenAI, Anthropic und Mistral trennen Suche, Abruf auf Nutzerwunsch und Training in je einen eigenen Crawler, Perplexity trennt Suche und Abruf. So können Sie das eine erlauben und das andere sperren. Die Reihenfolge folgt dem Zweck.
| Crawler | Assistent oder Betreiber | Zweck | Hinweis |
|---|---|---|---|
| OAI-SearchBot | OpenAI (ChatGPT) | Suche | OpenAI empfiehlt, ihn zu erlauben. Gesperrte Seiten erscheinen laut OpenAI nicht in den Antworten der ChatGPT-Suche, können aber als Navigationslink auftauchen. |
| Claude-SearchBot | Anthropic (Claude) | Suche | Verbessert laut Anthropic die Qualität der Suchergebnisse. Eine Sperre kann Sichtbarkeit und Genauigkeit in den Suchergebnissen mindern. |
| PerplexityBot | Perplexity | Suche | Soll Seiten in der Perplexity-Suche anzeigen und verlinken, laut Perplexity nicht für das Training von Basismodellen. Perplexity empfiehlt, ihn zu erlauben. |
| MistralAI-Index | Mistral | Suche (Index) | Crawlt automatisch nur zum Indexieren für die Mistral-Suche. Laut Mistral nicht für Training. |
| ChatGPT-User | OpenAI (ChatGPT) | Abruf auf Nutzerwunsch | Für Nutzeraktionen in ChatGPT und eigenen GPTs. Weil ein Nutzer den Abruf auslöst, gelten robots.txt-Regeln laut OpenAI möglicherweise nicht. Für die Suche ist OAI-SearchBot zuständig. |
| Claude-User | Anthropic (Claude) | Abruf auf Nutzerwunsch | Ruft Seiten ab, wenn ein Nutzer Claude eine Frage stellt. Eine Sperre kann die Sichtbarkeit bei nutzergesteuerter Websuche mindern. |
| Perplexity-User | Perplexity | Abruf auf Nutzerwunsch | Ruft Seiten für Antworten ab und verlinkt sie. Laut Perplexity ignoriert er robots.txt in der Regel, weil ein Nutzer den Abruf auslöst. |
| MistralAI-User | Mistral | Abruf auf Nutzerwunsch | Für Nutzeraktionen in Vibe (so die Mistral-Dokumentation). Laut Mistral nicht zum automatischen Crawlen und nicht für Training. |
| GPTBot | OpenAI | Training | Eine Sperre zeigt laut OpenAI an, dass Inhalte nicht für das Training generativer Basismodelle genutzt werden sollen. |
| ClaudeBot | Anthropic | Training | Eine Sperre zeigt laut Anthropic an, dass künftige Inhalte Ihres Auftritts aus den Trainingsdaten ausgeschlossen werden sollen. |
| MistralAI-Training | Mistral | Training | Baut Datensätze für das Training von Mistral-Modellen. Webmaster können ihn in der robots.txt sperren. |
| Google-Extended | Google (Gemini) | Steuerzeichen für Gemini | Steuert, ob Inhalte für das Training künftiger Gemini-Modelle und für Grounding in Gemini Apps genutzt werden dürfen. Kein eigener User-Agent, kein Einfluss auf die Aufnahme in die Google-Suche und kein Ranking-Signal. |
| CCBot | Common Crawl | Offenes Webarchiv | Common Crawl pflegt ein frei zugängliches Archiv von Crawl-Daten. Eine Sperre per Disallow für CCBot stoppt das Crawlen. |
Quellen: OpenAI, Anthropic, Perplexity, Mistral, Google, Common Crawl, Stand November 2026. Crawler und Namen ändern sich. Prüfen Sie die aktuelle Dokumentation des jeweiligen Betreibers über diese Links. Welche Quellentypen Assistenten nutzen, beschreibt das Kapitel Quellen von KI-Assistenten.
Beispiel-robots.txt:
Suche und Abruf erlauben, Training gesondert.
Die robots.txt liegt im Stammverzeichnis Ihrer Domain, zum Beispiel unter https://www.ihre-domain.de/robots.txt, und ist eine UTF-8-Textdatei. Ohne Regel ist laut Google alles erlaubt. Die Allow-Zeile dokumentiert deshalb Ihre Absicht. Ein Crawler folgt nur der Gruppe, die am genauesten zu seinem Namen passt. Wiederholen Sie geschützte Pfade daher in jeder Gruppe, wie bei /intern/ im Beispiel.
robots.txt: Suche und Abruf erlauben
# Suche und Abruf erlauben
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: MistralAI-Index
User-agent: MistralAI-User
Allow: /
Disallow: /intern/
# Alle anderen Crawler
User-agent: *
Disallow: /intern/
Sitemap: https://www.ihre-domain.de/sitemap.xmlTraining: Beispiel für eine Sperre
# Training: eigene Entscheidung.
# Dieser Block sperrt nur das Training,
# Suche und Abruf bleiben unberührt.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: MistralAI-Training
User-agent: Google-Extended
User-agent: CCBot
Disallow: /Praxisempfehlung mit fiktiver Domain. Ob Sie Training erlauben, ist eine eigene Entscheidung mit Recht, Marketing und Geschäftsführung. Quellen: Google zu robots.txt, Google zu Konflikten zwischen Regeln, Google zu robots.txt und Indexierung. Quellen zu den fünf Entscheidungen darunter: OpenAI, Anthropic, Perplexity, Google zu KI-Funktionen, Google zu Crawlern, Bing Webmaster Blog, Bing zu Training und Grounding, Stand November 2026.
Fünf Entscheidungen
für Ihre robots.txt.
Jede Regel nennt die Folge laut Dokumentation der Betreiber und die Praxisempfehlung dazu.
Erlauben, wenn Sie in Antworten mit Websuche vorkommen wollen
Die Betreiber beschreiben den Zusammenhang selbst: Gesperrte Seiten erscheinen laut OpenAI nicht in den Antworten der ChatGPT-Suche, und Anthropic nennt geringere Sichtbarkeit in der Suche als Folge einer Sperre.
- Praxisempfehlung: Lassen Sie die acht Such- und Abruf-Crawler zu und prüfen Sie nach jeder Änderung der Datei, ob eine allgemeine Regel sie weiter sperrt.
Das Training ist eine getrennte Entscheidung
GPTBot, ClaudeBot, MistralAI-Training und Google-Extended betreffen das Training. OpenAI schreibt, jede Einstellung sei unabhängig von den anderen. Anthropic, Google und Microsoft kündigen ein maschinenlesbares Signal für Trainingspräferenzen an: Google für Anfang 2027, Microsoft ab dem 1. Februar 2027.
- Praxisempfehlung: Klären Sie intern, ob Ihre Inhalte für Training genutzt werden dürfen, bevor Sie die Datei ändern. Halten Sie Entscheidung und Datum fest.
robots.txt bindet Abrufe auf Nutzerwunsch nicht immer
OpenAI schreibt, robots.txt-Regeln gälten für ChatGPT-User möglicherweise nicht. Perplexity schreibt, Perplexity-User ignoriere robots.txt in der Regel. Google erklärt, die robots.txt sei kein Mittel, eine Seite aus Google herauszuhalten.
- Praxisempfehlung: Inhalte, die niemand abrufen soll, schützen Sie mit einer Anmeldung.
Googlebot nicht sperren, wenn Google-Antworten Sie nennen sollen
Laut Google muss eine Seite für AI Overviews und AI Mode indexiert und mit Snippet anzeigbar sein. Als Steuerung nennt Google die robots.txt-Regeln für Googlebot. Zu den technischen Voraussetzungen der Suche zählt, dass Googlebot nicht gesperrt ist. Google-Extended hat laut Google keinen Einfluss auf die Aufnahme in die Suche.
- Praxisempfehlung: Lassen Sie Googlebot zu und steuern Sie das Gemini-Training nur mit Google-Extended.
Bingbot: in der Dokumentation von Microsoft prüfen
Microsoft weist Zitate in Copilot und KI-Zusammenfassungen von Bing in den Bing Webmaster Tools aus (AI Performance). Die neuen Einstellungen zu Training und Grounding ändern laut Microsoft nicht die Berechtigung für Bing-Suchergebnisse und regeln den Zugang beim Crawlen nicht.
- Ob andere Assistenten den Bing-Index nutzen, entnehmen Sie der Dokumentation des jeweiligen Anbieters. Prüfen Sie die aktuelle Dokumentation von Microsoft unter den Quellenlinks.
Was sich bei den Crawlern gerade ändert:
Vier Entwicklungen für Softwareanbieter.
Die Entwicklungen sind bei den Betreibern dokumentiert, jeweils mit Stand. Die Folgen für Marketing, Produktmanagement und Vertrieb sind Praxisempfehlungen.
| Entwicklung | Beleg und Stand | Folge für Marketing, Produkt und Vertrieb |
|---|---|---|
| Suche, Abruf und Training laufen über getrennte CrawlerBeleg bei vier Betreibern | OpenAI, Anthropic und Mistral führen je einen Crawler für Suche, Abruf auf Nutzerwunsch und Training, Perplexity trennt Suche und Abruf (Dokumentationen, Stand November 2026). | Praxisempfehlung: Marketing und Produktmanagement verantworten Suche und Abruf, Geschäftsführung und Recht das Training. Eine Person pflegt die robots.txt und datiert jede Änderung. |
| Signale für Trainingspräferenzen kommenBeleg, Termine angekündigt | Google will das AIPREF-Signal Anfang 2027 unterstützen. Microsoft berücksichtigt neue Einstellungen für Training und Grounding ab dem 1. Februar 2027. Anthropic will ein Signal schrittweise beachten (Dokumentationen, Stand November 2026). | Praxisempfehlung: Entscheiden Sie bis zum Jahreswechsel, ob Training erlaubt ist, und halten Sie die Entscheidung schriftlich fest. So geben Vertrieb und Datenschutz bei Kundenfragen dieselbe Antwort. |
| Zitate in Bing und Copilot lassen sich selbst auswertenBeleg, Public Preview | Die Bing Webmaster Tools zeigen unter AI Performance, wann Ihre Seite in Microsoft Copilot, KI-Zusammenfassungen von Bing und ausgewählten Partner-Integrationen zitiert wird. Laut Microsoft steht ein Zitat nicht für Verkehr oder Interaktion (Bing Webmaster Blog, Februar 2026). | Praxisempfehlung: Richten Sie die Webmaster Tools für Ihre Domains ein und weisen Sie die Auswertung dem Marketing zu. Zitate sind ein Hinweis auf Sichtbarkeit in Antworten und keine Klickzahl. |
| Dokumentationsplattformen erzeugen llms.txtBeobachtung laut llmstxt.org | llmstxt.org schreibt, dass Dokumentationsplattformen die Datei automatisch erzeugen und dass sie am stärksten für Software-Dokumentation genutzt wird. Google Search ignoriert sie (llmstxt.org und Google, Stand November 2026). | Praxisempfehlung: Rufen Sie /llms.txt Ihrer Dokumentations-Subdomain auf. Erzeugt die Plattform die Datei schon, prüfen Sie ihren Inhalt, bevor Sie selbst eine anlegen. |
Quellen: OpenAI, Anthropic, Perplexity, Mistral, Google zu Crawlern, Google: Änderungsprotokoll, Bing zu Training und Grounding, Bing zu AI Performance, llmstxt.org, Stand November 2026. Die Signale und Termine ändern sich: Prüfen Sie die aktuelle Dokumentation der Betreiber über diese Links.
Sitemap, Weiterleitungen und gelöschte Seiten:
Nur lebende Adressen melden.
Die Sitemap sagt Crawlern, welche Adressen es gibt und wann sie sich geändert haben. Das Einreichen ist laut Google ein Hinweis, keine Garantie für das Crawlen.
Alle Seiten, die zitiert werden sollen, in der kanonischen Form
Eine XML-Sitemap darf höchstens 50.000 Adressen oder 50 MB unkomprimiert enthalten, größere teilen Sie auf. Tragen Sie Adressen vollständig und absolut ein und nur die Form, die in der Suche erscheinen soll. Verweisen Sie mit der Zeile Sitemap in der robots.txt auf die Datei.
- Praxisempfehlung: Nehmen Sie Antwortseiten, Seiten mit Preisen, Schnittstellen- und Hilfeseiten auf.
- Typischer Fehler: Weiterleitungen, Seiten mit Parametern und Testseiten stehen in der Sitemap. Dann meldet die Datei Adressen, die nie in einer Antwort erscheinen sollen.
Das Änderungsdatum muss stimmen
Google nutzt lastmod nur, wenn der Wert durchgehend und nachprüfbar stimmt, etwa im Vergleich mit der letzten Änderung der Seite. Gemeint ist die letzte wesentliche Änderung an Inhalt, strukturierten Daten oder Links. Ein geändertes Copyright-Datum zählt nicht. priority und changefreq ignoriert Google. Das Format ist W3C Datetime, zum Beispiel 2026-11-22.
- Typischer Fehler: Das Redaktionssystem setzt bei jedem Neuaufbau das heutige Datum. Dann stimmt lastmod nicht, und Google nutzt den Wert laut eigener Dokumentation nicht.
- Praxisempfehlung: Sitemap, sichtbares Stand-Datum und dateModified im Article zeigen dasselbe Datum.
Dauerhaft umgezogen: 301 oder 308
Dauerhafte Weiterleitungen (301, 308) zeigen das Ziel in den Suchergebnissen, temporäre (302, 303, 307) halten die alte Adresse. Google bevorzugt serverseitige Weiterleitungen und folgt standardmäßig bis zu zehn Schritten einer Kette.
- Praxisempfehlung: Leiten Sie direkt von der alten auf die neue Adresse und tragen Sie nur das Ziel in die Sitemap ein.
- Typischer Fehler: Eine JavaScript-Weiterleitung dort, wo ein Server-Eintrag möglich wäre. Google empfiehlt sie nur, wenn nichts anderes geht.
Entfernen Sie Seiten mit dem richtigen Status
Gibt der Server 404 oder 410 zurück, behandelt Google beide gleich: Die Adresse fällt aus dem Index, und die Crawl-Häufigkeit sinkt nach und nach. Eine Fehlerseite mit Status 200 meldet die Search Console als Soft-404. Microsoft nennt IndexNow als Weg, teilnehmende Suchmaschinen über neue, geänderte oder entfernte Inhalte zu informieren.
- Hat die Seite eine Nachfolgerin, leiten Sie dorthin weiter. Hat sie keine, geben Sie 404 oder 410 zurück.
- Entfernen Sie die Adresse zugleich aus der Sitemap und aus Ihrer internen Verlinkung.
Quellen: Google zu Sitemaps, sitemaps.org, Google zu Weiterleitungen, Google zu HTTP-Statuscodes, Bing Webmaster Blog, Stand November 2026.
llms.txt:
Kleiner Aufwand, Wirkung bisher nicht belegt.
Die Datei ist ein Vorschlag, kein Standard der Suchmaschinen. Sie lohnt sich vor allem dort, wo Sie eine Dokumentation betreiben.
Markdown unter /llms.txt
- Nach llmstxt.org steht zuerst eine H1 mit dem Namen (die einzige Pflicht), dann ein Zitatblock mit Kurzfassung.
- Es folgen H2-Abschnitte mit Linklisten, jede Zeile aus einem Markdown-Link, einem Doppelpunkt und einer Notiz. Ein Abschnitt Optional nimmt Sekundäres auf.
- Die Datei darf im Stammverzeichnis oder unter jedem Pfad der Domain liegen. Für eine Dokumentation unter /doku/ gehört sie nach /doku/llms.txt.
Google ignoriert sie, andere Dienste lesen sie
- Google schreibt, dass Google Search keine solchen Dateien braucht, sie ignoriert und dass sie Rankings weder helfen noch schaden. Das Betreiben für andere Dienste sei in Ordnung.
- llmstxt.org nennt Software-Dokumentation als häufigsten Einsatz: Dokumentationsplattformen erzeugen die Datei, Programmierwerkzeuge folgen ihren Links.
- Eine Wirkung auf Nennungen in Assistenten-Antworten ist bisher nicht belegt.
Wenige Links, jede Zeile mit Zweck
- Praxisempfehlung: Nehmen Sie 10 bis 20 Seiten auf, die Käuferfragen beantworten, jede mit einem Satz Zweck.
- Aktualisieren Sie die Datei, wenn sich Preise, Dokumentation oder Zertifikate ändern, und nennen Sie ein Stand-Datum.
- Typischer Fehler: Die Datei verweist auf Seiten, die inzwischen weitergeleitet oder gelöscht sind.
Beispiel-llms.txt
für Musterwerk ERP.
Fiktives Beispiel nach dem Aufbau von llmstxt.org: Name, Kurzfassung, Abschnitte mit Linklisten und ein Abschnitt Optional.
llms.txt
# Musterwerk ERP
> ERP-System für Auftrags- und Variantenfertiger mit 50 bis 500 Mitarbeitenden.
> Betrieb in der Cloud oder im eigenen Rechenzentrum. Stand 22.11.2026.
Anbieter ist die Musterwerk Software GmbH (fiktives Beispiel).
## Produkt
- [Leistungsumfang](https://www.musterwerk.example/erp/leistungsumfang/): Module für Planung, Fertigung und Rechnungswesen
- [Preise](https://www.musterwerk.example/erp/preise/): Preis je Nutzer und Monat mit Stand-Datum
## Dokumentation
- [Schnittstellen](https://www.musterwerk.example/doku/schnittstellen/): REST-Schnittstelle und unterstützte Shopsysteme mit Version
- [Shop-Anbindung einrichten](https://www.musterwerk.example/doku/shop-anbindung/): Einrichtung in sechs Schritten
## Belege
- [Sicherheit und Hosting](https://www.musterwerk.example/sicherheit/): Zertifikate mit Geltungsbereich, Rechenzentrum, Auftragsverarbeitung
- [Referenzen](https://www.musterwerk.example/referenzen/): Kunden nach Branche und Größe
## Optional
- [Änderungsprotokoll](https://www.musterwerk.example/doku/aenderungen/): Produktänderungen mit DatumQuellen: llmstxt.org, Google: Leitfaden zu generativen KI-Funktionen, Google: Änderungsprotokoll der Dokumentation, Stand November 2026.
Strukturierte Daten:
JSON-LD, das dem sichtbaren Text entspricht.
JSON-LD steht im Quelltext in einem script-Element und beschreibt, was auf der Seite sichtbar ist. Google empfiehlt JSON-LD, verlangt, dass die Auszeichnung dem Inhalt der Seite entspricht, und schließt Inhalte aus, die Lesern verborgen sind. Eine Wirkung auf KI-Antworten ist bisher nicht belegt. Für AI Overviews und AI Mode schreibt Google, dass kein besonderes schema.org-Markup nötig ist.
Die Firma einmal sauber beschreiben
Google empfiehlt Organization auf der Startseite oder auf einer Seite über das Unternehmen, nicht auf jeder Seite. Pflichtfelder gibt es nicht. Empfohlen sind unter anderem name, url, logo, legalName, address, contactPoint und sameAs.
- Praxisempfehlung: Übernehmen Sie legalName und address aus dem Impressum, Zeichen für Zeichen.
- Typischer Fehler: Firmenname, Rechtsform oder Sitz weichen zwischen Impressum, Auszeichnung und Profilen ab.
Produkt, Kategorie, Betriebsart und Preis
schema.org kennt für SoftwareApplication unter anderem applicationCategory, operatingSystem, softwareVersion, featureList und offers. Google dokumentiert dafür das Rich Result Software-App: Pflicht sind name, offers.price und aggregateRating oder review, empfohlen applicationCategory und operatingSystem. Für Web-Apps unterstützt Google auch WebApplication. Product ist laut schema.org der allgemeine Typ für angebotene Produkte und Leistungen.
- Setzen Sie aggregateRating oder review nur ein, wenn echte, sichtbare Bewertungen auf der Seite stehen.
- Typischer Fehler: Der Preis im JSON-LD stammt aus dem Vorjahr, im sichtbaren Text steht der neue.
FAQPage nur für sichtbare, echte Fragen
Google zeigt FAQ-Rich-Results seit dem 7. Mai 2026 nicht mehr in der Suche und hat die Dokumentation am 15. Juni 2026 entfernt. FAQPage bleibt ein gültiger schema.org-Typ. Bing nennt FAQ-Bereiche neben klaren Überschriften und Tabellen als Struktur, die Kerninformationen herausstellt.
- Praxisempfehlung: Führen Sie echte Käuferfragen weiterhin sichtbar auf der Seite.
- Setzen Sie FAQPage ein, steht jede Frage mit Antwort im JSON-LD genauso sichtbar im Text. Eine Wirkung auf KI-Antworten ist bisher nicht belegt.
Fachbeiträge mit Autor und Datum
Google dokumentiert Article, NewsArticle und BlogPosting und verlangt keine Pflichtfelder. Empfohlen sind headline, image, datePublished, dateModified (ISO 8601 mit Zeitzone) und author mit name und url. Jeden Autor führen Sie als eigenen Eintrag, in author.name steht nur der Name.
- Rolle und Titel der Autorin oder des Autors stehen sichtbar im Text, nicht im Feld für den Namen.
- Typischer Fehler: dateModified wird bei jedem Neuaufbau überschrieben, auch ohne inhaltliche Änderung.
Quellen: Google zu den Richtlinien für strukturierte Daten, Google zu Organization, Google zu Software-App, Google zu Article, Google: Änderungsprotokoll, Google zu KI-Funktionen, schema.org SoftwareApplication, schema.org Product, schema.org FAQPage, schema.org Organization, schema.org Article, Bing Webmaster Blog, Stand November 2026.
JSON-LD für
Musterwerk ERP.
Fiktives Beispiel. Auf der Seite steht sichtbar ein Preis von 89 € je Nutzer und Monat mit Stand-Datum, dazu der Autor mit Rolle und die Frage samt Antwort. Das JSON-LD gibt exakt diese Angaben wieder. Das Beispiel enthält keine Bewertung. Für das Rich Result Software-App verlangt Google aggregateRating oder review.
JSON-LD: Organization und SoftwareApplication
<script type="application/ld+json">
{
"@context": "https://schema.org",
"@graph": [
{
"@type": "Organization",
"@id": "https://www.musterwerk.example/#organization",
"name": "Musterwerk Software GmbH",
"legalName": "Musterwerk Software GmbH",
"url": "https://www.musterwerk.example/",
"logo": "https://www.musterwerk.example/logo.png",
"sameAs": ["https://www.example.org/profil/musterwerk"]
},
{
"@type": "SoftwareApplication",
"name": "Musterwerk ERP",
"applicationCategory": "BusinessApplication",
"operatingSystem": "Cloud, Windows",
"publisher": {
"@id": "https://www.musterwerk.example/#organization"
},
"offers": {
"@type": "Offer",
"price": "89.00",
"priceCurrency": "EUR",
"priceSpecification": {
"@type": "UnitPriceSpecification",
"price": "89.00",
"priceCurrency": "EUR",
"unitText": "Nutzer und Monat"
}
}
}
]
}
</script>JSON-LD: Article und FAQPage
<script type="application/ld+json">
{
"@context": "https://schema.org",
"@graph": [
{
"@type": "Article",
"headline": "ERP für Auftragsfertiger: Auswahl in sechs Schritten",
"datePublished": "2026-11-10T09:00:00+01:00",
"dateModified": "2026-11-22T09:00:00+01:00",
"author": {
"@type": "Person",
"name": "Erika Mustermann",
"url": "https://www.musterwerk.example/autoren/erika-mustermann/"
},
"publisher": {
"@id": "https://www.musterwerk.example/#organization"
}
},
{
"@type": "FAQPage",
"mainEntity": [
{
"@type": "Question",
"name": "Für welche Betriebe passt Musterwerk ERP?",
"acceptedAnswer": {
"@type": "Answer",
"text": "Musterwerk ERP passt zu Auftrags- und Variantenfertigern mit 50 bis 500 Mitarbeitenden."
}
}
]
}
]
}
</script>Beispielwerte sind erfunden. Der Aufbau folgt schema.org und der Google-Dokumentation, Stand November 2026.
JSON-LD und Text:
Wo Abweichungen entstehen.
Die Regel lautet: Jede Angabe im JSON-LD steht auch sichtbar auf der Seite, mit demselben Wert.
Abweichung
- Preis: Im JSON-LD steht der Betrag des Vorjahres, im Text der aktuelle. Die Seite widerspricht sich, und ein Leser weiß nicht, welcher Wert gilt.
- FAQ: Das JSON-LD enthält zehn Fragen, sichtbar sind drei. Google schließt für Rich Results Inhalte aus, die Lesern verborgen sind.
- Autor: Das Feld nennt eine Person, auf der Seite steht kein Autor. Die Angabe lässt sich nicht nachprüfen.
Übereinstimmung
- Preis: Betrag, Einheit und Stand stehen im Text und im JSON-LD gleich, zum Beispiel 89 € je Nutzer und Monat, netto, Stand 11/2026.
- FAQ: Jede Frage im JSON-LD steht wörtlich als sichtbare Frage mit Antwort auf der Seite.
- Autor: Name und Rolle stehen sichtbar unter dem Beitrag. Das Feld author verweist auf dieselbe Person mit einer Profilseite.
Belege:
Was Ihre Angaben überprüfbar macht.
Aus unseren Messdaten: Anbieterseiten und Anbieter-Dokumentation stellten zusammen 49 von 103 Quellennennungen (48 %). Wer auf diesen Seiten Belege bereitstellt, liefert dem Assistenten Material, das er prüfen kann. Alles Weitere sind Praxisempfehlungen.
Zertifikat mit Geltungsbereich und Gültigkeit
Nennen Sie ISO 27001, SOC 2, BSI C5 oder TISAX mit Geltungsbereich (welches Produkt, welcher Standort), ausstellender Stelle und Gültigkeitsdatum. Ein Logo allein lässt offen, was das Zertifikat abdeckt.
- Beschreiben Sie jedes Zertifikat in einem Absatz auf einer Seite zu Sicherheit und Datenschutz.
- Typischer Fehler: Ein abgelaufenes Zertifikat bleibt stehen, oder der Geltungsbereich umfasst nur ein anderes Produkt.
Wo Daten liegen und wer sie verarbeitet
Wer Software auswählt, muss Rechenzentrum, Land und Auftragsverarbeitung klären. Beschreiben Sie auf einer eigenen Seite oder in einem Trust-Center Standort und Betreiber des Rechenzentrums, das Muster des Vertrags zur Auftragsverarbeitung und die Unterauftragnehmer. Das hilft auch beim RFP beantworten. Liegt das Trust-Center auf einer eigenen Subdomain, braucht es eine eigene robots.txt.
- Praxisempfehlung: Datum der letzten Aktualisierung der Unterauftragnehmer-Liste sichtbar angeben.
Branche, Größe, Zahl und Datum
Eine Referenz nennt Branche, Unternehmensgröße, Land, eingesetzte Module und Laufzeit. Eine Fallstudie nennt Ausgangslage, Zahl, Zeitraum und Datum. Zahlen ohne Datum und Bezug lassen sich nicht einordnen.
- Beispiel, fiktiv: Musterwerk ERP bei einem Maschinenbauer mit 200 Mitarbeitenden verkürzt die Auftragskalkulation von vier Tagen auf einen Tag, Zeitraum Januar bis Dezember 2025, Stand 03/2026.
- Typischer Fehler: „Zufriedene Kunden aus ganz Deutschland“ ohne Namen, Branche und Größe.
Wer schreibt, wer haftet, wie heißt die Firma
Jeder Fachbeitrag trägt Autorin oder Autor mit Name und Rolle, zum Beispiel Leitung Produktmanagement, dazu ein kurzes Profil. Das Impressum enthält die vollständigen Firmendaten. Firmenname, Rechtsform und Sitz stehen in Impressum, JSON-LD, Profilen und Pressetexten gleich.
- Praxisempfehlung: Legen Sie die Firmenangaben einmal fest und übernehmen Sie sie überall wörtlich.
- Typischer Fehler: GmbH und GmbH & Co. KG sind vertauscht, oder der Sitz im Impressum weicht von dem im Profil ab.
Eigene Messung: 50 Kaufabsichts-Fragen, 1 Lauf, 1 Assistent mit Websuche (OpenAI-Schnittstelle), 18.11.2026. Evidenz schwach. Seitentypen mit Prüflisten beschreibt das Kapitel Seiten, die KI-Assistenten zitieren.
Aktualität:
Stand-Datum, Protokoll und alte Seiten.
Microsoft nennt regelmäßige Aktualisierung als Ziel, damit KI-Systeme die aktuelle Fassung eines Inhalts heranziehen. Praxisempfehlung: Machen Sie den Stand an drei Stellen gleich sichtbar.
Datum auf jeder Seite mit Preisen oder Vergleichen
Ein sichtbares Stand-Datum mit Monat und Jahr zeigt, wie aktuell Preise, Funktionen und Vergleiche sind. Dasselbe Datum steht als dateModified im Article und als lastmod in der Sitemap, solange sich die Seite nicht weiter geändert hat.
- Typischer Fehler: Das sichtbare Datum nennt 2024, lastmod nennt gestern. Eines der beiden Daten stimmt nicht.
Produktänderungen mit Datum
Ein Änderungsprotokoll nennt je Eintrag Datum, Version und Änderung. schema.org kennt dafür softwareVersion und releaseNotes bei SoftwareApplication. So lässt sich nachvollziehen, ab wann eine Funktion oder Schnittstelle gilt.
- Typischer Fehler: Das Protokoll endet 2024, die Seite trägt den Stand 2026. Das passt nicht zusammen.
Aktualisieren, zusammenlegen oder weiterleiten
Gehen Sie die Adressen aus Ihrer Sitemap durch. Seiten mit abgelaufenen Preisen oder Produktnamen aktualisieren Sie, Seiten ohne Zweck leiten Sie auf die Nachfolgerin um. Seiten unter etwa 250 Wörtern prüfen Sie einzeln. Die Schwelle ist eine Prüfhilfe, denn laut Google gibt es keine ideale Seitenlänge.
- Eine kurze Seite genügt, wenn sie eine Käuferfrage vollständig beantwortet. Ergänzen Sie sie, wenn sie nur Schlagworte enthält.
Quellen: Bing Webmaster Blog, Google: Leitfaden zu generativen KI-Funktionen, schema.org SoftwareApplication, Stand November 2026.
Stolpersteine bei Seiten von Softwareanbietern:
Sechs Prüfungen mit Gegenmaßnahme.
Praxisempfehlung: Prüfen Sie jedes System einzeln. Startseite, Dokumentation, Hilfe, Marktplatz-Einträge und Trust-Center können bei Softwareanbietern auf getrennten Systemen mit eigener Technik laufen.
Dokumentation hinter Anmeldung
Liegt die Dokumentation hinter einem Login, sieht ein Crawler ohne Zugangsdaten eine Anmeldeseite oder einen Fehlercode. Antwortet der Server mit 401 oder 403, behandelt Google den Inhalt wie nicht vorhanden: Alle 4xx-Fehler außer 429 gelten gleich, und die Adresse fällt aus dem Index. Aus unseren Messdaten: Anbieter-Dokumentation stellte 14 von 103 Quellennennungen.
- Prüfung: Öffnen Sie die Seiten zu Funktionen, Schnittstellen und Einrichtung in einem Fenster ohne Anmeldung. Notieren Sie Statuscode und sichtbaren Inhalt.
- Gegenmaßnahme: Praxisempfehlung: Machen Sie den Teil der Dokumentation ohne Anmeldung lesbar, der Käuferfragen beantwortet. Kundenspezifisches bleibt geschützt. Eine robots.txt ersetzt den Schutz nicht.
Nachgeladene Inhalte und Preisrechner
Eine Single-Page-Anwendung wechselt Ansichten per Skript. Google empfiehlt für die Navigation die History API statt URL-Fragmenten und sinnvolle Statuscodes. Weil nicht alle Bots JavaScript ausführen können, rät Google zu Pre-Rendering.
- Prüfung: Quelltext-Test für Startseite, Produkt, Preise und Schnittstellen. Hat jede Ansicht eine eigene Adresse, und liefert eine unbekannte Adresse 404 statt einer leeren Seite mit Status 200?
- Gegenmaßnahme: Seiten, die zitiert werden sollen, serverseitig erzeugen oder vorab rendern. Der Preisrechner ergänzt eine Tabelle im HTML und ersetzt sie nicht (Praxisempfehlung).
Dokumentation, Hilfe und Marktplatz auf eigenen Subdomains
Eine robots.txt gilt laut Google nur für den Host, in dessen Stammverzeichnis sie liegt. Eine Subdomain für Dokumentation, eine für die Hilfe und ein Trust-Center auf einer weiteren brauchen je eine eigene Datei. Anthropic schreibt für Sperren dasselbe: für jede Subdomain.
- Prüfung: Rufen Sie die robots.txt jeder Subdomain auf. Achten Sie auf ein übernommenes Disallow: / aus der Aufbauphase und auf fehlende Sitemap-Zeilen.
- Gegenmaßnahme: Praxisempfehlung: Führen Sie eine Liste aller Hosts mit Verantwortlichem, Sperrstatus und Sitemap. Wer die robots.txt ändert, trägt Datum und Grund ein. Standarddateien eines Dienstleisters übernehmen Sie nicht ohne Durchsicht.
Staging, Test und Demo-Mandanten im Index
Eine Testumgebung ohne Passwortschutz ist für Crawler erreichbar, auch eine frei zugängliche Demo mit Musterpreisen. Laut Google ist die robots.txt kein Mittel, eine Seite aus Google herauszuhalten: Eine gesperrte Adresse kann indexiert werden, wenn andere Seiten sie verlinken. Google nennt noindex oder Passwortschutz.
- Prüfung: Suchen Sie in Sitemap und Search Console nach Adressen der Testumgebung. Rufen Sie die Testadresse in einem Fenster ohne Anmeldung auf.
- Gegenmaßnahme: Passwortschutz oder noindex für alle Test- und Demo-Umgebungen, die kein Käufer finden soll. Die Live-Sitemap enthält keine Testadressen (Praxisempfehlung).
Cookie- und Länder-Weiterleitungen
Leitet Ihre Seite nach Land, Sprache oder Cookie-Zustimmung weiter, sieht ein Crawler womöglich nicht jede Fassung. Laut Google crawlt Googlebot standardmäßig von US-Adressen ohne Sprachkopfzeile und könnte bei länderabhängigen Seiten nicht alle Inhalte je Region indexieren. Google empfiehlt getrennte Adressen je Region mit hreflang.
- Prüfung: Öffnen Sie die Seite in einem frischen Fenster ohne gespeicherte Cookies, einmal mit deutscher und einmal mit fremder Länderkennung. Notieren Sie Zieladresse und Statuscode jeder Weiterleitung.
- Gegenmaßnahme: Getrennte Adressen je Sprache oder Region mit hreflang (Google). Dauerhafte Wechsel mit 301 oder 308, denn eine temporäre Weiterleitung lässt die Quelladresse in den Ergebnissen stehen. Cookie-Hinweise legen sich über den Inhalt und leiten nicht um (Praxisempfehlung).
Preise und Leistungsumfang ohne lesbaren Text
Google führt HTML und PDF unter den indexierbaren Dateitypen, Bilder als Medienformat. Steht eine Preisliste nur als Bild, enthält die Seite keinen lesbaren Betrag. Aus unseren Messdaten: Unter 11 verlinkten Anbieterseiten in den Antwortanfängen waren eine Seite mit Preisen, eine Hilfeseite und ein Dokument zum Herunterladen.
- Prüfung: Suchen Sie im Quelltext nach einem Betrag aus Ihrer Preisliste. Steht er dort nicht, liegt er in einem Bild oder wird nachgeladen.
- Gegenmaßnahme: Praxisempfehlung: Preise oder Preislogik als HTML-Tabelle mit Einheit, Leistungsumfang und Stand-Datum. Das PDF bleibt als Download daneben. Ohne feste Preise nennen Sie die Preislogik und sagen, was in der Demo geklärt wird.
Quellen: Google zu HTTP-Statuscodes, Google zu JavaScript-SEO, Google zu robots.txt und Indexierung, Google zu robots.txt, Anthropic, Google zu länderabhängigen Seiten, Google zu Weiterleitungen, Google zu indexierbaren Dateitypen, Stand November 2026. Eigene Messung: 50 Kaufabsichts-Fragen, 1 Lauf, 1 Assistent mit Websuche (OpenAI-Schnittstelle), 18.11.2026. Evidenz schwach.
Werkzeuge für Ihren
Technik-Check.
Für dieses Kapitel gibt es zwei Anknüpfungspunkte. Preise und Pläne stehen im Anbieter-Cockpit.
Seiten-Check für die Technik
- Der Seiten-Check der App liest bis zu 30 Ihrer Seiten und prüft die KI-Crawler in der robots.txt, die llms.txt, die Sitemap, strukturierte Daten und dünne Seiten.
- Die App läuft für Anbieter-Konten im Selection Portal, jedes Konto sieht nur den eigenen Bereich. Konditionen klären Sie im Gespräch.
- Sinnvoll als Wiederholung nach Änderungen an robots.txt, Sitemap oder Dokumentationsplattform (Praxisempfehlung).
Belege an einer Stelle pflegen
- Mit dem kostenlosen Basiszugang übernehmen Sie Ihr Profil und pflegen Funktionen, Zielbranchen, Unternehmensgrößen und Referenzen selbst. Was Sie pflegen, hat Vorrang vor den automatischen Angaben und fließt in das Matching ein.
- Sinnvoll, damit Branche und Größe Ihrer Referenzen im Katalog zu denen auf Ihren Seiten passen (Praxisempfehlung). Der Einstieg läuft über die Anmeldung. Im Selection Portal beantworten Sie damit auch Anforderungen in Auswahlprojekten, siehe RFP beantworten.
Technik-Check
in 90 Minuten.
Die Minuten sind Planwerte (Praxisempfehlung) für eine Domain und etwa fünf Testseiten.
robots.txt lesen (10 Minuten)
Rufen Sie die robots.txt Ihrer Hauptdomain und jeder Subdomain mit Dokumentation, Hilfe, Marktplatz oder Trust-Center auf. Prüfen Sie, ob eine Regel einen der acht Such- und Abruf-Crawler sperrt, auch über User-agent: *. Notieren Sie, ob GPTBot, ClaudeBot, MistralAI-Training, Google-Extended und CCBot bewusst erlaubt oder gesperrt sind.
Sitemap abgleichen (15 Minuten)
Öffnen Sie die Sitemap. Stehen die wichtigen Seiten mit Preisen, Schnittstellen und Hilfe darin, und enthält sie Weiterleitungen, Testseiten oder Fehlerseiten? Vergleichen Sie lastmod bei fünf Seiten mit dem Änderungsdatum im Redaktionssystem.
Quelltext-Test (25 Minuten)
Testen Sie fünf Seiten: Startseite, Produkt, Preise, Schnittstellen, Hilfe. Suchen Sie je einen Satz mit Zahl im Quelltext und laden Sie die Seite mit deaktiviertem JavaScript neu. Öffnen Sie die Dokumentation in einem Fenster ohne Anmeldung. Halten Sie jede Lücke mit Adresse fest.
Statuscodes und Weiterleitungen (15 Minuten)
Rufen Sie drei alte Adressen auf, zum Beispiel einen früheren Produktnamen. Jede soll dauerhaft auf die neue Adresse zeigen oder 404 oder 410 liefern, nie eine Fehlerseite mit Status 200. Ketten aus mehr als einer Weiterleitung kürzen Sie. Prüfen Sie zugleich, ob Test- und Demo-Umgebungen geschützt sind.
Strukturierte Daten vergleichen (15 Minuten)
Lesen Sie das JSON-LD der Startseite und der Seite zu Ihrem Produkt neben dem sichtbaren Text. Name, Preis, Einheit, Datum und Autor müssen übereinstimmen. Jede Frage in FAQPage steht sichtbar auf der Seite.
Belege und Datum (10 Minuten)
Gehen Sie die Prüflisten Belege und Aktualität durch: Zertifikate mit Geltungsbereich, Impressum, einheitliche Firmenangaben, Stand-Datum, Änderungsprotokoll. Tragen Sie alle Befunde mit Seite, Verantwortlichem und Termin in eine Liste ein. Den Plan für die nächsten 30 Tage finden Sie im Hub des Handbuchs.
Häufige Fragen
direkt beantwortet.
Welche KI-Crawler sollte ich in der robots.txt erlauben?
Erlauben Sie die Crawler für Suche und Abruf, wenn Assistenten Ihre Seiten zitieren sollen: OAI-SearchBot und ChatGPT-User von OpenAI, Claude-SearchBot und Claude-User von Anthropic, PerplexityBot und Perplexity-User von Perplexity sowie MistralAI-Index und MistralAI-User von Mistral. OpenAI schreibt, dass gesperrte Seiten nicht in den Antworten der ChatGPT-Suche erscheinen. Das Training steuern GPTBot, ClaudeBot und MistralAI-Training getrennt. Die Namen gelten mit Stand November 2026. Prüfen Sie sie in der Dokumentation der Betreiber, bevor Sie die Datei ändern.
Was ist der Unterschied zwischen Such-, Abruf- und Trainings-Crawlern?
Such-Crawler wie OAI-SearchBot, Claude-SearchBot und PerplexityBot erfassen Seiten für die Suche des Assistenten. Abruf-Crawler wie ChatGPT-User, Claude-User und Perplexity-User holen eine Seite, wenn ein Nutzer eine Frage stellt. Trainings-Crawler wie GPTBot, ClaudeBot und MistralAI-Training sammeln Inhalte für das Modelltraining. OpenAI schreibt, jede Einstellung sei unabhängig von den anderen: Sie können die Suche erlauben und das Training sperren. Eine Sperre von GPTBot ändert laut OpenAI nichts an OAI-SearchBot. Ob Sie Training erlauben, entscheiden Sie gesondert.
Beachtet ChatGPT-User meine robots.txt?
Laut OpenAI gelten robots.txt-Regeln für ChatGPT-User möglicherweise nicht, weil ein Nutzer den Abruf auslöst. Perplexity schreibt, dass Perplexity-User robots.txt in der Regel ignoriert. Anthropic schreibt, seine Bots beachteten Do-not-crawl-Signale, und Googlebot befolgt robots.txt laut Google beim automatischen Crawlen immer. Praxisempfehlung: Schützen Sie Inhalte, die niemand abrufen soll, mit einer Anmeldung. Google erklärt zudem, dass robots.txt kein Mittel ist, eine Seite aus Google herauszuhalten. Ob ein Abruf auf Nutzerwunsch Ihre Regeln beachtet, steht in der Dokumentation des Betreibers. Die Links stehen unter der Crawler-Tabelle.
Führen KI-Crawler JavaScript aus?
Für Google ist es beschrieben: Googlebot rendert Seiten mit JavaScript in einer eigenen Phase, sobald Ressourcen frei sind, und Google schreibt zugleich, dass nicht alle Bots JavaScript ausführen können. Ob ein einzelner Assistenten-Crawler Skripte ausführt, klären Sie in der aktuellen Dokumentation des Betreibers über die Links unter der Crawler-Tabelle. Praxisempfehlung: Planen Sie mit dem Quelltext. Was dort steht, liegt in der ersten Antwort Ihres Servers. Testen Sie jede wichtige Seite mit Strg+U und der Suche nach einem Satz aus dem Haupttext.
Wie prüfe ich, ob mein Preistext ohne JavaScript lesbar ist?
Öffnen Sie die Seite mit den Preisen und rufen Sie den Quelltext auf: Strg+U unter Windows, Cmd+Alt+U am Mac. Suchen Sie mit Strg+F nach der ersten Zeile Ihrer Preistabelle. Steht sie dort, ist sie ohne Skript lesbar. Fehlt sie, laden Sie die Seite in Chrome mit deaktiviertem JavaScript neu und notieren, was fehlt. Praxisempfehlung: Lassen Sie den Server die Preistabelle mit Einheit und Stand-Datum fertig als HTML ausliefern. Gelingt der Test nur mit Skript, besprechen Sie mit Ihrer Entwicklung, den Text serverseitig zu erzeugen.
Brauche ich eine llms.txt?
Eine Pflicht besteht nicht. Die Datei ist ein Vorschlag von llmstxt.org: eine Markdown-Datei unter /llms.txt mit Name, Kurzbeschreibung und Links auf die wichtigsten Seiten. Der Aufwand ist gering, eine Wirkung auf KI-Antworten ist bisher nicht belegt. Google schreibt, dass die Datei für die Google-Suche weder hilft noch schadet. Am häufigsten wird sie laut llmstxt.org für Software-Dokumentation genutzt. Wenn Sie eine Dokumentation betreiben, ist sie dort am ehesten einen Versuch wert.
Hilft FAQPage-Markup bei KI-Antworten?
Das ist bisher nicht belegt. Google zeigt FAQ-Rich-Results seit dem 7. Mai 2026 nicht mehr in der Suche. Für AI Overviews und AI Mode verlangt Google laut eigener Dokumentation kein besonderes schema.org-Markup. FAQPage bleibt ein gültiger schema.org-Typ. Führen Sie die Fragen weiterhin sichtbar auf der Seite, denn Bing nennt FAQ-Bereiche neben klaren Überschriften und Tabellen als Struktur für Kerninformationen. Setzen Sie FAQPage, muss der JSON-LD-Wortlaut dem sichtbaren Text entsprechen. Der Aufwand lohnt sich nur für echte Käuferfragen.
Welche strukturierten Daten brauche ich als Softwareanbieter?
Eine Pflicht gibt es nicht. Praxisempfehlung: Setzen Sie Organization auf der Startseite oder einer Seite über das Unternehmen, SoftwareApplication auf der Seite zu Ihrem Produkt, Article auf Fachbeiträgen mit Autor und Datum und FAQPage nur für sichtbare Fragen. Google empfiehlt JSON-LD und verlangt, dass die Auszeichnung dem sichtbaren Inhalt entspricht. Das Rich Result Software-App verlangt laut Google name, offers.price und aggregateRating oder review. Für AI Overviews und AI Mode ist kein besonderes Markup nötig.
Was gehört in die Sitemap, und wie pflege ich lastmod?
Nehmen Sie alle Adressen auf, die in Suche und Antworten erscheinen sollen, jeweils in der kanonischen Form. Weiterleitungen, Fehlerseiten und Testseiten gehören nicht hinein. lastmod trägt das Datum der letzten wesentlichen Änderung, zum Beispiel 2026-11-22. Google nutzt den Wert laut Dokumentation nur, wenn er durchgehend und nachprüfbar stimmt, und ignoriert priority und changefreq. Eine Sitemap darf bis zu 50.000 Adressen oder 50 MB enthalten. Verweisen Sie in der robots.txt mit einer Sitemap-Zeile darauf.
Wie gehe ich mit umgezogenen und gelöschten Seiten um?
Leiten Sie umgezogene Seiten dauerhaft per 301 oder 308 auf die neue Adresse weiter, serverseitig und ohne Kette. Google folgt standardmäßig bis zu zehn Weiterleitungen. Für gelöschte Seiten ohne Nachfolger geben Sie 404 oder 410 zurück. Google behandelt beide gleich und nimmt die Adresse aus dem Index. Eine Fehlerseite mit Status 200 gilt als Soft-404. Entfernen Sie alte Adressen aus Sitemap und interner Verlinkung. Microsoft nennt IndexNow als Weg, Suchmaschinen über entfernte Inhalte zu informieren.
Soll ich Googlebot oder Bingbot sperren, um KI-Crawler zu steuern?
Für Google gilt: Eine Seite muss laut Google-Dokumentation indexiert und mit Snippet anzeigbar sein, um in AI Overviews und AI Mode als Link zu erscheinen. Googlebot gehört zur Google-Suche, und wer ihn sperrt, erfüllt die erste technische Voraussetzung der Suche nicht. Das Gemini-Training steuern Sie getrennt mit Google-Extended. Für Bingbot und die Frage, welche Assistenten den Bing-Index nutzen, gilt die aktuelle Dokumentation von Microsoft und des jeweiligen Anbieters. Die Links stehen unter der Crawler-Tabelle.
Wie schnell greift eine Änderung der robots.txt?
OpenAI schreibt, dass es etwa 24 Stunden dauern kann, bis die Systeme eine Änderung der robots.txt für die Suche übernehmen. Perplexity nennt bis zu 24 Stunden. Praxisempfehlung: Ändern Sie die Datei vor einem Messlauf, warten Sie mindestens zwei Tage und halten Sie Datum und Inhalt der Änderung fest. So lässt sich später zuordnen, welche Antwort mit welchem Stand der Datei entstand. Wie Sie Messläufe aufbauen, steht im Hub des Handbuchs.
Muss unsere Dokumentation ohne Anmeldung lesbar sein, damit Assistenten sie zitieren?
Eine Pflicht gibt es nicht. Ein Crawler sieht nur, was Sie ohne Zugangsdaten ausliefern. Antwortet der Server mit 401 oder 403, behandelt Google den Inhalt wie nicht vorhanden. Aus unseren Messdaten: Anbieter-Dokumentation stellte 14 von 103 Quellennennungen (1 Lauf, 1 Assistent, 18.11.2026, Evidenz schwach). Praxisempfehlung: Öffnen Sie Seiten zu Funktionen, Schnittstellen und Einrichtung ohne Anmeldung und halten Sie Kunden- und Partnerbereiche geschützt. Eine robots.txt ersetzt die Anmeldung nicht. Prüfen Sie den Zustand in einem Fenster ohne Anmeldung.
Kann Find-Your-Software meine Seiten auf diese Technikpunkte prüfen?
Ja, mit dem Seiten-Check der App KI-Sichtbarkeit. Er liest bis zu 30 Ihrer Seiten und prüft KI-Crawler in der robots.txt, die llms.txt, die Sitemap, strukturierte Daten und dünne Seiten. Die App läuft für Anbieter-Konten im Selection Portal, jedes Konto sieht nur den eigenen Bereich. Konditionen klären Sie im Gespräch. Anmeldung und Überblick über die Pläne finden Sie im Anbieter-Cockpit. Sinnvoll ist der Check nach jeder Änderung an robots.txt, Sitemap oder Dokumentationsplattform (Praxisempfehlung).
Zugang geklärt:
Weiter mit Quellen und Seiten.
Wie Assistenten ihre Quellen wählen und welche Seitentypen sich zitieren lassen, steht in den beiden anderen Kapiteln. Messen und den 30-Tage-Plan finden Sie im Hub. Profil, Auswahlprojekte und Marktdaten für Anbieter beginnen im Anbieter-Cockpit.