Bevor ein Modell deine Seite zitieren kann, muss es sie lesen dürfen. Über den Zugang entscheidet eine Datei, die die meisten Teams zuletzt beim Projektstart angefasst und nie wieder geprüft haben.
Jeder ist ein eigener User-Agent mit eigener Regel in der robots.txt. Einen zu erlauben sagt nichts über die anderen.
| User-Agent | Betrieben von | Wofür |
|---|---|---|
| GPTBot | OpenAI | Training und Antworten in ChatGPT |
| ClaudeBot | Anthropic | Antworten und Browsing in Claude |
| PerplexityBot | Perplexity | Suchergebnisse in Perplexity |
| Google-Extended | Grundlage für Googles KI-Antworten | |
| CCBot | Common Crawl | Offener Datensatz, den viele Modelle nutzen |
Die Liste ändert sich. Neue Agents kommen dazu, bestehende teilen sich in eigene Namen auf — deshalb veraltet ein Regelsatz, den niemand pflegt, still und leise.
Öffne deine robots.txt und suche die Agents von oben. Kein Eintrag heißt: Es wurde nie entschieden.
Rufe /llms.txt auf. Ein 404 heißt, ein Modell muss deine Seite aus der Navigation ableiten.
Seitenquelltext deiner Preisseite öffnen und den Title suchen. Steht dort dasselbe wie auf der Startseite, sind beide nicht unterscheidbar.
JavaScript abschalten und neu laden. Was verschwindet, sehen manche Crawler nie.
Die Tests oben sagen dir, wo du heute stehst. Der Web-Ready-Bericht führt sie bei jedem Scan aus, behält den Verlauf und schickt dir eine Mail, wenn etwas kippt — denn die Änderung, die dich Sichtbarkeit kostet, ist fast nie die, die du absichtlich gemacht hast.
Ein Tarif, ein Preis. Kein eigenes Web-Ready-Abo, das du erst durchrechnen musst.
Preis exkl. MwSt. — wird im Checkout ergänzt, wo zutreffend. Nur B2B.