KI-Crawler
Bots von KI-Anbietern, die Websites besuchen, um Inhalte für KI-Training oder für Live-Antworten zu holen, z.B. GPTBot und OAI-SearchBot (OpenAI), ClaudeBot (Anthropic) oder Google-Extended.
KI-Crawler sind die Datensammler hinter Sprachmodellen und Antwortmaschinen. Dabei lohnt die Unterscheidung von zwei Aufgaben: Trainings-Crawler (z.B. GPTBot, Google-Extended) sammeln Inhalte, mit denen Modelle lernen. Such-Crawler (z.B. OAI-SearchBot für die ChatGPT-Suche) holen aktuelle Inhalte, um sie in Antworten zu zitieren und zu verlinken.
Steuern kannst du beides über die robots.txt, denn die seriösen KI-Crawler respektieren sie. Wer pauschal alle KI-Bots aussperrt, verzichtet allerdings auch auf die Chance, in KI-Antworten als Quelle genannt zu werden. Für lokale Unternehmen und ihre Websites ist meist sinnvoll: Such-Crawler zulassen (Sichtbarkeit in KI-Antworten), über Trainings-Crawler bewusst entscheiden.
Praxis-Tipp für Webdesigner: Wirf einen Blick in die Server-Logs oder die robots.txt deiner Kundenprojekte. Eine bewusste Crawler-Policy ist inzwischen Teil eines sauberen technischen Setups.