Technik

Die technische Dimension bewertet, ob KI-Crawler Inhalte erreichen und zuverlässig verarbeiten können. Sie trägt 15 % zum GEO-Score bei.

Zusammensetzung

Der technische Wert besteht aus drei Teilen:

• Crawler-Zugriff, 50 %: Wichtige KI-Crawler werden gegen die Regeln der robots.txt geprüft. Besonders relevante Crawler werden stärker gewichtet.
• Seitentechnik, 35 %: Der Mittelwert technischer Prüfungen aller analysierten URLs.
• llms.txt, 15 %: Aufbau und Vollständigkeit einer vorhandenen llms.txt.

Eine fehlende robots.txt bedeutet nach Webstandard, dass der Zugriff nicht eingeschränkt ist. Sie führt deshalb nicht automatisch zu einem Abzug.

Die Stufe eines KI-Crawlers

Die Crawler-Tabelle im Bericht nennt zu jedem Crawler eine Stufe. Sie sagt, wie stark eine Blockade auf die Sichtbarkeit wirkt:

• Stufe 1 - speist KI-Suchprodukte, in denen Nutzer aktiv nach Antworten suchen, etwa GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot und PerplexityBot. Hier kostet eine Blockade am meisten.
• Stufe 2 - gehört zum breiteren KI-Ökosystem, etwa Google-Extended, Applebot-Extended oder Amazonbot. Der Zugriff wirkt indirekt.
• Stufe 3 - reine Trainings-Crawler wie CCBot oder Bytespider. Sie sammeln Material für künftige Modelle, beantworten aber keine Fragen. Eine Blockade kostet hier kaum Sichtbarkeit.

Im Score wiegt Stufe 1 dreifach, Stufe 2 doppelt und Stufe 3 einfach. Der Wert für den Crawler-Zugriff ist der so gewichtete Anteil der erlaubten Crawler. Wer aus rechtlichen Gründen Trainings-Crawler ausschließen möchte, verliert damit also nur wenig - anders als bei einer pauschalen Sperre für alle KI-Systeme.

Technische Seitenprüfungen

Der Seitenscore beginnt bei 100. Abzüge entstehen unter anderem durch:

• HTTP-Fehler, noindex oder kaum Inhalt im Roh-HTML
• starke Abhängigkeit von JavaScript für sichtbaren Inhalt
• sehr wenig Seiteninhalt
• fehlenden Seitentitel, H1, Canonical-Link, Sprachangabe oder Meta-Beschreibung
• mehrere H1-Überschriften

llms.txt

Geprüft werden unter anderem Titel, Beschreibung, sinnvolle Abschnitte, absolute URLs, Eintragsbeschreibungen, Kerndaten und Kontaktinformationen. Eine llms.txt ist ein unterstützendes Signal und ersetzt weder zugängliche Webseiten noch strukturierte Daten.

So verbessern Sie den Wert

1. Erlauben Sie benötigten KI-Crawlern gezielt den Zugriff.
2. Stellen Sie zentrale Inhalte bereits im ausgelieferten HTML bereit.
3. Beheben Sie HTTP-Fehler und unbeabsichtigte noindex-Angaben.
4. Ergänzen Sie eindeutige Titel, H1, Canonical-Link und Sprachangabe.
5. Pflegen Sie eine korrekte und aktuelle llms.txt.