LLM Bot Crawling: Blocken, zulassen oder strategisch steuern? Mit Juliane Bettinga (SEOsoon) | Ep.250

In dieser SEOPRESSO-Folge spricht Björn mit Juliane Bettinga über
eine der wichtigsten neuen Fragen im technischen SEO: Wie gehen
wir mit LLM Bots, AI Crawlern und Agenten um?


Blocken oder zulassen ist dabei keine Schwarz-Weiß-Entscheidung.
Es geht darum, Bot-Typen sauber zu unterscheiden, Trainingsdaten,
Grounding und Agent-Traffic getrennt zu bewerten und daraus eine
klare Strategie abzuleiten. Juliane erklärt, warum robots.txt
weiterhin eine wichtige Grundlage ist, wo serverseitige
Blockierung sinnvoll wird, warum User Agents allein nicht immer
reichen und weshalb Server Logs für AI Search Analysen immer
wichtiger werden.


Außerdem geht es um Crawl-Spitzen, Performance-Risiken,
Cloudflare Bot Detection, Perplexity, OpenAI, Anthropic, Google
Extended, Copilot, JavaScript, initiales HTML und die Frage,
warum klassische SEO-Basics plötzlich wieder extrem relevant für
LLM Sichtbarkeit werden.


Takeaways:


LLM Bots sollte man nicht pauschal blocken oder zulassen,
sondern nach Bot-Typ, Ziel und Content-Bereich bewerten.

robots.txt bleibt wichtig, reicht aber nicht immer aus. Für
echte Kontrolle braucht es oft serverseitige Maßnahmen,
Fingerprinting oder Reverse-IP-Lookups.

Grounding Bots liefern wertvolle Hinweise darauf, welche
Inhalte von LLMs für echte Nutzerfragen herangezogen werden.

Server Logs werden zu einer zentralen Datenquelle für AI
Search, weil Prompt-Tracking allein schnell verzerrt sein kann.

APIs, 404-Seiten, expired Products und unstrukturiertes
URL-Inventar können unnötige Bot-Aktivität erzeugen.

LLM Bot Crawling kann Server-Performance beeinflussen,
besonders durch volatile Peaks.

Inhalte müssen im initialen HTML verfügbar sein. JavaScript,
saubere Code-Qualität, Accessibility und sprechende Attribute
werden für Bots noch wichtiger.



Kapitelmarken:
00:00 Intro: LLM Bot Crawling auf der CAMPIXX
00:26 Bots blocken oder nicht? Warum es keine einfache Antwort
gibt
01:16 Exklusive Inhalte, Verzeichnisse und strategische
Freigaben
01:39 robots.txt, serverseitiges Blockieren und Google
Extended
02:43 Wie identifiziert man LLM Bots?
03:11 Agenten, Headless Browser und warum Detection schwierig
wird
04:20 Katz-und-Maus-Spiel: Fingerprinting, Cloudflare und
Gegenmaßnahmen
05:15 Gute vs. schlechte Bots und warum eigene Analyse schwer
ist
06:26 Monitoring: Welche Inhalte lösen LLM Requests aus?
07:15 APIs, expired Products und 404-Seiten als
Crawl-Fallen
09:25 Wird robots.txt von AI Bots respektiert?
10:37 Cloudflare und serverseitige Kontrolle
11:05 Wenn ChatGPT der zweithäufigste Bot ist
11:52 Training Bots vs. Grounding Bots
12:28 Server Logs als Basis für AI Search Tracking
13:24 LLM User Experience und die Grenzen von
Prompt-Tracking
14:34 Gibt es Crawl Budget bei LLM Bots?
15:43 Performance-Probleme durch Bot-Peaks
17:18 Hostings, Default-Blockierung und Pay-per-Crawl
18:34 JavaScript, initiales HTML und Codequalität
19:17 Bing, NoArchive und Copilot
20:00 Fazit: Klassisches technisches SEO wird für AI Search noch
wichtiger