Stimme jetzt für goneo ab beim Webhoster des Jahres 2026 – nur noch
bis 18. Oktober: https://www.hosttest.de/wahl/goneo goneo Webmacher
& Webprofessionals Podcast – jeden Freitagabend mit Pains &
Gains für Webseitenbetreiber und alle, die sonst aktiv im Internet
sind. Montagnacht, 3:17 Uhr. In deinem Shop ist kein einziger Kunde
– aber hunderte Maschinen. Sie lesen Seite zwölf deiner
Schlagwort-Liste, zum vierten Mal in dieser Nacht. Um 3:19 Uhr gibt
dein Server auf. KI-Crawler komplett aussperren geht mit einer
einzigen Zeile. Nur: Dann bist du auch für ChatGPT, Perplexity und
Google unsichtbar. In Episode 158 löst Markus das Dilemma, das ihm
ein Tischlermeister aus Ostwestfalen geschickt hat: Wie stoppst du
den Mähdrescher, ohne dass dein Schaufenster dunkel wird? Markus
sortiert die nächtlichen Besucher in drei Gruppen –
Trainings-Crawler, Suchhelfer und Agenten –, erklärt am Beispiel
einer Restaurantküche, warum Bots deine Datenbank in die Knie
zwingen, und erzählt echte Fälle: den Onlineshop mit sieben
Mitarbeitenden, den ein KI-Crawler lahmlegte, die
Reparatur-Plattform iFixit mit fast einer Million Bot-Besuchen an
einem Tag und den Bot, der sich nach einer Sperre als ganz normaler
Chrome-Browser verkleidete. Dazu drei Handgriffe, die du ohne
Programmierkenntnisse erledigen kannst. Kapitelmarken: 00:00 Cold
Talk, Opener & der Mähdrescher vor dem Schaufenster 06:19 Wer
klopft da? Trainings-Crawler, Suchhelfer und Agenten 10:55 Was auf
deinem Server passiert 14:17 Pain-Analyse 15:12 Survival Guide:
Drei Handgriffe – Hausordnung, Vorkochen, Visitenkarte 19:10 Drei
News in drei Minuten: US-Gericht weist Klagen gegen Googles
KI-Zusammenfassungen ab, Google mit neuem Anti-Spam-Update, der
Autor von „Silo“ im Board von Automattic 22:10 Wo wir landen: Dein
10-Minuten-Audit Zum Kopieren – die modellhafte Hausordnung
(robots.txt) aus der Folge: Dies ist einzelfall- und
umgebungsabhängig, also prüfen! Nutzung auf eigene Verantwortung. #
Trainings-Crawler User-agent: GPTBot User-agent: ClaudeBot
User-agent: CCBot User-agent: Bytespider Disallow: / # Such- und
Zitier-Crawler User-agent: OAI-SearchBot User-agent:
Claude-SearchBot User-agent: PerplexityBot Disallow: /tag/
Disallow: /?s= Disallow: /search/ # Alle anderen (inkl. Googlebot,
Bingbot) User-agent: * Disallow: /tag/ Disallow: /?s= Disallow:
/search/ Pfade an deine eigene Permalink-Struktur anpassen.
Wichtig: Googlebot nicht aussperren – sonst verschwindest du aus
der Google-Suche. Links zur Episode: - Webhoster des Jahres 2026 –
Jetzt abstimmen: https://www.hosttest.de/wahl/goneo - Folge 152
„Der nächste Kunde ist kein Mensch“:
https://social.goneo.de/podcast-2/ - OpenAI: Übersicht der Crawler:
https://developers.openai.com/api/docs/bots - Cloudflare:
Crawl-to-Click-Daten zu KI-Bots:
https://blog.cloudflare.com/crawlers-click-ai-bots-training/ -
Cloudflare: Perplexity und die getarnten Crawler:
https://blog.cloudflare.com/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives/
- TechCrunch: Wie ein KI-Bot den Shop von Triplegangers lahmlegte:
https://techcrunch.com/2025/01/10/how-openais-bot-crushed-this-seven-person-companys-web-site-like-a-ddos-attack/
- News 1 – Klagen gegen Google AI Overviews abgewiesen:
https://seroundtable.com/google-ai-overview-lawsuit-dismissed-42211.html
- News 2 – Google September 2026 Spam Update:
https://www.searchenginejournal.com/google-september-2026-spam-update/590828/
- News 3 – Automattic, Mullenweg und das neue Board:
https://runtimewire.com/article/automattic-new-board-mullenweg-2026
- goneo Blog & Social Hub: https://social.goneo.de
Kommentare (0)
Melde dich an, um einen Kommentar zu schreiben.