In Folge 111 habe ich gesagt: Wenn deine Seite in keiner KI
vorkommt, liegt das meistens nicht an deinen Texten, sondern an
einer geschlossenen Tür. Und prompt kam die Frage: Ja super,
Angelika – und wie finde ich das jetzt raus? Hier ist die Antwort.
Ehrlich gesagt musste ich das selbst erst recherchieren: Dass man
eine KI gezielt aussperren kann, war mir lange nicht bewusst. Fast
alle schauen in die robots.txt und finden dort nichts. Dabei ist
die robots.txt nur die unterste von drei Ebenen – ganz außen sitzen
Hoster und Schutzdienst, in der Mitte WordPress. Du lernst das
Häkchen kennen, das seit WordPress 5.3 eine ganze Seite unsichtbar
macht, ohne eine Spur in der robots.txt zu hinterlassen. Du
erfährst, warum die Fehlermeldung 429 gemeiner ist als ein klares
Verboten. Und im magischen Feen-Tipp verkleiden wir uns als Bot –
mit nichts als Chrome und zwei Minuten Zeit. Der ganze Klickweg
steht hier in den Shownotes, mitschreiben musst du also nicht. Wenn
beim Bot-Test etwas anderes herauskommt als deine normale Seite:
Schick mir deine Domain über den Website-Quickie, ich schaue sie
mir an und du bekommst ein kurzes Feedback. Kostenlos, Link unten.
Shownotes: Website: https.//diemarketingfee.at Angelika auf
LinkedIn:
https://www.linkedin.com/in/angelika-stempfle-diemarketingfee/
Erstgespräch buchen: https://bit.ly/GesprächBuchen Zum kostenlosen
Website-Quickie: https://diemarketingfee.at/website-quickie/
Schritt 1 – robots.txt anschauen Ruf deine-domain.at/robots.txt
auf. Alarmzeichen: ein Block mit "User-agent: *" und darunter
"Disallow: /". Oder ein Block, in dem OAI-SearchBot, PerplexityBot
oder Claude-SearchBot steht und darunter ein Disallow. Schritt 2 –
Quelltext auf noindex prüfen Startseite öffnen, F12 drücken, mit
Strg+F nach "noindex" suchen. Wer lieber den rohen Quelltext will:
Strg+U, dann Strg+F. Ein Treffer ist ein Fund. Schritt 3 – das
WordPress-Häkchen Einstellungen > Lesen > "Sichtbarkeit für
Suchmaschinen". Dauert zwei Sekunden und ist der häufigste Fund von
allen. Schritt 4 – als Bot verkleiden (der Feen-Tipp) 1. F12
drücken, die Entwicklertools gehen auf. 2. Zuerst auf den Reiter
"Network" wechseln. Der liefert gleich die Antwort. 3. Im selben
Fenster auf das Drei-Punkte-Menü (je nach Andockung oben oder unten
rechts) > More tools > Network conditions. 4. Bei "User
agent" das Häkchen bei "Use browser default" wegnehmen und GPTBot
ins Feld schreiben. 5. Seite neu laden und auf die allererste Zeile
in der Liste schauen. 200 heißt: Der Bot kommt durch. 403 oder 429
heißt: Du hast die Sperre gefunden. 6. Gegenprobe: Häkchen wieder
rein, noch einmal laden. Nur wenn der normale Browser 200 bekommt
und der Bot 403 oder 429, ist es wirklich eine Bot-Sperre. Ehrlich
dazu: Das ändert nur den Namen, mit dem sich dein Browser meldet,
nicht die Herkunft der Anfrage. Manche Systeme prüfen beides. Für
die allermeisten Fälle reicht es trotzdem. Wenn du etwas findest:
von außen nach innen reparieren. Zuerst Hoster und Schutzdienst,
dann die Zusatzprogramme, erst ganz zum Schluss die robots.txt. Und
nach einer Änderung Geduld – manche Systeme merken sich die alte
Fassung ein bis zwei Tage.
Kommentare (0)
Melde dich an, um einen Kommentar zu schreiben.