In Folge 111 habe ich gesagt: Wenn deine Seite in keiner KI vorkommt, liegt das meistens nicht an deinen Texten, sondern an einer geschlossenen Tür. Und prompt kam die Frage: Ja super, Angelika – und wie finde ich das jetzt raus? Hier ist die Antwort. Ehrlich gesagt musste ich das selbst erst recherchieren: Dass man eine KI gezielt aussperren kann, war mir lange nicht bewusst. Fast alle schauen in die robots.txt und finden dort nichts. Dabei ist die robots.txt nur die unterste von drei Ebenen – ganz außen sitzen Hoster und Schutzdienst, in der Mitte WordPress. Du lernst das Häkchen kennen, das seit WordPress 5.3 eine ganze Seite unsichtbar macht, ohne eine Spur in der robots.txt zu hinterlassen. Du erfährst, warum die Fehlermeldung 429 gemeiner ist als ein klares Verboten. Und im magischen Feen-Tipp verkleiden wir uns als Bot – mit nichts als Chrome und zwei Minuten Zeit. Der ganze Klickweg steht hier in den Shownotes, mitschreiben musst du also nicht. Wenn beim Bot-Test etwas anderes herauskommt als deine normale Seite: Schick mir deine Domain über den Website-Quickie, ich schaue sie mir an und du bekommst ein kurzes Feedback. Kostenlos, Link unten. Shownotes: Website: https.//diemarketingfee.at Angelika auf LinkedIn: https://www.linkedin.com/in/angelika-stempfle-diemarketingfee/ Erstgespräch buchen: https://bit.ly/GesprächBuchen Zum kostenlosen Website-Quickie: https://diemarketingfee.at/website-quickie/ Schritt 1 – robots.txt anschauen Ruf deine-domain.at/robots.txt auf. Alarmzeichen: ein Block mit "User-agent: *" und darunter "Disallow: /". Oder ein Block, in dem OAI-SearchBot, PerplexityBot oder Claude-SearchBot steht und darunter ein Disallow. Schritt 2 – Quelltext auf noindex prüfen Startseite öffnen, F12 drücken, mit Strg+F nach "noindex" suchen. Wer lieber den rohen Quelltext will: Strg+U, dann Strg+F. Ein Treffer ist ein Fund. Schritt 3 – das WordPress-Häkchen Einstellungen > Lesen > "Sichtbarkeit für Suchmaschinen". Dauert zwei Sekunden und ist der häufigste Fund von allen. Schritt 4 – als Bot verkleiden (der Feen-Tipp) 1. F12 drücken, die Entwicklertools gehen auf. 2. Zuerst auf den Reiter "Network" wechseln. Der liefert gleich die Antwort. 3. Im selben Fenster auf das Drei-Punkte-Menü (je nach Andockung oben oder unten rechts) > More tools > Network conditions. 4. Bei "User agent" das Häkchen bei "Use browser default" wegnehmen und GPTBot ins Feld schreiben. 5. Seite neu laden und auf die allererste Zeile in der Liste schauen. 200 heißt: Der Bot kommt durch. 403 oder 429 heißt: Du hast die Sperre gefunden. 6. Gegenprobe: Häkchen wieder rein, noch einmal laden. Nur wenn der normale Browser 200 bekommt und der Bot 403 oder 429, ist es wirklich eine Bot-Sperre. Ehrlich dazu: Das ändert nur den Namen, mit dem sich dein Browser meldet, nicht die Herkunft der Anfrage. Manche Systeme prüfen beides. Für die allermeisten Fälle reicht es trotzdem. Wenn du etwas findest: von außen nach innen reparieren. Zuerst Hoster und Schutzdienst, dann die Zusatzprogramme, erst ganz zum Schluss die robots.txt. Und nach einer Änderung Geduld – manche Systeme merken sich die alte Fassung ein bis zwei Tage.
Kommentare (0)
Melde dich an, um einen Kommentar zu schreiben.