#113 - KI-Crawler prüfen: Kommt ChatGPT auf deine Seite?

00:00:03: (Musik) Hallo und herzlich willkommen zu Webseiten-Magie, dem Podcast, der deine

00:00:08: Website zur besten Mitarbeiterin macht.

00:00:11: Hier erfährst du, wie du als Solo-Selbstständiger deine

00:00:13: Website in eine echte Kundenmaschine verwandelst.

00:00:16: Du bekommst nicht nur praktische Tipps und Tricks, sondern auch spannende Einblicke

00:00:20: hinter die Kulissen einer Web- und Marketingexpertin.

00:00:23: Bist du bereit, in die magische Welt der Webseiten einzutauchen?

00:00:26: Dann lass uns loslegen!

00:00:28: Hier kommt deine Gastgeberin, Angelika Stempfle.

00:00:37: Auch von meiner Seite ein herzliches Hallo zu einer brandneuen Episode

00:00:40: von Webseiten-Magie.

00:00:42: Heute wird es eine eher kürzere Folge.

00:00:45: Aber das ist eine Folge, nach der du in drei Minuten weißt,

00:00:48: ob deine Webseite für ChatGPT, Claude, Perplexity und Co.

00:00:52: überhaupt erreichbar ist.

00:00:54: In Folge 111 habe ich ja gesagt: Wenn deine Seite in keiner KI vorkommt,

00:00:59: dann liegt das meist nicht an deinen Texten, sondern an

00:01:02: einer geschlossenen Tür.

00:01:04: Und dann kam natürlich prompt die Frage: Ja super, Angelika,

00:01:07: und wie finde ich das jetzt raus?

00:01:10: Die ehrliche Antwort: Da habe ich selbst recherchieren müssen.

00:01:15: Ich habe lange Zeit nicht gewusst, dass es so was überhaupt gibt.

00:01:19: Weil ich weiß, dass man gewisse Dinge nicht indexieren lassen kann auf

00:01:24: einer Webseite, aber dass man eine KI gezielt aussperren kann,

00:01:28: war mir nicht bewusst.

00:01:30: Und ich sitze eben schon seit Jahren vor

00:01:34: diesen WordPress-Backends und von dem Häkchen, von dem ich dir gleich

00:01:39: erzähle, habe ich geglaubt, dass ich weiß, was das tut.

00:01:44: Also nach dieser Folge kannst du das selber überprüfen,

00:01:47: und zwar ohne Plugin und ohne dass du irgendjemanden anrufen musst.

00:01:54: Fast alle schauen zuerst in die

00:01:57: robots.txt-Datei und finden dort nix.

00:02:01: Und dann denken sie sich, passt ja eh.

00:02:04: Das Problem ist, es gibt drei Ebenen und die

00:02:08: robots.txt ist die unterste dieser Ebenen.

00:02:11: Ganz außen sitzt einmal dein Hoster und bei vielen auch noch ein

00:02:16: Schutzdienst wie zum Beispiel Cloudflare.

00:02:18: Also wenn dann ein Bot abgewiesen wird, kriegt das deine

00:02:23: robots.txt ja nie mit und auch nie zu Gesicht.

00:02:27: Und in der Mitte sitzt WordPress selbst, mit allem, was du dort an

00:02:31: Zusatzprogrammen drinnen hast.

00:02:36: Und es nützt dir ja nichts, wenn du an- wenn an deiner Wohnungstür

00:02:40: kein Schloss ist, aber wenn unten am Haus der Haustürschlüssel fehlt.

00:02:46: Da kannst du oben die Tür sperrangelweit offen stehen lassen und es

00:02:50: kommt trotzdem niemand drauf.

00:02:55: Was ist jetzt noch dieses Häkchen, von dem ich vorher gesprochen habe?

00:02:57: In WordPress gibt es unter den Einstellungen unter Lesen ein Häkchen.

00:03:02: Das heißt Sichtbarkeit für Suchmaschinen vermeiden, so in etwa.

00:03:05: Das stellt man üblicherweise ein, wenn man an einer Seite arbeitet oder

00:03:10: eine neue Seite erstellt und noch nicht will, dass diese von Google gefunden wird.

00:03:16: Weil es natürlich keinen Sinn macht, wenn eine halbfertige Seite

00:03:19: indexiert wird und ausgespielt wird.

00:03:22: Also das macht fast jeder Webdesigner.

00:03:25: Und es ist auch total vernünftig, so was zu machen.

00:03:28: Und dann passiert es halt immer wieder, dass das beim Livegang vergessen wird,

00:03:32: dass man das eingeschaltet hat.

00:03:35: Und ja, das kann passieren.

00:03:38: Und dann ist etwas, was in vielen Blogbeiträgen aktuell falsch steht.

00:03:46: Bis zur WordPress-Version 5.2 hat dieses Häkchen ein Disallow in den

00:03:52: robots.txt geschrieben.

00:03:54: Seit der Version 5.3 gibt's das aber nicht mehr.

00:03:58: Das wurde bewusst herausgenommen.

00:04:00: Stattdessen schreibt es noindex unsichtbar irgendwo in den Seitenkopf.

00:04:07: Das heißt jetzt im Klartext für dich, dass diese

00:04:11: robots.txt-Datei total picobello sauber ausschaut und die Seite trotzdem unsichtbar ist.

00:04:21: Was es auch gibt, das ist auch so ein Klassiker und das ist

00:04:24: eine recht gemeine Falle bei dem ganzen Thema: Wenn ein Hoster oder

00:04:30: eine Firewall einen Bot abweist, dann kommt oft keine klare Ansage,

00:04:34: also so eine 403-Anfrage, verboten, sondern viele kriegen eine 429er-Anfrage.

00:04:41: Du weißt ja, da wird viel mit Zahlen gearbeitet,

00:04:44: 404-Seiten und solche Dinge kennt man ja.

00:04:47: Sondern da wird eine 429er-Meldung ausgeschickt, und zwar

00:04:50: heißt das zu viele Anfragen.

00:04:53: Das ist so, es ist halt gerade viel los, renkt sich aber wieder mal ein,

00:04:57: schau später wieder vorbei.

00:04:58: Tut es aber nicht.

00:05:00: Bei mehreren großen Anbietern ist es genau so ganz absichtlich hinterlegt,

00:05:06: weil es als Abweisung für KI-Bots dient.

00:05:09: Also diese Fehlermeldung schickt dich eigentlich freundlich in

00:05:12: eine falsche Richtung.

00:05:15: Und es gibt drei Schritte, wie du das jetzt überprüfen kannst.

00:05:21: Zuerst schaust du dir die

00:05:24: robots.txt-Datei an.

00:05:26: Deine Domain und dann dahinter /robots.txt.

00:05:31: Das Alarmzeichen ist ein Block mit User-agent und darunter Disallow.

00:05:37: Und wenn du jetzt gleich abschaltest, kein Problem.

00:05:39: Alles, was ich dir jetzt erkläre, stelle ich dir dann in die Shownotes mit

00:05:42: einer genauen Beschreibung, dass du dir das jetzt nicht alles

00:05:45: mitschreiben musst, überhaupt, wenn du vielleicht gerade unterwegs bist.

00:05:50: Oder es gibt einen Block, in dem ein OAI-SearchBot,

00:05:54: PerplexityBot oder Claude-SearchBot steht, und darunter wieder ein Disallow.

00:06:00: Das Zweite ist der Quelltext.

00:06:03: Das heißt, du machst die Startseite auf, machst F12 zum Beispiel,

00:06:07: wenn du mit Chrome arbeitest, dann auf Strg+F und danach suchst du nach

00:06:15: noindex und dann eben dieses Häkchen.

00:06:19: Das ist das Einfachste, das dauert zwei Sekunden und schau

00:06:23: einfach, ob das zufällig noch gesetzt ist.

00:06:25: Und jetzt komme ich zu meinem magischen Feen-Tipp.

00:06:29: Wir machen jetzt was Spannendes, obwohl nicht Fasching,

00:06:32: also in Deutschland Karneval, ist.

00:06:34: Wir verkleiden uns, und zwar als Bot.

00:06:39: Weil alles, was ich dir jetzt vorher erzählt habe, das siehst du,

00:06:43: was in WordPress sitzt.

00:06:44: Was du aber nicht findest, ist, was dein Hoster oder deine Firewall macht.

00:06:48: Und dafür musst du dich verkleiden, und zwar als Bot.

00:06:52: Das kostet dich nichts, du musst nichts installieren,

00:06:54: du brauchst dafür lediglich Google Chrome.

00:06:58: Und weil das jetzt natürlich wieder so ein Klickweg ist, den man

00:07:01: so einfach- nicht einfach sich so merkt, schreibe ich dir das Ganze dann in den

00:07:05: Shownotes.

00:07:06: Du gehst her, drückst F12, damit geht das Entwicklertool auf.

00:07:11: Dort wechselst du als Erstes oben auf den Reiter Network.

00:07:16: Das ist der Teil, der dir gleich die Antwort liefert.

00:07:20: Dann gehst du im selben Fenster auf dieses Drei-Punkte-Menü, das ist rechts unten,

00:07:25: drei Punkte, die übereinander stehen.

00:07:27: Dann gehst du auf More tools und Network conditions.

00:07:33: Dann geht wieder so ein kleines Fenster auf und bei User agent nimmst du das

00:07:38: Häkchen bei Use browser default weg und schreibst in das Feld, das du jetzt

00:07:45: drunter beschreiben kannst, GPTBot.

00:07:49: Dann lädst du einfach die Seite neu und schaust auf die allererste Zeile in der

00:07:53: Liste, die da jetzt unten aufscheint.

00:07:56: Und da steht eine Zahl.

00:07:57: 200 heißt, der Bot ist durch.

00:08:00: 403 oder 429 heißt, du hast den Schuldigen gefunden.

00:08:05: Und wenn du das erkannt hast, bitte auch die Gegenprobe nicht vergessen.

00:08:10: Das heißt, du setzt das Häkchen, das du vorhin herausgenommen hast,

00:08:13: wieder rein, lädst noch einmal, wartest etwas, das dauert.

00:08:19: Und wenn dann wieder im Browser ein 200 kommt, dann weißt du,

00:08:26: dass es funktioniert.

00:08:27: Kommt da wieder eine 403 oder eine 429, dann weißt du, es ist eine Bot-Sperre.

00:08:34: Und was ehrlich gesagt auch dazugehört: Das ändert nur den Namen,

00:08:40: mit dem sich dein Browser anmeldet, nicht woher die Anfrage kommt.

00:08:44: Also manche Systeme prüfen beides.

00:08:46: Für die allermeisten Fälle reicht es aber trotzdem.

00:08:50: Also wenn du fündig geworden bist, dann repariere von außen nach innen.

00:08:54: Zuerst Hoster und Schutzdienst, dann die Zusatzprogramme und

00:08:58: erst dann zum Schluss die robots.txt-Datei.

00:09:03: Weil wenn du innen anfängst, dann schraubst du an einer Ebene,

00:09:06: die eigentlich gar nicht die Ursache war.

00:09:08: Und jetzt noch eine gute Meldung für die, die Cloudflare als Schutzdienst verwenden.

00:09:14: Die haben Mitte September auf eine neue Voreinstellung umgestellt.

00:09:19: Das heißt, sie blockieren Training, aber sie erlauben Suchen.

00:09:23: Das gilt aber nur für neue Domains.

00:09:26: Bestandskunden werden da nicht automatisch umgestellt.

00:09:30: Also falls du Cloudflare verwendest, schau einfach einmal nach

00:09:33: in deinen Einstellungen.

00:09:35: Und es ist wie bei allem: Diese Änderungen brauchen Zeit.

00:09:40: Also nicht sagen, okay, ich habe das jetzt geändert vor fünf

00:09:43: Stunden, jetzt müsste das funktionieren.

00:09:44: Manche Dinge brauchen länger, also üblicherweise einen Tag oder

00:09:48: vielleicht auch zwei, je nachdem bei welchem Anbieter du bist.

00:09:52: Also, du weißt jetzt, dass die Sperren selten dort stehen, wo alle suchen.

00:09:58: Du kennst das Häkchen, das eine ganze Webseite unsichtbar macht,

00:10:02: ohne dass es eine Spur hinterlässt.

00:10:04: Und du hast einen Test, den du selber machen kannst.

00:10:08: Also in einem Satz: Bevor du an deinen Texten herumfeilst, schau mal,

00:10:12: ob überhaupt jemand herein darf, ob du die Türe geöffnet hast.

00:10:17: Und wenn beim Bot-Test jetzt was anderes herausgekommen ist als deine normale Seite

00:10:22: und du nicht weißt, wo du anfangen sollst, dafür gibt's meinen Website-Quickie.

00:10:27: Ich schau mir das an, du schickst mir deine Domain,

00:10:31: ich schau mir das an und du kriegst ein kurzes Feedback von mir,

00:10:35: was zum Beispiel ansteht oder was auf deiner Seite zu ändern ist.

00:10:39: Den Link dazu findest du wie immer in den Shownotes.

00:10:44: Das war's für heute. Kurze Folge mit viel Wirkung.

00:10:47: Also bleib zauberhaft und voller Tatendrang, deine Angelika.

00:10:56: (Musik) Das war's auch schon wieder mit dieser Folge von Webseiten-Magie.

00:11:00: Vielen Dank, dass du mit dabei warst.

00:11:02: Weitere Informationen zu Angelika und ihrer Arbeit findest du unter www.

00:11:05: diemarketingfee.at.

00:11:09: Und jetzt stellt sich die Frage: Wie ist es bei dir?

00:11:12: Hast du bereits eine Website, die du vielleicht sogar selbst erstellt hast?

00:11:15: Oder du hast sie vor einiger Zeit erstellen lassen, aber es kommen

00:11:19: keinerlei Anfragen über sie?

00:11:20: Und generell: Irgendwie bist du mit deiner Website schon länger nicht

00:11:24: mehr glücklich und zufrieden.

00:11:25: Wenn es dir so geht, dann sichere dir jetzt ein

00:11:27: kostenloses Erstgespräch mit Angelika.

00:11:30: Sie schaut sich mit dir deine aktuelle Situation an, bespricht deine Ziele und

00:11:34: ihr findet gemeinsam heraus, was die nächsten Schritte sind.

00:11:37: Egal, ob du dich gerade mit Ladezeiten herumschlägst oder deine Website

00:11:41: optimieren willst, setzt euch zusammen und klärt,

00:11:44: wie sie dir am besten weiterhelfen kann.

00:11:46: Den Link zur Terminbuchung findest du in den Shownotes.

00:11:49: Danke, dass du uns heute dein Ohr geliehen hast und denk immer dran: Mach deine

00:11:52: Website zu deiner besten Mitarbeiterin.