Cloudflare hat die neue Robotcop-Funktion zur Durchsetzung der Robots.txt-Richtlinien eingeführt
14:58, 11.12.2024
Übersicht der neuen Robotcop-Funktion
Cloudflare hat eine neue Funktion in seinem Audit-Panel namens Robotcop angekündigt. Dieses Tool hilft dabei, zu überwachen, wie verschiedene AI-Dienste die in robots.txt-Dateien festgelegten Richtlinien einhalten, und ermöglicht es den Nutzern, diese Richtlinien automatisch auf Netzwerkebene durchzusetzen. Mit dem Aufkommen von generativer KI, die aktiv das Internet durchsucht, um Daten für das Training von Modellen zu sammeln, haben viele Website-Besitzer begonnen, ihre robots.txt-Richtlinien zu aktualisieren, um den Zugriff nicht nur für Web-Crawler, sondern auch für AI-Bots zu beschränken.
Dank der neuen Funktion von Cloudflare können Website-Besitzer einen Bericht über die Anzahl der Anfragen von verschiedenen Bots erhalten, einschließlich derer von AI-Diensten wie ChatGPT, Google Gemini und anderen. Das Audit-Panel ermöglicht es den Nutzern, Anfragen nach Kategorien zu filtern und Informationen zu Richtlinienverstößen zu erhalten.
Wie Robotcop bei der Verwaltung von Traffic und Richtlinienverstößen hilft
Die Robotcop-Funktion liefert Berichte über Richtlinienverstöße für jeden Bot. Nutzer können sehen, welcher Traffic die festgelegten Regeln verletzt und erhalten Popup-Hinweise mit Details zu den Verstößen. Der Bereich „Beliebteste Pfade“ zeigt den Traffic an, der gegen die Richtlinien der Website verstößt. Nutzer können auch robots.txt-Regeln über eine erweiterte Firewall-Regel anwenden, um Verstöße automatisch zu blockieren.
Diese Funktion ist bereits für alle Cloudflare-Nutzer verfügbar und bietet zusätzliche Werkzeuge zur effektiven Verwaltung des Zugriffs auf die Website und zum Schutz vor unerwünschten Bots.
1m, 12s
2
War dieser Artikel für Sie hilfreich?
Ja
Nein
VPS beliebte Angebote
-
-20.2%€/mo€ 19 /moAlle 12 Monate abgerechnet
CPU1 Xeon Core
RAM1 GB
Space50 GB SSD
Bandwidth300 GB -
-18.6%€/mo€ 38 /moAlle 12 Monate abgerechnet
CPU4 Xeon Cores
RAM4 GB
Space100 GB SSD
Bandwidth4 TB
-
-10%€/mo€ 23.5 /moAlle 12 Monate abgerechnet
CPU6 Xeon Cores
RAM8 GB
Space100 GB SSD
BandwidthUnlimited
-
-15.6%€/mo€ 5.33 /moAlle 12 Monate abgerechnet
CPU2 Xeon Cores
RAM512 MB
Space10 GB SSD
Bandwidth1 TB
-
-8%€/mo€ 29.5 /moAlle 12 Monate abgerechnet
CPU4 Epyc Cores
RAM4 GB
Space50 GB NVMe
BandwidthUnlimited
-
-13.1%€/mo€ 7 /moAlle 12 Monate abgerechnet
CPU2 Xeon Cores
RAM512 MB
Space10 GB SSD
Bandwidth300 GB
-
-15%€/mo€ 69 /moAlle 12 Monate abgerechnet
OSCentOS
CPU6 Epyc Cores
RAM16 GB
Space150 GB NVMe
SoftwareKeitaro
BandwidthUnlimited -
-29.4%€/mo€ 17 /moAlle 12 Monate abgerechnet
CPU4 Xeon Cores
RAM2 GB
Space30 GB SSD
Bandwidth2 TB
-
-8%€/mo€ 29.5 /moAlle 12 Monate abgerechnet
CPU6 Xeon Cores
RAM8 GB
Space100 GB SSD
BandwidthUnlimited
-
-5.2%€/mo€ 12.5 /moAlle 12 Monate abgerechnet
CPU3 Xeon Cores
RAM1 GB
Space50 GB SSD
BandwidthUnlimited
