Neue Crawling-Statistiken in der Search Console

In ihrem neuen Google Search Central Blog hat Google die neuen und verbesserten Crawling-Statistiken für die Search Console vorgestellt. Das Tool soll nun den Websitebetreiber dabei helfen den Google-Bot selbst und sein Crawling besser zu verstehen.

Bisher konnte man noch die Crawling-Statistiken aus der alten Search Console nutzen. Diese waren unter dem Navigationspunkt „Vorherige Tools und Berichte“ zu finden. Allerdings wurden einem hierüber nur drei Diagramme geliefert, die die Anzahl der gecrawlten Seiten, die heruntergeladene Datenmenge und die Dauer für einen Request an eine Seite. Dies gab einem nur einen groben Überblick, was der Google-Bot auf der eigenen Website macht.

Die neuen und erweiterten Crawling Statistiken sind in der Search Console noch etwas versteckt. Man findet diese in den Einstellungen als neuen Abschnitt. Hier kann man auf „Bericht öffnen“ klicken und gelangt somit zum neuen Crawling Report.

Unter Einstellungen findet man die Crawling Statistiken
Unter Einstellungen findet man die Crawling Statistiken

Die neuen Crawling Statistiken umfassen dabei viele Verbesserungen und neue Features für die Websitebetreiber:

  1. Die Gesamtanzahl der Crawling-Requests ist zu sehen. Diese kann nach dem HTTP Response Code, dem gecrawlten Dateityp, dem Zweck des Crawlens und dem Typ des Google-Bots unterteilt werden. Dies lässt einen deutlich detailierter die Crawling-Requests analysieren.
  2. Es werden nun Beispiel-URLs angezeigt, die zeigen, wo ein Request an die Website stattgefunden hat. Somit kann man genauer bestimmen, wann wo der Bot unterwegs war.
  3. Man erhält detailierte Informationen zum Host-Status. Dieser zeigt in der Übersicht an, ob auf der Website in den letzten 90 Tagen Probleme aufgetreten sind. Dies betrifft den Abruft der robots.txt, die DNS-Auflösung sowie die Serververbindung. Zur Analyse wird hier die Fehlerquote bei den Crawling-Requests angegeben, die die fehlerhaften Anfragen des Bots aufzeigen.
  4. Es gibt eine umfassende Zusammenfassung des Crawlings für Properties mit verschiedenen Hosts. Zudem gibt es nun die Unterstützung für Domain Properties, die bisher nicht angezeigt werden konnte. So können große Domains mit mehreren Subdomains das Crawling des Bots deutlich besser nachvollziehen.

In der Übersicht der Crawling-Statistiken sieht man die oben die bekannten Statistiken aus der alten Search Console. Dies umfasst die Gesamtanzahl an Crawling-Anfragen, die insgesamte Downloadgröße der Dateien und die durchschnittliche Reaktionszeit. Hier kann man schnell Ausbrüche oder Entwicklung erkennen und in die tiefere Analyse eintauchen. Dies ist im Hinblick auf die Core Web Vitals ein wichtiger Aspekt, um zu sehen, wie schnell deine Seite gecrawlt werden kann.

Unterhalb der Hauptdiagramme findet sich die Aufschlüsselung nach den verschiedenen Crawling Aspekten.

  • Nach der Antwort = HTTP Response Code der bei der Crawling Anfrage geschickt wird (z.B. 200, 301, 404)
  • Nach Dateityp = die verschiedenen Dateien, die beim Laden der Seite aufgerufen werden (z.B. HTML, CSS, JavaScript, usw.)
  • Nach Zweck = der Zweck warum der Googlebot auf der Seite war (z.B. Aktualisieren, Auffindbarkeit)
  • Nach Googlebot-Typ = welcher Typ von Bot war auf der Website (z.B. Smartphone Bot, Desktop Bot, AdsBot)

Übersicht der Crawling Statistiken

Übersicht der Crawling-Statistiken

Aufschlüsselung der Crawling-Requests nach Crawling Aspekten

Crawling Anfragen unterteilt nach Aspekten

Quelle:

https://developers.google.com/search/blog/2020/11/search-console-crawl-stats-report