Crawl Budget

Quelle: Sammby/shutterstock.com

Der Begriff „Crawl Budget“ bezeichnet die Anzahl an Seiten einer Website, die Googles Crawler täglich erfassen. Sie kann je nach Tag variieren, ist grundsätzlich allerdings relativ stabil. Wie hoch die Anzahl ausfällt, wird durch Faktoren wie die Größe der Site, wie fehlerfrei sie ist und wie viele Links auf sie hinweisen festgelegt.

Google archiviert nicht unbedingt sofort jede Seite. Stattdessen kann dieser Vorgang sogar mehrere Wochen dauern, was gerade für SEO problematisch sein mag. Dem begegnet man am besten, indem man das Crawl Budget optimiert. Aber wie macht man das? Und wie genau funktioniert Crawl Budget überhaupt?

So denkt ein Crawler

Einem Crawler wie dem Googlebot wird eine Liste an URLs vorgegeben, die er dann systematisch durchsucht. Dort ruft er hin und wieder deine robots.txt Datei auf, um zu sehen, ob er die jeweilige URL überhaupt indexieren darf.
Sobald er den Content analysiert hat, fügt der Crawler die URLs hinzu.

Einige Ereignisse können Google dazu veranlassen, bestimmte URLs zu besuchen. Dies ist etwa dann der Fall, sofern neue Links auf den Content verweisen, jemand über die Inhalte getweetet hat oder etwa die XML Sitemap upgedatet wurde etc.

Wann wird Crawl Budget problematisch?

Crawl Budget ist kein Problem, sofern Google viele URLs deiner Site besucht.
Hat deine Website etwa 250.000 Pages, erfassen die Spider manchmal etwa 2500 am Tag.
Dabei werden einige wie beispielsweise die Homepage öfter angesteuert.
Teils kann es allerdings bis zu einem halben Jahr dauern, bis Google Änderungen auf den Seiten wahrnimmt, was jedenfalls zum Problem werden kann.

Mit diesen Schritten bringst du dein Crawl Budget in Erfahrung:

1. Finde heraus, wie viele Pages deine Site hat.

2. Rufe die Google Search Console auf.

3. Klicke auf „Crawl“ → „Crawling Statistiken“. Siehe dir hier die durchschnittliche Anzahl an Crawls pro Tag an.

4. Dividiere die Nummer der Pages durch die Anzahl der durchschnittlichen Crawls pro Tag.

5. Alles über 10 ist schlecht, während drei ein guter Wert ist.

Welche URL wird von Google gecrawlt?

Um das herauszufinden solltest du dir die Server Logs deiner Webseite genauer ansehen. Hierfür kann mann Logstash + Kibana.
Für kleinere Sites ist dagegen das Tool SEO Log File Analyser besser geeignet.

Bring deine Server Logs in Erfahrung und analysiere sie!

Manche Provider stellen die Log Files nicht zur freien Verfügung. Die Daten sind für eine Optimierung des Craw Budget jedoch enorm wichtig. Sollte dein Host sie dir verwehren, wechsle den Anbieter.

Der Vorgang ist schließlich ein bisschen so, als würde man den Motor eines Autos reparieren. Dafür muss man nämlich zwangsläufig einen Blick unter die Haube werfen. Zunächst mag das jedoch etwas verwirrend sein, da sich in den Server Logs zahlreiche 404s Fehlermeldungen befinden. Diese gilt es dann alle zu reparieren, da sie andernfalls den Wert der Site reduzieren.

Das Crawl Budget verbessern

1. Fehler reduzieren

Zunächst muss sichergestellt werden, dass die von Google angesteuerten Seiten einen der beiden Codes aufweisen: 200 (für „okay“) oder 301 (für „gehe stattdessen hierhin“). Hierfür muss man sich die Server Logs der Website ansehen. Google Analytics und die meisten anderen Tools erfassen ausschließlich Beiträge, die den Wert 200 aufweisen. Also findet man über diese Programme keine Fehler heraus.

Sobald du deine Server Logs einsehen kannst, suche nach üblichen Fehlern und behebe sie.
Am besten erfasst du dafür alle URLs, die nicht als 200 oder 301 ausgewiesen werden und ordnest sie dann je nachdem, wie häufig auf sie zugegriffen wurde.
Den Fehler zu beseitigen mag teils bedeuten, dass du den Code überarbeiten musst.
Oder es ist dafür nötig, die URL auf etwas anderes verweisen zu lassen.

Mit Google Search Console können Fehler ebenfalls besonders gut identifiziert werden. Wie genau das geht, wird in diesem Post beschrieben.

2. Sperre Teile deiner Site 

Sofern Abschnitte deiner Website ohnehin nicht über Google gefunden werden sollen, sperrst du sie einfach. Dies machst du am besten aber nur, wenn du wirklich weiß, was du tust.
Beispielsweise wäre das auf Sites angebracht, die etliche Filter verwenden. Jeder davon würde nämlich unter einer eigenen URL indexiert.

Stattdessen sollte man besser nur ein oder zwei davon von Google erfassen lassen.

3. Weniger Redirect Chains

Redirect Chains entstehen, wenn man bei der URL etwa das www weglässt bzw. hinzufügt oder http zu https ändert. Dann entstehen für die Einträge doppelte URLs, deren Indexierung somit insgesamt auch deutlich länger dauert.

4. Sorge für mehr Links

Das ist leichter gesagt als getan. Schließlich hängt das nicht nur von der Qualität des Contents ab, sondern auch davon, wie bekannt die Site ist. Diese zwei Posts illustrieren das Thema relativ umfassend und ausführlich:

– Linkbuilding aus Sicht der SEO
– Advanced SEO Tipps

5. Mobilgeddon

In der heutigen Zeit müssen Sites auch für mobile Geräte optimiert sein. Allerdings werden die URLs dabei verdoppelt, da etwa jede Seite wie beispiel.com/page/ ein Gegenstück wie m.beispiels.com/page/ erhält. Letztlich braucht Google somit fürs Indexieren auch doppelt so lange. Hast du ohnehin schon Probleme mit dem Crawl Budget, mag es sich daher lohnen, mit der Optimierung für mobile Apparate zu warten.

6. Bonus Tipp

Ein weiterer Faktor, der für das Crawl Budget eine Rolle spielt, ist das Image SEO.

Hierbei werden auch die Bilder für Suchmaschinen optimiert, indem man etwa Beschreibungen mit Keywords hinzufügt.

Fazit

Crawl Budget ist bei grossen Webseiten sehr wichtig. Wenn du eine kleinere Seite mit wenig Unterseiten hast, kannst du auch die oben gennante Tipps anwenden um dein Crawl Budget zu verbessern.

 

Autor: Zsolt Szakal, www.seo-kepzes.hu/keresooptimalizalaswww.bergluftmarketing.ch/suchmaschinenoptimierung
Titelbild: https://www.evergreenmedia.at/glossar/crawl-budget/

Redaktion
Die Redaktion von marketing.ch liefert seit 2012 regelmässig spannende Inhalte rund um das Thema Marketing. Wenn kein anderer Autor hinterlegt ist, hat das marketing.ch Team gemeinsam unter diesem Account an den Artikeln gearbeitet. 🙂

Kommentieren Sie den Artikel

Bitte geben Sie Ihren Kommentar ein!
Bitte geben Sie hier Ihren Namen ein

Beliebte Artikel

SEM / SEA / SEO

SEM, SEA, SEO – Unterschiede und Definitionen SEM (Search Engine Marketing: Suchmaschinenmarketing) steht als Oberbegriff für alle Massnahmen rund...

News Crowdfunding #1

Crowdfunding ist eine alternative Finanzierungsform, die stetig an Beliebtheit gewinnt, vor allem bei Startups. Diese können mit Hilfe von Crowdfunding die Auswahlkriterien der Banken...

Affiliate Marketing

Affiliate-Marketing das Topmodel der Werbung Was 1997 durch den Amazon-Gründer aus der Partylaune heraus entstand, gehört heute sozusagen zum...

Social Media Marketing

Was ist Social Media Marketing? Es ist ein täglicher Alltagsbegleiter: Das Smartphone. Soziale Medien wie Instagram, Facebook, Pinterest oder...

Digital / Online Marketing

Digital / Online Marketing der Schlüssel zum Erfolg Die richtige Online-Marketing-Strategie ist die elementarste Frage für eine erfolgreiche Zukunft....