Crawl-Budget, Entdeckung und Indexierung: warum Einreichen nicht Indexierung bedeutet

Eine Landingpage für die Anuga, drei Wochen vor der Messe online gestellt, sauber verlinkt, im Sitemap eingetragen — und am Messemontag noch immer nicht in Google. Das ist kein Einzelfall, sondern der Normalfall, wenn man Entdeckung und Indexierung für dasselbe hält.

Zwischen „die Seite ist online" und „die Seite kann gefunden werden" liegen mehrere getrennte Vorgänge, die unterschiedlich lange dauern und aus unterschiedlichen Gründen scheitern. Google muss die Adresse erst erfahren. Danach muss ein Crawler sie besuchen. Danach muss die abgerufene Seite bewertet und in den Index aufgenommen werden. Jeder dieser Schritte kann stillschweigend ausbleiben, ohne dass irgendwo eine Fehlermeldung erscheint.

Für Kölner Betriebe mit Terminbezug ist das besonders teuer. Wer eine Seite für ein Ereignis baut, das an einem festen Datum stattfindet, hat kein Zeitfenster für Geduld. Und wer Stadtteil- oder Umlandseiten in größerer Zahl anlegt, produziert oft genau die Struktur, die dafür sorgt, dass die wichtigen Seiten hinten anstehen.

Grundlagen · Entdeckung

Wie eine Adresse überhaupt bei Google ankommt

Google kennt keine Website, sondern nur einzelne Adressen, und es erfährt von ihnen auf wenigen Wegen: über einen internen Link von einer Seite, die bereits bekannt ist; über einen externen Verweis; über eine XML-Sitemap; oder über eine ausdrückliche Meldung per Schnittstelle. Was auf keinem dieser Wege auftaucht, existiert für die Suche schlicht nicht.

4
Wege der Entdeckung
1
Klick Abstand zur Startseite als Zielwert
0
Fehlermeldungen bei stiller Nichtaufnahme

Der häufigste Fehler dabei ist banal: Die neue Seite hängt an keinem internen Link. Sie steht in der Sitemap, aber kein Menüpunkt, kein Textlink, keine Übersichtsseite führt zu ihr. Für Google sieht das aus wie eine Adresse, die dem Betreiber selbst nicht wichtig genug war, um sie zu verlinken — und entsprechend nachrangig wird sie behandelt.

  • Interner Link von einer bekannten Seite. Der stärkste Weg. Er sagt Google nicht nur, dass es die Adresse gibt, sondern auch, wie wichtig sie im Verhältnis zum Rest der Website ist.
  • Externer Verweis. Ein Link von einer fremden Domain wirkt zusätzlich als Empfehlung. Für eine Terminseite ist ein Eintrag im Ausstellerverzeichnis der Messe oft der schnellste Weg überhaupt.
  • XML-Sitemap. Notwendig, aber schwach. Eine Adresse, die nur in der Sitemap steht und sonst nirgends, wird als nachrangig behandelt — sie wurde ja offensichtlich auch vom Betreiber nicht verlinkt.
  • Ausdrückliche Meldung. Der direkteste Weg, die Entdeckung abzukürzen. Er ersetzt die anderen drei nicht, sondern verkürzt nur die Wartezeit auf den ersten Schritt.

Diese vier Wege sind nicht gleichwertig, und genau das wird in der Praxis übersehen. Wer eine Seite ausschließlich über die Sitemap bekannt macht und danach wartet, hat den schwächsten der vier Wege gewählt und den stärksten ungenutzt gelassen. Die Reihenfolge in der eigenen Arbeit sollte daher umgekehrt zur üblichen Gewohnheit sein: erst verlinken, dann in die Karte aufnehmen, dann melden — nicht melden und hoffen.

Die einfachste Prüfung. Öffnen Sie Ihre Startseite und versuchen Sie, mit Klicks zur neuen Seite zu kommen. Brauchen Sie mehr als drei, ist die Seite aus Sicht eines Crawlers weit weg. Schaffen Sie es gar nicht, ist sie nur über die Sitemap bekannt — die schwächste aller Verbindungen.
Technik · Budget

Crawl-Budget: was es ist und wann es Sie betrifft

Der Begriff wird häufiger falsch verwendet als richtig. Crawl-Budget ist keine feste Zahl, die man kaufen kann, sondern das Ergebnis aus zwei Größen: wie viel Ihre Server verkraften, ohne langsamer zu werden, und wie viel Interesse Google an Ihren Inhalten hat. Beide Größen sind veränderlich, und die zweite hängt daran, ob sich das Crawlen in der Vergangenheit gelohnt hat.

Einordnung · Wer betroffen ist

Wann Crawl-Budget wirklich zum Problem wird

Für die meisten Kölner Firmenwebsites ist es kein Thema. Für drei Konstellationen sehr wohl.

Ohne Werkzeug prüfbar
  • Websites unter etwa tausend Adressen. Hier ist das Budget praktisch nie die Ursache. Wer bei fünfzig Seiten über Crawl-Budget spricht, sucht an der falschen Stelle.
  • Viele Varianten derselben Seite. Filter, Sortierungen, Sitzungsparameter, Druckansichten: Aus zweihundert echten Seiten werden zehntausend Adressen, und die Crawler verbringen ihre Zeit mit Kopien.
  • Seiten, die für jeden Ort neu gebaut werden. Ein Betrieb, der dieselbe Leistung für vierzig Orte im Rheinland anlegt, hat vierzig Seiten mit fast identischem Text. Google crawlt sie, bewertet sie als austauschbar und nimmt einen Teil nicht auf.
  • Langsame Antwortzeiten. Braucht der Server zu lange, drosselt Google von selbst. Das ist keine Strafe, sondern Rücksicht — das Ergebnis ist trotzdem, dass weniger Seiten besucht werden.
1,000+
Adressen, ab denen es interessant wird
2
Faktoren: Serverlast und Interesse
3
Klicks maximal bis zur wichtigen Seite

Für den typischen Kölner Handwerks- oder Dienstleistungsbetrieb heißt das: Die Ursache heißt fast nie Crawl-Budget, sondern schwache interne Verlinkung oder austauschbarer Text. Das ist die bessere Nachricht, denn beides lässt sich ohne Serverumbau beheben.

Ein Nebeneffekt lohnt der Erwähnung: Wer die Zahl der Adressen bewusst klein hält, verbessert nicht nur die Aufnahmequote, sondern auch die eigene Übersicht. Eine Website mit hundertzwanzig gepflegten Seiten lässt sich vollständig kontrollieren; eine mit viertausend automatisch erzeugten Varianten nicht mehr. Der Aufwand, herauszufinden, welche davon überhaupt Anfragen erzeugen, übersteigt schnell den Aufwand, sie gar nicht erst anzulegen.

Kernpunkt · Missverständnis

Einreichen ist nicht Indexierung

Hier liegt der teuerste Irrtum im gesamten Themenfeld. Eine Adresse zur Indexierung anzumelden bedeutet: Google weiß jetzt, dass es sie gibt. Es bedeutet nicht, dass die Seite in den Index aufgenommen wird, und es bedeutet erst recht nicht, dass sie zu einem bestimmten Datum dort ist.

Ohne Umschweife. Das Einreichen einer URL ist keine Indexierung und keine Zusage. Es ist ein Hinweis. Google entscheidet unabhängig davon, ob die Seite aufgenommen wird, und niemand — kein Dienst, kein Werkzeug, keine Agentur — kann diese Entscheidung erzwingen. Wer Ihnen garantierte Indexierung verkauft, verkauft etwas, das er nicht liefern kann.

Warum reicht man dann überhaupt ein? Weil der Hinweis den ersten der drei Schritte abkürzt. Statt darauf zu warten, dass ein Crawler die Adresse über einen Link findet, wird sie sofort bekannt. Das spart in der Praxis Tage bis Wochen — und genau diese Tage entscheiden bei einer Messeseite darüber, ob sie zum Termin sichtbar ist.

Wirkung

Was Einreichen erreicht

Die Adresse ist sofort bekannt, statt über Links gefunden werden zu müssen.

  • Verkürzt die Entdeckungsphase
  • Meldet auch Änderungen an bestehenden Seiten
Grenze

Was Einreichen nicht erreicht

Es ersetzt weder Inhalt noch interne Verlinkung und garantiert keine Aufnahme.

  • Dünne Seiten bleiben draußen
  • Dubletten werden weiter zusammengefasst
Vier Zustände zwischen Einreichen und IndexEingereichtSitemap oder AnstoßEntdecktURL ist bekanntGecrawltInhalt wurde geholtIndexiertSeite kann rankenIndexing Hub: 1 000 Adressen pro Tag und Konto · 10 000 pro Stapel · 2 Aufträge gleichzeitig
Messeseiten entstehen im Block und werden im Block eingereicht — entdeckt und indexiert werden sie trotzdem einzeln und in eigenem Tempo.
Werkzeug · Indexing Hub

Was der Indexing Hub konkret leistet

Der Indexing Hub im Arbeitsbereich von Semalt ist ein Verwaltungswerkzeug für genau diesen Schritt. Er nimmt Adressen entgegen, meldet sie an, protokolliert, was danach passiert, und zeigt an, wo etwas hängt. Die Zahlen dahinter sind fest und sollten bekannt sein, bevor man einen Zeitplan aufstellt.

1,000
URL pro Tag und Konto
10,000
URL je Sammelübermittlung
3
Ebenen bei der Sitemap-Auflösung
1,000
Sitemaps je Auftrag
2
gleichzeitige Aufträge
20
Aufträge in der Warteschlange
FunktionWofürPraktische Grenze
Einzel-URL-TrackerGezielte Meldung wichtiger SeitenTagesbudget von 1 000 URL je Konto
SammelübermittlungRelaunch, große Strukturänderung10 000 URL je Paket
Sitemap-ÜbermittlungDatei oder Adresse, rekursiv aufgelöstdrei Ebenen tief, 1 000 Karten je Auftrag
IndexNow-WeitergabeMeldung an GoogleBot und BingBotMeldung, keine Aufnahmezusage

Die Zahl, die im Alltag am meisten steuert, ist das Tageslimit von tausend Adressen je Konto. Wer eine Website mit dreitausend Seiten neu aufsetzt, plant damit drei Tage ein — nicht drei Stunden. Wer das nicht einkalkuliert, kommt beim Termin zu spät und sucht die Ursache anschließend im Inhalt, wo sie nicht liegt.

Zwei Werte aus dieser Tabelle verdienen besondere Aufmerksamkeit, weil sie im Alltag am häufigsten unterschätzt werden. Der erste ist die Auflösungstiefe von drei Ebenen bei Sitemaps: Wer eine Indexkarte übergibt, die auf weitere Indexkarten verweist, die wiederum auf Kartensätze zeigen, ist bereits am Limit. Tiefere Verschachtelungen werden nicht mehr vollständig aufgelöst — ein Aufbau, der bei gewachsenen Shopsystemen erstaunlich oft vorkommt.

Der zweite ist die Begrenzung auf zwei gleichzeitige Aufträge bei maximal zwanzig in der Warteschlange. Für den normalen Betrieb ist das reichlich. Für den Tag eines Relaunchs, an dem jemand alle Bereiche gleichzeitig einstellen will, ist es die Stelle, an der die Planung kippt. Wer die Aufträge stattdessen nach Bereichen staffelt — erst Leistungen, dann Standorte, dann Blog — kommt mit derselben Kapazität deutlich weiter und behält die Protokolle lesbar.

Kontrolle · Protokoll

Das Protokoll je Adresse — die eigentliche Arbeitsgrundlage

Wichtiger als das Einreichen selbst ist die Rückmeldung. Für jede gemeldete Adresse führt der Hub ein Protokoll: wann ein Bot vorbeigekommen ist, mit welchem Status, und im Fehlerfall mit welcher Begründung. Dazu laufen Zähler für abgeschickte, gefundene und gescheiterte Adressen mit.

Diagnose · Lesart

Drei Protokollbilder und was sie bedeuten

Dieselbe Meldung, drei völlig verschiedene Ursachen — und drei verschiedene Reaktionen.

Teil des Hubs
  • Kein Botbesuch nach Tagen. Die Meldung ist angekommen, das Interesse fehlt. Ursache liegt meist in der internen Verlinkung: Die Seite hängt an keinem tragenden Pfad. Verlinken, nicht erneut einreichen.
  • Botbesuch mit Fehlerstatus. Der Crawler war da und ist auf ein technisches Hindernis gestoßen — Weiterleitungskette, Zeitüberschreitung, versehentliche Sperre. Das ist die dankbarste Kategorie, weil die Ursache eindeutig benennbar ist.
  • Botbesuch erfolgreich, trotzdem keine Aufnahme. Google hat die Seite gesehen und sich dagegen entschieden. Das ist eine inhaltliche Aussage: zu dünn, zu ähnlich zu einer anderen Seite, ohne eigenständigen Zweck.
  • Aufnahme, dann Verschwinden. Kommt bei Saisonseiten regelmäßig vor. Die Seite war monatelang unverändert und ohne Zugriffe; Google stuft sie zurück. Ein jährliches Aktualisieren vor dem Termin verhindert das zuverlässiger als jede erneute Meldung.
3
Zähler: gesendet, gefunden, gescheitert
2
Bots über IndexNow erreicht

Der Unterschied zwischen den ersten drei Bildern ist der ganze Wert des Werkzeugs. Ohne Protokoll sieht man nur „nicht indexiert" und rät. Mit Protokoll weiß man, ob man verlinken, reparieren oder umschreiben muss — drei völlig verschiedene Arbeitsaufträge mit völlig verschiedenem Aufwand.

Praxis · Köln

Drei Kölner Muster, die immer wieder auftauchen

Aus der Arbeit mit Betrieben im Stadtgebiet und im Umland wiederholen sich drei Konstellationen so regelmäßig, dass sie eine eigene Betrachtung verdienen.

Termindruck

Die Messeseite drei Wochen vorher

Zu spät gebaut, zu spät gemeldet, ohne Verlinkung von der Startseite. Sie schafft es nicht rechtzeitig.

  • Acht bis zwölf Wochen Vorlauf einplanen
  • Von der Startseite verlinken, nicht nur aus dem Sitemap
Menge

Vierzig Orte, ein Text

Dieselbe Leistungsbeschreibung mit ausgetauschtem Ortsnamen. Google nimmt einen Teil auf und ignoriert den Rest.

  • Weniger Seiten, dafür echte Unterschiede
  • Referenzen und Anfahrt je Ort statt Textbausteine
Altlast

Die Seite vom letzten Jahr

Die Veranstaltungsseite des Vorjahres steht noch online und konkurriert mit der neuen um dieselben Begriffe.

  • Alte Seite aktualisieren statt neu anlegen
  • Oder sauber auf die neue weiterleiten
Struktur

Der Blog ohne Übersicht

Beiträge sind nur über eine Liste erreichbar, die nach zehn Einträgen umbricht. Ältere Beiträge liegen sechs Klicks tief.

  • Themenseiten als Sammelpunkte anlegen
  • Aus jedem Beitrag auf zwei verwandte verlinken

Alle vier Muster haben eine Gemeinsamkeit: Sie sind keine Indexierungsprobleme, sondern Strukturprobleme, die sich als Indexierungsprobleme zeigen. Deshalb hilft wiederholtes Einreichen nicht. Die Prüfung, welche Struktur überhaupt tragfähig ist, gehört in das technische SEO und nicht in die Meldungswerkzeuge.

Auffällig ist, wie oft diese Muster gleichzeitig auftreten. Ein Betrieb, der zur Messe eine neue Seite baut, hat meistens auch noch die Vorjahresseite online und pflegt daneben zwanzig Ortsvarianten. Die drei Probleme verstärken sich: Die Ortsvarianten verbrauchen Aufmerksamkeit, die Vorjahresseite nimmt der neuen die Begriffe weg, und die neue Seite hat weder Historie noch Verlinkung. Wer in dieser Lage nur die neue Seite meldet, behandelt das kleinste der drei Probleme.

Sinnvoll ist eine kurze Bestandsaufnahme vor jedem Termin: Welche Seiten zu diesem Thema existieren bereits, welche davon sind indexiert, welche konkurrieren miteinander? Diese Aufstellung dauert eine halbe Stunde und ersetzt oft die gesamte anschließende Meldearbeit. Für Betriebe mit Umlandbezug lohnt sich derselbe Blick auf die Ortsseiten, wie er in unserer Local-SEO-Arbeit beschrieben ist — und wer die Struktur der Stadtteilseiten grundsätzlich prüfen will, findet die Kölner Aufteilung unter Stadtteile in Köln.

Ablauf · Reihenfolge

Ein Ablauf, der sich bewährt hat

Die Reihenfolge ist wichtiger als das einzelne Werkzeug. Wer meldet, bevor die Struktur steht, verbraucht Tagesbudget für Adressen, die anschließend ohnehin abgelehnt werden.

SchrittWas passiertWann weitergehen
1. VerlinkenNeue Seite von mindestens zwei bestehenden Seiten aus verlinkensofort
2. SitemapAdresse in die Sitemap aufnehmen, Karte neu erzeugenam selben Tag
3. MeldenAdresse über den Hub einreichen, IndexNow-Weitergabe aktivam selben Tag
4. Protokoll lesenBotbesuch, Status, Fehlerdetail prüfennach zwei bis sieben Tagen
5. ReagierenVerlinken, reparieren oder umschreiben — je nach Protokollbildnach Befund

Bei größeren Umbauten kommt die Sitemap-Übermittlung ins Spiel: Datei oder Adresse übergeben, bis zu drei Ebenen tief werden verschachtelte Karten aufgelöst, bis zu tausend Karten je Auftrag. Zwei Aufträge laufen gleichzeitig, weitere zwanzig warten. Wer diese Kapazitäten kennt, kann den Zeitplan eines Relaunchs realistisch aufstellen, statt ihn zu hoffen. Die laufende Kontrolle danach übernimmt die Search-Console-Auswertung, die Zahl der aufgenommenen Seiten steht dort neben Klicks und Positionen.

Praktischer Hinweis für Terminseiten. Legen Sie die Seite im Vorjahr an und behalten Sie dieselbe Adresse. Aktualisieren Sie sie jährlich, statt jedes Mal eine neue anzulegen. Eine Adresse mit zwei Jahren Historie wird deutlich schneller wieder besucht als eine, die es vor drei Wochen noch nicht gab.
Zusammenhang · Kampagne

Warum Indexierung und Kampagne zusammengehören

Indexierung ist kein eigenständiges Projekt, sondern der Punkt, an dem alle anderen Arbeiten sichtbar werden oder eben nicht. Eine neu geschriebene Seite, die nicht aufgenommen wird, ist genauso wirkungslos wie eine nicht geschriebene. Ein aufgebauter Verweis auf eine nicht indexierte Seite ist verlorene Arbeit.

Deshalb gehören die Meldungswerkzeuge in denselben Arbeitsbereich wie die Kampagnenautomatisierung und die Auswertung. In My SEO laufen Keyword-Auswahl, Linkaufbau, Seitenempfehlungen und Indexierungsstand nebeneinander, und der begleitende Verlauf meldet neue Verweise mit Domain-Rating und Traffic der verweisenden Seite mit, sobald sie entstehen. Der praktische Nutzen ist unspektakulär und groß zugleich: Man merkt, dass eine Seite nicht aufgenommen wurde, bevor man weitere Arbeit in sie steckt.

Ein weiterer Zusammenhang wird oft übersehen: Die Reihenfolge der Meldungen sollte der Reihenfolge der Kampagne folgen. Wenn für einen Begriff gerade Inhalte entstehen und Verweise aufgebaut werden, gehört die zugehörige Seite nach vorn in die Meldeliste — nicht ans Ende, weil sie zufällig zuletzt angelegt wurde. Wo Keyword-Pool, Linkaufbau und Indexierungsstand im selben Werkzeug liegen, ergibt sich diese Reihenfolge fast von selbst; wo sie in drei Systemen liegen, ergibt sie sich nie. Das Semalt-Dashboard zeigt beide Seiten nebeneinander, deshalb fällt dort früh auf, wenn Arbeit in eine Seite fließt, die noch gar nicht im Index steht.

Realistische Zeitangabe. Auch bei sauberer Struktur und sofortiger Meldung vergehen bis zur ersten messbaren Bewegung in der Regel vier bis acht Wochen. Wer eine Terminseite drei Wochen vorher startet, kann Glück haben — planen sollte man damit nicht. Für Kölner Messetermine heißt das: Die Seite gehört ins Quartal davor, nicht in den Monat davor.

Wer den Stand der Indexierung, die Protokolle je Adresse und die Auswertung dazu an einem Ort sehen will, statt drei Werkzeuge nebeneinanderzulegen, findet beides im selben Dashboard.

Indexierungsstand im Dashboard prüfen

FAQ · Kurz beantwortet

Häufige Fragen

Wie lange dauert es, bis eine neue Seite indexiert ist?

Von wenigen Stunden bis zu mehreren Wochen — die Spanne ist echt und lässt sich nicht wegoptimieren. Entscheidend sind zwei Dinge: wie gut die Seite intern verlinkt ist und wie oft Google die Website ohnehin besucht. Eine neue Seite auf einer gepflegten Domain mit regelmäßigen Aktualisierungen ist oft am nächsten Tag drin; dieselbe Seite auf einer seit zwei Jahren unveränderten Website kann Wochen brauchen.

Hilft es, dieselbe Adresse mehrfach einzureichen?

Nein. Die Meldung ist ein Hinweis, kein Antrag, der durch Wiederholung dringlicher wird. Wenn eine Seite nach mehreren Tagen keinen Botbesuch bekommen hat, liegt die Ursache fast immer in der Verlinkung. Verlinken Sie sie von zwei bestehenden Seiten aus und warten Sie eine Woche — das wirkt deutlich verlässlicher als eine zweite Meldung.

Was bringt IndexNow zusätzlich?

IndexNow meldet Änderungen an GoogleBot und BingBot, ohne dass ein Crawler zufällig vorbeikommen muss. Das ist besonders bei Seiten nützlich, die sich häufig ändern — Preise, Verfügbarkeiten, Termine. Wie bei jeder Meldung gilt: Sie beschleunigt die Entdeckung, sie erzwingt keine Aufnahme.

Wir haben dreitausend Seiten und ein Tageslimit von tausend. Was zuerst?

Die Reihenfolge nach wirtschaftlicher Bedeutung, nicht nach Adresssortierung. Zuerst die Seiten, die Anfragen erzeugen sollen — Leistungen, Standorte, aktuelle Termine. Danach Übersichten und Themenseiten. Zuletzt Archiv und Rechtliches. Drei Tage verteilt nach dieser Reihenfolge sind spürbar besser als drei Tage in beliebiger Reihenfolge.

Unsere Stadtteilseiten werden nur teilweise indexiert. Was tun?

Das ist fast immer ein Inhaltsproblem, kein Meldungsproblem. Wenn sich die Seiten nur im Ortsnamen unterscheiden, bewertet Google sie als eine Seite mit Varianten und nimmt eine Auswahl auf. Die Lösung heißt Reduktion: weniger Seiten mit echten Unterschieden — eigene Referenzen, eigene Anfahrtsbeschreibung, eigene Ansprechpartner. Fünf gute Stadtteilseiten schlagen vierzig austauschbare deutlich.

Kann eine bereits indexierte Seite wieder herausfallen?

Ja, und das ist normal. Seiten ohne Zugriffe, ohne interne Links und ohne Aktualisierung werden zurückgestuft. Bei saisonalen Seiten passiert das regelmäßig zwischen zwei Terminen. Wirksam dagegen ist nicht erneutes Einreichen, sondern die Seite lebendig zu halten: einmal jährlich aktualisieren, aus aktuellen Beiträgen darauf verlinken, Inhalte ergänzen, die auch außerhalb der Saison einen Zweck haben.

Zurück zum Blog
Kostenlose Analyse