Full Speed Crawl ohne 429er in Shopify

Ihr wollt euren eigenen Shopify Shop crawlen, ein sauberes SEO Audit über alle Seiten, Titles, Meta Descriptions, Bilder ohne Alt Text. Und statt Daten kommt eine Wand aus Fehlern: 429 Too Many Requests, eine Seite nach der anderen. Der Crawl bricht ab oder schleicht im Schneckentempo. Genau dafür hat Shopify jetzt eine offizielle Lösung gebaut, und sie ist erfreulich simpel: Web Bot Auth.

Kurz gesagt: Im Shopify Admin unter Online Store, Preferences, Bereich Crawler access eine Signatur erstellen. Drei Header kopieren, in den Crawler eintragen, fertig. Ab dann gilt der Crawler als autorisiert, bekommt deutlich höhere Limits und läuft mit vollem Tempo durch, ohne 429 Stau.

Was euch in diesem Artikel erwartet

• Warum Shopify Crawler überhaupt ausbremst und woher die 429er kommen
• Was Web Bot Auth ist und warum Shopify das aktiv freigibt
• Warum es sich lohnt, vor allem für die Crawl Geschwindigkeit und für vollständige Daten
• Die komplette Anleitung in Shopify, Schritt für Schritt, eins zu eins
• Worauf ihr achten müsst, damit die Signatur nicht aus Versehen kaputtgeht

Warum Shopify Crawler ausbremst

Jeder Shopify Shop sitzt hinter einer Schutzschicht von Cloudflare. Die unterscheidet menschlichen Traffic von automatischem Traffic und behandelt beides unterschiedlich. Ein normaler Besucher klickt sich in menschlichem Tempo durch den Shop. Ein Crawler feuert dagegen Dutzende oder Hunderte Anfragen pro Sekunde ab. Aus Sicht der Schutzschicht sieht das aus wie ein Angriff.

Die Reaktion darauf ist eine Drosselung. Anonyme, also nicht signierte Bots bekommen die strengsten Limits. Wer sie überschreitet, läuft in 429 Too Many Requests oder 403 Forbidden. Für den Schutz des Shops gegen echte Angreifer ist das genau richtig. Für ein eigenes Audit ist es ein Problem: Der Crawl wird langsam, unvollständig oder bricht ganz ab.

Bisher half nur, das Tempo künstlich herunterzudrehen, Anfrage für Anfrage, mit langen Pausen dazwischen. Ein Crawl über ein paar hundert Seiten zieht sich so über Stunden, und ein paar 429er rutschen trotzdem durch.

Web Bot Auth, die offizielle Eintrittskarte

Web Bot Auth ist eine Methode, mit der sich ein Bot kryptografisch ausweisen kann. Technisch steckt der offene Standard HTTP Message Signatures dahinter, festgehalten in RFC 9421. Statt anonym anzuklopfen, signiert der Crawler jede Anfrage mit einer Signatur. Die Schutzschicht prüft diese Signatur, erkennt den Traffic als autorisiert und lässt ihn mit höheren Limits durch.

Das Beste daran: Man muss sich mit dem Standard nicht auskennen und nichts selbst implementieren. Shopify generiert die fertige Signatur direkt im Admin. Ihr erstellt sie mit zwei Klicks, kopiert drei Werte und tragt sie in euren Crawler ein. Den ganzen kryptografischen Teil übernimmt Shopify im Hintergrund.

Wichtig zu verstehen: Das ist kein Trick und kein Umgehen einer Sperre. Shopify gibt diesen Weg bewusst frei, damit Händler ihren eigenen Shop sauber crawlen und auditieren können. Signierter Traffic ist gewollter Traffic.

Warum es sich lohnt

Volle Geschwindigkeit. Signierter Traffic bekommt deutlich höhere Rate Limits als anonymer. Heißt konkret: Der Crawler darf wieder Gas geben. Was vorher Stunden mit gedrosseltem Tempo gedauert hat, läuft jetzt in einem Bruchteil der Zeit durch, ohne ständige Zwangspausen und Wiederholungsversuche.

Vollständige Daten. Jeder 429er ist eine Seite, die im Audit fehlt. Fehlen Seiten, zieht man falsche Schlüsse. Mit Web Bot Auth kommt der komplette Shop in einem Durchlauf, sauber und ohne Lücken.

Wiederholbar. SEO ist kein einmaliges Projekt. Wer monatlich crawlt, um Fortschritt zu messen, will, dass jeder Lauf gleich sauber durchgeht. Eine hinterlegte Signatur macht aus dem nervigen Sonderfall einen Standardprozess.

Es ist euer Shop. Hier wird das eigene Eigentum auditiert. Web Bot Auth ist genau der vorgesehene Weg, das mit vollem Tempo zu tun.

Die Anleitung in Shopify, Schritt für Schritt

Schritt 1: Signatur im Admin erstellen

Im Shopify Admin geht ihr auf:

Online Store → Preferences → Bereich Crawler access → Create signature

Schritt 2: Ablauffrist setzen

Beim Erstellen legt ihr fest, wie lange die Signatur gültig ist. Das Maximum sind drei Monate. Eine automatische Verlängerung gibt es nicht, dazu gleich mehr.

Schritt 3: Die drei Werte kopieren

Shopify zeigt jetzt drei Werte. Neben jedem steht ein Copy Button. Alle drei werden gebraucht:

Header	Wert
Signature-Input	von Shopify generiert, definiert die Signatur Parameter
Signature	von Shopify generiert, die eigentliche kryptografische Signatur
Signature-Agent	"https://shopify.com", immer in Anführungszeichen

Schritt 4: Header in den Crawler eintragen

Diese drei Werte hinterlegt ihr in eurem Crawler als zusätzliche HTTP Header. Jedes ernsthafte Tool kann das:

• Screaming Frog: Configuration → HTTP Header → die drei Header anlegen
• Sitebulb, JetOctopus, OnCrawl: jeweils im Bereich für eigene Request Header
• Eigener Crawler oder Skript: die drei Header bei jedem Request mitschicken

Schritt 5: Testlauf

Startet einen kleinen Crawl und schaut auf die Statuscodes. Wo vorher 429 stand, steht jetzt 200. Ab da lässt sich das Tempo hochdrehen und der ganze Shop in einem Rutsch durchziehen.

Worauf ihr achten müsst

Exakt per Copy Button übernehmen. Eine Signatur ist kryptografisch. Ein einziges falsches oder fehlendes Zeichen, und die Prüfung schlägt fehl. Niemals abtippen, immer kopieren.

Anführungszeichen beim Signature-Agent. Der Wert "https://shopify.com" gehört in doppelte Anführungszeichen. Ohne sie wird er nicht korrekt erkannt.

Ablauf im Blick behalten. Spätestens nach drei Monaten läuft die Signatur ab, und es gibt kein automatisches Erneuern. Am besten gleich einen Reminder kurz vor dem Ablaufdatum setzen, damit der nächste Crawl nicht plötzlich wieder gegen die Wand läuft.

Nur für den eigenen Shop. Diese Signatur autorisiert das Crawlen des eigenen Shops. Sie ist kein Generalschlüssel für fremde Stores.

Kurzfassung

Wenn der Crawl im eigenen Shopify Shop in 429er läuft, fehlt die Autorisierung. Shopify gibt dafür mit Web Bot Auth den offiziellen Weg frei: Im Admin unter Online Store, Preferences, Crawler access eine Signatur erstellen, die drei Header Signature-Input, Signature und Signature-Agent kopieren und in den Crawler eintragen. Ab dann gilt der Traffic als signiert und autorisiert, die Rate Limits steigen deutlich, und der komplette Shop lässt sich mit vollem Tempo durchcrawlen, ohne Stau und ohne Lücken.