SERP-Scraping mit OpenClaw: Google, Bing und Brave

Warum Multi-Engine-SERP-Scraping wichtig ist

Ranking-Daten von einer einzigen Suchmaschine liefern nur ein unvollständiges Bild. Google dominiert, aber Bing treibt das Web-Grounding von Copilot an, und Braves unabhängiger Index wird zunehmend von datenschutzbewussten Nutzern und KI-Agenten genutzt, die eine Nicht-Google-Quelle suchen.

Für jeden Workflow, der SEO-Monitoring, Wettbewerbsanalyse oder KI-Anreicherung berührt, bringt das Abrufen von Ergebnissen aus allen drei Suchmaschinen:

• Engine-übergreifende Ranking-Unterschiede: Eine Seite auf Platz 3 bei Google erscheint möglicherweise nicht in Braves Top 20
• Unterschiedliche SERP-Features: Bing zeigt KI-generierte Antworten und Shopping-Panels, die Google in bestimmten Märkten nicht anzeigt
• Unterschiedliche Index-Frische: Brave indexiert neue Inhalte oft vor Google

OpenClaw-Workflows können eine einzige Suchanfrage parallel an alle drei Engines weiterleiten, die Ergebnisse aggregieren und innerhalb von Sekunden weiterverarbeiten.

OpenClaw und der HTTP-Action-Node

OpenClaw ist eine No-Code-Automatisierungsplattform für KI-first-Workflows. Sein HTTP-Action-Node akzeptiert jeden REST-API-Aufruf-Header, Body, Authentifizierung-und mappt die JSON-Antwort direkt auf nachgelagerte Nodes.

Automs SERP-Endpunkte liefern sauberes, strukturiertes JSON ohne Parsing: organic_results, pagination, search_parameters und search_information sind die Top-Level-Keys in jeder Antwort.

Dieses vorhersehbare Schema ist der Grund, warum Autom ohne benutzerdefinierten Code nahtlos in OpenClaw integriert werden kann.

Autom mit OpenClaw verbinden

Bevor Sie einen Workflow erstellen, generieren Sie einen API-Key auf app.autom.dev.

Speichern Sie den Key im Credential Vault von OpenClaw (Einstellungen → Anmeldedaten → Neu → HTTP Header Auth). Konfigurieren Sie:

• Header-Name: x-api-key
• Header-Wert: Ihr Autom-API-Key

Referenzieren Sie diese Anmeldedaten in jedem HTTP-Action-Node, anstatt den Key fest zu kodieren.

Google Search scrapen

Der Google-Endpunkt liefert organische Ergebnisse, den Paginierungsstatus und SERP-Metadaten.

POST https://api.autom.dev/v1/google/search
Content-Type: application/json
x-api-key: IHR_API_KEY

{
    "query": "beste Projektmanagement-Software",
    "page": 1,
    "gl": "de",
    "hl": "de",
    "num": 10,
    "device": "desktop"
}

Wichtige Antwort-Felder:

{
    "organic_results": [
        {
            "position": 1,
            "title": "...",
            "link": "...",
            "domain": "...",
            "snippet": "..."
        }
    ],
    "search_information": {
        "total_results": 412000000,
        "time_taken_displayed": 0.31
    }
}

OpenClaw-Node-Konfiguration:

• Methode: POST
• URL: https://api.autom.dev/v1/google/search
• Authentifizierung: HTTP Header Auth (Ihre Autom-Anmeldedaten)
• Body-Typ: JSON
• Mappen Sie organic_results auf Ihren nächsten Node zum Filtern oder Speichern

Nützliche Google-Parameter

Bing Search scrapen

Bing's Endpunkt spiegelt die Google-Struktur, was das Duplizieren des Nodes durch einfaches Ändern der URL trivial macht.

POST https://api.autom.dev/v1/bing/search
Content-Type: application/json
x-api-key: IHR_API_KEY

{
    "query": "beste Projektmanagement-Software",
    "page": 1
}

Bing-Ergebnisse sind nützlich für:

• Copilot-Grounding: Microsofts KI-Assistent nutzt Bings Index; Rankings bei Bing beeinflussen KI-generierte Zitierungen
• Geografische Abdeckung: Bing hat stärkere Marktanteile in bestimmten Enterprise- und Bildungsbereichen
• Wettbewerbs-Benchmarking: Wettbewerber, die nur für Google optimieren, ranken auf Bing manchmal anders

Brave Search scrapen

Brave betreibt einen unabhängigen Crawler-er stützt sich weder auf Google noch auf Bing. Diese Unabhängigkeit macht ihn zu einem saubereren Signal für Content-Qualitätsbewertungen.

POST https://api.autom.dev/v1/brave/search
Content-Type: application/json
x-api-key: IHR_API_KEY

{
    "query": "beste Projektmanagement-Software",
    "page": 0
}

Hinweis: Brave verwendet nullbasierte Paginierung (page: 0 für die erste Seite).

Das Antwortschema ist identisch mit Google und Bing, sodass ein einzelner OpenClaw-Verarbeitungsnode alle drei Ausgaben ohne Verzweigung verarbeiten kann.

Ein paralleler Multi-Engine-Workflow

Das effizienteste OpenClaw-Muster führt alle drei Engines gleichzeitig aus:

[Trigger: Keyword-Eingabe]
        │
        ├── [HTTP: Google Search] ──┐
        ├── [HTTP: Bing Search] ────┤── [Zusammenführen] ── [Deduplizieren] ── [Speichern / Benachrichtigen]
        └── [HTTP: Brave Search] ──┘

Zusammenführungslogik: Verwenden Sie einen Union-Node, um organic_results-Arrays aus allen drei Antworten zu kombinieren. Taggen Sie jedes Ergebnis mit seiner engine-Quelle vor dem Zusammenführen.

Deduplizierung: Filtern nach link-dieselbe URL, die in allen drei Engines erscheint, ist ein starkes Ranking-Signal.

Ausgabeoptionen: Pushen Sie den zusammengeführten Datensatz zu Google Sheets, einer Postgres-Tabelle, einem Slack-Digest oder einem KI-Node zur Zusammenfassung.

Praktische Anwendungsfälle in OpenClaw

Tägliches Rank-Tracking

Planen Sie den Workflow so, dass er jeden Morgen ausgelöst wird. Übergeben Sie eine Liste von Keywords über einen Loop-Node, rufen Sie alle drei Engines pro Keyword auf und schreiben Sie Positionsdaten mit Zeitstempel in eine Tabelle. Erkennen Sie Rückgänge von mehr als 3 Positionen und senden Sie eine Benachrichtigung.

Wettbewerber-Monitoring

Verfolgen Sie Wettbewerber-Domains über alle drei Engines für einen Ziel-Keyword-Satz. Wenn ein Wettbewerber bei einer Engine in die Top 5 einsteigt, lösen Sie eine Slack-Benachrichtigung mit dem Ergebnistitel und Snippet aus.

KI-Agent-Anreicherung

Speisen Sie SERP-Ergebnisse in einen GPT-4- oder Claude-Node in OpenClaw ein. Das Modell fasst die Wettbewerbslandschaft zusammen, extrahiert gemeinsame Themen aus Snippets und erstellt ein Content-Brief-vollständig automatisiert aus einer einzigen Keyword-Eingabe.

Lead-Generierung

Kombinieren Sie lokale Google-Ergebnisse (gl + Location-Parameter) mit Bing und Brave, um Unternehmen in einer Nische zu finden. Extrahieren Sie Domains, filtern Sie bekannte Wettbewerber und pushen Sie neue Leads in Ihr CRM.

Fehlerbehandlung in OpenClaw

SERP-APIs können gelegentlich leere Ergebnisse zurückgeben oder Rate-Limits erreichen. Behandeln Sie beides:

• Retry bei 429: Konfigurieren Sie OpenClaw's HTTP-Node, um bis zu 3 Mal mit exponentiellem Backoff zu wiederholen, wenn das Rate-Limit erreicht ist
• Retry bei 500: Autom gibt nur bei internen Fehlern einen 500 zurück-selten, aber es lohnt sich, mit einem automatischen Retry abzufangen
• Ergebnisanzahl prüfen: Fügen Sie nach jedem HTTP-Aufruf einen Condition-Node hinzu-wenn organic_results.length === 0, leiten Sie zu einem Fallback-Zweig weiter
• Timeout: Setzen Sie den HTTP-Node-Timeout auf 30.000ms; Automs mediane Antwortzeit liegt unter 2 Sekunden
• Nur erfolgreiche Anfragen werden abgerechnet: Autom berechnet Credits nur für 200-Antworten. Fehlgeschlagene Anfragen (4xx, 5xx) kosten nichts-Retries sind sicher.

Was Autom für Sie übernimmt

SERP-Scraping von Grund auf aufzubauen erfordert rotierende Proxys, CAPTCHA-Lösung, ständige Wartung bei HTML-Updates der Suchmaschinen und rechtliche Risiken. Das lässt sich in einem No-Code-Workflow-Builder nicht skalieren.

Autom abstrahiert den gesamten Stack-Proxy-Rotation, Bot-Detection-Umgehung, HTML-Parsing, strukturierte JSON-Lieferung-sodass OpenClaw saubere, vorhersehbare Daten erhält und Sie sich auf die Logik konzentrieren.

Jeder Endpunkt gibt dasselbe Top-Level-Schema zurück (organic_results, pagination, search_parameters), was bedeutet, dass ein einzelner OpenClaw-Verarbeitungsnode unverändert über alle Engines und Inhaltstypen hinweg funktioniert.

Vollständige API-Oberfläche in Ihren Workflows

Alle Endpunkte teilen dieselbe x-api-key-Authentifizierung und 1 Credit pro Aufruf:

In einem OpenClaw-Workflow bedeutet das, dass Sie Engines und Inhaltstypen sequenziell verketten können: organische Ergebnisse aus Google Search abrufen, mit Google Shopping für produktbezogene Suchanfragen abgleichen, mit Google News für Frischheitssignale anreichern und mit Brave Search validieren-alles in einem einzigen automatisierten Durchlauf.

Holen Sie sich Ihren API-Key auf app.autom.dev und lesen Sie die vollständige Referenz auf docs.autom.dev.