SERP Scraping met OpenClaw: Google, Bing en Brave

Waarom multi-engine SERP scraping belangrijk is

Rankingdata van één zoekmachine geeft slechts een gedeeltelijk beeld. Google domineert, maar Bing drijft de web grounding van Copilot aan, en Brave's onafhankelijke index wordt steeds vaker gebruikt door privacybewuste gebruikers en AI-agents die op zoek zijn naar een niet-Google bron.

Voor elke workflow die SEO-monitoring, concurrentie-intelligentie of AI-verrijking betreft, levert het ophalen van resultaten uit alle drie de engines:

• Engine-overkoepelende rankingverschillen: een pagina op positie #3 bij Google verschijnt mogelijk niet in Brave's top 20
• Verschillende SERP-features: Bing toont AI-gegenereerde antwoorden en shoppingpanelen die Google in bepaalde markten niet toont
• Verschillende indexfrisheid: Brave indexeert nieuwe content vaak voor Google

OpenClaw-workflows kunnen een enkele zoekopdracht parallel naar alle drie engines sturen, de resultaten samenvoegen en binnen seconden doorsturen.

OpenClaw en het HTTP Action-knooppunt

OpenClaw is een no-code automatiseringsplatform gebouwd voor AI-first workflows. Het HTTP Action-knooppunt accepteert elke REST API-aanroep-headers, body, authenticatie-en mapt de JSON-respons direct naar downstream knooppunten.

Autom's SERP-endpoints retourneren schone, gestructureerde JSON zonder parsing: organic_results, pagination, search_parameters en search_information zijn de top-level sleutels in elke respons.

Dit voorspelbare schema is de reden waarom Autom naadloos integreert in OpenClaw zonder aangepaste code.

Autom verbinden met OpenClaw

Genereer voor u een workflow bouwt een API-sleutel op app.autom.dev.

Sla de sleutel op in de Credential Vault van OpenClaw (Instellingen → Inloggegevens → Nieuw → HTTP Header Auth). Stel in:

• Headernaam: x-api-key
• Headerwaarde: uw Autom API-sleutel

Verwijs naar deze inloggegevens in elk HTTP Action-knooppunt in plaats van de sleutel hardcoded in te stellen.

Google Search scrapen

Het Google-endpoint retourneert organische resultaten, paginatiestatus en SERP-metadata.

POST https://api.autom.dev/v1/google/search
Content-Type: application/json
x-api-key: UW_API_SLEUTEL

{
    "query": "beste projectmanagementsoftware",
    "page": 1,
    "gl": "nl",
    "hl": "nl",
    "num": 10,
    "device": "desktop"
}

Belangrijke responsvelden:

{
    "organic_results": [
        {
            "position": 1,
            "title": "...",
            "link": "...",
            "domain": "...",
            "snippet": "..."
        }
    ],
    "search_information": {
        "total_results": 412000000,
        "time_taken_displayed": 0.31
    }
}

Configuratie OpenClaw-knooppunt:

• Methode: POST
• URL: https://api.autom.dev/v1/google/search
• Authenticatie: HTTP Header Auth (uw Autom-inloggegevens)
• Bodytype: JSON
• Map organic_results naar uw volgende knooppunt voor filtering of opslag

Nuttige Google-parameters

Bing Search scrapen

Bing's endpoint spiegelt de Google-structuur, waardoor het dupliceren van het knooppunt door de URL te wijzigen triviaal is.

POST https://api.autom.dev/v1/bing/search
Content-Type: application/json
x-api-key: UW_API_SLEUTEL

{
    "query": "beste projectmanagementsoftware",
    "page": 1
}

Bing-resultaten zijn nuttig voor:

• Copilot-grounding: Microsoft's AI-assistent gebruikt Bing's index; rankings op Bing beïnvloeden AI-gegenereerde citaties
• Geografische dekking: Bing heeft een sterkere marktpositie in bepaalde enterprise- en onderwijssectoren
• Concurrentiebenchmarking: concurrenten die alleen voor Google optimaliseren, ranken soms anders op Bing

Brave Search scrapen

Brave runt een onafhankelijke crawler-het steunt noch op Google noch op Bing. Die onafhankelijkheid maakt het een zuiverder signaal voor content-kwaliteitsbeoordelingen.

POST https://api.autom.dev/v1/brave/search
Content-Type: application/json
x-api-key: UW_API_SLEUTEL

{
    "query": "beste projectmanagementsoftware",
    "page": 0
}

Let op: Brave gebruikt nul-gebaseerde paginering (page: 0 voor de eerste pagina).

Het responsschema is identiek aan Google en Bing, zodat één OpenClaw-verwerkingsknooppunt alle drie uitvoeren verwerkt zonder vertakking.

Een parallel multi-engine workflow

Het meest efficiënte OpenClaw-patroon voert alle drie engines gelijktijdig uit:

[Trigger: keyword-invoer]
        │
        ├── [HTTP: Google Search] ──┐
        ├── [HTTP: Bing Search] ────┤── [Samenvoegen] ── [Dedupliceren] ── [Opslaan / Notificeren]
        └── [HTTP: Brave Search] ──┘

Samenvoeglogica: Gebruik een Union-knooppunt om organic_results-arrays uit alle drie responsen te combineren. Tag elk resultaat met zijn engine-bron voor het samenvoegen.

Deduplicatie: Filter op link-dezelfde URL die in alle drie engines verschijnt is een sterk rankingsignaal.

Uitvoeropties: Stuur de samengevoegde dataset naar Google Sheets, een Postgres-tabel, een Slack-digest of een AI-knooppunt voor samenvatting.

Praktische gebruiksscenario's in OpenClaw

Dagelijkse rankingtracking

Plan de workflow om elke ochtend te starten. Geef een lijst met keywords door via een Loop-knooppunt, roep alle drie engines per keyword aan en schrijf positiedata met tijdstempel naar een spreadsheet. Detecteer dalingen van meer dan 3 posities en stuur een alert.

Concurrentmonitoring

Volg concurrentdomeinen over alle drie engines voor een doelset van keywords. Wanneer een concurrent in de top 5 binnenkomt bij een engine, activeer een Slack-notificatie met de resultaattitel en het snippet.

AI-agent verrijking

Voer SERP-resultaten in een GPT-4- of Claude-knooppunt in OpenClaw. Het model vat het concurrentielandschap samen, extraheert gemeenschappelijke thema's uit snippets en stelt een content brief op-volledig geautomatiseerd vanuit één keyword.

Leadgeneratie

Combineer lokale Google-resultaten (gl + locatieparameter) met Bing en Brave om bedrijven in een niche te vinden. Extraheer domeinen, filter bekende concurrenten en stuur nieuwe leads naar uw CRM.

Foutafhandeling in OpenClaw

SERP-API's kunnen incidenteel lege resultaten retourneren of snelheidsbeperkingen bereiken. Verwerk beide:

• Retry bij 429: Configureer het HTTP-knooppunt van OpenClaw om tot 3 keer opnieuw te proberen met exponentiële terugval wanneer de snelheidslimiet wordt bereikt
• Retry bij 500: Autom retourneert alleen een 500 bij interne fouten-zeldzaam maar de moeite waard om op te vangen met automatische retry
• Resultaataantal controleren: Voeg een Condition-knooppunt toe na elke HTTP-aanroep-als organic_results.length === 0, routeer naar een fallback-tak
• Timeout: Stel de timeout van het HTTP-knooppunt in op 30.000ms; Autom's mediane responstijd is onder 2 seconden
• Alleen succesvolle verzoeken worden gefactureerd: Autom brengt alleen credits in rekening voor 200-responsen. Mislukte verzoeken (4xx, 5xx) kosten niets-retries zijn veilig.

Wat Autom voor u afhandelt

SERP-scraping van scratch bouwen vereist roterende proxy's, CAPTCHA-oplossing, constante onderhoud bij HTML-updates van zoekmachines en juridische blootstelling. Niets daarvan schaalt in een no-code workflow builder.

Autom abstraheert de volledige stack-proxy-rotatie, bot-detectie-ontwijking, HTML-parsing, gestructureerde JSON-levering-zodat OpenClaw schone, voorspelbare data ontvangt terwijl u zich concentreert op de logica.

Elk endpoint retourneert hetzelfde top-level schema (organic_results, pagination, search_parameters), wat betekent dat één OpenClaw-verwerkingsknooppunt ongewijzigd werkt over alle engines en contenttypes.

Volledig API-oppervlak beschikbaar in uw workflows

Alle endpoints delen dezelfde x-api-key-authenticatie en 1 credit per aanroep:

In een OpenClaw-workflow betekent dit dat u engines en contenttypes sequentieel kunt koppelen: organische resultaten ophalen uit Google Search, kruisverwijzen met Google Shopping voor productintentiequeries, verrijken met Google News voor versheidsignalen en valideren met Brave Search-alles in één geautomatiseerde run.

Haal uw API-sleutel op bij app.autom.dev en bekijk de volledige referentie op docs.autom.dev.