SERP-skrapning med OpenClaw: Google, Bing och Brave

Varför multi-motor SERP-skrapning är viktig

Rankningdata från en enda sökmotor ger bara en partiell bild. Google dominerar, men Bing driver webbgrundning för Copilot, och Braves oberoende index används allt mer av integritetsmedvetna användare och AI-agenter som söker en icke-Google-källa.

För alla arbetsflöden som berör SEO-övervakning, konkurrensunderrättelse eller AI-berikande ger hämtning av resultat från alla tre motorer:

• Rankningskillnader mellan motorer: en sida på plats #3 på Google kanske inte visas i Braves topp 20
• Olika SERP-funktioner: Bing visar AI-genererade svar och shoppingpaneler som Google inte visar på vissa marknader
• Olika indexfärskhet: Brave indexerar ofta nytt innehåll innan Google

OpenClaw-arbetsflöden kan skicka en enskild sökfråga till alla tre motorer parallellt, aggregera resultaten och skicka dem vidare inom sekunder.

OpenClaw och HTTP Action-noden

OpenClaw är en no-code-automatiseringsplattform byggd för AI-first-arbetsflöden. HTTP Action-noden accepterar alla REST API-anrop-headers, body, autentisering-och mappar JSON-svaret direkt till nedströms noder.

Automs SERP-endpoints returnerar ren, strukturerad JSON utan parsning: organic_results, pagination, search_parameters och search_information är toppnivånycklarna i varje svar.

Det förutsägbara schemat är anledningen till att Autom integreras smidigt i OpenClaw utan anpassad kod.

Ansluta Autom till OpenClaw

Innan du bygger ett arbetsflöde, generera en API-nyckel på app.autom.dev.

Spara nyckeln i OpenClaws Credential Vault (Inställningar → Autentiseringsuppgifter → Ny → HTTP Header Auth). Ställ in:

• Headernamn: x-api-key
• Headervärde: din Autom API-nyckel

Referera till dessa uppgifter i varje HTTP Action-nod istället för att hårdkoda nyckeln.

Skrapa Google Search

Google-endpointen returnerar organiska resultat, pagineringstillstånd och SERP-metadata.

POST https://api.autom.dev/v1/google/search
Content-Type: application/json
x-api-key: DIN_API_NYCKEL

{
    "query": "bästa projekthanteringsprogramvara",
    "page": 1,
    "gl": "se",
    "hl": "sv",
    "num": 10,
    "device": "desktop"
}

Viktiga svarsfält:

{
    "organic_results": [
        {
            "position": 1,
            "title": "...",
            "link": "...",
            "domain": "...",
            "snippet": "..."
        }
    ],
    "search_information": {
        "total_results": 412000000,
        "time_taken_displayed": 0.31
    }
}

OpenClaw-nodkonfiguration:

• Metod: POST
• URL: https://api.autom.dev/v1/google/search
• Autentisering: HTTP Header Auth (dina Autom-uppgifter)
• Bodytyp: JSON
• Mappa organic_results till din nästa nod för filtrering eller lagring

Användbara Google-parametrar

Skrapa Bing Search

Bings endpoint speglar Google-strukturen, vilket gör det trivialt att duplicera noden genom att bara ändra URL:en.

POST https://api.autom.dev/v1/bing/search
Content-Type: application/json
x-api-key: DIN_API_NYCKEL

{
    "query": "bästa projekthanteringsprogramvara",
    "page": 1
}

Bing-resultat är användbara för:

• Copilot-grundning: Microsofts AI-assistent använder Bings index; rankningar på Bing påverkar AI-genererade citeringar
• Geografisk täckning: Bing har starkare marknadsandel i vissa enterprise- och utbildningssektorer
• Konkurrensjämförelse: konkurrenter som bara optimerar för Google rankar ibland annorlunda på Bing

Skrapa Brave Search

Brave kör en oberoende crawlare-den förlitar sig varken på Google eller Bing. Det oberoendet gör det till en renare signal för bedömningar av innehållskvalitet.

POST https://api.autom.dev/v1/brave/search
Content-Type: application/json
x-api-key: DIN_API_NYCKEL

{
    "query": "bästa projekthanteringsprogramvara",
    "page": 0
}

Observera: Brave använder nollbaserad paginering (page: 0 för första sidan).

Svarsschemat är identiskt med Google och Bing, så en enda OpenClaw-behandlingsnod hanterar alla tre utdata utan förgrening.

Ett parallellt multi-motorarbetsflöde

Det mest effektiva OpenClaw-mönstret kör alla tre motorer simultant:

[Utlösare: nyckelordsinmatning]
        │
        ├── [HTTP: Google Search] ──┐
        ├── [HTTP: Bing Search] ────┤── [Sammanfoga] ── [Deduplicera] ── [Lagra / Meddela]
        └── [HTTP: Brave Search] ──┘

Sammanfogningslogik: Använd en Union-nod för att kombinera organic_results-arrayer från alla tre svar. Tagga varje resultat med sin engine-källa innan sammanfogning.

Deduplicering: Filtrera på link-samma URL som visas i alla tre motorer är en stark rankningssignal.

Utdataalternativ: Skicka det sammanfogade datasetet till Google Sheets, en Postgres-tabell, ett Slack-digest eller en AI-nod för sammanfattning.

Praktiska användningsfall i OpenClaw

Daglig rankningsspårning

Schemalägg arbetsflödet att köra varje morgon. Skicka en lista med nyckelord via en Loop-nod, anropa alla tre motorer per nyckelord och skriv positionsdata med tidsstämpel till ett kalkylblad. Detektera fall på mer än 3 positioner och skicka en avisering.

Konkurrentövervakning

Spåra konkurrentdomäner över alla tre motorer för en måluppsättning nyckelord. När en konkurrent tar sig in i topp 5 på någon motor, utlös ett Slack-meddelande med resultatets titel och snippet.

AI-agentberikande

Mata in SERP-resultat i en GPT-4- eller Claude-nod i OpenClaw. Modellen sammanfattar konkurrenslandskapet, extraherar gemensamma teman från snippets och utarbetar ett innehållsbriefing-helt automatiserat från ett enda nyckelord.

Leadgenerering

Kombinera lokala Google-resultat (gl + location-parameter) med Bing och Brave för att hitta företag i en nisch. Extrahera domäner, filtrera bort kända konkurrenter och skicka nya leads till ditt CRM.

Felhantering i OpenClaw

SERP-API:er kan ibland returnera tomma resultat eller nå hastighetsbegränsningar. Hantera båda:

• Retry vid 429: Konfigurera OpenClaws HTTP-nod att försöka igen upp till 3 gånger med exponentiell backoff när hastighetsgränsen nås
• Retry vid 500: Autom returnerar 500 bara vid interna fel-sällsynt men värt att fånga med automatisk retry
• Kontrollera antal resultat: Lägg till en Condition-nod efter varje HTTP-anrop-om organic_results.length === 0, dirigera till en fallback-gren
• Timeout: Ställ in HTTP-nodens timeout till 30 000ms; Automs medianresponstid är under 2 sekunder
• Bara lyckade förfrågningar debiteras: Autom tar bara krediter för 200-svar. Misslyckade förfrågningar (4xx, 5xx) kostar ingenting-retries är säkra.

Vad Autom hanterar åt dig

Att bygga en SERP-skrapare från grunden kräver roterande proxys, CAPTCHA-lösning, konstant underhåll när sökmotorer uppdaterar sin HTML-struktur och juridisk exponering. Inget av det skalar i en no-code-arbetsflödesbyggare.

Autom abstraherar hela stacken-proxy-rotation, undvikande av botdetektering, HTML-parsning, strukturerad JSON-leverans-så att OpenClaw tar emot rena, förutsägbara data medan du fokuserar på logiken.

Varje endpoint returnerar samma toppnivåschema (organic_results, pagination, search_parameters), vilket innebär att en enda OpenClaw-behandlingsnod fungerar oförändrad över alla motorer och innehållstyper.

Fullständig API-yta tillgänglig i dina arbetsflöden

Alla endpoints delar samma x-api-key-autentisering och 1 kredit per anrop:

I ett OpenClaw-arbetsflöde innebär det att du kan kedja motorer och innehållstyper sekventiellt: hämta organiska resultat från Google Search, korshänvisa med Google Shopping för produktintentionsfrågor, berika med Google News för färskhetsignaler och validera med Brave Search-allt i en enda automatiserad körning.

Hämta din API-nyckel på app.autom.dev och bläddra i den fullständiga referensen på docs.autom.dev.