SERP Scraping con OpenClaw: Google, Bing e Brave

Perché il SERP scraping multi-motore è importante

I dati di posizionamento da un singolo motore di ricerca offrono una visione parziale. Google domina, ma Bing alimenta il web grounding di Copilot, e l'indice indipendente di Brave è sempre più usato da utenti attenti alla privacy e agenti IA che cercano una fonte non-Google.

Per qualsiasi workflow che tocchi monitoraggio SEO, intelligence competitiva o arricchimento IA, ottenere risultati da tutti e tre i motori fornisce:

• Differenze di posizionamento tra motori: una pagina in posizione #3 su Google potrebbe non apparire nella top 20 di Brave
• SERP feature diverse: Bing mostra risposte generate dall'IA e pannelli shopping che Google non mostra in certi mercati
• Diversa freschezza dell'indice: Brave spesso indicizza nuovi contenuti prima di Google

I workflow OpenClaw possono distribuire una singola query a tutti e tre i motori in parallelo, aggregare i risultati e inviarli a valle in pochi secondi.

OpenClaw e il nodo HTTP Action

OpenClaw è una piattaforma di automazione no-code costruita per workflow AI-first. Il suo nodo HTTP Action accetta qualsiasi chiamata API REST-header, body, autenticazione-e mappa direttamente la risposta JSON ai nodi successivi.

Gli endpoint Autom restituiscono JSON pulito e strutturato senza parsing: organic_results, pagination, search_parameters e search_information sono le chiavi di primo livello in ogni risposta.

Questo schema prevedibile è il motivo per cui Autom si integra perfettamente in OpenClaw senza codice personalizzato.

Connettere Autom a OpenClaw

Prima di costruire qualsiasi workflow, genera una chiave API su app.autom.dev.

Salva la chiave nel Credential Vault di OpenClaw (Impostazioni → Credenziali → Nuovo → HTTP Header Auth). Configura:

• Nome header: x-api-key
• Valore header: la tua chiave API Autom

Fai riferimento a questa credenziale in ogni nodo HTTP Action invece di codificare la chiave direttamente.

Scraping di Google Search

L'endpoint Google restituisce risultati organici, stato di paginazione e metadati SERP.

POST https://api.autom.dev/v1/google/search
Content-Type: application/json
x-api-key: LA_TUA_CHIAVE_API

{
    "query": "miglior software gestione progetti",
    "page": 1,
    "gl": "it",
    "hl": "it",
    "num": 10,
    "device": "desktop"
}

Campi chiave della risposta:

{
    "organic_results": [
        {
            "position": 1,
            "title": "...",
            "link": "...",
            "domain": "...",
            "snippet": "..."
        }
    ],
    "search_information": {
        "total_results": 412000000,
        "time_taken_displayed": 0.31
    }
}

Configurazione nodo OpenClaw:

• Metodo: POST
• URL: https://api.autom.dev/v1/google/search
• Autenticazione: HTTP Header Auth (le tue credenziali Autom)
• Tipo body: JSON
• Mappa organic_results al nodo successivo per filtraggio o archiviazione

Parametri Google utili

Scraping di Bing Search

L'endpoint Bing replica la struttura di Google, rendendo triviale duplicare il nodo cambiando solo l'URL.

POST https://api.autom.dev/v1/bing/search
Content-Type: application/json
x-api-key: LA_TUA_CHIAVE_API

{
    "query": "miglior software gestione progetti",
    "page": 1
}

I risultati Bing sono utili per:

• Grounding di Copilot: l'assistente IA di Microsoft usa l'indice Bing; posizionarsi su Bing influenza le citazioni generate dall'IA
• Copertura geografica: Bing mantiene quote di mercato più elevate in certi settori enterprise e educazione
• Benchmarking competitivo: i concorrenti che ottimizzano solo per Google a volte rankano diversamente su Bing

Scraping di Brave Search

Brave opera un crawler indipendente-non si affida né a Google né a Bing. Questa indipendenza lo rende un segnale più pulito per valutare la qualità dei contenuti.

POST https://api.autom.dev/v1/brave/search
Content-Type: application/json
x-api-key: LA_TUA_CHIAVE_API

{
    "query": "miglior software gestione progetti",
    "page": 0
}

Nota: Brave usa paginazione a base zero (page: 0 per la prima pagina).

Lo schema di risposta è identico a Google e Bing, quindi un singolo nodo di elaborazione OpenClaw gestisce tutte e tre le uscite senza ramificazioni.

Un workflow multi-motore in parallelo

Il pattern OpenClaw più efficiente esegue tutti e tre i motori simultaneamente:

[Trigger: input keyword]
        │
        ├── [HTTP: Google Search] ──┐
        ├── [HTTP: Bing Search] ────┤── [Unione] ── [Deduplicazione] ── [Salva / Notifica]
        └── [HTTP: Brave Search] ──┘

Logica di unione: Usa un nodo Union per combinare gli array organic_results dalle tre risposte. Tagga ogni risultato con la sua sorgente engine prima di unire.

Deduplicazione: Filtra per link-lo stesso URL che appare in tutti e tre i motori è un forte segnale di posizionamento.

Opzioni di output: Invia il dataset unito a Google Sheets, una tabella Postgres, un digest Slack o un nodo IA per la sintesi.

Casi d'uso pratici in OpenClaw

Tracking giornaliero del posizionamento

Pianifica il workflow per attivarsi ogni mattina. Passa un elenco di keyword tramite un nodo Loop, chiama tutti e tre i motori per keyword e scrivi i dati di posizione in un foglio di calcolo con timestamp. Rileva cali superiori a 3 posizioni e invia un alert.

Monitoraggio dei competitor

Traccia i domini dei competitor su tutti e tre i motori per un set di keyword obiettivo. Quando un competitor entra nella top 5 su qualsiasi motore, attiva una notifica Slack con il titolo e lo snippet del risultato.

Arricchimento di agenti IA

Alimenta i risultati SERP in un nodo GPT-4 o Claude in OpenClaw. Il modello sintetizza il panorama competitivo, estrae temi comuni dagli snippet e redige un content brief-completamente automatizzato da un singolo input keyword.

Generazione di lead

Combina i risultati locali di Google (parametro gl + location) con Bing e Brave per trovare aziende in una nicchia. Estrai i domini, filtra i concorrenti noti e invia i nuovi lead al tuo CRM.

Gestione degli errori in OpenClaw

Le API SERP possono occasionalmente restituire risultati vuoti o raggiungere limiti di frequenza. Gestisci entrambi:

• Retry su 429: Configura il nodo HTTP di OpenClaw per riprovare fino a 3 volte con backoff esponenziale quando viene raggiunto il rate limit
• Retry su 500: Autom restituisce un 500 solo in caso di errori interni-rari ma vale la pena catturarli con un retry automatico
• Verificare il numero di risultati: Aggiungi un nodo Condition dopo ogni chiamata HTTP-se organic_results.length === 0, instradi verso un ramo di fallback
• Timeout: Imposta il timeout del nodo HTTP a 30.000ms; la latenza media di Autom è inferiore a 2 secondi
• Solo le richieste riuscite vengono fatturate: Autom addebita crediti solo sulle risposte 200. Le richieste fallite (4xx, 5xx) non costano nulla-i retry sono sicuri.

Cosa gestisce Autom al posto tuo

Costruire un SERP scraper da zero richiede proxy rotativi, risoluzione di CAPTCHA, manutenzione costante a ogni aggiornamento HTML dei motori di ricerca ed esposizione legale. Nulla di tutto questo scala in un builder no-code.

Autom astrae l'intero stack-rotazione proxy, evasione del rilevamento bot, parsing HTML, consegna JSON strutturato-in modo che OpenClaw riceva dati puliti e prevedibili mentre tu ti concentri sulla logica.

Ogni endpoint restituisce lo stesso schema di primo livello (organic_results, pagination, search_parameters), il che significa che un singolo nodo di elaborazione OpenClaw funziona invariato su tutti i motori e tipi di contenuto.

Superficie API completa disponibile nei tuoi workflow

Tutti gli endpoint condividono la stessa autenticazione x-api-key e un prezzo di 1 credito per chiamata:

In un workflow OpenClaw questo significa che puoi concatenare motori e tipi di contenuto in sequenza: ottenere risultati organici da Google Search, incrociare con Google Shopping per query con intento d'acquisto, arricchire con Google News per segnali di freschezza e validare con Brave Search-tutto in un'unica esecuzione automatizzata.

Ottieni la tua chiave API su app.autom.dev e consulta il riferimento completo su docs.autom.dev.