Scraping SERP avec OpenClaw : Google, Bing et Brave

Pourquoi scraper plusieurs moteurs de recherche

Les données de positionnement d'un seul moteur de recherche ne donnent qu'une vue partielle. Google domine, mais Bing alimente le grounding web de Copilot, et l'index indépendant de Brave est de plus en plus utilisé par les utilisateurs soucieux de leur vie privée et les agents IA à la recherche d'une source non-Google.

Pour tout workflow touchant au suivi SEO, à l'intelligence concurrentielle ou à l'enrichissement d'IA, récupérer les résultats des trois moteurs apporte :

• Écarts de positionnement inter-moteurs : une page classée #3 sur Google peut ne pas apparaître dans le top 20 de Brave
• SERP features différentes : Bing affiche des réponses générées par IA et des panneaux shopping que Google n'affiche pas dans certains marchés
• Fraîcheur d'index différente : Brave indexe souvent les nouveaux contenus avant Google

Les workflows OpenClaw peuvent distribuer une requête à ces trois moteurs en parallèle, agréger les résultats et les pousser en aval en quelques secondes.

OpenClaw et le nœud HTTP Action

OpenClaw est une plateforme d'automatisation no-code conçue pour les workflows IA. Son nœud HTTP Action accepte n'importe quel appel API REST-headers, body, authentification-et mappe directement la réponse JSON aux nœuds suivants.

Les endpoints Autom retournent un JSON propre et structuré sans parsing : organic_results, pagination, search_parameters et search_information sont les clés de premier niveau dans chaque réponse.

Ce schéma prévisible est la raison pour laquelle Autom s'intègre parfaitement dans OpenClaw sans code personnalisé.

Connecter Autom à OpenClaw

Avant de construire un workflow, générez une clé API sur app.autom.dev.

Stockez la clé dans le Credential Vault d'OpenClaw (Paramètres → Identifiants → Nouveau → HTTP Header Auth). Configurez :

• Nom du header : x-api-key
• Valeur du header : votre clé API Autom

Référencez cet identifiant dans chaque nœud HTTP Action plutôt que de coder la clé en dur.

Scraper Google Search

L'endpoint Google retourne les résultats organiques, l'état de pagination et les métadonnées SERP.

POST https://api.autom.dev/v1/google/search
Content-Type: application/json
x-api-key: VOTRE_CLÉ_API

{
    "query": "best project management software",
    "page": 1,
    "gl": "fr",
    "hl": "fr",
    "num": 10,
    "device": "desktop"
}

Champs clés de la réponse :

{
    "organic_results": [
        {
            "position": 1,
            "title": "...",
            "link": "...",
            "domain": "...",
            "snippet": "..."
        }
    ],
    "search_information": {
        "total_results": 412000000,
        "time_taken_displayed": 0.31
    }
}

Configuration du nœud OpenClaw :

• Méthode : POST
• URL : https://api.autom.dev/v1/google/search
• Authentification : HTTP Header Auth (votre identifiant Autom)
• Type de body : JSON
• Mappez organic_results vers votre prochain nœud pour le filtrage ou le stockage

Paramètres Google utiles

Scraper Bing Search

L'endpoint Bing reprend la même structure que Google, ce qui rend triviale la duplication du nœud en changeant juste l'URL.

POST https://api.autom.dev/v1/bing/search
Content-Type: application/json
x-api-key: VOTRE_CLÉ_API

{
    "query": "best project management software",
    "page": 1
}

Les résultats Bing sont utiles pour :

• Grounding Copilot : l'assistant IA de Microsoft utilise l'index Bing ; se positionner sur Bing influence les citations générées par IA
• Couverture géographique : Bing maintient des parts de marché plus élevées dans certains secteurs entreprise et éducation
• Benchmarking concurrentiel : les concurrents qui optimisent uniquement pour Google se classent parfois différemment sur Bing

Scraper Brave Search

Brave exploite un crawler indépendant-il ne s'appuie ni sur Google ni sur Bing. Cette indépendance en fait un signal plus pur pour évaluer la qualité du contenu.

POST https://api.autom.dev/v1/brave/search
Content-Type: application/json
x-api-key: VOTRE_CLÉ_API

{
    "query": "best project management software",
    "page": 0
}

Note : Brave utilise une pagination base zéro (page: 0 pour la première page).

Le schéma de réponse est identique à Google et Bing, donc un seul nœud de traitement OpenClaw gère les trois sorties sans branchement.

Un workflow multi-moteurs en parallèle

Le pattern OpenClaw le plus efficace lance les trois moteurs simultanément :

[Déclencheur : saisie du mot-clé]
        │
        ├── [HTTP : Google Search] ──┐
        ├── [HTTP : Bing Search] ────┤── [Fusion] ── [Déduplication] ── [Stockage / Alerte]
        └── [HTTP : Brave Search] ──┘

Logique de fusion : Utilisez un nœud Union pour combiner les tableaux organic_results des trois réponses. Taguez chaque résultat avec sa source engine avant la fusion.

Déduplication : Filtrez par link-la même URL apparaissant dans les trois moteurs est un signal de positionnement fort à signaler séparément.

Options de sortie : Poussez le dataset fusionné vers Google Sheets, une table Postgres, un digest Slack ou un nœud IA pour la synthèse.

Cas d'usage pratiques dans OpenClaw

Suivi de positionnement quotidien

Planifiez le workflow pour qu'il se déclenche chaque matin. Passez une liste de mots-clés via un nœud Loop, appelez les trois moteurs par mot-clé, et écrivez les données de position dans une feuille de calcul avec un timestamp. Détectez les chutes de plus de 3 positions et envoyez une alerte.

Surveillance concurrentielle

Suivez les domaines concurrents sur les trois moteurs pour un ensemble de mots-clés cibles. Quand un concurrent entre dans le top 5 sur n'importe quel moteur, déclenchez une notification Slack avec le titre et l'extrait du résultat.

Enrichissement d'agents IA

Injectez les résultats SERP dans un nœud GPT-4 ou Claude dans OpenClaw. Le modèle synthétise le paysage concurrentiel, extrait les thèmes communs des extraits et rédige un brief de contenu-entièrement automatisé à partir d'un seul mot-clé.

Génération de leads

Combinez les résultats locaux Google (paramètre gl + location) avec Bing et Brave pour faire émerger des entreprises dans une niche. Extrayez les domaines, filtrez les concurrents connus et poussez les nouveaux leads dans votre CRM.

Gestion des erreurs dans OpenClaw

Les APIs SERP peuvent occasionnellement retourner des résultats vides ou atteindre des limites de taux. Gérez les deux :

• Retry sur 429 : Configurez le nœud HTTP d'OpenClaw pour réessayer jusqu'à 3 fois avec un backoff exponentiel en cas de rate limiting
• Retry sur 500 : Autom retourne un 500 uniquement sur des erreurs internes-rares mais à intercepter avec un retry automatique
• Vérifier le nombre de résultats : Ajoutez un nœud Condition après chaque appel HTTP-si organic_results.length === 0, routez vers une branche de repli qui journalise l'échec et ignore le traitement en aval
• Timeout : Configurez le timeout du nœud HTTP à 30 000ms ; le temps de réponse médian d'Autom est inférieur à 2 secondes
• Seules les requêtes réussies sont facturées : Autom ne débite des crédits que sur les réponses 200. Les requêtes échouées (4xx, 5xx) ne coûtent rien, les retries sont donc sans risque.

Ce qu'Autom gère à votre place

Construire un scraper SERP de zéro requiert des proxies rotatifs, la résolution de CAPTCHAs, une maintenance constante à chaque mise à jour HTML des moteurs de recherche, et une exposition légale. Rien de tout cela ne passe à l'échelle dans un outil no-code.

Autom abstrait toute la stack-rotation de proxies, contournement de la détection de bots, parsing HTML, livraison JSON structurée-pour qu'OpenClaw reçoive des données propres et prévisibles pendant que vous vous concentrez sur la logique.

Chaque endpoint retourne le même schéma de premier niveau (organic_results, pagination, search_parameters), ce qui signifie qu'un seul nœud de traitement OpenClaw fonctionne sans modification sur tous les moteurs et types de contenu.

Surface API complète disponible dans vos workflows

Tous les endpoints partagent la même authentification x-api-key et la même tarification à 1 crédit par appel :

Dans un workflow OpenClaw, cela signifie que vous pouvez enchaîner moteurs et types de contenu en séquence : récupérer les résultats organiques de Google Search, croiser avec Google Shopping pour les requêtes à intention produit, enrichir avec Google News pour les signaux de fraîcheur, et valider avec Brave Search-le tout en une seule exécution automatisée.

Obtenez votre clé API sur app.autom.dev et consultez la référence complète sur docs.autom.dev.