Scraping SERP pour agents Paperclip : données de recherche en temps réel

Paperclip est une couche d'orchestration open-source pour les entreprises autonomes pilotées par l'IA. Vous définissez un objectif d'entreprise, recrutez des agents sous un organigramme, et Paperclip gère la planification, la délégation, le suivi des coûts et la gouvernance. Ce que Paperclip n'inclut pas par défaut, c'est des données en direct depuis le web ouvert - et c'est là qu'intervient l'API Autom.

Cet article montre comment connecter les endpoints SERP d'Autom aux agents Paperclip, avec des exemples concrets pour les workflows que vos agents exécutent le plus souvent.

Voir aussi : Scraping SERP avec OpenClaw pour une alternative no-code avec des nœuds HTTP Action.

Pourquoi les agents ont besoin de données de recherche en direct

Un agent travaillant vers un objectif comme "atteindre le top 5 pour les mots-clés cibles" ou "surveiller le contenu des concurrents quotidiennement" ne peut pas opérer sur des données périmées. Les cutoffs de connaissances statiques et les datasets mis en cache produisent des plans qui ne reflètent pas la réalité.

Les données SERP en direct donnent aux agents :

• Les positions actuelles sur Google, Bing et Brave - pas des instantanés d'il y a des mois
• Les mouvements des concurrents détectés en temps réel, pas dans un rapport hebdomadaire
• Des signaux de marché issus des résultats d'actualités, shopping et vidéos qui informent la stratégie de contenu
• La conscience de la fraîcheur - ce qui est tendance dans l'index aujourd'hui, pas le mois dernier

Pour une entreprise Paperclip dont l'objectif est la croissance ou l'intelligence de marché, les données SERP sont un input de première classe, pas un enrichissement optionnel.

Comment les agents Paperclip font des appels HTTP

Les agents Paperclip interagissent avec des services externes via des tool calls. Tout agent capable d'effectuer des requêtes HTTP - OpenClaw, Claude, Codex, un agent Bash personnalisé - peut appeler l'API Autom directement.

Le pattern recommandé est d'enseigner la surface API à vos agents via un fichier SKILLS.md. Paperclip injecte les fichiers de compétences à l'exécution pour que les agents sachent quels outils sont disponibles sans réentraînement.

SKILLS.md : enseigner aux agents l'utilisation d'Autom

Créez un SKILLS.md dans votre projet Paperclip avec la section suivante :

## Autom SERP API

Récupérez des résultats de moteurs de recherche en direct via l'API Autom. Utilisez-la pour
vérifier les positions, surveiller les concurrents ou collecter des signaux de contenu.

Authentification : définissez le header `x-api-key` avec la valeur de la var d'env `AUTOM_API_KEY`.

### Google Search
POST https://api.autom.dev/v1/google/search
{
  "query": "<votre requête>",
  "page": 1,
  "gl": "fr",
  "hl": "fr"
}
Retourne : organic_results[], pagination, search_parameters

### Google News
POST https://api.autom.dev/v1/google/news
{ "query": "<sujet>", "gl": "fr", "hl": "fr" }
Retourne : organic_results[] avec date, source, extrait

### Bing Search
POST https://api.autom.dev/v1/bing/search
{ "query": "<votre requête>", "page": 1 }
Retourne : organic_results[], search_parameters

### Brave Search
POST https://api.autom.dev/v1/brave/search
{ "query": "<votre requête>", "page": 0 }
Retourne : organic_results[], search_parameters

Tous les endpoints utilisent le même schéma de premier niveau. Bing et Google partagent
des noms de champs identiques. Brave utilise une pagination base zéro (page: 0 pour la première page).
Coût : 1 crédit par appel. Seules les réponses 200 réussies sont facturées.

Avec ce fichier en place, tout agent qui lit SKILLS.md - ce que Paperclip gère automatiquement - sait comment interroger les trois moteurs sans configuration supplémentaire.

Configurer la clé API

Générez une clé API Autom sur app.autom.dev et stockez-la comme variable d'environnement dans votre déploiement Paperclip :

AUTOM_API_KEY=votre_clé_ici

Référencez-la comme {{AUTOM_API_KEY}} dans votre SKILLS.md et les configurations d'agents. Ne codez jamais la clé en dur dans un prompt ou un fichier de config.

Suivi de positionnement par heartbeat

Le système de heartbeat de Paperclip planifie les agents pour qu'ils se réveillent à intervalle fixe, vérifient leur travail et agissent. Cela correspond parfaitement à la surveillance SERP récurrente.

Exemple : agent Analyste SEO tournant toutes les 8 heures

agent: SEO Analyst
runtime: claude
heartbeat: every 8h
goal: Suivre les positions de mots-clés et détecter les variations > 2 positions
skills:
  - SKILLS.md

À chaque heartbeat, l'agent :

1. Lit sa liste de mots-clés depuis le ticket ou le contexte du projet
2. Appelle POST /v1/google/search pour chaque mot-clé avec gl et hl correspondant au marché cible
3. Compare les positions avec le dernier résultat stocké
4. Crée un ticket pour le responsable SEO si une baisse significative est détectée
5. Journalise les résultats dans la piste d'audit du projet

Le coût par run est de 1 crédit par mot-clé par moteur. Pour une liste de 20 mots-clés interrogeant Google et Bing, c'est 40 crédits toutes les 8 heures - prévisible et contrôlable avec le système de budget par agent de Paperclip.

Analyse SERP alignée sur les objectifs

Paperclip propage les objectifs d'entreprise vers le bas de l'organigramme. Chaque tâche exécutée par un agent porte le contexte qui remonte jusqu'à la mission de l'entreprise. Une tâche comme :

Objectif entreprise : Atteindre 1M€ ARR avec l'application de prise de notes IA n°1
Objectif projet : Surpasser les concurrents pour les requêtes "prise de notes IA"
Objectif agent :  Récupérer les données de positionnement hebdomadaires pour 15 mots-clés

…garantit que l'agent sait pourquoi il récupère les données SERP, pas seulement quoi récupérer. C'est important quand l'agent doit décider quels signaux signaler, quels concurrents surveiller, et comment prioriser ses propres tool calls.

La réponse Autom donne aux agents la matière première pour raisonner sur ce contexte :

{
    "organic_results": [
        {
            "position": 1,
            "title": "Notion AI - Notes et docs intelligents",
            "link": "https://notion.so",
            "domain": "notion.so",
            "snippet": "..."
        },
        {
            "position": 4,
            "title": "Votre application",
            "link": "https://votreapp.com",
            "domain": "votreapp.com",
            "snippet": "..."
        }
    ],
    "search_parameters": {
        "q": "application prise de notes IA",
        "gl": "fr",
        "hl": "fr",
        "page": 1,
        "engine": "google"
    }
}

L'agent voit la position 4, la compare à l'objectif (top 1), et sait qu'il faut escalader - sans qu'on lui demande de vérifier.

Cas d'usage par organigramme

L'organigramme de Paperclip permet d'assigner différentes tâches SERP à différents rôles. Voici les patterns courants :

Équipe contenu

CMO
 └── Analyste SEO (heartbeat : 8h)   → suivi via Google Search
 └── Rédacteur (heartbeat : 4h)      → recherche de sujets via Google News + Autocomplete
 └── Social Manager (heartbeat : 12h)→ signaux de tendances via Google News

L'agent Rédacteur utilise Google News pour trouver ce qui est publié dans la niche avant de rédiger :

POST https://api.autom.dev/v1/google/news
Content-Type: application/json
x-api-key: {{AUTOM_API_KEY}}

{
    "query": "outils de productivité IA 2026",
    "gl": "fr",
    "hl": "fr"
}

La réponse indique ce que les éditeurs couvrent, quels angles obtiennent de l'engagement, et quelles sources dominent. L'agent l'utilise pour briefer le plan d'article avant de rédiger - aucune recherche manuelle requise.

Équipe intelligence de marché

CEO
 └── Analyste Recherche (heartbeat : 24h)
       → présence concurrentielle via Google + Bing + Brave (en parallèle)
       → données shopping via Google Shopping pour les requêtes à intention produit
       → offres d'emploi via Google Jobs pour inférer les signaux de recrutement des concurrents

Lancer les trois moteurs en parallèle sur la même requête donne à l'Analyste une vue cross-index. Quand un concurrent apparaît dans le top 5 sur les trois moteurs pour un mot-clé cible, c'est un signal plus fort qu'un hit sur un seul moteur.

Équipe génération de leads

Directeur Commercial
 └── Prospecteur (heartbeat : 24h)
       → Google Search avec paramètre location pour trouver des entreprises par niche + ville
       → Google Maps pour les données d'entreprises locales (expérimental)

POST https://api.autom.dev/v1/google/search
Content-Type: application/json
x-api-key: {{AUTOM_API_KEY}}

{
    "query": "torréfacteur café artisanal",
    "gl": "fr",
    "location": "Lyon, France"
}

Le Prospecteur extrait les domaines depuis organic_results, déduplique par rapport à la liste CRM existante, et crée des tickets de prospection pour les nouveaux leads.

Contrôle des coûts par agent

Chaque appel Autom coûte 1 crédit. Le système de budget de Paperclip applique un plafond dur par agent et par mois. Quand un agent atteint son budget, il s'arrête - pas de boucles incontrôlées, pas de factures surprises.

Un budget pratique pour une équipe SERP de 5 agents :

Paperclip expose les coûts par agent, par tâche et par projet - pour voir quels agents sont coûteux et quelles requêtes brûlent le plus de tokens avant que le budget soit épuisé.

Requêtes SERP déclenchées par ticket

Au-delà des heartbeats, les agents répondent aux tickets. N'importe quel membre de l'équipe - humain ou agent - peut ouvrir un ticket qui déclenche une requête SERP à la demande :

Ticket #1043
"Vérifier notre position pour 'gestionnaire de tâches open source' sur Bing et Google"
Assigné à : Analyste SEO

L'Analyste SEO se réveille, appelle les deux endpoints, et publie les résultats dans le fil du ticket avec le traçage complet des tool calls. Le journal d'audit montre exactement quels appels API ont été effectués, ce qu'ils ont retourné, et comment l'agent a utilisé les données.

Gestion des erreurs

Gérez les erreurs de l'API Autom dans les instructions de votre agent ou dans SKILLS.md :

• 429 – rate limit : attendre et réessayer avec backoff exponentiel (départ à 2s, cap à 30s)
• 500 – erreur interne : réessayer jusqu'à 3 fois avant d'escalader vers un agent manager via ticket
• Résultats vides : si organic_results.length === 0, journaliser l'échec et ignorer le traitement en aval - ne pas créer de bruit dans le système de tickets
• Seules les réponses 200 sont facturées : les requêtes échouées ne coûtent rien, les retries sont donc toujours sûrs

Ce qu'Autom gère à votre place

Le scraping SERP from scratch nécessite des proxies rotatifs, la résolution de CAPTCHAs, du parsing HTML, et une maintenance constante à chaque mise à jour du markup des moteurs. Rien de tout cela n'est un bon usage du compute des agents.

Autom abstrait toute la stack - rotation de proxies, contournement de la détection de bots, parsing HTML, livraison JSON structurée - et retourne des données propres et cohérentes sur lesquelles vos agents peuvent raisonner directement.

Chaque endpoint partage le même schéma de premier niveau (organic_results, pagination, search_parameters), ce qui signifie qu'une seule étape de parsing dans votre SKILLS.md couvre tous les moteurs et types de contenu.

Surface API complète pour vos agents

Tous les endpoints utilisent le même header x-api-key et coûtent 1 crédit par appel :

Une entreprise Paperclip peut enchaîner ces endpoints sur tout son organigramme : l'Analyste SEO suit les positions Google, l'Analyste Recherche croise avec Bing et Brave, le Rédacteur puise des idées dans Google News, et le Prospecteur trouve des leads via Google Maps - le tout en autonomie, dans les limites budgétaires.

Obtenez votre clé API sur app.autom.dev et consultez la référence complète sur docs.autom.dev. Étoilez Paperclip sur GitHub pour suivre le projet.