Scraping de SERPs con OpenClaw: Google, Bing y Brave

Por qué importa el scraping multi-motor

Los datos de posicionamiento de un único motor de búsqueda ofrecen una visión parcial. Google domina, pero Bing potencia el grounding web de Copilot, y el índice independiente de Brave lo usan cada vez más usuarios preocupados por la privacidad y agentes IA que buscan una fuente no-Google.

Para cualquier workflow que toque monitoreo SEO, inteligencia competitiva o enriquecimiento de IA, obtener resultados de los tres motores proporciona:

• Diferencias de posicionamiento entre motores: una página en el #3 de Google puede no aparecer en el top 20 de Brave
• Diferentes SERP features: Bing muestra respuestas generadas por IA y paneles de compras que Google omite en ciertos mercados
• Diferente frescura del índice: Brave suele indexar contenido nuevo antes que Google

Los workflows de OpenClaw pueden distribuir una sola consulta a los tres motores en paralelo, agregar los resultados y enviarlos al siguiente paso en segundos.

OpenClaw y el nodo HTTP Action

OpenClaw es una plataforma de automatización no-code diseñada para workflows orientados a IA. Su nodo HTTP Action acepta cualquier llamada a una API REST-headers, body, autenticación-y mapea directamente la respuesta JSON a los nodos posteriores.

Los endpoints de Autom devuelven JSON limpio y estructurado sin necesidad de parsing: organic_results, pagination, search_parameters y search_information son las claves de primer nivel en cada respuesta.

Ese esquema predecible es la razón por la que Autom se integra limpiamente en OpenClaw sin código personalizado.

Conectar Autom a OpenClaw

Antes de crear cualquier workflow, genera una clave API en app.autom.dev.

Guarda la clave en el Credential Vault de OpenClaw (Ajustes → Credenciales → Nuevo → HTTP Header Auth). Configura:

• Nombre del header: x-api-key
• Valor del header: tu clave API de Autom

Referencia esta credencial en cada nodo HTTP Action en lugar de escribir la clave directamente.

Scraping de Google Search

El endpoint de Google devuelve resultados orgánicos, estado de paginación y metadatos de la SERP.

POST https://api.autom.dev/v1/google/search
Content-Type: application/json
x-api-key: TU_CLAVE_API

{
    "query": "mejor software de gestión de proyectos",
    "page": 1,
    "gl": "es",
    "hl": "es",
    "num": 10,
    "device": "desktop"
}

Campos clave de la respuesta:

{
    "organic_results": [
        {
            "position": 1,
            "title": "...",
            "link": "...",
            "domain": "...",
            "snippet": "..."
        }
    ],
    "search_information": {
        "total_results": 412000000,
        "time_taken_displayed": 0.31
    }
}

Configuración del nodo OpenClaw:

• Método: POST
• URL: https://api.autom.dev/v1/google/search
• Autenticación: HTTP Header Auth (tu credencial de Autom)
• Tipo de body: JSON
• Mapea organic_results a tu siguiente nodo para filtrar o almacenar

Parámetros de Google más útiles

Scraping de Bing Search

El endpoint de Bing replica la estructura de Google, lo que hace trivial duplicar el nodo cambiando solo la URL.

POST https://api.autom.dev/v1/bing/search
Content-Type: application/json
x-api-key: TU_CLAVE_API

{
    "query": "mejor software de gestión de proyectos",
    "page": 1
}

Los resultados de Bing son útiles para:

• Grounding de Copilot: el asistente IA de Microsoft usa el índice de Bing; posicionarse en Bing afecta las citas generadas por IA
• Cobertura geográfica: Bing mantiene mayor cuota de mercado en ciertos sectores enterprise y educación
• Benchmarking competitivo: los competidores que optimizan solo para Google a veces rankean diferente en Bing

Scraping de Brave Search

Brave opera un crawler independiente-no depende de Google ni de Bing. Esa independencia lo convierte en una señal más limpia para evaluar la calidad del contenido.

POST https://api.autom.dev/v1/brave/search
Content-Type: application/json
x-api-key: TU_CLAVE_API

{
    "query": "mejor software de gestión de proyectos",
    "page": 0
}

Nota: Brave usa paginación base cero (page: 0 para la primera página).

El esquema de respuesta es idéntico al de Google y Bing, por lo que un único nodo de procesamiento en OpenClaw maneja las tres salidas sin ramificación.

Un workflow multi-motor en paralelo

El patrón más eficiente en OpenClaw lanza los tres motores simultáneamente:

[Trigger: entrada de keyword]
        │
        ├── [HTTP: Google Search] ──┐
        ├── [HTTP: Bing Search] ────┤── [Fusión] ── [Deduplicación] ── [Almacenar / Notificar]
        └── [HTTP: Brave Search] ──┘

Lógica de fusión: Usa un nodo Union para combinar los arrays organic_results de las tres respuestas. Etiqueta cada resultado con su fuente engine antes de fusionar.

Deduplicación: Filtra por link-la misma URL apareciendo en los tres motores es una señal de posicionamiento fuerte.

Opciones de salida: Envía el dataset fusionado a Google Sheets, una tabla Postgres, un digest de Slack o un nodo IA para síntesis.

Casos de uso prácticos en OpenClaw

Seguimiento diario de posiciones

Programa el workflow para ejecutarse cada mañana. Pasa una lista de keywords mediante un nodo Loop, llama a los tres motores por keyword y escribe los datos de posición en una hoja de cálculo con timestamp. Detecta caídas de más de 3 posiciones y envía una alerta.

Monitoreo de competidores

Rastrea dominios de competidores en los tres motores para un conjunto de keywords objetivo. Cuando un competidor entra en el top 5 en cualquier motor, activa una notificación en Slack con el título y el snippet del resultado.

Enriquecimiento de agentes IA

Alimenta resultados SERP a un nodo GPT-4 o Claude en OpenClaw. El modelo resume el panorama competitivo, extrae temas comunes de los snippets y redacta un brief de contenido-totalmente automatizado desde una sola keyword.

Generación de leads

Combina resultados locales de Google (parámetro gl + location) con Bing y Brave para encontrar empresas en un nicho. Extrae dominios, filtra competidores conocidos y envía nuevos leads a tu CRM.

Manejo de errores en OpenClaw

Las APIs SERP pueden devolver resultados vacíos o alcanzar límites de tasa ocasionalmente. Gestiona ambos casos:

• Retry en 429: Configura el nodo HTTP de OpenClaw para reintentar hasta 3 veces con backoff exponencial cuando se alcanza el rate limit
• Retry en 500: Autom devuelve un 500 solo en errores internos-raros, pero vale la pena capturarlos con un retry automático
• Verificar número de resultados: Añade un nodo Condition tras cada llamada HTTP-si organic_results.length === 0, enruta a una rama de fallback
• Timeout: Configura el timeout del nodo HTTP a 30.000ms; la latencia media de Autom está por debajo de 2 segundos
• Solo las solicitudes exitosas se facturan: Autom cobra créditos únicamente en respuestas 200. Las solicitudes fallidas (4xx, 5xx) no cuestan nada-los reintentos son seguros.

Lo que Autom gestiona por ti

Construir un scraper SERP desde cero requiere proxies rotativos, resolución de CAPTCHAs, mantenimiento constante ante actualizaciones HTML de los motores y exposición legal. Nada de eso escala en un builder no-code.

Autom abstrae todo el stack-rotación de proxies, evasión de detección de bots, parsing HTML, entrega de JSON estructurado-para que OpenClaw reciba datos limpios y predecibles mientras tú te concentras en la lógica.

Cada endpoint devuelve el mismo esquema de primer nivel (organic_results, pagination, search_parameters), lo que significa que un único nodo de procesamiento en OpenClaw funciona sin cambios en todos los motores y tipos de contenido.

Superficie completa de APIs disponible en tus workflows

Todos los endpoints comparten la misma autenticación x-api-key y un precio de 1 crédito por llamada:

En un workflow de OpenClaw, esto significa que puedes encadenar motores y tipos de contenido en secuencia: obtener resultados orgánicos de Google Search, cruzar con Google Shopping para consultas de intención de compra, enriquecer con Google News para señales de frescura y validar con Brave Search-todo en una sola ejecución automatizada.

Obtén tu clave API en app.autom.dev y consulta la referencia completa en docs.autom.dev.