Scraping SERP z OpenClaw: Google, Bing i Brave

Dlaczego scraping wielu wyszukiwarek ma znaczenie

Dane o pozycjonowaniu z jednej wyszukiwarki dają tylko częściowy obraz. Google dominuje, ale Bing zasila web grounding Copilota, a niezależny indeks Brave jest coraz częściej używany przez użytkowników dbających o prywatność i agentów AI szukających źródła innego niż Google.

Dla każdego workflowu dotyczącego monitoringu SEO, analizy konkurencji lub wzbogacania AI, pobieranie wyników ze wszystkich trzech wyszukiwarek daje:

• Różnice w pozycjonowaniu między wyszukiwarkami: strona na pozycji #3 w Google może nie pojawiać się w top 20 Brave
• Różne funkcje SERP: Bing wyświetla odpowiedzi generowane przez AI i panele zakupowe, których Google nie pokazuje na niektórych rynkach
• Różna świeżość indeksu: Brave często indeksuje nowe treści przed Google

Workflowy OpenClaw mogą rozesłać jedno zapytanie do wszystkich trzech wyszukiwarek równolegle, zagregować wyniki i przekazać je dalej w ciągu sekund.

OpenClaw i węzeł HTTP Action

OpenClaw to platforma automatyzacji no-code zbudowana z myślą o workflowach AI-first. Węzeł HTTP Action akceptuje dowolne wywołanie REST API-nagłówki, treść, uwierzytelnianie-i bezpośrednio mapuje odpowiedź JSON na kolejne węzły.

Endpointy Autom zwracają czysty, ustrukturyzowany JSON bez konieczności parsowania: organic_results, pagination, search_parameters i search_information to klucze najwyższego poziomu w każdej odpowiedzi.

Ten przewidywalny schemat sprawia, że Autom integruje się płynnie z OpenClaw bez niestandardowego kodu.

Podłączenie Autom do OpenClaw

Przed zbudowaniem workflow wygeneruj klucz API na app.autom.dev.

Zapisz klucz w Credential Vault OpenClaw (Ustawienia → Dane logowania → Nowy → HTTP Header Auth). Skonfiguruj:

• Nazwa nagłówka: x-api-key
• Wartość nagłówka: twój klucz API Autom

Odwołuj się do tych danych w każdym węźle HTTP Action zamiast wpisywać klucz na stałe.

Scraping Google Search

Endpoint Google zwraca wyniki organiczne, stan paginacji i metadane SERP.

POST https://api.autom.dev/v1/google/search
Content-Type: application/json
x-api-key: TWÓJ_KLUCZ_API

{
    "query": "najlepsze oprogramowanie do zarządzania projektami",
    "page": 1,
    "gl": "pl",
    "hl": "pl",
    "num": 10,
    "device": "desktop"
}

Kluczowe pola odpowiedzi:

{
    "organic_results": [
        {
            "position": 1,
            "title": "...",
            "link": "...",
            "domain": "...",
            "snippet": "..."
        }
    ],
    "search_information": {
        "total_results": 412000000,
        "time_taken_displayed": 0.31
    }
}

Konfiguracja węzła OpenClaw:

• Metoda: POST
• URL: https://api.autom.dev/v1/google/search
• Uwierzytelnianie: HTTP Header Auth (twoje dane Autom)
• Typ treści: JSON
• Zmapuj organic_results do następnego węzła do filtrowania lub przechowywania

Przydatne parametry Google

Scraping Bing Search

Endpoint Bing odzwierciedla strukturę Google, co sprawia, że zduplikowanie węzła przez zmianę URL jest banalne.

POST https://api.autom.dev/v1/bing/search
Content-Type: application/json
x-api-key: TWÓJ_KLUCZ_API

{
    "query": "najlepsze oprogramowanie do zarządzania projektami",
    "page": 1
}

Wyniki Bing są przydatne dla:

• Groundingu Copilota: asystent AI Microsoftu używa indeksu Bing; pozycjonowanie w Bing wpływa na cytowania generowane przez AI
• Zasięgu geograficznego: Bing utrzymuje większy udział w rynku w niektórych sektorach enterprise i edukacji
• Benchmarkingu konkurencyjnego: konkurenci optymalizujący tylko dla Google często rankują inaczej w Bing

Scraping Brave Search

Brave prowadzi niezależny crawler-nie opiera się ani na Google, ani na Bing. Ta niezależność czyni go czystszym sygnałem do oceny jakości treści.

POST https://api.autom.dev/v1/brave/search
Content-Type: application/json
x-api-key: TWÓJ_KLUCZ_API

{
    "query": "najlepsze oprogramowanie do zarządzania projektami",
    "page": 0
}

Uwaga: Brave używa paginacji od zera (page: 0 dla pierwszej strony).

Schemat odpowiedzi jest identyczny jak dla Google i Bing, więc jeden węzeł przetwarzania OpenClaw obsługuje wszystkie trzy wyjścia bez rozgałęziania.

Równoległy workflow multi-wyszukiwarkowy

Najbardziej efektywny wzorzec OpenClaw uruchamia wszystkie trzy wyszukiwarki jednocześnie:

[Wyzwalacz: wprowadzenie słowa kluczowego]
        │
        ├── [HTTP: Google Search] ──┐
        ├── [HTTP: Bing Search] ────┤── [Scalanie] ── [Deduplikacja] ── [Zapisz / Powiadom]
        └── [HTTP: Brave Search] ──┘

Logika scalania: Użyj węzła Union do połączenia tablic organic_results ze wszystkich trzech odpowiedzi. Oznacz każdy wynik jego źródłem engine przed scalaniem.

Deduplikacja: Filtruj według link-ten sam URL pojawiający się we wszystkich trzech wyszukiwarkach to silny sygnał pozycjonowania.

Opcje wyjściowe: Wyślij scalony zestaw danych do Google Sheets, tabeli Postgres, digestu Slack lub węzła AI do podsumowania.

Praktyczne przypadki użycia w OpenClaw

Codzienne śledzenie pozycji

Zaplanuj workflow, aby uruchamiał się każdego ranka. Przekaż listę słów kluczowych przez węzeł Loop, wywołaj wszystkie trzy wyszukiwarki dla każdego słowa kluczowego i zapisz dane pozycji w arkuszu kalkulacyjnym ze znacznikiem czasu. Wykrywaj spadki o więcej niż 3 pozycje i wysyłaj alert.

Monitoring konkurencji

Śledź domeny konkurentów we wszystkich trzech wyszukiwarkach dla docelowego zestawu słów kluczowych. Gdy konkurent wejdzie do top 5 w którejkolwiek wyszukiwarce, uruchom powiadomienie Slack z tytułem i fragmentem wyników.

Wzbogacanie agentów AI

Przekazuj wyniki SERP do węzła GPT-4 lub Claude w OpenClaw. Model podsumowuje krajobraz konkurencyjny, wyodrębnia wspólne tematy ze snippetów i przygotowuje brief treści-w pełni automatycznie z jednego słowa kluczowego.

Generowanie leadów

Łącz lokalne wyniki Google (parametr gl + location) z Bing i Brave, aby znaleźć firmy w niszy. Wyodrębniaj domeny, filtruj znanych konkurentów i wysyłaj nowe leady do swojego CRM.

Obsługa błędów w OpenClaw

API SERP mogą sporadycznie zwracać puste wyniki lub osiągać limity zapytań. Obsługuj oba przypadki:

• Retry przy 429: Skonfiguruj węzeł HTTP OpenClaw, aby ponawiał próby do 3 razy z wykładniczym opóźnieniem po osiągnięciu rate limitu
• Retry przy 500: Autom zwraca 500 tylko przy błędach wewnętrznych-rzadkie, ale warte przechwycenia automatycznym retry
• Sprawdzanie liczby wyników: Dodaj węzeł Condition po każdym wywołaniu HTTP-jeśli organic_results.length === 0, kieruj do gałęzi fallback
• Timeout: Ustaw timeout węzła HTTP na 30 000ms; mediana czasu odpowiedzi Autom wynosi poniżej 2 sekund
• Naliczane są tylko udane żądania: Autom pobiera kredyty tylko za odpowiedzi 200. Nieudane żądania (4xx, 5xx) nic nie kosztują-ponowne próby są bezpieczne.

Co Autom obsługuje zamiast ciebie

Budowanie scrapera SERP od zera wymaga rotujących proxy, rozwiązywania CAPTCHA, stałej konserwacji przy aktualizacjach HTML wyszukiwarek i narażenia prawnego. Nic z tego nie skaluje się w builderze no-code.

Autom abstrahuje cały stack-rotację proxy, omijanie wykrywania botów, parsowanie HTML, strukturyzowaną dostawę JSON-żeby OpenClaw otrzymywał czyste, przewidywalne dane, a ty koncentrujesz się na logice.

Każdy endpoint zwraca ten sam schemat najwyższego poziomu (organic_results, pagination, search_parameters), co oznacza, że jeden węzeł przetwarzania OpenClaw działa bez zmian na wszystkich wyszukiwarkach i typach treści.

Pełna powierzchnia API dostępna w twoich workflowach

Wszystkie endpointy współdzielą uwierzytelnianie x-api-key i cenę 1 kredyta za wywołanie:

W workflowie OpenClaw oznacza to, że możesz łączyć wyszukiwarki i typy treści sekwencyjnie: pobierać wyniki organiczne z Google Search, krzyżować z Google Shopping dla zapytań o intencji zakupowej, wzbogacać o Google News dla sygnałów świeżości i walidować z Brave Search-wszystko w jednym automatycznym uruchomieniu.

Pobierz swój klucz API na app.autom.dev i zapoznaj się z pełną dokumentacją na docs.autom.dev.