Google klaagt SerpAPI aan: wat SearchGuard onthult over botdetectie

De rechtszaak die Google's anti-bot geheimen blootlegde

Op 19 december 2025 diende Google een rechtszaak in tegen het in Texas gevestigde SerpAPI LLC, met de beschuldiging dat het bedrijf SearchGuard omzeilde om dagelijks "honderden miljoenen" zoekopdrachten van Google Search te scrapen. De juridische basis is DMCA Sectie 1201 - de anti-omzeilingsbepalingen van het auteursrecht.

Beveiligingsonderzoekers hebben nu versie 41 van het BotGuard-script volledig ontcijferd, wat een ongekend inzicht geeft in hoe Google menselijke bezoekers van geautomatiseerde scrapers onderscheidt.

Wat is SearchGuard?

SearchGuard is de interne naam voor Google's BotGuard-systeem wanneer toegepast op Google Search. BotGuard (intern "Web Application Attestation" genoemd) beschermt Google-diensten sinds 2013 - YouTube, reCAPTCHA v3, Google Maps en meer.

In tegenstelling tot traditionele CAPTCHAs werkt SearchGuard volledig onzichtbaar. Het verzamelt continu gedragssignalen en analyseert deze met statistische algoritmen - allemaal zonder dat de gebruiker het weet.

De code draait in een bytecode virtuele machine met 512 registers, specifiek ontworpen om reverse engineering te weerstaan.

Hoe Google bots detecteert

Het systeem volgt vier categorieën gedrag in real-time:

Muisbewegingen

Mensen bewegen cursors niet in rechte lijnen. We volgen natuurlijke curves met versnelling en vertraging.

Google volgt:

• Traject (padvorm)
• Snelheid
• Versnelling (snelheidsveranderingen)
• Jitter (micro-trillingen)

Detectiedrempel: Muissnelheidsvariatie onder 10 wordt gemarkeerd als botgedrag. Normale menselijke variatie ligt tussen 50-500.

Toetsenbordritme

Iedereen heeft een unieke typehandtekening. Google meet:

• Inter-toets intervallen
• Toetsdrukduur
• Foutpatronen
• Pauzes na interpunctie

Detectiedrempel: Toetsdrukduurvariatie onder 5ms duidt op automatisering. Normaal menselijk typen toont 20-50ms variatie.

Scrollgedrag

Natuurlijk scrollen heeft variabele snelheid, richtingsveranderingen en momentum-gebaseerde vertraging. Programmatisch scrollen is vaak te soepel of perfect uniform.

Detectiedrempel: Scroll delta variatie onder 5px suggereert bot-activiteit. Mensen tonen typisch 20-100px variatie.

Timing jitter

Dit is het doorslaggevende signaal. Mensen zijn inconsistent.

Google gebruikt Welford's algoritme om variatie in real-time te berekenen met constant geheugengebruik. Als je actie-intervallen bijna nul variatie hebben, word je gemarkeerd.

Detectiedrempel: Gebeurtenisaantallen boven 200 per seconde duiden op automatisering. Normale menselijke interactie genereert 10-50 gebeurtenissen per seconde.

De 100+ DOM-elementen die Google monitort

Naast gedrag vingeraft SearchGuard je browseromgeving door meer dan 100 HTML-elementen te monitoren:

• Hoge-prioriteit elementen: BUTTON, INPUT (bots richten zich vaak op interactieve elementen)
• Structuur: ARTICLE, SECTION, NAV, ASIDE, HEADER, FOOTER, MAIN, DIV
• Interactief: DETAILS, SUMMARY, MENU, DIALOG

Het verzamelt ook uitgebreide browser- en apparaatgegevens:

• Navigator eigenschappen (userAgent, platform, hardwareConcurrency, deviceMemory)
• Schermeigenschappen (afmetingen, colorDepth, devicePixelRatio)
• Performance timing precisie
• Zichtbaarheidsstatus (document.hidden, hasFocus())

WebDriver detectie

Het script controleert specifiek op automatiseringshandtekeningen:

• navigator.webdriver (true indien geautomatiseerd)
• window.chrome.runtime (afwezig in headless modus)
• ChromeDriver handtekeningen ($cdc_ voorvoegsels)
• Puppeteer markers ($chrome_asyncScriptInfo)
• Selenium indicatoren (__selenium_unwrapped)

Waarom omzeilingen binnen minuten verouderd raken

Het script genereert versleutelde tokens met een ARX cipher (Addition-Rotation-XOR) - vergelijkbaar met Speck, een lichtgewicht blokcijfer uitgebracht door de NSA in 2013.

De kritieke ontdekking: de magische constante roteert. De cryptografische constante ingebed in de cipher verandert met elke scriptrotatie.

Waargenomen waarden uit beveiligingsanalyse:

• Timestamp 16:04:21: Constante = 1426
• Timestamp 16:24:06: Constante = 3328

Het script wordt geserveerd vanaf URL's met integriteit-hashes. Wanneer de hash verandert, downloadt elke client een nieuwe versie met nieuwe cryptografische parameters.

Zelfs als je het systeem volledig reverse-engineered, wordt je implementatie ongeldig bij de volgende update.

De OpenAI connectie

SerpAPI is niet zomaar een scraping-bedrijf. OpenAI heeft gedeeltelijk Google-zoekresultaten gebruikt die door SerpAPI werden gescraped om ChatGPT's real-time antwoorden te voeden. SerpAPI noemde OpenAI als klant op hun website tot mei 2024.

Google weigerde OpenAI's directe verzoek om toegang tot hun zoekindex in 2024. Toch had ChatGPT nog steeds verse zoekdata nodig.

Google valt OpenAI niet direct aan - het richt zich op een cruciale schakel in de toeleveringsketen die hun belangrijkste AI-concurrent voedt.

Het grotere plaatje voor SERP-scraping

Deze rechtszaak volgt een patroon van toegangsverscherping:

1. Januari 2025: Google implementeerde SearchGuard, waardoor bijna elke SERP-scraper van de ene op de andere dag kapotging
2. September 2025: Google verwijderde de num=100 parameter, waardoor scrapers 10x meer verzoeken moesten doen

Het gecombineerde effect: traditionele scraping-benaderingen worden steeds moeilijker en duurder om te onderhouden.

Als SearchGuard kwalificeert als een geldige "technologische beschermingsmaatregel" onder de DMCA, kan elk platform vergelijkbare systemen implementeren met juridische slagkracht.

Wat dit betekent voor SEO-tools

Voor iedereen die tools gebruikt die SERP's scrapen:

• Hogere kosten: Meer verzoeken nodig, geavanceerdere infrastructuur vereist
• Juridisch risico: Externe scrapers kunnen vergelijkbare rechtszaken tegemoet zien
• Betrouwbaarheidsproblemen: Omzeilingen kunnen binnen minuten verouderd raken

De boodschap is duidelijk: het oude scraping-draaiboek is voorbij.

Officiële API's blijven de stabiele weg

Google's positie is effectief: "Wil je onze data? Ga via officiële kanalen."

Voor SEO-professionals en ontwikkelaars die betrouwbare, consistente toegang tot zoekdata nodig hebben, blijft het gebruik van officiële API's - of API-providers met de juiste infrastructuur - de meest duurzame aanpak.

Bij Autom blijven we deze ontwikkelingen monitoren en passen we onze diensten dienovereenkomstig aan. Het landschap verandert, maar de behoefte aan zoekdata verdwijnt niet.