Je hebt waarschijnlijk geen headless browser nodig om die pagina te scrapen

Een headless browser draait per pagina een hele Chrome: seconden tijd en honderden MB geheugen. Dat is het goede gereedschap als de waarde pas bestaat nadat JavaScript draait. Bij de meeste product- en overzichtspagina's staat hij al in de HTML.

Headless browser of gewone request

Headless browser
seconden per pagina
honderden MB per stuk
Gewone request + regels
onder 1 ms om te lezen
een paar MB in totaal

English

Wat is een headless browser?

Een browser zonder venster, zoals Chrome aangestuurd door Puppeteer of Playwright. Hij laadt de pagina, draait het JavaScript en laat een script het resultaat lezen. Handig om te testen en voor pagina's die in de browser worden opgebouwd. Duur als je alleen één waarde uit de HTML wilt.

Heb je er een nodig? Check het in een minuut

  1. Paginabron, niet inspecteren. Open view-source: en zoek de prijs. Staat hij erin, dan haalt een gewone HTTP-request hem op.

  2. Zoek naar JSON in de pagina. JSON-LD, __NEXT_DATA__ of een state-blob bevat vaak elk veld, klaar om te lezen.

  3. Kijk in het netwerktabblad. Laadt de pagina zijn data van een JSON-URL, dan is die misschien makkelijker te lezen dan de pagina (check de voorwaarden).

  4. Pas dan een browser. Waarden die echt pas na JavaScript verschijnen, of na een klik: daar is een headless browser voor.

Alternatieven voor een headless browser

Een gewone request plus regels die de HTML lezen. Hetzelfde antwoord, een fractie van de tijd en het geheugen, en geen browser om bij te houden. 1 miljoen pagina's lezen:

AanpakPer pagina1 miljoen pagina's
Een groot AI-model op ruwe HTML1 cent per pagina en meer€10.000+ per run
Een klein AI-model op ingekorte HTML0,05 tot 0,5 cent per pagina€500 – €5.000 per run
Een headless browserseconden en honderden MB per paginaservers die meegroeien met de crawl
Een extractiescript€0 per pagina, onder 1 ms€78 eenmalig (5 velden)

Meer hierover

Probeer het op je eigen pagina's

Plak een paar links en een paar waarden. Het bekijken is gratis, en je hoort de prijs voordat er iets betaald wordt.

Probeer het op je eigen pagina's