Wat is een headless browser?
Een browser zonder venster, zoals Chrome aangestuurd door Puppeteer of Playwright. Hij laadt de pagina, draait het JavaScript en laat een script het resultaat lezen. Handig om te testen en voor pagina's die in de browser worden opgebouwd. Duur als je alleen één waarde uit de HTML wilt.
Heb je er een nodig? Check het in een minuut
Paginabron, niet inspecteren. Open view-source: en zoek de prijs. Staat hij erin, dan haalt een gewone HTTP-request hem op.
Zoek naar JSON in de pagina. JSON-LD, __NEXT_DATA__ of een state-blob bevat vaak elk veld, klaar om te lezen.
Kijk in het netwerktabblad. Laadt de pagina zijn data van een JSON-URL, dan is die misschien makkelijker te lezen dan de pagina (check de voorwaarden).
Pas dan een browser. Waarden die echt pas na JavaScript verschijnen, of na een klik: daar is een headless browser voor.
Alternatieven voor een headless browser
Een gewone request plus regels die de HTML lezen. Hetzelfde antwoord, een fractie van de tijd en het geheugen, en geen browser om bij te houden. 1 miljoen pagina's lezen:
| Aanpak | Per pagina | 1 miljoen pagina's |
|---|---|---|
| Een groot AI-model op ruwe HTML | 1 cent per pagina en meer | €10.000+ per run |
| Een klein AI-model op ingekorte HTML | 0,05 tot 0,5 cent per pagina | €500 – €5.000 per run |
| Een headless browser | seconden en honderden MB per pagina | servers die meegroeien met de crawl |
| Een extractiescript | €0 per pagina, onder 1 ms | €78 eenmalig (5 velden) |