Wat scrapen met een LLM echt kost
Ruwe HTML is vooral scripts, stijlen en menu's, dus een productpagina is al snel tienduizenden tokens. Keer het aantal pagina's per run, keer de runs per maand. Alleen het lezen, per run:
| Aanpak | Per pagina | 1 miljoen pagina's |
|---|---|---|
| Een groot AI-model op ruwe HTML | 1 cent per pagina en meer | €10.000+ per run |
| Een klein AI-model op ingekorte HTML | 0,05 tot 0,5 cent per pagina | €500 – €5.000 per run |
| Een headless browser | seconden en honderden MB per pagina | servers die meegroeien met de crawl |
| Een extractiescript | €0 per pagina, onder 1 ms | €78 eenmalig (5 velden) |
Welke LLM is het beste voor scrapen?
De kleinste die je velden goed heeft op een steekproef die je zelf hebt nagekeken. Grotere modellen lezen rommelige pagina's beter, maar de rekening groeit mee. Welk model ook:
Kort de pagina eerst in. Haal scripts, stijlen, menu's en footers weg. Je betaalt voor elke token die het model leest.
Vraag om JSON met vaste sleutels. Een vaste vorm maakt foute of ontbrekende waarden makkelijk te zien.
Controleer elke run een steekproef. Een model kan op dezelfde pagina iets anders antwoorden, of een waarde verzinnen. Tel hoe vaak hij fout zit voor je hem vertrouwt.
Lokale LLM's voor scrapen
Een lokaal model haalt de rekening per aanroep weg, niet de kosten: een GPU, de tijd per pagina, en dezelfde kans op een verzonnen waarde. Voor miljoenen pagina's van één soort is dat nog steeds trager en minder zeker dan een regel die tekst matcht.
De LLM voor wat verandert, regels voor wat zich herhaalt
Pagina's van één soort op één site hebben dezelfde opbouw. Die opbouw hoef je maar één keer te vinden. Daarna is het gewoon tekst matchen: elke keer hetzelfde antwoord, en "geen" als de waarde er niet staat, in plaats van een gok.