Scrapen met een LLM kost een modelaanroep per pagina. Dat hoeft niet.

Een LLM is prima om uit te zoeken waar de prijs op een pagina staat. Het is een dure manier om op een miljoen pagina's steeds dezelfde plek te lezen, elke run weer. Gebruik het model één keer om de regels te leren, en draai daarna de regels gratis.

Scrapen met een LLM, de rekening en de uitweg

LLM per pagina
1 miljoen aanroepen per run
tokens × prijs, elke keer
Regels, één keer geleerd
1 script
€0 per pagina, onder 1 ms

English

Wat scrapen met een LLM echt kost

Ruwe HTML is vooral scripts, stijlen en menu's, dus een productpagina is al snel tienduizenden tokens. Keer het aantal pagina's per run, keer de runs per maand. Alleen het lezen, per run:

AanpakPer pagina1 miljoen pagina's
Een groot AI-model op ruwe HTML1 cent per pagina en meer€10.000+ per run
Een klein AI-model op ingekorte HTML0,05 tot 0,5 cent per pagina€500 – €5.000 per run
Een headless browserseconden en honderden MB per paginaservers die meegroeien met de crawl
Een extractiescript€0 per pagina, onder 1 ms€78 eenmalig (5 velden)

Welke LLM is het beste voor scrapen?

De kleinste die je velden goed heeft op een steekproef die je zelf hebt nagekeken. Grotere modellen lezen rommelige pagina's beter, maar de rekening groeit mee. Welk model ook:

  1. Kort de pagina eerst in. Haal scripts, stijlen, menu's en footers weg. Je betaalt voor elke token die het model leest.

  2. Vraag om JSON met vaste sleutels. Een vaste vorm maakt foute of ontbrekende waarden makkelijk te zien.

  3. Controleer elke run een steekproef. Een model kan op dezelfde pagina iets anders antwoorden, of een waarde verzinnen. Tel hoe vaak hij fout zit voor je hem vertrouwt.

Lokale LLM's voor scrapen

Een lokaal model haalt de rekening per aanroep weg, niet de kosten: een GPU, de tijd per pagina, en dezelfde kans op een verzonnen waarde. Voor miljoenen pagina's van één soort is dat nog steeds trager en minder zeker dan een regel die tekst matcht.

De LLM voor wat verandert, regels voor wat zich herhaalt

Pagina's van één soort op één site hebben dezelfde opbouw. Die opbouw hoef je maar één keer te vinden. Daarna is het gewoon tekst matchen: elke keer hetzelfde antwoord, en "geen" als de waarde er niet staat, in plaats van een gok.

Meer hierover

Probeer het op je eigen pagina's

Plak een paar links en een paar waarden. Het bekijken is gratis, en je hoort de prijs voordat er iets betaald wordt.

Probeer het op je eigen pagina's