Wat er uit Jumbo-pagina's komt
Getest op 7 echte Jumbo-pagina's: 27 van de 31 waarden precies goed, 0 fout. Is hij niet zeker, dan zegt hij dat in plaats van te gokken. Velden die hij ophaalt:
- categorie
- hoofdcategorie
- barcode (GTIN)
- naam
- prijs
- productnummer
- prijs per eenheid
Op sommige testpagina's leeg gelaten, niet fout ingevuld. Met een paar voorbeeldpagina's meer met deze waarden worden ook die regels geleerd:
- merk · 4 leeg
Is er een Jumbo API voor productdata?
Geen open, gedocumenteerde API waar je je voor kunt aanmelden. Wat mensen in plaats daarvan gebruiken: de JSON die de eigen app of site van de winkel laadt (ongedocumenteerd, verandert zonder aankondiging, en de voorwaarden staan het misschien niet toe), de gestructureerde data in de productpagina's zelf, of de zichtbare tekst. Een extractiescript leest de pagina's die je mag ophalen, net als een browser, en meldt het als de opmaak veranderd is.
Zo scrape je Jumbo productpagina's zonder AI
Kijk eerst in de paginabron. Productpagina's hebben naam, prijs en voorraad vaak als JSON-LD. Staat de prijs in de bron, dan is een gewone HTTP-request genoeg: geen headless browser.
Haal alleen op wat veranderd is. Lees de sitemap en sla elke pagina over waarvan de lastmod sinds de vorige run niet veranderd is.
Doe het rustig. Eén request per seconde of twee, een duidelijke User-Agent, en niets achter een login. Een supermarktsite is geen testserver.
Leer de regels één keer. Alle productpagina's van één winkel hebben dezelfde opbouw. Stuur er een paar en krijg per veld een regel, getest op allemaal: prijs, prijs per eenheid, inhoud, categorie.
De valkuilen op supermarktpagina's
Gesplitste prijzen. Euro's en centen staan in twee elementen (2 en 69), dus een simpele selector leest "2" of "269".
De oude prijs naast de nieuwe. Een aanbieding toont ze allebei. De regel moet de prijs pakken die je betaalt, niet de doorgestreepte.
Andere producten. De pagina toont andere producten met hun eigen prijs. De eerste prijs op de pagina is vaak niet die van dit product.
Klassenamen die elke release veranderen. Gehashte CSS-klassen breken handgeschreven selectors na elke release. Regels geleerd van meerdere pagina's leunen op wat blijft.