Data van een website naar Excel, één rij per pagina

Kopiëren en plakken gaat voor tien pagina's. Voor duizend wil je een script dat elke pagina van één soort leest, overal dezelfde velden pakt, en per pagina één rij schrijft die je in Excel of Google Sheets opent.

Van webpagina's naar een spreadsheet

$ python3 extract.py --download links.txt > results.jsonl
$ python3 -c "import json,csv,sys; …" < results.jsonl > results.csv
page,name,price,size
…/p/mok,Mok,8.99,350 ml

English

Data van een website halen, stap voor stap

  1. Kies één soort pagina. Productpagina's, vacatures of advertenties van één site. Andere soorten hebben andere regels nodig.

  2. Zet de velden op een rij. Naam, prijs, inhoud, datum: de kolommen die je in je sheet wilt.

  3. Vraag de regels aan. Stuur twee tot vijf voorbeeldpagina's. Je krijgt per veld een regel, getest op allemaal.

  4. Draai het script. Gratis, in Python, JavaScript, PHP, Go, Ruby, Java, C# of Rust. Geef het een lijst links of een sitemap.

  5. Open het in Excel. Het script schrijft één JSON-regel per pagina; één regel code maakt daar een CSV van.

Eerst de gratis manieren

  1. Excel zelf. Gegevens > Van web leest tabellen van een pagina. Goed voor één pagina met een echte HTML-tabel.

  2. IMPORTXML in Google Sheets. Haalt één waarde op met een XPath. Prima voor een handvol pagina's; bij meer wordt het traag en breekt het.

  3. Een browserextensie. Aanwijzen en klikken, één pagina tegelijk. Geen hulp als de volgende pagina net een andere opmaak heeft.

Waarom een script het wint van kopiëren en klikken

Het draait in één keer op elke pagina, het vindt hetzelfde veld ook als de opmaak een beetje verschuift, en het zegt "geen" in plaats van een cel met de verkeerde tekst te vullen.

Meer hierover

Probeer het op je eigen pagina's

Plak een paar links en een paar waarden. Het bekijken is gratis, en je hoort de prijs voordat er iets betaald wordt.

Probeer het op je eigen pagina's