Wat meestal de doorslag geeft
Openbaar of achter een login. Pagina's die iedereen kan openen zijn iets anders dan pagina's waar je een account voor nodig hebt. Scrape nooit achter een login die je daar niet voor gekregen hebt.
Persoonsgegevens. Namen, e-mailadressen en profielen vallen onder de AVG, ook als ze openbaar zijn. Verzamel alleen wat je nodig hebt, of helemaal niets persoonlijks.
De voorwaarden van de site. Gebruiksvoorwaarden kunnen scrapen verbieden. Het Europese Hof zei in Ryanair tegen PR Aviation (2015) dat zulke voorwaarden je kunnen binden als een databank verder niet beschermd is.
Databankrecht. Een substantieel deel kopiëren van een databank waar iemand in geïnvesteerd heeft kan het databankrecht schenden, ook als elk feit op zich vrij is.
Belasting van de site. Een server platleggen kan schade geven, en claims. Doe het rustig, cache, en haal alleen op wat veranderd is.
En in de VS?
In hiQ Labs tegen LinkedIn oordeelde een Amerikaans hof van beroep dat het scrapen van openbare pagina's waarschijnlijk geen "toegang zonder toestemming" is onder de CFAA (2022). De zaak eindigde toch met een verlies voor hiQ op de gebruiksvoorwaarden van LinkedIn. Openbaar is niet hetzelfde als vrij om te nemen.
Websites die scrapen toestaan
robots.txt. Zegt welke paden een site bots vraagt over te slaan. Geen wet, wel een duidelijk signaal: respecteer het.
Een officiële API of feed. Biedt de site er een aan, gebruik die. Duidelijker toestemming bestaat niet.
Open data. Overheids- en onderzoekssites publiceren hun data vaak onder een open licentie.