Dit project automatiseert het verzamelen van kaartgebaseerde locatie-data uit een dynamische, JavaScript-intensieve webapplicatie met behulp van Playwright en async Python. In tegenstelling tot statische scrapers simuleert dit systeem echte gebruikersinteracties om gestructureerde data betrouwbaar vast te leggen.
Hoe het werkt:
-
Start Chromium via Playwright en navigeer naar een kaartpagina.
-
Handel UI-modals af (bijvoorbeeld inlogschermen of popups).
-
Wacht tot de kaart en markers volledig geladen zijn.
-
Doorloop kaartgebieden door automatisch horizontaal en verticaal te pannen.
-
Voor elke marker:
-
Haal latitude, longitude en label uit de popup.
-
Sla op in een dataset en vermijd duplicaten.
-
-
Exporteer resultaten naar CSV, direct bruikbaar voor verdere analyse of integratie.
De scraper bevat robuuste foutafhandeling: herprobeert bij ontbrekende markers, maakt screenshots voor debugging, en voorkomt dubbele entries.
Dit project laat zien hoe headless browser-automatisering toegang geeft tot data uit moderne, dynamische webapps.
Ook een idee dat moet gaan werken?
Bespreek de volgende praktische stap met De Wilde ICT Solutions.
Neem contact op