Googlebot-achtige SEO-Crawler

Dit project is een Python-gebaseerde SEO-crawler die Googlebot nabootst (standaard mobiel-eerst) om websites te auditen op SEO-, indexerings- en technische signalen.

De tool werkt als een mini-zoekmachine:

• Haalt pagina’s op met een Googlebot-achtige User-Agent (mobiel of desktop).

• Leest robots.txt, controleert toegestane/verboden URL’s en detecteert sitemaps.

• Auditeert belangrijke SEO-signalen:

  • Canonical-tags, hreflang-instellingen, meta robots, JSON-LD structured data

  • Titels, meta descriptions, headings (H1/H2)

  • Open Graph/Twitter metadata

  • Afbeeldingen: alt-teksten, lazy loading, dimensies (CLS-risico)

  • Render-blocking scripts en te veel stylesheets

• Detecteert veelvoorkomende problemen (bijv. ontbrekende viewport, dubbele hreflangs).

• Genereert console-rapporten en JSON-rapporten voor diepere analyses.

• Ondersteunt zowel single-page audits als site-brede crawls met instelbare diepte.

Dit project toont hoe SEO-audits geautomatiseerd kunnen worden, met developer-vriendelijke rapportage en directe aanbevelingen voor betere technische SEO en gebruikerservaring.