Crawlen en indexeren: zo werkt het echt
Het indexeren van Google verloopt in twee stappen: eerst crawlen, dan indexeren. Bij het crawlen bezoekt de Googlebot uw pagina’s en volgt links om de inhoud op te halen. Bij het indexeren beoordeelt Google die opgehaalde inhoud en slaat de pagina op in zijn database. Alleen pagina’s die in die index staan, kunnen in de zoekresultaten verschijnen.
Het is belangrijk om die twee begrippen uit elkaar te houden, want ze worden vaak verward. Crawlbaarheid (crawlability) gaat over de vraag of Google uw pagina’s überhaupt kan bereiken en lezen. Indexering gaat over de vraag of Google ze daarna de moeite waard vindt om op te nemen. Een pagina kan prima gecrawld zijn en toch niet indexeren, en een pagina die niet gecrawld kan worden, komt sowieso nooit in de index. Wie begrijpt in welke stap het misgaat, lost het probleem veel sneller op.

Eerst controleren: staat uw site wel in Google?
Voordat u oorzaken gaat zoeken, controleert u of er echt een indexeringsprobleem is. Typ site:uwdomein.nl in de zoekbalk van Google. Het aantal resultaten geeft een ruwe indicatie van hoeveel pagina’s geïndexeerd zijn. Ziet u veel minder pagina’s dan uw site telt, of helemaal niets, dan is er werk aan de winkel. Wilt u het zeker weten, gebruik dan de URL-inspectietool in Google Search Console. Plak een URL en u ziet exact of Google de pagina kent, wanneer die voor het laatst gecrawld is en of er een blokkade speelt. Het rapport “Pagina’s” toont bovendien per reden welke pagina’s wel en niet in de index staan. Dit is het beste startpunt: het vertelt u in welke van de twee stappen het misloopt.
De meest voorkomende redenen dat Google uw website niet kan lezen
Google kan een website om uiteenlopende redenen niet goed lezen, maar de meeste gevallen vallen onder een handvol terugkerende oorzaken. Hieronder staan ze, geordend van technische blokkades (die hele pagina’s onzichtbaar maken) naar inhoudelijke oorzaken.
Een noindex-tag of geblokkeerde robots.txt
Dit is de meest voorkomende en tegelijk meest pijnlijke oorzaak. Een noindex-tag in de HTML of HTTP-header vertelt Google expliciet om een pagina niet op te nemen. Een regel Disallow: / in uw robots.txt blokkeert het crawlen van uw hele site. Berucht is de situatie waarin een ontwikkelaar tijdens de bouw de hele staging-omgeving op noindex zet en vergeet die tag bij livegang te verwijderen. Het gevolg: een technisch perfecte site die volledig buiten Google valt. Controleer uw robots.txt en zoek in de broncode naar <meta name=”robots” content=”noindex”>.
Een slechte interne linkstructuur
Google ontdekt pagina’s door links te volgen. Staat een pagina nergens in uw menu, footer of in de tekst van andere pagina’s gelinkt, dan bestaat die voor de Googlebot eigenlijk niet. Pagina’s die drie of vier klikken diep weggestopt zitten, krijgen nauwelijks crawl-prioriteit. Een logische structuur waarin belangrijke pagina’s vanaf de homepage of een hoofdcategorie bereikbaar zijn, helpt Google uw site lezen en begrijpen welke pagina’s ertoe doen.
Inhoud die alleen via JavaScript verschijnt
Soms ziet Google een lege pagina waar u een volle pagina ziet. Dat gebeurt wanneer de inhoud pas door JavaScript wordt opgebouwd nadat de pagina is geladen. Google kan JavaScript wel renderen, maar niet altijd volledig of direct, waardoor belangrijke tekst en links onzichtbaar blijven. Met de URL-inspectietool kunt u onder “Geteste pagina” bekijken of Google dezelfde inhoud ziet als u. Ziet Google nauwelijks tekst, dan is rendering vrijwel zeker het probleem.
Dunne of dubbele content
Google neemt niet alles op. Pagina’s met heel weinig unieke tekst worden gezien als “thin content” en vaak overgeslagen. Hetzelfde geldt voor pagina’s die inhoudelijk sterk op elkaar lijken: Google kiest dan één versie en negeert de rest. In Search Console herkent u dit aan meldingen als “Gecrawld, momenteel niet geïndexeerd”. De oplossing is content samenvoegen tot één sterke pagina, canonical-tags correct inzetten en elke pagina een duidelijk eigen doel geven.
Een nieuwe site of te weinig autoriteit
Voor een nieuwe website kost het tijd voordat Google alles vindt en indexeert; reken op enkele dagen tot enkele weken. Heeft uw site bovendien weinig verwijzende links van andere websites, dan heeft Google minder aanleiding om uw pagina’s snel en volledig op te nemen. Autoriteit, opgebouwd via relevante backlinks, geeft Google vertrouwen en vergroot het crawl-budget dat aan uw site wordt besteed.
Technische en serverblokkades
Tot slot kan de oorzaak dieper in de techniek liggen. Een trage of vaak onbereikbare server verlaagt het crawl-budget, waardoor Google minder pagina’s bezoekt. Een te streng ingestelde firewall of DoS-beveiliging kan de Googlebot zelfs volledig blokkeren, omdat die meer verzoeken doet dan een gewone bezoeker. Ontbreekt een geldig HTTPS-certificaat, dan telt dat eveneens als negatief signaal. Dit zijn de minst zichtbare oorzaken en vaak degene waarvoor specialistische hulp nodig is.
Hoe lost u indexeringsproblemen op?
De oplossing begint bij de juiste diagnose in Search Console; pas daarna grijpt u in. Forceer nooit indexering voordat u de oorzaak kent, want dan maskeert u het echte probleem alleen maar. Werk in deze volgorde:
- Controleer eerst de blokkades: verwijder onbedoelde noindex-tags en corrigeer een te strenge robots.txt. Dit levert vaak de snelste winst op.
- Verbeter daarna de bereikbaarheid: zorg dat belangrijke pagina’s intern goed gelinkt zijn en dien een actuele sitemap.xml in via Search Console.
- Pak vervolgens de inhoud aan: voeg dunne pagina’s samen, los dubbele content op met canonical-tags en geef elke pagina unieke waarde.
- Vraag tot slot indexering aan via de URL-inspectietool, maar pas nadat de onderliggende oorzaak is opgelost.
Loopt u hier tegen een hardnekkig of technisch complex probleem aan, dan is dat het moment om een specialist te betrekken. Een grondige analyse door een online marketingbureau brengt blinde vlekken aan het licht die u zelf moeilijk ziet. Voor het uitpluizen van crawl- en renderfouten onder de motorkap levert een technische SEO-audit een concreet adviesrapport met verbeterpunten op.
Leesbaarheid is de basis van zoekmachineoptimalisatie
Zorgen dat Google uw website goed kan lezen, is de eerste en meest fundamentele stap van zoekmachineoptimalisatie. Pas als uw pagina’s vlot gecrawld en geïndexeerd worden, heeft het zin om te werken aan rankings, content en autoriteit. Sterke teksten en backlinks halen weinig uit zolang Google de pagina niet eens kan bereiken. Een gezonde technische basis waarop uw site goed leesbaar is, vormt het fundament waarop al het andere SEO-werk rust. Wie daar begint, voorkomt dat waardevolle pagina’s onzichtbaar blijven.
Zorg dat Google uw site weer kan lezen
Als uw pagina’s onvindbaar blijven, ligt de oorzaak vrijwel altijd in het crawlen of indexeren, niet in toeval. Begin bij Search Console, sluit de technische blokkades uit en werk daarna stap voor stap naar inhoud en autoriteit. Komt u er zelf niet uit of wilt u zeker weten dat geen enkele pagina onzichtbaar blijft, vraag dan vrijblijvend een adviesgesprek aan om uw situatie samen door te nemen.
Veelgestelde vragen
Hoe lang duurt het voordat Google een nieuwe pagina indexeert?
Dat varieert van één à twee dagen tot enkele weken, afhankelijk van de autoriteit van uw site, de interne links en of u indexering hebt aangevraagd. Voor een nieuwe website zonder veel backlinks duurt het doorgaans langer.
Wat betekent “Gecrawld, momenteel niet geïndexeerd” in Search Console?
Het betekent dat Google de pagina wel heeft bezocht, maar (nog) niet heeft opgenomen in de index. Meestal heeft dat te maken met de kwaliteit of uniciteit van de inhoud. Door de pagina inhoudelijk te versterken, vergroot u de kans dat die alsnog wordt geïndexeerd.
Waarom staat mijn website helemaal niet in Google?
De meest voorkomende oorzaken zijn een noindex-tag, een blokkade in robots.txt of een site die simpelweg nog te nieuw is om gecrawld te zijn. Controleer met site:uwdomein.nl of er pagina’s in de index staan en gebruik de URL-inspectietool om de precieze oorzaak te vinden.
Is crawlen hetzelfde als indexeren?
Nee. Crawlen is het bezoeken en lezen van een pagina door de Googlebot; indexeren is het opnemen van die pagina in de database van Google. Een pagina kan wel gecrawld maar niet geïndexeerd zijn, maar zonder crawlen volgt nooit indexering.