Indexering als onderschat knelpunt: de Indexing Hub van het Semalt-paneel

Een pagina die niet in de index staat, rankt niet slecht — die rankt helemaal niet. Dit artikel legt uit waarom crawlbudget, ontdekking en indexering drie afzonderlijke fasen zijn, en hoe de Indexing Hub van het Semalt-paneel die blinde vlek meetbaar maakt.

De meeste SEO-trajecten in Rotterdam en de rest van de Randstad beginnen bij content, zoekwoorden en links. Dat is begrijpelijk: daar is het werk zichtbaar. Wat wordt overgeslagen, is de stap ervoor — de vraag of de zoekmachine uw pagina's überhaupt kent en of ze die heeft willen bewaren. Zolang die vraag openstaat, optimaliseert u aan iets dat voor de zoekmachine niet bestaat.

Het probleem beperkt zich niet tot grote portalen. Een webshop met achtduizend artikelen, een makelaar met duizend objecten, een uitgever met twintig jaar archief: overal groeit het aantal URL's sneller dan iemand het kan bijhouden. De achterstand wordt pas zichtbaar wanneer het organische verkeer stagneert ondanks een gestage publicatiestroom.

Crawlbudget, ontdekking en indexering zijn niet hetzelfde

De meest voorkomende denkfout behandelt indexering als één gebeurtenis. Het zijn drie opeenvolgende fasen met elk een eigen logica, en een probleem dat in de eerste fase ontstaat, valt in de derde niet te repareren. Wie dat onderscheid vasthoudt, stelt de juiste vraag: bij welke stap loopt het vast?

Dat een URL wordt ontdekt, dat een bot hem daadwerkelijk ophaalt en dat de zoekmachine besluit hem te bewaren, zijn drie losse handelingen die weken uit elkaar kunnen liggen. Een breed overzicht van alle modules staat op de pagina over het vernieuwde Semalt-paneel; hier gaat het alleen over het indexeringsdeel.

Crawlbudget is geen post op een factuur. Het volgt uit de prestaties van uw server, de kwaliteit van eerdere antwoorden en de ingeschatte waarde van het domein. Een server die op piekmomenten fouten teruggeeft of er drie seconden over doet om de eerste byte te leveren, krijgt minder ophaalacties: de zoekmachine remt af om de site niet te overbelasten.

Zes redenen waarom pagina's buiten de index blijven

Bij audits herhalen de oorzaken zich met opvallende regelmaat. De zes patronen hieronder dekken het overgrote deel, geordend naar de fase waarin ze ontstaan.

Nederland voegt daar een verzwarende factor aan toe: de tweede taal. Een webshop die zijn artikelen in het Nederlands en in het Engels publiceert, verdubbelt zijn URL-voorraad — en internationale klanten van een Rotterdamse toeleverancier zoeken nu eenmaal in het Engels. Het crawlbudget verdubbelt niet mee. Wie grote volumes beheert zonder de responstijd onder controle te hebben, begint daar: de technische basis gaat voor.

De Indexing Hub en zijn expliciete grenzen

De Indexing Hub bundelt het indienen van URL's, het verwerken van sitemaps en de waarneming die daarop volgt. De grenzen zijn bepalend voor uw planning: ze leggen vast wat haalbaar is en binnen welke termijn, en dat is bruikbaarder dan welke belofte ook.

Het interessantste getal is het kleinste. Duizend URL's per dag klinkt royaal voor een bedrijfssite van zestig pagina's; bij een catalogus van tienduizenden URL's is het een budget dat u plant zoals u een advertentiebudget plant. Daar zit de eigenlijke opbrengst: de limiet dwingt u te beslissen welke pagina's ertoe doen — een beslissing die in de dagelijkse praktijk moeiteloos wordt ontweken.

Twee ingangen: de batch en de sitemap

De hub biedt twee ingangen: de ene begint bij een lijst concrete URL's, de andere bij een bestaande sitemapstructuur. Beide monden uit in dezelfde waarneming en delen hetzelfde dagbudget.

In beide gevallen loopt de verzending via de IndexNow-koppeling, richting GoogleBot en BingBot. Hoe de indexeringsmodule van Semalt zich verhoudt tot de rest van het paneel, staat in het platformoverzicht beschreven.

Duwen in plaats van wachten, en wat het logboek daarna vertelt

IndexNow als actieve melding

Indexering werkt van oudsher volgens het haalprincipe: de zoekmachine bepaalt zelf wanneer hij terugkomt, en op een weinig actief domein wachten diepe pagina's daar weken op. IndexNow draait die richting om — de site meldt zelf dat een URL is gewijzigd.

De winst zit in de doorlooptijd bij wijzigingen. Een gecorrigeerde omschrijving, een geactualiseerde prijs, een geopende categorie: in plaats van te hopen dat het volgende routinebezoek het opmerkt, geeft u een signaal af. Voor seizoensgebonden branches is dat het verschil tussen zichtbaarheid tijdens het seizoen en zichtbaarheid erna.

Het duwtje verkort dus de tijd tot ontdekking en vervangt een onbeantwoordbare vraag — kent de zoekmachine deze pagina? — door een vraag die u wél kunt oplossen: waarom houdt hij haar buiten de deur?

Het botbezoeklogboek als diagnose-instrument

Het waardevolste deel van de hub is niet de indiening maar het logboek dat per URL wordt bijgehouden: het tijdstip van het botbezoek, de behaalde status en het foutdetail. Daarnaast lopen live tellers mee voor ingediende, gevonden en mislukte URL's, zodat een lopende actie niet blind hoeft te worden gevolgd.

Het nut ontstaat uit de combinatie: het tijdstempel zegt of het ophalen heeft plaatsgevonden, de status scheidt techniek van inhoud, en het foutdetail wijst de reparatie aan.

• Geen bezoek ondanks indiening. Wel gemeld, niet opgehaald. Controleer robots.txt, de serverbelasting en een eventuele afremming van het domein.
• Bezoek met serverfout. De bot liep tegen een 5xx aan. Een infrastructuurkwestie die op het hele domein drukt.
• Bezoek met status 404 of 410. Verouderde sitemap of een interne link naar verwijderde content. Opruimen, niet opnieuw indienen.
• Bezoek dat uitkomt op een redirect. U hebt een tussenstap ingediend. Dien altijd de eind-URL in.
• Geslaagd bezoek zonder opname. Het technische deel is rond. De oorzaak ligt bij de inhoud, de canonisering of de interne verwijzingen.

40.000 URL's bij duizend per dag

De volgende berekening is illustratief: ze maakt de ordegrootte tastbaar, het is geen meting aan een bestaand project.

Een webshop heeft 40.000 URL's in zijn sitemap staan, Nederlandse en Engelse versies bij elkaar. Bij een dagbudget van 1.000 URL's levert dat veertig dagen op, en dan nog alleen als de limiet elke dag volledig wordt benut en niets opnieuw hoeft. Met correctierondes komt de realistische termijn op zes tot acht weken. De batch van tienduizend URL's verkort daar niets aan; die bespaart alleen het handmatige opknippen.

Zes weken is te lang voor een seizoenscampagne. De conclusie is niet dat het instrument tekortschiet, maar dat er gesorteerd moet worden. Een plausibele verdeling ziet er zo uit.

• Ongeveer 12.000 varianten en parameterpagina's. Kleuren, maten, filters, sorteringen. Dit is een canoniseringsvraagstuk; verbruikt budget: nul.
• Ongeveer 6.000 definitief uitverkochte artikelen. Die vragen om een redirect of om verwijdering, niet om indiening.
• Ongeveer 400 categorie- en adviespagina's. Zij dragen het leeuwendeel van de omzet: een halve dag budget.
• Ongeveer 5.000 gezochte artikelen die op voorraad zijn. Die volgen in vijf dagen en dekken de lopende handel.
• Ongeveer 16.000 longtailpagina's. Die lopen daarna op de achtergrond mee, zonder deadline.

Van veertig dagen blinde indiening blijft zo minder dan zes dagen over voor alles wat commercieel telt. Het verschil zit in de volgorde, niet in de techniek. In Nederland komt er één criterium bij: het volume verdeelt zich over het Nederlands en het Engels, en soms bedient hetzelfde domein ook Vlaanderen. Een analyse op landniveau verhult dan precies wat u zou moeten zien. Snijd daarom per taal; de zichtbaarheidsrapportages van hetzelfde platform zitten in hetzelfde account, zonder aparte export.

Sitemaphygiëne en een werkbare procedure

Een sitemap is geen inventaris van bestaande URL's, maar een aanbeveling: elke regel stelt dat die pagina het indexeren waard is. Bestaat dertig procent van het bestand uit redirects, foutpagina's en URL's met noindex, dan daalt het vertrouwen in het geheel — en daarmee het nut van het bestand voor de pagina's die er terecht in staan.

Daaruit volgt een werkvolgorde die begint met opruimen. Eerst saneert u de sitemap, daarna laat u die verwerken — via bestandsupload of via het adres, afhankelijk van de vraag of het bestand al publiek is. Het resultaat levert een eerste stand van zaken op: gevonden URL's, mislukte URL's en de statuscodes die zich opstapelen.

Die foutenlijst werkt u af voordat er één dagbudget aan wordt uitgegeven. Pas daarna begint de gerangschikte indiening, met de beslissende pagina's vooraan. Na een week levert het logboek genoeg meetpunten op: bezocht en bewaard, bezocht en afgewezen, nooit opgehaald. De derde groep wijst op technische oorzaken, de tweede op inhoudelijke.

Veelgestelde vragen

Slot: zichtbaarheid begint bij vindbaarheid

Indexering is een onderschat knelpunt omdat het onzichtbaar blijft wanneer het goed gaat en niet op een storing lijkt wanneer het misgaat. Geen melding, geen rode balk, alleen pagina's zonder vertoningen. Wie het niet meet, werkt maandenlang aan teksten en links terwijl de oorzaak een fase eerder ligt.

De Indexing Hub verandert dat niet op magische wijze. Hij brengt drie dingen bij elkaar: een heldere doorvoerlimiet die tot prioriteren dwingt, een actieve melding die de tijd tot ontdekking verkort, en een logboek dat vermoedens vervangt door tijdstempels en statuscodes. De grenzen horen bij het beeld: duizend URL's per dag is een eindig getal, twee gelijktijdige taken ook, en een indiening blijft een indiening.

Juist die nuchterheid maakt het vakgebied planbaar. Wie weet dat 40.000 URL's bij vol budget veertig dagen vragen, plant anders dan wie op een knop drukt en hoopt. Wilt u nagaan hoeveel van uw pagina's daadwerkelijk worden meegenomen, dan kunt u het Semalt-dashboard openen en beginnen met één sitemapronde. Die eerste stand van zaken is doorgaans leerzamer dan verwacht.