Bij het bouwen van een nieuwe website is het volstrekt logisch: u wilt niet dat een half afgemaakte site in de zoekresultaten verschijnt. WordPress heeft daar een keurige voorziening voor, één vinkje onder Instellingen en dan Lezen. Alleen wordt dat vinkje bij oplevering vergeten, en dan is een noindex in WordPress de stilste manier om uw hele online vindbaarheid weg te gooien.
Er komt geen foutmelding. De site laadt snel, ziet er goed uit en werkt perfect. Alleen komt er geen bezoeker meer uit Google, en dat merkt u pas als het geld begint te schelen.
Wat dat vinkje precies doet
Als het aanstaat, gebeuren er twee dingen tegelijk. Uw robots.txt-bestand krijgt een regel die crawlers vraagt niets op te halen, en aan elke pagina wordt een instructie meegegeven dat hij niet in de index mag. Die tweede instructie is de belangrijkste, want daar houden zoekmachines zich in de praktijk aan.
Het effect is niet direct. Bestaande pagina’s verdwijnen geleidelijk, meestal over een periode van twee tot zes weken. Dat maakt de diagnose lastig, want de daling in bezoekersaantallen lijkt op een geleidelijke terugval in plaats van op een schakelaar die is omgezet.
Belangrijk: WordPress zet er zelf een tekst bij dat zoekmachines het verzoek mogen negeren. In de praktijk doet Google dat niet, maar sommige andere partijen wel. Reken er dus niet op als beveiligingsmaatregel voor een testomgeving; daar hoort een wachtwoord op de hele omgeving.
Controleren of het bij u speelt
Drie controles, elk een halve minuut.
- Kijk in het beheerscherm. Ga naar Instellingen en dan Lezen. Staat het vinkje bij zichtbaarheid voor zoekmachines aan, dan heeft u de oorzaak. Sommige SEO-plugins zetten er bovendien een grote rode waarschuwing bij in het dashboard.
- Bekijk uw robots.txt. Vraag dat bestand op door achter uw domeinnaam /robots.txt te typen en lees wat er staat. Sluit een regel daar alles uit, dan is dat een sterk signaal.
- Zoek in de broncode. Open uw homepage, bekijk de broncode en zoek op het woord noindex. Vindt u het, dan wordt het aan bezoekers en crawlers meegegeven.
Die laatste is de doorslaggevende, want de instructie kan ook ergens anders vandaan komen dan van dat vinkje.
De andere plekken waar een noindex vandaan komt
Staat het vinkje uit maar vindt u de instructie toch in de broncode, dan zit hij ergens anders. Vier mogelijkheden.
Per pagina in uw SEO-plugin. Yoast en Rank Math hebben een instelling per bericht en per pagina, verstopt onder een tabblad met geavanceerde opties. Een medewerker die één pagina wilde verbergen, kan per ongeluk het sjabloon voor een heel contenttype hebben geraakt.
Op contenttype-niveau. In dezelfde plugins staat een scherm waar u per soort inhoud kunt aangeven of die in de zoekresultaten mag verschijnen. Staat daar per ongeluk uw productenlijst of uw dienstenpagina’s op verbergen, dan verdwijnen die allemaal tegelijk.
Via een instelling bij uw hosting of een netwerkdienst. Sommige omgevingen sturen de instructie mee vanaf de server. Dat is bij testomgevingen normaal, maar het gaat mis wanneer een site van test naar live gaat en die instelling meeverhuist.
In het thema. Zeldzaam, maar bij zelfgebouwde thema’s staat er soms een regel in de kop die er ooit tijdens de bouw is neergezet.
Herstellen en daarna: wachten
Het aanpassen zelf is een kwestie van seconden. Het herstel van uw posities duurt veel langer, en dat is de reden dat deze fout zo duur is.
- Haal het vinkje weg of verwijder de instructie op de plek waar u hem vond, en sla op.
- Controleer de broncode opnieuw in een privévenster, en leeg eerst uw caches. Anders kijkt u naar een bewaarde versie.
- Dien uw sitemap opnieuw in bij Search Console, zodat Google een verse lijst met adressen krijgt.
- Vraag handmatig om indexering van de vijf tot tien pagina’s die er zakelijk toe doen.
- Houd twee weken vol. Pagina’s komen niet in één keer terug; ze druppelen binnen.
Reken op enkele weken voor de meeste pagina’s en op langer voordat u weer op uw oude posities staat. Hoe langer de blokkade heeft gestaan, hoe langer het herstel duurt. Bij een blokkade van een week merkt u er weinig van; bij vier maanden bent u de opgebouwde positie grotendeels kwijt.
De schade in de praktijk
Een cateringbedrijf liet een nieuwe site bouwen die er beduidend beter uitzag dan de oude. Na de lancering liep het aantal offerteaanvragen langzaam terug. Pas na vier maanden, toen het opviel dat de site zelfs op de eigen bedrijfsnaam niet meer bovenaan stond, werd de oorzaak gevonden: het vinkje stond nog aan sinds de bouwperiode.
Twee weken na het weghalen kwamen de eerste pagina’s terug. Volledig herstel duurde ruim drie maanden. Het gemiste werk in die periode is niet precies te becijferen, maar het ging om een stuk of veertig aanvragen die normaal via de site binnenkwamen.
De vervelende kant van dit verhaal: iedereen had het kunnen zien. Er is geen enkele technische kennis voor nodig om dat ene scherm te openen.
Wanneer noindex juist wél verstandig is
Voor de nuance: er zijn pagina’s die er terecht niet in horen. Een bedankpagina na een formulier, een interne zoekresultatenpagina, een inlogscherm voor klanten, of een pagina die alleen bestaat voor een advertentiecampagne. Die op noindex zetten is geen fout maar goed beheer, want ze vervuilen anders het beeld dat Google van uw site heeft.
Het onderscheid is simpel: is deze pagina bedoeld om gevonden te worden door iemand die u nog niet kent? Zo nee, dan mag hij eruit. Zo ja, dan hoort er niets in de weg te staan. Wat er nog meer in de weg kan staan, leest u in het overzicht van technische oorzaken van niet-geïndexeerde pagina's.
Maak er een vast punt van bij oplevering
Zet dit op de lijst die u afwerkt op de dag dat een site live gaat, naast het certificaat, de formulieren en de doorverwijzingen van oude adressen. Het kost tien seconden en voorkomt maanden schade. Wat er verder in zo’n opleveringsronde hoort, staat in de checklist rond het live zetten van een website.
Merkt u dat het bezoek terugloopt zonder duidelijke reden, dan is dit het eerste dat u nakijkt. Blijkt het niet dat vinkje te zijn, dan is een controle op instellingen die uw site onzichtbaar maken de logische volgende stap; bij WebMaintor zit die controle in elke oplevering en in de periodieke ronde.
Doe het nu meteen: open Instellingen en dan Lezen en kijk naar dat ene vinkje. Tien seconden werk, en u weet of dit uw probleem is.
