U opent Search Console, ziet een rood bolletje bij Sitemaps en de tekst dat er iets is misgegaan. Meteen bekruipt u het gevoel dat uw hele vindbaarheid op het spel staat. In de praktijk valt dat mee: een sitemapfout in Search Console is vaak een kleine technische kwestie en soms zelfs helemaal geen probleem.

Wat wel telt, is dat u de meldingen uit elkaar kunt houden. Er zijn er ongeveer zes die u regelmatig tegenkomt, en de juiste reactie verschilt per melding sterk. Hieronder staan ze met de bijbehorende oplossing.

Waar een sitemap eigenlijk voor is

Een sitemap is een bestand met een lijst van adressen die u belangrijk vindt, plus de datum waarop ze voor het laatst zijn gewijzigd. Het is een uitnodiging, geen bevel. Google gebruikt het als hulpmiddel om sneller te weten wat er nieuw is, maar hij vindt uw pagina’s ook zonder.

Dat verklaart waarom een pagina die keurig in de sitemap staat toch niet in de zoekresultaten hoeft te verschijnen, en waarom een pagina die er niet in staat er wel in kan staan. De sitemap bepaalt niets over kwaliteit of positie; hij bepaalt alleen hoe snel iets wordt opgemerkt.

In WordPress wordt zo’n bestand vrijwel altijd door een SEO-plugin gemaakt. Het adres is meestal /sitemap_index.xml of /sitemap.xml. WordPress zelf maakt er sinds versie 5.5 ook een op /wp-sitemap.xml, en die twee kunnen elkaar in de weg zitten.

Melding: kon niet worden opgehaald

De meest gemelde en meestal de onschuldigste. Google heeft één keer geprobeerd het bestand te lezen en kreeg geen antwoord binnen de tijd die hij ervoor uittrekt.

Controleer eerst zelf: roep het adres op in een privévenster. Ziet u een lijst met adressen, dan is het bestand er en werkt het. Wacht in dat geval een dag of twee en dien de sitemap opnieuw in; de melding verdwijnt vaak vanzelf.

Blijft het misgaan, kijk dan naar deze verdachten: een beveiligingsplugin of firewall die de bot van Google blokkeert, een server die te traag is bij grote bestanden, of een cacheplugin die een lege versie serveert. Op sites met tienduizenden adressen is de sitemap soms simpelweg te zwaar om binnen de tijd te genereren; dan helpt het om hem in kleinere delen te splitsen.

Melding: url geblokkeerd door robots.txt

U biedt adressen aan die u tegelijk verbiedt op te halen. Dat is een tegenstrijdigheid en Google meldt het terecht.

Open uw domein met /robots.txt erachter en kijk welke regels er staan. Vaak is er ooit een map uitgesloten waar later inhoud in is beland. Haal de regel weg als de pagina’s wel gevonden mogen worden, of haal de adressen uit de sitemap als ze er niet in horen.

Let op: robots.txt en de noindex-instructie zijn twee verschillende dingen die elkaar bijten. Een pagina die geblokkeerd is in robots.txt, kan Google niet lezen, en dus ziet hij ook niet dat er een noindex op staat. Meer over die instructie leest u in het artikel over het vinkje dat uw site verbergt.

Melding: sitemap bevat url’s die zijn geweigerd

Google heeft de adressen bekeken en een deel niet opgenomen. Meestal ziet u dan bij het overzicht van pagina’s welke reden hij geeft: een doorverwijzing, een canonieke verwijzing naar een ander adres, een 404, of het oordeel dat de pagina niet de moeite waard is.

De eerste drie hoort u op te ruimen. Een sitemap hoort alleen adressen te bevatten die op zichzelf bestaan, met code 200 antwoorden en naar zichzelf verwijzen. Een sitemap vol doorverwijzingen ondermijnt het vertrouwen in de rest van het bestand.

Het vierde geval is geen technische fout en lost u niet op met instellingen. Daar is de vraag of die pagina’s überhaupt in de sitemap thuishoren.

Melding: onjuiste indeling of ongeldig XML

Het bestand voldoet niet aan de vorm die verwacht wordt. Bij een sitemap uit een plugin komt dit zelden door de plugin zelf. In negen van de tien gevallen zet iets anders er tekst voor of achter.

Klassiek voorbeeld: een witregel of een foutmelding boven aan het bestand, veroorzaakt door een regel te veel in het functies-bestand van uw thema. Open het sitemapadres en kijk of er iets boven de eerste regel staat. Ziet u daar een PHP-waarschuwing, dan is dat uw oorzaak.

Een andere veroorzaker is een cacheplugin die het bestand behandelt als een gewone pagina en er extra opmaak omheen zet. Sluit het sitemapadres dan uit van de cache.

Melding: 404 op het sitemapadres

Er staat op die plek niets. Drie mogelijkheden: u dient een verkeerd adres in, de sitemapfunctie van uw plugin staat uit, of de doorverwijzingsregels van WordPress zijn stuk.

Ga in dat laatste geval naar Instellingen en dan Permalinks en klik op opslaan zonder iets te wijzigen. Dat schrijft de regels opnieuw weg en lost verrassend veel op. Werkt dat niet en geven ook andere pagina’s een 404, dan is er meer aan de hand; dat wordt behandeld in het artikel over 404-fouten na een permalinkwijziging.

Controleer ook of u niet twee sitemaps tegelijk aanbiedt. Draait er een SEO-plugin, dan hoort de ingebouwde WordPress-sitemap uitgeschakeld te zijn. Twee lijsten die elkaar tegenspreken leveren rare meldingen op.

Welke meldingen u gerust kunt laten staan

Niet alles hoeft groen. Een sitemap die is ingediend en waarvan een deel van de adressen niet is geïndexeerd, is volstrekt normaal; op elke site van enige omvang staat een deel van de pagina’s er niet in.

Ook een oude sitemap die u ooit heeft ingediend en die nu een 404 geeft, is te negeren zodra u hem uit de lijst verwijdert. Ga daar geen doorverwijzing voor bouwen.

Een webshop met vijfduizend producten zag maandenlang een waarschuwing over honderden geweigerde adressen. Bij nader inzien ging het om uitverkochte producten die automatisch werden doorgestuurd naar de categoriepagina. De sitemap was aangepast zodat die adressen er niet meer in stonden, en daarmee was de melding weg. De site zelf had nooit een probleem gehad.

Wat u er structureel mee doet

Kijk eens per maand in het sitemapoverzicht en let vooral op grote veranderingen in het aantal ingediende adressen. Zakt dat van driehonderd naar twintig, dan is er iets veranderd in uw instellingen en dat wilt u weten voordat het gevolgen heeft.

Blijft een melding terugkomen terwijl het bestand er gewoon staat, dan zit er een blokkade of een cachelaag tussen die u van buitenaf niet ziet. Voor hulp bij het lezen van dit soort technische foutrapporten is een blik op de serverlogboeken meestal genoeg; wij pakken dat bij WebMaintor doorgaans samen met de hostingpartij op.

Doe vandaag deze ene controle: open uw sitemapadres in een privévenster. Krijgt u een nette lijst met adressen te zien, dan is er technisch weinig aan de hand en gaat het gesprek verder over inhoud.