Waarom een chatbot soms iets verzint

Stel dat iemand vraagt naar uw retourtermijn en die staat nergens in de informatie die het model bij de hand heeft. Dan stopt het niet. Het vult in met wat in vergelijkbare teksten gebruikelijk is, en dat is doorgaans veertien of dertig dagen. Het resultaat leest als een feit over uw bedrijf, terwijl het een gemiddelde van de buitenwereld is.

Dit heet in het Engels vaak hallucineren, wat een ongelukkig woord is: het suggereert een afwijking. Het is geen afwijking. Hetzelfde mechanisme dat een vloeiend, behulpzaam antwoord oplevert als de informatie er wél is, levert een verzonnen antwoord op als die ontbreekt. U kunt het ene niet uitzetten zonder het andere te verliezen.

Wat u wel kunt, is het model instrueren om te melden dat het iets niet weet. Dat werkt beter dan vroeger, maar niet perfect: de neiging om behulpzaam te lijken is diep ingebakken. Bouw daarom uw opzet zo dat een ontbrekend antwoord de normale uitkomst is en niet iets waar het systeem omheen moet werken.

Een verzonnen antwoord komt er in exact dezelfde nette, zelfverzekerde zinnen uit als een juist antwoord. Vaak zelfs vlotter, want als er geen bronmateriaal is dat het model moet samenvatten, heeft het meer bewegingsvrijheid. Het gladste antwoord is niet zelden het minst betrouwbare.

Dat heeft een vervelend gevolg voor uw bezoeker. Die heeft geen enkel signaal om op af te gaan. Hij leest iets op uw domein, in uw huisstijl, in keurig Nederlands, en gaat er redelijkerwijs van uit dat het klopt.

Voor u betekent dit dat u het signaal er zelf in moet bouwen. De meest effectieve manier is bronvermelding: laat de bot bij elk antwoord tonen op welke pagina van uw site het gebaseerd is. Kan hij die niet noemen, dan hoort het antwoord er niet te zijn. Dat is streng, en het is de enige maatregel die zowel uw bezoeker als uzelf helpt. U ziet dan namelijk ook meteen terug wáár iets misging.

Wees ook alert op de omgekeerde fout. Sommige systemen worden zo streng ingesteld dat ze bij vrijwel elke vraag melden dat ze het niet zeker weten. Dat is niet betrouwbaar maar onbruikbaar, en bezoekers haken binnen twee vragen af. De kunst zit in het midden: antwoorden waar de bron er is, doorverwijzen waar die ontbreekt. Dat evenwicht vindt u alleen door echte gesprekken terug te lezen, niet door vooraf te redeneren.

Een paar voorbeelden die vaker voorkomen dan u denkt. Op uw voorwaardenpagina staat een retourtermijn van veertien dagen, in een oude blogpost van drie jaar geleden staat dertig. In een pdf uit 2021 staan prijzen die u allang heeft aangepast. Op één pagina heten uw pakketten anders dan in het bestelproces.

Een mens die dit tegenkomt, kiest de nieuwste versie of belt even. Een taalmodel doet dat niet. Het pakt wat het vindt, en soms mengt het twee versies tot iets wat nergens staat.

Het gevolg: een AI-project begint bijna altijd met opruimen. Welke pagina\'s zijn nog geldig, welke pdf\'s kunnen weg, waar staan prijzen dubbel. Dat is saai werk en het is de investering met het hoogste rendement, ook als u de chatbot uiteindelijk niet aanzet. Het is bovendien hetzelfde werk dat hoort bij uw site systematisch actueel houden. Bedrijven die dat op orde hebben, hebben veel minder last van verzonnen antwoorden.

Er is een simpele test om te zien hoe groot dit bij u is. Zoek op uw eigen site naar een getal dat u recent heeft gewijzigd, bijvoorbeeld een tarief of een termijn. Komt het op meer dan één plek voor, en staat er ergens nog de oude waarde? Dan heeft u het antwoord. Bij vrijwel elk bedrijf dat langer dan vijf jaar een website heeft, levert deze test iets op.

Het zoeken vindt het verkeerde stuk

De zoekstap werkt op gelijkenis in betekenis. Een vraag over "verzendkosten naar België" kan een stuk tekst over "verzendkosten binnen Nederland" opleveren als dat de enige passage over verzenden is. Het model vat vervolgens braaf het verkeerde stuk samen.

De informatie staat er half in

Vindt het systeem een passage die de vraag maar deels dekt, dan wordt het gat opgevuld. Dat is de gevaarlijkste categorie, want het antwoord is voor de helft aantoonbaar juist.

Er is niets te vinden

Dan hangt alles af van de instructie. Een goed ingerichte bot zegt dat hij het niet weet en biedt aan door te verwijzen. Een slecht ingerichte bot verzint. Test dit expliciet met vragen waarvan u weet dat het antwoord nergens staat.

De belangrijkste les: bronnen gebruiken verplaatst het probleem van het model naar uw archief. Dat is winst, want uw archief kunt u repareren. Maar het verdwijnt niet vanzelf, en het vraagt aandacht op momenten dat er niets aan de hand lijkt.

• Beperk het onderwerp. Een bot die alleen over uw producten en diensten gaat en alle andere vragen afwijst, verzint minder. Breedte is de vijand van betrouwbaarheid.
• Toon altijd de bron. Een link naar de pagina waar het antwoord vandaan komt, laat de bezoeker zelf controleren en maakt fouten voor u opspoorbaar.
• Verbied toezeggingen. Prijzen en levertijden mogen worden herhaald zoals ze op de site staan; afwijkingen, uitzonderingen en beloftes gaan naar een mens.
• Zet er een uitweg naast. Een zichtbare knop om een mens te bereiken, altijd, ook als het gesprek goed loopt.
• Lees de gesprekken terug. Wekelijks tien minuten in het begin. U vindt zo binnen een maand de meeste structurele fouten, en die zijn vrijwel altijd te verhelpen door uw tekst aan te passen.
• Test met lastige vragen. Niet met de vragen waarvan u het antwoord kent, maar met randgevallen en met vragen die nergens beantwoord worden.

Die laatste stap slaan mensen bijna altijd over. Het lijkt op nakijken of alles nog werkt na een update: iedereen weet dat het moet, weinigen doen het systematisch, en juist daar zit het verschil tussen een functie die vertrouwen wekt en een die u schaadt.

Denk na over wat er per onderwerp gebeurt bij een fout antwoord. Een verkeerde openingstijd kost een bezoeker een vergeefse rit; vervelend, te herstellen. Een verkeerde uitspraak over of een medicijn samengaat met iets anders, is een heel ander verhaal. Dezelfde techniek, volstrekt andere inzet.

Loop uw onderwerpen daarom langs en verdeel ze in drie stapels. Wat mag de bot zelfstandig beantwoorden, wat mag hij beantwoorden met een uitdrukkelijk voorbehoud en een verwijzing, en wat gaat direct naar een mens. Die derde stapel mag ruim zijn; dat kost u nauwelijks winst en het scheelt het soort fout waar u \'s nachts wakker van ligt.

Zet er tot slot een zichtbare melding bij dat antwoorden van een assistent komen en dat er fouten in kunnen zitten. Dat is geen vrijbrief, en wij zijn geen juristen, maar het is wel eerlijk richting uw bezoeker en het stelt hem in staat om te controleren wat hij leest.

Hoe wij deze afweging in een concreet plan gieten, staat op de pagina over AI-toepassingen op een WordPress-site. De kern is steeds dezelfde: klein beginnen op het gebied waar een fout weinig kost.

Zorg allereerst dat u de gesprekken kunt terugvinden. Zonder logboek staat u tegenover een klant met een schermafbeelding en heeft u niets. Bewaar gesprekken kort maar wel lang genoeg om dit soort meldingen te kunnen nazoeken.

Bepaal vooraf wie beslist. Bij een verkeerde prijs of levertijd is de vraag niet technisch maar commercieel: doet u het gestand of niet? Wij zijn geen juristen, maar het is verstandig ervan uit te gaan dat u de uitspraak op uw eigen site niet zomaar naast u neer kunt leggen. Een simpele huisregel, bijvoorbeeld dat u afwijkingen tot een bepaald bedrag gewoon honoreert, voorkomt eindeloos overleg.

Repareer daarna de oorzaak, niet het symptoom. Bijna altijd blijkt er een pagina te zijn die onduidelijk is of een oude versie die nog online staat. Pas die aan, en test of het antwoord daarna klopt.

Communiceer tot slot netjes richting de klant. Dat een systeem het fout deed, is voor de klant geen argument. Wij hebben eerder beschreven hoe goede opvolging bij een storing eruitziet; hier geldt hetzelfde: melden, uitleggen, herstellen.

Wilt u dit een keer doorlopen voordat het speelt, dan kan dat via een kort overleg over uw site. Het duurt een half uur en het levert doorgaans een lijstje op van onderwerpen waar u een bot beter niet over laat praten.