Meten of het iets oplevert

Wat u minimaal noteert, is de omvang van uw huidige vragenstroom. Tel een maand lang hoeveel e-mails met vragen er binnenkomen en hoeveel telefoontjes. Sorteer ze grofweg op onderwerp; vijf categorieën is genoeg. Schat per categorie hoeveel tijd een vraag u kost, inclusief het onderbreken van waar u mee bezig was, want dat is een reëel deel van de last.

Noteer daarnaast een paar gegevens die u waarschijnlijk al heeft. Hoeveel bezoekers krijgt u per maand, hoeveel formulierinzendingen leveren die op, en hoe lang duurt het gemiddeld voordat iemand antwoord krijgt. Die laatste is opvallend vaak het cijfer waar de winst zit.

Deze nulmeting kost u een uur werk verdeeld over een maand. Zonder die maand blijft u aangewezen op herinneringen, en herinneringen aan hoeveel vragen u kreeg zijn systematisch onbetrouwbaar. Heeft u nog geen fatsoenlijk beeld van uw bezoekersaantallen, begin daar dan; bezoekersstatistieken op een privacyvriendelijke manier instellen is een voorwaarde voor de rest en staat los van dit onderwerp.

• Het aantal gesprekken. Hoog is niet goed. Het kan betekenen dat uw site zo onduidelijk is dat mensen wel moeten vragen. Het kan ook betekenen dat het venster vanzelf openklapt en mensen erin klikken om het weg te krijgen.
• Het aantal berichten per gesprek. Wordt gepresenteerd als betrokkenheid. Vaak is het het tegenovergestelde: iemand die zes keer opnieuw moet formuleren omdat hij geen antwoord krijgt.
• Het percentage beantwoorde vragen. Dit telt hoe vaak het systeem iets terugzei, niet hoe vaak dat klopte. Een chatbot die alles verzint, scoort hier honderd procent.
• De tevredenheidsduimpjes. Ze worden zelden aangeklikt, en vrijwel alleen door mensen die boos zijn of juist verrast. Als signaal bruikbaar, als cijfer niet.
• Bespaarde uren volgens de aanbieder. Dat is het aantal gesprekken vermenigvuldigd met een aanname over hoe lang zo\'n vraag u zou hebben gekost. De aanname komt niet van u.

Geen van deze getallen is onzin, maar geen van deze getallen beantwoordt de vraag die u stelt. Ze meten activiteit, en activiteit is niet hetzelfde als nut. Bewaar ze gerust, maar neem er geen beslissing op.

Uw eigen vragenstroom

Het belangrijkste cijfer staat niet in de rapportage van de chatbot maar in uw mailbox. Krijgt u na drie maanden minder vragen over onderwerpen waar de bot antwoord op geeft? Dat is de meting die er werkelijk toe doet, en daarvoor heeft u uw nulmeting nodig.

Het aandeel gesprekken zonder bron

Hoe vaak werd er iets gevraagd waar in uw materiaal niets over stond. Dit is geen prestatiecijfer maar een werklijst: elk zo\'n geval is een onderwerp dat op uw site hoort te staan. Loopt dit aandeel maand op maand omlaag, dan wordt uw website beter, en dat is winst die blijft ook als u de bot ooit uitzet.

Doorschakelingen naar een mens

Hoe vaak eindigt een gesprek bij u. Dat is niet per se een tekortkoming; een chatbot die op het juiste moment doorverwijst, doet zijn werk goed. Waar u naar kijkt is de reden: is het een klacht, of gewoon iets simpels dat hij had moeten weten.

Reactietijd buiten kantooruren

Hoeveel van de gesprekken vallen buiten uw openingstijden. Dat is het deel van de opbrengst dat u anders pas de volgende ochtend had opgepakt, en bij veel bedrijven is dat het punt waarop de rekensom kantelt.

Wat u dan te zien krijgt, is niet te vervangen door een rapportage. U leest in de eigen woorden van uw klanten wat zij niet begrijpen aan uw dienst, welke informatie zij op uw site niet konden vinden en op welk punt zij afhaken. Ondernemers die dit voor het eerst doen, schrikken doorgaans van hoe basaal de vragen zijn.

Beoordeel per gesprek drie dingen. Klopte het antwoord feitelijk? Was het antwoord bruikbaar, of technisch juist maar niet wat de vrager zocht? En had de bezoeker dit ook op uw site kunnen vinden als die beter geordend was?

Die laatste vraag levert het meeste op. In onze ervaring is een flink deel van de chatgesprekken op te lossen met een betere pagina, en dat is goedkoper dan het in stand houden van een chatvoorziening. Wie hier eerlijk naar kijkt, komt soms tot de conclusie dat het venster vooral een symptoom heeft blootgelegd. Dat is een goede uitkomst, ook al is het niet de uitkomst die de aanbieder voor ogen had.

Bewaar wat u vindt in een simpel bestand met datum, vraag en wat u eraan heeft gedaan. Dat is uw eigenlijke rapportage, en het is dezelfde werkwijze als bij het maandelijks verslag doen van wat er aan een site is gebeurd.

In dezelfde periode dat de chatbot live ging, is er waarschijnlijk meer gebeurd. U heeft pagina\'s bijgewerkt, misschien liep er een campagne, misschien was het een ander seizoen, misschien deed een concurrent iets. Gaan uw aanvragen omhoog, dan is de verleiding groot om dat aan het nieuwste onderdeel toe te schrijven. Gaan ze omlaag, dan wordt datzelfde onderdeel de schuldige.

Wat u wel kunt doen, is de kans op een verkeerde conclusie verkleinen. Verander niet drie dingen tegelijk. Vergelijk met dezelfde periode vorig jaar in plaats van met vorige maand, zeker als uw omzet seizoensgebonden is. En kijk naar de vraagsoort in plaats van naar het totaal: als het aantal vragen over levertijden daalt terwijl de rest gelijk blijft, is dat een sterker signaal dan een daling van het totaal.

Wees ook eerlijk over de andere richting. Als uw formulierinzendingen zijn gedaald sinds de chatbot er staat, kan dat betekenen dat vragen worden afgevangen. Het kan ook betekenen dat mensen in het venster blijven hangen en nooit bij het formulier komen. Kijk dan naar het aantal contactmomenten in totaal, niet naar één kanaal.

1. Maand nul. Nulmeting: vragenstroom tellen en indelen, bezoekersaantallen en formulierinzendingen noteren, gemiddelde reactietijd schatten. Leg vast welke uitkomst u na drie maanden voldoende vindt om door te gaan.
2. Maand een. Niets veranderen behalve fouten repareren. Wekelijks tien gesprekken teruglezen; de eerste weken leveren de meeste verbeterpunten op. Onbeantwoorde onderwerpen op een lijst zetten.
3. Maand twee. De lijst met ontbrekende onderwerpen wegwerken door ze op uw site te zetten. Nu pas de vergelijking met de nulmeting maken, want maand een is nooit representatief.
4. Maand drie. Volledige vergelijking: vragenstroom, aanvragen, reactietijd, kosten. Zet daar de werkelijke kosten tegenover, inclusief uw eigen uren aan beoordelen en bijhouden.

Dat laatste punt wordt het vaakst vergeten. Reken niet alleen het abonnement en het verbruik mee, maar ook het uur per maand dat iemand bij u eraan besteedt en het deel van de bouwkosten dat op deze periode drukt. Pas dan vergelijkt u eerlijk. Wat het reguliere beheer eromheen kost, staat in de maandtarieven van onze onderhoudspakketten; de AI-kant is per situatie te verschillend voor een vast bedrag.

Redelijke gronden om te stoppen zijn er genoeg. Uw eigen vragenstroom is na drie maanden niet gedaald en het venster levert vooral gesprekken op die u toch al had. De gesprekken die u terugleest bestaan overwegend uit vragen die met één goede pagina waren voorkomen. De kosten inclusief uw eigen tijd komen hoger uit dan wat het aan werk wegneemt. Of u merkt dat de kwaliteit alleen op peil blijft zolang iemand er wekelijks bovenop zit, en die iemand is er niet.

Stoppen is technisch eenvoudig en kost weinig. Wat u wel wilt regelen, is dat u uw eigen materiaal en de gespreksgeschiedenis meekrijgt, en dat het abonnement daadwerkelijk wordt opgezegd in plaats van stilzwijgend door te lopen. Vraag daar bij de start naar, niet bij het vertrek.

Wat u overhoudt als u stopt, is bovendien niet niets. De onderwerpen die u naar aanleiding van de gesprekken op uw site heeft gezet, blijven staan en blijven werk besparen. Dat is de reden dat wij dit soort trajecten graag klein en tijdelijk beginnen. Hoe wij daarnaar kijken, staat bij onze uitgangspunten bij automatisering rond een website. Wilt u uw eigen cijfers een keer tegen het licht houden, dan kunt u ons daarvoor benaderen zonder dat er iets uit hoeft te komen.