Antwoorden uit uw eigen documenten: hoe werkt dat

Documenten doorzoeken met AI is de toepassing waar ondernemers het snelst enthousiast van worden. U heeft handleidingen, prijslijsten, montage-instructies en garantievoorwaarden die niemand vindt, en het idee dat een bot daar antwoorden uit haalt, klinkt als een oplossing die er al lang had moeten zijn. Dat kan ook, maar de kwaliteit hangt bijna volledig af van wat u vooraf doet met die bestanden.

Wat er met een document gebeurt

Voordat een systeem uw PDF kan gebruiken, gaat het door vier stappen.

1. Tekst eruit halen. Een PDF is voor een computer een vel met inkt op posities, niet automatisch leesbare tekst.
2. Opknippen. De tekst wordt verdeeld in stukjes van een paar honderd woorden, want een heel document meesturen is te veel.
3. Omzetten naar een zoekbare vorm. Elk stukje krijgt een numerieke vingerafdruk, zodat het systeem kan zoeken op betekenis in plaats van op exacte woorden.
4. Opslaan. Die stukjes komen in een aparte zoekopslag te staan bij uw aanbieder.

Bij een vraag zoekt het systeem de drie of vier best passende stukjes op en stuurt die met de vraag mee naar het taalmodel. Het antwoord wordt dus gemaakt uit uw eigen tekst, niet uit algemene kennis. Dat is precies wat u wilt.

Waarom stap 1 zo vaak misgaat

Hier struikelt het merendeel van de projecten, en het valt pas op als de antwoorden vreemd worden.

Ingescande documenten bevatten geen tekst. Een gescande prijslijst is een foto. Zonder tekstherkenning haalt een systeem daar niets uit, en met tekstherkenning haalt het er tekst uit met fouten in getallen. Bij prijzen is dat een reëel probleem.

Tabellen overleven het knippen zelden. Een prijstabel met vijf kolommen wordt platgeslagen tot een reeks getallen zonder kopjes. Het model kan dan niet meer zien welk bedrag bij welk product hoort, en verzint dat verband alsnog.

Kolommen worden door elkaar gehaald. Brochures met twee kolommen leveren regelmatig zinnen op die uit twee verschillende alinea’s zijn samengeraapt.

Kopteksten en voetteksten komen overal terug. Uw bedrijfsnaam en paginanummer in elk stukje maken het zoeken minder scherp.

De praktische conclusie: PDF’s zijn niet het beste bronmateriaal. Waar u de tekst ook als gewone webpagina heeft staan, is dat vrijwel altijd het betere uitgangspunt.

Wat u wel en niet erin stopt

• Wel: veelgestelde vragen, productinformatie, leverings- en retourvoorwaarden, montage-instructies, werkwijzen die u toch al opschrijft.
• Wel, met zorg: prijslijsten. Alleen als ze actueel zijn en als de structuur behouden blijft. Anders is dit uw grootste risico.
• Niet: personeelsdossiers, interne calculaties, klantgegevens, offertes van individuele klanten, alles waar marges in staan.
• Niet: oude versies. Twee versies van dezelfde voorwaarden in één opslag leveren tegenstrijdige antwoorden op, en het systeem heeft geen idee welke de nieuwste is.

Die laatste is de sluipende fout. Wij zien geregeld dat er in de loop van een jaar tien documenten bij komen zonder dat er ooit iets uit wordt gehaald.

Voorbereiding die het verschil maakt

Een halve dag opruimen levert meer op dan een duurder pakket. Concreet:

1. Zet de tien belangrijkste documenten om naar gewone webpagina’s. Beter voor de bot, beter voor uw bezoekers, beter voor uw vindbaarheid.
2. Geef elk document een duidelijke titel en een datum. Zodat het systeem kan verwijzen naar de bron en u kunt zien wat oud is.
3. Haal tabellen uit PDF’s en zet ze als gestructureerde tekst neer, met bij elk getal het label erbij.
4. Ruim doublures op. Eén versie van de waarheid per onderwerp.
5. Zet een houdbaarheidsdatum in uw agenda, bijvoorbeeld elk halfjaar, om de bronlijst na te lopen.

Dat vijfde punt is precies het soort werk dat blijft liggen; het hoort thuis in dezelfde routine als het bijhouden van de documentatie rond uw website.

Wat er in WordPress zelf voor nodig is

De koppeling tussen uw site en de zoekopslag is geen eenmalige handeling. De meeste aanbieders lezen uw sitemap of een opgegeven lijst met adressen uit en zetten daar een frequentie op: dagelijks, wekelijks, of alleen wanneer u er zelf op drukt. Staat die instelling op handmatig, dan blijft de bot maandenlang antwoorden uit een versie die u allang heeft aangepast.

Let daarbij op drie dingen. Uploadt u een nieuwe PDF onder dezelfde bestandsnaam, dan verandert het adres niet, en een systeem dat alleen naar gewijzigde adressen kijkt merkt er niets van; forceer in dat geval een nieuwe leesronde. Afgeschermde delen van uw site, zoals een klantportaal of een ledengedeelte, horen buiten de lijst te blijven, anders krijgt een willekeurige bezoeker via de chat alsnog te horen wat daar staat. En pagina’s die u bewust op noindex heeft gezet, staan daar meestal met reden; behandel de bronlijst als dezelfde soort keuze.

Leg tot slot vast wie die lijst beheert. In de praktijk is dat dezelfde persoon die ook de pagina’s bijwerkt, en juist die combinatie voorkomt dat bron en website uit elkaar gaan lopen.

Testen voordat u het loslaat

Stel twintig vragen waarvan u het antwoord kent, en vijf waarvan het antwoord nergens in staat. Bij die laatste vijf hoort er te komen dat het niet bekend is. Komt er wel een antwoord, dan is uw instructie te soepel en gaat het systeem gaten opvullen.

Controleer bij elk antwoord ook of het de juiste bron noemt. Een correct antwoord uit het verkeerde document is toeval, en toeval herhaalt zich niet.

Wat er verder helpt: laat een collega die de documenten níet kent de test doen. Die stelt de vragen zoals klanten ze stellen, en niet zoals de tekst is opgeschreven. Het verschil in resultaat is groter dan u verwacht.

Wij pakken zo’n traject daarom altijd in twee delen aan: eerst de bronnen op orde, dan pas de techniek. Vaak blijkt het eerste deel op zichzelf al waardevol, omdat er bij het opruimen documenten opduiken die al twee jaar verkeerde informatie bevatten. Hoe wij die volgorde in de praktijk aanhouden, staat beschreven bij AI die uit uw eigen kennis put. Een bot bouwen op rommelig materiaal levert alleen een snellere manier op om rommel te verspreiden.