Waarom AI kan hallucineren op feiten – en wat je er tegen doet

AI-modellen zijn inmiddels berucht om hun hallucinaties: plausibel klinkende antwoorden die feitelijk onjuist blijken. Je ziet ze bijvoorbeeld vaak optreden bij citaten – die vervolgens nooit daadwerkelijk blijken uitgesproken. Of een AI-model verwijst in juridische context naar een compleet verkeerd (nummer van een) wetsartikel. Een onderzoeker van de rechtenfaculteit noemde de AI-modellen daardoor laatst tegen mij ‘gewoon dom’. 

Hallucinaties van AI-modellen leiden dus tot veel frustraties. Maar hoe kan het dat taalmodellen op zoveel taken hele nuttige antwoorden geven, en tegelijkertijd op sommige momenten compleet uit de bocht vliegen? Daar zijn verschillende oorzaken voor, waarvan ik er hier een wil uitlichten. Opvallend is namelijk dat beruchte hallucinaties vaak optreden bij feitelijke informatie. De citaten en wetsartikelen uit het voorbeeld moeten immers exact kloppen – en juist daar lijkt AI moeite mee te hebben. 

Dat lijkt misschien in eerste instantie niet zo verrassend: juist feitelijke informatie is per definitie correct of incorrect, en daar vallen fouten dus ook duidelijker op. Toch is er hier meer aan de hand. AI-modellen blijken intrinsiek extra kwetsbaar voor vragen naar feiten – door de manier waarop we ze trainen en vervolgens gebruiken. Dat vraagt een diepere uitleg. 

Gebrek aan plek

Moderne AI-modellen zijn eigenlijk altijd opgebouwd uit een groot netwerk van kunstmatige zenuwcellen. Je kunt je AI-modellen daarom voorstellen als een soort ‘kunstmatig brein’. Net als ons eigen brein heeft zo’n kunstmatige brein een bepaalde capaciteit: we kunnen er een bepaalde hoeveelheid kennis en vaardigheden in kwijt. 

Die eindige capaciteit zien we ook duidelijk bij mensen. Een jurist studeert bijvoorbeeld jarenlang rechten en heeft daarna alle wetsartikelen direct paraat. Een arts studeert in diezelfde tijd juist voor medische diagnoses, en slaat daarom die kennis in steeds meer detail op. Geen mens heeft echter alle kennis op deze wereld direct paraat. 

Dezelfde beperkte capaciteit gaat ook op voor kunstmatige intelligentie. AI-modellen worden echter wel getraind op alle beschikbare data op het internet – juridische teksten, medische teksten, etc. AI is een soort student die alle studies tegelijk doorloopt. Dat biedt voordelen, maar er is ook een probleem: er is bij lange na niet genoeg ruimte in het ‘brein’ van de AI om alle feitelijke informatie uit deze wereld op te slaan. 

In de praktijk zien we dat AI-modellen daardoor vooral de grote patronen in de data aanleren. Ze leren bijvoorbeeld goed algemeen redeneren, en slaan ook feiten op die veelvuldig in de data voorkomen (zoals de hoofdstad van Nederland). Een specifiek wetsartikel komt echter relatief weinig voor in de data, en daardoor valt het uiteindelijk ook weg in het AI-model – omdat het er simpelweg niet bijpast. 

Weten wat je niet weet

Dat hoeft op zichzelf niet zo’n probleem te zijn: als het AI-model het antwoord niet weet, waarom zegt het dat dan niet gewoon (in plaats van een antwoord te hallucineren)? Nu wordt het verhaal interessanter. Taalmodellen worden namelijk getraind om de meest waarschijnlijke volgende letters en woorden te voorspellen. Als het model echter niet heeft kunnen opslaan wat het daadwerkelijke correcte wetsartikel is (zoals ‘34’), voorspelt het daarom een waarschijnlijk volgend woord – in dit geval een (willekeurig) getal (zoals ‘59’).  

Het probleem is dat een mens in dit soort situaties aangeeft dat hij of zij het antwoord niet weet. Mensen weten wat ze niet weten (tot op zeker hoogte). Dit is uiteindelijk een van de grote uitdagingen die we nog niet goed onder de knie hebben in computers: weten wat je niet weet. En dat probleem wordt bij uitstek zichtbaar in situaties waar we vragen naar specifieke feiten die slechts in beperkte mate voorkwamen in de trainingsdata.

Zoek het op

Wanneer wij als mensen bepaalde feitelijke kennis niet paraat hebben, dan hebben we een duidelijke oplossing: we zoeken de informatie op in een externe kennisbank. Vroeger deden we dat doorgaans in fysieke bibliotheken, en tegenwoordig kijken we meestal digitaal op het internet. De jurist uit het voorbeeld zoekt bij twijfel ook nog weleens een artikelnummer op in een wetboek. Door dit soort naslag in externe bronnen wordt de menselijke reproductie van feiten veel betrouwbaarder. 

Interessant genoeg kunnen we diezelfde oplossing ook toepassen in de kunstmatige intelligentie. Daarbij laten we het AI-model niet direct antwoorden op een vraag, maar laten we het eerst extra informatie opzoeken op het internet. De meest relevante informatie geven we vervolgens als extra input aan het AI-model – alsof het eerst even die websites heeft bekeken. 

We noemen dit retrieval-augmented generation (RAG), omdat het AI-model een antwoord genereert (‘generation’) nadat eerst extra externe bronnen worden opgehaald (‘retrieval’). Je herkent deze tussenstap doordat bovenin het AI-model tijdelijk ‘searching the web’ komt te staan. Met deze extra stap worden de antwoorden van een AI-model vaak aanzienlijk betrouwbaarder: de combinatie van ‘brein + externe kennisbank’ wint het vaak van ‘brein’ alleen – in mensen én in computers. 

Het ophalen van informatie kost echter ook tijd en energie, en dus willen we het alleen doen als het echt nodig is. Ook in AI-modellen proberen we daarom voortdurend in te schatten of het voor deze vraag nodig is om extra informatie op het internet op te halen. Vaak gaat die inschatting goed, maar soms zit het model ernaast – en dan groeit ook het risico op hallucinaties van feiten.  

Als gebruiker kun je dat echter (deels) oplossen – door het model expliciet te vragen om externe bronnen op het halen. Bij een vraag over wetsartikelen kun je bijvoorbeeld toevoegen: ‘zoek eerst op internet naar relevante bronnen, en verwijs hier vervolgens naar in je antwoord.’ Zo kun je (indien nodig) de retrieval-stap afdwingen – en dat verhoogt de betrouwbaarheid van feitelijke informatie in het antwoord vaak aanzienlijk.