Når AI genererer informasjon som høres overbevisende ut, men er feilaktig eller oppdiktet.
Hallusinering skjer når en AI-modell genererer informasjon som høres overbevisende ut, men som er faktisk feil eller fullstendig oppdiktet. Modellen «lyver» ikke bevisst — den produserer det som statistisk sett er den mest sannsynlige neste sekvensen, uavhengig av om innholdet er korrekt.
Hallusinering oppstår fordi språkmodeller er designet for å generere plausibel tekst, ikke nødvendigvis sann tekst. Når modellen mangler informasjon eller spørsmålet er tvetydig, kan den fylle hullene med oppkonstruerte fakta, falske referanser eller fiktive statistikker. Problemet er spesielt utbredt for spesifikke fakta som datoer, tall og navn.
Hallusinering er fortsatt den største utfordringen for AI i produksjonsmiljøer. RAG-systemer og grounding-teknikker har redusert problemet betydelig, men eliminert det ikke. I felt som jus, medisin og journalistikk kan en enkelt hallusinering ha alvorlige konsekvenser. Benchmarks som HallucinationEval har blitt standard for å måle modellers pålitelighet.