A mesterséges intelligencia fejlődése az elmúlt években robbanásszerű volt, különösen a nagy nyelvi modellek (Large Language Models, LLM-ek) területén. Ezek a rendszerek képesek emberihez hasonló szövegek generálására, azonban egyre több kutatás mutat rá arra, hogy jelentős korlátokkal küzdenek, különösen a tények és személyes hiedelmek megkülönböztetésében. Egy friss, lektorált tanulmány szerint az LLM-ek nemcsak nehezen ismerik fel, mikor egy hiedelem hamis, hanem hajlamosak is lehetnek félretájékoztatást terjeszteni, ha nem tudják megbízhatóan eldönteni az állítások igazságtartalmát.
A tények és hiedelmek közti különbség jelentősége
Az emberi gondolkodás egyik alapvető képessége, hogy meg tudjuk különböztetni a tényeket, a személyes hiedelmeket és a tudást. Ez az epistemikus megértés nélkülözhetetlen mindennapi döntéseinkhez és társadalmi interakcióinkhoz. Például amikor valaki azt mondja: „Úgy hiszem, holnap esni fog”, intuitívan értjük ennek bizonytalanságát. Ezzel szemben az olyan kijelentések, mint „Tudom, hogy a Föld kering a Nap körül”, már megalapozott tényként kezelendők.
Ez a finom megkülönböztetés kritikus szerepet játszik olyan területeken, mint az egészségügy, a jog vagy a tudomány – ahol az információ pontossága közvetlenül befolyásolhatja az emberi életet.
A Stanford Egyetem kutatása: 24 népszerű LLM vizsgálata
James Zou, a Stanford Egyetem docense és munkatársai egy átfogó kutatásban 24 népszerű nagy nyelvi modellt teszteltek – köztük olyanokat is, mint a DeepSeek és az 2024 májusában megjelent GPT-4o. A kutatás során mintegy 13 000 kérdésre adott válaszokat elemeztek annak érdekében, hogy felmérjék az LLM-ek képességét arra, hogy felismerjék és helyesen kezeljék a tényeket és személyes hiedelmeket.
Főbb eredmények
- Az LLM-ek kevésbé hajlamosak felismerni hamis hiedelmeket: Az újabb modellek (pl. GPT-4o) 34,3%-kal kevésbé valószínű, hogy hibás első személyű hiedelmet jelölnek meg hamisként összehasonlítva az igaz első személyű hiedelmekkel.
- A régebbi modellek még rosszabbul teljesítenek: Az 2024 májusa előtt kiadott modellek esetében ez az arány 38,6% volt.
- Tényfelismerési pontosság: Az újabb LLM-ek körülbelül 91%-os pontossággal különböztetik meg az igaz és hamis tényeket, míg a régebbi modellek esetében ez az arány 84,8% (igaz tények) illetve 71,5% (hamis tények) volt.
A tudás természetének megértése – még mindig kihívás
A tanulmány szerzői hangsúlyozzák, hogy bár látható némi fejlődés az LLM-ek teljesítményében, ezek a rendszerek továbbra is nehezen értik meg mélyen a tudás természetét. A kutatás szerint az LLM-ek gyakran inkonzisztens érvelési stratégiákat alkalmaznak, amelyek inkább felszínes mintázatfelismerésre utalnak, semmint valódi epistemikus megértésre.
Ezek a korlátok komoly aggodalomra adnak okot akkor is, amikor ezeket a modelleket „magas tétű” területeken kívánják alkalmazni – például orvosi diagnosztikában, jogi tanácsadásban vagy tudományos kutatásban –, ahol egyetlen hibás információ is súlyos következményekkel járhat.
A mesterséges intelligencia jövője és elterjedése
A Gartner előrejelzése szerint 2025-ben világszerte közel 1,5 billió dollárt fognak AI-technológiákra költeni. Ennek részeként mintegy 268 milliárd dollár jut majd optimalizált szerverekre. John-David Lovelock, a Gartner vezető elemzője szerint „az AI minden televízióban, telefonban, autóban, kenyérpirítóban és streaming szolgáltatásban jelen lesz”.
Ez azt jelenti, hogy az LLM-ek gyorsan beépülnek mindennapi életünkbe – ám ez nem mentesíti őket attól a felelősségtől, hogy megbízhatóan működjenek. Egy másik akadémiai benchmark például kimutatta, hogy az LLM-alapú AI ügynökök alulteljesítenek standard ügyfélkapcsolati menedzsment (CRM) teszteken és nem értik meg megfelelően az ügyféladatok bizalmas kezelésének fontosságát.
Következtetések: fejlesztések szükségesek a megbízhatóság érdekében
A nagy nyelvi modellek jelenlegi állapota azt mutatja, hogy bár lenyűgöző képességekkel rendelkeznek szövegalkotásban és információfeldolgozásban, még mindig jelentős kihívásokkal néznek szembe az igazság felismerésében és kommunikálásában. A félretájékoztatás kockázata különösen nagy azokban az esetekben, amikor ezek a rendszerek kritikus döntések alapjául szolgálnak.
Fontos tehát továbbfejleszteni az LLM-ek epistemikus képességeit, hogy képesek legyenek megbízhatóan elkülöníteni a tényeket a véleményektől vagy hamis hiedelmektől. Csak így válhatnak valódi segítséggé olyan területeken is, ahol emberi élet múlhat rajtuk – legyen szó orvostudományról, jogról vagy tudományos kutatásról.
Forrás: https://www.theregister.com/2025/11/03/llms_struggle_to_distinguish_facts_beliefs/