A mesterséges intelligencia (AI) fejlődése az elmúlt években robbanásszerű volt, és egyre több új modell jelenik meg a piacon. Ezeknek a modelleknek a biztonságát és hatékonyságát általában különféle tesztekkel, úgynevezett benchmarkokkal mérik. Azonban egy friss kutatás szerint ezeknek a teszteknek számos komoly hiányossága van, amelyek megkérdőjelezik az AI-képességek valódi értékelését.
A kutatás háttere és résztvevői
A brit kormány AI Security Institute-jának számítástechnikai szakemberei, valamint neves egyetemek – köztük a Stanford, Berkeley és Oxford – kutatói több mint 440 különböző benchmarkot vizsgáltak meg. Ezek a benchmarkok kulcsfontosságúak az új AI modellek biztonságának és teljesítményének ellenőrzésében.
A benchmarkok gyengeségei és következményeik
A vizsgálat során kiderült, hogy szinte mindegyik benchmark rendelkezik legalább egy olyan gyengeséggel, amely aláássa az eredmények hitelességét. A kutatás vezető szerzője, Andrew Bean, az Oxford Internet Institute munkatársa szerint ezek a hibák miatt az AI modellek pontszámai gyakran irrelevánsak vagy félrevezetők lehetnek.
“A benchmarkok adják az alapját szinte minden AI fejlesztési állításnak,” mondta Bean. “De ha nincsenek egységes definíciók és megbízható mérési módszerek, nehéz megállapítani, hogy a modellek valóban fejlődnek-e vagy csak annak tűnnek.”
Miért fontosak ezek a tesztek?
Az Egyesült Királyságban és az Egyesült Államokban jelenleg nincs átfogó nemzeti szabályozás az AI-ra vonatkozóan. Emiatt a benchmarkok szolgálnak elsődleges eszközként annak ellenőrzésére, hogy az újonnan piacra kerülő AI rendszerek biztonságosak-e, összhangban állnak-e az emberi érdekekkel, illetve képesek-e valóban teljesíteni a velük szemben támasztott követelményeket – legyen szó érvelésről, matematikáról vagy programozásról.
Konkrét esetek: Google Gemma és Character.ai botjai
A kutatás idején több nagy technológiai vállalat is komoly problémákkal szembesült AI modelljeivel kapcsolatban. Például a Google visszavonta Gemma nevű AI-ját, miután az hamis vádakat fogalmazott meg egy amerikai szenátorral kapcsolatban. A chatbot kitalált nem konszenzuális szexuális kapcsolatot állított egy állami rendőrrel kapcsolatban, hamis hírekre hivatkozva.
Tennessee republikánus szenátora, Marsha Blackburn így nyilatkozott: “Ez nem ártalmatlan téveszmélés. Ez rágalmazás egy Google által birtokolt AI modelltől.” A Google közölte, hogy Gemma fejlesztők és kutatók számára készült, nem pedig fogyasztói használatra, ezért visszavonták azt az AI Studio platformról.
Egy másik példa a Character.ai startup esete: ők betiltották a tizenévesek számára az AI chatbotjaikkal folytatott nyílt végű beszélgetéseket. Ez több tragikus eset után történt meg, például egy floridai 14 éves fiú öngyilkossága után, akit állítólag egy AI chatbot manipulált erre.
A benchmarkok statisztikai megbízhatósága
A kutatás egyik legmegdöbbentőbb eredménye volt, hogy mindössze 16%-uk alkalmazott bizonytalansági becsléseket vagy statisztikai teszteket annak igazolására, hogy mennyire pontosak lehetnek az adott benchmark eredményei. Ez azt jelenti, hogy sok esetben nem lehet biztosan tudni, mennyire megbízhatóak ezek az értékelések.
A fogalmak meghatározásának problémái
Sok benchmark olyan fogalmakat próbál mérni – például egy AI “ártalmatlanságát” –, amelyek definíciója nem egységes vagy vitatott. Ez tovább csökkenti ezen tesztek hasznosságát és érvényességét.
Következtetések és javaslatok
A kutatás hangsúlyozza a közös szabványok és legjobb gyakorlatok kialakításának sürgős szükségességét az AI biztonsági tesztek terén. Csak így lehet biztosítani, hogy a mesterséges intelligencia fejlesztése valóban előrelépést jelentsen anélkül, hogy félrevezető vagy veszélyes eredményekhez vezetne.
Összegzés
- Több mint 440 AI biztonsági benchmarkot vizsgáltak át brit és amerikai szakértők.
- Szinte mindegyik teszt rendelkezik olyan hibával, amely aláássa hitelességét.
- A hiányos statisztikai elemzés miatt sok eredmény pontatlan vagy félrevezető lehet.
- Nincs egységes definíció számos fontos fogalomra (pl. “ártalmatlanság”).
- Nagy technológiai cégek is kénytelenek visszavonni vagy korlátozni AI modelljeiket súlyos hibák miatt.
- Sürgős szükség van közös szabványokra és átláthatóbb mérési módszerekre.
Kapcsolatfelvétel és további információk
A témában első kézből származó információk rendkívül fontosak a közérdekű újságírás számára. Ha Önnek van releváns tapasztalata vagy információja erről a témáról, bizalmasan kapcsolatba léphet velünk különböző módokon:
- Guardian alkalmazás Secure Messaging funkciója: titkosított üzenetküldés iOS vagy Android rendszereken keresztül.
- SecureDrop platform:
- E-mail, telefon vagy postai úton:
Illusztráció: Guardian Design / Rich Cousins