A Reddit saját fejlesztésű, mesterséges intelligencián alapuló beszélgető felülete, a Reddit Answers, nemrégiben komoly kritikákat kapott, miután olyan fájdalomkezelési módszereket javasolt felhasználóknak, amelyek akár életveszélyesek is lehetnek. Az AI például heroin és kratom használatát ajánlotta alternatív fájdalomcsillapítóként, ami újabb példája annak, hogy még a legnagyobb adatbázisokon tanított chatbotok is adhatnak veszélyes vagy félrevezető tanácsokat.
A probléma felfedezése és a Reddit Answers működése
Egy Reddit-felhasználó bukkant rá az esetre egy olyan subredditben, amely a Reddit moderációs kérdéseivel foglalkozik. A felhasználó az r/FamilyMedicine aloldalon böngészve az alkalmazás hivatalos mobil verzióján keresztül észrevette, hogy a Reddit Answers „Kapcsolódó válaszok” formájában ajánlott alternatív megoldásokat egy fájdalomkezeléssel kapcsolatos témában.
A Reddit Answers egy AI-alapú beszélgető interfész, amely a Reddit hatalmas mennyiségű felhasználói tartalmán alapuló adatbázisból generál válaszokat. Az egyik ilyen válasz címe „Megközelítések opioidok nélküli fájdalomkezelésre” volt, amelyben többek között a kratomot említette alternatívaként.
Kratom: egy vitatott növényi kivonat
A kratom (Mitragyna speciosa) egy délkelet-ázsiai fa leveleiből készült növényi kivonat, amelyet egyesek fájdalomcsillapítóként használnak. Bár az Egyesült Államokban nem minősül kábítószernek a Szövetségi Kábítószer-ellenőrzési Hivatal (DEA) szerint, több államban tiltott. Az FDA azonban figyelmeztet a kratom használatára, mivel súlyos mellékhatásokkal járhat, mint például májkárosodás, görcsök és függőség kialakulása.
A Mayo Klinika is „biztonságtalannak és hatástalannak” minősíti ezt a szert. Ennek ellenére a Reddit Answers szövege így hangzott: „Ha opioidok nélküli fájdalomkezelési módszereket keresel, több alternatíva és stratégia létezik, amelyeket Reddit-felhasználók hasznosnak találtak.” Az első példa között szerepelt a nem-opioid fájdalomcsillapítók közül a kratom használata is, idézve egy felhasználót: „Kratomot használok, mert nem találok orvost, aki opioidot írna fel. Hasonlóan hatékony, nem kell recept hozzá és legtöbb államban legális.”
Heroin mint fájdalomcsillapító – egy ellentmondásos téma
A kratomot említő válaszban szereplő egyik Reddit-felhasználó rákérdezett arra is, hogy milyen orvosi indikációi lehetnek a heroinnak fájdalomkezelésben. A Reddit Answers erre azt válaszolta, hogy bár heroin és más erős narkotikumok néha alkalmazhatók fájdalomcsillapításra, használatuk vitatott és szigorú szabályozás alá esik.
Továbbá megemlítette, hogy sok Reddit-felhasználó osztja meg tapasztalatait az opioidok krónikus fájdalomban való alkalmazásának nehézségeiről és etikai kérdéseiről. Egy hozzászóló például azt írta: „Ironikus módon a heroin megmentette az életemet bizonyos esetekben, de ugyanakkor függőséghez is vezetett.”
Reddit válasza és változtatások
A 404 Media újságírói megpróbálták reprodukálni ezeket az AI által generált válaszokat más témákban is, ahol heroinnal kapcsolatos pozitív tapasztalatokról számoltak be felhasználók. Miután megkeresték a Redditet és egy érintett felhasználó jelezte az esetet a platformnak, a Reddit Answers frissítésen esett át.
Azóta az AI már nem ad választ olyan kérdésekre, amelyek például „heroin fájdalomcsillapításra” témában merülnek fel. Ehelyett így reagál: „A Reddit Answers nem ad választ bizonyos kérdésekre, különösen azokéra, amelyek potenciálisan veszélyesek vagy sérthetik a Reddit szabályzatát.”
Közösségi aggályok és moderációs lehetőségek hiánya
A problémát jelző felhasználó aggodalmát fejezte ki amiatt is, hogy az orvosi témájú subreddit közösségek moderátorai nem tudják kikapcsolni vagy eltávolítani a Reddit Answers megjelenését beszélgetések alatt. Ez komoly problémát jelenthet akkor, ha veszélyes vagy félrevezető információk jelennek meg egy-egy szakmai közösségben.
A Reddit szóvivője ezzel kapcsolatban elmondta: „Jelenleg teszteljük az Answers megjelenítését a beszélgetési oldalon annak érdekében, hogy növeljük az elfogadottságot és aktivitást. A keresőintegrációt is fejlesztjük annak érdekében, hogy egyszerűbb legyen a keresési élmény.” Hozzátette azonban: „A moderátorok jelenleg nem tudják kizárni vagy letiltani az Answers tartalmak megjelenését saját közösségeikből.”
Ugyanakkor kiemelte azt is, hogy az AI nem használja fel minden tartalmat: kizárja például a privát vagy karantén alatti közösségek anyagait, valamint az NSFW (nem biztonságos munkahelyi környezet) jelzésű vagy érettebb témákat.
Frissítés érzékeny témák kezelésére
A probléma nyilvánosságra kerülése után a Reddit frissítést vezetett be annak érdekében, hogy érzékeny témák esetén ne jelenjenek meg kapcsolódó válaszok az AI-tól. A szóvivő így fogalmazott: „Bevezettünk egy frissítést, amely célzottan kezeli ezt a problémát. Ez biztosítja, hogy az érzékeny témákhoz kapcsolódó ‘Kapcsolódó válaszok’ többé ne jelenjenek meg a poszt részletező oldalán (más néven beszélgetési oldalon). Ezzel javítani kívánjuk a felhasználói élményt és fenntartani az alkalmas tartalom megjelenítését.”
Az AI veszélyei orvosi tanácsadásban – szélesebb kontextus
A Reddit Answers által adott veszélyes orvosi tanácsok nem meglepőek annak fényében, hogy más nagy technológiai cégek AI rendszerei is hasonló problémákkal küzdenek. Például korábban ismertté vált egy eset, amikor egy Google AI ragasztóevést javasolt – ez is részben azért történt így, mert az AI reddit-es adatokat használt fel tanulásra.
A Google évente 60 millió dollárt fizetett ezért az adatért, és hasonló együttműködésben áll az OpenAI-val is. A Bloomberg szerint pedig jelenleg is tárgyalások folynak arról, hogy még jövedelmezőbb szerződéseket kössenek ezekkel a cégekkel.
Miért értékesek a reddit-es adatok az AI fejlesztők számára?
A reddit-es adatok különösen értékesek mesterséges intelligencia fejlesztéshez azért, mert milliónyi felhasználói beszélgetést tartalmaznak rendkívül sokféle témában – legyen szó akár fürdőkád tömítéséről vagy személyes drogélményekről. Ugyanakkor ez nem garantálja azt sem, hogy egy nyelvi modell mindig helyesen értelmezi vagy hasznosan dolgozza fel ezeket az információkat.
Például a ragasztóevés esete abból fakadt, hogy az AI nem értette meg egy reddit-felhasználó vicces szándékát. Ez pedig komoly kockázatot jelenthet akkor is, ha valaki szó szerint veszi az AI által adott egészségügyi tanácsokat – különösen akkor, ha azok orvosi közösségek kontextusában jelennek meg.
Konkrét esetek: mikor lett valaki beteg ChatGPT miatt?
Egy korábbi riportunkban bemutattunk egy esetet is, amikor valakit kórházba kellett vinni azért, mert ChatGPT azt javasolta neki: asztali só helyett nátrium-bromidot használjon. Ez jól mutatja azt a veszélyt is, amit ezek az automatizált rendszerek hordoznak magukban egészségügyi kérdésekben.
Összegzés
A Reddit Answers esete rávilágít arra: még a legfejlettebb mesterséges intelligenciák sem képesek mindig megbízható vagy biztonságos tanácsokat adni egészségügyi témákban. Fontos tehát kritikusan kezelni ezeket az információkat és szakemberhez fordulni minden komolyabb egészségügyi kérdésben.