Agyunk működésének feltérképezése és értelmezése régóta az egyik legnagyobb kihívás a tudományban. A funkcionális mágneses rezonancia képalkotás (fMRI) segítségével ma már nem-invazív módon vizsgálhatjuk az agyi aktivitást, és egyre közelebb kerülünk ahhoz, hogy megértsük, mit lát vagy képzel el egy személy pusztán az agyhullámainak elemzésével. Az újonnan kifejlesztett „mind captioning” (gondolatfelirat) technika forradalmi lépést jelent ebben a folyamatban, hiszen képes leíró mondatokat generálni arról, amit az ember éppen lát vagy elképzel.
Mi az a „mind captioning” és hogyan működik?
A „mind captioning” egy olyan módszer, amely az agyi aktivitás fMRI-vel rögzített mintázatait elemzi, majd mesterséges intelligencia segítségével megalkotja annak a leírását, amit a személy éppen lát vagy gondol. Ez a technika nem csupán kulcsszavakat azonosít, hanem részletes, összefüggő mondatokat képes alkotni, amelyek pontosan tükrözik a vizuális élményt vagy képzeletet.
Alex Huth, a kaliforniai Berkeley Egyetem számítási idegtudósa szerint: „Ez nagyon nehéz feladat, és meglepő, hogy ilyen részletességgel képesek vagyunk megjósolni, mit néz valaki.”
A kutatás háttere és jelentősége
Már több mint tíz éve folynak kísérletek arra, hogy az agyi aktivitás alapján megjósolják, mit lát vagy hall egy személy. Azonban komplex tartalmak – például rövid videók vagy absztrakt formák – dekódolása sokkal nagyobb kihívást jelentett. Korábbi próbálkozások csak kulcsszavakat tudtak azonosítani, amelyek leírták a látottakat, de nem adtak teljes kontextust vagy részletes magyarázatot arra vonatkozóan, mi történik a videóban.
Tomoyasu Horikawa, a japán NTT Communication Science Laboratories számítási idegtudósa elmondta: „Más módszerek mesterséges intelligenciát használtak mondatszerkezetek generálására, de így nehéz volt megállapítani, hogy ezek a leírások valóban az agyban reprezentált tartalmakból származnak-e.”
A „mind captioning” technika lépései
- Szöveges elemzés: Egy mélytanuló nyelvi AI modellt alkalmaztak több mint 2000 videó szöveges felirataira. Ezáltal minden videóhoz egyedi numerikus „jelentés aláírás” (meaning signature) készült.
- Agyi aktivitás tanítása: Hat résztvevő agyi fMRI-felvételeit elemezték miközben nézték ezeket a videókat. Egy külön AI eszköz megtanulta felismerni azokat az agyi aktivitási mintázatokat, amelyek megfelelnek az egyes jelentés aláírásoknak.
- Új adatok dekódolása: A betanított modell képes volt új agyi felvételekből kinyerni a jelentés aláírást akkor is, amikor valaki új videót nézett.
- Szöveg generálása: Egy másik AI szövegalkotó eszköz ezután megkereste azt a mondatot, amely leginkább megfelel a dekódolt jelentés aláírásnak.
Milyen előnyökkel járhat ez a technológia?
A „mind captioning” nem csupán tudományos áttörésként szolgálhat az agykutatásban, hanem gyakorlati alkalmazásokkal is bírhat. Különösen ígéretes lehet azok számára, akik nyelvi nehézségekkel küzdenek – például stroke után –, mivel segíthet nekik pontosabban kommunikálni gondolataikat és érzéseiket.
Ezen túlmenően betekintést nyújt abba is, hogyan reprezentálja az emberi agy a világot még mielőtt azt szavakba öntenénk. Ez új perspektívákat nyithat meg a kognitív tudományok és mesterséges intelligencia fejlesztése terén is.
Összegzés
A funkcionális mágneses rezonancia képalkotás és a mesterséges intelligencia ötvözése révén létrejött „mind captioning” technológia forradalmasíthatja azt, ahogyan megértjük és kommunikáljuk gondolatainkat. Bár még korai szakaszban van, már most lenyűgöző pontossággal képes leírni azt, amit egy személy lát vagy elképzel. Ez nemcsak tudományos áttörés, hanem potenciális segítség lehet azok számára is, akiknek nehézséget okoz a beszéd vagy írás.
Forrás: National Institute of Mental Health/National Institutes of Health/SPL; Science Advances