Двама учени от университета в Осака разработиха невронна мрежа, способна да реконструира образа, който човек гледа. Анализирайки данни от функционален ядрено-магнитен резонанс, системата възпроизвежда прецизно не само формата, но и цветовете на обектите. Учените говорят за първата в света машина за четене на мисли с 80% точност, съобщи американското бизнес списание Fortune.

Новото изобретение може да се ползва за общуване с парализирани хора, за записване на сънища, както и за изучаване на начина, по който различните животни възприемат околния свят.

Японските учени са се възползвали от предимствата на популярната програма за преобразуване на текст в реч Stable Diffusion. Тази невронна мрежа с отворен код е подобна по структура на други генеративни LLM (Large language models - големи езикови модели), като DALL-E2 на OpenAI (създател на ChatGPT) или Midjourney.

Мрежата се основава на дифузия - метод за машинно обучение, при който визуалният образ се генерира чрез последователни приближения. Всяка нова итерация (повторение) се базира на друга текстова реплика. Японците са добавили допълнителна стъпка на обучение към стандартната схема за Stable Diffusion. Така невронната мрежа сравнява данните за мозъчната активност на четирима участници в експеримента, на които са показани различни снимки с текстови описания на изображенията.

За начални сигнали били взети данни от функционален магнитен резонанс (fMRI), получени на мощни машини с индукция (явление, при което в проводник, движещ се в магнитно поле и пресичайки силовите линии, се индуктира електродвижещо напрежение) на магнитното поле 7 Тесла. Като записват потока от кислородни молекули, необходими за работата на невроните, тези устройства са в състояние да наблюдават кои области на мозъка, отговорни за определени чувства или емоции, са най-активни.

Във фазата на машинното обучение на участниците са показани десет хиляди изображения и системата е събрала генерираните в процеса на изследване модели на fMRI, които след това са декодирани от изкуствен интелект (ИИ).

Анализирайки пиковете, регистрирани чрез fMRI в различни области на мозъка, учените откриват, че темпоралните лобове (област на мозъка, изпълняваща различни функции в нашата нервна система) са отговорни за съдържанието на образите. Това е така наречената семантична зона. А тилната, където се намира зрителната кора, пресъздава размера и общото разположение на обектите.

Резултатите до голяма степен съответстват на хипотезата за два потока визуална информация, формулирана през 1983 г. от американския невропсихолог Мортимър Мишкин. Той предположи, че в мозъчната кора да има два анатомично и функционално различни канала за обработка на пространствена и предметна информация: "Къде?" и "Какво?".

Чрез експерименти с макаци Мишкин доказва, че тилният канал "Къде?" е отговорен за възприемането на пространството, а темпоралният канал "Какво?", тясно свързан с паметта, е отговорен за разпознаването.

Японците са комбинирали визуална и семантична (смислова) информация. Дифузионният алгоритъм е сравнявал наблюдаваните модели на невронна активност, формирани при разглеждане на снимки, с моделите в набора от данни за обучение. Сигналите от "визуалната" кортикална област са били използвани за изграждане на общ обем и перспектива. След това били свързани сигналите от семантичния декодер на сигнали и първичната картина, приличаща повече на смущение на телевизионния екран, постепенно придобила очертанията на разпознаваеми обекти.

Учените получават около хиляда изображения, които съвпаднаха със смисъла и съдържанието на оригинала с точност до 80%. В повечето случаи ИИ дори пресъздава цветовата схема на оригиналното изображение.

"Представеният документ показа, че невронната мрежа Stable Diffusion може точно да реконструира изображения от сканирания с fMRI, а това ни позволява ефективно да четем мислите на хората. Показваме, че нашият метод, базиран на човешката мозъчна активност, може да реконструира изображения с достатъчна резолюция и висока семантична точност", заявиха японските изследователи.