Ученые из Техасского университета в Остине добились того, что большая языковая модель (GPT), изучая фМРТ мозга испытуемых людей, смогла пересказывать подкаст, который они слушали, или видео, которое они смотрели.

Это выглядит так: нейросеть получает данные из мозга и выдает текстовый пересказ сюжета подкаста, фразу за фразой. Человек мог даже рассказывать историю мысленно, нейросеть и в этом случае была способна пересказать историю по активности мозга. В том же исследовании людям показывали короткие видео без звука, и та же модель по данным фМРТ затем описывала происходящее на экране.

"Любая достаточно развитая технология неотличима от магии", гласит третий закон Артура Кларка. Здесь магия заключается в том, что нейросеть не пыталась угадывать слова или предметы, которые слышит и видит человек, а просто извлекала из его мозга смысл речи и суть событий. Это стало возможно благодаря генеративному ИИ: он не "расшифровывает" отдельные фонемы или образы, как это делали в других похожих экспериментах, а пробует сочинить фразу или сюжет, которые наиболее точно соответствуют активности мозга.

На основе записей фМРТ модель создает свою историю, и она оказывается близкой по смыслу к реальной истории, услышанной, увиденной или придуманной человеком. Иногда вплоть до совпадения фраз. В этом сила генеративных моделей — они способны сами порождать данные. Правильнее назвать это не расшифровкой, а реконструкцией мыслей человека. И это работает.

14 Dec 2023

Айтишные истории ещё..

Анатолий


* * *

Когда щенок ризеншнауцера подрастает, он начинает пытаться занять верхнюю ступень иерархии. В этот момент надо безжалостно пресекать все его попытки строить членов семьи, друзей и соседей.

Как говорят владельцы ризеншнауцеров, собаку надо лупить табуреткой, и если о собаку не сломана хотя бы одна табуретка, anekdotov. net,

* * *

Один мой знакомый программист увлекается тем, что пишет приложения для мобильных телефонов. Я его охарактеризую как очень толкового кодера. Некоторыми его программками даже сам пользуюсь. А конкретнее одной простенькой но очень функциональной телефонной читалкой. В общем, молодец парень, немножко на своем хобби даже денюжки зарабатывает.

Да вот только есть один в нем недостаток. Языки программирования он хорошо знает, но в целом кругозор у него довольно узковат.

Попросил я его как-то для телефонки написать приложение с картой местности и способное прокладывать маршруты в разные там магазины и аптеки города. Главное условие, что бы на экране сразу высвечивался режим работы каждого такого заведения. Ну, он естественно охотно взялся, быстро сделал, стал уточнять чего бы мне еще хотелось что бы он доработал. Я в шутку сказал, что не хватает компаса.

Недели две он не выходил на связь, а спустя выдал мне следующее, что компас в приложении создать не получится, так как он не знаком с соответствующими языками программирования.

Хм... Кто бы мог подумать, а вот мне казалось, что для этого не языки программирования нужны, а магнитная стрелочка...

* * *
* * *

А помните, раньше в фантастических фильмах, когда показывали будущее, там все звонили по видеосвязи, и мы думали: вот это круто! Вот бы правда так было! А оказалось, что эта видеосвязь никому и даром не нужна. И сейчас, если кто-то звонит тебе по видеосвязи, ты думаешь: ненормальный, что ли?

Айтишные истории ещё..

© анекдотов.net, 1997 - 2024