Ученые из Техасского университета в Остине добились того, что большая языковая модель (GPT), изучая фМРТ мозга испытуемых людей, смогла пересказывать подкаст, который они слушали, или видео, которое они смотрели.
Это выглядит так: нейросеть получает данные из мозга и выдает текстовый пересказ сюжета подкаста, фразу за фразой. Человек мог даже рассказывать историю мысленно, нейросеть и в этом случае была способна пересказать историю по активности мозга. В том же исследовании людям показывали короткие видео без звука, и та же модель по данным фМРТ затем описывала происходящее на экране.
"Любая достаточно развитая технология неотличима от магии", гласит третий закон Артура Кларка. Здесь магия заключается в том, что нейросеть не пыталась угадывать слова или предметы, которые слышит и видит человек, а просто извлекала из его мозга смысл речи и суть событий. Это стало возможно благодаря генеративному ИИ: он не "расшифровывает" отдельные фонемы или образы, как это делали в других похожих экспериментах, а пробует сочинить фразу или сюжет, которые наиболее точно соответствуют активности мозга.
На основе записей фМРТ модель создает свою историю, и она оказывается близкой по смыслу к реальной истории, услышанной, увиденной или придуманной человеком. Иногда вплоть до совпадения фраз. В этом сила генеративных моделей — они способны сами порождать данные. Правильнее назвать это не расшифровкой, а реконструкцией мыслей человека. И это работает.
14 Dec 2023 | Анатолий |
- вверх - | << | Д А Л Е Е! | >> | 15 сразу |
Когда щенок ризеншнауцера подрастает, он начинает пытаться занять верхнюю ступень иерархии. В этот момент надо безжалостно пресекать все его попытки строить членов семьи, друзей и соседей.
Как говорят владельцы ризеншнауцеров, собаку надо лупить табуреткой, и если о собаку не сломана хотя бы одна табуретка, anekdotov. net,
Один мой знакомый программист увлекается тем, что пишет приложения для мобильных телефонов. Я его охарактеризую как очень толкового кодера. Некоторыми его программками даже сам пользуюсь. А конкретнее одной простенькой но очень функциональной телефонной читалкой. В общем, молодец парень, немножко на своем хобби даже денюжки зарабатывает.
Да вот только есть один в нем недостаток. Языки программирования он хорошо знает, но в целом кругозор у него довольно узковат.
Попросил я его как-то для телефонки написать приложение с картой местности и способное прокладывать маршруты в разные там магазины и аптеки города. Главное условие, что бы на экране сразу высвечивался режим работы каждого такого заведения. Ну, он естественно охотно взялся, быстро сделал, стал уточнять чего бы мне еще хотелось что бы он доработал. Я в шутку сказал, что не хватает компаса.
Недели две он не выходил на связь, а спустя выдал мне следующее, что компас в приложении создать не получится, так как он не знаком с соответствующими языками программирования.
Хм... Кто бы мог подумать, а вот мне казалось, что для этого не языки программирования нужны, а магнитная стрелочка...
Вспомнилась мне одна личная история — в одной андроидной игрушке простенькой в конце уровня когда истекало время на его прохождения включался счетчик (мелькают цифры на пол экрана и ещё голосом дублируется — на самом деле цифры сильно заслоняют то что происходит на экране а там и так творится лютый звездец обычно а голос очень нервирует) 5-4-3-2-1 и потом идет в натуре ядреный взрыв (если играешь в темноте то лучше прикрыть глаза) и гамеовер. именно 5-4-3-2-1 а не 5-4-3-2-1-0 то есть взрыв сразу как высвечивается и произносится цифра 1.
Я не выдержал и прямо в отзывах на гуглплей спросил у разработчика почему на 1 а не на 0. Он ответил (мой вольный перевод на русский) — "Потому что жизнь это БОЛЬ" эта ржака там в отзывах висела лет 7 пока игруха не пропала с сервиса.
А помните, раньше в фантастических фильмах, когда показывали будущее, там все звонили по видеосвязи, и мы думали: вот это круто! Вот бы правда так было! А оказалось, что эта видеосвязь никому и даром не нужна. И сейчас, если кто-то звонит тебе по видеосвязи, ты думаешь: ненормальный, что ли?