Нейросеть воссоздала человеческую речь по активности мозга
Специалисты из Нью-Йоркского университета создали нейросеть, способную анализировать нейронную активность коры головного мозга и по ней реконструировать речь человека. Более того, ученые дополнительно обучили сеть воспроизводить голос пациента по нескольким образцам голосовых или видеозаписей, позволяя людям вернуть свой голос даже после его потери.
Человеческая речь — это сложная поведенческая активность, которая включает в себя не только управление движениями множества ротовых, гортанных и дыхательных мышц, но и одновременную обработку собственной речи для ее корректировки. Разделение разветвленных нейронных сетей мозга, контролирующих точные движения мышц и обрабатывающих слуховую обратную связь, признают крайне сложной задачей. Однако ее необходимо решить для разработки речевых протезов следующего поколения.
Во многих моделях производства речи принято считать, что эти две системы анатомически разделены. Система прямой связи в основном управляется вентральной лобной корой, тогда как обработка обратной связи осуществляется через различные сенсорные зоны коры (например, через извилину Гешля и верхнюю височную извилину). Но на практике две сети нейронов значительно перекрываются и взаимодействуют, и даже самые современные методы электрокортикографии (запись биоэлектрической активности мозга с помощью регистрации сигналов с сети электродов, имплантированных в кору головного мозга) не способны отделить процессы производства речи от ее обработки.
В новой работе группа исследователей из США представила собственную архитектуру нейросети глубокого обучения, тренирующуюся на электрокортикографических (ЭКоГ) записях активности коры головного мозга человека для пространственного и временного разрешения моторных и сенсорных сигналов. Обучая нейросеть применять причинные (использующие текущие и прошлые нейронные сигналы), антипричинные (использующие текущие и будущие нейронные сигналы) или непричинные (их комбинацию) временные свертки, авторам исследования удалось реконструировать человеческую речь. О своей разработке коллектив ученых рассказал в статье, опубликованной в журнале Proceedings of the National Academy of Sciences.
Исследователи использовали нейросеть для создания собственных протезов, которые смогут считывать активность мозга и декодировать ее непосредственно в речь. Более того, прототип специалистов из Нью-Йоркского университета имеет еще одну особенность: он способен в значительной степени воссоздать голос пациента, используя лишь небольшой набор записей — например, с видео на YouTube или записи Zoom.
Для сбора данных и тестирования своего прототипа исследователи обратились к группе из пяти пациентов с диагностированной рефрактерной эпилепсией и нарушениями развития речи. В этом состоянии пациент, страдающий судорожными припадками, не реагирует на лечение противоэпилептическими препаратами в адекватных дозах и комбинациях, а значит, не поддается медикаментозному лечению.
2 views
0
0
11 months ago 00:09:13 1
Гирлянда “роса“ на проволоке. Как красиво украсить елку гирляндой. Секреты намотки гирлянды
11 months ago 00:00:20 2
Декодированные и оригинальные образцы речи
11 months ago 00:01:00 1
Обзор бюстгальтера Curvy Kate Can Can
11 months ago 02:23:49 1
РАСШИФРОВАЛИ ТЕКСТ САМОЙ ДРЕВНЕЙ БИБ.ЛИИ И ОБОМЛЕЛИ ОТ НАПИСАННОГО! ДОКУМЕНТАЛЬНЫЙ ФИЛЬМ
11 months ago 00:05:11 1
Украшаю торт Медовик. Постный и классический. Легко приготовить! DIY пчелки
11 months ago 00:14:04 1
Как украсить валяные тапочки?
11 months ago 00:38:10 1
Что же не так с нашими храмами? Ответ найден
11 months ago 00:00:19 2
Хорошая дорога украшает город
11 months ago 00:00:13 123
BUKET 606 украсит твой день😍
BUKET 606 - 2190₽.
11 months ago 00:00:33 6
Двести хризантем украсили зелёную зону на улице Киевской в районе остановки «площадь Куйбышева», а до конца года их будет 2 тыся
11 months ago 00:00:22 156
Расписные подушки украшают пространство
11 months ago 00:13:36 1
Как вязать листочки спицами. Как украсить полый шнур.
11 months ago 00:15:52 1
ВЛОГ: КАК АМЕРИКАНЦЫ УКРАШАЮТ ДОМА НА ХЭЛЛОУИН | США VLOG
11 months ago 01:11:00 1
Пряничные тапочки ...
11 months ago 02:07:38 1
Как Научиться Расшифровывать Замыслы Бога в Своей Жизни и Использовать Это! l НИКОШО и Просветленная
11 months ago 00:08:50 1
ПИТОМЦЫ ГОТОВЯТСЯ к НОВОМУ ГОДУ! УКРАШАЕМ ЁЛКУ и ДОМ 24 ЧАСА! СМЕШНАЯ КОШЕЧКА ЭНИ ВЕСЕЛИТ всех КОТОВ
11 months ago 00:01:00 1
Рецепт торта “Спартак”
11 months ago 00:10:04 1
ЧЕМ УКРАСИТЬ ПУСТУЮ СТЕНУ И ЧТО НА НЕЕ МОЖНО ВЕШАТЬ? 9 СПОСОБОВ ДЕКОРИРОВАНИЯ ПУСТОЙ СТЕНЫ
11 months ago 00:00:59 13
Ну вот и пришла пора делать снежинки из бумаги и украшать квартиру. Собираем идеи в копилочку! Сохраните и поделитесь
11 months ago 00:16:11 1
Мастер-класс: Брошь Черная смородина из полимерной глины FIMO/polymer clay tutorial
11 months ago 00:08:14 1
СМЕСЬ для декорирования/Decorating mix/ mistura de decoração/مزيج التزيين
11 months ago 00:33:34 1
Она украсит интерьер вашего дома 🥰👍Вязание крючком
11 months ago 00:01:36 1
Липы и шаровидные ивы будут теперь украшать набережную реки Уводь в Иванове
11 months ago 00:00:20 3.2K
Небо над Омской областью украсили необычные облака