Уходящий 2017 год стал рекордным по числу громких стартапов в области нейрокомпьютерных интерфейсов. О своих планах объявили Минобороны США (DARPA, NESD project), Илон Маск (Neuralink), Брайен Джонсон (Kernel), Горбунов — Овчаренко (Neurogress), и даже Цукерберг сознался, что в секретном Building 8 работают над интерпретацией мозговых волн. Последнее радует больше всего: возможно именно нейроуправление позволит нам в полной мере оценить всю красоту и логичность замысла интерфейса Facebook ;)
Вооружившись Гуглом и Википедией я решил найти ответ на вопрос — когда же мы сможем купить устройство, с помощью которого я смогу писать тексты, играть в #ResidentEvil с помощью силы мысли? Вот что из этого вышло.
Все данные взяты из открытых источников.
Сама идея — попытаться считать и применить на практике сигналы головного мозга, не изменилась со времен Ганса Бергера (Hans Berger, 1924):
Принципиальная схема управления мехатронным устройством с использованием нейроуправления (неинвазивный датчик). Фото: Нейрогресс https://neurogress.io/
Нейрон — ключевой участник идеи управления силой мысли. Клетка генерирует электрический разряд и передает его другим нейронам. Когда некоторое количество клеток (нейронов) синхронизируются и одновременно проявляют электрическую активность определенной силы, сигнал можно считать — получить ЭЭГ (электроэнцефалограмму). Чем чувствительнее считывающее устройство, тем выше разрешение и точность данных об активности, а значит возможности для его интерпретации. Подобные технологии различаются по типу: #инвазивные (с вживлением электродов в тело человека), #неинвазивные (на основе технологий регистрации электрический активности мозга внешними приборами), и #миодатчики (с расположением электродов на коже человека).
A Cortical Neuron In Conversation. Dchordpdx — собственная работа, CC BY 4.0
На сегодняшний день каждый тип датчиков, и даже самые лучшие и дорогие среди них, имеют существенные ограничения в функционировании, доступности и простоте использования.
Самый точный, самый сильный и устойчивый сигнал обеспечивает инвазивная технология управления, которая предполагает вживление электродов в мозг и обеспечивает прямую нейронную связь. Для внедрения сенсоров этого типа требуется операция. Небольшой чип могут установить в кору головного мозга, чтобы измерить электрическую активность отдельных нейронов. Яркий пример инвазивной технологии — амбициозный проект #NESD от #DARPA, Министерства обороны США: имплантат размером не более 1 кубического сантиметра.
https://www.darpa.mil/
Фото: Paradromics
NESD: Одна система будет использовать имплантированные чипы, чтобы взаимодействовать с 1 млн. нейронов.
Phillip Alvelda, руководитель программы #NESD:
“NESD — это прорыв в будущее, в котором нейронные устройства обеспечивают невероятную точность и превосходное разрешение сигнала. Существующие, даже самые передовые нейронные интерфейсы обеспечивают взаимодействие с не более чем с 1 млн. нейронов параллельно. Задача NESD — обеспечить более глубокую двустороннюю связь между человеческим мозгом и компьютером.”
Иллюстрация к анонсу программы NESD на официальном сайте DARPA https://www.darpa.mil/
ЭЭГ от инвазивных датчиков — очень “резкие” и точные, что открывает колоссальные перспективы. Однако, операция на мозге сопряжена с целым рядом последствий для здоровья и жизни человека. Это не только ряд неудобств, связанных с наблюдениями у нейрохирурга, вероятностью воспалений, приема препаратов, но и риск возникновения осложнений, например, эпилепсии. Кроме того, со временем нейроны теряют чувствительность, и имплантат нужно переустанавливать.
Неинвазивные датчики мне чем-то напомнили #очки:
Прототип неинвазивного датчика для снятия ЭЭГ. Фото: Нейрогресс https://neurogress.io/
Очевидно, массовый рынок — геймеры, блогеры, да и люди с ограничеными возможностями (например, утатившие конечности в результате несчастного случая) ждет решение именно такого характера — простое и удобное в использовании.
В общем виде порядок действия такой: сигналы мозга считываются посредством нейроинтерфейса; около 10% данных остаются без изменения, 90% используются для обучения системы различным паттернам. Результаты многократного обучения сравниваются, остается оптимальное решение, которое запоминает система. Полученные в результате сигналы классифицируются и в дальнейшем применяются для передачи команд на различные устройства (робот, протез, компьютер и иные приборы). Сигналы распознаются по частоте волн. Различают 8 основных типов сигналов, возможны комбинированные функции управления.
НЕИНВАЗИВНЫЙ ИНТЕРФЕЙС «МОЗГ-КОМПЬЮТЕР» ПАО «ИНЭУМ им. И.С. Брука» http://www.ineum.ru/
Таким образом, считав всплеск электрической активности программа получает данные на разнице потенциалов между исходным, “сырым” #ЭЭГ и нулевой точкой. Целью управления в определенной биологической системе можно назвать некое конечное состояние, в которое система должна прийти в силу своей структурной организации или некий ожидаемый результат действий. Конечное состояние биологической системы — это наиболее оптимальное состояние как всей системы в целом, так и отдельных ее составляющих на всех уровнях организации в условиях наиболее качественного управления. В итоге мы имеем пространство состояний, в которые переходит биологическая система.
Crystal Sarcophagus. By G-host Lee
Разработчики объединяют нейроустройства в сеть, собирая, анализируя и агрегируя полученые ЭЭГ формируют новые паттерны, тем самым, по сути, создавая новый сегмент IoT (интернета вещей). Например тестируемая с Октября 2017 бета версия ПО #Neurogress уже позволяет управлять игровым роботом, и в недалеком будущем в качестве исполнительных устройств сможет служить практически любое оборудование или гаджеты: бытовые приборы и устройства «умного» дома, квадрокоптеры, роботизированные мобильные платформы, антропоморфные роботы и т.д.
Решения с использованием миэлектрических датчиков.
Протез руки #OpenBionics https://www.openbionics.com/
Хороший пример использования миоэлектрических датчиков — российский проект #Моторика. Созданная в 2015 году как стартап, «Моторика» сегодня резидент #Сколково, сотрудничает c государственными фондами. Я не стану приводить изображений оттуда, на мой взгляд они слишком эмоциональны.
Такие устройства надежны и прекрасно решают проблемы протезирования, однако для более широкой аудитории, например поклонникам динамичных компьютерных игр, они наврядли подойдут. Главная проблема нейроинтерфейсов на миоэлектрических датчиках — временной лаг между генерацией сигнала и ее исполнением: сначала мозг передает команду в мышцу у датчика, затем датчик передает команду исполнительному устройству.
Технологии будущего. Фото: #Microsoft
Есть еще сотни прекрасных идей, связанных с расширением и раскрытием интеллектуальных и скрытых возможностей человеческого мозга, но увы — мне не удалось найти какой-то внятной информации, а составлять мнение на основании пресс-релизов и презентаций дело неблагодарное.
Ясно одно — будущее, каким мы понимали его всего пару лет назад — наступило. Увидим ли мы уже в следующем году умные интерфейсы? Давайте наблюдать.