Meta приблизилась к чтению сознания: ИИ переводит мысли в текст

Как тренировались и тестировались Brain2Qwerty v2?

Исследование проводилось на базе Баскского центра когниции, мозга и языка (BCBL) в Сан-Себастьяне (Испания). В тренировке ИИ приняли участие девять здоровых добровольцев в возрасте от 25 до 56 лет.

Процесс сбора данных и архитектурные достижения происходили по следующему алгоритму:

Сбор дотасета. Участники прошли 10 сессий, во время которых опубликовали более 2 500 предложений каждый.

Фиксация сигналов. При печати активность их мозга фиксировали методом магнитной энцефалографии (МЭГ) - неинвазивным сканированием с помощью специального шлема, измеряющего сверхслабые магнитные поля, генерирующие нейроны.

Точность декодирования. В самых успешных тестах Brain2Qwerty v2 достиг показателя точности слов в 78%. Это означает, что более половины предложений, расшифрованных из волн мозга, содержало не более одной ошибки в словах.

Исследователи зафиксировали, что точность системы возрастает прямо пропорционально объему тренировочных данных. Это дает основание полагать, что в будущем неинвазивные МЭГ-системы смогут полностью вытеснить потребность в хирургическом вмешательстве.

Код обеих версий (v1 и v2) Meta выложила в открытый доступ.

От мозговых волн до языковых моделей

Высокая точность Brain2Qwerty v2 была достигнута благодаря интеграции технологий распознавания паттернов, используемых в современных чат-ботах (вроде ChatGPT и семейства моделей Llama от Meta).

Процесс трансформации мысли в текст имеет иерархическую структуру и состоит из нескольких этапов:

Первичное кодирование. ИИ анализирует "сырые" МЭГ-сигналы мозга и переводит их в токены, соответствующие отдельным символам.

Выравнивание (Alignment). Промежуточная ИИ-система (aligner) группирует разрозненные буквы и символы в полноценных словах.

Финальный контекст (LLM). Большая языковая модель подхватывает сложившиеся слова и превращает хаотичный набор в грамматически правильные, связные предложения, учитывая семантический контекст.

Это первый случай успешного применения LLM для расшифровки зашумленных сигналов мозга.

Дополнительно в архитектуре системы задействованы автономные ШИ-агенты ("auto-research" agents). Их задача - самостоятельно и итеративно изменять базу кода, изобретая лучшие архитектурные решения для снижения коэффициента ошибок (WER).

В то же время авторы исследования отмечают, что, несмотря на высокую эффективность ИИ-агентов как "множителей силы", ключевым элементом научного процесса все равно остаются люди-исследователи .