Зачем мозгу предсказывать слова
Мы редко слушаем речь как поток неожиданных звуков. постоянно строит догадки о следующем слове и проверяет себя по мере поступления звука. Такой режим экономит силы: чем точнее ожидание, тем меньше усилий на распознавание. Есть много данных о предсказаниях в зрении и слухе, но семантика — смысл слов — долго оставалась тяжелой задачей. Авторы исследования предприняли важный шаг: показали, что предсказуемость слов, оцененная большой языковой моделью на базе BERT, согласуется с нервными ответами людей, когда они слушают естественную речь — аудиокнигу на немецком.
Как проверяли гипотезу в реальном прослушивании
29 участников лежали в магнитном томографе и слушали аудиокниги около 50 минут. Исследователи одновременно записывали MEG и EEG, чтобы увидеть и когда, и где в возникают реакции на слова. Ключевая метрика — N400, отрицательная волна примерно через 400 мс после начала слова. Она хорошо известна тем, что становится меньше, если слово ожидаемо по контексту, и больше — если удивляет .
Как LLM помогла измерить ожидаемость
Чтобы количественно оценить, насколько слово ожидаемо, авторы взяли BERT для немецкого языка и для каждого существительного в тексте рассчитали вероятность того, что именно это слово должно стоять на месте маски. По сути, модель мира с одной текстовой модальностью, выученная BERT на больших корпусах, давала численную оценку предсказуемости.
Авторов интересовали прежде всего существительные — носители значимой части смысла. Они сравнивали группы слов с высокой и низкой предсказуемостью и отдельно проверяли плавные, ступенчатые зависимости, разбив весь диапазон на десять равных по количеству примеров интервалов.
Что показали мозговые сигналы
Результат получился очень согласованный. Чем выше предсказуемость по BERT, тем слабее N400 в EEG — как будто проще распознать ожидаемое слово. MEG показал похожую картину, плюс — интересные эффекты до начала слова. За 300–350 мс до старта звука в MEG появлялась предвосхищающая активность, а в EEG — за 100 мс до начала слова. И чем выше предсказуемость, тем сильнее была эта подготовка, особенно в левой лобно-височной области — классическом узле языковой сети.
Откуда в мозге идут эффекты
Авторы восстановили источники активности в коре. После начала слова более сильные ответы для непредсказуемых существительных шли из теменных и сенсомоторных областей. Это может означать, что когда слово не угадывается, шире подключает сети, в том числе моторные, чтобы уточнить гипотезу о том, что прозвучало. До начала слова, наоборот, предсказуемые слова вызывали большую подготовку в левом фронто-височном контурах — как будто заранее активирует нужные представления.
Важно, что зависимости оказались плавными. Если разбить все слова на десять ступеней по предсказуемости, амплитуда N400 равномерно убывает от низкой к высокой предсказуемости, а предстимульная активность — напротив, растет. Между силой предвосхищающего сигнала и размером последующего N400 есть отрицательная связь: лучше подготовился — меньше нужно дообрабатывать.
Почему это важно для нейронаук и ИИ
Эта работа показывает, что оценки предсказуемости из BERT действительно резонируют с тем, как слушателя обрабатывает язык в живых, а не лабораторных условиях. Это мост между когнитивной нейронаукой и ИИ: статистические ожидания LLM отражают реальную прогнозирующую стратегию работы . Для фундаментальной науки ключ к смыслу лежит в динамике ожиданий и её точности: когда контекст надежен, смелее предвосхищает следующее слово и меньше удивляется.
Так и большие языковые модели не одинаковы по устройству, но их объединяет ключевой принцип — предсказание следующего слова. Это показывает, что статистические ожидания ИИ удивительно хорошо отражают прогнозирующую стратегию работы при восприятии речи.
***
Если вам интересна тема ИИ, подписывайтесь на мой Telegram-канал - там я регулярно делюсь инсайтами по внедрению ИИ в бизнес, запуску ИИ-стартапов и объясняю, как работают все эти ИИ-чудеса.
Автор: andre_dataist
