Вредит ли критическому мышлению использование ИИ?

Перевод статьи Time

Исследователи из MIT Media Lab опубликовали предварительные результаты работы, которая показывает вероятные риски.

В эксперименте участвовали 54 человека 18–39 лет из Бостона. Их разделили на три группы и попросили написать несколько эссе формата SAT (это аналог ЕГЭ в США).

Первая группа использовала ChatGPT, вторая — Google, третья писала без подсказок. Во время работы участникам измеряли активность мозга с помощью ЭЭГ в 32 зонах (ЭЭГ даёт возможность анализа функционального состояния головного мозга и его реакций и применяется в диагностической и лечебной работе (особенно часто при эпилепсии), в анестезиологии, а также при изучении деятельности мозга, связанной с реализацией таких функций, как восприятие, память, адаптация и т. д.

Наименьшую активность показала группа, работавшая с ChatGPT. Авторы пишут, что эти участники «уступали» другим по нейронным, языковым и поведенческим показателям. За несколько месяцев эксперимента они всё чаще просто копировали ответы модели.

Авторы работы предполагают, что использование LLM может ухудшать учебный процесс, особенно у молодых пользователей. Статья пока не прошла научное рецензирование, а выборка небольшая, но руководитель исследования Наталия Космина решила опубликовать результаты раньше, чтобы привлечь внимание к исследованию. По её словам, если полагаться на ИИ ради удобства, это может повлиять на долгосрочное развитие когнитивных навыков.

«Я опасаюсь, что через полгода могут принять решение вроде “давайте внедрим GPT в детский сад”. Это может навредить детям», — говорит Космина. «Развивающийся мозг — в зоне риска».

Как проходило исследование

MIT Media Lab активно изучает влияние генеративного ИИ. Например, раньше команда показала, что чем дольше люди общаются с ChatGPT, тем более одинокими они себя чувствуют.

Космина решила сосредоточиться на учебных задачах, так как ИИ всё чаще используют школьники и студенты. Участники писали 20-минутные эссе на темы вроде этики благотворительности и сложности выбора из множества вариантов.

Эссе, созданные с помощью ChatGPT, оказались похожи друг на друга и мало отличались оригинальностью. Два учителя английского назвали их «безжизненными». ЭЭГ показывала низкую активность, связанную с вниманием и управлением задачей. К третьему эссе многие пользователи ChatGPT просто отправляли запрос модели и просили её «дописать» или «подправить» текст.

Участники, которые писали без инструментов, напротив, показывали наибольшую нейронную активность — особенно в альфа-, тета- и дельта-диапазонах, связанных с творческим поиском, работой памяти и смысловой обработкой. Они были более вовлечены, чувствовали удовлетворение и писали тексты, за которые готовы были «ручаться».

Группа, использовавшая Google, также показала высокую активность мозга и удовлетворённость процессом. Это важно на фоне того, что многие всё чаще ищут информацию не через поиск, а через чат-боты.

После трёх эссе всем предложили переписать одно из них. Группа ChatGPT должна была сделать это без модели; группа, писавшая «вручную», наоборот, могла использовать ИИ. 

Пользователи ChatGPT плохо помнили собственные работы и показывали низкие показатели в тета- и альфа-диапазонах, что говорит о слабой вовлечённости памяти. «Задача выполнена быстро и удобно, но, как мы показываем, в память почти ничего не попадает», — говорит Космина.

У работавшей самостоятельно группы, наоборот, активность выросла по всем диапазонам. Это показывает, что ИИ может усиливать обучение, если его использовать грамотно.

После публикации

Это первая нерецензированная статья Косминой. Команда подала её в журнал, но не захотела ждать до года, чтобы говорить о проблеме, которая, по мнению исследовательницы, важна уже сейчас. «Нужно понимать, как использовать такие инструменты, и помнить, что мозгу нужно развиваться в живой, а не полностью цифровой среде», — говорит она. «Важно, чтобы законы успевали за технологиями, и чтобы инструменты тестировали до внедрения».

Психиатр Зишан Хан, работающий с детьми и подростками, подтверждает, что многие из них сильно зависят от ИИ. «С психиатрической точки зрения чрезмерная опора на модели может иметь нежелательные последствия для психики и когнитивного развития, особенно у тех, чей мозг ещё формируется», — говорит он. «Нейронные связи, которые отвечают за память, поиск информации и устойчивость, будут ослабевать».

Когда статья вышла, пользователи соцсетей тут же прогнали её через ИИ-сервисы, чтобы получить краткие пересказы. Космина ожидала этого и добавила в текст «ловушки» — например, инструкцию «читать только таблицу ниже», — чтобы ограничить качество таких пересказов.

Сейчас команда работает над похожим исследованием влияния ИИ на работу программистов. «Пока результаты ещё хуже», — говорит Космина. Это может быть важно для компаний, которые хотят заменить начинающих разработчиков ИИ. Даже если эффективность вырастет, чрезмерная опора на модели, по мнению авторов, может ослабить критическое мышление и навыки решения задач у остальных сотрудников.

Исследования влияния ИИ пока только формируются. Работа Гарварда, опубликованная в мае, показала: генеративный ИИ повышает продуктивность, но снижает мотивацию. В том же месяце MIT дистанцировался от другой работы своего аспиранта, где утверждалось, что ИИ сильно повышает эффективность труда.

OpenAI не ответила на запрос о комментарии. В прошлом году компания вместе с онлайн-проектом Wharton выпустила рекомендации по использованию генеративного ИИ в обучении.