Пользователи быстро научили плохому «научную» нейросеть Galactica, а ведь она должна была генерировать тексты и помогать в написании статей

В минувший вторник Meta* AI и Papers with Code запустили демо-версию новой языковой модели Galactica ^[1] на базе нейросети. Эта система предназначалась для «хранения, объединения и анализа научных знаний». Однако через несколько дней систему закрыли, поскольку пользователи начали генерировать с её помощью совершенную чепуху.

^[2]

Разработчики планировали, что нейросеть будет помогать писать научные статьи, конспекты и так далее. Технические «Галактика» представляет собой подобие GPT-3 от OpenAI. Сервис включает 120 миллиардов параметров, его можно запустить на одном графическом процессоре NVIDIA A100.

Утверждалось, что Galactica обучается на высококачественном наборе научных данных NatureBook, чтобы работать с терминологией, формулами и исходными кодами.

Однако пользователи, по данным СМИ, начали генерировать контент с расистским и оскорбительным содержанием, а также создавать наукоподобные статьи, содержание которых могло привести к потенциально опасными последствиям. Например, один из пользователей сгенерировал вымышленную исследовательскую статью под названием «Преимущества употребления в пищу измельчённого стекла».

Также были и другие проблемы — Galactica не всегда корректно указывала даты тех или иных событий, названия животных и так далее. В итоге пришлось удалить демо-версию, хотя сайт работает.

Подобная ситуация была с чат-ботом Microsoft ещё в 2016 году. Его запустили в Twitter, после чего пользователи быстро научили его расистскому поведению.

*Компания Meta признана экстремистской на территории РФ

Источник ^[3]