Эксплуатация уязвимости в чатботе Microsoft Tay (март 2016 года)
В то время как одни учёные совершенствуют системы машинного обучения, другие учёные совершенствуют методы обмана этих систем.
Весной 2016 года компания Microsoft была вынуждена «усыпить» своего чатбота Тэй — программу ИИ, которая моделировала личность и стиль разговора 19-летней девушки и обладала функцией самообучения. Разработчики надеялись, что Tay с каждым днём будет становится всё умнее, впитывая опыт разговоров с тысячами пользователей интернета. Вышло иначе. Множество твитов Тэй пришлось удалить из-за вопиющего расизма и неполиткорректности.
Спустя три года специалисты из университета штата Мичиган и лаборатории TAL AI подвели научную основу под хулиганство интернет-троллей. Они разработали систему Reverse Dialogue Generator (RDG) — «обратный генератор диалогов». Он заставляет нейросетевой чатбот сказать именно ту фразу, которую вы хотите.
Понятно, что RDG и сам представляет собой нейросеть. Если вкратце, он тоже обучается на диалогах людей, как и нормальные нейросетевые чатботы, только получает подкрепление не за выход, а за вход: если генерируемый вход соответствует заданному.
Читать полностью »