Привет, друзья! В прошлой статье мы разобрали идею применения автоэнкодеров к трансоформерам. Там весь наш pipeline проходил на идее сжатия признакового пространства так, чтобы поделить кошек и собак. Но что делать, если у нас не задача классификации, а задача next token prediction? Да и признаки не соответствуют "собакам" и "кошкам", а охватывают все богатство естественного языка...
Ответ сообщества сейчас такой — давайте использовать SAE.
SAE: Sparse Autoencoders
Разреженным автокодировщиком назовем модель Читать полностью »