Взяли автоэнкодер из свежей работы CALM (Continuous Autoregressive Language Models), который учится упаковывать чанк из K=4 токенов в один непрерывный вектор и разворачивать обратно, и обучили его не на 15 миллиардах токенов Pile на 8 GPU, как в оригинале, а на 18 тысячах коротких строк с требованиями из IT-вакансий - на обычной машине без видеокарты. По дороге выгребли три классических грабли (flash-attn без CUDA, deepspeed, который не импортируется под NumPy 2.x, и тихий OOM на 33 ГБ логитов). Ниже - подробный разбор архитектуры, конфигов и честные результаты round-trip-реконструкции.
Рубрика «Calm»
Сжать четыре токена в один вектор: запускаем автоэнкодер CALM на доменных данных (и на одном CPU)
2026-06-13 в 8:43, admin, рубрики: Calm, cpu, llm, nlp, автоэнкодер, глубокое обучение, машинное обучениеMozilla обнаружила, что почти все аппки психологической помощи продают данные юзеров. И Calm, в который инвестировали россияне, тоже
2022-05-06 в 8:12, admin, рубрики: Calm, Лев Левиев, Текучка, метки: Calm, Лев Левиев, ТекучкаMozilla Foundation исследовала аппки для психологической самопомощи (и некоторые смежные), после чего обнаружила, что почти все они, часто будучи платными (причём изрядно платными), барыжат пользовательскими данными направо и налево
Под ударом критики оказалось и приложение Calm, в которое инвестировал один из основателей ВКонтакте Лев Левиев: