Главная

Рубрика «cpu»

Не только красные и синие — новые серверные процессоры от Qualcomm и Hygon

2026-07-01 в 8:11, admin, рубрики: cpu, Hygon, Qualcomm, selectel

Дуополию двух крупнейших игроков рынка серверных Читать полностью »

Как через CPU течёт 500 ампер и не сгорают выводы?

2026-06-15 в 16:50, admin, рубрики: cpu, wafer, кремний, ток

Немного электротехники

Читать полностью »

Сжать четыре токена в один вектор: запускаем автоэнкодер CALM на доменных данных (и на одном CPU)

2026-06-13 в 8:43, admin, рубрики: Calm, cpu, llm, nlp, автоэнкодер, глубокое обучение, машинное обучение

Взяли автоэнкодер из свежей работы CALM (Continuous Autoregressive Language Models), который учится упаковывать чанк из K=4 токенов в один непрерывный вектор и разворачивать обратно, и обучили его не на 15 миллиардах токенов Pile на 8 GPU, как в оригинале, а на 18 тысячах коротких строк с требованиями из IT-вакансий - на обычной машине без видеокарты. По дороге выгребли три классических грабли (flash-attn без CUDA, deepspeed, который не импортируется под NumPy 2.x, и тихий OOM на 33 ГБ логитов). Ниже - подробный разбор архитектуры, конфигов и честные результаты round-trip-реконструкции.

В прошлую пятницу я объяснял джуну, почему его код на отсортированном массиве работает в шесть раз быстрее, чем на неотсортированном. Тот же массив, тот же алгоритм, и те же данные. Просто в другом порядке. Джун смотрел на меня как на сумасшедшего и, честно говоря, я его понимаю.

Потому что ответ звучит безумно: процессор внутри вашего ноутбука постоянно пытается предсказать будущее. Буквально. Он гадает, какая ветка if выполнится ещё до того, как условие будет вычислено. И на отсортированных данных ему угадывать проще.

Ну, давайте разбираться.