«Больше» — не всегда значит «лучше». К пользовательским приложениям в облакахЧитать полностью »
Рубрика «инференс»
Линейка HighFreq или как выжать из облака максимум для инференса, ML и других высоких нагрузок
2026-03-13 в 8:00, admin, рубрики: ml, selectel, ИИ, инференс, инфраструктура, облакоLLM модель qwen3-coder-next быстрый тест на локальном сервере
2026-02-04 в 18:29, admin, рубрики: llm код, запуск llm, инференс, инференс ллм, инференс моделей, как запустить llm, настрока linux для llm, обучение нейросети, сервер для LLMСегодня зашел на сайт ollama, а там представили новую LLM модель qwen3-coder-next. Но при попытке ее установить вышло предупреждение что моя текущая версия 0.15.4 не будет работать с ней, нужно установить 0.15.5 которая еще только в бета тестировании. А стандартная установка ставила только 0.15.4, сначала я плюнул на это.
Но немного разобравшись, оказалось что установить бета версию не так и сложно, стандартная установка для линукс выглядит так
curl -fsSL https://ollama.com/install.sh | sh
а установка бета варсии (сейчас она 0.15.5-rs2) выглядит так
Локальный инференс на бюджетных ноутбуках
2025-12-09 в 9:45, admin, рубрики: AI, gpt, lmstudio, self-hosted, ИИ, инференсВ середине 2025 года приобрел себе для работы ноутбук Lenovo Thinkbook 14+. После выхода моделей gpt-oss протестировал локальный инференс младшей модели и результаты для меня были весьма удивительными. Затем я провел тесты еще на двух своих ноутбуках, а совсем недавно на работе собрал заинтересованных ребят и появились результаты еще 5 ноутбуков.
«Золотая рыбка, хочу LLM без GPU»: как собрать Inference-сервер на CPU
2025-11-14 в 7:00, admin, рубрики: cpu, gpu, llm, ml, selectel, большие языковые модели, инференс, машинное обучение, Процессоры
Что нового в NVIDIA Rubin CPX — платформе для AI, представленной на AI Infra Summit
2025-09-25 в 6:26, admin, рубрики: gddr7, gpu, Nvidia, графические процессоры, инференс, искусственный интеллект, обработка данных, программный код9 сентября NVIDIA представила новый графический процессор Rubin CPX, разработанный специально для задач искусственного интеллекта с длинным контекстом. Этот монолитный чип оснащен 128 ГБ памяти GDDR7, способен обрабатывать миллионы токенов информации и оптимизирован для фазы предварительной обработки данных в задачах инференса. В деталях рассказываем, какую мощность выдает новинка и для какой работы подходит.
На что способен NVIDIA Rubin CPX
Как приручить LLM: подбор инфраструктуры для инференса. Часть 1
2025-08-29 в 8:01, admin, рубрики: gpu, llm, ml, selectel, инференс
Привет! Меня зовут Антон, и сейчас я активно занимаюсь вопросами инфраструктуры для ML и AIЧитать полностью »
LLM-инференс в 20 раз быстрее, чем на GPU! Как подключить агента-кодера с CLINE и Cerebras
2025-08-22 в 9:56, admin, рубрики: AI, coding, llm, llm-агент, vibecoding, инференсХочешь, чтобы твой AI-ассистент для кодинга работал в 20 раз быстрее, чем на современных GPU? В этой статье покажу, как подключить Cerebras к CLINE — и получить мгновенные ответы от LLM.
Почему Cerebras в 20 раз быстрее, чем GPU
Компания Cerebras использует Wafer-Scale Engine 3 (WSE-3) — самый большой и быстрый ИИ-чип в мире.
Основные фишки:
-
WSE-3: гигантский кремниевый чип, размером с CD-диск, 4 триллиона транзисторов и 900 000 ядер.
-
44 ГБ встроенной SRAM на самом кристалле → почти нет обмена с внешней памятью.
-
20 Пбайт/сЧитать полностью »
Что же такое TPU
2025-06-25 в 13:01, admin, рубрики: Google, tensor processing units, TPU, инференс, умножение матриц
В последнее время я много работал с TPU, и мне было интересно наблюдать такие сильные различия в их философии дизайна по сравнению с GPU.
Главная сильная сторона TPU — это их масштабируемость. Она достигается благодаря и аппаратной (энергоэффективности и модульности), и программной стороне (компилятору XLA).