
Слышите из каждого утюга про «эй-ай» и хотите разобраться в этом тренде? Или просто собрались попробовать запустить ML- или AI-проект, но вас пугают настройки серверов и облаков?

Слышите из каждого утюга про «эй-ай» и хотите разобраться в этом тренде? Или просто собрались попробовать запустить ML- или AI-проект, но вас пугают настройки серверов и облаков?
В этой статье изложено всё, что нужно знать об устройстве компьютера с точки зрения программиста. А именно:
для чего нужен тактовый генератор, регистры, кэши и виртуальная память
что такое архитектура процессора
что такое машинный код и код ассемблера
чем отличается компиляция в машинный код в C, C++ или Rust от компиляции в байт-код виртуальной машины в языках типа Java и C#; в чём их отличие от интерпретируемых языков вроде JavaScript или Python
что такое динамические и статические библиотеки (.dll/.so, .lib/.a); что такое фреймворк
что такое API и web-API
Я это сделал. За один день.
Представим, что вы запустили в облаке или на своем оборудованиии обучение модели. Выбрали конфигурацию с A100, H100 или L40S, может, даже с RTX 4090. Запускаете обучение модели, ждете, что процесс пойдет как по маслу. Но вместо э��ого в инструментах мониторинга видите, что GPU загружен на 40–60%, а то и меньше.
Причина не в «кривом коде» и не в том, что GPU «не тянут». Проблема глубже: производительность AI-кластера определяется не пиковыми терафлопсами, а самым слабым звеном в цепочке ввода-вывода. Даже самый быстрый GPU беспомощен, если данные не успевают до него «доехать». Он просто ждет.
Если вы читаете этот текст, скорее всего, вы уже пробовали запустить LLM самостоятельно и, вполне вероятно, столкнулись с одной из типичных проблем:
«Заказал GPU, загрузил модель, а она не влезла, хотя по расчетам памяти должно было хватить».
«Платим за A100, а реально используем лишь 30% ее мощности».
Привет, на связи Павел, ML-инженер в Cloud.ru. Я прошел через эти проблемы сам, поэтому не понаслышке знаю, как это может раздражать.
Геймеры, играющие в 4К-игры, энтузиасты генеративного ИИ и все, кто работает с крупными LLM-моделями, всё чаще сталкиваются с серьезным ограничением — недостаточным объемом видеопамяти. Даже топовые потребительские видеокарты с 24 ГБ или 32Gb VRAM не всегда справляются с тяжелыми задачами. Например, для профессионального видеомонтажа 8K-материала в DaVinci Resolve с применением сложных эффектов и многослойной композиции 24 ГБ видеопамяти часто оказывается недостаточно.
Генеральный директор Nvidia Дженсен Хуанг недавно Читать полностью »
Когда у вас несколько десятков моделей компьютерного зрения, тысячи камер на заводах по всей стране и только несколько секунд, чтобы успеть оповестить оператора — важна каждая миллисекунда.
Но что делать, если вы работаете не в IT-гиганте с дата-центрами и парком GPU, а в промышленной компании с изолированными сетями, ограниченными ресурсами и жёсткими требованиями к отказоустойчивости? Расскажу:
почему разработка видеоаналитики в промышленности отличается от БигТеха;
какие ограничения приходится учитывать: отсутствие GPU, изолированные сети и жёсткие требования к отказоустойчивости;