Рубрика «gpu»

Гайд по базовому окружению для AI без знаний в MLOps - 1

Слышите из каждого утюга про «эй-ай» и хотите разобраться в этом тренде? Или просто собрались попробовать запустить ML- или AI-проект, но вас пугают настройки серверов и облаков?                                                     

Читать полностью »

Intel Arc Pi GPU B580 AI Llama.cpp LLM

Intel Arc Pi GPU B580 AI Llama.cpp LLM.

Читать полностью »

В этой статье изложено всё, что нужно знать об устройстве компьютера с точки зрения программиста. А именно:

  • для чего нужен тактовый генератор, регистры, кэши и виртуальная память

  • что такое архитектура процессора

  • что такое машинный код и код ассемблера

  • чем отличается компиляция в машинный код в C, C++ или Rust от компиляции в байт-код виртуальной машины в языках типа Java и C#; в чём их отличие от интерпретируемых языков вроде JavaScript или Python

  • что такое динамические и статические библиотеки (.dll/.so, .lib/.a); что такое фреймворк

  • что такое API и web-API

  • Читать полностью »

Комплектующие для ИИ сервера

Комплектующие для ИИ сервера

Я это сделал. За один день.


Часть 1: Аппаратная часть

Выбор видеокарт: RTX 2060 vs RTX 1060

Читать полностью »

Представим, что вы запустили в облаке или на своем оборудованиии обучение модели. Выбрали конфигурацию с A100, H100 или L40S, может, даже с RTX 4090. Запускаете обучение модели, ждете, что процесс пойдет как по маслу. Но вместо э��ого в инструментах мониторинга видите, что GPU загружен на 40–60%, а то и меньше.

Причина не в «кривом коде» и не в том, что GPU «не тянут». Проблема глубже: производительность AI-кластера определяется не пиковыми терафлопсами, а самым слабым звеном в цепочке ввода-вывода. Даже самый быстрый GPU беспомощен, если данные не успевают до него «доехать». Он просто ждет.

Читать полностью »

Если вы читаете этот текст, скорее всего, вы уже пробовали запустить LLM самостоятельно и, вполне вероятно, столкнулись с одной из типичных проблем:

«Заказал GPU, загрузил модель, а она не влезла, хотя по расчетам памяти должно было хватить».

«Платим за A100, а реально используем лишь 30% ее мощности».

Привет, на связи Павел, ML-инженер в Cloud.ru. Я прошел через эти проблемы сам, поэтому не понаслышке знаю, как это может раздражать.

Читать полностью »

Геймеры, играющие в 4К-игры, энтузиасты генеративного ИИ и все, кто работает с крупными LLM-моделями, всё чаще сталкиваются с серьезным ограничением — недостаточным объемом видеопамяти. Даже топовые потребительские видеокарты с 24 ГБ или 32Gb VRAM не всегда справляются с тяжелыми задачами. Например, для профессионального видеомонтажа 8K-материала в DaVinci Resolve с применением сложных эффектов и многослойной композиции 24 ГБ видеопамяти часто оказывается недостаточно.

Читать полностью »

Видеокарта Huawei Atlas 300I: видеопамять — LPDDR4X 96 ГБ, общая пропускная способность — 408 ГБ/с, энергопотребление — 150 Вт, производительность — 280 TOPS INT8, 140 TFLOPS FP16

Видеокарта Huawei Atlas 300I: видеопамять — LPDDR4X 96 ГБ, общая пропускная способность — 408 ГБ/с, энергопотребление — 150 Вт, производительность — 280 TOPS INT8, 140 TFLOPS FP16

Генеральный директор Nvidia Дженсен Хуанг недавно Читать полностью »

Когда у вас несколько десятков моделей компьютерного зрения, тысячи камер на заводах по всей стране и только несколько секунд, чтобы успеть оповестить оператора — важна каждая миллисекунда.

Но что делать, если вы работаете не в IT-гиганте с дата-центрами и парком GPU, а в промышленной компании с изолированными сетями, ограниченными ресурсами и жёсткими требованиями к отказоустойчивости? Расскажу:

  • почему разработка видеоаналитики в промышленности отличается от БигТеха;

  • какие ограничения приходится учитывать: отсутствие GPU, изолированные сети и жёсткие требования к отказоустойчивости;

  • Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js