Привет, с вами снова ServerFlow. И да, мы потратили 320 тысяч рублей, чтобы проверить, есть ли какой-то толк от Nvlink при развертывания нейросетей? Тесты мы провели на двух видеокартах Nvidia A5000 24GB, сначала объединённые NVLink, а после без него. Для наглядности теста нами была выбрана последняя языковая модель LLaMA 3.2 на 90 миллиардов параметров. Что у нас в итоге вышло – сможете узнать ниже в посте.
Рубрика «ServerFlow»
Мы потратили 320 тысяч рублей ради Nvlink для нейросетей. Но был ли в этом смысл?
2024-11-25 в 10:53, admin, рубрики: A5000, llama, Nvidia, NVLink, ServerFlow, Видеокарты, ИИ, искуственный интеллект, машинное обучение, Серверное администрированиеОда любви к nvtop — консольный мониторинг GPU, который мы заслужили
2024-11-12 в 9:09, admin, рубрики: amd, intel, linux, Nvidia, nvtop, ServerFlow, Видеокарты, Компьютерное железо, системное администрированиеЧто выгодней — свое железо или облако?
2024-10-14 в 9:26, admin, рубрики: ServerFlow, аналитика, инфраструктура, колокейшн, Компьютерное железо, облако, облачные сервисы, собственный серверПривет! Вопрос из заголовка уже давно волнует и малый бизнес, и крупные компании. На первый взгляд облако кажется идеальным решением: не нужно сразу вкладываться в железо, можно быстро масштабироваться, легко получать доступ к новым технологиям. Однако стоит копнуть чуть глубже, и картина становится не такой однозначной. Особенно когда речь заходит о долгосрочной перспективе и финансах.
Сегодня мы в ServerFlow попробуем разобраться, что же действительно выгоднее: аренда облачных ресурсов или покупка своего оборудованияЧитать полностью »
192 ядра на процессор — релиз серверных AMD EPYC Turin
2024-10-11 в 14:31, admin, рубрики: amd, amd epyc, EPYC, intel, ServerFlow, Компьютерное железо, Новости, ПроцессорыЦелое десятилетие Лиза Су стоит у руля AMDЧитать полностью »
AmpereOne — самый доступный серверный ARM. Лучше чем AMD и Intel?
2024-09-10 в 18:04, admin, рубрики: amd, ampere, Ampere Computing, ampereone, intel, ServerFlow, Компьютерное железо, Процессоры, сервераNVIDIA и ARM — От первых шагов до попыток поглощения
2024-08-23 в 9:45, admin, рубрики: MediaTek, Nvidia, nvidia grace, nvidia tegra, ServerFlow, SoC, Компьютерное железо, ПроцессорыПривет! Мы в ServerFlow не просто поставляем серверное оборудование – мы железо всех видов и сортов горячо любим и им интересуемся, особенно историей его развития. Сегодня мы хотим поделиться с вами историей развития ARM-направления в NVIDIA — от первых попыток в мобильном сегменте до недавних стратегических ходов, включая неудавшуюся попытку приобрести ARM Holdings.
Восход ARM: От Первых шагов до Войны за Рынок
2024-08-20 в 6:50, admin, рубрики: ServerFlow, Компьютерное железоПривет! Мы в ServerFlowЧитать полностью »