Рубрика «gpu» - 3

Железный дайджест за май: тесты B300, GPU от Alibaba и PCIe 8.0 - 1

На связи Сергей Ковалёв из SelectelЧитать полностью »

Почему тебе нужно стать нейро-панком прямо сейчас - 1

Небольшое эссе на тему того, почему сообществу разработчиков надо по максиму вкладываться в LLM, которые будут свободны от корпорации и государств.

Читать полностью »

О смерти закона Мура применительно к GPU, стене памяти, которую никто не хочет замечать, и архитектурах, которые пытаются с этим жить.


H100 стоит $30 000 и потребляет 700 Вт. RTX 5090 — $2 000 (де-факто больше) и 575 Вт. Прирост производительности между поколениями сжался с 80% до 15–20%. Это, на самом деле, структурная проблема. Давайте разберёмся, откуда она взялась и куда мы движемся.


Откуда взялась проблема

Читать полностью »

В программировании частая задача это работа с последовательными элементами. В этой, порой непростой задаче, нам часто помогают вектора. Вектора бывают самыми разными от queue и set до unordered_map и обычных массивов. Все они позволяют работать с данными по разному, где то быстрее вставка, где то быстрее доступ, но все они выполняют одну важную задачу это хранение данных.

И не смотря на их всеобъемлющую вариативность, в жизни встречаются ситуации когда один вектор не может решить задачу. Точнее может, но через костыли...

О чем я?

Читать полностью »

Тайвань — самое парадоксальное место на планете прямо сейчас. Смотрите сами:

  • Тайвань — это небольшой остров у побережья огромного Китая, который постоянно находится в опасности.

  • На Тайване нет ни нефти, ни газа, ни других природных ресурсов. По сути, там нет почти ничего — даже еду и электроэнергию Тайвань импортирует.

  • Тайвань в любой момент может стать эпицентром конфликта. Причём речь не про очередной региональный спор, а про возможное прямое столкновение между двумя главными сверхдержавами. Ведь Тайвань — это стратегический союзник США прямо под носом у КНР.

Читать полностью »

Не так давно лимиты на использование Claude Code резко уменьшились, и люди стали лучше считать свои токены. Я не стал исключением, поэтому первым делом собрал информацию по использованию токенов в своих сессиях и посмотрел, что и сколько бы стоило, если бы отправлял это через API.

Claude Code Session Usage

Год назад запуск модели на 35 миллиардов параметров подразумевал облако, очередь на GPU, и счёт от провайдера в конце месяца. Сегодня я покажу, как мы сделали это на одной потребительской видеокарте AMD за $500 — без ROCm, без CUDA, без MLX, одним бинарником на Zig.

Это пост про ZINC — inference engine, который мы строим с нуля под железо, которое люди реально покупают. Не как proof of concept, а как рабочий инструмент с OpenAI-совместимым API, потоковой генерацией и встроенным чатом.

Читать полностью »

https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js