Мы пытались запустить LLM inference на старой AMD RX580 (8 VRAM) через ROCm в Kubernetes. GPU корректно определялся, VRAM использовалась, но inference падал с ошибками вида:
hipMemGetInfo(free, total) CUDA error: invalid argument
После серии экспериментов с ROCm userspace, Docker‑образами и Kubernetes deployment выяснилось, что проблема лежит на границе:
kernel → ROCm runtime → ggml backend
Финальное решение включало:
переход на kernel 6.8
стабилизацию ROCm runtime
использование llama.cpp + ROCm
grammar‑constrained decoding для strict sanity prompts
В итоге мы получили стабильный GPU inference:
~42 токен/сек
gpu_busy_percent → до 100%
Помните переполох с Intel ME, что устроили наши коллеги из PT SWARM? Тот, где в проприетарной прошивке, которая имеет максимальный доступ к вашей системе, обнаружили уязвимость, вследствие чего можно запустить свой код, включить отладку и, вообще, сделать с чипсетом практически всё, что заблагорассудится? Теперь такое же можно проделать и с AMD! Мы в Positive Labs решили разобраться в ситуации и исследовать ту самую плату, на которой недавно нашли уязвимость.
Бьюсь об заклад, что ПК в вашем офисе вряд ли потянут большие языковые модели (LLM).
Здравствуй!
Пришло время для моей новой статьи по Linux и в этот раз довольно необычной. Я буду разбирать способы “подружить” x64 архитектуру с компьютером на ARM64 (AArch64) архитектуре.
Вообще, тут стоит сделать небольшое отступление и рассказать про развитие компьютеров в общем.
Начну я далеко не с начала, а с момента зарождения настольных персональных компьютеров, так как до этого компьютеры были роскошью и обычный человек не мог у себя дома иметь огромный ЭВМ на условном UNIX.
Я не собираюсь в данном историческом экскурсе рассказывать про Apple II или Commodore Amiga, или ZX Spectrum 64/128K. Смысла имеет довольно мало.
Нам надо было закупить High-CPU, но так, чтобы это было одинаковое корпоративное железо для всех наших дата-центров по миру.
