NVIDIA RTX 5090Читать полностью »
NVIDIA RTX 5090Читать полностью »
GeForce RTX 4090, представленная NVIDIA в октябре 2022 года, стала не только самой мощной потребительской видеокартой своего времени, но и одной из самых противоречивых. За почти три года существования этот флагманский продукт прошел сложный путь от серьезных технических проблем до относительной стабильности, демонстрируя как инженерные просчеты, так и способность индустрии адаптироваться к вызовам.
В октябре 2023 года Вашингтон добавил тринадцать китайских компаний в Entity List, включая Biren Technology и Moore Threads — две компании, которые считались лучшими надеждами Китая в создании конкурентов NVIDIA. Санкции перекрыли доступ к передовым фабрикам и американскому программному обеспечению для проектирования чипов, но не остановили амбиции Поднебесной в создании собственных GPU.

RTX™ 4090 — не новинка, но одна из самых сбалансированных карт по цене и производительности. Под катом — не просто обзор железа. Показываем, как 4090 раскрывается в задачах 3D и рендеринга, включая специфичный, но показательный кейс по headless-визуализации с трассировкой лучей и сборкой видео через FFmpeg.Читать полностью »

Китайские производитель процессоров Hygon готовит 128-ядерный серверный CPU C86-5G с SMT4 (512 потоков) и 16-канальной DDR5. Официального анонса еще не было, но ожидается, что у новинки будет рекордная многопоточность. Но это не все новинки от производителей в мае.
Привет! Меня зовут Сергей Ковалёв, я менеджер выделенных серверов в Selectel. В новом дайджесте собрал новости о свежих процессорах, вилдеокартах, дисках и серверах. Изучайте и делитесь мнением в комментариях. Подробности под катом!Читать полностью »
В последнее время большие языковые модели (LLM) становятся все более популярными, но для их эффективного запуска требуется значительная вычислительная мощность. Один из способов запуска LLM локально - использование библиотеки Llama.cpp. В этой статье мы рассмотрим, как тестировать производительность видеокарт для LLM с использованием инструмента llama-bench, входящего в состав Llama.cpp.
Меня зовут Андросов Михаил — DevOps/MLOps-инженер. Последние два года сопровождаю ML-кластера Kubernetes с интенсивной нагрузкой на GPU.
Наш типовой bare-metal-узел — сервер с 10 × NVIDIA RTX 4090 (24 GB). GPU enterprise уровня тоже есть, но мы предпочитаем использовать пользовательские GPU: такие карты проще приобрести и эксплуатировать.
В процессе запуска бесчисленных ML экспериментов, встали следующие проблемы:
Недоиспользование памяти. Большинство ML задач занимает лишь часть памяти RTX 4090, из-за чего GPU простаивает.
Взаимоблокировки.Читать полностью »

Всем привет! Меня зовут Сергей Ковалёв, я менеджер по развитию выделенных серверов. В этом теплом майском дайджесте собрал новинки серверного железа и другие новости из мира технологий. В апреле производители хоть и не очень нас баловали, зато охотно делились планами на будущее. Подробности под катом!Читать полностью »