Рубрика «Видеокарты»

В поисках самой мощной видеокарты! Тестируем А100 и А6000 Ada на большой языковой модели - 1

Большие языковые модели (LLM) произвели настоящую революцию в мире ML. Все больше компаний стремятся так или иначе извлечь из них пользу. Например, в Selectel мы оцениваем рациональность развертывания частной LLM для помощи сотрудникам техподдержки в поиске ответов на вопросы клиентов. Эту задачу мы решили совместить с тестом нового железа — видеокарты Ada с 48 ГБ RAM. В соперники ей выбрали А100 на 40 ГБ.

Сразу оговоримся, что нормально обучить LLM на одной GPU практически невозможно, но в качестве теста производительности такая задача вполне подходит. Под катом рассказываем, как мы проводили тест-драйв двух GPU и к каким выводам пришли.Читать полностью »

Китайские компании начали продавать гибридные видеокарты: десктопные устройства с ноутбучными чипами. Что происходит? - 1

За последние несколько месяцев Китай активизировал производство гибридных видеокарт. Как и указано в заголовке, графические адаптеры десктопные, но чип — ноутбучный. Что это за видеокарты такие и в чем их отличие от обычных? Подробности — под катом.
Читать полностью »

Не мытьем, так катаньем: NVIDIA начнет поставки в Китай мощных видеокарт, которые не подпадают под санкции США - 1

Американская компания NVIDIA сделала попытку приспособиться к недавно введенным ограничениям на экспорт своей продукции в Китай. 28 декабря она анонсировала видеокарту GeForce RTX 4090D. Чип выпущен специально под требования китайского рынка, без нарушения санкционных постановлений. Стоит отметить, что после запрета продаж флагманской RTX 4090 в октябре 2023 года китайским покупателям, NVIDIA быстро адаптировала продукт под новые условия.

“GeForce RTX 4090D был разработан при тесном сотрудничестве с правительственной службой экспортного контроля США”, — заявил один из представителей компании. В релизе к продукту Nvidia утверждает, что чип всего на 5% уступает в мощности старшей версии видеокарты, что практически не отразится на эффективности рабочего или игрового процесса китайских пользователей. Что это за карта и причем тут Китай? Разберемся под катом.
Читать полностью »

C:UsersfrioltDesktopimage0_1024_1024_watermark.jpg

Успех 30-ой серии видеокарт от Nvidia неоспорим. Прирост чистой мощности, Адекватная цена (в короткий период перед майнинг бумом). Тот же RTX 3070 давал почти х2 производительности в сравнении со своим младшим братом. И конечно же… От 40-ой серии ждали того же.

Но C’est la vie — и на выходе 40-ая серия, оказалась… Мощней? Слабей? Такой же? 

Читать полностью »

FlexGen на практике: получится ли запустить тяжелую модель без мощной видеокарты - 1

От таких штук нас обещает избавить FlexGen при работе с текстовыми моделями.

Ранее я рассказывал про создание виртуальной подруги на основе текстовой модели GPT-J, которую можно развернуть локально. Ожидаемый недостаток этой идеи — большие «аппетиты» текстовых моделей по отношению к вычислительным ресурсам. Собственно, мой последний эксперимент состоялся только благодаря карточке A100 в сервере.

В конце февраля группа исследователей опубликовала FlexGen — решение для запуска масштабных текстовых моделей в среде с ограниченными ресурсами. В теории оно должно помочь обойтись ресурсами персонального ПК, без добавления мощных видеокарт. Под катом расскажу о FlexGen и его применимости в существующем проекте.Читать полностью »

Сколько стоит содержать виртуальную девушку? Создаем подругу, записывающую кружочки в Telegram, с помощью 4 нейросетей - 1

Не так давно в интернете появилась душещипательная история, как пользователь hackdaddy8000 сперва создал виртуальную девушку, а затем усыпил ее. Моральный и мемный аспект этого события обсуждали в комментариях под новостями.

Поговорим о технической стороне. Как повторить этот шедевр и можно ли обойтись без сервисов OpenAI, которые сложно оплатить в России? И главное — сколько придется инвестировать в виртуальную подругу.
Читать полностью »

Nvidia и закон Мура. Мур умер, да здравствует Хуанг - 1

Что такое Закон Мура

Читать полностью »

Intel всегда мечтала покорить графический рынок. Выпускать передовые ускорители, встать во главе бурно растущего рынка графических технологий, было идеей-фикс полупроводникового гиганта еще с начала 80-х годов. Впервые Intel пыталась заявить о себе с лицензированием графического контроллера NEC 7220, ставшем Intel 82720. В 1983 году этот чип лег в основу графического ускорителя, который первым на рынке поддерживал 256-цветовую гамму. В те годы рынок графических продуктов только формировался, поэтому решение от Intel не снискало популярности.

Читать полностью »
SD – это Linux, а Midjourney – Mac: краткое полное руководство по Stable Diffusion - 1

Вот таких тирекс-тянок выдает нейросеть

Текст про Midjourney привлек внимание, и в комментариях наметилась дискуссия про Stable Diffusion. Аргументы убедили меня попробовать SD самостоятельно, но вскоре я понял, что это не самая простая задача. Сообщество любителей Stable Diffusion произвело на свет множество удобных инструментов, которые своим количеством и сложностью могут отпугнуть новичков.

Всю неделю, что я экспериментировал с нейросетью, я боролся с желанием SD добавлять вторичные гендерные признаки по моим запросам и грустил, смотря на результаты генерации котиков. О своих страданиях частично писал в личном Telegram-канале — подписывайтесь! В этом же тексте — собрал основные советы по работе со Stable Diffusion и подвел итог, сравнив эту нейросеть с Midjourney.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js