Рубрика «CUDA»

в 19:16, , рубрики: AI, CUDA, embeddings, llm, localai, mlx, mps, vlm

Интро

Если вам интересен мир ИИ и вы хотите не просто делать fit, predict на удаленной ВМ, а изучать что-то локально, экспериментировать и упрощать себе жизнь, запуская модели прямо на своем девайсе — скорее всего, вам понадобится достаточно мощное железо.

Эта статья - попытка ответить на вопрос эффективности железа для популярных AI задач: LLM, VLM, эмбэддинги.

Она будет полезна как ML/AI Инженерам, так и просто Энтузиастам, которые выбирают себе железо для локального инференса gpt-oss.

TL;DR:

в 14:20, , рубрики: AI, CUDA, deeplearning, DIY, gpu, hardware, machinelearning, python, pytorch, stablediffusion
Комплектующие для ИИ сервера

Комплектующие для ИИ сервера

Я это сделал. За один день.

Часть 1: Аппаратная часть

Выбор видеокарт: RTX 2060 vs RTX 1060

Читать полностью »

в 19:06, , рубрики: 40hx, 50HX, 90HX, CMP, cublas, CUDA, llm, LM Studio, Nvidia, майнинг

Почему видеокарта, имеющая неплохие вычислительные возможности, в Stable Diffusion работает в 20 раз медленнее, чем RTX 3060? Почему в LM Studio она становится фаворитом, а в ComfyUI карета превращается в тыкву? Почему FurMark на CMP 90HX тормозит, а на CMP 50HX «бублик» крутится почти нормально? Разгадки в разных программных ограничениях, которые можно найти с помощью экспериментов. Я купил три майнинговые карты Nvidia, чтобы понять, можно ли заставить их эффективно работать.

В этот раз мы рассмотрим:

  • статистику производительности в LM Studio

  • как всё печально в ComfyUI и Stable Diffusion

  • анатомию программного кода GPU

  • Читать полностью »

в 18:15, , рубрики: CUDA, fb2, llm, llm-модели, llm-приложения, python, sci-fi, spacy, перевод, переводы

Получилось так что я купил книжку на английском, в Австралии (автор оттуда и там она дешевле в 3 раза чем у Гугла), но прочитать не смог, очень богатый мир , много странных слов, начал терять контекст истории, читал по 2 страницы в день. Затем на ТГ канале Акимова попалась ссылка на прототип агента по переводу текста , со сслыками в итоге на научные работы и т.д., обрадовавшись полез на гитхаб искать форки и конечно готовую софтину , но почему то она не случилась. спустя два года появились платные сервисы, но не опенсорсная поделка, и я решил собрать хотя бы MVP чтобы проверить идею самостоятельно, потом написатьЧитать полностью »

в 13:09, , рубрики: container, CUDA, docker, gpu, linux, Nvidia, nvidia-smi, Ubuntu, Драйвер, установка
Что бывает, если не следовать инструкциям

Что бывает, если не следовать инструкциям

Специалисты из сферы ИИ часто сталкиваются с задачей корректной настройки сервера с GPU. Лично я с этой задачей сталкиваюсь в последнее время даже слишком часто...

Читать полностью »

в 11:25, , рубрики: CUDA, графические процессоры, оптимизация, Параллелизм

Наверное, я очень опоздал с изучением CUDA. До недавнего времени даже не знал, что CUDA — это просто C++ с небольшими добавками. Если бы я знал, что изучение её пойдёт как по маслу, я бы столько не медлил. Но если у вас есть багаж привычек C++ , то код на CUDA у вас будет получаться низкокачественным. Поэтому расскажу вам о некоторых уроках, изученных на практике — возможно, мой опыт поможет вам ускорить код.

Слияние блоков памяти

Если у вас множество потоков, работающих над одним массивом в C++, то, вероятно, вы попробуете перебрать его таким образом:

Читать полностью »

в 9:01, , рубрики: 10x engineer, alexnet, AlphaGo, chatgpt, CUDA, DNNResearch, few-shot learning, Google Brain, gpgpu, gpt, gpu, Ilya Sutskever, ImageNet, lenet, Nvidia GTX 580, OpenAI, ruvds_статьи, Safe Superintelligence, seq2seq, TensorFlow, word2vec, Алекс Крижевски, Джеффри Хинтон, илья суцкевер, Компьютерное зрение, машина Больцмана, неокогнитрон, сверхинтеллект, Томаш Миколов

Ведущий разработчик ChatGPT и его новый проект — Безопасный Сверхинтеллект - 1


Многие знают об Илье Суцкевере только то, что он выдающийся учёный и программист, родился в СССР, соосновал OpenAI и входит в число тех, кто в 2023 году изгнал из компании менеджера Сэма Альтмана. А когда того вернули, Суцкевер уволился по собственному желанию в новый стартап Safe Superintelligence («Безопасный Сверхинтеллект»).

Илья Суцкевер действительно организовал OpenAI вместе с Маском, Брокманом, Альтманом и другими единомышленниками, причём был главным техническим гением в компании. Ведущий учёный OpenAI сыграл ключевую роль в разработке ChatGPT и других продуктов. Сейчас Илье всего 38 лет — совсем немного для звезды мировой величины.Читать полностью »

в 9:24, , рубрики: backtesting, CUDA, gpu, numba, python, производительность

Введение

Бэктестинг — ключевой процесс в алгоритмической торговле. Он позволяет проверить стратегию на исторических данных, прежде чем запускать её в реальной торговле. Однако, чем больше данных и сложнее логика стратегии, тем дольше времени занимают вычисления. Особенно если стратегия анализирует тиковые данные и требуется протестировать множество комбинаций гиперпараметров стратегии, время вычислений может расти экспоненциально.

В этой статье мы разберем, как реализовать бэктестинг на чистом Python, посмотрим сколько времени могут занимать вычисления, а также попробуем найти разные способы оптимизации.

Читать полностью »

в 10:16, , рубрики: c++, CUDA, openmp, simd, мандельброт, оптимизация

Построение множества Мандельброта — классический пример чрезвычайно параллельной задачи (embarrassingly parallel problem).

Вначале мы разберем наивную реализацию, поиграемся с интринсиками (intrinsics) и, не теряя переносимости, заставим компилятор генерировать нам SIMD-инструкции. Далее добавим многопоточность и в заключение обесценим все наши старания несколькими строчками на CUDA.

Разгон Мандельброта: SIMD с бубнами, OpenMP и CUDA - 1

Читать полностью »

в 13:01, , рубрики: CUDA, merge sort, Nvidia, ruvds_переводы, алгоритмы сортировки, сортировка слиянием

Сортировка слиянием на CUDA - 1


Я решил изучить, как повысится производительность алгоритмов сортировки при их реализации на CUDA. Моя цель — понять, как можно использовать мощь параллельных вычислений для ускорения алгоритмов сортировки.

В качестве тестового я возьму алгоритм сортировки слиянием (merge sort), потому что он удобно разбивает задачу на меньшие подзадачи с двумя равными половинами, что хорошо подходит для параллельных вычислений.Читать полностью »

123...9
Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js