Рубрика «LM Studio»

в 19:06, , рубрики: 40hx, 50HX, 90HX, CMP, cublas, CUDA, llm, LM Studio, Nvidia, майнинг

Почему видеокарта, имеющая неплохие вычислительные возможности, в Stable Diffusion работает в 20 раз медленнее, чем RTX 3060? Почему в LM Studio она становится фаворитом, а в ComfyUI карета превращается в тыкву? Почему FurMark на CMP 90HX тормозит, а на CMP 50HX «бублик» крутится почти нормально? Разгадки в разных программных ограничениях, которые можно найти с помощью экспериментов. Я купил три майнинговые карты Nvidia, чтобы понять, можно ли заставить их эффективно работать.

В этот раз мы рассмотрим:

  • статистику производительности в LM Studio

  • как всё печально в ComfyUI и Stable Diffusion

  • анатомию программного кода GPU

  • Читать полностью »

в 12:11, , рубрики: 50HX, 90HX, CMP, fp16, llm, LM Studio, Nvidia, Ollama, искусственный интеллект, майнинг

Синтетические тесты показывают, что эти карты в 10 раз медленнее старых игровых. Но на практике с LLM они оказались на уровне RTX 2060/3060. Эта статья для тех, кто хочет сделать дешёвый LLM-сервер и любителей хардкорных экспериментов.

 По ходу мы рассмотрим:

  • теоретические данные

  • условия для работы этих GPU

  • результаты практических тестов производительности

  • объяснение полученных противоречий

  • советы по небольшим доработкам (охлаждение, PCIexpress)

  • сравнение друг с другом и другими GPU

Введение

Читать полностью »

в 14:52, , рубрики: brave search, LM Studio, mcp-server, python

Мне очень нравится LM Studio, так как она позволяет локально запускать ИИ модели. Что позволяет сохранить приватность того о чем ты беседуешь с ИИ. Но по сравнению с коммерческими онлайн моделями, LM Studio не умеет ходить в интернет "из коробки". Те модели не могут использовать актуальную информацию из Интернета для ответов на вопросы.

Читать полностью »

в 12:55, , рубрики: gpt4all, jan, LM Studio, Ollama, локальный запуск нейросетей

в 9:01, , рубрики: Georgi Gerganov, ggml, LiteLLM, llama, llama.cpp, llm, LM Studio, Ollama, Георгий Герганов, тензорная алгебра
Георгий Герганов, автор llama.cpp и звукового кейлогера - 1

Многие пользуются YouTube, Netflix, но не подозревают о ключевых опенсорсных программах типа ffmpeg, которые работают на бэкенде этих сервисов. Похожая ситуация с нейронками, где многие знают программу OllamaЧитать полностью »

в 10:39, , рубрики: AI, gemma-3, gemma-3-12b, llm, LM Studio, mac, MacOS, инструкция, установка, языковая модель

Недавно решил покопаться в локальных языковых моделях и наткнулся на новинку от Google DeepMind — Gemma 3 12B. Модель мощная, с открытой лицензией и, что особенно порадовало, спокойно запускается прямо на ноутбуке. Без серверов, клаудов и трат на аренду GPU.

Чтобы всё это заработало без плясок с настройками, я взял LM Studio — простой и удобный интерфейс для работы с LLM, который буквально делает «запустил и поехали».

Я написал этот материал для блога MinervasoftЧитать полностью »

в 8:15, , рубрики: DeepSeek R1, LM Studio, гайд, ИИ, нейросеть локально

Что побудило написать статью?

Была тут недавно статья с картинками железа, ценами на железо, но без описания настроек, но зато с ссылками на GitHub и цитирую «Инструкция: Следуйте руководству в репозитории GitHub».:‑) Хотя в нынешних реалиях запустить нейросеть можно уже на чем угодно и не обязательно обладать навыками выше «Опытного пользователя ПК». (Если рассматривать «дистиллированные» сети, не знаю как правильно перевести.) Поэтому использования сложных инструментов и инструкций чтобы запустить что‑то и тем более отправку на GitHub считаю не совсем корректно.

О себе

Читать полностью »

Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js