Рубрика «LM Studio»

в 9:30, , рубрики: ai-ассистент, llama.cpp, llm, LM Studio, opencode, qwen, rtx 4070, искусственный интеллект, локальные модели

Я давно слежу за развитием локальных LLM, но всегда упирался в одно и то же — либо модель маленькая и качество не устраивает, либо большая и не влезает в видеопамять. Всё изменилось когда я наткнулся на статью про MoE-модели и параметр -cmoe в llama.cpp.

Расскажу как я запустил Qwen3.6 35B-A3B на RTX 4070 12GB с 32GB RAM, настроил его как AI-ассистент для реального проекта в opencode, и почему теперь эта модель у меня работает постоянно.

Железо и ожидания

Моя конфигурация:

  • GPU: RTX 4070 12GB VRAM

  • RAM: 32GB DDR4

  • CPU: 12 физических ядер

  • OS: Windows 11 + WSL2 (Ubuntu)

Читать полностью »

в 11:08, , рубрики: claude code, Kilo Code, LM Studio, open source, qwen, бесплатные модели, кодинг, локальная LLM

Иногда нужна языковая модель, которая работает без интернета — на борту самолёта, в закрытом корпоративном контуре и т.д. В других случаях интернет есть, но платить за подписку не хочется. В этой статье — пошаговый разбор двух сценариев: локальный запуск через LM Studio и четыре бесплатных облачных агента, которые работают прямо в IDE.

Статья также доступна в формате видео.

Выбор модели

Для примера буду использовать Qwen3.5Читать полностью »

в 4:08, , рубрики: api, hr в it, http, LM Studio, python, искусственный интеллект, разработка, сезон ии в разработке, телеграмм-бот

Акт 1. Сбор и анализ

Начало 2024 года. Я работаю сис.админом в группе тех. поддержке пользователей. В свободное время на работе сижу что-то читаю о сетях, и информационной безопасности. Параллельно развернул Zabbix, настроил дашборды и ничего не предвещало беды. Но тут меня посетила идея, что мне нужен какой-то проект связанный с искусственным интеллеком. Загорелся я этим очень сильно, и решил что я должен что-то сделать!

Читать полностью »

в 19:06, , рубрики: 40hx, 50HX, 90HX, CMP, cublas, CUDA, llm, LM Studio, Nvidia, майнинг

Почему видеокарта, имеющая неплохие вычислительные возможности, в Stable Diffusion работает в 20 раз медленнее, чем RTX 3060? Почему в LM Studio она становится фаворитом, а в ComfyUI карета превращается в тыкву? Почему FurMark на CMP 90HX тормозит, а на CMP 50HX «бублик» крутится почти нормально? Разгадки в разных программных ограничениях, которые можно найти с помощью экспериментов. Я купил три майнинговые карты Nvidia, чтобы понять, можно ли заставить их эффективно работать.

В этот раз мы рассмотрим:

  • статистику производительности в LM Studio

  • как всё печально в ComfyUI и Stable Diffusion

  • анатомию программного кода GPU

  • Читать полностью »

в 12:11, , рубрики: 50HX, 90HX, CMP, fp16, llm, LM Studio, Nvidia, Ollama, искусственный интеллект, майнинг

Синтетические тесты показывают, что эти карты в 10 раз медленнее старых игровых. Но на практике с LLM они оказались на уровне RTX 2060/3060. Эта статья для тех, кто хочет сделать дешёвый LLM-сервер и любителей хардкорных экспериментов.

 По ходу мы рассмотрим:

  • теоретические данные

  • условия для работы этих GPU

  • результаты практических тестов производительности

  • объяснение полученных противоречий

  • советы по небольшим доработкам (охлаждение, PCIexpress)

  • сравнение друг с другом и другими GPU

Введение

Читать полностью »

в 14:52, , рубрики: brave search, LM Studio, mcp-server, python

Мне очень нравится LM Studio, так как она позволяет локально запускать ИИ модели. Что позволяет сохранить приватность того о чем ты беседуешь с ИИ. Но по сравнению с коммерческими онлайн моделями, LM Studio не умеет ходить в интернет "из коробки". Те модели не могут использовать актуальную информацию из Интернета для ответов на вопросы.

Читать полностью »

в 12:55, , рубрики: gpt4all, jan, LM Studio, Ollama, локальный запуск нейросетей

в 9:01, , рубрики: Georgi Gerganov, ggml, LiteLLM, llama, llama.cpp, llm, LM Studio, Ollama, Георгий Герганов, тензорная алгебра
Георгий Герганов, автор llama.cpp и звукового кейлогера - 1

Многие пользуются YouTube, Netflix, но не подозревают о ключевых опенсорсных программах типа ffmpeg, которые работают на бэкенде этих сервисов. Похожая ситуация с нейронками, где многие знают программу OllamaЧитать полностью »

в 10:39, , рубрики: AI, gemma-3, gemma-3-12b, llm, LM Studio, mac, MacOS, инструкция, установка, языковая модель

Недавно решил покопаться в локальных языковых моделях и наткнулся на новинку от Google DeepMind — Gemma 3 12B. Модель мощная, с открытой лицензией и, что особенно порадовало, спокойно запускается прямо на ноутбуке. Без серверов, клаудов и трат на аренду GPU.

Чтобы всё это заработало без плясок с настройками, я взял LM Studio — простой и удобный интерфейс для работы с LLM, который буквально делает «запустил и поехали».

Я написал этот материал для блога MinervasoftЧитать полностью »

в 8:15, , рубрики: DeepSeek R1, LM Studio, гайд, ИИ, нейросеть локально

Что побудило написать статью?

Была тут недавно статья с картинками железа, ценами на железо, но без описания настроек, но зато с ссылками на GitHub и цитирую «Инструкция: Следуйте руководству в репозитории GitHub».:‑) Хотя в нынешних реалиях запустить нейросеть можно уже на чем угодно и не обязательно обладать навыками выше «Опытного пользователя ПК». (Если рассматривать «дистиллированные» сети, не знаю как правильно перевести.) Поэтому использования сложных инструментов и инструкций чтобы запустить что‑то и тем более отправку на GitHub считаю не совсем корректно.

О себе

Читать полностью »

Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js