Откройте любую статью-инструкцию по установке LLM, в которой фигурирует Ollama. Уверен, в комментариях к ней автору уже объяснили, насколько он неправ и что единственное верное решение — использовать llama.cpp.
Рубрика «gemma»
Как запустить Gemma на сервере: сравниваем Ollama и llama.cpp
2026-09-30 в 8:00, admin, рубрики: AI, ai-агенты, gemma, Gemma 4, llama.cpp, llm, llm-модели, ml, Ollama, selectel«Тосок бессмысл»: как я не смог заставить Gemma 4 писать хорошие стихи
2026-08-12 в 7:03, admin, рубрики: gemma, llm, lora, reward hacking, vllm, генерация стихов, ограниченное декодирование, рифма, силлабо-тоника, файнтюнингВсем привет! Меня зовут Даниил Шеремет, я AI-инженер в Agentic Lab. Днём я проектирую агентные системы, а по вечерам весь последний месяц жёг GPU-часы, пытаясь заставить Gemma 4 писать русские стихи — с правильным ямбом, честной рифмой и хоть каким-то смыслом.
Тест Qwen3.5 9b, Gemma 4 12b и Bonsai 27b на легенде пенсионного возраста GTX 1080 ti
2026-08-11 в 12:29, admin, рубрики: AI, bonsai, gemma, qwen, искусственный интеллект, локальные нейросетиВсе началось вообще не с идеи написать очередной бенчмарк. Мне нужно было собрать локальный пайплайн для длинных подкастов: получить транскрипт, найти в нем интересные куски, выбрать несколько сильных фрагментов и уже из них делать короткие вертикальные ролики.
Облачные модели с этой задачей справляются, но постоянно гонять туда длинные расшифровки не очень хотелось. Плюс было интересно понять, насколько далеко сейчас можно уехать на железе.
Под рукой была GTX 1080 Ti на 11 ГБ. Карта 2017 года, архитектура Pascal, никаких Tensor Cores.
Теги реакций и собираемый промпт: как удержать характер ИИ-персонажа по ходу диалога
2026-07-25 в 11:35, admin, рубрики: constrained decoding, gemma, llm, Ollama, prompt engineering, structured output, ИИ-персонажи, консистентность диалога, промпт-инжиниринг, Чат-ботыПредыстория
Последние полгода с лишним я занимаюсь работой с LLM и созданием ИИ-персонажа. За это время я столкнулся с множеством проблем, решением которых хотел бы поделиться и, возможно, посоветоваться.
Кому подойдёт эта статья
-
Тем, кто хочет создавать прописанных персонажей для RP или ИИ-компаньонов
-
Энтузиастам, что хотят оживлять популярных персонажей из игр/комиксов/аниме
-
ИИ-энтузиастам
Начало опытов
Когда я только начал попытки создания своего пет-проекта с ИИ, я столкнулся с проблемой — вектор диалога меняется каждый ход и в конце концов становится неуправляемым.
Первый опыт малоресурсного перевода: Data dojo 2026
2026-07-22 в 12:38, admin, рубрики: Competition, gemma, machine translation, optuna, python, Yandex API, машинное обучение
RepE — как активационная инъекция влияет на энтропию, деградацию и качество ответов LLM?
2025-12-29 в 9:16, admin, рубрики: AI, gemma, gptoss, ml, owen, repe, активации, вектор, искусственный интеллект, скрытый слойСовременные большие языковые модели достигли впечатляющих результатов в генерации текста, однако они до сих пор остаются жуткой стохастикой. На мой взгляд проблема текущего ИИ заключается не в синтетических обучающих данных или архитектурных ограничениях, а в отсутствии внутренней верификации.
Локальные LLM модели: обзор и тестирование
2025-09-14 в 21:39, admin, рубрики: deepseek, gemma, llm, Ollama, qwen, генерация кода, искусственный интеллект, локальные модели, машинное обучение, нейросетиВ ★5УГЛОВ мы часто работаем с языковыми моделями — как облачными, так и локальными. И если про онлайн-сервисы знают все, то локальные LLM до сих пор остаются недооцененным инструментом. Я решил поделиться личным опытом: какие модели можно запускать прямо на ПК, чем они полезны и зачем их вообще использовать в реальных проектах.
