Начну с личного. Моя бабушка, сейчас уже очень пожилая женщина, работала оператором ЭВМ в вычислительном центре (дата‑центре для зумеров) Горьковской железной дороги. То есть была человеком образованным. Это не мешало ей рассказывать мне, пятилетнему, о том, что в ближайшем будущем государство нас всех чипирует, и тогда нам всем конец.
Большую языковую модель можно скачать с Hugging Face, развернуть на сервере с GPU и отправить ей первый запрос. Технически LLM уже работает: получает текст на вход и генерирует ответ. Но до готового бизнес-сервиса еще далеко.
Откройте любую статью-инструкцию по установке LLM, в которой фигурирует Ollama. Уверен, в комментариях к ней автору уже объяснили, насколько он неправ и что единственное верное решение — использовать llama.cpp.
Иногда LLMки путаются в языке, на котором они отвечают (П維чему нейро考ети дел思ют так). Так почему бы не помочь им забыть про языки, в которых мы не заинтересованы.
Когда смотришь на характеристики современных MoE‑моделей, иногда возникает странная мысль: а что будет, если взять модель с сотнями миллиардов параметров и попробовать запустить её на старом игровом GPU?
С Qwen3.8-Flash‑Next этот эксперимент оказался особенно интересным.
https://huggingface.co/Qwen/Qwen3.8-27B
Кратко:
Размер модели относительно небольшой, довольно быстро работает на карточках с 24+ GB VRAM.
"Понимает" изображения и видео
по некоторым бенчмаркам - лучше чем Opus 4.6
контекст: 262K, с помощью YARN можно увеличить до 1M
Агенты сейчас обсуждают все подряд. Меняются фреймворки, появляются MCP-серверы, облака обещают «агента из коробки». Но в центре любой такой схемы по-прежнему одна и та же вещь — LLM: она читает контекст и формулирует следующий шаг. А между запросом к агенту и самой моделью — ещё несколько слоёв.
