Рубрика «llm» - 94

Как устроены LLM-агенты: архитектура, планирование и инструменты - 1

Всем привет! С вами Кирилл Филипенко, сисадмин из Selectel, и сегодня мы погрузимся в тему LLM-агентов. Сейчас об этих самых «агентах» кричат буквально из каждого утюга, поэтому пришло время наконец-то разобраться, что это такое, как они работают и с чем их, собственно, едят. Прыгайте под кат, будет интересно!Читать полностью »

Как мы сделали новых ИИ-помощников для программистов компактными и при этом могучими - 1

В прошлом году мы уже рассказывали, как создавали нашего помощника программиста Kodify. Не прошло и года, и мы Читать полностью »

для бизнеса, разработки и другой работы

По моему практическому рабочему опыту, вот так:

Claude 4
* Sonnet => лучше всех пишет код, идеально держит контекст. Отлично пишет тексты и шутит. Подходит для создания ИИ-бота.
* Opus => неоправданно дорогой, всего на 20% лучше Sonnet.
Контекст — до 200 тыс. токенов.

Gemini-2.5
Читать полностью »

Зачем?

У меня возникло желание запустить локальную версию DeepSeek R1 и V3. Это связано с необходимостью избежать рисков связанных с блокировками доступа и утечкой данных. Ещё добавилось желание протестировать разнообразные настройки LLM. До этого момента я пробовал запускать разные небольшие модели исключительно на cpu. А вот опыта с большими моделями не было.

Где?

Читать полностью »

В последнее время большие языковые модели (LLM) становятся все более популярными, но для их эффективного запуска требуется значительная вычислительная мощность. Один из способов запуска LLM локально - использование библиотеки Llama.cpp. В этой статье мы рассмотрим, как тестировать производительность видеокарт для LLM с использованием инструмента llama-bench, входящего в состав Llama.cpp.

Дисклеймер: Почему Llama.cpp, а не Ollama?

Читать полностью »

Статья написана без использования нейросетей

Любая нейросеть — это black box. Любая LLM — это black box^2. Однако люди смогли их придумать. И если старые нейронные сети, основанные на перцептроне или его производных, базируются на вполне известных биологических процессах, то трансформеры лежат вне представления о работе мозга. Следовательно, возникает вопрос — почему это сделано именно так?

В давнюю для себя пору я работал с трехмерной графикой, и когда мои должностные обязанности привели меня на темную дорожку современного хайпа, увиденное заставило меня задуматься о том, что где‑то все описанное уже было...

Читать полностью »

OpenAI готовит релиз ChatGPT-5 — разбор утечек и ожиданий - 1

На прошедшей неделе Google выпустилаЧитать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js