TL;DR.Читать полностью »
Рубрика «LiteLLM»
Купил мини‑ПК с приставкой «AI» ради локальной LLM. Что может NPU на самом деле
2026-10-01 в 9:58, admin, рубрики: amd ryzen ai, fastflowlm, LiteLLM, npu, proxmox, qwen, self-hosted, xdna, инференс, локальные llmСвой инференс для 25 разработчиков: 452:1, KV‑пул и почему это не экономит денег
2026-08-22 в 12:05, admin, рубрики: claude, kv-cache, LiteLLM, prefix caching, qwen, RTX PRO 6000, vllm, агентская разработка, локальные llmВсе цифры сняты с работающего стенда: потребление токенов — за календарную неделю по данным шлюза, метрики движка — кумулятивно за период аптайма (11 426 обработанных запросов). Продолжение — про выбор модели по замерам, а не по бенчмаркам — будет отдельной статьёй.
Для кого эта статья
Для тех, кто держит или собирается держать LLM внутри контура: тимлидов, DevOps, архитекторов. Здесь конфиги, цифры и грабли, а не введение в трансформеры.
Что такое LiteLLM и для чего его едят
2026-07-29 в 12:01, admin, рубрики: LiteLLM, llm, ml, selectel
Если вы или ваша команда уже используете LLM или планируете интегрировать их в проект, то наверняка у вас возникал вопрос, как лучше и красивее написать такой интерфейс, который мог бы общаться с разными моделями. И на такой вопрос уже есть ответ.
Auto AI Router: высокопроизводительный прокси-роутер для LLM API на Go
2026-04-25 в 14:49, admin, рубрики: docker, docker-compose, gemini, github, Go, LiteLLM, llm, OpenAI, vertexЕсли вы работаете с LLM-провайдерами, то наверняка сталкивались с одной и той же проблемой: у OpenAI лимит 100 RPM на ключ, у Vertex AI — свои квоты на проект, у Anthropic — отдельные ограничения. В итоге приходится держать несколько ключей, балансировать нагрузку вручную, следить, чтобы один заблокированный доступ не уронил всё приложение, и при этом хочется сохранить единый OpenAI-совсместимый эндпоинт для клиентского кода.
Именно для этого и создан Auto AI RouterЧитать полностью »
Георгий Герганов, автор llama.cpp и звукового кейлогера
2025-07-07 в 9:01, admin, рубрики: Georgi Gerganov, ggml, LiteLLM, llama, llama.cpp, llm, LM Studio, Ollama, Георгий Герганов, тензорная алгебра
Многие пользуются YouTube, Netflix, но не подозревают о ключевых опенсорсных программах типа ffmpeg, которые работают на бэкенде этих сервисов. Похожая ситуация с нейронками, где многие знают программу OllamaЧитать полностью »