Привет! На фоне ажиотажа вокруг нейросетей все чаще встает вполне приземленный вопрос — сколько стоит содержать собственную LLM.
Рубрика «localai»
Собственная облачная LLM на 16 ГБ VRAM — часть 1: базовая сборка, tools и MCP
2026-03-06 в 8:00, admin, рубрики: api-сервис, LangChain, langgraph, localai, MCP, python, qwen3, selectel, vllm, ии-агентыTelegram AI Companion: веселый проект на Rust, Telegram и локальном ИИ
2025-06-21 в 7:36, admin, рубрики: actix, AI, docker, llm, localai, natural language processing, ngrok, OpenAI, RustПривет! 👋
Недавно я собрал небольшой, но бодрый pet-проект — Telegram AI Companion. Это Telegram-бот, который умеет болтать с вами, используя локальную языковую модель через LocalAI. Без OpenAI, без облаков — всё на своём железе.
Цель проекта — не революция в AI, а именно учебное и увлекательное погружение в Rust, асинхронность, Telegram API и локальные LLM-модели. Такой себе “бот-компаньон”, но больше для разработчика, чем пользователя :)
Если вам интересно:
-
Как соединить Telegram-бота с локальной LLM
-
Как запускать Rust-проекты в Docker
-
Как построить REST API и обрабатывать вебхукиЧитать полностью »
Второе пришествие мейнфреймов. Всё больше компаний хотят запускать ИИ у себя в офисе
2024-12-23 в 9:01, admin, рубрики: anythingllm, chatgpt, copilot, FraudGPT, gpt4all, IBM, IBM z16, Khoj, llamafile, localai, meta, Mount Diablo, Ollama, ruvds_статьи, Telum II, Twinny, WatsonX, WormGPT, дата-центр, мейнфреймы, обман, самохостинг, цод, человечество
Мейнфрейм IBM z16 во время лабораторных тестов в 2022 г, источник
Приложения ИИ находят применение в бизнесе. Но есть проблема: корпоративные данные и документация представляют коммерческую тайну. Их нельзя передавать на сторону, тем более в облачную систему машинного обучения. Кроме того, что сама передача небезопасна, так ещё и публичная модель будет обучаться на наших секретах, а потом помогать конкурентам.
В общем, у коммерческих компаний остаётся один вариант: поднимать собственный сервер или вычислительный кластер с ИИ. Таким образом, из эпохи облачных вычислений мы возвращаемся к старому доброму самохостингу, только сейчас это самохостинг GPU, серверы и мейнфреймы.
Читать полностью »
«Гараж» как инкубатор инноваций и л̶о̶г̶о̶в̶о S̶k̶y̶n̶e̶t
2024-12-17 в 11:30, admin, рубрики: chatgpt, codellm, genai, localai, Ollama, OpenAI, rag, retrieval augmented generation, techradar, WhisperПривет, Хабровчане!
Меня зовут Андрей Беляев, и я занимаюсь расширением возможностей организаций, внедряя ИИ-помощников.
Сегодня я расскажу, как наша R&D-лаборатория, «лампово» называемая «Гараж», исследовала потенциал больших языковых моделей, проверяла бизнес-гипотезы и технические решения и в итоге запустила процесс создания корпоративной экосистемы GenAI, а также технологической платформы в ее основе.
