При внедрении ИИ-решений для бизнеса постоянно сталкивался с проблемой: компании хотят использовать LLM, но не могут отправлять конфиденциальные данные в публичные облачные сервисы. 152-ФЗ, NDA, корпоративные политики безопасности — причины разные, суть одна: нужна локальная инфраструктура.
Ollama — это инструмент, который позволяет запускать локальные LLM (как LLaMA, Mistral, Gemma и другие)
LLaMA (Large Language Model Meta AI) — это серия открытых языковых моделей, разработанных компанией Meta
OpenWebUI — это веб-интерфейс для Ollama, похожий на ChatGPT, но работающий с локальными моделями
Memory 8+ GB
CPU 4+ (лучше GPU)
HDD 25+ GB
https://docs.docker.com/engine/install/ubuntu
Читать полностью »OpenWebUI как хороший медиакомбайн для работы с нейросетями умеет и в генерацию изображений. Не своими силами, конечно, но позволяет даже неподготовленному пользователю написать промт и получить картинку, как если бы вы работали в ChatGPT или GigaChat. Сделать это можно через API OpenAI или используя интерфейсы доступа к моделям StableDiffusion или Flux типа stable-diffusion-webui (она же Automatic1111) или ComfyUI.
Еще в прошлом году, 25 декабря, OpenWebUI обновился до версии 0.5.0, и один из лучших интерфейсов для работы с моделями в Ollama начал новый этап своей жизни. Давайте рассмотрим, что нового появилось за 1.5 месяца от релиза и что теперь он предлагает в версии 0.5.12.
Асинхронные чаты с нотификациями. Теперь вы можете начать чат, затем перейти в другие чаты чтобы посмотреть какую‑то информацию и вернуться назад и ничего не потерять, как было раньше. Работа с моделью ведется в асинхронном режиме и когда она закончит выдачу информации вы получите нотификацию об этом.
Медиакомбайн с веб-интерфейсом для работы с LLM-моделями Open WebUI за последний месяц серьезно обновился дважды (сначала до версии 0.3.35, а затем — до стабильной версии 0.4.5), которые привнесли множество полезных изменений. Поскольку мы используем его в нашем AI-чат-боте, то хотим рассказать, какие новшества и улучшения они привнесли и на что стоит обратить внимание при обновлении.
Начнем с процесса обновления: рекомендуем сразу обновлять и Ollama, и OpenWebui. Можете воспользоваться нашей инструкциейЧитать полностью »