Псст, ИИ нужен? 5 полезных инструментов для разработчика

Привет! Это Миша Степнов, руководитель центра R&D Big Data в МТС Диджитал. Если вы работаете с языковыми моделями или мечтаете создать собственного ИИ-ассистента, важно выбрать подходящие инструменты: они упростят процесс разработки и сделают взаимодействие с моделью максимально удобным. Сегодня поделюсь небольшой подборкой полезных интерфейсов, платформ и шаблонов, которые мы протестировали в МТС, — пользуйтесь на здоровье. А если есть свои «любимчики», напишите о них в комментариях.

Open WebUI

Современный веб-интерфейс с открытым исходным кодом. Предназначен для работы с крупными языковыми моделями (LLM). Поддерживается использование различных LLM-движков, таких как Ollama, и API, совместимых с OpenAI. Open WebUI упрощает интеграцию и взаимодействие с мощными языковыми инструментами через интуитивно понятный графический интерфейс как на ПК, так и с мобильных устройств, в том числе голосом.

Проект развивается благодаря активному сообществу. Энтузиасты вносят свой вклад в его оптимизацию, добавляя новые функции и улучшая существующие.

Основные возможности:

• простая установка через Docker или Kubernetes;

• интеграция с API OpenAI и поддержка множества платформ, включая LMStudio, GroqCloud, Mistral, OpenRouter;

• разграничение прав доступа для пользователей, что обеспечивает безопасную работу с данными;

• работа с Markdown и LaTeX для удобной визуализации данных;

• встроенные функции голосовых и видеозвонков;

• конструктор моделей Ollama для создания кастомизированных персонажей;

• интеграция Python-функций через встроенный редактор кода;

• поддержка плагинов и управление пользовательской логикой.

Рекомендуется всем, кому нужно интегрировать большие языковые модели в приложения и сервисы. Пример — чат-боты с продвинутыми функциями для оперативной обработки запросов клиентов. На Хабре, кстати, публиковалась статья ^[1] с советами по работе с платформой.

Вот официальный сайт Open WebUI ^[2] и документация ^[3].

LibreChat

Бесплатная платформа с открытым исходным кодом, предназначенная для взаимодействия с различными ИИ-моделями. Она предлагает веб-интерфейс, поддерживающий интеграцию со множеством провайдеров ИИ, таких как OpenAI, Azure, Anthropic и др., без переключения между разными приложениями или сервисами. Поддерживает локальную установку и развертывание в облаке. Гибкая в использовании и кастомизации.

Основные возможности:

• интуитивный интерфейс: дизайн, напоминающий ChatGPT, с поддержкой темной темы ^[4] и потоковой передачи ответов;

• выбор широкого спектра моделей ИИ: поддерживаются OpenAI, Azure, Anthropic (Claude), Google Vertex AI и другие;

• кастомизация: создание, сохранение и обмен пользовательскими пресетами для настройки взаимодействия с ИИ;

• редактирование и ветвление диалогов: возможность редактировать сообщения, отправлять их повторно и создавать ветки диалогов для более гибкого управления беседой;

• мультимодальный чат: загрузка и анализ изображений с использованием моделей Claude 3, GPT-4 и Gemini Vision;

• поддержка плагинов: интеграция с плагинами, например доступ к вебу и генерация изображений с помощью DALL-E-3;

• многоязычный интерфейс: поддержка множества языков, включая русский, английский, китайский, немецкий, испанский и другие;

• безопасная аутентификация: многоуровневая система пользователей с возможностью модерации и контроля использования токенов;

• открытый исходный код: open-source-платформа, активно развиваемая сообществом.

Перед началом работы, конечно, стоит ознакомиться с документацией ^[5] и руководством по быстрому старту ^[6].

GPT4All

Платформа с открытым исходным кодом, разработанная компанией Nomic AI для локального развертывания языковых моделей (поддерживается около 1 000 LLM). Доступна глубокая настройка с установкой максимального количества токенов. Кодовая база GPT4All на GitHub полностью лицензирована MIT ^[7], имеет открытый исходный код и может быть проверена. Работает без доступа к сети, так что данные обрабатываются локально, что может быть важно для бизнеса.

Основные возможности:

• доступ к API: интеграция функции обработки языка в различные приложения, улучшающая функциональность и пользовательский опыт;

• поддержка чипов Mac M Series, AMD и NVIDIA GPU;

• интеграция и настройка Python: привязки Python облегчают интеграцию в проекты, позволяя осуществлять детальную настройку;

• плагин для чтения PDF-файлов: поддерживает сложное взаимодействие с текстом и его извлечение из PDF-файлов;

• интеграция Quivr: применяется локальная обработка информации для повышения безопасности данных и их доступности.

Вот официальный репозиторий GPT4All на GitHub ^[8].

Vercel Chatbot

Шаблон с открытым исходным кодом, разработанный компанией Vercel для создания полнофункциональных и настраиваемых AI-чат-ботов с использованием Next.js и Vercel AI SDK. Предназначен для упрощения разработки и развертывания AI-чат-ботов.

Основные возможности Vercel Chatbot:

• Next.js App Router: обеспечивает продвинутую маршрутизацию для плавной навигации и высокой производительности;

• React Server Components (RSCs) и Server Actions: поддержка серверного рендеринга для увеличения скорости и эффективности;

• Vercel AI SDK: единый API для генерации текста, структурированных объектов и вызовов инструментов с использованием больших языковых моделей (LLM);

• поддержка различных провайдеров моделей: совместимость с OpenAI (по умолчанию), Anthropic, Cohere и другими провайдерами моделей;

• shadcn/ui: стилизация с применением Tailwind CSS (об этом фреймворке мы писали здесь ^[9]) и компонентов Radix UI для обеспечения доступности и гибкости;

• сохранение данных: использование Vercel Postgres, поддерживаемого Neon, для истории чатов и данных юзеров, а также Vercel Blob для эффективного хранения файлов;

• NextAuth.js: простая и безопасная аутентификация пользователей.

Вот официальный репозиторий Vercel Chatbot на GitHub ^[10]. А по этой ссылке доступно демо ^[11].

Chatbot UI

Проект с открытым исходным кодом. Предоставляет интерфейс для взаимодействия с LLM. Разработан для упрощения интеграции мощных языковых моделей, таких как GPT-3.5 и GPT-4, в различных приложениях.

Основные возможности Chatbot UI:

• простой интерфейс: интуитивно понятный дизайн, облегчающий взаимодействие с LLM;

• гибкость: поддержка различных языковых моделей и настройка под конкретные задачи;

• открытый исходный код: проект доступен на GitHub, в код можно вносить изменения и улучшения;

• легкость развертывания: быстрый запуск и интеграция в существующие системы.

И вот официальный репозиторий Chatbot UI на GitHub ^[12].

На сегодня все. Ну а подборку можно сделать в разы полезнее, если вы добавите и свои варианты в комментариях.