Привет! На связи команда Рег.облака. Мы давно следим за развитием Retrieval-Augmented Generation (RAG) и хотели проверить, как эта технология работает в живых сценариях.
У нас есть ИИ-ассистент — это образ виртуальной машины с предустановленными Ollama, Open WebUI и набором моделей. Его можно развернуть в пару кликов и сразу работать с LLM в приватном окружении. Но мы решили пойти дальше и проверить, как он справится в прикладной задаче: собрать чат-бота для нашей техподдержки.
ИТ-лидеры видят большой бизнес-потенциал в малых моделях ИИ благодаря гибкости, низкой стоимости и нацеленности на конкретные задачи малые языковые модели (SLM) лучше подходят для бизнес-специфичных приложений и вскоре могут обойти LLM по использованию в корпоративной среде.
Малые языковые модели (SLM) дают CIO больше возможностей разрабатывать специализированные, отраслевые AI-приложения, эксплуатация которых дешевле, чем систем на базе универсальных больших языковых моделей (LLM).
Что будет, если к опасному запросу в LLM приписать специально подобранную строку токенов? Вместо отказа модель может послушно сгенерирует подробный ответ на запрещённую тему — например, как ограбить магазин. Именно так работают состязательные суффиксы: они заставляют LLM игнорировать ограничения и отвечать там, где она должна сказать «опасно».
Пролог: «Мы ещё увидимся — в этом мире или следующем»
Август, Коннектикут. 56-летний Эрик Стейн Сюэлберг убивает свою 83-летнюю мать, а затем и себя. Из соцсетей выясняется: последние месяцы он часами говорил с чат-ботом, которого называл «Бобби». В одной из переписок звучит фраза:
«We will be together in another life and another place and we'll find a way to realign cause you're gonna be my best friend again forever».
Универсальные модели вроде GPT хорошо справляются с широким классом задач, но буксуют в узких доменах. Они не знают специфику нишевых индустрий, их жаргон и не имеют доступа к проприетарным знаниям, которые делают ваш бизнес уникальным. Когда нужна система ИИ, которая действительно «понимает» именно вашу предметную область, стоит выбирать домен-специфичные LLM (DSLM).
Gartner отмечает, что одной из двух крупнейших тем ИИ с завышенными ожиданиями сейчас являются AI-ready data («данные, готовые к ИИ»).
Всем привет! Пару месяцев назад Альянс в сфере искусственного интеллекта, в который MWS AI тоже входит, запустилЧитать полностью »
Получилось так что я купил книжку на английском, в Австралии (автор оттуда и там она дешевле в 3 раза чем у Гугла), но прочитать не смог, очень богатый мир , много странных слов, начал терять контекст истории, читал по 2 страницы в день. Затем на ТГ канале Акимова попалась ссылка на прототип агента по переводу текста , со сслыками в итоге на научные работы и т.д., обрадовавшись полез на гитхаб искать форки и конечно готовую софтину , но почему то она не случилась. спустя два года появились платные сервисы, но не опенсорсная поделка, и я решил собрать хотя бы MVP чтобы проверить идею самостоятельно, потом написатьЧитать полностью »
👋 Привет!
Сегодня хочу поделиться своим опытом работы с локальными LLM (Large Language Models). Это что-то вроде GitHub Copilot, только без подписки, оффлайн и с контролем над своими данными.
У многих часто одни и те же страхи:
«Это слишком сложно».
«Оно съест всю оперативку».
«А вдруг мой код утечёт в облако».
«Да оно будет писать чушь».
На деле, уже сегодня можно запустить модель в 7B параметров на обычном MacBook или ноутбуке с 16 GB RAM.
И получить вполне рабочего помощника для кода, тестов и рефакторинга.
Глядя на слоган ВкусВилл-а («Здесь полезное вкусно») родился вопрос:
«Здесь полезное вкусно» и «Здесь вкусное полезно» - это одно и тоже?
Давайте спросим у LLM-моделей.
Внимание! Очень много наукообразия!
«Здесь полезное вкусно» и «Здесь вкусное полезно» - это одно и тоже? Разбери с точки зрения теории множеств эти две фразы
Вывод:
Фразы не одно и то же. Первая утверждает, что полезное ⊆ вкусного, а вторая — что вкусное ⊆ полезного. Совпадут они только в случае равенства этих множеств.
