Рубрика «llm-модели»

Всё микроскопическое привлекает не меньше внимания, чем гигантское...

Всё микроскопическое привлекает не меньше внимания, чем гигантское...

Читать полностью »

Введение: фейл с машинкой по генерации идей

Возможно многие увидят схожую проблему при использовании нейронок. Я уже достаточно долго и часто использую llm для личных и рабочих задач, автоматизирую свои воркфлоу и в моих кейсах модели эффективно справлялись со своими задачами пока не столкнулся с одним кейсом.

Читать полностью »

Часть 1. Детерминированный движок рассуждения на конечной таблице операции (в перспективе — замена LLM)

Когда речь заходит о больших языковых моделях, все сразу отмечают их талант к сочинению и пересказу текстов. Но вот встроить такую модель в реальный продукт — задача куда более каверзная, чем кажется на первый взгляд. На практике вылезают три системных «подводных камня», из‑за которых работать с ними бывает откровенно неудобно.

Читать полностью »

Уже больше года назад у меня зародилась идея создать свою архитектуру языковой модели. Традиционные модели, "думающие" на уровне токенов мне решительно не нравились. Колоссальный вычислительный бюджет на то, чтобы просто предсказать один токен. Логичным мне казалось оторвать мышление модели от токенов, перенеся его в латентное пространство. Примерно полгода назад я начал первые практические эксперименты и сейчас получил первые практические результаты. Поскольку уровень подготовки читателей очень сильно различается, в статье не будет глубоких технических разборов, а скорее история эксперимента.

Читать полностью »

В 1623 году немец Вильгельм Шиккард создал первые известные чертежи механического калькулятора. Спустя двадцать лет Блез Паскаль разработал машину улучшенной конструкции, чтобы помочь справляться с огромным количеством утомительных арифметических расчётов, необходимых в его работе сборщика налогов.

Интерес к механическим вычислениям не ослабевал последующие века: поколения людей по всему миру продолжали дело Паскаля и Шиккарда, разделяя их убеждение, что перекладывание умственной нагрузки на машину принесёт облегчение.

Аферу на доверии можно разбить на три этапа:

Привет!

Знаете, что общего у ChatGPT, моего студенческого кода в три часа ночи и выступлений некоторых экспертов? Все они периодически галлюцинируют. Разница только в том, что от ИИ мы почему-то ждём идеальной точности, а от людей — нет.

Недавно провели стрим, где собрались специалисты, у которых ИИ не в презентациях, а в production: Сергей Спиренков (KODE), Александр Константинов (Cloud.ru), Михаил Ларкин (Сбер, ВТБ, S7), Иван Будник (ИИ-стартапы, e-commerce) и Константин Чуйков (Vibe Coding Community). Провели разговор про галлюцинации моделей и про будущее разработки с ИИ.

Читать полностью »

Недавно мы провели первую на российском диджитал-рынке GEO-прожарку. Формат не новый, но вот продукт… Новый, непонятный и мало исследованный — поэтому мы взяли на вооружение и углубились в него.

Читать полностью »

В июне этого года на arXiv вышла работа «InfoFlood: Jailbreaking Large Language Models with Information Overload»

В исследовании авторы обнаружили новую уязвимость в системах безопасности больших языковых моделей: когда вредоносный запрос перегружается сложной лингвистической структурой, фильтры безопасности перестают его распознавать, хотя сама модель продолжает понимать суть и выдаёт вредоносный ответ.

Читать полностью »

На днях наткнулся на статью, опубликованную в телеграм-канале Habr, под названием «Тихий апокалипсис контента: почему все устали от сгенерированных статей». В ней автор выражает озабоченность количеством сгенерированного контента, который набирает просмотры и вытесняет из выдачи авторские статьи. Статья автора натолкнула меня на идею порассуждать на эту тему, провести небольшие исследования, сравнить процесс генерации текста ИИ и человеком и просто поделиться своим «экспертным» мнением.

Задачи для себя при написании статьи я ставлю следующие:

  1. Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js