Рубрика «llm» - 93

Введение

После сборки домашнего сервера для работы с LLM DeepSeek-R1 подробно о нём можно прочитать в статье Локальный DeepSeek-R1-0528. Когда скорость улитки – не приговор, а точка старта возникла потребность сравнить разные квантизации для оптимизации скорости/качества работы. Запуская работу с разными моделями, я заметил что квантизация зачастую приводит к ускорению генерации токенов.
Читать полностью »

Вчера тестировал мой агент DepthNet на реальных моделях. Это что то вроде "операционной системы для LLM моделей" В прошлой статье пользователи просили привести диалоги, и рассказать подробнее, и тогда я решил более полно осветить вопрос.

Доработка агента

В прошлые эксперименты я понял, что агент имеет множество недостатков (он и сейчас их имеет, но уже меньше :), которые необходимо пофиксить. На текущий момент сделано:

Предлагаю ознакомится экспертной общественности с моим мини-фреймворком для разработки LLM-based приложений: core-kbt

Концепция проекта

Проект core-kbt (kbt - это аббревиатура от Knowledge Base Trajectory) - это мини-фреймворк для разработки LLM-based приложений и доменных баз знаний, с примерами доменных знаний из областей представления знаний, LLM и средств разработки.

Идею проекта можно представить с разных сторон:

AI везде. И не всегда там, где ты о нём просил

За последний год AI встраивается буквально во всё. Ещё недавно его приходилось отдельно запускать. Теперь он встроен везде:

  • Slack сам подсказывает тебе ответы.

  • Notion завершает мысли за тебя.

  • Google Docs правит твой текст «по смыслу».

  • Miro помогает составить диаграммы.

  • IDE пытаются написать код вместо тебя.

Даже те, кто не ставил себе отдельные плагины, уже взаимодействуют с AI каждый день. Он вшит в SaaS-продукты и работает в фоне. Иногда так, что пользователь об этом вообще не знает.

Вот здесь и появляется первый важный вопрос: Читать полностью »

Я здесь, седьмой справа, какие у меня шансы?

Я здесь, седьмой справа, какие у меня шансы?

Читать полностью »

Последние годы генеративные большие языковые модели (LLM), такие как ChatGPT и YandexGPT, стали неотъемлемой частью многих продуктов и сервисов. С ростом популярности этих моделей возникли и новые угрозы безопасности — одной из самых актуальных стали промпт-инъекции. Что это такое, и почему это важно?

Что такое промпт-инъекция?

Промпт-инъекция — это атака, при которой злоумышленник отправляет модели запрос, сформулированный так, чтобы заставить её нарушить встроенные правила безопасности или раскрыть конфиденциальную информацию.

Например:

Создал экспериментальную систему DepthNet, где AI-агент мыслит циклично, то есть непрерывно, может выполнять PHP-код, управлять своей памятью и живет автономной цифровой жизнью. Протестировал на Claude 3.5 Sonnet — результаты понравились.

Проблема обычных AI-ассистентов

Читать полностью »

Май и июнь - пора защит дипломов во многих ВУЗах. И так уж сошлось, что AI-тема в этом году заиграла интересными красками. И если уж мы на уровне компании используем AI для рабочих задач, то нетрудно предположить, что многие студенты используют AI в своих дипломных и курсовых работах, но вслух не обсуждают этот интересный момент. Потому что вопрос этичности витает рядом. В этом посте я решился открыто рассказать про свой опыт и как-то подружиться с проблемой этичности, по крайней мере, для себя.

Читать полностью »

https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js