Рубрика «adsm»

Мои родители и вся моя семья живут в Риге, а большинство наших родственников - в России и Украине. Когда привычные мессенджеры начинают работать с перебоями, хочется иметь простой и независимый способ связи. Самый простой способ из мне известных - WebRTC.

В рамках развития собственного понимания тонкостей парной разработки программ с участием LLM-агентов я решил создать PWA для видеочата на базе WebRTC при помощи Codex-агента.

Считаю, что эксперимент завершился успешно, хотя и не очень хорошо. Я использовал все лимиты Plus-подписки на Codex, но при этом получил работающий прототип.

Читать полностью »

Вероятностный вычислитель

Мои знания об устройстве LLM базируются на общедоступной популярной информации (в том числе и на статьях Хабра) и в какой-то мере подтверждаются практикой общения с ними. Можно смотреть на LLM как на некую разумную сущность, чья природа ортогональна человеческому разуму и поэтому плохо нами понимается, но я предпочитаю смотреть на LLM как на инструмент, созданный людьми для решения собственных, человеческих проблем.

Читать полностью »

В прошлой публикации я кратко описал своё представление о наиболее важных ограничениях Моделей (LLM):

  • работа только с текстом: вход и выход - текстовые файлы;

  • ограниченность контекстного окна;

  • все входные данные и все результаты одного диалога размещаются в рамках одного контекстного окна;

  • расширяющийся контекст (вход меньше выхода) - признак "творческой" работы Модели, сужающийся - признак "инженерной" работы (повторяемой);

  • противоречивые (или просто лишние) данные приводят к размыванию контекста и снижению повторяемости;

Читать полностью »

Мое понимание LLM с точки зрения пользователя очень простое: есть сетка с весами (обученные параметры), токенизатор и декодер (преобразователи текста во входные и выходные токены), и трансформер (слои внимания), который перерабатывает входные токены и шаг за шагом предсказывает новые.

Я пробовал разные Модели (GPT, Gemini, Deepseek, Grok) - все они, на мой взгляд, работают примерно одинаково. На один и тот же запрос они дают очень похожие, а иногда и идентичные ответы. Это ожидаемо, ведь все современные LLM построены на одной и той же архитектуре - трансформерах.

Читать полностью »

Я слишком давно в ИТ для того, чтобы наделять программы разумом. Пусть даже и искусственным. Для меня LLM - это прежде всего программа. Текстовый интерфейс к распределённой статистической базе знаний, представленной в несколько необычной форме - хранимая информация размазана в виде весов нейросети. Этот интерфейс превращает входной текст в токены, токены - в эмбеддинги, эмбеддинги многократно преобразуются в более сложные представления, а затем на их основе выбираются выходные токены. Чтобы скрыть детерминированную сущность программы при выборе выходных токенов подмешиваются вероятности.

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js