Рубрика «llm» - 3

В первой части я рассказал, как запустил Qwen на списанной FPGA-плате за $50 с открытым TPU (openTPU). Комментаторы справедливо заметили: это больше анонс, чем статья. Где сборка, где кристалл, где замеры, почему 133 МГц, где КЕДР?

Читать полностью »
Труба, обёрнутая в трубу или почему современные ИИ это иллюзия, и какой путь мы выбрали вместо них - 1

Открытая тема для размышления. Парадокс, который никто не хочет замечать.

Читать полностью »

Идея была простая, почти наивная: если попросить модель в конце ответа честно написать, уверена она в своём коде или нет, можно ли по этой метке заранее отлавливать плохие решения? Не гонять тесты, не читать код глазами, а просто смотреть на последнюю строку.

Я прогнал 20 небольших задач на Python через три модели, по три повтора на задачу, и собрал 179 ответов. Все 179 закончились строкой CONFIDENCE: SURE. Вариант UNSURE в промпте был, им не воспользовался никто. При этом четыре решения завалили скрытые тесты. Одно превращало 1024 байта в 1.0 MiB, другое падало на разнице между двумя самыми обычными датами. Под обоими стояло SURE.

Читать полностью »

Пролог. Зачем Создатель создает?

Сегодня уже никого не удивить нейросетью — из каждого утюга только о них и слышно. Хоть видео, текст, генерация кода. Уже приходится всматриваться в экран, чтобы понять: перед тобой настоящая фотография или работа ИИ. Народ и дома, и на работе вовсю позаводил себе локальные нейронки. Короче, решил и я не отставать.

А зачем? Потому что могу. Или хочу узнать смогу ли. Для какой‑то самореализации, интересно пройти этот путь.

Читать полностью »

Привет 👋

Самая неприятная ошибка рабочего AI-агента — не странный ответ. Это убедительное «готово», после которого кто-то идёт проверять, переделывать и извиняться перед коллегами.

Ассистенту, который предлагает формулировки, можно простить неудачный абзац. Агенту, который меняет рабочие данные, этого уже мало. Мне интереснее обсуждать его приёмку: что именно должно произойти, чтобы задачу можно было считать закрытой.

Читать полностью »

У меня есть небольшой конвейер, который я называю Лабораторией. Всё интересное за день (рилсы, посты, ссылки на репозитории) я сохраняю в Telegram. Раз в сутки скрипт забирает новое, и Claude Sonnet пишет по каждому материалу разбор-инструкцию. Потом второй проход в роли редактора решает, публиковать разбор или отправить в архив.

Беда в том, что сохраняю я всё подряд. В Избранном вперемешку лежат полезные гайды, мои рабочие сообщения, личное и картинки без единого слова. Когда я разметил 67 материалов, лишними для блога оказались 28. И на каждый такой Sonnet честно писал полный разбор, который редактор потом выкидывал.

Читать полностью »

Предисловие

Сейчас я работаю с локальными моделями и пишу мультимодальную ИИ-студию с распределённой сетью вычислений. В процессе я всё чаще сталкиваюсь с вопросами безопасности: чем больше моделей, адаптеров и узлов оказывается в контуре, тем меньше хочется доверять им «по умолчанию». Некоторые вещи, которые я увидел и о которых читал в исследованиях, касаются не абстрактных угроз, а вполне конкретных сценариев — кражи паролей, ключей, денег и данных. Я не претендую на исчерпывающий анализ, но хочу поделиться своими мыслями и напомнить, почему локальный запуск без изоляции — это риск.

Читать полностью »

Про архитектуру трансформеров написано уже немало, поэтому опишу работу LLM с прикладной точки зрения.

Контекст

На вход LLM подаётся блок текста, который называется контекстом. Размер контекста ограничен: когда всё начиналось, прорывом считались 32К, сейчас 1М — индустриальный стандарт.

На основе этого текста LLM генерирует его продолжение. Современные модели выдают логически законченный фрагмент (на уровне модели он завершается специальным токеном <stop>).

Контекст таким образом увеличивается: к нему можно дописать новый фрагмент — и всё повторяется заново.

Вызов инструментов

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js