Рубрика «llm» - 9

У меня есть небольшой конвейер, который я называю Лабораторией. Всё интересное за день (рилсы, посты, ссылки на репозитории) я сохраняю в Telegram. Раз в сутки скрипт забирает новое, и Claude Sonnet пишет по каждому материалу разбор-инструкцию. Потом второй проход в роли редактора решает, публиковать разбор или отправить в архив.

Беда в том, что сохраняю я всё подряд. В Избранном вперемешку лежат полезные гайды, мои рабочие сообщения, личное и картинки без единого слова. Когда я разметил 67 материалов, лишними для блога оказались 28. И на каждый такой Sonnet честно писал полный разбор, который редактор потом выкидывал.

Читать полностью »

Предисловие

Сейчас я работаю с локальными моделями и пишу мультимодальную ИИ-студию с распределённой сетью вычислений. В процессе я всё чаще сталкиваюсь с вопросами безопасности: чем больше моделей, адаптеров и узлов оказывается в контуре, тем меньше хочется доверять им «по умолчанию». Некоторые вещи, которые я увидел и о которых читал в исследованиях, касаются не абстрактных угроз, а вполне конкретных сценариев — кражи паролей, ключей, денег и данных. Я не претендую на исчерпывающий анализ, но хочу поделиться своими мыслями и напомнить, почему локальный запуск без изоляции — это риск.

Читать полностью »

Про архитектуру трансформеров написано уже немало, поэтому опишу работу LLM с прикладной точки зрения.

Контекст

На вход LLM подаётся блок текста, который называется контекстом. Размер контекста ограничен: когда всё начиналось, прорывом считались 32К, сейчас 1М — индустриальный стандарт.

На основе этого текста LLM генерирует его продолжение. Современные модели выдают логически законченный фрагмент (на уровне модели он завершается специальным токеном <stop>).

Контекст таким образом увеличивается: к нему можно дописать новый фрагмент — и всё повторяется заново.

Вызов инструментов

Читать полностью »

Я хотел разработать собственный AI‑процессор, нашёл openTPU, взял FPGA за ~$50 с 4 ГБ оперативной памяти, подключил её к обычному мини‑ПК и запустил на ней большую языковую модель — и улетел в космос (в позитивном и дофаминовом смыслах).

Без NVIDIA. Без видеокарты. На открытой архитектуре, которая разработана при активном участии ИИ‑агентов.

openTPU — открытый AI‑ускоритель Felipe Sens Bonetto.

Мне стало интересно: а можно ли действительно взять такой проект с GitHub, загрузить его в физическую FPGA и запустить настоящий LLM‑инференс?

По замерам автора проекта на такой же плате:
Читать полностью »

Год назад я копировал файлы в чат с нейросетью по одному и каждый раз забывал какой‑нибудь интерфейс. Сейчас Claude Code и Codex читают проект сами, через MCP‑сервер, который я написал и выложил в открытый доступ. Эта статья не про сам инструмент, а про то, что выяснилось по дороге: почему текстовое дерево проекта обходится модели дороже JSON, почему папку build нельзя пропускать по имени, как спрятать пароль и не сломать код вокруг него, и что агент на самом деле делает с контекстом, когда его никто не контролирует. Последнее удивило меня сильнее всего.

Читать полностью »

Привет! Меня зовут Дмитрий, я работаю в компании Cortex IT и автоматизирую бизнес-процессы наших клиентов. Среди прочего мы строим RAG-ассистентов по внутренней документации.

На одном из проектов было много нестандартной технической документации на оборудование, и с настройками по умолчанию поиск отдавал не те чанки. Пришлось разбираться, почему так происходит.

Читать полностью »

Игровая индустрия прошла максимально сложный путь развития: от чего-то максимально локального до мейнстрима у всех возрастов, по пути успев чуть не умереть в 1983 году и возродиться руками одной компании. И всегда этот путь сопровождался эволюцией средств разработки.

В наше время максимально часто поднимается вопрос этичности в вопросах использования ИИ для создания игр, кое-где на этой почве вспыхивают скандалы. В последние месяцы с помощью вайбкодинга и немного ручного труда создаются какие-то совсем невероятные вещи.

Читать полностью »

В начале сентября Сбер неожиданно выложил открытые веса своей модели GigaChat 3.5 432B. Таким образом, любая компания в России может развернуть эту модель на своем сервере(при наличии мощного железа). И казалось бы, это может в корне переломить ситуацию с суверенными моделями в России, так как эта модель думающая. И у меня возник вопрос: а возможно ли использовать эту модель для создания ИИ‑агентов?

Приготовьтесь, в статье будет много скриншотов по нашим результатам на боевом сервере.

Читать полностью »

Скиллы для Claude Code и Codex сейчас ставят пачками. У самых популярных сотни тысяч звёзд на GitHub, а в README встречаются конкретные цифры: «на 65% меньше токенов», «примерно на 20% дешевле». Мне захотелось проверить их так, как проверяют лекарства: против плацебо. Ниже рассказываю, как я это устроил и что получилось, включая ошибку, которую нашёл у себя в день публикации.

Почему «со скиллом и без» мало что доказывает

Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js