Рубрика «воспроизводимость»
Один текст — две оценки: как я ошибся при проверке humanizer-ru
2026-09-17 в 16:41, admin, рубрики: humanizer-ru, llm, reference, воспроизводимость, ИИ, невидимые символы, нейросети, обработка текста, русский, судьяВ одном из тестов моего humanizer-ru оценка “машинности” ответа упала с 0,95 до 0,10. Сам ответ при этом не изменился ни на букву: “Столица Австралии - Канберра”. Из файла убрали строки вокруг него, включая название чат-бота.
В другой паре тексты отличались лишь переводом строки в конце файла. Оценки всё равно разошлись: 0,9 и 0,3.
Эти пары лежат в открытых данных проекта. По общей таблице я раньше делал вывод о качестве редактирования, но теперь эта интерпретация отозвана. Чтобы объяснить почему, сначала покажу, что именно я пытался проверить.
Что делает humanizer-ru
Я развиваю Читать полностью »
Train и eval в ARC-AGI-2 — это разные распределения
2026-08-18 в 13:29, admin, рубрики: AGI, ARC Prize, arc-agi, бенчмарки, валидация, воспроизводимость, критерий Колмогорова-Смирнова, машинное обучение, сдвиг распределения, статистикаTrain и eval в ARC-AGI-2 лежат в разных распределениях
Если вы замеряете прогресс своего солвера на случайной подвыборке из train, вы замеряете его не на том наборе. Медианная задача train занимает 100 клеток на выходе, у медианной задачи eval их 225. Два и более тестовых входа требуют 6.9 процента задач train и 40.8 процента задач eval. Расхождение держится по всем шести структурным осям, которые я померил, и переживает поправку на множественные сравнения.
Я хотел просто спросить нейросети, где искать квартиру. В итоге собрал исследовательский пайплайн с 1197 тестами
2026-08-13 в 14:17, admin, рубрики: ai search, AI Visibility, api, entity resolution, geo, jaccard, llm, openrouter, python, воспроизводимостьПривет, по специальности своей я маркетолог, большую часть карьеры работаю с digital‑продвижением и продуктами в сфере недвижимости. Но в последний год начал активно погружаться в сторону AI: созданием цифровых продуктов с помощью ИИ, автоматизацией процессов и тем, как бренды вообще становятся видимыми в ответах ИИ. И как раз таки так получилось, что на последнем направлении я остановился чуть подробнее.
Ваш бэктест нейронки врёт на ±10 процентных пунктов
2026-08-12 в 9:13, admin, рубрики: алготрейдинг, бэктестинг, воспроизводимость, Мосбиржа, нейронные сети«Скопируй промпт дважды и получишь +76%». Я решил проверить
2026-08-03 в 8:27, admin, рубрики: gemini, llm, reasoning, воспроизводимость, промпт-инжиниринг, промпты, экспериментВсем привет. В декабре по всем AI-каналам пролетел лайфхак, который звучал как развод: продублируй свой запрос к нейросети, буквально Ctrl+C, Ctrl+V в одном сообщении, и точность вырастет. В пересказах фигурировали «+76%» и ссылка на Google Research, что придавало всей этой истории солидности. Трюк выглядел как-то настораживающе и при том вроде не сложным для проверки. Короче, я потратил $1.48, прогнал 3360 запросов и теперь знаю ответ. Он оказался интереснее, чем «работает || не работает».
Что на самом деле написано в статье
Источник это препринт Prompt Repetition Improves Non-Reasoning LLMsЧитать полностью »
MLE-bench: золото взято, а доказательства остались в -tmp
2026-06-22 в 13:32, admin, рубрики: AgentBeats, ai-агенты, gemini 2.5 pro, kaggle, llm, MLE-bench, Spaceship Titanic, автономные агенты, воспроизводимость, провенансВ апреле мой агент смог перешагнуть золотой порог на MLE-bench в агентских соревнованиях Berkeley RDI, а когда я решил показать «тот самый код, который взял золото» — понял, что не уверен, существует ли он вообще.
Меня зовут Георгий, и в своей первой статье на площадке я решил разобраться, что же происходило на самом деле. Цифровой детектив: с чем я преодолел планку, где этот результат теперь (спойлер: нигде) и сколько смысла в этом «золоте». Это история о том, как я расследовал собственную «победу»
Про сами агентские соревнования уже хорошо написали коллеги из AI Talent Hub — пост Читать полностью »
Я попробовал считать нейросетевой слой в конечном поле Галуа GF(137): 4x по памяти, ARM NEON и честные ограничения
2026-06-05 в 15:10, admin, рубрики: benchmark, Cpp, GF137, uint8, воспроизводимость, периферийный-инференсВ современных нейросетях критически важно, сколько физической памяти занимает каждый параметр. В этой работе я попытался уйти от классического float32 в нейросетевом слое к uint8 без квантования. Для этого все вычисления проводились сразу по правилам арифметики остатков в конечном поле Галуа GF(137).
Стоит сказать, что это не замена обычному инференсу и не попытка доказать, что все должны срочно переписать модели на вычеты по модулю 137. Я взял небольшой слой, байтовые веса, нативное ядро, ARM NEON и несколько базовых реализаций для сравнения.
Как решать проблемы научных публикаций?
2020-08-11 в 4:28, admin, рубрики: воспроизводимость, наука, Научно-популярное, научные журналы, научные статьи, Профессиональная литература, публикацииВ первой части статьи мы рассмотрели проблемы системы научных публикаций, которые затрудняют исследования и распространение данных. Я очень рад, что эта тема оказалась интересной и привлекла множество интересных идей и комментариев.
В этот раз обсудим, какие решения уже придуманы, внедряются и разрабатываются. А в конце я опишу свое видение оптимальной системы обмена научной информацией.
Проблемы научных публикаций
2020-07-24 в 5:51, admin, рубрики: воспроизводимость, наука, Научно-популярное, научные журналы, научные статьи, Профессиональная литература, публикацииДля людей, не знакомых близко с научным процессом, может быть не очень понятна важность научных статей. Публикация — это не только распространение информации, но и верификация результатов исследований, а еще самая главная мера эффективности научной работы.
Важность публикаций для ученых описывается выражением «Publish or perish» — «Публикуйся или сдохни». Именно всевозможные библиометрические показатели являются основой для получения грантов, подъема по карьерной лестнице и, в конечном итоге, научного успеха. И поэтому проблемы научных публикаций негативно влияют на всю науку в целом.




