Рубрика «воспроизводимость»

в 8:27, , рубрики: gemini, llm, reasoning, воспроизводимость, промпт-инжиниринг, промпты, эксперимент

Всем привет. В декабре по всем AI-каналам пролетел лайфхак, который звучал как развод: продублируй свой запрос к нейросети, буквально Ctrl+C, Ctrl+V в одном сообщении, и точность вырастет. В пересказах фигурировали «+76%» и ссылка на Google Research, что придавало всей этой истории солидности. Трюк выглядел как-то настораживающе и при том вроде не сложным для проверки. Короче, я потратил $1.48, прогнал 3360 запросов и теперь знаю ответ. Он оказался интереснее, чем «работает || не работает».

Что на самом деле написано в статье

Источник это препринт Prompt Repetition Improves Non-Reasoning LLMsЧитать полностью »

в 13:32, , рубрики: AgentBeats, ai-агенты, gemini 2.5 pro, kaggle, llm, MLE-bench, Spaceship Titanic, автономные агенты, воспроизводимость, провенанс

В апреле мой агент смог перешагнуть золотой порог на MLE-bench в агентских соревнованиях Berkeley RDI, а когда я решил показать «тот самый код, который взял золото» — понял, что не уверен, существует ли он вообще.

Меня зовут Георгий, и в своей первой статье на площадке я решил разобраться, что же происходило на самом деле. Цифровой детектив: с чем я преодолел планку, где этот результат теперь (спойлер: нигде) и сколько смысла в этом «золоте». Это история о том, как я расследовал собственную «победу»

Про сами агентские соревнования уже хорошо написали коллеги из AI Talent Hub — пост Читать полностью »

в 15:10, , рубрики: benchmark, Cpp, GF137, uint8, воспроизводимость, периферийный-инференс

В современных нейросетях критически важно, сколько физической памяти занимает каждый параметр. В этой работе я попытался уйти от классического float32 в нейросетевом слое к uint8 без квантования. Для этого все вычисления проводились сразу по правилам арифметики остатков в конечном поле Галуа GF(137).

Стоит сказать, что это не замена обычному инференсу и не попытка доказать, что все должны срочно переписать модели на вычеты по модулю 137. Я взял небольшой слой, байтовые веса, нативное ядро, ARM NEON и несколько базовых реализаций для сравнения.

Читать полностью »

в 4:28, , рубрики: воспроизводимость, наука, Научно-популярное, научные журналы, научные статьи, Профессиональная литература, публикации

В первой части статьи мы рассмотрели проблемы системы научных публикаций, которые затрудняют исследования и распространение данных. Я очень рад, что эта тема оказалась интересной и привлекла множество интересных идей и комментариев.

В этот раз обсудим, какие решения уже придуманы, внедряются и разрабатываются. А в конце я опишу свое видение оптимальной системы обмена научной информацией.

Как решать проблемы научных публикаций? - 1
Читать полностью »

в 5:51, , рубрики: воспроизводимость, наука, Научно-популярное, научные журналы, научные статьи, Профессиональная литература, публикации

Для людей, не знакомых близко с научным процессом, может быть не очень понятна важность научных статей. Публикация — это не только распространение информации, но и верификация результатов исследований, а еще самая главная мера эффективности научной работы.

Важность публикаций для ученых описывается выражением «Publish or perish» — «Публикуйся или сдохни». Именно всевозможные библиометрические показатели являются основой для получения грантов, подъема по карьерной лестнице и, в конечном итоге, научного успеха. И поэтому проблемы научных публикаций негативно влияют на всю науку в целом.

Проблемы научных публикаций - 1
Читать полностью »

в 20:27, , рубрики: Git, github, gtd, knitR, python, воспроизводимость, Лайфхаки для гиков, работа с данными

Аннотация

Итак, мои коллеги-ученые, не спрашивайте, что вы можете сделать для воспроизводимости — спросите, что воспроизводимость может сделать для вас!

Здесь я перечислю пять причин, по которым возможность воспроизводимости данных окупается в долгосрочной перспективе и представляет личный интерес для каждого амбициозного, ориентированного на карьеру ученого.

Сложное уравнение в левой половине черной доски, еще более сложное уравнение — в правой. Краткое предложение связывает два уравнения: «Здесь происходит чудо». Два математика, в глубоких раздумьях. «Я думаю, Вы должны быть более конкретны на втором шаге», — говорит один другому.
image

Примерно так выглядит ситуация, когда вы пытаетесь понять, как автор перешел от большого и сложного набора данных к плотной статье с множеством сложных графиков. Без доступа к данным и аналитическому коду такой переход можно объяснить разве что чудом. А в науке не должно быть чудес.

Читать полностью »

в 11:47, , рубрики: nature, science, Биотехнологии, воспроизводимость, доверчивость, метрики, нанотехнологии, наука, Научно-популярное, научные исследования, химия

Nature задаётся вопросом, воспроизводимы ли современные научные эксперименты? - 1

Случайно в потоке новостей и информации наткнулся на статью в Nature Scientific Reports. В ней представлены данные опроса 1500 учёных, посвящённого воспроизводимости результатов научных исследований. Если ранее данная проблема поднималась для биологических и медицинских исследований, где она с одной стороны объяснима (ложные корреляции, общая сложность исследуемых систем, иногда даже научный софт обвиняют), с другой стороны имеет феноменологический характер (например, мыши склонны вести себя по разному с учёными разных полов (1 и 2)).

Однако не всё гладко и с более естественнонаучными дисциплинами, такими как физика и инженерные науки, химия, экология. Казалось бы, именно эти дисциплины зиждутся на «абсолютно» воспроизводимых экспериментах, проведённых в максимально контролируемых условиях, увы, потрясающий – во всех смыслах этого слова – результат опроса: до 70% научных исследований и экспериментов НЕвоспроизводимы не только другими группами учёных, НО и самим авторами/соавторами опубликованных научных работ!
Читать полностью »

в 10:50, , рубрики: воспроизводимость, наука, Научно-популярное, разработка по, Софт

Плохой софт портит научные исследования - 1Научные исследования невозможны без использования компьютеров и программного обеспечения. Такое мнение высказали 69% учёных, принявших участие в опросе Software Sustainability Institute (SSI). При этом в реальности софт используют 92% всех исследователей.

Результаты этого опроса показались бы совершенно банальными, если бы не одна деталь: 56% учёных сказали, что разрабатывают собственное ПО (интересно, что это делают 70% мужчин и 30% женщин, то есть наблюдается определённое гендерное неравенство).

Так вот, каждый пятый учёный из тех, кто создаёт собственное ПО, не имеет никакого образования в области разработки программного обеспечения.
Читать полностью »

Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js