Синтетические тесты в вакууме не показывают реальной пользы нейросетей. Индустрии пора переходить на метрики, где во главе угла стоят люди и жизненный контекст
От переводчика:Читать полностью »
Рубрика «бенчмарки» - 2
ИИ-бенчмарки больше не работают. И вот что с этим делать
2026-04-07 в 11:15, admin, рубрики: бенчмарки, ИИ, метрики, тестированиеКакая ИИ-модель лучше пишет код? Тестирую 8 популярных моделей на реальной задаче в opensource-проекте
2026-03-13 в 11:22, admin, рубрики: llm-модели, opencode, opensource, бенчмарки, ии-агентыПри использовании ИИ-инструментов для написания кода неизбежно возникает вопрос: а какая модель лучше? Часто синтетические бенчмарки не отражают реальной картины, модели при их обучении могут специально натаскиваться на прохождение этих бенчмарков. А между решением изолированных задач и работой с реальной кодовой базой есть существенная разница. Модель должна понять требования, разобраться в архитектуре проекта, корректно встроить новую функциональность и ничего не сломать.
Когда нейросеть решит то, что не решил никто?
2026-01-28 в 22:12, admin, рубрики: Epoch AI, FrontierMath, gemini, gpt-5, llm, research taste, бенчмарки, открытые задачи, теория чисел
В середине 2024 года GPT-4 спотыкался на школьных задачах, а к концу 2025-го модели щёлкали олимпиадные как орехи. Полтора года, и мы преодалели дистанцию от «найди икс» до «докажи теорему». Epoch AI решили заглянуть еще дальшеЧитать полностью »
Core i9 vs Apple M2: как честно сравнивать калькуляторы с суперкомпьютерами
2026-01-07 в 23:02, admin, рубрики: архитектура процессоров, бенчмарки, выбор процессора, маркетинг, процессоры amd, процессоры intelВсем привет! Это моя первая статья на Хабре, так что буду рад любым комментариям. Я бы хотел затронуть одну из самых сложных и больных тем в IT и электронике, из-за которой создают сотни бенчмарков и тестов, но вопрос всё равно остается открытым: как сравнить 2 процессора? Какую архитектуру выбрать в конкретной задаче, когда у тебя ограниченный бюджет и условия?
Большим GPU не нужны большие PC
2026-01-05 в 13:01, admin, рубрики: amd, llm, Nvidia, radeon, ruvds_переводы, бенчмарки, локальные нейросети
ARC-AGI для оценки способностей ИИ и новый релиз ChatGPT 5.2
2025-12-12 в 17:29, admin, рубрики: arc-agi, OpenAI, бенчмарки, бенчмаркинг, генеративный ии, искусственный интеллект, машинное обучение, Новости, тестирование моделейВчера вышла новая версия модели ChatGPT 5.2. В очередной раз Сэм Альтман и OpenAI удивляют качеством модели (в последний месяц было так много релизов, что они решили не отставать). В целом, все как обычно — топовые результаты на большинстве бенчмарков.
Но хочу уделить внимание одному очень сложному бенчмарку, на котором пока многие спотыкаются — ARC-AGI (Abstract and Reasoning Corpus for Artificial General Intelligence). Именно здесь ChatGPT 5.2 показал значительный скачок.
На сегодня существует две версии этого теста. Так о чем же он?
ARC-AGI-1
История начинается в 2019 году со статьиЧитать полностью »
Оценка влияния ИИ на производительность опытных разработчиков открытого ПО
2025-10-28 в 12:38, admin, рубрики: claude, cursor, RCT, автоматизация НИОКР, бенчмарки, генерация кода, ии-инструменты, оценка эффективности, производительностьTL;DR
-
Провели РКИ на реальных задачах в крупных OSS-репозиториях: 16 опытных контрибьюторов, 246 задач (исправления, фичи, рефакторинг), на каждую задачу случайно разрешали/запрещали ИИ.
-
Инструменты при «разрешено»: в основном Cursor Pro + Claude 3.5/3.7; при «запрещено» — обычная работа без генеративного ИИ.
-
Главный итог: с ИИ задачи выполнялись в среднем на 19% дольше; качество PR сопоставимо между условиями.
-
Перцепция расходится с данными: разработчики ожидали ускорение (~24%) и постфактум тоже считали, что ускорились (~20%).
Часть 5. Обзор техник оценки качества систем RAG
2025-09-19 в 20:43, admin, рубрики: nlp, nlp обработка текста, rag, rag pipeline, база знаний, бенчмарки, искусственный интеллект, метрикиПредисловие переводчика
Продолжаю адаптированный перевод статьи китайских исследователей Retrieval-Augmented Generation for Large Language Models: A Survey (ссылка на первую часть — здесь, на вторую часть — здесь, третью часть — здесь, четвёртую часть — здесь). Перевод этой части мы выполняли в тандеме с коллегой — Мариной Хазиевой. К некоторым терминам, как и в прошлых частях, добавлены переводы и пояснения для удобства начинающих ИТ-переводчиков.
SWE-MERA — новый динамический бенчмарк для моделей агентной генерации кода
2025-09-18 в 11:00, admin, рубрики: llm, llm-агент, llm-модели, агентное программирование, бенчмарки
Всем привет! Пару месяцев назад Альянс в сфере искусственного интеллекта, в который MWS AI тоже входит, запустилЧитать полностью »
Не смотрите на % использования процессора при гиперпоточности
2025-09-08 в 16:22, admin, рубрики: cpu usage, hyperthreading, бенчмарки, многопоточность, ядраКогда речь заходит о гиперпоточности, то как правило всё начинается с того, что нам показывают красивые картинки с квадратиками типа такой:
