Рубрика «бенчмарки»
![Самый экзотический x86-процессор: изучаем и тестируем Vortex86 [История, схемотехника, тесты, бенчмарки] - 1](https://www.pvsm.ru/images/2026/10/11/samyi-ekzoticheskii-x86-processor-izuchaem-i-testiruem-Vortex86-istoriya-shemotehnika-testy-benchmarki.jpg "Самый экзотический x86-процессор: изучаем и тестируем Vortex86 [История, схемотехника, тесты, бенчмарки] - 1")
Полтора месяца ускорял MoE на GTX 1660 SUPER: выиграл штатный флаг llama.cpp
2026-10-09 в 11:30, admin, рубрики: gpt-oss, KV-кэш, llama.cpp, бенчмарки, видеопамять, локальные моделиЯ тепломеханик, начальник отдела в проектной организации, не программист. С августа ковыряю форк llama.cpp: хочу, чтобы большие MoE‑модели нормально шли на обычном домашнем ящике, где видеокарта на 6 ГБ, 24 ГБ памяти и SATA‑диск. Полигоном была gpt‑oss-20b. Итог пока обидный: выиграл штатный флаг ‑fit, на длинном запросе он в 2,44 раза быстрее привычного ‑ngl 99, а мои ускорения поверх него не дали ничего. Зато по дороге я собрал неплохую коллекцию способов, которыми замер скорости врет, и пару настроек, которые пригодятся любому владельцу небольшой видеокарты.
Grok 4.7, GPT-6 Astra, Claude и китайские модели, кто эффективнее?
2026-09-25 в 7:17, admin, рубрики: Claude Fable, claude opus, deepseek, GPT-6 Astra, Grok 4.7, kimi, llm, qwen, бенчмаркиВчера SpaceXAI выложила Grok 4.7. За три недели до этого OpenAI выпустила GPT-6 Astra, Anthropic — Claude Fable 5.1. Ещё в июле рядом встал Claude Opus 5: сама Anthropic пишет, что для большинства задач включать надо его, а Fable доставать, когда Opus уже не тянет ваши замеры.
Китайские лаборатории в этой компании больше не «дешёвый запасной аэродром». Qwen3.8 Max стоит те же $2 и $6 за миллион токенов, что и Grok, и на общем индексе отстаёт на один балл. Kimi K3 на суточных инженерных задачах сидит в том же коридоре, что и свежий Grok.
Проверяем Jev на открытых и внутренних данных: классификаторили фильтр?
2026-09-21 в 14:11, admin, рубрики: jev, llm, nlp, typesafe, бенчмарки, ии-агенты, классификация текстов, оптимизация затрат, оценка моделей, фильтрация данныхJev отвечает только «да/нет» или выбирает один из предложенных вариантов. 16 000 вызовов:сначала сравнение с gpt-5.4-mini и gpt-5.6-luna на четырёх открытых датасетах, затем несколько тысяч реальных решений в рабочих процессах. Где он выигрывает, где ошибается и как его использовать.
Открываем AliceAI-Foundation-80B-A3B-Base — новую языковую модель Яндекса, обученную с нуля
2026-09-21 в 6:45, admin, рубрики: AI, Alice AI, ml, opensourse, бенчмарки, нейросети, опенсорс яндекса
Сегодня мы открываемЧитать полностью »
SKILL.state в coding-агентах: меньше истории, но не всегда меньше работы
2026-09-14 в 14:00, admin, рубрики: ai-агенты, codex, coding agents, llm, opencode, SKILL.state, бенчмарки, память агентов, управление контекстом, экономия токеновО чём этот текст
Это рассказ о моём эксперименте: что захотелось попробовать, что получилось и где пришлось пересмотреть свои ожидания. Я не ставлю здесь задачу кого-то обучить или доказать, как правильно устраивать память агентов. Просто захотелось поделиться этим опытом — вместе с результатами, ошибками и вопросами, на которые у меня пока нет ответа.
С чего всё началось
Недавно мне попалась статья SKILL.state: Scalable Long-Horizon Agent SkillsЧитать полностью »
Train и eval в ARC-AGI-2 — это разные распределения
2026-08-18 в 13:29, admin, рубрики: AGI, ARC Prize, arc-agi, бенчмарки, валидация, воспроизводимость, критерий Колмогорова-Смирнова, машинное обучение, сдвиг распределения, статистикаTrain и eval в ARC-AGI-2 лежат в разных распределениях
Если вы замеряете прогресс своего солвера на случайной подвыборке из train, вы замеряете его не на том наборе. Медианная задача train занимает 100 клеток на выходе, у медианной задачи eval их 225. Два и более тестовых входа требуют 6.9 процента задач train и 40.8 процента задач eval. Расхождение держится по всем шести структурным осям, которые я померил, и переживает поправку на множественные сравнения.
С телефона в Альпах в Microsoft Store за две недели: нативный GUI для PostgreSQL через облачный Claude Code
2026-07-22 в 9:41, admin, рубрики: avalonia, claude, dotnet, GUI, Microsoft Store, nativeaot, open source, postgresql, агентная разработка, бенчмаркиС телефона в Альпах — в Microsoft Store за две недели: нативный GUI для PostgreSQL через облачный Claude Code
Почему бенчмарки в AI сломались — и что с этим делать в понедельник
2026-05-12 в 6:15, admin, рубрики: ai-агенты, llm, агентные системы, Анализ и проектирование систем, бенчмарки, закон Гудхарта, критическое мышление, метрики качества, нейросети, оценка LLMВ январе 2026 года Янн Лекун, уходя из Meta, сказал в интервью Financial Times про релиз Llama 4: «The results were fudged a little bit» (Fast Company, 6 января 2026). Команда показывала на LMArena одну версию модели, в продакшен ушла другая. На бенчмарке всё было правильно. В реальности код был хуже DeepSeek V3.
Я хочу разобрать эту историю. Не потому что Meta — исключение. Потому что они — симптом.
TL;DR.Читать полностью »
ИИ-бенчмарки больше не работают. И вот что с этим делать
2026-04-07 в 11:15, admin, рубрики: бенчмарки, ИИ, метрики, тестированиеСинтетические тесты в вакууме не показывают реальной пользы нейросетей. Индустрии пора переходить на метрики, где во главе угла стоят люди и жизненный контекст
От переводчика:Читать полностью »