В июле этого года Илон Маск и команда xAI выпустили Grok 4 — свою новую «самую умную модель в мире».
Рубрика «бенчмарки» - 2
Grok 4 — самая умная модель? Обзор новой нейросети от Илона Маска
2025-07-21 в 16:00, admin, рубрики: grok 4, xai, бенчмарки, Илон Маск, тестыБенчмарки и метрики сравнения с продуктами-конкурентами как инструменты повышения качества приложения
2025-07-19 в 13:16, admin, рубрики: product management, product market fit, бенчмарки, качество поиска, маркетплейсы, поиск товаров, сравнение ценПривет. Я всё тот же разработчик, приложения для поиска и сравнения цен по маркетплейсам, интернет‑магазинам и классифайдам.
В прошлый раз я рассказал, как привлек бесплатно несколько тысяч новых пользователей. Но просто привлечь пользователей это одно, а вот сделать так, чтобы они регулярно начали пользоваться приложением и рекомендовали его другим — это задача со звездочкой. Расскажу в этой статье, как я ее решал.
Для решения этой задачи продуктовые команды используют термин Product Market Fit (PMF)Читать полностью »
Что умеет RTX 4090 в 2025 году и как ее использовать для облачного рендеринга анимаций
2025-06-19 в 8:51, admin, рубрики: 3d-рендеринг, Nvidia, selectel, бенчмарки, Видеокарты, Железо
RTX™ 4090 — не новинка, но одна из самых сбалансированных карт по цене и производительности. Под катом — не просто обзор железа. Показываем, как 4090 раскрывается в задачах 3D и рендеринга, включая специфичный, но показательный кейс по headless-визуализации с трассировкой лучей и сборкой видео через FFmpeg.Читать полностью »
Доброго времени суток, «Хабр»!
Сегодня мы детально разберём, протестируем и раскроем все секреты языковой модели от OpenAI — ChatGPT‑o1 Pro. Первая версия появилась еще 5 декабря 2024 года, однако полноценный релиз состоялся 19 марта 2025 года.
Готовы к погружению? Отправляемся в самое сердце GPT — держитесь крепче!
Claude Opus 4 за 75 $-млн токенов vs Sonnet 4 за 15 $: стоит ли переплачивать? Тесты внутри
2025-06-10 в 11:17, admin, рубрики: Anthropic, claude, opus 4, sonnet 4, бенчмарки, гибридные рассуждения, ии-агенты, создание презентаций
Привет, «Хабр»! Май 2025-го выдался жарким на ИИ‑новости: Anthropic наконец запустила долгожданный Claude 4 — сразу в двух вариантах, Opus 4 и Sonnet 4Читать полностью »
Почём ИИ для народа: протестировали платформу YADRO G4208P с восемью H100 NVL и RTX 4090 на десятке ИИ-моделей
2025-06-10 в 10:53, admin, рубрики: gpu, mlcommons, бенчмарки, производительность, сервер, сравнениеПривет! Меня зовут Артём Маклаев, вместе с командой я занимаюсь оценкой производительности серверных платформ для задач искусственного интеллекта в YADRO. Сегодня поговорим о готовящемся к выпуску сервере YADRO G4208P G3, к раннему образцу которого мы получили полный доступ, чтобы оценить его эффективность работы с нейросетями.
Тестирование производительности видеокарт на примере больших языковых моделей с использованием Llama.cpp
2025-06-09 в 9:56, admin, рубрики: llama.cpp, llm, бенчмарки, Видеокарты, нагрузочное тестированиеВ последнее время большие языковые модели (LLM) становятся все более популярными, но для их эффективного запуска требуется значительная вычислительная мощность. Один из способов запуска LLM локально - использование библиотеки Llama.cpp. В этой статье мы рассмотрим, как тестировать производительность видеокарт для LLM с использованием инструмента llama-bench, входящего в состав Llama.cpp.
Дисклеймер: Почему Llama.cpp, а не Ollama?
Leaderboard Illusion: что не так с Chatbot Arena
2025-05-01 в 15:48, admin, рубрики: Chatbot Arena, бенчмарки, бенчмарки ИИ, большие языковые модели, БЯМ, завышенные ожидания, конфликты, научные публикации, пиар, статистикаAI-агенты в реальном мире: почему они не работают и как это исправить
2025-04-29 в 14:30, admin, рубрики: claude, gpt, llm, llm-модели, бенчмарки, галлюцинации, инженерия надежности, оценка, парадокс ДжевонсаМеня зовут Александр, я COO в SaaS-платформе аналитики данных. Последний год активно изучаю внедрение AI-решений в кросс-функциональные процессы. Делюсь полезными материалами, которые считаю стоят внимания. В основном про AI, изменение процессов, тренды и продуктовое видение.
У себя в телеграм-канале делюсь сжатыми и структурированными саммери статей.
Статья на основе презентацииЧитать полностью »
BI в тестировании — сравнение результатов бенчмарков двух веток с помощью однофакторного ANOVA (критерий Кохрена-Кокса)
2025-04-27 в 12:14, admin, рубрики: бенчмарки, критерий Кохрена-Кокса, однофакторный ANOVA, сравнение PRBusiness Intelligence (BI) находит применение в самых разных сферах, в том числе, например, при анализе результатов бенчмарков. Часто возникает задача сравнения производительности двух версий приложения на основе результатов бенчмарков (время выполнения тестов для нескольких прогонов и нескольких тестов), например, сравнение master ветки и feature ветки. Улучшение производительности в feature ветке (особенно, если она для улучшения производительности и создавалась) проверить можно условно и вручную, но также важно проверить, что нет деградации в других кейсах бенчмарков для feature ветки по сравнению с masterЧитать полностью »