Заканчивается 2025 год, повсюду цели и лозунги о внедрении ИИ. Каждый месяц мы видим очередную новость о том, что AI технологии совершили прорыв и наша жизнь уже не станет прежней. Но действительно ли ИИ повышает производительность IT-специалистов? Без объективных метрик сложно понять - приносит ИИ пользу и сокращает трудоемкость, или создает новые проблемы - усложняет процесс, увеличивает технический долг и снижает качества кода.
Рубрика «оценка эффективности»
Оценка эффективности внедрения искусственного интеллекта
2025-11-22 в 11:35, admin, рубрики: AI, IT компании, ml, внедрение ии, ИИ, оценка эффективности, трудоемкость, эффективностьОценка влияния ИИ на производительность опытных разработчиков открытого ПО
2025-10-28 в 12:38, admin, рубрики: claude, cursor, RCT, автоматизация НИОКР, бенчмарки, генерация кода, ии-инструменты, оценка эффективности, производительностьTL;DR
-
Провели РКИ на реальных задачах в крупных OSS-репозиториях: 16 опытных контрибьюторов, 246 задач (исправления, фичи, рефакторинг), на каждую задачу случайно разрешали/запрещали ИИ.
-
Инструменты при «разрешено»: в основном Cursor Pro + Claude 3.5/3.7; при «запрещено» — обычная работа без генеративного ИИ.
-
Главный итог: с ИИ задачи выполнялись в среднем на 19% дольше; качество PR сопоставимо между условиями.
-
Перцепция расходится с данными: разработчики ожидали ускорение (~24%) и постфактум тоже считали, что ускорились (~20%).
Cursor делает разработчиков менее эффективными?
2025-10-15 в 14:06, admin, рубрики: cursor, llm, автоматизация разработки, ии-ассистенты, кривая обучения, оценка эффективности, продуктивность разработчиков, промптинг, экспериментОдно любопытное исследование опубликовала некоммерческая организация Model Evaluation and Threat Research (METR). Они пригласили 16 опытных разработчиков, работающих над крупными open-source репозиториями, чтобы те исправили 136 реальных багов. Оплата составила 150 долларов в час. Части разработчиков выдали для работы AI-инструменты, другим — нет. Исследователи записывали экраны участников, а затем изучили и проанализировали 146 часов видеозаписей. Вывод оказался следующим:
Как оценить индивидуальный вклад разработчика в проект
2025-03-09 в 6:25, admin, рубрики: effectiveness, team leader, team management, teamlead, качество кода, методы оценки сотрудников, метрики разработки, оценка эффективности, продуктивность разработчиков, эффективностьЗачем отслеживать эффективность
Отслеживание эффективности работы сотрудников является одной из важных составляющих работы каждого руководителя. Собранные данные позволяют компании:
-
выявить узкие места, где сотрудники сталкиваются с трудностями
-
своевременно поощрять результативную работу
-
обнаружить как высокоэффективных сотрудников, так и тех, кто, возможно, нуждается в поддержке, адаптации в новой роли или замене
-
и т.д.
KPI для Security Operations Center: как мы пришли к своей системе метрик
2020-09-03 в 6:00, admin, рубрики: KPI, security, security operations center, SoC, информационная безопасность, метрики, оценка эффективностиНе буду тут писать длинные заумные тексты о том, «как правильно построить систему KPI для SOC». А просто расскажу, как мы боролись и искали нашли свою методику и как теперь измеряем, «насколько все плохо/хорошо/безопасно/(нужное подчеркнуть)».
Качество сервиса на три буквы
2017-02-22 в 9:39, admin, рубрики: Help Desk Software, KPI, Parallels, parallels desktop, service desk, support, Блог компании Parallels, инструменты, интенет, Карьера в IT-индустрии, колл-центр, колл-центры, контактный центр, КПЭ, оценка эффективности, помощь, саппорт, саппортеры, техническая поддержка, технологии, управление персоналом
«В старом мире, мы тратили 30% нашего времени на создание хорошего сервиса и 70% времени на то, чтобы рассказать о нём. В современном мире всё наоборот» — Джефф Безос, CEO, Amazon
“Это самый ужасный сервис на свете! Верните мне мои деньги немедленно!” — каждый инженер техподдержки хотя бы раз, но слышал такое от пользователя. Да что и говорить, чаще всего высказываются самые недовольные: “Я 27 минут висел на телефоне", “Мою проблему не могут решить уже четвертый день!”. Те, кто никогда не работал в саппорте судят о качестве предоставляемого сервиса по своему личному опыту. А как о нем судим мы, те, кто отвечает на звонки и решает проблемы? Как определить, хороший ли сервис вы предоставляете своим пользователям?Читать полностью »
Оценка эффективности и защищённости механизмов аутентификации
2013-05-10 в 6:16, admin, рубрики: аутентификация, информационная безопасность, критерии, научная работа, оценка эффективности, метки: аутентификация, критерии, научная работа, оценка эффективности В прошлой статье, я привёл свою классификацию механизмов аутентификации. Теперь я поделюсь методами их оценки и сравнения.
Всего можно выделить 4 основных показателя системы аутентификации:
1. Затраты на установку и обслуживание.
2. Эффективность.
3. Надёжность.
4. Безопасность.
Читать полностью »
Управление проектами / Экономическая оценка проекта (ситуационный пример к части №1 )
2012-02-09 в 21:36, admin, рубрики: оценка стартапа, оценка эффективности, метки: оценка стартапа, оценка эффективности Здравствуйте уважаемые друзья.
Данная квази-статья является дополнением к предыдущей статье связанной с оценкой эффективности инвестиционного проекта(стартапа) и представляет собой типовую задачу по определению более эффектного проекта и принятию инвестиционного решения.
Ситуационный пример.
Существует 2 инвестиционных проекта, формирующих денежные потоки, которые представлены в таблице, требуемая доходность инвестора — 10%. Необходимо по результатам оценки выбрать наиболее эффективный.
Проект/Период
1
2