Композитная метрика оценки эффективности обучения

В банковском секторе (и не только) эффективность — понятие относительное.

Зачастую корпоративные университеты представляют результаты обучения в виде сухого показателя обученности или, в лучшем случае, оптимистичного NPS. Сами по себе эти показатели ни плохи, ни хороши, но при их выбор бизнес-заказчик, как правило, выражает скепсис, и тогда в переговорной нависает вопрос: «А действительно ли обучение что‑то решает?»

В данной статье я покажу на примере, как можно измерять эффективность обучения, какие метрики выбрать и на что ориентироваться?

Метрики эффективности обучения зависят от целей компании

Закона Гудхарта гласит:
«Если мера становится целью, она перестаёт быть хорошей мерой»

Если у вас есть сложности с оценкой эффективности, первое, что вам необходимо принять — это то, что вам скорее всего не хватает не математического выражения формулы, а концепции и понимания того, что эта формула должна выражать.

Постарайтесь посмотреть на проблему чуть шире и задайтесь вопросом «Зачем?»

• Зачем мы проводим обучение в компании?

• Какую проблему оно решает?

• Действительно ли оно её решает?

• Как мы понимаем, что оно её решает?

• Действительно ли это то решение эргономично?

Эффективность — это не одна метрика, а целое множество метрик.
Чтобы понять насколько обучение эффективно, нужно понять, как оно встраивается в общую бизнес-стратегию организации. Поэтому на эффективность необходимо смотреть комплексно, вылавливая баланс между показателями «скорости», «цены» и «качества».
Только вместе они формируют полную картину, по отдельности же — не говорят ни о чём.

Анекдот:
Рекламный баннер строительной фирмы
«Работу выполняем быстро, качественно, недорого»*
*При заказе выберите 2 условия

Основные метрики оценки корпоративного обучения

На разных этапах развития компании на первый план могут выходить сначала одни метрики, затем — другие, а впоследствии — третьи. Поэтому иногда при принятии решений достаточно ограничиться одной из групп. Однако чем больше метрик попадают в ваше поле зрения, чем больше из них вы находите иллюстративными, тем проще прийти к заветной цели — комплексной оценке эффективности обучения.

Вот примеры задач, которые могут решаться без композитной формулы:

• Если вам нужно снять задачу по подготовке большого объёма кандидатов с операционного подразделения — ориентируйтесь на метрики производительности (Сколько обучение может пропустить через себя? Каков охват? Каков отток?) — используйте метрики вроде конверсии в завершённый план обучения, среднее время прохождения плана или успеваемости обучающихся.

• Если вы хотите выйти, например, на внешний рынок и смотрите на обучение как на классный продукт — применяйте продуктовые метрики, вроде вовлечённости, лояльности или NPS. Если вам важна не только «обёртка», но и «начинка» — посмотрите на качество разработки и поведенческие индикаторы, о которых писали Б.Блум ^[1] и Д.Киркпатрик ^[2]. (Насколько ваше обучение практикоориентированно? Насколько оно направлено на формирование целевого поведения у сотрудников?)

• Только после этого получится перейти к финансовой стороне вопроса и проверить, насколько конечные изменения в поведении оправдывает затраты на разработку и проведение обучения. Каков его вклад в бизнес-результат? Сколько это стоило? Насколько инвестиции в развитие сотрудников возвратны?

  ! Если сотрудники не применяют на практике то, чему они обучились, имеет смысл пересмотреть подход и поработать с качеством обучения. Считать его рентабельность бессмысленно.

Основные тезисы:

Первое. Эффективность относительна, поэтому она расположена, где-то на стыке «Производительности», «Качества» и «Стоимости обучения» и выражается копмозитной метрикой.

Второе. Чтобы посчитать эффективность, необходимо прежде определить, что для вашей компании концептуально значит эффективность обучения и как его результаты встраивается в единую бизнес-стратегию.

Как посчитать эффективность обучения?

Ответ напрашивается сам собой. Для начала необходимо научиться рассчитывать индекс по каждой группе метрик отдельно и только потом объединять эти показатели в одну формулу. Этот способ сейчас и разберём.

Пойдём от самого простого. На примере метрики производительности рассчитаем
Индекс производительности обучения или LPI (Learning Performance Index).
Какие показатели в конечном счёте войдут в него и будут учитываться, на самом деле решать вам, мы же разберём сам принцип и для примера допустим, что в вашей организации актуальны следующие:

Обученность (Completion Rate) — доля сотрудников, завершивших обучение

CR = (Количество завершивших обучение) / (Общее количество начавших обучение) × 100%

Прохождение плана в срок (On-Time Completion Rate) — доля сотрудников, завершивших обучение в установленный срок

OTCR = (Количество завершивших обучение в срок) / (Общее количество завершивших обучение) × 100%

Завершение на максимальный балл (Perfect Completion Rate) — доля сотрудников, завершивших обучение на максимальный балл

PCR = (Количество завершивших с максимальным баллом) / (Общее количество завершивших обучение в срок) × 100%

И вот перед вами встала задача: рассчитать производительность учебного трека, в который зашли 100 человек, 70 из которых завершили обучение в срок, а максимальный балл набрали 50 из последних.

Формула индекса производительности данного трека будет выглядеть так:

Она объединяет и учитывает ранее заявленные метрики в некоторой пропорции (веса):

*Сумма весов всегда должна ровняться 1. Вес каждого показателя определяется отдельно исходя из фокусов внимания компании: что для неё важнее в конкретный момент: завершённость, сроки обучения или максимальный балл.
Значения весов в таблице носят иллюстративный характер.

Подставим значения в формулу

Ответ: индекс производительности равен 80,6%

Аналогичный подсчёт можно произвести и по другим группам метрик («Качество» и «Стоимость») и тогда останется лишь объединить показатели единой формуле эффективности, указывая веса уже и для других групп.

Итоговая формула оценки эффективности:

Эффективность обучения = (% Производ x вес Производа) + (% Качество x вес Качества) + (% Стоимость x вес Стоимости) x 100

Как видите, формула эффективности очень проста, но её наполнение зависит от задач, которые компания ставит перед обучением:

• Обучать массово?

• Обучать качественно?

• Обучать дёшево?

Можете не выбирать 2 условия, а всего лишь подобрать веса таким образом, чтобы баланс между группами метрик устраивал и вас, и других стейкхолдеров.

Вот ещё примеры метрик, которые можно использовать для подсчёта индексов групп «Производительности», «Качества» и «Стоимости обучения»

Главное:

Выбор метрик и их весов — это не техническая, а стратегическая задача, которую нужно обсуждать с бизнесом и HR. Только так индекс эффективности обучения может стать инструментом принятия решений и управления бизнес-результатом.

И напоследок...

Практические шаги для подсчёта эффективности обучения:

1. Определите цели обучения ( трека или отдельной программы);

2. Подберите под эти цели метрики внутри каждой из групп, произведите подсчёт;

3. Присвойте веса каждому показателю, подсчитайте взвешенный индекс по каждой группе: «Производительность», «Качество», «Стоимость»;

4. Присвойте веса каждой группе индексов и поставьте их в формулу;

5. Определите период замера эффективности (неделя/месяц/квартал/год) и отслеживайте динамику;

6. Пересматривайте веса и метрики по мере смены фокусов компании.

Помните, что метрики лишь освещают дорогу на пути к цели, но не являются целью <3