Smarterer — краудсорсинг профессионального тестирования

Тестирование — востребованный инструмент оценки персонала. Для подбора IT-специалистов чаще всего используют именно профессиональное тестирование. Многие компании проводят его самостоятельно либо поручают это агентствам, имеющим набор типовых тестов под различные роли и специализации, таким как Brainbench ^[1]. Недавно в этой нише появился новый интересный проект — Smarteter.com ^[2]. Этот стартап в июне прошлого года получил 1.25 миллиона долларов инвестиций от True Ventures, Google Ventures и нескольких бизнес-ангелов. Сервис официально стартовал в октябре и уверенно растёт ^[3].

Smarterer делает акцент на простоту и скорость тестирования. Он позволяет оценить знания и навыки буквально за минуту. В то же время его нельзя назвать примитивным. Для определения уровня испытуемых используется рейтинг Глико ^[4] — усовершенствованный вариант широко используемого шахматистами рейтинга Эло ^[5]. Точность оценки повышается с каждым ответом на вопрос теста, система непрерывно адаптируется и улучшается.

Сами тесты составляются с помощью краудсорсинга. Любой может создать новый тест или добавить вопрос в уже существующий. Новые вопросы сначала оказываются в “песочнице” и не влияют на результат. После ответа на каждый вопрос есть возможность оценить его качество и указать на ошибки и неточности. Только когда вопрос многократно проверен, и алгоритм может уверенно определить его сложность, он начинает оказывать влияние на рейтинг.

По мере добавления в тест новых вопросов, рейтинг со временем может уменьшаться. В любой момент можно ответить ещё на несколько вопросов, чтобы подтвердить свой уровень. Кроме того, на рейтинг влияет и добавление вопросов. Если вы придумали сложный и качественный вопрос — ваш рейтинг вырастет.

Благодаря такому подходу Smarterer удалось добиться очень неплохого уровня вопросов в популярных тестах. Ответ на каждый вопрос даёт количество очков, которое зависит от сложности вопроса и уровня испытуемого. Система подбирает сложность вопросов в соответствии с результатом тестируемого. Это обеспечивает быструю “сходимость” результатов теста к реальному уровню знаний.

«Возможность использовать подобные тесты, апробированные большой аудиторией, выглядит весьма заманчиво. Технический эксперт каждой отдельной компании будет говорить о том, что разработанный им тест самый правильный и надежный. Но, к сожалению, не всегда это так, поскольку субъективное ощущение, что «это» должно быть известно всем профессионалам искомого направления, далеко не всегда совпадает с реальностью, — считает Зоя Богдашкина ^[6], руководитель направления по подбору персонала Luxoft Personnel ^[7], — особенно это актуально для стартапов, когда на этапе формирования команды далеко не всегда лидеры проекта хорошо знают техническую сторону вопроса и имеют технического специалиста в команде, а значит, они должны либо привлекать сторонних экспертов, либо полагаться на удачу. И в том, и в другом случае придется платить. В последнем – цена может быть очень высокой».

Автор: Luxoft_Personnel