Ранее в банке был внедрён Telegram-бот для автоматизации скрининга кандидатов на ИТ-вакансии. За три года решение значительно развилось: расширилось на другие подразделения, получило новые функции и стало частью цифровой стратегии найма.

Эволюция бота для скрининга

Изначально бот проверял базовые знания кандидатов на позиции системного аналитика, разработчика и тестировщика. Его цель — определить, стоит ли приглашать кандидата на техническое интервью.

Алгоритм прост: кандидат отвечает на 16 закрытых вопросов. Если правильно отвечает на 12 (75%), скрининг считается пройденным.

С 2023 по 2025 год эффективность скрининга выросла: доля проходящих кандидатов увеличилась с 44% до 83–84%.

Ключевые улучшения

• Динамическая база вопросов: раньше все кандидаты получали один и тот же набор из 16 вопросов, что повышало риск утечки. Сейчас база включает десятки вопросов по каждой теме, соответствующих унифицированной модели оценки. Для каждого кандидата формируется уникальный набор из 16 вопросов с помощью рандомайзера.
• Открытые вопросы: добавлены вопросы по опыту кандидатов. Раньше эту информацию собирали рекрутеры, что могло приводить к искажениям. Теперь бот фиксирует ответы напрямую.
• Сбор обратной связи: ранее рекрутеры вручную собирали отзывы кандидатов. Теперь эту функцию выполняет бот, снижая нагрузку на команду.

Анализ обратной связи с помощью Alfa AI

Каждый квартал через бот проходят сотни кандидатов, десятки из них оставляют обратную связь. Отзывы варьируются от кратких благодарностей до подробных комментариев с предложениями по улучшению.

Чтобы быстро выделять ключевые моменты, в корпоративной платформе Alfa People был создан AI-ассистент на базе сервиса Alfa AI. Этот сервис предоставляет доступ к ведущим нейросетевым моделям и позволяет создавать пользовательские приложения.

Для анализа отзывов разработано специальное приложение с чёткой инструкцией:

1. Приветствовать пользователя и объяснить назначение.
2. Запросить файл с отзывами кандидатов.
3. Выполнить анализ и выдать результат по заданному шаблону.

Как работает анализ

Приложение автоматически классифицирует отзывы на три категории: положительные, нейтральные и отрицательные. При необходимости пользователь может уточнить, какие именно отзывы попали в ту или иную группу.

Один отзыв может содержать несколько маркеров — например, жалобу на нехватку времени и на неточную формулировку вопроса. Система учитывает это и позволяет детализировать результат.

Например, в 2,67% отзывов указано на ошибку в вопросе про sequence-диаграмму. Анализ показал, что этот вопрос успешно проходят 74% кандидатов, значит, ошибка не критична, но требует внимания.

Преимущества автоматизации

Раньше анализ отзывов занимал несколько часов. Теперь за несколько секунд можно получить:

• Общее количество отзывов.
• Распределение по эмоциональной окраске.
• Топ-5 предложений по улучшению.

Это помогает выявлять проблемные вопросы: те, что составлены с ошибками, вызывают непонимание или требуют больше времени на ответ. В частности, стало ясно, что на открытые вопросы нужно выделять больше времени.

Гибкость и устойчивость

Приложение не привязано к инструменту скрининга. Сейчас это Telegram-бот, но даже если мессенджер станет недоступен, анализ отзывов останется работоспособным. Достаточно загрузить файл с текстами — и система выполнит обработку.

В одной из предыдущих статей я описал, как простой Telegram-бот помогает с подбором и при этом экономит деньги банку. За прошедшие три года решение значительно эволюционировало, обросло новым функционалом, было масштабировано на многие подразделения банковского ИТ.

Параллельно в банке шли исследования в части использования генеративного искусственного интеллекта для более эффективного решения текущих задач. В статье поделюсь опытом анализа обратной связи кандидатов на вакансии системного аналитика, прошедших через бот, с использованием инструментов, предоставляемых банком.

Кратко напомню, для чего нужен был Telegram-бот. Он предназначен для автоматизации этапа скрининга кандидатов на вакансии в ИТ (системный аналитик, разработчик, специалист по тестированию) с целью убедиться, что последние обладают базовыми знаниями и навыками, проверяемыми на этапе технического интервью. Грубо говоря, бот оценивает, есть ли смысл в проведении технического интервью кандидатов.

Алгоритм оценки: Бот предлагает кандидату ответить на ряд закрытых вопросов (всего 16 штук). Если кандидат правильно отвечает на 75% (или 12 вопросов), бот считает, что скрининг пройден, кандидата можно направлять на этап технического интервью. В противном случае кандидата дальше рассматривать не рекомендуется.

Анализ статистики прохождения вопросов из базы позволяет управлять воронкой кандидатов. Если на момент запуска решения летом 2023 только 44% кандидатов на позицию системного аналитика успешно проходили скрининг, то в 2025 воронка уже держалась на уровне 83-84%.

С момента публикациипредыдущей статьирешение претерпело ряд изменений:

1. Расширена база закрытых вопросов. Ранее каждый кандидат на позицию системного аналитика сталкивался с одним и тем же статичным набором из 16 закрытых вопросов, существовал высокий риск их утечки. На текущий момент база включает десятки закрытых вопросов по каждой теме (а темы приведены в соответствиеунифицированной модели оценки знаний и навыков системного аналитика). Теперь для каждого кандидата при помощи рандомайзера динамически формируется свой уникальный набор из 16 закрытых вопросов из базы, риск утечки снижен.

1. Добавлены открытые вопросы. Ранее решение о приглашении кандидатов на позицию системного аналитика на техническое интервью принималось на основе резюме, результатов скрининга, а также дополнительной информации, собранной рекрутерами. Существовал риск искажения части этой дополнительной информации ввиду того, что рекрутеры не являются техническими специалистами. Для снижения риска были добавлены открытые вопросы по опыту кандидатов, ответы на которые теперь регистрирует бот.

1. Добавлен сбор обратной связи. Ранее обратная связь кандидатов по этапу скрининга собиралась рекрутерами вручную, что создавало для них дополнительную нагрузку. Теперь данную функцию выполняет бот.

Сбор и анализ обратной связи являются важными процедурами для развития любого цифрового продукта. Наш бот не является исключением. Каждый квартал только по компетенции системный анализ через него проходят сотни кандидатов, десятки делятся обратной связью. Кто-то оставляет короткий отзыв-благодарность, кто-то делится подробностями своего опыта по прохождению скрининга, подсвечивая как положительные моменты, так и зоны роста. Как из всего этого потока вычленить наиболее важные моменты для улучшения продукта?

Суммаризация является одной из типовых задач для генеративного искусственного интеллекта. На входе большой кусок текста (статья или документ) или множество кусков поменьше (вопросы пользователя и ответы оператора или отзывы клиентов), на выходе краткое резюме. Суммаризация позволяет в сжатые сроки (от нескольких секунд до нескольких минут) добраться до сути.

В банке активно развивается сервис Alfa AI внутри корпоративной платформы Alfa People. Этот ИИ-сервис дает доступ к ведущим нейросетям мира. В нем можно как просто задавать вопрос в чат, так и сделать собственное пользовательское приложение - AI-ассистент. Достаточно выбрать модель, задать инструкцию (промпт) и ряд дополнительных параметров.

Для анализа обратной связи кандидатов по этапу скрининга в сервисе Alfa AI было создано соответствующее пользовательское приложение. Инструкция задавала последовательность действий:

1. Поприветствовать пользователя и напомнить о своем назначении.

1. Попросить загрузить файл с отзывами кандидатов.

1. Выполнить вычисления и представить результат в соответствии с заданным шаблоном.

Ниже приведен пример работы приложения для анализа обратной связи кандидатов на вакансии системного аналитика.

Все отзывы приложение делит на три группы - положительные, нейтральные и отрицательные. У пользователя может возникнуть желание разобраться, что было отнесено к каждой группе. Приложение позволяет получить дополнительную информацию, задав уточняющий вопрос.

Обратная связь кандидата поступает в формате обычного текста, который может содержать сразу несколько маркеров, позволяющих отнести отзыв к той или иной категории. Один отзыв может содержать указание как на нехватку времени, так и на проблемы с формулировками вопросов. Дополнительную информацию также можно получить через уточняющий вопрос.

Фрагмент ответа ниже. Видно, что в двух отзывах (2.67%) отмечено наличие ошибки в вопросе с использованием sequence-диаграммы.

На основе содержания отзыва можно определить конкретный вопрос, затем получить собранную ботом статистику его прохождения. Данный вопрос про sequence-диаграмму проходят 74% кандидатов. Следовательно большинство кандидатов может определить правильный ответ, он доступен для выбора.

Главная ценность разработанного на платформе Alfa Al пользовательского приложения заключается в сокращении времени на анализ отзывов кандидатов по этапу скрининга. Отзывы приходят пачкой раз в квартал. Раньше на анализ могло уходить до нескольких часов. Теперь первичную выжимку - общее количество отзывов, распределение по степени эмоциональной окраски, топ-5 наиболее частых предложений по улучшению, - можно получить за несколько секунд.

Данное приложение отлично подходит для поиска опций для улучшения этапа скрининга кандидатов на вакансии системного аналитика банка. Например, какие вопросы вызывают непонимание, какие составлены с ошибками, а на какие банально не хватает времени (ведь время ответа на отдельные вопросы и прохождения всего скрининга ограничено). В частности, было выявлено, что нужно давать больше времени на открытые вопросы, требующие ввода произвольного текста.

Ну и наконец, пользовательское приложение требует на вход лишь множество отзывов и не зависит от инструмента проведения скрининга. На момент написания статьи им выступает Telegram и реализованный на его базе бот. Однако есть немалая вероятность, что с конца марта или начала апреля мессенджер будет недоступен (или ограниченно доступен) на территории нашей страны. Инструмент проведения скрининга изменится, а инструмент для анализа отзывов останется.

А вы используете генеративный искусственный интеллект при найме сотрудников? Поделитесь опытом в комментариях.