Science of HR

Пора вернуться к теме оценки эффекта обучения. Предыдущие материалы можно найти по тегу #обучение.

Мы не успели разобраться с самым интересным - как убедиться, что мы наблюдаем именно эффект обучения, а не действие миллиона других факторов. Предложу несколько идей.

Во-первых, смотреть изменение продаж "было" vs "стало" имеет смысл в интервале 13+ месяцев, иначе мы легко попадаем в сезонные колебания. Во-вторых, даже если мы убрали сезонность, у нас и без обучения может быть положительный тренд, мы же успешная растущая компания. В-третьих, даже если мы начертим этот тренд, он будет актуален только в условиях стабильного рынка. А в реальной жизни отклонение от тренда нельзя записать в эффект обучения.

Можно через регрессионный анализ отделить эффект обучения от других факторов, под которые нам удастся собрать данные (наверняка, мы уже использует все эти данные для планирования продаж). Но и это не страхует нас от риска упустить из виду какой-то важный фактор и поэтому записать слишком много в пользу обучения.

Было бы хорошо заранее сформировать контрольную группу, которая по всем параметрам похожа на обучаемую, только обучение проходить не будет. Т.к. на обе группы влияют одинаковые внешние факторы, если мы вычислим разницу "до" и "после" для каждой из групп, то различия в размере изменений (difference-in-difference) и будут эффектом обучения. Совсем правильно было бы еще и контрольную группу чему-нибудь "постороннему" поучить, тогда наш эксперимент будет "плацебо-контролируемый".

Однако часто, если обучение проходят не все, то участники обучения выбираются вовсе не случайно и это искажает наши расчеты. Прошедшие обучение продавцы могут продавать ничем не лучше тех, кого мы не обучали, как раз потому, что обучали мы только слабых. Здесь нам как раз поможет оценка прогресса в формате difference-in-difference. Правда, положительный эффект на слабых продавцах не означает, что обучение будет эффективно и для сильных. Точно также, карьерные успехи после прохождения программы развития талантов могут быть связаны с тем, что мы изначально записали этих сотрудников в таланты, а не с качеством программы.

Если мы обучали команды отдельных менеджеров (например, магазинов в розничной сети), то есть риск получить искаженные результаты за счет разного состава в разных магазинах (например, где-то было больше новичков). Для того, чтобы сделать их максимально сравнимыми, можно использовать matching: выбрать наиболее похожих сотрудников в разных командах и провести сравнение между ними, а не по магазинам в целом. А чтобы убрать эффект самих магазинов (например, магазинам в неудачной локации просто негде взять дополнительные продажи), matching можно провести не только на уровне отдельных сотрудников, но и на уровне магазинов.

❤8⚡2👍2🔥2

www.group-telegram.com/us/science_of_HR.com/268

1.11K viewsedited  Mar 13, 2024 at 21:53

Пора вернуться к теме оценки эффекта обучения. Предыдущие материалы можно найти по тегу #обучение.

Мы не успели разобраться с самым интересным - как убедиться, что мы наблюдаем именно эффект обучения, а не действие миллиона других факторов. Предложу несколько идей.

Во-первых, смотреть изменение продаж "было" vs "стало" имеет смысл в интервале 13+ месяцев, иначе мы легко попадаем в сезонные колебания. Во-вторых, даже если мы убрали сезонность, у нас и без обучения может быть положительный тренд, мы же успешная растущая компания. В-третьих, даже если мы начертим этот тренд, он будет актуален только в условиях стабильного рынка. А в реальной жизни отклонение от тренда нельзя записать в эффект обучения.

Можно через регрессионный анализ отделить эффект обучения от других факторов, под которые нам удастся собрать данные (наверняка, мы уже использует все эти данные для планирования продаж). Но и это не страхует нас от риска упустить из виду какой-то важный фактор и поэтому записать слишком много в пользу обучения.

Было бы хорошо заранее сформировать контрольную группу, которая по всем параметрам похожа на обучаемую, только обучение проходить не будет. Т.к. на обе группы влияют одинаковые внешние факторы, если мы вычислим разницу "до" и "после" для каждой из групп, то различия в размере изменений (difference-in-difference) и будут эффектом обучения. Совсем правильно было бы еще и контрольную группу чему-нибудь "постороннему" поучить, тогда наш эксперимент будет "плацебо-контролируемый".

Однако часто, если обучение проходят не все, то участники обучения выбираются вовсе не случайно и это искажает наши расчеты. Прошедшие обучение продавцы могут продавать ничем не лучше тех, кого мы не обучали, как раз потому, что обучали мы только слабых. Здесь нам как раз поможет оценка прогресса в формате difference-in-difference. Правда, положительный эффект на слабых продавцах не означает, что обучение будет эффективно и для сильных. Точно также, карьерные успехи после прохождения программы развития талантов могут быть связаны с тем, что мы изначально записали этих сотрудников в таланты, а не с качеством программы.

Если мы обучали команды отдельных менеджеров (например, магазинов в розничной сети), то есть риск получить искаженные результаты за счет разного состава в разных магазинах (например, где-то было больше новичков). Для того, чтобы сделать их максимально сравнимыми, можно использовать matching: выбрать наиболее похожих сотрудников в разных командах и провести сравнение между ними, а не по магазинам в целом. А чтобы убрать эффект самих магазинов (например, магазинам в неудачной локации просто негде взять дополнительные продажи), matching можно провести не только на уровне отдельных сотрудников, но и на уровне магазинов.

BY Science of HR