Artificial stupidity

#interpretable_ml

PFI (permutation feature importance). Что это такое и как работает?

В PFI есть слово permuatation. Оно, собственно, и определяет, что мы будем делать. Давайте для каждого признака будем "перемешивать" значения и смотреть, насколько изменилась наша ошибка предсказаний. Получаем весьма простой модельно-агностический (независимый от реализации конкретного алгоритма обучения) метод.

Плюсы метода:
1. Легко интерпретировать - мы понимаем, насколько изменяется качество модели при "разрушении" признака;
2. Можно сравнивать результаты между разными моделями;
3. Помимо важности самого признака, мы еще автоматически учитываем и важность взаимодействий между признаками (если мы "перемешали" признак, то мы "перемешали" и все взаимодействия между признаками);
4. Нам не нужно переобучать модель. То есть, мы не тратим время и вычислительные ресурсы на новые циклы обучения.

Минусы метода:
1. Мы привязаны к определению ошибки. То есть, важность признака зависима от той метрики, ухудшение которой мы мониторим;
2. Нужно знать реальные таргеты. Если у нас только модель и неразмеченные данные - то мы не можем вычислить важность признаков;
3. Учитывая случайность перестановок, наши результаты могут меняться от запуска к запуску (причем, весьма сильно);
4. У нас может возникать смещение в наших оценках из-за нереалистичных точек данных. Например, если мы случайно пересортируем рост, но оставим вес, то может получиться точка данных с ростом 185 см и весом 10 кг (что невероятно);
5. Наличие коррелированных признаков может снижать важность группы признаков, т.к. общая "важность" может "расщепляться" между этими признаками.

В итоге, метод весьма неплохой, но со своими минусами (причем, достаточно важными минусами). Если хотите поиграть с методом, можете взять пример реализации из sklearn.

www.group-telegram.com/sg/artificial_stupid.com/322

1.2K viewsAug 5, 2023 at 12:00

#interpretable_ml

PFI (permutation feature importance). Что это такое и как работает?

В PFI есть слово permuatation. Оно, собственно, и определяет, что мы будем делать. Давайте для каждого признака будем "перемешивать" значения и смотреть, насколько изменилась наша ошибка предсказаний. Получаем весьма простой модельно-агностический (независимый от реализации конкретного алгоритма обучения) метод.

Плюсы метода:
1. Легко интерпретировать - мы понимаем, насколько изменяется качество модели при "разрушении" признака;
2. Можно сравнивать результаты между разными моделями;
3. Помимо важности самого признака, мы еще автоматически учитываем и важность взаимодействий между признаками (если мы "перемешали" признак, то мы "перемешали" и все взаимодействия между признаками);
4. Нам не нужно переобучать модель. То есть, мы не тратим время и вычислительные ресурсы на новые циклы обучения.

Минусы метода:
1. Мы привязаны к определению ошибки. То есть, важность признака зависима от той метрики, ухудшение которой мы мониторим;
2. Нужно знать реальные таргеты. Если у нас только модель и неразмеченные данные - то мы не можем вычислить важность признаков;
3. Учитывая случайность перестановок, наши результаты могут меняться от запуска к запуску (причем, весьма сильно);
4. У нас может возникать смещение в наших оценках из-за нереалистичных точек данных. Например, если мы случайно пересортируем рост, но оставим вес, то может получиться точка данных с ростом 185 см и весом 10 кг (что невероятно);
5. Наличие коррелированных признаков может снижать важность группы признаков, т.к. общая "важность" может "расщепляться" между этими признаками.

В итоге, метод весьма неплохой, но со своими минусами (причем, достаточно важными минусами). Если хотите поиграть с методом, можете взять пример реализации из sklearn.

BY Artificial stupidity