Artificial stupidity

#interpretable_ml

Давайте начнем большую тему интерпретируемого машинного обучения. Начнем с базовых понятий, постепенно спускаясь в глубины (ну или поднимаясь на вершины, этот выбор оставлю на вкус читателя). Я побуду вашим Овидием в этом интересном (надеюсь) путешествии.

Итак, начнем с того, что вообще такое интерпретируемое машинное обучение.

Интерпретируемая модель машинного обучения - это такая модель, результаты и выводы которой может предсказать и объяснить эксперт.

Соответственно, обычно модели любят делить на две крайности одной сущности: модели черного и белого ящика. В черном ящике мы совсем ничего не понимаем, но видим результаты модели. В белом ящике мы видим весь процесс и можем в деталях понять, почему был получен именно такой вывод.

Когда нам нужна интерпретируемость?

Собственно, в тех случаях, когда нам нужно тем или иным образом проверять или использовать результаты и выводы нашей модели. Это нужно в следующих случаях:
1. Нам хочется получать из результатов новые знания (то есть, в научных целях нам лучше бы понимать, как конкретный инструмент получает те результаты, которые мы видим);
2. Мы хотим быть уверены, что модель принимает "честные" решения, которые не дискриминируют никакие группы населения;
3. Нам нужно знать, что чувствительная информация надежно защищена;
4. Мы хотим понимать, робастна ли модель и если нет, то что приводит к неустойчивости ее поведения;
5. Мы хотим быть уверены, что модель выучила только причинно-следственные отношения, а не ложные корреляции;
6. Мы хотели бы видеть больше доверия от пользователей модели. Обычно, человеку гораздо проще доверять тому, чью логику он может понять.

А когда интерпретируемость не особо важна?

1. Когда результаты модели не особо важны (нет влияния на чье-то здоровье или благополучие);
2. Когда область изучена вдоль и поперек. И мы точно знаем, что вполне себе можем делегировать принятие решения черному ящику;
3. Когда мы не хотим, чтобы пользователи могли научиться "обманывать систему" (например, если вы выдаете кредиты, то вам не очень хочется, чтобы фродеры знали, какие признаки помогают получше прикинуться честным заемщиком).

www.group-telegram.com/sg/artificial_stupid.com/320

1.3K viewsJul 22, 2023 at 12:01

#interpretable_ml

Давайте начнем большую тему интерпретируемого машинного обучения. Начнем с базовых понятий, постепенно спускаясь в глубины (ну или поднимаясь на вершины, этот выбор оставлю на вкус читателя). Я побуду вашим Овидием в этом интересном (надеюсь) путешествии.

Итак, начнем с того, что вообще такое интерпретируемое машинное обучение.

Интерпретируемая модель машинного обучения - это такая модель, результаты и выводы которой может предсказать и объяснить эксперт.

Соответственно, обычно модели любят делить на две крайности одной сущности: модели черного и белого ящика. В черном ящике мы совсем ничего не понимаем, но видим результаты модели. В белом ящике мы видим весь процесс и можем в деталях понять, почему был получен именно такой вывод.

Когда нам нужна интерпретируемость?

Собственно, в тех случаях, когда нам нужно тем или иным образом проверять или использовать результаты и выводы нашей модели. Это нужно в следующих случаях:
1. Нам хочется получать из результатов новые знания (то есть, в научных целях нам лучше бы понимать, как конкретный инструмент получает те результаты, которые мы видим);
2. Мы хотим быть уверены, что модель принимает "честные" решения, которые не дискриминируют никакие группы населения;
3. Нам нужно знать, что чувствительная информация надежно защищена;
4. Мы хотим понимать, робастна ли модель и если нет, то что приводит к неустойчивости ее поведения;
5. Мы хотим быть уверены, что модель выучила только причинно-следственные отношения, а не ложные корреляции;
6. Мы хотели бы видеть больше доверия от пользователей модели. Обычно, человеку гораздо проще доверять тому, чью логику он может понять.

А когда интерпретируемость не особо важна?

1. Когда результаты модели не особо важны (нет влияния на чье-то здоровье или благополучие);
2. Когда область изучена вдоль и поперек. И мы точно знаем, что вполне себе можем делегировать принятие решения черному ящику;
3. Когда мы не хотим, чтобы пользователи могли научиться "обманывать систему" (например, если вы выдаете кредиты, то вам не очень хочется, чтобы фродеры знали, какие признаки помогают получше прикинуться честным заемщиком).

BY Artificial stupidity