Sinекура

В курсе "Основы байесовского вывода" сегодня говорили о двух важных общих сюжетах, пронизывающих всё машинное обучение.

СПбГУ — 2025.10.16 — Ближайшие соседи, проклятие размерности, разложение bias-variance-noise
(слайды, доска и ноутбук, как всегда, на странице курса)

Здесь логика изложения у меня такая: я начинаю с метода ближайших соседей и показываю, что на плоскости, там, где я могу нарисовать точки и разделяющие поверхности, он работает блестяще, может провести какую угодно разделяющую поверхность и вообще выглядит идеально. Возникает резонный вопрос: а вообще зачем нам всё машинное обучение тогда? Может, ближайших соседей достаточно, только решить проблемы с вычислительной сложностью (а их в целом можно решить), да и всё? Ответ на этот вопрос — проклятие размерности; почему и ближайшие соседи, и многие другие методы начинают ломаться, когда размерность пространства признаков растёт.

А второй сюжет начинается с основ статистической теории принятия решений: какая идеальная, наилучшая возможная функция предсказания? Какая у неё будет ожидаемая ошибка (спойлер: ненулевая, разумеется, в данных ведь есть шум)? А ту часть ошибки, которую мы контролируем, можно дальше разделить на две части: дисперсию, которая показывает, насколько модель сильно отклоняется от своего собственного ожидания в зависимости от конкретного датасета, и смещение, которое показывает, насколько это её ожидание далеко от идеальной функции предсказания. В результате получается легко интерпретируемый результат, который показывает один из главных компромиссов (tradeoffs) при выборе гиперпараметров моделей (например, коэффициента регуляризации): между смещением и дисперсией.

👍18❤5

www.group-telegram.com/ye/sinecor.com/667

1.49K viewsedited  Oct 16 at 12:34

В курсе "Основы байесовского вывода" сегодня говорили о двух важных общих сюжетах, пронизывающих всё машинное обучение.

СПбГУ — 2025.10.16 — Ближайшие соседи, проклятие размерности, разложение bias-variance-noise
(слайды, доска и ноутбук, как всегда, на странице курса)

Здесь логика изложения у меня такая: я начинаю с метода ближайших соседей и показываю, что на плоскости, там, где я могу нарисовать точки и разделяющие поверхности, он работает блестяще, может провести какую угодно разделяющую поверхность и вообще выглядит идеально. Возникает резонный вопрос: а вообще зачем нам всё машинное обучение тогда? Может, ближайших соседей достаточно, только решить проблемы с вычислительной сложностью (а их в целом можно решить), да и всё? Ответ на этот вопрос — проклятие размерности; почему и ближайшие соседи, и многие другие методы начинают ломаться, когда размерность пространства признаков растёт.

А второй сюжет начинается с основ статистической теории принятия решений: какая идеальная, наилучшая возможная функция предсказания? Какая у неё будет ожидаемая ошибка (спойлер: ненулевая, разумеется, в данных ведь есть шум)? А ту часть ошибки, которую мы контролируем, можно дальше разделить на две части: дисперсию, которая показывает, насколько модель сильно отклоняется от своего собственного ожидания в зависимости от конкретного датасета, и смещение, которое показывает, насколько это её ожидание далеко от идеальной функции предсказания. В результате получается легко интерпретируемый результат, который показывает один из главных компромиссов (tradeoffs) при выборе гиперпараметров моделей (например, коэффициента регуляризации): между смещением и дисперсией.

BY Sinекура