Офтоп (ну майже).
Здається, я тільки що знайшов універсальну причину явища midwit peak.
У мене з часом накопичилося багато різних причинно-наслідкових гіпотез щодо того, звідки виникає midwit peak, але кожна з цих гіпотез не працювала універсально і описувала певний клас ситуацій. Якщо додати той факт, що midwit peak зустрічається в дуже різних контекстах, то напрошується думка про те, що явище є не причинно-наслідковим механізмом, а статистичним артефактом.
І здається, що дійсно. Здається, це sampling effect. Явище того ж характеру, що помилка людини, що вижила, або зміщення вибірки.
Розглянемо проблему бінарної класифікації фактів на істинні та хибні. Нехай істинні та хибні факти в нашому абстрактному просторі будуть скучені, але не лінійно (чи то навіть вігнуто) розділювані. Короче, уявіть собі хмару істинних фактів і хмару хибних фактів, і краплинки цих хмар як би частково перетинаються.
Твердження:
Мідвіт - це лінійний класифікатор.
Він робить найкращу можливу класифікацію в межах своєї обмеженої когнітивної архітектури, яка тим не менш недостатня, щоб осягнути усю складність наявних даних.
Smart тоді - опуклий класифікатор, велика нейромережа з 3+ шарами. Вона робить правильну або близьку до правильної класифікації.
А retard - це класифікатор по рандомній межі, яка слабо корелює з атрибутами істинність/хибність.
Тепер, розглянемо саме ті елементи датасету (факти), які знаходяться за межами правильної класифікації оптимального лінійного класифікатора. Назвемо їх складними фактами (бо вони правда щось типу складних фактів).
Що ми бачимо, коли порівнюємо функції втрат трьох вищезазначених алгоритмів для цих складних фактів? Саме midwit peak:
1. Розумний алгоритм має гарний результат з очевидних причин.
2. Мідвіт алгоритм має поганий результат з очевидних причин.
3. Дурний алгоритм має гірший результат, ніж розумний, але кращий, ніж середній (можливо, набагато кращий), тому що суто випадково він міг класифікувати складні факти правильно. Насправді, він може класифікувати їх більш правильно і не суто випадково - наприклад, тому що він ірраціонально багато уваги приділяє аутлаєрам. Але загальний механізм такий самий.
Здається, я тільки що знайшов універсальну причину явища midwit peak.
У мене з часом накопичилося багато різних причинно-наслідкових гіпотез щодо того, звідки виникає midwit peak, але кожна з цих гіпотез не працювала універсально і описувала певний клас ситуацій. Якщо додати той факт, що midwit peak зустрічається в дуже різних контекстах, то напрошується думка про те, що явище є не причинно-наслідковим механізмом, а статистичним артефактом.
І здається, що дійсно. Здається, це sampling effect. Явище того ж характеру, що помилка людини, що вижила, або зміщення вибірки.
Розглянемо проблему бінарної класифікації фактів на істинні та хибні. Нехай істинні та хибні факти в нашому абстрактному просторі будуть скучені, але не лінійно (чи то навіть вігнуто) розділювані. Короче, уявіть собі хмару істинних фактів і хмару хибних фактів, і краплинки цих хмар як би частково перетинаються.
Твердження:
Мідвіт - це лінійний класифікатор.
Він робить найкращу можливу класифікацію в межах своєї обмеженої когнітивної архітектури, яка тим не менш недостатня, щоб осягнути усю складність наявних даних.
Smart тоді - опуклий класифікатор, велика нейромережа з 3+ шарами. Вона робить правильну або близьку до правильної класифікації.
А retard - це класифікатор по рандомній межі, яка слабо корелює з атрибутами істинність/хибність.
Тепер, розглянемо саме ті елементи датасету (факти), які знаходяться за межами правильної класифікації оптимального лінійного класифікатора. Назвемо їх складними фактами (бо вони правда щось типу складних фактів).
Що ми бачимо, коли порівнюємо функції втрат трьох вищезазначених алгоритмів для цих складних фактів? Саме midwit peak:
1. Розумний алгоритм має гарний результат з очевидних причин.
2. Мідвіт алгоритм має поганий результат з очевидних причин.
3. Дурний алгоритм має гірший результат, ніж розумний, але кращий, ніж середній (можливо, набагато кращий), тому що суто випадково він міг класифікувати складні факти правильно. Насправді, він може класифікувати їх більш правильно і не суто випадково - наприклад, тому що він ірраціонально багато уваги приділяє аутлаєрам. Але загальний механізм такий самий.
group-telegram.com/homo_technicus/745
Create:
Last Update:
Last Update:
Офтоп (ну майже).
Здається, я тільки що знайшов універсальну причину явища midwit peak.
У мене з часом накопичилося багато різних причинно-наслідкових гіпотез щодо того, звідки виникає midwit peak, але кожна з цих гіпотез не працювала універсально і описувала певний клас ситуацій. Якщо додати той факт, що midwit peak зустрічається в дуже різних контекстах, то напрошується думка про те, що явище є не причинно-наслідковим механізмом, а статистичним артефактом.
І здається, що дійсно. Здається, це sampling effect. Явище того ж характеру, що помилка людини, що вижила, або зміщення вибірки.
Розглянемо проблему бінарної класифікації фактів на істинні та хибні. Нехай істинні та хибні факти в нашому абстрактному просторі будуть скучені, але не лінійно (чи то навіть вігнуто) розділювані. Короче, уявіть собі хмару істинних фактів і хмару хибних фактів, і краплинки цих хмар як би частково перетинаються.
Твердження:
Мідвіт - це лінійний класифікатор.
Він робить найкращу можливу класифікацію в межах своєї обмеженої когнітивної архітектури, яка тим не менш недостатня, щоб осягнути усю складність наявних даних.
Smart тоді - опуклий класифікатор, велика нейромережа з 3+ шарами. Вона робить правильну або близьку до правильної класифікації.
А retard - це класифікатор по рандомній межі, яка слабо корелює з атрибутами істинність/хибність.
Тепер, розглянемо саме ті елементи датасету (факти), які знаходяться за межами правильної класифікації оптимального лінійного класифікатора. Назвемо їх складними фактами (бо вони правда щось типу складних фактів).
Що ми бачимо, коли порівнюємо функції втрат трьох вищезазначених алгоритмів для цих складних фактів? Саме midwit peak:
1. Розумний алгоритм має гарний результат з очевидних причин.
2. Мідвіт алгоритм має поганий результат з очевидних причин.
3. Дурний алгоритм має гірший результат, ніж розумний, але кращий, ніж середній (можливо, набагато кращий), тому що суто випадково він міг класифікувати складні факти правильно. Насправді, він може класифікувати їх більш правильно і не суто випадково - наприклад, тому що він ірраціонально багато уваги приділяє аутлаєрам. Але загальний механізм такий самий.
Здається, я тільки що знайшов універсальну причину явища midwit peak.
У мене з часом накопичилося багато різних причинно-наслідкових гіпотез щодо того, звідки виникає midwit peak, але кожна з цих гіпотез не працювала універсально і описувала певний клас ситуацій. Якщо додати той факт, що midwit peak зустрічається в дуже різних контекстах, то напрошується думка про те, що явище є не причинно-наслідковим механізмом, а статистичним артефактом.
І здається, що дійсно. Здається, це sampling effect. Явище того ж характеру, що помилка людини, що вижила, або зміщення вибірки.
Розглянемо проблему бінарної класифікації фактів на істинні та хибні. Нехай істинні та хибні факти в нашому абстрактному просторі будуть скучені, але не лінійно (чи то навіть вігнуто) розділювані. Короче, уявіть собі хмару істинних фактів і хмару хибних фактів, і краплинки цих хмар як би частково перетинаються.
Твердження:
Мідвіт - це лінійний класифікатор.
Він робить найкращу можливу класифікацію в межах своєї обмеженої когнітивної архітектури, яка тим не менш недостатня, щоб осягнути усю складність наявних даних.
Smart тоді - опуклий класифікатор, велика нейромережа з 3+ шарами. Вона робить правильну або близьку до правильної класифікації.
А retard - це класифікатор по рандомній межі, яка слабо корелює з атрибутами істинність/хибність.
Тепер, розглянемо саме ті елементи датасету (факти), які знаходяться за межами правильної класифікації оптимального лінійного класифікатора. Назвемо їх складними фактами (бо вони правда щось типу складних фактів).
Що ми бачимо, коли порівнюємо функції втрат трьох вищезазначених алгоритмів для цих складних фактів? Саме midwit peak:
1. Розумний алгоритм має гарний результат з очевидних причин.
2. Мідвіт алгоритм має поганий результат з очевидних причин.
3. Дурний алгоритм має гірший результат, ніж розумний, але кращий, ніж середній (можливо, набагато кращий), тому що суто випадково він міг класифікувати складні факти правильно. Насправді, він може класифікувати їх більш правильно і не суто випадково - наприклад, тому що він ірраціонально багато уваги приділяє аутлаєрам. Але загальний механізм такий самий.
BY Homo Technicus
Share with your friend now:
group-telegram.com/homo_technicus/745