group-telegram.com/blog_toxa/411
Last Update:
Авторы статей и моделей дуреют с этой прикормки
Простите, наболело
SOTA, экспонента, AGI, AI — часто встречающиеся явления в публикациях различных исследователей в последнее время. И это грустно. Давайте объясню.
Ты заходишь на arxiv.org, проходишься по разделам cs.CV, cs.AI, выбираешь интересные тебе статьи по названию. Дальше откидываешь странные аффилиации, ну потому что зачем их вообще даже читать (не всегда так, но опустим этот факт). У тебя остаётся скажем так статей 20-30 для дальнейшей фильтрации.
Потом ты начинаешь читать абстракты, выкидываешь откровенный булшит, а-ля, натянули сову на глобус, чтобы посчитать синус косинуса экспоненциально-гиперболизированного корня сельдерея. Хорошо, остается 5-7 хороших статей, которые имеет смысл читать дальше.
А после происходит фокус текущего долгоидущего тренда:
— Наши исследования показывают, что на этом домене все модели работают ну из ряда вон плохо;
— Выяснили мы это на своём бенчмарке из 50ти семплов, который, кстати, выложили в опенсорс;
— После этого мы обучили новую модель, получили SOTA модель (и где-то рядом — в терминах нашего бенчмарка);
— Спасибо за внимание, мы рады были попилить этот грант/бюджет на проект.
И это так ужасает. Все эти релизы с замерами на бенчмарках, мол смотрите, мы на таких бенчах лучше, а внизу приписка из 100500 пунктов доп условий, при которых достигается это "лучше". Все эти сравнения на аренах, которые можно хакнуть, что показывали последние релизы некоторых моделей.
Я надеюсь, что мы когда-нибудь придём в ту точку, когда мы все перестанем обращать внимание на громкие заявления, что в свою очередь побудит делать более качественные исследования. А то чёт прям вообще грустно.
Что вы думаете на этот счёт?