EEG2Video
Статья на Neurips 2024

У меня первый вопрос - это они серьезно?

Я сторонник решать крутые и реально сложные задачи. Но камоон, какие видео из ЭЭГ сигналов.

ЭЭГ дает нам суммарную активность миллионов нейронов с крайне низким пространственным разрешением(32/64 электрода на голове), а для видео нужны мельчайшие детали. Поэтому даже теоретически из ЭЭГ можно выцепить только очень грубые характеристики типа "человек видит что-то яркое" или "что-то движется", но никак не конкретные детали изображения.

Теперь к статье.

Данные:
20 субъектов
1400 видеоклипов из 40 концептов
Каждый клип 2 секунды, 24 FPS

Модель.
- диффузия на фичах из мозга + предсказание семантической информации.

Метрики:
- Заявленная top-1 accuracy для 40 классов (6.20%) слишком близка к случайному угадыванию (2.50%)
- SSIM 0.256 для реконструкции видео - это низко конечно.
- Бинарная классификация fast/slow (57.35%) едва превышает случайные 50%

Но несмотря на вопросы к метрикам, авторы провели большую работу и записали интересный датасет, который обещают выложить. Это круто!

Выговорился.