Tasty AI Papers | 01-31 August 2024

Robotics.

🔘Body Transformer: Leveraging Robot Embodiment for Policy Learning

what: one transformer to control whole body.
- propose Body Transformer (BoT)
- vanilla transformer with special attention mask, which reflects interconnection of the different body parts.

🔘CrossFormer Scaling Cross-Embodied Learning for Manipulation, Navigation, Locomotion, and Aviation

what: One transformer that can control various robot types.
- trained on 900K trajectories from 20 different robots.
- matches or beats specialized algorithms for each robot type.
- works on arms, wheeled bots, quadrupeds, and even drones.

Diffusion + AR Transformers

🟢Transfusion: Predict the Next Token and Diffuse Images with One Multi-Modal Model

what: merge AR decoder with vanilla diffusion.
- train model with two objectives: causal language loss + diffusion objective
- deal with discrete and continuous in the same model.

🟡 Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution

what: propose diffusion for discrete distribution
- beats other diffusion approach for text generation
- outperforms gpt-2.

🟡Show-o: One Single Transformer to Unify Multimodal Understanding and Generation

what: combine AR transformer with MaskGIT.
- can generate image and understand them.
- text tokenization + image tokenization. Use MaskGIT losses for image tokens.

Tasty Neuro Papers | 01 - 31 August 2024

Decoding.

🟢An Accurate and Rapidly Calibrating Speech Neuroprosthesis

what: best speech neuroprosthetics.
- 256 intracortical electrodes recording.
- Up to 90% accuracy on open large vocabular: 125k
- model pipeline:
Conv to extract features → RNN to predict phonemes→ LM to combine phonemes probs with RNN outs→ LLM for candidates.

🔘An instantaneous voice synthesis neuroprosthesis

what: directly predict voice from the brain
- speech prosthesis is on fire this month
- remove step with words prediction and predict voice directly
- use causal conv and transformers architecture.
- predict tokenized audio vectors.

🔘Population Transformer: Learning Population-level Representations of Intracranial Activity

what: one more transformer for intracranial neural activity.
- Extract embeddings from each electrode separately then merge them in BERT-like encoder
- propose losses for pretraining stage.

Stimulation

🔘Biomimetic stimulation patterns drive natural artificial touch percepts using intracorticalmicrostimulation in humans

what: explore different stimulation for touch sensation

Мозг и его скорости
#neuroscience

Публикация: Senkowski, D., & Engel, A. K. (2024). Multi-timescale neural dynamics for multisensory integration. Nature Reviews Neuroscience, 1-18.

Наш мозг обрабатывает информацию, поступающую от разных органов чувств. Эта обработка не осуществляется изолированно: например, мы лучше понимаем речь (слуховая модальность), если наблюдаем за движением губ собеседника (зрительная модальность), и т. д. Объединение процессов такой обработки называется мультисенсорной интеграцией. Недавно в “Nature Reviews Neuroscience” появилась статья про её нейрональные механизмы.

Важной особенностью этого процесса является то, что он осуществляется на разных временных масштабах. Упрощённо: базовая сенсорная обработка происходит на небольших временных масштабах, а высокоуровневые процессы — на более длительных.

Что определяет эти временные масштабы? Синхронная активность нейронов в разных частотных диапазонах — ритмы мозга или осцилляции. Они задействуются в следующих сценариях.

✨ Модуляция амплитуды. Мультисенсорная интеграция сопровождается изменениями в мощности ритмов. Например, была установлена связь быстрой обработки мультисенсорных стимулов с мощностью гамма-ритма, а более сложных процессов (например, аудиовизуальной обработки речи) — с низкими частотами. Впрочем, это не означает, что иерархия мультисенсорной обработки линейно опирается на частоту таким образом, что высокие частоты связаны исключительно с простейшей сенсорной обработкой. Важно обращать внимание на то, какие области мозга генерируют эти ритмы: например, мультисенсорная интеграция может модулировать высокочастотные ритмы не только в сенсорных областях, но и в ассоциативных.

✨ Фазовый сброс (Phase resetting). Предъявление стимула в одной модальности может “обнулить” фазу осцилляций, отвечающих за процессы уже в другой модальности. Например, предъявление тактильного стимула обезьяне может приводить к сбросу фазы осцилляций в широком диапазоне частот (от 1 до 100 Гц) в слуховой коре, причем меньше чем через 100 мс после предъявления стимула. Этот механизм упреждающе может облегчать дальнейшую интеграцию предъявленного стимула в обработку уже другими системами.

✨ Ритмическая привязка (Entrainment). Стимуляция одной сенсорной системы на заданной частоте может индуцировать соответствующие осцилляции в другой системе. В частности, если предъявлять звуковые стимулы с частотой 3 Гц, можно наблюдать осцилляторную активность на этой же частоте в зрительной коре. А при предъявлении двух конкурирующих звуковых потоков целевые звуковые стимулы распознаются легче, если предъявлять зрительные стимулы, не относящиеся к задаче, но по временной динамике соотносимые с целевыми звуками.

✨ Функциональная связность. (Functional coupling). Осцилляции из функционально различных областей могут синхронизоваться на уровне фаз или огибающих. Например, синхронизация бета-ритма между височными и лобно-теменными областями наблюдается при эффекте Мак-Гурка (если вы не знакомы с этим эффектом, можете пройти по ссылке и мультисенсорно забыться). Важно также, что связность может устанавливаться и между разными ритмами: например, медленные осцилляции могут модулировать высокие.

Указанные выше механизмы касаются обработки уже предъявленного стимула. Но важно не забывать и про спонтанную активность незадолго до предъявления стимула. В частности, повышенная мощность спонтанного бета-ритма может предсказывать степень выраженности иллюзии Мак-Гурка, т. е. и предрасположенность к мультисенсорной интеграции в целом.

Также следует отметить, что в мозге имеют место процессы, не привязанные к временному масштабу (scale-free dynamics). Они не задействуют фиксированные частоты и не регулярны. Эту динамику связывают с состоянием критичности, в котором физическая система (мозг) наиболее подвержена изменениям во внешней среде. Соответственно, эти процессы могут влиять на то, с какой лёгкостью происходят ранее описанные фазовые сбросы или ритмические привязки, а также гибкость мультисенсорной интеграции в целом. Но это требует отдельных исследований.

MEG/EEG Bloopers. Part 2
#neuroimaging

Продолжаю серию пасхалок из анализа сигналов мозга. Активность, регистрируемая с помощью МЭГ и ЭЭГ, представлена ритмическими осцилляциями. Один из стандартных способов оценить, насколько те или иные ритмы выражены, это вычисление спектральной плотности мощности. Характерный спектр МЭГ/ЭЭГ (см. рис. А), представлен несколькими диапазонами частот, наиболее мощный из которых соответствует альфа-ритму (8-12 Гц). Именно его рост мы наблюдаем при закрытии глаз.

Также во многие процессы вовлекается более высокочастотный бета-ритм (12-30 Гц): его связывают с сенсомоторными задачами, вниманием, рабочей памятью и т. д. И в анализе этого ритма может крыться подвох!

Дело в том, что бета может оказаться гармоникой, порождённой альфа-ритмом. Обратимся к примеру. Смоделировав простую синусоиду в альфа-диапазоне на 10 Гц, я получаю характерный пик в спектре на 10 Гц (С). Добавив к этой синусоиде нелинейную компоненту за счёт прибавления квадрата этой синусоиды с небольшим коэффициентом, на спектре можно заметить дополнительный гармонический пик на 20 Гц (D) — а это уже бета-ритм! Похожий пик можно получить и при моделировании синусоиды непосредственно в бета-диапазоне (E).

Вклад гармоник от альфы в оценку бета-ритма, увы, не умозрительный конструкт. Во-первых, каноничный сенсомоторный мю-ритм, который по частотному диапазону соответствует альфе, обладает не синусоидальной, а аркообразной формой. И очень часто ему сопутствуют гармоники в бете. Во-вторых, стандартная затылочная альфа тоже от этого не застрахована. На графике (B) представлен спектр ЭЭГ одного человека в состоянии закрытых глаз. Наряду с пиком в альфа-ритме наблюдается пик и в бете, зависящий от выраженности альфы. Анализ этого феномена более подробно представлен в этой статье (как и некоторые полезные эвристики).

Возникает вопрос — что с этим делать?
➡️ Не ограничивать себя анализом в частотном домене: существуют дополнительные способы оценки осцилляторной активности, в т. ч. и во временном домене с выделением отдельных всплесков осцилляций и оценкой их дополнительных характеристик.
➡️ При частотном анализе учитывать отношение высоких частот к низким, смотреть на поведение спектра в целом, не изолируя отдельные частотные диапазоны.
➡️ Внимательно оценивать центральные частоты в пиках спектра: если центральная частота одного из пиков кратна центральной частоте пика в более низких диапазонах, это повод задуматься о присутствии гармоник.
➡️ Учитывать пространственные характеристики осцилляций: бета-осцилляции с максимумом мощности в затылке — это подозрительно (хотя в редких случаях и присутствие истинных бета-осцилляций в этих регионах не исключено).
➡️ Не использовать синусоиды как базисные функции для спектрального разложения (как это происходит в стандартном Фурье-анализе). Альтернативный вариант — преобразование Гильберта-Хуанга на основе метода EMD. Это преобразование основано на разложении сигнала на эмпирические моды, выделяемые непосредственно из данных. Как видно из моих модельных графиков (F), для нелинейного альфа-ритма это преобразование не выделяет пик в бете. Однако точность разложения зависит от специфики выделения мод, в т. ч. их количества. В представленном примере с разложением на две моды пик находится чуть ниже 10 Гц. Оставляю ссылку на пакет, в котором упомянутое разложение реализовано.