transformer-november-2024.png
1.9 MB
tasty multimodal transformer papers which i like in november of 2024
[3/3]
Here, i prepare papers with the model which process text and image embeddings. In all papers, authors used simple decoder architecture and predict next token. They work differently with images: normalizing flows, rectified flow, just mse between next and current tokens.
Multimodal Autoregressive Pre-training of Large Vision Encoders
by Apple
tldr: simple yet effective multimodal transformer
• one simple decoder which predict next img patches and next token.
• can be used for image understanding, img caption.
• bettter than sota contrastive models (SigLIP) in multimodal image understanding.
link: https://arxiv.org/abs/2411.14402
JetFormer: An Autoregressive Generative Model of Raw Images and Text by DeepMind
tl;dr: use normalizing flow instead of vqvae for image embeddings.
- train from scratch to model text and raw pixels jointly
- transformer predicts distribution of next image latents, so we will could sample during inference.
- normalizing flow do not lose information so potentially this approach might be good for understandings and generation at the same time.
link: https://arxiv.org/abs/2411.19722?s=35
JanusFlow: Harmonizing Autoregression and Rectified Flow for Unified Multimodal Understanding and Generation by DeepSeek
tl;dr: combine next text token prediction with flow matching.
• model easily understands image and text prompt
• generate image embeddings from noise embeds via flow matching.
• use differeng image embeddings for understanding and for generation.
- understanding: [image - caption] : generation: [prompt -image]
link: https://arxiv.org/abs/2411.07975
my thoughts
Check out this tech plot twist - like something from an action movie! All the top labs are simultaneously ditching CLIP with its contrastive learning and switching to pure autoregression. And it makes total sense - why have separate encoders for images and text when you can teach one model to do it all?
DeepMind really went for it here - they straight up put normalizing flow right into the core architecture. Meanwhile, DeepSeek took a different route - mixing flow matching with VQVAE to enhance features. Both approaches work, and that's amazing! Apple's keeping up too - they built a super simple decoder that predicts both tokens and patches, and it just works better than SigLIP.
You know what's really cool? We're watching a new generation of models being born - universal, powerful, yet elegantly simple. The old CLIP+VQVAE combos will soon be history.
[3/3]
Here, i prepare papers with the model which process text and image embeddings. In all papers, authors used simple decoder architecture and predict next token. They work differently with images: normalizing flows, rectified flow, just mse between next and current tokens.
Multimodal Autoregressive Pre-training of Large Vision Encoders
by Apple
tldr: simple yet effective multimodal transformer
• one simple decoder which predict next img patches and next token.
• can be used for image understanding, img caption.
• bettter than sota contrastive models (SigLIP) in multimodal image understanding.
link: https://arxiv.org/abs/2411.14402
JetFormer: An Autoregressive Generative Model of Raw Images and Text by DeepMind
tl;dr: use normalizing flow instead of vqvae for image embeddings.
- train from scratch to model text and raw pixels jointly
- transformer predicts distribution of next image latents, so we will could sample during inference.
- normalizing flow do not lose information so potentially this approach might be good for understandings and generation at the same time.
link: https://arxiv.org/abs/2411.19722?s=35
JanusFlow: Harmonizing Autoregression and Rectified Flow for Unified Multimodal Understanding and Generation by DeepSeek
tl;dr: combine next text token prediction with flow matching.
• model easily understands image and text prompt
• generate image embeddings from noise embeds via flow matching.
• use differeng image embeddings for understanding and for generation.
- understanding: [image - caption] : generation: [prompt -image]
link: https://arxiv.org/abs/2411.07975
my thoughts
Check out this tech plot twist - like something from an action movie! All the top labs are simultaneously ditching CLIP with its contrastive learning and switching to pure autoregression. And it makes total sense - why have separate encoders for images and text when you can teach one model to do it all?
DeepMind really went for it here - they straight up put normalizing flow right into the core architecture. Meanwhile, DeepSeek took a different route - mixing flow matching with VQVAE to enhance features. Both approaches work, and that's amazing! Apple's keeping up too - they built a super simple decoder that predicts both tokens and patches, and it just works better than SigLIP.
You know what's really cool? We're watching a new generation of models being born - universal, powerful, yet elegantly simple. The old CLIP+VQVAE combos will soon be history.
Forwarded from Агенты ИИ | AGI_and_RL
Кстати, вышла новая обзорка по RLю, 144 странички, но на инглише (в конце даже немножко RL + LLMs налили)
Reinforcement Learning: An Overview
https://arxiv.org/abs/2412.05265
Не забываем что по rlю есть очень крутой конспект на русском на 245 страничек
Reinforcement Learning Textbook
https://arxiv.org/abs/2201.09746
Reinforcement Learning: An Overview
https://arxiv.org/abs/2412.05265
Не забываем что по rlю есть очень крутой конспект на русском на 245 страничек
Reinforcement Learning Textbook
https://arxiv.org/abs/2201.09746
arXiv.org
Reinforcement Learning: An Overview
This manuscript gives a big-picture, up-to-date overview of the field of (deep) reinforcement learning and sequential decision making, covering value-based methods, policy-based methods,...
Мы очень рады, что нас становится больше🙏
Будем стараться, чтобы посты выходили регулярно. В следующем году будем чаще делиться нашими собственными исследованиями!
Дайджесты статей за декабрь будут совсем скоро! Там интересно!
P.S. Будем рады пообщаться. Напишите в комментариях - что нравится\не нравится, чего хочется видеть больше.
Будем стараться, чтобы посты выходили регулярно. В следующем году будем чаще делиться нашими собственными исследованиями!
Дайджесты статей за декабрь будут совсем скоро! Там интересно!
P.S. Будем рады пообщаться. Напишите в комментариях - что нравится\не нравится, чего хочется видеть больше.
Please open Telegram to view this post
VIEW IN TELEGRAM
2024-december-neuro.png
2 MB
tasty neuro papers | december 2024
1️⃣ MiSO: Optimizing brain stimulation to create neural population activity states
what: Closed-loop framework combining cross-session alignment, CNN predictions and online optimization to find optimal brain stimulation patterns
paper: https://openreview.net/pdf?id=Gb0mXhn5h3
2️⃣ Evoking stable and precise tactile sensations via multi-electrode intracortical microstimulation of the somatosensory cortex
what: multi electrode stimulation works better than single-electrode :)
paper: https://www.nature.com/articles/s41551-024-01299-z
3️⃣ Moving beyond the motor cortex: a brain-wide evaluation of target locations for intracranial speech neuroprostheses
what: collect large sEEG dataset and find out that we can use not only motor cortex for speech decoding.
- novel sEEG dataset covering 3249 electrodes across 30 participants, enabling brain-wide analysis
- strongest decoding in Heschl's gyrus, inferior insula, and (sub)central sulcus bilaterally
paper: https://www.biorxiv.org/content/10.1101/2024.11.29.626019v1
dataset: https://osf.io/ak3dp/
4️⃣ Brain-JEPA: Brain Dynamics Foundation Model with Gradient Positioning and Spatiotemporal Masking NeurIps 2024 Spotlight
what: new SOTA foundation model for fMRI data.
they used functional connectivity as additional information and smart masking during model training.
paper: https://arxiv.org/abs/2409.19407
code: https://github.com/Eric-LRL/Brain-JEPA
what: Closed-loop framework combining cross-session alignment, CNN predictions and online optimization to find optimal brain stimulation patterns
paper: https://openreview.net/pdf?id=Gb0mXhn5h3
what: multi electrode stimulation works better than single-electrode :)
paper: https://www.nature.com/articles/s41551-024-01299-z
what: collect large sEEG dataset and find out that we can use not only motor cortex for speech decoding.
- novel sEEG dataset covering 3249 electrodes across 30 participants, enabling brain-wide analysis
- strongest decoding in Heschl's gyrus, inferior insula, and (sub)central sulcus bilaterally
paper: https://www.biorxiv.org/content/10.1101/2024.11.29.626019v1
dataset: https://osf.io/ak3dp/
what: new SOTA foundation model for fMRI data.
they used functional connectivity as additional information and smart masking during model training.
paper: https://arxiv.org/abs/2409.19407
code: https://github.com/Eric-LRL/Brain-JEPA
Please open Telegram to view this post
VIEW IN TELEGRAM
2024-december-generative-.png
939.8 KB
tasty generative papers | december 2024
1️⃣ Flowing from Words to Pixels: A Framework for Cross-Modality Evolution
tl;dr: train vae on text and learn field from text features into image features.
- directly map text into images (noise free)
- to extract text features, they adapt vae and map vae features into image features
paper: https://cross-flow.github.io/
2️⃣ Video Prediction Policy: A Generalist Robot Policy with Predictive Visual Representations
tl:dr: Uses video diffusion's hidden states as a policy's visual backbone to predict actions.
- two-stage approach: first fine-tune video prediction on manipulation data, then learn policy using the internal representations
- it uses embeddings for predicted(future) video frames
paper: https://video-prediction-policy.github.io/
my thoughts. I wanna hightligh the second paper. they use "world model" as feature extractor about future. It gives better results. wow in my view it's exciting. Maybe we underrate future modelling in brain signal analysis. I think we have to focus more on generative model for brain computer interfaces.
tl;dr: train vae on text and learn field from text features into image features.
- directly map text into images (noise free)
- to extract text features, they adapt vae and map vae features into image features
paper: https://cross-flow.github.io/
tl:dr: Uses video diffusion's hidden states as a policy's visual backbone to predict actions.
- two-stage approach: first fine-tune video prediction on manipulation data, then learn policy using the internal representations
- it uses embeddings for predicted(future) video frames
paper: https://video-prediction-policy.github.io/
my thoughts. I wanna hightligh the second paper. they use "world model" as feature extractor about future. It gives better results. wow in my view it's exciting. Maybe we underrate future modelling in brain signal analysis. I think we have to focus more on generative model for brain computer interfaces.
Please open Telegram to view this post
VIEW IN TELEGRAM
2024-december-transformers.png
904.2 KB
tasty ai papers | december 2024
1️⃣ Byte Latent Transformer: Patches Scale Better Than Tokens
what: train llama on raw bytes without a fixed vocabulary.
- dynamically patches bytes usign local small encoder
- main decoder process these patch in AR setting
- local deocder makes next byte prediction.
paper: https://arxiv.org/abs/2412.09871
2️⃣ Large Concept Models: Language Modeling in a Sentence Representation Space
what: work with entire sentences as "concepts" through SONAR embeddings.
- quite similar with the first paper here, but it merges tokens into high dim embeddings
- working with sentence-level embeddings directly.
paper: https://arxiv.org/abs/2412.08821
3️⃣ GenCast predicts weather and the risks of extreme conditions with state-of-the-art accuracy
what: Created a diffusion model for probabilistic weather forecasting that generates 15-day predictions with 12-hour steps
how:
- It aggregates two previous timesteps to predict the next weather state
- Instead of directly sampling weather state, it generates residuals (differences) relative to the previous state.
- Артемий в канале AI для Всех сделал ревью на русском, почитайте.
paper: https://www.nature.com/articles/s41586-024-08252-9
my thoughts:
Looks like we're finally getting closer to how humans actually process language, not just crunching tokens like robots. Whether it's patching bytes or bundling tokens into sentence embeddings, this hierarchical approach seems to be the way forward.
GenCast - is just super interesting adoption of modern AI to real problems in natural science.
what: train llama on raw bytes without a fixed vocabulary.
- dynamically patches bytes usign local small encoder
- main decoder process these patch in AR setting
- local deocder makes next byte prediction.
paper: https://arxiv.org/abs/2412.09871
what: work with entire sentences as "concepts" through SONAR embeddings.
- quite similar with the first paper here, but it merges tokens into high dim embeddings
- working with sentence-level embeddings directly.
paper: https://arxiv.org/abs/2412.08821
what: Created a diffusion model for probabilistic weather forecasting that generates 15-day predictions with 12-hour steps
how:
- It aggregates two previous timesteps to predict the next weather state
- Instead of directly sampling weather state, it generates residuals (differences) relative to the previous state.
- Артемий в канале AI для Всех сделал ревью на русском, почитайте.
paper: https://www.nature.com/articles/s41586-024-08252-9
my thoughts:
Looks like we're finally getting closer to how humans actually process language, not just crunching tokens like robots. Whether it's patching bytes or bundling tokens into sentence embeddings, this hierarchical approach seems to be the way forward.
GenCast - is just super interesting adoption of modern AI to real problems in natural science.
Please open Telegram to view this post
VIEW IN TELEGRAM
NeuroBOLT: Resting-state EEG-to-fMRI Synthesis with Multi-dimensional Feature Mapping
Просматривая статьи на NeurIps 24, увидел очень знакомую задачу.
Предсказание фМРТ по ЭЭГ активности. Смысл в том, что давайте одновременно запишем ЭЭГ и фМРТ и попробуем предсказать активность fMRI. Полностью фмрт восстанавливать разумеется очень сложно, поэтому мы будем предсказывать активность каких-нибудь больших регионов (RoI).
Моя магистерская была на эту тему, мы вместе с науч. рук-ем(A.Е. Оссадчий) сделали auto encoder с интерпретируемым слоем. И оно даже работало, разумеется с большими разбросами, но выдавала явно не случайные сигналы. Подавались на NeurIps 22, однако нас не взяли. Причины ясны, статья была сыроватой, мало сравнений с другими подходами и ablation study.
В этом году нашлись люди, которые довели задачу до ума. Применили модные молодежные трансформеры и сложную интеграцию разных электродов. В результате провели много сравнений с baseline(приятно что с нами тоже сравнились). Четко все обрисовали и показали лучший результат. В общем, достойно на мой взгляд.
Авторам респект!
Ссылки:
NeuroBOLT: Resting-state EEG-to-fMRI Synthesis with Multi-dimensional Feature Mapping
paper 2024: https://arxiv.org/abs/2410.05341
fMRI from EEG is only Deep Learning away: the use of interpretable DL to unravel EEG-fMRI relationships(BEIRA)
our preprint 2022: https://arxiv.org/abs/2211.02024
Просматривая статьи на NeurIps 24, увидел очень знакомую задачу.
Предсказание фМРТ по ЭЭГ активности. Смысл в том, что давайте одновременно запишем ЭЭГ и фМРТ и попробуем предсказать активность fMRI. Полностью фмрт восстанавливать разумеется очень сложно, поэтому мы будем предсказывать активность каких-нибудь больших регионов (RoI).
Моя магистерская была на эту тему, мы вместе с науч. рук-ем(A.Е. Оссадчий) сделали auto encoder с интерпретируемым слоем. И оно даже работало, разумеется с большими разбросами, но выдавала явно не случайные сигналы. Подавались на NeurIps 22, однако нас не взяли. Причины ясны, статья была сыроватой, мало сравнений с другими подходами и ablation study.
В этом году нашлись люди, которые довели задачу до ума. Применили модные молодежные трансформеры и сложную интеграцию разных электродов. В результате провели много сравнений с baseline(приятно что с нами тоже сравнились). Четко все обрисовали и показали лучший результат. В общем, достойно на мой взгляд.
Авторам респект!
Ссылки:
NeuroBOLT: Resting-state EEG-to-fMRI Synthesis with Multi-dimensional Feature Mapping
paper 2024: https://arxiv.org/abs/2410.05341
fMRI from EEG is only Deep Learning away: the use of interpretable DL to unravel EEG-fMRI relationships(BEIRA)
our preprint 2022: https://arxiv.org/abs/2211.02024
Forwarded from Агенты ИИ | AGI_and_RL
Есть вот такая эксплорилка архива.
https://www.alphaxiv.org/explore
Что-то типа https://huggingface.co/papers
Показывает тренды папир на архиве
К статьям можно оставлять комменты, ставить 👍 (если зарегаться)
Еще есть сообщества по темам, где статьи собираются по тематике
https://www.alphaxiv.org/communities
Короче прикольно, я точно буду пользоваться
PS А в телеге есть https://www.group-telegram.com/researchim
https://www.alphaxiv.org/explore
Что-то типа https://huggingface.co/papers
Показывает тренды папир на архиве
К статьям можно оставлять комменты, ставить 👍 (если зарегаться)
Еще есть сообщества по темам, где статьи собираются по тематике
https://www.alphaxiv.org/communities
Короче прикольно, я точно буду пользоваться
PS А в телеге есть https://www.group-telegram.com/researchim
Я, кстати, начал пользоваться недавно scholar inbox. В принципе штука прикольная, есть смысл поделиться 😉
Как пользоваться
- Вбиваете туда 10+ релевантных статей
- Лайкаете/дизлайкаете статьи, предложенные алгоритмом для тьюнинга рекомендаций
- Настраиваете частоту апдейтов, фильтры при желании
И всё, ваш персональный дайджест готов! Будут парсить все виды "архивов" и присылать вам на почту подборки.
На скрине пример моей ежедневной подборки препринтов.
Как пользоваться
- Вбиваете туда 10+ релевантных статей
- Лайкаете/дизлайкаете статьи, предложенные алгоритмом для тьюнинга рекомендаций
- Настраиваете частоту апдейтов, фильтры при желании
И всё, ваш персональный дайджест готов! Будут парсить все виды "архивов" и присылать вам на почту подборки.
На скрине пример моей ежедневной подборки препринтов.
Forwarded from Нейроинтерфейсы (Sergei Shishkin)
Нейралинк тоже решил заняться генерацией искусственных мозговых данных
Neuralink сообщает об использовании им "мозгового симулятора" (brain simulator) для улучшения качества декодирования мозговых данных. Мол, интерфейсы мозг-компьютер подобны автономным автомобилям, поэтому "высококачественная симуляция моторной коры может ускорить проверку декодеров и дать возможность использовать методы оптимизации вроде обучения с подкреплением".
Некоторым ИИ-блогерам это показалось большим прогрессом, в духе успехов робототехники, "где sim2real позволил наконец-то научить роботов нормально ходить". Но об улучшении декодирования в сравнении с бейзлайном не сообщалось, так что очень похоже, что его (пока?) нет, и в реальном времени удается лишь приблизиться к точности декодера, обученного на реальных данных. (Видео есть в твите, причем там упоминается обезьяна Pager, хотя и не говорится, точно ли этот тот самый Пейджер, которого они когда-то показывали на известном видео, где он явно занимался читтерством). Собственно, они сами говорят, что находятся "in the early stages of generative brain modeling".
Обучение декодеров/классификаторов на синтетических данных -- тема, очень давно обсуждаемая в ИМК-сообществе, поскольку реальных данных всегда катастрофически не хватает. В нашей научной группе тоже кое-что в этом направлении делается (генерация ЭЭГ диффузионными моделями). Но пока что по-настоящему работающих решений никем предложено не было.
Стоит обратить внимание, что "симуляция моторной коры" тут пока что не более чем метафора -- на самом деле просто генерируется многоканальный сигнал, похожий на реальные сигналы, записываемые с неё. Но, конечно, при решении таких задач в принципе не исключено использование некоторых знаний об устройстве и функционировании коры.
Neuralink сообщает об использовании им "мозгового симулятора" (brain simulator) для улучшения качества декодирования мозговых данных. Мол, интерфейсы мозг-компьютер подобны автономным автомобилям, поэтому "высококачественная симуляция моторной коры может ускорить проверку декодеров и дать возможность использовать методы оптимизации вроде обучения с подкреплением".
Некоторым ИИ-блогерам это показалось большим прогрессом, в духе успехов робототехники, "где sim2real позволил наконец-то научить роботов нормально ходить". Но об улучшении декодирования в сравнении с бейзлайном не сообщалось, так что очень похоже, что его (пока?) нет, и в реальном времени удается лишь приблизиться к точности декодера, обученного на реальных данных. (Видео есть в твите, причем там упоминается обезьяна Pager, хотя и не говорится, точно ли этот тот самый Пейджер, которого они когда-то показывали на известном видео, где он явно занимался читтерством). Собственно, они сами говорят, что находятся "in the early stages of generative brain modeling".
Обучение декодеров/классификаторов на синтетических данных -- тема, очень давно обсуждаемая в ИМК-сообществе, поскольку реальных данных всегда катастрофически не хватает. В нашей научной группе тоже кое-что в этом направлении делается (генерация ЭЭГ диффузионными моделями). Но пока что по-настоящему работающих решений никем предложено не было.
Стоит обратить внимание, что "симуляция моторной коры" тут пока что не более чем метафора -- на самом деле просто генерируется многоканальный сигнал, похожий на реальные сигналы, записываемые с неё. Но, конечно, при решении таких задач в принципе не исключено использование некоторых знаний об устройстве и функционировании коры.
Please open Telegram to view this post
VIEW IN TELEGRAM
Книги о сознании.
Сколько себя помню всегда интересовала эта тема. Что такое сознание? Что значит быть сознательным? Только у нас оно есть? Можем ли мы искусственно его смоделировать?
Пришло время и я набрался смелости узнать чуть глубже.
Небольшое отступление. Я часто общаюсь с Claude о книгах. Узнаю историю из жизни авторов, подробности написания книг. Если я что-то не понял, то он классно помогает разобраться. Но особенно здорово помогает подготовить список книг по теме. Попробуйте(можете даже скинуть ему список уже прочитанных книг).
Возвращаемся. Так вот вместе с ним мы подготовили мне список книг про сознание.
Делюсь с вами. Просто начинайте с первой книги и идите через дебри сложных концепций к последней.
🔬Современные научные теории:
1. Anil Seth "Being You" (2021) - революционный взгляд на сознание как "контролируемую галлюцинацию", где наш мозг активно конструирует реальность и чувство себя через постоянное предсказание сенсорного опыта.
2. Michael Graziano "Rethinking Consciousness" (2019) - теория о том, как мозг создает модель собственного внимания, порождая то, что мы называем сознательным опытом, с важными выводами для создания искусственного сознания.
3. Giulio Tononi "Phi" (2012) - амбициозная попытка математически определить сознание через интеграцию информации в мозге, предлагающая конкретные методы измерения уровня сознания у любой системы.
4. Christof Koch "Then I Am Myself the World" (2024) - современное развитие теории интегрированной информации с фокусом на причинную силу сознания и его измерение в естественных и искусственных системах
5. Andy Clark "Surfing Uncertainty" (2015) - глубокое исследование того, как мозг постоянно строит вероятностные модели мира для минимизации неопределенности, связывающее восприятие, действие и сознание.
6. Karl Friston "Active Inference" (2022) - фундаментальная математическая теория о том, как мозг минимизирует ошибки предсказания через активное взаимодействие с миром, объединяющая восприятие, обучение и действие.
7. Bernard Baars "A Cognitive Theory of Consciousness" (1988) - оригинальная теория глобального рабочего пространства
📚Философские основания:
1. David Chalmers "The Conscious Mind" (1996) - классическая работа, формулирующая "трудную проблему сознания" и показывающая, почему субъективный опыт не может быть полностью объяснен физическими процессами.
2. Daniel Dennett "Consciousness Explained" (1991) - радикальный взгляд на сознание как на полезную иллюзию, возникающую из параллельной работы множества несознательных процессов в мозге.
3. Douglas Hofstadter "I Am a Strange Loop" (2007) - элегантная теория о том, как сознание и самосознание возникают из способности мозга создавать самореферентные петли обратной связи.
p.s. если тут есть неточности, то напишите в комменты - исправим. Также пишите, если мы что-то очень важное упустили.
Сколько себя помню всегда интересовала эта тема. Что такое сознание? Что значит быть сознательным? Только у нас оно есть? Можем ли мы искусственно его смоделировать?
Пришло время и я набрался смелости узнать чуть глубже.
Небольшое отступление. Я часто общаюсь с Claude о книгах. Узнаю историю из жизни авторов, подробности написания книг. Если я что-то не понял, то он классно помогает разобраться. Но особенно здорово помогает подготовить список книг по теме. Попробуйте(можете даже скинуть ему список уже прочитанных книг).
Возвращаемся. Так вот вместе с ним мы подготовили мне список книг про сознание.
Делюсь с вами. Просто начинайте с первой книги и идите через дебри сложных концепций к последней.
🔬Современные научные теории:
1. Anil Seth "Being You" (2021) - революционный взгляд на сознание как "контролируемую галлюцинацию", где наш мозг активно конструирует реальность и чувство себя через постоянное предсказание сенсорного опыта.
2. Michael Graziano "Rethinking Consciousness" (2019) - теория о том, как мозг создает модель собственного внимания, порождая то, что мы называем сознательным опытом, с важными выводами для создания искусственного сознания.
3. Giulio Tononi "Phi" (2012) - амбициозная попытка математически определить сознание через интеграцию информации в мозге, предлагающая конкретные методы измерения уровня сознания у любой системы.
4. Christof Koch "Then I Am Myself the World" (2024) - современное развитие теории интегрированной информации с фокусом на причинную силу сознания и его измерение в естественных и искусственных системах
5. Andy Clark "Surfing Uncertainty" (2015) - глубокое исследование того, как мозг постоянно строит вероятностные модели мира для минимизации неопределенности, связывающее восприятие, действие и сознание.
6. Karl Friston "Active Inference" (2022) - фундаментальная математическая теория о том, как мозг минимизирует ошибки предсказания через активное взаимодействие с миром, объединяющая восприятие, обучение и действие.
7. Bernard Baars "A Cognitive Theory of Consciousness" (1988) - оригинальная теория глобального рабочего пространства
📚Философские основания:
1. David Chalmers "The Conscious Mind" (1996) - классическая работа, формулирующая "трудную проблему сознания" и показывающая, почему субъективный опыт не может быть полностью объяснен физическими процессами.
2. Daniel Dennett "Consciousness Explained" (1991) - радикальный взгляд на сознание как на полезную иллюзию, возникающую из параллельной работы множества несознательных процессов в мозге.
3. Douglas Hofstadter "I Am a Strange Loop" (2007) - элегантная теория о том, как сознание и самосознание возникают из способности мозга создавать самореферентные петли обратной связи.
p.s. если тут есть неточности, то напишите в комменты - исправим. Также пишите, если мы что-то очень важное упустили.
Forwarded from Artem Yashin
Здравствуйте, по поводу сознания:
Начну с некоторых дисклеймеров, мне кажется, они важны для работы с литературой по теме. Во-первых, проблематика, связанная с сознанием - это подавляюще философская проблематика, а проблематика является философской тогда, когда складывается из набора больших и общих проблем, которые непонятно как решать. Нет консенсуса относительно того, как изучать сознание, и что это вообще такое. В итоге разбирательство с сознанием - это не разговор об уточняющем переднем крае, наслаивающемся на хорошо протестированное, а разговор о том, кто чего понаписал, и почему одни люди считают, что другие в корне не правы.
Во-вторых, стоит сказать, что в философии дискуссии смещаются медленнее, чем у эмпириков, поэтому искать совсем новые материалы (последних 5 или 10 лет) там большого смысла нет. Обзоры эмпирических теорий сознания искать стоит просто из-за смены материала (возражения одни и те же). Чалмерс в The Conscious Mind дает хороший обзор набора позиций в дискуссии о феноменальном сознании, и он до сих пор полезен. Наверное, исключением будет сознание ИИ и животных.
В-третьих, я аккуратно не советую читать книги (именно книги) эмпириков о сознании. Деан/Грациано/Хамфри/Тонони/Кох и прочие им подобные люди философские книжки пишут специфически: они уходят в немного не те вопросы. Если у них есть статьи на тему, лучше читать статьи, а если статей по сознанию у кого-то нет, но он написал книжку, то странный он человек.
В-третьих, есть два подхода: можно 1) прочитать набор книжек, где каждый автор сформулировал свою позицию; или 2) ориентироваться на что-то более обзорное. Чтение кучи книжек с разными позициями - занятие серьезное, nobody ain't got no time for that, поэтому я сконцентрируюсь на 2). Ну, и найти центральную книжку каждого автора в целом можно через того же клода или чат.
Я бы посоветовал следующее (как книги, так и статьи):
https://plato.stanford.edu/entries/consciousness/ - статьи в Стенфордской энциклопедии философии (статьи Consciousness, Qualia, Zombie, Representational Theories of Consciousness и прочие). Энциклопедия очень хорошая, философы ей постоянно пользуются сами (и ее же пишут). Собственно, вместо более классических книжек Чалмерса, Деннета, Серла, Черчлендов, Суинберна и других авторов "первого калибра" для погружения можно читать энциклопедию - так как главных авторов читал много кто, материал хорошо разжеван
Seth, A. K., & Bayne, T. (2022). Theories of consciousness. Nature Reviews Neuroscience, 23(7), 439-452.
- большой обзор теорий сознания, он недавний, думаю, много кто видел. Про эмпирические теории сознания можно прочитать обзор или два, картина выстраивается вполне ясная
Block, N. (1995). On a confusion about a function of consciousness. Behavioral and brain sciences, 18(2), 227-247.
- наверное, центральная статья в дискуссии о функциях сознания. Для эмпирических людей (по-моему) обязательна к прочтению либо она, либо Mental paint and mental latex, либо еще что-то из Блока на эту тему
Bayne, T. (2012). The unity of consciousness. Oxford University Press.
- о проблеме единства сознания. Часто фокус в дискуссии смещен на узкие примеры осознанных состояний, здесь именно о том, как возможно единое сознание
Frankish, K. (2016). Illusionism as a theory of consciousness. Journal of Consciousness Studies, 23(11-12), 11-39.
- здесь изложена, скорее, позиция, но для понимания критики феноменального сознания стоит прочитать что-то более современное. Сюда же отнесу:
Chalmers, D. (2020). Debunking arguments for illusionism about consciousness. Journal of Consciousness Studies, 27(5-6), 258-281.
Shea, N. (2012). Methodological encounters with the phenomenal kind. Philosophy and phenomenological research, 84(2), 307.
- есть еще пара статей на эту тему, но мне кажется методологически важным взглянуть на natural-kind approach к сознанию
Birch, J. (2024). The edge of sentience: risk and precaution in humans, other animals, and AI.
- про сознание животных и ИИ
Если есть вопросы, обращайтесь. Правда, я не эксперт по сознанию, скажем, курсы про него полноценные не читаю
Начну с некоторых дисклеймеров, мне кажется, они важны для работы с литературой по теме. Во-первых, проблематика, связанная с сознанием - это подавляюще философская проблематика, а проблематика является философской тогда, когда складывается из набора больших и общих проблем, которые непонятно как решать. Нет консенсуса относительно того, как изучать сознание, и что это вообще такое. В итоге разбирательство с сознанием - это не разговор об уточняющем переднем крае, наслаивающемся на хорошо протестированное, а разговор о том, кто чего понаписал, и почему одни люди считают, что другие в корне не правы.
Во-вторых, стоит сказать, что в философии дискуссии смещаются медленнее, чем у эмпириков, поэтому искать совсем новые материалы (последних 5 или 10 лет) там большого смысла нет. Обзоры эмпирических теорий сознания искать стоит просто из-за смены материала (возражения одни и те же). Чалмерс в The Conscious Mind дает хороший обзор набора позиций в дискуссии о феноменальном сознании, и он до сих пор полезен. Наверное, исключением будет сознание ИИ и животных.
В-третьих, я аккуратно не советую читать книги (именно книги) эмпириков о сознании. Деан/Грациано/Хамфри/Тонони/Кох и прочие им подобные люди философские книжки пишут специфически: они уходят в немного не те вопросы. Если у них есть статьи на тему, лучше читать статьи, а если статей по сознанию у кого-то нет, но он написал книжку, то странный он человек.
В-третьих, есть два подхода: можно 1) прочитать набор книжек, где каждый автор сформулировал свою позицию; или 2) ориентироваться на что-то более обзорное. Чтение кучи книжек с разными позициями - занятие серьезное, nobody ain't got no time for that, поэтому я сконцентрируюсь на 2). Ну, и найти центральную книжку каждого автора в целом можно через того же клода или чат.
Я бы посоветовал следующее (как книги, так и статьи):
https://plato.stanford.edu/entries/consciousness/ - статьи в Стенфордской энциклопедии философии (статьи Consciousness, Qualia, Zombie, Representational Theories of Consciousness и прочие). Энциклопедия очень хорошая, философы ей постоянно пользуются сами (и ее же пишут). Собственно, вместо более классических книжек Чалмерса, Деннета, Серла, Черчлендов, Суинберна и других авторов "первого калибра" для погружения можно читать энциклопедию - так как главных авторов читал много кто, материал хорошо разжеван
Seth, A. K., & Bayne, T. (2022). Theories of consciousness. Nature Reviews Neuroscience, 23(7), 439-452.
- большой обзор теорий сознания, он недавний, думаю, много кто видел. Про эмпирические теории сознания можно прочитать обзор или два, картина выстраивается вполне ясная
Block, N. (1995). On a confusion about a function of consciousness. Behavioral and brain sciences, 18(2), 227-247.
- наверное, центральная статья в дискуссии о функциях сознания. Для эмпирических людей (по-моему) обязательна к прочтению либо она, либо Mental paint and mental latex, либо еще что-то из Блока на эту тему
Bayne, T. (2012). The unity of consciousness. Oxford University Press.
- о проблеме единства сознания. Часто фокус в дискуссии смещен на узкие примеры осознанных состояний, здесь именно о том, как возможно единое сознание
Frankish, K. (2016). Illusionism as a theory of consciousness. Journal of Consciousness Studies, 23(11-12), 11-39.
- здесь изложена, скорее, позиция, но для понимания критики феноменального сознания стоит прочитать что-то более современное. Сюда же отнесу:
Chalmers, D. (2020). Debunking arguments for illusionism about consciousness. Journal of Consciousness Studies, 27(5-6), 258-281.
Shea, N. (2012). Methodological encounters with the phenomenal kind. Philosophy and phenomenological research, 84(2), 307.
- есть еще пара статей на эту тему, но мне кажется методологически важным взглянуть на natural-kind approach к сознанию
Birch, J. (2024). The edge of sentience: risk and precaution in humans, other animals, and AI.
- про сознание животных и ИИ
Если есть вопросы, обращайтесь. Правда, я не эксперт по сознанию, скажем, курсы про него полноценные не читаю
Нас 1000!
Приятно, что читаете! ❤️
Скоро расскажем про наши исследования!
Приятно, что читаете! ❤️
Скоро расскажем про наши исследования!
Forwarded from LIFT feed
Впервые картировали мозг пациентов с помощью ЭКоГ высокого разрешения (0.4 мм), моторные и речевые зоны, интраоперационно. Precision Neuroscience, наконец, полноценно испытали свой тонкопленочный массив, который вмещает 1024 микроэлектрода на площади 1.5 см2 и может быть заведен через узкую щель в черепе. — Ранее мы неоднократно сообщали об их разработке (напр., здесь или здесь).
#tech | #prosthesis | #readout | #brain
#tech | #prosthesis | #readout | #brain
iopscience.iop.org
First-in-human experience performing high-resolution cortical mapping using a novel microelectrode array containing 1,024 electrodes…
First-in-human experience performing high-resolution cortical mapping using a novel microelectrode array containing 1,024 electrodes, Konrad, Peter E, Gelman, Kate R, Lawrence, Jesse, Bhatia, Sanjay, Dister, Jacqueline, Sharma, Radhey, Ho, Elton, Byun, Yoon…
Новый нейротех стартап в US
Edward Chang основал компанию Echo Neurotechnologies и недавно привлек 50М для создание речевых(и не только) нейроинтерфесов
Edward долгое время возглавлял научную лабу в UCSF. Они много и упорно работали над речевыми имплантами(чтобы люди которые не могут говорить - смогли).
Обязательно посмотрите его научные работы - это мощь! Сейчас их главная цель - превратить научные достижения в продукт.
Ссылка на лабораторию: https://changlab.ucsf.edu/
Дополнительная информация
Чтобы никто не забыл, приведу список компаний, которые на слуху и занимаются инвазивными штуками(уже крутые).
US : precision, science, neuralink, synchron.
EU: onward, inbrain.
В России тоже подобным занимаются (не так здорово, но уверенно и стремительно).
RU: neiry и пифия , сенсор тех и зрение, motorica и тактильность.
Ещё кое-что добавлю по поводу русских компаний - деньги не те. То есть в Америке и даже в Европе у стартапа намного больше ресурсов.
Сама новость: https://www.techinasia.com/news/andreessen-horowitz-backs-50m-brain-tech-startup
Edward Chang основал компанию Echo Neurotechnologies и недавно привлек 50М для создание речевых(и не только) нейроинтерфесов
Edward долгое время возглавлял научную лабу в UCSF. Они много и упорно работали над речевыми имплантами(чтобы люди которые не могут говорить - смогли).
Обязательно посмотрите его научные работы - это мощь! Сейчас их главная цель - превратить научные достижения в продукт.
Ссылка на лабораторию: https://changlab.ucsf.edu/
Дополнительная информация
Чтобы никто не забыл, приведу список компаний, которые на слуху и занимаются инвазивными штуками(уже крутые).
US : precision, science, neuralink, synchron.
EU: onward, inbrain.
В России тоже подобным занимаются (не так здорово, но уверенно и стремительно).
RU: neiry и пифия , сенсор тех и зрение, motorica и тактильность.
Ещё кое-что добавлю по поводу русских компаний - деньги не те. То есть в Америке и даже в Европе у стартапа намного больше ресурсов.
Сама новость: https://www.techinasia.com/news/andreessen-horowitz-backs-50m-brain-tech-startup
Интересная статья про роботов!
Ребята из @rizzearch кстати делают классные обзоры про RL, Transformer. Сам их читаю, так что посмотрите)
Ребята из @rizzearch кстати делают классные обзоры про RL, Transformer. Сам их читаю, так что посмотрите)