В канале теперь работает функция личных сообщений админу каналу то есть мне , так что если у вас есть какие-либо вопросы/предложения, которые вы хотите задать не в комментариях, а в личных сообщениях - welcome
p.s. работает только на последней версии телеграма, на телефоне у меня апдейт уже появился, а на ПК еще не завезли😑
p.s. работает только на последней версии телеграма, на телефоне у меня апдейт уже появился, а на ПК еще не завезли
Please open Telegram to view this post
VIEW IN TELEGRAM
А чтобы не скучали, вот вам пейпер на 40 страниц с исчерпывающим обзором современных подходов к проектированию систолических массивов.
A Survey of Design and Optimization for Systolic Array-based DNN Accelerators
A Survey of Design and Optimization for Systolic Array-based DNN Accelerators
Если всё ещё не поняли, что такое чиплеты, почему о них все говорят и зачем они нужны, — вот классная статья на эту тему👀
Chiplets and the Future of System Design
Chiplets and the Future of System Design
Please open Telegram to view this post
VIEW IN TELEGRAM
Chipstrat
Chiplets and the Future of System Design
How chiplets keep integration scaling alive. Benefits, trade-offs, and the need for open standards.
Пока в интернете обсуждают WWDC25 и Liquid Glass, напоминаю как выглядят EDA тулы у проектировщиков процессоров в 2025-м году
Эту недельку придется потерпеть вам душные посты про матрицы, флоты, dot product и fma.
Но обещаю потом все лето не душнить про computer arithmetic (нет🗿)
Но обещаю потом все лето не душнить про computer arithmetic
Одна из задач при проектировании нейроускорителя — реализация вычислительного тракта для операций с плавающей точкой. Классический скалярный 4–5 стадийный FMA здесь не подходит: требуется параллельное перемножение большого количества пар операндов с последующим сложением в общий аккумулятор.
Для этого применяется техника поздней нормализации и перевода чисел с плавающей точкой в fixed-point представление, что позволяет выполнять точное накопление без промежуточного округления.
В этом посте найдете ссылки на статьи, подробно раскрывающие, как и почему NPU отклоняются от стандарта IEEE-754, как обрабатываются NaN и бесконечности, и как определяется ширина fixed-point представления для различных форматов чисел с плавающей точкой.
1. Exact Dot Product Accumulate Operators
for 8-bit Floating-Point Deep Learning
2. Experimental Analysis of Matrix Multiplication Functional Units
3. Modified Fused Multiply and Add for exact low precision product accumulation
Для этого применяется техника поздней нормализации и перевода чисел с плавающей точкой в fixed-point представление, что позволяет выполнять точное накопление без промежуточного округления.
В этом посте найдете ссылки на статьи, подробно раскрывающие, как и почему NPU отклоняются от стандарта IEEE-754, как обрабатываются NaN и бесконечности, и как определяется ширина fixed-point представления для различных форматов чисел с плавающей точкой.
1. Exact Dot Product Accumulate Operators
for 8-bit Floating-Point Deep Learning
2. Experimental Analysis of Matrix Multiplication Functional Units
3. Modified Fused Multiply and Add for exact low precision product accumulation
MXDOTP: A RISC-V ISA Extension for Enabling Microscaling (MX) Floating-Point Dot Products
В этой статье представлена реализация dot product с аппаратной поддержкой формата Microscaling (MX) — нового стандартизованного формата, сочетающего простоту реализации для 8-битных чисел и расширенный динамический диапазон благодаря использованию scale-факторов (общих экспонент для блоков элементов, не путать с блочными флотами! ).
MXDOTP — это расширение ISA для RISC-V, интегрированное в ядро Snitch. Оно позволяет выполнять dot product между двумя 8-элементными FP8-векторами с накоплением в FP32 и применением двух независимых scale-факторов. Для обхода ограничения на количество портов чтения регистрового файла используется механизм Stream Semantic Registers (SSR), что позволяет эффективно подавать четыре операнда за такт. SSR — особенность ядра Snitch, позволяющая передавать потоковые данные напрямую в вычислительные блоки без участия регистрового файла и LSU. Это компромисс между дополнительной сложностью в программной поддержке и выигрышем в доступности данных при минимальной площади.
Исходный код MXDOTP доступен на GitHub репозитории проекта.
Эмуляцию формата MX можно выполнить с помощью MX PyTorch Emulation Library от Microsoft.
Подробнее с форматом можно ознакомиться в спецификации формата или в обзорной статье Николаса Бруни.
p.s. Очень здорово оформлена самая статья. Работа выполнена в рамках европейского проекта NeuroSoC, финансируемого по линии Horizon Europe (Grant Agreement №101070634). По ссылке можно изучить детали проекта: участников, цели, бюджеты, отчётность, документацию и сроки:
https://cordis.europa.eu/project/id/101070634
В этой статье представлена реализация dot product с аппаратной поддержкой формата Microscaling (MX) — нового стандартизованного формата, сочетающего простоту реализации для 8-битных чисел и расширенный динамический диапазон благодаря использованию scale-факторов (общих экспонент для блоков элементов
MXDOTP — это расширение ISA для RISC-V, интегрированное в ядро Snitch. Оно позволяет выполнять dot product между двумя 8-элементными FP8-векторами с накоплением в FP32 и применением двух независимых scale-факторов. Для обхода ограничения на количество портов чтения регистрового файла используется механизм Stream Semantic Registers (SSR), что позволяет эффективно подавать четыре операнда за такт. SSR — особенность ядра Snitch, позволяющая передавать потоковые данные напрямую в вычислительные блоки без участия регистрового файла и LSU. Это компромисс между дополнительной сложностью в программной поддержке и выигрышем в доступности данных при минимальной площади.
Исходный код MXDOTP доступен на GitHub репозитории проекта.
Эмуляцию формата MX можно выполнить с помощью MX PyTorch Emulation Library от Microsoft.
Подробнее с форматом можно ознакомиться в спецификации формата или в обзорной статье Николаса Бруни.
p.s. Очень здорово оформлена самая статья. Работа выполнена в рамках европейского проекта NeuroSoC, финансируемого по линии Horizon Europe (Grant Agreement №101070634). По ссылке можно изучить детали проекта: участников, цели, бюджеты, отчётность, документацию и сроки:
https://cordis.europa.eu/project/id/101070634
Смотрите, что мне принесла лента LinkedIn.
Книга посвящена изучению процесса проектирования интегральных схем с использованием open-source инструментов OpenLane и Caravel. В ней описывается полный путь от уровня Register Transfer Level (RTL) до финального представления чипа в формате GDSII.
Книга(судя по описанию и оглавлению) объясняет весь процесс tape-out, делая его понятным и доступным для студентов, исследователей и инженеров.
Ссылка на книгу
Книга посвящена изучению процесса проектирования интегральных схем с использованием open-source инструментов OpenLane и Caravel. В ней описывается полный путь от уровня Register Transfer Level (RTL) до финального представления чипа в формате GDSII.
Книга
Ссылка на книгу
Please open Telegram to view this post
VIEW IN TELEGRAM
Вышла новая книга по архитектуре процессорных систем от моих друзей и коллег из МИЭТ и BSC, которых вы можете знать по YouTube-каналу digital_machines и одноимённому курсу на GitHub!
Это пособие идеально подойдет тем, кто хочет освоить полный стек проектирования процессорных систем, включая аппаратную и программную составляющие.
Книга: «Архитектуры процессорных систем. Практический курс» (ISBN: 978-5-94836-714-9).
Это пособие идеально подойдет тем, кто хочет освоить полный стек проектирования процессорных систем, включая аппаратную и программную составляющие.
Книга: «Архитектуры процессорных систем. Практический курс» (ISBN: 978-5-94836-714-9).
AI Startup Esperanto Winds Down Silicon Business
Стартап Esperanto, разработчик энергоэффективных чипов на базе RISC-V для дата-центров, начал процесс закрытия бизнеса, сообщает EE Times. Компания уже свернула европейские подразделения, включая крупную команду в Испании, и сократила 90% штата в штаб-квартире в Калифорнии. Основатель и CEO Арт Свифт сообщил, что команда столкнулась с агрессивным переманиванием сотрудников - технологические гиганты предлагали зарплаты в 2–4 раза выше, чем могла позволить себе небольшая компания, что фактически «уничтожило» инженерный коллектив.
Помимо кадровых потерь, Esperanto столкнулась с техническими трудностями. Компания сделала ставку на кастомные векторные расширения RISC-V(первый чип был выпущен до ратификации векторного расширения и это было вынужденной альтернативой) , отступив от стандарта, что осложнило портирование и поддержку ПО - особенно с учётом сложности масштабируемой архитектуры на 1000 ядер. Несмотря на успешный запуск чипа, способного запускать LLM-модели до 13B при потреблении около 25 Вт, интерес рынка оказался ограниченным: заказчиков мало волновала энергоэффективность.
За инженеров команды Esperanto можно не переживать - в LinkedIn постоянно появляются новости об их переходе в другие компании: как в новые стартапы и дизайн-центры с фокусом на RISC-V, так и в индустриальных гигантов вроде Tesla.
Ознакомиться с продуктом и архитектурной концепцией чипа от Esperanto можно в докладе основателя компании Дейва Дитцела:
https://riscv.epcc.ed.ac.uk/assets/files/sc24/Ditzel.pdf
Стартап Esperanto, разработчик энергоэффективных чипов на базе RISC-V для дата-центров, начал процесс закрытия бизнеса, сообщает EE Times. Компания уже свернула европейские подразделения, включая крупную команду в Испании, и сократила 90% штата в штаб-квартире в Калифорнии. Основатель и CEO Арт Свифт сообщил, что команда столкнулась с агрессивным переманиванием сотрудников - технологические гиганты предлагали зарплаты в 2–4 раза выше, чем могла позволить себе небольшая компания, что фактически «уничтожило» инженерный коллектив.
Помимо кадровых потерь, Esperanto столкнулась с техническими трудностями. Компания сделала ставку на кастомные векторные расширения RISC-V
За инженеров команды Esperanto можно не переживать - в LinkedIn постоянно появляются новости об их переходе в другие компании: как в новые стартапы и дизайн-центры с фокусом на RISC-V, так и в индустриальных гигантов вроде Tesla.
Ознакомиться с продуктом и архитектурной концепцией чипа от Esperanto можно в докладе основателя компании Дейва Дитцела:
https://riscv.epcc.ed.ac.uk/assets/files/sc24/Ditzel.pdf
EE Times
AI Startup Esperanto Winds Down Silicon Business
The data center AI chip startup Esperanto has closed European subsidiaries and is looking for a buyer for its technology
Классный материал по ко-симуляции процессорного ядра с программной моделью Spike.
Типовая задача для любого дизайн-центра, занимающегося разработкой RISC-V IP-ядер.
Большое спасибо Сергею за проделанную работу и вклад в развитие открытых образовательных материалов!
Типовая задача для любого дизайн-центра, занимающегося разработкой RISC-V IP-ядер.
Большое спасибо Сергею за проделанную работу и вклад в развитие открытых образовательных материалов!
Telegram
VFA (Verification For All)
Просто и понятно о верификации цифровых устройств.
Forwarded from VFA (Verification For All)
⚡️Новое уникальное занятие по верификации RISC-V⚡️
Доброго времени суток, дорогие единомышленники!
⌨️ В июне 2024 года я создал курс по функциональной верификации RISC-V ядер, которому, по моему мнению, в настоящее время не существует аналогов в открытом доступе. Существующие материалы разрозненны, а русскоязычные просто отсутствуют.
⌨️ Сегодня я завершил работу над массивным обновлением, добавляющим в курс новое практическое занятие. Оно посвящено индустриальному Step-and-Compare подходу к верификации процессорных ядер. Данный подход является одним из основных в индустрии.
⚡️Занятие 3: Синхронное сравнение с эталонной моделью⚡️
⌨️ Также прикрепляю ссылки на несколько тесно связанных с темой докладов [1][2][3] (PDF в комментариях ). Интересно то, что они были представлены компанией ImperasDV, лидером в сфере верификации RISC-V. Не так давно компания продолжила свой путь, став частью Synopsys.
⌨️ Замечу, что о Step-and-Compare я рассказывал на выступлении в рамках конференции FPGA Systems 2024.2 [YouTube][VK]. Обещал, что скоро в моем курсе появится соответствующее практическое занятие. Слово сдержал. Продолжаем движение дальше!
📈 Вас, дорогие читатели, уже более 1000 человек в канале! Сделал первый пост в канале навигационным, а также закрепил его. Для связанных одной темой постов создал теги. Спасибо вам за доверие и уделяемое время!
➖ ➖ ➖
#riscv_fv
Доброго времени суток, дорогие единомышленники!
⚡️Занятие 3: Синхронное сравнение с эталонной моделью⚡️
📈 Вас, дорогие читатели, уже более 1000 человек в канале! Сделал первый пост в канале навигационным, а также закрепил его. Для связанных одной темой постов создал теги. Спасибо вам за доверие и уделяемое время!
#riscv_fv
Please open Telegram to view this post
VIEW IN TELEGRAM
Дивный новый мир, наконец-то 👀
Из забавного почему-то эти вставки видны в html версии статьи, на архиве, но в pdf через ctrl+f не ищется.
Из забавного почему-то эти вставки видны в html версии статьи, на архиве, но в pdf через ctrl+f не ищется.
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM