rosidpcpp - оптимизация сборки интерфейсных пакетов
В ROS 2 сборка интерфейсов работает довольно медленно и пакеты с большим количеством сообщений могут компилироваться очень много времени (например, на машине с AMD Ryzen 9 9900X 12-Core (24 threads) с 32 Гб ОЗУ ublox-msgs собирается 72 сек., px4-msgs - 42 сек.). Это происходит в связи с тем, что скрипты вроде rosidl generator или rosidl typesupport не оптимизированы для многопоточного исполнения. Другая проблема заключается в том, что изменение даже одного idl-файла запускает пересборку всего пакета, что в сочетании с долгой сборкой усложняет разработку. Автор
Github
#ros #ci #idl
В ROS 2 сборка интерфейсов работает довольно медленно и пакеты с большим количеством сообщений могут компилироваться очень много времени (например, на машине с AMD Ryzen 9 9900X 12-Core (24 threads) с 32 Гб ОЗУ ublox-msgs собирается 72 сек., px4-msgs - 42 сек.). Это происходит в связи с тем, что скрипты вроде rosidl generator или rosidl typesupport не оптимизированы для многопоточного исполнения. Другая проблема заключается в том, что изменение даже одного idl-файла запускает пересборку всего пакета, что в сочетании с долгой сборкой усложняет разработку. Автор
rosidlcpp ставит целью переписать стоковый Python-пакет rosidl на C++ для оптимизации времени исполнения скриптов сборки. Даже без использования многопоточности он даёт значительное ускорение - она работает в среднем в 3-15 раз быстрее. Если в вашем проекте большая и регулярно пополняемая коллекция интерфейсов в одном пакете, то имеет смысл следить за данным проектом.Github
#ros #ci #idl
GitHub
GitHub - TonyWelte/rosidlcpp
Contribute to TonyWelte/rosidlcpp development by creating an account on GitHub.
👍5
Media is too big
VIEW IN TELEGRAM
Как выглядит промышленное производство BLDC-приводов в Китае, подробная экскурсия. В общем, всё стандартно, но некоторые ньюансы интересны. В частности, для намотки катушек некоторых моделей движков не применяются намоточные станки, а рабочий мотает вручную, причём пучком из нескольких проводов - посмотрите на 11 минуте как это происходит.
#factory #bldc #video
#factory #bldc #video
👍10🙏2
IsaacSim 5.0.0
Кто не знал, в начале лета Nvidia заопенсорсили свой симулятор IsaacSim - см. https://github.com/isaac-sim/IsaacSim.
Публикация была произведена под вывеской PRE-RELEASE SOFTWARE NOTICE, честно предупреждая пользователей о наличии потенциальных багов, ошибок и непредсказуемого поведения. Однако, несколько дней назад в репозитории появился и первый релиз 5.0.0, что позволяет судить о степени готовности.
Движок обеспечивает эффективное использование графических ускорителей в задачах рендеринга (Multi-Sensor RTX) и физики (PhysX). Поддерживаются форматы URDF, MJCF, а также импорт из CAD. Всё это в дальнейшем преобразуется в USD, который является нативным форматом NVidia Omniverse и, соответственно, IsaacSim. Интеграция с ROS в наличии.
Для комфортного применения симулятора разработчикам придётся обзавестись хорошей рабочей станцией с GPU не слабее RTX 4080. Поддерживаются ОС Windows 10/11 и Ubuntu 22.04.
#nvidia #isaacsim #opensource
Кто не знал, в начале лета Nvidia заопенсорсили свой симулятор IsaacSim - см. https://github.com/isaac-sim/IsaacSim.
Публикация была произведена под вывеской PRE-RELEASE SOFTWARE NOTICE, честно предупреждая пользователей о наличии потенциальных багов, ошибок и непредсказуемого поведения. Однако, несколько дней назад в репозитории появился и первый релиз 5.0.0, что позволяет судить о степени готовности.
Движок обеспечивает эффективное использование графических ускорителей в задачах рендеринга (Multi-Sensor RTX) и физики (PhysX). Поддерживаются форматы URDF, MJCF, а также импорт из CAD. Всё это в дальнейшем преобразуется в USD, который является нативным форматом NVidia Omniverse и, соответственно, IsaacSim. Интеграция с ROS в наличии.
Для комфортного применения симулятора разработчикам придётся обзавестись хорошей рабочей станцией с GPU не слабее RTX 4080. Поддерживаются ОС Windows 10/11 и Ubuntu 22.04.
#nvidia #isaacsim #opensource
👍12
Российский Open Source Robotics в лицах
На прошлой неделе лично познакомился с компанией Братья Вольт. Уникальная компания, которая, подобно нам, действует на стыке Open Source и Robotics, постоянно обогащая свою копилку открытых репозиториев на Github.
Братья Вольт работают в сфере образовательной робототехники - подвижные платформы, робособачки, собственный манипулятор на шаговиках. Командой Братьев разработана линейка довольно качественных аппаратных модулей VBCores (docs). В основе линейки - SOM-модуль собственной разработки на базе STM32G474 с дополнительной периферией: CAN-FD приёмопередатчиком MCP2542FD, DC-DC преобразователем TPS54160, позволяющим работать от сети напряжением 6-50В, удобным разъёмом под программатор. Модуль входит в состав плат управления двигателями (Stepper, DC, BLDC), а также в умный контроллер автономного питания PowerBoard. Ну и полно всякой другой всячины для разработчиков: программаторы, интерфейсные платы для Raspberry Pi и т.д.
Для многих модулей опубликованы прошивки на Github:
- Собственная реализация векторного управления (field oriented control) для контроллера BLDC-двигателя с внешним управлением по UART/CAN-FD
- Прошивка для адаптера Ethernet-CAN-FD
- Большое количество примеров использования платформы VBCoreG4 arduino system для разных сценариев: управление BLDC, шаговыми двигателями; работа с энкодерами, протоколами CAN/CAN-FD/Cyphal/ROS.
Если Вы в процессе поиска аппаратных компонентов для робота, то рекомендую присмотреться к модулям Братьев Вольт, которые можно смело позиционировать как отечественную альтернативу mjbots. На сайте у них сейчас многие ссылки не работают, поэтому пишите пока запросы на [email protected]. Это не реклама. Open Source - довольно редкое явление для России, а Open Source Robotics вдвойне редкое. Будем помогать друг другу.
Из интересного в публичном доступе я также бы отметил проекты с использованием легковесного pubsub протокола поверх CAN/Ethernet OpenCyphal (ex UAVCAN), про который я уже много писал. К ним относятся:
- C++ обёртка над оригинальной реализацией libcanard
- Мосты ROS-Cyphal, которые предусматривают декларативное описание интерфейсов (топики, типы сообщений) в конфигурационном JSON файле с последующей кодогенерацией обработчиков сообщений. Есть версии для ROS 1 и ROS 2.
#russia #open #robotics
На прошлой неделе лично познакомился с компанией Братья Вольт. Уникальная компания, которая, подобно нам, действует на стыке Open Source и Robotics, постоянно обогащая свою копилку открытых репозиториев на Github.
Братья Вольт работают в сфере образовательной робототехники - подвижные платформы, робособачки, собственный манипулятор на шаговиках. Командой Братьев разработана линейка довольно качественных аппаратных модулей VBCores (docs). В основе линейки - SOM-модуль собственной разработки на базе STM32G474 с дополнительной периферией: CAN-FD приёмопередатчиком MCP2542FD, DC-DC преобразователем TPS54160, позволяющим работать от сети напряжением 6-50В, удобным разъёмом под программатор. Модуль входит в состав плат управления двигателями (Stepper, DC, BLDC), а также в умный контроллер автономного питания PowerBoard. Ну и полно всякой другой всячины для разработчиков: программаторы, интерфейсные платы для Raspberry Pi и т.д.
Для многих модулей опубликованы прошивки на Github:
- Собственная реализация векторного управления (field oriented control) для контроллера BLDC-двигателя с внешним управлением по UART/CAN-FD
- Прошивка для адаптера Ethernet-CAN-FD
- Большое количество примеров использования платформы VBCoreG4 arduino system для разных сценариев: управление BLDC, шаговыми двигателями; работа с энкодерами, протоколами CAN/CAN-FD/Cyphal/ROS.
Если Вы в процессе поиска аппаратных компонентов для робота, то рекомендую присмотреться к модулям Братьев Вольт, которые можно смело позиционировать как отечественную альтернативу mjbots. На сайте у них сейчас многие ссылки не работают, поэтому пишите пока запросы на [email protected]. Это не реклама. Open Source - довольно редкое явление для России, а Open Source Robotics вдвойне редкое. Будем помогать друг другу.
Из интересного в публичном доступе я также бы отметил проекты с использованием легковесного pubsub протокола поверх CAN/Ethernet OpenCyphal (ex UAVCAN), про который я уже много писал. К ним относятся:
- C++ обёртка над оригинальной реализацией libcanard
- Мосты ROS-Cyphal, которые предусматривают декларативное описание интерфейсов (топики, типы сообщений) в конфигурационном JSON файле с последующей кодогенерацией обработчиков сообщений. Есть версии для ROS 1 и ROS 2.
#russia #open #robotics
👍16
Кооперативная робототехника
Выступил как приглашённый спикер на конференции CoopDays IV. Конфереция не совсем профильная для нас - большая часть докладов посвящена тематикам ИТ, Кибербезопасности, Кооперации и Самоуправления в организациях. Однако, в своём докладе я попытался продемонстрировать, что всё выше перечисленное вполне сопрягается с современной робототехникой и может быть у нас применено, чем отчасти и заняты мы в Robossembler, когда используем CI/CD для генерации файлов призводства печатных плат, Nix для сборки ROS-пакетов, или публикуем чертежи и исходные коды, автоматически кооперируясь со всем миром.
Очень симпатизирует идея вовлечения всех сотрудников в процесс управления компанией. Увы, когда мы открывали три года назад юрлицо для получения гранта, не было времени оформлять предприятие как кооператив. Вполне возможно, что мы к этому придём позже.
На мероприятии повидался с многими старыми знакомыми, а также завёл новых - например, участника молодой команды студентов-робототехников из Бауманки. Собственно, после знакомства родилась идея о создании кооператива в сфере робототехники. К слову, чат комментариев к этому каналу носит гордое название Кооперативная робототехника. Если интересна тема, подключайтесь!
Хочу выразить благодарность организаторам конференции - коллективу кооператива RAD COP!
#event #radcop
Выступил как приглашённый спикер на конференции CoopDays IV. Конфереция не совсем профильная для нас - большая часть докладов посвящена тематикам ИТ, Кибербезопасности, Кооперации и Самоуправления в организациях. Однако, в своём докладе я попытался продемонстрировать, что всё выше перечисленное вполне сопрягается с современной робототехникой и может быть у нас применено, чем отчасти и заняты мы в Robossembler, когда используем CI/CD для генерации файлов призводства печатных плат, Nix для сборки ROS-пакетов, или публикуем чертежи и исходные коды, автоматически кооперируясь со всем миром.
Очень симпатизирует идея вовлечения всех сотрудников в процесс управления компанией. Увы, когда мы открывали три года назад юрлицо для получения гранта, не было времени оформлять предприятие как кооператив. Вполне возможно, что мы к этому придём позже.
На мероприятии повидался с многими старыми знакомыми, а также завёл новых - например, участника молодой команды студентов-робототехников из Бауманки. Собственно, после знакомства родилась идея о создании кооператива в сфере робототехники. К слову, чат комментариев к этому каналу носит гордое название Кооперативная робототехника. Если интересна тема, подключайтесь!
Хочу выразить благодарность организаторам конференции - коллективу кооператива RAD COP!
#event #radcop
👍13🙏1
Forwarded from НАУРР. Роботизация и роботы
Нетворкинг-событие в неформальной, располагающей атмосфере — без галстуков и в дружеском формате.
В программе:
Приходите с детьми!
Для них будет специальная развлекательная программа от Робостанции ВДНХ - мастер-классы, квест, общение с роботами и многое другое.
Приходите с роботами!
Если вы хотите показать свои инновационные разработки и продукты партнерам и инвесторам, привозите роботов. Мы сделаем для них специальное демонстрационное пространство на выставке.
Условия участия:
Регистрация и оплата через TimePad.
Для участников НАУРР – специальные условия по предварительной регистрации.
+7 964 638 07 72 (WhatsApp, Telegram) – Ярослав
[email protected]
+7 925 753 66 15 (WhatsApp, Telegram) – Анна
+7 903 647 43 16 (WhatsApp, Telegram)
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4👎2🙏2
ROS 2 Robotic Systems Threat Model
Когда готовился к CoopDays, достал из чердака давнюю статью, посвящённую модели безопасности роботов - ROS 2 Robotic Systems Threat Model. Методология рассмотрения угроз применима для любых роботизированных систем с компонентной/микросервисной архитектурой, не привязанные конкретно к ROS. В ней рассматриваются не только классические IT-сущности (данные, доступ), но и физические последствия атак: безопасность операторов, целостность самого робота и его физическое воздействие на окружающую среду. То есть под угрозами понимается не только утечка данных, но и причинение физического вреда.
Разработанная модель рассмотрена применительно к двум конкретным роботизированным платформам — образовательному роботу TurtleBot 3 и снятому ныне с производства модульному промышленному манипулятору MARA. Для оценки применяется разработанная ранее авторами статьи Robot Vulnerability Scoring System (RVSS).
Статья является обобщением и многих других работ, посвящённых безопасности роботизированных систем.
#security #ros #threat
Когда готовился к CoopDays, достал из чердака давнюю статью, посвящённую модели безопасности роботов - ROS 2 Robotic Systems Threat Model. Методология рассмотрения угроз применима для любых роботизированных систем с компонентной/микросервисной архитектурой, не привязанные конкретно к ROS. В ней рассматриваются не только классические IT-сущности (данные, доступ), но и физические последствия атак: безопасность операторов, целостность самого робота и его физическое воздействие на окружающую среду. То есть под угрозами понимается не только утечка данных, но и причинение физического вреда.
Разработанная модель рассмотрена применительно к двум конкретным роботизированным платформам — образовательному роботу TurtleBot 3 и снятому ныне с производства модульному промышленному манипулятору MARA. Для оценки применяется разработанная ранее авторами статьи Robot Vulnerability Scoring System (RVSS).
Статья является обобщением и многих других работ, посвящённых безопасности роботизированных систем.
#security #ros #threat
design.ros2.org
ROS 2 Robotic Systems Threat Model
Distilled design documents related to the ROS 2 effort
👍9
Forwarded from Экспертный совет АНО "Открытый Код"
Коллеги, добрый день!
С 12 сентября в онлайн-кинотеатре Wink появился трехсерийный документальный фильм «Свободный код», в котором также снимались коллеги с нашего экспертного совета.
"Это фильм о принципах, о людях, которые верят, что строка кода может изменить все"
Первая серия доступна бесплатно на платформе Wink и на VK.
О чём сериал?
С 12 сентября в онлайн-кинотеатре Wink появился трехсерийный документальный фильм «Свободный код», в котором также снимались коллеги с нашего экспертного совета.
"Это фильм о принципах, о людях, которые верят, что строка кода может изменить все"
Первая серия доступна бесплатно на платформе Wink и на VK.
О чём сериал?
👍11
Open Robotics на Конференции разработчиков свободных программ
3 октября – 5 октября 2025 года состоится ХXI конференция разработчиков свободных программ, организованная компанией Базальт СПО (ALT Linux).
https://www.basealt.ru/21dev-conf
Выступаю на ней докладчиком по теме Open Hardware/Robotics. Если знаете какие-то открытые "железные" проекты в области робототехники, развиваемые российскими разработчиками, пишите @brylev ; замолвлю словечко. Немаловажно, чтобы исходники проекта были опубликованы в соответствии с требованиями Open Source Hardware (OSHW) Definition.
Конференция легендарная, проводится с 2004 года и служит площадкой для обсуждения профессиональных вопросов разработки свободного софта, а также задач совместимости свободного ПО между собой, с проприетарными программами и отечественными аппаратными платформами, обеспечения безопасности программных продуктов, лицензирования и юридической защиты СПО, популяризации Linux. Аудитория мероприятия – ведущие специалисты в области разработки свободного ПО, участвующие в работе крупных международных и российских проектов.
Сроки подачи заявок от слушателей, которым необходим трансфер — до 29 сентября; от слушателей, которым не нужен трансфер — до 1 октября.
Место проведения: Институт программных систем имени А.К. Айламазяна РАН г. Переславль-Залесский
#event #basealt
3 октября – 5 октября 2025 года состоится ХXI конференция разработчиков свободных программ, организованная компанией Базальт СПО (ALT Linux).
https://www.basealt.ru/21dev-conf
Выступаю на ней докладчиком по теме Open Hardware/Robotics. Если знаете какие-то открытые "железные" проекты в области робототехники, развиваемые российскими разработчиками, пишите @brylev ; замолвлю словечко. Немаловажно, чтобы исходники проекта были опубликованы в соответствии с требованиями Open Source Hardware (OSHW) Definition.
Конференция легендарная, проводится с 2004 года и служит площадкой для обсуждения профессиональных вопросов разработки свободного софта, а также задач совместимости свободного ПО между собой, с проприетарными программами и отечественными аппаратными платформами, обеспечения безопасности программных продуктов, лицензирования и юридической защиты СПО, популяризации Linux. Аудитория мероприятия – ведущие специалисты в области разработки свободного ПО, участвующие в работе крупных международных и российских проектов.
Сроки подачи заявок от слушателей, которым необходим трансфер — до 29 сентября; от слушателей, которым не нужен трансфер — до 1 октября.
Место проведения: Институт программных систем имени А.К. Айламазяна РАН г. Переславль-Залесский
#event #basealt
👍9
История одного реверс-инжиниринга
Автор приобрёл за $300 списанного промышленного робота Yaskawa Motoman UP6 без контроллеров и подробно описал процесс разработки собственной системы управления. В целом, по его словам, это довольно типичная ситуация, когда электроника выходит из строя раньше, чем износится железо (неожиданно).
Основой контроллера служит одноплатный компьютер Zinc 7020 с двумя ядрами CPU под управлением realtime Linux и FPGA для чувствительных к быстродействию задач, не укладывающихся в такты процессора. Для управления сервоприводами и связи используются собственные платы расширения с интерфейсами RS-485/RS-422 (до 10 шт.). Для телеуправления роботом был разработан джойстик-манипулятор на STM32. Программная часть реализована в собственноручно разработанной среде визуального программирования на Python; выполняется с частотой 1 кГц, реализует прямую и обратную задачи кинематики.
Система была представлена на ежегодном фестивале Open Sauce в США для разработчиков, инженеров и энтузиастов, посвящённый open source, технологиям и DIY-проектам с открытым исходным кодом.
Исходные коды и чертежи аппаратной части опубликованы на GitHub. Имейте ввиду, что на текущий момент по проекту практически нет документации - только исходники, что конечно может затруднять повторное использование.
На весь проект было затрачено 2375 часов времени. К слову, один час инженера в США стоит около ~$25-50, то есть сам проект по трудозатратам эквивалентен ~$60K-120K, что, конечно, несоизмеримо больше, чем стоимость нового робота с новой системой управления. Однако, если рассмотреть вариант переиспользования подобного решения на базе готовых исходников, то можно прилично сэкономить при наличии знаний и свободного времени! Пожелаем удачи проекту.
Оригинал на Youtube
#opensource #industrialrobots
Автор приобрёл за $300 списанного промышленного робота Yaskawa Motoman UP6 без контроллеров и подробно описал процесс разработки собственной системы управления. В целом, по его словам, это довольно типичная ситуация, когда электроника выходит из строя раньше, чем износится железо (неожиданно).
Основой контроллера служит одноплатный компьютер Zinc 7020 с двумя ядрами CPU под управлением realtime Linux и FPGA для чувствительных к быстродействию задач, не укладывающихся в такты процессора. Для управления сервоприводами и связи используются собственные платы расширения с интерфейсами RS-485/RS-422 (до 10 шт.). Для телеуправления роботом был разработан джойстик-манипулятор на STM32. Программная часть реализована в собственноручно разработанной среде визуального программирования на Python; выполняется с частотой 1 кГц, реализует прямую и обратную задачи кинематики.
Система была представлена на ежегодном фестивале Open Sauce в США для разработчиков, инженеров и энтузиастов, посвящённый open source, технологиям и DIY-проектам с открытым исходным кодом.
Исходные коды и чертежи аппаратной части опубликованы на GitHub. Имейте ввиду, что на текущий момент по проекту практически нет документации - только исходники, что конечно может затруднять повторное использование.
На весь проект было затрачено 2375 часов времени. К слову, один час инженера в США стоит около ~$25-50, то есть сам проект по трудозатратам эквивалентен ~$60K-120K, что, конечно, несоизмеримо больше, чем стоимость нового робота с новой системой управления. Однако, если рассмотреть вариант переиспользования подобного решения на базе готовых исходников, то можно прилично сэкономить при наличии знаний и свободного времени! Пожелаем удачи проекту.
Оригинал на Youtube
#opensource #industrialrobots
GitHub
ExcessiveMotion
ExcessiveMotion has 9 repositories available. Follow their code on GitHub.
👍21
Media is too big
VIEW IN TELEGRAM
История одного реверс-инжиниринга системы управления промышленным роботом - видео к посту.
👍10
Real2Render2Real
Генерация данных для роботов без симуляции физики и teleop
Современные модели ИИ (типа больших языковых) требуют огромных объёмов данных для обучения. В робототехнике с этим сложно: даже самые большие датасеты, записанные с помощью телеуправления, в сотни тысяч раз меньше тех, на которых тренируются LLM. Симуляторы, в свою очередь, сталкиваются с проблемой sim2real - требуют точного моделирования контактных операций и деформаций.
Фреймворк Real2Render2Real (R2R2R) предлагает решение - он генерирует реалистичные данные для обучения роботов, не используя ни симуляцию динамики, ни физических роботов для сбора демонстраций.
Принцип работы фреймворка
1. Входные данные собираются сканированием с помощью смартфона. Снимается несколько видео с разных ракурсов. Далее делается демонстрация выполнения задачи: одно видео, где человек руками выполняет нужное действие с объектом (например, ставит кружку на кофеварку).
2. Из видеозаписей извлекается всё необходимое для симуляции. С помощью 3D Gaussian Splatting (3DGS) создаётся детальная 3D-модель объекта с текстурой. Модель автоматически сегментируется на части (например, ручка кружки, сам корпус кофеварки) с помощью GARField. С помощью метода 4D-DPM из видео с демонстрацией оператором извлекается 6-DoF траектория движения объектов и их частей.
3. Система генерирует множество вариаций траектории движения. Исходная траектория адаптируется под новые стартовые и конечные позиции объектов через пространственную нормализацию и сферическую интерполяцию (Slerp). Это позволяет, имея один пример "поставить кружку сюда", научиться ставить её в разные места. Позиция руки человека используется для определения, за какую часть объекта был произведён захват. Затем для этой части генерируется множество вариантов устойчивых захватных позиций под параллельный гриппер.
4. Параллельный рендеринг. На основе полученных ассетов, траекторий и захватных позиций запускается массовая генерация демонстраций с помощью IsaacLab, который используется как рендер-движок без физики. Робот просто "повторяет" заданную траекторию через дифференциальную обратную кинематику с помощью PyRoki. Это позволяет избежать всех сложностей с моделированием контактов. Одновременно рандомизируется освещение, позиция камеры и текстуры, чтобы научить модель работать в разных визуальных условиях.
Эффективность подхода проверяли на 5 задачах манипуляции (выключить кран, открыть ящик и т.п.), а также в бимануальных сценариях. На одном GPU (NVIDIA RTX 4090) R2R2R генерирует данные в 27 раз быстрее, чем один человек-оператор. Политики, обученные на 1000 сгенерированных демонстраций (по одному видео), сравнялись по эффективности с политиками, обученными на 150 реальных телеоперационных демонстрациях. В некоторых задачах результат синтетических данных был даже выше. Данные от R2R2R успешно использовались для обучения современных архитектур, таких как Diffusion Policy, и дообучения VLA π0-FAST.
Ограничения
1. Фреймворк полностью игнорирует физику: он создаёт визуально безупречные, но "кинематические" сцены, не моделируя трение, упругость контактов или силу обратной связи. Это делает его непригодным для задач, где важна механика: манипуляция деформируемыми объектами, коррекция захвата при проскальзывании или нежесткие взаимодействия.
2. Генерация траекторий - чисто геометрическая и не учитывает окружение, что может приводить к столкновениям с неучтёнными препятствиями в загромождённых сценах. Кроме того, метод заточен только под жёсткие и сочленённые объекты, исключая не предусматривающие захват действия (толкание, скольжение).
3. Трекинг траекторий также уязвим к быстрому движению, окклюзиям и плохой текстуре объектов. Модуль захвата поддерживает только параллельные грипперы.
Таким образом, ниша фреймворка R2R2R пока - это сценарии с чёткой геометрией объектов без сложной физики взаимодействий.
Paper
Code
#dataset #cg #sim2real
Генерация данных для роботов без симуляции физики и teleop
Современные модели ИИ (типа больших языковых) требуют огромных объёмов данных для обучения. В робототехнике с этим сложно: даже самые большие датасеты, записанные с помощью телеуправления, в сотни тысяч раз меньше тех, на которых тренируются LLM. Симуляторы, в свою очередь, сталкиваются с проблемой sim2real - требуют точного моделирования контактных операций и деформаций.
Фреймворк Real2Render2Real (R2R2R) предлагает решение - он генерирует реалистичные данные для обучения роботов, не используя ни симуляцию динамики, ни физических роботов для сбора демонстраций.
Принцип работы фреймворка
1. Входные данные собираются сканированием с помощью смартфона. Снимается несколько видео с разных ракурсов. Далее делается демонстрация выполнения задачи: одно видео, где человек руками выполняет нужное действие с объектом (например, ставит кружку на кофеварку).
2. Из видеозаписей извлекается всё необходимое для симуляции. С помощью 3D Gaussian Splatting (3DGS) создаётся детальная 3D-модель объекта с текстурой. Модель автоматически сегментируется на части (например, ручка кружки, сам корпус кофеварки) с помощью GARField. С помощью метода 4D-DPM из видео с демонстрацией оператором извлекается 6-DoF траектория движения объектов и их частей.
3. Система генерирует множество вариаций траектории движения. Исходная траектория адаптируется под новые стартовые и конечные позиции объектов через пространственную нормализацию и сферическую интерполяцию (Slerp). Это позволяет, имея один пример "поставить кружку сюда", научиться ставить её в разные места. Позиция руки человека используется для определения, за какую часть объекта был произведён захват. Затем для этой части генерируется множество вариантов устойчивых захватных позиций под параллельный гриппер.
4. Параллельный рендеринг. На основе полученных ассетов, траекторий и захватных позиций запускается массовая генерация демонстраций с помощью IsaacLab, который используется как рендер-движок без физики. Робот просто "повторяет" заданную траекторию через дифференциальную обратную кинематику с помощью PyRoki. Это позволяет избежать всех сложностей с моделированием контактов. Одновременно рандомизируется освещение, позиция камеры и текстуры, чтобы научить модель работать в разных визуальных условиях.
Эффективность подхода проверяли на 5 задачах манипуляции (выключить кран, открыть ящик и т.п.), а также в бимануальных сценариях. На одном GPU (NVIDIA RTX 4090) R2R2R генерирует данные в 27 раз быстрее, чем один человек-оператор. Политики, обученные на 1000 сгенерированных демонстраций (по одному видео), сравнялись по эффективности с политиками, обученными на 150 реальных телеоперационных демонстрациях. В некоторых задачах результат синтетических данных был даже выше. Данные от R2R2R успешно использовались для обучения современных архитектур, таких как Diffusion Policy, и дообучения VLA π0-FAST.
Ограничения
1. Фреймворк полностью игнорирует физику: он создаёт визуально безупречные, но "кинематические" сцены, не моделируя трение, упругость контактов или силу обратной связи. Это делает его непригодным для задач, где важна механика: манипуляция деформируемыми объектами, коррекция захвата при проскальзывании или нежесткие взаимодействия.
2. Генерация траекторий - чисто геометрическая и не учитывает окружение, что может приводить к столкновениям с неучтёнными препятствиями в загромождённых сценах. Кроме того, метод заточен только под жёсткие и сочленённые объекты, исключая не предусматривающие захват действия (толкание, скольжение).
3. Трекинг траекторий также уязвим к быстрому движению, окклюзиям и плохой текстуре объектов. Модуль захвата поддерживает только параллельные грипперы.
Таким образом, ниша фреймворка R2R2R пока - это сценарии с чёткой геометрией объектов без сложной физики взаимодействий.
Paper
Code
#dataset #cg #sim2real
👍13
Media is too big
VIEW IN TELEGRAM
Open Source Robotics в России и не только: практики, инструменты, опыт, перспективы
Запись доклада на XXI Конференции Разработчиков Свободных Программ, организуемой ежегодно сообществом ALT Linux. 04 октября 2025 года, г. Переславль-Залесский
Кратко прошёлся по всем ключевым драйверам отрасли Open Hardware - инструменты разработки, инфраструктура, доступность средств производства. Есть несколько довольно свежих мыслей, которые родились в ходе подготовки - например, что open source, как ни странно, выгоден производственникам.
В докладе также упомянуты: RobotCAD, Сообщество ROS Russia, FreeCAD и его проблемы, KiCAD и его прогресс, причины отсутствия вендорских PLM в индустрии ПО и наша новая библиотека телеуправления.
#event #altlinux #hardware
Robossembler - Свободная робототехника
Запись доклада на XXI Конференции Разработчиков Свободных Программ, организуемой ежегодно сообществом ALT Linux. 04 октября 2025 года, г. Переславль-Залесский
Кратко прошёлся по всем ключевым драйверам отрасли Open Hardware - инструменты разработки, инфраструктура, доступность средств производства. Есть несколько довольно свежих мыслей, которые родились в ходе подготовки - например, что open source, как ни странно, выгоден производственникам.
В докладе также упомянуты: RobotCAD, Сообщество ROS Russia, FreeCAD и его проблемы, KiCAD и его прогресс, причины отсутствия вендорских PLM в индустрии ПО и наша новая библиотека телеуправления.
#event #altlinux #hardware
Robossembler - Свободная робототехника
👍14🙏2
Веб-визуализация ROS в 2025-ом
В прошлом году Foxglove закрыли свой проект веб-визуализации для ROS/ROS 2 и позже полностью удалили исходники для общественности. Потёрта вся история коммитов, что не позволяет использовать инструменты Github для поиска форков. Тем не менее, проект успел расползтись по пользователям и зажил собственной жизнью. Как минимум, сейчас существует два активно поддерживаемых форка, среди которых следует отметить trillium и lichtblick.
Последний особо интересен тем, что официально сопровождается BMW Group. По сравнению с оригинальным Foxglove изменения несущественные и, пожалуй, оно к лучшему. В некоторых частях документации и кодовой базы всё еще можно встретить ссылки на Foxglove или их пакеты. Однако, в Lichtblick активно работают над устранением всех зависимостей.
Среди других инструментов остаются также "старички" webviz (от него произошёл сам Foxglove) и rosboard, но они написаны на голом Javascript и поддерживаются не так активно.
#foxglove #fork #web
В прошлом году Foxglove закрыли свой проект веб-визуализации для ROS/ROS 2 и позже полностью удалили исходники для общественности. Потёрта вся история коммитов, что не позволяет использовать инструменты Github для поиска форков. Тем не менее, проект успел расползтись по пользователям и зажил собственной жизнью. Как минимум, сейчас существует два активно поддерживаемых форка, среди которых следует отметить trillium и lichtblick.
Последний особо интересен тем, что официально сопровождается BMW Group. По сравнению с оригинальным Foxglove изменения несущественные и, пожалуй, оно к лучшему. В некоторых частях документации и кодовой базы всё еще можно встретить ссылки на Foxglove или их пакеты. Однако, в Lichtblick активно работают над устранением всех зависимостей.
Среди других инструментов остаются также "старички" webviz (от него произошёл сам Foxglove) и rosboard, но они написаны на голом Javascript и поддерживаются не так активно.
#foxglove #fork #web
👍7
Open Micro Manipulator
Автор позиционирует свою разработку не просто как отдельно взятый станок, а как платформу с открытым исходным кодом для управления движением по 3 осям с точностью до 50 нм. По его идее, на основе этой платформы другие инженеры смогут реализовывать данный функционал в других системах с помощью Python API.
Благодаря параллельной кинематической структуре и миниатюрным шаровым шарнирам (ball joints) система обеспечивает хорошую механическую жесткость и широкий диапазон движения. Используются стандартные шаговые двигатели, управляемые FOC-контроллером на частоте 30 кГц с обратной связью и высокоточным ШИМ-сигналом. Система обратной связи основана на бюджетном магнитном энкодере MT6835 с разрешением в 21 бит, что соответствует 2 млн значений за оборот, но фактически из-за шума получается около 100 тыс. Магнитная передача увеличивает разрешение недорогих поворотных энкодеров в 30 раз, что позволяет достичь шага до 50 нм (не путать с точностью, которая, как честно пишет разработчик, будет заметно хуже, но всё равно остается на впечатляющем для DIY-устройства уровне).
Управление осуществляется через упрощённый набор команд G-кода, что делает платформу понятной для пользователей ЧПУ.
Исходники: CAD-модели в FreeCAD 1.1.0dev, электроника в KiCad (плата собирается без необходимости пайки SMD-компонентов - из готовых доступных модулей - Raspberry Pi Pico 2 на MCU RP2350, модули драйверов TB6612 от Toshiba) Прошивка на C++, разработчик вдохновлялся SimpleFOC. Стоимость сборки, по оценкам автора, значительно ниже коммерческих аналогов.
Разработка может быть полезна для таких задач как юстировка оптики, визуальное и контактное тестирование электроники.
Подробности в шикарном видео, где всё показано и рассказано. Для тех, у кого нет Youtube, загрузил видео на p2p-видеохостинг Bastyon.
Исходники тут
GitHub
#hardware #cnc #diy
Автор позиционирует свою разработку не просто как отдельно взятый станок, а как платформу с открытым исходным кодом для управления движением по 3 осям с точностью до 50 нм. По его идее, на основе этой платформы другие инженеры смогут реализовывать данный функционал в других системах с помощью Python API.
Благодаря параллельной кинематической структуре и миниатюрным шаровым шарнирам (ball joints) система обеспечивает хорошую механическую жесткость и широкий диапазон движения. Используются стандартные шаговые двигатели, управляемые FOC-контроллером на частоте 30 кГц с обратной связью и высокоточным ШИМ-сигналом. Система обратной связи основана на бюджетном магнитном энкодере MT6835 с разрешением в 21 бит, что соответствует 2 млн значений за оборот, но фактически из-за шума получается около 100 тыс. Магнитная передача увеличивает разрешение недорогих поворотных энкодеров в 30 раз, что позволяет достичь шага до 50 нм (не путать с точностью, которая, как честно пишет разработчик, будет заметно хуже, но всё равно остается на впечатляющем для DIY-устройства уровне).
Управление осуществляется через упрощённый набор команд G-кода, что делает платформу понятной для пользователей ЧПУ.
Исходники: CAD-модели в FreeCAD 1.1.0dev, электроника в KiCad (плата собирается без необходимости пайки SMD-компонентов - из готовых доступных модулей - Raspberry Pi Pico 2 на MCU RP2350, модули драйверов TB6612 от Toshiba) Прошивка на C++, разработчик вдохновлялся SimpleFOC. Стоимость сборки, по оценкам автора, значительно ниже коммерческих аналогов.
Разработка может быть полезна для таких задач как юстировка оптики, визуальное и контактное тестирование электроники.
Подробности в шикарном видео, где всё показано и рассказано. Для тех, у кого нет Youtube, загрузил видео на p2p-видеохостинг Bastyon.
Исходники тут
GitHub
#hardware #cnc #diy
YouTube
An Open Source Motorized XYZ Micro-Manipulator - Affordable sub µm Motion Control
A low-cost and easy to build 3-Axis motion plattform is presented. It can achieve step sizes down to 50nm while supporting arbitrary acceleration limited motion paths in a working volume of 23x23x23mm³. The simple G-Coder interface allows easy control from…
👍14🙏1
Open Source: По ту сторону кода. Учимся создавать сообщества - ч.2
Первая часть
Сквозной нарратив, встречающийся во многих главах книги всей книги (напомню, речь о John Mertic "Open Source: Beyond the Code"), описывает движение за открытый код со времён его основания как оппозицию коммерческой разработке. Действительно, многие известные проекты основывались родоначальниками с подчёркнуто анти-капиталистической позицией. Движение породило своеобразную субкультуру и даже контр-культуру этой культуре - вспомните известный мем "Разрабатывая Линукс, ты помогаешь строить коммунизм!".
В тоже время, как подчёркивает Джон Мертик, радикального контр-тренда не случилось и Open Source не только не отдалился от коммерции, но и успешно закрепился в посткапиталистической реальности с множеством разнообразных бизнес-моделей. Он стал неотъемлемой частью современной экономической системы, а не её палачом. Кто-то по этому поводу может и загрустить, но позволю себе рассмотреть обе стороны медали.
Коммерческие компании работают в жёсткой конкурентной среде с ярко выраженными критериями выживаемости - либо ты зарабатываешь и процветаешь, либо не зарабатываешь и уходишь в небытие. Тем не менее, все компании работают с людьми, внутренние стимулы которых не исчерпываются примитивной экономической моделью рационального агента, максимизирующего свою полезность - мотивация и иерархия ценностей у людей довольно сложны и многообразны, а решения носят оптимизационный характер. С этим фактом нужно считаться, поэтому к де-факто существующему, но нигде явно не декларируемому корпоративному лозунгу "Делаем бабло", основателями и руководством, как правило, разрабатывается также и Миссия компании, где содержатся иные цели, позволяющие в том числе бороться за кадры внеэкономическими методами.
В Open Source эта составляющая присутствует в полной мере - ты априори делаешь проект для всего мира, а не только для группы частных бенефициаров. Такая мотивация была свойственна и блокчейнам проектам (а они почти все открытые), выросшим на ожиданиях об альтернативной мировой финансовой системе. Однако, как мы уже отметили выше, перехода к принципиально новому способу производства с интенсификацией использования открытого кода пока так и не состоялось. И в том числе из-за некоторого конформизма, сводящего движение за открытый код к экзотическим бизнес-моделям вместо революционного пафоса, подкрепляющего высокое устремление что-то кардинально поменять в этом мире. Разработчики Open source стали просто наивными маргиналами, помогающими корпорациям оптимизировать расходы на закупку софта.
Но есть и положительная сторона в коммерциализации, которая заключается в том, что бизнес-модели продуктов с открытым исходным кодом внесли большой вклад в развитие практик работы с сообществом - комьюнити-менеджмента. В мире появилось много информации о том как это делать правильно и достигать результатов. Собственно, сама книга Мертика является наглядным пособием к подобного рода деятельности. И если приправить эту технологию бодрым настроем кардинально поменять правила игры, то можно достичь многого. Сейчас такие микросообщества растут в количестве и постепенно готовят почву для более кардинальных изменений, к которым мир подтолкнут вполне конкретные материальные обстоятельства.
#community #linux #mertic
Первая часть
Сквозной нарратив, встречающийся во многих главах книги всей книги (напомню, речь о John Mertic "Open Source: Beyond the Code"), описывает движение за открытый код со времён его основания как оппозицию коммерческой разработке. Действительно, многие известные проекты основывались родоначальниками с подчёркнуто анти-капиталистической позицией. Движение породило своеобразную субкультуру и даже контр-культуру этой культуре - вспомните известный мем "Разрабатывая Линукс, ты помогаешь строить коммунизм!".
В тоже время, как подчёркивает Джон Мертик, радикального контр-тренда не случилось и Open Source не только не отдалился от коммерции, но и успешно закрепился в посткапиталистической реальности с множеством разнообразных бизнес-моделей. Он стал неотъемлемой частью современной экономической системы, а не её палачом. Кто-то по этому поводу может и загрустить, но позволю себе рассмотреть обе стороны медали.
Коммерческие компании работают в жёсткой конкурентной среде с ярко выраженными критериями выживаемости - либо ты зарабатываешь и процветаешь, либо не зарабатываешь и уходишь в небытие. Тем не менее, все компании работают с людьми, внутренние стимулы которых не исчерпываются примитивной экономической моделью рационального агента, максимизирующего свою полезность - мотивация и иерархия ценностей у людей довольно сложны и многообразны, а решения носят оптимизационный характер. С этим фактом нужно считаться, поэтому к де-факто существующему, но нигде явно не декларируемому корпоративному лозунгу "Делаем бабло", основателями и руководством, как правило, разрабатывается также и Миссия компании, где содержатся иные цели, позволяющие в том числе бороться за кадры внеэкономическими методами.
В Open Source эта составляющая присутствует в полной мере - ты априори делаешь проект для всего мира, а не только для группы частных бенефициаров. Такая мотивация была свойственна и блокчейнам проектам (а они почти все открытые), выросшим на ожиданиях об альтернативной мировой финансовой системе. Однако, как мы уже отметили выше, перехода к принципиально новому способу производства с интенсификацией использования открытого кода пока так и не состоялось. И в том числе из-за некоторого конформизма, сводящего движение за открытый код к экзотическим бизнес-моделям вместо революционного пафоса, подкрепляющего высокое устремление что-то кардинально поменять в этом мире. Разработчики Open source стали просто наивными маргиналами, помогающими корпорациям оптимизировать расходы на закупку софта.
Но есть и положительная сторона в коммерциализации, которая заключается в том, что бизнес-модели продуктов с открытым исходным кодом внесли большой вклад в развитие практик работы с сообществом - комьюнити-менеджмента. В мире появилось много информации о том как это делать правильно и достигать результатов. Собственно, сама книга Мертика является наглядным пособием к подобного рода деятельности. И если приправить эту технологию бодрым настроем кардинально поменять правила игры, то можно достичь многого. Сейчас такие микросообщества растут в количестве и постепенно готовят почву для более кардинальных изменений, к которым мир подтолкнут вполне конкретные материальные обстоятельства.
#community #linux #mertic
👍12