Surgical Robot Transformer (SRT): Imitation Learning for Surgical Tasks
заимплементить трансформер под хирургического робота так, чтобы он мог зашивать раны и не только? да!
авторы из стенфорда решили такое сделать, и получилось очень даже круто. при том они не используют никакие данные из кинематики, а только картиночные инпуты (которые даже сильно даунсемплят до 224х224х3, но результат все равно очень даже крутой). и это довольно нетривиально для такого рода работ
реализуют на основе имитейшн лернинга и Action-Chunking Transformer, который группирует небольшой чанк действий в одну группу и третирует их как один юнит. сделано это для того, чтобы нивелировать момент накопления ошибок (который довольно часто случается во время инференса при сетапе имитейшн лернинга)
еще есть залипательные видосы с демонстрацией работы трансформера
ждем теперь, когда такое будет возможно делать в более-менее сносном темпе
👀LINK
заимплементить трансформер под хирургического робота так, чтобы он мог зашивать раны и не только? да!
авторы из стенфорда решили такое сделать, и получилось очень даже круто. при том они не используют никакие данные из кинематики, а только картиночные инпуты (которые даже сильно даунсемплят до 224х224х3, но результат все равно очень даже крутой). и это довольно нетривиально для такого рода работ
реализуют на основе имитейшн лернинга и Action-Chunking Transformer, который группирует небольшой чанк действий в одну группу и третирует их как один юнит. сделано это для того, чтобы нивелировать момент накопления ошибок (который довольно часто случается во время инференса при сетапе имитейшн лернинга)
еще есть залипательные видосы с демонстрацией работы трансформера
ждем теперь, когда такое будет возможно делать в более-менее сносном темпе
👀LINK
group-telegram.com/rizzearch/417
Create:
Last Update:
Last Update:
Surgical Robot Transformer (SRT): Imitation Learning for Surgical Tasks
заимплементить трансформер под хирургического робота так, чтобы он мог зашивать раны и не только? да!
авторы из стенфорда решили такое сделать, и получилось очень даже круто. при том они не используют никакие данные из кинематики, а только картиночные инпуты (которые даже сильно даунсемплят до 224х224х3, но результат все равно очень даже крутой). и это довольно нетривиально для такого рода работ
реализуют на основе имитейшн лернинга и Action-Chunking Transformer, который группирует небольшой чанк действий в одну группу и третирует их как один юнит. сделано это для того, чтобы нивелировать момент накопления ошибок (который довольно часто случается во время инференса при сетапе имитейшн лернинга)
еще есть залипательные видосы с демонстрацией работы трансформера
ждем теперь, когда такое будет возможно делать в более-менее сносном темпе
👀LINK
заимплементить трансформер под хирургического робота так, чтобы он мог зашивать раны и не только? да!
авторы из стенфорда решили такое сделать, и получилось очень даже круто. при том они не используют никакие данные из кинематики, а только картиночные инпуты (которые даже сильно даунсемплят до 224х224х3, но результат все равно очень даже крутой). и это довольно нетривиально для такого рода работ
реализуют на основе имитейшн лернинга и Action-Chunking Transformer, который группирует небольшой чанк действий в одну группу и третирует их как один юнит. сделано это для того, чтобы нивелировать момент накопления ошибок (который довольно часто случается во время инференса при сетапе имитейшн лернинга)
еще есть залипательные видосы с демонстрацией работы трансформера
ждем теперь, когда такое будет возможно делать в более-менее сносном темпе
👀LINK
BY rizzearch
Share with your friend now:
group-telegram.com/rizzearch/417