Агенты ИИ | AGI_and_RL

0:19

This media is not supported in your browser

VIEW IN TELEGRAM

Еще интересный подход по созданию агентов (на базе Vision language модели) с RLем которые могут пользоваться Android телефоном через GUI

Вначале трейнят offline RL на данных, потом offline-to-online где агент уже сам доучивается в среде. Создали распараллеленный симулятор который одновременно может запускать 64 эмулятора андроида.

Тестировались на датасете Android-in-the-Wild (AitW). VLMка на 1.3B параметров.

* success rate подняли до 67.2%

у другого RL агента который учился через Behavior cloning был - 57.8%

GPT-4V - 8.3%
Gemini 1.5 Pro - 17.7%
17B CogAgent - 38.5%

DigiRL: Training In-The-Wild Device-Control Agents with Autonomous Reinforcement Learning
https://arxiv.org/abs/2406.11896

https://digirl-agent.github.io/
https://github.com/DigiRL-agent/digirl

🔥7👍2

www.group-telegram.com/br/AGI_and_RL.com/800

1.04K viewsJun 21, 2024 at 10:44

Еще интересный подход по созданию агентов (на базе Vision language модели) с RLем которые могут пользоваться Android телефоном через GUI

Вначале трейнят offline RL на данных, потом offline-to-online где агент уже сам доучивается в среде. Создали распараллеленный симулятор который одновременно может запускать 64 эмулятора андроида.

Тестировались на датасете Android-in-the-Wild (AitW). VLMка на 1.3B параметров.

* success rate подняли до 67.2%

у другого RL агента который учился через Behavior cloning был - 57.8%

GPT-4V - 8.3%
Gemini 1.5 Pro - 17.7%
17B CogAgent - 38.5%

DigiRL: Training In-The-Wild Device-Control Agents with Autonomous Reinforcement Learning
https://arxiv.org/abs/2406.11896

https://digirl-agent.github.io/
https://github.com/DigiRL-agent/digirl

BY Агенты ИИ | AGI_and_RL