Як повідомляє Tech Xplore, система отримала назву BeyondMimic. Вона створена для того, щоб робот міг не просто копіювати окремі людські рухи, а комбінувати вже вивчені навички та застосовувати їх у нових ситуаціях без окремого перенавчання під кожне завдання.
Для навчання дослідники використали приблизно 2,5 години записів рухів людей. У наборі даних були ходьба, біг, танці, бойові мистецтва, стрибки, перевороти колесом та інші складні рухи.
Після цього людські рухи адаптували до пропорцій і будови гуманоїдного робота Unitree G1. Алгоритм навчався відтворювати положення тіла, напрямок руху та швидкість окремих частин робота.
У системі використали навчання з підкріпленням. Робот отримував своєрідну «винагороду» за точне повторення руху, а алгоритм штрафувався за різкі рухи, небезпечне положення суглобів або небажані зіткнення частин тіла.
У результаті одна система керування змогла навчитися дуже різним рухам — спринту, стрибкам, обертальним ударам ногами та повітряним колесам. Раніше для складних рухів гуманоїдних роботів часто доводилося окремо налаштовувати контролери або повторно навчати систему під конкретне завдання.
Але BeyondMimic має ще одну важливу особливість. ШІ навчили не просто копіювати готовий рух, а створювати нові послідовності на основі вже освоєних навичок.
Для цього дослідники використали так звану дифузійну модель. Подібні алгоритми широко застосовуються у генеративному ШІ, але в цьому випадку система працювала не із зображеннями чи текстами, а з рухами тіла робота.
Алгоритм навчався на послідовностях рухів, до яких спеціально додавали шум, а потім намагався відновити початкову дію. Завдяки цьому система навчилася складати рухи у нові комбінації.
Після навчання дослідники спочатку перевірили систему у симуляції, а потім перенесли її на реального Unitree G1.
На роботі протестували 30 різних рухів. Він зміг утримувати складні пози, танцювати, повзати, бігати, виконувати удари ногами, стрибки з обертанням та повітряні перевороти.
Щоб оцінити, наскільки природно рухається робот, дослідники залучили 77 людей. Учасникам показували ходьбу й біг Unitree G1, керованого BeyondMimic, та рухи того самого робота зі стандартною системою керування виробника.
У 70,8% порівнянь люди визнали рухи, створені BeyondMimic, більш схожими на людські та природними.
Автори роботи вважають, що надалі систему можна навчити ще більшій кількості рухів і перенести на інші моделі гуманоїдних роботів.
Головна мета таких розробок — створення роботів, які зможуть не лише виконувати заздалегідь запрограмовані дії, а гнучко пристосовуватися до нових завдань у реальному середовищі.
Дослідження BeyondMimic: From motion tracking to versatile humanoid control via guided diffusion опубліковане у журналі Science Robotics. DOI роботи — 10.1126/scirobotics.adx8924.
