Feladat áttekintése

Lábakon járó robotok (robotkutyák és humanoid robotok) mozgásszabályozása összetett feladat, mivel ezek a rendszerek erősen nemlineárisak, nagydimenziósak és a környezetükkel mozgásuk közben folyamatosan kialakuló és megszűnő kontaktusok miatt matematikai modellezésük, számítógépes szimulációjuk különösen nehéz. Mindezeken felül ezektől a rendszerektől komplex feladatok végrehajtását várjuk el (agilis mozgás, járás különféle felületeken, ugrás, különböző pózok felvétele, stb.), amelyet megbízhatóan, pontosan kell végrehajtaniuk. A robotkutyák és humanoid robotok irányítátervezésére éppen ezért online nemlineáris optimalizálásra épülő modell prediktív (MPC) eljárásokat, megerősítéses gépi tanulást és ezek kombinációját alkalmazzák. A hallgató feladata a legújabb trendedkhez kapcsolódva egy tanulással kiegészített MPC algoritmus implementálása és adaptálása Unitree Go2 és G1 robotokra. Az MPC algoritmus alapja a mintavételezésen alapuló Model Predictive Path Integral Control (MPPI) és variánsai, amelyet tanulással kiegészített komponensekkel (pl. terminal cost) kell ellátni ahhoz, hogy a fentebb említett összetett feladatokat hatékonyan lehessen megoldani. 

A hallgató feladatai

• A konzultáció során kapott könyvek és cikkek alapján ismerkedjen meg a gépi tanulással kiegészített, mintavételezés-alapú modell prediktív irányítási módszerrel!
• Adott specifikáció alapján fogalmazza meg az irányítási stratégiát, az ezt megvalósító prediktív irányítási algoritmust és tanulási struktúrát!
• Implementálja az eljárást Python nyelven úgy, hogy a kód alkalmas legyen real-time futtatásra valós robotokon!
• Tesztelje az irányítást fizikai szimulátorban (MuJoCo vagy IsaacSim) felépített modelleken, majd a SZTAKI Rendszer- és Irányításelméleti Kutatólaboratóriumában rendelkezésre álló valós Go2 és G1 robotokon. 
• Értékelje és dokumentálja az eredményeket. 

Szükséges előismeretek 

Lineáris algebra, matematika és rendszerelmélet alapok, Python programozási nyelv ismerete, érdeklődés a szabályozástechnika és gépi tanulás iránt.

Learning-augmented, sampling based model predictive control design for legged robots

Project overview

Motion control of legged robots (robot dogs and humanoid robots) is a complex task, as these systems are highly nonlinear, high-dimensional, and their mathematical modeling and computer simulation are particularly challenging due to continuously forming and breaking contacts with the environment during movement. Beyond these challenges, we expect these systems to perform complex tasks (agile movement, walking on various surfaces, jumping, adopting different poses, etc.), which they must execute reliably and accurately. For this reason, control design for robot dogs and humanoid robots employs online nonlinear optimization-based model predictive control (MPC) methods, reinforcement learning, and combinations thereof. The student's task, in connection with the latest trends, is to implement and adapt a learning-augmented MPC algorithm for Unitree Go2 and G1 robots. The foundation of the MPC algorithm is sampling-based Model Predictive Path Integral Control (MPPI) and its variants, which must be augmented with learning-enhanced components (e.g., terminal cost) to efficiently solve the aforementioned complex tasks.

Project Tasks

• Familiarize yourself with machine learning-augmented, sampling-based model predictive control methods based on the books and papers provided during consultation.
• Formulate the control strategy, the predictive control algorithm implementing it, and the learning structure based on the given specification.
• Implement the method in Python such that the code is suitable for real-time execution on physical robots.
• Test the control on models built in a physics simulator (MuJoCo or IsaacSim), then on the real Go2 and G1 robots available at the SZTAKI Systems and Control Laboratory.
• Evaluate and document the results.

Required Prerequisites

Linear algebra, mathematics and systems theory fundamentals, knowledge of Python programming language, interest in control theory and machine learning.