Generative Motion Planning for Quadruped Robots in Complex Environments

Project description

The objective of this project is to investigate diffusion models and Flow Matching (FM) for motion planning of a Unitree Go2 quadruped robot navigating complex and challenging environments.

The proposed approach focuses on whole-body motion generation rather than conventional geometric path or trajectory planning. Given the current state of the robot, a navigation objective, and information about the surrounding environment, the generative model produces a sequence of joint-level motion references describing how the robot should move over a finite planning horizon. These references are then executed by a lower-level controller.

The primary focus is the application of diffusion and FM models to local short-horizon motion planning. Diffusion and FM can learn distributions of feasible whole-body motions and generate new motions conditioned on the robot state, desired motion or target, and a local representation of the environment. Training data for these models will be generated using reinforcement learning: specialized PPO policies will first be trained for basic locomotion skills such as walking, running, climbing, and obstacle traversal, and their executions will provide reference motion samples for training the diffusion/FM models.

The project will first address locomotion in relatively simple environments and then extend the approach to increasingly complex terrain and motion tasks, including uneven terrain, stairs, narrow passages, and large or irregular obstacles. More advanced scenarios may require transitions between different locomotion behaviors, such as walking, climbing, stepping over obstacles, or jumping. As additional research directions, the project may investigate Model-Based Diffusion (MBD) and diffusion-inspired sampling-based MPC methods such as DIAL-MPC, which has already demonstrated full-order torque-level locomotion control on a Unitree Go2.

The expected outcome is a simulation-based framework demonstrating and evaluating diffusion/FM methods for generative whole-body motion planning of a quadruped robot in complex environments, with selected methods potentially validated on the real Unitree Go2. The project should provide insight into the ability of generative models to combine learned locomotion skills into feasible and adaptive motions in previously unseen situations, and identify their advantages and limitations compared with conventional motion-planning approaches.

Student tasks

• Study the theoretical foundations and relevant literature. Learn the fundamentals of diffusion models, Flow Matching, conditioning and guidance, reinforcement learning, and review their applications to motion generation, robot locomotion, navigation, and planning.

• Formulate the quadruped motion-planning problem. Define suitable whole-body motion and joint-level reference representations, objectives, robot and terrain constraints, and the interface to a lower-level controller. Establish a Unitree Go2 simulation environment and suitable baseline methods.

• Generate reference motion data using reinforcement learning. Train specialized control policies using PPO for basic locomotion skills such as walking, running, climbing, and obstacle traversal. Use these policies to generate diverse reference whole-body motions and construct training datasets for the diffusion/FM models.

• Develop a generative motion planner. Implement a diffusion- or FM-based short-horizon planner that generates joint-level reference motions conditioned on the current robot state, desired motion or navigation target, and local environment. Progressively extend the method from simple locomotion to complex terrain and combinations or transitions of learned motion skills.

• Evaluate and extend the proposed approach. Compare motion quality, terrain traversal, obstacle avoidance, computation time, robustness, and generalization to previously unseen environments. As additional topics, investigate MBD or DIAL-MPC-based motion generation and control.

• Document and present the results. Present the theoretical background, developed methods, simulation and possible experimental results, and the advantages and limitations of diffusion/FM-based generative motion planning for quadruped robots.

Generatív mozgástervezés négylábú robotok számára összetett környezetben

Projektleírás

A projekt célja diffúziós modellek és Flow Matching (FM) módszerek vizsgálata Unitree Go2 négylábú robot mozgástervezési feladataira összetett és nehéz terepviszonyok között.

A javasolt megközelítés középpontjában a teljestest-mozgás generálása áll, szemben a hagyományos geometriai útvonal- vagy pályatervezéssel. A robot aktuális állapota, a navigációs cél és a környezetről rendelkezésre álló információk alapján a generatív modell csuklószintű mozgásreferenciák időbeli sorozatát állítja elő, amely meghatározza a robot mozgását egy véges tervezési horizonton. A generált referenciákat ezt követően egy alacsonyabb szintű szabályozó hajtja végre.

A projekt elsődleges fókusza diffúziós és FM-modellek alkalmazása lokális, rövid horizontú mozgástervezésre. A diffúziós és FM-modellek képesek megtanulni a megvalósítható teljestest-mozgások eloszlását, majd a robot állapotára, a kívánt mozgásra vagy célra, valamint a lokális környezet reprezentációjára kondicionálva új mozgásokat generálni. A modellek tanításához szükséges minták megerősítéses tanulással készülnek: először PPO segítségével speciális irányítási politikák készülnek alapvető mozgásformákra, például járásra, futásra, mászásra és akadályok leküzdésére, majd ezek végrehajtásából állítjuk elő a diffúziós/FM-modellek tanításához szükséges referencia-mozgásmintákat.

A projekt első lépésben viszonylag egyszerű környezetben történő mozgással foglalkozik, majd a módszereket egyre összetettebb terepviszonyokra és mozgási feladatokra terjeszti ki, beleértve az egyenetlen terepet, lépcsőket, szűk átjárókat, valamint nagyméretű vagy szabálytalan alakú akadályokat. Összetettebb feladatok különböző mozgásformák – például járás, mászás, akadályokon történő átlépés vagy ugrás – közötti váltást is igényelhetnek. Kiegészítő kutatási irányként a projekt foglalkozhat Model-Based Diffusion (MBD) módszerekkel, valamint diffúzió által inspirált mintavételezés-alapú MPC-eljárásokkal, például a DIAL-MPC-vel, amelynek alkalmazhatóságát teljes dinamikai modellen alapuló, közvetlen nyomatékszintű irányítással Unitree Go2 roboton is demonstrálták.

A projekt várható eredménye egy szimulációs keretrendszer, amely demonstrálja és értékeli a diffúziós/FM-módszereket négylábú robotok generatív, teljestest-mozgástervezésére összetett környezetben, a legígéretesebb módszerek esetében pedig lehetőséget biztosít valós Unitree Go2 roboton történő kísérleti validációra. A projekt célja annak feltárása, hogy a generatív modellek milyen mértékben képesek a megtanult lokomóciós készségeket korábban nem látott helyzetekben megvalósítható és adaptív mozgásokká kombinálni, illetve milyen előnyökkel és korlátokkal rendelkeznek a hagyományos mozgástervezési módszerekhez képest.

Hallgatói feladatok

• Az elméleti alapok és a kapcsolódó szakirodalom feldolgozása. A diffúziós modellek, a Flow Matching, a kondicionálás és guidance, valamint a megerősítéses tanulás alapjainak megismerése, továbbá ezek mozgásgenerálási, robotlokomóciós, navigációs és tervezési alkalmazásainak áttekintése.

• A négylábú robot mozgástervezési feladatának megfogalmazása. Megfelelő teljestest-mozgás- és csuklószintű referencia-reprezentációk, célfüggvények, robot- és terepkorlátozások, valamint az alacsonyabb szintű szabályozóhoz szükséges interfész definiálása. Unitree Go2 szimulációs környezet és megfelelő referencia-módszerek kialakítása.

• Referencia-mozgásminták generálása megerősítéses tanulással. Speciális irányítási politikák tanítása PPOsegítségével olyan alapvető lokomóciós készségekre, mint a járás, futás, mászás és akadályok leküzdése. A betanított politikák felhasználása változatos teljestest-referenciamozgások generálására és a diffúziós/FM-modellek tanító adathalmazainak előállítására.

• Generatív mozgástervező fejlesztése. Diffúziós vagy FM-alapú, rövid horizontú mozgástervező implementálása, amely a robot aktuális állapota, a kívánt mozgás vagy navigációs cél és a lokális környezet alapján kondicionált, csuklószintű referenciamozgásokat generál. A módszer fokozatos kiterjesztése egyszerű lokomóciós feladatokról összetett terepviszonyokra és a megtanult mozgásformák kombinációira, illetve a közöttük történő átmenetekre.

• A javasolt megközelítés értékelése és továbbfejlesztése. A generált mozgások minőségének, a terepen történő közlekedésnek, az akadályelkerülésnek, a számítási időnek, a robusztusságnak és a korábban nem látott környezetekre történő általánosításnak a vizsgálata. Kiegészítő témaként MBD- vagy DIAL-MPC-alapú mozgásgenerálási és irányítási módszerek vizsgálata.

• Az eredmények dokumentálása és bemutatása. Az elméleti háttér, a kidolgozott módszerek, a szimulációs és esetleges kísérleti eredmények, valamint a diffúziós/FM-alapú generatív mozgástervezés négylábú robotokra történő alkalmazásának előnyeit és korlátait összefoglaló következtetések bemutatása.