Generatív világ modellezés és alkalmazásai
Konzulens:
Dr. Vaitkus Márton
Tárgy:
Önálló laboratórium 1 - Egészségügyi mérnök, MSc Eü.
Önálló laboratórium 2 - Egészségügyi mérnök, MSc Eü.
Önálló laboratórium 1 - Irányító és látórendszerek MSc. főspec.
Önálló laboratórium 1 - Vizuális informatika MSc. főspec.
Önálló laboratórium 2 - Irányító és látórendszerek MSc. főspec.
Önálló laboratórium 2 - Vizuális informatika MSc. főspec.
Önálló laboratórium - Irányítórendszerek ágazat, BSc Vill.
Önálló laboratórium - Szoftverfejlesztés és rendszertervezés specializáció, BSc Info.
Projektfeladat mechatronikusoknak
Önálló laboratórium 2 - Egészségügyi mérnök, MSc Eü.
Önálló laboratórium 1 - Irányító és látórendszerek MSc. főspec.
Önálló laboratórium 1 - Vizuális informatika MSc. főspec.
Önálló laboratórium 2 - Irányító és látórendszerek MSc. főspec.
Önálló laboratórium 2 - Vizuális informatika MSc. főspec.
Önálló laboratórium - Irányítórendszerek ágazat, BSc Vill.
Önálló laboratórium - Szoftverfejlesztés és rendszertervezés specializáció, BSc Info.
Projektfeladat mechatronikusoknak
Hallgatói létszám:
3
Folytatás:
Szakdolgozat / Diplomaterv
PhD
TDK dolgozat
PhD
TDK dolgozat
Leírás:
Napjainkban a generatív modellezés töretlen fejlődésének lehetünk tanúi: a kurrens mélytanulás-alapú módszerekkel korábban példátlan minőségű képek, hangok vagy videók generálása vált lehetségessé. A "statikus" tartalom előállításon túlmutatóan már dinamikus, vezérelt generálás is lehetséges - ezt szokás "világmodellnek" (world model) is nevezni. [1][2][3][4][5]
![1803.10122] World Models](https://ar5iv.labs.arxiv.org/html/1803.10122/assets/assets/world_model_comic.jpeg)
Forrás: [1]
A "világmodell" fogalma elvileg bármilyen a "világról" (akár egy konkrét behatárolt környezetről, feladatról, játékról stb.) alkotott modellt magába foglal, aminek a segítségével szimulálhatjuk a jövőbeli eseményeket, ezáltal pl megjósolhatjuk az egyes cselekvések hatását - függetlenül attól, hogy explicit képsorozatok, vagy mondjuk abszrakt "látens" leírók formájában reprezentáljuk a világ aktuális vagy jósolt állapotait. [1][6] Nem véletlen, hogy a mesterséges intelligencia és robotika kurrens kutatási területein gyakran központi szerepet játszanak a világmodellek különböző fajtái. [7]
Forrás: NVIDIA
A hallgató egy a témavezetővel közösen szabadon választott témában kutatodhat, összehasonlíthat különböző módszereket, vagy alkalmazhatja a generatív/világmodellek valamilyen fajtáját különböző gyakorlati problémák megoldására [6,8,9].
Hivaktozások:
[1] Ha, Schmidhuber: World Models.
[2] OpenAI: Video generation models as world simulators (Sora).
[3] Google DeepMind: Genie 3: A new frontier for world models.
[4] Wayve GAIA: Generative AI for video generation and simulation.
[5] Waymo: The Waymo World Model.
[6] LeCun: A Path Towards Autonomous Machine Intelligence.
[7] Awesome World Models (Github)
[8] Chi et al: Diffusion Policy
[9] Baek et al.: Generative Recursive Reasoning