Generatív világ modellezés és alkalmazásai
Supervisor:
Dr. Vaitkus Márton
Subject:
Project Laboratory 1 - Biomedical engineering, MSc Bio.
Project Laboratory 2 - Biomedical engineering, MSc Bio.
Project Laboratory 1 - Control and vision systems, MSc Elec.
Project Laboratory 1 - Visual informatics, MSc IT.
Project Laboratory 2 - Control and vision systems, MSc Elec.
Project Laboratory 2 - Visual informatics, MSc IT.
Project Laboratory - Control systems study specialization, BSc Elec.
Project Laboratory - Software development study specialization, BSc IT.
Teamwork Project for Mechatronics Engineers
Project Laboratory 1 - AI computer scientist MSc
Project Laboratory 2 - AI computer scientist MSc
Project Laboratory 2 - Biomedical engineering, MSc Bio.
Project Laboratory 1 - Control and vision systems, MSc Elec.
Project Laboratory 1 - Visual informatics, MSc IT.
Project Laboratory 2 - Control and vision systems, MSc Elec.
Project Laboratory 2 - Visual informatics, MSc IT.
Project Laboratory - Control systems study specialization, BSc Elec.
Project Laboratory - Software development study specialization, BSc IT.
Teamwork Project for Mechatronics Engineers
Project Laboratory 1 - AI computer scientist MSc
Project Laboratory 2 - AI computer scientist MSc
Students count:
3
Continue:
Szakdolgozat / Diplomaterv
PhD
TDK dolgozat
PhD
TDK dolgozat
Description:
Napjainkban a generatív modellezés töretlen fejlődésének lehetünk tanúi: a kurrens mélytanulás-alapú módszerekkel korábban példátlan minőségű képek, hangok vagy videók generálása vált lehetségessé. A "statikus" tartalom előállításon túlmutatóan már dinamikus, vezérelt generálás is lehetséges - ezt szokás "világmodellnek" (world model) is nevezni. [1][2][3][4][5]
![1803.10122] World Models](https://ar5iv.labs.arxiv.org/html/1803.10122/assets/assets/world_model_comic.jpeg)
Forrás: [1]
A "világmodell" fogalma elvileg bármilyen a "világról" (akár egy konkrét behatárolt környezetről, feladatról, játékról stb.) alkotott modellt magába foglal, aminek a segítségével szimulálhatjuk a jövőbeli eseményeket, ezáltal pl megjósolhatjuk az egyes cselekvések hatását - függetlenül attól, hogy explicit képsorozatok, vagy mondjuk abszrakt "látens" leírók formájában reprezentáljuk a világ aktuális vagy jósolt állapotait. [1][6] Nem véletlen, hogy a mesterséges intelligencia és robotika kurrens kutatási területein gyakran központi szerepet játszanak a világmodellek különböző fajtái. [7]
Forrás: NVIDIA
A hallgató egy a témavezetővel közösen szabadon választott témában kutatodhat, összehasonlíthat különböző módszereket, vagy alkalmazhatja a generatív/világmodellek valamilyen fajtáját különböző gyakorlati problémák megoldására [6,8,9].
Hivaktozások:
[1] Ha, Schmidhuber: World Models.
[2] OpenAI: Video generation models as world simulators (Sora).
[3] Google DeepMind: Genie 3: A new frontier for world models.
[4] Wayve GAIA: Generative AI for video generation and simulation.
[5] Waymo: The Waymo World Model.
[6] LeCun: A Path Towards Autonomous Machine Intelligence.
[7] Awesome World Models (Github)
[8] Chi et al: Diffusion Policy
[9] Baek et al.: Generative Recursive Reasoning