3D interaktív környezet/játék fejlesztése Gaussian splatting alapon
Konzulens:
Dr. Vaitkus Márton
Tárgy:
Önálló laboratórium 1 - Irányító és látórendszerek MSc. főspec.
Önálló laboratórium 1 - Vizuális informatika MSc. főspec.
Önálló laboratórium 2 - Irányító és látórendszerek MSc. főspec.
Önálló laboratórium 2 - Vizuális informatika MSc. főspec.
Önálló laboratórium - Szoftverfejlesztés és rendszertervezés specializáció, BSc Info.
Önálló laboratórium - Irányítórendszerek ágazat, BSc Vill.
Projektfeladat mechatronikusoknak
Önálló laboratórium 1 - Vizuális informatika MSc. főspec.
Önálló laboratórium 2 - Irányító és látórendszerek MSc. főspec.
Önálló laboratórium 2 - Vizuális informatika MSc. főspec.
Önálló laboratórium - Szoftverfejlesztés és rendszertervezés specializáció, BSc Info.
Önálló laboratórium - Irányítórendszerek ágazat, BSc Vill.
Projektfeladat mechatronikusoknak
Hallgatói létszám:
4
Folytatás:
Szakdolgozat / Diplomaterv
PhD
TDK dolgozat
PhD
TDK dolgozat
Leírás:
Napjaink egyik úttörőnek számító, igen aktív kutatási területe az ún. Gaussian splatting [1], ahol egy 3D környezetet Gauss-eloszlású, ellipszoid-alakú "splat"-ek halmazaként adunk meg. A 3D modellezsében hazsnált klasszikus reprezentációkkal (pl. poligonhálókkal, vagy pontfelhőkkel) összehasonlítva a Gaussian splatting számos előnnyel bír, például:
- Pusztán RGB képek alapján rekonstruálható vagy a képekhez hasonlóan MI technikákkal automatikusan generálható is.
- Fotorealisztikus minőségű rekonstrukciót lehet általa produkálni, akár komplex, nézeti iránytól függő megjelenéssel (pl. csillanások, tükröződések, részletes textúrák).
- Renderelése GPU-n keresztül - a háromszögek raszterezéséhez hasonló módon - igen hatékonyan (100+ FPS-el) elvégezhető.
A Gaussian splattinghez kapcsolódó kutatások és fejlesztések nagy része ezidáig (ld. [2] gyűjtését) a 3D rekonstrukciós, generatív AI, valamint robotikai alkalmazásokra fókuszált, azonban felmerül a lehetőség, hogy komplett számítógépes játékot, vagy más interaktív (akár VR/AR) környezetet is létrehozzunk Gaussian Splatting segítségével. Ennek kapcsán a Gaussian splatting rekonstrukció és/vagy AI-alapú generálás problémáin felül számos megoldandó feladat elképzelhető:
- Gaussian splatting renderelés integrációja grafikai engine-be (pl. Unity/Unreal vagy saját engine).
- Gaussian splatting modellek animációja / fizikai szimulációja [3].
- Gaussian splatting integrációja AR/VR interfésszel [4],[5].
- Gaussian splatting rekonstrukciók szegmentálása statikus környezetre, dinamikus objektumokra, stb. [6]
- Stb...
A hallgatók érdeklődés függvényében bármilyen kapcsolódó problémán, vagy részfeladaton dolgozhatnak.
Ajánlott előismeretek: Érdeklődés a téma iránt, tapasztalat a számítógépes grafika területén.
Hivatkozások (csak példaképpen, a szakirodalom nagyon gyors ütemben gyarapodik):
[1] Kerbl et al.: 3D Gaussian Splatting for Real-Time Radiance Field Rendering. https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/
[4] https://yingjiang96.github.io/VR-GS/