Transformer modellek belső áramköreinek felhasználás-specifikus
Supervisor:
Barcza Bende
Subject:
Project Laboratory 1 - Biomedical engineering, MSc Bio.
Project Laboratory 2 - Biomedical engineering, MSc Bio.
Project Laboratory 1 - Control and vision systems, MSc Elec.
Project Laboratory 1 - Visual informatics, MSc IT.
Project Laboratory 2 - Control and vision systems, MSc Elec.
Project Laboratory 2 - Visual informatics, MSc IT.
Project Laboratory - Control systems study specialization, BSc Elec.
Project Laboratory - Software development study specialization, BSc IT.
Teamwork Project for Mechatronics Engineers
Project Laboratory 2 - Biomedical engineering, MSc Bio.
Project Laboratory 1 - Control and vision systems, MSc Elec.
Project Laboratory 1 - Visual informatics, MSc IT.
Project Laboratory 2 - Control and vision systems, MSc Elec.
Project Laboratory 2 - Visual informatics, MSc IT.
Project Laboratory - Control systems study specialization, BSc Elec.
Project Laboratory - Software development study specialization, BSc IT.
Teamwork Project for Mechatronics Engineers
Students count:
4
Continue:
Szakdolgozat / Diplomaterv
TDK dolgozat
TDK dolgozat
Description:
A Transformer architektúra a mesterséges intelligenciát alkalmazó minden területeket hatalmas áttöréseket hozott, azok kiemelkedő hatékonyságának köszönhetően. Azonban ahogy a modell paramétereinek száma jelentősen megugrott, azok felügyelhetősége és értelmezhetősége is egyre nehézkesebbé vált. Az egyik nagyon elterjedt modell szolgáltató, Anthropic által kiadott publikáció ennek a limitációnak menedzselésére mutatta be a Transformer modellekben felhasználás-specifikusan megtalálható úgynevezett "áramkörkövetést", link.
Az áramkörök kialakulása segít vizsgálni, hogy az adott alkalmazáshoz mely paraméterek a fontosak, ezzel manipulálható a modell attól függően, hogy milyen viselkedési tulajdonságát szeretnénk "erősíteni vagy gyengíteni".