Multimodálne rozhranie MMI (multimodal interfaces) pre interaktívnu komunikáciu a navigáciu

European Virtual Learning Platform for Electrical and Information Engineering
http://www.techepdia.eu

Tento projekt bol financovaný s podporou Európskej Komisie.
Táto publikácia (dokument) reprezentuje výlučne názor autora a Komisia nezodpovedá za akékoľvek použitie informácií obsiahnutých v tejto publikácii (dokumente).

AUTOR

Juraj Kačur, Gregor Rozinaj, Renata Rybárová

ANOTÁCIA

Multimodálne rozhranie (angl. Multimodal interface - MMI) pozostáva z viacerých tém a modulov, ktoré slúžia pre prirodzenú a intuitívnu komunikáciu so systémom. Všetky dokopy predstavujú funkcionalitu MMI. Základný zoznam modulov, ktoré môžu byť súčasťou multimodálneho rozhrania môžu byť rozpoznanie rečníka, rozpoznanie reči a hlasových povelov, rozpoznanie tvárí, navigácie pomocou gest, navigácia pohybom očí a syntéza reči.

CIELE

Hlavným cieľom tohto výučbového kurzu je oboznámiť študentov so základmi multimodálneho rozhrania a multimodálnymi aplikáciami. Študentovi sú predstavené základné princípy rozpoznávania tváre, identifikácie hovoriaceho, navigácie pomocou hlasových povelov a gest. Koniec modulu je venovaný možnému vyžitiu opísaných modalít v multimodálnej aplikácií.

KĽÚČOVÉ SLOVÁ

Multimodálne rozhranie, multimodálna aplikácia, identifikácia hovoriaceho, 2D/3D rozpoznávanie tvárí, navigácia pomocou gest, rozpoznanie reči, identifikácia hovoriaceho

LITERATÚRA

[1] Probst, Michael; Schumann, Sebastian; Rozinaj, Gregor; Minarik, Ivan; Rybárová, Renata; Oravec, Miloš. EVALUATION: Final Multimodal Interface for User/Group-Aware Personalisation, Deliverable 5.5.1, available at http://www.hbb-next.eu/index.php/documents, Decmber 2013.
[2] Vančo, Marek; Minárik, Ivan; Rybárová, Renata. Evolution of static gesture recognition. In: Redžúr 2014 proceedings; 8th International Workshop on Multimedia and Signal Processing; 13 May 2014, Dubrovnik, Croatia. Bratislava: Nakladateľstvo STU, 2014, p. 41-44. ISBN 978-80-227-4162-0.
[3] Rautaray, Siddhart S., Agrawal, Anupam. Vision based hand gesture recognition for human computer interaction: a survey, Springer, 2012, pp 106-113. ISBN 978-3-642-27386-5
[4] Kristensson, Per Ola; Denby, L.C. Continuous recognition and visualization of pen strokes and touch-screen gestures. In Proceedings of the Eighth Eurographics Symposium on Sketch-Based Interfaces and Modeling, 2011, pp. 95-102.
[5] Gülbahar, Mark; Probst, Michael; Schumann, Sebastian; Rozinaj, Gregor; Minarik, Ivan; Rybárová, Renata; Oravec, Miloš. Design and Protocol: Intermediate Multimodal Interface and Context Aware Recommendation Engine, Deliverable 5.3.1, available at http://www.hbb-next.eu/index.php/documents, October 2012.
[6] T. Kinnunen, H. Li, An overview of text-independent speaker recognition: from features to supervectors, Speech communication, Vol. 52, pp. 12-40, Elsevier, 2010
[7] Benesty J., Sondhi M. M., Huang Y., Springer Handbook of Speech Processing, Springer-Verlag, ISBN 978-3-540-49125-5, 2008

1.0