MMI (multimodale Schnittstellen) für die interaktive Kommunikation und Navigation

PROJEKT

European Virtual Learning Platform for Electrical and Information Engineering
http://www.techepdia.eu

Dieses Projekt wurde mit Unterstützung der Europäischen Kommission finanziert. Die Verantwortung für den Inhalt dieser Veröffentlichung (Mitteilung) trägt allein der Verfasser; die Kommission haftet nicht für die weitere Verwendung der darin enthaltenen Angaben.

AUTHOR

Juraj Kačur, Gregor Rozinaj, Renata Rybárová

ÜBERSETZT (VON)

Radoslav Vargic

ZUSAMMENFASSUNG

Das Multimodal Interface (Eng Multimodal-Schnittstelle -. MMI) besteht aus mehreren Themen und Modulen, die für die natürliche und intuitive Kommunikation mit dem System verwendet werden. Alle zusammen stellen die MMI-Funktionalität dar. Zu den Modulen, die Teil der multimodalen Schnittstelle sein können, gehören: Sprechererkennung, Sprach- und Befehlserkennung, Gesichtserkennung, Gesten Navigation, Auge Navigation und Sprachsynthese.

ZIELE

Das Hauptziel des Moduls ist es, in die Grundlagen der multimodalen Schnittstellen und multimodalen Anwendungen einzuführen. Die Studierenden werden mit den Grundprinzipien der Gesichtserkennung, Sprechererkennung, Navigation über Sprachbefehle und Gesten vertraut gemacht. Am Modulende wird ein möglicher Einsatz der behandelten Module in Multimedia-Anwendungen beschrieben.

SCHLÜSSELWÖRTER

Multimodale Schnittstelle, multimodale Anwendung, Benutzeridentifikation, 2D / 3D-Gesichtserkennung, Gesten Navigation, Spracherkennung, Sprecheridentifikation.

LITERATUR

[1] Probst, Michael; Schumann, Sebastian; Rozinaj, Gregor; Minarik, Ivan; Rybárová, Renata; Oravec, Miloš. EVALUATION: Final Multimodal Interface for User/Group-Aware Personalisation, Deliverable 5.5.1, available at http://www.hbb-next.eu/index.php/documents, Decmber 2013.
[2] Vančo, Marek; Minárik, Ivan; Rybárová, Renata. Evolution of static gesture recognition. In: Redžúr 2014 proceedings; 8th International Workshop on Multimedia and Signal Processing; 13 May 2014, Dubrovnik, Croatia. Bratislava: Nakladateľstvo STU, 2014, p. 41-44. ISBN 978-80-227-4162-0.
[3] Rautaray, Siddhart S., Agrawal, Anupam. Vision based hand gesture recognition for human computer interaction: a survey, Springer, 2012, pp 106-113. ISBN 978-3-642-27386-5
[4] Kristensson, Per Ola; Denby, L.C. Continuous recognition and visualization of pen strokes and touch-screen gestures. In Proceedings of the Eighth Eurographics Symposium on Sketch-Based Interfaces and Modeling, 2011, pp. 95-102.
[5] Gülbahar, Mark; Probst, Michael; Schumann, Sebastian; Rozinaj, Gregor; Minarik, Ivan; Rybárová, Renata; Oravec, Miloš. Design and Protocol: Intermediate Multimodal Interface and Context Aware Recommendation Engine, Deliverable 5.3.1, available at http://www.hbb-next.eu/index.php/documents, October 2012.
[6] T. Kinnunen, H. Li, An overview of text-independent speaker recognition: from features to supervectors, Speech communication, Vol. 52, pp. 12-40, Elsevier, 2010
[7] Benesty J., Sondhi M. M., Huang Y., Springer Handbook of Speech Processing, Springer-Verlag, ISBN 978-3-540-49125-5, 2008

1.0