Moderne Anwendungsforschung ist auf natürliche multimodale Schnittstellen und deren Integration in das Multimedia-System für den Alltag fokussiert.
Die Verwendung von multimodalen Schnittstellen ist nicht nur auf das TV-System beschränkt, sondern hat viele andere Anwendungsgebiete.
Die Vision der zukünftigen Anwendungen und System ist nicht nur, den Fernseher und den Zugang zu Multimedia-Inhalte zu steuern, sondern ein System zu bauen, das Benutzer-Gewohnheiten und ihre Vorlieben und Interessen kennt. Ein solches System kann ein intelligenter Concierge des Hauses sein und dieser kann weiterte Verbindungen zwischen verschiedenen Dienstleistungen anbieten z.B. Einkaufen, während Sie, Voten oder ein digitaler Türsteher.
Für die bestmögliche Nutzung von multimodalen Schnittstellen, ist es wichtig zu wissen, welche Modalität mit welcher Aktion verbunden ist, und was auszuführen ist.
Für die Eingabe von Text wäre eine Eingabe durch Gesten schwierig, zeitaufwendig und unbequem, kann aber leichter und schneller mit Spracherkennung ausgeführt werden. Es ist also notwendig, eine Integrationsplattform einzuführen, die Daten für die Anwendungen liefern würden.
Einfaches Beispiel für ein mögliches Szenario: Die MMI-Steuerung für TV zeigt eine Liste der Benutzer, die wurden durch ein Sprach- oder Gesichtserkennungs-Module identifiziert. Nur Benutzern in dieser Liste wird erlaubt, TV-Anwendungen mit einem vordefiniertem Satz von Gesten, Sprachbefehlen oder andere Modalitäten zu steuern. Wenn der Benutzer den Raum verlässt, wird er automatisch aus der Liste entfernt.
Der andere Teil der Anwendung zeigt empfohlene Kanäle. Nach den Sehgewohnheiten des Benutzers, zeigt das System Empfehlungen, die am besten zu allen Benutzern vor dem TV passen.
Mit Streichgesten es ist möglich die Artikel in der Liste abzuspielen oder zu stoppen. Einige der empfohlenen Kanäle können gesperrt sein. Es bedeutet, dass sie diese Benutzer ohne Erlaubnis nicht abspielen können, bis sie das Geheimmuster eingeben. Geheimmuster werden durch dynamische Gesten ausgedrückt.