V súčasnej dobe je najrozšírenejšie rozhranie slúžiace na komunikáciu človeka s počítačom klávesnica, myš alebo dotykový displej. Tieto zariadenia predstavujú adaptáciu ľudí na úroveň počítačov viac ako prirodzený spôsob komunikácie. V posledných niekoľkých rokoch sa začali objavovať požiadavky ľudí na potrebu komunikovať s počítačmi rovnakým spôsobom ako medzi sebou: rečou, mimikou a gestami. Takto dokážu ľudia preniesť oveľa viac informácií než použitím iba periférnych zariadení. To nás privádza k pojmu multimodálne rozhranie (MMI).
Multimodálne rozhranie sa skladá z niekoľkých oblastí a modulov, ktoré slúžia na prirodzenú a používateľsky prívetivú komunikáciu so systémom. Spolu tieto moduly predstavujú funkcie MMI. Súčasťou MMI môžu byť tieto moduly:
Všeobecne sa architektúra multimodálneho rozhrania skladá z niekoľkých vrstiev. Fyzická vrstva predstavuje hardvérové vstupné a výstupné zariadenia, ktoré umožňujú interakciu s okolím. Multimodálne údaje poskytnuté vstupnými zariadeniami (kamery, senzory, mikrofón, atď.) sú spracované paralelne každým modulom zvlášť (moduly sú nad fyzickou vrstvou, táto vrstva sa nazýva vrstvou modalít) . MMI kontrolér (na vrstve MMI) zbiera výstupné dáta zo všetkých modulov, vyhodnocuje a spája ich do jedného výstupného dátového toku. Výsledný tok informácií obsahuje informácie o používateľoch a autorizácií ich požadovaných akcií. Ten sa prenesie do aplikačnej vrstvy.