Systém rozpoznávania tvárí pracuje zvyčajne v dvoch hlavných fázach. Prvá fáza je proces trénovania a druhý je klasifikácia používateľov. Moderné metódy rozpoznávania tváre správne fungujú ak je k dispozícii vo fáze trénovania až 10 snímok jednej osoby. Veľa rôznych techník bolo vyvinutých pre rozpoznanie tváre iba z jedného obrazu danej osoby. Trénovacia fáza by mala byť plne automatizovaná a používatelia ju musia byť schopní ovládať. Tréningový proces používa algoritmy zhlukovania (clustering algoritmy).
Hlavným cieľom všetkých zhlukovacích (clustering) algoritmov je vytvoriť zhluk (cluster) alebo triedu vo vstupnom dátovom súbore. Existuje mnoho algoritmy zhlukovania. Tieto algoritmy môžu byť rozdelené do dvoch skupín: deliace a hierarchické algoritmy [5].
Ako príklad zhlukovacieho algoritmu môžeme spomenúť K-means algoritmus. Ďalším algoritmom na vytvorenie zhlukov je tzv. samorganizujúca mapa - self-organizing map (SOM), patriaca k neurónovým sieťam alebo algoritmus priestorového zhlukovania založený na hustote prvkov (density-based spatial clustering of applications with noise - DBSCAN).
Pre klasifikáciu príznakov získaných z tvárí môžeme spomenúť dva spôsoby v závislosti od počtu trénovacích snímok a počtu identít použitých v rámci systému: