Neuronové sítě
Algoritmus zpětného šíření (Back-propagation)

Jedním z nejužívanějších algoritmů pro učení neuronových sítí je algoritmus zpětného šíření (Back propagation). Tento algoritmus odstartoval, po téměř dvacetileté odmlce, novou vlnu rozvoje tohoto vědního oboru.

Tento algoritmus je vhodný pro učení vrstevnatých sítí se vstřícným šířením. Učení probíhá metodou učení s učitelem. Podle způsobu, jakým se vypočítávají, je algoritmus iterační. Energetickou funkci minimalizuje na základě gradientu. Proto se také zařazuje mezi gradientní metody učení.

Princip algoritmu zpětného šířeni je podobný běžným učebním metodám používaným ve škole. Když se zjistí nedostatky v látce, musí se doučit. Podobně to funguje i v tomto algoritmu. Neuronovou sít je možno považovat za žáka, zkoušení je možno považovat za mechanismus, ve kterém testujeme, zdali neuronová síť, odpovídá na vstupní vektory přesně podle trénovací množiny. Trénovací množinu považujeme za látku, kterou se má žák naučit. Když zjistíme, že síť nereaguje, jak je potřeba, musíme jí měnit váhové koeficienty tak dlouho, dokud nezačne reagovat správně.

Obr. 7.9: Grafické znázornění učení neuronové sítě

Back-propagation je iterační proces, ve kterém se postupně dostáváme z počátečního stavu do stavu úplného naučení.

Výběr vah z trénovací množiny nemusí být jen sekvenční, často se používá např. náhodný výběr. Volba strategie není pevně dána a spíše patří do kategorie „umění učit“ neuronové sítě. V průběhu učení můžeme určité vzory předkládat častěji k učení, jiné zase méně často atp. Vhodnou strategií můžeme značně ovlivnit rychlost a úspěšnost učení. Globální chybou je v algoritmu míněna např. střední kvadratická odchylka, počítaná přes všechny vzory trénovací množiny. Tato chyba vypovídá o míře naučenosti sítě. Kritérium je mez, při které je proces učení zastaven. Algoritmus zpětného šíření je založen na minimalizaci energie neuronové sítě. Energie je mírou naučenosti, tedy odchylky mezi skutečnými a požadovanými hodnotami výstupů neuronové sítě pro danou trénovací množinu. Je to v podstatě totéž, co globální chyba, ale pro výpočet globální chyby se spíše používají statistická kritéria.

Pro neuronovou síť typu Back-propagation je energetická funkce definována následovně:

(063)

kde n počet výstupů sítě, yi je i-tý výstup a di je i-ty požadovaný výstup. Tato funkce není nic jiného než součet druhých mocnin odchylek. Na učící algoritmus zpětného šíření je nutné se dívat jako na optimalizační metodu, která je schopna pro danou neuronovou síť a trénovací množinu nalézt váhové koeficienty a prahy.

Kohonenova síť je tzv. Samoorganizující tzn. nepotřebuje k trénování učitele. Základním principem jejich funkce je shluková analýza, tj. schopnost algoritmu, sítě, nalézt určité vlastnosti a závislosti přímo v předkládaných trénovacích datech bez přítomnosti nějaké vnější informace, jako je tomu např. u perceptronovské sítě.