Rekurentna neuronska mreža

Rekurentna neuronska mreža (RNN) je jedan od dva široko zastupljena tipa veštačke neuronske mreže, koju karakteriše pravac toka informacija između njenih slojeva. Za razliku od jednosmerne neuronske mreže unapred, ona je dvosmerna veštačka neuronska mreža, što znači da dozvoljava da izlaz iz nekih čvorova utiče na naknadni ulaz u iste čvorove. Njihova sposobnost da koriste unutrašnje stanje (memoriju) za obradu proizvoljnih sekvenci ulaza^[1][2][3] čini ih primenljivim na zadatke kao što su nesegmentirano, povezano prepoznavanje rukopisa^[4] ili prepoznavanje govora.^[5][6] Termin „rekurentna neuronska mreža” se koristi za označavanje klase mreža sa beskonačnim impulsnim odzivom, dok se „konvoluciona neuronska mreža” odnosi na klasu konačnog impulsnog odziva. Obe klase mreža pokazuju vremensko dinamičko ponašanje.^[7] Rekurentna mreža sa konačnim impulsom je usmeren aciklični graf koji se može odmotati i zameniti striktnom neuronskom mrežom unapred, dok je rekurentna mreža beskonačnih impulsa usmereni ciklični graf koji se ne može odmotati.

Dodatna uskladištena stanja i skladište pod direktnom kontrolom mreže mogu se dodati mrežama sa beskonačnim impulsom i mrežama sa konačnim impulsom. Druga mreža ili grafikon takođe mogu zameniti skladište ako to uključuje vremenska kašnjenja ili ima povratne veze. Takva kontrolisana stanja se nazivaju zatvorena stanja ili zatvorene memorije i deo su mreža duge kratkoročne memorije (LSTM) i zatvorenih rekurentnih jedinica. Ovo se takođe naziva neuronska mreža unapred (FNN). Rekurentne neuronske mreže su teoretski kompletne po Tjuringu i mogu pokrenuti proizvoljne programe za obradu proizvoljnih sekvenci ulaza.^[8]