Memoria a lungo e breve termine

Nell'ambito dell'apprendimento automatico la memoria a lungo e breve termine (più nota con l'acronimo dall'inglese LSTM, Long short-term memory)^[1] è un tipo di rete neurale ricorrente (RNN) volta a mitigare il problema della scomparsa del gradiente comunemente riscontrato con le RNN tradizionali. Rispetto ad altre RNN, modelli di Markov nascosti e agli altri metodi di apprendimento delle sequenze, il suo vantaggio nella sua relativa insensibilità alla lunghezza dell'intervallo. Essa mira a fornire una memoria a breve termine per RNN che può durare migliaia di intervalli temporali (da qui il nome).^[1] Il nome è stato coniato in analogia con la memoria a lungo termine e la memoria a breve termine e la loro relazione, studiata dagli psicologi cognitivi dall'inizio del secolo scorso.

Un'unità LSTM è composta tipicamente da una cella e tre porte: una di input, una di output^[2] e una di oblio^[3]. La cella ricorda valori a intervalli di tempo arbitrari e le porte regolano il flusso di informazioni in entrata e in uscita dalla cella. Le porte di oblio decidono quali informazioni scartare dallo stato precedente, mappando lo stato precedente e l'input corrente su un valore compreso tra 0 e 1. Un valore (arrotondato) di 1 indica la conservazione delle informazioni, mentre un valore di 0 rappresenta l'eliminazione. Le porte di input decidono quali nuove informazioni memorizzare nello stato corrente della cella, utilizzando lo stesso sistema delle porte di oblio. Le porte di output controllano quali informazioni nello stato corrente della cella emettere, assegnando un valore da 0 a 1 alle informazioni, considerando lo stato precedente e quello corrente. L'emissione selettiva di informazioni rilevanti dallo stato corrente consente alla rete LSTM di mantenere dipendenze utili a lungo termine per effettuare predizioni, sia al passo corrente sia in quelli futuri.

LSTM ha un'ampia gamma di applicazioni nella classificazione,^[4][5] nell'elaborazione dei dati, nell'analisi delle serie temporali, nel riconoscimento vocale,^[6] nella traduzione automatica,^[7] nel rilevamento del parlato, nel controllo dei robot^[8], nei videogiochi,^[9][10] e nell'assistenza sanitaria.^[11]

Voci correlate

• Apprendimento profondo
  • Rete neurale ricorrente
  • Transformer
• Serie temporale