Apprendimento d'insieme

In statistica e apprendimento automatico, con apprendimento d'insieme (in inglese ensemble learning) si intendono una serie di metodi che usano molteplici modelli o algoritmi per ottenere una migliore prestazione predittiva rispetto a quella ottenuta dagli stessi modelli applicati singolarmente.^[1][2][3] A differenza dell'insieme della meccanica statistica, che si ritiene infinito, tale insieme di modelli alternativi è concreto e finito.

Tipologie

L'apprendimento d'insieme prevede alcune tecniche classiche:

• Bagging: Questa tecnica mira a creare un insieme di modelli aventi la stessa importanza. All'atto della predizione, ciascun modello voterà circa l'esito finale e l'output complessivo sarà il valore medio o la moda (in base al tipo di problema).
  • varianti: Random Forest, Pasting ^[4], Random Subspace^[5], Random Patch ^[6].
• Boosting: A differenza del bagging, ciascun modello influisce sulla votazione finale con un certo peso. Tale peso sarà calcolato in base all'accuratezza di ciascun modello misurata in fase di addestramento.
• Stacking: Mentre nel bagging l'output era il risultato di una votazione, nello stacking viene introdotto un ulteriore classificatore (detto meta-classificatore) che utilizza le predizioni di altri sotto-modelli per apprendere l'ulteriore meta-modello (su dati separati).

Altre tecniche sono le seguenti:^[1]

• Voting ^[7][8]: combina modelli di apprendimento concettualmente diversi e utilizza il voto a maggioranza o la media delle probabilità delle predizioni dei singoli modelli (moda) per predire l'output.
• Arcing (da adaptively resample and combine): variante del bagging con votazione degli esempi pesata in base a errori commessi su di essi. ^[9]
• Cascading: modelli di complessità crescente collegati in cascata.
• Modelli ECOC (error correcting output codes)^[10]: modelli binari di classificazione specializzati in regioni diverse per la predizione di codici binari, messi in corrispondenza con le diverse classi. Ogni classe è rappresentata tramite un codice binario (possibilmente univoco). la matrice che memorizza la posizione/il codice per ciascuna classe costituisce un cifrario progettato per ottimizzare l'accuratezza della classificazione. In fase di addestramento si impara un classificatore per ogni bit del codice. In fase di predizione, i classificatori proiettano i nuovi esempi nello spazio delle classi e si sceglie, infine, quella più vicina (distanza di Hamming).
• Modelli di inferenza bayesiana:^[11] Bayesian model averaging (BMA), Bayesian model Combination (BMC) basati sulle probabilità a posteriori ottenuta considerando tutti i modelli possibili, al variare dei parametri.