Stacking (apprendimento automatico)

Nell'apprendimento automatico, lo stacking (detto anche, per esteso, stacked generalization) è una tecnica di apprendimento d'insieme che comporta l'addestramento di un modello atto a combinare predizioni fornite attraverso più algoritmi di apprendimento diversi fra loro ^[1]. Dapprima, si addestrano tutti i diversi modelli usando i dati disponibili, quindi si addestra l'algoritmo di combinazione (stimatore finale) a fare predizioni conclusive utilizzando come input le predizioni fornite dai diversi algoritmi (stimatori di base) oppure usando predizioni tramite convalida incrociata fatte dagli stimatori di base, in modo da prevenire il sovradattamento.^[2] Da un punto di vista teorico, adottando un algoritmo di combinazione arbitrario, lo stacking è in grado di rappresentare qualsiasi tecnica ensemble, sebbene nella pratica si usi spesso come combinatore un modello di regressione logistica.

Tipicamente lo stacking offre prestazioni migliori di ciascun modello base addestrato. ^[1] La tecnica è stata usata con successo per la soluzione di problemi di apprendimento supervisionato (regressione ^[3], classificazione, e apprendimento di distanze ^[4]) e anche non supervisionato (stima di densità ^[5]). Essa è stata impiegata anche per stimare il tasso di errore nel bagging ^[6][7]. È stato dimostrato che lo stacking possa fornire prestazioni superiori rispetto alla mediazione sui modelli bayesiana (BMA) ^[8]. I due migliori modelli in una nota competizione (Netflix Prize) hanno utilizzato il blending, che può essere considerato una forma di stacking ^[9].