Boosting

En l'aprenentatge automàtic, el boosting (reforç) és un metaalgoritme de conjunt per reduir principalment el biaix, i també la variància^[1] en l'aprenentatge supervisat, i una família d'algorismes d'aprenentatge automàtic que converteixen els aprenents febles en forts.^[2] El reforç es basa en la pregunta plantejada per Kearns i Valiant (1988, 1989):^[3][4] "Pot un conjunt d'aprenents febles crear un sol aprenent fort?" Un alumne feble es defineix com un classificador que només està lleugerament correlacionat amb la classificació veritable (pot etiquetar exemples millor que endevinar aleatòriament). En canvi, un aprenent fort és un classificador que està ben correlacionat arbitràriament amb la veritable classificació.

Una il·lustració que presenta la intuïció que hi ha darrere de l'algorisme de reforç, que consisteix en els aprenents paral·lels i el conjunt de dades ponderades.

La resposta afirmativa de Robert Schapire en un article de 1990^[5] a la pregunta de Kearns i Valiant ha tingut ramificacions significatives en l'aprenentatge automàtic i les estadístiques, sobretot conduint al desenvolupament del reforç.^[6]

Classificació en cinc classes. El classificador generat per reforç només es classifica en dues classes.

Quan es va introduir per primera vegada, el problema de reforç d'hipòtesis es referia simplement al procés de convertir un aprenent feble en un aprenent fort. "Informalment, [el problema de reforç d'hipòtesis] es pregunta si un algorisme d'aprenentatge eficient […] que produeix una hipòtesi el rendiment de la qual és només lleugerament millor que l'endevinació aleatòria [és a dir, un aprenent feble] implica l'existència d'un algorisme eficient que produeix una hipòtesi d'arbitrària. precisió [és a dir, un aprenent fort]".^[7] Els algorismes que aconsegueixen l'augment d'hipòtesis ràpidament es van conèixer simplement com a "boosting". L'arc de Freund i Schapire (Adapt[at]ive Resampling and Combining),^[8] com a tècnica general, és més o menys sinònim de boosting.^[9]

La principal variació entre molts algorismes de reforç és el seu mètode per ponderar els punts de dades d'entrenament i les hipòtesis. AdaBoost és molt popular i el més significatiu històricament, ja que va ser el primer algorisme que es va poder adaptar als aprenents febles. Sovint és la base de la cobertura introductòria de l'impuls en els cursos universitaris d'aprenentatge automàtic.^[10] Hi ha molts algorismes més recents com LPBoost, TotalBoost, BrownBoost, xgboost, MadaBoost, LogitBoost i altres. Molts algorismes de reforç s'ajusten al marc AnyBoost,^[11] que mostra que l'impuls realitza un descens de gradient en un espai de funcions utilitzant una funció de cost convexa.