Algorithme UCB

En intelligence artificielle, plus précisément en apprentissage par renforcement, l'algorithme UCB (pour Upper Confidence Bounds) est une stratégie pour le problème du bandit manchot, qui consiste à exploiter les choix fructueux et à explorer les choix peu explorées jusqu'à présent. Il a été proposé par P. Auer en 2002 ^[1].

Principe

Considérons un agent, qui à chaque instant, doit choisir une action (tester un médicament A, tester un médicament B, etc.). L'agent ne connaît pas l'effet des actions (par exemple, il ne sait pas si le médicament A est efficace, etc.). Après avoir exécuté une action, il observe son effet et reçoit une récompense (par exemple, il se rend compte que le médicament A soigne). L'algorithme UCB consiste à choisir l'action a à l'instant t qui maximise la quantité

${\displaystyle Q_{t}(a)+c{\sqrt {\frac {\log t}{N_{t}(a)}}}}$

où ${\displaystyle Q_{t}(a)}$ est la moyenne des récompenses obtenues en exécutant a, c est une constante, ${\displaystyle N_{t}(a)}$ est le nombre de fois que l'action a a été choisie jusqu'à l'instant t.

Cette algorithme possède une complexité temporelle maximale :

${\displaystyle O({\sqrt {kT\log(T)}})}$^[2]

Exemple

Extensions

L'algorithme PUCT est une variante de cette stratégie, il permet d'améliorer la complexité temporelle maximale grâce à un entrainement préalablement effectué sur un jeu de donné similaire. Cet algorithme est notamment utilisé dans le programme d'échec Leela Chess Zero^[3], ou sous une version modifiée dans AlphaZero^[4].

Voir aussi

• Recherche arborescente Monte Carlo, qui utilise le même principe de choix pour explorer un arbre