Loading AI tools
De Wikipédia, l'encyclopédie libre
L'adaptation de domaine[1],[2],[3],[4],[5] (domain adaptation en anglais) est un champ de recherche de l'apprentissage automatique, et plus précisément de l'apprentissage par transfert. L'objectif est d'effectuer une tâche d'adaptation d'un système d'apprentissage d'un domaine (une distribution de probabilité) source vers un domaine (une distribution de probabilité) cible. Lorsque plusieurs domaines sources sont disponibles, on parle alors d’adaptation de domaine multi-sources[6].
Soit l'espace d'entrée ou de description des données et l'espace de sortie ou l'ensemble d'étiquetage. L'objectif en apprentissage automatique est d'apprendre un modèle mathématique (une hypothèse) permettant d'affecter une étiquette à une donnée. Ce modèle est appris à partir d'un échantillon d'apprentissage .
En apprentissage supervisé classique (sans adaptation de domaine), on suppose que les exemples sont tirés i.i.d. selon une distribution sur (fixe et inconnue). Le but est alors d'apprendre (à partir de ) de telle sorte qu'il étiquette au mieux de nouvelles données issues de la distribution (autrement dit qu'il commette le moins d'erreurs possible sur ).
La principale différence entre l’apprentissage supervisé classique et l’adaptation de domaine réside dans l’étude de deux distributions et différentes sur . La tâche d’adaptation consiste à transférer des connaissances du domaine source vers le domaine cible . L'objectif est alors d'apprendre (à partir d'échantillons étiquetés ou non issus des deux domaines) tel qu'il étiquette au mieux de nouvelles données issues du domaine cible .
La question majeure soulevée par ce problème est la suivante : si un modèle a été appris à partir d'un domaine source, quelle sera sa capacité à étiqueter correctement des données provenant du domaine cible ?
On distingue différents contextes d'adaptation de domaine. Ils diffèrent par l'information dont on dispose pour la tâche cible.
Le but est de repondérer l'échantillon étiqueté source de telle sorte qu'il ressemble le plus possible à l'échantillon cible (au sens de la mesure d'erreur considérée)[7],[8].
Une méthode pour adapter consiste à itérativement "auto-étiqueter" les données cibles. Le principe est simple :
D'autres méthodes itératives sans auto-étiquetage existent dans la littérature, mais requièrent généralement des données étiquetées cibles.
Il est courant dans la littérature de rechercher ou de construire un espace de représentation commun aux deux domaines [9],[10]. En effet, si on réussit à plonger les deux distributions de nos domaines dans un espace où elles semblent similaires, un transfert d'apprentissage de la source vers la cible peut avoir lieu en entraînant un modèle avec la nouvelle représentation de la source.
Aujourd'hui, il y a une tendance à créer cet espace invariant pendant la phase d'entraînement d'un réseau de neurones via le mécanisme de rétropropagation du gradient. Cela est possible en utilisant notamment un coût d'adaptation modélisant une distance entre les deux distributions des domaines. Le coût globale à minimiser devient alors la somme d'un coût d'apprentissage grâce auquel le réseau va apprendre avec les données étiquetées, et d'un coût d'adaptation qui va encourager la création d'un espace invariant pour les deux domaines dans lequel le réseau va les plonger avant d'effectuer sa tâche (typiquement classification).
Pour rechercher cet espace invariant, le coût d'adaptation doit satisfaire en pratique trois contraintes :
Dans la littérature, il existe de nombreux candidats qui répondent à ces conditions. Actuellement, il y a une tendance à l’utilisation de distances basées sur des noyaux reproduisant[10] ou bien dérivées de la théorie du transport optimal[11].
Seamless Wikipedia browsing. On steroids.
Every time you click a link to Wikipedia, Wiktionary or Wikiquote in your browser's search results, it will show the modern Wikiwand interface.
Wikiwand extension is a five stars, simple, with minimum permission required to keep your browsing private, safe and transparent.