Пристосовування області визначення

Пристосо́вування о́бласті ви́значення (англ. domain adaptation)^[1][2][3] — це область, пов'язана з машинним та передавальним навчанням. Цей сценарій виникає тоді, коли ми маємо на меті навчання з первинного розподілу даних ефективної моделі на іншому (але пов'язаному) цільовому розподілі даних. Наприклад, одна з підзадач поширеної задачі фільтрування спаму полягає в пристосовуванні моделі від одного користувача (первинний розподіл) до нового користувача, який отримує суттєво відмінні електронні листи (цільовий розподіл). Пристосовування області визначення виявилося корисним і для навчання непов'язаних джерел.^[4] Зауважте, що, коли доступно більше одного первинного розподілу, цю задачу називають багатоджерельним пристосовуванням області визначення (англ. multi-source domain adaptation).^[5]

Відмінності між звичайною постановкою машинного навчання, та передавальним навчанням, і позиціювання пристосовування області визначення.

Огляд

Пристосовування області визначення — це здатність застосовувати алгоритм, навчений в одній або декількох «первинних областях визначення» (англ. "source domains"), до іншої (але пов'язаної) «цільової області визначення» (англ. "target domain"). Пристосовування області визначення є підкатегорією передавального навчання. У пристосовуванні області визначення як первинні, так і цільові області визначення мають один і той же простір ознак (але різні розподіли), а передавальне навчання, на відміну від цього, включає також і випадки, коли простір ознак цільової області визначення від первинного простору чи просторів ознак відрізняється.^[6]

Зсув області визначення

Зсув о́бласті ви́значення (англ. domain shift),^[7] або розпо́діловий зсув (англ. distributional shift),^[8] — це зміна в розподілі даних між тренувальним набором даних алгоритму та набором даних, з яким він стикається при розгортанні. Ці зсуви областей визначення є поширеними в практичному застосуванні штучного інтелекту. Звичайні алгоритми машинного навчання часто погано пристосовуються до зсувів областей визначення. Сучасна спільнота машинного навчання має багато різних стратегій намагання досягнення кращого пристосування області визначення.

Приклади

• Алгоритмові, натренованому на новинах, може довестися пристосовуватися до нового набору біомедичних документів.^[9]
• Спамовий фільтр, натренований на певній групі користувачів електронної пошти під час тренування, при розгортанні мусить пристосовуватися до нового цільового користувача.^[10]
• Застосування алгоритмів встановлювання діагнозу за допомогою ШІ, натренованих на мічених даних, пов'язаних із попередніми захворюваннями, до нових немічених даних, пов'язаних із пандемією COVID-19.^[11]
• Раптові соціальні зміни, такі як спалах пандемії, можуть створювати зсув області визначення та спричинювати збої алгоритмів машинного навчання, натренованих на вже застарілих даних про споживачів, і вимагати втручання.^[12][13]

До інших застосувань належать встановлювання положення за Wi-Fi та багато аспектів комп'ютерного бачення.^[6]

Формальний виклад

Нехай ${\displaystyle X}$ є простором входу (або простором опису, англ. input space, description space), і нехай ${\displaystyle Y}$ є простором виходу (або простором міток, англ. output space, label space). Завданням алгоритму машинного навчання є навчитися математичної моделі (гіпотези) ${\displaystyle h:X\to Y}$, здатної приписувати мітку з ${\displaystyle Y}$ прикладові з ${\displaystyle X}$. Навчання цієї моделі відбувається з навчальної вибірки ${\displaystyle S=\{(x_{i},y_{i})\in (X\times Y)\}_{i=1}^{m}}$.

Зазвичай за керованого навчання (без пристосовування області визначення) ми виходимо з того, що ці зразки ${\displaystyle (x_{i},y_{i})\in S}$ витягуються н. о. р. з розподілу ${\displaystyle D_{S}}$ носія ${\displaystyle X\times Y}$ (невідомого та незмінного). Завдання відтак полягає в тім, щоби навчитися (з ${\displaystyle S}$) такої ${\displaystyle h}$, щоби вона припускалася найменшої можливої похибки при міченні нових зразків, що надходять із розподілу ${\displaystyle D_{S}}$ .

Головна відмінність між керованим навчанням та пристосовуванням області визначення полягає в тім, що в другій ситуації ми вивчаємо два різні (але пов'язані) розподіли ${\displaystyle D_{S}}$ і ${\displaystyle D_{T}}$ на ${\displaystyle X\times Y}$^{[джерело?]}. Завдання пристосовування області визначення відтак складається з передавання знань з первинної області визначення ${\displaystyle D_{S}}$ до цільової ${\displaystyle D_{T}}$. Метою відтак є навчитися такої ${\displaystyle h}$ (з мічених або немічених зразків, що надходять із двох областей визначення), щоби вона припускалася якомога меншої похибки на цільовій області визначення ${\displaystyle D_{T}}$^{[джерело?]}.

Головною проблемою є наступна: якщо модель навчається з первинної області визначення, якою буде її здатність правильно мітити дані, що надходять із цільової області визначення?

Різні типи пристосовування області визначення

Існує кілька контекстів пристосовування області визначення. Вони відрізняються інформацією, яка враховується для цільової області визначення.

1. Спонта́нне пристосо́вування о́бласті ви́значення (англ. unsupervised domain adaptation): навчальна вибірка містить набір мічених первинних зразків, набір немічених первинних зразків, та набір немічених цільових зразків.
2. Напівавтомати́чне присто́совування о́бласті ви́значення (англ. semi-supervised domain adaptation): у цій ситуації ми також розглядаємо «невеликий» набір мічених цільових зразків.
3. Керо́ване пристосо́вування о́бласті ви́значення (англ. supervised domain adaptation): усі зразки, що розглядаються, мають бути міченими.

Чотири алгоритмічні принципи

Алгоритми перезважування

Мета полягає в перезважуванні первинної міченої вибірки таким чином, щоби вона «виглядала як» цільова вибірка (з точки зору розгляданої міри похибки).^[14][15]

Ітеративні алгоритми

Цей метод для пристосовування полягає в ітеративному «автоматичному міченні» цільових зразків. Принцип є простим:

1. модель ${\displaystyle h}$ навчається з мічених зразків;
2. ${\displaystyle h}$ автоматично мітить деякі цільові зразки;
3. нова модель навчається з нових мічених зразків.

Зауважте, що існують й інші ітеративні підходи, але вони зазвичай потребують мічених цільових зразків.^[16][17]

Пошук спільного простору подань

Метою є знайти або побудувати спільний простір подань (англ. common representation space) для двох областей визначення. Мета полягає в отриманні простору, в якому ці області визначення перебуватимуть близько одна до одної, за умови збереження доброї продуктивності в первинній задачі маркування. Цього можливо досягати за допомогою застосування методів змагального машинного навчання^[en], де подання ознак із вибірок у різних областях визначення заохочуються бути нерозрізненними.^[18][19]

Ієрархічна баєсова модель

Метою є побудувати баєсову ієрархічну модель ${\displaystyle p(n)}$, що є по суті множниковою моделлю для чисел ${\displaystyle n}$, щоби вивести не залежні від області визначення латентні подання, які можуть містити як специфічні для областей визначення, так і глобально спільні латентні множники.^[4]