Сурогатна модель

Сурогатна модель — це інженерний метод, який використовується, коли результат, що цікавить, неможливо легко виміряти або обчислити, тому замість цього використовується приблизна математична модель результату. Більшість задач інженерного проєктування вимагають експериментів та/або моделювання для оцінки функцій цілей проєктування та обмежень як функції конструктивних змінних. Наприклад, щоб знайти оптимальну форму аеродинамічного профілю для крила літака, інженер моделює повітряний потік навколо крила для різних змінних форми (наприклад, довжини, кривизни, матеріалу тощо). Однак для багатьох реальних задач одне моделювання може зайняти багато хвилин, годин або навіть днів. В результаті, такі рутинні завдання, як оптимізація проєкту, дослідження простору проєкту, аналіз чутливості та аналіз «що, якщо», стають неможливими, оскільки вони вимагають тисяч або навіть мільйонів оцінок моделювання.

Один із способів полегшити це навантаження — це побудова апроксимаційних моделей, відомих як сурогатні моделі, метамоделі або емулятори, які максимально точно імітують поведінку симуляційної моделі, водночас обчислювально дешевші для оцінки. Сурогатні моделі будуються з використанням підходу «знизу вгору», керованого даними. Точна внутрішня робота коду симуляції не вважається відомою (або навіть зрозумілою), спираючись виключно на поведінку вхідних і вихідних даних. Модель будується на основі моделювання реакції симулятора на обмежену кількість інтелектуально вибраних точок даних. Цей підхід також відомий як поведінкове моделювання або моделювання чорної скриньки, хоча термінологія не завжди є послідовною. Коли залучена лише одна проєктна змінна, процес відомий як апроксимація кривої.

Хоча використання сурогатних моделей замість експериментів та симуляцій в інженерному проєктуванні є більш поширеним, сурогатне моделювання може використовуватися в багатьох інших галузях науки, де є дорогі експерименти та/або оцінки функцій.

Цілі

Наукова проблема сурогатного моделювання полягає в створенні сурогату, який є максимально точним, використовуючи якомога менше оцінок симуляції. Процес складається з трьох основних кроків, які можуть чергуватися ітеративно:

• Вибір вибірки (також відомий як послідовне проєктування, оптимальне планування експерименту (ОЕД) або активне навчання)
• Побудова сурогатної моделі та оптимізація параметрів моделі (тобто компроміс між зміщенням та дисперсією)
• Оцінка точності сурогату.

Точність сурогату залежить від кількості та розташування вибірок (дорогих експериментів або симуляцій) у просторі проєктування. Різні методи проєктування експериментів (DOE) враховують різні джерела помилок, зокрема помилки, спричинені шумом у даних або помилками, спричиненими неправильною сурогатною моделлю.

Типи сурогатних моделей

Популярні підходи до моделювання сурогатів: поліноміальні поверхні відгуку; кригінг; більш узагальнені баєсівські підходи;^[1] градієнтно-покращений кригінг (GEK); радіальна базисна функція; метод опорних векторів; просторове відображення;^[2] штучні нейронні мережі та баєсівські мережі.^[3] Інші методи, нещодавно досліджені, включають моделювання сурогатів Фур'є^[4][5] та Random forest.^[6]

Для деяких задач природа істинної функції апріорі не відома, і тому незрозуміло, яка сурогатна модель буде найточнішою. ​​Крім того, немає єдиної думки щодо того, як отримати найнадійніші оцінки точності заданого сурогату. Багато інших задач мають відомі фізичні властивості. У цих випадках зазвичай використовуються фізичні сурогати, такі як моделі на основі просторового відображення.^[2][7]

Властивості інваріантності

Нещодавно запропоновані сурогатні моделі на основі порівняння (наприклад, методи опорних векторів) для еволюційних алгоритмів, таких як CMA-ES, дозволяють зберегти деякі властивості інваріантності оптимізаторів, що допомагають сурогати:^[8]

Інваріантність відносно монотонних перетворень функції (масштабування) Інваріантність відносно ортогональних перетворень простору пошуку (обертання)

Застосування

Можна провести важливу різницю між двома різними застосуваннями сурогатних моделей: оптимізація проєктування та апроксимація простору проєктування (також відома як емуляція).

В оптимізації на основі сурогатної моделі початковий сурогат будується з використанням деяких доступних бюджетів дорогих експериментів та/або симуляцій. Решта експериментів/симуляцій проводяться для проєктів, які, за прогнозами сурогатної моделі, можуть мати багатообіцяльні результати. Процес зазвичай має форму наступної процедури пошуку/оновлення.

• Початковий вибір вибірки (експерименти та/або симуляції, які будуть проведені)
• Побудова сурогатної моделі
• Пошук сурогатної моделі (модель можна шукати ретельно, наприклад, за допомогою генетичного алгоритму, оскільки її оцінка дешева)
• Запуск та оновлення експерименту/моделювання в новому місці (місцях), знайденому за допомогою пошуку, та додавання до вибірки
• Повторення кроків з 2 по 4 до закінчення часу або доки дизайн не стане «достатньо хорошим».

Залежно від типу використаного сурогату та складності проблеми, процес може сходитися до локального або глобального оптимуму, або, можливо, взагалі не сходитися до жодного.^[9]

У наближенні простору проєктування зацікавлений не в пошуку оптимального вектора параметрів, а радше в глобальній поведінці системи. Тут сурогат налаштовується так, щоб максимально точно імітувати базову модель у всьому просторі проєктування. Такі сурогати є корисним і дешевим способом отримати уявлення про глобальну поведінку системи. Оптимізація все ще може відбуватися як крок постобробки, хоча без процедури оновлення (див. вище) знайдений оптимум не може бути перевірений.

Програмне забезпечення для сурогатного моделювання

Інструментарій сурогатного моделювання (SMT: https://github.com/SMTorg/smt) – це пакет Python, який містить колекцію методів сурогатного моделювання, методів вибірки та функцій бенчмаркінгу. Цей пакет надає бібліотеку сурогатних моделей, яка проста у використанні та полегшує реалізацію додаткових методів. SMT відрізняється від існуючих бібліотек сурогатного моделювання своїм акцентом на похідних, включаючи навчальні похідні, що використовуються для градієнтно-покращеного моделювання, прогнозні похідні та похідні відносно навчальних даних. Він також включає нові сурогатні моделі, які недоступні в інших місцях: кригінг за допомогою методу часткових найменших квадратів та мінімізуючу енергію сплайн-інтерполяцію.^[10]

Бібліотека Python SAMBO Optimization підтримує послідовну оптимізацію з довільними моделями, з вбудованими моделями на основі дерев та моделями Гауссових процесів.^[11]

Surrogates.jl — це пакет Julia, який пропонує такі інструменти, як випадкові ліси, радіально-базисні методи та кригінг.