Послідовне квадратичне програмування

Послідовне квадратичне програмування ( SQP ) - це ітеративний метод обмеженої нелінійної оптимізації. Методи SQP використовуються для математичних задач, для яких цільова функція та обмеження двічі безперервно диференціюються.

Методи SQP вирішують послідовність підпроблем оптимізації, кожна з яких оптимізує квадратичну модель об'єкта, що підлягає лінеаризації обмежень. Якщо проблема не обмежена, то метод зводиться до методу Ньютона для пошуку точки, де градієнт об'єкта зникає. Якщо проблема має лише обмеження рівності, то метод еквівалентний застосуванню методу Ньютона до умов оптимальності першого порядку або умов Каруша — Куна — Таккера.

Основи алгоритму

Розглянемо нелінійну задачу програмування даної форми:

${\displaystyle {\begin{array}{rl}\min \limits _{x}&f(x)\\{\mbox{s.t.}}&b(x)\geq 0\\&c(x)=0.\end{array}}}$

Лагранжан для цієї проблеми є ^[1]

${\displaystyle {\mathcal {L}}(x,\lambda ,\sigma )=f(x)-\lambda ^{T}(b(x)-(y_{i})^{2})-\sigma ^{T}c(x),}$

де ${\displaystyle \lambda }$ і ${\displaystyle \sigma }$ є множниками Лагранжа. На ітерації ${\displaystyle x_{k}}$, основний алгоритм послідовного квадратичного програмування визначає відповідний напрямок пошуку ${\displaystyle d_{k}}$ як рішення підпрограми квадратичного програмування

${\displaystyle {\begin{array}{rl}\min \limits _{d}&f(x_{k})+\nabla f(x_{k})^{T}d+{\tfrac {1}{2}}d^{T}\nabla _{xx}^{2}{\mathcal {L}}(x_{k},\lambda _{k},\sigma _{k})d\\\mathrm {s.t.} &b(x_{k})+\nabla b(x_{k})^{T}d\geq 0\\&c(x_{k})+\nabla c(x_{k})^{T}d=0.\end{array}}}$

Зауважимо, що функція ${\displaystyle f(x_{k})}$ у рівнянні вище може бути залишена для проблеми мінімізації, оскільки вона є постійною.

Альтернативні підходи

• Послідовне лінійне програмування
• Послідовне лінійно-квадратичне програмування
• Доповнений метод Лагрангія

Впровадження

Методами SQP були реалізовані такі добре відомі числові середовища, як MATLAB і GNU Octave. Існують також численні бібліотеки програмного забезпечення, в тому числі з відкритим кодом

• SciPy (фактично стандарт для наукового Python) має розв'язувач scipy.optimize.minimize (метод = 'SLSQP').
• NLopt [Архівовано 19 грудня 2017 у Wayback Machine.] (реалізація C / C ++, з численними інтерфейсами, включаючи Python, R, MATLAB / Octave), реалізований Dieter Kraft як частина пакету для оптимального управління та модифікований SG Johnson. ^{[2] [3]}
• LabVIEW
• KNITRO ^[4] (C, C ++, C #, Java, Python, Fortran)
• NPSOL (Фортран)
• SNOPT (Фортран)
• NLPQL (Fortran)
• MATLAB

SuanShu [Архівовано 24 грудня 2019 у Wayback Machine.] (Java)

Див. також

• Алгоритм Хозефі — Ньютона^[fr]
• Метод Ньютона
• Секретний метод