最佳化指從一組可選擇的方案中,根據一定標準選擇最佳方案的過程,往往要在特定情況下最大化或最小化某一特定函數或變數。[1]一般分為離散最佳化、連續最佳化兩個子領域。最佳化問題出現在電腦科學、工程學[2]到運籌學、經濟學等所有定量學科中,幾百年來求解方法的發展一直受到數學界的關注。[3]
在更一般的方法中,最佳化問題往往要系統地選擇輸入值、計算函數值以最大化或最小化某實函數。將最佳化理論與技術推廣到其他的表述,構成了應用數學的一個分支。更一般地說,最佳化包括在給定定義域(或輸入)的情形下,找到某目標函數的「最佳可達值」。