最优化指从一组可选择的方案中,根据一定标准选择最佳方案的过程,往往要在特定情况下最大化或最小化某一特定函数或变量。[1]一般分为离散优化、连续优化两个子领域。优化问题出现在电脑科学、工程学[2]到运筹学、经济学等所有定量学科中,几百年来求解方法的发展一直受到数学界的关注。[3]
在更一般的方法中,优化问题往往要系统地选择输入值、计算函数值以最大化或最小化某实函数。将优化理论与技术推广到其他的表述,构成了应用数学的一个分支。更一般地说,优化包括在给定定义域(或输入)的情形下,找到某目标函数的“最佳可达值”。