神经结构搜索

神经结构搜索 (Neural Architecture Search, NAS) 是一种自动化设计人工神经网络（Artificial Neural Networks, ANN）这种在机器学习领域被广泛运用的模型的技术 ^[1]。 目前，通过神经结构搜索所设计的模型的性能，已经可以达到甚至超过由人工设计的模型 ^{[2] [3]}。 神经结构搜索的方法可以按照搜索空间、搜索策略和性能估计策略三个方面进行分类^[1]：

• 搜索空间（Search Space） 定义了可以设计和优化的人工神经网络种类；
• 搜索策略（Search Strategy） 定义了探索搜索空间的方法；
• 性能估计策略（Performance Estimation Strategy） 通过一个潜在神经网络的结构来评估其性能（不一定构建并训练这个网络）。

神经结构搜索与超参数优化（Hyperparameter optimization ）有着密切的联系。它也是自动机器学习（Automated machine learning）的一个子领域。

搜索空间

宏搜索空间

微搜索空间

其他搜索空间

搜索策略

强化学习

进化算法

多目标搜索

可微分的搜索（基于梯度的搜索）

性能估计策略

权重共享

基于预测器