神經結構搜索

神經結構搜索 (Neural Architecture Search, NAS) 是一種自動化設計人工神經網絡（Artificial Neural Networks, ANN）這種在機器學習領域被廣泛運用的模型的技術 ^[1]。 目前，通過神經結構搜索所設計的模型的性能，已經可以達到甚至超過由人工設計的模型 ^{[2] [3]}。 神經結構搜索的方法可以按照搜索空間、搜索策略和性能估計策略三個方面進行分類^[1]：

• 搜索空間（Search Space） 定義了可以設計和優化的人工神經網絡種類；
• 搜索策略（Search Strategy） 定義了探索搜索空間的方法；
• 性能估計策略（Performance Estimation Strategy） 通過一個潛在神經網絡的結構來評估其性能（不一定構建並訓練這個網絡）。

神經結構搜索與超參數優化（Hyperparameter optimization ）有着密切的聯繫。它也是自動機器學習（Automated machine learning）的一個子領域。

搜索空間

宏搜索空間

微搜索空間

其他搜索空間

搜索策略

強化學習

進化算法

多目標搜索

可微分的搜索（基於梯度的搜索）

性能估計策略

權重共享

基於預測器