AlexNet

AlexNet是一個卷積神經網絡，由亞歷克斯·克里澤夫斯基設計^[1]，與伊爾亞·蘇茨克維和克里澤夫斯基的博士導師傑弗里·辛頓共同發表^[2][3]。

Comparison of the LeNet and AlexNet convolution, pooling and dense layers

AlexNet參加了2012年9月30日舉行的ImageNet大規模視覺識別挑戰賽^[4]，達到最低的15.3%的Top-5錯誤率，比第二名低10.8個百分點。原論文的主要結論是，模型的深度對於提高性能至關重要，AlexNet的計算成本很高，但因在訓練過程中使用了圖形處理器（GPU）而使得計算具有可行性^[4] 。

背景

AlexNet並不是卷積神經網絡（CNN）第一次利用快速GPU實現而贏得圖像識別競賽。K. Chellapilla等人（2006）在GPU上的CNN比同等的CPU實現速度快4倍^[5]。Dan Ciresan等人（2011）的深層CNN在IDSIA上已經快了60倍^[6]，並在2011年8月取得了超過人類的表現^[7]。從2011年5月15日到2012年9月10日，他們的CNN贏得了不少於四場圖像競賽^[8][9]。他們還極大提高了文獻中多個圖像數據庫的最佳性能^[10]。

根據AlexNet的論文^[4]，其與Ciresan的早期網絡「有些相似」。兩者最初都用CUDA編寫，可在GPU支持下運行。實際上，兩者都是楊立昆等人（1989）介紹的CNN設計的變體^[11][12]，他將反向傳播算法應用於福島邦彥（福島 邦彦）最初提出的CNN架構「neocognitron」的一個變種^[13][14]。後來J. Weng提出的最大池化方法修改了該架構^[15][9]。

網絡設計

AlexNet包含八層。前五層是卷積層，之後一些層是最大池化層，最後三層是全連接層^[4]。它使用了非飽和的ReLU激活函數，顯示出比tanh和sigmoid更好的訓練性能^[4]。

影響

AlexNet被認為是計算機視覺領域最有影響力的論文之一，它刺激了更多使用卷積神經網絡和GPU來加速深度學習的論文的出現^[16]。 根據Google scholar網站統計，截至2024年中，AlexNet論文已被引用超過157,000次^[17]。

亞歷克斯·克里澤夫斯基

亞歷克斯·克里澤夫斯基（出生於烏克蘭，在加拿大長大）是一名計算機科學家，以在人工神經網絡和深度學習方面的工作而著稱。在通過AlexNet贏得ImageNet 2012挑戰賽後不久，他和同事將他們的創業公司DNN研究公司（DNN Research Inc.）賣給了Google^[1]。克里澤夫斯基對這項工作失去興趣後，於2017年9月離開了Google^[1]。在Dessa公司，克里澤夫斯基將為新的深度學習技術提供建議和幫助^[1]。研究人員經常引用他的許多有關機器學習和計算機視覺的論文^[18]。