보편 근사 정리

보편 근사 정리(Universal approximation theorem)는 하나의 은닉층을 갖는 인공신경망은 임의의 연속인 다변수 함수를 원하는 정도의 정확도로 근사할 수 있다는 정리이다. 모든 인공신경망과 모든 활성화 함수에 대해 증명된 것은 아니다.

사례

1989년 조지 시벤코(Cybenko)가 발표한 시벤코 정리(Cybenko's theorem)는 다음과 같다.

${\displaystyle \varphi }$를 시그모이드 함수 형식의 연속 함수라 하자(예, ${\displaystyle \varphi (\xi )=1/(1+e^{-\xi })}$). ${\displaystyle [0,1]^{n}}$ 또는 ${\displaystyle R^{n}}$의 부분집합에서 실수의 연속 함수 ${\displaystyle f}$와 ${\displaystyle \epsilon >0}$가 주어지면, 다음을 만족하는 벡터 ${\displaystyle \mathbf {w_{1}} ,\mathbf {w_{2}} ,\dots ,\mathbf {w_{N}} ,\mathbf {\alpha } }$, ${\displaystyle \mathbf {\theta } }$와 매개 함수 ${\displaystyle G(\mathbf {\cdot } ,\mathbf {w} ,\mathbf {\alpha } ,\mathbf {\theta } ):[0,1]^{n}\rightarrow R}$이 존재한다.

${\displaystyle |G(\mathbf {x} ,\mathbf {w} ,\mathbf {\alpha } ,\mathbf {\theta } )-f(x)|<|\epsilon |}$ for all ${\displaystyle \mathbf {x} \in [0,1]^{n}}$

이때,

${\displaystyle G(\mathbf {x} ,\mathbf {w} ,\mathbf {\alpha } ,\mathbf {\theta } )=\sum _{i=1}^{N}\alpha _{j}\varphi (\mathbf {w} _{j}^{T}\mathbf {x} +\theta _{j})}$

이고, ${\displaystyle \mathbf {w} _{j}\in R^{n},\alpha _{j},\theta _{j}\in R,\mathbf {w} =(\mathbf {w} _{1},\mathbf {w} _{2},\dots \mathbf {w} _{N}),\mathbf {\alpha } =(\alpha _{1},\alpha _{2},\dots ,\alpha _{N}),}$ ${\displaystyle \mathbf {\theta } =(\theta _{1},\theta _{2},\dots ,\theta _{N})}$이다.

이 정리는 하나의 은닉층을 갖는 인공신경망은 임의의 연속인 다변수 함수를 원하는 정도의 정확도로 근사할 수 있음을 말한다. 단, ${\displaystyle \mathbf {w} _{1},\mathbf {w} _{2},\dots ,\mathbf {w} _{N},\mathbf {\alpha } }$와 ${\displaystyle \mathbf {\theta } }$를 잘못 선택하거나 은닉층의 뉴런 수가 부족할 경우 충분한 정확도로 근사하는데 실패할 수 있다.

같이 보기

• 푸리에 급수

참고 문헌

• M. Hassoun, "Fundamentals of Artificial Neural Networks," MIT Press, p.48, 1995
• G. Cybenko "Approximation by Superpositions of a Sigmoidal Function", 1989