경사 하강법

경사 하강법을 실행하는 모습. ${\displaystyle x_{0}}$에서 시작하여, 경사가 낮아지는 쪽으로 이동하여 차례대로 ${\displaystyle x_{1},x_{2},x_{3},x_{4}}$를 얻는다.

한계

선형 시스템 상에서의 풀이

평가 및 장단점

다음은 파이썬 언어로 작성한 경사 하강법 알고리즘으로, f(x)=x⁴−3x³+2 함수의 극값을 미분값인 f′(x)=4x³−9x²를 통해 찾는 예를 보여준다.^[1]

# From calculation, we expect that the local minimum occurs at x=9/4

x_old = 0
x_new = 6 # The algorithm starts at x=6
eps = 0.01 # step size
precision = 0.00001

def f_prime(x):
    return 4 * x**3 - 9 * x**2

while abs(x_new - x_old) > precision:
    x_old = x_new
    x_new = x_old - eps * f_prime(x_old)

print(f"Local minimum occurs at: {x_new}")

^[2]

이는 x 값 하나에 대해서만 극값을 파악한다. 실제로는 여러 개의 특징값(feature)들이 있으므로 해당 값들마다 병행적으로 결과 값을 구하면서 반복해야 한다.

확장

같이 보기

• 켤레기울기법
• 확률적 경사 하강법
• 델타 규칙
• 아메바 방법