728x90 SMALL 머신러닝 경사하강법1 [머신러닝] 경사하강법 * 경사하강법(Gradient descent)함수의 기울기를 따라 아래로 이동하면서 손실함수의 값을 최소화하는 최적화 알고리즘이다.이름 그대로 gradient = 기울기(경사), descent(하강) 즉, ‘기울기를 하강한다’는 의미를 담고 있다.손실함수란 예측값과 실제값(y)의 차이인 오차를 비교하는 함수이다. 위 그림처럼, 손실함수는 2차 함수 그래프 형태를 가진다.최적화는 이 손실함수가 최솟값인 알파를 찾아 나가는 과정을 말한다. * 경사하강법을 통한 최적화 과정1. 초기 파라미터 설정파라미터를 임의의 값으로 초기화한다. 선형회귀의 경우 계수와 절편으로 임의의 값을 설정한다. 2. 손실 함수 계산 현재 지점의 기울기를 계산하고, 파라미터 조정 방향을 결정한다. 손실함수의 기울기가 음수이면 계수를 .. 2024. 7. 15. 이전 1 다음 728x90 LIST
