[딥러닝 기본 06] Lec 03 - linear regression의 cost 최소화 알고리즘의 원리 설명

모두를 위한 머신러닝 / 딥러닝 김성훈 교수님 강의를 듣고 정리한 내용입니다.

Lec 03 - linear regression의 cost 최소화 알고리즘의 원리 설명  

@ Simplified hypothesis : 간단한 설명을 위해 b를 생략

H(x) 가 1차 함수 이므로, cost(W)는 2차 함수이다.

minimize 값은 미분을 통해 구할 수 있다. (2차 함수의 변곡점은 미분한 값이 0인 지점)

@ Gradient descent algorithm : 경사가 0이 되는 지점을 찾는 알고리즘

- learning rate과 gradient의 곱한 값만큼이동하며 학습하므로, 적절한 learning rate를 주는 것이 중요하다.

(learning rate가 너무 큰 경우, 학습이 발산 / 너무 작은 경우, 학습이 너무 오래걸림)

(learning rate을 gradient의 값에 따라 동적이게 주면 더 효율적인 학습이 이루어지지 않을까?)

- 주의사항 : cost function이 오른쪽과 같이 convex function인 경우에만 사용 사능하다. 왼쪽과 같은 경우 gradient descent algorithm을 사용할 수 없다.