[딥러닝 기본 12] Lec 05_2 - logistic classification의 cost 함수 설명

모두를 위한 머신러닝 / 딥러닝 김성훈 교수님 강의를 듣고 정리한 내용입니다.

Lec 05_2 - logistic classification의 cost 함수 설명  

@ Sigmoid function

   

 

@ Cost function : 예측값이 틀리면 cost를 키워 학습에 벌을 주고, 맞추면 cost를 낮추어 학습을 칭찬해주는 함수

- H(X)는  sigmoid(WX+b) 이다.

- sigmoid function의 cost 함수는 convex 함수가 아니므로 아래와 같은 새로운 cost 함수를 사용한다.

- 위 수식을 한줄로 작성하면 아래와 같다.

- Logistic Classification Cost Function (Cross-Entropy function)

- Minimize cost : gradient decent algorithm

gradient를 직접 미분하여 계산할 필요 없이 tensorflow의 tf.train.GradientDescentOptimizer()를 사용하면 된다.