IT NOTE

모두를 위한 머신러닝 / 딥러닝 김성훈 교수님 강의를 듣고 정리한 내용입니다.Lec 06_2 - softmax classification의 cost 함수 @ Softmax function- A일 확률, B일 확률, C일 확률을 총 합이 1인 통합 확률로 변환해주는 함수 - A일 확률 = 66%, B일 확률 = 24%, C일 확률 = 10% @ One-Hot encoding - 가장 확률이 높은 값을 1.0, 이외의 모든 값을 0.0으로 변환 @ Cost function - Cost function Minimize = Gradient descent algorithm 사용 @ Cross-Entropy - logistic regression과 classification의 cost function에 사용되는 함..

모두를 위한 머신러닝 / 딥러닝 김성훈 교수님 강의를 듣고 정리한 내용입니다.Lec 06_1 - softmax classifier: 기본개념 소개 @ Multinomial Classification- 공부시간(X1)과 출석(X2)에 따른 학점(Y)을 예상하는 학습 예제- A / B / C 와 같이 최종 결과를 여러 값중 하나로 분류하는 학습- A or Not / B or Not / C or Not 의 Binary Classification을 3번 사용하여 분류(Binary Classification의 의미 = 해당 분류에 속하는 정도 또는 확률) - 위 내용을 Matrix로 작성하면 아래와 같다. - A, B, C에 대한 Y의 값들을 softmax function에 넣으면 각각의 분류에 속할 확률이 나오..

모두를 위한 머신러닝 / 딥러닝 김성훈 교수님 강의를 듣고 정리한 내용입니다.Lab 05 - tensorflow로 logistic classification의 구현하기 @ Logistic Classification @ TensorFlow- 예습 복습에 따른 시험 합격 불합격 예측x_data = [예습횟수, 복습횟수]y_data = [합격 or 불합격]import os os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' import tensorflow as tf # y_data는 0과 1의 값만 가진다. x_data = [[1, 2], [2, 3], [3, 1], [4, 3], [5, 3], [6, 2]] y_data = [[0], [0], [0], [1], [1], [1]] # pl..

모두를 위한 머신러닝 / 딥러닝 김성훈 교수님 강의를 듣고 정리한 내용입니다.Lec 05_2 - logistic classification의 cost 함수 설명 @ Sigmoid function @ Cost function : 예측값이 틀리면 cost를 키워 학습에 벌을 주고, 맞추면 cost를 낮추어 학습을 칭찬해주는 함수- H(X)는 sigmoid(WX+b) 이다.- sigmoid function의 cost 함수는 convex 함수가 아니므로 아래와 같은 새로운 cost 함수를 사용한다. - 위 수식을 한줄로 작성하면 아래와 같다. - Logistic Classification Cost Function (Cross-Entropy function) - Minimize cost : gradient dec..

모두를 위한 머신러닝 / 딥러닝 김성훈 교수님 강의를 듣고 정리한 내용입니다.Lec 05_1 - logistic classification의 가설 함수 정의 @ Binary Classification example : 0 or 1 분류- 메일 Spam or Ham- 페이스북 피드 show or hide- 주식 buy or sell- 종양 yes or no @ Logistic Hypothesis- H(X) = XW + b를 사용 할 경우 문제1. 값의 스펙트럼이 넓어질 수록 오차가 커진다.2. 값의 결과가 0 ~ 1 사이의 값이 아닐 수 있다. - 위 문제로 인해 H(X)를 sigmoid 라는 함수를 통과시켜 0 ~ 1 사이의 값으로 변환 - sigmoid function : 어떠한 값을 넣어도 0 ~ 1..

모두를 위한 머신러닝 / 딥러닝 김성훈 교수님 강의를 듣고 정리한 내용입니다.Lab 04_2 - tensorflow로 파일에서 데이터 읽어오기 @ x1, x2, x3 (출석, 퀴즈, 중간)를 통해 Y(기말)를 예측- data set @ data-01-test-score.csv 파일로 저장73,80,75,152 93,88,93,185 89,91,90,180 96,98,100,196 73,66,70,142 53,46,55,101@ numpy library 배열 다루기- Indexing, Slicing, Iteratingimport numpy as np a = np.array([[1, 2, 3, 4], [5, 6, 7, 8], [9, 10, 11, 12]]) print(a[:, 1]) # [2 6 10] pr..

모두를 위한 머신러닝 / 딥러닝 김성훈 교수님 강의를 듣고 정리한 내용입니다.Lab 04_1 - multi-variable linear regression을 tensorflow에서 구현하기 @ x1, x2, x3 (출석, 퀴즈, 중간)를 통해 Y(기말)를 예측- data set @ TensorFlow- Matrix를 사용하지 않은 예제 (이런식으로 하면 안됨)import os os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' import tensorflow as tf # 학습 데이터 x1_data = [73., 93., 89., 96., 73.] x2_data = [80., 88., 91., 98., 66.] x3_data = [75., 93., 90., 100., 70.] y_d..

모두를 위한 머신러닝 / 딥러닝 김성훈 교수님 강의를 듣고 정리한 내용입니다.Lec 04 - multi-variable linear regression @ multi-variable linear regression- 여러개의 변수를 가지고 hypothesis를 예측 - Matrix를 이용 (대문자 X, W는 matrix)Matrix 곱셈은 shape이 아래 색상과 같이 일치해야 가능하다.역으로, W의 shape을 input과 output을 이용하여 구할 수 있다. - data instance 개수(초록색)를 n개로 표기하는 방법numpy : -1tensorflow : None - Matrix의 곱을 XW 형태로 사용 (WX 아님!)

모두를 위한 머신러닝 / 딥러닝 김성훈 교수님 강의를 듣고 정리한 내용입니다.Lab 03 - linear regression의 cost 최소화의 tensorflow 구현 @ Simplified hypothesis : 간단한 설명을 위해 b를 생략@ TensorFlow - W와 cost(W)의 그래프 출력import os os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' import tensorflow as tf import matplotlib.pyplot as plt # 그래프 그리는 용도 # data set X = [1, 2, 3] Y = [1, 2, 3] W = tf.placeholder(tf.float32) # Hypothesis hypothesis = X * W # cost..

모두를 위한 머신러닝 / 딥러닝 김성훈 교수님 강의를 듣고 정리한 내용입니다.Lec 03 - linear regression의 cost 최소화 알고리즘의 원리 설명 @ Simplified hypothesis : 간단한 설명을 위해 b를 생략H(x) 가 1차 함수 이므로, cost(W)는 2차 함수이다.minimize 값은 미분을 통해 구할 수 있다. (2차 함수의 변곡점은 미분한 값이 0인 지점) @ Gradient descent algorithm : 경사가 0이 되는 지점을 찾는 알고리즘 - learning rate과 gradient의 곱한 값만큼이동하며 학습하므로, 적절한 learning rate를 주는 것이 중요하다.(learning rate가 너무 큰 경우, 학습이 발산 / 너무 작은 경우, 학습..