[딥러닝 기본 23] Lec 08_1 - 딥러닝의 기본 개념: 시작과 XOR 문제

모두를 위한 머신러닝 / 딥러닝 김성훈 교수님 강의를 듣고 정리한 내용입니다.

Lec 08_1 - 딥러닝의 기본 개념: 시작과 XOR 문제  

@ 뇌 : 단순하게 동작하는 neuron의 집합

- neuron의 동작 원리

 1. 외부 input

 2. 자극을 각각의 특징에 따라 개별적인 정도로 전달(weight)

 3. 각각의 자극들을 합침

 4. 자극의 합이 특정 값 이상인 경우 활성화, 아닌경우 비활성화

 5. 다음 neuron에게 output 전달

- Activation Functions : neuron의 process를 수학적으로 나타낸 모델

 

@ 머신러닝의 역사

1. Linear한 Activation Functions으로는 XOR 문제를 풀 수 없음 (1958년)

2. MLP (Multilayer Neural Nets)의 등장 (1969년 Minsky)

 - Minsky 교수님이 MLP 개념 제시

 - W와 b를 가정하여 결과를 산출하고, 결과의 옳고 그름에 따라 w와 b를 수정해야하는데 이를 불가능하다고 생각함

  (MLP의 weight과 bias를 학습 시킬 수 없다고 생각)

 - ML 1차 침체기

3. Backpropagation Algorithm 등장 (1974년 Paul Werbos, 1982년 Hinton)

 - w와 b를 가정하여 결과를 산출한 뒤, 학습을 뒤에서 앞으로 가면서 w와 b를 학습시키는 알고리즘

 - 1974년 Paul 박사학위 논문으로 Backpropagation Algorith을 썼으나, 시대적 분위기가 ML에 대해 회의적

 - 1986년 Hinton이 Backpropagation을 재발견하여 주목받기 시작

 

4. CNN (Convolutional Neural Networks) 등장 (1980년 LeCun)

 - 고양이가 그림을 볼 때 시신경의 뉴럴이 일부만 반응하는 것을 발견

 - 신경망 세포가 동시에 전체를 보는 것이 아니라, 부분부분을 담당하는 신경망들이 있고, 나중에 조합되는 것이라는 가설을 세움

 - 그림을 한번에 네트워크에 입력시킬 경우 복잡하고 학습이 많이 필요하므로, 그림을 잘라서 부분부분씩 나누어 학습한 뒤 나중에 합치는 방법 개발

 - 문자 인식, 알파고 등에 사용됨

5. Backpropagation의 문제 발견 (1990년)

 - layer가 많아 질 수록 Backpropagation의 학습의 영향력이 미미해져 학습이 이루어지지 않음

 - ML 2차 침체기

 - 다른 algorithm이 등장하기 시작 : SVM, RandomForest, etc