[모두의 딥러닝] lec 09-1. Neural Network: Neural Nets (NN) for XOR: XOR 문제 딥러닝으로 풀기

Neural Network의 골칫거리였던 XOR 문제 풀기

 

Our logistic regression unit cannot separate XOR

- 하나의 모델, 유닛으로는 XOR 문제를 풀 수 없다는 것이 수학적으로 증명까지 되어 많은 연구자들에게 절망을 안겨줌.

 

Multiple logistic regression units

- 하나의 유닛을 여러 개 합치면 어떻게 될까?

--> 복잡한 네트워크들에 들어가 있는 각각의 W, b을 학습하는 것이 거의 불가능해진다.

"No one on earth had found a viable way to train"

 

XOR using NN: Neural Network로 XOR 학습이 가능한가?

- + / - 를 정확하게 구분할 수 있는 선을 찾을 수 없다는 것이 문제

 

Neural Net

- (3개 각각) logistic regression: 2개의 입력을 받고 앞에 sigmoid, 안 쪽 연산은 Wx + b

- 예시

- 계산과정

sigmoid 함수

x1 = 0, x2 = 0

 

x1 = 0, x2 = 1

 

x1 = 1, x2 = 0

x1 = 1, x2 = 1

 

==> 3개의 유닛일 경우, 2개 입력값에 따라 XOR 값이 잘 나오는 것을 확인할 수 있다.

 

Forward propagation

- 위의 것을 뭉쳐서 그려본 것

- 저 사각형 하나를 gate, perceptron, 혹은 unit이라고 부름.

 

- 하나의 NN

-->  위의 W, b 조합 말고, XOR이 가능한 다른 W, b 조합이 존재할까?

 

NN

- 위의 모양은 Multinomial-Classification과 유사

Multinomial-Classification

- 3개를 하나로 합치기 위해서는 벡터 값을 3줄로 (초록색) 주면 가능하다.

 

- 수식으로 표현

 

==> 이 W1, W2, B1, B2 값들(여기에서는 그냥 주어진 값)을 어떻게 자동적으로 계산해낼 수 있을까?