[모두의 딥러닝] lab 09-1. Neural Net for XOR

XOR Data set

 

XOR with logistic regression?

--> 이유: 굳이 복잡한 softmax을 쓸 필요 없이, 0 또는 1만 예측하면 되기 때문이다.

--> 모델은 정확하고 많이 실행했음에도, 잘 되지 않는다. Accuracy: 0.5

 

==> 이 것을 되게 하는 방법이 Neural Net을 사용하는 것이다.

- 여러 단을 묶어서 쓰는 것.

* 주의: W의 크기를 잘 정해주어야 함.

 

NN for XOR

- 기존에서 1단 --> 2단으로 바뀐것 빼고 소스코드는 같음.

- 결과

==> 굉장히 잘 학습된 문제.

 

결론) XOR 문제가 logistic regression으로는 잘 되지 않았는데, NN을 이용하니 잘 학습되었다.

 

Wide NN for XOR

- NN을 Wide하게 확장하여 XOR 연산을 한 것

- 결과

: 작은 값은 더 작아졌고, 큰 값은 더 커짐 

==> 더 잘 학습되었다는 것을 알 수 있음.

 

Deep NN for XOR

- layer을 여러 개 (더 깊게)

- 항상 똑같은 값으로 연결됨을 주의!!!

- 입력은 처음엔 X, 그 이후에는 layer로 입력

- 결과

 

- 연습문제로 Wide and Deep NN for MNIST 해보기