[모두의 딥러닝] lec 08-2. 딥러닝의 기본 개념: Back-propagation과 2006/2007 '딥'의 출현

CIFAR (Canadian Institute for Advanced Research)

- 훌륭한 단체

- neural network가 당장 활용도가 있지 않아도 연구를 하라고 밀어준 단체

: CIFAR encourages basic research without direct application, was what motivated Hinton to move to

Canada in 1987, and funded his work afterward.

(이 단체 덕분에 많은 연구자들은 canada 출신)

 

"Everyone else was doing something different"

- worst possible time

- making that gamble. 도박을 한 것처럼 굉장한 결정을 내렸던 CIFAR

 

Breakthrough in 2006 and 2007 by Hinton & Bengio

- 이 단체의 후원으로 2006, 2007년도에 큰 breakthrough가 되는 두 논문을 발표

- In 2006, Hinton, Simon Osindero, and Yee-Whye Teh published, "A fast learning algorithm for deep belief nets"

- Yoshua Bengio et al. in 2007 with "Greedy Layer-Wise Training of Deep Networks"

 

2006: 굉장히 deep한 신경망은 학습할 수 없다고 했는데, 각각의 w 값의 초기값만 잘 준다면 학습할 수 있다는 것을 보여줌.

: Neural networks with many layers really could be trained well, if the weights are initialized in a clever way rather than randomly.

 

2007: 초기값을 잘 주는 것을 확인 + 깊게 신경망을 구축하면 복잡한 문제를 풀 수 있다는 것을 증명

: Deep machine learning methods are more efficient for difficult problems than shallow methods.

 

- Rebranding to Deep Nets, Deep Learning

 

IMAGENET Classification Challenge (2010~2015)

- 그림을 주고 컴퓨터에게 어떤 그림인지 맞추게 하는 챌린지

- Error: 26.2% to 15.3% (2012)

- 2015: 3%대 error

- 스탠포드 학생: 5% error

 

그림을 설명할 수 있을 정도로도 발전

 

Deep API Learning

- API를 자동으로 추측

- file을 copy 후 원하는 directory에 저장하고 싶다!

--> 시스템이 자동적으로 어떤 API를 써야하는지, 어떤 순서로 써야하는지도 알려줌

- 굉장히 좋은 기술: 정확도 65%까지 상승

 

Speech recognition errors

- 소음이 많은 곳에서 음성 인식

 

Deep learning을 이용하여 게임하기

 

알파고

 

 

왜 이전에는 잘 안 되었는지 분석: Geoffrey Hinton's summary of findings up to today

1. Our labeled datasets were thousands of times too small.

2. Our computers were millions of times too slow.

3. We initialized the weights in a stupid way.

4. We used the wrong type of non-linearity.

 

실생활에 적용되는 딥 러닝

- Youtube 자막: 소리를 듣고 만들어 내는 것

- Facebook: 관심이 갈 만한 피드들을 학습을 통해 보여줌

- Google: 검색 문장만 보여주는 것이 아닌, 좋아할 만한 것들을 예측하여 보여줌

- Netflix, Amazon