[모두의 딥러닝] lec 03. Linear Regression의 cost 최소화 알고리즘의 원리 설명

Hypothesis and Cost

 

 

Simplified hypothesis

- (b를 없앰)

 

How to minimize cost?

 

Gradient descent algorithm (경사를 따라 내려가는 알고리즘)

- Minimize cost function
- Is used many minimization problems
- For a given cost fun, cost (W,b), it will find W, b to minimize cost
- It can be applied to more general function. 

 

어떻게 제일 낮은 포인트를 찾나?

- 경사도를 따라 한 발짜국씩 움직임

** 경사도: 미분을 이용!

- 알고리즘 장점: 어디에서 시작하든 항상 최저점에 도달할 수 있음.

 

 

Formal definition

 

** 알파: learning let

** cost함수를 미분

왼쪽 직선: 기울기가 작으니까 W가 - - --> + 값이 될 것임. 그래서

W값을 더 늘릴 것임.

 

- 미분절차
여러 번 실행시키면 W값이 변할 것임. 변화되면 그 값이 바로 COST를 Minimize하는 값.

 

결론

Gradient descent algorithm

Convex function

--> 이런 경우에는 출발하는 지점이 달라지면 아예 다른 결과값이 나옴.

알고리즘이 잘 동작하지 않음.

--> 이런 형태의 모양을 하고 있으면 출발지가 어느 지점이라도 같은 곳의 최저점에 도달할 수 있음.

--> Linear Regression을 적용하기 전에 cost 함수가 이런 모양을 가지고 있는지

확인되면 전혀 문제 없이 Gradient descent 알고리즘 사용가능!!