Machine Learning7 Gradient Descent for Multiple Variables (다변량에서의 경사하강법) 이번 포스팅에서는 많은 변수에 대한 경사하강법(Gradient Descent), 즉, feature가 여러 개 있는 경우의 경사하강법에 대해 알아보겠다. 이전에 포스팅했던 경사하강법은 feature가 하나인 경우만 다뤘지만 저번 포스팅에서도 말했듯이 feature가 하나인 경우는 거의 없기 때문에 여러 feature인 경우에는 어떻게 되는지 보도록 하자. 사실 크게 다르지는 않다. 먼저 이전 포스팅에서 봤던 식들을 복습해보자. 위 그림에도 나와있듯이 feature가 여러 개인 경우는 hθ(x) = θ^T * x = θ0 + θ1*x1 + θ2*x2 + ... + θn*xn로 쓸 수 있다고 했다. 또한 Paramameters도 여러 개(θ0, θ1, ..., θn)이지만 이를 n+1차원의 가중치(weigh.. 2020. 8. 22. Multiple Features in Linear Regression (= Multivariate linear regression(다변량 선형회귀)) 이번엔 선형회귀에서의 Multiple Features에 대해서 알아보겠다. 이전 포스팅들에서 언급했던 h(x)들은 사실 단일 feature, 즉, 1개의 feature만 있는 경우였다(h(x) = θ0 + θ1x). 하지만 실제 모델들은 당연히 feature가 하나만 있지 않고 무수히 많다. 그래서, Multiple Feautures인 경우에 대해 포스팅하려고 한다. (이번에도 Coursera 강의를 참고하여 포스팅합니다.) 위 표는 x를 통해 y를 예측하는 모델이다. 식을 보면, h(x) = θ0 + θ1x => 단일 feature이기 때문에 x가 하나밖에 없다. 좀 더 쉬운 이해를 위해 강의에서 한 말을 인용하면, 집의 크기(x)를 가지고 집의 가격(y)를 예측하는 모델이다. 즉, 이 모델에서는 집의.. 2020. 8. 11. Gradient Descent (경사하강법) (2) (feat. Learning rate) 저번 포스팅에 이어 이번 포스팅에서도 경사하강법(Gradient Descent)에 대해 계속해서 알아보겠다. 저번 포스팅에서는 경사하강법의 전체적인 틀 정도만 말했는데, 이번 포스팅에서는 좀 더 자세하게 살펴보겠다. (이번에도 Coursera 강의를 참고하여 포스팅합니다.) 저번 포스팅에서 봤던 개념이다. 하지만, 처음부터 θ0, θ1을 둘 다 고려하면 헷갈릴 수 있기 때문에 θ0(bias) = 0인 즉, θ1(weight)만 있는 경우부터 생각해보자. 따라서, 우리는 Cost Function인 J(θ1)의 최소값을 구하는 θ1을 찾기 위해 θ1을 계속해서 변경해나갈 것이다. 이 식에서도 마찬가지이다. 위의 식은 θ0, θ1을 모두 고려했을 때의 식이지만 아래에 설명할 내용들은 모두 θ0=0일 때임을 기.. 2020. 7. 31. Gradient Descent (경사하강법) (1) 이번 포스팅에서는 경사하강법(Gradient Descent)에 대해 알아보겠다. (이번에도 Coursera 강의를 참고하여 포스팅합니다.) 경사하강법(Gradient Descent)이란 앞서 포스팅한 Cost Function을 최소화되도록 최적화하는 알고리즘으로 말 그대로 경사(기울기)를 줄여가면서 Cost Function(J(θ0, θ1))을 최소화하는 파라미터(θ0(bias), θ1(weight))를 찾는 알고리즘이다. 여기서 말하는 최적화란 여러 허용되는 값들 중에서 주어진 기준을 가장 잘 만족하도록 하는 것을 말하며, 계속 강조하지만 Cost Function을 최소화한다는 뜻은 실제 데이터들에 맞게 잘 예측하는 모델을 찾겠다는 뜻이다. 또다른 표현으로 예측값에 대한 오류나 손실(Loss funct.. 2020. 7. 16. 이전 1 2 다음
