Gradient Decent2 Gradient Descent for Multiple Variables (다변량에서의 경사하강법) 이번 포스팅에서는 많은 변수에 대한 경사하강법(Gradient Descent), 즉, feature가 여러 개 있는 경우의 경사하강법에 대해 알아보겠다. 이전에 포스팅했던 경사하강법은 feature가 하나인 경우만 다뤘지만 저번 포스팅에서도 말했듯이 feature가 하나인 경우는 거의 없기 때문에 여러 feature인 경우에는 어떻게 되는지 보도록 하자. 사실 크게 다르지는 않다. 먼저 이전 포스팅에서 봤던 식들을 복습해보자. 위 그림에도 나와있듯이 feature가 여러 개인 경우는 hθ(x) = θ^T * x = θ0 + θ1*x1 + θ2*x2 + ... + θn*xn로 쓸 수 있다고 했다. 또한 Paramameters도 여러 개(θ0, θ1, ..., θn)이지만 이를 n+1차원의 가중치(weigh.. 2020. 8. 22. Gradient Descent (경사하강법) (2) (feat. Learning rate) 저번 포스팅에 이어 이번 포스팅에서도 경사하강법(Gradient Descent)에 대해 계속해서 알아보겠다. 저번 포스팅에서는 경사하강법의 전체적인 틀 정도만 말했는데, 이번 포스팅에서는 좀 더 자세하게 살펴보겠다. (이번에도 Coursera 강의를 참고하여 포스팅합니다.) 저번 포스팅에서 봤던 개념이다. 하지만, 처음부터 θ0, θ1을 둘 다 고려하면 헷갈릴 수 있기 때문에 θ0(bias) = 0인 즉, θ1(weight)만 있는 경우부터 생각해보자. 따라서, 우리는 Cost Function인 J(θ1)의 최소값을 구하는 θ1을 찾기 위해 θ1을 계속해서 변경해나갈 것이다. 이 식에서도 마찬가지이다. 위의 식은 θ0, θ1을 모두 고려했을 때의 식이지만 아래에 설명할 내용들은 모두 θ0=0일 때임을 기.. 2020. 7. 31. 이전 1 다음
