machine learning5 Multiple Features in Linear Regression (= Multivariate linear regression(다변량 선형회귀)) 이번엔 선형회귀에서의 Multiple Features에 대해서 알아보겠다. 이전 포스팅들에서 언급했던 h(x)들은 사실 단일 feature, 즉, 1개의 feature만 있는 경우였다(h(x) = θ0 + θ1x). 하지만 실제 모델들은 당연히 feature가 하나만 있지 않고 무수히 많다. 그래서, Multiple Feautures인 경우에 대해 포스팅하려고 한다. (이번에도 Coursera 강의를 참고하여 포스팅합니다.) 위 표는 x를 통해 y를 예측하는 모델이다. 식을 보면, h(x) = θ0 + θ1x => 단일 feature이기 때문에 x가 하나밖에 없다. 좀 더 쉬운 이해를 위해 강의에서 한 말을 인용하면, 집의 크기(x)를 가지고 집의 가격(y)를 예측하는 모델이다. 즉, 이 모델에서는 집의.. 2020. 8. 11. Gradient Descent (경사하강법) (2) (feat. Learning rate) 저번 포스팅에 이어 이번 포스팅에서도 경사하강법(Gradient Descent)에 대해 계속해서 알아보겠다. 저번 포스팅에서는 경사하강법의 전체적인 틀 정도만 말했는데, 이번 포스팅에서는 좀 더 자세하게 살펴보겠다. (이번에도 Coursera 강의를 참고하여 포스팅합니다.) 저번 포스팅에서 봤던 개념이다. 하지만, 처음부터 θ0, θ1을 둘 다 고려하면 헷갈릴 수 있기 때문에 θ0(bias) = 0인 즉, θ1(weight)만 있는 경우부터 생각해보자. 따라서, 우리는 Cost Function인 J(θ1)의 최소값을 구하는 θ1을 찾기 위해 θ1을 계속해서 변경해나갈 것이다. 이 식에서도 마찬가지이다. 위의 식은 θ0, θ1을 모두 고려했을 때의 식이지만 아래에 설명할 내용들은 모두 θ0=0일 때임을 기.. 2020. 7. 31. Gradient Descent (경사하강법) (1) 이번 포스팅에서는 경사하강법(Gradient Descent)에 대해 알아보겠다. (이번에도 Coursera 강의를 참고하여 포스팅합니다.) 경사하강법(Gradient Descent)이란 앞서 포스팅한 Cost Function을 최소화되도록 최적화하는 알고리즘으로 말 그대로 경사(기울기)를 줄여가면서 Cost Function(J(θ0, θ1))을 최소화하는 파라미터(θ0(bias), θ1(weight))를 찾는 알고리즘이다. 여기서 말하는 최적화란 여러 허용되는 값들 중에서 주어진 기준을 가장 잘 만족하도록 하는 것을 말하며, 계속 강조하지만 Cost Function을 최소화한다는 뜻은 실제 데이터들에 맞게 잘 예측하는 모델을 찾겠다는 뜻이다. 또다른 표현으로 예측값에 대한 오류나 손실(Loss funct.. 2020. 7. 16. Cost Function (비용 함수) (2) 저번 포스팅에서는 θ0 = 0인 경우에 해당하는 Cost Function에 대해 알아보았는데, 이번 포스팅에서는 θ0가 0이 아닌 경우에 대해 알아보자. (이번에도 Coursera 강의를 참고하여 포스팅합니다.) 먼저 Cost Function에 대해서 다시 보면 이렇게 정리할 수 있다. 여기서 생각해야 할 것은 위의 Hypothesis에도 나와있지만 우리는 선형 회귀일 때의 Cost Function을 구하고 있다는 것이다. 저번 포스팅의 경우 역시 선형 회귀인 경우이고 θ0 = 0였기 때문에 Cost Function은 J(θ1)과 θ1, 즉, 변수가 2개이므로 아래 그림처럼 2차원 형태였다. 하지만, θ0가 0이 아닌 경우는 θ0가 살아있기 때문에 J(θ0, θ1)과 θ1, θ0, 즉, 변수가 3개이므로.. 2020. 6. 14. 이전 1 2 다음
