선형 회귀(Linear Regression) 이론 1

지도 학습의 한 유형이면서, 연속적인 값을 가지고 예측을 하는 회귀 모델이다.

단순 회귀 모델이라고도 한다. 

선형 회귀의 그래프는 위와 같은 형태를 지니고 있다. 여기서 직선은 목표 변수(y)와 입력 변수(x)의 최적선을 나타내며,

각 점들과 직선의 거리는 오차를 의미한다.

여기서 우리는 목표 변수(맞추려고 하는 값)과 입력 변수(맞추는데 사용하는 값)을 설정해주어야 하며, 위와 같이 최적선을 찾아내는것이 목표이다. 그리고 이러한 최적선을 찾기 위해 여러가지 변수와 함수(가설함수)를 이용해야 한다.

여기서 가설함수를  y=ax+b라고 가정하고 시작하자. 하지만 함수이기때문에  h(x)= θ0+θ1x 로 나타내어야 한다.

지금은 입력 변수가 하나이기에 단순한 형태이지만 만약, 여러 입력 변수를 이용한다면 h(x)= θ0+θ1x+θ2x2+θ3x3...와 

같은 형식으로 함수가 늘어날 것이다. 그리고 여기서 가장 적절한 θ 값을 찾아내는 것이 선형 회귀의 목표이다.

 

이제 가설함수를 설정 했다면, 이 가설함수를 평가해야 한다. 가설함수를 평가하는 방법은 많지만 가장 대표적인 방법인

MSE를 사용하겠다. MSE는  평균 제곱 오차(Mean Squared Error) 의 줄임말로, 평균적인 오차를 계산하는 방법이다.

위의  그래프에서 각 점들과 최적선의 사이의 거리의 평균을 제곱하여 오차를 나타내는 방법이라고 생각하면 된다.

만약 평균 제곱 오차가 크다면 최적선과 오차가 많다는 뜻으로 좋지 않은 결과를 가져온다는 것이고, 그러면 위에서 적절한

θ 값을 찾지 못했다는 것이며, 만약 평균 제곱 오차가 작다면 적절한 θ 값을 찾았다는 의미이다.

그럼 여기서 왜 오차를 평균 제곱하는지 이유가 궁금 할 것이다. 

크게 두가지 이유가 존재한다.

1. 오차는 양수이기도하고 음수이기도 하는데 이때 서로 같은 취급을 하기 위함이다.

2. 오차가 커질수록 더욱 부각 시킬 수 있기 때문이다.

MSE를 수학식으로 표현하면 다음과 같다.

여기서 x(i)는 i번째 input(입력변수), y(i)는 i번째 output(목표 변수)을 의미한다. 그리고 여기서 hθ(x(i)-y(i)는 i번째 데이터

예측 오차를 의미하고 그것을 제곱하는 것이다.

시그마는 i=1부터 i=m까지 하나씩 대입하고 결과를 다 더하라는 의미를 가지고 있다.

그리고 이러한 시그마는 모든 데이터에 대해서 수행되어야 하며, 이후 1/m까지 하여야 MSE의 계산이

끝나는 것이다.

 

다음글은 가설 함수의 성능을 평가하는 손실함수에 대해 이야기 해야 할것 같다.