linear-regression

• toc {:toc}

선형 회귀란?

선형 회귀 (영어: linear regression) 는 종속 변수 y 와 한 개 이상의 독립 변수 (또는 설명 변수) X 와의 선형 상관 관계를 모델링하는 회귀분석 기법이다. (출처; 위키피디아)

독립 변수, 종속 변수가 무엇을 의미하는 것인지 차근차근 이해해보자.

• 독립 변수 : 말 그대로 다른 변수에 의해서 변하지 않는 변수를 말한다. 독립 변수는 다른 변수에 영향을 미칠 수 있고 영향을 받는 변수를 종속 변수라고 한다.

즉, 독립 변수에 의해 종속 변수가 영향을 받고 이 변수간의 관계를 모델링해 원하는 예측값을 도출한다.

대표적인 선형 회귀 문제로 집값을 예측한다고 생각해보면 집값은 다른 변수에 의해 영향을 받는 종속 변수이고, 평 수, 방 수, 역세권 등의 변수들은 영향을 미치는 독립 변수라고 생각할 수 있다.

선형 회귀의 경우 이러한 변수간의 관계를 통해 최적의 값을 도출하는 기법이다.

변수간의 관계는 아래의 식처럼 표현되는데 이런 표현을 선형 결합이라 한다.

위 식에서 각 x 들은 독립 변수 각각이 되고 y 는 종속 변수라고 이해할 수 있다. 이 때, 독립 변수가 하나인 경우 단순 선형 회귀, 두 개 이상인 경우 다항 선형 회귀라고 한다. 독립 변수 앞에 붙어있는

은 가중치로 각 독립 변수들이 얼마나 영향을 미치는지를 나타낸다.

선형 모델은 변수간의 선형 결합을 통해 각각의 값들을 일반화하는 최적의 직선을 도출해내는 모델을 말한다. 단순 선형 회귀의 경우를 그림으로 나타내보면 아래와 같다.

이렇게 나타낸 선이

라고 해보자. 그러면

형태로 나타낼 수 있다. 그리고 이 함수를 행렬로 나타내보면 아래와 같다.

아무것도 모르는 모델이 한 번에 최적의 직선을 도출해내기는 어렵다. 때문에 실제값과 예측값의 차이, 오차를 구하고 오차를 줄여나가는 학습의 과정을 거치며 최적의 직선을 도출한다.

의 형식으로 구할 수 있는데 b, 절편의 경우 선을 위 아래로 위치시키는 역할을 한다. 때문에

임을 알 수 있으며 우리가 찾아야 할 최적의 값은 a 임을 알 수 있다.
아래 그래프를 보면 선을 기준으로 위에 있는 값, 아래에 있는 값의 오차의 부호가 달라진다.

때문에 절댓값을 사용한다.

하지만 오차의 변화율을 구하기 위해서는 결국 미분을 해야하는데 절댓값을 사용할 경우 좌우 구간을 살펴야 하므로 과정이 하나가 더 생기기 때문에 제곱을 취해 해결한다.

이렇게 제곱을 사용할 경우 1) 음수값을 없앨 수 있고 2) 손실의 격차를 더 키워 손실을 더 줄이도록 조절 할 수 있다.

이를 벡터의 관점으로 변경해보면 아래와 같이 표현할 수 있다.

검정색 선이 실제값과 예측값의 차이이고 loss 를 의미한다. 각 값들의 loss 전체합을 통해 전체 loss 를 구하고 전체 loss 를 줄이는 방향으로 학습한다.

위 식이 목적이 되고 이 loss 는 gradient descent 와 같은 optimize 방식을 사용함으로써 최소값을 최대한 찾아가도록 조정할 수 있다.

정리

1. 선형 회귀 모델은 변수간의 관계를 일반화하는 최적의 직선을 도출하는 것을 목표로 한다.
2. 한 번에 최적의 직선을 도출할 수 없기 때문에 실제값과 예측값의 오차값을 보완하는 방향으로 학습한다.
3. 오차값이 최소인 직선을 도출해 결과값을 도출한다.

추가

선형이라는 말 속에서 직선만이 Linear 하다라는 생각을 할 수 있다.

예를 들어 위의 경우에서 단순히 2 차 방정식의 형태를 띈다는 점만으로 선형이 아니라고 생각할 수 있다는 점이다. 하지만 이런 단순한 생각으로는 선형의 판단을 할 수 없다.

이는 문제를 어떻게 정의할 것인가에 대해 달려있다. 다시 선형 회귀의 정의를 생각해보자.

선형 회귀 (영어: linear regression) 는 종속 변수 y 와 한 개 이상의 독립 변수 (또는 설명 변수) X 와의 선형 상관 관계를 모델링하는 회귀분석 기법이다. (출처; 위키피디아)

이 때, 우리가 종속 변수와 독립 변수를 어떻게 정의하느냐에 따라서 문제의 정의가 달라지게 된다.

• 만약 위의 문제 경우에서 우리가 독립 변수를

로 정의하게 된다면 이는 Linear Regression 이 아닌 Polynomial Regression 이 된다.

• 하지만 독립 변수를