[데이터분석] 다중회귀분석Multiple linear regression

다중회귀분석

독립변수가 2 개 이상인 회귀모형 분석

 

다중회귀모형에서도 회귀계수들의 추정값 β0, β1, β2, …βk는 최소제곱법(least square method)에 의해 구할 수 있고, 각 회귀계 수들에 대한 검정도 단순회귀모형에서와 동일하게 진행됩니다

 

β1 is the average change in Y for each unit change in X holding other X’s constant.

 

최소제곱법에서 SSE를 최소화하기 위해서

1) 부분미분을 적용하고

2) k+1 개의 식을 풉니다

 

 

단순회귀모델과 동일하게 SST = SSR + SSE가 적용됩니다

 

– 결정계수

(coefficient of determination)

 

 

 

• 전체제곱합 중 모형이 설명하는 제곱합의 비율로 해석

• 0과 1사이의 값을 갖으며 1에 가까울수록 모형의 적합도가 높습니다

• 독립변수가 추가됨에 따라 증가하는 단점이 있습니다

 

– 수정결정계수

(adjusted coefficient of determination)

 

 

 

• 독립변수의 추가에의해 증가되는 결정계수의 단점을 보완할 수 있습니다

 

F test for model significance

 

- 가설

 

 

- 검정 통계량 test statistics

 

 

유의수준 a에서 F0 > F(k, n-k-1) (또는 F0에 대응되는 P값이 산출 되어있을때, P값<a이면)이면 가설H0를기각.

 

 

 

 개별회귀계수에 대한 T-검정

- 가설

 

- 검정 통계량 test statistics

 

 

Prediction for response value

 

* 평균반응치의 추정

* 미래반응치의 추정