단순 선형 회귀분석

1. 개요

- 회귀분석은 두 변수의 관계를 파악하기 위한 분석기법으로서 교차분석이나 변량분석 혹은 상관계수 분석과는 달리 구체적인 예측을 가능하게 한다.

- 종속변수에 독립변수가 하나면 단순 회귀분석,

종속변수에 독립변수가 다수이면 다중회귀분석.

단순회귀분석은 하나의 독립변수의 1단위량 증감이 종속변수에 미치는 영향을 파악하기 위한 것. 종속변수와 독립변수 사이의 관계는 곡선형이 아니라 직선형을 가정하고 있다.

- 변수의 종류에 상관이 없다. 단, 정규분포 성향이 있어야 하고, 다중회귀분석에서는 독립변수 상호간에 밀접한 관계가 없어야 한다. 정규분포 성향은 변수가 기수변수이고 표본의 수가 많으면 해결된다. 종속변수가 명목변수일 때에는 더미 변수를 도입하여 회귀분석을 사용할 수 있지만 이런 경우에는 통상 로짓 모델(logit model)이나 프로빗 모델(probit model)을 사용한다.

- 『y = a + bx』에서 a는 상수(constant) or 절편이라고 부른다. b는 기울기라고 부른다.

- 회귀분석의 예측범위: 독립변수의 최소값과 최대값 사이에서만 예측이 가능하다. 독립변수가 이 범위를 넘어설 때에는 종속변수의 예측값이 아무런 의미가 없다.

- 회귀식의 적합성은 적합계수(coefficient of determination)나 상관계수를 통해 알 수 있고, 신뢰성은 가설검증을 통해 알아볼 수 있다. 적합계수는 0 ~ 1 사이에 존재. 0이면 회귀분석에 사용한 자료가 회귀선을 설명하는데 전혀 도움이 되지 못한다는 말. 1이면 회귀분석에 사용된 자료가 회귀선을 100% 설명한다는 말. 적합계수는 흔히 R Square(R2)로 표현한다. 이 적합계수의 루트 값이 바로 상관계수다. // F값 검증방법. 유의수준(Sig)이 0.05보다 작기만하면 F값 검정을 안 해도 된다.

- 회귀분석에서 가설검증 매체는 두 가지. F값은 적합성에 대한 가설검증에 사용 즉 회귀방정식 자체가 성립되는지 여부를 검증. t 값은 종속변수와 개별 독립변수의 관계에 대한 가설검증에 사용.

- 적합도와 신뢰도를 구별할 것. 적합도는 사용된 자료가 회귀식을 몇 %나 설명하는가?에 대한 것이고, 신뢰도는 회귀모델을 현실 사회에서 몇 %나 장담할 수 있는가? 하는 문제다.

- 신뢰도 가설검증

①상관계수 가설검증: t 값으로. 자유도 = 전체 케이스 수 - 2.

②기울기 가설검증: t 값으로. 자유도 = 전체 케이스 수 - 2.

- 케이스 수가 30개가 넘으면 이 t값들을 z값으로 간주하고 z 분포표에서 검증을 해도 된다.

회귀모형의 기본 가정인 <오차항들은 서로 독립적이다>란 것을 검증하는 방법. Durbin-Watson 값. 이 값은 0~4 사이의 값을 가진다. DW값이 2에 가까우면 오차항간에 독립성이 존재하는 것이고, 이 값이 0에 가까우면 인접 오차항간에 양의 상관관계가 존재하고, 이 값이 4에 가까우면 인접 오차항간에 음의 상관관계가 존재하는 것이다. 2를 기준으로 1~3 사이면 문제없음. 좀 더 엄격하게는 1.7~2.3 사이.

2. 분석방법

- 분석 ---> 회귀분석 ---> 선형 ---> 종속/독립변수 입력 ---> 밑에 <통계량> 단추. “회귀계수: 추정값”, “모형적합” 두 개 선택. Durbin-Watson 단추 클릭. 계속. ---> 밑에 <옵션> 단추. F-확률사용, 방정식에 상수항 포함, 목록별 결측값 제외 선택. 계속 ---> 확인.

3. 결과해석

- <진입/제거된 변수>표에서 진입되었지만 제거된 변수가 표시된다.

- <모형요약>표에서 R은 상관계수. R Square(R2)는 적합도. 즉 설명도. Durbin-Watson은 오차항들이 서로 독립적인지 검증. 엄격하게는 1.7~2.3 사이에 있어야 하고, 좀 loose하게는 1~3 사이.

- <분산분석>표에서 F값의 유의수준이 0.05 이하이면 회귀식이 성립한다.

- <계수>표에서 상수 옆의 ‘B’값은 절편값, 독립변수 옆의 ‘B’값은 그 변수의 기울기. 둘 다 t값 or 유의확률로 검정한다. 유의수준이 0.05 이하이면 통계적으로 유의미.

다중 선형 회귀분석

1. 개요

- 종속변수와 독립변수가 선형의 관계에 있다. 단, 기울기가 부분적(partial)이라는 점에서 단순회귀분석과 다르다.

- 다중회귀분석의 기울기는 종속변수의 영향만 받는 것이 아니라, 다른 독립변수의 영향도 함께 받기 때문에 부분적 기울기라고 지칭한다.

- 적합도 검증은 역시 R2로 한다. R2의 F값 검증을 하나 그냥 유의수준으로 검증만 해도 된다.

- 다중 회귀분석에서 t 값 자유도 = 전체 케이스 수 - 독립변수 수 - 1.

- 여러 독립변수 중에서 어느 변수가 종속변수에 가장 큰 영향을 미쳤는지 알 수 있는가? t값과 β(베타)값이 클수록 이 영향이 강한 것. 어느 것을 보던 영향력의 순서는 같을 것이다. 그러나, t 값으로 볼 때의 순서와 β값으로 볼 때의 순서가 다르면 다중공선성을 의심해봐야 한다.

- 다중공선성(multicollinearity) 문제: 관계가 없거나 약함에도 불구하고, 관계가 밀접하게 보이는 것. 해결하는 방법은 회귀식에서 통계적으로 유의미하다고 판단된 독립변수들을 가지고 분석한다. <계수>표에서 “Tolerance(허용오차)” or “공차”가 0.30 이상이면 다중공선성이 없는 것이고, 0.30 이하면 다중공선성 문제가 있는 것이다.

VIF 값으로 다중공선성 검증하는 방법. 이 값이 1에 가까우면 다중공선성 문제가 없는 것이고, 10에 가까우면 다중공선성 문제가 있는 것. 5.5 이하, 이상으로 구분할 것. // 변수들 간 이변량 상관관계 분석을 통해 Pearson 상관계수가 0.7 이상이면 다중공선성을 의심해봐야 한다.

회귀모형의 기본 가정인 <오차항들은 서로 독립적이다>란 것을 검증하는 방법. Durbin-Watson 값. 이 값은 0~4 사이의 값을 가진다. DW값이 2에 가까우면 오차항간에 독립성이 존재하는 것이고, 이 값이 0에 가까우면 인접 오차항간에 양의 상관관계가 존재하고, 이 값이 4에 가까우면 인접 오차항간에 음의 상관관계가 존재하는 것이다. 2를 기준으로 1~3 사이면 문제없음. 좀 더 엄격하게는 1.7~2.3 사이.

박윤환 교수님 말씀.

2. 분석방법

- 분석 ---> 회귀분석 ---> 선형 ---> 종속/독립변수 입력 ---> 밑에 <통계량> 단추. “회귀계수: 추정값”, “모형적합” 두 개 선택. 계속. ---> 밑에 <옵션> 단추. F-확률사용, 방정식에 상수항 포함, 목록별 결측값 제외 선택. 계속 ---> 확인.

3. 결과해석

- <진입/제거된 변수>표에서 진입되었지만 제거된 변수가 표시된다.

- <모형요약>표에서 R은 상관계수. R 제곱은 적합도. 즉 설명도.

- <분산분석>표에서 F값의 유의수준이 0.05 이하이면 회귀식이 성립한다.

- <계수>표에서 상수 옆의 B 값은 절편값, 독립변수들 옆의 B 값은 각 변수의 기울기. 둘다 t값 or 유의확률로 검정한다. 유의수준이 0.05 이하이면 통계적으로 유의미. 통계적으로 무의미한 것은 회귀식에서 제외?

- 가장 영향을 많이 미치는 독립변수? 유의미한 독립변수들 중에서 그 변수의 t값이 큰 순서대로 종속변수에 큰 영향을 미친다.

- 다중공선성 문제: 입력, 후진, 전진 방식 등의 다중회귀분석을 통해서 유의미한 독립변수로 판정된 것들을 독립변수로 입력하여 처음부터 다시 회귀분석. 방식은 “입력.” 이때 의미 없다고 판정된 것들을 제외시킴. // <통계량> 단추에서 앞에서 선택한 단추들은 건드리지 말고 “공선성진단”만 추가 선택한다. 계속 --> 확인 // 결과표 중에서 <계수>표에서 오른쪽 끝에 “공선성 통계량 - 공차”에서 공차가 0.30보다 크면 다중공선성 문제가 없는 것. 이것이 0.30이하면 독립변수들 사이에 상관관계가 있는 것이다.

VIF 값으로 다중공선성 검증하는 방법. 이 값이 1에 가까우면 다중공선성 문제가 없는 것이고, 10에 가까우면 다중공선성 문제가 있는 것. 5.5 이하, 이상으로 구분할 것.

[잔차들 사이에도 상관관계가 없어 회귀식이 성립한다]고 볼 수 있다. Durbin-Watson 값으로 한다. 이 값은 0~4 사이의 값을 가진다. 2를 기준으로 1~3 사이면 문제없음. 좀 더 엄격하게는 1.7~2.3 사이. 0~1 사이, 3~4 사이는 잔차들 사이에 상관관계가 있는 것.