10 상관분석과 회귀분석

메모

• 상관도

  • 두 변량 사이의 관계를 대략적으로 파악할 수 있는 그래프

• 상관관계의 통계량

  • 상관도 모양이 대체로 직선인 경우: 단순상관계수
  • 상관도 모양이 곡선인 경우: 상관비

• 상관분석

  • 상관계수를 이용하여 변수와 변수 사이의 직선 관계를 분석하는 것

• 회귀분석

  • 독립변수와 종속변수의 구체적인 함수 형태를 찾고, 독립변수로부터 종속변수를 예측
  • 독립변수: 이때 두 변수 중 다른 변수에 영향을 주는 변수
    • 단순회귀분석: 독립변수가 한 개일 때
  • 종속변수: 영향을 받는 변수

• 단순선형회귀분석

  • 독립변수와 종속변수의 관계가 직선

• 선형회귀

  • 원인($X$)과 결과($Y$) 사이의 관계를 가장 잘 설명하는 직선 하나를 긋는 것

• 선형방정식

  • 변수($x$)의 차수(power)가 1인 방정식

1. 상관분석

1.1. 표본상관계수

• 정의 및 개념

  • 두 변수 사이의 선형적인 관계(방향과 강도)를 측정하는 지표이다.
  • 모집단의 모상관계수($\rho$)를 추정하기 위해 표본으로부터 구한 통계량($r$)이다.
  • 피어슨 상관계수(Pearson correlation coefficient)가 가장 일반적으로 사용된다.

• 공식

  • 공분산을 각 변수의 표준편차의 곱으로 나눈 값이다.
  • $r=\frac{S_{xy}}{\sqrt{S_{xx}{S}_{yy}}}=\frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sqrt{\sum (x_i-\bar{x}{)}^2\sqrt{\sum (y_i-\bar{y}{)}^2}}}$

• 성질

  • 단위(Scale)의 영향을 받지 않는다.
  • 항상 $-1$과 $+1$ 사이의 값을 가진다. ($-1\le r\le +1$)
  • $r>0$: 양의 상관관계 (하나가 증가하면 다른 하나도 증가)
  • $r<0$: 음의 상관관계 (하나가 증가하면 다른 하나는 감소)
  • $r=0$: 선형 상관관계가 존재하지 않음 (무상관)
  • 변수의 위치가 바뀌거나 선형 변환을 해도 상관계수 값은 변하지 않는다.

• 스피어만 상관계수

  • 데이터가 서열 척도(순위)일 때 사용하는 비모수적 방법이다.

1.2. 상관계수의 검정

• 가설 설정

  • 귀무가설($H_0$): $\rho =0$ (두 변수 사이에 상관관계가 없다)
  • 대립가설($H_1$): $\rho \ne 0$ (두 변수 사이에 상관관계가 있다)

• 검정통계량

  • 상관계수 $r$ 자체의 분포를 알 수 없으므로, t-분포를 따르는 통계량으로 변환하여 사용한다.
  • $t=r\sqrt{\frac{n-2}{1-r^2}}$ (자유도 $n-2$인 t-분포를 따름)

• 판정

  • 산출된 t값의 절댓값이 임계값보다 크거나, p-value가 유의수준보다 작으면 귀무가설을 기각한다.

• 상관분석의 한계

  • 인과성(Causality)을 입증하지 않는다.
  • 비선형 관계(곡선 등)는 반영하지 못한다.
  • 이상치(Outlier)나 데이터 구조(분리된 소표본)에 민감할 수 있다.
  • 허위상관(제3의 변수에 의한 상관) 가능성을 주의해야 한다. (이 경우 편상관계수 활용)

2. 회귀분석

2.1. 단순선형회귀모형

• 정의

  • 독립변수(원인, $X$)와 종속변수(결과, $Y$) 사이의 인과관계를 직선 형태의 함수로 규명하는 분석 방법이다.

• 모형의 식

  • $Y_i=\alpha +\beta X_i+e_i$ ($i=1,2,...,n$)
  • $\alpha$: 절편 (Intercept), $\beta$: 기울기 (Slope, 회귀계수)
  • $e_i$: 오차항 (Error term)

• 기본 가정

  • 오차항($e_i$)은 서로 독립적이며, 평균이 0이고 분산이 ${\sigma }^2$인 정규분포를 따른다. ($e_i\sim N(0,{\sigma }^2)$)
  • 독립변수 $X$는 확정된 상수값으로 가정한다.

2.2. 추정한 회귀직선의 정확도

• 변동의 분해 (ANOVA 개념)

  • 총제곱합(SST) = 회귀제곱합(SSR) + 오차(잔차)제곱합(SSE)
  • $\sum (y_i-\bar{y}{)}^2=\sum ({\hat{y}}_i-\bar{y}{)}^2+\sum (y_i-{\hat{y}}_i{)}^2$

• 결정계수 ($R^2$, Coefficient of Determination)

  • 추정된 회귀직선이 전체 데이터를 얼마나 잘 설명하는지를 나타내는 지표이다.
  • $R^2=\frac{SSR}{SST}=1-\frac{SSE}{SST}$
  • $0\le R^2\le 1$의 범위를 가지며, 1에 가까울수록 설명력이 높다.
  • 단순회귀분석에서 결정계수는 표본상관계수의 제곱($r^2$)과 같다.

• 표준오차와 분산 추정

  • 오차항의 분산 ${\sigma }^2$의 추정량인 평균제곱오차(MSE, $S^2$)를 사용한다.
  • $S^2=\frac{SSE}{n-2}$
  • 추정의 표준오차(SE of estimate): $S=\sqrt{S^2}$

• F 검정: 모형 전체의 적합도를 검정한다. ($H_0:\beta =0$)

3. 회귀계수의 추정과 검정

3.1. 회귀계수의 추정

• 점추정 (Point Estimation)

  • 최소제곱법 (LSE, Least Squares Method): 잔차의 제곱합($\sum e_i^2$)을 최소화하는 $\alpha$와 $\beta$를 찾는다.
  • 추정 공식
    • 기울기 추정량: $\hat{\beta }=\frac{S_{xy}}{S_{xx}}=\frac{\sum (x_i-\bar{x})(y_i-\bar{y})}{\sum (x_i-\bar{x}{)}^2}$
    • 절편 추정량: $\hat{\alpha }=\bar{y}-\hat{\beta }\bar{x}$
  • 추정 회귀식: $\hat{y}=\hat{\alpha }+\hat{\beta }x$

• 구간추정 (Interval Estimation)

  • 회귀계수 $\alpha ,\beta$ 및 평균반응값 $E(Y|x)$에 대한 신뢰구간을 구한다.
  • 회귀계수의 추정량은 정규분포를 따르며, 모분산을 모를 경우 t-분포를 이용하여 $(1-\alpha )100\%$ 신뢰구간을 계산한다.

3.2. 회귀계수의 검정

• 검정 개요: 독립변수 $X$가 종속변수 $Y$에 유의한 영향을 미치는지 확인하기 위해 기울기 $\beta$에 대한 가설검정을 수행한다.

• 가설

  • $H_0:\beta =0$ (영향이 없다)
  • $H_1:\beta \ne 0$ (영향이 있다)

• 검정통계량 (t-검정)

  • $t=\frac{\hat{\beta }-0}{SE(\hat{\beta })}$
  • 여기서 $SE(\hat{\beta })=\frac{S}{\sqrt{S_{xx}}}$ (기울기의 표준오차)
  • 자유도 $(n-2)$인 t-분포를 따른다.

• 가정의 검증: 회귀분석의 신뢰성을 위해 잔차 분석을 통해 다음을 확인해야 한다.

  • 정규성: 잔차가 정규분포를 따르는가?
  • 독립성: 잔차들 간에 상관관계가 없는가? (Durbin-Watson 통계량 등으로 자기상관 확인)
  • 등분산성: $X$값에 관계없이 잔차의 분산이 일정한가?

3.3. 상관계수와 회귀계수의 관계

• 부호의 일치

  • 단순선형회귀에서 회귀계수(기울기) $b$와 상관계수 $r$은 항상 같은 부호를 가진다.
  • $b>0⟺r>0$ (양의 상관관계)
  • $b<0⟺r<0$ (음의 상관관계)
  • $b=0⟺r=0$ (무상관)

• 함수 관계

  • 회귀계수와 상관계수는 다음 식의 관계를 가진다.
  • $b=r\frac{S_y}{S_x}$ (여기서 $S_x,S_y$는 각 변수의 표본표준편차)
  • 따라서 회귀계수의 유의성 검정($\beta =0$) 결과는 상관계수의 유의성 검정($\rho =0$) 결과와 동일하다.