[SQL] 선형 회귀 분석(Regression Analysis)이란? 모분산/ 표본분산/ 공분산/ 상관계수/ 결정계수

[ 선형 회귀 (Regression) 란? ]

용어	설명
회귀 (Regression)	- 독립변수(원인)와 종속변수(결과) 간의 인과 관계나 상관관계를 수학적 모델(직선 등)로 표현하여, 연속형 데이터를 예측하는 통계 분석 기법 - 회귀데이터를 가장 잘 설명하는 함수(모델)를 찾는 개념 자체. - 기울기와 절편을 포함한 식을 찾는 것
회귀 분석 (Regression Analysis)	회귀를 이용해서 변수 간의 관계를 파악하고 미래 값을 예측하는 분석 행위
선형 회귀 (Linear Regression)	회귀 분석 중에서 관계를 직선(y = wx + b)으로 모델링하는 방법. 가장 기본적인 회귀 방식

• 변수 간의 관계를 직선(선형)으로 모델링해서 값을 예측하는 분석 방법
• x(독립변수)로 y(종속변수)를 가장 잘 설명하는 식을 찾는 것
• y = wx + b (w: 기울기, b: 절편)
• y는 종속변수, x는 독립변수 (y~x : y는 x에 의존한다)

 

[ 기본 개념 ]

1. 모분산 (Population Variance)

• 하나의 변수 데이터가 평균에서 얼마나 퍼져있는지 보는 값
• 각각의 데이터 \(x_i\)에서 모집단 평균 \(\mu\)를 빼고 제곱해서 모든 값을 더한 다음 전체 데이터 개수 \(N\)으로 나눔
• (각 값 - 평균) → 제곱 → 전부 더함 → N으로 나눔

$$\sigma^2 = \frac{1}{N} \sum_{i=1}^{N} (x_i - \mu)^2$$

분산값	의미
분산 작음 (>0)	데이터가 평균 근처에 모여 있음
분산 큼	데이터가 평균에서 멀리 퍼짐
분산 = 0	모든 값이 동일 (퍼짐 없음)

 

2. 표본분산 (Sample Variance)

• (각 값 - 표본평균) → 제곱 → 전부 더함 → (n-1)로 나눔
• 모분산과 달리 N이 아닌 n-1로 나눔 (자유도 보정)
• 각각의 데이터 \(x_i\)에서 표본 평균 \(\bar{x}\)를 빼고 제곱해서 모든 값을 더한 다음 전체 개수 \(n\)이 아니라 \(n-1\)로 나눔

$$s^2 = \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \bar{x})^2$$

 

3. 공분산 (Covariance)

• 두 변수 X, Y가 함께 어떻게 변하는지 보는 값 (두 변수가 같이 증가하는지 아니면 같이 감소하는지)
• 각각의 평균 \(\mu_x\), \(\mu_y\)를 빼고 서로 곱한 다음 전부 더해서 \(N\)으로 나눔

$$\text{Cov}(X,Y) = \frac{1}{N} \sum_{i=1}^{N} (x_i - \mu_x)(y_i - \mu_y)$$

공분산 값	의미
공분산 < 0	반대로 움직임 (음의 관계)
공분산 ≈ 0	관계 거의 없음
공분산 > 0	같이 증가 (양의 관계)

 

4. 상관계수 (Correlation Coefficient)

• 두 변수 X, Y의 선형 관계의 방향과 강도를 나타냄
• 공분산을 표준화한 값
• 값 범위: -1 ~ 1

$$r = \frac{\text{Cov}(X,Y)}{\sigma_X \sigma_Y}$$

값	의미
1	완전한 양의 관계
-1	완전한 음의 관계
0	선형 관계 없음

 

5. 결정계수 (Coefficient of Determination)

• 회귀 모델이 데이터를 얼마나 잘 설명하는지 나타내는 지표
• 전체 변동 중에서 모델이 설명한 비율
• 값 범위: 0 ~ 1

$$R^2 = 1 - \frac{SS_{res}}{SS_{tot}}$$

값	의미
1	완벽하게 설명
0	전혀 설명 못함

 

상관계수 vs 결정계수

구분	상관계수 (r)	결정계수 (R²)
의미	관계의 방향 + 강도	모델의 설명력
범위	-1 ~ 1	0 ~ 1
방향성	있음	없음
사용	변수 간 관계 분석	회귀 모델 평가