Covariance, Correlation Coefficient

개념

두 확률변수(또는 데이터)가 함께 어떻게 변하는지를 분석할 때 사용하는 대표적인 통계 지표이다.

즉, 두 변수 사이의 방향성과 관계의 강도를 파악하는 데 사용된다.

---

공분산 (Covariance)

공분산은 두 변수가 함께 변하는 방향(direction) 을 나타내는 지표이다.

즉, 한 변수가 증가할 때 다른 변수도 함께 증가하는지, 혹은 감소하는지를 확인할 수 있다.

---

수식

모집단 공분산은 다음과 같이 정의된다.(편차들의 곱의 평균)

$Cov(X, Y) = \frac{\sum_{i=1}^{n}(X_i - \bar{X})(Y_i - \bar{Y})}{n}$

표본 공분산의 경우 일반적으로 분모를 $n-1$로 사용한다.

$Cov(X, Y) = \frac{\sum_{i=1}^{n}(X_i - \bar{X})(Y_i - \bar{Y})}{n-1}$

---

의미

• 공분산($Cov(X, Y)$) $> 0$
  • $X$가 증가할 때 $Y$도 증가하는 경향이 있다.
  • 예: 키와 몸무게(기본적으로 키가 클수록 몸무게가 무겁다)
• 공분산($Cov(X, Y)$) $< 0$
  • $X$가 증가할 때 $Y$는 감소하는 경향이 있다.
  • 예: 스마트폰 사용 시간과 수면 시간(스마트폰을 많이 쓰는 사람은 보통 수면시간이 적다)
• 공분산($Cov(X, Y)$) $≈ 0$
  • 두 변수 사이에 뚜렷한 선형 관계가 없다.

---

한계점

공분산은 단위(scale)에 매우 민감하다.

예를 들어 키를 cm로 측정할지 m로 측정할지에 따라 값이 크게 달라질 수 있다.

즉, 값의 절대 크기만으로 관계의 강도를 직접 비교하기 어렵다. 그러므로 공분산은 상관계수를 이용하여 해석을 한다.

---

상관계수 (Correlation Coefficient)

상관계수는 공분산을 표준화(normalization) 한 값이다.

공분산의 단위 의존성 문제를 해결하기 위해 각 변수의 표준편차로 나누어 정규화한다.

수식

$\rho = \frac{Cov(X, Y)}{\sigma_X \sigma_Y}$

• $\sigma_X$: $X$의 표준편차
• $\sigma_Y$: $Y$의 표준편차

---

의미

상관 계수는 항상 -1 ~ 1 범위의 값을 가진다.

• $\rho$ = 1
  • 완벽한 양의 선형 관계이다.
• $\rho$ = -1
  • 완벽한 음의 선형 관계이다.
• 0 < $\rho$ < 1
  • 양의 선형 관계이다.
  • 1에 가까울수록 관계가 강하다.
• 1 < $\rho$ < 0
  • 음의 선형 관계이다.
  • 1에 가까울수록 관계가 강하다.
• $\rho$ = 0
  • 선형 관계가 없다.

---

정리

공분산은 방향을 나타내고, 상관계수는 방향과 강도를 함께 나타낸다.