03_확률변수와 확률분포

요약

개념	이산	연속
확률함수	확률질량함수 $f(x)=P(X=x)$	확률밀도함수 $\int f(x)dx$
정규화 조건	$\sum f(x)=1$	${\int }_{-\infty }^{\infty }f(x)dx=1$
분포함수	$F(x)={\sum }_{x_i\le x}f(x_i)$	$F(x)={\int }_{-\infty }^{x}f(t)dt$
기댓값	$\sum x_{i}f(x_i)$	$\int xf(x)dx$

• 선형변환 공식 핵심: $E(\alpha X+\beta )=\alpha E(X)+\beta$, $\text{Var}(\alpha X+\beta )={\alpha }^2\text{Var}(X)$

1. 확률변수

• 확률변수 (random variable)

  • 표본공간 Ω의 각 원소에 하나의 실숫값을 대응시키는 함수 X

  • 사건 위주의 확률을 결과 위주의 확률로 수학적으로 모형화하기 위한 도구

  • 정의역: 표본공간

  • 치역: 실수 집합

  • 전체 구조는 다음과 같이 표현된다.

    • $S\stackrel{X(s)}{\to }{S}_x\stackrel{f(x)}{\to }P(X=x)$

• 예

  • 동전을 두 번 던지는 시행에서
  • 앞면의 횟수를 X라 하면,
  • X는 0, 1, 2의 값을 가지며
  • 각 확률은 1/4, 1/2, 1/4가 된다.

• 확률변수는 치역의 형태에 따라 두 가지로 나뉜다.

  • 이산확률변수: 치역이 셀 수 있는 이산값(예: {1, 2, 3, ⋯})으로 주어지는 경우
  • 연속확률변수: 치역이 연속하는 범위 안의 모든 실수값(예: 0 ≤ x ≤ 100)을 가지는 경우

1.1. 확률함수

(1) 확률질량함수

• 확률질량함수 (PMF; Probability Mass Function)

  • 이산확률변수 X에 대해 $f(x)=P(X=x)$

• 성질

  1. 모든 x에 대해 $0\le f(x)\le 1$
  2. $\sum f(x)=1$
  3. $P(X\in A)={\sum }_{x\in A}f(x)$

• 이항분포(독립 n번 시행)와 초기하분포(동시 또는 비복원 추출)의 확률질량함수

  • 이항분포: $f(x)=\left(\genfrac{}{}{0ex}{}{n}{x}\right)p^x{q}^{n-x}$
  • 초기하분포: $f(x)=\frac{\left(\genfrac{}{}{0ex}{}{a}{x}\right)\left(\genfrac{}{}{0ex}{}{b}{n-x}\right)}{\left(\genfrac{}{}{0ex}{}{n}{k}\right)}$ (단, $n=a+b$)

---

• 예제 3-1. 이항분포

  • 확률변수 $X$: 동전을 2번 던졌을 때 앞면이 나온 횟수
  • 이산점 $X(\Omega )=\{x\in Z\mid 0\le x\le 2\}$ (단, $Z$는 정수 집합)
  • 표기: $X\sim B(2,0.5)$
  • 확률함수: $f(k)=\left(\genfrac{}{}{0ex}{}{2}{k}\right)0.5^k(0.5{)}^{2-k}$ (단, $k=0,1,2$)
  • $f(0)=1\times 1/4$, $f(1)=2\times 1/4$, $f(2)=1\times 1/4$

• 예제 3-2

  • 이산점 $X(\Omega )=\{x\in Z\mid 1\le x\le 3\}$ (단, $Z$는 정수 집합)
  • 여기서 $P(X=x)$를 $f(x)$라고 하면,
  • 확률질량함수의 성질에 따라 $f(1)+f(2)+f(3)=1$이므로,
  • $0.2+0.4+f(3)=1$

• 예제 3-3. 기하분포

  • 확률변수 $X$: 주사위가 1이 나올 때까지 횟수
  • 이산점 $X(\Omega )=Z^{+}$ (단, $Z^{+}$는 양의 정수의 집합)
  • 표기: $X\sim NB(1,p)$
  • 확률함수: $f(k)=(\frac{5}{6}{)}^{k-1}\frac{1}{6}$ (단, $k\in Z^{+}$)

• 예제 3-4. 이항분포

  • 확률변수 $X$: 10번의 자유투 중 성공 횟수
  • 이산점 $X(\Omega )=\{x\in Z\mid 0\le x\le 10\}$ (단, $Z$는 정수 집합)
  • 표기: $X\sim B(10,0.8)$
  • 확률함수: $f(k)=\left(\genfrac{}{}{0ex}{}{10}{k}\right)0.8^k(0.2{)}^{10-k}=\frac{10!}{k!(10-k!)}0.8^k(0.2{)}^{10-k}$

(2) 확률밀도함수

• 확률밀도함수 (PDF; Probability Density Function)

  • 연속확률변수 X에 대해 $P(a\le X\le b)={\int }_a^{b}f(x)dx$를 만족하는 연속함수 $f(x)$

• 성질

  1. $f(x)\ge 0$
  2. ${\int }_{-\infty }^{\infty }f(x),dx=1$
  3. 연속확률변수에서는 $P(X=a)=0$이므로 부등호의 등호 포함 여부가 확률에 영향을 주지 않는다.

2. 확률분포

• 확률분포

  • 이산확률변수 → 이산확률분포
  • 연속확률변수 → 연속확률분포

• 분포함수, 누적분포함수 (CDF; Cumulative Distribution Function)

  • $F(x)=P(X\le x)$로 정의된다.
  • 이산확률변수: $F(x)={\sum }_{x_i\le x}f(x_i)$
  • 연속확률변수: $F(x)={\int }_{-\infty }^{x}f(t),dt$

• 분포함수의 성질

  1. $0\le F(x)\le 1$
  2. 증가함수
  3. $F(\infty )=1$, $F(-\infty )=0$
  4. 이산형일 때 $P(X=x)=F(x)-F(x-1)$

2.1. 이산확률변수

(1) 예제

• 예제 3-7

  • 확률변수 $X$: 동전을 2번 던졌을 때 앞면이 나온 횟수
  • 확률함수: $f(k)=\left(\genfrac{}{}{0ex}{}{2}{k}\right)0.5^k(0.5{)}^{2-k}$ (단, $k=0,1,2$)
    • $f(0)=1\times 1/4$, $f(1)=2\times 1/4$, $f(2)=1\times 1/4$
  • 분포함수를 $f(x)$라 할 때
    • 0 (x<0)
    • 1/4 (0≤x<1)
    • 3/4 (1≤x<2)
    • 1 (2≤x)

• 예제 3-8

  • 확률변수 $X$: 드론 3대의 연간 비고장률이 50%일 때, 1년 뒤 작동하는 드론의 수
  • 분포함수를 $f(x)$라 할 때
    • 0 (x<0)
    • 1/8 (0≤x<1)
    • 4/8 (1≤x<2)
    • 7/8(2≤x<3)
    • 1 (3≤x)

2.2. 연속확률변수

• 연속형의 경우 $f(x)=\frac{dF(x)}{dx}$가 성립한다.

• 연속형에서는 구간 확률을 다음과 같이 구할 수 있다.

  • $P(a\le X\le b)=F(b)-F(a)={\int }_a^{b}f(x),dx$

3. 확률변수의 기댓값과 분산

3.1. 기댓값

• 기댓값($E(X)$; expected value), 평균

  • 확률변수의 값은 변하므로, 각 값에 확률을 곱해서 기대값을 구한다.

  • 이산확률변수: $E(X)={\sum }_{i=1}^n{x}_{i}f(x_i)$

  • 연속확률변수: $E(X)={\int }_{-\infty }^{\infty }xf(x),dx$

• 기댓값의 주요 성질

  • $E(k)=k$, $E(kX)=kE(X)$, $E(X+k)=E(X)+k$,

  • $E(k_{1}X+k_{2}Y)=k_{1}E(X)+k_{2}E(Y)$이며,

  • 이를 종합하면 $E(\alpha X+\beta )=\alpha E(X)+\beta$ 라는 선형성이 성립한다.

3.2. 분산/표준편차

Transclude of 01_자료의-정리와-요약#^dispersion

• 분산 ($Var(X)$)

  • $\mu =E(X)$일 때, $\text{Var}(X)=E(X-\mu {)}^2=E(X^2)-{\mu }^2$로 정의된다.

• 표준편차

  • ${\sigma }_X=\sqrt{\text{Var}(X)}$

• 분산의 성질

  • $\text{Var}(k)=0$,

  • $\text{Var}(X\pm k)=\text{Var}(X)$,

  • $\text{Var}(kX)=k^2\text{Var}(X)$이며,

  • 종합하면 $\text{Var}(\alpha X+\beta )={\alpha }^2\text{Var}(X)$ 가 성립한다.

  • 기댓값과 달리 상수의 덧셈은 분산에 영향을 주지 않고,

  • 상수 곱은 제곱이 되어 빠져나오는 점이 핵심이다.

(1) 예제

• 예제 3-18

  • 이항확률질량함수 $f(x)=\left(\genfrac{}{}{0ex}{}{3}{x}\right)(0.5{)}^x(0.5{)}^{3-x}$
  • 기댓값 $E(X)={\sum }_{x=0}^{3}xf(x)={\sum }_{x=0}^{3}x\left(\genfrac{}{}{0ex}{}{3}{x}\right)0.5^{x}0.5^{3-x}$

• 예제 3-19

  • 지수분포 $\lambda e^{-\lambda x}$
  • 기댓값 $E(X)=1/\lambda$
  • 분산 $Var(X)=1/{\lambda }^2$

3.3. 적률생성함수

• 적률 (moment)

  • 확률분포의 특징을 알 수 있는 값
  • 1차 적률: 평균
  • 2차 적률: 제곱의 평균 (분산과 관련)
  • 3차, 4차 적률: 왜도, 첨도 등

• 적률생성함수 (MGF; Moment Generating Function)

  • 확률변수 X의 적률생성함수는 $M_X(t)=E(e^{tX})$로 정의된다.
    • 이산확률변수: $\sum e^{tx}f(x)$
    • 연속확률변수: ${\int }_{-\infty }^{\infty }{e}^{tx}f(x)dx$
  • $r$차 적률은 $M_X^{(r)}(0)=E(X^r)$로 구할 수 있다.
    • $E(X)=M_X^{\prime }(0)$
    • $\text{Var}(X)=M_X^{\prime \prime }(0)-{M_X^{\prime }(0)}^2$
  • 또한 서로 독립인 확률변수들의 합에 대해서는 $M_{X_1+\cdots +X_n}(t)={\prod }_{i=1}^n{M}_{X_i}(t)$가 성립한다.

(1) 예제

• 예제 3-20
  • 확률밀도함수 $f(x)=\frac{1}{2}{e}^{-|x|}$
    • Laplace(0, 1) 분포의 확률밀도함수이며
    • 적률생성함수는 $\frac{1}{1-t^2}$(단, $|t|<1$)임이 알려져있다.
  • 기대값을 취할 때 $E(e^{t}X)$로 취하면 된다.
  • ${\int }_{-\infty }^0\frac{1}{2}{e}^{-tx}{e}^x+{\int }_0^{\infty }\frac{1}{2}{e}^{-tx}{e}^{-x}$

4. 결합확률분포

• 두 확률변수 X, Y의 결합확률함수 (JPF)
  • $f(x,y)=P(X=x,Y=y)$로 정의된다.

4.1. 이산확률변수

• → 결합확률질량함수 (Joint PMF)

• → 주변확률질량함수 (Marginal PMF)

  • $f_X(x)={\sum }_{y}f(x,y)$
  • $f_Y(y)={\sum }_{x}f(x,y)$

• → 결합분포함수(Joint CDF)

  • $F(x,y)={\sum }_{u\le x}{\sum }_{v\le y}f(u,v)$

(1) 예제

Transclude of 04_여러가지-확률분포#^mvhg

• 예제 3-21. {B, B, B, R, R, G, G, G}에서 2개 비복원 추출, B수를 $k_1$, R수를 $k_2$
  • $f(k_1,k_2)=\frac{\left(\genfrac{}{}{0ex}{}{3}{k_1}\right)\left(\genfrac{}{}{0ex}{}{2}{k_2}\right)\left(\genfrac{}{}{0ex}{}{3}{n-k_1-k_2}\right)}{\left(\genfrac{}{}{0ex}{}{8}{2}\right)}$
  • 이산확률변수 $k_1$의 주변확률질량함수 $f(x)={\sum }_{y_i=0}^{2}f(x,y_i)$
  • 이산확률변수 $k_2$의 주변확률질량함수 $f(y)={\sum }_{x_i=0}^{2}f(x_i,y)$

4.2. 연속확률변수

• → 결합확률밀도함수 (Joint PDF)

• → 주변확률밀도함수 (Marginal PDF)

  • $f_X(x)={\int }_{-\infty }^{\infty }f(x,y)dy$
  • $f_Y(y)={\int }_{-\infty }^{\infty }f(x,y)dx$

• → 결합분포함수 (Joint CDF)

  • $F(x,y)={\int }_{-\infty }^x{\int }_{-\infty }^{y}f(u,v)dudv$

4.3. 결합분포로부터 베이지안 정리 유도

• Joint rule $f(x_i,y_j)=P(x_i|y_j)P(y_j)=P(y_j|x_i)P(x_i)$로부터 다음이 도출된다.
• $P(y_j|x_i)=\frac{P(x_i|y_j)P(y_j)}{{\sum }_{j=1}^{m}f(x_i,y_j)}$

5. 공분산과 상관계수

5.1. 공분산

• 공분산 (covariance)

  • 두 확률변수가 가지는 값이 동일한 방향으로 변화하는지(+), 혹은 반대 방향으로 변화하는지(-)에 대한 결합 산포 정도를 나타내는 척도

  • $\text{Cov}(X,Y)=E(X-{\mu }_X)(Y-{\mu }_Y)=E(XY)-{\mu }_X{\mu }_Y$

  • 선형변환에 대해 $\text{Cov}(aX+b,cY+d)=ac,\text{Cov}(X,Y)$가 성립한다.

5.2. 상관계수

Transclude of 01_자료의-정리와-요약#^dispersion

• 상관계수 (correlation coefficient)

  • 단위와 무관하게 두 변수의 관계 강도를 비교하는 척도
  • ${\rho }_{XY}=\text{Corr}(X,Y)=\frac{\text{Cov}(X,Y)}{{\sigma }_X{\sigma }_Y}$
  • ${\rho }_{XY}>0$이면 양의 상관, ${\rho }_{XY}<0$이면 음의 상관, ${\rho }_{XY}=0$이면 무상관
  • $\pm 1$일 때 완전 상관관계

• 성질

  1. $-1\le \text{Corr}(X,Y)\le 1$
  2. $\text{Corr}(X,X)=1$
  3. $\text{Corr}(X,-X)=-1$

5.3. 확률변수의 독립

• 서로 독립 (mutually independent)

  • 두 확률변수 X, Y가 모든 $(x_i,y_j)$에 대해 $f(x_i,y_j)=h(x_i)g(y_j)$를 만족한다.

• 독립일 때 다음이 성립한다.

  • $E(XY)=E(X)E(Y)$
  • $\text{Var}(X+Y)=\text{Var}(X)+\text{Var}(Y)$
  • $\text{Cov}(X,Y)=0$, $\text{Corr}(X,Y)=0$

• 분산의 가법성

  • 일반적인 경우 $\text{Var}\left(\sum X_i\right)=\sum \text{Var}(X_i)+2{\sum }_{i<j}\text{Cov}(X_i,X_j)$이지만,
  • 모두 서로 독립이면 공분산 항이 모두 사라져 $\text{Var}\left(\sum X_i\right)=\sum \text{Var}(X_i)$가 성립한다.