[기초통계학] 확률밀도함수 (연속확률분포, 균등분포)

확률밀도함수(Probability Density Function) (PDF)

• 확률변수 X가 모든 a,b 에 대하여 $P(a\le X\le b)={\displaystyle {\int }_a^{b}f(x)dx}$ 를 만족시킬 때, X는 확률밀도함수(PDF) f(x)를 갖는다.
• a=b 인 경우, ${\displaystyle {\int }_a^{a}f(x)dx=0}$
• 확률밀도함수가 필요한 이유는 P(X=x) = 0이기 때문 (특정값에 대한 확률은 0)
  • 0과 1사이에는 수많은 실수가 존재함 -> 확률질량함수에서는 이 모든 실수에 대한 확률이 0임
  • 따라서 확률밀도함수는 값에 일정한 범위를 두고 확률을 계산
• 확률밀도함수에도 누적분포함수(CDF)가 존재
• 확률밀도함수의 세로축은 확률 그 자체의 값이 아니라 상대적 발생 가능성을 표현한 것임
• 조건: $f(x)\ge 0,{\displaystyle {\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}f(x)dx=1}$
• 즉, 확률변수의 정의역 전체를 적분하면 1이 되며, 모든 사건 중 어느 것이든 일어날 확률이 1이라는 것을 나타냄

확률밀도함수

밀도란

• 확률밀도함수는 확률을 의미하는 것이 아니라 확률밀도를 의미하는 것임
• $f(x_0)\cdot ϵ\approx P(X\in (x_0-ϵ/2,x_0+ϵ/2))$
  • 매우 작은 양의 값 ϵ 길이의 구간에 대한 면적
• X가 PDF f를 가질 때, CDF는 $F(x)=P(X\le x)={\displaystyle {\int }_{-\mathrm{\infty }}^{x}f(x)dx}$ 이다.
• CF) <미적분학의 기본정리(Fundamental Theorem of Calculus)> <'FTC'>
  • 상한이 정해지지 않은 적분이 있을때 F(x)값을 아는 것은 이를 미분을 하는 것이다.
  • 정적분을 하고 싶으면 역도함수를 구해서 하한과 상한에서 그 역도함수를 빼는 것이다.
• X가 CDF $F_X(x)$를 가질 때, PDF는 $f(x)=F_X^{\prime }(x)$이다 <FTC>
• $P(a\le X\le b)={\displaystyle {\int }_a^{b}f(x)dx=F(b)-F(a)}$ <FTC>
• 참고로 $P(a\le X\le b)$가 a,b를 포함하는지 안하는지는 중요하지 않음

연속확률분포(continuous distribution)와 이산확률분포 비교

	이산 확률 분포	연속확률분포
확률함수	PMF(확률질량함수) $P(X=x)$	PDF(확률밀도함수) $f_X(x)(P(X=x)=0)$
CDF(누적분포함수)	$F_X(x)=P(X\le x)$
기댓값	$E(X)=\sum _{x}xP(X=x)$	${\displaystyle {\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}x{f}_X(x)dx}$
분산	$Var(X)=E(Y^2)-{E(Y)}^2$
표준편차	$sd(X)=\sqrt{Var(X)}$

균등분포(uniform distribution) $Unif(a,b)$

• 연속확률분포의 한 종류로, 모든 확률변수에 대해 균일한 확률을 가짐
• 특정 범위가 뽑힐 확률이 그 범위의 크기에 비례하는 분포
• 두개의 매개변수 a,b를 받으며, [a,b] 범위에서 균등한 확률을 가짐

• PDF $f(X)=c(a\le X\le b)$ (=0 otherwise)
  • 확률밀도를 적분하면 1이 나와야함
    $\Rightarrow 1={\displaystyle {\int }_a^{b}cdx=c(b-a)}$
    $c=\frac{1}{b-a}$
• CDF $F(X)={\displaystyle {\int }_{-\mathrm{\infty }}^{x}f(t)dt={\int }_a^{b}f(t)dt=0(x<a)}$$1(x>b)$
• $\frac{x-a}{b-a}(a\le x\le b)$
• 기댓값
  $E(X)={\displaystyle {\int }_a^b\frac{x}{b-a}dx=\frac{x^2}{2(b-a)}{]}_a^b}$
  $={\displaystyle \frac{1}{2(b-a)}\cdot (b-a)(b+a)=\frac{a+b}{2}}$
• 분산
  $Var(X)=E(Y^2)-{E(Y)}^2={\displaystyle {\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}{x}^2{f}_X(x)dx}$
  (-> 무의식 통계학자의 법칙(Law of unconscious statistician))
• $E(g(X))={\displaystyle {\int }_{-\mathrm{\infty }}^{\mathrm{\infty }}g(x)f_X(x)dx}$ (이게 맞음)

표준연속균등분포

$U\sim Unif(0,1)$ 이라 할 때,

$E(U)={\displaystyle \frac{1}{2},E(U^2)={\displaystyle {\int }_0^1{u}^2{f}_U(u)du=\frac{1}{3}}}$

$Var(U)=E(U^2)-{E(U)}^2={\displaystyle \frac{1}{3}-\frac{1}{4}=\frac{1}{12}}$

균등분포의 보편성(universality of the uniform distribution)

• $Unif(0,1)$ 를 통하여 모든 확률분포를 만들어낼 수 있다.

$U\sim Unif(0,1)$, CDF F를 가질 때 (F는 연속인 증가함수이라고 가정)

정리) $X=F^{-1}(U)일때,X\sim F$

증명) $P(X\le x)=P(F^{-1}(U)\le x)=P(U\le F(x))$

균등분포의 보편성 (cont.)

• F가 증가하는 CDF라고 할 때,
  $U\sim Unif(0,1)$ 이면 $X^{-1}(U)\sim$이다. → 어떤 확률분포를 simulate 할 때 유용한 성질

$\iff X\sim F이면F(X)\sim Unif(0,1)$이다.

ex) $F(x)=1-e^{-x}(x>0)$를 따르는 X 분포를 simulate하기 위해서는

1. $U\sim Unif(0,1)$를 simulate한다

2. $F^{-1}(U)=-ln(1-U)\sim F$

균등분포의 대칭성

$U\sim Unif(0,1)$일 때, $1-U\sim Unif(0,1)$이다.

균등분포의 선형변환

$U\sim Unif(0,1)$일 때, $a+bU\sim Unif(a,a+b)$이다.

(비선형적 변환 시 더 이상 균등분포를 따르지 않는다)

해당 포스팅은 [하버드 확률론 기초] 강의를 참고하여 작성하였습니다