[기초통계학] 기댓값 (Expected Value)

독립 확률변수 (독립성의 정의)

• 모든 x, y 값에 대하여 $P(X\le x,Y\le y)=P(X\le x)P(Y\le y)$ 등식이 성립할 때,
  확률변수 X, Y가 독립이라고 할 수 있다.
• 이산확률변수의 경우, $P(X=x,Y=y)=P(X=x)P(Y=y)$
  (※ 연속확률변수에서는 성립하지 않음!)

평균(Average, Expected Value)

1. 산술평균(전부 더해서 나누기)(unweighted average): 1, 2, 3, 4, 5, 6 → $\frac{1+2+3+4+5+6}{6}$
2. 가중평균(weighted average): 1,1,1,1,1,3,3,5 → $\frac{5}{8}\times 1+\frac{2}{8}\times 3+\frac{1}{8}\times 5$
   $\frac{5}{8},\frac{2}{8},\frac{1}{8}$ 는 가중치. 가중치는 전부 더해서 1이다.

이산확률변수의 기댓값

• $E(X)={\displaystyle \sum _{x}P(X=x)(P(X=x)>0)}$
  $\sum$ 값 * 확률질량함수
• 셀수 있는 리스트에 한해 적용

베르누이 확률변수의 기댓값

• $X\sim Bern(p)$
  $E(X)=1\cdot P(X=1)+0\cdot P(X=0)=p$
• X = 사건 A가 발생한 경우 1, 그 외의 경우 0
  • X를 지시확률변수로 생각해 볼 수 있다
• E(X) = P(A)
• 기댓값과 확률의 관계를 이어줌

이항확률분포의 기댓값

$X\sim Bin(n,p)$
$E(X)={\displaystyle \sum _{k=1}^{n}k(\genfrac{}{}{0ex}{}{n}{k})p^k{q}^{n-k}=\sum _{k=1}^{n}n(\genfrac{}{}{0ex}{}{n-1}{k-1})p^k{q}^{n-k}}$ (k에 대한 의존을 제거)
$={\displaystyle np\sum _{k=1}^n(\genfrac{}{}{0ex}{}{n-1}{k-1})p^{k-1}{q}^{n-k}}$
$={\displaystyle np\sum _{k=1}^n(\genfrac{}{}{0ex}{}{n-1}{j})p^j{q}^{n-1-j}}$
이항정리에 의하여 ${\displaystyle \sum _{k=1}^n(\genfrac{}{}{0ex}{}{n-1}{j})p^j{q}^{n-1-j}=1}$
따라서 이항확률분포의 기대값은 $np$

기댓값의 선형성(linearity)

• $E(X+Y)=E(X)+E(Y)$ → X, YX,Y가 서로 독립이 아닌 경우에도 성립!
• $E(cX)=cE(X)$ (c는 상수)

선형성 증명하기

$T=X+Y$ 라 할 때, $E(T)=E(X)+E(Y)$

$\to {\displaystyle \sum _{t}tP(T=t)=\sum _{x}xP(X=x)+\sum _{y}yP(Y=y)}$

• 이산확률변수이므로 확률질량함수를 사용할 수 있음
• 평균을 구하는 방법은 전부 더해서 나누는 방법과, 그룹으로 묶어서 가중평균을 구하는 방법이 있다.

조약돌의 합으로 정의할 수 있음 (전체는 부분의 합)

$E(X)={\displaystyle \sum _{x}xP(X=x)=\sum _{s}X(s)P(s)}$ P(s)는 조약돌 s의 질량 (앞의 식은 Grouped, 뒤의 식은 Ungrouped)
$E(T)={\displaystyle \sum _s(X+Y)(s)P(s)=\sum _s(X(s)+Y(s))P(s)}$
$={\displaystyle \sum _{s}X(s)P(s)+\sum _{s}Y(s)P(s)=E(X)+E(Y)}$

• 상수로 곱할 수 있음 (위 E(x)식에서 상수를 시그마 밖으로 꺼내기만 하면됨)
  E(cX) = cE(X) (c는 상수)

→ 가장 극단적인 상황: X = Y 이라는 극단적인 종속 상황에서도 성립

$E(X+Y)=E(2X)=2E(X)=E(X)+E(Y)$

이항확률변수의 기댓값(선형성 이용)

$X=X_1+...+X_n$ 이기 때문에 ($X_i$는 각각 베르누이 시행)
$E(X)=n\cdot E(X_1)=np$

EX) 에이스 카드 문제
$X_j$를 j번째 카드가 에이스인 사건을 나타내는 지시확률변수라고 할 때 ($j\in 1,2,3,4,5$)

$E(X)=E(X_1+...+X_5)=E(X_1)+...+E(X_5)=5$
= 5⋅P(첫번째 카드가 에이스)($\frac{4}{52}$) =$\frac{5}{13}$

• $X_j$가 서로 종속임에도 성립
• 초기하분포의 기댓값 계산방법 ≅ 이항분포의 기댓값 계산방법

예제

1. Putnam 문제: $1,2,...,n(n\ge 2)$의 어떤 순열에 대해서 극댓값의 갯수의 기댓값을 구하시오.

• 극대값이란 : 특정 부분만을 놓고 대소를 비교했을 때 가장 함숫값이 크면 극대, 가장 작으면 극소라고 하는 것이다
  • 3,2,1,4,7,5,6 이라는 순열이 있을때, 7은 양옆의 4,5보다 크기에 극댓값, 3은 오른쪽의 2보다 크기에 극대값, 6은 왼쪽의 5보다 크기에 극대값
  • 중간에 있는 수는 양옆의 수보다 커야하며, 양끝의 수는 왼쪽/오른쪽에 있는 수보다 커야함

$I_j$가 j번째 위치에 극대값이 있음을 가리키는 지시확률변수라 할 때,
$\sum I_j$ = 극대값의 수
$E(I_1+...+I_n)=E(I_1)+...+E(I_n)=\frac{n-2}{3}+\frac{2}{2}=\frac{n+1}{3}$

• 특정 중간 위치에서, 해당 숫자가 양옆의 수보다 클 확률은 $\frac{1}{3}$
  • 다만 순열의 양쪽끝은 해당사항이 없기에 2를빼준다.
• 순열의 양쪽 끝 위치에서, 해당 숫자가 옆의 수보다 클 확률은 $\frac{1}{2}$
  • 끝은 2개이기에, 위 식에서 +1을 해준다
• 간단한 상황: n=2
• [[ 1 212 ]] [[ 2121 ]] → E(X)=1
• 극단적인 상황:n → ∞
• 극대값 수의 기댓값 → ∞

 

평균의 법칙

• 시행횟수가 증가할수록 확률오차의 절대적 크기는 증가한다.

• 시행횟수가 증가할수록 시행횟수에 대비한 확률오차의 상대적 크기는 감소함. 이게 바로 평균의 법칙이다.