[기초통계학] 독립(Independence)과 조건부확률(Conditional Probability) (1)

독립 (Independence)

정의) $P(A\cap B)=P(A)P(B)$이 성립할 때, 사건 A와 B는 독립이다.

주의하기: 서로소(disjoint) 와 구별하기 – A와 B가 서로소인 사건이라면, A가 발생했을 때 B는 발생할 수 없다. (한편, A와 B가 독립이라면, 사건 A의 발생은 B의 발생여부에 대한 그 어떤 영향도 끼치지 않음)

$P(A\cap B)=P(A)P(B)$
$P(B\cap C)=P(B)P(C)$
$P(C\cap A)=P(C)P(A)$
$P(A\cap B\cap C)=P(A)P(B)P(C)$
가 모두 성립할 때, 사건 A, B, C는 독립이다.

→ 쌍으로 독립(pairwise independence)과 전체 독립 모두 확인해야 A, B, C의 독립을 확인할 수 있다.

Newton-Pepys Problem(1693)

• 공정한 주사위를 갖고 있을 때, 다음 중 어떤 경우가 발생할 확률이 가장 높은가?
  • a) 6개의 주사위 중에서 적어도 한 개가 ‘6’이 나온 경우
  • b) 12개의 주사위 중에서 적어도 두 개가 ‘6’이 나온 경우
  • c) 18개의 주사위 중에서 적어도 세 개가 ‘6’이 나온 경우
• 답은 (a)

풀이) ‘적어도 몇 개’ 라는 표현이 나오면 합집합을 생각하기 → 합집합의 여집합은 교집합

⇒ 모든 사건이 독립이기 때문에, 곱셈으로 구할 수 있음!

$P(A)=1-(\frac{5}{6}{)}^6$ ≈0.665 (=1- 6이 한번도 안 나올 확률)
$P(B)=1-P(B)$ =1− (6이 한 번도 안 나올 확률 + 6이 딱 한 번 나올 확률) (6이 딱 한번 나오는 경우는 12개이므로 12를 곱해준다)

$=1-(\frac{5}{6}{)}^{12}+\frac{1}{6}\times (\frac{5}{6}{)}^{11}\times 12$ ≈0.619

$P(C)$ = 1- (0개, 1개, 2개의 6이나올 확률) (주사위 2개에서 6이 나오는 경우는 $(\genfrac{}{}{0ex}{}{18}{2})$이다)
= $1-{\displaystyle \sum _{k=0}^2}(\genfrac{}{}{0ex}{}{18}{k})(\frac{1}{6}{)}^k(\frac{5}{6}{)}^{18-k}$ ≈0.597

(a)가 가장 발생할 확률이 높다.

• 다만 주사위가 공정하다는 것에 기반하지 않다는 것. 각 면이 나올 확률이 같지 않을때는 위 경우가 성립하지 않는다.

조건부 확률 (Conditional Probability)

• 새로운 정보를 얻었을 때, 기존의 ‘믿음/불확실성(uncertainty)’을 어떻게 업데이트하는가?

정의) $P(A|B)=\frac{P(A\cap B)}{P(B)}$ , (P(B) >0이다)

직관적 접근 1) '조약돌 세계관'

집합 S안에 q개의 조약돌이 있고 이 조약돌 질량의 합이 1이라고 했을때
사건 B에 있는 모든 조약돌을 무시하고 B가 전부라고 여길땨, B안에서도 A도 발생할 확률은 $P(A|B)$ 이다
그런데 B에 있는 질량의 총합이 1이 안되기 때문에 다시 재정규화(renormalize)하는 작업이 필요하다.
따라서 $P(A|B)$에 P(B)를 곱해야한다.

직관적 접근 2) '빈도학파(Frequentist) 세계관'

같은 실험을 무한 번 반복할 수 있다면,

음영표시한 사건 B가 일어난 사건 중, 사건 A 도 같이 일어난 비율

정리

1. $P(A\cap B)=P(B)P(A|B)=P(A)P(B|A)$   (곱셈의 교환법칙)
2. $P(A_1,A_2,...A_n)=P(A_1)P(A_2|A_1)P(A_3|A_1,A_2)...P(A_n|A_1,...,A_{n-1})$  (n 펙토리얼 이론)
3. $P(A|B)=\frac{P(B|A)P(A)}{P(B)}$  (베이즈의 정리(Bayes’ Theorem))