68-95-99.7 규칙

1. 개요

68-95-99.7 규칙은 정규 분포에서 평균으로부터 1, 2, 3 표준 편차 내에 데이터가 포함될 확률을 나타내는 경험적 규칙이다. 이 규칙은 각각 약 68%, 95%, 99.7%의 확률로 데이터가 해당 범위 내에 속한다는 것을 의미한다. 이 규칙은 정규 분포의 누적 분포 함수에서 유래하며, 통계적 신뢰 구간과 관련이 있다. 또한, 데이터의 정규성을 간략하게 평가하고 이상치를 검출하는 데 사용될 수 있다.

2. 누적 분포 함수

정규 분포의 누적 분포 함수(CDF)는 특정 값 이하의 확률을 나타낸다. 68-95-99.7 규칙은 이 누적 분포 함수에서 파생된 값이다. 표준 점수 z에 대한 예측 구간은 수치적으로 $(1\; -\; (1\; -\; \Phi$_µ,σ²(z)) · 2)로 계산된다.

--

예를 들어, 평균에서 특정 표준 편차 범위 내에 데이터가 존재할 확률은 누적 분포 함수를 이용하여 계산할 수 있다. μ±2σ 범위 내에 존재할 확률은 약 95.45%이다.

2.1. 수치 값

이러한 수치 "68%, 95%, 99.7%"는 정규 분포의 누적 분포 함수에서 파생되었다.

어떤 표준 점수 z에 대한 예측 구간은 수치적으로 (1 − (1 − Φ_µ,σ²(z)) · 2)에 해당한다.

예를 들어, 2σ의 범위, 즉 Φ(2) ≈ 0.9772 또는 Pr(X ≤ μ + 2σ) ≈ 0.9772는 (1 − (1 − 0.97725) · 2) = 0.9545 = 95.45%에 해당한다. 그러나 이 간격은 대칭적이지 않다. 관측값이 μ + 2σ일 확률에 지나지 않는다. 관측값이 평균에서 ±2σ의 범위에 포함될 확률은 (반올림 오차를 포함하지만)
:$\backslash Pr(\backslash mu-2\backslash sigma\; \backslash le\; X\; \backslash le\; \backslash mu+2\backslash sigma)$
= \Phi(2) - \Phi(-2)
\approx 0.9772 - (1 - 0.9772)
\approx 0.9545

로 계산할 수 있다.

이는 95% 신뢰 구간 $\backslash bar\{X\}\; \backslash pm\; 2\backslash frac\{\backslash sigma\}\{\backslash sqrt\{n\}\}$과 관련이 있다(단, n 표본의 평균을 $\backslash bar\{X\}$로 한다). 정규 분포는 꼬리 부분에서 확률이 지수 함수적으로 감소하므로, 잔차가 큰 데이터는 지수 함수적으로 감소한다. 표준 정규 분포를 따르는 하루에 한 번 발생하는 사건은, 통계적으로 다음과 같은 표에 나타낸 빈도로 발생한다.

--

3. 정규성 검정

68-95-99.7 규칙은 데이터가 정규 분포를 따르는지 대략적으로 평가하는 데 사용될 수 있다. 이 규칙은 모집단이 정규 분포를 따른다고 가정할 때 이상치 검정에도 사용될 수 있다.

표본에서 표준 편차의 개수로 넘어가려면, 먼저 편차를 계산해야 한다. 모집단 평균을 알고 있는지, 아니면 추정만 하는지에 따라 오차 또는 잔차가 된다. 다음 단계는 모집단 매개변수가 알려져 있으면 표준화 (모집단 표준 편차로 나누기)를 수행하고, 매개변수가 알려지지 않고 추정만 된 경우에는 스튜던트화 (표준 편차의 추정치로 나누기)를 수행한다.

이상치 검사 또는 정규성 검사로 사용하기 위해서는 표준 편차 측면에서 편차의 크기를 계산하고 이를 예상 빈도와 비교한다. 주어진 표본 집합에서 스튜던트화 잔차를 계산하고 이를 예상 빈도와 비교할 수 있다. 정규 분포에서 3 표준 편차 (3σ) 이상 벗어나는 지점은 이상치일 가능성이 높다. 3σ 이상 벗어나는 지점이 많다면, 분포의 정규성을 의심할 이유가 있을 것이다. 이는 4 표준 편차 (4σ) 이상 벗어나는 경우에 더욱 강력하게 적용된다.

푸아송 분포를 사용하여 주어진 크기 이상의 극단적인 이동 횟수를 더 정확하게 계산할 수 있다. 간단히 말해서, 표본 크기가 1,000인 표본에서 4σ 이동이 여러 번 발생한다면, 이러한 이상치를 고려하거나 분포의 정규성을 의심할 강력한 이유가 있다.

예를 들어, 6σ 사건은 약 2 10억 분의 1의 확률에 해당한다. 사건이 매일 발생한다고 가정하면, 이는 140만 년마다 한 번 발생하는 사건에 해당한다. 만약 일일 데이터에서 6σ 사건을 관찰했고 100만 년보다 훨씬 적은 시간이 지났다면, 정규 분포는 이 점에서 큰 편차의 크기 또는 빈도에 대한 좋은 모델을 제공하지 않을 가능성이 크다.

나심 니콜라스 탈레브는 블랙 스완에서 블랙 먼데이 폭락이 36σ 사건에 해당하는 위험 모델의 예를 제시하며, 이러한 사건의 발생은 즉시 모델에 결함이 있음을 시사한다고 주장한다.

4. 더 큰 편차

정규 분포는 지수적 꼬리를 가지므로, 큰 편차를 가질 확률은 급격하게 감소한다. 다음 표는 평균(μ)으로부터 특정 표준편차(σ) 범위 내에 데이터가 존재할 확률과 벗어날 확률을 나타낸다.

예를 들어, 6σ 사건은 약 20억 분의 1의 확률에 해당한다. 이는 매일 발생하는 사건이라고 가정했을 때, 140만 년에 한 번 발생하는 사건에 해당한다.

나심 니콜라스 탈레브는 저서 블랙 스완에서 블랙 먼데이와 같이 극단적인 사건을 예로 들어 정규 분포 모델의 한계를 지적했다. 블랙 먼데이는 36σ 사건에 해당하는데, 이러한 사건의 발생은 모델에 결함이 있음을 시사한다. 즉, 정규 분포로는 현실의 복잡한 현상을 제대로 설명하기 어렵다는 것이다. 따라서 확률적 변동성을 고려한 더 정교한 모델이 필요하다.

이는 드문 사건을 한 번 관측하는 것만으로는 그 사건이 실제로 드물다는 것을 확신할 수 없다는 도박사의 오류 문제를 인식하는 것이 중요하다. 여러 번의 드문 사건을 관찰하는 것은 그 사건이 드물다는 가설, 즉 가정된 모델의 유효성을 약화시킨다.

5. 증명

$\backslash Pr(\backslash mu\; -n\backslash sigma\; \backslash leq\; X\; \backslash leq\; \backslash mu\; +\; n\backslash sigma)\; =\; \backslash int\_\{\backslash mu-n\backslash sigma\}^\{\backslash mu\; +\; n\backslash sigma\}\; \backslash frac\{1\}\{\backslash sqrt\{2\backslash pi\}\; \backslash sigma\}\; e^\{-\backslash frac\{1\}\{2\}\; \backslash left(\backslash frac\{x-\backslash mu\}\{\backslash sigma\}\backslash right)^2\}\; dx,$

치환 적분을 이용하여 표준 점수 $z\; =\; \backslash frac\{x\; -\; \backslash mu\}\{\backslash sigma\}$에 관해 변수를 변환하면 다음과 같다.

$\backslash frac\{1\}\{\backslash sqrt\{2\backslash pi\}\}\; \backslash int\_\{-n\}^\{n\}\; e^\{-\backslash frac\{z^2\}\{2\}\}dz$

이 적분은 $\backslash mu$와 $\backslash sigma$에 독립적이다. $n\; =\; 1,2,3$인 경우에 대해 각 적분을 계산하면 된다.

$\backslash begin\{align\}$
\Pr(\mu -1\sigma \leq X \leq \mu + 1\sigma) &= \frac{1}{\sqrt{2\pi}} \int_{-1}^{1} e^{-\frac{z^2}{2}}dz \approx 0.6827 \\
\Pr(\mu -2\sigma \leq X \leq \mu + 2\sigma) &= \frac{1}{\sqrt{2\pi}}\int_{-2}^{2} e^{-\frac{z^2}{2}}dz \approx 0.9545 \\
\Pr(\mu -3\sigma \leq X \leq \mu + 3\sigma) &= \frac{1}{\sqrt{2\pi}}\int_{-3}^{3} e^{-\frac{z^2}{2}}dz \approx 0.9973.
\end{align}