사전 확률

3. 사전 확률 분포의 유형

베이즈 추론에서 사전 확률 분포는, 어떤 불확실한 양에 대한 정보를 나타내는 확률 분포이다. 예를 들어, 미래 선거에서 특정 정치인에게 투표할 유권자 비율과 같은 불확실한 양 ''p''에 대해, 데이터 (예: 여론 조사)를 얻기 전에 ''p''에 대해 가지고 있는 (주관적인) 불확실성을 나타낸다.

사전 확률은 순수하게 주관적인 경험자의 평가를 의미하는 경우가 많으며, 사전에 가진 정보를 나타내는 것으로 해석된다. 사전 분포는 상황과 사람에 따라 다르게 사용될 수 있다.

사전 확률 분포는 정보량과 주관성의 정도에 따라 여러 유형으로 분류될 수 있다.

• '''정보적 사전 확률 (Informative Priors)''': 변수에 대한 구체적이고 명확한 정보를 표현한다. 예를 들어, 내일 정오의 온도에 대한 사전 확률 분포는 오늘 정오의 온도와 같은 기댓값을 갖는 정규 분포로 만들 수 있다.
• '''약정보 사전 확률 (Weakly Informative Priors)''': 변수에 대한 부분적인 정보를 표현하며, 극단적인 추정치를 방지하면서 기존 지식에 부합하는 해답으로 분석을 유도한다. 예를 들어, 내일 정오 세인트루이스의 온도를 평균 약 10.0°C, 표준 편차 약 4.4°C인 정규 분포로 설정할 수 있다.
• '''무정보 사전 확률 (Uninformative Priors)''': 변수에 대한 모호하거나 일반적인 정보를 표현한다. '무정보'라는 용어는 부적절할 수 있으며, '객관적 사전 확률'이라고도 한다. 무차별 원리에 따라 모든 가능성에 동일한 확률을 할당하는 것이 가장 간단한 예시이다. 에드윈 T. 제인스는 대칭성과 최대 엔트로피 원리를 기반으로 객관적 베이시안주의를 제시했다.
• '''켤레 사전 확률 (Conjugate Priors)''': 사전 분포와 사후 분포가 같은 확률 분포족에 속하는 경우를 말하며, 계산의 편리성 때문에 자주 사용된다.

3. 1. 정보적 사전 확률 (Informative Priors)

4. 무정보 사전 확률 결정 방법

무정보 사전 확률은 주관성을 배제하고 객관적인 정보를 반영하기 위해 다양한 방법으로 결정된다. "무정보 사전 확률"이라는 용어는 "그다지 정보가 없는 사전 확률" 또는 "객관적 사전 확률"이라고도 불린다.^[5]

무정보 사전 확률을 결정하는 주요 방법은 다음과 같다.

• 무차별 원리: 모든 가능성에 동일한 확률을 할당한다.
• 최대 엔트로피 원리: 주어진 제약 조건 하에서 섀넌 엔트로피를 최대화하는 분포를 찾는다.
• 변환 불변성: 매개변수 변환에 대해 불변성을 유지하는 사전 확률을 선택한다.
• 제프리스 사전 확률: 피셔 정보 행렬의 제곱근에 비례하는 사전 확률을 사용한다.
• 참조 사전 확률: 사전 분포와 사후 분포 간의 쿨백-라이블러 발산을 최대화하는 사전 확률을 사용한다.

4. 1. 무차별 원리 (Principle of Indifference)

4. 2. 최대 엔트로피 원리 (Maximum Entropy Principle)

4. 3. 변환 불변성 (Transformation Invariance)

4. 4. 제프리스 사전 확률 (Jeffreys Prior)

4. 5. 참조 사전 확률 (Reference Prior)

5. 부적절 사전 확률 (Improper Priors)

사건 $A\_1,\; A\_2,\; \backslash ldots,\; A\_n$이 상호 배타적이고 포괄적이라고 할 때, 베이즈 정리는 다음과 같이 표현된다.

$$P(A\_i\backslash mid\; B)\; =\; \backslash frac\{P(B\; \backslash mid\; A\_i)\; P(A\_i)\}\{\backslash sum\_j\; P(B\backslash mid\; A\_j)P(A\_j)\}\backslash ,\; ,$$

이 식에서 모든 사전 확률 ''P''(''A''_''i'')과 ''P''(''A''_''j'')에 주어진 상수를 곱해도 동일한 결과를 얻는다.^[18] 이는 연속 확률 변수에도 적용된다. 분모의 합이 수렴하면, 사전 확률 값이 그렇지 않더라도 사후 확률의 합(또는 적분)은 여전히 1이 된다. 따라서 사전 확률 값은 올바른 비율로만 지정하면 된다.

이러한 아이디어를 확장하면, 많은 경우 사전 확률 값의 합 또는 적분이 사후 확률에 대한 합리적인 결과를 얻기 위해 유한할 필요조차 없다. 이러한 경우의 사전 확률을 '''부적절 사전 확률'''이라고 부른다.^[18] 그러나 사전 확률이 부적절하더라도 사후 분포는 적절한 분포여야 한다.^[18] 이는 사건 ''B''가 모든 ''A''_''j''와 독립적인 경우에 명확해진다.

통계학자들은 때때로 부적절 사전 확률을 비정보적 사전 확률로 사용한다.^[19] 예를 들어 확률 변수의 평균과 분산에 대한 사전 분포가 필요할 경우, ''p''(''m'', ''v'') ~ 1/''v'' (''v'' > 0에 대해)를 가정할 수 있다. 이는 평균에 대한 모든 값이 "동일하게 가능성"이 있고, 양의 분산 값은 그 값에 반비례하여 "덜 가능성"이 있음을 시사한다. 많은 저자들은 이러한 사전 확률이 확률 밀도가 아니므로 과도하게 해석하지 않도록 경고한다. 이들은 모든 관측값에 대해 잘 정의되어 있는 한, 해당하는 사후 확률에서만 관련성을 가진다고 주장한다.

반대로, 가능도 함수는 적분될 필요가 없으며, 균일하게 1인 가능도 함수는 데이터의 부재에 해당한다(데이터가 없으면 모든 모델이 동일하게 가능성이 높음). 베이즈 규칙은 사전 확률에 가능도를 곱하며, 빈 곱은 단순히 상수 가능도 1이다. 그러나 사전 확률 분포로 시작하지 않으면 사후 확률 분포를 얻지 못하므로, 적분하거나 기대값 또는 손실을 계산할 수 없다.

부적절한 사전 확률의 예시는 다음과 같다.

• 무한 구간에서의 균등 분포 (반직선 또는 전체 실수선).
• 베타 분포에서 ''α''=0, ''β''=0인 Beta(0,0) (로그 오즈 척도에서의 균등 분포).
• 양의 실수에 대한 로그 사전 확률 (로그 스케일에서의 균등 분포).

6. 통계 역학에서의 사전 확률

통계 역학에서 사전 확률은 시스템의 초기 상태를 설명하는 데 사용된다.^[20] 고전 통계 역학에서는 기본 사건의 수(예: 주사위를 던진 횟수)와 총 사건 수의 비율로 정의되며, 이는 순전히 연역적으로, 즉 실험 없이 간주된다. 통계 역학에서, 예를 들어 유한 부피에 포함된 기체의 경우, 개별 기체 요소(원자 또는 분자)의 공간 좌표 qi^영어와 운동량 좌표 pi^영어 모두 이러한 좌표로 구성된 위상 공간에서 유한하다. 사전 확률은 위상 공간 부피 요소를 h^영어로 나눈 값에 비례하며, 여기서 Δq^영어는 변수 q^영어의 범위이고 Δp^영어는 변수 p^영어의 범위이다(여기서는 단순화를 위해 1차원으로 간주). 1차원에서 이 수 또는 통계적 가중치 또는 사전 가중치는 이다. 관례적인 3차원에서 해당하는 수는 로 계산할 수 있다.^[21]

불확정성 원리를 고려하면, 1차원 공간에서 다음과 같다.

:

이러한 상태는 구별할 수 없다. 중요한 결과는 리우빌 정리 (해밀턴)로 알려진 결과, 즉 이 위상 공간 부피 요소의 시간 독립성과 따라서 사전 확률이다. 이 양의 시간에 따른 의존성은 시스템의 역학에 대한 알려진 정보를 의미하며, 따라서 사전 확률이 아니다.^[22] 따라서 영역

:

시간 t^영어에 대해 미분하면 0이 된다(해밀턴 방정식을 사용하여). 즉, 시간 t^영어에서의 부피는 시간 0에서의 부피와 같다. 이것을 정보 보존이라고도 한다.

전체 양자 이론에서는 유사한 보존 법칙이 있다. 이 경우, 위상 공간 영역은 투영 연산자 P^영어로 표현된 상태 공간의 부분 공간으로 대체되며, 위상 공간에서의 확률 대신 확률 밀도가 있다.

:

여기서 N^영어은 부분 공간의 차원이다. 이 경우 보존 법칙은 S-행렬의 유니타성으로 표현된다. 어느 경우든, 고려 사항은 닫힌 고립계를 가정한다. 닫힌 고립계는 (1) 고정된 에너지 E^영어와 (2) 고정된 입자 수 N^영어을 (c) 평형 상태에서 갖는 시스템이다. 이 시스템의 복제본을 엄청나게 많이 고려하면, "미시적 정준 앙상블"이라고 불리는 것을 얻는다. 양자 통계에서 "고립계의 동일한 사전 확률에 대한 기본 가설"을 가정하는 것은 이 시스템에 대한 것이다. 이는 평형 상태에 있는 고립계가 동일한 확률로 접근 가능한 각 상태를 차지한다는 것을 의미한다. 따라서 이 기본 가설은 우리가 사전 확률을 시스템의 축퇴, 즉 동일한 에너지를 갖는 서로 다른 상태의 수와 같게 할 수 있게 해준다.

다음 예시는 고전적 맥락과 양자적 맥락에서 사전 확률 (또는 사전 가중치)을 보여준다.

7. 한국 사회에서의 활용 및 고려사항

베이즈 추론(Bayesian inference) 및 사전 확률 분포는 한국 사회의 다양한 분야에서 활용될 수 있다.

참조

_[1] 서적 The Bayesian Choice Springer
_[2] 서적 Bayesian Biostatistics Marcel Dekker
_[3] 간행물 Prior Knowledge Elicitation: The Past, Present, and Future 2024
_[4] 간행물 PreliZ: A tool-box for prior elicitation 2023-09
_[5] 서적 An Introduction to Bayesian Inference in Econometrics John Wiley & Sons
_[6] 간행물 Uninformative priors for Bayes' theorem
_[7] 간행물 Sparsity information and regularization in the horseshoe and other shrinkage priors
_[8] 간행물 Penalising Model Component Complexity: A Principled, Practical Approach to Constructing Priors
_[9] 간행물 Priors in Bayesian Deep Learning: A Review
_[10] 서적 Bayesian Hierarchical Models CRC Press
_[11] 서적 Economic Decision-Making: Games, Econometrics and Optimisation North-Holland
_[12] 간행물 Prior Probabilities http://bayes.wustl.e[...] 1968-09
_[13] 문서
_[14] 서적 Probability Matching Priors: Higher Order Asymptotics Springer
_[15] 간행물 Incorporation of Biological Pathway Knowledge in the Construction of Priors for Optimal Bayesian Classification - IEEE Journals & Magazine
_[16] 간행물 Incorporating biological prior knowledge for Bayesian learning via maximal knowledge-driven information priors 2017-12
_[17] 문서
_[18] 간행물 Marginalization Paradoxes in Bayesian and Structural Inference
_[19] 서적 Bayesian Ideas and Data Analysis : An Introduction for Scientists and Statisticians CRC Press 2010
_[20] 서적 Cooperative Dynamics in Complex Physical Systems Springer
_[21] 서적 Basics of Statistical Physics World Scientific
_[22] 서적 Entropy Demystified World Scientific
_[23] 서적 수리통계학 입문 1995-03-10