교환 가능 확률 변수족
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
1. 개요
교환 가능 확률 변수족은 확률 변수들의 수열에서 임의의 유한 순열에 대해 순열된 수열의 결합 확률 분포가 원래 수열의 결합 확률 분포와 동일한 경우를 말한다. 데 피네티 정리에 따르면, 교환 가능 확률 변수족은 조건부 독립 동일 분포를 따른다. 이러한 성질은 꼬리 사건, 공분산 및 상관관계와 관련이 있으며, 폰 노이만 추출기, U 통계량 연구, 컨포멀 예측 등 다양한 분야에 응용된다. 이 개념은 20세기 초에 소개되었으며, 데 피네티, 휴잇, 새비지 등의 연구를 통해 발전했다.
더 읽어볼만한 페이지
- 통계적 무작위성 - 정보 엔트로피
정보 엔트로피는 확률 변수의 불확실성을 측정하는 방법으로, 사건 발생 가능성이 낮을수록 정보량이 커진다는 원리에 기반하며, 데이터 압축, 생물다양성 측정, 암호화 등 다양한 분야에서 활용된다. - 통계적 무작위성 - 확률 변수
확률 변수는 확률 공간의 가측 함수로, 가능한 결과에 수치를 할당하며, 이산형과 연속형으로 구분되어 확률 분포를 나타내고, 기댓값, 분산 등을 통해 확률 분포를 특징짓는다. - 확률론 - 확률 밀도 함수
확률 밀도 함수는 연속 확률 변수의 확률 분포를 나타내는 함수로, 특정 구간에서 확률 변수가 값을 가질 확률은 해당 구간에 대한 함수의 적분으로 계산되며, 통계적 특성 계산 및 변수 변환 등에 활용되어 불확실성 모델링 및 분석에 중요한 역할을 한다. - 확률론 - 체비쇼프 부등식
체비쇼프 부등식은 확률 변수가 평균에서 얼마나 멀리 떨어져 있는지에 대한 확률의 상한을 제공하는 부등식으로, 이레네-쥘 비네메가 처음 공식화하고 체비쇼프와 안드레이 마르코프에 의해 일반화 및 증명되었으며, 확률론적 표현 외에도 측도 공간에 대한 명제로 확장될 수 있다. - 통계학 - 확률
확률은 사건의 가능성을 수치화한 개념으로, 도박에서 시작되어 수학적으로 발전했으며, 다양한 해석과 요소, 응용 분야를 가지며 양자역학, 사회 현상 등에도 적용된다. - 통계학 - 사분위수
사분위수는 정렬된 데이터를 4등분하는 세 개의 값으로 데이터 분포 요약 및 이상치 탐지에 활용되며, 제1사분위수(Q₁)는 하위 25%, 제2사분위수(Q₂ 또는 중앙값)는 하위 50%, 제3사분위수(Q₃)는 하위 75%를 나타낸다.
교환 가능 확률 변수족 | |
---|---|
교환 가능 확률 변수족 | |
유형 | 확률 이론 |
관련 개념 | 드 Finetti의 정리 |
2. 정의
'''교환 가능한 확률 변수 수열'''은 ''X''1, ''X''2, ''X''3, ... 와 같이 확률 변수들의 유한 또는 무한 수열이다. 이 수열에서 1, 2, 3, ... 인덱스에 작용하는 임의의 유한 순열 σ에 대해 순열된 수열
:
의 결합 확률 분포는 원래 수열의 결합 확률 분포와 동일하다.[1][2]
사건 수열 ''E''1, ''E''2, ''E''3, ... 의 지시 함수 수열이 교환 가능하면, 이 사건 수열은 교환 가능하다고 한다. 교환 가능한 확률 변수의 유한 수열의 분포 함수는 인수에 대해 대칭이다. 올라브 칼렌베르크는 연속 시간 확률 과정에 대한 교환 가능성의 적절한 정의를 제공했다.[3][4]
2. 1. 교환 가능 시그마 대수
두 집합 , 의 '''대칭차'''는 다음과 같다.:
집합 에 대하여, 가 인 의 수가 유한한 전단사 함수 의 집합이라고 하자.
실수 수열 및 에 대하여,
:
이라고 하자.
확률 공간 위의, 실수 수열 값의 확률 변수
:
의 '''교환 가능 시그마 대수'''는 다음과 같다.
:
교환 가능 시그마 대수의 원소를 '''교환 가능 사건'''(交換可能事件, exchangeable event영어) 또는 '''순열 가능 사건'''(順列可能事件, permutable event영어) 또는 '''대칭 사건'''(對稱事件, symmetric event영어)이라고 한다.
2. 2. 교환 가능 확률 변수족
확률 공간 위의, 실수 값의 확률 변수들의 가산 집합:
에 대하여, 다음 두 조건이 서로 동치이며, 이를 만족시키는 를 '''교환 가능 확률 변수족'''이라고 한다.
'''데 피네티 정리'''(de Finetti’s theorem영어)에 따르면, 만약 가 가산 무한 집합일 경우, 다음 네 조건이 서로 동치이다.[15]
- 는 교환 가능 확률 변수족이다.
- 는 어떤 사건 시그마 대수 에 대하여 조건부 독립 동일 분포이다.
- 는 꼬리 시그마 대수 에 대하여 조건부 독립 동일 분포이다.
- 는 에 대하여 조건부 독립 동일 분포이다.
'''교환 가능한 확률 변수 수열'''은 유한 또는 무한 수열 ''X''1, ''X''2, ''X''3, ... 와 같은 확률 변수들의 수열로서, 임의의 유한 순열 σ (σ는 1, 2, 3, ... 인덱스에 작용하며, 나머지 인덱스는 고정됨) 에 대해 순열된 수열
:
의 결합 확률 분포가 원래 수열의 결합 확률 분포와 동일하다.[1][2]
(사건 수열 ''E''1, ''E''2, ''E''3, ... 는 그 지시 함수 수열이 교환 가능할 때 정확히 교환 가능하다고 한다.) 교환 가능한 확률 변수의 유한 수열의 분포 함수 ''F''''X''1,...,''X''''n''(''x''1, ..., ''x''''n'')은 ''x''1, ..., ''x''''n''의 인수에 대해 대칭이다. 올라브 칼렌베르크는 연속 시간 확률 과정에 대한 교환 가능성의 적절한 정의를 제공했다.[3][4]
교환 가능성은 통계 모델에서 독립적이고 동일한 분포를 갖는 (i.i.d.) 확률 변수의 사용과 밀접하게 관련이 있다.[8] 어떤 기본 분포 형태에 대한 조건부인 확률 변수의 시퀀스가 i.i.d.이면 교환 가능하다. 이는 i.i.d. 형태에 의해 생성된 결합 확률 분포의 구조에서 직접적으로 따른다.
교환 가능한 시퀀스의 혼합(특히, i.i.d. 변수의 시퀀스)은 교환 가능하다. 그 역은 브루노 데 피네티의 중요한 표현 정리를 통해 무한 시퀀스에 대해 확립될 수 있다(이후 할모스와 새비지와 같은 다른 확률론자에 의해 확장되었다).[9] 정리의 확장된 버전은 교환 가능한 확률 변수의 무한 시퀀스에서, 확률 변수가 기본 분포 형태를 주어졌을 때 조건부 독립적이고 동일한 분포를 갖는다는 것을 보여준다. (데 피네티의 원래 정리는 이것이 랜덤 지표 변수에 대해서만 참임을 보여주었지만, 이는 나중에 모든 확률 변수 시퀀스를 포함하도록 확장되었다.)
데 피네티 정리는 교환 가능한 시퀀스를 i.i.d. 시퀀스의 혼합으로 특징짓는다. 교환 가능한 시퀀스는 그 자체로 무조건적으로 i.i.d.일 필요는 없지만, 기본 i.i.d. 시퀀스의 혼합으로 표현될 수 있다.[1] 이는 교환 가능한 확률 변수의 무한 시퀀스가 어떤 기본 분포 형태를 기반으로 하는 조건부 i.i.d. 확률 변수 시퀀스와 동등하게 간주될 수 있음을 의미한다. (이 등가는 유한 교환 가능성에는 완전히 적용되지 않지만 유한 벡터의 확률 변수에 대해서는 i.i.d. 모델에 대한 근사치가 존재한다.) 무한 교환 가능 시퀀스는 엄밀히 정상적이므로 비르크호프-킨친 정리 형태의 대수의 법칙이 적용된다.[4] 이는 기본 분포가 시퀀스 값의 극한 경험적 분포로 작동적으로 해석될 수 있다는 것을 의미한다.
교환 가능한 확률 변수 시퀀스와 i.i.d. 형태 사이의 밀접한 관계는 후자가 무한 교환 가능성을 기반으로 정당화될 수 있음을 의미한다. 이러한 개념은 브루노 데 피네티의 예측 추론 개발과 베이즈 통계의 중심이다. 또한 빈도주의 통계에서 유용한 기본 가정으로 간주될 수 있으며 두 패러다임을 연결하는 것으로 나타날 수 있다.[10]
'''표현 정리:''' 확률 변수의 무한 시퀀스 가 주어지면, 극한 경험적 분포 함수 를 다음과 같이 정의한다.
:
(이것은 지표 함수의 체사로 극한이다. 바나흐 극한으로 정의될 수 있으며, 이는 이 극한의 확장이다. 이 마지막 극한은 항상 지표 함수의 합에 대해 존재하므로 경험적 분포는 항상 잘 정의된다.) 이는 시퀀스의 임의의 확률 변수 벡터에 대해 다음 결합 분포 함수를 갖는다는 것을 의미한다.
:
만약 분포 함수 가 다른 매개변수 로 인덱싱된다면(밀도가 적절하게 정의되어 있다면) 다음을 갖는다.
:
이러한 방정식은 기본 극한 경험적 분포(또는 이 분포를 인덱싱하는 매개변수)를 기반으로 하는 혼합 분포로 특징지어지는 결합 분포 또는 밀도를 보여준다.
모든 유한 교환 가능 시퀀스가 i.i.d.의 혼합은 아니라는 점에 유의해야 한다. 이를 확인하려면 유한 집합에서 더 이상 요소가 남지 않을 때까지 비복원 추출을 고려해보자. 결과 시퀀스는 교환 가능하지만 i.i.d.의 혼합은 아니다. 실제로 시퀀스의 다른 모든 요소에 대한 조건이 주어지면 나머지 요소가 알려진다.
3. 데 피네티 정리
브루노 데 피네티의 표현 정리에 따르면, 교환 가능한 확률 변수의 무한 시퀀스는 어떤 기본 분포 형태를 기반으로 하는 조건부 독립적이고 동일한 분포를 갖는 (i.i.d.) 확률 변수 시퀀스와 동등하게 간주될 수 있다.[1] 이 정리는 무한 시퀀스에 대해 성립하며, 이후 할모스와 새비지와 같은 확률론자들에 의해 확장되었다.[9] 데 피네티의 원래 정리는 랜덤 지표 변수에 대해서만 참임을 보여주었지만, 나중에 모든 확률 변수 시퀀스를 포함하도록 확장되었다.
데 피네티 정리는 교환 가능한 시퀀스를 i.i.d. 시퀀스의 혼합으로 특징짓는다. 즉, 교환 가능한 시퀀스는 그 자체로 무조건적으로 i.i.d.일 필요는 없지만, 기본 i.i.d. 시퀀스의 혼합으로 표현될 수 있다.[1]
무한 교환 가능 시퀀스는 엄밀히 정상적이므로 비르크호프-킨친 정리 형태의 대수의 법칙이 적용된다.[4] 이는 기본 분포가 시퀀스 값의 극한 경험적 분포로 작동적으로 해석될 수 있다는 것을 의미한다.
'''표현 정리:''' 확률 변수의 무한 시퀀스 가 주어지면, 극한 경험적 분포 함수 는 다음과 같이 정의된다.
:
여기서 는 지표 함수이다. 이 극한은 체사로 극한으로 정의될 수 있으며, 체사로 극한이 존재하지 않는 경우 바나흐 극한으로 정의될 수 있다. 이 시퀀스의 임의의 확률 변수 벡터에 대한 결합 분포 함수는 다음과 같다.
:
만약 분포 함수 가 다른 매개변수 로 인덱싱된다면, 다음을 얻는다.
:
이러한 방정식은 기본 극한 경험적 분포(또는 이 분포를 인덱싱하는 매개변수)를 기반으로 하는 혼합 분포로 특징지어지는 결합 분포 또는 밀도를 보여준다.
하지만 모든 유한 교환 가능 시퀀스가 i.i.d.의 혼합은 아니다. 예를 들어, 유한 집합에서 더 이상 요소가 남지 않을 때까지 비복원 추출을 고려하면, 결과 시퀀스는 교환 가능하지만 i.i.d.의 혼합은 아니다.
4. 성질
교환 가능성은 통계 모델에서 독립적이고 동일한 분포를 갖는 (i.i.d.) 확률 변수의 사용과 밀접하게 관련되어 있다.[8] 어떤 기본 분포 형태에 대한 조건부인 확률 변수의 시퀀스가 i.i.d.이면 교환 가능하다. 이는 i.i.d. 형태에 의해 생성된 결합 확률 분포의 구조에서 직접적으로 따른다.
교환 가능한 시퀀스의 혼합(특히, i.i.d. 변수의 시퀀스)은 교환 가능하다. 그 역은 브루노 데 피네티의 중요한 표현 정리를 통해 무한 시퀀스에 대해 확립될 수 있다(이후 할모스와 새비지와 같은 다른 확률론자에 의해 확장되었다).[9] 정리의 확장된 버전은 교환 가능한 확률 변수의 무한 시퀀스에서, 확률 변수가 기본 분포 형태를 주어졌을 때 조건부 독립적이고 동일한 분포를 갖는다는 것을 보여준다. (데 피네티의 원래 정리는 이것이 랜덤 지표 변수에 대해서만 참임을 보여주었지만, 이는 나중에 모든 확률 변수 시퀀스를 포함하도록 확장되었다.) 데 피네티 정리는 교환 가능한 시퀀스를 i.i.d. 시퀀스의 혼합으로 특징짓는다. 교환 가능한 시퀀스는 그 자체로 무조건적으로 i.i.d.일 필요는 없지만, 기본 i.i.d. 시퀀스의 혼합으로 표현될 수 있다.[1]
이는 교환 가능한 확률 변수의 무한 시퀀스가 어떤 기본 분포 형태를 기반으로 하는 조건부 i.i.d. 확률 변수 시퀀스와 동등하게 간주될 수 있음을 의미한다. (이 등가는 유한 교환 가능성에는 완전히 적용되지 않는다. 그러나 유한 벡터의 확률 변수에 대해서는 i.i.d. 모델에 대한 근사치가 존재한다.) 무한 교환 가능 시퀀스는 엄밀히 정상적이므로 비르크호프-킨친 정리 형태의 대수의 법칙이 적용된다.[4] 이는 기본 분포가 시퀀스 값의 극한 경험적 분포로 작동적으로 해석될 수 있다는 것을 의미한다. 교환 가능한 확률 변수 시퀀스와 i.i.d. 형태 사이의 밀접한 관계는 후자가 무한 교환 가능성을 기반으로 정당화될 수 있음을 의미한다. 이러한 개념은 브루노 데 피네티의 예측 추론 개발과 베이즈 통계의 중심이다. 또한 빈도주의 통계에서 유용한 기본 가정으로 간주될 수 있으며 두 패러다임을 연결하는 것으로 나타날 수 있다.[10]
'''표현 정리:''' 확률 변수의 무한 시퀀스 가 주어지면, 극한 경험적 분포 함수 는 다음과 같이 정의한다.
:
(이것은 지표 함수의 체사로 극한이다. 체사로 극한이 존재하지 않는 경우 이 함수는 지표 함수의 바나흐 극한으로 정의될 수 있으며, 이는 이 극한의 확장이다. 이 마지막 극한은 항상 지표 함수의 합에 대해 존재하므로 경험적 분포는 항상 잘 정의된다.) 이는 시퀀스의 임의의 확률 변수 벡터에 대해 다음 결합 분포 함수를 갖는다는 것을 의미한다.
:
만약 분포 함수 가 다른 매개변수 로 인덱싱된다면(밀도가 적절하게 정의되어 있다면) 다음을 갖는다.
:
이러한 방정식은 기본 극한 경험적 분포(또는 이 분포를 인덱싱하는 매개변수)를 기반으로 하는 혼합 분포로 특징지어지는 결합 분포 또는 밀도를 보여준다.
모든 유한 교환 가능 시퀀스가 i.i.d.의 혼합은 아니다. 유한 집합에서 더 이상 요소가 남지 않을 때까지 비복원 추출을 고려해보면, 결과 시퀀스는 교환 가능하지만 i.i.d.의 혼합은 아니다. 실제로 시퀀스의 다른 모든 요소에 대한 조건이 주어지면 나머지 요소가 알려진다.
4. 1. 휴잇-새비지 0-1 법칙
교환 가능 확률 변수열이 주어졌을 때, 만약 모든 꼬리 사건의 확률이 0 또는 1이라면, 모든 교환 가능 사건의 확률 역시 0 또는 1이다. 특히, (콜모고로프 0-1 법칙에 따라) 독립 동일 분포 확률 변수열의 꼬리 사건의 확률이 0 또는 1이므로, 독립 동일 분포 확률 변수열의 교환 가능 사건의 확률은 0 또는 1이다. 이 특수한 경우를 '''휴잇-새비지 0-1 법칙'''(Hewitt–Savage zero–one law영어)이라고 한다.[1]4. 2. 공분산과 상관관계
교환 가능한 수열은 일반적으로 양의 상관관계를 갖는다는 것을 의미하는 몇 가지 기본적인 공분산 및 상관관계 속성을 가지고 있다. 교환 가능한 확률 변수의 무한 수열의 경우, 확률 변수 간의 공분산은 기본 분포 함수의 평균의 분산과 같다.[10] 유한 교환 가능 수열의 경우 공분산 또한 수열의 특정 확률 변수에 의존하지 않는 고정된 값이다. 무한 교환 가능성에 비해 더 약한 하한이 있으며 음의 상관관계가 존재할 수 있다.'''교환 가능한 수열의 공분산 (무한):''' 수열 이 교환 가능하다면,
:
'''교환 가능한 수열의 공분산 (유한):''' 이 인 경우,
:
유한 수열 결과는 다음과 같이 증명될 수 있다. 값이 교환 가능하다는 사실을 사용하여, 다음을 얻는다.
:
그런 다음 공분산에 대한 부등식을 풀어서 명시된 하한을 얻는다. 무한 수열의 공분산의 비음성은 이 유한 수열 결과로부터 제한적인 결과로 얻을 수 있다.
유한 수열에 대한 하한의 등식은 간단한 항아리 모형에서 달성된다. 항아리에는 빨간 구슬 1개와 ''n'' − 1개의 녹색 구슬이 들어 있으며, 항아리가 비어 있을 때까지 복원 없이 표본 추출된다. ''X''''i'' = 1 빨간 구슬이 ''i''번째 시도에서 그려지면 1, 그렇지 않으면 0으로 설정한다. 하한 공분산을 달성하는 유한 수열은 더 긴 교환 가능 수열로 확장될 수 없다.[11]
5. 예
실수 값의 확률 변수열의 모든 꼬리 사건은 교환 가능 사건이다.
모든 독립 동일 분포 확률 변수열은 교환 가능 확률 변수열이다.
- 임의의 볼록 조합 또는 혼합 분포는 iid 확률 변수 시퀀스의 교환 가능성을 갖는다. 반대 명제는 드 피네티의 정리이다.[12]
- 항아리에 n영어개의 빨간색 구슬과 m영어개의 파란색 구슬이 들어 있다고 가정한다. 항아리가 비워질 때까지 구슬을 비복원 추출로 뽑는다고 가정한다. Xi영어를 i영어번째로 뽑힌 구슬이 빨간색일 사건의 지시 확률 변수라고 하면, 는 교환 가능한 시퀀스이다. 이 시퀀스는 더 긴 교환 가능한 시퀀스로 확장될 수 없다.
- 항아리에 n영어개의 빨간색 구슬과 m영어개의 파란색 구슬이 들어 있다고 가정한다. 또한 항아리에서 구슬을 하나 뽑아 같은 색상의 구슬을 하나 더 넣고 다시 넣는다고 가정한다. Xi영어를 i영어번째로 뽑힌 구슬이 빨간색일 사건의 지시 확률 변수라고 하면, 는 교환 가능한 시퀀스이다. 이 모델은 폴리아 항아리라고 한다.
- (X, Y)영어가 매개변수 μ = 0영어, σx = σy = 1영어 및 임의의 상관 계수 ρ∈ (-1, 1)영어를 갖는 이변량 정규 분포를 갖는다고 가정한다. 그러면 확률 변수 X영어와 Y영어는 교환 가능하지만, ρ=0영어인 경우에만 독립적이다. 확률 밀도 함수는 p(x, y) = p(y, x) ∝ exp[-1/(2(1-ρ2))(x2+y2-2ρxy)]영어이다.
6. 응용
폰 노이만 추출기는 교환 가능성에 의존하는 무작위성 추출기이다. 0과 1의 교환 가능한 시퀀스(베르누이 시행)에서 0이 나올 확률이 ''p'', 1이 나올 확률이 인 경우, 확률이 1/2인 (더 짧은) 0과 1의 교환 가능한 시퀀스를 생성하는 방법을 제공한다.
폰 노이만 추출기는 시퀀스를 겹치지 않는 쌍으로 나눈다. 쌍의 두 요소가 같으면(00 또는 11) 버리고, 쌍의 두 요소가 다르면(01 또는 10) 첫 번째 요소를 유지한다. 이는 교환 가능성에 의해 주어진 쌍이 01 또는 10이 될 확률이 같으므로, 인 베르누이 시행 시퀀스를 생성한다.
교환 가능한 확률 변수는 U 통계량 연구, 특히 호프딩 분해에서 발생한다.[13]
교환 가능성은 컨포멀 예측의 분포 무관 추론 방법의 핵심 가정이다.[14]
7. 역사
교환 가능 확률 변수족 개념은 1924년 윌리엄 어니스트 존슨의 저서 《논리학, 제3부: 과학의 논리적 기초》(Logic, Part III: The Logical Foundations of Science)에서 처음 소개되었다.[5] 교환 가능성은 1924년 월터 슈하트가 소개한 통계적 관리 개념과 동일하다.[6][7]
데 피네티 정리는 Bruno de Finetti|브루노 데 피네티it의 이름을 땄다. 휴잇-새비지 0-1 법칙은 Edwin Hewitt|에드윈 휴잇영어과 Leonard Jimmie Savage|레너드 지미 새비지영어의 이름을 땄다.
참조
[1]
서적
Probability theory. Independence, interchangeability, martingales
Springer
1997
[2]
간행물
Exchangeability and related topics
Springer, Berlin
1985
[3]
논문
Book review: ''Probabilistic symmetries and invariance principles'' (Olav Kallenberg, Springer, New York, 2005)
[4]
서적
Probabilistic symmetries and invariance principles
Springer-Verlag
2005
[5]
논문
Predicting the unpredictable
[6]
간행물
Foundations of statistical quality control
Institute of Mathematical Statistics
1992
[7]
논문
Conceptualistic Pragmatism: A framework for Bayesian analysis?
2009
[8]
서적
Proceedings of the International Conference on Teaching Statistics
International Association for Statistical Education
[9]
서적
Bayesian Statistics
Oxford University Press
[10]
논문
Exchangeability, Correlation and Bayes' Effect
[11]
서적
Limit theorems for sums of exchangeable random variables
https://books.google[...]
Rowman and Allanheld
[12]
서적
Subjective probability models for lifetimes
Chapman & Hall/CRC
2001
[13]
서적
U-statistics in Banach spaces
VSP
[14]
논문
A Tutorial on Conformal Prediction
https://www.jmlr.org[...]
[15]
서적
Probability Theory. Independence, Interchangeability, Martingales
Springer
1997
본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.
문의하기 : help@durumis.com