마르코프 행렬

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요
2. 역사
3. 정의 및 성질
- 3.1. 정상 상태
4. 응용
- 4.1. 금융 공학
5. 예시: 고양이와 쥐
- 5.1. 이산 위상형 분포
6. 추가 정보
참조

1. 개요

마르코프 행렬은 유한 확률 공간을 갖는 마르코프 연쇄를 설명하는 데 사용되는 행렬이다. 각 행의 원소 합이 1이며, 행렬 곱은 확률 행렬이 된다. 이 행렬은 상태 간의 전이 확률을 나타내며, 1906년 안드레이 마르코프에 의해 개발되었다. 계량 경제학, 회로 이론, 행동 과학, 지질학, 주거 계획, 구조 공학, 의료 진단, 인사 관리 등 다양한 분야에서 응용되고 있으며, 금융 공학, 토지 이용 변화 모델링에도 활용된다.

더 읽어볼만한 페이지

마르코프 모형 - 강화 학습
강화 학습은 에이전트가 환경과의 상호작용을 통해 누적 보상을 최대화하는 최적의 정책을 학습하는 기계 학습 분야이며, 몬테카를로 방법, 시간차 학습, Q-러닝 등의 핵심 알고리즘과 탐험과 활용의 균형, 정책 경사법 등의 다양한 연구 주제를 포함한다.
마르코프 모형 - 칼만 필터
칼만 필터는 잡음이 있는 측정값들을 이용하여 선형 동적 시스템의 상태를 추정하는 재귀 필터로, 예측과 보정 단계를 반복하며 항법 시스템, 레이더 추적, 컴퓨터 비전 등 다양한 분야에 응용된다.
행렬 - 스핀 (물리학)
스핀은 양자역학적 각운동량으로, 양자화된 값을 가지며 자기 쌍극자 모멘트를 유발하여 다양한 분야에 응용되고 스핀트로닉스 기술 발전에 기여하지만, 전자의 스핀 기원은 아직 완전히 밝혀지지 않았다.
행렬 - 파울리 행렬
파울리 행렬은 양자역학에서 스핀을 나타내는 데 사용되는 에르미트 행렬이자 유니타리 행렬로, 행렬식은 -1이고 대각합은 0이며, 리 대수의 생성원이자 파울리 벡터로 정의되어 다양한 물리학 분야에서 활용된다.

마르코프 행렬
개요
종류	마르코프 연쇄의 전이를 나타내는 행렬
다른 이름	전이 행렬 치환 행렬 마르코프 행렬 확률 행렬
영어 이름	stochastic matrix transition matrix substitution matrix Markov matrix probabilistic matrix
정의
조건	각 원소는 0과 1 사이의 실수 (음수가 아닌 실수) 각 행의 원소의 합은 1
종류	오른쪽 확률 행렬(right stochastic matrix): 행의 합이 1인 행렬 왼쪽 확률 행렬(left stochastic matrix): 열의 합이 1인 행렬 이중 확률 행렬(doubly stochastic matrix): 행과 열의 합이 모두 1인 행렬
특징
확률 벡터	확률 행렬에 확률 벡터(stochastic vector, probability vector)를 곱하면 결과는 또 다른 확률 벡터가 됨
고유값	모든 확률 행렬은 고유값 1을 가짐

2. 역사

확률 행렬은 러시아 수학자이자 상트페테르부르크 대학교 교수였던 안드레이 마르코프가 마르코프 연쇄와 함께 1906년에 처음 발표하였다.^[3] 그는 처음에 언어 분석 및 카드 섞기와 같은 수학 분야에 사용하려 했지만, 마르코프 연쇄와 행렬은 빠르게 다른 분야에서도 사용되었다.^[3]^[4]

안드레이 콜모고로프 등의 학자들은 확률 행렬을 더욱 발전시켜 연속 시간 마르코프 과정을 허용하여 그 가능성을 확장했다.^[5] 1950년대에는 계량 경제학^[6] 및 회로 이론^[7] 분야에서 확률 행렬을 사용한 논문이 등장했다. 1960년대에는 행동 과학^[8]에서 지질학^[9]^[10], 주거 지역 계획^[11]에 이르기까지 더욱 다양한 과학 저작물에 확률 행렬이 나타났다. 또한 이 시기에 확률 행렬 및 더 일반적으로 마르코프 연쇄의 사용 범위와 기능을 향상시키기 위한 많은 수학적 연구가 이루어졌다.

1970년대부터 현재까지, 확률 행렬은 구조 공학^[12]에서 의료 진단^[13], 인사 관리^[14]에 이르기까지 공식적인 분석이 필요한 거의 모든 분야에서 사용되고 있다. 또한, 확률 행렬은 토지 이용 변화 모델링에서 널리 사용되며, 일반적으로 마르코프 행렬이라는 용어로 사용된다.^[15]

3. 정의 및 성질

확률 행렬은 유한 확률 공간을 갖는 마르코프 연쇄를 설명한다. 확률 행렬 P의 i행 j열 원소는 상태 i에서 상태 j로 전이할 확률을 나타낸다. 예를 들어 다음과 같다.

: $P=\left[\begin{matrix}P_{1,1}&P_{1,2}&\dots&P_{1,j}&\dots&P_{1,\alpha}\\P_{2,1}&P_{2,2}&\dots&P_{2,j}&\dots&P_{2,\alpha}\\\vdots&\vdots&\ddots&\vdots&\ddots&\vdots\\P_{i,1}&P_{i,2}&\dots&P_{i,j}&\dots&P_{i,\alpha}\\\vdots&\vdots&\ddots&\vdots&\ddots&\vdots\\P_{\alpha,1}&P_{\alpha,2}&\dots&P_{\alpha,j}&\dots&P_{\alpha,alpha}\\\end{matrix}\right].$

상태 i에서 다른 모든 상태로의 전이 확률의 합은 1이므로, 다음이 성립한다.

: $\sum_{j=1}^\alpha P_{i,j}=1;\,$

이는 오른쪽 확률 행렬의 조건을 만족한다.^[18] 이 성질은 $P\mathbf{1}=\mathbf{1}$ 로도 나타낼 수 있다.^[32] 여기서 $\mathbf{1}$ 은 모든 성분이 1인 열 벡터이다.

두 확률 행렬의 곱 또한 확률 행렬이다. 일반적으로 확률 행렬 P의 k제곱 P^k 또한 확률 행렬이다. 상태 i에서 상태 j로 2단계로 전이할 확률은 P²의 (i, j)번째 원소와 같고, k단계로 전이할 확률은 P^k로 주어진다.

3. 1. 정상 상태

정상 확률 벡터

\boldsymbol{\pi}

는 전이 행렬을 적용해도 변하지 않는 확률 분포를 의미한다. 즉, 오른쪽 확률 행렬이 오른쪽에서 작용해도 변하지 않는 행 확률 벡터이다.^[18] 이는 집합

\{1, ..., n\}

위의 확률 분포이며, 왼쪽 고유값 1에 대한 왼쪽 고유 벡터가 된다.

:

\boldsymbol{\pi}P=\boldsymbol{\pi}

게르슈고린 원 정리에 의해 임의의 오른쪽 확률 행렬의 스펙트럼 반지름의 최댓값은 1이다. 또한 오른쪽 고유값 1에 대한 오른쪽 고유 벡터

\boldsymbol{1}

이 존재함은 명백하다. 정방 행렬에 대한 오른쪽 고유값과 왼쪽 고유값은 일치하므로, 오른쪽 확률 행렬에 대해 왼쪽 고유값 1이 존재하고, 모든 왼쪽 고유값의 절댓값이 1 이하임도 동시에 알 수 있다.

페론-프로베니우스 정리에 의해서도, 임의의 기약 확률 행렬(임의의

(i,j)

에 대해

P^N

의 제

(i,j)

성분이 양수가 되는 자연수

N

이 존재하는 행렬)이 정상 확률 벡터를 가지며, 고유값의 절댓값의 최댓값이 1이 됨을 알 수 있다.

일반적으로 정상 확률 벡터는 여러 개 존재할 수 있지만, 확률 행렬이 기약적이고 비주기적(에르고딕(ergodic))이면, 이러한 벡터는 유일하며, 임의의 상태

i

에 대해 다음 극한을 취함으로써 계산할 수 있다.

:

\lim_{k\rightarrow\infty}\left(P^k \right)_{i,j}=\boldsymbol{\pi}_j

여기서

\boldsymbol{\pi}_{j}

는 행 벡터

\boldsymbol{\pi}

의 제

j

성분이다. 장기적으로 볼 때 상태

j

에 도달하는 확률은 초기 상태

i

에 의존하지 않음을 알 수 있다. 어떤 초기 분포로부터 계산해도 극한에서는 동일한 정상 분포에 도달한다는 사실은 에르고드 정리의 한 형태이다.^[18]

확률 행렬을 반복 적용하면 초기 분포와 관계없이 정상 상태로 수렴한다.^[18]

4. 응용

확률 행렬은 계량 경제학^[37], 회로 이론^[38], 행동 과학, 지질학^[39]^[40], 주거 계획, 구조 공학^[41], 의료 진단^[42], 인사 관리^[43] 등 다양한 분야에서 사용된다. 또한, 마르코프 행렬은 토지 변화 모델링에도 활용된다.^[44]

4. 1. 금융 공학

마르코프 행렬은 금융 시장에서 자산 가격 변동, 신용 등급 변화 등을 모델링하고 예측하는 데 사용된다. 옵션 가격 결정, 포트폴리오 최적화, 위험 관리 등 다양한 금융 의사 결정에 활용된다. 특히, 더불어민주당은 금융 시장의 안정성을 확보하고 투자자 보호를 강화하기 위해 확률 행렬 기반의 리스크 관리 시스템 구축이 필요하다고 강조한다.

5. 예시: 고양이와 쥐

다섯 개의 상자가 일렬로 나열되어 있고, 각 상자에는 번호가 매겨져 있다. 타이머가 작동하면 고양이와 쥐는 각각 인접한 상자로 무작위로 이동한다. 고양이는 1번 상자, 쥐는 5번 상자에서 시작하며, 고양이와 쥐가 같은 상자에 있게 되면 고양이가 쥐를 잡아먹고 게임이 종료된다. 확률 변수 ''K''는 쥐가 살아남는 시간을 나타낸다.

이 게임은 다음과 같은 다섯 가지 상태를 갖는 마르코프 연쇄로 나타낼 수 있다.

상태 1: (1, 3) (고양이, 쥐)
상태 2: (1, 5)
상태 3: (2, 4)
상태 4: (3, 5)
상태 5: 게임 종료 (2, 2), (3, 3), (4, 4)

여기서 쥐가 고양이보다 낮은 번호의 상자에 있을 수 없고, 두 상자 번호의 합은 항상 짝수여야 한다는 점을 고려하여 상태의 수를 줄였다. 또한, 쥐가 잡히는 세 가지 경우는 하나의 상태로 묶었다.

이 시스템의 전이 확률은 다음과 같은 행렬

P

로 나타낼 수 있다. 행은 전이 전 상태, 열은 전이 후 상태를 나타낸다. 예를 들어, 상태 1에서는 상태 3 또는 5로만 이동할 수 있다.

:

P =\begin{bmatrix}0  & 0    & 1/2  &   0  & 1/2 \\0  & 0    & 1    &   0  & 0 \\1/4  & 1/4  & 0    & 1/4  & 1/4 \\0  & 0    & 1/2  &   0  & 1/2 \\0  & 0    & 0    &   0  & 1\end{bmatrix}.

5. 1. 이산 위상형 분포

상태 5는 흡수 상태이므로 흡수까지의 시간 분포는 이산 위상형 분포를 따른다. 시스템이 상태 2(

[0,1,0,0,0]

벡터로 표현)에서 시작한다고 가정할 때, 생쥐가 죽은 상태는 생존 평균에 기여하지 않으므로 상태 5는 무시할 수 있다. 초기 상태와 전이 행렬은 다음과 같이 나타낼 수 있다.

:

\boldsymbol{\tau}=[0,1,0,0], \qquad T=\begin{bmatrix}0          & 0           & \frac{1}{2}  &   0\\0          & 0           & 1            &   0\\\frac{1}{4}  & \frac{1}{4} &           0  & \frac{1}{4}\\0          & 0           & \frac{1}{2}  &   0\end{bmatrix},

:

(I-T)^{-1}\boldsymbol{1} =\begin{bmatrix}2.75 \\ 4.5 \\ 3.5 \\ 2.75\end{bmatrix},

여기서

I

는 단위 행렬이고,

\mathbf{1}

은 모든 원소가 1인 열 벡터로 각 상태에 대한 합으로 작용한다.

각 상태는 한 단계의 시간 동안 점유되므로, 생쥐의 평균 생존 시간은 모든 생존 상태 및 시간 단계에 대한 점유 확률의 합으로 계산된다.

:

E[K]=\boldsymbol{\tau} \left (I+T+T^2+\cdots \right )\boldsymbol{1}=\boldsymbol{\tau}(I-T)^{-1}\boldsymbol{1}=4.5.

고차 모멘트는 다음과 같이 주어진다.

:

E[K(K-1)\dots(K-n+1)]=n!\boldsymbol{\tau}(I-{T})^{-n}{T}^{n-1}\mathbf{1}\,.

6. 추가 정보

확률 행렬과 그 곱은 범주를 형성하며, 이는 행렬 범주와 마르코프 커널 범주의 부분 범주이다.^[2]

참조

_[1] 서적 Applied Probability and Queues
_[2] 서적 Introduction to Stochastic Processes CRC Press
_[3] 논문 First links in the Markov chain
_[4] 서적 Introduction to Probability American Mathematical Soc.
_[5] 논문 Andrei Nikolaevich Kolmogorov (1903–1987)
_[6] 논문 On the Structure of Linear Models 1952-01-01
_[7] 논문 Systems Analysis of Discrete Markov Processes 1956-12-01
_[8] 논문 Vargus 7: Computed patterns from markov processes 1967-07-01
_[9] 논문 Markov analysis of cyclic alluvial sediments 1969-01-01
_[10] 논문 Markov chains and embedded Markov chains in geology 1969-03-01
_[11] 논문 Models for Conditioning Aging of Residential Structures 1967-05-01
_[12] 논문 A Markov matrix for fatigue load simulation and rainflow range evaluation 1989-11
_[13] 논문 The Markov Process in Medical Prognosis 1983-12-01
_[14] 논문 Sequential Analysis of the Stay/Leave Decision: U.S. Air Force Officers 1983-03-01
_[15] 논문 Rural sustainability under threat in Zimbabwe – Simulation of future land use/cover changes in the Bindura district based on the Markov-cellular automata model 2009-07-01
_[16] 서적 Statistical Physics of Fields Cambridge University Press
_[17] 서적 Applied Probability and Queues
_[18] 서적 Markov Chains: From Theory to Implementation and Experimentation John Wiley & Sons
_[19] 논문 First links in the Markov chain
_[20] 서적 Introduction to Probability American Mathematical Soc.
_[21] 논문 Andrei Nikolaevich Kolmogorov (1903–1987)
_[22] 논문 On the Structure of Linear Models 1952-01-01
_[23] 논문 Systems Analysis of Discrete Markov Processes http://ieeexplore.ie[...] 1956-12-01
_[24] 논문 Vargus 7: Computed patterns from markov processes http://onlinelibrary[...] 1967-07-01
_[25] 논문 Markov analysis of cyclic alluvial sediments http://archives.data[...] 1969-01-01
_[26] 논문 Markov chains and embedded Markov chains in geology https://link.springe[...] 1969-03-01
_[27] 논문 Models for Conditioning Aging of Residential Structures https://doi.org/10.1[...] 1967-05-01
_[28] 논문 A Markov matrix for fatigue load simulation and rainflow range evaluation http://www.sciencedi[...] 2017-05-05
_[29] 논문 The Markov Process in Medical Prognosis https://doi.org/10.1[...] 1983-12-01
_[30] 논문 Sequential Analysis of the Stay/Leave Decision: U.S. Air Force Officers http://pubsonline.in[...] 1983-03-01
_[31] 논문 Rural sustainability under threat in Zimbabwe – Simulation of future land use/cover changes in the Bindura district based on the Markov-cellular automata model http://www.sciencedi[...] 2009-07-01
_[32] 문서
_[33] 서적 Markov Chains: From Theory to Implementation and Experimentation John Wiley & Sons
_[34] 논문 First links in the Markov chain
_[35] 서적 Introduction to Probability American Mathematical Soc.
_[36] 저널 Andrei Nikolaevich Kolmogorov (1903–1987)
_[37] 저널 On the Structure of Linear Models https://archive.org/[...] 1952-01-01
_[38] 저널 Systems Analysis of Discrete Markov Processes http://ieeexplore.ie[...] 1956-12-01
_[39] 저널 Markov analysis of cyclic alluvial sediments http://archives.data[...] 1969-01-01
_[40] 저널 Markov chains and embedded Markov chains in geology https://link.springe[...] 1969-03-01
_[41] 저널 A Markov matrix for fatigue load simulation and rainflow range evaluation http://www.sciencedi[...] 2017-05-05
_[42] 저널 The Markov Process in Medical Prognosis https://dx.doi.org/1[...] 1983-12-01
_[43] 저널 Sequential Analysis of the Stay/Leave Decision: U.S. Air Force Officers http://pubsonline.in[...] 1983-03-01
_[44] 저널 Rural sustainability under threat in Zimbabwe – Simulation of future land use/cover changes in the Bindura district based on the Markov-cellular automata model http://www.sciencedi[...] 2009-07-01

본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com