마르코프 모형

3. 은닉 마르코프 모형 (HMM)

은닉 마르코프 모형은 시스템 상태를 부분적으로만 관찰할 수 있는 마르코프 연쇄이다. 즉, 관찰은 시스템의 상태와 관련이 있지만, 일반적으로 상태를 정확하게 결정하기에는 불충분하다.

3. 1. 주요 알고리즘

4. 마르코프 결정 과정 (MDP)

마르코프 결정 과정은 상태 전이가 현재 상태와 시스템에 적용되는 행동 벡터에 따라 달라지는 마르코프 연쇄이다. 일반적으로 마르코프 결정 과정은 예상 보상과 관련하여 어떤 효용을 최대화하는 행동 정책을 계산하는 데 사용된다.

5. 부분 관측 마르코프 결정 과정 (POMDP)

마르코프 의사 결정 과정에서 파생되었으며, 시스템의 상태를 부분적으로만 관찰할 수 있는 모델을 의미한다. 부분 관측 마르코프 결정 과정(POMDP)은 NP-완전 문제로 알려져 있으나, 최근에는 여러 근사 기법들이 개발되어 단순 에이전트나 로봇 제어와 같은 다양한 응용 분야에서 활용되고 있다.^[1]

6. 마르코프 무작위장 (MRF)

마르코프 랜덤 필드 또는 마르코프 네트워크는 마르코프 체인의 다차원적 일반화로 간주될 수 있다. 마르코프 체인에서 상태는 시간상 이전 상태에만 의존하는 반면, 마르코프 랜덤 필드에서는 각 상태가 여러 방향의 이웃에 의존한다. 마르코프 랜덤 필드는 임의 변수의 필드 또는 그래프로 시각화할 수 있으며, 여기서 각 임의 변수의 분포는 연결된 이웃 변수에 따라 달라진다. 보다 구체적으로, 그래프의 임의의 임의 변수에 대한 결합 분포는 해당 임의 변수를 포함하는 그래프의 모든 "클리크 포텐셜"의 곱으로 계산할 수 있다. 마르코프 랜덤 필드로 문제를 모델링하는 것은 그래프의 각 정점에서 결합 분포가 이러한 방식으로 계산될 수 있음을 의미하기 때문에 유용하다.

7. 계층적 마르코프 모형

계층적 마르코프 모형은 다양한 수준의 추상화에서 인간 행동을 분류하는 데 적용할 수 있다. 예를 들어, 방 안에서의 사람의 위치와 같은 일련의 단순한 관찰을 통해 그 사람이 어떤 과제나 활동을 수행하고 있는지와 같은 더 복잡한 정보를 파악할 수 있다. 계층적 마르코프 모형에는 계층적 은닉 마르코프 모형^[2]과 추상 은닉 마르코프 모형^[3]의 두 가지 종류가 있다. 둘 다 행동 인식에 사용되어 왔으며^[4], 모형의 서로 다른 추상화 수준 간의 특정 조건부 독립 속성을 통해 더 빠른 학습과 추론이 가능하다.^[3][5]

8. 관대한 마르코프 모형 (TMM)

관대한 마르코프 모형(TMM)은 확률적-알고리즘 마르코프 연쇄 모형이다.^[6] 이는 실제 발생한 기호 대신, 발생한 시퀀스에서 마지막 기호를 가장 가능성이 높은 것으로 간주하는 조건적 문맥에 따라 확률을 할당한다. TMM은 치환, 추가 또는 삭제의 세 가지 다른 특성을 모델링할 수 있다. 성공적인 응용은 DNA 시퀀스 압축에서 효율적으로 구현되었다.^[6][7]

9. 마르코프 연쇄 예측 모델

마르코프 연쇄는 가격 추세,^[8] 풍력 발전,^[9] 태양 복사량^[10] 예측 등 여러 주제의 예측에 사용되어 왔다. 마르코프 연쇄 예측 모델은 시계열 이산화,^[9] 웨이블릿과 결합된 은닉 마르코프 모델,^[8] 마르코프 연쇄 혼합 분포 모델(MCM)^[10] 등 다양한 설정을 활용한다.

참조

_[1] 논문 Planning and acting in partially observable stochastic domains
_[2] 논문 The hierarchical hidden markov model: Analysis and applications
_[3] 논문 Policy recognition in the abstract hidden markov model https://www.jair.org[...]
_[4] 학위논문 Hierarchical Learning and Planning in Partially Observable Markov Decision Processes http://dl.acm.org/ci[...] Michigan State University
_[5] 서적 PERCOM '03 Proceedings of the First IEEE International Conference on Pervasive Computing and Communications
_[6] 서적 PACBB 2017 – 11th International Conference on Practical Applications of Computational Biology & Bioinformatics, Porto, Portugal
_[7] 서적 Data Compression Conference (DCC), 2016 IEEE
_[8] 논문 Forecasting oil price trends using wavelets and hidden Markov models https://www.scienced[...]
_[9] 논문 Markov chain modeling for very-short-term wind power forecasting
_[10] 논문 Probabilistic forecasting of high-resolution clear-sky index time-series using a Markov-chain mixture distribution model