편향-분산 트레이드오프

3. 편향-분산 분해

모델의 예측 오류는 편향, 분산, 그리고 줄일 수 없는 오차의 세 가지 요소로 분해될 수 있다.^[37][38]

• 편향(Bias): 모델의 예측값과 실제값의 평균적인 차이를 나타낸다. 높은 편향은 모델이 훈련 데이터의 복잡한 관계를 제대로 반영하지 못하고 단순화된 가정을 하고 있음을 의미한다. (예: 비선형 데이터에 선형 모형 적용)^[37]
• 분산(Variance): 모델의 예측값이 훈련 데이터의 변동에 얼마나 민감하게 반응하는지를 나타낸다. 높은 분산은 모델이 훈련 데이터의 노이즈까지 과적합하여 새로운 데이터에 대한 일반화 성능이 떨어짐을 의미한다.
• 줄일 수 없는 오차(Irreducible Error): 데이터 자체에 내재된 노이즈나 불확실성으로 인해 발생하는 오류로, 모델의 성능과 무관하며, 기대 오차의 하한값 역할을 한다.^[37]

4. 접근 방법

차원 축소 및 특징 선택은 모델을 단순화하여 분산을 줄일 수 있다. 마찬가지로, 더 큰 훈련 세트는 분산을 줄이는 경향이 있다. 특징(예측 변수)을 추가하면 추가적인 분산을 도입하는 대가로 편향이 감소하는 경향이 있다. 학습 알고리즘은 일반적으로 편향과 분산을 제어하는 몇 가지 조정 가능한 매개변수를 가지고 있다.

혼합 모델과 앙상블 학습은 트레이드오프를 해결하는 한 가지 방법이다.^[14][15] 예를 들어, 부스팅은 개별 모델보다 편향이 낮은 앙상블에서 많은 "약한"(편향이 높은) 모델을 결합하는 반면, 배깅은 분산을 줄이는 방식으로 "강한" 학습자를 결합한다.

모델 검증 방법, 예를 들어 교차 검증을 사용하여 절충안을 최적화하도록 모델을 조정할 수 있다.

5. 다양한 학습 모델에서의 편향-분산 트레이드오프

일반적인 선형 모형은 정규화를 통해 편향을 증가시켜 분산을 줄일 수 있다.^[30] 인공신경망에서는 은닉층의 유닛 수를 늘릴수록 분산은 증가하고 편향은 감소한다.^[31] 일반적인 선형 모형과 마찬가지로 정규화를 적용할 수 있다.^[12]

k-최근접 이웃 모델에서 k 값이 클수록 편향은 증가하고 분산은 감소한다. 사례 기반 학습에서 정규화는 원형과 예시의 혼합을 다양하게 함으로써 달성될 수 있다.^[13]

의사결정나무에서 트리의 깊이는 분산을 결정한다. 의사결정나무는 일반적으로 분산을 제어하기 위해 가지치기를 한다.^[32]

6. 응용

편향-분산 분해는 지도 학습에서 모델의 일반화 성능을 이해하고 향상시키는 데 중요한 역할을 한다.
회귀(Regression)LASSO 회귀, 릿지 회귀와 같은 정규화 방법은 최소제곱법(OLS) 해에 비해 편향을 증가시키지만 분산을 크게 줄여 더 나은 평균 제곱 오차(MSE) 성능을 제공한다.^[39][40]
분류(Classification)통계적 분류에서 0-1 손실 (오분류율)을 사용할 때, 편향-분산 분해가 가능하지만 분산 항이 대상 레이블에 종속된다는 점에 유의해야 한다.^[16][17] 확률적 분류 문제로 표현할 경우, 기대 교차 엔트로피를 분해하여 다른 형태를 갖지만 같은 의미를 가지는 편향과 분산 항을 얻을 수 있다.^[41]

훈련 데이터가 증가하면 학습된 모델의 분산이 감소하는 경향이 있으므로, 훈련 데이터 양이 많을 때는 편향이 적은 모델을 학습하여 오류를 최소화하고, 훈련 데이터 양이 적을 때는 분산을 최소화하는 것이 중요하다.^[18]
강화 학습(Reinforcement Learning)강화 학습에서 에이전트가 환경에 대한 제한된 정보를 가질 때, 알고리즘의 비최적성은 점근적 편향과 관련된 항과 과적합으로 인한 항으로 분해될 수 있다.^[19]
몬테카를로 방법 (Monte Carlo methods)마르코프 연쇄 몬테카를로와 같은 현대적 접근 방식은 점근적으로 무편향적이지만, 제한된 계산 예산으로 인해 편향-분산 트레이드오프가 발생한다.^[20][21] 제어된 편향을 허용하여 분산을 줄이는 접근 방식이 사용된다.^[22][23]

7. 인간 학습과의 관련성

게르트 기거렌처와 그의 연구진은 인간의 뇌가 제한된 경험, 즉 희소하고 제대로 특징 지어지지 않은 훈련 세트를 바탕으로 학습할 때, 높은 편향과 낮은 분산을 가진 휴리스틱을 채택함으로써 편향-분산 딜레마를 해결한다고 주장한다.^[24] 이는 제로 편향 접근 방식이 새로운 상황에 대한 일반화 능력이 떨어지며, 세상의 진정한 상태에 대한 정확한 지식을 불합리하게 추정한다는 사실을 반영한다. 결과적으로 만들어진 휴리스틱은 비교적 단순하지만, 더 광범위한 상황에서 더 나은 추론을 만들어낸다.^[25]

스튜어트 게만 외 연구진은^[12] 편향-분산 딜레마가 일반적인 객체 인식과 같은 능력은 처음부터 학습될 수 없으며, 나중에 경험에 의해 조율되는 일정 수준의 "하드 와이어링"(hard-wiring, 고정 배선)이 필요함을 시사한다고 주장한다. 이는 모델 없는 추론 방식이 높은 분산을 피하려면 비실용적으로 큰 훈련 세트가 필요하기 때문이다.^[31]

8. 한국 위키백과 추가 내용

Bias–variance tradeoff^영어는 기계 학습에서 예측 모델의 성능을 평가하는 데 사용되는 중요한 개념이다.

참조

_[1] 논문 Bias Plus Variance Decomposition for Zero-One Loss Functions 1996
_[2] 논문 Statistical learning theory: Models, concepts, and results 2011
_[3] arXiv On the Bias-Variance Tradeoff: Textbooks Need an Update 2019
_[4] arXiv A Modern Take on the Bias-Variance Tradeoff in Neural Networks 2018
_[5] 간행물 A Modern Take on the Bias-Variance Tradeoff in Neural Networks https://openreview.n[...] 2019
_[6] 서적 The nature of statistical learning theory https://dx.doi.org/1[...] Springer-Verlag 2000
_[7] 서적 An Introduction to Statistical Learning http://www-bcf.usc.e[...] Springer
_[8] 서적 The Elements of Statistical Learning http://statweb.stanf[...] 2014-08-20
_[9] 웹사이트 The Bias–Variance Tradeoff http://www.inf.ed.ac[...] University of Edinburgh 2014-08-19
_[10] 웹사이트 Notes on derivation of bias-variance decomposition in linear regression http://ttic.uchicago[...] 2014-08-20
_[11] 서적 Conditioning diagnostics : collinearity and weak data in regression Wiley
_[12] 논문 Neural networks and the bias/variance dilemma http://web.mit.edu/6[...]
_[13] 논문 Instance-based classifiers applied to medical databases: diagnosis and knowledge extraction https://www.research[...] 2011-05
_[14] 서적 Encyclopedia of Machine Learning http://homepages.inf[...] Springer
_[15] 웹사이트 Understanding the Bias–Variance Tradeoff http://scott.fortman[...]
_[16] 간행물 A unified bias-variance decomposition http://homes.cs.wash[...]
_[17] 논문 Bias–variance analysis of support vector machines for the development of SVM-based ensemble methods http://www.jmlr.org/[...]
_[18] 간행물 The Need for Low Bias Algorithms in Classification Learning From Large Data Sets http://i.giwebb.com/[...]
_[19] 논문 On Overfitting and Asymptotic Bias in Batch Reinforcement Learning with Partial Observability https://jair.org/ind[...]
_[20] 간행물 The Bias-Variance Dilemma of the Monte Carlo Method https://doi.org/10.1[...] Springer 2024-11-17
_[21] 논문 Postprocessing of MCMC https://ssrn.com/abs[...] 2024-11-17
_[22] 논문 Importance sampling with transformed weights https://doi.org/10.1[...] 2024-11-17
_[23] 간행물 Adaptive Importance Sampling meets Mirror Descent: A Bias-Variance Tradeoff https://proceedings.[...] 2024-11-17
_[24] 논문 Homo Heuristicus: Why Biased Minds Make Better Inferences
_[25] 논문 Homo Heuristicus: Why Biased Minds Make Better Inferences
_[26] 서적 パターン認識と機械学習 丸善出版
_[27] 서적 統計的学習の基礎 共立出版
_[28] 웹사이트 The Bias–Variance Tradeoff http://www.inf.ed.ac[...] University Edinburgh 2014-08-19
_[29] 웹사이트 Notes on derivation of bias-variance decomposition in linear regression http://ttic.uchicago[...] 2014-08-20
_[30] 서적 Conditioning diagnostics : collinearity and weak data in regression Wiley
_[31] 논문 Neural networks and the bias/variance dilemma http://web.mit.edu/6[...]
_[32] 서적 An Introduction to Statistical Learning http://www-bcf.usc.e[...] Springer
_[33] 문서 Locally Weighted Regression for Control http://homepages.inf[...] Springer
_[34] 문서 Understanding the Bias–Variance Tradeoff http://scott.fortman[...]
_[35] 논문 Neural networks and the bias/variance dilemma http://web.mit.edu/6[...]
_[36] 간행물 Bias–variance decomposition Springer
_[37] 서적 An Introduction to Statistical Learning http://www-bcf.usc.e[...] Springer 2015-04-27
_[38] 서적 The Elements of Statistical Learning https://web.archive.[...] 2015-04-27
_[39] 콘퍼런스 A unified bias-variance decomposition http://homes.cs.wash[...]
_[40] 저널 Bias–variance analysis of support vector machines for the development of SVM-based ensemble methods
_[41] 서적 Introduction to Information Retrieval http://nlp.stanford.[...] Cambridge University Press
_[42] 간행물 "Instance-based classifiers applied to medical databases: diagnosis and knowledge extraction" http://dx.doi.org/10[...]
_[43] 간행물 Locally Weighted Regression for Control Springer
_[44] 웹사이트 Understanding the Bias–Variance Tradeoff http://scott.fortman[...]
_[45] 저널 Homo Heuristicus: Why Biased Minds Make Better Inferences