손실 함수

3. 손실 함수의 종류

손실 함수는 문제의 특성과 목적에 따라 다양한 종류가 존재하며, 적절한 손실 함수를 선택해야 한다.

• 이차 손실 함수 (Quadratic Loss Function): 예측값과 실제값의 차이를 제곱하여 계산하는 함수이다. 최소 제곱법과 같이 이차 손실 함수를 사용하는 일반적인 경우이며, 통계학에서 t-검정, 회귀 분석, 실험계획법 등에 사용되는 선형 회귀 이론을 적용할 때 활용된다.^[1] 평균 제곱 오차를 계산하는 데 사용된다.
• 0-1 손실 함수 (0-1 Loss Function): 예측값이 실제값과 일치하면 0, 그렇지 않으면 1을 부여하는 함수이다. 통계학 및 의사결정 이론에서 자주 사용된다.
• 후회 (Regret): 레너드 J. 새비지는 미니맥스 등 비베이즈 방법을 사용할 때, 최선의 결정과 실제 결정의 결과 차이를 바탕으로 하는 '후회' 개념을 손실 함수 기반으로 해야 한다고 주장했다.^[1]

3. 1. 이차 손실 함수 (Quadratic Loss Function)

3. 1. 1. 통계학에서의 예시

• 스칼라 매개변수 θ에 대해, 출력값 $\backslash hat\backslash theta$가 θ의 추정치인 의사결정 함수와 제곱 오차 손실 $$L(\backslash theta,\backslash hat\backslash theta)=(\backslash theta-\backslash hat\backslash theta)^2,$$ 에서 위험 함수는 추정치의 평균 제곱 오차가 된다. $$R(\backslash theta,\backslash hat\backslash theta)=\; \backslash operatorname\{E\}\_\backslash theta\; \backslash left\; [\; (\backslash theta-\backslash hat\backslash theta)^2\; \backslash right\; ].$$ 평균 제곱 오차를 최소화하여 찾은 추정량은 사후 분포의 평균을 추정한다.
• 밀도 추정에서 알려지지 않은 매개변수는 확률 밀도 자체이다. 손실 함수는 일반적으로 적절한 함수 공간에서 노름으로 선택된다. 예를 들어, ''L''² 노름의 경우, $$L(f,\backslash hat\; f)\; =\; \backslash |f-\backslash hat\; f\backslash |\_2^2\backslash ,,$$ 위험 함수는 평균 적분 제곱 오차가 된다. $$R(f,\backslash hat\; f)=\backslash operatorname\{E\}\; \backslash left\; (\; \backslash |f-\backslash hat\; f\backslash |^2\; \backslash right\; ).\backslash ,$$

3. 2. 0-1 손실 함수 (0-1 Loss Function)

3. 3. 후회 (Regret)

4. 손실 함수와 목적 함수의 구축

많은 응용 분야에서 손실 함수와 같은 목적 함수는 문제 정의에 의해 결정된다. 다른 경우에는 의사 결정자의 선호도를 도출하여 최적화에 적합한 형태의 스칼라 값 함수(유틸리티 함수라고도 함)로 나타내야 하는데, 이는 라그나르 프리쉬가 노벨상 수상 강연에서 강조한 문제이다.^[4] 목적 함수를 구성하는 기존 방법들은 두 개의 전문 학회 논문집에 수록되어 있다.^[5][6] 특히, 안드라닉 탕기안은 가장 유용한 목적 함수(2차 및 가법적)가 몇 가지 무차별점에 의해 결정됨을 보였다. 그는 이 속성을 컴퓨터 지원 인터뷰를 통해 의사 결정자로부터 도출된 순서형 또는 기수형 데이터로부터 이러한 목적 함수를 구성하는 모델에 사용했다.^[7][8] 그 외에도 그는 16개의 베스트팔렌 대학교^[9]의 예산을 최적으로 배분하고 271개의 독일 지역 간 실업률을 동등하게 하기 위한 유럽 보조금을 위한 목적 함수를 구성했다.^[10]

5. 결정 규칙 (Decision Rules)

결정 규칙은 최적성 기준을 사용하여 선택을 한다. 자주 사용되는 기준은 다음과 같다.

• '''미니맥스''': 최악의 경우(최대 가능 손실)를 최소화한다.
• '''불변성''': 불변성 요건을 만족하는 결정 규칙을 선택한다.
• 손실 함수의 기댓값을 최소화하는 결정 규칙을 선택한다.

5. 1. 미니맥스 (Minimax)

• '''미니맥스''': 최악의 손실이 가장 낮은 결정 규칙을 선택한다. 즉, 최악의 경우(최대 가능 손실)를 최소화한다.

5. 2. 불변성 (Invariance)

5. 3. 평균 손실 최소화

6. 손실 함수 선택

건전한 통계적 실무는 특정 응용 문제의 맥락에서 실제로 허용 가능한 변동과 일치하는 추정량을 선택하는 것을 요구한다.^[15] W. 에드워즈 데밍과 나심 니콜라스 탈레브는 경험적 현실이 손실 함수를 선택하는 유일한 근거가 되어야 하며, 실제 손실은 종종 수학적으로 깔끔하지 않고 미분 가능하거나 연속적이거나 대칭적이지 않다고 주장한다.^[17] 예를 들어, 비행기 게이트 폐쇄 시간 전후의 도착은 불연속성과 비대칭성을 가지며, 약간 늦는 것이 훨씬 더 큰 비용을 초래할 수 있다. 약물 투여량 또한 너무 적으면 효과가 없고, 너무 많으면 허용 가능한 독성이 될 수 있어 비대칭성의 예시가 된다.

7. 참고 항목

• 베이즈 후회(Bayesian regret) - 게임 이론에서 베이즈 전략의 효용과 최적 전략의 효용 간의 기대 차이
• 분류를 위한 손실 함수(Loss functions for classification) - 분류 문제에서 예측의 부정확성에 대한 손실 함수
• 할인된 최대 손실액(Discounted maximum loss) - 금융 포트폴리오의 최악의 시나리오의 현재 가치
• 힌지 손실(Hinge loss) - 기계 학습에서 분류기를 훈련하는 데 사용되는 손실 함수
• 스코어링 규칙(Scoring rule) - 의사결정 이론에서 확률적 예측을 평가하기 위한 종합 척도
• 통계적 위험(Statistical risk) - 어떤 상황의 위험을 통계적 방법으로 정량화하는 것
• 히스토그램
• 커널 밀도 추정

참조

_[1] 서적 The Elements of Statistical Learning https://web.stanford[...] Springer
_[2] 서적 Statistical Decision Functions https://psycnet.apa.[...] Wiley
_[3] 서적 On the mathematical theory of risk Centraltryckeriet
_[4] 서적 The Nobel Prize–Prize Lecture https://www.nobelpri[...] 2021-02-15
_[5] 서적 Constructing Scalar-Valued Objective Functions. Proceedings of the Third International Conference on Econometric Decision Models: Constructing Scalar-Valued Objective Functions, University of Hagen, held in Katholische Akademie Schwerte September 5–8, 1995 Springer 1997
_[6] 서적 Constructing and Applying Objective Functions. Proceedings of the Fourth International Conference on Econometric Decision Models Constructing and Applying Objective Functions, University of Hagen, held in Haus Nordhelle, August, 28 — 31, 2000 Springer 2002
_[7] 학술지 Constructing a quasi-concave quadratic objective function from interviewing a decision maker
_[8] 학술지 A model for ordinally constructing additive objective functions
_[9] 학술지 Redistribution of university budgets with respect to the status quo
_[10] 학술지 Multi-criteria optimization of regional employment policy: A simulation analysis for Germany https://onlinelibrar[...]
_[11] SpringerEOM Risk of a statistical procedure
_[12] 서적 Statistical decision theory and Bayesian Analysis https://books.google[...] Springer-Verlag
_[13] 서적 Optimal Statistical Decisions Wiley Classics Library
_[14] 서적 The Bayesian Choice Springer
_[15] 서적 Parametric Statistical Theory Walter de Gruyter
_[16] 서적 Robust and Non-Robust Models in Statistics Nova Scientific Publishers, Inc.
_[17] 서적 Out of the Crisis The MIT Press
_[18] 서적 The Elements of Statistical Learning https://web.stanford[...] Springer
_[19] 서적 Statistical Decision Functions https://psycnet.apa.[...] Wiley
_[20] 서적 On the mathematical theory of risk
_[21] 서적 The Nobel Prize–Prize Lecture https://www.nobelpri[...] 2021-02-15
_[22] 서적 Constructing Scalar-Valued Objective Functions. Proceedings of the Third International Conference on Econometric Decision Models: Constructing Scalar-Valued Objective Functions, University of Hagen, held in Katholische Akademie Schwerte September 5–8, 1995 Springer 1997
_[23] 서적 Constructing and Applying Objective Functions. Proceedings of the Fourth International Conference on Econometric Decision Models Constructing and Applying Objective Functions, University of Hagen, held in Haus Nordhelle, August, 28 — 31, 2000 Springer 2002
_[24] 학술지 Constructing a quasi-concave quadratic objective function from interviewing a decision maker
_[25] 학술지 A model for ordinally constructing additive objective functions
_[26] 학술지 Redistribution of university budgets with respect to the status quo
_[27] 학술지 Multi-criteria optimization of regional employment policy: A simulation analysis for Germany https://onlinelibrar[...]
_[28] 서적 Parametric Statistical Theory Walter de Gruyter
_[29] 서적 Robust and Non-Robust Models in Statistics Nova Scientific Publishers, Inc.
_[30] 서적 Out of the Crisis The MIT Press