신뢰 영역

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요
2. 예제
- 2.1. 레벤베르크-마쿼트 알고리즘에서의 활용
- 2.2. 신뢰 영역 크기 조정
3. 출처
참조

1. 개요

신뢰 영역은 최적화 알고리즘에서 해의 이동 거리를 제한하는 데 사용되는 개념이다. 레벤베르크-마쿼트 알고리즘과 같은 반복적인 이차 곡면 근사 알고리즘에서 초기 추측이 최적점에서 멀리 떨어져 있을 때 수렴을 돕기 위해 사용된다. 신뢰 영역 크기는 매개변수 λ를 통해 조절되며, 예측된 비용 함수 감소량과 실제 감소량의 비율을 비교하여 조정된다. 이 비율이 특정 임계값을 벗어나면 신뢰 영역을 확장하거나 축소하여 해의 발산을 방지하고 수렴을 개선한다.

더 읽어볼만한 페이지

최적화 알고리즘 및 방법 - 확률적 계획법
확률적 계획법은 불확실한 상황에서 최적의 의사 결정을 내리기 위한 수학적 방법론으로, 다양한 확률적 프로그래밍 기법을 포함하며, 생물학, 경제, 금융 공학 등 여러 분야에 응용된다.
최적화 알고리즘 및 방법 - 탐욕 알고리즘
탐욕 알고리즘은 각 단계에서 가장 좋아 보이는 선택을 하는 알고리즘 설계 패러다임으로, 최적 부분 구조와 탐욕 선택 속성을 가진 문제에 최적의 해를 보장하며, 다익스트라, 프림, 크루스칼 알고리즘 등에 사용된다.

신뢰 영역
개요
정의	최적화 문제를 푸는 데 사용되는 반복적인 접근 방식
작동 방식
기본 아이디어	현재 해 주변의 "신뢰 영역" 내에서 목적 함수를 근사하는 더 간단한 문제(종종 이차 모델)를 해결
신뢰 영역	근사 모델이 목적 함수를 적절하게 나타내는 것으로 "신뢰"되는 영역
반복 과정	현재 해를 기반으로 목적 함수의 모델을 구성 신뢰 영역 내에서 모델을 최소화하는 단계를 계산 새 해가 허용되면(목적 함수 값이 충분히 감소하면) 현재 해로 이동; 그렇지 않으면 신뢰 영역을 줄이고 단계를 다시 계산
특징
장점	전역 수렴 속성이 좋음 도함수가 필요하지 않은 최적화 문제에 적합
단점	모델이 적절하지 않거나 신뢰 영역이 너무 큰 경우 수렴이 느려질 수 있음 대규모 문제의 경우 모델을 구성하고 해결하는 데 계산 비용이 많이 들 수 있음
변형
종류	코시 점 방법 개별적으로 Dogleg 방법 2차원 부분 공간 최소화
활용	선형 계획법, 비선형 계획법, 정수 계획법
관련 알고리즘
연관 알고리즘	경사 하강법, 준 뉴턴 방법

2. 예제

레벤베르크-마쿼트 알고리즘은 신뢰 영역 방법의 작동 방식을 이해하는 데 좋은 예시이다. 이 알고리즘은 목적 함수를 반복적으로 이차 곡면으로 근사하고, 선형 솔버를 사용하여 추정값을 갱신하는 방식을 취한다. 초기 추정값이 최적점에서 멀리 떨어져 있으면, 이 방법만으로는 제대로 수렴하기 어려울 수 있는데, 이러한 이유로 각 단계를 제한하여 "너무 멀리" 이동하지 못하게 하는 방식으로 문제를 해결한다.

2. 1. 레벤베르크-마쿼트 알고리즘에서의 활용

레벤베르크-마쿼트 알고리즘은 목적 함수를 반복적으로 이차 곡면으로 근사하고, 선형 솔버를 사용하여 추정값을 갱신하는 방식으로 작동한다. 초기 추정값이 최적점에서 멀리 떨어져 있는 경우, 이 방법만으로는 제대로 수렴하기 어려울 수 있다. 이러한 이유로 알고리즘은 각 단계를 제한하여 "너무 멀리" 이동하지 못하게 한다.

"너무 멀리" 이동하는 것을 제어하기 위해,

A \, \Delta x = b

를

\Delta x

에 대해 푸는 대신,

\big(A + \lambda \operatorname{diag}(A)\big) \, \Delta x = b

를 푼다. 여기서

\operatorname{diag}(A)

는 ''A''와 대각선이 같은 대각 행렬이고, λ는 신뢰 영역 크기를 제어하는 매개변수이다. 기하학적으로, 이는

\Delta x = 0

에 중심을 둔 포물면을 이차 형식에 추가하여 더 작은 단계를 생성하는 것과 같다.

신뢰 영역 크기(λ)를 변경하는 것이 핵심이다. 각 반복에서 감쇠된 이차 곡선은 비용 함수의 특정 감소량인

\Delta f_\text{pred}

를 예측하며, 이는 실제 감소량보다 작을 것으로 예상한다.

\Delta x

가 주어지면, 실제 감소량

\Delta f_\text{actual} = f(x) - f(x + \Delta x)

를 평가할 수 있다.

\Delta f_\text{pred}/\Delta f_\text{actual}

비율을 통해 신뢰 영역 크기를 조정할 수 있다. 일반적으로

\Delta f_\text{pred}

는

\Delta f_\text{actual}

보다 약간 작을 것으로 예상되므로, 이 비율은 0.25와 0.5 사이가 된다. 비율이 0.5보다 크면 단계를 너무 많이 감쇠시키고 있으므로 신뢰 영역을 확장(λ 감소)하고 반복한다. 비율이 0.25보다 작으면 실제 함수가 신뢰 영역 근사에서 "너무 많이" 벗어나고 있으므로 신뢰 영역을 축소(λ 증가)하고 다시 시도한다.

2. 2. 신뢰 영역 크기 조정

레벤베르크-마쿼트 알고리즘에서 신뢰 영역의 크기(λ)를 변경하는 것은 추정값의 발산을 막고 빠르게 해에 수렴하도록 하는 데 중요하다. 각 반복에서 감쇠된 이차 곡선은 비용 함수의 특정 감소량(

\Delta f_\text{pred}

)을 예측하는데, 이는 실제 감소량보다 작을 것으로 예상된다.

\Delta x

가 주어지면, 실제 감소량은 다음과 같이 평가할 수 있다.

:

\Delta f_\text{actual} = f(x) - f(x + \Delta x).

이 값과 예측된 감소량

\Delta f_\text{pred}

의 비율(

\Delta f_\text{pred}/\Delta f_\text{actual}

)을 보고 신뢰 영역 크기를 조정할 수 있다. 일반적으로

\Delta f_\text{pred}

는

\Delta f_\text{actual}

보다 약간 작을 것으로 예상되므로, 이 비율은 0.25에서 0.5 사이의 값을 가질 것으로 예상된다.

비율이 0.5보다 크면 감쇠가 너무 과도하다고 판단하여 신뢰 영역을 확장(λ 감소)하고 반복한다.
비율이 0.25보다 작으면 실제 함수가 신뢰 영역 근사에서 크게 벗어나므로 신뢰 영역을 축소(λ 증가)하고 다시 시도한다.

이러한 반복적인 조정을 통해 최적의 해를 찾는다.

3. 출처

Dennis^영어, J. E., Jr.; Schnabel^영어, Robert B. (1983). 〈Globally Convergent Modifications of Newton's Method^영어〉. 《Numerical Methods for Unconstrained Optimization and Nonlinear Equations^영어》 (영어). Englewood Cliffs^영어: Prentice-Hall^영어. 111–154쪽. ISBN 0-13-627216-9.
Andrew R. Conn^영어, Nicholas I. M. Gould^영어, Philippe L. Toint^영어, "[https://books.google.com/books?id=5kNC4fqssYQC Trust-Region Methods (MPS-SIAM Series on Optimization)^영어]".
Byrd^영어, R. H; Schnabel^영어, R. B.; Schultz^영어, G. A. (1987). “A trust region algorithm for nonlinearly constrained optimization^영어”. 《SIAM Journal on Numerical Analysis^영어》 (영어) 24: 1152–1170.
Yuan^영어, Y. (2000). 〈A review of trust region algorithms for optimization^영어〉. 《ICIAM 99: Proceedings of the Fourth International Congress on Industrial & Applied Mathematics^영어》 (영어). Edinburgh^영어: Oxford University Press^영어.
Yuan^영어, Y. (2015). “Recent Advances in Trust Region Algorithms^영어”. 《Mathematical Programming^영어》 (영어) 10.

참조

_[1] 논문 Newton's Method with a Model Trust Region Modification https://digital.libr[...]
_[2] 서적 Practical Methods of Optimization Wiley
_[3] 논문 Maximization by Quadratic Hill-Climbing

본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com