에이다부스트

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요
2. 역사
- 2.1. 개발 배경
- 2.2. 발전 과정
3. 알고리즘
4. 수학적 이해
- 4.1. 유도 과정
- 4.2. 통계적 해석
5. 특징 및 장단점
6. 응용 분야
- 6.1. 컴퓨터 비전
참조

1. 개요

에이다부스트(AdaBoost)는 여러 개의 약한 분류기를 결합하여 강력한 분류기를 만드는 부스팅 알고리즘 중 하나이다. 각 샘플에 가중치를 부여하여 오류를 최소화하는 방향으로 학습하며, 최종 분류기는 약한 분류기들의 예측 결과에 가중치를 곱하여 합산한 후 부호를 결정한다. 알고리즘은 지수 손실 함수를 최소화하는 과정으로 유도되며, 경사 하강법의 관점에서 해석될 수 있다. 다양한 분야에서 응용되며, 컴퓨터 비전, 자연어 처리, 생물 정보학, 금융 등에서 활용된다.

더 읽어볼만한 페이지

알고리즘 - 텍스트-비디오 모델
텍스트-비디오 모델은 텍스트 입력을 기반으로 비디오를 생성하는 인공지능 모델로서, 다양한 모델들이 개발되고 교육, 홍보, 창작 산업 등 여러 분야에 활용되지만 컴퓨팅 자원 소모, 데이터 부족, 텍스트 해석 오류, 윤리적 문제 등의 한계점을 가진다.
알고리즘 - 마스터 정리
마스터 정리는 분할 정복 알고리즘의 시간 복잡도 분석 도구로서, 점화식을 세 가지 경우로 나누어 재귀 알고리즘의 효율성을 파악하고, 다양한 정렬 및 일반 알고리즘 분석에 활용되지만, 특정 조건에서는 적용이 제한될 수 있습니다.
기계 학습 - 비지도 학습
비지도 학습은 레이블이 없는 데이터를 통해 패턴을 발견하고 데이터 구조를 파악하는 것을 목표로 하며, 주성분 분석, 군집 분석, 차원 축소 등의 방법을 사용한다.
기계 학습 - 지도 학습
지도 학습은 레이블된 데이터를 사용하여 입력 데이터와 출력 레이블 간의 관계를 학습하는 기계 학습 분야로, 예측 모델 생성, 알고리즘 선택, 모델 최적화, 정확도 평가 단계를 거치며, 회귀 및 분류 문제에 적용되고 다양한 확장 기법과 성능 평가 방법을 활용한다.

에이다부스트
개요
종류	기계 학습, 통계적 분류
학습 방법	부스팅
지도 방식	지도 학습
개발자	요아브 프룬트, 로베르트 샤피레
발표 시기	1996년
상세 정보
특징	'여러 개의 약한 학습기를 결합하여 강력한 학습기를 만드는 앙상블 방법을 사용한다.'
동작 방식	각 반복에서 데이터의 가중치를 조정한다. 이전 반복에서 잘못 분류된 데이터에 더 높은 가중치를 부여한다.
장점	비교적 구현이 쉽다. 다양한 종류의 약한 학습기(weak learners)와 함께 사용할 수 있다. 과적합에 강하다.
단점	이상치(outlier)에 민감하다. 약한 학습기의 성능에 크게 의존한다.
알고리즘
주요 변종	AdaBoost.M1 AdaBoost.M2 AdaBoost.RT LogitBoost Gentle AdaBoost Real AdaBoost

2. 역사

(에이다부스트의 '역사' 섹션에 대한 내용은 제공된 원본 소스에 없으므로, 작성할 내용이 없습니다.)

2. 1. 개발 배경

에이다부스트는 인공신경망이나 서포트 벡터 머신과는 다르게, 모델의 예측 능력을 향상시킬 것으로 생각되는 특성들만 선택하고 훈련한다. 이는 차원수를 줄이는 동시에 필요없는 특성들을 고려하지 않음으로써 잠재적으로 수행 시간을 개선시킨다.^[1]

기계학습의 문제들은 종종 차원수의 저주에 시달린다. 각 샘플은 아주 많은 숫자의 잠재적 특성들로 이루어질 수 있는데, 모든 특성을 고려하는 것은 분류기의 훈련과 수행 속도를 늦출 뿐만 아니라 휴즈 효과(Hughes Effect)에 의해 예측 능력까지 떨어트리게 된다.^[1] 예를 들어, 비올라-존스 물체 탐지 체계에서 사용되는 하아 특징(Haar feature)의 경우 24x24픽셀 그림 윈도우에 162336개의 특성이 있을 수 있다.^[1]

2. 2. 발전 과정

아다부스트 훈련 과정은 모델의 예측 능력을 향상시킬 것으로 예상되는 특성들만 선택하며, 이는 인공신경망이나 서포트 벡터 머신과는 다른 특징이다. 이러한 특성 선택은 차원수를 줄이고 불필요한 특성을 고려하지 않음으로써 잠재적으로 수행 시간을 개선한다.^[1]

3. 알고리즘

에이다부스트는 여러 개의 약한 학습기(weak learner)를 결합하여 강력한 학습기(strong learner)를 만드는 부스팅 알고리즘이다. 각 약한 학습기는 훈련 데이터의 일부를 학습하고, 이전 학습기가 잘못 분류한 샘플에 더 높은 가중치를 부여하여 다음 학습기가 해당 샘플에 집중하도록 한다.

에이다부스트 알고리즘은 다음과 같이 요약할 수 있다.

1. 초기화: 각 데이터 샘플에 대한 초기 가중치는 동일하게 $\frac{1}{n}$ 으로 설정한다. ( $n$ 은 전체 샘플 수)

2. 반복 (t = 1부터 T까지):

가중치 분포 $D_t$ 하에서, 오분류된 샘플에 대한 가중치 합 오차 $\epsilon_t$ 를 최소화하는 약한 학습기 $h_t(x)$ 를 찾는다.
약한 학습기 $h_t(x)$ 의 가중치 $\alpha_t$ 를 계산한다.
$\alpha_t = \frac{1}{2} \ln \left( \frac{1 - \epsilon_t}{\epsilon_t} \right)$
데이터 샘플의 가중치를 업데이트한다.
$w_{i,t+1} = w_{i,t} \exp(-\alpha_t y_i h_t(x_i))$
$\sum_i w_{i,t+1} = 1$ 이 되도록 가중치를 정규화한다.

3. 최종 분류기 생성: 각 약한 분류기의 예측 결과에 가중치를 곱하여 모두 더한 후, 그 값의 부호를 통해 최종 예측을 수행한다.

:

H(x) = \textrm{sign}\left( \sum_{t=1}^{T} \alpha_{t}h_{t}(x)\right)

각 반복 단계에서, 가중치가 고려된 총 오류

\sum_{y_i \neq k_m(x_i)} w_i^{(m)}

를 최소화하는 분류기

k_m

을 선택한다. 그리고 이 값을 이용하여 오류율

\epsilon_m = \frac {\sum_{y_i \neq k_m(x_i)} w_i^{(m)}} {\sum_{i=1}^N w_i^{(m)}}

를 계산하고, 이를 통해 가중치

\alpha_m = \frac{1}{2}\ln \frac{1 - \epsilon_m}{\epsilon_m}

를 계산한다. 마지막으로, 이 가중치를 사용하여 이전 단계까지의 가속화 분류기

C_{m-1}

에 현재 선택된 약한 분류기

k_m

을 더하여

C_{m} = C_{(m-1)} + \alpha_m k_m

를 계산, 가속화 분류기를 개선한다.

이러한 과정을 통해 에이다부스트는 이전 학습기가 놓친 샘플에 집중하여 분류 성능을 향상시킨다.

3. 1. 초기화

AdaBoost^영어는 훈련 데이터의 각 샘플에 동일한 초기 가중치를 부여한다. 샘플 개수가

n

개일 때, 각 샘플의 초기 가중치

w_{1,i}

는

\frac{1}{n}

으로 설정된다. 즉, 모든 샘플이 동일한 중요도를 갖도록 초기화한다.

3. 2. 최종 분류기 생성

각 약한 분류기(

h_t(x)

)의 예측 결과에 가중치(

\alpha_t

)를 곱하여 모두 더한 후, 그 값의 부호(sign)를 통해 최종 예측(

H(x)

)을 수행한다. 이 과정을 수식으로 나타내면 다음과 같다.

:

H(x) = \textrm{sign}\left( \sum_{t=1}^{T} \alpha_{t}h_{t}(x)\right)

3. 3. 변형 알고리즘

AdaBoost에는 여러 변형 알고리즘이 존재한다. 대표적인 예시는 다음과 같다.

실수형 아다부스트 (Real AdaBoost): 약한 분류기의 출력을 클래스 레이블(-1 또는 1) 대신 클래스 확률로 사용한다. 즉, 각 샘플이 특정 클래스에 속할 확률을 출력하여, 이를 바탕으로 가중치를 조절하고 최종 예측을 수행한다.

로지스틱 부스트 (LogitBoost): 로지스틱 회귀를 기반으로 손실 함수를 정의하고, 이를 최소화하는 방향으로 학습을 진행한다. 각 반복 단계에서 약한 학습기는 다음 식을 최소화하는 함수 $f_t(x)$ 를 찾는다.

:

z_t = \frac{y^* - p_t(x)}{2 p_t(x)(1 - p_t(x))}

:

p_t(x) = \frac{e^{F_{t-1}(x)}}{e^{F_{t-1}(x)}+e^{-F_{t-1}(x)}}

:

w_{t} = p_t(x)(1 - p_t(x))

:

y^* = \frac{y+1}{2}

.

:여기서

z_t

는 뉴턴-랩슨 방법을 사용하여 로그 가능도 오류를 최소화하는 항을 나타낸다.

p_t(x)

값이 0이나 1에 가까워지면 수치적 불안정성이 발생할 수 있으므로,

z

의 절댓값과

w

의 최솟값에 제한을 두어 이를 방지한다.

관대한 아다부스트 (Gentle AdaBoost): 각 반복 단계에서 약한 분류기의 가중치를 제한하여 과적합을 방지한다. 약한 학습기 $f_t$ 는 $\sum_i w_{t,i} (y_i-f_t(x_i))^2$ 를 최소화하도록 선택되며, 별도의 계수를 적용하지 않는다. 이는 약한 학습기가 완벽한 분류를 할 수 있는 경우에도 $\alpha_t$ 가 무한대로 발산하는 것을 막아준다.^[9]^[10]

4. 수학적 이해

에이다부스트는 여러 개의 약한 분류기(weak classifier)를 결합하여 강한 분류기(strong classifier)를 만드는 앙상블 학습 방법으로, 이 과정에서 수학적인 원리가 중요하다.

이산 에이다부스트(Discrete AdaBoost)에서는 분류기가 -1 또는 1의 결과를 나타내는 반면, 실수 에이다부스트(Real AdaBoost)에서는 각 클래스에 속할 확률 p(x) = P(y=1 | x)를 사용한다.^[21] 이는 원소 x가 클래스 y에 속할 확률을 의미한다.

프리드만(Friedman), 하스티(Hastie), 팁시라니(Tibshirani)는 고정된 p(x)에 대해 $e^{-y\left(F_{t-1}(x)+f_t(p(x))\right)}$ 를 최소화하는 다음 $f_t(p(x))$ 를 유도했다.

: $f_t(x) = \frac{1}{2} \ln\left(\frac{x}{1-x}\right)$ .

이 식을 통해 전체 트리 연산 대신 잎사귀(leaf) 값을 이전 값의 로지스틱 변환의 절반으로 대체할 수 있다. 이산 에이다부스트와 실수 에이다부스트의 차이점은 전자는 결과 신뢰도를 따로 계산해야 하지만, 후자는 약한 분류기의 신뢰도가 확률로 표현된다는 것이다.

부스팅은 각 표본의 특징이 해당 표본에 적용된 약한 학습자의 출력값인 일종의 선형 회귀 분석이다. 에이다부스트는 최소 제곱 오차 $E(f) = (y(x) - f(x))^2$ 대신 지수 오차 함수 $E(f) = e^{-y(x)f(x)}$ 를 사용하는데, 이는 $|F(x)|$ 가 1보다 커도 오차를 증가시키지 않지만, 이상치(outlier)에 과도한 가중치를 줄 수 있다.

지수 오차 함수의 특징은 최종 모델 오차가 각 단계 오차의 곱이라는 것이다. ( $e^{\sum_i -y_i f(x_i)} = \prod_i e^{-y_i f(x_i)}$ ) 따라서 에이다부스트의 가중치 업데이트는 각 단계 후 $F_t(x)$ 에 대한 오차 재계산과 같다.

손실 함수는 단조 함수이면서 연속 미분 가능 함수이면 다양하게 선택 가능하다.^[8] Zhang (2004)은 수정된 Huber 손실 함수를 제안했는데, 이는 특정 상황에서 LogitBoost보다 성능이 좋고 이상치에 덜 민감하다.

에이다부스트는 볼록 손실 함수를 최소화하는 문제로 볼 수 있다.^[7] 특히, 지수 손실 함수 $\sum_i e^{-y_i f(x_i)}$ 를 최소화한다.

4. 1. 유도 과정

에이다부스트의 유도 과정은 지수 손실 함수를 최소화하는 관점에서 설명할 수 있다. 지수 손실 함수는 다음과 같이 정의된다.

:

E = \sum_{i=1}^N e^{-y_i C_m(x_i)}

여기서

C_m(x_i)

는

m

번째 반복에서 생성된 분류기의 예측 결과이다. 이 손실 함수를 최소화하기 위해, 각 반복 단계에서 최적의 약한 분류기와 그 가중치를 계산하는 과정을 거친다.

m-1

번째 반복 이후, 에이다부스트 분류기는 약한 분류기들의 선형 결합으로 표현된다.

:

C_{(m-1)}(x_i) = \alpha_1k_1(x_i) + \cdots + \alpha_{m-1}k_{m-1}(x_i)

m

번째 반복에서는, 기존 분류기에 새로운 약한 분류기

k_m(x_i)

를 더하여 더 나은 분류기를 만든다.

:

C_{m}(x_i) = C_{(m-1)}(x_i) + \alpha_m k_m(x_i)

이때, 어떤 약한 분류기(

k_m

)를 선택하고, 어떤 가중치(

\alpha_m

)를 부여해야 하는지가 문제이다. 이를 위해 총 오류

E

를 각 데이터 포인트에 대한 지수 손실의 합으로 정의한다.

:

E = \sum_{i=1}^N e^{-y_i C_m(x_i)}

w_i^{(1)} = 1

,

w_i^{(m)} = e^{-y_i C_{m-1}(x_i)}

(

m > 1

)로 두면, 위 식은 다음과 같이 변형된다.

:

E = \sum_{i=1}^N w_i^{(m)}e^{-y_i\alpha_m k_m(x_i)}

이 식을

k_m

에 의해 정확하게 분류된 데이터(

y_i k_m(x_i) = 1

)와 잘못 분류된 데이터(

y_i k_m(x_i) = -1

)로 나누면 다음과 같다.

:

E = \sum_{y_i = k_m(x_i)} w_i^{(m)}e^{-\alpha_m} + \sum_{y_i \neq k_m(x_i)} w_i^{(m)}e^{\alpha_m} = \sum_{i=1}^N w_i^{(m)}e^{-\alpha_m} + \sum_{y_i \neq k_m(x_i)} w_i^{(m)}(e^{\alpha_m}-e^{-\alpha_m})

여기서

k_m

에 의존하는 부분은

\sum_{y_i \neq k_m(x_i)} w_i^{(m)}

뿐이다. 따라서

E

를 최소화하는

k_m

은

\sum_{y_i \neq k_m(x_i)} w_i^{(m)}

을 최소화하는 약한 분류기, 즉 가중치를 고려한 가장 낮은 오류를 가진 분류기가 된다.

이제

k_m

을 결정했으므로,

E

를 최소화하는 가중치

\alpha_m

을 찾기 위해 미분을 수행한다.

:

\frac{d E}{d \alpha_m} = \sum_{y_i \neq k_m(x_i)} w_i^{(m)}e^{\alpha_m} - \sum_{y_i = k_m(x_i)} w_i^{(m)}e^{-\alpha_m}

이 식을 0으로 놓고

\alpha_m

에 대해 풀면 다음과 같다.

:

\alpha_m = \frac{1}{2}\ln\frac{\sum_{y_i = k_m(x_i)} w_i^{(m)}}{\sum_{y_i \neq k_m(x_i)} w_i^{(m)}}

약한 분류기의 가중치가 고려된 오류율을

\epsilon_m = \frac{\sum_{y_i \neq k_m(x_i)} w_i^{(m)}} {\sum_{i=1}^N w_i^{(m)}}

로 계산하면, 다음 식이 성립한다.

:

\alpha_m = \frac{1}{2}\ln \frac{1 - \epsilon_m}{\epsilon_m}

이 과정을 통해 에이다부스트 알고리즘이 유도된다. 각 반복 단계에서 가중치가 고려된 총 오류를 최소화하는 분류기

k_m

을 선택하고, 오류율

\epsilon_m

을 계산하여 가중치

\alpha_m

을 계산한다. 마지막으로, 이 가중치를 사용하여 가속화 분류기

C_{m-1}

을

C_{m} = C_{(m-1)} + \alpha_m k_m

으로 개선한다.

4. 2. 통계적 해석

아다부스트는 일종의 경사 하강법(gradient descent)으로 해석할 수 있다. 각 반복 단계에서 현재까지의 분류기 결과를 바탕으로 손실 함수의 기울기(gradient)를 계산하고, 이 기울기 방향으로 조금씩 이동하면서 손실 함수를 최소화하는 약한 분류기를 찾는다.^[7]

부스팅은 각 표본

x_i

의 특징이

x_i

에 적용된 약한 학습자

h

의 출력인 일종의 선형 회귀 분석이다. 회귀는 일반화 손실 없이

F(x)

를

y(x)

에 가능한 정확하게 맞추려고 시도하며, 일반적으로 최소 제곱 오차

E(f) = (y(x) - f(x))^2

를 사용한다. 하지만 AdaBoost 오차 함수

E(f) = e^{-y(x)f(x)}

는 최종 결과의 부호만 사용된다는 사실을 고려하여

|F(x)|

가 오차를 증가시키지 않으면서 1보다 훨씬 클 수 있도록 한다. 그러나 표본

x_i

에 대한 오차가

-y(x_i)f(x_i)

가 증가함에 따라 지수적으로 증가하여 이상치에 과도한 가중치가 할당된다.

지수 오차 함수를 사용하면 최종 가법 모델의 오차는 각 단계의 오차의 곱과 같다. 즉,

e^{\sum_i -y_i f(x_i)} = \prod_i e^{-y_i f(x_i)}

이다. 따라서 AdaBoost 알고리즘의 가중치 업데이트는 각 단계 후에

F_t(x)

에 대한 오차를 다시 계산하는 것과 동일하다.

손실 함수는 단조 함수이고 연속 미분 가능 함수이기만 하면 유연하게 선택할 수 있다.^[8] Zhang (2004)는 최소 제곱 기반의 수정된 Huber 손실 함수를 제안했다.

:

\phi(y,f(x)) = \begin{cases}

4y f(x) & \mbox{if } \, y f(x) < -1, \\

(y f(x) - 1)^2 &\mbox{if } \, -1 \le y f(x) \le 1, \\0 &\mbox{if } \, y f(x) > 1\end{cases}

이 함수는 1 또는 -1에 가까운

f(x)

에 대해 LogitBoost보다 더 잘 동작하며, 수정되지 않은 최소 제곱과 달리 '과신' 예측(

y f(x) > 1

)에 대해 페널티를 부과하지 않는다. 또한 2차 또는 지수 함수와 달리 1보다 큰 신뢰도로 잘못 분류된 표본에 대해서만 선형적으로 페널티를 부과하므로 이상치의 영향에 덜 민감하다.

부스팅은 볼록 손실 함수를 함수의 볼록 집합에서 최소화하는 것으로 볼 수 있다. 특히, 에이다부스트는 지수 손실 함수

\sum_i \phi(i,y,f) = \sum_i e^{-y_i f(x_i)}

를 최소화한다. 반면 로지트부스트는 로지스틱 회귀를 수행하며,

\sum_i \phi(i,y,f) = \sum_i \ln\left(1+e^{-y_i f(x_i)}\right)

를 최소화한다.

경사 하강법 관점에서 보면, 각 훈련 점에 대한 분류기의 출력은 n차원 공간의 점

\left(F_t(x_1), \dots, F_t(x_n)\right)

로 간주된다. 각 축은 훈련 샘플에 해당하고, 각 약한 학습자

h(x)

는 고정된 방향과 길이를 가진 벡터에 해당하며, 목표는

(y_1, \dots, y_n)

목표점에 도달하는 것이다 (또는 손실 함수

E_T(x_1, \dots, x_n)

의 값이 해당 점에서의 값보다 작은 모든 영역). 따라서 에이다부스트 알고리즘은 훈련 오류에 대한 코시 (가장 가파른 경사를 가진

h(x)

를 찾아 테스트 오류를 최소화하도록

\alpha

선택) 또는 뉴턴 (어떤 목표점을 선택하고,

F_t

를 해당 점에 가장 가깝게 만드는

\alpha h(x)

찾기) 최적화를 수행한다.

5. 특징 및 장단점

에이다부스트는 구현이 간단하고 다양한 문제에 적용할 수 있으며, 계산 복잡도가 비교적 낮다는 장점이 있다(약한 분류기의 복잡도에 따라 달라짐). 또한, 가지치기를 통해 성능이 낮은 약한 분류기를 미리 제거하여 연산 속도 및 메모리 사용량을 줄일 수 있다.

하지만 에이다부스트는 이상치(outlier)에 민감하게 반응하며, 약한 분류기의 성능이 지나치게 낮으면 전체 모델의 성능 저하로 이어질 수 있다. 또한 훈련 데이터가 부족한 경우 과적합될 가능성이 있다.^[25]

5. 1. 특징

에이다부스트는 모델의 예측 능력을 향상시킬 것으로 생각되는 특성들만 선택하여 훈련한다. 이는 차원 수를 줄이고 불필요한 특성을 고려하지 않음으로써 수행 시간을 개선하는 인공신경망이나 서포트 벡터 머신과는 다른 특징이다.^[11]

훈련 과정의 각 반복 단계에서 훈련 집합의 각 샘플에 대한 현재 오류와 같은 값의 가중치가 할당된다. 이 가중치는 약한 학습기의 훈련에 영향을 미치는데, 예를 들어 결정 트리는 높은 가중치를 가진 샘플 집합을 나누도록 성장할 수 있다.

조기 종료는 부스팅된 분류기의 처리 속도를 높이는 기술이다. 각 객체를 신뢰도 임계값을 충족하는 데 필요한 최소한의 분류기 레이어 수만큼만 테스트하여, 객체의 클래스를 쉽게 결정할 수 있는 경우 계산 속도를 높인다. 비올라와 존스가 소개한 객체 감지 프레임워크가 이러한 방식의 예시이다.^[11] 양성 샘플보다 음성 샘플이 훨씬 많은 애플리케이션에서 별도의 부스트 분류기 캐스케이드를 훈련시키고, 각 단계의 출력을 일부 허용 가능한 작은 비율의 양성 샘플이 음성으로 잘못 분류되도록 편향시키며, 각 단계 후에 음성으로 표시된 모든 샘플을 버린다. 각 단계에서 음성 샘플의 50%가 필터링되면 극히 소수의 객체만 전체 분류기를 통과하여 계산 노력을 줄일 수 있다. 원하는 특정 오탐율과 미탐율을 달성하기 위해 각 단계에서 최적의 임계값을 선택하기 위한 공식도 제공되었다.^[12]

통계 분야에서 에이다부스트는 중간 차원 문제에 더 일반적으로 적용되며, 조기 중단은 과적합을 줄이기 위한 전략으로 사용된다.^[13] 훈련 세트와 분리된 검증 샘플 세트를 사용하여 분류기의 성능을 비교한다. 훈련 세트의 성능이 계속 향상되더라도 검증 샘플의 성능이 감소하면 훈련을 종료한다.

가지치기는 성능이 좋지 않은 약한 분류기를 제거하여 부스팅된 분류기의 메모리와 실행 시간 비용을 개선하는 과정이다. 가중치 또는 마진 트리밍이 가장 간단한 방법인데, 일부 약한 분류기의 계수나 총 테스트 오류에 대한 기여도가 특정 임계값 아래로 떨어지면 해당 분류기를 삭제한다. 앙상블의 다양성을 최대화하도록 약한 분류기를 선택해야 한다는 대안적 기준도 제시되었다.^[15] 두 약한 학습자가 매우 유사한 출력을 생성하는 경우, 둘 중 하나를 제거하고 나머지 약한 학습자의 계수를 증가시켜 효율성을 개선할 수 있다.^[16]

5. 2. 장점

구현이 간단하고 이해하기 쉽다. 다양한 문제에 적용할 수 있으며, 계산 복잡도가 비교적 낮다(약한 분류기의 복잡도에 따라 달라짐). 가지치기를 통해 낮은 성능을 내는 약한 분류기를 미리 제거하여 연산 속도 및 메모리 사용량을 줄일 수 있다.

5. 3. 단점

에이다부스트는 이상치(outlier)에 민감하게 반응하는 경향이 있다. 또한, 약한 분류기의 성능이 지나치게 낮으면 전체 모델의 성능 저하로 이어질 수 있으며, 훈련 데이터가 부족한 경우 과적합될 가능성이 있다.^[25] 과적합 발생 시 훈련 데이터에 대한 판별 정확도는 더 좋아지나, 검증 데이터에 대한 정확도는 낮아지게 된다. 이때 빠른 종료를 사용한다.

가지치기는 성능이 떨어지는 약한 분류기를 제거하여, 부스팅된 분류기의 메모리 및 실행 시간 비용을 개선하는 과정이다. 특히 완전 교정 훈련과 함께 사용하면 효과적이다. 가장 간단한 방법은 가중치 또는 마진 트리밍이다. 즉, 일부 약한 분류기의 계수 또는 총 테스트 오류에 대한 기여도가 특정 임계값 아래로 떨어지면 해당 분류기를 삭제한다.^[15] Margineantu & Dietterich는 앙상블의 다양성을 최대화하도록 약한 분류기를 선택해야 한다는 대안적 트리밍 기준을 제안했다. 만약 두 개의 약한 학습자가 매우 유사한 출력을 생성하는 경우, 둘 중 하나를 제거하고 나머지 약한 학습자의 계수를 증가시켜 효율성을 개선할 수 있다.^[16]

6. 응용 분야

에이다부스트는 컴퓨터 비전 등 여러 분야에서 활용된다.

6. 1. 컴퓨터 비전

부스팅된 분류기의 처리를 가속화하는 기술인 조기 종료는 각 잠재적 객체를 일부 신뢰도 임계값을 충족하는 데 필요한 최종 분류기의 레이어 수만큼만 테스트하는 것을 의미하며, 객체의 클래스를 쉽게 결정할 수 있는 경우 계산 속도를 높인다. 그러한 방식 중 하나는 비올라와 존스가 소개한 객체 감지 프레임워크이다.^[11] 양성 샘플보다 음성 샘플이 훨씬 많은 애플리케이션에서 별도의 부스트 분류기의 캐스케이드를 훈련시키고, 각 단계의 출력을 일부 허용 가능한 작은 비율의 양성 샘플이 음성으로 잘못 분류되도록 편향시키며, 각 단계 후에 음성으로 표시된 모든 샘플을 버린다. 각 단계에서 음성 샘플의 50%가 필터링되면 극히 소수의 객체만 전체 분류기를 통과하여 계산 노력을 줄인다. 이 방법은 이후 일반화되었으며, 원하는 특정 오탐율과 미탐율을 달성하기 위해 각 단계에서 최적의 임계값을 선택하기 위한 공식이 제공되었다.^[12]

통계 분야에서 에이다부스트는 중간 차원 문제에 더 일반적으로 적용되는데, 여기서 조기 중단은 과적합을 줄이기 위한 전략으로 사용된다.^[13] 검증 샘플 세트가 훈련 세트와 분리되고, 훈련에 사용된 샘플에 대한 분류기의 성능이 검증 샘플에 대한 성능과 비교되며, 훈련 세트의 성능이 계속 향상되더라도 검증 샘플의 성능이 감소하는 것으로 보이면 훈련이 종료된다.

참조

_[1] 간행물 A desi-cion-theoretic [sic] generalization of on-line learning and an application to boosting http://dx.doi.org/10[...] Springer Berlin Heidelberg 2022-06-24
_[2] 논문 Multi-class AdaBoost 2009
_[3] 논문 Explaining the Success of AdaBoost and Random Forests as Interpolating Classifiers http://jmlr.org/pape[...] 2022-03-17
_[4] arXiv The return of AdaBoost.MH: multi-class Hamming trees 2013-12-20
_[5] 웹사이트 adaboost – Sachin Joglekar's blog https://codesachin.w[...] 2016-08-03
_[6] 웹사이트 AdaBoost and the super bowl of classifiers a tutorial introduction to adaptive boosting. http://www.inf.fu-be[...] Freie University, Berlin 2009
_[7] 논문 Statistical behavior and consistency of classification methods based on convex risk minimization
_[8] 논문 Additive Logistic Regression: A Statistical View of Boosting
_[9] 논문 Improved Boosting Algorithms Using Confidence-rated Predictions
_[10] 웹사이트 A Short Introduction to Boosting http://www.site.uott[...]
_[11] 논문 Rapid Object Detection Using a Boosted Cascade of Simple Features
_[12] 논문 Optimizing cascade classifiers.
_[13] 서적 The Elements of Statistical Learning: Data Mining, Inference, and Prediction http://statweb.stanf[...] Springer
_[14] 서적 Adaboost with Totally Corrective Updates for Fast Face Detection
_[15] 논문 Pruning Adaptive Boosting
_[16] 논문 On the Boosting Pruning Problem
_[17] 웹사이트 A Decision-Theoretic Generalization of on-Line Learning and an Application to Boosting http://citeseerx.ist[...] 2010-07-09
_[18] 간행물 Convex Risk Minimization Annals of Statistics 2004
_[19] 논문 Statistical behavior and consistency of classification methods based on convex risk minimization 2004
_[20] 저널 Improved Boosting Algorithms Using Confidence-rated Predictions
_[21] 저널 Additive Logistic Regression: A Statistical View of Boosting
_[22] 웹인용 A Short Introduction to Boosting http://www.site.uott[...]
_[23] 저널 Rapid Object Detection Using a Boosted Cascade of Simple Features
_[24] 저널 Optimizing cascade classifiers.
_[25] 서적 The Elements of Statistical Learning: Data Mining, Inference, and Prediction http://statweb.stanf[...] Springer 2015-04-29
_[26] 저널 Adaboost with Totally Corrective Updates for Fast Face Detection
_[27] 저널 Pruning Adaptive Boosting
_[28] 저널 On the Boosting Pruning Problem

본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com