과적합

3. 기계 학습

기계 학습 분야에서는 과적합을 과잉 훈련(overtraining)이라고도 한다. 일반적으로 학습 알고리즘은 일련의 훈련 데이터를 사용하여 훈련된다. 즉, 전형적인 입력 데이터와 그에 따른 알려진 출력 결과를 제공한다. 학습자는 이를 통해 훈련 데이터에서는 나타나지 않았던 다른 예시에서도 올바른 출력을 반환할 수 있게 되기를 기대한다. 그러나 학습 기간이 너무 길거나, 훈련 데이터가 전형적인 것이 아니었던 경우, 학습자는 훈련 데이터의 특정 무작위적인 (본래 학습시키고 싶은 특징과는 무관한) 특징에까지 적합하게 된다. 이러한 과적합 과정에서는 훈련 데이터에 대한 성능은 향상되지만, 그 외의 데이터에서는 반대로 결과가 나빠진다.

일반적으로 학습 알고리즘은 원하는 출력이 알려진 일련의 "훈련 데이터"를 사용하여 훈련된다. 목표는 알고리즘이 훈련 중에 접하지 않은 "검증 데이터"를 제공받을 때도 출력을 잘 예측하도록 하는 것이다. 과적합은 오컴의 면도날을 위반하는 모델 또는 절차를 사용하는 것으로, 예를 들어 궁극적으로 최적이 아닌 것보다 더 많은 조정 가능한 매개변수를 포함하거나 궁극적으로 최적이 아닌 것보다 더 복잡한 접근 방식을 사용하는 것이다.

과적합은 학습이 너무 오래 수행되거나 훈련 예제가 드문 경우 특히 발생하기 쉽다. 학습자가 함수 근사에 대한 인과 관계가 없는 훈련 데이터의 매우 구체적인 임의 기능에 적응하게 한다.

간단한 예로 구매 품목, 구매자, 구매 날짜 및 시간이 포함된 소매 구매 데이터베이스를 생각해 볼 수 있다. 구매 날짜와 시간을 사용하여 다른 속성을 예측하여 훈련 세트에 완벽하게 맞는 모델을 구성하는 것은 쉽지만, 이러한 과거 시간은 다시는 발생하지 않으므로 이 모델은 새 데이터로 전혀 일반화되지 않는다.

일반적으로 학습 알고리즘은 알려진 데이터(사후 판단)를 맞추는 데 더 정확하지만 새 데이터(예지력)를 예측하는 데 덜 정확한 경우 더 간단한 알고리즘에 비해 과적합이라고 한다. 과거의 모든 경험에서 얻은 정보는 미래와 관련된 정보와 관련 없는 정보("노이즈")의 두 그룹으로 나눌 수 있다는 사실에서 직관적으로 과적합을 이해할 수 있다. 다른 모든 조건이 동일할 때, 기준을 예측하기가 더 어려울수록(즉, 불확실성이 높을수록) 무시해야 하는 과거 정보에 더 많은 노이즈가 존재한다. 문제는 어떤 부분을 무시할지 결정하는 것이다. 노이즈에 적합할 위험을 줄일 수 있는 학습 알고리즘은 "강건성"이라고 한다.

3. 1. 과적합의 결과

• 과적합된 함수는 최적의 함수보다 검증 데이터 세트의 각 항목에 대해 더 많은 정보를 요청할 가능성이 높다. 특히 각 개별 정보 조각을 인간의 관찰과 수동 데이터 입력으로 수집해야 하는 경우, 이러한 추가적인 불필요한 데이터 수집은 비용이 많이 들거나 오류가 발생하기 쉽다.^[11]
• 더 복잡한 과적합된 함수는 간단한 함수보다 이식성이 떨어질 가능성이 높다. 극단적인 예로, 단일 변수 선형 회귀는 필요하다면 손으로도 할 수 있을 정도로 이식성이 뛰어나다. 반면, 원래 모델 제작자의 전체 설정을 정확히 복제해야만 재현할 수 있는 모델은 재사용 또는 과학적 재현을 어렵게 만든다.^[11]
• 과적합된 머신 러닝 모델은 훈련 세트에서 개별 훈련 인스턴스의 세부 정보를 재구성할 수 있다. 예를 들어 훈련 데이터에 민감한 개인 식별 정보(PII)가 포함된 경우 이는 바람직하지 않을 수 있다. 이러한 현상은 인공 지능과 저작권 분야에서도 문제를 일으킨다. 스테이블 디퓨전 및 깃허브 코파일럿과 같은 일부 생성형 딥 러닝 모델 개발자는 모델이 훈련 데이터에서 특정 저작권이 있는 항목을 재현할 수 있다는 사실을 발견하고 저작권 침해로 소송을 당했다.^[12][13]

3. 2. 과적합 해결 방법

• '''교차 검증''': 추가적인 기법을 사용하여 훈련이 더 잘 일반화되었는지 확인하고 입증한다.
• '''정규화''': 매개 변수를 줄이는 대신, 오차 함수에 정규화 항을 추가하여 모델의 복잡도와 자유도를 억제하고 과적합을 방지한다. L2 정규화 및 L1 정규화 등이 있다.
• '''서포트 벡터 머신에서의 마진 최대화''': 매개 변수(파라미터)를 줄이는 대신, 마진을 최대화함으로써 과적합을 방지하며, 이는 L2 정규화와 유사한 기법에 기반한다.
• '''조기 종료(early stopping)''': 학습의 반복 과정에서 훈련 데이터와 평가 데이터의 평가값을 모두 감시하여, 평가 데이터에서의 평가값이 악화되기 시작하는 시점에서 학습을 조기에 중단하는 방법이다.
• '''드롭아웃 정규화''': 훈련 세트 데이터의 무작위 제거는 레이어에 대한 입력을 확률적으로 제거하여 견고성을 향상시키고 과적합을 줄일 수 있다.

4. 과소적합 (Underfitting)

과소적합은 과적합의 반대 현상으로, 통계 모델이나 머신 러닝 알고리즘이 데이터의 패턴을 정확하게 포착하지 못할 정도로 너무 단순한 경우를 의미한다. 과소적합의 징후는 높은 편향과 낮은 분산으로 나타난다 (과적합은 낮은 편향과 높은 분산). 이는 편향-분산 트레이드오프를 통해 확인할 수 있는데, 모델이나 알고리즘을 편향 오차, 분산 오차, 불가피한 오차로 분석하는 방법이다. 높은 편향과 낮은 분산은 모델이 데이터 점을 부정확하게 표현하여 미래 데이터 결과를 제대로 예측할 수 없게 만든다(일반화 오차 참조).

그림 5에서 볼 수 있듯이, 직선은 주어진 데이터 점들의 곡률을 제대로 반영하지 못한다. 그림 6이나 그림 1과 같이 포물선 형태의 선이 필요하다. 따라서 그림 5를 기반으로 분석하면 그림 6을 분석한 결과와 달리 잘못된 예측을 하게 된다.

번햄(Burnham)과 앤더슨(Anderson)은 과소적합된 모델이 데이터의 중요한 구조를 무시하고 실제로 데이터에서 지원되는 효과를 식별하지 못한다고 설명한다. 이러한 경우 매개변수 추정치의 편향이 커지고 표본 분산이 과소평가되어 신뢰 구간 적용 범위가 낮아진다. 또한, 과소적합된 모델은 실험 설정에서 중요한 처리 효과를 놓치는 경향이 있다.^[4]

4. 1. 과소적합 해결 방법

5. 양성 과적합 (Benign overfitting)

양성 과적합은 잡음이 섞인 훈련 데이터에 완벽하게 적합되었음에도 불구하고(즉, 훈련 세트에서 완벽한 예측 정확도를 얻음) 보이지 않는 데이터에 대해 잘 일반화되는 것처럼 보이는 통계 모델의 현상이다. 이 현상은 특히 딥 뉴럴 네트워크에서 관심의 대상이지만, 선형 회귀와 같이 훨씬 더 간단한 모델의 맥락에서 이론적인 관점에서 연구된다. 특히, 이 설정에서 양성 과적합에는 과대 매개변수화가 필수적임이 밝혀졌다. 즉, 예측에 중요하지 않은 매개변수 공간의 방향 수가 표본 크기를 현저히 초과해야 한다.^[1]

참조

_[1] 웹사이트 overfitting https://web.archive.[...]
_[2] 간행물 The Tradeoffs of Large-Scale Learning http://dx.doi.org/10[...] The MIT Press 2023-12-08
_[3] 서적 Cambridge Dictionary of Statistics Cambridge University Press
_[4] 서적 Model Selection and Multimodel Inference Springer-Verlag
_[5] 서적 Model Selection and Model Averaging Cambridge University Press
_[6] 서적 Regression Modeling Strategies Springer
_[7] 웹사이트 Overfitting http://www.ma.utexas[...] University of Texas at Austin 2016-07-31
_[8] 논문 Relaxing the Rule of Ten Events per Variable in Logistic and Cox Regression
_[9] 서적 Applied Regression Analysis Wiley
_[10] 웹사이트 The Danger of Overfitting Regression Models http://blog.minitab.[...] 2016-07-31
_[11] 논문 The problem of overfitting
_[12] 웹사이트 Stable Diffusion copyright lawsuits could be a legal earthquake for AI https://arstechnica.[...] 2023-04-03
_[13] 웹사이트 The lawsuit that could rewrite the rules of AI copyright https://www.theverge[...] 2022-12-07
_[14] 웹사이트 ML {{!}} Underfitting and Overfitting https://www.geeksfor[...] 2023-02-27
_[15] 논문 A Comparison of Regularization Techniques in Deep Neural Networks 2018-11
_[16] 간행물 Benign overfitting in linear regression 2019
_[17] 서적 本当の声を求めて　野蛮な常識を疑え 青山ライフ出版（SIBAA BOOKS）