과소적합
1. 개요
과소적합은 통계 및 기계 학습에서 모델이 데이터의 내재된 구조를 충분히 포착하지 못하는 현상입니다. 과소적합 모델은 학습 데이터에서 제대로 학습하지 못하여, 새로운 데이터에 대한 예측 성능이 떨어지는 경향을 보입니다. 이는 모델이 너무 단순하거나, 데이터의 복잡성을 반영하기에 충분한 특성(feature)을 고려하지 않았을 때 발생할 수 있습니다.
과소적합
과소적합
이미지 준비중입니다.
과소적합 (왼쪽), 적합 (가운데), 과대적합 (오른쪽)을 보여주는 다이어그램.
개요
| 정의 | 통계학 및 머신 러닝에서, 과소적합(영어: underfitting)은 데이터 모델링 시 모델이 데이터를 충분히 학습하지 못하여 발생하는 현상이다. |
|---|---|
| 설명 | 이는 모델이 데이터의 기본적인 패턴이나 추세를 제대로 파악하지 못하여 훈련 데이터와 새로운 데이터 모두에서 낮은 성능을 보이는 경우를 의미한다. |
| 원인 | 모델의 복잡성이 너무 낮은 경우 (예: 선형 모델을 사용하여 비선형 데이터를 모델링하는 경우) 훈련 데이터의 양이 부족한 경우 모델 훈련 시간이 충분하지 않은 경우 |
| 결과 | 높은 편향 (bias): 모델이 데이터의 복잡성을 제대로 반영하지 못함. 낮은 분산 (variance): 모델이 훈련 데이터에 너무 단순하게 맞춰져 새로운 데이터에 대한 일반화 능력이 떨어짐. |
| 예시 | 선형 회귀 모델을 사용하여 이차 함수 형태의 데이터를 예측하는 경우, 모델은 데이터의 곡선 형태를 따라가지 못하고 직선으로 예측하므로 과소적합이 발생한다. |
해결 방법
| 모델 복잡성 증가 | 더 복잡한 모델을 사용 (예: 선형 모델 대신 다항 회귀 모델, 의사 결정 트리 모델, 신경망 모델 등을 사용) |
|---|---|
| 특성 추가 | 모델이 학습할 수 있는 추가적인 특성(feature)을 데이터에 추가 |
| 훈련 데이터 증가 | 모델 훈련에 사용되는 데이터의 양을 늘림 |
| 훈련 시간 증가 | 모델이 데이터를 충분히 학습할 수 있도록 훈련 시간을 늘림 |
| 정규화 감소 | 모델의 복잡성을 제한하는 정규화(regularization) 기법의 강도를 줄임 |
과대적합과의 비교
| 과소적합 | 모델이 너무 단순하여 데이터의 패턴을 제대로 학습하지 못함. 훈련 데이터와 테스트 데이터 모두에서 낮은 성능을 보임. |
|---|---|
| 과대적합 | 모델이 훈련 데이터를 너무 과도하게 학습하여 훈련 데이터에서는 높은 성능을 보이지만, 새로운 데이터에 대한 일반화 능력이 떨어짐. |
📚 더 읽어볼만한 페이지
-
통계적 추론 -
과적합
과적합은 통계 모델이나 기계 학습 알고리즘이 훈련 데이터에 과도하게 적합되어 새로운 데이터에 대한 예측 성능이 저하되는 현상이다. -
통계적 추론 -
비모수 통계
비모수 통계는 자료의 분포에 대한 가정을 최소화하며, 명목척도나 서열척도 자료, 또는 표본 수가 적은 경우에 사용되는 통계 방법이다. -
회귀분석 -
회귀 분석
회귀 분석은 종속 변수와 하나 이상의 독립 변수 간의 관계를 모델링하고 분석하는 통계적 기법으로, 최소 제곱법 개발 이후 골턴의 연구로 '회귀' 용어가 도입되어 다양한 분야에서 예측 및 인과 관계 분석에 활용된다. -
회귀분석 -
로지스틱 회귀
로지스틱 회귀는 범주형 종속 변수를 다루는 회귀 분석 기법으로, 특히 이항 종속 변수에 널리 사용되며, 오즈에 로짓 변환을 적용하여 결과값이 0과 1 사이의 값을 가지도록 하는 일반화 선형 모형의 특수한 경우이다. -
기계 학습 -
비지도 학습
비지도 학습은 레이블이 없는 데이터를 통해 패턴을 발견하고 데이터 구조를 파악하는 것을 목표로 하며, 주성분 분석, 군집 분석, 차원 축소 등의 방법을 사용한다. -
기계 학습 -
지도 학습
지도 학습은 레이블된 데이터를 사용하여 입력 데이터와 출력 레이블 간의 관계를 학습하는 기계 학습 분야로, 예측 모델 생성, 알고리즘 선택, 모델 최적화, 정확도 평가 단계를 거치며, 회귀 및 분류 문제에 적용되고 다양한 확장 기법과 성능 평가 방법을 활용한다.
목차
본문 내용을 불러올 수 없습니다.