교차 검증

1. 본문

교차 검증(Cross Validation)은 머신 러닝 모델의 성능을 평가하고 과적합(Overfitting)을 방지하기 위해 사용되는 방법입니다. 훈련 데이터가 제한적일 때 유용하게 사용될 수 있습니다.
교차 검증의 필요성 및 작동 원리

• 과적합 방지: 모델이 훈련 데이터에만 과도하게 최적화되어 새로운 데이터에 대한 예측 성능이 떨어지는 현상(과적합)을 방지합니다.
• 모델 성능의 신뢰성 향상: 고정된 훈련 및 테스트 세트를 사용하면, 테스트 세트에만 잘 동작하는 모델이 만들어질 수 있습니다. 교차 검증은 여러 개의 훈련 및 검증 세트를 사용하여 모델을 평가하므로, 모델 성능에 대한 더 신뢰성 있는 평가를 제공합니다.
• 데이터 활용도 증가: 제한된 데이터를 훈련, 검증, 테스트 세트로 나누어 사용하므로 데이터 활용도를 높입니다.
• 하이퍼파라미터 튜닝: 교차 검증 과정에서 각 세트마다 수행한 평가 결과를 바탕으로 하이퍼파라미터 튜닝 등의 모델 최적화를 수행할 수 있습니다.

• K-겹 교차 검증 (K-Fold Cross Validation):
• 가장 일반적으로 사용되는 교차 검증 기법입니다.
• 전체 데이터를 K개의 폴드(Fold)로 나눕니다.
• 각 폴드를 한 번씩 검증 데이터로 사용하고, 나머지 (K-1)개 폴드를 훈련 데이터로 사용하여 K번 모델을 훈련하고 평가합니다.
• K번의 평가 결과를 평균내어 최종 모델 성능을 추정합니다.
• 주로 5-10 fold 가 사용됩니다.
• 계층별 K-겹 교차 검증 (Stratified K-Fold Cross Validation):
• 불균형한 클래스 분포를 가진 데이터셋에 적합합니다. (예: 특정 클래스의 샘플 수가 다른 클래스보다 훨씬 많은 경우)
• 각 폴드가 원본 데이터의 클래스 비율을 유지하도록 구성됩니다.
• K-Fold Cross Validation과 작동 방식은 유사합니다.
• Hold-out Cross-Validation:
• 데이터를 훈련용과 검증용으로 나누어 훈련 및 검증을 진행하는 방법입니다.
• Leave-One-Out 교차 검증 (LOOCV):
• 데이터 샘플 하나를 검증 데이터로, 나머지를 훈련 데이터로 사용하는 방법입니다.
• 데이터 샘플 수만큼 반복하여 모델을 훈련하고 평가합니다.
• 데이터셋이 작을 때 유용하지만, 계산 비용이 매우 큽니다.
• Leave-p-Out Cross-Validation (LpOCV)
• LOOCV와 유사하나, p개의 샘플을 검증 데이터로 사용합니다.

• 장점:
• 특정 데이터셋에 대한 과적합을 방지합니다.
• 더욱 일반화된 모델을 생성할 수 있습니다.
• 데이터셋 규모가 적을 시 과소적합을 방지합니다.
• 모델의 성능을 더 신뢰성 있게 평가할 수 있습니다.

• 단점:
• 모델 훈련 및 평가에 시간이 오래 걸립니다. (반복 학습 횟수 증가)
• K 값에 따라 bias-variance trade-off가 발생합니다.