지도 학습

3. 주요 과제

지도 학습은 크게 회귀와 분류로 나뉜다.^[11][12] 회귀는 목표 변수가 양적 변수인 경우이고, 분류는 유한 집합에 값을 가지는 범주형 변수인 경우이다.

전형적인 훈련 데이터는 벡터(문제) $\{\backslash mathbf\; x\}\_i$ 와 라벨(답) $y\_i$의 쌍으로 $(\{\backslash mathbf\; x\}\_1,\; y\_1),\; (\{\backslash mathbf\; x\}\_2,\; y\_2),\; ...$ 와 같이 주어진다. 여기서 $(\{\backslash mathbf\; x\}\_i,\; y\_i)$는 $i$번째 데이터를 나타내고, $y\_i$는 라벨, $\{\backslash mathbf\; x\}\_i$는 벡터를 나타낸다.

분류 문제에서는 $y\_i$가 이산값을, 회귀 문제에서는 실수값을 취한다. 이러한 데이터에 어떤 기준으로든 가장 잘 맞는 함수 관계 $y=f(x)$를 찾는 "학습"을 통해 미지의 데이터 $\{\backslash mathbf\; x\}$에 대해 예측 $y\; =\; f(\{\backslash mathbf\; x\})$을 얻을 수 있다.

3. 1. 회귀 (Regression)

3. 2. 분류 (Classification)

• 결정론적 접근법: 입력 데이터가 속할 것으로 예상되는 클래스 레이블을 직접 출력한다. 예를 들어, "고양이" 또는 "개"와 같이 하나의 답을 제시한다. 이 경우, 주로 0-1 손실(0-1 Loss) 함수를 사용하여 알고리즘의 성능을 평가한다.^[14] 0-1 손실 함수는 예측이 틀렸을 때 1, 맞았을 때 0의 값을 부여한다.
• 확률론적 접근법: 각 클래스에 속할 확률(확신도)을 출력한다. 예를 들어, "고양이일 확률 70%, 개일 확률 30%"와 같이 예측 결과를 제시한다. 이 경우, 각 확률은 0과 1 사이의 값을 가지며, 모든 클래스에 대한 확률의 합은 1이 된다. 이러한 확률론적 접근법에서는 주로 교차 엔트로피 손실 함수를 사용하여 알고리즘의 성능을 평가한다.^[14]

3. 2. 1. 회귀와 분류의 관계

4. 평가 방법

훈련 데이터로부터 유추된 함수는 파라미터 최적화를 위해 평가되어야 한다. 이러한 평가를 위해 교차 검증이 이용되며, 검증 집합(Validation Set)을 훈련 집합, 검증 집합, 테스트 집합의 세 가지로 나눈다.

교차 검증을 통해 훈련된 각 함수에 대해 정밀도와 재현율을 측정할 수 있으며, 그 정의는 아래와 같다.^[22]

정밀도와 재현율은 다음과 같이 정의된다.^[22]

:$\backslash mbox\{Precision\}=\backslash frac\{tp\}\{tp+fp\}\; \backslash ,$

:$\backslash mbox\{Recall\}=\backslash frac\{tp\}\{tp+fn\}\; \backslash ,$

5. 편향-분산 트레이드오프 (Bias-Variance Tradeoff)

첫 번째 문제는 ''편향''과 ''분산'' 사이의 트레이드오프이다.^[2] 여러 개의 서로 다르지만 동등하게 좋은 훈련 데이터 세트가 있다고 가정할 때, 특정 입력 $x$에 대해 학습 알고리즘이 편향되어 있다는 것은, 이러한 각 데이터 세트로 훈련될 때 $x$에 대한 올바른 출력을 예측하는 데 체계적으로 잘못될 때를 의미한다. 특정 입력 $x$에 대해 학습 알고리즘의 분산이 높다는 것은 서로 다른 훈련 세트로 훈련될 때 다른 출력 값을 예측할 때를 의미한다. 학습된 분류기의 예측 오류는 학습 알고리즘의 편향과 분산의 합과 관련이 있다.^[3]

일반적으로 편향과 분산 사이에는 트레이드오프가 존재한다. 낮은 편향을 가진 학습 알고리즘은 데이터에 잘 맞도록 "유연성"이 있어야 한다. 그러나 학습 알고리즘이 너무 유연하면 각 훈련 데이터 세트에 다르게 맞춰지므로 분산이 높아진다. 많은 지도 학습 방법의 핵심적인 측면은 편향과 분산 사이의 이러한 트레이드오프를 (자동으로 또는 사용자가 조정할 수 있는 편향/분산 매개변수를 제공하여) 조정할 수 있다는 것이다.

두 번째 문제는 "진정한" 함수(분류기 또는 회귀 함수)의 복잡성에 비례하여 사용 가능한 훈련 데이터의 양과 관련이 있다. 진정한 함수가 단순하다면, 높은 편향과 낮은 분산을 가진 "비유연적인" 학습 알고리즘이 소량의 데이터로부터 이를 학습할 수 있다. 그러나 진정한 함수가 매우 복잡한 경우(예: 여러 가지 서로 다른 입력 특징 간의 복잡한 상호 작용이 포함되어 있고 입력 공간의 여러 부분에서 다르게 동작하는 경우) 함수는 높은 분산과 낮은 편향을 가진 "유연적인" 학습 알고리즘과 함께 많은 양의 훈련 데이터를 사용해야만 학습할 수 있다.

세 번째 문제는 입력 공간의 차원이다. 입력 특징 벡터의 차원이 크면, 실제 함수가 그 특징 중 소수의 특징에만 의존하더라도 함수 학습이 어려울 수 있다. 많은 "추가적인" 차원들이 학습 알고리즘을 혼란스럽게 하고 분산(variance)을 높이기 때문이다. 따라서 차원이 큰 입력 데이터는 일반적으로 분산을 낮추고 편향을 높이도록 분류기를 조정해야 한다. 실제로, 엔지니어가 입력 데이터에서 관련 없는 특징을 수동으로 제거할 수 있다면 학습된 함수의 정확도가 향상될 가능성이 높다. 또한, 관련 특징을 식별하고 관련 없는 특징을 버리려는 특징 선택을 위한 많은 알고리즘이 있다. 이것은 지도 학습 알고리즘을 실행하기 전에 입력 데이터를 저차원 공간으로 매핑하려는 더 일반적인 전략인 차원 축소의 한 예이다.

회귀에서는 입력 $\backslash mathbf\{x\}$에 대응하는 $\backslash mathbf\{y\}$의 예측값 $\backslash hat\{\backslash mathbf\{y\}\}=\backslash hat\{F\}\_D(\backslash mathbf\{x\})$을 출력하는 것을 요구받고, $\backslash hat\{\backslash mathbf\{y\}\}$는 $\backslash mathbf\{y\}$의 기댓값에 가까운 것이 바람직하고, 게다가 $\backslash hat\{\backslash mathbf\{y\}\}$의 분산은 작은 것이 바람직하다. 하지만 이 두 가지 요건은 트레이드오프 관계에 있다^[16]：

$p(\backslash mathbf\{x\},\backslash mathbf\{y\})$를 $\backslash mathbb\{R\}^\{\backslash ell\}\backslash times\backslash mathbb\{R\}^k$ 위의 확률분포로 하고, $D$를 $\backslash mathbb\{R\}^\{\backslash ell\}\backslash times\backslash mathbb\{R\}^k$ 위의 어떤 확률분포에 따라 선택된 훈련 데이터의 집합으로 하고^[17], $\backslash hat\{F\}$를 회귀 알고리즘으로 하고, $D$에 의해 이 회귀 알고리즘을 훈련하여 얻어진 함수를 $\backslash hat\{\backslash mathbf\{y\}\}=\backslash hat\{F\}\_D(\backslash mathbf\{x\})$로 하고, 오차 함수를 제곱 오차

$$L(\backslash hat\{\backslash mathbf\{y\}\},\backslash mathbf\{y\})=||\backslash hat\{\backslash mathbf\{y\}\}-\backslash mathbf\{y\}||^2$$

에 의해 정의하고, 더욱이 $(\backslash mathbf\{x\},\backslash mathbf\{y\})\backslash sim\; p$를 $D$와 독립적으로 선택하고,

$$\backslash bar\{\backslash mathbf\{y\}\}(\backslash mathbf\{x\})=E\_\{\backslash mathbf\{y\}\backslash sim\; p|\_\{\backslash mathbf\{x\}\}\}[\backslash mathbf\{y\}|\backslash mathbf\{x\}]$$

$$\backslash bar\{F\}(\backslash mathbf\{x\})=E\_D[\backslash hat\{F\}\_D(\backslash mathbf\{x\})]$$

으로 한다.

이 때, 예측 오차의 훈련 데이터 집합 $D$에 관한 기댓값(기대 예측 오차^[18])

$$E\_D[E\_\{(\backslash mathbf\{x\},\backslash mathbf\{y\})\backslash sim\; p\}[L(\backslash hat\{F\}\_D(\backslash mathbf\{x\}),\backslash mathbf\{y\})]=E\_\{(\backslash mathbf\{x\},\backslash mathbf\{y\})\backslash sim\; p,D\}[||\backslash hat\{F\}\_D(\backslash mathbf\{x\})-\backslash mathbf\{y\}||^2]$$

는 이하를 만족한다:

$$E\_\{(\backslash mathbf\{x\},\backslash mathbf\{y\})\backslash sim\; p,D\}[||\backslash hat\{F\}\_D(\backslash mathbf\{x\})-\backslash mathbf\{y\}||^2]=\backslash mathsf\{Var\}(\backslash hat\{F\})+\backslash mathsf\{Bias\}^2(\backslash hat\{F\})+\backslash mathsf\{Noise\}(p)$$

여기서,

$$\backslash mathsf\{Var\}(\backslash hat\{F\})=E\_\{\backslash mathbf\{x\}\backslash sim\; p|\_\{\backslash mathbf\{x\}\},D\}(||\backslash hat\{F\}\_D(\backslash mathbf\{x\})-\backslash bar\{F\}(\backslash mathbf\{x\})||^2)$$

$$\backslash mathsf\{Bias\}^2(\backslash hat\{F\})=E\_\{\backslash mathbf\{x\}\backslash sim\; p|\_\{\backslash mathbf\{x\}\}\}(||\backslash bar\{F\}(\backslash mathbf\{x\})-\backslash bar\{\backslash mathbf\{y\}\}(\backslash mathbf\{x\})||^2)$$

$$\backslash mathsf\{Noise\}(\backslash hat\{F\})=E\_\{(\backslash mathbf\{x\},\backslash mathbf\{y\})\backslash sim\; p\}(||\backslash bar\{\backslash mathbf\{y\}\}(\backslash mathbf\{x\})-\backslash mathbf\{y\}||^2)$$

(편향과 분산의 트레이드오프)

증명:

$$\backslash begin\{align\}$$

&{1\over 2}(E_{(\mathbf{x},\mathbf{y})\sim p,D}[||\hat{F}_D(\mathbf{x})-\mathbf{y}||^2]-\mathsf{Var}(\hat{F})-\mathsf{Bias}^2(\hat{F})-\mathsf{Noise}(p))\\

&={1\over 2}E_{(\mathbf{x},\mathbf{y})\sim p,D}[

||\hat{F}_D(\mathbf{x})-\mathbf{y}||^2

• ||\hat{F}_D(\mathbf{x})-\bar{F}(\mathbf{x})||^2
• ||\bar{F}(\mathbf{x})-\bar{\mathbf{y}}(\mathbf{x})||^2
• ||\bar{\mathbf{y}}(\mathbf{x})-\mathbf{y}||^2

• \hat{F}_D(\mathbf{x})\cdot\mathbf{y}

• ||\bar{F}(\mathbf{x})||^2
• ||\bar{\mathbf{y}}(\mathbf{x})||^2

• \bar{F}(\mathbf{x})\cdot\mathbf{y}

• ||\bar{\mathbf{y}}(\mathbf{x})||^2

6. 지도 학습 알고리즘

다양한 지도 학습 알고리즘이 존재하며, 각각 장단점이 있다. 모든 지도 학습 문제에 가장 잘 작동하는 단일 학습 알고리즘은 없다(무료 점심 정리 참조).^[1]

가장 널리 사용되는 학습 알고리즘은 다음과 같다.^[2]

• 서포트 벡터 머신^[3]
• 선형 회귀^[4]
• 로지스틱 회귀^[5]
• 나이브 베이즈^[6]
• 선형 판별 분석^[7]
• 결정 트리^[8]
• k-최근접 이웃 알고리즘^[9]
• 인공 신경망 (예: 다층 퍼셉트론)^[10]
• 유사도 학습^[11]
• 분석적 학습^[12]
• 역전파^[14]
• 부스팅(메타 알고리즘)^[15]
• 베이즈 통계학^[16]
• 사례 기반 추론^[17]
• 귀납 논리 프로그래밍^[19]
• 가우시안 프로세스 회귀^[20]
• 유전 프로그래밍^[21]
• 데이터 처리의 그룹 방법^[22]
• 커널 추정기
• 학습 오토마타
• 학습 분류기 시스템
• 학습 벡터 양자화
• 최소 메시지 길이(결정 트리, 결정 그래프 등)
• 다중 선형 부분 공간 학습
• 최대 엔트로피 분류기
• 조건부 확률장
• 최근접 이웃 알고리즘
• 대략적으로 정확한 학습(PAC) 학습
• 리플 다운 규칙, 지식 습득 방법론
• 기호 기계 학습 알고리즘
• 부기호 기계 학습 알고리즘
• 최소 복잡도 기계(MCM)
• 랜덤 포레스트
• 분류기 앙상블
• 서수 분류
• 데이터 전처리
• 불균형 데이터셋 처리
• 통계적 관계 학습
• Proaftn, 다기준 분류 알고리즘
• 은닉 마르코프 모델
• 회귀 분석

7. 지도 학습의 응용

지도 학습은 다음과 같은 다양한 분야에서 응용된다.

• 생물정보학
• 화학정보학
• * 정량적 구조-활성 상관관계
• 데이터베이스 마케팅
• 필기체 인식
• 정보 검색
• * 랭크 학습
• 정보 추출
• 컴퓨터 비전에서의 객체 인식
• 광학 문자 인식
• 스팸 탐지
• 패턴 인식
• 음성 인식
• 지도 학습은 생물 시스템에서 하향적 인과관계의 특수한 경우이다.
• 위성 영상을 이용한 지형 분류^[7]
• 조달 과정에서의 지출 분류^[8]

8. 일반적인 문제점

입력 특징 벡터의 차원이 크면, 실제 함수가 그 특징 중 소수의 특징에만 의존하더라도 함수 학습이 어려울 수 있다. 많은 "추가적인" 차원들이 학습 알고리즘을 혼란스럽게 하고 분산(variance)을 높이기 때문이다. 따라서 차원이 큰 입력 데이터는 일반적으로 분산을 낮추고 편향(bias)을 높이도록 분류기를 조정해야 한다. 실제로, 엔지니어가 입력 데이터에서 관련 없는 특징을 수동으로 제거할 수 있다면 학습된 함수의 정확도가 향상될 가능성이 높다. 또한, 관련 특징을 식별하고 관련 없는 특징을 버리려는 특징 선택을 위한 많은 알고리즘이 있다. 이것은 지도 학습 알고리즘을 실행하기 전에 입력 데이터를 저차원 공간으로 매핑하려는 더 일반적인 전략인 차원 축소의 한 예이다.

원하는 출력값(감독적 목표 변수)의 잡음 정도도 문제가 될 수 있다. 원하는 출력값이 사람의 실수나 센서 오류로 인해 자주 잘못된 경우, 학습 알고리즘은 훈련 예제와 정확히 일치하는 함수를 찾으려고 시도해서는 안 된다. 데이터에 너무 세심하게 맞추려고 시도하면 과적합으로 이어진다. 학습하려는 함수가 학습 모델에 너무 복잡한 경우 측정 오류(확률적 잡음)가 없더라도 과적합될 수 있다. 이러한 상황에서 모델링할 수 없는 목표 함수의 일부가 훈련 데이터를 "손상"시키는데, 이 현상을 결정론적 잡음이라고 한다. 어떤 유형의 잡음이 있더라도 더 높은 편향, 더 낮은 분산 추정기를 사용하는 것이 좋다.

실제로는 과적합을 방지하기 위한 조기 종료와 잡음이 많은 훈련 예제를 감독 학습 알고리즘을 훈련하기 전에 탐지하고 제거하는 것과 같이 출력값의 잡음을 줄이기 위한 여러 가지 방법이 있다. 잡음이 많은 훈련 예제를 식별하는 여러 알고리즘이 있으며, 훈련 전에 의심스러운 잡음이 많은 훈련 예제를 제거하면 일반화 오차가 통계적 유의성을 가지고 감소했다.^[4][5]

9. 일반화

표준 지도 학습 문제를 일반화하는 방법은 다음과 같다.

• 준지도 학습 또는 약한 지도: 원하는 출력 값은 훈련 데이터의 일부에 대해서만 제공된다. 나머지 데이터는 레이블이 없거나 부정확하게 레이블이 지정되어 있다.
• 능동 학습: 모든 훈련 예제가 처음에 주어진다고 가정하는 대신, 능동 학습 알고리즘은 일반적으로 사람 사용자에게 질문하여 대화형으로 새로운 예제를 수집한다. 질문은 종종 레이블이 없는 데이터를 기반으로 하는데, 이는 준지도 학습과 능동 학습을 결합한 시나리오이다.
• 구조 예측: 원하는 출력 값이 구문 트리 또는 레이블이 지정된 그래프와 같은 복잡한 객체인 경우 표준 방법을 확장해야 한다.
• 순위 학습: 입력이 객체 집합이고 원하는 출력이 해당 객체의 순위인 경우에도 표준 방법을 확장해야 한다.

참조

_[1] 서적 Foundations of Machine Learning The MIT Press
_[2] 논문 Neural networks and the bias/variance dilemma http://delta-apache-[...]
_[3] 논문 Variance and Bias for General Loss Functions http://www-bcf.usc.e[...]
_[4] 논문 Identifying and Eliminating Mislabeled Training Instances http://jair.org/medi[...]
_[5] 학회논문 Improving Classification Accuracy by Identifying and Removing Instances that Should Be Misclassified
_[6] 서적 The Nature of Statistical Learning Theory https://books.google[...] Springer Verlag
_[7] 논문 Supervised Classification of RADARSAT-2 Polarimetric Data for Different Land Features
_[8] 웹사이트 Key Technologies for Agile Procurement https://publication.[...] 2022-06-16
_[9] 참고자료 GBC
_[10] 참고자료 瀧
_[11] 참고자료 ESL
_[12] 참고자료 金森
_[13] 참고자료 瀧
_[14] 참고자료 瀧
_[15] 참고자료 瀧
_[16] 웹사이트 Lecture 12: Bias-Variance Tradeoff https://www.cs.corne[...] 코넬대학교 2020-11-10
_[17] 기타
_[18] 참고자료 金森
_[19] 참고자료 金森
_[20] 참고자료 ESL
_[21] 논문 A Survey on Deep Learning-based Architectures for Semantic Segmentation on 2D Images https://www.tandfonl[...] 2022-12-31
_[22] 서적 Advanced Data Mining Techniques Springer