비지도 학습

3. 주요 과제 및 방법

비지도 학습의 주요 과제는 데이터의 숨겨진 구조를 파악하고 유용한 정보를 추출하는 것이다. 지도 학습과 달리 비지도 학습은 목표 변수에 해당하는 것이 애초에 존재하지 않거나, 존재하더라도 알 수 없다.^[16] 따라서 출력의 타당성을 직접 평가하기 어려우며, 주관적인 판단이나 휴리스틱한 논의가 필요하다.^[16]

• 군집화 방법에는 계층적 군집화^[8], k-평균^[9], 혼합 모델, 모델 기반 군집화, DBSCAN, 및 OPTICS 알고리즘이 포함된다.
• 이상 탐지 방법에는 Local Outlier Factor, 및 Isolation Forest가 포함된다.
• 잠재 변수 모델 학습 접근 방식으로는 기대-최대화 알고리즘(EM), 모멘트 방법, 및 맹신호 분리 기법(주성분 분석, 독립 성분 분석, 비음수 행렬 분해, 특이값 분해)이 있다.

3. 1. 밀도 추정

3. 2. 차원 축소

3. 3. 군집화 (클러스터링)

3. 4. 이상 탐지

3. 5. 잠재 변수 모델 학습

4. 신경망 아키텍처

비지도 학습에는 다양한 신경망 아키텍처가 사용된다.

• '''홉필드 네트워크'''

• '''볼츠만 머신'''

• '''심층 신념 네트워크'''

• '''헬름홀츠 머신'''

• '''변분 오토인코더'''

4. 1. 훈련

4. 2. 에너지

4. 3. 주요 네트워크

• '''홉필드 네트워크'''

• '''볼츠만 머신'''

• '''심층 신념 네트워크'''

• '''헬름홀츠 머신'''

• '''변분 오토인코더'''

5. 헵 학습, ART, SOM

도널드 헵(Donald Hebb)의 원리는 "함께 활성화되는 뉴런은 서로 연결된다"는 것이다.^[11] 헵 학습(Hebbian learning)에서 연결은 오류와 무관하게 강화되지만, 두 뉴런 사이의 활동 전위의 일치에만 의존한다.^[12] 시냅스 가중치를 수정하는 유사한 버전은 활동 전위 사이의 시간을 고려한다(시냅스 시간 의존 가소성 또는 STDP). 헵 학습은 패턴 인식 및 경험적 학습과 같은 다양한 인지 기능의 기초가 된다고 가정되어 왔다.

신경망 모델 중에서 자기조직화지도(SOM)와 적응 공명 이론(ART)은 비지도 학습 알고리즘에서 일반적으로 사용된다. SOM은 지도의 인접한 위치가 유사한 특성을 가진 입력을 나타내는 지형 조직이다. ART 모델은 문제 크기에 따라 클러스터의 수를 다르게 하고, 사용자가 정의한 상수인 각성 매개변수를 통해 동일한 클러스터의 구성원 간 유사성 정도를 제어할 수 있게 한다. ART 네트워크는 자동 표적 인식(automatic target recognition) 및 지진 신호 처리와 같은 많은 패턴 인식 작업에 사용된다.^[13]

6. 확률적 방법

주성분 분석과 군집 분석은 주요 비지도 학습 방법이다. 군집 분석은 공통 속성을 가진 데이터 세트를 그룹화하여 알고리즘적 관계를 추론한다.^[6] 군집 분석은 레이블이 지정되지 않은 데이터를 그룹화하며, 데이터의 공통점을 식별하고 새로운 데이터에 이러한 공통점의 존재 여부에 따라 반응하여 이상 데이터 지점을 감지하는 데 도움을 준다.

비지도 학습의 중심적인 응용 분야는 통계학의 밀도 추정이다.^[7] 커널 밀도 추정 등 통계학에서 다양한 비모수적 밀도 추정 방법이 알려져 있다.^[16] 그러나 입력 데이터($\backslash mathbf\{x\}$)의 차원이 높은 경우 차원의 저주 때문에 이러한 추정은 잘 되지 않으며,^[16] 따라서 많은 비지도 학습에서는 확률 분포($p(\backslash mathbf\{x\})$)의 모수적 모델로 $p(\backslash mathbf\{x\})$를 근사하거나, 훈련 데이터에서 $p(\backslash mathbf\{x\})$의 중요한 특성을 추출하는 접근 방식이 취해진다.

참조

_[1] 웹사이트 Unsupervised Learning https://na.uni-tuebi[...] 2024-04-26
_[2] 논문 Self-supervised Learning: Generative or Contrastive https://ieeexplore.i[...] 2021
_[3] 웹사이트 Improving Language Understanding by Generative Pre-Training https://cdn.openai.c[...] OpenAI 2018-06-11
_[4] 논문 Train Big, Then Compress: Rethinking Model Size for Efficient Training and Inference of Transformers https://proceedings.[...] PMLR 2020-11-21
_[5] 논문 The Helmholtz machine 1995
_[6] 웹사이트 Unsupervised Machine Learning: Clustering Analysis https://towardsdatas[...] 2019-04-21
_[7] 서적 Computer Science Handbook https://www.taylorfr[...] Chapman & Hall/CRC Press
_[8] 서적
_[9] 웹사이트 Understanding K-means Clustering in Machine Learning https://towardsdatas[...] 2018-09-12
_[10] 논문 Tensor Decompositions for Learning Latent Variable Models http://www.jmlr.org/[...] 2014
_[11] 논문 [Proceedings 1992] IJCNN International Joint Conference on Neural Networks IEEE
_[12] 논문 An application of Hebbian learning in the design process decision-making 2016-06
_[13] 논문 The ART of adaptive pattern recognition by a self-organizing neural network https://web.archive.[...]
_[14] 서적 Neural Networks: Tricks of the Trade Springer 2012
_[15] 비디오 Deep Belief Nets https://videolecture[...] 2009-09
_[16] 간행물 ESL
_[17] 논문 Self-supervised Learning: Generative or Contrastive 2021
_[18] 논문 Self-supervised Learning: Generative or Contrastive 2021