차원 축소 (통계학)

3. 특징 추출

특징 추출은 원본 데이터의 특징을 조합하거나 변환하여 새로운 특징을 생성하는 방법이다. 데이터의 잠재적인 구조를 파악하고, 더 유용한 특징 표현을 얻는 데 사용된다.
주요 기법

• 주성분 분석 (PCA): 데이터의 공분산 행렬을 계산하고, 이 행렬의 고유 벡터를 사용하여 데이터를 저차원 공간에 선형적으로 매핑한다. 이 방법은 저차원 표현에서 데이터의 분산을 최대화한다.^[4][5]

• 

• 비음수 행렬 분해 (NMF): 비음수 행렬을 두 개의 비음수 행렬의 곱으로 분해한다. 천문학과 같이 비음수 신호만 존재하는 분야에서 유용하게 사용된다.^{[7][8][9][10]}
• 커널 주성분 분석: 커널 트릭을 사용하여 주성분 분석을 비선형적으로 적용하는 방법이다.
• 매니폴드 학습: 아이소맵, 지역 선형 임베딩(LLE),^[13] 헤시안 LLE, 라플라시안 고유 맵, 접선 공간 분석 기반 방법 등이 있다. 이러한 기법들은 데이터의 지역적 특성을 유지하는 비용 함수를 사용하여 저차원 데이터 표현을 구성한다.^[14]
• 최대 분산 언폴딩 (MVU): 반정부호 계획법을 사용하여 커널을 학습하는 기법이다.
• 다차원 척도법: 입력 및 출력 공간의 거리 간 차이를 측정하는 비용 함수를 최소화하는 방법이다.
• 확산 맵: 데이터 공간에서 확산 거리를 사용하는 방법이다.
• t-분포 확률적 이웃 임베딩 (t-SNE): 점 쌍에 대한 분포 간의 발산을 최소화하는 방법으로, 고차원 데이터 시각화에 유용하다.^[18]
• 오토인코더: 병목 은닉층을 가진 피드포워드 신경망의 일종으로, 비선형 차원 축소에 사용된다.^[15]

• 

• 선형 판별 분석 (LDA): 객체 또는 이벤트의 두 개 이상의 클래스를 특징짓거나 분리하는 특징의 선형 조합을 찾는 방법이다.

• 

• 일반화된 판별 분석 (GDA): 커널 함수 연산자를 사용하여 비선형 판별 분석을 수행한다.
• 균일 매니폴드 근사 및 투영 (UMAP): 비선형 차원 축소 기법으로, 데이터가 국소 연결된 리만 다양체에 균일하게 분포하고 리만 계량이 국소적으로 일정하거나 거의 일정하다고 가정한다.

4. 차원 축소의 응용

차원 축소는 k-최근접 이웃(k-NN) 알고리즘을 적용하기 전에 차원의 저주를 완화하기 위해 수행될 수 있다.^[19]

특징 추출과 차원 축소는 주성분 분석(PCA), 선형 판별 분석(LDA), 캐노니컬 상관 분석(CCA), 비음수 행렬 분해(NMF) 기법을 사용하여 데이터를 전처리하고, 축소된 차원 공간에서 특징 벡터에 대해 k-NN을 통해 클러스터링하는 한 단계로 결합될 수 있다. 기계 학습에서 이 과정은 저차원 임베딩이라고도 한다.^[20]

지역 민감 해싱, 랜덤 프로젝션,^[21] "스케치",^[22] VLDB 컨퍼런스 툴박스의 다른 고차원 유사성 검색 기술을 사용하면, 고차원 데이터 집합(예: 실시간 비디오 스트림, DNA 데이터, 고차원 시계열)에 대한 유사성 검색을 수행할 때 빠른 '''근사''' k-NN 검색이 가능할 수 있다.

신경과학에서 때때로 사용되는 차원 축소 기법은 최대 정보 차원(maximally informative dimensions)이며, 이는 원래 데이터에 대한 최대한의 상호 정보를 보존하는 방식으로 데이터 집합의 저차원 표현을 찾는다.^[23]

참조

_[1] 논문 Dimensionality Reduction: A Comparative Review https://members.lori[...] 2009-10-26
_[2] 서적 Feature Extraction, Construction and Selection
_[3] 논문 Reducing Vector Space Dimensionality in Automatic Classification for Authorship Attribution https://rielac.cujae[...]
_[4] 서적 Foundations of Multidimensional and Metric Data Structures Morgan Kaufmann
_[5] 간행물 Adaptive Dimension Reduction for Clustering High Dimensional Data https://escholarship[...] Proceedings of International Conference on Data Mining
_[6] 논문 A Survey of Multilinear Subspace Learning for Tensor Data https://www.dsp.utor[...]
_[7] 논문 Learning the parts of objects by non-negative matrix factorization
_[8] 간행물 Algorithms for Non-negative Matrix Factorization https://proceedings.[...] MIT Press
_[9] 논문 K-corrections and filter transformations in the ultraviolet, optical, and near infrared
_[10] 논문 Non-negative Matrix Factorization: Robust Extraction of Extended Structures
_[11] arXiv Nonnegative Matrix Factorization (NMF) with Heteroscedastic Uncertainties and Missing data 2016-12-19
_[12] 논문 Using Data Imputation for Signal Separation in High Contrast Imaging
_[13] 논문 Nonlinear Dimensionality Reduction by Locally Linear Embedding
_[14] 논문 Principal Manifolds and Nonlinear Dimensionality Reduction via Tangent Space Alignment 2004
_[15] 간행물 Dimensionality Reduction Methods for HMM Phonetic Recognition http://ws2.binghamto[...] ICASSP
_[16] 논문 Generalized Discriminant Analysis Using a Kernel Approach
_[17] 논문 CloudID: Trustworthy cloud-based and cross-enterprise biometric identification
_[18] 서적 Similarity Search and Applications Springer International Publishing 2017
_[19] 간행물 When is "nearest neighbor" meaningful?" http://citeseerx.ist[...] "Database Theory—ICDT99"
_[20] 서적 Proceedings of the 26th Annual International Conference on Machine Learning – ICML '09
_[21] 서적 Proceedings of the seventh ACM SIGKDD international conference on Knowledge discovery and data mining – KDD '01
_[22] 서적 High Performance Discovery in Time Series Springer
_[23] Citation Bayesian Comparisons Between Representations https://arxiv.org/ab[...] 2024-11-13
_[24] 논문 Paintings and writings in the hands of scientists https://doi.org/10.1[...] 2007-04
_[25] Citation Novel Methods for Feature Subset Selection with Respect to Problem Knowledge https://doi.org/10.1[...] Springer US 1998
_[26] 논문 Reducing Vector Space Dimensionality in Automatic Classification for Authorship Attribution https://rielac.cujae[...]
_[27] 서적 Foundations of Multidimensional and Metric Data Structures Morgan Kaufmann
_[28] 간행물 Adaptive Dimension Reduction for Clustering High Dimensional Data https://escholarship[...] Proceedings of International Conference on Data Mining
_[29] 논문 A Survey of Multilinear Subspace Learning for Tensor Data https://www.dsp.utor[...]
_[30] 논문 K-corrections and filter transformations in the ultraviolet, optical, and near infrared
_[31] 논문 Non-negative Matrix Factorization: Robust Extraction of Extended Structures
_[32] 논문 Learning the parts of objects by non-negative matrix factorization
_[33] 간행물 Algorithms for Non-negative Matrix Factorization https://proceedings.[...] MIT Press
_[34] 논문 非負値行列因子分解を用いたテキストデータ解析 https://doi.org/10.2[...] 2015
_[35] arXiv Nonnegative Matrix Factorization (NMF) with Heteroscedastic Uncertainties and Missing data 2016-12-19
_[36] 논문 Using Data Imputation for Signal Separation in High Contrast Imaging 2020
_[37] 논문 オートエンコーダによる低次元化と可視化 https://doi.org/10.3[...] 2018
_[38] 논문 Intrinsic t-Stochastic Neighbor Embedding for Visualization and Outlier Detection https://link.springe[...] Springer International Publishing 2017