커널 메소드

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요
2. 역사
- 2.1. 커널 방법의 등장
- 2.2. SVM의 발전과 커널 트릭의 확산
3. 커널 함수
4. 커널 방법의 활용
- 4.1. 주요 알고리즘
- 4.2. 응용 분야
5. 커널 함수의 종류
- 5.1. 대표적인 커널 함수
참조

1. 개요

커널 방법은 선형 학습 알고리즘이 비선형 함수나 결정 경계를 학습하도록 돕는 기계 학습 기술이다. 이 방법은 커널 함수를 사용하여 입력 데이터를 고차원 특징 공간으로 암묵적으로 매핑하고, 이 공간에서 선형 연산을 수행한다. 커널 트릭은 이러한 매핑을 명시적으로 계산하지 않고 내적을 직접 계산하여 계산 효율성을 높인다. 커널 방법은 서포트 벡터 머신(SVM), 주성분 분석(PCA) 등 다양한 알고리즘과 결합하여 사용되며, 지구통계학, 생물 정보학, 텍스트 분류 등 다양한 분야에 응용된다. 대표적인 커널 함수로는 피셔 커널, 방사 기저 함수 커널(RBF) 등이 있다.

더 읽어볼만한 페이지

지구통계학 - 클러스터 분석
클러스터 분석은 유사한 특성을 가진 데이터 객체들을 그룹으로 묶는 기계 학습 기법으로, 다양한 알고리즘과 모델을 기반으로 하며 여러 분야에서 활용되고 클러스터링 결과는 다양한 방식으로 평가된다.
지구통계학 - 지리통계학
지리통계학은 공간적 데이터의 통계적 특성을 분석하고 모델링하는 학문으로, 확률 변수 이론 기반의 통계 모델을 활용하여 공간 추정 및 시뮬레이션의 불확실성을 모델링하며, 공간 연속성 모델링을 위해 변이 함수 등의 방법을 사용하고 크리깅 등의 추정 및 시뮬레이션 방법론을 활용한다.
분류 알고리즘 - 인공 신경망
분류 알고리즘 - 퍼셉트론
퍼셉트론은 프랭크 로젠블랫이 고안한 인공신경망 모델로, 입력 벡터에 가중치를 곱하고 편향을 더한 값을 활성화 함수에 통과시켜 이진 분류를 수행하는 선형 분류기 학습 알고리즘이며, 초기 신경망 연구의 중요한 모델로서 역사적 의미를 가진다.

커널 메소드
커널 방법
유형	패턴 인식
분야	기계 학습
관련 항목	커널 함수

2. 역사

커널 방법은 1960년대 초 커널 퍼셉트론의 발명과 함께 설명되었다.^[3] 1990년대 서포트 벡터 머신(SVM)이 인공 신경망을 이용한 필기 인식과 같은 작업에서 경쟁력이 있다는 것이 밝혀지면서 중요성이 커졌다.

2. 1. 커널 방법의 등장

커널 분류기는 1960년대 초 커널 퍼셉트론의 발명과 함께 초창기에 설명되었다.^[3] 1990년대 서포트 벡터 머신(SVM)이 인공 신경망을 이용한 필기 인식과 같은 작업에서 경쟁력이 있다는 것이 밝혀지면서, 커널 방법의 중요성이 커졌다.

2. 2. SVM의 발전과 커널 트릭의 확산

커널 분류기는 1960년대 초 커널 퍼셉트론의 발명과 함께 초창기에 설명되었다.^[3] 1990년대 서포트 벡터 머신(SVM)의 인기가 높아지면서 커널 트릭이 주목받기 시작했는데, SVM이 인공 신경망과 경쟁할 수 있는 성능을 보여주었기 때문이다. 예를 들어 SVM은 필기 인식과 같은 작업에서 좋은 성과를 냈다.

3. 커널 함수

커널 메소드에서 '''커널'''(유사도 함수) $k$ 는 사례 기반 학습에서 레이블이 지정되지 않은 입력 $\mathbf{x'}$ 과 훈련 입력 $\mathbf{x}_i$ 간의 유사성을 측정하는 데 사용된다. 예를 들어, 커널화된 이진 분류기는 다음과 같이 유사도의 가중 합을 계산하여 예측 레이블 $\hat{y}$ 를 결정한다.^[3]

$\hat{y} = \sgn \sum_{i=1}^n w_i y_i k(\mathbf{x}_i, \mathbf{x'}),$

여기서 각 항목은 다음과 같다.

$\hat{y} \in \{-1, +1\}$ 는 레이블이 지정되지 않은 입력 $\mathbf{x'}$ 에 대한 예측된 레이블이다.
$k \colon \mathcal{X} \times \mathcal{X} \to \mathbb{R}$ 는 모든 입력 쌍 $\mathbf{x}, \mathbf{x'} \in \mathcal{X}$ 간의 유사성을 측정하는 커널 함수이다.
$w_i \in \mathbb{R}$ 는 훈련 예제에 대한 가중치이다.
부호 함수 $\sgn$ 은 예측된 분류 $\hat{y}$ 의 부호를 결정한다.

커널 분류기는 1960년대 초 커널 퍼셉트론의 발명과 함께 설명되었으며,^[3] 1990년대 서포트 벡터 머신(SVM)의 인기로 인해 중요성이 커졌다.^[3] 커널법의 이름은 커널 함수를 사용하는 데에서 유래한다.^[9]^[10]^[11]^[12]^[13]^[14]

3. 1. 커널 함수의 정의

커널 트릭은 선형 학습 알고리즘이 비선형 함수 또는 결정 경계를 학습하는 데 필요한 명시적 매핑을 피하는 방법이다. 입력 공간

\mathcal{X}

의 모든

\mathbf{x}

와

\mathbf{x'}

에 대해, 특정 함수

k(\mathbf{x}, \mathbf{x'})

는 다른 공간

\mathcal{V}

에서 내적으로 표현될 수 있다. 이 함수

k \colon \mathcal{X} \times \mathcal{X} \to \mathbb{R}

는 종종 ''커널'' 또는 ''커널 함수''라고 불린다. "커널"이라는 단어는 가중 합 또는 적분에 대한 가중 함수를 나타내기 위해 수학에서 사용된다.

기계 학습의 특정 문제는 임의의 가중 함수

k

보다 더 많은 구조를 가진다. 만약 커널이 다음을 만족하는 "특징 맵"

\varphi\colon \mathcal{X} \to \mathcal{V}

의 형태로 작성될 수 있다면 계산이 훨씬 간단해진다.

k(\mathbf{x}, \mathbf{x'}) = \langle \varphi(\mathbf{x}), \varphi(\mathbf{x'}) \rangle_\mathcal{V}.

여기서 핵심적인 제약 조건은

\langle \cdot, \cdot \rangle_\mathcal{V}

가 적절한 내적이어야 한다는 것이다.

반면에,

\mathcal{V}

가 내적 공간인 한

\varphi

에 대한 명시적 표현은 필요하지 않다. 다른 방법으로는 머서의 정리가 있다. 즉, 공간

\mathcal{X}

에 적절한 측도를 부여하여 함수

k

가 머서의 조건을 만족하도록 보장할 수 있는 경우, 암시적으로 정의된 함수

\varphi

가 존재한다.

3. 2. 머서 정리

머서의 정리는 커널 함수가 다른 공간

\mathcal{V}

에서 내적으로 표현되기 위한 조건을 제시한다. 이 정리는 내적을 모든 양의 정부호 행렬에 연결하는 선형 대수학 결과의 일반화와 유사하다.

머서의 조건은 다음과 같이 요약될 수 있다. 집합

T

내의 점의 수를 세는 계수 측도

\mu(T) = |T|

를 모든

T \subset X

에 대해 측도로 선택하면, 머서의 정리의 적분은 아래의 합계로 축소된다.

\sum_{i=1}^n\sum_{j=1}^n k(\mathbf{x}_i, \mathbf{x}_j) c_i c_j \geq 0.

이 합계가

\mathcal{X}

의 모든 유한 점 시퀀스

(\mathbf{x}_1, \dotsc, \mathbf{x}_n)

와

n

개의 실수 계수

(c_1, \dots, c_n)

의 모든 선택에 대해 유지되는 경우(양의 정부호 커널 참조), 함수

k

는 머서의 조건을 만족한다.

이 조건은 양의 준정부호 행렬과 관련이 있으며, 이를 통해 커널 함수의 유효성을 판별할 수 있다. 이론적으로,

\{\mathbf{x}_1, \dotsc, \mathbf{x}_n\}

에 대한 그람 행렬

\mathbf{K} \in \mathbb{R}^{n \times n}

(때로는 "커널 행렬"이라고도 함^[4])은

K_{ij} = k(\mathbf{x}_i, \mathbf{x}_j)

이며, 양의 준정부호(PSD)여야 한다.^[5]

3. 3. 커널 트릭

커널 트릭은 명시적인 특징 맵핑

\varphi

를 계산하지 않고, 커널 함수

k

를 이용하여 고차원 공간에서의 내적을 계산하는 기법이다. 이를 통해 계산 복잡도를 줄이면서 비선형 문제를 해결할 수 있다. 입력 공간

\mathcal{X}

의 모든

\mathbf{x}

와

\mathbf{x'}

에 대해, 특정 함수

k(\mathbf{x}, \mathbf{x'})

는 다른 공간

\mathcal{V}

에서 내적으로 표현될 수 있다. 이때 함수

k \colon \mathcal{X} \times \mathcal{X} \to \mathbb{R}

는 주로 ''커널'' 또는 ''커널 함수''라고 불린다.

서포트 벡터 머신의 경우처럼, 계산 중에

\varphi

를 직접 계산할 필요가 없는 경우가 많아, 실행 시간 단축을 가져올 수 있다.

이론적으로,

\{\mathbf{x}_1, \dotsc, \mathbf{x}_n\}

에 대한 그람 행렬

\mathbf{K} \in \mathbb{R}^{n \times n}

(때로는 "커널 행렬"이라고도 함^[4])은

K_{ij} = k(\mathbf{x}_i, \mathbf{x}_j)

이며, 양의 준정부호(PSD)여야 한다.^[5]

커널 함수는 데이터의 특징 공간에서 좌표를 명시적으로 계산하지 않고도 특징 공간에서의 내적을 직접 계산하는 수단을 제공한다. 내적을 평가하기 위해 커널 함수를 사용하면, 명시적인 좌표 계산을 거치는 것보다 계산량이 적게 드는 경우가 많다. 커널 함수를 사용하여 계산 복잡도의 증가를 억제하면서 내적에 기반한 해석 기법을 고차원 특징 공간으로 확장하는 접근 방식을 일반적으로 '''커널 트릭'''이라고 부른다.

4. 커널 방법의 활용

커널 방법은 서포트 벡터 머신, 피셔의 Linear discriminant analysis|선형 판별 분석^영어 (LDA), 주성분 분석 (PCA), Canonical correspondence analysis|캐노니컬 상관 분석^영어, 릿지 회귀, Spectral clustering|스펙트럼 클러스터링^영어 등 다양한 기계 학습 알고리즘과 결합하여 사용될 수 있다.

1990년대 중반부터 이 기법을 적극적으로 개발해 온 연구 커뮤니티는 볼록 최적화 또는 고유값 문제에 기반한 알고리즘을 많이 활용해왔다. 이러한 알고리즘들은 계산 효율이 좋고, 통계학적인 기초를 갖추고 있다는 장점이 있다. 일반적으로 이러한 알고리즘의 통계적 성질은 Statistical learning theory|통계적 학습 이론^영어을 이용하여 해석된다.

4. 1. 주요 알고리즘

서포트 벡터 머신(SVM), 피셔의 Linear discriminant analysis|선형 판별 분석^영어(LDA), 주성분 분석(PCA), Canonical correspondence analysis|캐노니컬 상관 분석^영어, 릿지 회귀, Spectral clustering|스펙트럼 클러스터링^영어 등 많은 기법이 커널 방법과 조합되어 사용될 수 있다.^[4]

4. 2. 응용 분야

커널 방법의 응용 분야는 다양하며, 지질 통계학,^[8] 크리깅, 역 거리 가중치, 3차원 재구성, 생물 정보학, 화학 정보학, 정보 추출, 필기 인식 등이 있다.

현재 주요 응용 분야는 지구통계학, 크리깅, 역 거리 가중치, 바이오인포매틱스, 텍스트 분류, 필기 인식 등이다. 커널 함수와 커널 알고리즘의 조합은 임의적이므로, 의외의 응용이 가능하다. 예를 들어, 생물 계열의 회귀 문제, 문서 분류, 이미지 클러스터링 등이다.

5. 커널 함수의 종류

커널 트릭은 선형 학습 알고리즘이 비선형 함수 또는 결정 경계를 학습하는 데 필요한 명시적 매핑을 피하게 해준다. 입력 공간 $\mathcal{X}$ 의 모든 $\mathbf{x}$ 와 $\mathbf{x'}$ 에 대해, 특정 함수 $k(\mathbf{x}, \mathbf{x'})$ 는 다른 공간 $\mathcal{V}$ 에서 내적으로 표현될 수 있다. 이러한 함수 $k \colon \mathcal{X} \times \mathcal{X} \to \mathbb{R}$ 는 ''커널'' 또는 ''커널 함수''라고 불린다. "커널"이라는 단어는 가중 합 또는 적분에 대한 가중 함수를 나타내기 위해 수학에서 사용된다.

만약 커널이 "특징 맵" $\varphi\colon \mathcal{X} \to \mathcal{V}$ 의 형태로 작성될 수 있다면, 즉 다음을 만족한다면 계산이 훨씬 간단해진다.

$k(\mathbf{x}, \mathbf{x'}) = \langle \varphi(\mathbf{x}), \varphi(\mathbf{x'}) \rangle_\mathcal{V}.$

여기서 핵심 제약 조건은 $\langle \cdot, \cdot \rangle_\mathcal{V}$ 가 적절한 내적이어야 한다는 것이다.

반면, $\mathcal{V}$ 가 내적 공간이기만 하면 $\varphi$ 에 대한 명시적 표현은 필요하지 않다. 머서의 정리에 따르면, 공간 $\mathcal{X}$ 에 적절한 측도를 부여하여 함수 $k$ 가 머서의 조건을 만족하도록 보장할 수 있다면, 암시적으로 정의된 함수 $\varphi$ 가 존재한다.

머서의 정리는 내적을 모든 양의 정부호 행렬에 연결하는 선형 대수학 결과의 일반화와 유사하다.

이론적으로, $\{\mathbf{x}_1, \dotsc, \mathbf{x}_n\}$ 에 대한 그람 행렬 $\mathbf{K} \in \mathbb{R}^{n \times n}$ (때로는 "커널 행렬"이라고도 함^[4])은 $K_{ij} = k(\mathbf{x}_i, \mathbf{x}_j)$ 이며, 양의 준정부호(PSD)여야 한다.^[5] 머서의 조건을 만족하지 않는 함수 $k$ 를 선택하더라도, $k$ 가 유사성의 직관적인 아이디어를 근사한다면 합리적으로 수행될 수 있다.^[6] $k$ 가 머서 커널인지 여부와 관계없이, $k$ 는 "커널"이라고 계속 불릴 수 있다.

커널 함수 $k$ 가 가우시안 과정에서 사용되는 공분산 함수이기도 하면, 그람 행렬 $\mathbf{K}$ 는 공분산 행렬이라고도 할 수 있다.^[7]

5. 1. 대표적인 커널 함수

피셔 커널
그래프 커널
커널 스무더
다항 커널
방사 기저 함수 커널(RBF)
문자열 커널
신경 탄젠트 커널
신경망 가우시안 프로세스(NNGP) 커널

참조

_[1] 웹사이트 Kernel method https://www.engati.c[...] 2023-04-04
_[2] 서적 Pattern Recognition Elsevier B.V.
_[3] 간행물 Theoretical foundations of the potential function method in pattern recognition learning
_[4] 학술지 Kernel Methods in Machine Learning https://projecteucli[...] 2008
_[5] 서적 Foundations of Machine Learning MIT Press 2012
_[6] 웹사이트 Support Vector Machines: Mercer's Condition http://www.svms.org/[...] Support Vector Machines 2014-05-30
_[7] 서적 Gaussian Processes for Machine Learning MIT Press 2006
_[8] 학술지 Stochastic Simulation of Patterns Using Distance-Based Pattern Modeling 2010
_[9] 서적 "カ-ネル多変量解析: 非線形デ-タ解析の新しい展開" 岩波書店 2008-11-27
_[10] 서적 "カーネル法入門：正定値カーネルによるデータ解析" 朝倉書店 2010
_[11] 서적 "カーネル法によるパターン解析" 共立出版 2010-05-01
_[12] 서적 "統計的学習理論" 講談社（機械学習プロフェッショナルシリーズ） 2015
_[13] 서적 "機械学習のための関数解析入門：ヒルベルト空間とカーネル法" 内田老鶴圃 2021-04-06
_[14] 서적 "機械学習のための関数解析入門：カーネル法実践:学習から制御まで" 内田老鶴圃 2023-05-29

본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com