결정 경계
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
1. 개요
결정 경계는 인공 신경망 및 서포트 벡터 머신(SVM)과 같은 기계 학습 모델이 데이터를 분류하는 데 사용하는 경계이다. 신경망의 경우, 은닉층의 수에 따라 학습할 수 있는 결정 경계의 유형이 결정된다. 은닉층이 없으면 선형 문제만 학습할 수 있지만, 은닉층이 하나 있으면 만능 근사 정리에 의해 임의의 결정 경계를 학습할 수 있다. SVM은 특징 공간에서 두 클래스를 분리하는 최대 마진 초평면을 찾고, 선형 분리가 불가능한 경우 커널 트릭을 사용하여 차원을 늘려 선형 분리 가능한 문제로 변환한다. 신경망은 경험적 오류를 최소화하는 결정 경계를 학습하는 반면, SVM은 결정 경계와 데이터 포인트 사이의 마진을 최대화하는 결정 경계를 학습한다.
더 읽어볼만한 페이지
- 통계적 분류 - 서포트 벡터 머신
서포트 벡터 머신(SVM)은 지도 학습 모델로서 분류와 회귀 분석에 사용되며, 데이터 집합을 기반으로 새로운 데이터의 범주를 판단하는 비확률적 이진 선형 분류 모델을 생성하고, 커널 트릭을 통해 비선형 분류에도 활용될 수 있다. - 통계적 분류 - 민감도와 특이도
민감도와 특이도는 의학적 진단에서 검사의 정확성을 평가하는 지표로, 민감도는 실제 양성인 대상 중 양성으로 나타나는 비율, 특이도는 실제 음성인 대상 중 음성으로 나타나는 비율을 의미하며, 선별 검사에서 두 지표를 모두 높여 질병을 정확하게 진단하는 것을 목표로 한다. - 분류 알고리즘 - 인공 신경망
- 분류 알고리즘 - 퍼셉트론
퍼셉트론은 프랭크 로젠블랫이 고안한 인공신경망 모델로, 입력 벡터에 가중치를 곱하고 편향을 더한 값을 활성화 함수에 통과시켜 이진 분류를 수행하는 선형 분류기 학습 알고리즘이며, 초기 신경망 연구의 중요한 모델로서 역사적 의미를 가진다.
| 결정 경계 | |
|---|---|
| 결정 경계 | |
| 정의 | 분류 알고리즘이 클래스들을 나누기 위해 사용하는 초평면 |
| 예시 | 선형 분류기에서의 선, 서포트 벡터 머신에서의 복잡한 곡면 |
| 특징 공간 | 입력 공간을 두 개의 영역으로 분할 |
| 중요성 | 기계 학습에서 모델의 성능을 평가하고 이해하는 데 중요한 역할 |
| 수학적 표현 | |
| 최적 정지 경계 | 최적 정지 문제에서 중지 또는 계속할 시점을 결정하는 경계 |
| 분류 문제 | 클래스 할당 규칙을 정의하는 함수 또는 초곡면 |
2. 신경망과 결정 경계
인공 신경망이나 퍼셉트론에서 역전파를 통해 학습할 수 있는 결정 경계의 유형은 네트워크가 가진 은닉층의 수에 따라 결정된다. 신경망은 경험적 오류를 최소화하는 결정 경계를 학습하려 하는 반면, 지지 벡터 기계는 결정 경계와 데이터 포인트 사이의 경험적 마진을 최대화하는 결정 경계를 학습하려 한다.[7]
2. 1. 은닉층과 결정 경계
역전파 기반의 인공 신경망 또는 퍼셉트론의 경우, 네트워크가 학습할 수 있는 결정 경계의 유형은 네트워크가 가진 은닉층의 수에 의해 결정된다.은닉층이 없는 경우 선형 문제만 학습할 수 있다. 은닉층이 하나 있는 경우, 만능 근사 정리에 의해 '''R'''n의 콤팩트 집합에 대한 모든 연속 함수를 학습할 수 있으며, 따라서 임의의 결정 경계를 가질 수 있다.[7]
특히, 서포트 벡터 머신에서는 특징 공간에서 두 클래스를 분리하는 초평면을 maximum-margin hyperplane|최대 마진영어이 최대화되도록 구한다. 선형 분리가 불가능한 문제의 경우, 커널법을 사용하여 차원 수를 늘림으로써 선형 분리 가능한 문제로 해결할 수 있다. 따라서 서포트 벡터 머신에서는 일반적으로 결정 경계가 저차원 공간에서 초곡면이 되는 경우, 고차원 공간에서 초평면으로 분류를 수행한다.
서포트 벡터 머신에서는 결정 경계와 각 점별 마진이 최대가 되도록 결정 경계를 학습하고, 신경망에서는 오차가 최소화되도록 결정 경계가 학습된다.
3. 서포트 벡터 머신(SVM)과 결정 경계
역전파 기반의 인공 신경망 또는 퍼셉트론의 경우, 네트워크가 학습할 수 있는 결정 경계의 유형은 네트워크가 가진 은닉층의 수에 의해 결정된다. 은닉층이 없는 경우 선형 문제만 학습할 수 있다. 은닉층이 하나 있는 경우, 만능 근사 정리에 의해 '''R'''n의 콤팩트 집합에 대한 모든 연속 함수를 학습할 수 있으며, 따라서 임의의 결정 경계를 가질 수 있다.
특히, 서포트 벡터 머신(SVM)에서는 특징 공간에서 두 클래스를 분리하는 초평면을 maximum-margin hyperplane|최대 마진영어이 최대화되도록 구한다. 서포트 벡터 머신에서는 결정 경계와 각 점별 마진이 최대가 되도록 결정 경계를 학습하고, 신경망에서는 오차가 최소화되도록 결정 경계가 학습된다.
3. 1. 최대 마진 초평면
지지 벡터 기계는 특징 공간을 최대 마진으로 두 클래스로 분리하는 초평면을 찾는다. 문제가 원래 선형적으로 분리 가능하지 않은 경우, 차원 수를 늘려 커널 트릭을 사용하여 선형적으로 분리 가능한 문제로 바꿀 수 있다. 따라서 작은 차원 공간의 일반적인 초곡면은 훨씬 더 큰 차원의 공간에서 초평면으로 바뀐다.[7]신경망은 경험적 오류를 최소화하는 결정 경계를 학습하려 하는 반면, 지지 벡터 기계는 결정 경계와 데이터 포인트 사이의 경험적 마진을 최대화하는 결정 경계를 학습하려 한다.
3. 2. 커널 트릭
지지 벡터 기계는 특징 공간을 최대 마진으로 두 클래스로 분리하는 초평면을 찾는다. 문제가 원래 선형적으로 분리 가능하지 않은 경우, 차원 수를 늘려 커널 트릭을 사용하여 선형적으로 분리 가능한 문제로 바꿀 수 있다. 따라서 작은 차원 공간의 일반적인 초곡면은 훨씬 더 큰 차원의 공간에서 초평면으로 바뀐다.[7]4. 신경망과 SVM의 비교
역전파 기반의 인공 신경망 또는 퍼셉트론은 네트워크가 가진 은닉층의 수에 따라 학습할 수 있는 결정 경계의 유형이 결정된다.[7]
은닉층이 없으면 선형 문제만 학습할 수 있다. 은닉층이 하나 있으면, 만능 근사 정리에 의해 '''R'''n의 콤팩트 집합에 대한 모든 연속 함수를 학습할 수 있으며, 따라서 임의의 결정 경계를 가질 수 있다.[7]
지지 벡터 기계는 특징 공간을 최대 마진으로 두 클래스로 분리하는 초평면을 찾는다. 문제가 원래 선형적으로 분리 가능하지 않은 경우, 커널 트릭을 사용하여 차원 수를 늘려 선형적으로 분리 가능한 문제로 바꿀 수 있다. 따라서 작은 차원 공간의 일반적인 초곡면은 훨씬 더 큰 차원의 공간에서 초평면으로 바뀐다.
신경망은 경험적 오류를 최소화하는 결정 경계를 학습하려 하는 반면, 지지 벡터 기계는 결정 경계와 데이터 포인트 사이의 경험적 마진을 최대화하는 결정 경계를 학습하려 한다.
참조
[1]
웹사이트
Quiz 1 of 14 - Solutions
https://cse.buffalo.[...]
2013
[2]
논문
An Approximate Characterisation of Optimal Stopping Boundaries
http://www.jstor.org[...]
1973
[3]
PDF
https://cmci.colorad[...]
2024-08
[4]
논문
Rejoinder
https://www.jstor.or[...]
2011
[5]
논문
Stability Enhanced Large-Margin Classifier Selection
http://www3.stat.sin[...]
2018
[6]
PDFlink
Solutions
http://www.cse.buffa[...]
[7]
웹사이트
Multilayer Feedforward Networks are Universal Approximators
https://cognitivemed[...]
2022-06-26
[8]
URL
http://www.cse.buffa[...]
본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.
문의하기 : help@durumis.com