제로샷 학습
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
1. 개요
제로샷 학습(Zero-shot learning, ZSL)은 기계 학습의 한 분야로, 모델이 훈련 과정에서 보지 못한 새로운 클래스의 데이터를 분류하는 것을 목표로 한다. 2008년 자연어 처리 분야에서 "데이터 없는 분류"라는 이름으로 처음 등장했으며, 컴퓨터 비전 분야에서도 유사한 연구가 진행되었다. 제로샷 학습은 관찰된 클래스와 새로운 클래스 간의 표현 유사성에 의존하며, 자연어 처리에서는 레이블 이해, 즉 레이블을 분류할 문서와 동일한 의미 공간에서 표현하는 능력을 핵심 기술 방향으로 삼는다. 제로샷 학습은 분류기가 훈련 시 관찰하지 못한 클래스의 샘플을 분류해야 하므로, 도메인 적응의 극단적인 경우로 볼 수 있다. 제로샷 클래스를 위해 속성, 텍스트 설명, 클래스 간 유사성 등의 보조 정보가 사용되며, 일반화된 제로샷 학습에서는 기존 클래스와 새로운 클래스 모두의 샘플이 테스트에 나타나는 상황을 다룬다. 제로샷 학습은 이미지 분류, 의미론적 분할, 이미지 생성, 객체 감지, 자연어 처리, 계산 생물학 등 다양한 분야에 적용된다.
더 읽어볼만한 페이지
- 기계 학습 알고리즘 - 강화 학습
강화 학습은 에이전트가 환경과의 상호작용을 통해 누적 보상을 최대화하는 최적의 정책을 학습하는 기계 학습 분야이며, 몬테카를로 방법, 시간차 학습, Q-러닝 등의 핵심 알고리즘과 탐험과 활용의 균형, 정책 경사법 등의 다양한 연구 주제를 포함한다. - 기계 학습 알고리즘 - 기댓값 최대화 알고리즘
- 컴퓨터 비전 - 합성곱 신경망
합성곱 신경망(CNN)은 이미지, 영상 등 시각 데이터 처리에 특화된 인공 신경망으로, 합성곱층, 풀링층, 완전 연결층으로 구성되어 특징 추출, 차원 축소, 최종 분류 또는 예측을 수행하며 이미지 인식, 영상 분석, 자연어 처리 등 다양한 분야에 응용된다. - 컴퓨터 비전 - 광학 흐름
광학 흐름은 비디오나 이미지에서 보이는 객체, 표면, 엣지의 움직임 패턴을 나타내며, 움직임 예측, 비디오 압축, 장면 구조 추정, 로봇 내비게이션 등 다양한 분야에 활용되는 중요한 기술이다.
| 제로샷 학습 | |
|---|---|
| 제로샷 학습 | |
| 유형 | |
| 분야 | 기계 학습 |
| 패러다임 | 전이 학습 |
| 관련 항목 | 메타 학습 퓨샷 학습 약지도 학습 |
| 목표 | |
| 설명 | 학습 과정에서 보지 못한 클래스에 대한 예측 수행 |
| 접근 방식 | |
| 의미 정보 활용 | 클래스 간 관계 모델링 속성 기반 학습 |
| 지식 그래프 활용 | 외부 지식 활용 |
| 생성 모델 활용 | 보이지 않는 클래스의 특징 생성 |
| 장점 | |
| 새로운 클래스에 대한 빠른 적응 | 추가 학습 없이 새로운 클래스 인식 |
| 데이터 부족 문제 해결 | 학습 데이터 부족 시 효과적 |
| 단점 | |
| 성능 제한 | 지도 학습에 비해 성능 낮음 |
| 도메인 편향 | 학습 데이터와 테스트 데이터 간 차이 발생 시 성능 저하 |
| 활용 분야 | |
| 이미지 인식 | 새로운 객체 인식 |
| 자연어 처리 | 새로운 단어 또는 개념 이해 |
| 로봇 공학 | 새로운 환경 적응 |
| 관련 연구 | |
| 연구 동향 | 제로샷 학습 성능 향상 새로운 제로샷 학습 방법 개발 다양한 분야에 제로샷 학습 적용 |
| 주요 연구 그룹 | 대학 연구실 기업 연구소 |
| 도전 과제 | |
| 과제 | 제로샷 학습 성능 향상 도메인 편향 문제 해결 다양한 분야에 적용 가능한 제로샷 학습 방법 개발 |
| 참고 자료 | |
| 참고 문헌 | Xian, Y., Lampert, C. H., Schiele, B., & Akata, Z. (2017). Zero-shot learning-the good, the bad and the ugly. Proceedings of the IEEE conference on computer vision and pattern recognition, 4582-4591. Xian, Y., Lampert, C. H., Schiele, B., & Akata, Z. (2020). Zero-Shot Learning -- A Comprehensive Evaluation of the Good, the Bad and the Ugly. arXiv preprint arXiv:1707.00600. |
2. 역사적 배경
AAAI'08에서 자연어 처리 분야의 첫 제로샷 학습 논문이 발표되었으며, 당시에는 ''데이터 없는 분류''라는 이름으로 불렸다.[3] 같은 학회에서 컴퓨터 비전 분야의 첫 논문은 ''제로 데이터 학습''이라는 이름으로 발표되었다.[4] ''제로샷 학습''이라는 용어는 2009년 NIPS'09 논문에서 처음 등장했으며,[5] 이후 컴퓨터 비전 분야에서 널리 사용되었다.[12] 이는 ''원샷 학습'' 용어를 차용한 것이다.[6]
컴퓨터 비전과 자연어 처리 분야 모두에서, 제로샷 학습(ZSL)은 훈련 중에 분류기에 해당 클래스의 샘플이 제공되지 않는다는 점에서 도메인 적응의 극단적인 경우로 볼 수 있다.
2. 1. 자연어 처리
자연어 처리 분야에서 제로샷 학습에 관한 첫 번째 논문은 2008년 AAAI'08에서 Chang, Ratinov, Roth 및 Srikumar가 발표한 논문으로, 당시 학습 패러다임의 이름은 ''데이터 없는 분류''였다.[3] ''제로샷 학습''이라는 용어 자체는 2009년 NIPS'09 논문에서 Palatucci, Hinton, Pomerleau 및 Mitchell이 처음 등장시켰다.[5]자연어 처리 분야에서 개발된 주요 기술 방향은 "레이블 이해", 즉 분류할 문서와 동일한 의미 공간에서 레이블을 표현하는 능력에 기반한다. 이는 주석 처리된 데이터를 관찰하지 않고도 ''단일 예시''를 분류하는 것을 지원하며, 이는 제로샷 분류의 가장 순수한 형태이다. 초기 논문[3]에서는 명시적 의미 분석(ESA) 표현을 사용했지만, 이후 논문에서는 밀집 표현을 포함한 다른 표현을 사용했다. 이러한 접근 방식은 다국어 도메인,[7][8] 미세 개체 유형 지정[9] 및 기타 문제로도 확장되었다. 또한, 표현에만 의존하는 것을 넘어, 계산적 접근 방식은 텍스트 함의[10] 및 질의 응답[11]과 같은 다른 작업으로부터의 전이에 의존하도록 확장되었다.
초기 논문[3]은 또한 단일 예시를 분류하는 능력 외에도, 동일한 분포에서 나온다고 가정되는 예시 모음이 주어지면, 반지도 학습 방식(또는 전도 학습)으로 성능을 향상시킬 수 있다고 지적한다.
분류기가 훈련 중에 이미 관찰한 클래스에 새로운 샘플을 올바르게 분류할 것으로 예상되는 표준 일반화와 달리, ZSL에서는 훈련 중 분류기에 해당 클래스의 샘플이 제공되지 않는다. 따라서 이는 도메인 적응의 극단적인 경우로 볼 수 있다.
2. 2. 컴퓨터 비전
컴퓨터 비전에서 제로샷 학습 모델은 관찰된 클래스에 대한 매개변수와 클래스 표현을 함께 학습하고, 추론 시 인스턴스를 새로운 클래스로 분류할 수 있도록 클래스 레이블 간의 표현 유사성에 의존한다.제로샷 학습에 관한 첫 번째 논문은 2008년 AAAI'08에서 '제로 데이터 학습'이라는 이름으로 발표되었다.[4] '제로샷 학습'이라는 용어 자체는 2009년 NIPS'09 논문에서 처음 등장했다.[5] 이 용어는 이후 다른 컴퓨터 비전 논문에서 반복되었으며,[12] 몇 년 전에 컴퓨터 비전 분야에서 소개된 '원샷 학습'을 차용하여 '제로샷 학습'이라는 용어가 널리 사용되었다.[6]
3. 제로샷 클래스를 위한 필수 정보
제로샷 클래스를 위해서는 보조 정보가 주어져야 하며, 이러한 정보에는 여러 유형이 있다.
- 속성 기반 학습: (하위 섹션 '속성 기반 학습'에서 더 자세히 다룸)[12][13][14][15]
- 텍스트 설명 기반 학습: (하위 섹션 '텍스트 설명으로부터의 학습'에서 더 자세히 다룸)[9][16][17]
- 클래스 간 유사성: (하위 섹션 '클래스 간 유사성'에서 더 자세히 다룸)[18]
3. 1. 속성 기반 학습
클래스에는 미리 정의된 구조화된 설명이 수반된다. 예를 들어 새에 대한 설명의 경우 "빨간 머리", "긴 부리" 등이 포함될 수 있다.[12][13] 이러한 속성은 종종 구조화된 구성 방식으로 구성되며, 해당 구조를 고려하면 학습이 향상된다.[14] 이러한 접근 방식은 주로 컴퓨터 비전 분야에서 사용되었지만, 자연어 처리 분야에서도 몇 가지 예시가 있다.[15]3. 2. 텍스트 설명으로부터의 학습
이는 자연어 처리 분야에서 추구해 온 핵심적인 방향이다. 여기에서 클래스 레이블은 의미를 갖는 것으로 간주되며, 종종 정의나 자유 텍스트 형식의 자연어 설명으로 보강된다. 이는 예를 들어 클래스에 대한 위키백과 설명을 포함할 수 있다.[9][16][17]3. 3. 클래스 간 유사성
클래스는 연속적인 공간에 임베딩된다. 제로샷 분류기는 샘플이 해당 공간의 특정 위치에 해당한다고 예측할 수 있으며, 훈련 중에 그러한 샘플이 관찰되지 않았더라도 가장 가까운 임베딩된 클래스가 예측된 클래스로 사용된다.[18]4. 일반화된 제로샷 학습
일반화된 제로샷 학습에서는 테스트 시 새로운 클래스와 기존 클래스 모두의 샘플이 나타날 수 있다. 이는 테스트 시 분류기에 새로운 과제를 제시하는데, 주어진 샘플이 새로운 것인지 아니면 기존의 것인지 추정하는 것이 매우 어렵기 때문이다. 이를 처리하는 대표적인 접근 방식으로 게이팅 모듈[19][20]과 생성 모듈[21]이 있다.
4. 1. 게이팅 모듈
주어진 샘플이 새로운 클래스에서 왔는지 아니면 기존 클래스에서 왔는지 결정하도록 먼저 훈련된 다음, 추론 시 하드 결정[19] 또는 소프트 확률 결정[20]을 출력한다.4. 2. 생성 모듈
생성 모듈은 미지의 클래스에 대한 특징 표현을 생성하도록 훈련된다. 이를 통해 표준 분류기는 기존 및 미지의 클래스를 모두 포함한 모든 클래스의 샘플에 대해 훈련될 수 있다.[21]5. 응용 분야
제로샷 학습은 이미지 분류, 의미론적 분할, 이미지 생성, 객체 감지, 자연어 처리, 계산 생물학[22] 등의 분야에 적용되어 왔다.
5. 1. 이미지 분류
제로샷 학습은 이미지 분류에 적용되어 왔다.5. 2. 의미론적 분할
제로샷 학습은 이미지 분류와 함께 의미론적 분할 분야에 적용되어 왔다.5. 3. 이미지 생성
제로샷 학습은 이미지 생성 분야에 적용되어 왔다.[22]5. 4. 객체 감지
이미지 분류, 의미론적 분할, 이미지 생성, 객체 감지, 자연어 처리, 계산 생물학[22] 등의 분야에 적용되어 왔다.5. 5. 자연어 처리
제로샷 학습은 자연어 처리 분야에 적용되어 왔다.[22]5. 6. 계산 생물학
제로샷 학습은 계산 생물학 분야에 적용되어 왔다.[22]참조
[1]
논문
Zero-Shot Learning -- A Comprehensive Evaluation of the Good, the Bad and the Ugly
2020-09-23
[2]
간행물
Zero-shot learning-the good, the bad and the ugly
2017
[3]
간행물
Importance of Semantic Representation: Dataless Classification
https://citeseerx.is[...]
2008
[4]
웹사이트
Zero-data Learning of New Tasks
https://www.aaai.org[...]
2008
[5]
간행물
Zero-Shot Learning with Semantic Output Codes
https://www.cs.toron[...]
2009
[6]
간행물
Learning from One Example Through Shared Densities on Transforms
https://people.cs.um[...]
2000
[7]
간행물
Toward any-language zero-shot topic classification of textual documents
2019
[8]
간행물
Cross-Lingual Dataless Classification for Many Languages
https://www.ijcai.or[...]
2016
[9]
간행물
Zero-Shot Open Entity Typing as Type-Compatible Grounding
https://www.aclweb.o[...]
2018
[10]
간행물
Benchmarking Zero-shot Text Classification: Datasets, Evaluation and Entailment Approach
https://www.aclweb.o[...]
2019
[11]
간행물
Zero-Shot Relation Extraction via Reading Comprehension
https://www.aclweb.o[...]
2017
[12]
간행물
Learning to detect unseen object classes by between-class attribute transfer
http://citeseerx.ist[...]
2009
[13]
간행물
An embarrassingly simple approach to zero-shot learning
http://www.jmlr.org/[...]
2015
[14]
간행물
Probabilistic AND-OR Attribute Grouping for Zero-Shot Learning
http://auai.org/uai2[...]
2018
[15]
간행물
Aspect Guided Text Categorization with Unobserved Labels
http://citeseerx.ist[...]
2009
[16]
간행물
Zero-Shot Image Classification Guided by Natural Language Descriptions of Classes: A Meta-Learning Approach
https://nips2018vigi[...]
2018
[17]
서적
Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers)
[18]
간행물
Devise: A deep visual-semantic embedding model
https://papers.nips.[...]
2013
[19]
간행물
Zero-shot learning through cross-modal transfer
2013
[20]
간행물
Adaptive Confidence Smoothing for Generalized Zero-Shot Learning
2019
[21]
간행물
Multi-modal cycle-consistent generalized zero-shot learning
2018
[22]
간행물
Machine Learning-Assisted Directed Evolution Navigates a Combinatorial Epistatic Fitness Landscape with Minimal Screening Burden
https://www.biorxiv.[...]
2020-12-04
[23]
논문
Zero-Shot Learning -- A Comprehensive Evaluation of the Good, the Bad and the Ugly
2020-09-23
[24]
저널
Zero-shot learning-the good, the bad and the ugly
2017
본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.
문의하기 : help@durumis.com