자기 지도 학습

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요
2. 유형
3. 다른 형태의 머신러닝과의 비교
4. 예시
참조

1. 개요

자기 지도 학습은 머신러닝의 한 종류로, 레이블이 지정되지 않은 데이터로부터 모델 스스로 학습하는 방식이다. 이는 데이터 내의 상관관계, 메타데이터, 또는 도메인 지식을 활용하여 지도 신호를 생성하고, 이를 통해 모델을 훈련시킨다. 자기 지도 학습은 대조적 학습, 비대조적 학습, 자기 연관적 학습 등 다양한 유형으로 나뉘며, 음성 인식, 자연어 처리, 유전체학 등 다양한 분야에서 활용된다.

더 읽어볼만한 페이지

기계 학습 - 비지도 학습
비지도 학습은 레이블이 없는 데이터를 통해 패턴을 발견하고 데이터 구조를 파악하는 것을 목표로 하며, 주성분 분석, 군집 분석, 차원 축소 등의 방법을 사용한다.
기계 학습 - 지도 학습
지도 학습은 레이블된 데이터를 사용하여 입력 데이터와 출력 레이블 간의 관계를 학습하는 기계 학습 분야로, 예측 모델 생성, 알고리즘 선택, 모델 최적화, 정확도 평가 단계를 거치며, 회귀 및 분류 문제에 적용되고 다양한 확장 기법과 성능 평가 방법을 활용한다.

자기 지도 학습
머신러닝 패러다임
정의	자기 지도 학습(영어: self-supervised learning)은 지도 학습과 비지도 학습의 중간 형태인 머신 러닝 패러다임이다.
설명	레이블이 없는 데이터에서 스스로 레이블을 생성하여 학습하는 방법이다.
목표	데이터 자체에서 감독 신호를 생성하여 지도 학습 방식으로 문제를 해결한다. 사람이 제공한 레이블 없이 데이터의 내재된 구조와 패턴을 학습하는 것이다.
특징
데이터 활용	레이블이 없는 대량의 데이터를 효과적으로 활용할 수 있다.
사전 훈련	다운스트림 작업(downstream task)을 위한 사전 훈련(pre-training)에 유용하다.
표현 학습	데이터의 풍부한 표현(representation)을 학습할 수 있다.
방법론
전제적 작업(pretext task)	데이터의 일부를 가리고, 가려진 부분을 예측하는 방식으로 학습한다. 예시: 이미지의 일부 영역을 가리고 해당 영역을 예측하거나, 문장의 일부 단어를 가리고 해당 단어를 예측한다.
대조 학습(contrastive learning)	유사한 샘플은 가깝게, 다른 샘플은 멀리 떨어지도록 학습한다. 예시: 이미지의 다양한 변환(augmentation)을 통해 생성된 샘플들을 서로 가깝게 학습시킨다.
생성 모델(generative model)	데이터를 생성하는 모델을 학습하고, 생성된 데이터를 통해 표현을 학습한다. 예시: 오토인코더를 사용하여 데이터를 압축하고 복원하는 과정에서 데이터의 특징을 학습한다.
응용 분야
컴퓨터 비전	이미지 인식, 객체 탐지, 이미지 분할 등의 분야에서 활용된다. 예시: 이미지의 색상을 예측하거나, 이미지의 회전을 예측하는 방식으로 사전 훈련을 수행한다.
자연어 처리	텍스트 분류, 기계 번역, 텍스트 생성 등의 분야에서 활용된다. 예시: 문장의 다음 단어를 예측하거나, 문장의 마스크된 단어를 예측하는 방식으로 사전 훈련을 수행한다.
음성 인식	Wav2vec: State-of-the-art speech recognition through self-supervision
의료 영상 분석	Fast and robust segmentation of white blood cell images by self-supervised learning
관련 개념
지도 학습	레이블이 있는 데이터를 사용하여 학습하는 방법
비지도 학습	레이블이 없는 데이터를 사용하여 학습하는 방법
준지도 학습	레이블이 있는 데이터와 레이블이 없는 데이터를 함께 사용하여 학습하는 방법

2. 유형

자기 지도 학습은 다양한 방식으로 구현될 수 있으며, 크게 대조적 학습과 비대조적 학습으로 나눌 수 있다.

이진 분류 과제의 경우, 훈련 데이터는 양성 예시와 음성 예시로 나눌 수 있다. 양성 예시는 대상과 일치하는 것이다. 예를 들어, 새를 식별하는 방법을 배우는 경우, 새가 찍힌 사진이 양성 예시의 훈련 데이터가 된다. 음성 예시는 그렇지 않은 것을 말한다^[27]。

'''대조적 자기 지도 학습''' (Contrastive Self-Supervised Learning): 긍정 샘플과 부정 샘플을 모두 사용하여 학습한다. 대조 학습의 손실 함수는 긍정 샘플 사이의 거리를 최소화하고 부정 샘플 사이의 거리를 최대화하는 방식으로 작동한다.^[42]
'''비대조적 자기 지도 학습''' (Non-Contrastive Self-Supervised Learning, NCSSL): 긍정 샘플만을 사용하여 학습한다. 직관과는 다르게, NCSSL은 단순하게 손실을 0으로 만드는 사소한 해결책에 도달하기보다는, 보다 유용한 국소 최소값으로 손실을 수렴시킨다. 효과적인 NCSSL은 타겟 측에서 역전파되지 않는 온라인 측의 추가 예측자를 필요로 한다.^[42]

이 외에도, 입력으로부터 분류된 출력을 생성하는 것을 목적으로 하는 한, SSL은 지도 학습 방법이다. 그렇지만, 레이블이 지정된 입력과 출력의 쌍을 명시적으로 사용할 필요는 없다. 대신 데이터로부터 상관 관계, 데이터에 내장된 메타데이터, 또는 입력에 존재하는 도메인 지식이 암묵적이고 자율적으로 추출된다. 데이터로부터 생성된 이러한 감시 신호는 훈련에 사용할 수 있다^[26].

SSL은 샘플 데이터에 레이블을 필요로 하지 않는다는 점에서 비지도 학습 방법과 유사하다. 하지만, 비지도 학습과는 달리 데이터에 내재된 구조로부터 학습하는 것은 아니다.

Semi-Supervised Learning|반지도 학습^영어은 지도 학습과 비지도 학습을 결합한 것으로, 학습 데이터의 극히 일부에 레이블을 붙일 필요가 있다^[21].

전이 학습에서는, 어떤 태스크를 위해 개발된 모델을, 다른 태스크에서 재사용한다^[28].

오토인코더의 훈련은, 출력 패턴이 입력 패턴의 최적 재구성이 될 필요가 있기 때문에, 본질적으로 자기 지도 학습의 프로세스를 구성한다. 하지만, 현재의 전문 용어에서는, "자기 지도(self-supervised)"라는 용어는, 사전 텍스트 태스크(pretext task)의 훈련 설정을 기반으로 하는 분류 태스크와 관련되어 있다. 이것은, 완전히 자기 완결적인 오토인코더의 훈련의 경우와는 달리, 그러한 사전 텍스트 태스크를 (사람이) 설계하게 된다^[29].

강화 학습에서는, 손실의 조합에 의한 자기 지도 학습을 통해, 상태에 관한 가장 중요한 정보만이 압축된 형태로 유지되는 추상적인 표현을 형성하는 경우가 있다^[30]. 자기 지도 학습은 음성 인식에 특히 적합하다. 예를 들어, 페이스북(Facebook)은 음성 인식을 위한 자기 지도 알고리즘인 wav2vec을 개발했으며, 서로 구축하는 2개의 깊은 합성곱 신경망을 사용하고 있다^[25]。

구글(Google)의 BERT 모델은 검색 쿼리의 컨텍스트를 더 잘 이해하기 위해 사용되고 있다^[31]。

OpenAI의 GPT는 언어 처리에 사용할 수 있는 자기 회귀 언어 모델이다. 텍스트 번역이나 질문에 대한 답변 등에 사용할 수 있다^[32]。

Bootstrap Your Own Latent(BYOL)는 NCSSL이며, ImageNet 및 전위, 반지도 학습 벤치마크에서 우수한 결과를 냈다^[33]。

Yarowsky algorithm|Yarowsky 알고리즘^영어는 자연어 처리에서의 자기 지도 학습의 예시이다. 레이블이 지정된 소수의 예시로부터 다의어의 어떤 어의가 텍스트 중 특정 부분에서 사용되고 있는지를 예측하도록 학습한다.

페이스북(Facebook)''의'' DirectPred는 경사 업데이트에 의한 학습 대신, 예측기의 가중치를 직접 설정하는 NCSSL이다^[27]。

2. 1. 대조적 자기 지도 학습 (Contrastive Self-Supervised Learning)

대조적 자기 지도 학습은 긍정 샘플과 부정 샘플을 모두 사용하며, 대조 학습의 손실 함수는 긍정 샘플 사이의 거리는 최소화하고 부정 샘플 사이의 거리는 최대화한다.^[42]

이진 분류 작업에서 훈련 데이터는 양성 예제와 음성 예제로 나눌 수 있다. 양성 예제는 대상과 일치하는 것이고, 음성 예제는 그렇지 않은 이미지이다.^[9] 예를 들어, 새를 식별하는 분류기를 훈련하는 경우, 양성 훈련 데이터에는 새가 포함된 이미지가 포함되고, 음성 예제에는 새가 아닌 이미지가 포함된다. 대조 학습의 손실 함수는 양성 샘플 쌍 간의 거리를 최소화하는 동시에 음성 샘플 쌍 간의 거리를 최대화하는 데 사용된다.^[9]

초기 예시로는 한 쌍의 1차원 합성곱 신경망을 사용하여 이미지 쌍을 처리하고 일치도를 최대화하는 방법이 있다.^[10]

CLIP는 텍스트 인코더와 이미지 인코더를 함께 사전 훈련하여, 일치하는 이미지-텍스트 쌍이 작은 각도(큰 코사인 유사도)를 갖는 이미지 인코딩 벡터와 텍스트 인코딩 벡터를 가지도록 학습한다.

InfoNCE (Noise-Contrastive Estimation, 노이즈 대조 추정)^[11]는 노이즈 대조 추정(NCE)을 기반으로 두 모델을 공동으로 최적화하는 방법이다.^[12]

p\left(x_{t+k} \mid c_t\right)

에서 하나의 양성 샘플과 '제안' 분포

p\left(x_{t+k}\right)

에서

N-1

개의 음성 샘플을 포함하는

N

개의 임의 샘플 집합

X=\left\{x_1, \ldots x_N\right\}

이 주어지면, 다음 손실 함수를 최소화한다.

\mathcal{L}_{\mathrm{N}}=-\mathbb{E}_{X} \left[\log \frac{f_k\left(x_{t+k}, c_t\right)}{\sum_{x_j \in X} f_k\left(x_j, c_t\right)}\right]

2. 1. 1. 대표적인 방법

대조적 자기 지도 학습은 긍정 샘플과 부정 샘플을 모두 사용한다. 대조 학습의 손실 함수는 긍정 샘플 사이의 거리를 최소화하고 부정 샘플 사이의 거리를 최대화한다.^[42] 이진 분류 작업의 경우, 양성 예제는 대상과 일치하는 것이고, 음성 예제는 그렇지 않은 이미지이다.^[9] 대조 학습의 손실 함수는 양성 샘플 쌍 간의 거리를 최소화하는 동시에 음성 샘플 쌍 간의 거리를 최대화하는 데 사용된다.^[9]

초기 예시는 한 쌍의 1차원 합성곱 신경망을 사용하여 이미지 쌍을 처리하고 일치도를 최대화했다.^[10]

CLIP는 텍스트 인코더와 이미지 인코더를 함께 사전 훈련하여, 일치하는 이미지-텍스트 쌍이 작은 각도(큰 코사인 유사도)를 갖는 이미지 인코딩 벡터와 텍스트 인코딩 벡터를 갖도록 한다.

InfoNCE (Noise-Contrastive Estimation, 노이즈 대조 추정)^[11]는 NCE (Noise Contrastive Estimation, 노이즈 대조 추정)을 기반으로 두 모델을 공동으로 최적화하는 방법이다.^[12]

'''자기 지도 대조 학습'''(contrastive self-supervised learning^영어)은 교사 레이블을 사용하지 않는 대조 학습이다.^[27] 긍정적인 예시를 준비하는 대표적인 방법과 부정적인 예시를 준비하는 대표적인 방법은 다음과 같다.

긍정적인 예시
* 데이터 증강(예: SimCLR)
* 공기(co-occurrence)(예: CPC)
부정적인 예시
* 미니 배치 내 다른 샘플
* 비 공기(non-co-occurrence)

2. 2. 비대조적 자기 지도 학습 (Non-Contrastive Self-Supervised Learning, NCSSL)

비대조적 자기 지도 학습(NCSSL)은 긍정 샘플만을 사용한다. 직관과는 다르게, NCSSL은 단순하게 손실을 0으로 만드는 사소한 해결에 도달하기보다는 보다 유용한 로컬 최소값으로 손실을 수렴시킨다. 이진 분류의 예를 들면, 각 샘플을 긍정으로 분류하는 방법만을 간단하게 학습한다. 효과적인 NCSSL은 타겟 측에서 역전파되지 않는 온라인 측의 추가 예측자를 필요로 한다.^[42]

2. 2. 1. 대표적인 방법

자기 지도 비대조 학습(non-contrastive self-supervised learning, NCSSL)은 긍정적인 예만 사용한다. 직관에 반하여 NCSSL은 자명한 해답에 도달하는 것이 아니라 유용한 국소 최소값으로 수렴하며, 손실은 0이 된다. 이진 분류의 예시에서 NCSSL은 일반적으로 각 예시를 긍정으로 분류하도록 학습한다.^[9] 효과적인 NCSSL에서는 대상 측에 역전파되지 않는 온라인 측의 추가적인 예측기가 필요하다.^[42]

2. 3. 자기 연관적 자기 지도 학습 (Autoassociative Self-Supervised Learning)

자기 지도 학습은 신경망이 자체 입력 데이터를 재현하거나 재구성하도록 훈련되는 자기 지도 학습의 특정 범주이다.^[8] 즉, 모델은 본질적인 특징이나 구조를 포착하여 원래 입력을 재생성할 수 있도록 데이터의 표현을 학습하는 과제를 수행한다.

"자기 연관"이라는 용어는 모델이 본질적으로 입력 데이터를 자체와 연관시킨다는 사실에서 유래한다. 이는 종종 오토인코더를 사용하여 달성되는데, 이는 표현 학습에 사용되는 신경망 아키텍처의 한 유형이다. 오토인코더는 입력 데이터를 더 낮은 차원의 표현(잠재 공간)으로 매핑하는 '인코더' 네트워크와 이 표현에서 입력을 재구성하는 '디코더' 네트워크로 구성된다.

훈련 과정은 모델에 입력 데이터를 제공하고 동일한 데이터를 최대한 가깝게 재구성하도록 요구하는 과정을 포함한다. 훈련 중에 사용되는 손실 함수는 일반적으로 원래 입력과 재구성된 출력 간의 차이에 페널티를 부과한다(예: 평균 제곱 오차). 이 재구성 오류를 최소화함으로써 오토인코더는 잠재 공간에서 데이터의 의미 있는 표현을 학습한다.

3. 다른 형태의 머신러닝과의 비교

자기 지도 학습은 머신러닝의 한 형태로, 다른 학습 방법들과 비교했을 때 몇 가지 독특한 특징을 가진다. 오토인코더 훈련은 출력 패턴이 입력 패턴의 최적 재구성이어야 하므로 본질적으로 자기 지도 학습 방식을 따른다. 그러나 현재는 '자기 지도'라는 용어가 주로 사전 훈련(pretext task) 설정을 기반으로 하는 분류 작업을 가리키는 데 사용된다. 이는 오토인코더 훈련과 달리 사람이 직접 사전 작업을 설계한다는 차이점이 있다.^[8]^[29]

3. 1. 지도 학습 (Supervised Learning)

자기 지도 학습은 입력으로부터 분류된 출력을 생성하는 것을 목표로 한다는 점에서 지도 학습 방식에 속한다. 그러나 레이블이 지정된 입력-출력 쌍을 명시적으로 사용할 필요는 없다. 대신, 데이터에 내재된 상관 관계, 메타데이터 또는 입력에 존재하는 도메인 지식이 데이터로부터 암묵적이고 자율적으로 추출된다. 데이터에서 생성된 이러한 감독 신호는 학습에 사용될 수 있다.^[43]^[1]^[26]

3. 2. 비지도 학습 (Unsupervised Learning)

자기 지도 학습은 샘플 데이터에 레이블이 필요하지 않다는 점에서 비지도 학습과 유사하다. 그러나 비지도 학습과 달리 자기 지도 학습은 고유한 데이터 구조를 사용하여 수행되지는 않는다.^[43] 자기 지도 학습(SSL)은 샘플 데이터에 레이블을 필요로 하지 않는다는 점에서 비지도 학습 방법과 유사하지만, 비지도 학습과는 달리 데이터에 내재된 구조로부터 학습하는 것은 아니다.

3. 3. 준지도 학습 (Semi-Supervised Learning)

준지도 학습은 지도 학습과 비지도 학습을 결합하여 학습 데이터의 작은 부분만 레이블이 지정되도록 요구한다.^[3] Semi-Supervised Learning|반지도 학습^영어은 지도 학습과 비지도 학습을 결합한 것으로, 학습 데이터의 극히 일부에 레이블을 붙일 필요가 있다.^[21]

3. 4. 전이 학습 (Transfer Learning)

전이 학습에서는 한 과제를 위해 개발된 모델이 다른 과제에 재사용된다.^[44]^[13]^[28]

3. 5. 강화 학습 (Reinforcement Learning)

강화 학습에서, 손실의 조합에 의한 자기 지도 학습을 통해, 상태에 관한 가장 중요한 정보만이 압축된 형태로 유지되는 추상적인 표현을 형성하는 경우가 있다.^[30]

4. 예시

자기 지도 학습의 예시로는 다음과 같은 것들이 있다.

페이스북의 wav2vec: 음성 인식을 위한 자기 지도 알고리즘으로, 서로를 기반으로 하는 두 개의 심층 합성곱 신경망을 사용한다.^[40]
구글의 BERT: 검색어의 맥락을 더 잘 이해하는 데 사용된다.^[45]
오픈AI의 GPT-3: 텍스트 번역이나 질문에 답하는 등 언어 처리에 사용될 수 있는 자동 회귀 언어 모델이다.^[46]
Bootstrap Your Own Latent (BYOL): ImageNet과 전송 및 준지도 학습 벤치마크에서 우수한 결과를 생성한 NCSSL이다.
야로스키 알고리즘: 자연어 처리에서 다의어 단어의 의미를 파악하는 데 사용되는 자기 지도 학습의 한 예이다.
DirectPred: 경사 하강법을 통해 학습하는 대신 예측자 가중치를 직접 설정하는 NCSSL이다.^[42]
Self-GenomeNet: 유전체학에서 자기 지도 학습의 한 예이다.^[18]

4. 1. 음성 인식

자기 지도 학습은 특히 음성 인식에 적합하다. 페이스북은 자체 지도 알고리즘인 wav2vec를 개발하여 서로를 기반으로 하는 두 개의 심층 합성곱 신경망을 사용하여 음성 인식을 수행한다.^[40] 구글의 BERT 모델은 검색어의 맥락을 더 잘 이해하는 데 자기 지도 학습을 사용한다.^[45] 오픈AI의 GPT-3은 언어 처리에 사용할 수 있는 자동 회귀 언어 모델이다. 텍스트를 번역하거나 질문에 답하는 데 사용할 수 있다.^[46]

4. 2. 자연어 처리

Facebook은 음성 인식을 위한 자기 지도 알고리즘인 wav2vec을 개발했으며, 서로를 기반으로 하는 두 개의 심층 컨볼루션 신경망을 사용한다.^[40]

Google의 BERT 모델은 검색어의 맥락을 더 잘 이해하는 데 사용된다.^[45]

OpenAI의 GPT-3은 텍스트 번역이나 질문에 답하는 등 언어 처리에 사용될 수 있는 자동 회귀 언어 모델이다.^[46]

야로스키 알고리즘은 자연어 처리에서 자기 지도 학습의 한 예이다. 소수의 레이블이 지정된 샘플에서부터 다의어 단어의 어떤 의미가 텍스트의 주어진 지점에서 사용되고 있는지 예측하는 방법을 학습한다.

4. 3. 유전체학

Self-GenomeNet은 유전체학에서 자기 지도 학습의 한 예이다.^[18]

4. 4. 자연어 처리의 다의어 처리

야로스키 알고리즘은 자연어 처리에서 자기 지도 학습의 한 예이다. 소수의 레이블이 지정된 샘플에서부터 다의어 단어의 어떤 의미가 텍스트의 주어진 지점에서 사용되고 있는지 예측하는 방법을 학습한다.

참조

_[1] 웹사이트 What is Self-Supervised Learning? {{!}} Will machines ever be able to learn like humans? https://medium.com/w[...] 2020-11-25
_[2] 서적 2017 IEEE International Conference on Computer Vision (ICCV) IEEE 2017-10
_[3] 서적 2019 IEEE/CVF International Conference on Computer Vision (ICCV) IEEE 2019-10
_[4] 서적 2015 IEEE International Conference on Computer Vision (ICCV) IEEE 2015-12
_[5] 간행물 Fast and robust segmentation of white blood cell images by self-supervised learning http://dx.doi.org/10[...] 2018-04
_[6] 서적 2019 IEEE/CVF International Conference on Computer Vision (ICCV) IEEE 2019-10
_[7] 웹사이트 Wav2vec: State-of-the-art speech recognition through self-supervision https://ai.facebook.[...] 2021-06-09
_[8] 간행물 Nonlinear principal component analysis using autoassociative neural networks https://www.research[...] 1991
_[9] 웹사이트 Demystifying a key self-supervised learning technique: Non-contrastive learning https://ai.facebook.[...] 2021-10-05
_[10] 간행물 Self-organizing neural network that discovers surfaces in random-dot stereograms https://www.nature.c[...] 1992-01
_[11] Citation Representation Learning with Contrastive Predictive Coding 2019-01-22
_[12] 간행물 Noise-contrastive estimation: A new estimation principle for unnormalized statistical models https://proceedings.[...] JMLR Workshop and Conference Proceedings 2010-03-31
_[13] 서적 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) IEEE 2016-06
_[14] conference Combined Reinforcement Learning via Abstract Representations 2019
_[15] 웹사이트 Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing http://ai.googleblog[...] 2018-11-02
_[16] 서적 Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP) Association for Computational Linguistics 2020
_[17] Arxiv Bootstrap your own latent: A new approach to self-supervised Learning 2020-09-10
_[18] 간행물 A self-supervised deep learning method for data-efficient training in genomics 2023-09-11
_[19] 간행물 Unsupervised Word Sense Disambiguation Rivaling Supervised Methods https://aclanthology[...] Association for Computational Linguistics 2022-11-01
_[20] 간행물 Multi-task Self-Supervised Visual Learning https://doi.org/10.1[...] IEEE 2017-10
_[21] 간행물 S4L: Self-Supervised Semi-Supervised Learning https://doi.org/10.1[...] IEEE 2019-10
_[22] 간행물 Unsupervised Visual Representation Learning by Context Prediction https://doi.org/10.1[...] IEEE 2015-12
_[23] 간행물 Fast and robust segmentation of white blood cell images by self-supervised learning https://doi.org/10.1[...] 2018-04
_[24] 간행물 Boosting Few-Shot Visual Learning With Self-Supervision https://doi.org/10.1[...] IEEE 2019-10
_[25] 웹사이트 Wav2vec: State-of-the-art speech recognition through self-supervision https://ai.facebook.[...] 2021-06-09
_[26] 웹사이트 What is Self-Supervised Learning? {{!}} Will machines ever be able to learn like humans? https://medium.com/w[...] 2020-11-25
_[27] 웹사이트 Demystifying a key self-supervised learning technique: Non-contrastive learning https://ai.facebook.[...] 2021-10-05
_[28] 간행물 The Multiverse Loss for Robust Transfer Learning https://doi.org/10.1[...] IEEE 2016-06
_[29] 간행물 Nonlinear principal component analysis using autoassociative neural networks https://www.research[...] 1991
_[30] conference Combined Reinforcement Learning via Abstract Representations https://ojs.aaai.org[...] 2019
_[31] 웹사이트 Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing http://ai.googleblog[...] 2021-06-09
_[32] 간행물 Structural Supervision Improves Few-Shot Learning and Syntactic Generalization in Neural Language Models https://doi.org/10.1[...] Association for Computational Linguistics 2020
_[33] Arxiv Bootstrap your own latent: A new approach to self-supervised Learning 2020-09-10
_[34] 저널 Unsupervised Word Sense Disambiguation Rivaling Supervised Methods https://aclanthology[...] 2022-11-01
_[35] 저널 Multi-task Self-Supervised Visual Learning http://dx.doi.org/10[...] 2017-10
_[36] 저널 S4L: Self-Supervised Semi-Supervised Learning http://dx.doi.org/10[...] IEEE 2019-10
_[37] 저널 Unsupervised Visual Representation Learning by Context Prediction http://dx.doi.org/10[...] IEEE 2015-12
_[38] 저널 Fast and robust segmentation of white blood cell images by self-supervised learning http://dx.doi.org/10[...] 2018-04
_[39] 저널 Boosting Few-Shot Visual Learning With Self-Supervision http://dx.doi.org/10[...] IEEE 2019-10
_[40] 웹인용 Wav2vec: State-of-the-art speech recognition through self-supervision https://ai.facebook.[...] 2021-06-09
_[41] 웹인용 What is Self-Supervised Learning? {{!}} Will machines ever be able to learn like humans? https://medium.com/w[...] 2021-06-09
_[42] 웹인용 Demystifying a key self-supervised learning technique: Non-contrastive learning https://ai.facebook.[...] 2021-10-05
_[43] 저널 Problem Based Learning a Shift from Teaching Paradigm to the Learning Paradigm http://dx.doi.org/10[...] 2017
_[44] 저널 The Multiverse Loss for Robust Transfer Learning http://dx.doi.org/10[...] IEEE 2016-06
_[45] 웹인용 Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing http://ai.googleblog[...] 2021-06-09
_[46] 저널 Structural Supervision Improves Few-Shot Learning and Syntactic Generalization in Neural Language Models http://dx.doi.org/10[...] Association for Computational Linguistics 2020

본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com