삼중항 손실

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요
2. 정의
- 2.1. 수학적 정의
3. 삼중항 선택 (Selection of Triplets)
4. 확장 및 비교
- 4.1. 자연어 처리에서의 활용
참조

1. 개요

삼중항 손실은 기계 학습에서 사용되는 손실 함수의 한 종류로, (A, P, N) 형태의 훈련점 삼중항을 사용하여 정의된다. 여기서 A는 앵커 포인트, P는 긍정적 포인트, N은 부정적 포인트를 나타낸다. 삼중항 손실은 앵커와 긍정적 포인트 간의 거리가 앵커와 부정적 포인트 간의 거리보다 작도록 학습하는 것을 목표로 한다. 이 손실 함수는 컴퓨터 비전, 특히 얼굴 인식 및 재식별과 같은 작업에서 널리 사용되며, 자연어 처리 분야에서도 활용된다. 삼중항 손실은 어려운 샘플 선택을 통해 학습 효율을 높일 수 있으며, 사다리 손실과 같은 확장된 형태로 랭킹 학습에도 적용될 수 있다.

더 읽어볼만한 페이지

인공신경망 - 인공 뉴런
인공 뉴런은 인공신경망의 기본 요소로서, 입력 신호에 가중치를 곱하고 합산하여 활성화 함수를 거쳐 출력을 생성하며, 생물학적 뉴런을 모방하여 설계되었다.
인공신경망 - 퍼셉트론
퍼셉트론은 프랭크 로젠블랫이 고안한 인공신경망 모델로, 입력 벡터에 가중치를 곱하고 편향을 더한 값을 활성화 함수에 통과시켜 이진 분류를 수행하는 선형 분류기 학습 알고리즘이며, 초기 신경망 연구의 중요한 모델로서 역사적 의미를 가진다.
토막글 틀에 과도한 변수를 사용한 문서 - 전향
전향은 종교적 개종이나 노선 변경을 의미하며, 근대 이후 정치적 이념 변화를 지칭하는 용어로 확장되어 개인의 신념 변화, 정치적 압력 등 다양한 요인으로 발생하며, 사회주의·공산주의로부터의 전향, 전향 문학, 냉전 시대 이후의 전향 현상 등을 폭넓게 논의한다.
토막글 틀에 과도한 변수를 사용한 문서 - 포토마스크
포토마스크는 반도체, 디스플레이, 인쇄 회로 기판 제조 시 웨이퍼에 회로 패턴을 전사하는 마스크로, 기술 발전을 거듭하며 융용 실리카 기판과 금속 흡수막을 사용하고 위상 천이 마스크, EUV 마스크 등의 고급 기술이 개발되어 반도체 미세화에 기여하고 있지만, 높은 제작 비용과 기술적 어려움은 해결해야 할 과제이다.
토론 이름공간 토막글 - 전향
전향은 종교적 개종이나 노선 변경을 의미하며, 근대 이후 정치적 이념 변화를 지칭하는 용어로 확장되어 개인의 신념 변화, 정치적 압력 등 다양한 요인으로 발생하며, 사회주의·공산주의로부터의 전향, 전향 문학, 냉전 시대 이후의 전향 현상 등을 폭넓게 논의한다.
토론 이름공간 토막글 - 포토마스크
포토마스크는 반도체, 디스플레이, 인쇄 회로 기판 제조 시 웨이퍼에 회로 패턴을 전사하는 마스크로, 기술 발전을 거듭하며 융용 실리카 기판과 금속 흡수막을 사용하고 위상 천이 마스크, EUV 마스크 등의 고급 기술이 개발되어 반도체 미세화에 기여하고 있지만, 높은 제작 비용과 기술적 어려움은 해결해야 할 과제이다.

삼중항 손실
머신러닝
종류	손실 함수
상세 정보
목적	임베딩 공간에서 유사한 항목들을 가깝게, 유사하지 않은 항목들을 멀리 떨어뜨리도록 학습하는 것
입력	앵커 (Anchor), 포지티브 (Positive), 네거티브 (Negative) 데이터 쌍
수식	'L(A, P, N) = max(d(A, P) - d(A, N) + margin, 0)'
d(A, P)	앵커와 포지티브 간의 거리
d(A, N)	앵커와 네거티브 간의 거리
margin	앵커-네거티브 쌍과 앵커-포지티브 쌍 간의 최소 거리 차이
장점	데이터 간의 상대적인 유사성을 학습하는 데 효과적임
단점	적절한 마진 설정 및 좋은 삼중항 데이터 선택이 중요함
활용 분야	얼굴 인식, 이미지 검색, 추천 시스템 등

2. 정의

삼중항 손실은 앵커(Anchor, $A$ ), 긍정(Positive, $P$ ), 부정(Negative, $N$ )의 세 가지 샘플을 사용하여 정의된다. 앵커는 기준점, 긍정 샘플은 앵커와 같은 개체, 부정 샘플은 앵커와 다른 개체를 나타낸다.^[1]

$x$ 를 특정 점, $f(x)$ 를 유한 차원 유클리드 공간에서 $x$ 의 임베딩이라고 할 때, $f(x)$ 의 L2-노름은 1이라고 가정한다. 훈련 목표는 학습 후 훈련 데이터 세트의 모든 삼중항 $(A^{(i)}, P^{(i)}, N^{(i)})$ 이 삼중항 제약 조건을 만족하도록 하는 것이다. $\alpha$ 는 여백(margin)이라고 하는 하이퍼파라미터로, 수동으로 설정해야 한다. 페이스넷 시스템에서는 0.2로 설정되었다.^[1]

2. 1. 수학적 정의

A

를 앵커,

P

를 긍정 샘플,

N

을 부정 샘플이라고 할 때, 삼중항 손실은 다음과 같이 정의된다.

f(x)

는 입력 데이터

x

를 유클리드 공간에 임베딩하는 함수 (일반적으로 L2-노름이 1인 벡터)이며,

\alpha

는 앵커-긍정 거리와 앵커-부정 거리 간의 여백(margin)을 나타내는 하이퍼파라미터이다.

삼중항 제약 조건:

::

\Vert f(A^{(i)}) - f(P^{(i)})\Vert_2^2 + \alpha < \Vert f(A^{(i)}) - f(N^{(i)})\Vert_2^2

전체 손실 함수:

::

L = \sum_{i=1}^m  \max \Big( \Vert f(A^{(i)}) - f(P^{(i)})\Vert_2^2 - \Vert f(A^{(i)}) - f(N^{(i)})\Vert_2^2 + \alpha, 0 \Big)

3. 삼중항 선택 (Selection of Triplets)

효율적인 학습을 위해, 삼중항 제약 조건을 위반하는 "어려운" 샘플들을 선택하는 것이 중요하다. 어려운 긍정 샘플은 앵커와의 거리가 가장 먼 긍정 샘플이고, 어려운 부정 샘플은 앵커와의 거리가 가장 가까운 부정 샘플이다.^[1]

삼중항을 생성하는 방법은 다음과 같다.^[1]

데이터의 하위 집합에서 최소 및 최대값을 계산하여 오프라인으로 삼중항을 생성한다.
미니 배치 내에서 어려운 양성/음성 예제를 선택하여 온라인으로 삼중항을 생성한다.

4. 확장 및 비교

컴퓨터 비전 재식별과 같은 작업에서, 삼중항 손실은 별도의 메트릭 학습 단계를 거치는 대리 손실을 사용하는 것보다 성능이 떨어진다는 인식이 널리 퍼져 있었다. 그러나 최근 연구에 따르면, 처음부터 훈련된 모델뿐만 아니라 사전 훈련된 모델에서도, 종단 간 딥 메트릭 학습을 수행하는 삼중항 손실의 특수한 버전이 2017년 현재 대부분의 다른 공개된 방법보다 성능이 우수하다.^[2]

삼중항 손실은 일련의 거리 순서를 동시에 유지하기 위해 거리 부등식의 체인(사다리)을 사용하여 연속적인 '관련성 정도'를 최적화하도록 확장되었다. 이는 랭킹 학습 작업에서 시각-의미 임베딩의 성능 향상을 제공하는 것으로 입증된 '사다리 손실'로 이어진다.^[3]

다른 확장으로는 여러 개의 부정(다중 부정 랭킹 손실)을 지정하는 것이 있다.

4. 1. 자연어 처리에서의 활용

자연어 처리에서 삼중항 손실은 SBERT 아키텍처에서 BERT 미세 조정을 위해 고려되는 손실 함수 중 하나이다.^[4]

참조

_[1] 논문 FaceNet: A Unified Embedding for Face Recognition and Clustering https://www.cv-found[...] 2015
_[2] 논문 In Defense of the Triplet Loss for Person Re-Identification 2017-03-22
_[3] 간행물 Ladder Loss for Coherent Visual-Semantic Embedding https://qilin-zhang.[...] 2020-04-03
_[4] 논문 Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks 2019-08-27

본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com