순위 학습

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요

순위 학습은 정보 검색, 추천 시스템, 기계 번역 등 다양한 분야에서 활용되는 기계 학습의 한 분야이다. 1990년대 초반에 개념이 제시되었으며, 2000년대 중반부터 여러 학술 컨퍼런스에서 연구가 활발히 진행되었다. 순위 학습은 점별, 쌍별, 목록별 접근법으로 분류되며, 각 접근법에 따라 다양한 알고리즘이 개발되었다. 이러한 알고리즘은 특징 벡터를 사용하여 쿼리와 문서 간의 관계를 표현하고, 평가 지표를 통해 성능을 측정한다. 최근에는 신경망 기반 알고리즘이 적대적 공격에 취약하다는 한계가 지적되기도 하며, 견고성을 높이기 위한 연구도 진행되고 있다.

더 읽어볼만한 페이지

정보 검색 기술 - 해시태그
해시태그는 2007년 트위터에서 관심 주제를 묶기 위해 제안되어 마이크로블로깅 네트워크에서 널리 사용되기 시작했으며, 다양한 분야에서 활용되고 언어학적 분석의 대상이 되기도 한다.
정보 검색 기술 - 개인화
개인화는 청중의 요구에 맞춰 맞춤형 경험을 제공하는 행위로, 웹사이트, 지도 등 다양한 매체에서 사용자의 특성을 기반으로 하며, 필터 버블과 같은 사회적 영향을 미칠 수 있다.
기계 학습 - 비지도 학습
비지도 학습은 레이블이 없는 데이터를 통해 패턴을 발견하고 데이터 구조를 파악하는 것을 목표로 하며, 주성분 분석, 군집 분석, 차원 축소 등의 방법을 사용한다.
기계 학습 - 지도 학습
지도 학습은 레이블된 데이터를 사용하여 입력 데이터와 출력 레이블 간의 관계를 학습하는 기계 학습 분야로, 예측 모델 생성, 알고리즘 선택, 모델 최적화, 정확도 평가 단계를 거치며, 회귀 및 분류 문제에 적용되고 다양한 확장 기법과 성능 평가 방법을 활용한다.

순위 학습
개요
순위 학습 과정
종류	지도 학습 준지도 학습 강화 학습
상세 정보
관련 분야	기계 학습 정보 검색
목표	아이템 순위 결정
입력	아이템 특징 및 관련성 판단 기준
출력	순위 모델
활용	정보 검색 추천 시스템 기계 번역 QA 시스템

2. 역사

순위 학습의 개념은 1990년대 초 노르베르트 푸어^[49]^[18]와 빌 쿠퍼^[19] 등에 의해 소개되었으나, 당시 기계 학습 기술의 한계와 부족한 훈련 데이터로 인해 제한적인 성과를 보였다.^[50] 이후 2000년대 중반부터 NeurIPS, SIGIR, ICML과 같은 주요 학회에서 관련 워크숍이 활발히 개최되면서 연구가 본격화되었고, 순위 학습은 정보 검색 분야의 핵심 기술로 자리 잡게 되었다.

2. 1. 초기 연구

노르베르트 푸어는 1992년에 기계 학습을 이용한 순위 학습(MLR)의 일반적인 아이디어를 소개하며, 정보 검색 분야에서의 학습 접근 방식을 매개변수 추정의 일반화로 설명했다.^[49] 이 접근 방식의 특정 형태인 다항 회귀는 이미 3년 전인 1989년에 발표된 바 있다.^[18] 같은 해인 1992년, 빌 쿠퍼(Bill Cooper)는 로지스틱 회귀를 순위 학습에 적용할 것을 제안했고,^[19] 버클리 연구 그룹과 함께 이를 활용하여 TREC에서 성공적으로 랭킹 함수를 훈련시켰다. 하지만 매닝(Manning) 등^[50]에 따르면, 당시에는 활용 가능한 훈련 데이터가 부족했고 기계 학습 기술의 발전이 미흡하여 이러한 초기 연구들은 제한적인 성과를 거두는 데 그쳤다.

이후 2000년대 중반부터는 NeurIPS, SIGIR, ICML와 같은 주요 학회들에서 순위 학습 문제를 다루는 워크숍이 정기적으로 개최되기 시작했다.

2. 2. 발전과 성장

노르베르트 푸어는 1992년에 기계 학습 기반 순위 결정(MLR)의 일반적인 아이디어를 소개하며, 정보 검색에서의 학습 접근 방식을 매개변수 추정의 확장으로 설명했다.^[49] 그는 이미 3년 전에 이 접근 방식의 특정 형태인 다항 회귀를 발표한 바 있다.^[18] 같은 해 빌 쿠퍼는 로지스틱 회귀를 동일한 목적으로 제안했고,^[19] 이를 버클리 연구 그룹과 함께 활용하여 TREC에서 성공적인 순위 결정 함수를 훈련시켰다. 하지만 매닝 등^[50]에 따르면, 당시에는 훈련 데이터가 부족하고 기계 학습 기술이 충분히 발달하지 않아 이러한 초기 연구들은 제한적인 성과를 거두었다.

2000년대 중반부터 NeurIPS, SIGIR, ICML과 같은 주요 학회들에서 순위 학습 문제를 다루는 워크숍이 개최되기 시작하면서 연구가 활발해졌다.

상업적인 웹 검색 엔진들도 2000년대부터 기계 학습 기반의 순위 결정 시스템을 도입하기 시작했다. 초창기 도입 사례 중 하나는 알타비스타로, 2003년 4월에 경사 부스팅으로 훈련된 순위 결정 함수를 선보였다. 이 기술은 이후 오버추어를 거쳐 야후로 인수되었다.^[51]^[52]

마이크로소프트 리서치가 2005년에 개발한 [https://www.microsoft.com/en-us/research/wp-content/uploads/2005/08/icml_ranking.pdf RankNet] 알고리즘은 빙의 검색 엔진에 활용되는 것으로 알려져 있다.^[53]

2009년 11월, 러시아의 검색 엔진 얀덱스는 자체 개발한 MatrixNet 알고리즘을 도입했다고 발표했다. 이는 무의식적 의사 결정 트리를 사용하는 경사 부스팅 기법의 변형으로, 검색 품질을 크게 향상시켰다고 평가받는다.^[54]^[55] 얀덱스는 실제 자사 검색 엔진 데이터를 기반으로 한 기계 학습 순위 결정 대회인 "인터넷 수학 2009"를 후원하기도 했다.^[56] 야후 역시 2010년에 유사한 대회를 개최했다.^[57]

한편, 2008년 당시 구글의 피터 노르빅은 자사 검색 엔진이 기계 학습 기반 순위 결정에만 전적으로 의존하지는 않는다고 밝혔다.^[58] Cuil의 CEO였던 톰 코스텔로는 클릭률이나 페이지 체류 시간 같은 지표를 측정했을 때, 기계 학습 모델이 "사람들이 실제로 좋아하는 것이 아니라, 사람들이 좋아한다고 말하는 것을 학습"하기 때문에 오히려 수작업으로 만든 모델이 더 나은 성능을 보인다고 주장하기도 했다.^[59]

2017년 1월에는 오픈 소스 소프트웨어 검색 엔진인 아파치 솔라에도 순위 학습 기술이 포함되었다.^[60] 또한 오픈 소스인 오픈 서치와 소스 사용 가능 소프트웨어인 엘라스틱서치에서도 이 기술을 사용할 수 있게 되었다.^[61]^[62] 이를 통해 기업용 검색 분야에서도 순위 학습 기술이 널리 활용될 수 있는 기반이 마련되었다.

3. 접근 방법

마이크로소프트 리서치 아시아의 티에얀 류(Tie-Yan Liu)는 그의 저서 《정보 검색을 위한 랭킹 학습》(Learning to Rank for Information Retrieval)에서 순위 학습 문제에 대한 기존 알고리즘들을 분석했다.^[1] 그는 입력 공간, 출력 공간, 가설 공간(모델의 핵심 기능), 그리고 손실 함수에 따라 알고리즘을 점별(Pointwise), 쌍별(Pairwise), 목록별(Listwise) 접근 방식으로 분류했다.

실제 적용에서는 목록별 접근 방식이 쌍별 접근 방식이나 점별 접근 방식보다 더 나은 성능을 보이는 경우가 많다. 이러한 경향은 다양한 순위 학습 방법의 성능을 비교한 대규모 벤치마크 데이터 세트 실험을 통해서도 확인되었다.^[14]

이 섹션 및 하위 섹션에서 사용되는 수학 기호는 다음과 같이 정의한다. 별도의 언급이 없는 한, $x$ 는 문서나 이미지처럼 평가 대상 객체를 나타내고, $f(x)$ 는 단일 값 가설(scoring function 등)을 나타낸다. $h(\cdot)$ 는 두 개 이상의 변수를 받는 함수를, $L(\cdot)$ 는 손실 함수를 나타낸다.

3. 1. 점별 접근법 (Pointwise Approach)

점별 접근법에서는 훈련 데이터에 포함된 각 쿼리-문서 쌍이 수치 또는 서수 형태의 점수를 가지고 있다고 가정한다. 이 가정을 바탕으로, 순위 학습 문제를 회귀 문제로 바꾸어 접근할 수 있다. 즉, 특정 쿼리와 문서가 주어졌을 때 해당 문서의 점수를 예측하는 모델을 만드는 것이다. 수학적으로 표현하면, 점별 접근법은 손실 함수

L(f; x_j, y_j)

를 최소화하는 함수

f(x)

를 학습하는 것을 목표로 한다. 이 함수

f(x)

는 문서

x

의 실제 점수 또는 서수 점수를 예측하는 역할을 한다.

이러한 목표를 달성하기 위해 기존의 다양한 지도 학습 알고리즘을 활용할 수 있다. 특히, 예측하려는 점수가 작고 유한한 개수의 값(예: 관련성 등급)을 가질 경우, 서수 회귀나 분류 알고리즘을 사용하여 개별 쿼리-문서 쌍의 점수를 예측하는 방식으로 점별 접근법을 구현할 수 있다.

3. 2. 쌍별 접근법 (Pairwise Approach)

이 경우, 순위 학습 문제는 두 문서 중 어떤 문서가 더 나은지를 식별할 수 있는 이진 분류기

h(x_u, x_v)

를 학습하는 분류 문제로 근사된다. 분류기는 두 문서를 입력으로 받으며, 목표는 손실 함수

L(h; x_u, x_v, y_{u,v})

를 최소화하는 것이다. 손실 함수는 일반적으로 유도된 순위에서 전치의 수와 크기를 반영한다.

많은 경우, 이진 분류기

h(x_u, x_v)

는 스코어링 함수

f(x)

로 구현된다. 예를 들어, RankNet^[15]은 확률 모델을 채택하여

h(x_u, x_v)

를 문서

x_u

가

x_v

보다 더 높은 품질을 가질 추정 확률로 정의한다.

:

P_{u, v}(f) =\text{CDF} (f(x_u) - f(x_v)),

여기서

\text{CDF}(\cdot)

는 누적 분포 함수이며, 예를 들어 표준 로지스틱 CDF는 다음과 같다.

:

\text{CDF}(x)=\frac{1}{1 + \exp\left[ - x \right]}.

3. 3. 목록별 접근법 (Listwise Approach)

목록별 접근법(Listwise Approach)은 훈련 데이터 내 모든 질의에 대해 평균화된 평가 척도의 값을 직접 최적화하고자 하는 방식이다. 하지만 대부분의 평가 척도는 순위 모델의 매개변수에 대해 연속적인 함수 형태가 아니기 때문에, 실제 적용에는 어려움이 따르는 경우가 많다. 이러한 문제를 해결하기 위해 평가 척도에 대한 연속적인 근사치를 사용하거나 특정 경계를 설정하는 방법들이 활용된다.^[16]

이러한 접근법의 예시로는 SoftRank 알고리즘이 있다.^[16] 또한, LambdaMART는 목록별 목적 함수를 근사하는 방식으로 알려져 있으며, 경험적으로 좋은 성능을 보이는 것으로 나타났다.^[17]

4. 특징 벡터 (Feature Vectors)

순위 학습 알고리즘에서는 쿼리와 문서 쌍을 다루기 쉽게 수치 벡터 형태로 표현하는데, 이를 ''특징 벡터''(Feature Vector^영어)라고 부른다. 이는 정보 검색 분야에서 문서를 표현할 때 사용하는 단어 가방 모델이나 벡터 공간 모델과 유사한 접근 방식으로, 때로는 ''특징의 가방''(bag of features^영어)이라고도 불린다.

특징 벡터를 구성하는 각 요소를 ''특징''(feature^영어), ''요인''(factor^영어), 또는 ''순위 신호''(ranking signal^영어)라고 한다. 문서 검색을 예로 들면, 이 특징들은 크게 세 가지 유형으로 나눌 수 있다.

'''쿼리 독립적 특징''' (또는 '''정적 특징'''): 쿼리 내용과 관계없이 문서 자체의 속성만을 나타내는 특징이다.
'''쿼리 의존적 특징''' (또는 '''동적 특징'''): 문서의 내용과 사용자 쿼리 모두에 따라 달라지는 특징이다.
'''쿼리 수준 특징''' (또는 '''쿼리 특징'''): 쿼리 자체의 속성만을 나타내는 특징이다.

각 특징 유형에 대한 자세한 설명은 해당 하위 섹션에서 다룬다. 좋은 특징을 선택하고 설계하는 과정은 기계 학습의 중요한 분야 중 하나인 특징 공학에 해당한다.

4. 1. 쿼리 독립적 특징 (Query-Independent Features)

''쿼리 독립적 특징''(Query-Independent Features^영어) 또는 ''정적 특징''(static features^영어)은 검색어(쿼리)와는 관계없이 문서 자체에만 의존하는 특징을 말한다. 예를 들어, 문서의 페이지랭크 점수나 문서의 길이 등이 여기에 해당한다. 이러한 특징들은 색인 생성 과정에서 미리 계산하여 오프라인 상태로 저장해 둘 수 있다. 이렇게 미리 계산된 특징들은 문서의 ''정적 품질 점수''(static quality score^영어) 또는 ''정적 순위''(static rank^영어)를 계산하는 데 사용될 수 있으며, 이는 종종 검색 쿼리 평가 속도를 높이는 데 활용된다.^[7]^[10]

4. 2. 쿼리 의존적 특징 (Query-Dependent Features)

쿼리 의존적 특징(Query-Dependent Features)은 동적 특징(dynamic features)이라고도 불리며, 문서의 내용과 사용자 질의(쿼리) 모두에 따라 값이 달라지는 특징을 의미한다. 이는 검색어와 문서 내용 사이의 관련성을 직접적으로 반영하는 중요한 지표로 사용된다.

대표적인 쿼리 의존적 특징으로는 다음과 같은 것들이 있다.

TF-IDF: 특정 단어가 문서 내에서 얼마나 자주 등장하는지(TF, Term Frequency)와 그 단어가 전체 문서 집합에서 얼마나 중요한지(IDF, Inverse Document Frequency)를 조합하여 계산하는 점수이다. 검색어에 포함된 단어의 TF-IDF 점수를 통해 문서의 관련성을 평가할 수 있다.
BM25: TF-IDF를 개선한 확률적 검색 모델 기반의 점수로, 문서 길이와 단어 빈도 등을 고려하여 관련성을 더욱 정교하게 측정한다.
언어 모델링 점수: 문서가 특정 쿼리를 생성할 확률을 계산하여 관련성을 평가하는 방식이다.

이 외에도 다양한 머신러닝 기반이 아닌 순위 함수들이 쿼리 의존적 특징으로 활용될 수 있다.

정보 검색 분야의 연구 및 개발에 널리 사용되는 [https://www.microsoft.com/en-us/research/project/letor-learning-rank-information-retrieval/ LETOR] 데이터셋에서는 다음과 같은 쿼리 의존적 특징들을 사용한다.

주어진 쿼리에 대한 문서의 각 영역(제목, 본문, 앵커 텍스트, URL)에서의 TF, TF-IDF, BM25, 언어 모델링 점수.

4. 3. 쿼리 수준 특징 (Query-Level Features)

기계 학습 기반 순위(MLR, Machine Learning to Rank) 알고리즘에서 쿼리-문서 쌍은 일반적으로 수치 벡터로 표현되는데, 이를 ''특징 벡터''라고 한다. 이 벡터를 구성하는 요소들을 ''특징''(feature), ''요인''(factor) 또는 ''순위 신호''(ranking signal)라고 부른다.

이러한 특징들은 크게 세 가지 그룹으로 나눌 수 있다.

'''쿼리 독립적 특징''' (Query-Independent Features) 또는 '''정적 특징''' (Static Features): 쿼리 내용과는 상관없이 문서 자체의 속성에만 의존하는 특징이다. 예를 들어, 문서의 페이지랭크 값이나 문서의 길이 등이 여기에 해당한다. 이런 특징들은 검색 시스템의 인덱싱 과정에서 미리 계산될 수 있다.^[7]^[10]
'''쿼리 의존적 특징''' (Query-Dependent Features) 또는 '''동적 특징''' (Dynamic Features): 문서의 내용과 사용자 쿼리 모두에 의존하는 특징이다. 예를 들어, 특정 쿼리에 대한 문서의 TF-IDF 점수나 BM25 점수 등이 있다.
'''쿼리 수준 특징''' (Query-Level Features) 또는 '''쿼리 특징''' (Query Features): 쿼리 자체의 속성에만 의존하는 특징이다. 예를 들어, 쿼리를 구성하는 단어의 수 등이 대표적인 쿼리 수준 특징이다.

5. 평가 지표 (Evaluation Measures)

기계 학습 순위(MLR) 알고리즘의 성능을 평가하고 다양한 모델을 비교하기 위해 여러 평가 지표(evaluation measure)가 사용된다. 이러한 지표들은 순위 학습 알고리즘을 최적화 문제로 정의하고 해결하는 데 기준으로 활용되기도 한다.

5. 1. 주요 평가 지표

알고리즘이 훈련 데이터에서 얼마나 잘 수행되는지 판단하고, 다양한 기계 학습 순위 알고리즘의 성능을 비교하는 데 일반적으로 사용되는 여러 가지 척도(메트릭)가 있다. 종종 순위 학습 문제는 이러한 메트릭 중 하나를 기준으로 최적화 문제로 재구성된다.

순위 품질 척도의 예는 다음과 같다.

평균 정밀도 평균(MAP)
할인 누적 이득(DCG) 및 정규화된 할인 누적 이득(NDCG)
정밀도@''n'', NDCG@''n'': 여기서 "@''n''"은 메트릭이 상위 ''n''개 문서에 대해서만 평가됨을 나타낸다.
평균 역순위(MRR)
켄달의 타우
스피어만의 로

DCG와 그 정규화된 형태인 NDCG는 여러 수준의 관련성이 사용될 때 학술 연구에서 일반적으로 선호된다.^[11] MAP, MRR, 정밀도와 같은 다른 메트릭은 이진(binary) 판단, 즉 관련 있음/없음의 두 가지 경우에 대해서만 정의된다.

최근에는 DCG 메트릭보다 사용자의 검색 결과 만족도를 더 잘 모델링한다고 주장하는 몇 가지 새로운 평가 메트릭이 제안되었다.

기대 역순위(Expected Reciprocal Rank, ERR)^[12]
얀덱스(Yandex)의 pfound^[13]

이러한 새로운 메트릭들은 모두 사용자가 덜 관련된 문서를 검토한 후보다 더 관련된 문서를 검토한 후에 검색 결과 보기를 중단할 가능성이 더 높다는 가정을 기반으로 한다.

5. 2. 사용자 만족도 기반 지표

최근에는 DCG와 같은 기존 평가 척도보다 사용자의 검색 결과 만족도를 더 잘 모델링한다고 여겨지는 새로운 평가 척도들이 제안되었다. 대표적인 예로는 다음과 같은 것들이 있다.

기대 역순위(ERR; Expected Reciprocal Rank)^[12]
얀덱스(Yandex)에서 제안한 pfound^[13]

이러한 척도들은 공통적으로 사용자가 검색 결과를 순서대로 확인할 때, 덜 관련된 문서를 본 후보다는 더 관련성 높은 문서를 발견했을 때 검색을 중단할 가능성이 높다는 가정에 기반한다. 즉, 사용자가 만족스러운 결과를 빨리 찾을수록 좋다는 관점을 반영하여 순위의 품질을 평가한다.

6. 응용 분야

순위 학습 기술은 다양한 분야에서 중요한 역할을 한다. 특히 정보 검색 분야에서는 검색 결과의 순위를 결정하는 핵심 기술로 사용되며, 문서 검색, 협업 필터링, 감성 분석, 온라인 광고 등 여러 영역에서 활용된다.

또한, 정보 검색 외에도 기계 번역에서 번역 결과의 품질 순위를 매기거나, 계산 생물학에서 단백질 구조 예측의 정확도를 평가하고, 추천 시스템에서 사용자에게 맞춤형 콘텐츠를 추천하는 등 다양한 문제 해결에 응용되고 있다.

6. 1. 정보 검색 (Information Retrieval)

순위는 정보 검색 문제에서 핵심적인 부분이다. 예를 들어 문서 검색, 협업 필터링, 감성 분석, 온라인 광고 등 다양한 분야에서 중요하게 활용된다.

오른쪽 그림은 기계 학습을 이용한 검색 엔진의 가능한 구조를 보여준다.

순위 학습 모델을 만들기 위한 훈련 데이터는 검색어(쿼리)와 그에 맞는 문서들, 그리고 각 문서가 검색어와 얼마나 관련 있는지 나타내는 관련성 정도(relevance degree)로 구성된다. 이러한 데이터는 사람이 직접 만들 수 있다. '평가자'(구글에서는 'rater'라고 부름)가 특정 검색어에 대한 검색 결과를 확인하고 각 결과의 관련성을 판단하는 방식이다. 하지만 모든 문서의 관련성을 사람이 일일이 확인하는 것은 현실적으로 어렵기 때문에, 보통 '풀링'(pooling)이라는 기법이 사용된다. 이는 기존의 다른 순위 모델이 찾아낸 상위 몇 개의 문서만을 대상으로 관련성을 평가하는 방식인데, 이 과정에서 특정 문서만 선택되는 편향이 발생할 수 있다.

훈련 데이터는 자동으로 생성될 수도 있다. 사용자들이 어떤 검색 결과를 클릭했는지 기록한 '클릭률 로그'^[3], 사용자의 검색어 변경 패턴을 분석하는 '쿼리 체인'^[4], 또는 구글 서치위키(현재는 서비스 종료됨)와 같은 검색 엔진의 부가 기능을 통해 데이터를 얻는 방법이다. 다만, 클릭률 로그는 사용자들이 이미 상위에 노출된 결과를 더 많이 클릭하는 경향이 있어 편향될 수 있다.

이렇게 준비된 훈련 데이터는 학습 알고리즘을 통해 실제 검색어에 대한 문서의 관련성을 계산하는 순위 모델을 만드는 데 사용된다.

일반적으로 사용자들은 검색 결과가 매우 빠르게(예: 웹 검색의 경우 수백 밀리초 이내) 나오기를 기대한다. 따라서 검색 대상이 되는 전체 문서(말뭉치, corpus) 하나하나에 복잡한 순위 모델을 적용하는 것은 시간상 불가능하다. 이를 해결하기 위해 보통 2단계 방식이 사용된다.^[5]

# 첫째, 벡터 공간 모델, 불리언 모델, 가중 AND,^[6] 또는 BM25와 같이 비교적 계산이 빠르면서도 검색어와 관련성이 있을 만한 문서들을 추려내는 간단한 검색 모델을 사용한다. 이 단계에서 잠재적으로 관련성이 높은 소수의 문서 집합(상위 ''k''개 문서)을 빠르게 식별한다. 이 과정의 속도를 높이기 위해 문서 자체의 정적인 품질 점수나 계층적인 색인 구조 등 다양한 기법들이 연구되었다.^[7] 이 단계를 ''상위 k 문서 검색''이라고 한다.

# 둘째, 첫 번째 단계에서 추려진 소수의 문서를 대상으로, 계산 비용은 더 많이 들지만 훨씬 정교하고 정확한 기계 학습 기반의 순위 모델을 적용하여 최종 순위를 다시 매긴다.

6. 2. 기타 분야

순위 학습 알고리즘은 정보 검색 외의 다른 분야에도 적용되어 왔다.

기계 번역 분야에서는 가설 번역의 순위를 매기는 데 사용된다.^[8]
계산 생물학 분야에서는 단백질 구조 예측 문제에서 후보 3차원 구조의 순위를 매기는 데 사용된다.^[8]
추천 시스템 분야에서는 사용자가 현재 뉴스 기사를 읽은 후 사용자에게 추천할 관련 뉴스 기사의 순위 목록을 식별하는 데 사용된다.^[9]

7. 한계 및 취약점

컴퓨터 비전의 인식 애플리케이션과 유사하게, 최근 신경망 기반 순위 학습 알고리즘 역시 후보와 쿼리 모두에 대한 은밀한 적대적 공격에 취약한 것으로 나타났다.^[63] 인간이 거의 인지할 수 없는 미세한 변화(방해, perturbation)만으로도 순위 결과를 임의로 변경할 수 있다. 또한, 특정 모델에 국한되지 않고 다른 모델에도 적용될 수 있는 '전이 가능한(transferable)' 적대적 예제가 존재한다는 사실이 밝혀졌다. 이는 공격자가 순위 시스템의 내부 구현 방식에 접근할 필요 없이 블랙 박스 형태의 적대적 공격을 가능하게 한다.^[63]^[64]

반대로, 이러한 순위 시스템의 견고함은 Madry 방어와 같은 적대적 방어 기법을 통해 향상될 수 있다.^[65]

8. 한국의 랭킹 학습 연구 및 적용

한국의 주요 IT 기업들은 순위 학습 기술을 다양한 서비스에 적극적으로 활용하고 있다. 대표적으로 네이버와 카카오 같은 기업들은 사용자의 검색 경험을 향상시키기 위해 순위 학습 기술을 도입했다. 특히, 딥러닝을 기반으로 한 고급 순위 학습 모델을 개발하고 적용하여 검색 결과의 정확성과 관련성을 높이는 데 주력하고 있다. 이러한 기술은 검색 서비스뿐만 아니라, 사용자 맞춤형 콘텐츠 추천이나 광고 시스템의 효율성을 높이는 데에도 중요한 역할을 한다. 국내 기업들은 자체적인 연구 개발을 통해 순위 학습 분야의 기술 발전에 기여하고 있으며, 관련 학계와의 협력도 활발히 이루어지고 있다.

참조

_[1] 논문 Learning to Rank for Information Retrieval
_[2] 서적 Foundations of Machine Learning The MIT Press
_[3] 논문 Optimizing Search Engines using Clickthrough Data http://www.cs.cornel[...] 2009-11-11
_[4] 논문 Query Chains: Learning to Rank from Implicit Feedback http://radlinski.org[...] 2009-12-19
_[5] 간행물 Early exit optimizations for additive machine learned ranking systems http://olivier.chape[...] 2009-12-23
_[6] 간행물 Proceedings of the twelfth international conference on Information and knowledge management http://cis.poly.edu/[...] 2009-12-15
_[7] 서적 Introduction to Information Retrieval Cambridge University Press
_[8] 논문 Learning to Rank with Partially-Labeled Data http://ssli.ee.washi[...] 2009-12-27
_[9] 간행물 Learning to Model Relatedness for News Recommendation http://sifaka.cs.uiu[...] 2011-08-27
_[10] 간행물 Beyond PageRank: Machine Learning for Static Ranking http://research.micr[...] 2009-11-18
_[11] 웹사이트 Archived copy http://www.stanford.[...] 2009-12-14
_[12] 논문 Expected Reciprocal Rank for Graded Relevance http://research.yaho[...]
_[13] 논문 Yandex at ROMIP'2009: optimization of ranking algorithms by machine learning methods http://romip.ru/romi[...] 2009-11-13
_[14] 논문 A cross-benchmark comparison of 87 learning to rank methods http://wwwhome.cs.ut[...] 2017-10-15
_[15] 저널 Learning to Rank using Gradient Descent https://www.microsof[...] 2005-08-01
_[16] 문서 SoftRank: optimizing non-smooth rank metrics
_[17] 저널 From RankNet to LambdaRank to LambdaMART: An Overview https://www.microsof[...] 2010-06-23
_[18] 논문 Optimum polynomial retrieval functions based on the probability ranking principle
_[19] 간행물 Proceedings of the 15th annual international ACM SIGIR conference on Research and development in information retrieval - SIGIR '92
_[20] 간행물 Sigir '94 https://link.springe[...] 2020-10-12
_[21] 저널 Greedy Function Approximation: A Gradient Boosting Machine https://www.jstor.or[...] 2001
_[22] 서적 Proceedings of the 29th annual international ACM SIGIR conference on Research and development in information retrieval Association for Computing Machinery 2006-08-06
_[23] 서적 Proceedings of the 30th annual international ACM SIGIR conference on Research and development in information retrieval Association for Computing Machinery 2007-07-23
_[24] 저널 Query-level loss functions for information retrieval https://linkinghub.e[...] 2008-03-01
_[25] 서적 2012 IEEE International Conference on Computational Intelligence and Cybernetics (CyberneticsCom) IEEE 2012-07-01
_[26] 논문 An efficient algorithm for learning to rank from preference graphs
_[27] 문서 From RankNet to LambdaRank to LambdaMART: An Overview https://www.microsof[...] 2017-11-10
_[28] 서적 Proceedings of the 25th international conference on Machine learning - ICML '08 Association for Computing Machinery 2008-07-05
_[29] 서적 Proceedings of the 31st annual international ACM SIGIR conference on Research and development in information retrieval Association for Computing Machinery 2008-07-20
_[30] 서적 Proceedings of the international conference on Web search and web data mining - WSDM '08 Association for Computing Machinery 2008-02-11
_[31] 간행물 Ranking Refinement and Its Application for Information Retrieval http://www.cs.pitt.e[...] 2012-04-06
_[32] 간행물 A Boosting Algorithm for Learning Bipartite Ranking Functions with Partially Labeled Data http://www-connex.li[...] 2010-08-02
_[33] 간행물 SortNet: learning to rank by a neural-based sorting algorithm http://research.micr[...] 2011-11-25
_[34] 서적 Proceedings of the 18th ACM conference on Information and knowledge management Association for Computing Machinery 2009-11-02
_[35] 간행물 Learning to Rank by Optimizing NDCG Measure http://www.cs.pitt.e[...] 2012-04-06
_[36] 서적 Proceedings of the 16th ACM SIGKDD international conference on Knowledge discovery and data mining Association for Computing Machinery 2010-07-25
_[37] 서적 Proceedings of the 23rd international conference on World wide web Association for Computing Machinery 2014-04-07
_[38] 서적 Proceedings of the Symposium on Applied Computing https://nottingham-r[...] Association for Computing Machinery 2017-04-03
_[39] 간행물 The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval
_[40] 학술지 A New and Flexible Approach to the Analysis of Paired Comparison Data http://jmlr.org/pape[...] 2019-09-17
_[41] arXiv Deep Architectures for Learning Context-dependent Ranking Functions 2018
_[42] 문서 Deep Metric Learning to Rank http://cs-people.bu.[...] Fatih Cakir, Kun He, Xide Xia, Brian Kulis, Stan Sclaroff 2019-05-14
_[43] 간행물 Proceedings of the 2019 ACM SIGIR International Conference on Theory of Information Retrieval
_[44] arXiv Optimizing Rank-based Metrics with Blackbox Differentiation 2020-03-18
_[45] 학술지 Differentiation of Blackbox Combinatorial Solvers 2019-12-04
_[46] 서적 Proceedings of the 29th ACM International Conference on Information & Knowledge Management Association for Computing Machinery 2021-04-26
_[47] 간행물 Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval
_[48] 학술지 PiRank: Scalable Learning To Rank via Differentiable Sorting 2021-11-27
_[49] 학술지 Probabilistic Models in Information Retrieval
_[50] 서적 Introduction to Information Retrieval Cambridge University Press
_[51] 문서 The MLR Story http://jopedersen.co[...] Jan O. Pedersen 2011-07-13
_[52] 특허 US Patent 7197497
_[53] 웹사이트 Bing Search Blog: User Needs, Features and the Science behind Bing http://www.bing.com/[...] 2009-11-19
_[54] 문서 Yandex corporate blog entry about new ranking model "Snezhinsk" http://webmaster.ya.[...] 2012-03-01
_[55] 문서 http://download.yand[...] 2010-06-01
_[56] 웹사이트 Yandex's Internet Mathematics 2009 competition page http://imat2009.yand[...] 2009-11-11
_[57] 웹사이트 Yahoo Learning to Rank Challenge http://learningtoran[...] 2010-02-26
_[58] 웹사이트 Are Machine-Learned Models Prone to Catastrophic Errors? http://anand.typepad[...] 2009-11-11
_[59] 웹사이트 Cuil Blog: So how is Bing doing? http://www.cuil.com/[...] 2009-06-26
_[60] 뉴스 How Bloomberg Integrated Learning-to-Rank into Apache Solr https://www.techatbl[...] 2017-02-28
_[61] 웹사이트 Learning to Rank for Amazon OpenSearch Service - Amazon OpenSearch Service https://docs.aws.ama[...] 2023-09-22
_[62] 웹사이트 Elasticsearch Learning to Rank: the documentation — Elasticsearch Learning to Rank documentation https://elasticsearc[...] 2023-09-22
_[63] arXiv Adversarial Ranking Attack and Defense
_[64] 학술지 Universal Perturbation Attack Against Image Retrieval https://openaccess.t[...] 2020-07-04
_[65] arXiv Towards Deep Learning Models Resistant to Adversarial Attacks 2017-06-19

본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com