추천 시스템

3. 추천 시스템의 역사

추천 시스템 개발의 선구적인 연구는 1979년 엘레인 리치(Elaine Rich)가 개발한 그런디(Grundy)라는 시스템에서 찾을 수 있다.^[30][31] 이 시스템은 사용자에게 특정 질문을 하여 얻은 답변을 바탕으로 사용자의 선호도를 파악하고, 이를 "고정관념"으로 분류하여 적합한 책을 추천했다.

1990년에는 컬럼비아 대학교의 유시 카를그렌(Jussi Karlgren)이 "디지털 책장"이라는 초기 추천 시스템에 대한 기술 보고서를 발표했다.^[32] 이후 1994년부터 스웨덴 왕립 공과대학(SICS)의 유시 카를그렌,^[33][34] MIT의 패티 메이스(Pattie Maes)가 이끄는 연구 그룹,^[35] 벨코어(Bellcore)의 윌 힐(Will Hill),^[36] 그리고 MIT의 폴 레즈닉(Paul Resnick)^[37][38](그의 그룹렌즈(GroupLens) 작업은 2010년 ACM 소프트웨어 시스템 상을 수상했다.)에 의해 대규모로 구현되고 연구되었다.

추천 시스템은 크게 협업 필터링 방식과 콘텐츠 기반 필터링(personality-based approach라고도 불림) 방식을 사용한다. 협업 필터링은 사용자의 과거 행동과 다른 사용자의 유사한 결정을 바탕으로 모델을 구축하여 사용자가 관심을 가질 만한 항목을 예측한다.^[10] 콘텐츠 기반 필터링은 항목의 특성을 활용하여 유사한 속성을 가진 추가 항목을 추천한다.^[11]

라스트닷에프엠(Last.fm)과 판도라 라디오(Pandora Radio)는 협업 필터링과 콘텐츠 기반 필터링의 차이점을 보여주는 대표적인 음악 추천 시스템이다.

• 라스트닷에프엠(Last.fm)은 사용자의 청취 기록을 분석하고 다른 사용자와 비교하여 유사한 관심사를 가진 사용자들이 자주 듣는 음악을 추천한다. 이는 협업 필터링의 예시이다.^[12]
• 판도라(Pandora)는 뮤직 지놈 프로젝트(Music Genome Project)에서 제공하는 400개의 음악 속성을 기반으로 유사한 속성을 가진 음악을 재생하며, 사용자 피드백을 통해 결과를 개선한다. 이는 콘텐츠 기반 접근 방식의 예이다.

4. 추천 시스템의 기술

추천 시스템은 협업 필터링과 콘텐츠 기반 필터링(personality-based approach라고도 불림) 방식을 사용하여 추천 목록을 만든다.^[10][11] 지식 기반 시스템과 같은 다른 시스템도 사용된다.

협업 필터링과 콘텐츠 기반 필터링의 차이점은 라스트닷에프엠(Last.fm)과 판도라 라디오(Pandora Radio)를 통해 비교할 수 있다.

• 라스트닷에프엠은 사용자가 정기적으로 듣는 밴드와 트랙을 관찰하고, 다른 사용자의 청취 행동과 비교하여 "스테이션"을 만든다. 유사한 관심사를 가진 다른 사용자가 자주 듣는 트랙을 재생하여 사용자에게 추천한다.^[12]
• 판도라는 뮤직 지놈 프로젝트(Music Genome Project)에서 제공하는 400개의 속성 중 일부를 사용하여 노래나 아티스트의 속성을 기반으로 "스테이션"을 생성한다. 사용자 피드백을 통해 "싫어요"를 누른 노래의 특정 속성 중요도를 낮추고, "좋아요"를 누른 노래의 다른 속성 중요도를 높여 결과를 개선한다.

4. 1. 세션 기반 추천 시스템 (Session-based Recommender Systems)

4. 2. 강화 학습 기반 추천 시스템 (Reinforcement Learning for Recommender Systems)

4. 3. 다기준 추천 시스템 (Multi-criteria Recommender Systems)

4. 4. 위험 인지 추천 시스템 (Risk-aware Recommender Systems)

4. 5. 모바일 추천 시스템 (Mobile Recommender Systems)

5. 인공지능의 응용

추천 시스템은 협업 필터링과 콘텐츠 기반 필터링 방식을 사용하여 추천 목록을 만든다. 지식 기반 시스템과 같은 다른 시스템도 사용되지만, 일반적으로 협업 필터링과 콘텐츠 기반 필터링 중 하나 또는 둘 다를 사용한다.^{[10] [11]}

협업 필터링과 콘텐츠 기반 필터링의 차이점은 라스트닷에프엠(Last.fm)과 판도라 라디오(Pandora Radio)를 통해 비교할 수 있다.

• 라스트닷에프엠은 사용자가 정기적으로 듣는 밴드와 트랙을 다른 사용자의 청취 기록과 비교하여 유사한 취향의 사용자가 자주 듣는 음악을 추천한다. 이는 사용자 행동을 활용하는 협업 필터링의 예시이다.^[12]
• 판도라는 뮤직 지놈 프로젝트(Music Genome Project)에서 제공하는 400개의 음악 속성을 사용하여 비슷한 속성을 가진 음악을 재생한다. 사용자 피드백을 통해 특정 속성의 중요도를 조정하여 결과를 개선하는 콘텐츠 기반 접근 방식이다.

5. 1. 협업 필터링에서의 KNN

5. 2. 신경망 (Neural Networks)

• '''시간 및 계절성''': 사용자가 플랫폼과 상호 작용하는 특정 시간, 날짜 또는 계절
• '''사용자 탐색 패턴''': 방문한 페이지 순서, 웹사이트의 여러 부분에 소비한 시간, 마우스 움직임 등
• '''외부 사회적 트렌드''': 외부 소셜 미디어의 정보

5. 2. 1. 2중 타워 모델 (Two-Tower Model)

• '''사용자 타워(User Tower)''': 사용자 특징(예: 상호작용 이력, 인구 통계학적 데이터)을 인코딩한다.
• '''아이템 타워(Item Tower)''': 아이템 특징(예: 메타데이터, 콘텐츠 임베딩)을 인코딩한다.

5. 3. 자연어 처리 (Natural Language Processing, NLP)

6. 구체적인 응용 사례

추천 시스템은 사용자의 선호도, 과거 행동, 유사 사용자 정보 등을 분석하여 사용자가 좋아할 만한 아이템을 추천해 주는 시스템이다. 구체적인 응용 사례는 다음과 같다.

• 아마존: 온라인 소매업체인 아마존은 사용자의 구매 내역, 검색 기록 등을 바탕으로 추천 상품을 제시한다.
• 라스트닷에프엠: 음악 서비스인 라스트닷에프엠은 사용자가 주로 듣는 음악, 밴드 등을 분석하고 다른 사용자와의 행동을 비교하여 음악을 추천한다.
• 넷플릭스: DVD 대여 서비스인 넷플릭스는 사용자가 높게 평가한 영화와 비슷한 특성을 가진 영화를 추천하거나, 비슷한 사용자들의 검색 및 시청 기록을 바탕으로 추천한다.
• 레딧: 뉴스 및 추천 시스템을 제공하는 레딧은 사용자의 관심사, 구독 정보 등을 바탕으로 뉴스와 콘텐츠를 추천한다.
• 츠타야 디스카스: DVD 및 CD 대여 서비스인 츠타야 디스카스는 사용자의 대여 기록, 평가 등을 바탕으로 DVD와 CD를 추천한다.

7. 평가

추천 알고리즘의 효과를 평가하기 위해서는 평가가 중요하다. 추천 시스템의 효과를 측정하고 서로 다른 접근 방식을 비교하기 위해 사용자 연구, 온라인 평가(A/B 테스트), 오프라인 평가의 세 가지 유형의 평가가 있다.^[42]

일반적으로 사용되는 지표는 평균 제곱 오차와 제곱근 평균 제곱 오차이며, 후자는 넷플릭스 프라이즈에서 사용되었다. 정밀도 및 재현율 또는 DCG와 같은 정보 검색 지표는 추천 방법의 품질을 평가하는 데 유용하다.

고정된 테스트 데이터 세트에서 추천 알고리즘의 성능을 평가하는 것은 실제 사용자의 추천에 대한 반응을 정확하게 예측하는 것이 불가능하기 때문에 매우 어렵다. 따라서 오프라인 데이터에서 알고리즘의 효과를 계산하는 모든 지표는 부정확할 수 있다.

사용자 연구는 규모가 상당히 작다. 수십 명 또는 수백 명의 사용자에게 서로 다른 추천 접근 방식에 의해 생성된 추천이 제시되고, 사용자는 어떤 추천이 가장 좋은지 판단한다.

A/B 테스트에서는 추천이 일반적으로 실제 제품의 수천 명의 사용자에게 표시되며, 추천 시스템은 추천을 생성하기 위해 적어도 두 가지 서로 다른 추천 접근 방식을 무작위로 선택한다. 효과는 전환율 또는 클릭률과 같은 암시적 효과 측정값으로 측정된다.

오프라인 평가는 과거 데이터(예: 사용자가 이전에 영화를 평가한 방법에 대한 정보가 포함된 데이터 세트)를 기반으로 한다.^[86] 추천 접근 방식의 효과는 추천 접근 방식이 데이터 세트에서 사용자의 평가를 얼마나 잘 예측할 수 있는지에 따라 측정된다. 평가는 사용자가 영화를 좋아했는지에 대한 명시적인 표현이지만, 모든 영역에서 이러한 정보를 사용할 수 있는 것은 아니다. 예를 들어, 인용 추천 시스템 영역에서 사용자는 일반적으로 인용 또는 추천된 기사를 평가하지 않는다. 이러한 경우 오프라인 평가는 암시적 효과 측정값을 사용할 수 있다. 예를 들어, 연구 기사의 참고 목록에 포함된 가능한 한 많은 기사를 추천할 수 있는 추천 시스템이 효과적이라고 가정할 수 있다.

그러나 이러한 종류의 오프라인 평가는 많은 연구자들에 의해 비판적으로 여겨진다.^{[87][88][89][42]} 예를 들어, 오프라인 평가 결과는 사용자 연구 또는 A/B 테스트 결과와 상관관계가 낮다는 것이 입증되었다.^[89][90] 오프라인 평가에 자주 사용되는 데이터 세트에는 중복 데이터가 포함되어 있어 알고리즘 평가에서 잘못된 결론으로 이어지는 것으로 나타났다.^[91] 종종 소위 오프라인 평가의 결과는 실제로 평가된 사용자 만족도와 상관관계가 없다.^[92] 이는 아마도 오프라인 교육이 접근 가능한 항목에 크게 치우쳐 있고, 오프라인 테스트 데이터가 온라인 추천 모듈의 출력에 크게 영향을 받기 때문일 것이다.^[87][93] 연구자들은 오프라인 평가 결과를 비판적으로 검토해야 한다는 결론을 내렸다.^[94]

추천 시스템은 오프라인 평가가 매우 어려운 것으로 악명이 높으며, 일부 연구자들은 이로 인해 추천 시스템 논문에서 재현성 위기가 초래되었다고 주장한다. 재현성 문제는 일부 기계 학습 논문 발표 장소에서 반복적으로 제기되는 문제이지만, 과학 논문 발표 분야를 넘어서는 상당한 영향은 미치지 않는다. 추천 시스템의 맥락에서 2019년 한 논문은 최상위 학회(SIGIR, KDD, WWW, RecSys, IJCAI)에 발표된 상위 k 추천 문제에 딥러닝 또는 신경망 방법을 적용한 소수의 엄선된 논문들을 조사하여 평균적으로 40% 미만의 논문만이 설문 조사 저자들에 의해 재현될 수 있었으며, 일부 학회에서는 14%에 불과하다는 것을 보여주었다. 해당 논문은 오늘날 연구 학문의 여러 잠재적 문제점들을 고려하고 그 분야에서 개선된 과학적 관행을 제안한다.^{[107][108][109]}

같은 방법들의 벤치마킹에 대한 최근 연구는 정성적으로 매우 다른 결과를 보였다.^[110] 신경망 방법이 최고 성능의 방법 중 하나로 나타났다. 추천 시스템을 위한 딥러닝 및 신경망 방법은 최근 여러 추천 시스템 경진 대회, WSDM,^[111] RecSys 챌린지^[112]에서 우승 솔루션에 사용되었다.

또한, 신경망 및 딥러닝 방법은 업계에서 광범위하게 사용되며 광범위하게 테스트된다.^{[113][64][65]} 추천 시스템에서 재현성 문제는 새로운 것이 아니다. 2011년까지 Ekstrand, Konstan 등은 "현재 추천 시스템 연구 결과를 재현하고 확장하기 어렵다"고 비판했으며, 평가가 "일관되게 처리되지 않는다"고 지적했다.^[114] 콘스탄과 아도마비시우스는 "추천 시스템 연구 커뮤니티는 상당수의 논문이 집단적 지식에 거의 기여하지 않는 결과를 제시하는 위기에 직면해 있으며 [...] 종종 연구에 [...] 적절한 평가가 부족하여 의미 있는 기여를 제공하지 못하기 때문이다"라고 결론지었다.^[115] 결과적으로 추천 시스템에 대한 많은 연구는 재현할 수 없는 것으로 간주될 수 있다.^[116] 따라서 추천 시스템 운영자는 추천 시스템에서 어떤 추천 접근 방식을 사용할지에 대한 질문에 답하기 위해 현재 연구에서 거의 지침을 찾을 수 없다. Said와 Bellogín은 해당 분야에 발표된 논문을 연구하고 가장 인기 있는 추천 프레임워크 중 일부를 벤치마킹하여 동일한 알고리즘과 데이터 세트를 사용한 경우에도 결과에 큰 불일치가 있음을 발견했다.^[117] 일부 연구자들은 추천 알고리즘이나 시나리오의 사소한 변화가 추천 시스템의 효과에 큰 변화를 가져온다는 것을 보여주었다. 그들은 현재 상황을 개선하기 위해 7가지 조치가 필요하다고 결론지었습니다.^[116] "(1) 다른 연구 분야를 조사하고 그곳에서 배우고, (2) 재현성에 대한 공통된 이해를 찾고, (3) 재현성에 영향을 미치는 결정 요인을 식별하고 이해하고, (4) 보다 포괄적인 실험을 수행하고 (5) 출판 관행을 현대화하고, (6) 추천 프레임워크의 개발 및 사용을 촉진하고, (7) 추천 시스템 연구를 위한 모범 사례 지침을 수립한다."

7. 1. 정확도 지표

7. 2. 정확도 외 지표

• 다양성 (Diversity): 사용자들은 서로 다른 아티스트의 아이템과 같이 더 높은 intra-list 다양성을 가진 추천을 선호하는 경향이 있다.
• 추천 지속성 (Recommender persistence): 어떤 경우에는 추천을 다시 보여주거나 사용자가 아이템을 다시 평가하도록 하는 것이 더 효과적일 수 있다.
• 개인 정보 보호 (Privacy): 추천 시스템은 사용자가 민감한 정보를 공개해야 하므로 개인 정보 보호 문제를 해결해야 한다. 협업 필터링을 사용하여 사용자 프로필을 만드는 것은 개인 정보 보호 측면에서 문제가 될 수 있다. 많은 유럽 국가들은 데이터 프라이버시에 대한 강력한 문화를 가지고 있으며, 사용자 프로필을 만드는 어떠한 단계를 도입하려는 시도는 부정적인 사용자 반응을 초래할 수 있다.^[10] Netflix Prize competition을 위해 Netflix에서 제공한 데이터 셋과 관련하여 많은 개인 정보 보호 문제가 발생했다. 데이터 셋은 고객의 개인 정보를 보호하기 위해 익명화되었지만, 2007년 텍사스 대학의 두 연구자는 인터넷 영화 데이터베이스(IMDB)의 영화 평가 데이터 셋과 매칭하여 사용자 개개인을 식별할 수 있었다. 그 결과, 2009년 12월 한 익명의 Netflix 사용자가 Netflix를 고소했고, 이는 2010년 두 번째 Netflix Prize competition을 취소하는 데 부분적으로 영향을 미쳤다. 많은 연구들이 이 영역에서 진행 중인 개인 정보 보호 문제를 다루고 있다. Ramakrishnan은 개인화와 정보 보호 사이의 교환에 대한 확장적인 개요를 제시했고, 다른 데이터 소스와 약한 연결(우연히 발견한 추천을 제공하는 예상치 못한 연결)의 조합이 익명화된 데이터 셋에서 사용자의 정체를 발견하는 데 사용될 수 있음을 발견했다.
• 사용자 인구 통계 (User demographics): Beel은 사용자 인구 통계가 사용자가 추천에 얼마나 만족하는지에 영향을 줄 수 있음을 발견했다. 그들의 연구에서 나이가 많은 사용자들이 어린 사용자들보다 추천에 더 관심을 보이는 경향이 있다는 것을 증명했다.
• 견고성 (Robustness): 사용자가 추천 시스템에 참여할 수 있을 때, 속임수 문제(the issue of fraud)는 반드시 다뤄져야 한다.
• 뜻밖의 발견 (Serendipity): 뜻밖의 발견(Serendipity)은 추천 시스템이 얼마나 놀라운 결과를 제공하는지에 대한 척도이다. 예를 들어, 마트에서 고객에게 우유를 추천하는 시스템은 완벽하게 정확할 수 있지만, 고객이 구매할 품목이 너무 명백하기 때문에 좋은 추천이라고 할 수 없다. 그러나 뜻밖의 발견은 정확도에 부정적인 영향을 줄 수 있다.
• 신뢰 (Trust): 추천 시스템은 사용자가 시스템을 신뢰하지 않으면 가치가 없다. 신뢰는 추천이 어떻게 만들어졌는지, 왜 이 아이템을 추천했는지를 설명함으로써 쌓을 수 있다.
• 라벨링 (Labelling): 추천에 대한 사용자의 만족도는 추천의 라벨링(그룹 짓기, 이름 짓기)에 따라 영향을 받을 수 있다. 예를 들어, 한 연구에서 "sponsored"로 표시된 추천의 클릭률(CTR)은 "Organic"으로 표시된 동일한 추천의 CTR보다 낮았다. 해당 연구에서 라벨이 없는 추천이 가장 좋은 성능을 보였다.

7. 3. 평가 방법

8. 한계점

추천 시스템은 협업 필터링이나 콘텐츠 기반 필터링(personality-based approach라고도 불림) 방식을 주로 사용하며, 각 방식은 장단점이 있다. 예를 들어, 음악 추천 시스템인 라스트닷에프엠(Last.fm)은 사용자의 청취 기록과 다른 사용자의 행동을 비교하여 추천하지만, 정확한 추천을 위해 많은 정보가 필요하다. 반면, 판도라 라디오(Pandora Radio)는 음악의 특성을 기반으로 추천하여 시작 시 정보가 적게 필요하지만, 추천 범위가 제한적이다.^{[12][13][14][15][16][17][18]} 이는 콜드 스타트 문제와 관련이 있다.

추천 시스템 연구는 정확도 외에도 다음과 같은 다양한 요소를 고려해야 한다.

• 다양성(Diversity): 사용자들은 추천 목록 내의 다양성이 높을수록 만족하는 경향이 있다.
• 추천 지속성(Recommender persistence): 경우에 따라 추천을 다시 보여주거나 사용자가 항목을 다시 평가하도록 하는 것이 효과적일 수 있다.
• 개인 정보 보호(Privacy): 추천 시스템은 사용자의 민감한 정보를 다루므로 개인 정보 보호 문제가 중요하다. 협업 필터링을 사용한 사용자 프로필 생성은 특히 문제가 될 수 있으며, 유럽 국가들과 같이 개인 정보 보호 문화가 강한 곳에서는 부정적인 반응을 일으킬 수 있다.^[10] 넷플릭스(Netflix) 데이터셋의 익명화에도 불구하고, 사용자 개인 식별이 가능했던 사례는 이 문제를 보여준다.
• 사용자 인구 통계(User demographics): 사용자의 인구 통계적 특성(예: 연령)은 추천 만족도에 영향을 줄 수 있다.
• 견고성(Robustness): 사용자가 추천 시스템에 참여할 때, 속임수(fraud) 문제를 다루어야 한다.
• 뜻밖의 발견(Serendipity): 추천 시스템이 얼마나 놀라운 결과를 제공하는지를 나타내는 지표이다. 너무 명백한 추천은 정확하더라도 유용하지 않을 수 있다. 하지만, 뜻밖의 발견은 정확도에 부정적인 영향을 줄 수도 있다.
• 신뢰(Trust): 사용자가 시스템을 신뢰해야 추천 시스템이 가치를 가진다. 추천의 이유를 설명함으로써 신뢰를 쌓을 수 있다.
• 라벨링(Labelling): 추천에 대한 사용자의 만족도는 추천에 어떤 레이블(예: "sponsored", "organic")이 붙어있는지에 따라 달라질 수 있다.

9. 주요 국제 학회

• Recsys
• 웹 검색 및 데이터 마이닝 (WSDM)
• SIG 정보 검색 (SIGIR)
• 웹 컨퍼런스 (TheWebConf, 구칭 WWW)
• 지식 발견 및 데이터 마이닝 (KDD)
• 정보 및 지식 관리 컨퍼런스 (CIKM)

10. 연구 그룹

• 그룹렌즈
• 프라이부르크 대학교 정보학과 데이터베이스 및 정보시스템 연구소 차세대 추천 시스템
• 카를스루에 공과대학교 정보시스템 및 관리학과
• 사우샘프턴 대학교 인공지능 및 기계학습 연구 그룹
• 오레곤 주립대학교 정보과학 연구소 CoFE
• 듀인 추천 프레임워크
• 텍사스 대학교 오스틴 캠퍼스 라이브러리 추천 시스템
• 클라겐푸르트 대학교 지능 시스템 및 비즈니스 정보학 연구 그룹
• 프리부르 대학교 통계물리학 연구 그룹

참조

_[1] 잡지 How Computers Know What We Want — Before We Do http://www.time.com/[...] 2010-05-27
_[2] 학술지 A systematic review and research perspective on recommender systems 2022
_[3] 학회 Proceedings of the 22nd International Conference on World Wide Web Association for Computing Machinery 2013
_[4] 학술지 A capable multimedia content discovery platform based on visual content analysis and intelligent data enrichment 2018-06-01
_[5] 논문 ExpertSeer: a Keyphrase Based Expert Recommender for Digital Libraries https://arxiv.org/ab[...] 2015
_[6] 학회 Proceedings of the 11th Annual International ACM/IEEE Joint Conference on Digital Libraries Association for Computing Machinery 2011
_[7] 학회 Proceedings of the 19th National Conference on Innovative Applications of Artificial Intelligence, vol. 2 https://dl.acm.org/d[...]
_[8] 학술지 How to tame the flood of literature : Nature News & Comment Nature.com 2014-09-03
_[9] 웹사이트 Netflix Revamps iPad App to Improve Content Discovery https://www.wired.co[...] WIRED 2011-12-14
_[10] 백과사전 Encyclopedia of Machine Learning Springer 2010
_[11] 학회 Content-based book recommendation using learning for text categorization
_[12] 학술지 Last.fm: People-Powered Online Radio 2009-06-01
_[13] 학술지 Differentiating Regularization Weights -- A Simple Mechanism to Alleviate Cold Start in Recommender Systems 2019-01-09
_[14] 서적 Recommender Systems Handbook Springer US 2016
_[15] 학술지 Improving collaborative filtering recommender system results and performance using genetic algorithms 2011
_[16] 학술지 A survey of active learning in collaborative filtering recommender systems https://www.research[...]
_[17] 학회 Methods and Metrics for Cold-Start Recommendations https://archive.org/[...] Association for Computing Machinery
_[18] 학술지 A group-specific recommender system. https://amstat.tandf[...]
_[19] 특허 System and method for providing recommendation of goods and services based on recorded purchasing history https://patentimages[...] 2007-05-22
_[20] 특허 Customized electronic newspapers and advertisements 2009-01-27
_[21] 특허 System and method for providing access to data using customer profiles https://patentimages[...] 2011-11-08
_[22] 특허 Playlist-based detection of similar digital works and work creators https://patents.goog[...] 2013-06-18
_[23] 특허 Automated detection and exposure of behavior-based relationships between browsable items https://patentimages[...] 2015-06-30
_[24] 웹사이트 Recommender-System Software Libraries & APIs – RS_c https://recommender-[...]
_[25] 서적 Computer Science Faculty Publications and Presentations Boise State University, ScholarWorks 2018-08-21
_[26] 서적 Proceedings of the 17th ACM Conference on Recommender Systems ACM 2023-09-14
_[27] 서적 Proceedings of the 30th ACM International Conference on Information & Knowledge Management ACM 2021-10-26
_[28] 서적 18th ACM Conference on Recommender Systems ACM 2024-10-08
_[29] 서적 Proceedings of the 16th ACM Conference on Recommender Systems ACM 2022-09-18
_[30] 학술지 Paper recommender systems: a literature survey 2016
_[31] 학술지 User modeling via stereotypes 1979
_[32] 논문 An Algebra for Recommendations https://jussikarlgre[...] 1990
_[33] 논문 Newsgroup Clustering Based On User Behavior-A Recommendation Algebra http://soda.swedish-[...] 1994
_[34] 웹사이트 A digital bookshelf: original work on recommender systems https://jussikarlgre[...] 2017-10
_[35] 논문 Social information filtering: algorithms for automating "word of mouth" http://citeseerx.ist[...] 1995
_[36] 논문 Recommending and evaluating choices in a virtual community of use http://zhang.ist.psu[...] ACM Press/Addison-Wesley Publishing Co.
_[37] 논문 GroupLens: an open architecture for collaborative filtering of netnews https://sites.ualber[...] ACM
_[38] 논문 Recommender systems
_[39] 논문 A Taxonomy of Recommender Agents on the Internet 2003-06-01
_[40] 논문 Toward the Next Generation of Recommender Systems: A Survey of the State-of-the-Art and Possible Extensions http://portal.acm.or[...] 2005-06-01
_[41] 논문 Evaluating collaborative filtering recommender systems 2004-01-01
_[42] 논문 A comparative analysis of offline and online evaluations and discussion of research paper recommender system evaluation http://docear.org/pa[...] 2013-10-01
_[43] 논문 Research paper recommender system evaluation: A quantitative literature survey http://docear.org/pa[...] 2013-10-01
_[44] 논문 Research Paper Recommender Systems: A Literature Survey http://nbn-resolving[...] 2015-07-26
_[45] 논문 Empirical analysis of predictive algorithms for collaborative filtering
_[46] 보고서 Empirical Analysis of Predictive Algorithms for Collaborative Filtering http://research.micr[...] Microsoft Research
_[47] 논문 Matrix Factorization Techniques for Recommender Systems 2009-08-01
_[48] 웹사이트 Application of Dimensionality Reduction in Recommender System A Case Study http://glaros.dtc.um[...]
_[49] 서적 User Models: Theory, Method, Practice International J. Man-Machine Studies
_[50] 논문 Using viewing time to infer user preference in recommender systems 2004-07-01
_[51] 서적 Discovery of Hidden Similarity on Collaborative Filtering to Overcome Sparsity Problem https://books.google[...]
_[52] 논문 A Multi-Armed Bandit Model Selection for Cold-Start User Recommendation https://hal.inria.fr[...] 2017-07-09
_[53] 특허 Collaborative Recommendations Using Item-to-Item Similarity Mappings http://patft.uspto.g[...]
_[54] 서적 Recommender Systems Handbook Springer
_[55] 서적 Recommender Systems: The Textbook Springer
_[56] 서적 The Adaptive Web https://archive.org/[...] Springer
_[57] 논문 A content-based recommender system for computer science publications
_[58] 뉴스 Online Recommender Systems – How Does a Website Know What I Want? http://blogs.ams.org[...] 2015-05-25
_[59] 논문 The Deep Learning–Based Recommender System "Pubmender" for Choosing a Biomedical Publication Venue: Development and Validation Study https://www.jmir.org[...]
_[60] 논문 The Knowledge Reengineering Bottleneck http://www.semantic-[...] IOS Press
_[61] 논문 The Netflix Recommender System 2015-12-28
_[62] 서적 Hybrid Web Recommender Systems http://www.dcs.warwi[...] Springer-Verlag
_[63] 논문 Session-based Recommendations with Recurrent Neural Networks 2016-03-29
_[64] 논문 Top-K Off-Policy Correction for a REINFORCE Recommender System
_[65] 논문 Temporal-Contextual Recommendation in Real-Time
_[66] 논문 Recurrent Neural Networks with Top-k Gains for Session-based Recommendations 2018-10-17
_[67] 논문 Self-Attentive Sequential Recommendation
_[68] 논문 Neural Attentive Session-based Recommendation 2017-11-06
_[69] 논문 STAMP 2018-07-19
_[70] 논문 Self-Supervised Reinforcement Learning for Recommender Systems
_[71] 논문 SlateQ: A Tractable Decomposition for Reinforcement Learning with Recommendation Sets https://research.goo[...]
_[72] 논문 Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining
_[73] 논문 Multicriteria User Modeling in Recommender Systems 2011-03-01
_[74] 웹사이트 Multi-Criteria Recommender Systems http://ids.csom.umn.[...]
_[75] 논문 DRARS, A Dynamic Risk-Aware Recommender System http://tel.archives-[...] Institut National des Télécommunications
_[76] 학회발표 An Energy-Efficient Mobile Recommender System http://www.winlab.ru[...] ACM 2011-11-17
_[77] 논문 Mobile recommender systems: Identifying the major concepts 2018-08-03
_[78] 뉴스 A $1 Million Research Bargain for Netflix, and Maybe a Model for Others https://www.nytimes.[...] 2009-09-22
_[79] 웹사이트 The BellKor solution to the Netflix Prize http://www.netflixpr[...] 2009-04-30
_[80] 웹사이트 Mátrixfaktorizáció one million dollars http://index.hu/tech[...] 2009-08-06
_[81] 웹사이트 Rise of the Netflix Hackers https://www.wired.co[...]
_[82] 잡지 Netflix Spilled Your Brokeback Mountain Secret, Lawsuit Claims https://www.wired.co[...] 2015-06-01
_[83] 웹사이트 Netflix Prize Update http://blog.netflix.[...] Netflix Prize Forum 2011-12-14
_[84] 논문 Temporal diversity in recommender systems http://www.academia.[...] ACM, New York
_[85] 학회발표 Proceedings of the 24th annual international ACM SIGIR conference on Research and development in information retrieval
_[86] 웹사이트 MovieLens dataset https://grouplens.or[...] 2013-09-06
_[87] 논문 Common Pitfalls in Training and Evaluating Recommender Systems 2017-09-01
_[88] 서적 User Modeling, Adaptation, and Personalization https://archive.org/[...] Springer Berlin Heidelberg 2013-06-10
_[89] 학회발표 Proceedings of the 24th annual international ACM SIGIR conference on Research and development in information retrieval ACM 2001-01-01
_[90] 서적 Research and Advanced Technology for Digital Libraries Springer International Publishing 2015-09-14
_[91] 학회발표 Proceedings of the 2017 SIAM International Conference on Data Mining
_[92] 학회발표 Proceedings of the International Workshop on Reproducibility and Replication in Recommender Systems Evaluation ACM 2013-01-01
_[93] 학회발표 Should I Follow the Crowd? A Probabilistic Analysis of the Effectiveness of Popularity in Recommender Systems http://ir.ii.uam.es/[...] ACM 2018-07-01
_[94] 논문 Offline Evaluation Options for Recommender Systems http://ir.ii.uam.es/[...] Springer 2020-03-01
_[95] 학회발표 Proceedings of the 14th international conference on World Wide Web
_[96] 서적 Recommender Systems Handbook Springer US 2015
_[97] 서적 Proceedings of the 17th International Conference on Theory and Practice of Digital Libraries (TPDL 2013) Springer 2013-09-01
_[98] 학회발표 Proceedings of the SIGCHI conference on Human factors in computing systems
_[99] 논문 Evaluating recommender systems from the user's perspective: survey of the state of the art http://doc.rero.ch/r[...]
_[100] 논문 Privacy risks in recommender systems https://archive.org/[...] IEEE Educational Activities Department
_[101] 서적 Proceedings of the 17th International Conference on Theory and Practice of Digital Libraries (TPDL 2013) Springer 2013-09-01
_[102] 논문 Recommender systems: from algorithms to user experience https://link.springe[...]
_[103] 서적 Recommender systems handbook
_[104] 논문 Do not blame it on the algorithm: an empirical assessment of multiple recommender systems and their impact on content diversity https://www.tandfonl[...] 2018-07-03
_[105] 학회발표 Proceedings of the first international joint conference on Autonomous agents and multiagent systems: part 1
_[106] 학술대회 논문 Proceedings of the 17th International Conference on Theory and Practice of Digital Libraries (TPDL 2013) 2013-12-02
_[107] 저널 A Troubling Analysis of Reproducibility and Progress in Recommender Systems Research https://dl.acm.org/d[...] 2021-01-08
_[108] 서적 Proceedings of the 13th ACM Conference on Recommender Systems ACM 2019-00-00
_[109] 서적 Fourteenth ACM Conference on Recommender Systems 2020-09-22
_[110] 서적 Fourteenth ACM Conference on Recommender Systems ACM
_[111] 저널 Using Deep Learning to Win the Booking.com WSDM WebTour21 Challenge on Sequential Recommendations https://web.ec.tuwie[...] ACM
_[112] 서적 Proceedings of the ACM Recommender Systems Challenge 2018 ACM
_[113] 발표자료 Deep Learning for Recommender Systems https://www2.slidesh[...]
_[114] 서적 Proceedings of the fifth ACM conference on Recommender systems ACM 2011-01-01
_[115] 서적 Proceedings of the International Workshop on Reproducibility and Replication in Recommender Systems Evaluation ACM 2013-01-01
_[116] 저널 Towards reproducibility in recommender-systems research http://nbn-resolving[...] 2016-03-12
_[117] 서적 Proceedings of the 8th ACM Conference on Recommender systems ACM 2014-10-01
_[118] 학술대회 논문 2020 2nd International Conference on Advances in Computing, Communication Control and Networking (ICACCCN) 2020-00-00
_[119] 저널 A systematic review: machine learning based recommendation systems for e-learning. 2020-07-00
_[120] 저널 Artificial intelligence in recommender systems 2021-02-00
_[121] 저널 A Survey on Accuracy-Oriented Neural Recommendation: From Collaborative Filtering to Information-Rich Recommendation 2023-05-00
_[122] 저널 Explaining Deep Neural Networks and Beyond: A Review of Methods and Applications 2021-03-00
_[123] 학술대회 논문 A scalable two-tower model for estimating user interest in recommendations
_[124] 블로그 Scaling Deep Retrieval with Two-Tower Models https://cloud.google[...] Google Cloud Blog 2022-11-30
_[125] 서적 Introduction to natural language processing MIT press 2019-10-00
_[126] 저널 "Extending and Customizing Content Discovery for the Legal Academic Com" by Sima Mirkin http://digitalcommon[...] Digital Commons @ American University Washington College of Law 2014-06-04
_[127] 웹사이트 Mendeley, Elsevier and the importance of content discovery to academic publishers http://www.publishin[...]
_[128] 웹사이트 Social media algorithms can be redesigned to bridge divides — here's how https://www.niemanla[...] 2023-10-31
_[129] 웹사이트 Bridging-Based Ranking https://www.belferce[...] 2022-05-17
_[130] 웹사이트 Elon Musk keeps Birdwatch alive — under a new name https://www.poynter.[...] 2022-11-08
_[131] 웹사이트 YouTube's community notes feature rips a page out of X's playbook https://www.engadget[...] 2024-06-17
_[132] 웹사이트 YouTube Adding Experimental Community Notes Feature to Battle Misinformation https://gizmodo.com/[...] 2024-06-17
_[133] 웹사이트 Bridging-Based Ranking https://www.belferce[...] 2022-05-17
_[134] 잡지 The New Face of TV http://viewer.zmags.[...]
_[135] 학술대회 논문 Using viewing time to infer user preference in recommender systems. AAAI Workshop in Semantic Web Personalization, San Jose, California 2004-07-00
_[136] 저널 Toward the Next Generation of Recommender Systems: A Survey of the State-of-the-Art and Possible Extensions http://portal.acm.or[...] 2005-06-00
_[137] 저널 Evaluating collaborative filtering recommender systems http://portal.acm.or[...] 2004-01-00
_[138] 웹사이트 Application of Dimensionality Reduction in Recommender System A Case Study http://glaros.dtc.um[...]
_[139] 웹사이트 The BellKor solution to the Netflix Prize http://www.netflixpr[...] 2007-00-00
_[140] 웹사이트 k-nearest neighbors algorithm https://en.wikipedia[...] 2019-01-10