협업 필터링

3. 방법론

협업 필터링은 일반적으로 두 가지 단계를 거쳐 작동한다.^[1]

1. 기존 사용자 중 예측의 기반이 될 만한 그룹과 비슷한 행동 패턴을 보이는 다른 사용자들을 찾는다.

2. 1단계에서 찾아낸 유사 사용자들의 행동 데이터를 수치화하여 대상 사용자의 미래 행동이나 선호를 예측하는 데 활용한다.

협업 필터링을 구현하는 방식에는 여러 가지가 있으며, 크게 사용자 기반 접근과 아이템 기반 접근으로 나눌 수 있다.
사용자 기반 접근은 사용자들 간의 유사성을 기반으로 추천하는 방식이다. 대표적으로 다음과 같은 방법들이 있다.

• 암시적 관찰 기반: 사용자들이 직접 평가나 선호도를 표시하지 않더라도, 시스템은 사용자의 행동(예: 어떤 음악을 들었는지, 어떤 상품을 구매했는지 등)을 암묵적으로 관찰하고 기록한다. 이는 평점 매기기와 같은 명시적 행동과는 구분된다. 시스템은 이렇게 축적된 모든 사용자의 행동 데이터와 특정 사용자의 행동 패턴을 비교 분석하여 미래의 행동을 예측한다. 예측된 결과는 실제 추천으로 이어지기 전에 비즈니스 로직(business logic)을 통해 걸러지기도 한다. 예를 들어, 사용자가 이미 구매한 상품은 추천 목록에서 제외하는 식이다.^[1]
• 상관 분석 기반: 가장 단순하고 고전적인 방법 중 하나로, 사용자들의 행동(상품 구매, 기사 열람 등)을 수치화하여 사용자 프로파일을 만든다. 새로운 사용자의 행동이 기록되면, 기존 사용자들의 프로파일과 상관 분석을 실시한다. 분석 결과 높은 상관관계를 보이는 사용자는 '취향이 비슷한 사용자'로 간주된다. 이렇게 찾아낸 비슷한 취향의 사용자들이 선호했지만 새로운 사용자는 아직 경험하지 않은 아이템(상품, 기사 등)을 추천 정보로 제공한다.^[1]

4. 종류

협업 필터링의 구현 방법에는 여러 가지가 있으며, 사용자 또는 아이템 간의 유사도를 직접 계산하는 메모리 기반(Memory-based) 방식과 데이터를 통해 학습된 모델을 이용하여 예측하는 모델 기반(Model-based) 방식이 대표적이다. 또한 이 두 가지 방식을 결합한 하이브리드(Hybrid) 방식이나, 딥러닝 기술을 활용하는 딥러닝 기반(Deep-learning) 방식 등도 존재한다. 각 방식은 데이터의 특성이나 서비스 요구사항에 따라 장단점을 가지며, 적합한 방식이 선택되어 활용된다.

4. 1. 메모리 기반 (Memory-based)

4. 2. 모델 기반 (Model-based)

4. 3. 하이브리드 (Hybrid)

4. 4. 딥 러닝 기반 (Deep-learning)

5. 능동적 필터링과 수동적 필터링

협업 필터링은 사용자의 정보를 수집하고 분석하는 방식에 따라 크게 능동적 필터링(Active filtering^eng)과 수동적 필터링(Passive filtering^eng)으로 나눌 수 있다. 능동적 필터링은 사용자가 직접 특정 항목에 대해 평가나 선호도를 표시하여 정보를 제공하는 반면, 수동적 필터링은 사용자의 온라인 활동 기록(예: 웹 서핑, 구매 내역, 페이지 머문 시간 등)을 시스템이 추적하고 분석하여 선호도를 암묵적으로 파악한다.

사용자 선호도를 파악하는 방법은 명시적 방법과 암시적 방법으로 구분된다.

• 명시적 방법: 사용자가 직접 콘텐츠나 상품에 점수를 매기거나 '좋아요'/'싫어요' 등으로 평가하는 방식으로, 주로 능동적 필터링에서 사용된다. 사용자의 선호도를 비교적 정확하게 반영하지만, 사용자의 적극적인 참여가 필요하다.
• 암시적 방법: 사용자의 행동(클릭, 구매, 검색 기록 등)을 기반으로 선호도를 추론하는 방식으로, 주로 수동적 필터링에서 활용된다. 사용자의 별도 노력 없이도 많은 데이터를 수집할 수 있지만, 행동이 실제 선호도를 정확히 나타내지 않을 수도 있다.

5. 1. 능동적 필터링 (Active filtering)

5. 2. 수동적 필터링 (Passive filtering)

6. 문제점 및 과제

능동적인 협업 필터링은 사용자의 직접적인 피드백을 기반으로 하지만 몇 가지 단점을 가지고 있다. 사용자의 의견이 특정 방향으로 치우치는 편견이 발생할 수 있으며, 사용자가 직접 평가해야 하므로 수동적인 방식에 비해 상대적으로 적은 양의 데이터만 활용될 수 있다. 또한, 시스템의 추천이 사용자의 실제 기대와 다를 수도 있다.

협업 필터링은 아이템의 내용 자체를 분석하는 콘텐츠 기반 필터링과 달리, 오직 사용자들이 부여한 선호도 값(preference values)에만 의존한다. 이는 아이템에 대한 평가가 다른 사용자들의 평가에 크게 영향을 받아, 결국 소수의 인기 있는 아이템만 계속 추천되는 평준화 효과(Matthew effect)를 낳을 수 있다. 즉, 많은 사람이 좋다고 평가한 아이템이 계속 더 많이 추천되고 소비되면서 다양성이 저해될 수 있다.

협업 필터링 시스템이 일반적으로 겪는 잘 알려진 문제점은 다음과 같다.

• 초기 평가자 문제 (First-Rater Problem): 시스템에 새로 추가된 아이템은 아직 아무에게도 평가받지 못했기 때문에, 다른 아이템과의 의미 있는 관계를 형성할 수 없어 추천 목록에 포함되기 어렵다. 시스템은 이 아이템을 어떻게 추천해야 할지 판단할 근거가 없다.
• 콜드 스타트 문제 (Cold-Start Problem): 시스템을 처음 사용하는 신규 사용자는 활동 기록이나 평가 데이터가 전혀 없기 때문에, 시스템이 사용자의 취향을 파악하고 적절한 추천을 제공하기 어렵다. 사용자에 대한 정보 부족으로 개인화된 추천이 불가능해진다.

참조

_[1] 간행물 Introduction to Recommender Systems Handbook http://www.inf.unibz[...] Springer 2016-06-02
_[2] 웹사이트 Beyond Recommender Systems: Helping People Help Each Other http://www.grouplens[...] Addison-Wesley 2012-01-16
_[3] 웹사이트 An integrated approach to TV & VOD Recommendations http://www.redbeemed[...] 2012-06-06
_[4] 간행물 Empirical Analysis of Predictive Algorithms for Collaborative Filtering http://uai.sis.pitt.[...] 2013-10-19
_[5] 논문 A survey of collaborative filtering techniques http://www.hindawi.c[...] Advances in Artificial Intelligence archive
_[6] 서적 Recommender Systems – The Textbook {{!}} Charu C. Aggarwal {{!}} Springer https://www.springer[...] Springer
_[7] 논문 Kernel-Mapping Recommender system algorithms
_[8] 서적 Proceedings of the 16th international conference on World Wide Web – WWW '07
_[9] 서적 Proceedings of the 26th International Conference on World Wide Web International World Wide Web Conferences Steering Committee 2019-10-16
_[10] 서적 Proceedings of the 2018 World Wide Web Conference on World Wide Web – WWW '18 International World Wide Web Conferences Steering Committee 2018
_[11] 서적 Proceedings of the 13th ACM Conference on Recommender Systems ACM 2019-10-16
_[12] 논문 Top-N Recommendation Algorithms: A Quest for the State-of-the-Art https://doi.org/10.1[...] ACM 2022-03-01
_[13] 서적 Proceedings of the 13th ACM Conference on Recommender Systems ACM 2019
_[14] 서적 Recommender Systems Handbook Springer US 2015-01-01
_[15] 논문 Multilayer tensor factorization with applications to recommender systems. https://projecteucli[...]
_[16] arXiv Dynamic tensor recommender systems.
_[17] 논문 Tensors in Statistics. https://www.annualre[...]
_[18] 웹사이트 Collaborative Filtering: Lifeblood of The Social Web http://www.readwrite[...] 2012-04-22
_[19] 서적 The information : a history, a theory, a flood https://www.worldcat[...] Vintage Books 2012
_[20] 간행물 WTF: The who-to-follow system at Twitter http://dl.acm.org/ci[...] Proceedings of the 22nd international conference on World Wide Web
_[21] 논문 Blockbuster Culture's Next Rise or Fall: The Impact of Recommender Systems on Sales Diversity http://archive.nyu.e[...] 2009-05
_[22] 서적 Recommender Systems Handbook Springer US 2015
_[23] arXiv Blurring-Sharpening Process Models for Collaborative Filtering
_[24] 논문 On Unexpectedness in Recommender Systems: Or How to Better Expect the Unexpected 2015-01
_[25] 서적 Proceedings of the 7th ACM conference on Recommender systems 2013-10
_[26] 서적 CIKM '13: Proceedings of the 22nd ACM international conference on Information & Knowledge Management Portal.acm.org 2013-10
_[27] 서적 Proceedings of the 2007 ACM conference on Recommender systems – Rec ''Sys'' '07 Portal.acm.org 2007-10-19
_[28] 논문 Collaborative filtering beyond the user-item matrix: A survey of the state of the art and future challenges
_[29] 서적 Computing with social trust Springer 2009
_[30] 학회자료 Recommendations in taste related domains: collaborative filtering vs. social filtering
_[31] 서적 Proceedings of the 2008 ACM conference on Recommender systems