메타 검색 엔진

3. 장점

여러 검색 엔진에 여러 쿼리를 전송함으로써 주제의 데이터 범위를 확장하고 더 많은 정보를 찾을 수 있다. 다른 검색 엔진에서 구축한 색인을 사용하여 결과를 집계하고 종종 고유한 방식으로 후처리한다. 메타 검색 엔진은 동일한 노력으로 더 많은 결과를 검색할 수 있기 때문에 단일 검색 엔진보다 유리하다.^[2] 또한 사용자가 여러 엔진에 개별적으로 검색어를 입력하여 리소스를 검색해야 하는 수고를 줄여준다.^[2]

메타 검색은 사용자가 주제에 대한 개요를 얻거나 빠른 답변을 얻는 것을 목적으로 하는 경우에도 유용한 접근 방식이다. 야후! (Yahoo!)나 구글 (Google)과 같은 여러 검색 엔진을 거쳐 결과를 비교하는 대신, 메타 검색 엔진은 결과를 신속하게 컴파일하고 결합할 수 있다. 추가적인 후처리 없이 각 검색 엔진에서 쿼리한 결과를 나열하거나(도그파일), 결과를 분석하고 자체 규칙에 따라 순위를 매기는 방식(익스퀵, 메타크롤러)으로 수행할 수 있다.

메타 검색 엔진은 또한 쿼리된 검색 엔진으로부터 검색자의 IP 주소를 숨길 수 있으므로 검색의 개인 정보를 보호할 수 있다. 검색 결과를 하나로 통합하기 때문에 "비통합형 메타 검색 엔진"처럼 매번 검색 대상 사이트를 선택할 필요가 없다. 일반적으로는 수많은 검색 엔진에서 상위 랭킹에 표시되는 페이지부터 차례대로 표시된다. 또한, 주요 검색 엔진을 활용한 횡단형 검색 엔진도 증가하고 있다.

덧붙여, OTA 서비스를 통합하여 숙박·여행 관련 OTA 사이트를 횡단 검색할 수 있는 서비스도 메타 검색으로 불리게 되었다.

4. 단점

메타 검색 엔진은 쿼리 양식을 구문 분석하거나 쿼리 구문을 완전히 번역할 수 없다. 생성하는 하이퍼링크 수가 제한적이므로 사용자에게 쿼리의 완전한 결과를 제공하지 못한다.^[17]

대부분의 메타 검색 엔진은 단일 검색 엔진에서 10개가 넘는 링크된 파일을 제공하지 않으며, 일반적으로 더 큰 검색 엔진과 결과 상호 작용을 하지 않는다. 클릭당 지불 링크가 우선시되며, 대개 먼저 표시된다.^[18]

메타 검색은 특히 사용자가 인기 있거나 흔한 정보를 검색하는 경우, 쿼리된 주제에 대한 더 많은 범위를 제공하는 것처럼 보이게 한다. 쿼리된 엔진에서 여러 개의 동일한 결과로 끝나는 경우가 흔하다. 또한 사용자가 쿼리와 함께 전송할 고급 검색 구문을 사용하여 검색하기가 더 어려우므로, 특정 엔진의 고급 검색 인터페이스를 사용할 때만큼 결과가 정확하지 않을 수 있다. 이 때문에 많은 메타 검색 엔진에서 간단한 검색을 사용하게 된다.^[19]

5. 작동 방식

메타 검색 엔진은 사용자로부터 단일 검색 요청을 받아, 이 요청을 여러 다른 검색 엔진의 데이터베이스로 전달한다. 메타 검색 엔진은 자체적으로 웹 페이지의 데이터베이스를 생성하지 않고, 여러 소스에서 데이터 통합된 연합 데이터베이스 시스템을 생성한다.^[20][21][22]

모든 검색 엔진은 고유하며, 순위가 매겨진 데이터를 생성하기 위한 서로 다른 알고리즘을 가지고 있기 때문에 중복 항목이 생성된다. 메타 검색 엔진은 이 데이터를 처리하고 자체 알고리즘을 적용하여 중복 항목을 제거하고, 수정된 목록을 사용자에게 출력으로 제공한다.

메타 검색 엔진이 다른 검색 엔진에 연락할 때, 이러한 검색 엔진은 다음 세 가지 방식으로 응답할 수 있다.

• 협력: 메타 검색 엔진에 인덱스 데이터베이스에 대한 비공개 접근을 포함한 인터페이스에 대한 완전한 접근을 제공하고, 인덱스 데이터베이스에 대한 변경 사항을 알린다.
• 비협조: 인터페이스에 대한 접근을 거부하거나 제공하지 않는다.
• 적대: 데이터베이스에 대한 완전한 접근을 거부하고, 심각한 상황에서는 법적 방법을 모색할 수 있다.^[23]

5. 1. 순위 결정(Architecture of ranking)

5. 2. 융합(Fusion)

• 컬렉션 융합: 분산 검색이라고도 하며, 관련 없는 데이터를 색인하는 검색 엔진을 다룬다. 이러한 소스의 가치를 결정하기 위해 컬렉션 융합은 내용을 살펴본 다음 쿼리와 관련하여 관련 정보를 제공할 가능성에 따라 데이터를 순위를 매긴다. 생성된 내용에서 컬렉션 융합은 순위에서 가장 좋은 리소스를 골라낼 수 있다. 선택된 이러한 리소스는 목록으로 병합된다.^[23]
• 데이터 융합: 공통 데이터 세트를 색인하는 검색 엔진에서 검색된 정보를 다룬다. 과정은 매우 유사하다. 데이터의 초기 순위 점수가 단일 목록으로 병합된 후 각 문서의 원래 순위가 분석된다. 높은 점수를 가진 데이터는 특정 쿼리와의 높은 관련성을 나타내므로 선택된다. 목록을 생성하려면 CombSum과 같은 알고리즘을 사용하여 점수를 정규화해야 한다. 이는 검색 엔진이 서로 다른 알고리즘 정책을 채택하여 생성된 점수를 비교할 수 없게 만들기 때문이다.^[24][25]

6. 스팸덱싱

스팸덱싱은 검색 엔진 색인을 의도적으로 조작하는 행위이다. 스팸덱싱은 여러 가지 방법을 사용하여 색인된 리소스의 관련성 또는 우선 순위를 조작하는데, 이는 색인 시스템의 의도와는 맞지 않는다. 스팸덱싱은 사용자에게 불쾌감을 줄 수 있으며, 검색 결과의 정확도를 떨어뜨려 검색 엔진에 문제를 야기한다.^[26] 결국 검색 엔진은 신뢰성을 잃고 사용자가 의존할 수 없게 된다. 이러한 문제를 해결하기 위해 검색 로봇 알고리즘은 더욱 복잡해지고 있으며, 거의 매일 변경되고 있다.^[26]

스팸덱싱은 웹 크롤러의 색인 생성 기준을 조작하기 때문에 메타 검색 엔진에 큰 문제가 된다. 스팸덱싱은 검색 엔진의 자연스러운 랭킹 시스템을 조작하여 웹사이트를 원래 위치보다 더 높은 순위에 배치한다.^[27]

6. 1. 콘텐츠 스팸 (Content spam)

• 키워드 스터핑: 페이지 내에서 키워드를 계산적으로 배치하여 페이지의 키워드 수, 다양성 및 밀도를 높이는 방법이다.
• 숨겨진/보이지 않는 텍스트: 배경색과 동일하게 만들거나, 매우 작은 글꼴 크기를 사용하거나, HTML 코드 내에 숨겨서 관련 없는 텍스트를 숨기는 방법이다.
• 메타 태그 스터핑: 메타 태그에서 키워드를 반복하거나 사이트 콘텐츠와 관련 없는 키워드를 사용하는 방법이다.
• 도어웨이 페이지: 콘텐츠는 거의 없지만 관련 키워드 또는 문구가 있는 저품질 웹 페이지를 말한다.
• 스크래퍼 사이트: 다른 웹사이트에서 콘텐츠를 복사하여 웹사이트의 콘텐츠를 생성하는 프로그램이다.
• 문서 스피닝: 다른 사이트에서 콘텐츠를 복사하는 대신 기존 문서를 다시 작성하는 방법이다.
• 기계 번역: 기계 번역을 사용하여 여러 다른 언어로 콘텐츠를 다시 작성하여 해독 불가능한 텍스트를 생성하는 방법이다.

6. 2. 링크 스팸 (Link spam)

6. 3. 클로킹 (Cloaking)

7. 종류

메타 검색 엔진은 여러 검색 엔진의 결과를 모아 사용자에게 제공하는 방식으로 작동한다. 초기에는 여러 실험적인 시도들이 있었으며, 시간이 지나면서 다양한 기능을 갖춘 메타 검색 엔진들이 등장했다.

• 2005년, 도그파일은 피츠버그 대학교 및 펜실베이니아 주립대학교 연구진과 함께 주요 웹 검색 엔진의 중복 및 순위 차이를 측정하는 연구를 진행했다. 연구 결과, 검색 엔진 간 결과 중복률이 매우 낮은 것으로 나타났다.^[16]

8. 메타 검색 엔진의 예

• 메타크롤러: 워싱턴 대학교의 학생 에릭 셀버그가 개발한 메타 검색 엔진이다. 1995년에 실험에 관한 논문이 발표되었으며, 2024년 현재까지도 사용 가능하다.^[6][7]
• 핫봇(HotBot): 1996년 5월 20일에 만들어졌으며, 당시 와이어드가 소유하고 있었다. 잉크토미와 다이렉트 히트 데이터베이스에서 검색 결과를 가져왔다. 빠른 결과와 검색 결과 내에서 검색할 수 있는 기능으로 유명했지만, 1998년 라이코스에 인수된 후 개발이 주춤해졌고 시장 점유율이 급격히 감소했다.^[8]
• 미스다찾니: 한국 최초의 메타 검색 엔진으로 알려져 있다. 1995년에 최초의 한글검색엔진인 '코시크(kor-seek)'와 1996년에 서비스를 시작한 '까치네'의 두 검색엔진을 동시에 검색해주기 위해 서비스를 개시했다.
• SavvySearch: 1997년 다니엘 드레이링거(Daniel Dreilinger)가 발표한 실험적인 메타 검색 엔진으로, 이전 경험을 바탕으로 우선순위를 정할 올바른 검색 엔진을 자동으로 선택할 수 있었다.^[9]
• Anvish: 1999년 Bo Shu와 Subhash Kak에 의해 개발되었으며, 검색 결과는 즉시 훈련된 신경망을 사용하여 정렬되었다.^[10] 나중에 Solosearch라는 다른 메타 검색 엔진에 통합되었다.^[11]
• HumHaiIndia.com: 2000년 8월 인도에서 출시된 최초의 메타 검색 엔진이다.^[12] 16세였던 Sumeet Lamba에 의해 개발되었으며,^[13] 나중에 Tazaa.com으로 브랜드가 변경되었다.^[14]
• 익스퀵: 개인 정보 보호 정책으로 유명한 검색 엔진이다. 1998년 데이비드 보드닉(David Bodnick)이 개발하여 출시했으며, Surfboard Holding BV가 소유하고 있다. 사용자 개인 정보를 삭제하고, 고유한 랭킹 시스템을 사용하는 것이 특징이다.^[15]
• 도그파일: 2005년 4월, InfoSpace가 소유 및 운영했던 메타 검색 엔진으로, 피츠버그 대학교와 펜실베이니아 주립대학교 연구원들과 협력하여 웹 검색을 위한 메타 검색 엔진 사용의 이점을 측정하는 연구를 진행했다.^[16]
• 검색 데스크(searchdesk.com): 1996년부터 서비스를 시작했다.
• 최속 일괄 검색(skensaku.com): 1997년부터 서비스를 시작했다.
• SearXNG(searx.space): 2014년에 출시되었다.

참조

_[1] 문서 Sandy Berger's Great Age Guide to the Internet Que Publishing 2005
_[2] 웹사이트 Architecture of a Metasearch Engine that Supports User Information Needs https://www.research[...]
_[3] 웹사이트 How search Engine work https://www.onionrid[...] onionride 2021
_[4] 웹사이트 Patent US6999959 - Meta search engine https://patents.goog[...] 1997-10-10
_[5] 웹사이트 The collection fusion problem. https://www.research[...] 2000-04
_[6] 학술지 Multi-Engine Search and Comparison Using the MetaCrawler https://dl.acm.org/d[...] Association for Computing Machinery 1995-12-11
_[7] 웹사이트 Metacrawler https://www.metacraw[...] 2024-12-05
_[8] 웹사이트 Search engine rankings on HotBot: a brief history of the HotBot search engine http://www.websearch[...]
_[9] 학술지 SAVVYSEARCH: A Metasearch Engine That Learns Which Search Engines to Query https://ojs.aaai.org[...] 1997-06-15
_[10] 학술지 A neural network based intelligent metasearch engine
_[11] 웹사이트 Better Web searches and prediction with instantaneously trained neural networks. http://www.ece.lsu.e[...] IEEE Intelligent Systems 1999-11
_[12] 웹사이트 New kid in town https://www.indiatod[...] 2024-03-14
_[13] 웹사이트 What is Metasearch Engine? https://www.geeksfor[...] 2024-03-14
_[14] 웹사이트 www.metaseek.nl https://www.metaseek[...] 2024-03-14
_[15] 웹사이트 ABOUT US – Our history https://www.startpag[...]
_[16] 웹사이트 Overlap among major web search engines http://www.bernardjj[...] Emerald 2006
_[17] 웹사이트 Department of Informatics https://www3.unifr.c[...] University of Fribourg
_[18] 웹사이트 Intelligence Exploitation of the Internet http://nsarchive.gwu[...]
_[19] 웹사이트 Metasearch Engines Expands your Horizon https://www.timeatla[...] 2009-09-16
_[20] 웹사이트 Metasearch Engines http://www.cs.bingha[...] 2008-05-05
_[21] 웹사이트 The MetaCrawler architecture for resource aggregation on the Web. https://homes.cs.was[...] IEEE expert
_[22] 웹사이트 Design and Development of a Programmable Meta Search Engine https://research.ijc[...] Foundation of Computer Science 2013-07
_[23] 웹사이트 Information retrieval on Internet using meta-search engines: A review. http://nopr.niscair.[...] Council of Scientific and Industrial Research 2008-10
_[24] 서적 Information Retrieval Technology
_[25] 웹사이트 A Formal Approach to Score Normalization for Meta-search. http://maroo.cs.umas[...] 2014-10-27
_[26] 웹사이트 Web Spam Detection https://www.microsof[...] Microsoft
_[27] 웹사이트 A few legal comments on spamdexing. https://www.worldser[...] 2009-02
_[28] 웹사이트 Connecting Web Spammers with Advertisers http://www2007.org/p[...] 2007-05-08
_[29] 문서 Sandy Berger's Great Age Guide to the Internet Que Publishing