웹 검색 엔진

1. 개요

웹 검색 엔진은 인터넷에서 정보를 찾기 위한 시스템으로, 1990년 아키 검색 엔진에서 시작되었다. 초기에는 아키, 고퍼, 베로니카, 저그헤드 등이 등장했으며, 1990년대 초반 W3카탈로그, 웹 완더러, 알리웹, 점프스테이션, 웹크롤러, 라이코스 등이 개발되었다. 1998년 구글이 페이지랭크 기술을 도입하며 검색 엔진 시장을 주도하기 시작했고, 현재 구글이 90%의 점유율로 세계 시장을 장악하고 있다. 검색 엔진은 웹 크롤링, 색인, 검색 과정을 거쳐 정보를 제공하며, 정확성과 재현율로 성능을 평가한다. 대부분 광고 수익으로 운영되며, 검색 엔진 편향과 맞춤형 검색 결과, 필터 버블 등의 문제도 존재한다.

2. 역사

1994년 스탠퍼드 대학교의 제리 양과 데이비드 파일로가 야후!를 개발하면서 검색 엔진의 역사가 시작되었다. 야후!는 디렉토리형 검색 엔진으로 인터넷 보급에 큰 역할을 했다. 이후 웹상의 정보를 자동 탐색하여 색인으로 정리하는 로봇 또는 크롤러 프로그램이 개발되었다.

래리 페이지와 세르게이 브린이 개발한 구글 검색은 페이지랭크라는 혁신적인 기술을 바탕으로 검색 결과 랭킹과 고속 검색에 뛰어났기 때문에 검색 엔진의 선두로 뛰어올랐다. 1998년에 가동한 구글 검색은 기존 검색 엔진과 달리 독창적인 검색 기술에 특화하고, 배너 광고를 배제한 심플한 화면을 유지했다.

2000년대에는 야후!가 잉크토미와 오버추어를 인수하여 자체 검색 기술을 강화했고, 마이크로소프트는 MSN 검색을 거쳐 빙(Bing)을 출시하며 검색 엔진 시장 경쟁에 뛰어들었다. 2009년에는 마이크로소프트가 새로운 검색 엔진으로 Bing을 발표했다.

검색 행위가 일반화되면서, 블로그, 상품, 음악, 동영상 등 특정 목적에 특화된 다양한 검색 엔진이 등장하고 있다.

2.1. 초기 검색 엔진

세계 최초의 인터넷 검색 엔진은 1990년 맥길대학교 컴퓨터 공학과에 재학 중이던 앨런 엠티지가 만든 아키 검색 엔진(Archie)이었다. 아키는 공개 FTP 서버에 있는 모든 파일의 디렉토리 목록을 내려받아 검색 가능한 데이터베이스를 만들었다. 하지만 아키는 색인 과정을 거치지 않았기 때문에 용량 제한이 있었고, 수동으로 관리해야 했다.

고퍼는 미네소타 대학교의 마크 맥카힐이 1991년에 만든 다단계 정보 분류 통신 규약이다. 고퍼의 등장으로 베로니카와 저그헤드라는 두 개의 새로운 검색 프로그램이 생겨났다. 아키처럼 베로니카나 저그헤드도 고퍼 서버에 저장된 파일명과 설명 제목을 검색했다. 베로니카는 고퍼 목록에 있는 대부분의 제목 검색을 지원했고, 저그헤드는 몇몇 고퍼 서버의 메뉴 정보를 얻는 도구였다.

1993년 여름까지는 웹을 위한 검색 엔진이 없었다. 제네바 대학교의 오스카 니에르스트라츠는 웹 페이지 목록들을 주기적으로 복사하여 표준화하는 펄 프로그램을 짰고, 1993년 9월 2일에 공개된 최초의 원시적 검색 엔진인 W3카탈로그의 기초가 되었다. 1993년 6월 MIT의 매튜 그레이는 최초의 웹 로봇이라 할 수 있는 웹 완더러를 개발했고, 이를 이용해 완덱스라는 웹 문서 색인을 만들었다. 웹 완더러는 웹의 크기를 측정하기 위해 개발되었으며, 초기에는 웹 서버만 계산했지만 곧 URL을 수집하기 시작했다. 수집된 URL 데이터베이스는 최초의 웹 데이터베이스인 완덱스가 되었다.

웹의 두 번째 검색 엔진은 1993년 11월에 등장한 ALIWEB이었다. ALIWEB은 웹 로봇을 쓰지 않고 웹사이트 운영자가 등록하는 형태로 운영되었다.

1993년 12월에 나온 JumpStation은 웹 로봇으로 문서를 찾은 뒤에 색인을 구성했고, 검색어 입력 프로그램도 웹으로 만들었다. 점프스테이션은 문서 수집-색인-검색이라는 검색 엔진의 세 가지 필수 기능을 조합해 만들어진 첫 번째 검색 엔진이었다. 하지만 서버 성능 제약으로 색인은 문서의 제목과 하단의 목차 일부만 가능했다.

2.2. 웹 검색 엔진의 등장

1993년 6월, 매사추세츠 공과대학교(MIT)의 매튜 그레이는 최초의 웹 로봇이라고 할 수 있는 월드 와이드 웹 완더러(World Wide Web Wanderer)를 개발했다. 이 로봇은 완덱스(Wandex)라는 색인을 만드는 데 사용되었다. 같은 해 11월에는 알리웹(ALIWEB)이 등장했는데, 이는 웹사이트 운영자가 직접 등록하는 방식으로 운영되었다. 1993년 12월에는 점프스테이션(JumpStation)이 나왔는데, 웹 로봇을 사용하여 문서를 찾고 색인을 구성했으며, 웹 기반 검색 인터페이스를 제공한 최초의 검색 엔진이었다.

1994년에는 웹크롤러(WebCrawler)가 등장하여 전체 텍스트 검색 기능을 제공한 최초의 검색 엔진이 되었고, 대중에게 널리 알려졌다. 같은 해 카네기 멜론 대학교의 라이코스(Lycos)는 상업적으로 성공한 첫 번째 검색 엔진이 되었다.

2.3. 한국 검색 엔진의 발전

1995년, 코시크(korseek)는 최초의 한글 검색 엔진으로 소개되었다. 당시 인터넷에는 영문 홈페이지 등록만 가능했고, 한글 자료 검색이 어려웠던 상황에서 코시크의 등장은 한국 웹의 확산에 큰 영향을 주었다. 이후 미스다찾니와 같은 메타 검색 엔진이 등장했지만, 현재는 사라졌다.

네이버는 1999년 자체 개발한 검색 엔진을 출시했다. 네이버는 지식iN, 블로그, 카페 등 다양한 서비스를 통해 한국 사용자들에게 특화된 검색 경험을 제공하며 성장했다.

다음은 2000년대 초, 카페, 미디어다음 등 다양한 서비스를 통해 포털 사이트로 성장하며, 검색 엔진 시장에서 네이버와 경쟁했다.

엠파스, 네이트 등 다양한 한국 검색 엔진들이 등장했지만, 현재는 네이버와 다음이 시장을 주도하고 있다.

2.4. 검색 엔진의 발전과 경쟁

1994년 카네기 멜론 대학교의 라이코스가 상업적으로 성공한 첫 번째 검색 엔진이다. 곧이어 마젤란, 익사이트, 인포시크, 잉크토미, 노던 라이트, 알타비스타 등 수많은 검색 엔진들이 등장하여 경쟁했다. 야후!는 사람들이 원하는 웹사이트를 찾는 가장 인기 있는 방법이었지만, 자체 웹 디렉토리에서만 검색이 가능했고 웹 문서 전체를 대상으로 하지는 않았다.

1996년, 넷스케이프는 자사 브라우저의 독점 기본 검색 엔진으로 사용할 검색 엔진을 찾고 있었다. 야후!, 마젤란, 라이코스, 인포시크, 익사이트 다섯 회사가 관심을 보였고, 넷스케이프는 이들과 매년 번갈아 가며 검색 엔진을 공급하는 계약을 맺었다.

1990년대 말, 검색 엔진들은 인터넷 버블의 최대 수혜주였다. 몇몇 회사들은 기업공개(IPO)를 통해 엄청난 자금을 모았다. 노던 라이트와 같은 일부 회사는 대중 서비스를 중단하고 기업용 검색 엔진을 개발하기도 했다. 1999년과 2001년 사이에 묻지마 투자가 정점에 달했고, 많은 검색 엔진 회사들이 닷컴 버블에 휘말려 사라졌다.

1998년, 래리 페이지와 세르게이 브린이 개발한 구글 검색은 페이지랭크라는 혁신적인 기술을 도입하여 더 나은 검색 결과를 제공하며 시장을 장악하기 시작했다. 페이지랭크는 다른 웹사이트와의 연결 관계를 분석하여 더 많이 링크된 페이지를 더 좋은 페이지로 간주하는 알고리즘이다. 구글은 또한 검색 엔진 인터페이스를 최소화하여 사용자 편의성을 높였다.

2000년, 야후!는 잉크토미의 검색 엔진을 기반으로 검색 서비스를 제공했다. 이후 야후!는 2002년에 잉크토미를, 2003년에 오버추어(AlltheWeb과 알타비스타를 소유)를 인수했다. 2004년, 야후!는 자체 기술과 인수합병한 회사들의 기술을 결합하여 자체 검색 엔진을 출시했다.

마이크로소프트는 1998년 가을, 잉크토미의 검색 결과를 사용하여 MSN 검색을 처음 출시했다. 1999년에는 룩스마트의 목록을 함께 보여주기도 했고, 잠시 알타비스타의 결과를 사용하기도 했다. 2004년, 마이크로소프트는 자체 웹 크롤러(msnbot)를 기반으로 한 자체 검색 기술로 전환했다.

2009년 6월 1일, 마이크로소프트는 빙(Bing)이라는 새로운 검색 엔진을 출시했다. 같은 해 7월 29일, 야후!와 마이크로소프트는 야후! 검색이 빙의 기술을 사용하는 계약을 체결했다.

3. 원리

검색 엔진은 크게 문서 수집, 색인, 검색의 세 단계로 작동한다.

검색 엔진은 HTML로 된 웹페이지에서 추출한 텍스트를 축적하여 동작한다. 이 페이지들은 웹 크롤러(웹 스파이더라고도 불림)가 웹사이트의 모든 링크를 따라다니며 수집하며, 로봇 규약에 따라 수집이 금지된 곳은 제외된다. 알타비스타 같은 엔진은 모든 페이지의 모든 어휘를 추출하는 방식으로 정보를 저장하는 반면, 구글은 원 문서의 일부 혹은 전체를 캐시 형태로 저장하기도 한다. 캐시된 페이지는 페이지가 갱신되거나 사라진 경우에도 자료를 찾는데 유용하다.

사용자가 검색어를 입력하면, 엔진은 색인을 조사하여 가장 적합한 문서를 제공한다. 보통 문서 제목과 검색어가 포함된 본문 요약이 함께 표시된다. 2007년 구글은 상세 검색에 날짜 기준 필터 기능을 추가하여, 사용자가 원하는 날짜 범위를 지정할 수 있게 했다. 많은 검색 엔진은 논리 연산자(and, or, not)를 지원하여 검색어 한정이 가능하며, 일부는 인접검색이나 개념 기반 검색 기능을 제공한다.

검색 엔진의 유용성은 결과의 관련성에 달려있다. 수많은 웹페이지 중 관련성이 높거나 인기 있는 문서를 상위에 올리기 위해 검색 엔진은 다양한 정렬 방법을 사용하며, 이는 인터넷 사용 및 기술 발전에 따라 변화한다.

3.1. 문서 수집 (웹 크롤링)

웹 크롤러(Web Crawler, 스파이더)는 웹사이트를 방문하여 HTML 문서를 수집하는 프로그램이다. 웹 크롤러는 수집 대상에서 제외할 페이지를 결정하기 위해 로봇 배제 표준 (robots.txt)을 따른다.

웹 크롤러는 robots.txt 파일을 확인하여 검색 스파이더에 대한 지침을 얻는다. robots.txt 파일은 크롤링할 페이지와 크롤링하지 않을 페이지를 알려준다. 이후 스파이더는 제목, 페이지 내용, JavaScript, CSS, 머리글 또는 HTML 메타데이터와 같은 많은 요소에 따라 특정 정보를 색인하기 위해 다시 보낸다. 특정 수의 페이지를 크롤링하거나, 색인화된 데이터량 또는 웹사이트에서 보낸 시간이 지나면 스파이더는 크롤링을 중단하고 다음으로 이동한다.

어떤 웹 크롤러도 실제로 도달할 수 있는 전체 웹을 크롤링할 수는 없다. 무한한 웹사이트, 스파이더 트랩, 스팸 및 실제 웹의 기타 문제들로 인해 크롤러는 크롤링 정책을 적용하여 사이트 크롤링이 언제 충분하다고 간주되어야 하는지 결정한다. 일부 웹사이트는 철저하게 크롤링되는 반면, 다른 웹사이트는 부분적으로만 크롤링된다.

3.2. 색인 (Indexing)

검색 엔진은 HTML로 된 웹페이지에서 텍스트를 추출하여 보관한다. 웹 크롤러(웹 스파이더라고도 불림)가 웹사이트의 모든 링크를 따라다니며 문서를 수집하고, 로봇 규약에 따라 수집이 금지된 곳은 제외한다. 개별 페이지는 색인을 위해 분석되는데, 예를 들어 문서 제목, 페이지 내용, 목차 등으로 영역을 나누어 추출하고 분석한다. 이후 검색어에 대비하여 이 웹페이지 데이터는 데이터베이스(DB)에 적절히 색인된다.

색인은 정보를 최대한 빨리 찾도록 돕는다. 사용자가 검색어를 입력하면 엔진은 색인을 조사하여 가장 잘 맞는 문서를 제공한다. 보통 문서 제목 및 검색어가 포함된 본문을 추출하여 짧은 요약과 함께 보여준다. 색인은 문서 내에서 개별 어휘의 위치를 확인하여 만들어진다. 많은 검색 엔진은 검색어를 더 구체화하기 위해 AND, OR, NOT과 같은 논리 연산자를 지원한다. 이는 '이고', '혹은', '아닌'과 같은 한정 기능을 제공한다. 일부 검색 엔진은 검색어 사이의 거리를 고려하는 근접검색 기능을 제공하며, 개념 기반으로 검색해주는 엔진도 있다.

역 색인은 키워드가 포함된 사이트의 이름을 가지고 있어, 색인에서 즉시 얻을 수 있다. 검색 결과의 각 페이지는 색인의 정보에 따라 가중치를 부여받는다. 상위 검색 결과 항목은 일치하는 키워드의 문맥을 보여주는 스니펫의 조회, 재구성, 마크업을 거친다. 이후 페이지에도 이러한 후처리 작업이 필요하다.

3.3. 검색 (Searching)

사용자가 검색 엔진에 검색어를 입력하면, 엔진은 색인을 조사하여 가장 잘 맞는 문서를 찾는다. 일반적으로 검색어는 몇 개의 키워드로 이루어진다. 검색 결과는 보통 문서 제목 및 검색어가 포함된 본문의 짧은 요약과 함께 표시된다.

색인은 문서 내에서 개별 어휘의 위치를 확인하여 만들어진다. 많은 검색 엔진은 검색어를 더 구체적으로 지정하기 위해 AND, OR, NOT과 같은 논리 연산자를 지원한다. 일부 검색 엔진은 검색어 사이의 거리를 고려하는 인접 검색 기능을 제공하며, 단어나 구에 대한 통계 처리를 통해 개념 기반 검색을 제공하는 엔진도 있다.

검색 엔진의 유용성은 검색 결과의 관련성에 따라 결정된다. 대부분의 검색 엔진은 가장 좋은 문서를 상위에 올리기 위해 정렬 방법을 사용하며, 이 방법은 인터넷 사용 유형과 기술 발전에 따라 계속 변화한다.

검색 결과의 신뢰도를 높이기 위해, 검색 엔진은 원본 문서의 일부 또는 전체를 캐시라는 임시 저장 형태로 보관하기도 한다. 캐시된 페이지는 현재 페이지가 갱신되었거나 없는 경우에도 자료를 찾을 수 있게 해주어 유용하다.

2007년, 구글은 상세 검색 기능에 날짜 기준 필터 기능을 추가하여, 사용자가 전체 결과에서 원하는 날짜 범위를 지정할 수 있게 하였다.

4. 평가

웹 검색 엔진의 성능은 정확률(precision, 정확도)과 재현율(recall)로 평가한다. 재현율은 (검색된 적합한 문서 수 / 총 적합한 문서 수)이고, 정확률은 (검색된 적합한 문서 수 / 총 검색된 문서 수)이다. 하지만 적합한 문서의 기준과 총 문서 수 모두 모호하기 때문에 수치화하기 어렵다.

검색 엔진의 성능을 객관적으로 평가하기 위해서는 적합/부적합이 판정되어 있고 문서 개수를 모두 알고 있는 테스트 문서 집합을 마련할 필요가 있다. 검색 엔진의 성능을 개선한 뒤 테스트 문서 집합을 검색했을 때 이전보다 만족도가 얼마나 높아졌는지 판단하는 것이다. 하지만 테스트 문서 집합을 만드는 것과 어떤 검색어를 사용할 것인지가 문제가 되기 때문에 검색 엔진 평가는 쉽지 않다.

5. 상업화

대부분의 검색 엔진은 광고 수익으로 운영된다. 광고주는 특정 검색어의 검색 결과 상단에 올라갈 수 있도록 검색 엔진 회사에 돈을 지불한다. 이와는 다르게 키워드 검색 노출을 위해서는 검색 엔진 최적화를 고려해야 한다. 검색 엔진은 객관적인 검색 결과 옆에 광고를 노출하는 방식으로 돈을 벌며, 광고 클릭당 일정 금액을 받는다.

검색 엔진의 상업성 추구는 콘텐츠를 전면에 내세우는, 이른바 '포털화'로 진행된 사례가 많다. 다음은 이메일 서비스의 수요자를 기반으로 포털화에 성공하기 위해 야후의 검색 결과를 이용하기도 했다. 반면 구글은 웹 검색과 광고를 분리해 검색 서비스 자체에 집중하는 전략을 취했으며, 현재는 광고 외에도 많은 사업과 수익원을 두고 있다.

현재 주류가 되고 있는 광고 수법으로는, 사용자의 검색 결과 후에 광고를 노출시키는 검색 연동형 광고와, 사이트의 내용을 분석하여 해당 사이트에 맞는 광고를 전송하는 콘텐츠 연동형 광고가 있다.

5.1. 한국 검색 엔진의 상업화 논란

네이버는 자사 블로그나 카페 검색 결과를 우대하여 사용자를 묶어두고, 저작권 문제를 방치한다는 비판을 받아왔다. 또한, 검색 결과를 정치적 의도에 따라 조작한다는 의혹도 제기되었다.

6. 측정

세계 웹 검색 엔진 시장 통계는 나라에 따라 크게 다르다. 스탯카운터 자료에 따르면 2019년 5월 기준 대한민국 웹 검색 엔진 점유율은 다음과 같다.

7. 검색 엔진 편향 (Search Engine Bias)

검색 엔진은 웹사이트의 인기도와 관련성을 조합하여 순위를 매기지만, 여러 가지 이유로 정치적, 경제적, 사회적 편향이 나타날 수 있다. 이러한 편향은 경제적, 상업적, 정치적 과정의 결과일 수 있다.

* 경제적/상업적 편향: 검색 엔진에 광고를 하는 회사가 자연 검색 결과에서 더 높은 순위를 차지할 수 있다.
* 정치적 편향: 현지 법률을 준수하기 위해 특정 검색 결과를 삭제하는 경우가 있다. 예를 들어, 구글은 홀로코스트 부정이 불법인 프랑스와 독일에서 특정 네오 나치 웹사이트를 표시하지 않는다.
* 사회적 편향: 검색 엔진 알고리즘은 "인기 있는" 결과를 선호하여 비규범적인 관점을 배제하는 경향이 있다. 또한, 주요 검색 엔진의 색인 알고리즘은 미국 외 국가의 웹사이트보다 미국 기반 사이트를 더 많이 다루는 경향이 있다.

구글 폭탄은 정치적, 사회적, 상업적 이유로 검색 결과를 조작하려는 시도의 한 예시이다.

몇몇 학자들은 검색 엔진에 의해 촉발된 문화적 변화와 논란이 되는 주제들 (예: 아일랜드의 테러, 기후 변화 부정, 음모론)에 대한 연구를 진행해 왔다.

8. 맞춤형 검색 결과와 필터 버블 (Filter Bubble)

검색 엔진은 사용자의 검색 기록, 위치 정보 등을 기반으로 맞춤형 검색 결과를 제공한다. 이는 사용자가 자신의 관심사와 일치하는 정보만 접하게 되는 필터 버블 현상을 야기할 수 있다는 우려가 제기되었다. 엘리 파리저는 이를 정보의 반향실이라고도 불렀다.

이러한 주장은 검색 엔진과 소셜 미디어 플랫폼이 사용자의 위치, 과거 클릭 행동, 검색 기록 등 정보를 기반으로 사용자가 보고 싶어 할 정보를 알고리즘을 통해 선택적으로 추측한다는 것이다. 그 결과 웹사이트는 사용자의 과거 관점과 일치하는 정보만을 표시하는 경향이 있다. 엘리 파리저에 따르면 사용자는 상반된 관점에 대한 노출이 줄어들고 자신의 정보 버블 안에서 지적으로 고립된다.

이러한 문제를 해결하기 위해 덕덕고와 같은 일부 검색 엔진은 사용자 추적을 하지 않아 필터 버블 문제를 해결하고자 한다. 그러나 많은 학자들은 파리저의 견해에 의문을 제기하며 필터 버블에 대한 증거가 거의 없다는 것을 발견했다. 반대로 필터 버블의 존재를 확인하려는 여러 연구에서 검색 결과의 개인화 수준이 미미하며, 대부분의 사람들이 온라인에서 다양한 견해를 접하고, 구글 뉴스가 주류 언론 매체를 홍보하는 경향이 있다는 것을 발견했다.

9. 기타

원문에는 특정 분야에 특화된 검색 엔진의 예시가 명시되어 있지 않지만, 요약에 제시된 내용을 바탕으로 다음과 같이 작성할 수 있다.

학술 검색, 이미지 검색, 종교 검색 엔진 등 특정 분야에 특화된 검색 엔진도 존재한다.