야후! 검색

3. 핵심 기술

야후! 검색 엔진은 초기에는 IRF(Inktomi Ranking Function)라는 휴리스틱 기법으로 순위가 매겨졌지만, 알타비스타 출신 기술자들을 중심으로 기계 학습 기반의 순위 매기기 기법이 개발되어 이를 대체했다.^[10]

2006년에는 더그 커팅 등이 개발한 오픈소스 소프트웨어인 아파치 하둡을 채택했고, 2008년에는 주요 구성 요소인 웹맵(Webmap)을 구축했다.^[11]

2008년 야후는 오픈 플랫폼 전략을 발표하고, 의미 웹 기술을 채용한 야후! SearchMonkey를 공개하여 사이트 운영자가 검색 엔진에 구조화된 데이터를 제공하고 검색 결과에 표시할 수 있도록 했다.^[12] 또한, 야후! Search BOSS를 통해 개발자가 YST를 사용하여 자체 검색 엔진을 구축할 수 있도록 했다.^[13] YST에서는 웹마스터를 위한 도구로 사이트 익스플로러를 제공하여 크롤링 및 색인 상태를 확인하고, 사이트맵 피드를 통해 크롤링을 요청할 수 있었다.^[14]

패스트서치 & 트랜스퍼(Fast Search & Transfer)가 개발한 검색 엔진 "AlltheWeb"은 야후에 인수된 후, AlltheWeb 팀을 중심으로 Vespa 검색 엔진이 개발되었다. Vespa는 Yahoo.com, Yahoo News 등 대규모 서비스에 사용되고 있으며, 2017년 오픈소스로 공개되었다.^[18] 야후! 재팬(Yahoo! JAPAN)에서도 야후! 실시간 검색 및 야후! 지식인(Yahoo! 知恵袋) 등에서 Vespa를 검색 엔진으로 사용하고 있다.^[19]

3. 1. 기계 학습 랭킹

3. 2. Apache Hadoop 채택

3. 3. 오픈 플랫폼 전략

3. 4. Vespa

4. 지원 언어

5. 야후! 재팬 (Yahoo! JAPAN)

야후! 재팬은 일본 내에서 독자적인 검색 엔진 기술을 채택하고 발전시켜왔다. 2004년 YST를 도입하여 검색 결과를 보완했고, 2005년부터는 YST를 우선적으로 표시하도록 변경했다.^[8][9]

패스트서치 & 트랜스퍼(Fast Search & Transfer)가 개발하고 야후!에 인수된 검색 엔진 Vespa는 야후! 재팬의 야후! 실시간 검색 및 야후! 지식인(Yahoo! 知恵袋) 등에서 사용된다.^[19]

5. 1. YST 채택

5. 2. Vespa 활용

참조

_[1] 웹사이트 Top 40 Website Programming Languages http://rogchap.com/2[...] 2011-09-06
_[2] 웹사이트 Yahoo search https://search.yahoo[...] 2017-08-12
_[3] 웹사이트 comScore Releases February 2015 U.S. Desktop Search Engine Rankings http://www.comscore.[...] 2015-03-17
_[4] 웹사이트 Yahoo!の検索ビジネス戦略を探る https://internet.wat[...] 2020-07-04
_[5] 웹사이트 Ranking Relevance in Yahoo Search https://www.kdd.org/[...] 2020-07-04
_[6] 웹사이트 Yahooが検索エンジンを自社開発した理由 https://japan.cnet.c[...] 2004-05-24
_[7] 웹사이트 Yahoo! JAPANがGoogleからYSTへの検索エンジン切り換えを実施 https://japan.cnet.c[...] 2004-05-31
_[8] 웹사이트 自社検索エンジン「YST」の導入がヤフーにもたらした影響とは https://japan.cnet.c[...] 2006-06-14
_[9] 웹사이트 ヤフー、予定どおり検索結果ページをロボット主体にリニューアル https://japan.cnet.c[...] 2005-10-03
_[10] 웹사이트 Interview with Mike Mathieson, former head of search relevance at Yahoo!, SearchMe, and eBay on the history of Machine Learned Ranking – searchnews http://searchnews.or[...]
_[11] 뉴스 How Yahoo Spawned Hadoop, the Future of Big Data https://www.wired.co[...] 2011-10-18
_[12] 웹사이트 解説：Yahoo!JAPAN、サーチモンキーと検索プラグインを発表 - 検索結果をより便利なものへ:渡辺隆広のサーチエンジン情報館 https://japan.cnet.c[...]
_[13] 웹사이트 Yahoo!、独自の検索サービス作れる「Search BOSS」を公開 https://www.itmedia.[...]
_[14] 웹사이트 ヤフー、ウェブマスター向けツール「Yahoo!検索 サイトエクスプローラー」公開 https://japan.cnet.c[...] 2008-05-14
_[15] 웹사이트 With "Fast Break" and "Curveball," Mayer Is Aiming to Bring Back Search Tech to Yahoo https://www.vox.com/[...] 2014-01-31
_[16] 웹사이트 Ranking Relevance in Yahoo Search - KDD2016 https://www.youtube.[...] 2020-07-11
_[17] 웹사이트 Vespa arrives under Oath via FAST and Yahoo! {{!}} Intranet Focus {{!}} Intranet strategy & management http://intranetfocus[...]
_[18] 웹사이트 Open Sourcing Vespa, Yahoo’s Big Data Processing and Serving Engine https://www.verizonm[...] Verizon Media 2020-07-11
_[19] 웹사이트 The open big data serving engine：VESPAの紹介 https://techblog.yah[...] 2017-09-27
_[20] 웹인용 Yahoo search https://search.yahoo[...] 2017-08-12
_[21] 웹인용 comScore Releases February 2015 U.S. Desktop Search Engine Rankings https://www.netmarke[...] 2015-03-18