아파치 너치

3. 역사

더그 커팅과 마이크 카페렐라가 루씬과 하둡을 개발하면서 너치를 시작했다.

2003년 6월, 1억 페이지 규모의 시연 시스템 개발에 성공했다. 너치 프로젝트는 크롤링 및 인덱싱 작업의 다중 머신 처리를 위해 맵리듀스 기능과 분산 파일 시스템을 구현했고, 이 기능들은 하둡이라는 자체 하위 프로젝트로 분리되었다.

2005년 1월, 너치는 아파치 인큐베이터에 합류하여 6월에는 루씬의 하위 프로젝트로 졸업했다. 2010년 4월부터 아파치 소프트웨어 재단의 독립적인 최상위 프로젝트로 운영되고 있다.^[2]

2014년 2월, 커먼 크롤 프로젝트는 대규모 웹 크롤링을 위해 너치를 채택했다.^[3] 과거 너치는 글로벌 대규모 웹 검색 엔진 출시를 목표로 했으나, 현재는 그렇지 않다.

3. 1. 릴리스 역사

4. 확장성

IBM 연구소는 상업적 확장(CSO) 프로젝트의 일환으로 너치/루씬의 성능^[8]을 연구했다.^[9] 연구 결과에 따르면 너치/루씬과 같은 수평 확장 시스템은 블레이드 클러스터에서 POWER5와 같은 수직 확장 컴퓨터에서는 달성할 수 없는 높은 성능을 달성할 수 있다.

TREC 등에서 사용된 ClueWeb09 데이터세트는 너치를 사용하여 수집되었으며, 초당 평균 755.31개의 문서를 처리했다.^[10]

5. 관련 프로젝트

하둡은 대규모 클러스터에서 실행되는 분산 애플리케이션을 지원하는 자바 프레임워크이다.

6. 너치 기반 검색 엔진

• 커먼 크롤 – 2014년부터 너치를 사용하여 공개적으로 인터넷 전체를 크롤링한다.^[3]
• 크리에이티브 커먼즈 검색 – 2004년부터 2006년까지 너치를 구현하여 사용했다.^[11][12][13]
• 디스커버에드 – 오픈 교육 자원 검색 프로토타입, 크리에이티브 커먼즈에서 개발.
• 크루글 – 코드, 아카이브 및 기술적으로 흥미로운 콘텐츠에 대한 웹 페이지를 크롤링하는 데 너치를 사용한다.
• 위키아 검색 – 2008년 출시, 2009년 종료.^[14][15]

7. 기타

IBM 연구소는 자사의 상업적 확장(CSO) 프로젝트의 일환으로 너치/루씬의 성능^[8][9]을 연구했다. 연구 결과에 따르면 너치/루씬과 같은 수평 확장 시스템은 POWER5와 같은 수직 확장 컴퓨터에서는 달성할 수 없는 성능 수준을 블레이드 클러스터에서 달성할 수 있었다.

TREC 등에서 사용된 ClueWeb09 데이터세트는 너치를 사용하여 수집되었으며, 초당 평균 755.31개의 문서를 처리했다.^[10]

참조

_[1] 웹사이트 Apache Nutch™ - Downloads https://nutch.apache[...] 2024-06-11
_[2] 웹사이트 Apache Nutch - http://nutch.apache.[...]
_[3] 웹사이트 Common Crawl's Move to Nutch – Common Crawl – Blog http://blog.commoncr[...] 2015-10-14
_[4] 웹사이트 Nutch 2.3 Release http://nutch.apache.[...] The Apache Software Foundation 2016-01-18
_[5] 웹사이트 Nutch 1.10 Release Notes https://issues.apach[...] The Apache Software Foundation 2016-01-18
_[6] 웹사이트 Nutch 1.11 Release Notes https://issues.apach[...] The Apache Software Foundation 2016-01-18
_[7] 뉴스 Nutch 2.4 Release https://nutch.apache[...] The Apache Software Foundation 2022-05-20
_[8] 웹사이트 Scalability of the Nutch search engine http://www.cecs.uci.[...]
_[9] 웹사이트 Base Operating System Provisioning and Bringup for a Commercial Supercomputer https://web.archive.[...]
_[10] 문서 The Sapphire Web Crawler - Crawl Statistics http://boston.lti.cs[...] Boston.lti.cs.cmu.edu 2013-07-21
_[11] 웹사이트 Our Updated Search https://creativecomm[...] Creative Commons 2004-09-03
_[12] 웹사이트 Creative Commons Unique Search Tool Now Integrated into Firefox 1.0 https://web.archive.[...] Creative Commons 2004-11-22
_[13] 웹사이트 New CC search UI https://creativecomm[...] Creative Commons 2006-08-02
_[14] 웹사이트 Where can I get the source code for Wikia Search? https://web.archive.[...] 2010-02-12
_[15] 웹사이트 Update on Wikia – doing more of what's working {{pipe}} Jimmy Wales http://jimmywales.co[...] 2009-03-31
_[16] 웹인용 Apache Nutch™ - Downloads https://nutch.apache[...] 2022-09-27