맨위로가기

스크래피 (웹 프레임워크)

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요

스크래피는 런던 기반 웹 집계 및 전자 상거래 회사인 마이데코와 우루과이 몬테비데오에 위치한 웹 컨설팅 회사인 인소피아 직원들에 의해 개발 및 유지 관리된 웹 크롤링 프레임워크이다. 2008년 8월 BSD 라이선스로 최초 공개되었으며, 2015년 6월에 1.0 릴리스가 발표되었다. 2011년부터 자이트(Zyte, 이전 스크레이핑허브(Scrapinghub))가 공식 유지 관리하고 있다.

더 읽어볼만한 페이지

  • 웹 크롤러 - Wget
    Wget은 HTTP, HTTPS, FTP 프로토콜을 지원하여 네트워크를 통해 파일을 다운로드하는 자유 소프트웨어로, 명령 줄 인터페이스를 사용하며, 불안정한 네트워크 환경에서도 안정적인 다운로드와 웹사이트 미러링 기능을 제공한다.
  • 웹 크롤러 - 아파치 너치
    아파치 너치는 자바 기반의 오픈 소스 웹 크롤러 및 검색 엔진 프레임워크이며, 모듈식 아키텍처를 통해 플러그인 개발을 지원하고, 2010년부터 아파치 소프트웨어 재단의 독립적인 최상위 프로젝트로 운영된다.
  • 파이썬으로 작성된 자유 소프트웨어 - 캘리버
    캘리버는 다양한 전자책 파일 형식과 단말기를 지원하는 오픈소스 소프트웨어로, 편집, 변환, 메타데이터 관리, 라이브러리 검색, 온라인 콘텐츠 수집, 원격 액세스, 전자책 제작 등의 기능을 제공하며, 플러그인을 통해 DRM 제거도 가능하다.
  • 파이썬으로 작성된 자유 소프트웨어 - 클램윈
    클램윈은 ClamAV 엔진 기반의 오픈 소스 백신 소프트웨어로, 트로이 목마, 바이러스, 멀웨어 등 다양한 악성 위협 분석 자료를 제공하며 예약 검사, 수동 검사, 컨텍스트 메뉴 통합 등의 기능을 지원하지만 실시간 감시 기능은 제공하지 않는다.
  • BSD 라이선스 소프트웨어 - V8 (자바스크립트 엔진)
    V8은 구글이 개발한 오픈 소스 자바스크립트 엔진으로, 자바스크립트 코드 실행 속도 향상을 위해 여러 컴파일러를 거쳐 크롬, 노드.js 등에서 활용된다.
  • BSD 라이선스 소프트웨어 - VP9
    VP9는 구글이 개발한 오픈 소스 비디오 코덱으로, VP8보다 압축 효율을 높이고 HEVC보다 나은 성능을 목표로 개발되었으며, WebM 형식으로 사용되고 주요 웹 브라우저와 넷플릭스, 유튜브 등에서 지원했으나 AV1의 등장으로 개발이 중단되었다.
스크래피 (웹 프레임워크) - [IT 관련 정보]에 관한 문서
개요
Scrapy 로고
Scrapy 로고
종류웹 크롤러
라이선스BSD 허가서
웹사이트공식 웹사이트
개발
개발사Zyte (formerly Scrapinghub)
최초 릴리스2008년 6월 26일
프로그래밍 언어파이썬
지원 운영체제마이크로소프트 윈도우
macOS
리눅스

2. 역사

스크래피는 런던에 기반을 둔 웹 집계 및 전자 상거래 회사인 마이데코(Mydeco)에서 시작되었으며, 마이데코와 인소피아(우루과이 몬테비데오에 위치한 웹 컨설팅 회사) 직원들에 의해 개발 및 유지 관리되었다.[10] 최초 공개 릴리스는 2008년 8월 BSD 라이선스로 이루어졌으며, 2015년 6월에 1.0 릴리스가 발표되었다.[10] 2011년에는 자이트(Zyte, 이전 스크레이핑허브(Scrapinghub))가 새로운 공식 유지 관리자가 되었다.[11][12]

2. 1. 초기 개발

스크래피는 런던에 기반을 둔 웹 집계 및 전자 상거래 회사인 마이데코(Mydeco)에서 시작되었으며, 마이데코와 우루과이 몬테비데오에 위치한 웹 컨설팅 회사인 인소피아(Insophia) 직원들에 의해 개발 및 유지 관리되었다.[10] 최초 공개 릴리스는 2008년 8월 BSD 라이선스로 이루어졌으며, 2015년 6월에 1.0 릴리스가 발표되었다.[10] 2011년에는 자이트(Zyte, 이전 스크레이핑허브(Scrapinghub))가 새로운 공식 유지 관리자가 되었다.[11][12]

2. 2. 공개 릴리스

스크래피는 런던에 기반을 둔 웹 집계 및 전자 상거래 회사인 마이데코(Mydeco)에서 시작되었으며, 마이데코와 인소피아(우루과이 몬테비데오에 위치한 웹 컨설팅 회사) 직원들에 의해 개발 및 유지 관리되었다. 2008년 8월 BSD 라이선스로 최초 공개 릴리스가 이루어졌으며, 2015년 6월에 1.0 릴리스가 발표되었다.[10] 2011년에는 자이트(Zyte, 이전 스크레이핑허브(Scrapinghub))가 새로운 공식 유지 관리자가 되었다.[11][12]

2. 3. 유지 관리 주체 변경

2008년 BSD 라이선스로 최초 공개 릴리스된 스크래피는[10] 2011년부터 자이트(Zyte, 이전 스크레이핑허브(Scrapinghub))가 공식 유지 관리하고 있다.[11][12]

참조

[1] 웹사이트 Commit 975f150 https://github.com/s[...] 2021-10-18
[2] Webarchive Scrapy at a glance http://doc.scrapy.or[...] 2018-09-17
[3] 웹사이트 Frequently Asked Questions http://doc.scrapy.or[...] 2015-07-28
[4] 웹사이트 Scalable Scraping Using Machine Learning http://talks.lystit.[...] 2015-07-28
[5] 웹사이트 'Scrapy {{!}} Companies using Scrapy' http://scrapy.org/co[...] 2015-07-28
[6] 웹사이트 Web Crawling & Metadata Extraction in Python https://speakerdeck.[...] 2012-10-27
[7] 웹사이트 'Scrapy {{!}} Companies using Scrapy' https://scrapy.org/c[...] 2017-11-09
[8] 웹사이트 Hyphe v0.0.0: the first release of our new webcrawler is out! http://www.medialab.[...] 2013-11-17
[9] 트윗 World Govt Data site uses Django, Solr, Haystack, Scrapy and other exciting buzzwords http://bit.ly/5jU3La #opendata #datastore 2010-01-21
[10] 메일링리스트 Scrapy 1.0 official release out! https://groups.googl[...] 2015-06-19
[11] 서적 List of the primary authors & contributors https://github.com/s[...]
[12] Webarchive Interview Scraping Hub http://decisionstats[...] 2020-10-29
[13] 문서 Scrapy at a glance http://doc.scrapy.or[...]
[14] 웹사이트 Frequently Asked Questions http://doc.scrapy.or[...] 2015-07-28
[15] 웹사이트 Scrapy shell http://doc.scrapy.or[...] 2015-07-28
[16] 웹사이트 Scalable Scraping Using Machine Learning http://talks.lystit.[...] 2015-07-28
[17] 문서 Scrapy | Companies using Scrapy http://scrapy.org/co[...]
[18] 웹사이트 Web Crawling & Metadata Extraction in Python https://speakerdeck.[...] 2012-10-27
[19] 웹사이트 Scrapy Companies https://scrapy.org/c[...] 2020-08-04
[20] 문서 Hyphe v0.0.0: the first release of our new webcrawler is out! http://www.medialab.[...]
[21] 트윗 World Govt Data site uses Django, Solr, Haystack, Scrapy and other exciting buzzwords http://bit.ly/5jU3La #opendata #datastore 2010-01-21
[22] 문서 https://www.sayonete[...]
[23] 서적 List of the primary authors & contributors https://github.com/s[...] 2013-11-18
[24] 문서 Interview Scraping Hub http://decisionstats[...]
[25] 문서 How do you pronounce "Scrapy"? https://groups.googl[...]
[26] 문서 Scrapy at a glance http://doc.scrapy.or[...]
[27] 웹인용 Frequently Asked Questions http://doc.scrapy.or[...] 2015-07-28
[28] 웹인용 Scrapy shell http://doc.scrapy.or[...] 2015-07-28
[29] 웹인용 Scalable Scraping Using Machine Learning http://talks.lystit.[...] 2015-07-28
[30] 문서 Scrapy | Companies using Scrapy http://scrapy.org/co[...]
[31] 웹인용 Web Crawling & Metadata Extraction in Python https://speakerdeck.[...]
[32] 웹인용 Scrapy Companies https://scrapy.org/c[...]
[33] 문서 Hyphe v0.0.0: the first release of our new webcrawler is out! http://www.medialab.[...]
[34] 트윗 World Govt Data site uses Django, Solr, Haystack, Scrapy and other exciting buzzwords http://bit.ly/5jU3La #opendata #datastore 2010-01-21



본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com