스크래피 (웹 프레임워크)
1. 개요
스크래피는 런던 기반 웹 집계 및 전자 상거래 회사인 마이데코와 우루과이 몬테비데오에 위치한 웹 컨설팅 회사인 인소피아 직원들에 의해 개발 및 유지 관리된 웹 크롤링 프레임워크이다. 2008년 8월 BSD 라이선스로 최초 공개되었으며, 2015년 6월에 1.0 릴리스가 발표되었다. 2011년부터 자이트(Zyte, 이전 스크레이핑허브(Scrapinghub))가 공식 유지 관리하고 있다.
-
웹 크롤러 -
Wget
Wget은 HTTP, HTTPS, FTP 프로토콜을 지원하여 네트워크를 통해 파일을 다운로드하는 자유 소프트웨어로, 명령 줄 인터페이스를 사용하며, 불안정한 네트워크 환경에서도 안정적인 다운로드와 웹사이트 미러링 기능을 제공한다. -
웹 크롤러 -
아파치 너치
아파치 너치는 자바 기반의 오픈 소스 웹 크롤러 및 검색 엔진 프레임워크이며, 모듈식 아키텍처를 통해 플러그인 개발을 지원하고, 2010년부터 아파치 소프트웨어 재단의 독립적인 최상위 프로젝트로 운영된다. -
파이썬으로 작성된 자유 소프트웨어 -
캘리버
캘리버는 다양한 전자책 파일 형식과 단말기를 지원하는 오픈소스 소프트웨어로, 편집, 변환, 메타데이터 관리, 라이브러리 검색, 온라인 콘텐츠 수집, 원격 액세스, 전자책 제작 등의 기능을 제공하며, 플러그인을 통해 DRM 제거도 가능하다. -
파이썬으로 작성된 자유 소프트웨어 -
클램윈
클램윈은 ClamAV 엔진 기반의 오픈 소스 백신 소프트웨어로, 트로이 목마, 바이러스, 멀웨어 등 다양한 악성 위협 분석 자료를 제공하며 예약 검사, 수동 검사, 컨텍스트 메뉴 통합 등의 기능을 지원하지만 실시간 감시 기능은 제공하지 않는다. -
BSD 라이선스 소프트웨어 -
V8 (자바스크립트 엔진)
V8은 구글이 개발한 오픈 소스 자바스크립트 엔진으로, 자바스크립트 코드 실행 속도 향상을 위해 여러 컴파일러를 거쳐 크롬, 노드.js 등에서 활용된다. -
BSD 라이선스 소프트웨어 -
VP9
VP9는 구글이 개발한 오픈 소스 비디오 코덱으로, VP8보다 압축 효율을 높이고 HEVC보다 나은 성능을 목표로 개발되었으며, WebM 형식으로 사용되고 주요 웹 브라우저와 넷플릭스, 유튜브 등에서 지원했으나 AV1의 등장으로 개발이 중단되었다.
2. 역사
스크래피는 런던에 기반을 둔 웹 집계 및 전자 상거래 회사인 마이데코(Mydeco)에서 시작되었으며, 마이데코와 인소피아(우루과이 몬테비데오에 위치한 웹 컨설팅 회사) 직원들에 의해 개발 및 유지 관리되었다. 최초 공개 릴리스는 2008년 8월 BSD 라이선스로 이루어졌으며, 2015년 6월에 1.0 릴리스가 발표되었다. 2011년에는 자이트(Zyte, 이전 스크레이핑허브(Scrapinghub))가 새로운 공식 유지 관리자가 되었다.
2.1. 초기 개발
스크래피는 런던에 기반을 둔 웹 집계 및 전자 상거래 회사인 마이데코(Mydeco)에서 시작되었으며, 마이데코와 우루과이 몬테비데오에 위치한 웹 컨설팅 회사인 인소피아(Insophia) 직원들에 의해 개발 및 유지 관리되었다. 최초 공개 릴리스는 2008년 8월 BSD 라이선스로 이루어졌으며, 2015년 6월에 1.0 릴리스가 발표되었다. 2011년에는 자이트(Zyte, 이전 스크레이핑허브(Scrapinghub))가 새로운 공식 유지 관리자가 되었다.