아파치 스쿱
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
1. 개요
아파치 스쿱은 "SQL-to-Hadoop"에서 이름을 따온 오픈 소스 도구로, 관계형 데이터베이스와 Hadoop 간의 데이터 전송을 지원한다. 단일 테이블 또는 SQL 쿼리의 증분 로드와 데이터베이스 업데이트 가져오기를 지원하며, 하이브 또는 HBase 테이블을 채우는 데 사용될 수 있다. Hadoop의 데이터를 관계형 데이터베이스로 내보내는 기능도 제공한다. 2012년 3월 아파치 최상위 프로젝트가 되었으며, 인포매티카, 펜타호, 마이크로소프트, Couchbase 등 다양한 기업에서 스쿱 기반 커넥터를 제공한다.
더 읽어볼만한 페이지
- 클라우드 애플리케이션 - 구글 워크스페이스
구글 워크스페이스는 구글이 제공하는 클라우드 기반 생산성 및 협업 도구 모음으로, Gmail, 구글 드라이브 등을 포함하며, 마이크로소프트 365와 경쟁하며 생성형 AI 기능을 도입했다. - 클라우드 애플리케이션 - 피그마
피그마는 웹 기반 UI 디자인 및 프로토타이핑 도구이며, 실시간 협업 기능과 다양한 디자인 도구를 제공하여 효율적인 디자인 작업을 지원한다. - 하둡 - 아파치 하둡
아파치 하둡은 대용량 데이터를 분산 처리하기 위한 자바 기반의 오픈 소스 프레임워크로, HDFS, 맵리듀스, YARN 등의 모듈로 구성되어 클라우드 환경에서도 사용된다. - 하둡 - 맵리듀스
맵리듀스는 대용량 데이터 처리를 위해 구글에서 개발한 프로그래밍 모델이자 프레임워크로, Map과 Reduce 함수를 사용하여 데이터를 병렬 처리하며 하둡 등의 오픈 소스 구현을 통해 널리 쓰인다. - 아파치 소프트웨어 재단 프로젝트 - 아파치 루씬
아파치 루씬은 더그 커팅이 개발한 오픈 소스 전문 검색 라이브러리이며, 텍스트 색인 및 검색 기능을 제공하여 웹 검색 엔진, 퍼지 검색, 추천 시스템 구현 등에 사용된다. - 아파치 소프트웨어 재단 프로젝트 - 아파치 하둡
아파치 하둡은 대용량 데이터를 분산 처리하기 위한 자바 기반의 오픈 소스 프레임워크로, HDFS, 맵리듀스, YARN 등의 모듈로 구성되어 클라우드 환경에서도 사용된다.
2. 설명
스쿱은 "SQL-to-Hadoop"에서 이름을 따왔다.[4] 스쿱은 단일 테이블 또는 자유 형식의 SQL 쿼리의 증분 로드뿐만 아니라 마지막 가져오기 이후 데이터베이스에 대한 업데이트를 가져오기 위해 여러 번 실행할 수 있는 저장된 작업을 지원한다. 가져오기는 또한 하이브 또는 HBase의 테이블을 채우는 데 사용할 수 있다.[3] 내보내기는 Hadoop의 데이터를 관계형 데이터베이스에 넣는 데 사용할 수 있다.
2. 1. 지원 현황
2012년 3월, 스쿱은 아파치 최상위 프로젝트가 되었다.[5]인포매티카는 버전 10.1부터 스쿱 기반의 커넥터를 제공한다.[3] 펜타호는 소프트웨어 버전 4.5부터 ETL 제품군인 펜타호 데이터 통합에서 오픈 소스 스쿱 기반 커넥터 단계인 ''스쿱 가져오기'' 및 ''스쿱 내보내기''를 제공한다. 마이크로소프트는 마이크로소프트 SQL Server 데이터베이스에서 Hadoop으로 데이터를 전송하는 데 도움이 되는 스쿱 기반 커넥터를 사용한다.[6] Couchbase, Inc.는 또한 스쿱을 통해 Couchbase 서버-Hadoop 커넥터를 제공한다.[7]
3. 한국 내 활용 사례
참조
[1]
웹사이트
Hadoop: Apache Sqoop
https://sqoop.apache[...]
2012-09-08
[2]
웹사이트
moving Sqoop to the Attic
http://mail-archives[...]
2021-06-27
[3]
웹사이트
Apache Sqoop - Overview
https://blogs.apache[...]
2012-09-08
[4]
웹사이트
Introducing Sqoop
https://blog.clouder[...]
2019-01-01
[5]
웹사이트
Apache Sqoop Graduates from Incubator
https://blogs.apache[...]
2012-09-08
[6]
웹사이트
Microsoft SQL Server Connector for Apache Hadoop
https://www.microsof[...]
2012-09-08
[7]
웹사이트
Couchbase Hadoop Connector
http://www.couchbase[...]
2012-09-08
[8]
웹사이트
Hadoop: Apache Sqoop
https://sqoop.apache[...]
2012-09-08
[9]
웹사이트
Apache Sqoop - Overview
https://blogs.apache[...]
2012-09-08
[10]
웹사이트
Apache Sqoop Graduates from Incubator
https://blogs.apache[...]
2012-09-08
[11]
웹사이트
Microsoft SQL Server Connector for Apache Hadoop
https://www.microsof[...]
2012-09-08
[12]
웹사이트
Couchbase Hadoop Connector
http://www.couchbase[...]
2012-09-08
[13]
웹인용
Hadoop: Apache Sqoop
https://sqoop.apache[...]
2012-09-08
본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.
문의하기 : help@durumis.com