맨위로가기

아파치 드릴

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
목차

1. 개요

아파치 드릴(Apache Drill)은 페타바이트(petabytes) 규모의 데이터를 수 초 내에 처리하도록 설계된 오픈 소스 SQL 쿼리 엔진이다. 스키마리스 JSON 문서 모델을 지원하여 정식 스키마 선언 없이 데이터를 처리하며, ANSI SQL, ODBC/JDBC, RESTful API를 제공한다. 다양한 데이터 저장소에 연결 가능한 플러그형 아키텍처를 갖추고 있으며, 아파치 하둡, NoSQL, 클라우드 스토리지를 비롯한 여러 데이터 형식을 지원한다. 사용자 친화적인 웹 인터페이스와 데이터 시각화 도구인 아파치 수퍼셋과의 연동을 제공한다.

더 읽어볼만한 페이지

  • 클라우드 컴퓨팅용 자유 소프트웨어 - 쿠버네티스
    쿠버네티스는 컨테이너화된 애플리케이션을 자동으로 배포, 스케일링, 관리하는 오픈 소스 시스템으로, 구글의 Borg 시스템에서 영감을 받아 설계되었으며 파드, 서비스 등의 기능을 제공하여 클라우드 네이티브 환경에서 중요한 역할을 한다.
  • 클라우드 컴퓨팅용 자유 소프트웨어 - 아파치 하둡
    아파치 하둡은 대용량 데이터를 분산 처리하기 위한 자바 기반의 오픈 소스 프레임워크로, HDFS, 맵리듀스, YARN 등의 모듈로 구성되어 클라우드 환경에서도 사용된다.
  • 자유 시스템 소프트웨어 - 리눅스 커널
    리눅스 커널은 1991년 리누스 토르발스가 개발을 시작한 UNIX에서 영감을 받은 운영 체제 커널로, GPLv2 라이선스를 채택하여 자유로운 사용과 배포를 허용하며 다양한 하드웨어 아키텍처를 지원하고 모듈형 구조를 통해 장치 드라이버 추가가 가능하다.
  • 자유 시스템 소프트웨어 - ZeroMQ
    ZeroMQ는 다양한 메시징 패턴을 지원하고 높은 성능을 제공하는 메시지 라이브러리이다.
  • SQL - 사용자 정의 함수
    사용자 정의 함수는 프로그래밍 언어와 데이터베이스 시스템에서 사용자가 직접 정의하여 재사용할 수 있는 코드 블록이다.
  • SQL - 임베디드 SQL
    임베디드 SQL은 호스트 프로그래밍 언어 내에 SQL 문을 삽입하여 데이터베이스와 상호 작용하는 기술로, 데이터베이스 액세스를 표준화하지만 보안 취약점과 이식성 저하의 단점도 가진다.
아파치 드릴 - [IT 관련 정보]에 관한 문서
기본 정보
아파치 드릴 로고
아파치 드릴 로고
개발사아파치 소프트웨어 재단
최초 릴리스2015년 5월 19일
최신 안정화 버전1.20.3
최신 안정화 버전 릴리스 날짜2023년 1월 7일
저장소드릴 저장소
프로그래밍 언어자바
운영 체제크로스 플랫폼
라이선스아파치 라이선스 2.0
웹사이트아파치 드릴 공식 웹사이트

2. 특징

아파치 드릴(Apache Drill)은 10,000대 이상의 서버로 확장하고 수 초 내에 페타바이트(petabytes)의 데이터와 수 조 개의 레코드를 처리할 수 있도록 설계되었다.[8]


  • MongoDB 및 Elasticsearch와 유사한 스키마리스(Schema-free) JSON 문서 모델로, 정식 스키마를 선언할 필요가 없다.
  • 업계 표준 API: ANSI SQL, ODBC/JDBC, RESTful API
  • 사용자 및 개발자 친화적
  • 플러그 가능한 아키텍처를 통해 여러 데이터 저장소에 연결 가능
  • 버전 1.9에서 동적 사용자 정의 함수 추가[8]
  • 버전 1.11에서 암호화 관련 함수 및 PCAP 파일 형식 지원 추가[8]
  • MongoDB나 Elasticsearch와 유사하며, 정식 스키마 선언이 필요 없는, 스키마리스 JSON 문서 모델
  • 업계 표준 API: ANSI SQL, ODBC/JDBC, RESTful API
  • 사용자 및 개발자가 매우 다루기 쉬움
  • 플러그 가능한 아키텍처를 통해 여러 데이터 저장소에 연결 가능

2. 1. 확장성

아파치 드릴(Apache Drill)은 10,000대 이상의 서버로 확장하고 수 초 내에 페타바이트(petabytes)의 데이터와 수 조 개의 레코드를 처리할 수 있도록 설계되었다.[8] MongoDB 및 Elasticsearch와 유사한 스키마리스(Schema-free) JSON 문서 모델로, 정식 스키마를 선언할 필요가 없다.[8] 업계 표준 API로 ANSI SQL, ODBC/JDBC, RESTful API를 지원하며, 사용자 및 개발자 친화적이다.[8] 플러그 가능한 아키텍처를 통해 여러 데이터 저장소에 연결 가능하다.[8]

2. 2. 스키마리스(Schema-free) JSON 모델

아파치 드릴은 MongoDB 및 Elasticsearch와 유사한 스키마리스(Schema-free) JSON 문서 모델을 채택하여, 정식 스키마를 미리 선언할 필요 없이 데이터를 처리할 수 있다.[8] 이는 데이터 구조가 유동적이거나 빈번하게 변경되는 환경에서 유연하게 대처할 수 있게 해준다.

2. 3. 표준 API 지원

아파치 드릴은 10,000대 이상의 서버로 확장하고 수 초 내에 페타바이트(petabytes)의 데이터와 수 조 개의 레코드를 처리할 수 있도록 설계되었다.[8] MongoDB 및 Elasticsearch와 유사한 스키마리스(Schema-free) JSON 문서 모델로, 정식 스키마를 선언할 필요가 없다. 업계 표준 API로 ANSI SQL, ODBC/JDBC, RESTful API를 지원한다. 사용자 및 개발자 친화적이며 플러그 가능한 아키텍처를 통해 여러 데이터 저장소에 연결 가능하다.

2. 4. 사용자 친화적 인터페이스

아파치 드릴은 JDBC, ODBC, REST를 통해 파이썬, 자바 등 다양한 방법과 언어로 쿼리할 수 있다.[10] 기본 설치에는 최종 사용자가 프로그래밍 없이도 ANSI SQL을 직접 실행하고 데이터 테이블을 CSV 파일로 내보낼 수 있는 웹 인터페이스가 포함되어 있다.[10]

데이터 시각화 도구인 아파치 수퍼셋(Apache Superset)은 드릴로 쿼리된 데이터의 시각화에 특히 적합하다.[10] 드릴은 정식 스키마 선언이 필요 없는 스키마리스 JSON 문서 모델을 지원하며, 이는 MongoDB나 Elasticsearch와 유사하다. ANSI SQL, ODBC/JDBC, RESTful API와 같은 업계 표준 API를 제공하여 사용자 및 개발자가 매우 다루기 쉽다.[10] 또한 플러그 가능한 아키텍처를 통해 여러 데이터 저장소에 연결할 수 있다.[10]

2. 5. 플러그형 아키텍처

아파치 드릴은 10,000대 이상의 서버로 확장하고 수 초 내에 페타바이트(petabytes)의 데이터와 수 조 개의 레코드를 처리할 수 있도록 설계되었다.[8] MongoDB 및 Elasticsearch와 유사한 스키마리스(Schema-free) JSON 문서 모델로, 정식 스키마를 선언할 필요가 없다. 업계 표준 API로 ANSI SQL, ODBC/JDBC, RESTful API를 지원한다. 사용자 및 개발자 친화적이며 플러그 가능한 아키텍처를 통해 여러 데이터 저장소에 연결 가능하다.

2. 6. 동적 사용자 정의 함수(UDF)

아파치 드릴은 버전 1.9에서 동적 사용자 정의 함수가 추가되었다.[8]

2. 7. 보안 및 PCAP 파일 형식 지원

아파치 드릴은 버전 1.11에서 암호화 관련 함수 및 PCAP 파일 형식 지원이 추가되었다.[8]

3. 지원 환경 (Back-end Support)

아파치 드릴은 주로 아파치 하둡 텍스트 파일, NoSQL, 클라우드 스토리지를 포함한 비관계형 데이터 저장소에 중점을 둔다.[9][13] 또한 로컬 JSON 및 아파치 파케이 파일의 현장 쿼리를 포함하는 주목할만한 기능도 있다.

지원되는 몇 가지 추가 데이터 저장소는 다음과 같다.[9][13]



스토리지 플러그인을 개발하여 새로운 데이터 저장소를 추가할 수 있다. 드릴의 "스키마 프리" JSON 데이터 모델을 사용하면 비관계형 데이터 저장소를 현장에서 쿼리할 수 있다.[9][13]

3. 1. 비관계형 데이터 저장소

아파치 드릴은 주로 아파치 하둡 텍스트 파일, NoSQL, 클라우드 스토리지를 포함한 비관계형 데이터 저장소에 중점을 둔다.[9][13] 또한 로컬 JSON 및 아파치 파케이 파일의 현장 쿼리를 포함하는 주목할만한 기능도 있다.

지원되는 몇 가지 추가 데이터 저장소는 다음과 같다.[9][13]

스토리지 플러그인을 개발하여 새로운 데이터 저장소를 추가할 수 있다. 드릴의 "스키마 프리" JSON 데이터 모델을 사용하면 비관계형 데이터 저장소를 현장에서 쿼리할 수 있다.[9][13]

3. 2. 클라우드 스토리지

아파치 드릴은 주로 아파치 하둡 텍스트 파일, NoSQL, 클라우드 스토리지를 포함한 비관계형 데이터 저장소에 중점을 둔다.[9][13] 로컬 JSON 및 아파치 파케이 파일의 현장 쿼리를 포함하는 주목할만한 기능도 있다.

지원되는 데이터 저장소는 다음과 같다.[9][13]

스토리지 플러그인을 개발하여 새로운 데이터 저장소를 추가할 수 있다. 드릴의 "스키마 프리" JSON 데이터 모델을 사용하면 비관계형 데이터 저장소를 현장에서 쿼리할 수 있다.[9][13]

3. 3. 데이터 형식

아파치 드릴은 주로 아파치 하둡 텍스트 파일, NoSQL, 클라우드 스토리지를 포함한 비관계형 데이터 저장소에 중점을 둔다.[9][13] 또한 로컬 JSON 및 아파치 파케이 파일의 현장 쿼리를 포함하는 주목할만한 기능도 있다.

지원되는 몇 가지 추가 데이터 저장소는 다음과 같다.

스토리지 플러그인을 개발하여 새로운 데이터 저장소를 추가할 수 있다.[9][13] 드릴의 "스키마 프리" JSON 데이터 모델을 사용하면 비관계형 데이터 저장소를 현장에서 쿼리할 수 있다.[9]

3. 4. RDBMS 지원

아파치 드릴은 주로 아파치 하둡 텍스트 파일, NoSQL, 클라우드 스토리지를 포함한 비관계형 데이터 저장소에 중점을 둔다.[9][13] 지원되는 몇 가지 추가 데이터 저장소는 다음과 같다.

RDBMs 스토리지 플러그인 (JDBC를 사용하여 MySQL, PostgreSQL 등에 연결)을 지원한다.[9][13] 스토리지 플러그인을 개발하여 새로운 데이터 저장소를 추가할 수 있다. 드릴의 "스키마 프리" JSON 데이터 모델을 사용하면 비관계형 데이터 저장소를 현장에서 쿼리할 수 있다.[9]

3. 5. 스토리지 플러그인 개발

아파치 드릴은 아파치 하둡, 텍스트 파일, NoSQL, 클라우드 스토리지를 포함한 비관계형 데이터 저장소에 중점을 둔다.[9][13] 로컬 JSON 및 아파치 파케이 파일의 현장 쿼리를 포함하는 주목할만한 기능도 있다. 지원되는 몇 가지 추가 데이터 저장소는 다음과 같다.

스토리지 플러그인을 개발하여 새로운 데이터 저장소를 추가할 수 있다.[9][13] 드릴의 "스키마 프리" JSON 데이터 모델을 사용하면 비관계형 데이터 저장소를 현장에서 쿼리할 수 있다.[9]

4. 사용자 인터페이스 (Front-end Support)

드릴 자체는 JDBC, ODBC, 또는 REST를 통해 Python 및 Java를 포함한 다양한 방법과 언어로 쿼리할 수 있다. 기본 설치에는 최종 사용자가 프로그래밍 없이도 ANSI SQL을 직접 실행하고 데이터 테이블을 CSV 파일로 내보낼 수 있는 웹 인터페이스가 포함되어 있다.

대시보드 라이브러리인 아파치 수퍼셋은 드릴로 쿼리된 데이터의 시각화에 특히 적합하다.[10]

4. 1. 시각화 도구

드릴은 JDBC, ODBC, 또는 REST를 통해 Python 및 Java를 포함한 다양한 방법과 언어로 쿼리할 수 있다. 기본 설치에는 최종 사용자가 프로그래밍 없이도 ANSI SQL을 직접 실행하고 데이터 테이블을 CSV 파일로 내보낼 수 있는 웹 인터페이스가 포함되어 있다.[10] 대시보드 라이브러리인 아파치 수퍼셋은 드릴로 쿼리된 데이터의 시각화에 특히 적합하다.[10]

5. 관련 논문

참조

[1] 웹사이트 Apache Drill: Tracking its history as an open source community http://radar.oreilly[...] 2015-09-21
[2] 웹사이트 Brief About The Differences between Apache Drill Vs Presto https://www.hitechne[...] 2023-04-13
[3] 웹사이트 Spark SQL vs. Apache Drill-War of the SQL-on-Hadoop Tools https://www.projectp[...] 2022-11-15
[4] 웹사이트 The Apache Software Foundation Announces Apache Drill as a Top-Level Project https://blogs.apache[...] 2014-12-02
[5] 웹사이트 Apache Software Foundation updates Drill for broader SQL queries https://venturebeat.[...] 2021-09-01
[6] 웹사이트 Apache Drill Eliminates ETL, Data Transformation for MapR Database https://thenewstack.[...] 2016-04-11
[7] 웹사이트 Apache Drill - Schema-free SQL for Hadoop, NoSQL and Cloud Storage https://drill.apache[...] 2015-12-29
[8] 웹사이트 DrillProposal - INCUBATOR - Apache Software Foundation http://wiki.apache.o[...]
[9] 웹사이트 Frequently Asked Questions - Apache Drill https://drill.apache[...] 2015-12-29
[10] 웹사이트 The best open source software of 2020 https://www.infoworl[...] 2020-10-05
[11] 웹사이트 The Apache Software Foundation Announces Apache™ Drill™ as a Top-Level Project https://blogs.apache[...] 2014-12-02
[12] 웹사이트 Apache Drill - Schema-free SQL for Hadoop, NoSQL and Cloud Storage https://drill.apache[...] 2015-12-29
[13] 웹사이트 Frequently Asked Questions - Apache Drill https://drill.apache[...] 2015-12-29
[14] 웹인용 Apache Drill: Tracking its history as an open source community http://radar.oreilly[...] 2015-09-21
[15] 웹인용 Brief About The Differences between Apache Drill Vs Presto https://www.hitechne[...] 2023-04-13
[16] 웹인용 Spark SQL vs. Apache Drill-War of the SQL-on-Hadoop Tools https://www.projectp[...] 2022-11-15
[17] 웹인용 The Apache Software Foundation Announces Apache Drill as a Top-Level Project https://blogs.apache[...] 2014-12-02
[18] 웹인용 Apache Software Foundation updates Drill for broader SQL queries https://venturebeat.[...] 2021-09-01
[19] 웹인용 Apache Drill Eliminates ETL, Data Transformation for MapR Database https://thenewstack.[...] 2016-04-11
[20] 웹인용 Apache Drill - Schema-free SQL for Hadoop, NoSQL and Cloud Storage https://drill.apache[...] 2015-12-29


본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com