아파치 하이브

3. 아키텍처

아파치 하이브 아키텍처는 다음과 같은 주요 구성 요소로 이루어져 있다.

• '''메타스토어(Metastore):''' 테이블의 스키마, 위치 등 메타데이터를 저장한다. 파티션 메타데이터도 포함되어 있어, 드라이버가 클러스터에 분산된 데이터 세트의 진행 상황을 추적하는 데 도움을 준다.^[20] 데이터는 RDBMS 형식으로 저장되며, 백업 서버를 통해 정기적으로 복제되어 데이터 손실 시 복구할 수 있다.
• '''드라이버(Driver):''' HiveQL 문을 수신하는 컨트롤러 역할을 한다. 세션을 생성하여 문의 실행을 시작하고, 실행 과정과 진행 상황을 모니터링한다. HiveQL 문 실행 중 생성되는 메타데이터를 저장하며, Reduce 작업 이후 쿼리 결과를 수집하는 지점 역할을 한다.^[16]
• '''컴파일러(Compiler):''' HiveQL 쿼리를 컴파일하여 실행 계획으로 변환한다. 실행 계획에는 Hadoop MapReduce가 수행해야 하는 작업과 단계가 포함된다. 컴파일러는 쿼리를 추상 구문 트리(AST)로 변환하고, 호환성 및 컴파일 시간 오류를 확인한 후 방향 비순환 그래프(DAG)로 변환한다.^[21] DAG는 입력 쿼리와 데이터를 기반으로 연산자를 MapReduce 단계 및 작업으로 나눈다.^[20]
• '''옵티마이저(Optimizer):''' 실행 계획에 다양한 변환을 수행하여 최적화된 DAG를 얻는다. 조인 파이프라인을 단일 조인으로 변환하는 등 변환을 함께 집계하여 성능을 향상시킨다.^[22] 또한 축소 작업 전에 데이터에 변환을 적용하는 작업을 분할하여 성능과 확장성을 높인다. YSmart^[23]라는 옵티마이저는 상관된 MapReduce 작업을 단일 MapReduce 작업으로 병합하여 실행 시간을 단축시킨다.
• '''익스큐터(Executor):''' 컴파일 및 최적화 후, 작업을 실행한다. Hadoop의 작업 추적기와 상호 작용하여 실행할 작업을 예약하고, 작업 파이프라인을 처리하여 종속성이 있는 작업이 순서대로 실행되도록 한다.^[22]
• '''CLI, UI 및 스리프트 서버''': 명령줄 인터페이스(CLI)는 사용자가 쿼리를 제출하고, 지침을 제공하며, 프로세스 상태를 모니터링하여 하이브와 상호 작용할 수 있는 사용자 인터페이스를 제공한다. 스리프트 서버를 사용하면 외부 클라이언트가 JDBC 또는 ODBC 프로토콜과 유사하게 네트워크를 통해 하이브와 상호 작용할 수 있다.^[24]

4. HiveQL

HiveQL은 SQL을 기반으로 하지만, SQL-92 표준을 엄격하게 따르지는 않는다. HiveQL은 SQL에 없는 ''다중 테이블 삽입'', ''테이블을 선택하여 생성'' 등과 같은 확장 기능을 제공한다.

HiveQL은 데이터베이스 트랜잭션 및 구체화된 뷰에 대한 지원이 부족했고, 하위 쿼리 지원도 제한적이었다.^[25][26] ACID 기능을 완전히 갖춘 삽입, 업데이트 및 삭제에 대한 지원은 0.14 릴리스에서 제공되었다.^[27]

내부적으로 컴파일러는 HiveQL 문을 MapReduce, Tez 또는 Spark 작업의 방향 비순환 그래프로 변환하며, 이는 실행을 위해 하둡에 제출된다.^[28]

4. 1. 예제

5. 기존 데이터베이스와의 비교

하이브는 SQL 방언을 사용하지만, 관계형 데이터베이스와 비교하여 구조와 작동 방식에 많은 차이점이 있다. 하이브는 하둡 생태계를 기반으로 구축되었기 때문에 하둡 및 맵리듀스의 제약 조건을 따라야 한다.^[25]

기존 데이터베이스는 테이블에 스키마를 적용하고, 데이터가 테이블에 로드될 때 스키마를 적용한다. 이를 통해 데이터베이스는 입력된 데이터가 테이블 정의에 맞는지 확인한다. 이러한 설계를 ''쓰기 시 스키마''라고 한다. 반면 하이브는 쓰기 시점에 테이블 스키마에 대한 데이터 검증을 하지 않고, 데이터를 읽을 때 런타임 검사를 수행한다. 이 모델을 ''읽기 시 스키마''라고 한다.^[25] 두 방식 모두 장단점이 있다.

기존 데이터베이스는 로딩 시간에 테이블 스키마에 대해 데이터를 검사하므로 데이터를 로드하는 데 시간이 더 오래 걸리지만, 데이터 손상을 방지하기 위한 품질 검사가 수행된다. 손상된 데이터를 조기에 발견하여 예외 처리를 할 수 있다. 테이블은 데이터 로드 시 스키마와 일치하도록 강제되므로 쿼리 시간 성능이 더 좋다. 반면 하이브는 스키마 검사 없이 데이터를 동적으로 로드할 수 있어 초기 로딩은 빠르지만, 쿼리 시 성능이 상대적으로 느리다. 하이브는 로딩 시 스키마를 사용할 수 없고 나중에 동적으로 생성되는 경우에 유리하다.^[25]

트랜잭션은 기존 데이터베이스의 핵심 작업이다. 일반적인 RDBMS처럼 하이브는 ACID 속성, 즉 원자성, 일관성, 격리성, 지속성을 모두 지원한다. 하이브 0.13에서는 트랜잭션이 도입되었지만 파티션 수준으로만 제한되었다.^[29] 하이브 0.14에서는 완전한 ACID 속성을 지원하기 위해 기능이 추가되었다. 하이브 0.14 이상은 ''INSERT, DELETE, UPDATE''와 같은 다양한 행 수준 트랜잭션을 제공한다.^[30] 이러한 트랜잭션을 활성화하려면 `hive.support.concurrency`, `hive.enforce.bucketing`, `hive.exec.dynamic.partition.mode`와 같은 구성 속성을 적절하게 설정해야 한다.^[31]

6. 보안

Hive v0.7.0은 하둡 보안과의 통합을 추가했다. 하둡은 보안을 제공하기 위해 Kerberos 인증 지원을 사용하기 시작했다. Kerberos는 클라이언트와 서버 간의 상호 인증을 허용한다. 이 시스템에서 티켓에 대한 클라이언트의 요청은 요청과 함께 전달된다. 이전 버전의 하둡에는 `hadoop.job.ugi` 속성을 설정하여 사용자가 사용자 이름을 스푸핑할 수 있는 등 여러 가지 문제가 있었다. 또한 MapReduce 작업이 동일한 사용자(하둡 또는 mapred)에서 실행되었다. Hive v0.7.0에서 하둡 보안과의 통합을 통해 이러한 문제는 대부분 해결되었다. TaskTracker 작업은 이를 실행한 사용자에 의해 실행되며, `hadoop.job.ugi` 속성을 설정하여 더 이상 사용자 이름을 스푸핑할 수 없다. Hive에서 새로 생성된 파일에 대한 권한은 HDFS에 의해 결정된다. 하둡 분산 파일 시스템 인증 모델은 사용자, 그룹 및 기타의 세 가지 엔터티와 읽기, 쓰기 및 실행의 세 가지 권한을 사용한다. 새로 생성된 파일에 대한 기본 권한은 Hive 구성 변수 `hive.files.umask.value`에 대한 unmask 값을 변경하여 설정할 수 있다.^[5]

참조

_[1] 웹사이트 Apache Hive - Downloads https://hive.apache.[...] 2022-11-21
_[2] 웹사이트 Release release-1.0.0 · apache/Hive https://github.com/a[...]
_[3] 서적 Pro Hadoop https://archive.org/[...] Apress
_[4] 간행물 Major Technical Advancements in Apache Hive
_[5] 서적 Programming Hive [Book] https://www.safaribo[...]
_[6] Slideshare Use Case Study of Hive/Hadoop http://www.slideshar[...]
_[7] Youtube OSCON Data 2011, Adrian Cockcroft, "Data Flow at Netflix" https://www.youtube.[...]
_[8] 문서 Amazon Elastic MapReduce Developer Guide http://s3.amazonaws.[...]
_[9] 문서 HiveQL Language Manual https://cwiki.apache[...]
_[10] 문서 Apache Tez http://tez.apache.or[...]
_[11] 문서 Hive Language Manual https://cwiki.apache[...]
_[12] 서적 Hadoop in Action Manning Publications
_[13] 웹사이트 Optimising Hadoop and Big Data with Text and HiveOptimising Hadoop and Big Data with Text and Hive http://www.semantiko[...] 2014-11-16
_[14] 웹사이트 ORC Language Manual https://cwiki.apache[...] 2017-04-24
_[15] 간행물 Understanding Insights into the Basic Structure and Essential Issues of Table Placement Methods in Clusters
_[16] 웹사이트 Facebook's Petabyte Scale Data Warehouse using Hive and Hadoop http://www.sfbayacm.[...] 2011-09-09
_[17] 간행물 RCFile: A Fast and Space-efficient Data Placement Structure in MapReduce-based Warehouse Systems https://ieeexplore.i[...]
_[18] 웹사이트 Parquet https://cwiki.apache[...] 2015-02-02
_[19] 웹사이트 A Powerful Big Data Trio: Spark, Parquet and Avro http://zenfractal.co[...] 2015-02-02
_[20] 웹사이트 Design - Apache Hive - Apache Software Foundation https://cwiki.apache[...] 2016-09-12
_[21] 웹사이트 Abstract Syntax Tree http://c2.com/cgi/wi[...] 2016-09-12
_[22] 학술지 Improving the performance of Hadoop Hive by sharing scan and computation tasks 2014-07-29
_[23] 간행물 YSmart: Yet Another SQL-to-MapReduce Translator https://ieeexplore.i[...]
_[24] 웹사이트 HiveServer - Apache Hive - Apache Software Foundation https://cwiki.apache[...] 2016-09-12
_[25] 서적 Hadoop: The Definitive Guide https://archive.org/[...] O'Reilly Media
_[26] 문서 Hive Language Manual https://cwiki.apache[...]
_[27] 문서 ACID and Transactions in Hive https://cwiki.apache[...]
_[28] 웹사이트 Hive A Warehousing Solution Over a MapReduce Framework http://www.vldb.org/[...] 2011-09-03
_[29] 웹사이트 Introduction to Hive transactions http://datametica.co[...] 2016-09-12
_[30] 웹사이트 Hive Transactions - Apache Hive - Apache Software Foundation https://cwiki.apache[...] 2016-09-12
_[31] 웹사이트 Configuration Properties - Apache Hive - Apache Software Foundation https://cwiki.apache[...] 2016-09-12
_[32] 서적 Pro Hadoop Apress
_[33] Slideshare Use Case Study of Hive/Hadoop http://www.slideshar[...]
_[34] Youtube OSCON Data 2011, Adrian Cockcroft, "Data Flow at Netflix" https://www.youtube.[...]
_[35] 문서 Amazon Elastic MapReduce Developer Guide http://s3.amazonaws.[...]
_[36] 웹사이트 Working with Students to Improve Indexing in Apache Hive http://www.facebook.[...]
_[37] 서적 Hadoop in Action Manning Publications
_[38] 웹사이트 Facebook's Petabyte Scale Data Warehouse using Hive and Hadoop http://www.sfbayacm.[...]
_[39] 웹사이트 RCFile: A Fast and Space-efficient Data Placement Structure in MapReduce-based Warehouse Systems http://www.cse.ohio-[...] 2012-11-04
_[40] 웹사이트 Hive – The next generation data warehouse http://blogs.impetus[...]
_[41] 문서
_[42] 서적 Hadoop: The Definitive Guide O'Reilly Media
_[43] 웹사이트 Hive Language Manual https://cwiki.apache[...]
_[44] 웹사이트 Hive A Warehousing Solution Over a MapReduce Framework http://www.vldb.org/[...]
_[45] 웹인용 Apache Hive - Downloads https://hive.apache.[...] 2022-11-21
_[46] 웹인용 Release release-1.0.0 · apache/Hive https://github.com/a[...]
_[47] 서적 Pro Hadoop https://archive.org/[...] Apress
_[48] 웹사이트 Use Case Study of Hive/Hadoop http://www.slideshar[...]
_[49] Youtube OSCON Data 2011, Adrian Cockcroft, "Data Flow at Netflix"
_[50] 웹사이트 Working with Students to Improve Indexing in Apache Hive https://www.facebook[...]
_[51] 서적 Hadoop in Action Manning Publications
_[52] 웹인용 Facebook's Petabyte Scale Data Warehouse using Hive and Hadoop https://web.archive.[...] 2011-09-09
_[53] 웹사이트 RCFile: A Fast and Space-efficient Data Placement Structure in MapReduce-based Warehouse Systems http://www.cse.ohio-[...]