컬럼 지향 DBMS

3. 행 지향 방식

표 형식 데이터는 본질적으로 2차원이다. 즉, 데이터는 행과 열로 표현된다. 그러나 현대 운영 체제는 디스크 및 메모리 내에서 데이터를 선형 메모리 모델로 논리적으로 표현한다.^[7][8][9] 따라서 선형 메모리 모델의 테이블은 2차원 항목을 1차원 공간으로 투영해야 한다. 데이터 방향은 이러한 투영에서 결정되는 사항을 의미한다. 데이터 방향에는 행 중심 및 열 중심의 두 가지 주요 선택 사항이 있다.^[1][2]

행 지향형 방식에서는 테이블의 각 행의 데이터들이 연속적으로 저장된다.

3. 1. 예시

즉, 테이블의 각 행이 서로 연속적으로 위치한다. 이러한 방식에서는 동일한 행에 있는 값들이 공간적으로 가깝게 위치한다. 행 지향형 방식의 예시는 다음과 같다.

• CSV
• Postgres의 디스크 내 및 메모리 내 형식
• Apache Spark의 메모리 내 형식
• Apache Avro

4. 열 지향 방식

표 형식 데이터는 행과 열로 표현되는 2차원적인 특성을 가진다. 그러나 현대 운영 체제는 디스크 및 메모리 내에서 데이터를 선형 메모리 모델로 표현한다.^[7][8][9] 따라서 선형 메모리 모델의 테이블은 2차원 항목을 1차원 공간으로 투영해야 하며, 이때 데이터 방향(행 중심 또는 열 중심)이 결정된다.^[1][2]

일반적인 DBMS는 한 행을 구성하는 열 데이터를 묶어 저장하지만, 컬럼 지향 DBMS는 각 열의 값을 묶어 파일 시스템의 가까운 위치에 (또는 하나의 논리 구조로) 배치한다.

4. 1. 예시

즉, 테이블의 각 열이 서로 인접하게 위치한다. 이러한 방식으로 동일 열의 값들은 공간적으로 가깝게 위치한다(예: 어드레싱 가능한 공간에서 유사한 주소).

• 빅쿼리의 메모리 및 스토리지 형식
• 아파치 파케이
• 아파치 ORC
• 아파치 애로우
• 덕DB의 메모리 형식
• 판다스의 메모리 형식

5. 장단점 비교

표 형식 데이터는 행과 열로 표현되는 2차원적이지만, 현대 운영 체제는 데이터를 선형 메모리 모델로 표현한다.^[7][8][9] 따라서 2차원 데이터를 1차원 공간에 저장하기 위한 두 가지 주요 방식인 행 중심(row-oriented) 방식과 열 중심(column-oriented) 방식이 있다.^[1][2]

데이터 방향성은 시스템 아키텍처 결정에 중요한 요소이며, 컴퓨터 성능과 컴퓨터 데이터 저장소에 큰 영향을 미친다.^[8] 특히, 하드 디스크 접근 효율성에서 큰 차이를 보이는데, 처리 시간 중 디스크 시크 시간은 CPU 성능 향상에 비해 개선 속도가 느리다.

일반적으로 행 지향 데이터베이스는 적은 수의 행에 대해 많은 열을 처리하는 데 효율적인 반면, 열 지향 데이터베이스는 많은 수의 행에 대해 적은 열을 처리하는 데 효율적이다.

컬럼 지향 DBMS는 동일한 데이터 형식을 가진 열 데이터를 압축하여 저장 효율성을 높일 수 있다. LZW와 같은 압축 기술을 적용하여 반복되는 값을 효율적으로 압축하며, 특히 동일한 값이 많거나 값이 없는 필드가 많은 경우 압축 효율이 매우 높아진다.

실제 사용 환경을 고려하면, 행 지향 아키텍처는 OLTP와 같이 상호작용이 많은 트랜잭션 처리에 적합하고, 열 지향 아키텍처는 데이터 웨어하우스나 OLAP처럼 복잡한 쿼리를 적게 실행하는 환경에 적합하다.

5. 1. 임의 접근

5. 2. 삽입

5. 3. 조건부 접근

• 열 지향 데이터베이스는 대량의 행에 대한 소수의 열 집약 처리가 효율적이다. 열 수가 적을수록 읽어 들일 데이터 양을 줄일 수 있다.
• 열 지향 데이터베이스는 전체 행에 대한 소수의 열 일괄 갱신이 효율적이다. 새로운 열 데이터를 생성하고 이전 데이터와 대체함으로써 다른 열에 대한 접근을 피할 수 있다.
• 행 지향 데이터베이스는 소수의 행에 대한 많은 열의 취득이 효율적이다. 행당 크기가 작은 경우에는 행 전체를 한 번의 디스크 시크로 읽을 수 있다.
• 행 지향 데이터베이스는 소수의 행에 대한 많은 열의 갱신이 효율적이다. 1행 전체의 쓰기를 한 번의 디스크 시크로 수행할 수 있다.

5. 4. 계산 성능

• 열 지향 데이터베이스는 대량의 행에 대한 소수의 열 집약 처리가 효율적이다. 열 수가 적을수록 읽어 들일 데이터 양을 줄일 수 있다.
• 열 지향 데이터베이스는 전체 행에 대한 소수의 열 일괄 갱신이 효율적이다. 새로운 열 데이터를 생성하고 이전 데이터와 대체함으로써 다른 열에 대한 접근을 피할 수 있다.
• 행 지향 데이터베이스는 소수의 행에 대한 많은 열의 취득이 효율적이다. 행당 크기가 작은 경우에는 행 전체를 한 번의 디스크 시크로 읽을 수 있다.
• 행 지향 데이터베이스는 소수의 행에 대한 많은 열의 갱신이 효율적이다. 1행 전체의 쓰기를 한 번의 디스크 시크로 수행할 수 있다.

5. 5. 압축되지 않은 크기

5. 6. 압축된 크기

6. 변환 및 교환

두 방향 모두 동일한 데이터를 나타내기 때문에, 연산 비용을 들여 행 지향 데이터 세트를 열 지향 데이터 세트로, 또는 그 반대로 변환하는 것이 가능하다.^[1] 특히, 고급 쿼리 엔진은 각 방향의 장점을 활용하여 실행 과정의 일부로 한 방향에서 다른 방향으로 변환하는 경우가 많다.^[1] 예를 들어, 아파치 스파크 쿼리는 다음과 같은 과정을 거친다.^[1]

• 아파치 파케이(열 지향)에서 데이터를 읽는다.
• 스파크 내부 메모리 형식(행 지향)으로 로드한다.
• 특정 계산을 위해 아파치 애로우(열 지향)로 변환한다.
• 스트리밍을 위해 아파치 아브로(행 지향)로 기록한다.

7. 구현

과거에는 Sybase IQ(현 SAP IQ)만이 컬럼 지향 데이터베이스 관리 시스템으로 널리 사용되었다. 그러나 시간이 지나면서 여러 오픈 소스 및 상용 구현이 등장했다. 2010년에는 SAP에서 컬럼 지향 인 메모리 데이터베이스인 "SAP HANA"를 출시하면서, 오라클 데이터베이스나 마이크로소프트 SQL 서버에서도 컬럼 지향 인 메모리 데이터베이스에 대응하는 유료 옵션을 선택할 수 있게 되었다.^[12][13][14]

컬럼 지향 데이터베이스 관리 시스템은 다음과 같이 상용, 상용 오픈 소스, 오픈 소스 소프트웨어로 분류할 수 있다.

7. 1. 상용 소프트웨어

• SAP HANA^[12][13][14]
• SAP IQ^[12][13][14]
• Vertica
• Valentina Database
• [http://www.vectornova.com Vectornova/Vectorstar] High-speed Data Engine
• kdb+
• [http://www.sensage.com Sensage] Scalable Log Server (구 Addamark)
• 1010data의 Tenbase database
• [http://gov.thomsonhealthcare.com/Products/view/?id=76 DataProbe]
• [http://www.exasol.com EXASolution]
• [https://web.archive.org/web/20101122114232/http://www.skytide.com/ Skytide XOLAP Server]
• [http://www.spacetimeresearch.com SuperSTAR from Space-Time Research]
• ParAccel Analytic Database
• Dr.Sum EA

7. 2. 상용 오픈 소스 소프트웨어

• Infobright (구 Brighthouse) data engine (MySQL과 연결됨)^[12][13][14]
• RC21 상용 오픈 소스 소프트웨어 프로젝트^[12][13][14]
• Xplain Semantic Database (transposed files라고 함). "The latest release was version 5.8 (1999)"

7. 3. 오픈 소스 소프트웨어

• C-Store 2006년 10월부터 신규 릴리스 없음^[12][13][14]
• [https://codeforge.lbl.gov/projects/fastbit/ FastBit] 오픈 소스
• [http://www.infobright.org Infobright] Community Edition, 정기적으로 업데이트됨
• [http://www.luciddb.org LucidDB] 오픈 소스
• [https://mariadb.com/kb/ja/mariadb-columnstore/ MariaDB ColumnStore] InfiniDB에서 포크됨
• MonetDB 학술용 오픈 소스 프로젝트
• Metakit 오픈 소스
• S 언어와 GNU R은 통계 분석을 위해 컬럼 지향 데이터 구조를 활용하고 있다.

8. NoSQL 컬럼 지향 데이터 모델과의 차이점

NoSQL형 DBMS 중에는 "컬럼 지향형"이라고 불리는 것이 있다. 하지만 여기서 말하는 컬럼 지향(열 지향)은 DBMS 이용자에게 보이는 데이터 모델을 나타내며, DBMS 내부의 데이터 저장 방식을 나타내는 것은 아니다. 이들은 본 항목에서 다루는 열 지향 DBMS와 장점이 전혀 다르므로 주의해야 한다.

NoSQL의 컬럼 지향 데이터 모델은 비정형의 대규모 데이터를 저장하는 것을 주된 목적으로 하며, 행마다 임의의 이름의 컬럼(열)을 무수히(때로는 1행에 수백만 컬럼) 저장할 수 있다. 각 컬럼은 행마다 컬럼명의 사전순으로 정렬되며, 한 번의 쿼리로 지정된 1행에 속하는 모든 컬럼을 가져오거나, 지정된 1행에 속하는 지정된 범위의 컬럼만 가져올 수 있다. 소수의 행에 대한 많은 열의 획득에 적합하며, 대량의 행에 대한 소수의 열의 집약 처리에는 적합하지 않다. 이러한 DBMS에는 Apache HBase, Apache Cassandra 등이 있다.

한편, NoSQL은 아니지만, 대규모 데이터를 대상으로 SQL 형식의 분산 쿼리를 실현하는 소프트웨어에서는 열 지향 DBMS와 동일한 데이터 저장 방식을 채택하고, 동일한 장점을 갖는다.^[15] 이러한 소프트웨어는 분산 SQL 쿼리 엔진이라고 불리며, Google Dremel/BigQuery, Amazon Redshift, Apache Hadoop에서 동작하는 Cloudera Impala 등이 있다.

참조

_[1] 서적 Proceedings of the 2008 ACM SIGMOD international conference on Management of data 2008
_[2] 간행물 Compacting Transactional Data in Hybrid OLTP&OLAP Databases 2012
_[3] 웹사이트 Apache ORC https://orc.apache.o[...] 2024-05-21
_[4] 웹사이트 Apache Parquet https://parquet.apac[...] 2024-05-21
_[5] 웹사이트 Apache Arrow https://arrow.apache[...] 2024-05-21
_[6] 웹사이트 Apache Avro https://avro.apache.[...] 2024-05-21
_[7] 간행물 In lieu of swap: Analyzing compressed RAM in Mac OS X and Linux 2014
_[8] 서적 Principles of Computer System Design Morgan Kaufmann 2009
_[9] 웹사이트 Chapter 4 Process Address Space (Linux kernel documentation) https://www.kernel.o[...] 2024-05-21
_[10] 문서 C-Store: A column-oriented DBMS http://db.lcs.mit.ed[...] Proceedings of the 31st VLDB Conference, Trondheim, Norway 2005
_[11] 문서 Brighthouse: an analytic data warehouse for ad-hoc queries http://www.vldb.org/[...] Proceedings of the 34th VLDB Conference, Auckland, New Zealand 2008
_[12] 웹사이트 SAPが語るインメモリ--HANAとOracleの違いとは https://japan.zdnet.[...] 2015-06-15
_[13] 웹사이트 【Oracle Database 12c 】オラクルのインメモリを3つのポイントから理解する https://www.oracle.c[...] 2019-10-10
_[14] 웹사이트 インメモリデータベース、カラム型データベースは使い物になるのか？ インメモリとカラム型データベースの可能性を調べる（その1） https://www.publicke[...] 2019-10-10
_[15] 문서 Dremel: Interactive Analysis of Web-Scale Datasets http://research.goog[...] Proceedings of the 36th Int'l Conf on Very Large Data Bases 2010