온라인 분석 처리

3. OLAP 시스템

OLAP 시스템의 핵심에는 OLAP 큐브(하이퍼큐브)가 있다. OLAP 큐브는 '차원'으로 분류되는 '측정값'이라는 숫자형 팩트로 구성된다. 측정값은 벡터 공간으로서 차원에 의해 펼쳐지는 하이퍼큐브의 교차점에 배치된다.

큐브 메타데이터는 일반적으로 관계형 데이터베이스의 스타 스키마, 스노우플레이크 스키마, 또는 팩트 컨스텔레이션에서 생성된다. 측정값은 팩트 테이블의 레코드에서, 차원은 차원 테이블에서 파생된다.

각 '측정값'은 일련의 '레이블'(메타데이터)을 가지며, '차원'은 이러한 레이블을 설명하고 '측정값'에 대한 정보를 제공한다. 예를 들어, 상점 판매량을 '측정값', 날짜/시간을 '차원'으로 하는 큐브를 만들 수 있다. 각 판매에는 해당 판매에 대한 정보를 설명하는 날짜/시간 '레이블'이 붙는다.

'''예시'''

판매 팩트 테이블

시간 차원

다차원 구조는 데이터를 다차원 구조로 구성하고 데이터 간의 관계를 표현한다.^[5] 이 구조는 큐브로 나뉘며, 각 큐브 내에서 데이터를 저장하고 접근할 수 있다.^[5] 데이터를 조작할 때에도 쉽게 접근할 수 있으며, 컴팩트한 데이터베이스 형식을 유지한다. 다차원 구조는 OLAP 응용 프로그램을 사용하는 분석 데이터베이스에서 널리 사용된다.^[5]

복잡한 쿼리의 경우, OLAP 큐브는 OLTP 관계형 데이터베이스보다 훨씬 빠른 속도로 답변을 생성할 수 있다고 알려져 있다.^[8][9]

3. 1. 집계 (Aggregations)

4. OLAP의 종류

OLAP 시스템은 데이터를 저장하고 처리하는 방식에 따라 MOLAP, ROLAP, HOLAP의 세 가지 주요 종류로 분류된다.

• MOLAP (다차원 온라인 분석 처리, Multidimensional OLAP): 전통적인 OLAP 형태로, 데이터를 다차원 배열 형태로 특수 데이터베이스에 저장한다. 빠른 쿼리 속도를 제공하지만, 대량의 데이터를 처리할 때 어려움이 있을 수 있다.
• ROLAP (관계형 온라인 분석 처리, Relational OLAP): 관계형 데이터베이스에 직접 접근하는 방식이다. 확장성이 뛰어나지만, 전처리 및 쿼리 성능이 MOLAP에 비해 느릴 수 있다.
• HOLAP (하이브리드 온라인 분석 처리, Hybrid OLAP): MOLAP와 ROLAP의 장점을 결합한 방식이다. 원본 데이터는 관계형 테이블에, 집계 값은 다차원 테이블에 저장하여 성능과 확장성의 균형을 맞춘다.

4. 1. 다차원 OLAP (MOLAP)

• 최적화된 저장소, 다차원 인덱싱 및 캐싱으로 인해 빠른 쿼리 성능을 보인다.
• 관계형 데이터베이스에 저장된 데이터에 비해 압축 기술로 인해 디스크 내 데이터 크기가 더 작다.
• 데이터의 상위 수준 집계를 자동 계산한다.
• 차원이 낮은 데이터 세트에 매우 적합하다.
• 배열 모델은 자연스러운 인덱싱을 제공한다.
• 집계된 데이터의 사전 구조화를 통해 효과적인 데이터 추출이 가능하다.

• 일부 MOLAP 시스템 내에서 처리 단계(데이터 로드)는 특히 대량의 데이터에서 매우 오래 걸릴 수 있다. 이는 일반적으로 전체 데이터 세트를 다시 처리하는 대신 변경된 데이터(보통 새로운 데이터)만 처리하는 방식으로 점진적 처리만 수행하여 해결한다.
• 일부 MOLAP 방법론은 데이터 중복을 발생시킨다.

4. 2. 관계형 OLAP (ROLAP)

• ROLAP 도구는 큐브의 내용에 제한되지 않기 때문에 어떤 질문이든 할 수 있는 기능을 갖추고 있다.
• 데이터베이스의 가장 낮은 수준의 세부 정보까지 드릴 다운할 수 있다.

• ''집계 테이블'' 로딩은 맞춤형 ETL 코드로 관리해야 한다. ROLAP 도구는 이 작업을 지원하지 않아 개발 시간과 지원 코드가 더 필요하다.
• 집계 테이블 생성 단계를 건너뛰면 더 큰 상세 테이블을 쿼리해야 하므로 쿼리 성능이 저하된다.
• ROLAP는 쿼리 및 캐싱을 위해 범용 데이터베이스에 의존하므로, MOLAP 도구에서 사용되는 몇 가지 특수 기술(예: 특수 계층적 인덱싱)을 사용할 수 없다. 그러나 최신 ROLAP 도구는 CUBE 및 ROLLUP 연산자, DB2 Cube Views, 기타 SQL OLAP 확장과 같은 SQL 언어의 최신 개선 사항을 활용한다.
• ROLAP 도구는 모든 계산에 SQL에 의존하므로, 모델이 SQL로 잘 변환되지 않는 계산에 의존하는 경우에는 적합하지 않다.

• 사용자 수: ROLAP 도구는 각 회사 내에서 다차원 OLAP (MOLAP) 도구보다 더 많은 사용자를 보유하는 경향이 있다. 사용자가 더 많은 시스템은 최고 사용 시간대에 더 많은 성능 문제에 직면할 수 있다.
• 모델 복잡성: 차원의 수와 계산의 풍부함이 모델 복잡성에 영향을 미친다.
• 데이터베이스 설계: 기존의 관계형 데이터베이스 테이블을 재사용하려는 경우, OLAP 사용에 최적화되지 않은 경우가 많아 성능 저하를 초래할 수 있다.

4. 3. 하이브리드 OLAP (HOLAP)

• ''집계''는 MOLAP에 저장하여 빠른 쿼리 성능을 제공하고, 큐브 ''처리'' 시간을 최적화하기 위해 상세 데이터를 ROLAP에 저장한다.
• 더 최근의 데이터 조각, 일반적으로 MOLAP에 시간 차원으로 조각낸 데이터를 저장하여 빠른 쿼리 성능을 제공하고, 더 오래된 데이터는 ROLAP에 저장한다. 또한, 대규모 큐보이드에서 밀집된 하위 영역과 희소한 하위 영역이 있다는 사실을 활용하여 일부 주사위는 MOLAP에 저장하고 다른 주사위는 ROLAP에 저장할 수 있다.^[13]

5. API 및 쿼리 언어

관계형 데이터베이스는 표준 쿼리 언어로 SQL을 사용하고, ODBC, JDBC, OLEDB와 같은 널리 사용되는 API가 존재했던 것과 달리, OLAP 세계에서는 오랫동안 이러한 통일성이 존재하지 않았다. 최초의 실질적인 표준 API는 1997년에 발표된 마이크로소프트의 OLAP용 OLE DB 사양으로, MDX 쿼리 언어를 도입했다. 여러 OLAP 공급업체(서버와 클라이언트 모두)는 이를 채택했다. 2001년, 마이크로소프트와 하이페리온은 XML for Analysis 사양을 발표했고, 이는 대부분의 OLAP 공급업체로부터 지지를 받았다. 이 역시 MDX를 쿼리 언어로 사용했기 때문에, MDX는 사실상의 표준이 되었다.^[23]

2011년 9월부터 LINQ를 사용하여 Microsoft .NET에서 SSAS OLAP 큐브를 쿼리할 수 있다.^[24]

6. OLAP 제품 역사 및 시장 구조

1970년, 온라인 분석 처리 쿼리를 수행하는 최초의 제품인 ''익스프레스(Express)''가 출시되었으며, 1995년 오라클에 인수되었다.^[25] 1993년, 에드가 F. 코드는 "온라인 분석 처리(OLAP)"라는 용어를 제창했다. 코드의 논문^[1]은 하이페리온 솔루션즈(2007년 오라클에 인수)를 위한 마케팅 전략의 일환이었다.

하이페리온 솔루션즈는 1년 전에 자체 OLAP 제품인 ''Essbase''를 출시했고, 코드의 "온라인 분석 처리 12가지 규칙"은 Essbase를 명시적으로 언급했다. 이로 인해 논란이 있었고, Computerworld는 코드가 Arbor로부터 돈을 받았다는 사실을 알고 기사를 철회했다. 1990년대 후반, OLAP 시장은 수십 개의 상용 제품이 출시되면서 크게 성장했다. 1998년, 마이크로소프트는 마이크로소프트 분석 서비스를 출시하여 OLAP 기술의 광범위한 채택을 이끌었다.

2006년 주요 OLAP 공급업체는 다음과 같다(금액은 미국 달러 백만 달러 단위).^[26]

6. 1. 오픈 소스 OLAP

• 아파치 피노는 링크드인, 시스코, 우버, 슬랙, 스트라이프, 도어대시, 타겟, 월마트, 아마존, 마이크로소프트에서 낮은 지연 시간으로 확장 가능한 실시간 분석을 제공하는 데 사용된다.^[27] 오프라인 데이터 소스(하둡, 플랫 파일 등)와 온라인 소스(카프카 등)에서 데이터를 수집할 수 있으며, 수평적으로 확장하도록 설계되었다.
• 몬드리안 OLAP 서버는 자바로 작성된 오픈 소스 OLAP 서버이다. MDX 쿼리 언어, 분석을 위한 XML 및 [https://web.archive.org/web/20150312031439/http://www.olap4j.org/ olap4j] 인터페이스 사양을 지원한다.
• 아파치 도리스는 MPP 아키텍처를 기반으로 하는 오픈 소스 실시간 분석 데이터베이스이다. 고 동시성 포인트 쿼리 시나리오와 고 처리량 복잡한 분석을 모두 지원할 수 있다.^[28]
• 아파치 드루이드는 다양한 조직에서 프로덕션 규모로 사용되는 OLAP 쿼리를 위한 널리 사용되는 오픈 소스 분산 데이터 저장소이다.
• 아파치 카이린은 이베이에서 처음 개발한 OLAP 쿼리를 위한 분산 데이터 저장소이다.
• 큐브 (OLAP 서버)는 내장된 ROLAP를 갖춘 파이썬 프로그래밍 언어로 구현된 또 다른 경량 오픈 소스 OLAP 기능 툴킷이다.
• 클릭하우스는 빠른 처리 및 응답 시간에 초점을 맞춘 비교적 새로운 열 지향 DBMS이다.
• 덕DB^[29]는 인-프로세스 SQL OLAP^[30] 데이터베이스 관리 시스템이다.
• 모넷DB는 OLAP 쿼리를 위해 설계된 성숙한 오픈 소스 열 지향 SQL RDBMS이다.

참조

_[1] 웹사이트 Providing OLAP (On-line Analytical Processing) to User-Analysts: An IT Mandate http://www.sgpnyc.co[...] Codd & Date, Inc 2008-03-05
_[2] 웹사이트 OLAP Council White Paper http://www.symcorp.c[...] OLAP Council 2008-03-18
_[3] 서적 Business Intelligence for Telecommunications https://books.google[...] CRC Press 2008-03-18
_[4] 서적 Business Process Management:A Data Cube To Analyze Business Process Simulation Data For Decision Making http://www.google.co[...] VDM Verlag Dr. Müller e.K.
_[5] 문서 Management information systems (9th ed.) McGraw-Hill/Irwin
_[6] 웹사이트 Introduction to OLAP – Slice, Dice and Drill! http://www.dwreview.[...] Data Warehousing Review 2008-03-18
_[7] 뉴스 Multidimensional models boost viewing options InfoWorld 1994-01-24
_[8] 웹사이트 The Case for Relational OLAP http://www.cs.bgu.ac[...] 2008-03-20
_[9] 학술지 An overview of data warehousing and OLAP technology
_[10] 학술지 Data Cube: {A} Relational Aggregation Operator Generalizing Group-By, Cross-Tab, and Sub-Totals http://citeseer.ist.[...] 2008-03-20
_[11] 웹사이트 OLAP architectures http://www.olaprepor[...] OLAP Report 2006-06-27
_[12] 학술지 Multidimensional Database Technology 2001-12
_[13] 학술지 Attribute value reordering for efficient hybrid OLAP
_[14] 뉴스 This Week in Graph and Entity Analytics https://www.datanami[...] 2016-12-07
_[15] 뉴스 Cambridge Semantics Announces AnzoGraph Support for Amazon Neptune and Graph Databases http://www.dbta.com/[...] 2018-02-15
_[16] 웹사이트 Multi-Dimensional, Phrase-Based Summarization in Text Cubes http://sites.compute[...] 2016
_[17] 학술지 Phrase mining of textual data to analyze extracellular matrix protein patterns across cardiovascular disease 2018-10-01
_[18] 서적 2014 IEEE Fourth International Conference on Big Data and Cloud Computing 2014
_[19] 학술지 Efficient Keyword-Based Search for Top-K Cells in Text Cube 2011-12
_[20] 서적 2010 IEEE 26th International Conference on Data Engineering (ICDE 2010) 2010
_[21] 서적 2008 Eighth IEEE International Conference on Data Mining 2008
_[22] 서적 A Text Cube Approach to Human, Social and Cultural Behavior in the Twitter Stream Springer 2013-03-21
_[23] 웹사이트 Commentary: OLAP API wars http://www.olaprepor[...] OLAP Report 2007-08-23
_[24] 웹사이트 SSAS Entity Framework Provider for LINQ to SSAS OLAP http://www.agiledesi[...]
_[25] 웹사이트 The origins of today's OLAP products http://olapreport.co[...] OLAP Report 2007-11-27
_[26] 웹사이트 OLAP Market http://www.olaprepor[...] OLAP Report 2008-03-17
_[27] 뉴스 LinkedIn fills another SQL-on-Hadoop niche http://www.infoworld[...] 2016-11-19
_[28] 웹사이트 Apache Doris https://github.com/a[...] Apache Doris Community 2023-04-05
_[29] 웹사이트 An in-process SQL OLAP database management system https://duckdb.org/ 2022-12-10
_[30] 웹사이트 Common Crawl On Laptop - Extracting Subset Of Data https://avilpage.com[...] 2022-12-10
_[31] 학술지 Analysis of mealybug incidence on the cotton crop using ADSS-OLAP (Online Analytical Processing) tool 2009-11
_[32] 웹사이트 온라인분석처리(OLAP)란｜시장조사・앙케트조사의 마크로밀 https://www.macromil[...] 2022-10-25
_[33] 웹사이트 OLAP｜오츠카상회 https://mypage.otsuk[...] 2022-10-25
_[34] 서적
_[35] 서적
_[36] 서적 유비쿼터스 시대의 정보기술과 경영정보시스템 P288 대경 2005-10