데이터 마트

3. 데이터 마트 구축 이유

데이터 마트는 다음의 이유로 구축한다.

• 자주 필요한 데이터에 쉽게 접근할 수 있다.
• 사용자 그룹별로 집합적 뷰를 생성한다.
• 최종 사용자의 응답 시간을 개선한다.
• 쉽게 생성할 수 있다.
• 전체 데이터 웨어하우스를 구축하는 것보다 비용이 저렴하다.
• 잠재적 사용자가 전체 데이터 웨어하우스보다 더 명확하게 정의된다.
• 비즈니스에 필수적인 데이터만 포함하여 덜 복잡하다.
• 핵심 데이터 정보를 담고 있다.

4. 설계 스키마

• 스타 스키마 - 관계형 데이터베이스가 다차원 데이터베이스의 분석 기능을 흉내낼 수 있도록 해주는 인기 있는 설계 방식이다.
• 스노우플레이크 스키마
• 활동 스키마 - 시계열 기반 스키마

5. 데이터 마트와 데이터 웨어하우스

개개의 데이터 마트와 데이터 웨어하우스는 형식상 다른 존재이다. 그러나 이 용어를 사용하는 대부분의 저자들은 데이터 마트가 사용자 요구 분석에서 시작하는 개념으로, 데이터 웨어하우스는 기존의 데이터를 어떻게 수집, 분석하고 이를 어떻게 재사용할 것인가에 대한 개념으로 해석한다.

데이터 웨어하우스는 중앙 집중식 데이터 집합체(물리적으로는 분산되어 있음)를 뜻하며, 데이터 마트는 데이터 저장소의 역할을 한다. 데이터 마트는 (데이터 웨어하우스에서 상속 여부를 떠나서) 사용 목적에 맞는 접근성과 사용성을 강조한다. 일반적으로 데이터 웨어하우스는 전략적인 성격을 띠지만, 명확하지 않은 개념이다. 데이터 마트는 전술적이고 즉각적인 요구를 충족한다는 목표를 가지고 있다.

Marc Demarest는 데이터 마트와 데이터 웨어하우스의 개념을 통합하고자 통합 데이터 아키텍처(Universal Data Architecture; UDA)라는 용어를 제안했다. 데이터 웨어하우스 서비스를 제공하는 일부 회사에서는 데이터 마트 서비스도 같이 제공한다.

데이터 웨어하우스는 다음과 같은 특징을 가진다.

• 여러 개의 주제 영역을 포함한다.
• 매우 상세한 정보를 담고 있다.
• 모든 데이터 소스를 통합하는 역할을 한다.
• 반드시 차원 모델을 사용하지는 않지만, 차원 모델에 데이터를 제공한다.

• 종종 하나의 주제 영역만 포함한다. (예: 재무 또는 판매)
• 더 요약된 데이터를 포함할 수 있다(전체 세부 정보를 포함할 수도 있음).
• 특정 주제 영역 또는 소스 시스템 집합의 정보 통합에 집중한다.
• 스타 스키마를 사용하여 차원 모델에 중점을 두고 구축된다.

6. 종속 데이터 마트

인몬의 데이터 웨어하우징 학설에 따르면, 종속 데이터 마트는 더 큰 데이터 웨어하우스의 논리적 하위 집합(뷰) 또는 물리적 하위 집합(추출)이다. 종속 데이터 마트는 특수한 데이터 모델, 성능, 보안, 편의성, 시험, 정치적 이유 등으로 인해 만들어진다.

인몬은 종속 데이터 마트가 제한된 확장성, 데이터 중복, 다른 정보 사일로와의 데이터 불일치, 엔터프라이즈 데이터 소스를 활용할 수 없는 등의 단점을 가진다고 보았다.^[5]

6. 1. 종속 데이터 마트의 한계

• 특수한 데이터 모델 또는 스키마에 대한 새로 고침 필요: 예를 들어, OLAP를 위해 구조를 변경하는 경우.
• 성능: 효율성을 높이기 위해 데이터 마트를 별도의 컴퓨터로 오프로드하거나 중앙 집중식 데이터 웨어하우스에서 해당 작업 부하를 관리할 필요성을 없애기 위해.
• 보안: 권한이 있는 데이터 하위 집합을 선택적으로 분리하기 위해.
• 편의성: 엔터프라이즈 데이터 웨어하우스에 새로운 애플리케이션을 통합하는 데 필요한 데이터 관리 및 권한 부여를 우회하기 위해.
• 시험장: 엔터프라이즈 데이터 웨어하우스로 마이그레이션하기 전에 애플리케이션의 실행 가능성 및 ROI(투자 수익률) 잠재력을 입증하기 위해.
• 정치: 사용자 그룹이 자금보다 더 많은 영향력을 가지고 있거나 중앙 집중식 데이터 웨어하우스의 좋은 구성원이 아닌 상황에서 IT(정보기술)에 대한 대처 전략.
• 정치: 데이터 웨어하우스 팀이 사용 가능한 데이터 웨어하우스를 만들 수 없는 상황에서 데이터 소비자를 위한 대처 전략.

7. 데이터 마트의 약점

데이터 마트는 배치 처리가 처리 도중에 오류로 인해 중단되는 경우 등, 병렬 처리로 구축되는 경우가 많아 복구에 어려움을 겪는다. 또한, 데이터 마트에 추가 데이터 항목이 발생할 경우, ETL을 수정해야 하며, 해당 데이터 마트를 분석하는 BI 도구의 변경도 필요하다.

8. 관련 제품

• 오라클 10g
• 마이크로소프트 SQL Server 2005
• SAP HANA
• SAP Sybase ASE

참조

_[1] 웹사이트 What Is a Data Mart? IBM https://www.ibm.com/[...] 2021-10-21
_[2] 웹사이트 Data Mart Does Not Equal Data Warehouse http://csis.bits-pil[...] 2000-07-18
_[3] 서적 Building and Maintaining a Data Warehouse https://books.google[...] CRC Press 2008
_[4] 웹사이트 Excel Hell: A cautionary tale https://medium.com/a[...] 2018-04-01
_[5] 서적 Data Warehousing Fundamentals for IT Professionals Wiley 2010