데이터 허브
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
1. 개요
데이터 허브는 데이터를 통합하고, 균질화하며, 다양한 형식으로 제공하여 중복 제거, 품질, 보안, 표준화된 쿼리 서비스 등의 부가 가치를 더하는 방식의 데이터 관리 시스템이다. 데이터 웨어하우스와 달리 통합되지 않은 데이터를 다루며, 운영 데이터에 제한되지 않고, 데이터 레이크와는 달리 데이터를 처리하고 가치를 더할 수 있도록 설계되었다. 데이터 허브는 기업 내에서 데이터를 얻을 수 있는 효율적인 경로를 제공하며, 데이터 관리 시스템은 데이터베이스 관리 시스템과 트랜잭션 관리 시스템으로 구성된다.
더 읽어볼만한 페이지
- 오픈 데이터 - 오픈스트리트맵
오픈스트리트맵(OSM)은 전 세계 사용자들이 참여하여 자유롭게 이용할 수 있도록 만들어진 크라우드소싱 기반의 세계 지도로, 오픈 데이터베이스 라이선스(ODbL)에 따라 배포되며 다양한 분야에서 활용되고 지속적으로 발전하고 있다. - 오픈 데이터 - 열린 정부
열린 정부는 투명성, 참여, 책무성을 통해 정부 활동에 대한 시민 이해를 돕고 정책 결정 참여를 장려하여 책임성을 강화하는 개념으로, OECD는 정부 조정, 시민 참여, 정보 접근 등의 범주로 접근하며, 전자 참여를 통해 시민의 거버넌스 직접 참여를 가능하게 한다. - 데이터베이스 관리 시스템 - 트랜잭션 처리
트랜잭션 처리는 데이터베이스 시스템에서 데이터의 일관성과 무결성을 보장하기 위한 기술이며, ACID 속성을 통해 데이터 정확성을 유지하고 롤백, 데드락 처리 등의 기술을 활용한다. - 데이터베이스 관리 시스템 - 저장 프로시저
저장 프로시저는 데이터베이스 관리 시스템에서 SQL 문들을 미리 컴파일하여 저장하고, 모듈화, 보안성, 성능 향상, 유지보수 용이성과 같은 특징을 가지며, 데이터베이스 시스템마다 구현 방식과 지원하는 언어가 다를 수 있는 코드 묶음이다.
| 데이터 허브 |
|---|
2. 특징
데이터 허브는 다양한 데이터 소스로부터 정보를 수집하여 중앙에서 관리하고 필요한 형태로 제공하는 시스템이다. 이는 단순히 데이터를 저장하는 것을 넘어, 데이터에 가치를 더하고 접근성을 높이는 데 중점을 둔다.
데이터 웨어하우스와 비교했을 때, 데이터 허브는 일반적으로 데이터의 통합 수준이 낮거나 데이터 세분성이 다양할 수 있다.[1] 또한, 운영 데이터 저장소와는 달리 반드시 운영 데이터에만 국한되지 않는다.[1]
데이터 레이크가 원시 데이터를 저장하고 데이터 처리 및 가치 부여를 사용자에게 맡기는 경향이 있는 반면, 데이터 허브는 데이터 균질화, 중복 제거, 품질 관리, 보안 강화, 표준화된 쿼리 서비스 제공 등을 통해 데이터 자체에 부가 가치를 더한다.[1]
결과적으로 데이터 허브는 기업 내에서 데이터를 쉽게 찾고 활용할 수 있는 중심적인 역할을 수행한다. 이를 통해 데이터를 필요로 하는 부서와 데이터를 제공하는 부서 간의 복잡한 연결 과정을 줄이고, 데이터 관리의 효율성을 높이는 장점을 가진다.[1]
2. 1. 데이터 웨어하우스와의 차이점
데이터 허브는 데이터 웨어하우스와 몇 가지 중요한 차이점을 가진다. 데이터 웨어하우스는 일반적으로 데이터를 정제하고 통합하여 일관된 형식으로 저장하지만, 데이터 허브는 다양한 소스에서 온 데이터를 그대로 또는 최소한의 변형만 거쳐 저장하는 경우가 많다. 이 때문에 데이터 허브의 데이터는 통합되지 않은 상태일 수 있으며, 데이터의 세분성도 서로 다를 수 있다.또한, 데이터 허브는 운영 데이터에만 국한되지 않는다는 점에서 운영 데이터 저장소와도 구별된다.
데이터 레이크와의 차이점도 존재한다. 데이터 레이크는 다양한 형태의 데이터를 원시 상태 그대로 저장하는 데 중점을 두는 반면, 데이터 허브는 데이터를 단순히 저장하는 것을 넘어 데이터의 중복을 제거하고 품질을 관리하며, 보안을 강화하고 표준화된 방식으로 데이터를 조회할 수 있는 서비스를 제공하는 등 데이터에 부가 가치를 더하는 역할을 한다. 데이터 레이크는 데이터의 가용성에 초점을 맞추고 데이터 처리나 가치 부여는 사용자에게 맡기는 경향이 있다.
데이터 허브는 기업 내에서 필요한 데이터를 쉽게 찾고 접근할 수 있는 중앙 창구 역할을 수행하여, 데이터를 필요로 하는 부서와 데이터를 제공하는 부서 간의 복잡한 연결 과정을 줄여주는 장점이 있다. 이를 통해 데이터 허브를 관리하는 조직은 여러 부서와의 데이터 전달 및 일정 조율을 효율적으로 처리할 수 있다.
2. 2. 데이터 레이크와의 차이점
데이터 허브는 데이터 레이크와 중요한 차이점을 보인다. 데이터 레이크는 기본적으로 다양한 데이터를 원래 형식 그대로 한 곳에 모아 저장하는 데 중점을 두며, 데이터의 가용성을 높이는 것을 목표로 한다. 저장된 데이터를 어떻게 활용하고 가치를 더할지는 데이터를 사용하는 소비자의 역할로 남겨두는 경우가 많다.[1]반면, 데이터 허브는 단순히 데이터를 저장하는 것을 넘어, 수집된 데이터를 일관성 있게 만들고(균질화) 사용자가 필요로 하는 다양한 형식으로 가공하여 제공하는 역할을 수행한다. 또한 데이터의 중복을 제거하고 품질을 관리하며, 보안을 강화하고 표준화된 방식으로 데이터를 조회할 수 있는 서비스를 함께 제공함으로써 데이터 자체에 부가 가치를 더하는 데 초점을 맞춘다.[1]
2. 3. 운영 데이터 저장소와의 차이점
데이터 허브는 반드시 운영 데이터만을 다루는 것은 아니라는 점에서 운영 데이터 저장소와 구별된다.[1]2. 4. 데이터 앙클레이브와의 관계
데이터 허브는 이상적으로 기업 내에서 데이터를 얻을 수 있는 중심적인 접근 지점 역할을 한다. 이를 통해 데이터를 필요로 하는 여러 팀(호출자)이 데이터를 보유한 다양한 개별 팀이나 부서(데이터 앙클레이브)와 각각 직접 연결해야 하는 번거로움을 줄일 수 있다. 데이터 허브를 관리하는 조직은 다양한 데이터 앙클레이브 팀들과 데이터 제공 및 일정 등을 조율하고 협상하는 역할을 맡는다. 이는 여러 팀이 각기 다른 많은 팀으로부터 새로운 서비스나 기능을 얻기 위해 개별적으로 경쟁해야 하는 비효율적인 상황을 개선하는 효과를 가진다.3. 구성 요소
데이터 관리 시스템은 일반적으로 다음 두 종류의 미들웨어로 구성된다.
- '''데이터베이스 관리 시스템''' (DBMS, DB)
- '''트랜잭션 관리 시스템''' (트랜잭션 모니터, 데이터 통신, DC)
3. 1. 데이터 관리 시스템
데이터 관리 시스템은 일반적으로 데이터베이스 관리 시스템(DBMS)과 트랜잭션 관리 시스템(트랜잭션 모니터)이라는 두 종류의 미들웨어로 구성된다. 이 두 시스템은 과거 1980년대까지 합쳐서 '''DB/DC'''라고 불리기도 했으나, 현재는 각각 독립적인 시스템으로 인식되는 경우가 많다.3. 1. 1. 데이터베이스 관리 시스템 (DBMS)
데이터 관리 시스템은 일반적으로 데이터베이스 관리 시스템(DBMS)과 트랜잭션 관리 시스템(트랜잭션 모니터)이라는 두 종류의 미들웨어로 구성된다.과거 1980년대까지 이들을 합쳐 '''DB/DC'''라고 부르기도 했으나, 현재는 각각 "DBMS" 또는 "트랜잭션 모니터" 등으로 나누어 부르는 경우가 일반적이다. 특히 DBMS는 다양한 제품 중에서 사용 환경에 맞게 선택할 수 있는 경우가 많다. 또한, 과거 DB/DC 시스템 전체에서 클러스터링과 같은 전용 연계 기능을 구현하기도 했다.
메인프레임 환경에서 사용되었던 대표적인 미들웨어 및 관련 데이터베이스 시스템의 예시는 다음과 같다.
3. 1. 2. 트랜잭션 처리 시스템 (Transaction Processing System)
'''데이터 관리 시스템'''은 일반적으로 데이터베이스 관리 시스템(DBMS)과 '''트랜잭션 관리 시스템'''(트랜잭션 모니터, 데이터 통신, DC)이라는 두 종류의 미들웨어로 구성된다.1980년대까지는 이 두 시스템을 합쳐 '''DB/DC'''라고 불렀으나, 현재는 각각 "DBMS"나 "트랜잭션 모니터" 등으로 개별적으로 지칭하는 경우가 많다. 특히 DBMS는 다양한 제품 중에서 선택하여 사용할 수 있으며, 과거 DB/DC 시스템 전체에서는 전용 연계 기능(현재의 클러스터링과 유사한 기능)을 구현하기도 했다.
메인프레임 환경에서 사용되던 대표적인 미들웨어 제품 중 트랜잭션 처리 기능을 포함하는 것으로는 다음과 같은 것들이 있었다.
3. 2. 주요 제품 (미들웨어)
'''데이터 관리 시스템'''은 일반적으로 다음 두 종류의 미들웨어로 구성된다.- '''데이터베이스 관리 시스템''' (DBMS, DB)
- '''트랜잭션 관리 시스템''' (트랜잭션 모니터, 데이터 통신, DC)
이들은 1980년대까지 합쳐서 '''DB/DC'''라고 불렸으나, 현재는 각각 "DBMS"나 "트랜잭션 모니터" 등으로 나누어 부르는 경우가 많다. 특히 DBMS는 여러 제품 중에서 필요에 따라 선택하여 사용할 수 있다. 또한, 과거 DB/DC 시스템 전체에서 전용 연계 기능(현재의 클러스터링과 유사한 개념)을 구현하여 사용하기도 했다.
메인프레임 환경에서 사용되던 대표적인 미들웨어 제품들은 다음과 같다.
4. 데이터 허브 제품 목록
프로젝트 관리 시스템, 계정 관리 시스템의 연동을 포함한다.
본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.
문의하기 : help@durumis.com