데이터 레이크
1. 개요
데이터 레이크는 데이터 마트와 대조되는 개념으로, 다양한 형식의 데이터를 저장하고 처리하는 데 사용되는 저장소이다. 2011년 펜타호의 제임스 딕슨에 의해 명명되었으며, 데이터 사일로 문제를 해결하기 위해 제안되었다. 클라우드 스토리지 서비스나 분산 파일 시스템을 활용하며, 개인 데이터를 관리하는 새로운 유형의 데이터 레이크도 등장했다. 데이터 레이크는 잘 관리되지 않으면 데이터 늪으로 전락할 수 있으며, 용어가 광범위하게 사용되어 유용성이 떨어진다는 비판도 존재한다. 이러한 비판에 대한 대응으로 데이터 레이크를 비즈니스 가치를 제공하는 서비스 모델로 간주해야 한다는 의견도 있다. 데이터 레이크하우스는 데이터 레이크와 데이터 웨어하우스의 장점을 결합한 하이브리드 접근 방식으로, 데이터 레이크의 비판을 해결하려는 시도이다.
-
클라우드 스토리지 -
데이터 센터
-
클라우드 스토리지 -
구글 드라이브
구글 드라이브는 2012년 구글에서 출시한 파일 저장 및 동기화 서비스로, 클라우드 저장, 다중 장치 접근, 파일 공유 기능을 제공하며, 다양한 플랫폼 지원 및 구글 워크스페이스 앱과의 통합을 통해 협업 기능을 제공하고, 개인 사용자에게 15GB의 무료 저장 공간을 제공한다. -
데이터 관리 -
데이터 센터
-
데이터 관리 -
정보 아키텍처
정보 아키텍처는 정보 시스템 및 정보 기술 분야에서 공유 정보 환경의 구조적 설계를 의미하며, 웹사이트, 소프트웨어 등의 구성과 레이블링을 포함하여 검색 용이성과 사용성을 지원하고, 도서관정보학에 기원을 두고 있다.
2. 배경
2011년, 펜타호(Pentaho)의 최고 기술 책임자(CTO)였던 제임스 딕슨(James Dixon)은 데이터 마트와 대조하여 데이터 레이크라는 용어를 만들었다. 딕슨은 데이터 마트가 정보 사일로화와 같은 몇 가지 고유한 문제를 야기한다고 지적하며 데이터 레이크의 필요성을 주장했다. 프라이스워터하우스쿠퍼스(PwC)는 데이터 레이크가 "데이터 사일로를 종식시킬 수 있다"고 언급했다.
3. 특징
데이터 레이크는 정형, 반정형, 비정형 등 다양한 유형의 데이터를 형식에 제한 없이 저장할 수 있다. 데이터를 저장할 때는 스키마를 정의하지 않고, 읽을 때 스키마를 정의하는 'Schema-on-Read' 방식을 사용하여 데이터 수집 및 저장 단계에서 유연성을 확보한다.
데이터 레이크는 필요에 따라 저장 용량과 처리 능력을 쉽게 확장할 수 있어 확장성이 뛰어나다. 또한 아파치 스파크, 아파치 하이브 등과 같은 빅데이터 처리 기술을 활용하여 다양한 분석 도구 및 프레임워크와 연동하여 사용할 수 있다.
4. 예시
많은 기업에서 구글 클라우드 스토리지, 아마존 S3와 같은 클라우드 스토리지 서비스나 아파치 하둡 분산 파일 시스템(HDFS)과 같은 분산 파일 시스템을 데이터 레이크로 활용하고 있다. 데이터 레이크 개념에 대한 학문적 관심이 점차 높아지고 있는데, 예를 들어 카디프 대학교의 Personal DataLake는 개인 데이터를 수집, 정리, 공유하는 단일 지점을 제공하여 개인 사용자의 빅 데이터를 관리하는 것을 목표로 하는 새로운 유형의 데이터 레이크이다.
5. 한계 및 비판
잘 관리되지 않는 데이터 레이크는 데이터 늪이라고 불리기도 한다.
2015년 6월, 데이비드 니들은 "소위 데이터 레이크"를 "빅 데이터를 관리하는 논란이 많은 방법 중 하나"라고 특징지었다. PwC는 또한 연구에서 모든 데이터 레이크 계획이 성공적인 것은 아니라는 점에 유의했다. Cambridge Semantics의 CTO인 션 마틴은 다음과 같이 말했다.
> 우리는 고객들이 Hadoop 분산 파일 시스템(HDFS)에 모든 것을 덤핑하고 나중에 그것으로 무언가를 하기를 바라면서 빅 데이터 묘지를 만드는 것을 봅니다. 그러나 그들은 거기에 무엇이 있는지 그냥 잊어버립니다. 주요 과제는 데이터 레이크를 만드는 것이 아니라 그것이 제공하는 기회를 활용하는 것입니다.
PwC는 성공적인 데이터 레이크를 구축하는 회사가 어떤 데이터와 메타데이터가 조직에 중요한지 파악하면서 레이크를 점진적으로 성숙시키는 것으로 묘사한다.
또 다른 비판은 데이터 레이크라는 용어가 너무나 다양한 방식으로 사용되어 유용하지 않다는 것이다. 예를 들어, 데이터 웨어하우스가 아닌 모든 도구나 데이터 관리 관행, 구현을 위한 특정 기술, 원시 데이터 저장소, ETL 오프로드를 위한 허브, 또는 셀프 서비스 분석을 위한 중앙 허브를 지칭하는 데 사용될 수 있다.
데이터 레이크에 대한 비판은 정당하지만, 많은 경우 다른 데이터 프로젝트에도 적용된다. 예를 들어, 데이터 웨어하우스의 정의도 변경될 수 있으며, 모든 데이터 웨어하우스 노력이 성공적인 것은 아니다. 다양한 비판에 대한 응답으로, 맥킨지는 데이터 레이크를 기술적 결과가 아닌 기업 내에서 비즈니스 가치를 제공하는 서비스 모델로 간주해야 한다고 언급했다.
6. 데이터 레이크하우스
데이터 레이크하우스는 데이터 레이크처럼 다양한 원시 데이터 형식을 수집할 수 있으면서도, ACID 트랜잭션을 제공하고 데이터 웨어하우스처럼 데이터 품질을 보장하는 하이브리드 접근 방식이다. 데이터 레이크하우스 아키텍처는 트랜잭션 지원, 스키마 적용, 거버넌스, 다양한 워크로드 지원과 같은 데이터 웨어하우스 기능을 추가하여 데이터 레이크에 대한 몇 가지 비판을 해결하려 한다. 오라클에 따르면, 데이터 레이크하우스는 "데이터 레이크의 비정형 데이터의 유연한 저장소와 데이터 웨어하우스의 관리 기능 및 도구"를 결합한다.