맨위로가기

SAP IQ

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
목차

1. 개요

SAP IQ는 분석에 최적화된 열 지향 데이터베이스 관리 시스템(DBMS)으로, 1990년대 초 Expressway Technologies에 의해 개발되어 Sybase IQ로 출시되었다. 데이터 웨어하우스 시장을 위해 관련 기술과 함께 제공되었으며, SAP HANA와 결합하여 분산 인메모리 분석 플랫폼을 제공한다. SAP IQ는 데이터 압축, 대규모 병렬 처리(MPP) 프레임워크, 멀티플렉스 아키텍처, 로딩 엔진, 다양한 프레임워크 및 클라이언트 API를 지원하며, 빅 데이터 시대에 하둡과의 통합을 제공한다. 보안 기능으로는 사용자 접근 제어, 데이터베이스 암호화, 역할 기반 접근 제어(RBAC) 등이 있으며, 정보 수명 주기 관리(ILM)를 위한 DBSpace, 테이블 분할 및 이동 기능을 제공한다. 또한, 고가용성 및 재해 복구를 위한 멀티플렉스 설정, 가상 백업, SAP Sybase PowerDesigner와의 통합을 지원한다. 주요 고객으로는 comScore, CoreLogic, ITG, 미국 국세청 등이 있으며, 데이터 웨어하우스 및 데이터 마트에서 널리 사용된다.

더 읽어볼만한 페이지

  • SAP AG - SAP HANA
    SAP HANA는 SAP SE에서 개발한 인메모리, 컬럼 지향 데이터베이스 관리 시스템으로, 빠른 데이터 처리 속도를 기반으로 온라인 트랜잭션 처리와 온라인 분석 처리를 단일 플랫폼에서 지원하며, SAP S/4HANA 등 다양한 SAP 애플리케이션 실행에 사용되고 클라우드 및 온프레미스 환경에 배포 가능하다.
  • SAP AG - MaxDB
    MaxDB는 1977년 베를린 공과대학교 연구 프로젝트에서 시작되어 여러 회사를 거쳐 SAP AG의 데이터베이스 시스템이 되었으며, 다양한 관리 및 개발 도구, 크로스 플랫폼 지원, 핫 백업 기능, 다중 버전 동시성 제어(MVCC)를 제공하고 SAP SCM APO 등에서 활용된다.
  • 사유 데이터베이스 관리 시스템 - IBM 시스템 R
  • 사유 데이터베이스 관리 시스템 - SAP HANA
    SAP HANA는 SAP SE에서 개발한 인메모리, 컬럼 지향 데이터베이스 관리 시스템으로, 빠른 데이터 처리 속도를 기반으로 온라인 트랜잭션 처리와 온라인 분석 처리를 단일 플랫폼에서 지원하며, SAP S/4HANA 등 다양한 SAP 애플리케이션 실행에 사용되고 클라우드 및 온프레미스 환경에 배포 가능하다.
  • 사무용 소프트웨어 - 의사결정 지원 시스템
    의사결정 지원 시스템은 데이터베이스, 모델, 사용자 인터페이스를 기반으로 비구조화된 문제 해결을 돕는 대화형 컴퓨터 시스템으로, 다양한 분야에서 활용되며 인공지능 기술을 활용한 지능형 시스템으로 발전하고 있고, 의사결정 과정 개선 및 최적화에 중점을 두며 한국적 맥락에서는 투명성, 공정성, 시민 참여 확대 및 개인정보 보호를 고려한 발전이 중요하다.
  • 사무용 소프트웨어 - 판매 시점 정보 관리
    판매 시점 정보 관리(POS)는 상품 및 서비스 구매 시 거래를 처리하고 기록하는 시스템이며, 소매, 요식업 등 다양한 산업에서 판매 처리, 재고 관리, 고객 관리, 보고서 생성 등의 기능을 제공하고, 클라우드 및 모바일 POS로 발전해 보안이 중요한 시스템이다.
SAP IQ - [IT 관련 정보]에 관한 문서
SAP IQ 정보
개발사SAP
최초 출시1990년
최신 안정화 버전16
최신 안정화 버전 출시일2021년 5월
운영체제Microsoft Windows Server
리눅스
UNIX
플랫폼크로스 플랫폼 소프트웨어
언어다국어 지원
장르비즈니스 인텔리전스
데이터 웨어하우스
애널리틱스
라이선스사유 소프트웨어
웹사이트SAP IQ 웹사이트

2. 역사

1990년대 초, 익스프레스웨이 테크놀로지스는 분석에 최적화된 컬럼 기반 엔진인 익스프레스웨이 103을 개발했다. 이 제품은 1995년 사이베이스에 인수되어 사이베이스 IQ로 이름이 변경되었다.[2] 사이베이스는 IQ 제품을 데이터 웨어하우스 관련 기술의 일부로 제공하며 시장의 요구를 인식한 선두 기업 중 하나였다.[3]

이후 사이베이스는 버전 12.0에서 기존 인터페이스를 SQL Anywhere와 긴밀하게 결합하는 방식으로 변경했고,[2] 버전 16에서는 페타바이트 규모의 데이터 처리를 위한 컬럼 스토어를 재설계했다.[4] 2014년에는 SAP HANA와 여러 파트너사가 협력하여 세계 최대 규모의 데이터 웨어하우스를 구축하기도 했다.[5]

2. 1. 초기 개발

1990년대 초, 매사추세츠주 월섬에 본사를 둔 익스프레스웨이 테크놀로지스(Expressway Technologies, Inc.)는 분석에 최적화된 컬럼 기반 엔진인 익스프레스웨이 103을 개발했으며, 이 제품은 결국 사이베이스 IQ가 되었다. 사이베이스는 익스프레스웨이를 인수하여 1995년에 IQ 액셀러레이터로 제품을 재출시한 후, 곧 사이베이스 IQ로 이름을 변경하고 버전 번호를 11.0으로 부여했다.[2]

2. 2. 사이베이스의 데이터 웨어하우스 시장 진출

사이베이스는 데이터 웨어하우스 시장을 위한 특수 제품의 필요성을 인정한 최초의 주류 기업 중 하나였다. 사이베이스는 IQ 제품을 데이터 웨어하우스에서 자주 사용되는 관련 기술(사이베이스 Adaptive Server Enterprise, Replication Server, PowerDesigner, SQL Anywhere)의 일부로 제공하였다.[3]

2. 3. 버전 업그레이드

버전 12.0에서 사이베이스는 Adaptive Server Enterprise의 느슨하게 연결된 쿼리 인터페이스를 SQL Anywhere와의 긴밀한 결합으로 대체했다.[2]

버전 16은 극도로 큰 페타바이트 규모의 데이터 볼륨과 더 극심한 데이터 압축을 위해 재설계된 컬럼 스토어를 제공한다.[4]

2. 4. SAP HANA와의 협력

2014년, SAP HANA는 BMMsoft, HP, 인텔, 넷앱, 레드햇 등 파트너들과 함께 세계 최대 규모의 데이터 웨어하우스를 발표했다. SAP, BMMsoft, HP, 인텔, 넷앱, 레드햇의 엔지니어 팀은 SAP HANA 및 SAP IQ 16을 사용하여 데이터 웨어하우스를 구축했다. BMMsoft Federated EDMT는 레드햇 엔터프라이즈 리눅스 6 및 넷앱 FAS6290 및 E5460 스토리지를 사용하는 인텔 제온 E7-4870 프로세서가 장착된 HP DL580 서버에서 실행되었다. 12.1PB 규모의 데이터 웨어하우스 개발 및 테스트는 캘리포니아주 산타클라라에 있는 SAP/인텔 페타스케일 랩에서 수행되었으며, 독립적인 트랜잭션 처리 위원회(Transaction Processing Council) 인증 감사 기관인 InfoSizing에서 감사를 받았다.[5]

3. 기술적 특징

SAP IQ는 사용자에게 ODBC/JDBC 드라이버를 통해 접근할 수 있는 SQL 기반 언어 계층을 가진 관계형 DBMS처럼 보이지만, 내부적으로는 대부분의 트랜잭션 데이터베이스와 달리 데이터 테이블을 데이터 행이 아닌 열의 섹션으로 저장하는 열 지향 DBMS이다.[8]

SAP IQ 16 이전에는 각 데이터 페이지가 고정 크기의 셀 배열로 구성되어 모든 값이 동일한 데이터 형식을 가졌다. 이는 구조화되고 고정 길이 데이터에 효율적이지만, 비정형적이고 가변 크기 데이터에는 적합하지 않았다. 이러한 문제를 해결하기 위해 각 페이지는 빽빽하게 묶인 가변 크기 셀로 구성된다. 칼럼 저장소 아키텍처는 페이지당 가변적인 셀 수와 칼럼 내의 다양한 페이지 형식을 지원한다. 또한 SAP IQ는 디스크에 기록될 때 각 데이터 페이지에 Lempel-Ziv-Welch(LZW) 압축 알고리즘[11]을 적용하여 데이터 볼륨을 크게 줄인다.[12]

열 지향 데이터베이스 관리 시스템인 SAP IQ는 데이터를 표의 열을 기준으로 저장한다. 이는 일반적인 DBMS에 비해 검색 처리 시 특정 열만 읽으면 되므로 효율적이다. 전통적인 행 지향 데이터베이스에서는 표 전체를 읽어야 한다.[17]

또한, 열 지향으로 저장함으로써 데이터 압축을 효율적으로 수행할 수 있다. 각 열에 포함된 데이터는 동일한 데이터 형식을 가지며, 데이터 길이도 같기 때문에 데이터 압축은 효율적이고 빠르다. 특히 도메인이 한정되어 있고 행 수가 많은 경우에는 압축이 더욱 효율적이다. 예를 들어, 광역 지방 자치 단체 이름을 저장하는 경우, 현(県)의 종류는 한정되어 있으므로, 각 현 이름을 한 번만 저장함으로써 전형적인 행 지향 저장소에 비해 저장 크기를 작게 유지할 수 있다.[17]

SAP IQ는 데이터 웨어하우스와 같은 애플리케이션에 최적화되어 있다. 데이터는 추가만 되고 갱신되는 경우는 거의 없으며, 데이터 대부분에 대한 검색이 전형적인 접근 방식이다. 열 지향 스토리지는 데이터 읽기에는 빠르지만, 1행을 갱신하는 경우에는 분할되어 저장된 여러 곳을 변경해야 하므로 쓰기는 느리다. 그러나 대량의 데이터 일괄 투입은 효율적으로 처리할 수 있다. 한편, 온라인 트랜잭션 처리(OLTP) 용도에서는 행 단위로 갱신이 이루어지므로 행 지향 관계형 데이터베이스 시스템에 비해 성능이 대폭 떨어진다.

버전 15 이전에는 SAP IQ에 갱신 처리를 자동으로 큐잉하는 기능이 없었다. 따라서, DDL 또는 DML 문 대상 객체가 사용 중이면 해당 문은 오류가 발생하는 경우가 있었다. SAP IQ는 테이블을 명시적으로 락하는 방법도 제공했지만, 락의 세분도는 거칠었다.[21] 버전 15 이후에는 설정에 따라 DDL/DML 처리를 대상 객체가 사용 중이 아닐 때까지 대기시킬 수 있게 되었다.

3. 1. 컬럼 기반 아키텍처

SAP IQ는 내부적으로 열 지향 DBMS로, 대부분의 트랜잭션 데이터베이스처럼 데이터 테이블을 데이터 행으로 저장하는 대신 데이터 열의 섹션으로 저장한다.[8]

이러한 열 지향 방식은 여러 가지 장점을 가진다.[8] 데이터 열에서 특정 값과 일치하는 항목을 검색할 때 해당 데이터 열에 해당하는 저장 객체만 접근하면 된다. 기존의 행 기반 데이터베이스는 테이블 전체를 위에서 아래로 읽어야 한다. 올바르게 인덱싱된 경우, 기존 데이터베이스에서 각 데이터 행에 한 번씩 저장해야 하는 값이 SAP IQ에서는 한 번만 저장되며, n비트 인덱스를 사용하여 데이터에 접근한다.[9]

또한, 열 기반 스토리지는 SAP IQ가 데이터를 실시간으로 효율적으로 압축할 수 있도록 한다.[10] 각 열에 포함된 데이터는 동일한 데이터 형식을 가지며, 데이터 길이도 같기 때문에 데이터 압축은 효율적이고 빠르다. 특히 도메인이 한정되어 있고 행 수가 많은 경우에는 압축이 더욱 효율적이다. 예를 들어, 광역 지방 자치 단체 이름을 저장하는 경우, 현(県)의 종류는 한정되어 있으므로, 각 현 이름을 한 번만 저장함으로써 전형적인 행 지향 저장소에 비해 저장 크기를 작게 유지할 수 있다.[17]

3. 2. 인덱싱 기술

SAP IQ는 열에서 특정 값과 일치하는 항목을 검색할 때 해당 열에 해당하는 저장 객체만 접근하면 되므로 효율적이다. 기존 행 기반 데이터베이스는 테이블 전체를 읽어야 하는 반면, SAP IQ는 N비트 인덱스를 사용하여 데이터에 접근하므로, 올바르게 인덱싱된 경우 각 데이터 행에 한 번씩 저장해야 하는 값을 한 번만 저장하면 된다.[9] N비트 및 계층형 인덱싱은 압축률을 높이고 빠르고 점진적인 일괄 로드를 가능하게 한다.[9]

비트맵은 보조 인덱스에 사용된다.[11]

3. 3. 대규모 병렬 처리 (MPP) 프레임워크

SAP IQ는 분산 쿼리 처리를 지원하는 공유 환경 기반의 대규모 병렬 처리(MPP) 프레임워크를 갖추고 있다. MPP를 지원하는 대부분의 다른 제품들은 공유 없음 환경을 기반으로 하는 경향이 있다. 공유 환경의 장점은 최적화할 수 있는 쿼리의 종류에 있어 더욱 유연하다는 점이다. 특히 많은 동시 사용자의 요구를 균형 있게 맞추는 데 유용하다. 단점은 극단적인 경우, 공유 스토리지 풀(일반적으로 SAN)에 접근하기 위한 프로세서 간의 경쟁이 I/O 경합으로 이어져 쿼리 성능에 영향을 미칠 수 있다는 것이다.[12]

그러나 SAP IQ의 앞서 언급한 스토리지 아키텍처는 컴퓨팅 및 스토리지 계층이 서로 독립적으로 확장될 수 있도록 하며, 기본 데이터베이스를 재구성하지 않고도 이러한 리소스를 수요에 따라 프로비저닝하여 활용도를 높일 수 있도록 한다.

3. 4. 멀티플렉스 아키텍처

SAP IQ는 클러스터 그리드 아키텍처를 사용하며, 이는 SAP IQ 서버의 클러스터, 즉 멀티플렉스(Multiplex)로 구성된다. 이 클러스터는 대량의 동시 쿼리 또는 복잡도가 높은 쿼리의 성능을 확장하는 데 사용된다. 모든 컴퓨팅 노드가 동일한 공유 저장소와 상호 작용하고 쿼리가 모든 컴퓨팅 노드에서 분산될 수 있는 공유 모든 아키텍처를 기반으로 구축되었다.[12] 멀티플렉스는 데이터베이스 카탈로그를 관리하고 저장소에 대한 트랜잭션 쓰기를 조정하는 코디네이터 노드를 가지고 있다. 다른 노드는 코디네이터 노드와 마찬가지로 읽기 전용 노드 또는 읽기 및 쓰기 노드가 될 수 있다. 저장소 패브릭은 멀티플렉스 노드 간에 공유를 허용하는 다양한 기술로 구현할 수 있다.

이 아키텍처는 워크로드 균형 조정 및 탄력적 가상 데이터 마트를 포함한 여러 가지 용도로 사용된다. 워크로드 균형 조정은 서버 활동의 변화에 ​​대응하여 SAP IQ 쿼리 엔진을 통해 병렬 처리를 동적으로 증가/감소시켜 달성된다. 노드가 쿼리에 참여하지 않으면 자동 장애 조치가 발생하며, 다른 노드는 원래 실패한 노드에 할당된 작업을 인계받아 쿼리를 완료할 수 있다. 클라이언트 측에서는 외부 로드 밸런스와의 호환성을 통해 쿼리가 병목 현상을 제거하기 위해 균형 잡힌 방식으로 물리적 서버에서 시작되도록 보장한다. 멀티플렉스의 물리적 노드는 서로 워크로드를 격리할 수 있는 "논리적 서버"로 그룹화될 수 있다(보안 또는 리소스 균형 조정 목적). 이러한 서버에는 수요 변화에 따라 시스템을 추가할 수 있다. 그리드 아키텍처의 목표는 글로벌 트랜잭션 중에도 복원력을 활성화하는 것이다.[12]

SAP IQ Multiplex 사용 사례

3. 5. 로딩 엔진

SAP IQ 로딩 엔진은 증분 배치, 낮은 지연 시간, 동시 로딩 및 대량 로딩(클라이언트 및 서버 데이터 파일 모두 포함) 등 다양한 로딩 방식을 지원한다.[17] 대량 로딩 프로세스를 사용하면 로드 대상이 서로 다른 테이블인 경우 여러 로드 프로세스를 동시에 수행할 수 있다. 데이터는 다른 데이터베이스뿐만 아니라 파일에서도 로드할 수 있다. 페이지 수준 스냅샷 버전 관리를 통해 동시 로드 및 쿼리가 가능하며, 잠금은 테이블 수준에서만 발생한다. SAP Replication Server는 SAP IQ로의 로드를 최적화하도록 개선되었으며, 트랜잭션은 최소한의 작업 집합으로 컴파일된 다음 SAP IQ로의 대량 마이크로 배치 로드가 수행되어 실시간으로 지속적으로 로드되는 것처럼 보인다.

대량 로더는 모든 서버 코어를 최대한 활용하고, 병목 현상을 제거하며, 모든 스레드를 생산적으로 유지하기 위해 프로세스를 직렬화하는 대신 모든 작업을 병렬로 수행한다. 로딩 프로세스는 여전히 두 단계(먼저 원시 데이터를 읽고 FP 인덱스를 생성, 두 번째로 보조 인덱스 생성)로 유지되지만 모든 것이 병렬로 실행된다.

SAP IQ는 빠른 데이터 로드와 사용자에게 빠른 데이터 가용성을 제공하는 쓰기 최적화된 RLV(행 수준 버전 관리) 델타 스토어를 도입했다. 이 스토어는 최소한의 인덱싱 및 압축을 사용하며, 동시 쓰기를 위한 행 수준 잠금을 사용하고 자체 트랜잭션 로그를 가지며, 추가 전용으로 작동하고, 주 스토어의 동반자 역할을 한다. 데이터는 고속으로 RLV 스토어에 로드된 후 나중에 주 스토어로 마이그레이션되어 정기적으로 병합된다. 사용자에게는 두 개의 별도 엔터티가 작동하는 것처럼 보이지 않으며 쿼리는 두 개의 스토어에서 투명하게 작동한다. 이를 활용하기 위해 사용자는 특정 "핫" 데이터베이스 테이블을 RLV 테이블로 지정할 수 있다.

3. 6. 프레임워크 및 클라이언트 API

SAP IQ 16 엔진


SAP IQ는 OLAP영어 및 전체 텍스트 검색을 지원하는 ANSI SQL 표준 기반 쿼리 API를 제공한다(일부 제한 사항 있음).[1] 저장 프로시저는 ANSI SQL 및 T-SQL 방언 모두 지원하며, 예약 또는 즉시 실행할 수 있다.[1] 또한 JAVA영어, C/C++, PHP, PERL, Python영어, Ruby영어 및 ADO.Net영어 등 다양한 프로그래밍 언어용 데이터베이스 드라이버도 있다.[1]

SAP IQ는 Python영어, Perl영어, PHP, .Net, Ruby영어 등 다양한 웹 2.0 프로그래밍 및 실행 환경에서 SAP IQ에 접근할 수 있도록 지원하는 웹 지원 애플리케이션 드라이버와 함께 제공된다.[2] 이러한 기능들은 한국의 다양한 IT 환경에서 SAP IQ와의 연동을 쉽게 한다.

3. 7. 비정형 데이터 처리

SAP IQ는 구조화된 데이터와 비구조화된 데이터를 모두 쿼리하고 결과를 결합할 수 있는 분석 엔진이다. SAP IQ는 비구조적 텍스트 덩어리 내에서 용어를 검색하기 위해 새로운 텍스트 인덱스와 SQL "contains" 절을 도입했다.[1] SAP Sybase는 벤더와의 파트너십을 통해 다양한 바이너리 형태의 텍스트 파일을 SAP IQ에 통합하고 텍스트 인덱스를 생성할 수 있도록 한다.[1] 이러한 텍스트 인덱스는 상위 수준의 텍스트 분석 애플리케이션이 SELECT 문을 통해 SAP IQ 내에서 전체 텍스트 검색을 수행할 수 있도록 데이터를 준비한다.[1] 토큰화, 분류 및 추가 텍스트 분석을 수행하는 애플리케이션에서 SELECT 구문을 사용할 수 있다.[1] 한국어 자연어 처리 기술 발전과 함께, 이러한 비정형 데이터 분석 기능은 더욱 중요해지고 있다.

3. 8. 데이터베이스 내 분석



데이터베이스 내 분석은 분석 알고리즘을 데이터에 가깝게 유지하여 성능을 높이는 개념이다. "데이터베이스 내 분석"이라고 불리는 확장성 프레임워크는 SAP IQ의 데이터베이스 엔진 내에 분석 기능을 포함시켜, 분석을 데이터베이스 외부의 특수 환경으로 이동하는 대신 데이터베이스로 이동시킨다. 이러한 과정은 오류 발생 가능성이 낮고 빠르다. SAP IQ 파트너는 특수 통계 및 데이터 마이닝 라이브러리를 제공하며, 사전 구축된 함수는 SAP IQ에 연결되어 기본적으로 사용 가능하다. 이 프레임워크는 데이터가 분석을 위해 데이터베이스 밖으로 이동할 필요가 없어 SAP IQ의 고급 처리 및 분석 기능을 향상시킨다. 모든 데이터와 결과는 DBMS를 통해 공유되며, SQL 인터페이스를 통해 쉽게 얻을 수 있다. 사용자 정의 함수(UDF)를 통해 파트너는 SAP IQ에 직접 연결되어 고급 처리 및 분석 성능을 향상시키는 특수 통계 및 데이터 마이닝 라이브러리를 제공하여, 사용자 지정 계산으로 DBMS를 확장할 수 있다.

4. SAP HANA와의 통합

SAP는 데이터 웨어하우징을 인-메모리 데이터 패브릭으로 간소화하는 새로운 접근 방식을 제시한다.[6]

데이터베이스 내 분석은 분석 알고리즘을 데이터에 가깝게 유지하여 성능을 높이는 것을 기본 개념으로 한다. "데이터베이스 내 분석"이라고 하는 확장성 프레임워크는 SAP IQ의 데이터베이스 엔진 내에 분석 기능을 포함시켜, 분석을 데이터베이스 외부의 특수 환경으로 이동하는 대신 데이터베이스로 이동시킨다. 이러한 과정은 오류 발생 가능성이 높고 속도가 느리다. SAP IQ는 파트너를 통해 특수 통계 및 데이터 마이닝 라이브러리를 제공하며, 사전 구축된 함수를 기본적으로 사용할 수 있다. 이 프레임워크는 데이터가 분석을 위해 데이터베이스 밖으로 이동할 필요가 없으므로 SAP IQ의 고급 처리 및 분석 기능을 향상시킨다. 획득한 데이터와 결과는 DBMS를 통해 공유되며, SQL 인터페이스를 통해 쉽게 얻을 수 있다. 파트너는 사용자 정의 함수(UDF)를 통해 SAP IQ에 직접 연결하여 특수 통계 및 데이터 마이닝 라이브러리를 제공함으로써, 사용자 지정 계산으로 DBMS를 확장하고 고급 처리 및 분석 성능을 향상시킬 수 있다.

4. 1. SAP IQ의 역할

빅 데이터 시대가 도래하면서 SAP IQ는 SAP HANA와 결합하여 분산 인메모리 분석 플랫폼을 제공한다.

SAP IQ는 확장성 및 성능 강점을 활용하여 데이터 웨어하우스(EDW) 및 빅 데이터 처리기로서의 역할을 수행하고, SAP HANA의 인메모리 속도를 활용하여 운영 보고를 수행한다. 주요 애플리케이션 및 사용 사례는 다음과 같다.[7]

  • SAP 전사적 자원 관리(ERP) 데이터가 즉각적인 분석을 위한 운영 데이터 저장소 역할을 하는 SAP HANA로 들어간다. 데이터가 분석되면 근거리 저장소 메커니즘을 통해 SAP IQ에 통합된다. 여기서 SAP IQ는 다양한 기존 소스(OLTP 데이터베이스 및 파일 시스템)와 SAP HANA 운영 데이터 저장소(ODS)로부터 데이터를 수신하는 엔터프라이즈 데이터 웨어하우스 역할을 한다.[7]
  • SAP IQ를 EDW로 사용하는 경우, HANA의 인 메모리 기술을 추가하여 사용할 수 있다. 일반적인 사용 사례로는 동시 OLTP 처리가 필요한 계획 및 분석 보고서가 있다. 이 경우 데이터는 SAP IQ에서 SAP HANA로 흐른다.[7] SAP BusinessObjects BI를 사용하여 두 플랫폼에서 가시성을 확보할 수 있다.


SAP의 인-메모리 데이터 패브릭 아키텍처

4. 2. SAP HANA의 역할

빅 데이터 시대가 도래하면서 SAP IQ는 SAP HANA와 결합하여 분산 인메모리 분석 플랫폼을 제공한다.

SAP IQ의 확장성 및 성능 강점을 활용하여 데이터 웨어하우스(EDW) 및 빅 데이터 처리기로서의 역할을 수행하고, SAP HANA의 인메모리 속도를 활용하여 운영 보고를 수행하는 세 가지 주요 애플리케이션 및 사용 사례가 있다.[7]

이 시나리오에서는 SAP 전사적 자원 관리(ERP) 데이터가 즉각적인 분석을 위한 운영 데이터 저장소 역할을 하는 SAP HANA로 들어간다. 데이터가 분석되면 근거리 저장소 메커니즘을 통해 SAP IQ에 통합된다. 여기서 SAP IQ는 다양한 기존 소스(OLTP 데이터베이스 및 파일 시스템)와 SAP HANA 운영 데이터 저장소(ODS)로부터 데이터를 수신하는 엔터프라이즈 데이터 웨어하우스 역할을 한다.[7]

SAP IQ를 EDW로 사용하는 경우, HANA의 인 메모리 기술을 추가하여 사용할 수 있다. 일반적인 사용 사례로는 동시 OLTP 처리가 필요한 계획 및 분석 보고서가 있다. 이 경우 데이터는 SAP IQ에서 SAP HANA로 흐른다.[7] SAP BusinessObjects BI를 사용하여 두 플랫폼에서 가시성을 확보할 수 있다.

4. 3. 통합 시나리오

빅 데이터 시대가 도래하면서, SAP IQ는 SAP HANA와 결합하여 분산 인메모리 분석 플랫폼을 제공한다.

SAP IQ의 확장성 및 성능 강점을 활용하여 데이터 웨어하우스(EDW) 및 빅 데이터 처리기로서의 역할을 수행하고, SAP HANA의 인메모리 속도를 활용하여 운영 보고를 수행하는 세 가지 주요 애플리케이션 및 사용 사례가 있다.[7]

  • 운영 보고를 위한 SAP HANA와 빅 데이터 처리를 위한 SAP IQ (NLS)
  • 엔터프라이즈 데이터 웨어하우스(EDW)로서의 SAP IQ와 애자일 데이터 마트로서의 SAP HANA


이 시나리오에서는 SAP 전사적 자원 관리(ERP) 데이터가 즉각적인 분석을 위한 운영 데이터 저장소 역할을 하는 SAP HANA로 들어간다. 데이터가 분석되면 근거리 저장소 메커니즘을 통해 SAP IQ에 통합된다. 여기서 SAP IQ는 다양한 기존 소스(OLTP 데이터베이스 및 파일 시스템)와 SAP HANA 운영 데이터 저장소(ODS)로부터 데이터를 수신하는 엔터프라이즈 데이터 웨어하우스 역할을 한다.[7]

SAP IQ를 EDW로 사용하는 경우, HANA의 인 메모리 기술을 추가하여 사용할 수 있다. 일반적인 사용 사례로는 동시 OLTP 처리가 필요한 계획 및 분석 보고서가 있다. 이 경우 데이터는 SAP IQ에서 SAP HANA로 흐른다.[7] SAP BusinessObjects BI를 사용하여 두 플랫폼에서 가시성을 확보할 수 있다.

5. 보안

SAP IQ는 사용자의 데이터 보안을 보호하기 위해 기본 제품에 포함되거나 별도로 라이선스 가능한 여러 기능을 제공한다. IQ 16에 도입된 새로운 기능은 역할 기반 접근 제어(RBAC)로, 권한 있는 작업을 세분화된 집합으로 분해하여 개별 사용자에게 부여함으로써 최소 권한의 원칙을 준수하고 직무 분리를 가능하게 한다.[1] 기본 제공 기능은 사용자, 그룹 및 권한, 데이터베이스 관리 권한, 사용자 로그인 정책, 데이터베이스 암호화, 전송 계층 보안, IPV6, 역할 기반 접근 제어(RBAC), 데이터베이스 감사 등이다. 고급 보안 옵션(라이선스 필요)은 FIPS 암호화, Kerberos 인증, LDAP 인증, 데이터베이스 열 암호화를 포함한다.

5. 1. 기본 제공 기능

사용자, 그룹 및 권한, 데이터베이스 관리 권한, 사용자 로그인 정책, 데이터베이스 암호화, 전송 계층 보안, IPV6, 역할 기반 접근 제어(RBAC), 데이터베이스 감사가 기본 제공 기능에 포함된다.[1]

5. 2. 고급 보안 옵션 (라이선스)

SAP IQ는 고급 보안 옵션으로 다음과 같은 라이선스 기능을 제공한다.[1]

  • FIPS 암호화
  • Kerberos 인증
  • LDAP 인증
  • 데이터베이스 열 암호화


이러한 기능들은 대한민국의 정보보호 관련 법규(예: 개인정보보호법) 준수를 위한 기능을 강화한다.[1]

6. 정보 수명 주기 관리 (ILM)

SAP IQ를 이용한 정보 수명 주기 관리(ILM)는 데이터베이스 객체를 위한 논리적 저장 단위인 DBSpace를 여러 개 생성하여 데이터를 구성하는 방식으로 이루어진다. 이를 통해 구조적 또는 비구조적 데이터를 분리하거나, 연도 및 가치에 따라 데이터를 그룹화하거나, 테이블 데이터를 분할할 수 있다. 또한, DBSpace를 읽기 전용으로 설정하여 일회성 일관성 검사 및 백업을 수행할 수 있다.

SAP IQ는 테이블 분할 및 스토리지 패브릭, 백업 기능과의 연동을 통해 데이터 계층화 및 순환 스토리지 관리를 지원한다.[1]

6. 1. 사용자 DBSpace

SAP IQ를 사용하면 사용자는 데이터를 구성하기 위해 여러 개의 사용자 DBSpace(데이터베이스 객체를 위한 논리적 저장 단위/컨테이너)를 만들 수 있다. 이는 구조적 데이터 또는 비구조적 데이터를 분리하고, 연도와 가치에 따라 그룹화하거나, 테이블 데이터를 분할하는 데 사용할 수 있다. DBSpace는 일회성 일관성 검사 및 백업을 활성화하기 위해 읽기 전용으로 표시할 수도 있다.[1]

6. 2. 테이블 분할 및 이동

SAP IQ는 정보 수명 주기 관리(ILM)의 일환으로, 사용자가 여러 개의 사용자 DBSpace(데이터베이스 객체를 위한 논리적 저장 단위/컨테이너)를 생성하여 데이터를 구성할 수 있도록 지원한다. 이를 통해 구조적 또는 비구조적 데이터를 분리하고, 연도와 가치에 따라 그룹화하거나, 테이블 데이터를 분할할 수 있다. DBSpace는 일회성 일관성 검사 및 백업을 위해 읽기 전용으로 표시할 수도 있다.

또한, SAP IQ는 테이블 분할 및 스토리지 패브릭, 백업 기능과의 연동을 통해 다음과 같은 기능을 제공한다.

  • 데이터 계층화: 데이터를 계층화된 스토리지에 저장하고, 시간이 지남에 따라 더 빠르고 비싼 스토리지에서 더 느리고 저렴한 스토리지로 이동시킨다.
  • 순환 스토리지 관리: 데이터의 가치에 따라 분할하여 관리하는 스토리지 관리 프로세스를 적용한다.

7. 고가용성 및 재해 복구

SAP IQ는 멀티플렉스 설정을 통해 컴퓨팅 노드의 확장성과 고가용성을 제공한다. 멀티플렉스 코디네이터 노드는 대체 코디네이터 노드로 페일오버될 수 있어 시스템의 안정성을 높인다.

SAP IQ 가상 백업은 빠른 데이터 백업을 지원한다. 스토리지 복제 기술과 함께 데이터를 지속적으로 복사하여 백업을 신속하게 "백그라운드에서" 수행할 수 있으며, 완료 후에는 테스트 및 복원을 통해 확인할 수 있다. 또한 엔터프라이즈 데이터를 개발 및 테스트용으로 복사할 수 있다. 이후 트랜잭션적으로 일관된 시점에서 백업을 완료하면 된다. SAP는 MPP에 대한 공유형 접근 방식을 통해 재해 복구가 더 쉬워진다고 주장한다.

SAP Sybase PowerDesigner 모델링 도구를 사용하면 SAP IQ와 함께 배포할 수 있는 정보 수명 주기 관리(ILM) 모델을 구축할 수 있다. ILM 모델에서 스토리지 유형, DBSpace 및 수명 주기 단계를 정의할 수 있으며, 이 도구를 사용하여 보고서, 파티션 생성 및 이동 스크립트를 만들 수 있다.[1]

7. 1. 멀티플렉스

SAP IQ는 클러스터 그리드 아키텍처를 사용하며, 이는 SAP IQ 서버의 클러스터, 즉 멀티플렉스(Multiplex)로 구성된다. 이 클러스터는 대량의 동시 쿼리 또는 복잡도가 높은 쿼리의 성능을 확장하는 데 사용된다. 이는 모든 컴퓨팅 노드가 동일한 공유 저장소와 상호 작용하고 쿼리가 모든 컴퓨팅 노드에서 분산될 수 있는 공유 모든 아키텍처를 기반으로 구축되었다. 멀티플렉스는 데이터베이스 카탈로그를 관리하고 저장소에 대한 트랜잭션 쓰기를 조정하는 코디네이터 노드를 가지고 있다. 다른 노드는 코디네이터 노드와 마찬가지로 읽기 전용 노드 또는 읽기 및 쓰기 노드가 될 수 있다. 저장소 패브릭은 멀티플렉스 노드 간에 공유를 허용하는 다양한 기술로 구현할 수 있다.

이 아키텍처는 워크로드 균형 조정 및 탄력적 가상 데이터 마트를 포함한 여러 가지 용도로 사용된다. 워크로드 균형 조정은 서버 활동의 변화에 ​​대응하여 SAP IQ 쿼리 엔진을 통해 병렬 처리를 동적으로 증가/감소시켜 달성된다. 노드가 쿼리에 참여하지 않으면 자동 장애 조치가 발생하며, 다른 노드는 원래 실패한 노드에 할당된 작업을 인계받아 쿼리를 완료할 수 있다. 클라이언트 측에서는 외부 로드 밸런스와의 호환성을 통해 쿼리가 병목 현상을 제거하기 위해 균형 잡힌 방식으로 물리적 서버에서 시작되도록 보장한다. 멀티플렉스의 물리적 노드는 서로 워크로드를 격리할 수 있는 "논리적 서버"로 그룹화될 수 있다(보안 또는 리소스 균형 조정 목적). 이러한 서버에는 수요 변화에 따라 시스템을 추가할 수 있다. 그리드 아키텍처의 목표는 글로벌 트랜잭션 중에도 복원력을 활성화하는 것이다.

멀티플렉스 설정은 컴퓨팅 노드에 대한 확장성과 고가용성을 제공한다. 왜냐하면 멀티플렉스 코디네이터 노드가 대체 코디네이터 노드로 페일오버될 수 있기 때문이다.

7. 2. 가상 백업

SAP IQ 가상 백업을 통해 사용자는 데이터를 빠르게 백업할 수 있으며, 스토리지 복제 기술과 함께 데이터를 지속적으로 복사하여 백업을 신속하고 "백그라운드에서" 수행할 수 있다. 가상 백업이 완료되면 테스트 및 복원을 통해 확인할 수 있으며, 엔터프라이즈 데이터를 개발 및 테스트용으로 복사할 수 있다. 그런 다음 트랜잭션적으로 일관된 시점에서 백업을 완료하는 것만 남는다.

7. 3. SAP Sybase PowerDesigner

SAP Sybase PowerDesigner 모델링 도구를 사용하면 사용자가 SAP IQ와 함께 배포할 수 있는 정보 수명 주기 관리(ILM) 모델을 구축할 수 있다. ILM 모델에서 스토리지 유형, DBSpace 및 수명 주기 단계를 정의할 수 있으며, 이 도구를 사용하여 보고서를 생성하고 파티션 생성 및 이동 스크립트를 만들 수 있다.[1]

8. 하둡 통합

SAP IQ는 빅 데이터 분야에서 매우 인기 있는 프레임워크인 하둡 분산 파일 시스템(HDFS)과의 연동을 제공하여, 기업 사용자가 하둡에 데이터를 계속 저장하고 그 이점을 활용할 수 있도록 돕는다. 통합은 사용자의 필요에 따라 다음 네 가지 방식으로 이루어진다.


  • 클라이언트 측 연동: 클라이언트 애플리케이션 수준에서 IQ와 하둡의 데이터를 결합한다.
  • ETL 연동: 사용자가 하둡 데이터를 IQ의 컬럼 스토어 스키마로 로드할 수 있도록 한다.
  • 데이터 연동: HDFS 데이터는 IQ의 SQL 쿼리를 통해 즉시 IQ 데이터와 결합될 수 있다.
  • 쿼리 연동: 맵리듀스 작업의 결과도 즉시 IQ 데이터와 결합될 수 있다.

9. 지원 플랫폼

SAP IQ는 다음과 같은 주요 운영 체제 플랫폼을 지원한다.

운영 체제아키텍처
선 솔라리스64비트
레드햇 리눅스64/32비트
SUSE 리눅스64/32비트
HP-UX64비트
HP-UX Itanium64비트
IBM-AIX64비트
윈도우64/32비트


10. 고객 사례

SAP IQ는 2,000곳 이상의 고객사에 설치되어 있으며, 1,500개 이상의 고객사에서 3,000개 이상의 시스템으로 사용되고 있다.

10. 1. 주요 고객

컴스코어, 코어 로직, 투자 기술 그룹(ITG), 미국 국세청(IRS) 등이 주요 고객이다.[13][14][15]

10. 2. 활용 사례

SAP IQ는 데이터 마트 스타일의 특정 목적 배포에 널리 사용되었지만,[16] 기업 데이터 웨어하우스로도 배포되었다. 2000곳 이상의 고객사에 설치되었으며, 주요 고객으로는 컴스코어[13], 코어 로직, 투자 기술 그룹[14], 미국 국세청 등이 있다.[15] SAP IQ는 수천 명의 사용자의 동시 접속을 지원하며, 분석 및 데이터 웨어하우스 환경에서 사용된다. 1500개 이상의 고객사에서 3000개 이상의 시스템을 통해 사용되고 있다.

2007년 6월, 썬 마이크로시스템즈의 요청에 따라, InfoSizing은 세계에서 가장 거대한 데이터 웨어하우스의 집약성과 성능을 측정했다.[18] 이 시스템은 BMMSoft에 의해 설계되었고, 솔라리스 10과 Sybase IQ를 사용하고 있으며, 1페타바이트에 달하는 구조적 데이터 및 비구조적 데이터로 구성되어 있다. 썬 마이크로시스템즈와 Sybase는 이 벤치마크에서 Sybase IQ의 아키텍처가 매우 효율적이어서 설비, 처리 시간, 소비 전력을 줄일 수 있었다고 말했다.[19][20] BMMSoft의 데이터 웨어하우스 적용에서는 500테라바이트의 트랜잭션 데이터와 72테라바이트의 멀티미디어 데이터를 260테라바이트까지 압축하여 저장했다.

한국의 경우, 금융, 통신, 유통 등 다양한 산업 분야에서 SAP IQ를 활용하여 데이터 기반 의사 결정을 지원하고 있으며, 특히 핀테크 산업 성장에 따라 데이터 분석 수요가 증가하고 있다.

11. 평가

SAP IQ는 데이터 웨어하우스와 같은 애플리케이션에 최적화되어 있다. 데이터는 추가만 되고 갱신되는 경우는 거의 없으며, 데이터 대부분에 대한 검색이 전형적인 접근 방식이다. 열 지향 스토리지(Column-oriented storage)는 데이터를 읽는 데는 빠르지만, 1행을 갱신하는 경우에는 분할되어 저장된 여러 곳을 변경해야 하므로 쓰기는 느리다. 그러나 대량의 데이터를 일괄 투입하는 것은 효율적으로 처리할 수 있다. 한편, 온라인 트랜잭션 처리(OLTP) 용도에서는 행 단위로 갱신이 이루어지므로 행 지향 관계형 데이터베이스 시스템에 비해 성능이 대폭 떨어진다.

15 버전 이전에는 SAP IQ에 갱신 처리를 자동으로 큐잉하는 기능이 없었다. 따라서 DDL 또는 DML 문 대상 객체가 사용 중이면 해당 문은 오류가 발생하는 경우가 있었다. SAP IQ는 테이블을 명시적으로 잠금하는 방법도 제공했지만, 잠금의 세분도는 거칠었다.[21] 15 버전 이후에는 설정에 따라 DDL/DML 처리를 대상 객체가 사용 중이 아닐 때까지 대기시킬 수 있게 되었다.

참조

[1] 논문 C-Store: A column-oriented DBMS http://db.lcs.mit.ed[...] 2005
[2] 간행물 Sybase makes a data warehousing play via acquisition https://books.google[...] Network World 1994-11-07
[3] 서적 Sybase IQ Survival Guide
[4] 웹사이트 SAP Sybase IQ 16 for XLDB analytics now available! - SAP Blogs http://scn.sap.com/c[...] 2013-04
[5] 뉴스 SAP and Partners Set New Record for World's Largest Data Warehouse https://news.sap.com[...] SAP 2014-03-05
[6] 웹사이트 Data Warehousing Solutions | Technology | SAP http://www.sap.com/p[...] 2014-05-27
[7] 웹사이트 How does all this work together – BW, BW on HANA, Suite on HANA, HANA Live….. Part 8 - SAP Blogs http://scn.sap.com/c[...] 2013-11-27
[8] 논문 Sybase IQ Multiplex – Designed For Analytics http://www.vldb.org/[...] Proceedings of the 31st VLDB Conference, Trondheim, Norway 2004-08
[9] 문서 Sybase IQ#cite note-Moore-1
[10] 웹사이트 Archived copy http://www.sap.com/b[...] 2014-05-27
[11] PDF RDP107.pdf http://blasthemy.com[...] 2022-03
[12] 웹사이트 Dobler Consulting - Sybase - SQL Server - Oracle - MongoDB http://www.doblercon[...]
[13] 간행물 ComScore's Big Data Deployment In Detail http://www.informati[...] Information Week 2010-11-24
[14] 간행물 Start-Ups Mine Database Field — Nimble Software Helps Make Sense Of Information Tide http://strategic-pr.[...] Wall Street Journal 2007-11-18
[15] 간행물 Been audited lately? Blame the IRS's massive, superfast data warehouse http://www.computerw[...] ComputerWorld 2008-03-22
[16] 간행물 Sybase IQ Gains Beefier Analysis Capabilities http://www.informati[...] Information Week 2011-07-12
[17] 웹사이트 SybaseIQ-12.7-010407-wp.pdf http://www.sybase.co[...] 2007-09-11
[18] 웹사이트 Sun-Sybase-BMSoft solution Auditing http://www.sun.com/s[...]
[19] 웹사이트 Sybase IQ Powers World's Largest Green Data Warehouse Including Unstructured Data http://www.sybase.co[...]
[20] 웹사이트 World's Largest Data Warehouse Solution Brief http://www.sun.com/s[...]
[21] 웹사이트 http://www.sybase.co[...]


본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com