데이터 이관

1. 개요

데이터 이관은 데이터를 한 환경에서 다른 환경으로 이동하는 프로젝트로, 하드웨어 및 소프트웨어 요구 사항 검토, 데이터 추출 및 로딩, 데이터 검증, 병렬 실행, 문서화 및 보고, 레거시 시스템 폐기, 이관 완료 회의 등의 단계를 거쳐 진행된다. 이관 계획 수립은 데이터의 중요도와 우선순위를 정하고 하드웨어 및 대역폭 요구 사항을 분석하는 것을 포함하며, 예상치 못한 문제 발생에 대비한 롤백 시나리오 개발, 데이터 정리 및 변환, 이관 아키텍처 결정이 중요하다. 데이터 이관은 스토리지, 데이터베이스, 애플리케이션, 비즈니스 프로세스 이관의 네 가지 유형으로 분류되며, 디지털 보존을 위한 이관은 데이터의 장기적인 보존을 위해 중요하지만, 시간과 비용이 많이 소요된다는 단점이 있다.

2. 표준 단계

데이터 이관 프로젝트의 거의 40%가 기한을 넘기거나, 예산을 초과하거나, 완전히 실패한다. 따라서 효과적인 데이터 이관을 위해서는 적절한 계획이 매우 중요하다. IBM은 대부분의 데이터 이관 프로젝트에 계획, 이관, 이관 후의 세 가지 주요 단계가 있다고 제안한다. 각 단계에는 자체적인 세부 절차가 있으며, 프로젝트의 복잡성에 따라 여러 번 반복될 수 있다.

데이터 이관은 조직이나 개인이 컴퓨터를 교체, 업그레이드하거나 시스템을 통합할 때(기업 합병 등) 필요하다. 일반적으로 자동화되지만, 필요에 따라 수동으로 진행하기도 한다. 수동 이관 시에는 조작 오류 방지를 위해 면밀히 검토된 절차서를 준비한다. 대규모 시스템의 경우, 자동/수동 여부에 관계없이 리허설을 반복하여 문제점을 파악한다.

효율적인 데이터 이관을 위해서는 기존 시스템의 데이터를 새 시스템에 매핑하고, 데이터 추출 및 로드를 수행한다. 기존 시스템의 데이터를 그대로 사용할 수 없는 경우, 변환이나 가공이 필요하며, 데이터 이관은 이러한 과정을 포함한다.

새 시스템에 데이터를 로드한 후에는 전송의 정확성 검증이 필요하며, 구 시스템과 신 시스템을 병행 작동하여 결과를 대조하기도 한다.

자동 또는 수동 이관 시 데이터를 정리하고 (데이터 클렌징) 품질을 향상시키는 것이 일반적이다. 중복되거나 더 이상 사용되지 않는 정보를 제거하고, 새로운 시스템의 요구 사양에 맞춰 데이터를 변환한다.

데이터 이관 과정(설계, 추출, 클렌징, 로드, 검증)은 새 시스템 가동 전까지 여러 번 반복된다.

2.1. 계획

이관할 데이터와 애플리케이션은 비즈니스, 프로젝트, 기술 요구 사항 및 종속성을 기반으로 선택된다. 하드웨어 및 대역폭 요구 사항을 분석한다. 실행 가능한 이관 및 롤백 시나리오와 관련된 테스트, 자동화 스크립트, 매핑, 절차가 개발된다. 또한 데이터 형식에 대한 데이터 정리 및 변환 요구 사항을 측정하여 데이터 품질을 개선하고 중복되거나 오래된 정보를 제거한다. 이관 아키텍처가 결정되고 개발되며, 필요한 소프트웨어 라이선스를 획득하고, 변경 관리 프로세스가 시작된다.

2.2. 이관

하드웨어 및 소프트웨어 요구 사항을 검증하고, 필요에 따라 이관 절차를 맞춤화한다. 요구 사항 및 맞춤 설정이 예상대로 작동하는지 확인하기 위해 사전 검증 테스트를 수행할 수도 있다. 모든 것이 정상으로 판단되면, 데이터를 이전 시스템에서 읽는 데이터 추출과 데이터를 새로운 시스템에 쓰는 데이터 로딩의 주요 작업을 포함하여 이관을 시작한다. 추가 검증 단계는 개발된 이관 계획이 완전히 실행되었는지 확인한다.

2.3. 이관 후

데이터 이관 후에는 데이터 검증을 거쳐 데이터가 정확하게 변환되었는지, 완전한지, 새로운 시스템의 프로세스를 지원하는지 확인한다. 검증 과정에서 불일치 영역을 식별하고 오류로 인한 데이터 손실을 방지하기 위해 두 시스템을 병렬로 실행해야 할 수 있다. 이관 프로젝트에 대한 추가적인 문서화 및 보고가 수행되며, 이관이 완료되면 레거시 시스템도 폐기될 수 있다. 이관 완료 회의를 통해 이관 프로세스를 공식적으로 종료한다.

3. 프로젝트 대 프로세스

데이터 이관은 데이터를 한 환경에서 다른 환경으로 이동하거나 복사하고, 원래 환경에서 데이터를 제거하거나 폐기하는 프로젝트이다. 이관은 수개월 또는 수년이 걸릴 수 있으며, 이 기간 동안 데이터는 여러 방향으로 흐를 수 있고 여러 번의 이관이 동시에 진행될 수 있다. ETL 작업이 필요하지만, 이를 달성하는 수단은 전통적으로 ETL 약어와 관련된 것이 아닐 수 있다.

반면, 데이터 통합은 IT 아키텍처의 영구적인 부분으로, 다양한 애플리케이션과 데이터 저장소 간의 데이터 흐름을 관리하는 프로세스이며 프로젝트 활동이 아니다. 운영 시스템에서 데이터 웨어하우스로 데이터를 제공하도록 설계된 표준 ETL 기술은 데이터 통합에 속한다.

4. 분류

데이터는 파일이나 데이터베이스에 저장되며, 소프트웨어 응용 프로그램에 의해 생성 및 사용되고, 이는 다시 비즈니스 프로세스를 지원한다. 데이터 전송 및 변환의 필요성은 여러 비즈니스 요구 사항에 의해 발생할 수 있으며, 마이그레이션에 대한 접근 방식은 이러한 요구 사항에 따라 달라진다. 데이터 이관은 크게 네 가지 주요 범주로 나눌 수 있다.

스토리지 이관과 데이터베이스 이관은 기업의 IT 부서가 통상적으로 수행하는 업무이다. 애플리케이션 이관과 비즈니스 프로세스 이관은 상당히 대규모이며, 서비스 중단 기간 없이 실시하는 것은 상당히 어렵다.

4.1. 스토리지 이관

기업은 보다 효율적인 스토리지 기술을 활용하기 위해 물리적 미디어를 합리화하기도 한다. 이는 물리적 데이터 블록을 한 테이프나 디스크에서 다른 테이프로 이동해야 하는 결과를 가져오며, 종종 가상화 기술을 사용하게 된다. 이 과정에서 데이터 형식과 내용 자체는 일반적으로 변경되지 않으며, 상위 계층에 미치는 영향은 최소화되거나 전혀 없을 수 있다.

기억 장치의 기술 혁신으로 인해 새로운 종류의 기억 장치로 이관이 필요할 수 있다. 서로 다른 기억 장치라도 가상화 기술을 사용하기 때문에 데이터 자체에는 전혀 손을 대지 않고 복사하여 상위 계층에서는 거의 영향을 주지 않고 접근 가능하게 하는 경우가 많다.

4.2. 데이터베이스 이관

데이터베이스 벤더를 변경하거나 사용 중인 데이터베이스 소프트웨어를 업그레이드해야 할 수 있다. 데이터베이스 소프트웨어 버전 업그레이드의 경우, 이관이 필요한 경우는 드물지만 대규모 업그레이드에서는 필요할 수 있다. 이 경우 포맷이 바뀌므로 물리적 변환 프로세스가 필요할 수 있다. 이는 데이터 조작 언어 또는 프로토콜이 변경되었는지 여부에 따라 애플리케이션 계층의 동작에 영향을 미칠 수도 있고, 그렇지 않을 수도 있다.

최근에는 애플리케이션 측에서 데이터베이스에 대한 지식을 갖지 않는 형식으로 작성되는 경우가 많아, 오라클에서 MySQL, DB2, Microsoft SQL Server로 이관하는 경우에도 기능 확인을 위한 테스트만 수행하면 되는 경우가 많다.

4.3. 애플리케이션 이관

CRM 또는 ERP 플랫폼과 같은 애플리케이션 공급업체를 변경하는 과정이다. 거의 모든 애플리케이션 또는 제품군은 자체적인 특정 데이터 모델로 작동하고 전사적 응용 프로그램 통합 환경 내의 다른 애플리케이션 및 시스템과 상호 작용하므로 불가피하게 상당한 변환을 수반한다. 또한, 애플리케이션을 최대한 많은 시장에 판매하기 위해 상용 기성 패키지는 일반적으로 메타데이터를 사용하여 각 고객에 맞게 구성된다. 공급업체는 처리해야 하는 데이터 무결성을 보호하기 위해 응용 프로그래밍 인터페이스(API)를 제공할 수 있다.

4.4. 비즈니스 프로세스 이관

비즈니스 프로세스는 사람과 애플리케이션 시스템의 작업을 조합하여 작동하며, 종종 비즈니스 프로세스 관리 도구를 통해 조율된다. 이러한 프로세스가 변경되면, 조직, 고객, 제품, 운영에 대한 정보를 반영하기 위해 데이터를 한 저장소, 데이터베이스 또는 애플리케이션에서 다른 저장소로 이동해야 할 수 있다. 이러한 이관의 예로는 기업의 인수 합병, 비즈니스 최적화, 새로운 시장 공략 또는 경쟁 위협에 대응하기 위한 재조직화 등이 있다.

스토리지 이관과 데이터베이스 이관은 일반적으로 IT 부서에서 나머지 비즈니스 부서의 참여 없이 처리하는 일상적인 운영 활동이다. 애플리케이션 이관과 비즈니스 프로세스 이관은 프로세스 및 애플리케이션의 운영 사용자에 직접적인 영향을 미치며, 필연적으로 복잡하며, 상당한 비즈니스 중단 없이 이를 제공하는 것은 어려울 수 있다. 이러한 이관에서는 고도로 적응적인 접근 방식, 동시 동기화, 비즈니스 중심의 감사 기능 및 프로젝트 관리 사무소 또는 데이터 거버넌스 팀을 통한 이해 관계자의 이관에 대한 명확한 가시성이 주요 요구 사항이 될 가능성이 높다.

5. 디지털 보존 형태로서의 이관

디지털 객체 자체에 초점을 맞춘 이관은 오래된 매체에서 현재 매체로 데이터를 전송하거나 다시 쓰는 행위이며, 수년 동안 디지털 객체의 장기 보존을 위한 유일한 실행 가능한 접근 방식으로 여겨져 왔다. 낡은 신문을 마이크로필름으로 복제하는 것이 이러한 이관의 한 예시이다. 기억 장치의 기술 혁신으로 인해 새로운 종류의 기억 장치로의 이관이 요구되는 경우가 있다. 서로 다른 기억 장치라도 가상화 기술을 사용하기 때문에 데이터 자체에는 전혀 손을 대지 않고 복사하여 상위 계층에서는 거의 손을 대지 않고 접근 가능하게 하는 경우가 많다. 디지털 데이터를 장기적으로 보관하려면, 낡은 매체에서 새로운 매체로의 데이터 이관이 필수적이다.

5.1. 단점

데이터 이관은 데이터 매체의 노후화 문제는 해결하지만, 데이터를 사용하는 특정 기술이 완전히 폐기되어 이관이 무의미해지는 문제는 해결하지 못한다. 또한 다음과 같은 단점들이 있다.

* 시간 소모적: 이관은 지속적인 과정이며, 특정 매체에 저장된 모든 데이터 객체에 대해 매체가 노후화될 때마다 반복해야 한다.
* 비용: 기관은 이관 시마다 추가적인 데이터 저장 매체를 구매해야 한다.

6. 해설

조직이나 개인이 컴퓨터를 교체하거나 업그레이드할 때, 또는 시스템을 통합할 때(기업이 합병하여 시스템을 하나로 통합하는 경우) 등에 필요하다. 현재 데이터 이관은 일반적으로 자동으로 이루어지지만, 자동화할 필요가 없는 경우에는 수동으로 진행하기도 한다. 수동인 경우에는 조작 오류를 방지하기 위해 면밀히 검토된 절차서를 준비하는 경우가 많다. 대규모 시스템의 경우, 자동이든 수동이든 관계없이 리허설을 반복하여 문제점을 파악한다.

효율적으로 데이터 이관을 수행하기 위해, 기존 시스템의 데이터를 새 시스템에 매핑하고, 데이터 추출 및 로드를 수행한다. 그러나 가장 중요한 것은 기존 시스템의 데이터가 그대로는 새 시스템에서 사용할 수 없는 경우로, 어떤 종류의 변환이나 가공이 필요한 경우이다. 데이터 이관은 이 모든 과정을 가리키지만, 그 대부분은 변환·가공의 자동화이다.

새 시스템에 데이터를 로드한 후, 전송이 올바르게 이루어졌는지(해당 데이터를 사용하여 새 시스템이 제대로 작동하는지) 검증할 필요가 있다. 이 과정에서 구 시스템과 신 시스템을 병행하여 작동시키고 결과를 대조하는 등의 작업이 필요한 경우도 있다.

자동 또는 수동으로 이관 시 데이터를 정리하고 (데이터 클렌징), 품질을 향상시키는 것이 일반적이다. 중복된 정보나 더 이상 사용되지 않는 정보를 제거하고, 새로운 시스템의 요구 사양에 맞춰 데이터를 변환한다.

데이터 이관의 과정(설계, 추출, 클렌징, 로드, 검증)은 새 시스템이 실제로 가동되기까지 여러 번 반복되는 것이 일반적이다.