데이터 정제

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요

데이터 정제는 데이터의 정확성, 완전성, 일관성, 유효성, 균일성을 확보하는 과정을 의미한다. 데이터 품질은 정부의 인프라 투자 결정, 기업의 고객 데이터베이스 관리 등 다양한 분야에서 중요한 역할을 하며, 데이터 품질 관리는 데이터 감사, 워크플로 사양, 실행, 사후 처리 단계를 거쳐 이루어진다. 데이터 정제 시스템은 더티 데이터를 수정하고 데이터 품질을 측정, 제어하는 역할을 하며, 품질 스크린과 오류 이벤트 스키마를 통해 데이터 품질을 관리한다. 데이터 정제 도구는 비용, 학습 시간, 보안 문제 등의 한계점을 가지고 있다.

더 읽어볼만한 페이지

데이터 품질 - 데이터 무결성
데이터 무결성은 데이터베이스 시스템에서 데이터의 정확성과 유효성을 보장하여 데이터 손상을 방지하고 의도하지 않은 변경을 막는 것을 목표로 하며, 개체, 참조, 범위 무결성 등으로 구분되어 관리되는 핵심 개념이다.
데이터 품질 - 데이터 손상
데이터 손상은 시스템 오류로 인해 발생하며, 탐지되지 않을 경우 심각한 문제를 야기할 수 있어 체크섬, 오류 정정 코드 등의 기술을 통해 데이터 무결성을 유지하는 것이 중요하다.
비즈니스 인텔리전스 - 예측 분석
예측 분석은 통계학, 기계 학습 등의 분석 기법을 활용하여 과거 및 현재 데이터를 토대로 미래의 사건이나 결과를 예측하는 방법론으로, 다양한 분야에서 의사 결정 지원 및 위험 관리 등에 활용되지만, 인간 행동의 복잡성으로 인한 예측 불가능성에 대한 비판도 존재한다.
비즈니스 인텔리전스 - 데이터 웨어하우스
데이터 웨어하우스는 의사결정 지원을 위해 운영 시스템과 분리되어 운영되는 데이터 저장소로, 여러 시스템의 데이터를 통합하여 신뢰성 있는 단일 정보를 제공하며, 시간 가변성, 주제 중심성, 사용자 접근성, 읽기 전용 데이터베이스라는 특징을 가진다.

데이터 정제
개요
목적	부정확하거나 불완전하거나 관련 없는 데이터를 식별, 수정 또는 삭제하여 데이터 품질을 향상시키는 과정
다른 이름	데이터 정리, 데이터 검사
관련 용어	데이터 스크러빙, 데이터 통합
설명	데이터 세트에서 오류를 찾고 수정하는 작업
중요성	정확한 데이터는 정보에 입각한 의사 결정, 효율적인 운영 및 효과적인 전략에 필수적임.
데이터 품질 문제	불완전, 부정확, 일관성 없음, 중복
일반적인 작업	누락된 값 채우기 잘못된 데이터 수정 중복 제거 데이터 형식 표준화
데이터 정제의 이점	더 나은 의사 결정 마케팅 캠페인 개선 운영 효율성 향상 비용 절감 향상된 데이터 분석
데이터 정제 단계	데이터 감사 데이터 정리 데이터 검증 보고
관련 도구	OpenRefine Trifacta Wrangler Data Ladder Drake ETL TIBCO Clarity
상세 내용
정의	데이터베이스, 테이블 또는 데이터 세트에서 부정확한 데이터를 수정하거나 제거하는 프로세스
목표	데이터 품질 향상
방법	데이터 일괄 처리 데이터 프로파일링
데이터 일괄 처리	데이터 오류를 감지하기 위해 데이터 세트를 함께 평가하는 방법
데이터 프로파일링	데이터의 통계적 요약을 검토하여 비정상적인 데이터, 공백 또는 null 값을 식별하는 방법
품질 문제 해결	불완전한 데이터 일치하지 않는 데이터
데이터 표준화	데이터 집합을 표준화된 형식으로 변환
데이터 동기화	여러 데이터베이스에서 데이터를 통합하고 여러 소스에서 정확한 데이터를 검색하는 프로세스
데이터 품질 보증	정보의 신뢰성을 보장하는 프로세스
추가 작업	데이터 조화 데이터 스크러빙
추가 정보
필요성	조직의 효과적인 기능에 매우 중요
적용 분야	기계 학습 분석 데이터 마이닝
기술적인 측면
기술	데이터 세트의 데이터 값 정리
데이터 중복 제거	이름 및 주소 정리 고객 데이터에서 중복 제거
데이터 일치	오류가 있는 레코드 식별
데이터 조화	다양한 소스의 데이터를 함께 가져와 단일 일관된 데이터 세트를 만드는 프로세스
데이터 스크러빙	잘못되었거나 불완전하거나 형식화되지 않은 데이터를 식별하고 수정하는 데 사용되는 기술

2. 데이터 품질의 정의 및 중요성

데이터 품질은 데이터가 얼마나 정확하고, 완전하며, 일관되고, 유효하며, 시의적절한지를 나타내는 지표이다. 고품질 데이터는 사용 목적에 적합하고 신뢰할 수 있어야 하며, 조직의 의사 결정 과정을 지원하는 데 중요한 역할을 한다. 행정 및 비즈니스 분야에서 부정확하고 일관성이 없는 데이터는 잘못된 결론으로 이어져 공공 및 민간 규모에서 투자를 잘못된 방향으로 이끌 수 있다.^[1]

2. 1. 데이터 품질의 중요성

행정 및 비즈니스 분야에서 부정확하고 일관성이 없는 데이터는 잘못된 결론으로 이어져 공공 및 민간 규모에서 투자를 잘못된 방향으로 이끌 수 있다.^[1] 예를 들어, 정부는 어떤 지역에 인프라 및 서비스에 대한 추가 지출과 투자가 필요한지 결정하기 위해 인구 센서스 수치를 분석할 수 있다. 이 경우, 잘못된 재정적 결정을 피하기 위해 신뢰할 수 있는 데이터에 접근하는 것이 중요하다.^[1] 비즈니스 세계에서 부정확한 데이터는 비용이 많이 들 수 있다.^[1] 많은 회사들은 연락처 정보, 주소, 선호도와 같은 데이터를 기록하는 고객 정보 데이터베이스를 사용한다.^[1] 예를 들어, 주소가 일치하지 않으면 회사는 우편물을 다시 보내거나 심지어 고객을 잃는 비용을 감수해야 한다.^[1]

3. 데이터 품질 기준

고품질 데이터는 일반적으로 다음의 기준을 충족해야 한다.^[1]

'''유효성''': 측정값이 정의된 비즈니스 규칙이나 제약 조건을 준수하는 정도.
'''정확성''': 측정값이 표준 또는 실제 값과 일치하는 정도.
'''완전성''': 필요한 모든 데이터가 알려진 정도.
'''일관성''': 측정값 집합이 시스템 전체에서 동등한 정도.
'''균일성''': 모든 시스템에서 동일한 측정 단위를 사용하여 데이터 측정값이 지정되는 정도.

데이터 무결성은 정확성, 일관성 및 유효성 검사의 일부 측면을 포함하는 용어이지만, 데이터 정제 컨텍스트에서는 그 자체로 거의 사용되지 않는다.

3. 1. 유효성 (Validity)

데이터 유효성은 측정값이 정의된 비즈니스 규칙이나 제약 조건을 얼마나 잘 따르는지를 나타내는 정도이다. 유효성을 보장하는 것은 최신 데이터베이스 기술을 사용하면 데이터 캡처 시스템 설계 단계에서 비교적 쉽게 달성할 수 있다. 유효하지 않은 데이터는 주로 레거시 시스템(소프트웨어에서 제약 조건이 구현되지 않은 경우) 또는 부적절한 데이터 캡처 기술(예: 스프레드시트에서 셀 유효성 검사를 사용하지 않는 경우)을 사용할 때 발생한다.

데이터 제약 조건에는 다음과 같은 범주들이 있다.

제약 조건 종류	설명
데이터 유형 제약	특정 열의 값은 부울, 숫자(정수 또는 실수), 날짜 등과 같은 특정 데이터 유형이어야 한다.
범위 제약	숫자 또는 날짜 값은 일반적으로 최소 및 최대 허용 값으로 정의된 특정 범위 내에 있어야 한다.
필수 제약 조건	특정 열은 비워둘 수 없다.
고유 제약 조건	필드 또는 필드 조합은 데이터 세트 전체에서 고유해야 한다. 예를 들어, 두 사람이 동일한 사회 보장 번호를 가질 수 없다.
집합 구성원 제약	열 값은 개별 값 또는 코드 집합에서 가져온다. 예를 들어, 사람의 성별은 여성, 남성 또는 논바이너리일 수 있다.
외래 키 제약 조건	집합 구성원 제약의 일반적인 경우이다. 열의 값 집합은 고유한 값을 포함하는 다른 테이블의 열에 정의된다. 예를 들어, 미국 납세자 데이터베이스에서 "주" 열은 별도의 주 테이블에 기록된, 미국에서 정의된 주 또는 영토 중 하나에 속해야 한다.
정규 표현식 패턴	텍스트 필드는 특정 패턴으로 유효성을 검사해야 할 수 있다. 예를 들어, 전화번호는 (999) 999-9999 패턴을 따라야 할 수 있다.
교차 필드 유효성 검사	여러 필드를 사용하는 특정 조건이 유지되어야 한다. 예를 들어, 검사실 의학에서 차등 백혈구 수의 구성 요소 합계는 100과 같아야 한다(모두 백분율이므로). 병원 데이터베이스에서 환자의 퇴원일은 입원일보다 이전일 수 없다.

^[1]

3. 2. 정확성 (Accuracy)

데이터의 정확성은 측정값이 표준 또는 실제 값과 얼마나 일치하는지를 나타내는 지표이다. 정확도 및 정밀도를 참고할 수 있다. 일반적으로 데이터 정제를 통해 정확성을 확보하기는 매우 어렵다. 왜냐하면 실제 값을 포함하는 외부 데이터 소스, 즉 "골드 표준" 데이터에 접근해야 하기 때문이다. 하지만 이러한 "골드 표준" 데이터는 구하기 어려운 경우가 많다.^[1]

몇몇 특수한 경우, 특히 고객 연락처 데이터와 같은 데이터를 정제할 때는 외부 데이터베이스를 활용하여 정확성을 확보하기도 한다. 예를 들어, 우편 번호를 지리적 위치(도시 및 주)와 대조하고, 해당 우편 번호 내에 실제로 주소가 존재하는지 확인하는 방식으로 정확성을 높일 수 있다.^[1]

3. 3. 완전성 (Completeness)

필요한 모든 데이터가 누락 없이 존재하는 정도를 의미한다. 불완전성은 데이터 정제만으로는 해결하기 어려우며, 데이터 수집 단계에서부터 주의가 필요하다.^[1]

데이터의 원본 소스로 돌아가서 불완전성을 수정하는 것이 가능한 경우도 있지만, 회상 문제 등으로 인해 성공을 보장하지 못할 수 있다.^[1] 예를 들어, 음식 소비에 대한 인터뷰에서 6개월 전에 무엇을 먹었는지 정확히 기억하는 사람은 없을 것이다.^[1]

특정 열이 비어 있어서는 안 된다고 시스템에서 규정하는 경우, "알 수 없음" 또는 "누락됨"을 나타내는 값을 지정하여 문제를 해결할 수 있다.^[1] 하지만 기본값을 제공한다고 해서 데이터가 완전해졌다는 것을 의미하지는 않는다.^[1]

3. 4. 일관성 (Consistency)

데이터 세트에서 두 데이터 항목이 서로 모순될 때 불일치가 발생한다. 예를 들어, 고객이 두 개의 다른 시스템에 서로 다른 현재 주소를 가지고 있는 것으로 기록되면 그중 하나만 정확할 수 있다.^[1] 불일치를 수정하는 것이 항상 가능한 것은 아니므로, 다양한 전략이 필요하다.^[2] 예를 들어, 어떤 데이터가 더 최근에 기록되었는지, 어떤 데이터 소스가 가장 신뢰할 수 있는지 결정하거나 (후자의 지식은 특정 조직에 따라 다를 수 있음), 단순히 두 데이터 항목을 모두 테스트하여 진실을 찾을 수 있다 (예: 고객에게 전화 걸기).^[3]

3. 5. 균일성 (Uniformity)

데이터 균일성은 모든 시스템에서 데이터가 동일한 측정 단위를 사용하여 표현되는 정도를 의미한다.^[1] 서로 다른 시스템에서 수집된 데이터는 단위를 통일하는 변환 과정이 필요하다.^[1] 예를 들어, 서로 다른 로케일에서 가져온 데이터 세트에서 무게는 파운드 또는 킬로그램으로 기록될 수 있으며, 이 경우 산술 변환을 통해 단일 측정값(예: 킬로그램)으로 변환해야 한다.^[1]

4. 데이터 품질 관리 프로세스

데이터 품질 관리는 데이터 품질 문제를 예방하고 해결하기 위한 체계적인 활동이다.^[3]^[4] 데이터 품질 관리 프로세스에는 다음과 같은 단계들이 있다.

'''데이터 감사''' : 통계 및 데이터베이스 방법을 사용하여 데이터를 감사하여 이상과 모순을 감지한다.
'''워크플로 사양''' : 이상 탐지 및 제거는 워크플로로 알려진 데이터에 대한 일련의 작업에 의해 수행된다.
'''워크플로 실행''' : 워크플로 사양이 완료되고 정확성이 검증된 후 실행된다.
'''사후 처리 및 제어''' : 클렌징 워크플로 실행 후 결과를 검사하여 정확성을 확인한다.

데이터 품질을 개선하기 위한 9단계 가이드는 다음과 같다.^[3]^[4]

단계	설명
1	데이터 품질 문화에 대한 고위급 헌신 선언
2	경영진 수준에서 프로세스 재설계 추진
3	데이터 입력 환경 개선에 투자
4	애플리케이션 통합 개선에 투자
5	프로세스 작동 방식 변경에 투자
6	엔드 투 엔드 팀 인식 증진
7	부서 간 협력 증진
8	데이터 품질 우수성 공개적으로 축하
9	데이터 품질 지속적으로 측정 및 개선

데이터 품질 관리에는 다음과 같은 사항들이 포함된다.

'''파싱''' : 구문 오류를 감지한다. 파서는 데이터 문자열이 허용된 데이터 사양 내에서 허용 가능한지 여부를 결정한다. 이는 파서가 문법 및 언어와 작동하는 방식과 유사하다.
'''데이터 변환''' : 데이터 변환을 통해 데이터를 주어진 형식에서 해당 애플리케이션이 예상하는 형식으로 매핑할 수 있다. 여기에는 값 변환 또는 번역 기능과 더불어 최소값 및 최대값에 맞게 숫자 값을 정규화하는 작업이 포함된다.
'''중복 제거''' : 중복 감지에는 데이터에 동일한 엔터티의 중복 표현이 포함되어 있는지 여부를 결정하는 알고리즘이 필요하다. 일반적으로 데이터는 중복 항목을 더 빠르게 식별할 수 있도록 키별로 정렬된다.
'''통계적 방법''' : 평균, 표준 편차, 범위 또는 군집화 알고리즘의 값을 사용하여 데이터를 분석함으로써 예상치 못한 값을 찾을 수 있으며, 이는 오류일 가능성이 있다.

4. 1. 데이터 감사 (Data Auditing)

통계 및 데이터베이스 방법을 사용하여 데이터를 감사하여 이상치 및 모순을 탐지한다. 이는 결국 이상치와 그 위치의 특성을 나타낸다.^[3]^[4] 여러 상용 소프트웨어 패키지를 사용하면 다양한 종류의 제약 조건을 지정한 다음(예: JavaScript 또는 Visual Basic과 같은 표준 프로그래밍 언어의 문법을 준수하는 문법을 사용하여) 이러한 제약 조건의 위반에 대해 데이터를 검사하는 코드를 생성할 수 있다. 이 프로세스는 "워크플로 사양" 및 "워크플로 실행"에서 참조된다. 고급 정리 소프트웨어에 접근할 수 없는 사용자의 경우, Microsoft Access 또는 File Maker Pro와 같은 마이크로컴퓨터 데이터베이스 패키지를 사용하면 대부분의 경우 프로그래밍이 거의 또는 전혀 필요하지 않고 대화식으로 제약 조건별로 이러한 검사를 수행할 수 있다.

4. 2. 워크플로 사양 (Workflow Specification)

이상 현상의 탐지와 제거는 워크플로라고 하는, 데이터에 대한 일련의 작업을 통해 수행된다. 이는 데이터 감사 과정을 거쳐 지정되며, 고품질 데이터라는 최종 결과를 달성하는 데 매우 중요하다. 적절한 워크플로를 만들기 위해서는 데이터의 이상 현상과 오류의 원인을 면밀히 고려해야 한다.

4. 3. 워크플로 실행 (Workflow Execution)

이 단계에서는 워크플로 사양이 완료되고 정확성이 검증된 후 워크플로가 실행된다. 데이터 정제 작업 실행은 계산 비용이 많이 들 수 있으므로, 대규모 데이터 집합에서도 워크플로 구현이 효율적이어야 하며, 이는 불가피하게 절충을 야기한다.^[3]

4. 4. 사후 처리 및 제어 (Post-processing and Controlling)

정제 워크플로 실행 후 결과를 검사하여 정확성을 확인한다. 워크플로 실행 중에 수정할 수 없는 데이터는 가능하면 수동으로 수정한다.^[3] 그 결과, 추가 워크플로를 지정하여 자동 처리를 통해 데이터를 추가로 정제할 수 있도록 다시 데이터를 감사하는, 데이터 정제 프로세스의 새로운 순환이 생성된다.^[4]

5. 데이터 품질 관리 시스템

데이터 품질 관리 시스템은 데이터 웨어하우스에서 데이터를 정제하고, 품질 이벤트를 기록하며, 데이터 품질을 측정 및 제어할 수 있는 아키텍처를 제공한다. 데이터 정제 시스템의 복잡성을 정하고 원본 시스템의 현재 데이터 품질을 파악하기 위해 데이터 프로파일링 분석을 수행하는 것이 좋다.

5. 1. 시스템의 주요 역할

이 시스템의 핵심 역할은 더티 데이터를 수정하면서도, 원본 데이터(소스 프로덕션 시스템의 데이터)를 최대한 보존하는 균형점을 찾는 것이다. 이는 추출, 변환, 적재 설계자에게 어려운 과제다. 시스템은 데이터 웨어하우스에서 데이터를 정제하고, 품질 관련 이벤트를 기록하며, 데이터 품질을 측정하고 제어할 수 있는 구조를 갖춰야 한다. 데이터 정제 시스템이 얼마나 복잡해야 하는지, 그리고 원본 시스템의 데이터 품질이 현재 어떤 수준인지 파악하려면, 먼저 철저한 데이터 프로파일링 분석을 수행하는 것이 좋다.

5. 2. 품질 스크린 (Quality Screens)

데이터 정제 시스템의 일부는 품질 스크린이라고 알려진 일련의 진단 필터로 구성된다. 각 스크린은 데이터 흐름 내에서 테스트를 구현하며, 실패할 경우 오류 이벤트 스키마에 오류를 기록한다. 품질 스크린은 다음 세 가지 범주로 나뉜다.

열 스크린. 개별 열을 테스트하며, 예를 들어 NULL 값과 같은 예상치 못한 값, 숫자여야 하는 비숫자 값, 범위를 벗어난 값 등을 검사한다.
구조 스크린. 동일하거나 다른 테이블의 열 간의 다양한 관계(일반적으로 외래/기본 키)의 무결성을 테스트하는 데 사용된다. 또한 일련의 열이 따라야 하는 일부 구조적 정의에 따라 유효한지 테스트하는 데 사용된다.
비즈니스 규칙 스크린. 세 가지 테스트 중 가장 복잡하다. 여러 테이블에 걸쳐 데이터가 특정 비즈니스 규칙을 따르는지 테스트한다. 예를 들어, 고객이 특정 유형의 고객으로 표시된 경우, 이 유형의 고객을 정의하는 비즈니스 규칙이 준수되어야 한다.

품질 스크린이 오류를 기록하면 데이터 흐름 프로세스를 중지하거나, 대상 시스템이 아닌 다른 곳으로 결함이 있는 데이터를 보내거나, 데이터를 태그할 수 있다.

마지막 옵션이 최상의 솔루션으로 간주된다. 첫 번째 옵션은 문제가 발생할 때마다 누군가가 수동으로 처리해야 하고, 두 번째 옵션은 대상 시스템에서 데이터가 누락됨(무결성)을 의미하며, 이러한 데이터에 대해 어떻게 처리해야 하는지 종종 불분명하기 때문이다.

5. 3. 오류 이벤트 스키마 (Error Event Schema)

오류 이벤트 스키마는 품질 화면에서 발생한 모든 오류 이벤트의 기록을 담고 있다. 이는 날짜(언제), 배치 작업(어디서), 화면(누가 오류를 생성했는지)을 나타내는 세 개의 차원 테이블에 대한 외래 키를 가진 오류 이벤트 팩트 테이블로 구성된다. 또한 오류가 정확히 언제 발생했는지와 오류의 심각성에 대한 정보도 담고 있다. 더불어, 오류가 발생한 테이블, 레코드, 필드와 오류 조건에 대한 자세한 정보를 담고 있는 기본 테이블에 대한 외래 키를 가진 오류 이벤트 상세 팩트 테이블도 있다.

6. 데이터 품질 관리 도구 및 한계점

데이터 정제 도구는 데이터 품질 관리를 자동화하고 효율성을 높이는 데 기여하지만, 다음과 같은 한계점도 존재한다.

대부분의 데이터 정제 도구는 사용성에 제약이 있다. 우선 높은 도입 비용이 발생하며, 대규모 데이터 정제 소프트웨어를 숙달하는 데는 오랜 시간이 걸린다.^[1] 또한 데이터를 상호 검증하기 위해서는 정보 공유가 필요하며, 민감한 레거시 시스템을 포함한 여러 시스템에 대한 애플리케이션 접근 권한을 부여해야 하는 보안 문제도 발생한다.^[1]

6. 1. 높은 도입 비용

상용 데이터 정제 도구는 일반적으로 수십만 달러에 달하는 높은 비용이 발생한다.^[1]

항목	내용
프로젝트 비용	일반적으로 수십만 달러에 달하는 비용 발생
시간	대규모 데이터 정제 소프트웨어를 숙달하는 데 오랜 시간 소요
보안	상호 검증을 위해 정보 공유, 민감한 레거시 시스템을 포함한 여러 시스템에 대한 애플리케이션 접근 권한 부여 필요

6. 2. 긴 학습 시간

대규모 데이터 정제 소프트웨어를 숙달하는 데는 오랜 시간이 걸린다.^[1]

6. 3. 보안 문제

데이터를 상호 검증하기 위해서는 정보 공유가 필요하며, 민감한 레거시 시스템을 포함한 여러 시스템에 대한 애플리케이션 접근 권한을 부여해야 한다.^[1]

참조

_[1] 논문 A review on coarse warranty data and analysis https://kar.kent.ac.[...]
_[2] 웹사이트 Data 101: What is Data Harmonization? https://web.archive.[...] 2017-04-14
_[3] 서적 The Data Warehouse Lifecycle Toolkit Wiley Publishing, Inc.
_[4] 서적 Data Quality: The Accuracy Dimension Morgan Kaufmann
_[5] 웹인용 What is Data Cleaning? https://web.archive.[...] 2021-10-17
_[6] 웹인용 Data 101: What is Data Harmonization? https://datorama.com[...] 2019-08-14

본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com