데이터 랭글링

3. 데이터 마이닝과의 관계

데이터 랭글링은 데이터 마이닝의 상위 집합이며, 데이터 마이닝에서 사용하는 프로세스를 필요로 하지만 항상 그런 것은 아니다. 데이터 마이닝은 대규모 데이터 세트 내에서 패턴을 찾는 과정이며, 데이터 랭글링은 해당 데이터에 대한 통찰력을 제공하기 위해 데이터를 변환한다. 데이터 랭글링이 데이터 마이닝의 상위 집합이라고 해서 데이터 마이닝이 이를 사용하지 않는다는 의미는 아니며, 데이터 마이닝에서 데이터 랭글링을 사용하는 사례는 많다. 데이터 랭글링은 전체 세트에 도움이 되지 않거나, 제대로 형식화되지 않은 데이터를 제거함으로써 데이터 마이닝에 도움이 될 수 있으며, 이는 전체 데이터 마이닝 프로세스에 더 나은 결과를 제공한다.

데이터 랭글링과 밀접하게 관련된 데이터 마이닝의 예로는 목표와 관련이 없는 세트의 데이터를 무시하는 것이 있다. 예를 들어, 텍사스 주와 관련된 데이터 세트가 있고, 휴스턴 거주자에 대한 통계를 얻는 것이 목표라면, 댈러스 거주자와 관련된 데이터는 전체 세트에 유용하지 않으므로, 데이터 마이닝 프로세스의 효율성을 높이기 위해 처리 전에 제거할 수 있다.

4. 이점

데이터 랭글링은 데이터 분석 시간을 단축하고, 더 정확한 결과를 도출하여 더 나은 의사 결정을 가능하게 한다. 메타데이터의 일관성을 보장하여 데이터 분석의 신뢰성을 높인다.^[1]

5. 핵심 단계

6. 일반적인 사용 예시

데이터 변환은 일반적으로 필드, 행, 열, 데이터 값 등과 같은 개별 엔터티에 적용되며, 추출, 구문 분석, 조인, 표준화, 증강, 정리, 통합 및 필터링과 같은 작업을 포함한다.^[1] 이러한 데이터는 데이터 아키텍트, 데이터 과학자, 비즈니스 사용자 또는 시스템(데이터 웨어하우스, 데이터 레이크 등)에 의해 활용될 수 있다.^[2]

의료 데이터에서 질병과의 상관 관계를 찾는 예시를 통해 데이터 랭글링 과정을 살펴볼 수 있다.^[3]

1. 질병 진단에 영향을 미치는 요인을 파악하기 위해, 먼저 결과의 구조를 결정한다.^[4]

2. 도움이 되지 않거나 잘못된 형식의 데이터(예: 질병 진단이 없는 환자)를 제거한다.^[5]

3. 이미 알고 있는 내용을 데이터 세트에 추가하여 데이터의 유용성을 높인다. (예: 해당 지역에서 가장 흔한 질병)^[6]

4. 유효성 검사 규칙을 결정하여 데이터의 유효성을 검사한다. (예: 생년월일, 특정 질병 검사)^[7]

5. 마지막으로, 데이터를 배포 또는 평가할 수 있도록 구성한다.^[8]

이러한 과정을 통해 방대한 양의 의료 데이터를 분석하여 질병 진단의 상관 관계를 파악하는 데 도움을 줄 수 있다.^[9]

7. 작동 방식

데이터 랭글링은 전통적으로 수동(예: 엑셀과 같은 스프레드시트를 통해)으로나, KNIME과 같은 도구나 파이썬 또는 SQL과 같은 언어의 스크립트를 통해 수행되어 왔다. R 언어도 데이터 마이닝 및 통계적 데이터 분석에 자주 사용되며 데이터 랭글링에 사용되기도 한다.^[6] 데이터 랭글러는 일반적으로 R, Python, SQL, PHP, Scala 및 데이터를 분석하는 데 일반적으로 사용되는 언어에 대한 기술을 갖추고 있다.

시각적 데이터 랭글링 시스템은 비 프로그래머가 데이터 랭글링에 접근할 수 있도록 하고 프로그래머에게 더 간단하게 만들기 위해 개발되었다. 이 중 일부는 사용자 지원을 제공하기 위해 내장된 AI 추천 시스템 및 예시 프로그래밍 기능과 확장 가능한 데이터 흐름 코드를 자동 생성하는 프로그램 합성 기술을 포함한다. 시각적 데이터 랭글링 도구의 초기 프로토타입에는 OpenRefine과 스탠포드/버클리 [http://vis.stanford.edu/wrangler/ Wrangler] 연구 시스템이 포함되었으며,^[7] 후자는 Trifacta로 발전했다.

참조

_[1] 웹사이트 What Is Data Munging? http://eduunix.ccut.[...] 2022-01-21
_[2] 웹사이트 Mung http://catb.org/jarg[...] 2012-10-10
_[3] Webarchive As coder is for code, X is for data https://blog.okfn.or[...] 2021-04-15
_[4] 간행물 Data management for the Cold Land Processes Experiment: improving hydrological science
_[5] 웹사이트 What Is Data Wrangling? What are the steps in data wrangling? https://expressanaly[...] 2020-04-22
_[6] 서적 R for data science : import, tidy, transform, visualize, and model data https://r4ds.had.co.[...] O'Reilly 2016
_[7] 서적 Proceedings of the SIGCHI Conference on Human Factors in Computing Systems 2011-05
_[8] Webarchive What is Data Franchising? https://www.iri.com/[...] Innovative Routines International 2021-04-15
_[9] 웹사이트 What is data wrangling and what are the steps? https://www.altair.c[...]