탐색적 자료 분석

3. 목적과 특징

존 튜키는 1977년에 출간한 《탐색적 자료 분석》에서 통계학이 확인적 자료 분석(통계적 가설 검정)에만 치중되어 있다고 지적하며, 자료를 통해 가설을 제시하는 데 더 많은 গুরুত্ব를 두어야 한다고 주장했다.^[6] 특히, 그는 두 가지 분석 유형을 혼동하여 동일한 데이터 집합에 적용하면 체계적 오류를 일으킬 수 있다고 경고했다.^[17]

EDA의 주요 목적은 다음과 같다.

• 데이터에서 예상치 못한 발견을 가능하게 한다.
• 관찰된 현상의 인과 관계에 대한 가설을 제시한다.
• 통계적 추론의 기반이 될 가정을 평가한다.
• 적절한 통계 도구 및 기법 선택을 지원한다.
• 설문 조사나 실험 설계를 통해 추가적인 자료 수집의 기반을 제공한다.^[7]

4. 기법 및 도구

탐색적 자료 분석(EDA)은 특정 기법보다는 데이터에 대한 접근 방식에 의해 그 특징이 더 잘 드러난다.^[9] EDA는 데이터를 깊이 이해하고 숨겨진 패턴을 발견하는 데 중요한 역할을 한다.

EDA에는 다음과 같은 기법들이 활용된다.

• 시각적 기법
• 차원 축소
• 정량적 기법

4. 1. 시각적 기법

이러한 그래프들은 데이터의 분포, 변수 간 관계, 이상치, 군집 등 다양한 특징을 파악하는 데 도움을 준다. 예를 들어, 팁 금액과 청구액 간의 관계를 나타낸 산점도를 통해 팁 금액의 변동성이 청구액에 따라 증가하는 이분산성을 확인할 수 있다.^[12] 또한, 흡연 여부와 지불자 성별에 따라 팁을 주는 경향에 차이가 있음을 알 수 있다.

이처럼 EDA의 시각적 기법은 데이터를 다양한 각도에서 살펴보고, 통계 모델로는 설명되지 않는 숨겨진 패턴이나 가설을 발견하는 데 유용하다.

4. 1. 1. 차원 축소

4. 2. 정량적 기법

5. 응용 분야

EDA는 여러 분야에서 널리 활용되고 있다. 데이터 마이닝 분야에 많은 기법이 채택되었으며,^[8] 머신 러닝의 전처리 과정에서도 중요한 역할을 한다. 통계적 사고 교육에도 EDA 기법이 도입되어 어린 학생들에게도 가르치고 있다.^[8]

벨 연구소에서는 반도체 제조 및 통신 네트워크 연구와 같은 과학 및 공학 문제 해결에 EDA를 활용했다.^[5] 특히, 터키가 EDA를 옹호하면서 S, S-PLUS, R과 같은 통계적 컴퓨팅 패키지 개발에 영향을 주었다.^[4] 이러한 통계 컴퓨팅 환경은 동적 시각화 기능을 통해 데이터의 이상치, 추세, 패턴 등을 파악하여 추가 연구를 돕는다.

대한민국에서도 EDA는 빅데이터 분석, 머신러닝 등의 분야에서 데이터 전처리 및 초기 분석 단계에 필수적으로 활용되고 있다.

6. 소프트웨어

존 튜키는 EDA를 옹호하면서, 벨 연구소의 S와 같은 통계적 컴퓨팅 패키지 개발을 장려했다.^[4] S 프로그래밍 언어는 S-PLUS와 R 시스템에 영감을 주었다. 이러한 통계 컴퓨팅 환경은 통계학자들이 데이터의 이상치, 추세 및 패턴을 식별할 수 있도록 동적 시각화 기능을 크게 개선했다.^[4]

EDA를 위한 다양한 소프트웨어 도구가 개발되어 있다. 다음은 그 목록이다.

7. 관련 개념

존 튜키는 1961년에 데이터 분석을 "데이터 분석 절차, 그러한 절차의 결과를 해석하는 기술, 데이터 분석을 더 쉽고, 더 정확하게 만들 데이터를 수집하는 계획 방법, 그리고 데이터 분석에 적용되는 (수학적) 통계의 모든 메커니즘과 결과"로 정의했다.^[3]

튜키의 EDA 옹호는 벨 연구소의 S 언어와 같은 통계 계산 패키지 개발을 뒷받침했다.^[4] S 프로그래밍 언어는 S-PLUS와 R 시스템에 영향을 미쳤다. 이 통계 계산 환경은 개선된 동적 시각화 기능을 갖추고 있어, 통계학자들이 추가 연구가 필요한 데이터의 이상치, 추세, 패턴을 식별할 수 있게 했다.

튜키의 EDA는 강건 통계와 비모수 통계학과 관련이 있다. 이들은 모두 통계 모델 공식화 과정에서 발생하는 오류에 대한 통계적 추론의 민감도를 줄이고자 했다. 튜키는 수치 데이터의 다섯 숫자 요약(극값 (최댓값과 최솟값), 중앙값, 사분위수) 사용을 장려했다. 중앙값과 사분위수는 경험적 분포 함수이므로, 평균과 표준 편차와 달리 모든 분포에 대해 정의된다. 또한 사분위수와 중앙값은 평균과 표준 편차보다 왜곡된 분포나 꼬리가 두꺼운 분포에 더 강건하다. S, S-PLUS, R 패키지에는 에프론의 부트스트랩법 등 비모수적이고 강건한 재표본 추출 통계를 사용하는 루틴이 포함되어 있다.

탐색적 데이터 분석, 강건 통계, 비모수 통계, 통계 프로그래밍 언어 개발은 통계학자들이 과학 및 공학 문제에 더 쉽게 접근하도록 도왔다. 여기에는 벨 연구소와 관련된 반도체 제조 및 통신 네트워크 이해가 포함된다. 이러한 통계적 발전은 모두 튜키가 주장한 것으로, 통계적 가설 검정에 관한 해석 이론, 특히 지수족에 대한 라플라스의 강조를 보완하기 위해 설계되었다.^[16]

탐색적 자료 분석과 관련된 개념은 다음과 같다.

• 앤스콤의 예 - 탐색의 중요성을 보여주는 예시이다.
• 데이터 드레징 - 통계적으로 유의미한 결과만 보고하는 데이터 분석의 오용 사례이다.
• 예측 분석 - 현재와 과거의 사실을 바탕으로 미래를 예측하는 분석 기법이다.
• 구조적 데이터 분석 (통계학) - 주어진 데이터에 적합한 구조를 탐색하여 비교, 예측, 조작 등에 사용하는 분석 기법이다.
• 구성 빈도 분석 - 우연으로 예상되는 것보다 현저히 많거나 적은 패턴을 감지하여 구조에 대한 통찰력을 얻는 분석 기법이다.
• 기술 통계 - 표본 분포의 특징을 정량적으로 묘사하고 요약하는 통계값으로, EDA의 기초가 된다.

참조

_[1] 서적 Problem Solving: A Statistician's Guide Chapman and Hall
_[2] 논문 Ten simple rules for initial data analysis
_[3] 문서 John Tukey-The Future of Data Analysis-July 1961 http://projecteuclid[...]
_[4] 간행물 A Brief History of S http://www2.research[...] AT&T Bell Laboratories 2015-07-23
_[5] 논문 Conversation with John W. Tukey and Elizabeth Tukey, Luisa T. Fernholz and Stephan Morgenthaler
_[6] 서적 Exploratory Data Analysis Pearson
_[7] 문서 Behrens-Principles and Procedures of Exploratory Data Analysis-American Psychological Association-1997 https://web.archive.[...]
_[8] 논문 Statistics goes to school
_[9] 논문 We need both exploratory and confirmatory
_[10] 논문 Visualizing cellular imaging data using PhenoPlot 2015-01-08
_[11] 문서 Elementary Manual of Statistics https://archive.org/[...]
_[12] 문서 Cook, D. and Swayne, D.F. (with A. Buja, D. Temple Lang, H. Hofmann, H. Wickham, M. Lawrence) (2007) ″Interactive and Dynamic Graphics for Data Analysis: With R and GGobi″ Springer, 978-0387717616
_[13] 서적 Problem Solving: A Statistician's Guide Chapman and Hall
_[14] 논문 Ten simple rules for initial data analysis
_[15] 문서 John Tukey-The Future of Data Analysis-July 1961 http://projecteuclid[...]
_[16] 논문 Conversation with John W. Tukey and Elizabeth Tukey, Luisa T. Fernholz and Stephan Morgenthaler
_[17] 서적 Exploratory Data Analysis Pearson
_[18] 문서 Behrens-Principles and Procedures of Exploratory Data Analysis-American Psychological Association-1997 https://web.archive.[...]
_[19] 논문 Statistics goes to school
_[20] 논문 We need both exploratory and confirmatory
_[21] 논문 Visualizing cellular imaging data using PhenoPlot 2015-01-08
_[22] 문서 Elementary Manual of Statistics https://archive.org/[...]
_[23] 문서 Cook, D. and Swayne, D.F. (with A. Buja, D. Temple Lang, H. Hofmann, H. Wickham, M. Lawrence) (2007) ″Interactive and Dynamic Graphics for Data Analysis: With R and GGobi″ Springer, 978-0387717616