커널 밀도 추정

3. 커널 함수

균일, 삼각, 이중 가중, 삼중 가중, 에파네치니코프(포물선), 정규 등 다양한 커널 함수가 일반적으로 사용된다.^[4] 에파네치니코프 커널은 평균 제곱 오차 측면에서 최적이지만,^[5] 이전에 나열된 커널을 사용했을 때의 효율성 손실은 작다. 편리한 수학적 속성으로 인해 정규 커널이 자주 사용되며, 이는 ''K''(''x'') = ''ϕ''(''x'')임을 의미하며, 여기서 ''ϕ''는 표준 정규 분포 밀도 함수이다.

4. 대역폭 선택

커널 밀도 추정에서 대역폭 ''h''는 결과에 큰 영향을 미치는 중요한 자유 매개변수이다. 대역폭은 커널 함수의 폭을 결정하며, 추정치의 매끄러운 정도를 조절한다.

• 과소 평활 (Undersmoothing): 대역폭이 너무 작으면 (''h'' = 0.05, 빨간색 곡선) 데이터의 개별적인 변동에 너무 민감하게 반응하여, 실제로는 존재하지 않는 여러 개의 작은 봉우리(가짜 데이터 아티팩트)들이 나타나는 과소 평활 문제가 발생한다.
• 과대 평활 (Oversmoothing): 대역폭이 너무 크면 (''h'' = 2, 녹색 곡선) 데이터의 중요한 특징들을 지나치게 뭉뚱그려, 데이터의 실제 구조(예: 봉우리)를 제대로 파악하기 어렵게 만드는 과대 평활 문제가 발생한다.
• 최적 평활 (Optimal Smoothing): 적절한 대역폭 (''h'' = 0.337, 검은색 곡선)을 선택하면 실제 밀도 함수에 근접한 부드러운 추정치를 얻을 수 있다.

4. 1. 경험적 대역폭 추정 (Rule-of-Thumb)

• $\backslash hat\{\backslash sigma\}$: 표본의 표준 편차.
• IQR: 사분위간 범위 (Interquartile Range). 데이터의 3사분위수(75번째 백분위수)에서 1사분위수(25번째 백분위수)를 뺀 값.
• ''n'': 표본 크기.

5. 특성 함수 밀도 추정량과의 관계

표본 (''x''₁, ''x''₂, ..., ''x_n'')이 주어졌을 때, 특성 함수는 다음과 같이 추정할 수 있다.

:$$

\widehat\varphi(t) = \frac{1}{n} \sum_{j=1}^n e^{itx_j}



특성 함수를 알면, 푸리에 변환 공식을 통해 해당 확률 밀도 함수를 찾을 수 있다. 이 반전 공식을 적용하는 데 한 가지 어려움은 추정치 $\backslash scriptstyle\backslash widehat\backslash varphi(t)$가 큰 ''t''에 대해 신뢰할 수 없기 때문에 발산하는 적분으로 이어진다는 것이다. 이 문제를 해결하기 위해 추정량 $\backslash scriptstyle\backslash widehat\backslash varphi(t)$에 원점에서 1이고 무한대에서 0으로 떨어지는 감쇠 함수를 곱한다. "대역폭 매개변수" ''h''는 함수 $\backslash scriptstyle\backslash widehat\backslash varphi(t)$를 얼마나 빠르게 감쇠시키려고 하는지를 제어한다. 특히 ''h''가 작을 때, ''ψ_h''(''t'')는 광범위한 ''t''에 대해 대략 1이 될 것이며, 이는 $\backslash scriptstyle\backslash widehat\backslash varphi(t)$가 ''t''의 가장 중요한 영역에서 사실상 변경되지 않음을 의미한다.

함수 ''ψ''에 대한 가장 일반적인 선택은 적분 구간을 로 효과적으로 잘라내는 균등 함수 또는 가우스 함수 중 하나이다. 함수 ''ψ''가 선택되면 반전 공식을 적용할 수 있으며, 밀도 추정량은 다음과 같다.

:$\backslash begin\{align\}$

\widehat{f}(x) &= \frac{1}{2\pi} \int_{-\infty}^{+\infty} \widehat\varphi(t)\psi_h(t) e^{-itx} \, dt

= \frac{1}{2\pi} \int_{-\infty}^{+\infty} \frac{1}{n} \sum_{j=1}^n e^{it(x_j-x)} \psi(ht) \, dt \\[5pt]

&= \frac{1}{nh} \sum_{j=1}^n \frac{1}{2\pi} \int_{-\infty}^{+\infty} e^{-i(ht)\frac{x-x_j}{h}} \psi(ht) \, d(ht)

= \frac{1}{nh} \sum_{j=1}^n K\Big(\frac{x-x_j}{h}\Big),

\end{align}

여기서 ''K''는 감쇠 함수 ''ψ''의 푸리에 변환이다. 따라서 커널 밀도 추정량은 특성 함수 밀도 추정량과 일치한다.

6. 기하학적 및 위상적 특징

(전역) 최빈값의 정의를 지역적 의미로 확장하여 지역 최빈값을 정의할 수 있다.

:

즉, $M$은 밀도 함수가 지역적으로 최대화되는 점들의 집합이다. $M$의 자연스러운 추정량은 커널 밀도 추정(KDE)에서 플러그인 방식으로 얻을 수 있다.^[23][24] 여기서 $g(x)$와 $\backslash lambda\_1(x)$는 $g(x)$와 $\backslash lambda\_1(x)$의 KDE 버전이다. 완만한 가정 하에서, $M\_c$는 $M$의 일관된 추정량이다. 수치적으로 추정량 $M\_c$를 계산하기 위해 평균 이동 알고리즘을 사용할 수 있다.^[25][26][27]

7. 통계적 구현

C/C++ 환경에서 커널 밀도 추정을 지원하는 라이브러리는 다음과 같다.

• [https://github.com/vmorariu/figtree FIGTree]: 정규 커널을 사용하며 MATLAB 인터페이스를 제공한다.
• [https://libagf.sf.net libagf]: 가변 커널 밀도 추정을 지원한다.
• mlpack: 다양한 커널을 사용하며, 빠른 계산을 위해 오차 허용 범위를 설정할 수 있다. Python 및 R 인터페이스를 제공한다.

• [http://pythonhosted.org/PyQt-Fit/mod_kde.html pyqt_fit.kde Module] ([https://pypi.python.org/packages/source/P/PyQt-Fit/PyQt-Fit-1.3.4.tar.gz PyQt-Fit 패키지])
• SciPy (scipy.stats.gaussian_kde)
• Statsmodels (KDEUnivariate 및 KDEMultivariate)
• scikit-learn (KernelDensity) (비교 참조^[36])
• [https://kdepy.readthedocs.io/en/latest/ KDEpy]: 가중 데이터 및 FFT 구현을 지원하며, 다른 구현보다 빠르다.
• pandas 라이브러리[https://pandas.pydata.org/]: plot 메서드(df.plot(kind='kde')[https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.plot.kde.html])를 통해 kde 플롯을 지원한다.
• [https://getdist.readthedocs.io getdist] 패키지: 가중 및 상관 MCMC 샘플을 위한 1D 및 2D 분포에 대해 최적화된 대역폭, 경계 보정 및 고차 방법을 지원한다.
• seaborn (import seaborn as sns, sns.kdeplot())^[37]
• KDE의 GPU 구현^[38]

• 기본 배포의 `density`
• stats 패키지의 `bw.nrd0` 함수 (Silverman 책의 최적화 공식 사용)
• [https://cran.r-project.org/web/packages/KernSmooth/index.html KernSmooth 라이브러리]의 `bkde`
• [https://CRAN.R-project.org/package=DataVisualizations DataVisualizations 라이브러리]의 `ParetoDensityEstimation` (파레토 분포 밀도 추정)
• [https://cran.r-project.org/web/packages/ks/index.html ks 라이브러리]의 `kde`
• [https://cran.r-project.org/web/packages/evmix/index.html evmix 라이브러리]의 `dkden` 및 `dbckden` (경계 보정 커널 밀도 추정)
• [https://cran.r-project.org/web/packages/np/index.html np 라이브러리]의 `npudens` (수치 및 범주형 데이터)
• [https://cran.r-project.org/web/packages/sm/index.html sm 라이브러리]의 `sm.density`
• 패키지 설치 없이 `kde.R` 함수 구현: [http://web.maths.unsw.edu.au/~zdravkobotev/kde.R kde.R]
• 도시 분석에 전념하는 [https://cran.r-project.org/web/packages/btb/index.html btb 라이브러리]의 `kernel_smoothing`

참조

_[1] 논문 Remarks on Some Nonparametric Estimates of a Density Function
_[2] 논문 On Estimation of a Probability Density Function and Mode
_[3] 서적 The Elements of Statistical Learning : Data Mining, Inference, and Prediction : with 200 full-color illustrations Springer 2001
_[4] 논문 Non-parametric estimation of a multivariate probability density
_[5] 서적 Kernel Smoothing Chapman & Hall/CRC
_[6] 보고서 Nonparametric Density Estimation via Diffusion Mixing https://espace.libra[...]
_[7] 논문 On optimal and data-based histograms
_[8] 논문 Comparison of data-driven bandwidth selectors
_[9] 논문 Practical performance of several data driven bandwidth selectors (with discussion) https://ideas.repec.[...]
_[10] 논문 A comparative study of several smoothing methods in density estimation
_[11] 논문 A brief survey of bandwidth selection for density estimation
_[12] 논문 The performance of six popular bandwidth selection methods on some real data sets (with discussion)
_[13] 논문 A data-driven stochastic collocation approach for uncertainty quantification in MEMS https://webhost.engr[...]
_[14] 논문 Estimating wind speed probability distribution by diffusion-based kernel density method
_[15] 논문 Kernel density estimation via diffusion
_[16] 논문 A reliable data-based bandwidth selection method for kernel density estimation
_[17] 논문 Empirical choice of histograms and kernel density estimators
_[18] 논문 An alternative method of cross-validation for the smoothing of density estimates
_[19] 논문 Smoothed cross-validation
_[20] 논문 Optimal convergence properties of variable knot, kernel, and orthogonal series methods for density estimation
_[21] 논문 Kernel density estimation for heavy-tailed distributions using the Champernowne transformation
_[22] 서적 Density Estimation for Statistics and Data Analysis https://archive.org/[...] Chapman & Hall/CRC
_[23] 논문 A comprehensive approach to mode clustering 2016
_[24] 서적 Proceedings of the thirtieth annual symposium on Computational geometry ACM Press 2014
_[25] 논문 The estimation of the gradient of a density function, with applications in pattern recognition 1975-01
_[26] 논문 Mean shift, mode seeking, and clustering 1995
_[27] 논문 Mean shift: a robust approach toward feature space analysis 2002-05
_[28] 서적 Gnuplot in action : understanding data with graphs Manning Publications
_[29] 웹사이트 Kernel smoothing function estimate for univariate and bivariate data - MATLAB ksdensity https://www.mathwork[...] 2020-11-05
_[30] 서적 Kernel Smoothing in MATLAB: Theory and Practice of Kernel Smoothing World Scientific Publishing 2012
_[31] 웹사이트 SmoothKernelDistribution—Wolfram Language Documentation https://reference.wo[...] 2020-11-05
_[32] 웹사이트 KernelMixtureDistribution—Wolfram Language Documentation https://reference.wo[...] 2020-11-05
_[33] 웹사이트 Software for calculating kernel densities https://www.rsc.org/[...] 2020-11-05
_[34] 웹사이트 NAG Library Routine Document: nagf_smooth_kerndens_gauss (g10baf) http://www.nag.co.uk[...] 2012-02-16
_[35] 웹사이트 NAG Library Routine Document: nag_kernel_density_estim (g10bac) http://www.nag.co.uk[...] 2012-02-16
_[36] 웹사이트 Kernel Density Estimation in Python https://jakevdp.gith[...] 2013-12-01
_[37] 웹사이트 seaborn.kdeplot — seaborn 0.10.1 documentation https://seaborn.pyda[...] 2020-05-12
_[38] 웹사이트 Kde-gpu: We implemented nadaraya waston kernel density and kernel conditional probability estimator using cuda through cupy. It is much faster than cpu version but it requires GPU with high memory https://pypi.org/pro[...]
_[39] 웹사이트 Basic Statistics - RDD-based API - Spark 3.0.1 Documentation http://spark.apache.[...] 2020-11-05
_[40] 웹사이트 kdensity — Univariate kernel density estimation https://www.stata.co[...]
_[41] 간행물 KDENS: Stata module for univariate kernel density estimation https://ideas.repec.[...] Boston College Department of Economics 2008-05-26