맨위로가기

반모수 회귀

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
목차

1. 개요

반모수 회귀는 모수적 방법과 비모수적 방법을 결합한 통계적 회귀 분석 방법이다. 부분 선형 모형, 지수 모형, 평활 계수 모형 등이 있으며, 종속 변수와 설명 변수 간의 관계를 유연하게 모델링할 수 있게 한다. 부분 선형 모형은 선형 함수와 비모수 함수의 합으로, 지수 모형은 선형 결합의 비모수 함수와 오차항의 합으로 표현된다. 이치무라의 방법, Klein과 Spady의 추정량 등 다양한 추정 기법이 존재하며, 데이터의 특성에 따라 적절한 모형을 선택하여 분석할 수 있다.

더 읽어볼만한 페이지

  • 회귀분석 - 회귀 분석
    회귀 분석은 종속 변수와 하나 이상의 독립 변수 간의 관계를 모델링하고 분석하는 통계적 기법으로, 최소 제곱법 개발 이후 골턴의 연구로 '회귀' 용어가 도입되어 다양한 분야에서 예측 및 인과 관계 분석에 활용된다.
  • 회귀분석 - 로지스틱 회귀
    로지스틱 회귀는 범주형 종속 변수를 다루는 회귀 분석 기법으로, 특히 이항 종속 변수에 널리 사용되며, 오즈에 로짓 변환을 적용하여 결과값이 0과 1 사이의 값을 가지도록 하는 일반화 선형 모형의 특수한 경우이다.
반모수 회귀

2. 준모수 회귀 방법

여러 준모수 회귀 방법들이 제안되고 개발되었다. 가장 널리 사용되는 방법으로는 부분 선형 모형, 지수 모형, 변동 계수 모형 등이 있다.[1]

2. 1. 부분 선형 모형

부분 선형 모형은 종속 변수 Y_i가 설명 변수 X_i의 선형 함수와 다른 변수 Z_i의 비모수 함수의 합으로 표현되는 모형이다. 이 모형은 다음과 같이 주어진다.[1]

: Y_i = X'_i \beta + g\left(Z_i \right) + u_i, \, \quad i = 1,\ldots,n, \,

여기서 Y_{i} 는 종속 변수, X_{i} 는 p \times 1 설명 변수 벡터, \beta 는 p \times 1 미지수 벡터, 그리고 Z_{i} \in \operatorname{R}^{q} 이다. 부분 선형 모형의 모수적 부분은 모수 벡터 \beta 로 주어지고 비모수적 부분은 미지의 함수 g\left(Z_{i}\right) 로 주어진다. 데이터는 E\left(u_{i}|X_{i},Z_{i}\right) = 0 를 만족하며 i.i.d(독립적이고 동일한 분포)를 따른다고 가정하며, 이 모형은 조건부 이분산성 오차 과정 E\left(u^{2}_{i}|x,z\right) = \sigma^{2}\left(x,z\right) 을 허용한다.

이 모형은 Robinson (1988)에 의해 제안되었으며, 범주형 공변량을 처리하도록 Racine과 Li (2007)에 의해 확장되었다.[1]

이 방법은 \beta 의 \sqrt{n} 일치 추정량을 얻은 다음 적절한 비모수적 회귀 방법을 사용하여 Y_{i} - X'_{i}\hat{\beta} 를 z 에 대한 비모수적 회귀를 통해 g\left(Z_{i}\right) 의 추정량을 도출하여 구현된다.[1]

2. 2. 지수 모형

지수 모형은 종속 변수가 설명 변수의 선형 결합의 비모수 함수와 오차항의 합으로 표현되는 모형이다. 단일 지수 모형은 다음과 같은 형태를 취한다.[1]

: Y = g\left(X'\beta_{0}\right) + u, \,

여기서 Y , X 및 \beta_{0} 는 앞서 정의한 바와 같으며, 오차항 u 는 E\left(u|X\right) = 0 을 만족한다. 단일 지수 모형은 모형의 모수적 부분인 x'\beta 에서 이름을 따왔으며, 이는 스칼라 단일 지수이다. 비모수적 부분은 알 수 없는 함수 g\left(\cdot\right) 이다.[1]

2. 2. 1. Ichimura의 방법

이치무라(Ichimura, 1993)는 연속적인 종속 변수에 대한 단일 지수 모형 추정 방법을 제안했다. y가 연속적인 경우, 함수 g\left(\cdot\right)의 형태가 알려져 있다면, \beta_{0}는 다음 함수를 최소화하는 비선형 최소 자승법으로 추정할 수 있다.

: \sum_{i=1} \left(Y_i - g\left(X'_i \beta\right)\right)^2.

g\left(\cdot\right)의 함수 형태가 알려져 있지 않으므로, 이를 추정해야 한다. 주어진 \beta 값에 대해 다음 함수의 추정치를 커널 방법을 사용하여 추정한다.

: G\left(X'_i \beta \right) = E\left(Y_i |X'_i \beta\right) = E\left[g\left(X'_i\beta_o \right)|X'_i \beta\right]

이치무라(1993)는 g\left(X'_{i}\beta\right)를 다음과 같이 추정할 것을 제안했다.

: \hat{G}_{-i}\left(X'_i \beta\right),\,

이는 G\left(X'_{i}\beta\right)의 제외-하나-밖 비모수 커널 추정량이다.

2. 2. 2. Klein과 Spady의 추정량

Klein과 Spady(1993)는 종속 변수 y 가 이진 변수이고 X_{i} 와 u_{i} 가 독립이라고 가정할 때, 최대 우도 추정 방법을 사용하여 \beta 를 추정하는 기법을 제안했다. 로그 우도 함수는 다음과 같다.

: L\left(\beta\right) = \sum_i \left(1-Y_i\right)\ln\left(1-\hat{g}_{-i}\left(X'_i\beta\right)\right) + \sum_{i}Y_i\ln\left(\hat{g}_{-i}\left(X'_i \beta\right)\right),

여기서 \hat{g}_{-i}\left(X'_{i}\beta\right) 는 교차 검증 추정량이다.

2. 3. 평활 계수/변동 계수 모형

해스티(Hastie)와 팁시라니(Tibshirani) (1993)는 평활 계수 모형을 제안했다.[1] 여기서 X_{i} 는 k \times 1 벡터이고 \beta\left(z\right) 는 z 의 지정되지 않은 평활 함수 벡터이다. \gamma\left(\cdot\right) 는 다음과 같이 표현될 수 있다.[1]

: \gamma\left(Z_i\right) = \left(E\left[W_i W'_i|Z_i \right]\right)^{-1}E\left[W_i Y_i|Z_i\right].


본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com