비선형 회귀
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
1. 개요
비선형 회귀는 독립 변수와 관련된 관찰된 종속 변수를 연결하는 통계 모형으로, 매개변수 벡터의 구성 요소에 대해 비선형 함수를 사용한다. 선형 회귀와 달리 최적의 매개변수에 대한 폐형식 표현식이 없고, 수치적 최적화 알고리즘을 통해 매개변수를 결정하며, 국소 최댓값이 많아 전역 최솟값을 찾기 어려울 수 있다. 비선형 회귀 모델은 1차 테일러 급수를 사용하여 선형 함수로 근사될 수 있으며, 최소 제곱법을 사용하여 최적 적합 곡선을 찾는다. 일부 비선형 회귀 문제는 모델 공식을 변환하여 선형화할 수 있으며, 독립 변수를 분할하여 세그먼트별로 선형 회귀를 수행할 수도 있다.
더 읽어볼만한 페이지
| 비선형 회귀 | |
|---|---|
| 비선형 회귀 | |
| 분야 | 통계학, 기계 학습 |
| 하위 분야 | 회귀 분석 |
| 모델 | 일반화 선형 모델, 비선형 최소제곱법 |
| 개요 | |
| 정의 | 통계적 모델링에서의 회귀 분석의 한 형태 |
| 특징 | 관찰 데이터가 모델의 매개변수에 대해 비선형 함수에 의해 모델링됨 |
| 목표 | 독립 변수의 관찰값과 관련된 하나 이상의 독립 변수의 관찰값의 비선형 관계를 모델링함 |
| 모델 및 추정 | |
| 일반적인 접근 방식 | 비선형 최소제곱법을 사용하여 모델의 매개변수를 추정함 |
| 장점 | 데이터에 더 적합한 모델을 제공할 수 있음 |
| 단점 | 선형 회귀보다 계산이 더 복잡하고, 모델의 선택이 더 어려울 수 있음 |
| 활용 분야 | |
| 예시 | 생물학적 시스템 모델링 금융 시장 분석 공학적 시스템 설계 |
2. 일반
비선형 회귀는 독립 변수 벡터 \( \mathbf{x} \)와 관련된 관찰된 종속 변수 \( \mathbf{y} \)를 연결하는 통계 모형이다. 함수 \( f(\mathbf{x}, \boldsymbol\beta) \)는 매개변수 벡터 \( \boldsymbol\beta \)의 구성 요소에 대해 비선형적이다. 예를 들어, 효소 역학에 대한 미카엘리스-멘텐 모형은 두 개의 매개변수와 하나의 독립 변수를 가지며, 다음과 같은 함수 \( f \)로 표현된다.
비선형 회귀 모델은 1차 테일러 급수를 사용하여 선형 함수로 근사될 수 있다.[1] 이 경우, 야코비 행렬의 요소는 \(J_{ij} = \frac{\partial f(x_i,\boldsymbol\beta)}{\partial \beta_j}\)로 주어지며, 최소 제곱 추정량은 \( \hat{\boldsymbol{\beta}} \approx \mathbf{(J^TJ)^{-1}J^Ty} \)로 계산된다. 이는 공분산 행렬이 단위 행렬에 비례하는 일반화 최소 제곱과 비교할 수 있다. 비선형 회귀 통계는 선형 회귀 통계와 동일하게 계산되고 사용되지만, 공식에서 '''X''' 대신 '''J'''를 사용한다.
최적 적합 곡선은 종종 잔차 제곱합을 최소화하는 곡선으로 가정되며, 이는 통상 최소제곱법(OLS) 접근 방식이다.[2] 종속 변수가 일정한 분산을 갖지 않거나 이상치가 있는 경우에는 가중 잔차 제곱합을 최소화하는 가중 최소제곱법을 사용할 수 있다.[2] 각 가중치는 이상적으로 관측치 분산의 역수와 같아야 하지만, 반복 가중 최소제곱 알고리즘에서는 각 반복마다 가중치를 다시 계산할 수 있다.[2]
:
이 함수는 두 \( \beta \)의 선형 결합으로 표현될 수 없기 때문에 비선형이다.
계통 오차는 독립 변수에 존재할 수 있지만, 그 처리는 회귀 분석의 범위를 벗어난다. 비선형 함수의 예로는 지수 함수, 로그 함수, 삼각 함수, 멱 함수, 가우스 함수, 로렌츠 분포 등이 있다.
일반적으로 선형 회귀와 달리 최적의 매개변수에 대한 폐형식 표현식은 없다. 대부분 수치적인 최적화 알고리즘을 적용하여 최적의 매개변수를 결정한다. 또한 선형 회귀와 대조적으로, 최적화할 함수의 국소 최댓값이 많을 수 있으며, 전역 최솟값조차 편향된 추정값을 생성할 수 있다. 실제로는 최적화 알고리즘과 함께 매개변수의 추측 값을 사용하여 제곱합의 전역 최솟값을 찾으려고 시도한다.
비선형 데이터 모델링에 대한 자세한 내용은 최소 제곱법 및 비선형 최소 제곱법을 참조한다.
3. 회귀 통계
함수 \(f(x_i,\boldsymbol\beta)\) 자체가 분석적으로 알려져 있지 않고 \(n+1\)개 이상의 알려진 값(여기서 \(n\)은 추정량의 수)에서 선형 회귀로 선형 근사되어야 하는 경우, 최상의 추정량은 선형 템플릿 적합에서 직접 얻어진다.[1]
선형 근사는 통계에 편향을 도입하므로, 비선형 모델에서 도출된 통계는 신중하게 해석해야 한다.[1]
4. 최소제곱법
5. 선형화
5. 1. 변환
일부 비선형 회귀 문제는 모델 공식을 적절하게 변환하여 선형 영역으로 이동할 수 있다. 예를 들어 \( y = a e^{bx}U \)와 같은 모델은 양변에 로그를 취하여 \(\ln(y) = \ln(a) + bx + u \) 와 같이 선형화할 수 있다. 여기서 ''u'' = ln(''U'')이며, 이는 ln(''y'')를 ''x''에 대한 선형 회귀로 추정할 수 있음을 보여준다. 그러나 비선형 변환은 데이터 값, 오차 구조, 추론 결과 해석에 영향을 미치므로 주의해야 한다.
미카엘리스-멘텐 반응속도론에서 사용되는 라인위버-버크 플롯 (\( \frac{1}{v} = \frac{1}{V_\max} + \frac{K_m}{V_{\max}[S]} \))은 데이터 오차에 민감하여 사용을 권장하지 않는다.
지수형 분포족에 속하는 오차 분포의 경우, 일반화 선형 모델 프레임워크에서 링크 함수를 사용하여 매개변수를 변환할 수 있다.
5. 2. 분할 회귀
독립 변수 (X)는 클래스 또는 세그먼트로 분할될 수 있으며, 세그먼트별로 선형 회귀를 수행할 수 있다. 신뢰 구간 분석을 사용한 분할 회귀는 종속 변수 (Y)가 다양한 세그먼트에서 다르게 동작한다는 결과를 도출할 수 있다.[3][5]
토양 염분 (X)이 처음에 겨자의 작물 수확량 (Y)에 영향을 미치지 않다가, ''임계값'' 또는 ''역치'' (''분기점'')에 도달한 후 수확량에 부정적인 영향을 미치는 것을 보여준다.[4][6]
참조
[1]
간행물
The Linear Template Fit
[2]
간행물
Fitting curves to data using nonlinear regression: a practical and nonmathematical review
[3]
서적
Frequency and Regression Analysis
http://www.waterlog.[...]
International Institute for Land Reclamation and Improvement (ILRI), Wageningen, The Netherlands
[4]
문서
Drainage research in farmers' fields: analysis of data
http://www.waterlog.[...]
International Institute for Land Reclamation and Improvement (ILRI), Wageningen, The Netherlands
[5]
서적
Frequency and Regression Analysis
http://www.waterlog.[...]
International Institute for Land Reclamation and Improvement (ILRI), Wageningen, The Netherlands
[6]
문서
Drainage research in farmers' fields: analysis of data
http://www.waterlog.[...]
International Institute for Land Reclamation and Improvement (ILRI), Wageningen, The Netherlands
본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.
문의하기 : help@durumis.com