로짓

1. 개요

로짓은 확률 p에 대한 logit(p) = ln(p / (1 - p))로 정의되는 함수이다. 로짓 함수는 로지스틱 회귀, 라쉬 모형, 그리고 상태 추정 알고리즘 등 다양한 분야에서 활용된다. 로짓 함수는 로지스틱 분포의 분위 함수인 반면, 프로빗 함수는 정규 분포의 분위 함수이며, 두 함수는 서로 밀접한 관련이 있다.

2. 정의

만약 p^영어가 확률이라면, p/(1-p)^영어는 해당 승산이며, 확률의 로짓은 승산의 로그이다. 즉, 다음과 같다.

: logit(p)^영어= ln(p/(1-p))^영어 = ln(p) - ln(1-p)^영어 = -ln(1/p - 1)^영어 = 2atanh(2p-1)^영어

사용되는 로그 함수의 밑은 1보다 크기만 하다면 중요하지 않지만, 밑이 e^영어인 자연 로그가 가장 자주 사용된다. 밑의 선택은 값에 대한 로그 단위의 선택과 일치한다. 밑 2는 섀넌에, 밑 e^영어는 냇에, 밑 10은 하틀리에 해당한다. 이 단위들은 특히 정보 이론적 해석에서 사용된다. 각 밑의 선택에 대해, 로짓 함수는 음의 무한대와 양의 무한대 사이의 값을 갖는다.

어떤 숫자 α^영어의 로지스틱 함수는 역-로짓으로 다음과 같이 주어진다.

: logit-1(α)^영어 = logistic(α)^영어 = 1/(1+exp(-α))^영어 = exp(α)/(exp(α) + 1)^영어 = (tanh(α/2) + 1)/2^영어

두 확률의 로짓의 차이는 오즈비 (R^영어)의 로그이며, 따라서 오즈비의 올바른 조합을 가법 함수를 사용하여 더하고 빼는 방식으로 간단하게 표현할 수 있다.

: ln(R)^영어 = ln(p1/(1-p1) / p2/(1-p2))^영어 = ln(p1/(1-p1)) - ln(p2/(1-p2))^영어 = logit(p1) - logit(p2)^영어

3. 역사

1934년, 체스터 이트너 블리스는 누적 정규 분포 함수를 사용하여 (0, 1) 범위를 $(-\backslash infty,\; +\backslash infty)$로 매핑하는 모델을 만들고 "probability unit"의 약자인 프로빗이라고 불렀다. 하지만 이는 계산 비용이 더 많이 든다.

1944년, 조셉 버크슨은 로그 오즈를 사용했고 이 함수를 "logistic unit"의 약자인 로짓이라고 불렀으며, 프로빗에 대한 유추를 따랐다. 버크슨은 "나는 정상 곡선에서 $x$에 대해 선형인 유사한 함수를 '프로빗'이라고 부른 블리스를 따라 이 용어 [로짓]을 $\backslash ln\; p/q$에 사용합니다."라고 언급했다.

로그 오즈는 찰스 샌더스 퍼스에 의해 19세기 후반에 광범위하게 사용되었다. 1949년 G. A. 바나드는 일반적으로 사용되는 용어 로그 오즈를 만들었다. 사건의 로그 오즈는 사건 확률의 로짓이다. 바나드는 또한 "로그 오즈"의 추상적인 형태로서 로즈라는 용어를 만들었지만 "실제로 '오즈'라는 용어가 일상 생활에서 더 친숙하기 때문에 일반적으로 사용되어야 한다"고 제안했다.

4. 성질 및 응용

로짓은 일반화 선형 모형에서 링크 함수의 특별한 경우로, 베르누이 분포의 표준 링크 함수이다. 더 나아가, 로짓은 이항 분포의 자연 매개변수이며, 이진 엔트로피 함수의 도함수에 음수를 취한 것이다. 로짓은 라쉬 모형의 핵심 개념으로 심리학, 교육 평가 등 여러 분야에 응용된다. 역 로짓 함수는 로지스틱 함수이며, 'expit' 함수라고도 불린다.

식물 질병 역학에서 로지스틱, 곰퍼츠, 단분자 모델은 리차즈 계열 모델로 통칭된다. 로그-오즈 확률은 상태 추정 알고리즘에서 작은 확률을 다룰 때 수치적 이점을 제공한다. 매우 작은 부동 소수점 숫자를 곱하는 대신, 로그-오즈 확률을 합산하여 결합 확률을 계산할 수 있다.

4.1. 로지스틱 회귀

로지스틱 회귀에서의 로짓은 일반화 선형 모형에서의 링크 함수의 특별한 경우이며, 이는 베르누이 분포에 대한 표준 링크 함수이다. 더 추상적으로, 로짓은 이항 분포의 자연 매개변수이다. 로짓 함수는 이진 엔트로피 함수의 도함수에 대한 음수이다. 로짓은 심리학 및 교육 평가 분야를 포함한 여러 분야에 적용되는 확률적 라쉬 모형의 핵심이기도 하다. 역 로짓 함수(즉, 로지스틱 함수)는 때때로 expit 함수라고도 한다. 식물 질병 역학에서 로지스틱, 곰퍼츠, 단분자 모델은 통칭하여 리차즈 계열 모델이라고 한다. 확률의 로그-오즈 함수는 작은 확률의 경우 수치적 이점으로 인해 상태 추정 알고리즘에서 자주 사용된다. 매우 작은 부동 소수점 숫자를 곱하는 대신, 로그-오즈 확률을 단순히 합산하여 (로그-오즈) 결합 확률을 계산할 수 있다.

5. 프로빗과의 비교

logit^영어 함수(로짓 모형)와 밀접하게 관련된 것은 프로빗 함수와 프로빗 모형이다. 로짓과 프로빗은 모두 0과 1 사이의 범위를 갖는 시그모이드 함수이며, 둘 다 분위 함수이다. 즉, 확률 분포의 누적 분포 함수(CDF)의 역함수이다. 실제로 로짓은 로지스틱 분포의 분위 함수이고, 프로빗은 정규 분포의 분위 함수이다. 프로빗 함수는 $\backslash Phi^\{-1\}(x)$로 표시되며, 여기서 $\backslash Phi(x)$는 표준 정규 분포의 누적 분포 함수이다.

:$\backslash Phi(x)\; =\; \backslash frac\; 1\; \{\backslash sqrt\{2\backslash pi\}\}\backslash int\_\{-\backslash infty\}^x\; e^\{-y^2/2\}\; dy.$

로짓 함수와 정규화된 프로빗 함수를 비교하면, probit^영어 함수의 기울기를 조절했을 때 logit^영어과 probit^영어 함수는 매우 유사하다. 결과적으로, 특정 응용 분야(예: 문항 반응 이론)에서 구현이 더 쉽기 때문에 로짓 모형 대신 프로빗 모형이 사용되는 경우가 있다.

5.1. 그래프 비교

로짓 모형과 밀접하게 관련된 것은 프로빗 함수와 프로빗 모형이다. 로짓(logit)과 프로빗(probit)은 모두 0과 1 사이의 범위를 갖는 시그모이드 함수이며, 둘 다 분위 함수이다. 즉, 확률 분포의 누적 분포 함수(CDF)의 역함수이다. 실제로 로짓은 로지스틱 분포의 분위 함수이고, 프로빗은 정규 분포의 분위 함수이다. 프로빗 함수는 $\backslash Phi^\{-1\}(x)$로 표시되며, 여기서 $\backslash Phi(x)$는 표준 정규 분포의 누적 분포 함수이다.

:$\backslash Phi(x)\; =\; \backslash frac\; 1\; \{\backslash sqrt\{2\backslash pi\}\}\backslash int\_\{-\backslash infty\}^x\; e^\{-y^2/2\}\; dy.$

위 그래프에서 볼 수 있듯이, 프로빗 함수의 기울기를 조절하면 로짓과 프로빗 함수는 매우 유사하다. 결과적으로, 특정 응용 분야(예: 문항 반응 이론)에서 구현이 더 쉽기 때문에 로짓 모형 대신 프로빗 모형이 사용되는 경우가 있다.