옌센 부등식

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요

옌센 부등식은 볼록 함수와 관련된 부등식으로, 함수의 기댓값과 기댓값의 함수 사이의 관계를 나타낸다. 열린구간 위의 볼록 함수와 확률 변수, 가중치 등의 조건에서 옌센 부등식은 다양한 형태로 표현된다. 유한 형태, 측도론적 형태, 확률론적 형태, 일반화된 형태 등이 있으며, 산술-기하 평균 부등식, 영의 부등식, 멱함수, 확률 밀도 함수 등 다양한 특수한 경우와 응용 분야를 갖는다. 옌센 부등식은 통계 물리학, 정보 이론, Rao–Blackwell 정리, 위험 회피 등 여러 분야에서 중요한 역할을 한다. 요한 옌센의 이름을 따서 명명되었다.

더 읽어볼만한 페이지

통계부등식 - 체비쇼프 부등식
체비쇼프 부등식은 확률 변수가 평균에서 얼마나 멀리 떨어져 있는지에 대한 확률의 상한을 제공하는 부등식으로, 이레네-쥘 비네메가 처음 공식화하고 체비쇼프와 안드레이 마르코프에 의해 일반화 및 증명되었으며, 확률론적 표현 외에도 측도 공간에 대한 명제로 확장될 수 있다.
통계부등식 - 불의 부등식
불의 부등식은 확률 공간에서 사건들의 합집합의 확률이 각 사건의 확률의 합보다 작거나 같음을 나타내는 확률론의 기본적인 성질이다.
확률부등식 - 체비쇼프 부등식
체비쇼프 부등식은 확률 변수가 평균에서 얼마나 멀리 떨어져 있는지에 대한 확률의 상한을 제공하는 부등식으로, 이레네-쥘 비네메가 처음 공식화하고 체비쇼프와 안드레이 마르코프에 의해 일반화 및 증명되었으며, 확률론적 표현 외에도 측도 공간에 대한 명제로 확장될 수 있다.
확률부등식 - 코시-슈바르츠 부등식
코시-슈바르츠 부등식은 벡터 공간과 양의 준정부호 에르미트 형식이 주어졌을 때, 내적의 절댓값의 제곱이 각 벡터의 노름의 제곱의 곱보다 작거나 같다는 내용을 담은 선형대수학의 중요한 부등식이다.
볼록 해석 - 볼록 함수
볼록 함수는 실수 벡터 공간의 볼록 집합에서 정의되고 그래프 상의 두 점을 연결한 선분이 항상 그래프 위에 있거나 접하는 특징을 가지며 다양한 수학적 성질과 여러 분야에 응용되는 함수이다.
볼록 해석 - 볼록 최적화
볼록 최적화는 볼록 함수를 최소화하는 해를 찾는 문제로, 실현 가능한 집합은 닫힌 볼록 집합이며 목적 함수는 볼록 함수이고, 선형 계획법, 이차 계획법, 반정부호 계획법 등을 포함하여 다양한 분야에 활용된다.

옌센 부등식
지도 정보
기본 정보
이름	옌센 부등식
로마자 표기	Yensen Budeungsik
영어 이름	Jensen's inequality
일본어 이름	イェンセンの不等式
관련 분야	볼록 함수
제안자	요한 옌센
발표 년도	1906년
정의
볼록 함수	함수 가 볼록 함수일 때, 임의의 확률 변수 X에 대하여 다음 부등식이 성립한다: (E(X)) ≤ E(φ(X)).
오목 함수	함수 가 오목 함수일 때, 임의의 확률 변수 X에 대하여 다음 부등식이 성립한다: (E(X)) ≥ E(φ(X)).
조건	E(X)와 E(φ(X))가 존재해야 한다. 볼록 함수의 정의에 따른 제한 조건이 필요하다.
일반화	확률 측도 대신 임의의 측도에 대하여도 성립한다. 가중치가 있는 합에 대해서도 성립한다.
응용
주요 응용 분야	정보 이론 통계학 수학 분석 물리학
관련 부등식
관련 부등식	홀더 부등식 민코프스키 부등식 코시-슈바르츠 부등식 평균 부등식
참고 문헌
참고 문헌	J. L. W. V. Jensen (1906). Sur les fonctions convexes et les inégalités entre les valeurs moyennes. Acta Mathematica, 30(1), 175–193. Dekking, F. M., Kraaikamp, C., Lopuhaa, H. P., & Meester, L. E. (2005). A Modern Introduction to Probability and Statistics: Understanding Why and How. Springer. Gao, X., Sitharam, M., & Roitberg, A. (2019). Bounds on the Jensen Gap, and Implications for Mean-Concentrated Distributions. The Australian Journal of Mathematical Analysis and Applications, 16(2). Athreya, K. B., & Lahiri, S. N. (2006). Measure Theory and Probability Theory. Springer. A. Guessab and G. Schmeisser, Necessary and sufficient conditions for the validity of Jensen’s inequality, Archiv der Mathematik 100, 561-570 (2013).

2. 정의

열린구간 $(a,b)\subseteq\mathbb R$ 위의 볼록 함수 $f\colon(a,b)\to\mathbb R$ 및 실수 $x_1,\dots,x_n\in\mathbb(a,b)$ 및 음이 아닌 실수 $p_1,\dots,p_n\in[0,1]$ ( $p_1+\cdots+p_n=1$ )가 주어졌다고 하자. '''옌센 부등식'''에 따르면, 다음이 성립한다.

: $f(p_1x_1+p_2x_2+\cdots+p_nx_n)\le p_1f(x_1)+p_2f(x_2)+\cdots+p_nf(x_n)$

보다 일반적으로, 열린구간 $(a,b)\subseteq\mathbb R$ 위의 볼록 가측 함수 $f\colon((a,b),\mathcal B((a,b)))\to(\mathbb R,\mathcal B(\mathbb R))$ 및 확률 공간 $(\Omega,\mathcal F,\operatorname{Pr})$ 위의 확률 변수 $X\colon\Omega\to((a,b),\mathcal B((a,b)))$ 가 주어졌다고 하자. '''옌센 부등식'''에 따르면, 만약 기댓값 $\operatorname E(X)$ 와 $\operatorname E(f(X))$ 가 존재한다면, 다음이 성립한다.^[12]^[13]

: $f(\operatorname E(X))\le\operatorname E(f(X))$

여기서 $\operatorname E(-)$ 는 기댓값이다.

3. 다양한 형태

옌센 부등식은 다양한 형태로 표현될 수 있다. 옌센 부등식의 고전적인 형태는 여러 개의 숫자와 가중치를 포함한다. 이 부등식은 측도론의 언어 또는 확률의 언어를 사용하여 매우 일반적으로 진술될 수 있으며, 확률적 설정에서 더욱 일반화된다.

옌센 부등식의 다양한 형태는 다음과 같다.

'''유한 형태:''' 볼록 함수와 여러 개의 숫자, 가중치가 주어졌을 때 옌센 부등식을 나타낸다.
'''측도론적 형태:''' 측도론을 பயன்படுத்தி 옌센 부등식을 나타낸다.
'''확률론적 형태:''' 확률을 사용하여 옌센 부등식을 나타낸다.
'''일반화된 형태:''' 확률 변수가 위상 벡터 공간의 값을 가질 때 옌센 부등식을 나타낸다.

3. 1. 유한 형태

열린구간

(a,b)\subseteq\mathbb R

위의 볼록 함수

f\colon(a,b)\to\mathbb R

및 실수

x_1,\dots,x_n\in\mathbb(a,b)

및 음이 아닌 실수

p_1,\dots,p_n\in[0,1]

(

p_1+\cdots+p_n=1

)가 주어졌다고 하자. '''옌센 부등식'''에 따르면, 다음이 성립한다.

:

f(p_1x_1+p_2x_2+\cdots+p_nx_n)\le p_1f(x_1)+p_2f(x_2)+\cdots+p_nf(x_n)

볼록 함수 φ에 대해, 그 정의역 내의 수 x₁, x₂, …, xₙ 및 양의 가중치 aᵢ가 주어지면, 옌센 부등식은 다음과 같이 나타낼 수 있다.

:

\varphi\left(\frac{\sum a_i x_i}{\sum a_i}\right) \le \frac{\sum a_i \varphi (x_i)}{\sum a_i}

φ가 오목 함수인 경우에는 부등식의 부호가 반대로 된다.

:

\varphi\left(\frac{\sum a_i x_i}{\sum a_i}\right) \geq \frac{\sum a_i \varphi (x_i)}{\sum a_i}.

등호는 x₁=x₂=⋯=xₙ이거나 φ가 x₁, x₂, …, xₙ을 포함하는 정의역에서 선형일 때만 성립한다.

특별한 경우로, 가중치 aᵢ가 모두 같은 경우, 위 부등식들은 다음과 같이 된다.

:

\varphi\left(\frac{\sum x_i}{n}\right) \le \frac{\sum \varphi (x_i)}{n}

:

\varphi\left(\frac{\sum x_i}{n}\right) \geq \frac{\sum \varphi (x_i)}{n}

예를 들어, 함수 log(''x'')^영어는 오목 함수이므로, φ(x) = log(x)를 대입하면 잘 알려진 산술-기하 평균 부등식이 성립한다.

:

\log\!\left( \frac{\sum_{i=1}^n x_i}{n}\right) \geq \frac{\sum_{i=1}^n \log\!\left( x_i \right)}{n}

:

\exp\!\left(\log\!\left( \frac{\sum_{i=1}^n x_i}{n}\right)\right) \geq \exp\!\left(\frac{\sum_{i=1}^n \log\!\left( x_i \right)} {n}\right)

:

\frac{x_1 + x_2 + \cdots + x_n}{n} \geq \sqrt[n]{x_1 \cdot x_2 \cdots x_n}

일반적인 응용에서는 x가 다른 변수(또는 변수 집합) t의 함수, 즉 xᵢ = g(tᵢ)로 나타난다.

3. 2. 측도론적 형태

열린구간

(a,b)\subseteq\mathbb R

위의 볼록 가측 함수

f\colon((a,b),\mathcal B((a,b)))\to(\mathbb R,\mathcal B(\mathbb R))

및 확률 공간

(\Omega,\mathcal F,\operatorname{Pr})

위의 확률 변수

X\colon\Omega\to((a,b),\mathcal B((a,b)))

가 주어졌다고 하자. '''옌센 부등식'''에 따르면, 만약 기댓값

\operatorname E(X)

와

\operatorname E(f(X))

가 존재한다면, 다음이 성립한다.^[12]^[13]

:

f(\operatorname E(X))\le\operatorname E(f(X))

여기서

\operatorname E(-)

는 기댓값이다.

(\Omega, A, \mu)

를 확률 공간이라고 하자.

\mu

-가측 함수

f : \Omega \to \mathbb{R}

와 볼록 함수

\varphi : \mathbb{R} \to \mathbb{R}

에 대해 다음이 성립한다.^[5]

:

\varphi\left(\int_\Omega f \,\mathrm{d}\mu\right) \leq \int_\Omega \varphi \circ f \,\mathrm{d}\mu

실해석학에서 우리는 다음에 대한 추정치가 필요할 수 있다.

:

\varphi\left(\int_a^b f(x)\, dx\right)

여기서

a, b \in \mathbb{R}

이고

f\colon[a, b] \to \R

은 비음의 르벡 적분가능 함수이다. 이 경우

[a, b]

의 르벡 측도는 1일 필요가 없다. 그러나 치환 적분을 통해 구간의 크기를 조정하여 측도가 1이 되도록 만들 수 있다. 그런 다음 옌센 부등식을 적용하면^[6]

:

\varphi\left(\frac{1}{b-a}\int_a^b  f(x)\, dx\right) \le \frac{1}{b-a} \int_a^b \varphi(f(x)) \,dx.

3. 3. 확률론적 형태

열린구간

(a,b)\subseteq\mathbb R

위의 볼록 함수

f\colon(a,b)\to\mathbb R

및 실수

x_1,\dots,x_n\in\mathbb(a,b)

및 음이 아닌 실수

p_1,\dots,p_n\in[0,1]

(

p_1+\cdots+p_n=1

)가 주어졌다고 하자. '''옌센 부등식'''에 따르면, 다음이 성립한다.

:

f(p_1x_1+p_2x_2+\cdots+p_nx_n)\le p_1f(x_1)+p_2f(x_2)+\cdots+p_nf(x_n)

보다 일반적으로, 열린구간

(a,b)\subseteq\mathbb R

위의 볼록 가측 함수

f\colon((a,b),\mathcal B((a,b)))\to(\mathbb R,\mathcal B(\mathbb R))

및 확률 공간

(\Omega,\mathcal F,\operatorname{Pr})

위의 확률 변수

X\colon\Omega\to((a,b),\mathcal B((a,b)))

가 주어졌다고 하자. '''옌센 부등식'''에 따르면, 만약 기댓값

\operatorname E(X)

와

\operatorname E(f(X))

가 존재한다면, 다음이 성립한다.^[12]^[13]

:

f(\operatorname E(X))\le\operatorname E(f(X))

여기서

\operatorname E(-)

는 기댓값이다.

동일한 결과는 간단한 표기 변경을 통해 확률론적 설정에서 동등하게 나타낼 수 있다.

(\Omega, \mathfrak{F},\operatorname{P})

를 확률 공간, ''X''를 적분가능한 실수값 확률 변수,

\varphi

를 볼록 함수라고 하자. 그러면 다음이 성립한다.

:

\varphi\left(\operatorname{E}[X]\right) \leq \operatorname{E} \left[ \varphi(X) \right].

^[7]

이 확률적 설정에서 측도는 확률

\operatorname{P}

로,

\operatorname{E}

에 대한 적분은 기댓값으로, 함수

f

는 확률 변수 ''X''로 해석된다.

\varphi

가

\mathrm{P}(X \in A) = 1

인 어떤 볼록 집합

A

상에서 선형 함수인 경우에만 등호가 성립한다.

3. 4. 일반화된 형태

열린구간

(a,b)\subseteq\mathbb R

위의 볼록 함수

f\colon(a,b)\to\mathbb R

및 실수

x_1,\dots,x_n\in\mathbb(a,b)

및 음이 아닌 실수

p_1,\dots,p_n\in[0,1]

(

p_1+\cdots+p_n=1

)가 주어졌다고 하자. '''옌센 부등식'''에 따르면, 다음이 성립한다.

:

f(p_1x_1+p_2x_2+\cdots+p_nx_n)\le p_1f(x_1)+p_2f(x_2)+\cdots+p_nf(x_n)

보다 일반적으로, 열린구간

(a,b)\subseteq\mathbb R

위의 볼록 가측 함수

f\colon((a,b),\mathcal B((a,b)))\to(\mathbb R,\mathcal B(\mathbb R))

및 확률 공간

(\Omega,\mathcal F,\operatorname{Pr})

위의 확률 변수

X\colon\Omega\to((a,b),\mathcal B((a,b)))

가 주어졌다고 하자. '''옌센 부등식'''에 따르면, 만약 기댓값

\operatorname E(X)

와

\operatorname E(f(X))

가 존재한다면, 다음이 성립한다.^[12]^[13]

:

f(\operatorname E(X))\le\operatorname E(f(X))

여기서

\operatorname E(-)

는 기댓값이다.

보다 일반적으로, ''T''를 실수 위상 벡터 공간, ''X''를 ''T'' 값을 갖는 적분가능한 확률 변수라고 하자. 이 일반적인 설정에서 '적분가능하다'는 것은 ''T''의 원소

\operatorname{E}[X]

가 존재하여, ''T''의 쌍대 공간의 임의의 원소 ''z''에 대해

\operatorname{E}|\langle z, X \rangle|<\infty

이고

\langle z, \operatorname{E}[X]\rangle = \operatorname{E}[\langle z, X \rangle]

임을 의미한다. 그러면, 임의의 가측 볼록 함수 φ|^영어와

\mathfrak{F}

의 임의의 부분 σ-대수

\mathfrak{G}

에 대해 다음이 성립한다.

:

\varphi\left(\operatorname{E}\left[X\mid\mathfrak{G}\right]\right) \leq  \operatorname{E}\left[\varphi(X)\mid\mathfrak{G}\right].

여기서

\operatorname{E}[\cdot\mid\mathfrak{G}]

는 σ-대수

\mathfrak{G}

에 대한 조건부 기댓값을 나타낸다. 위상 벡터 공간 T|^영어이 실수축이고

\mathfrak{G}

가 자명한 σ|^영어-대수 (여기서 ∅|^영어는 공집합, Ω|^영어는 표본 공간)일 때, 이 일반적인 명제는 앞서 언급된 명제로 축소된다.^[8]

4. 증명

옌센 부등식은 여러 가지 방법으로 증명할 수 있다. 아래에는 직관적인 증명, 유한 형태 증명, 측도론적 형태 증명, 일반화된 형태 증명이 제시된다.

4. 1. 직관적인 증명

옌센 부등식은 여러 가지 방법으로 증명할 수 있으며, 위의 서로 다른 명제에 해당하는 세 가지 다른 증명이 제시될 것이다. 하지만 이러한 수학적 유도에 착수하기 전에, X가 실수일 때 확률적 경우를 기반으로 하는 직관적인 그래픽적 논증을 분석하는 것이 가치가 있다(그림 참조). X 값의 가상 분포를 가정하면, 그래프에서 E[X]의 위치와 그 이미지 φ(E[X])를 즉시 식별할 수 있다. 어떤 x 값에 대한 볼록 사상 Y = φ(x)의 경우, 해당하는 Y 값의 분포가 X 값이 증가함에 따라 점점 더 "위로 늘어난다"는 것을 알 수 있다. 따라서 Y의 분포는 어떤 X₀에 대해 X > X₀에 해당하는 구간에서는 더 넓고, X < X₀에서는 더 좁다. 특히, 이것은 X₀ = E[X]에도 해당한다. 결과적으로, 이 그림에서 Y의 기댓값은 항상 φ(E[X])의 위치에 대해 위쪽으로 이동한다. X의 분포가 볼록 함수의 감소하는 부분 또는 감소하는 부분과 증가하는 부분 모두를 포함하는 경우에도 유사한 추론이 성립한다. 이것은 부등식, 즉

:

\varphi(\operatorname{E}[X]) \leq  \operatorname{E}[\varphi(X)] = \operatorname{E}[Y],

을 "증명"한다. φ(X)가 엄밀히 볼록하지 않을 때, 예를 들어 직선일 때 또는 X가 퇴화 분포(즉, 상수임)를 따를 때는 등호가 성립한다.

아래 증명에서는 이 직관적인 개념을 공식화한다.

젠슨 부등식의 확률적 경우에 대한 그래픽적 "증명". X축을 따라 있는 점선 곡선은 X의 가상 분포를 나타내고, Y축을 따라 있는 점선 곡선은 해당하는 Y 값의 분포를 나타냅니다. 볼록 사상 Y(X)는 X 값이 증가함에 따라 분포를 점점 더 "'''늘어나게'''" 합니다.

4. 2. 유한 형태 증명

λ₁과 λ₂가 λ₁ + λ₂ = 1을 만족하는 임의의 두 음수가 아닌 실수라면, φ의 볼록성은 다음을 의미한다.

:∀x₁, x₂: φ(λ₁x₁ + λ₂x₂) ≤ λ₁φ(x₁) + λ₂φ(x₂).

이는 다음과 같이 일반화될 수 있다. λ₁, ..., λₙ이 λ₁ + ... + λₙ = 1을 만족하는 음수가 아닌 실수라면,

:φ(λ₁x₁ + λ₂x₂ + ... + λₙxₙ) ≤ λ₁φ(x₁) + λ₂φ(x₂) + ... + λₙφ(xₙ)

이 모든 x₁, ..., xₙ에 대해 성립한다.

옌센 부등식의 유한 형태는 수학적 귀납법으로 증명될 수 있다. 볼록성 가정에 의해, 명제는 n = 2일 때 참이다. 어떤 n에 대해 명제가 참이라고 가정하자. 즉,

:φ(∑ᵢ₌₁ⁿλᵢxᵢ) ≤ ∑ᵢ₌₁ⁿλᵢφ(xᵢ)

λ₁ + ... + λₙ = 1을 만족하는 모든 λ₁, ..., λₙ에 대해 성립한다.

n + 1에 대해 증명해야 한다. λᵢ 중 적어도 하나는 1보다 엄격하게 작다. λₙ₊₁이라고 하자. 따라서 볼록성 부등식에 의해:

:φ(∑ᵢ₌₁ⁿ⁺¹λᵢxᵢ) = φ((1 - λₙ₊₁)∑ᵢ₌₁ⁿ λᵢ/(1 - λₙ₊₁) xᵢ + λₙ₊₁xₙ₊₁)

:≤ (1 - λₙ₊₁)φ(∑ᵢ₌₁ⁿ λᵢ/(1 - λₙ₊₁) xᵢ) + λₙ₊₁φ(xₙ₊₁).

λ₁ + ... + λₙ + λₙ₊₁ = 1이므로,

:∑ᵢ₌₁ⁿ λᵢ/(1 - λₙ₊₁) = 1

이며, 귀납적 가정을 적용하면

:φ(∑ᵢ₌₁ⁿ λᵢ/(1 - λₙ₊₁) xᵢ) ≤ ∑ᵢ₌₁ⁿ λᵢ/(1 - λₙ₊₁) φ(xᵢ)

따라서

:φ(∑ᵢ₌₁ⁿ⁺¹λᵢxᵢ)

:≤ (1 - λₙ₊₁) ∑ᵢ₌₁ⁿ λᵢ/(1 - λₙ₊₁) φ(xᵢ) + λₙ₊₁φ(xₙ₊₁)

:= ∑ᵢ₌₁ⁿ⁺¹λᵢφ(xᵢ)

부등식이 n + 1에 대해 참임을 알 수 있으며, 귀납적으로 2보다 큰 모든 정수 n에 대해 결과가 참임을 알 수 있다.

이 유한 형태로부터 일반적인 부등식을 얻으려면, 밀도 논증을 사용해야 한다. 유한 형태는 다음과 같이 다시 쓸 수 있다.

:φ(∫x dμₙ(x)) ≤ ∫φ(x) dμₙ(x),

여기서 μₙ은 디랙 델타 함수의 임의의 볼록 결합으로 주어지는 측도이다.

:μₙ = ∑ᵢ₌₁ⁿ λᵢδₓᵢ.

볼록 함수는 연속 함수이며, 디랙 델타 함수의 볼록 결합은 확률 측도 집합에서 약하게 밀집되어 있으므로(쉽게 확인할 수 있듯이), 일반적인 명제는 단순히 극한 과정을 통해 얻어진다.

4. 3. 측도론적 형태 증명

g

를 확률 공간

\Omega

에서 정의된 실수값

\mu

-적분가능 함수라 하고,

\varphi

를 실수 위에서 정의된 볼록 함수라 하자.

\varphi

가 볼록 함수이므로, 각 실수

x

에 대해 비어 있지 않은 하도함수 집합이 존재하며, 이는

x

에서

\varphi

의 그래프에 접하는 직선으로 생각할 수 있지만, 모든 점에서

\varphi

의 그래프 아래에 위치한다(그래프의 지지선).

이제,

:

x_0:=\int_\Omega g\, d\mu,

로 정의하면, 볼록 함수에 대한 하도함수의 존재성 때문에, 다음을 만족하는

a

와

b

를 선택할 수 있다.

:

ax + b \leq \varphi(x),

(모든 실수

x

에 대해)

:

ax_0+ b = \varphi(x_0).

그러면,

:

\varphi \circ g (\omega) \geq ag(\omega)+ b

가 거의 모든

\omega \in \Omega

에 대해 성립한다. 확률 측도를 사용하므로, 적분은 단조적이며

\mu(\Omega) = 1

이므로,

:

\int_\Omega \varphi \circ g\, d\mu  \geq \int_\Omega (ag + b)\, d\mu  = a\int_\Omega g\, d\mu + b\int_\Omega d\mu = ax_0 + b = \varphi (x_0) = \varphi \left (\int_\Omega g\, d\mu \right ),

이 된다.

4. 4. 일반화된 형태 증명

''X''를 실수 위상 벡터 공간 ''T''의 값을 가지는 적분 가능한 확률 변수라 하자.

\varphi: T \to \R

이 볼록 함수이므로, 임의의

x,y \in T

에 대해 다음 양은

:

\frac{\varphi(x+\theta\,y)-\varphi(x)}{\theta},

θ가 0⁺에 접근함에 따라 감소한다. 특히, y^영어 방향에서 x^영어에서 평가된

\varphi

의 부분미분(subdifferential)은 다음과 같이 잘 정의된다.

:

(D\varphi)(x)\cdot y:=\lim_{\theta \downarrow 0} \frac{\varphi(x+\theta\,y)-\varphi(x)}{\theta}=\inf_{\theta \neq 0} \frac{\varphi(x+\theta\,y)-\varphi(x)}{\theta}.

부분미분이 y^영어에 대해 선형임을 쉽게 알 수 있다. 그리고 위 식의 우변에서 취한 하한값은

\theta = 1

일 때의 같은 항의 값보다 작으므로, 다음을 얻는다.

:

\varphi(x)\leq \varphi(x+y)-(D\varphi)(x)\cdot y.

특히, 임의의 부분-σ^영어-대수

\mathfrak{G}

에 대해

x = \operatorname{E}[X\mid\mathfrak{G}],\,y=X-\operatorname{E}[X\mid\mathfrak{G}]

일 때 위 부등식을 평가하여 다음을 얻는다.

:

\varphi(\operatorname{E}[X\mid\mathfrak{G}]) \leq \varphi(X)-(D\varphi)(\operatorname{E}[X\mid\mathfrak{G}])\cdot (X-\operatorname{E}[X\mid\mathfrak{G}]).

이제 위 식의 양변에

\mathfrak{G}

를 조건으로 하는 기댓값을 취하면 다음과 같이 결과를 얻는다.

:

\operatorname{E} \left [\left[(D\varphi)(\operatorname{E}[X\mid\mathfrak{G}])\cdot (X-\operatorname{E}[X\mid\mathfrak{G}])\right]\mid\mathfrak{G} \right] = (D\varphi)(\operatorname{E}[X\mid\mathfrak{G}])\cdot \operatorname{E}[\left( X-\operatorname{E}[X\mid\mathfrak{G}] \right) \mid \mathfrak{G}]=0,

이는 ''y'' 변수에 대한 부분미분의 선형성과 조건부 기댓값의 다음과 같은 잘 알려진 성질 때문이다.

:

\operatorname{E} \left [ \left(\operatorname{E}[X\mid\mathfrak{G}] \right) \mid\mathfrak{G} \right ] = \operatorname{E}[ X \mid\mathfrak{G}].

5. 특수한 경우 및 응용

옌센 부등식은 다양한 분야에 응용된다.

'''산술-기하 평균 부등식''': $(a,b)=(0,\infty)$ 이고, $f=-\ln$ 일 경우, 옌센 부등식은 산술-기하 평균 부등식이 된다.
'''영의 부등식''': $(a,b)=(0,\infty)$ 이고, $f=-\ln$ 이며, $n=2$ 이고, $\textstyle p_1=\frac 1p$ , $\textstyle p_2=\frac 1q$ ( $\textstyle\frac 1p+\frac1q=1$ )일 경우, 옌센 부등식은 영의 부등식이 된다.
'''멱함수''': 양의 실수 $p$ 와 $(a,b)=(0,\infty)$ , $\textstyle p_i=\frac 1n$ 에 대해, $f\colon x\mapsto x^p$ ( $p\in[1,\infty)$ ) 또는 $f\colon x\mapsto-x^p$ ( $p\in(0,1)$ )일 때 옌센 부등식은 특정한 형태를 띤다.
'''확률 밀도 함수 관련 형태''': 확률 밀도 함수와 볼록 적분에 대한 옌센 부등식은 변이 베이즈 방법에 적용된다.
'''통계 물리학''': 볼록 함수가 지수 함수일 때 옌센 부등식은 통계 물리학에서 중요하게 사용된다.
'''정보 이론''': 옌센 부등식은 깁스 부등식과 쿨백-라이블러 발산을 유도하는 데 사용되며, 이는 정보 이론에서 중요한 개념이다.
'''Rao–Blackwell 정리''': 옌센 부등식의 조건부 버전을 통해 Rao–Blackwell 정리를 유도할 수 있다.
'''위험 회피''': 옌센 부등식은 위험 회피와 한계효용의 감소 사이의 관계를 설명하는 데 사용된다.^[11]

5. 1. 산술-기하 평균 부등식

만약

(a,b)=(0,\infty)

이며,

f=-\ln

일 경우, 옌센 부등식은 산술-기하 평균 부등식

:

p_1x_1+p_2x_2+\cdots+p_nx_n\ge x_1^{p_1}x_2^{p_2}\cdots x_n^{p_n}

이다.

볼록 함수 φ에 대해, 그 정의역 내의 수 x₁, x₂, …, xₙ 및 양의 가중치 aᵢ가 주어지면, 옌센 부등식은 다음과 같이 나타낼 수 있다.

:

\varphi\left(\frac{\sum a_i x_i}{\sum a_i}\right) \le \frac{\sum a_i \varphi (x_i)}{\sum a_i}

φ가 오목 함수인 경우에는 부등식의 부호가 반대로 된다.

:

\varphi\left(\frac{\sum a_i x_i}{\sum a_i}\right) \geq \frac{\sum a_i \varphi (x_i)}{\sum a_i}.

등호는 x₁=x₂=⋯=xₙ이거나 φ가 x₁, x₂, …, xₙ을 포함하는 정의역에서 선형일 때만 성립한다.

특별한 경우로, 가중치 aᵢ가 모두 같은 경우, 위의 부등식들은 다음과 같이 된다.

:

\varphi\left(\frac{\sum x_i}{n}\right) \le \frac{\sum \varphi (x_i)}{n}

:

\varphi\left(\frac{\sum x_i}{n}\right) \geq \frac{\sum \varphi (x_i)}{n}

예를 들어, 함수 log(''x'')^영어는 오목 함수이므로, 이전 공식에 φ(x) = log(x)를 대입하면 잘 알려진 산술 평균/기하 평균 부등식(의 로그)가 성립한다.

:

\log\!\left( \frac{\sum_{i=1}^n x_i}{n}\right) \geq \frac{\sum_{i=1}^n \log\!\left( x_i \right)}{n}

:

\exp\!\left(\log\!\left( \frac{\sum_{i=1}^n x_i}{n}\right)\right) \geq \exp\!\left(\frac{\sum_{i=1}^n \log\!\left( x_i \right)}{n}\right)

:

\frac{x_1 + x_2 + \cdots + x_n}{n} \geq \sqrt[n]{x_1 \cdot x_2 \cdots x_n}

일반적인 응용에서는 x가 다른 변수(또는 변수 집합) t의 함수, 즉 xᵢ = g(tᵢ)로 나타난다. 이 모든 것은 일반적인 연속 사례로 직접 확장된다. 가중치는 비음의 적분 가능 함수 (예: 확률 분포)로 대체되고, 합은 적분으로 대체된다.

5. 2. 영의 부등식

만약

(a,b)=(0,\infty)

이며,

f=-\ln

이며,

n=2

이며,

\textstyle p_1=\frac 1p

,

\textstyle p_2=\frac 1q

(

\textstyle\frac 1p+\frac1q=1

)일 경우, 옌센 부등식은 영의 부등식이다.

:

\frac xp+\frac yq\ge x^{1/p}y^{1/q}

5. 3. 멱함수

p \in [1, \infty)

가 양의 실수일 때,

(a,b)=(0,\infty)

이고

f \colon x \mapsto x^p

이며

\textstyle p_i=\frac 1n

인 경우, 옌센 부등식은 다음과 같다.

:

(|x_1|+|x_2|+\cdots+|x_n|)^p \le n^{p-1}(|x_1|^p+|x_2|^p+\cdots+|x_n|^p)

p \in (0,1)

가 양의 실수일 때,

(a,b)=(0,\infty)

이고

f \colon x \mapsto -x^p

이며

\textstyle p_i=\frac 1n

인 경우, 옌센 부등식은 다음과 같다.

:

(|x_1|+|x_2|+\cdots+|x_n|)^p \ge n^{p-1}(|x_1|^p+|x_2|^p+\cdots+|x_n|^p)

5. 4. 확률 밀도 함수 관련 형태

실수선의 가측 부분집합 Ω와 다음과 같은 조건을 만족하는 음수가 아닌 함수 ''f''(''x'')를 생각해보자.

:

\int_{-\infty}^\infty f(x)\,dx = 1.

확률적 언어로, ''f''는 확률 밀도 함수이다.

그러면 옌센 부등식은 볼록 적분에 대한 다음과 같은 명제가 된다.

만약 ''g''가 임의의 실수값 가측 함수이고

\varphi

가 ''g''의 치역에서 볼록하다면, 다음이 성립한다.

:

\varphi\left(\int_{-\infty}^\infty g(x)f(x)\, dx\right) \le \int_{-\infty}^\infty \varphi(g(x)) f(x)\, dx.

''g''(''x'') = ''x''이면, 이 부등식의 형태는 일반적으로 사용되는 특수한 경우로 축소된다.

:

\varphi\left(\int_{-\infty}^\infty x\, f(x)\, dx\right) \le \int_{-\infty}^\infty \varphi(x)\,f(x)\, dx.

이는 변이 베이즈 방법에 적용된다.

5. 5. 통계 물리학

옌센 부등식은 볼록 함수가 지수 함수일 때 통계 물리학에서 특히 중요한데, 다음과 같이 나타낼 수 있다.

:

e^{\operatorname{E}[X]} \leq \operatorname{E} \left [ e^X \right ],

여기서 기댓값은 확률변수 X의 어떤 확률 분포에 대한 것이다.

증명:

\varphi(x) = e^x

를

\varphi\left(\operatorname{E}[X]\right) \leq \operatorname{E} \left[ \varphi(X) \right].

에 대입한다.

5. 6. 정보 이론

만약 ''p''(''x'')가 ''X''에 대한 참 확률 밀도이고, ''q''(''x'')가 다른 밀도라면, 확률변수 ''Y''(''X'') = ''q''(''X'')/''p''(''X'')와 볼록 함수 ''φ''(''y'') = −log(''y'')에 대해 옌센 부등식을 적용하면 다음과 같다.

:

\operatorname{E}[\varphi(Y)] \ge \varphi(\operatorname{E}[Y])

따라서:

:

-D(p(x)\|q(x))=\int p(x) \log \left (\frac{q(x)}{p(x)} \right ) \, dx \le \log \left ( \int p(x) \frac{q(x)}{p(x)}\,dx \right ) = \log \left (\int q(x)\,dx \right ) =0

이 결과는 깁스 부등식이라고 불린다.

이는 참 확률 ''p''가 아닌 다른 분포 ''q''를 기반으로 코드를 할당할 때 평균 메시지 길이가 최소화됨을 보여준다. 음이 아닌 값을 가지는 이 양은 ''p''에 대한 ''q''의 쿨백-라이블러 발산이라고 불리며,

D(p(x)\|q(x))=\int p(x) \log \left (\frac{p(x)}{q(x)} \right ) dx

이다.

−log(''x'')가 ''x'' > 0에 대해 엄밀히 볼록 함수이므로, ''p''(''x'')가 거의 모든 곳에서 ''q''(''x'')와 같을 때 등호가 성립한다.

5. 7. Rao–Blackwell 정리

만약 ''L''이 볼록 함수이고

\mathfrak{G}

가 부분 시그마 대수라면, 옌센 부등식의 조건부 버전으로부터 다음을 얻는다.

:

L(\operatorname{E}[\delta(X) \mid \mathfrak{G}]) \le \operatorname{E}[L(\delta(X)) \mid \mathfrak{G}] \quad \Longrightarrow \quad \operatorname{E}[L(\operatorname{E}[\delta(X) \mid \mathfrak{G}])] \le \operatorname{E}[L(\delta(X))].

따라서 만약 δ(''X'')가 관측 가능한 벡터 ''X''가 주어졌을 때 관측되지 않은 모수 θ의 어떤 추정량이고, ''T''(''X'')가 θ에 대한 충분 통계량이라면, 기대 손실 ''L''이 더 작다는 의미에서 개선된 추정량은 다음을 계산하여 얻을 수 있다.

:

\delta_1 (X) = \operatorname{E}_{\theta}[\delta(X') \mid T(X')= T(X)],

즉, 관측된 ''T''(''X'')와 같은 값과 호환되는 모든 가능한 관측 벡터 ''X''에 대해 θ에 대한 δ의 기대값이다. 게다가, T가 충분 통계량이므로

\delta_1 (X)

는 θ에 의존하지 않으므로 통계량이 된다.

이 결과는 Rao–Blackwell 정리로 알려져 있다.

5. 8. 위험 회피

스칼라 결과에 대한 위험 회피와 한계효용의 감소 사이의 관계는 옌센 부등식을 사용하여 공식적으로 설명할 수 있다. 위험 회피는 확률적으로 더 클 수 있지만 불확실한 결과

u(x)

를 갖는 공정한 도박보다 확실한 결과

u(E[x])

를 선호하는 것으로 나타낼 수 있다.

:

u(E[x]) > E[u(x)]

.

하지만 이것은 단순히 오목한

u(x)

에 대한 옌센 부등식이다. 즉, 한계효용의 감소를 보이는 효용 함수이다.^[11]

6. 역사

요한 옌센(Johan Jensen^da)의 이름을 땄다.

참조

_[1] 논문 Sur les fonctions convexes et les inégalités entre les valeurs moyennes https://zenodo.org/r[...] 1906
_[2] 논문 Necessary and sufficient conditions for the validity of Jensen's inequality
_[3] 서적 A Modern Introduction to Probability and Statistics: Understanding Why and How https://link.springe[...] Springer 2005
_[4] 논문 Bounds on the Jensen Gap, and Implications for Mean-Concentrated Distributions https://ajmaa.org/se[...]
_[5] 서적 Probability: Theory and Examples https://services.mat[...] Cambridge University Press 2019
_[6] 문서 Integral inequalities http://citeseerx.ist[...]
_[7] 서적 Probability: Theory and Examples https://services.mat[...] Cambridge University Press 2019
_[8] 논문 Jensen's Inequality for a Convex Vector-Valued Function on an Infinite-Dimensional Space
_[9] 논문 Sharpening Jensen's Inequality
_[10] 서적 Introduction to Inequalities https://www.ukmt.org[...] United Kingdom Mathematics Trust 2006
_[11] 서적 Asset Pricing and Portfolio Choice Theory Oxford University Press 2010
_[12] 서적 실해석 서울대학교출판부 2002
_[13] 서적

본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com