볼록 함수

3. 성질

"볼록"이라는 용어는 종종 "아래로 볼록" 또는 "위로 오목"이라고 불리며, 오목이라는 용어는 종종 "아래로 오목" 또는 "위로 볼록"이라고 불린다.^[3][4][5] "볼록"이라는 용어가 "위" 또는 "아래" 키워드 없이 사용될 경우, 이는 엄격하게 컵 모양 그래프($\backslash cup$)를 지칭한다. 예를 들어, 젠센 부등식은 볼록 또는 아래로 볼록 함수와 관련된 부등식을 나타낸다.^[6]

볼록 함수의 많은 성질들은 여러 변수의 함수에 대해서도 한 변수의 함수와 동일하게 간단하게 표현될 수 있다. 여러 변수의 경우에 대한 성질은 이후에 더 자세히 다룬다.

3. 1. 한 변수 볼록 함수의 성질

3. 2. 여러 변수 볼록 함수의 성질

4. 볼록성 보존 연산

• 음이 아닌 가중 합:

• 원소별 최댓값: {fᵢ}ᵢ∈I를 볼록 함수들의 모임이라고 하자. 그러면 g(x) = supᵢ∈I fᵢ(x)는 볼록 함수이다. g(x)의 정의역은 표현식이 유한한 점들의 모임이다. 중요한 특수한 경우:

• 합성:

• 최소화: 만약 f(x,y)가 (x,y)에 대해 볼록 함수이면, g(x) = inf_(y∈C) f(x,y)는 x에 대해 볼록 함수이다. 단, C가 볼록 집합이고 g(x) ≠ -∞이어야 한다.

5. 강볼록 함수 (Strongly Convex Functions)

강볼록성은 엄격 볼록성을 확장하고 매개변수화한 개념이다. 강볼록 함수는 이차 함수만큼 빠르게 증가하는 함수이다.^[11] 강볼록 함수는 엄격 볼록 함수이지만 그 역은 성립하지 않는다.

미분 가능한 함수 $f$가 정의역의 모든 점 $x,\; y$에 대해 다음 부등식을 만족하는 경우 매개변수 $m\; >\; 0$으로 강볼록이라고 한다.^[12]

:$$(\backslash nabla\; f(x)\; -\; \backslash nabla\; f(y)\; )^T\; (x-y)\; \backslash ge\; m\; \backslash |x-y\backslash |\_2^2$$

또는 더 일반적으로,

:$$\backslash langle\; \backslash nabla\; f(x)\; -\; \backslash nabla\; f(y),\; x-y\; \backslash rangle\; \backslash ge\; m\; \backslash |x-y\backslash |^2$$

여기서 $\backslash langle\; \backslash cdot,\; \backslash cdot\backslash rangle$는 임의의 내적이고, $\backslash |\backslash cdot\backslash |$는 해당 노름이다. 일부 저자들은 이 부등식을 만족하는 함수를 타원형 함수라고도 부른다.^[13]

이에 상응하는 조건은 다음과 같다.^[14]

:$$f(y)\; \backslash ge\; f(x)\; +\; \backslash nabla\; f(x)^T\; (y-x)\; +\; \backslash frac\{m\}\{2\}\; \backslash |y-x\backslash |\_2^2$$

함수가 강볼록하기 위해 미분 가능해야 하는 것은 아니다. 매개변수 $m$을 갖는 강볼록 함수에 대한 세 번째 정의^[14]는 정의역의 모든 $x,\; y$와 $t\; \backslash in\; [0,1]$에 대해,

:$$f(tx+(1-t)y)\; \backslash le\; t\; f(x)+(1-t)f(y)\; -\; \backslash frac\{1\}\{2\}\; m\; t(1-t)\; \backslash |x-y\backslash |\_2^2$$

이 정의는 $m\; \backslash to\; 0$일 때 엄격 볼록성에 대한 정의에 접근하고, $m\; =\; 0$일 때 볼록 함수의 정의와 동일하다는 점에 유의해야 한다. 그럼에도 불구하고, 어떤 $m\; >\; 0$에 대해서도 엄격 볼록하지만 강볼록하지 않은 함수가 존재한다.

함수 $f$가 2번 연속 미분 가능한 경우, 정의역의 모든 $x$에 대해 $\backslash nabla^2\; f(x)\; \backslash succeq\; mI$가 성립하면 매개변수 $m$으로 강볼록하다. 여기서 $I$는 항등 행렬이고 $\backslash nabla^2f$는 헤세 행렬이며, 부등식 $\backslash succeq$는 $\backslash nabla^2\; f(x)\; -\; mI$가 양의 준정부호임을 의미한다. 이는 $\backslash nabla^2\; f(x)$의 최소 고윳값이 모든 $x$에 대해 최소 $m$ 이상이어야 한다는 요구와 같다. 정의역이 실수선인 경우, $\backslash nabla^2\; f(x)$는 2차 도함수 $f\text{'}\text{'}(x)$이므로 조건은 $f\text{'}\text{'}(x)\; \backslash ge\; m$이 된다. $m\; =\; 0$인 경우 이는 헤세 행렬이 양의 준정부호임을 의미하며 (또는 정의역이 실수선인 경우, $f\text{'}\text{'}(x)\; \backslash ge\; 0$임을 의미) 함수가 볼록하고, 아마도 엄격히 볼록하지만 강볼록하지 않음을 의미한다.

함수 $f$는 다음 함수가

:$$x\backslash mapsto\; f(x)\; -\backslash frac\; m\; 2\; \backslash |x\backslash |^2$$

볼록한 경우에만 매개변수 ''m''으로 강볼록하다.

강볼록 함수는 일반적으로 볼록 또는 엄격 볼록 함수보다 다루기 쉬운데, 그 이유는 더 작은 클래스이기 때문이다. 엄격 볼록 함수와 마찬가지로 강볼록 함수는 콤팩트 집합에서 고유한 최소값을 갖는다.

5. 1. 강볼록 함수의 성질

• 모든 실수 ''r''에 대해, 레벨 집합 {''x'' | ''f''(''x'') ≤ ''r''}은 콤팩트하다.
• 함수 ''f''는 ''Rⁿ''에서 유일한 전역 최솟값을 갖는다.

6. 균등 볼록 함수 (Uniformly Convex Functions)

균등 볼록 함수^[16][17]는 모듈러스 φ|피^영어를 가지며, 정의 구역 내의 모든 x|엑스^영어, y|와이^영어와 t|티^영어 ∈ [0, 1]에 대해 다음을 만족하는 함수 f|에프^영어를 말한다.

:

여기서 φ|피^영어는 음이 아닌 함수이며, 0에서만 0이 된다. 이는 강볼록 함수의 개념을 일반화한 것으로, 로 놓으면 강볼록성의 정의를 얻을 수 있다.

일부 저자는 모듈러스 φ|피^영어가 증가 함수일 것을 요구하지만,^[18] 모든 저자가 이 조건을 요구하는 것은 아니다.^[19]

7. 예시

• f(x) = x²는 f''(x) = 2 > 0 이므로, 볼록 함수이다. 또한 강볼록 함수(따라서 엄격히 볼록 함수)이며, 강볼록 상수는 2이다.^[2]
• f(x) = x⁴는 f''(x) = 12x² ≥ 0 이므로 볼록 함수이다. 모든 점에서 이계도함수가 엄격하게 양수는 아니지만, 엄격히 볼록하다. 강볼록 함수는 아니다.^[2]
• 절댓값 함수 f(x) = |x|는 (삼각 부등식에 반영되어 있듯이) 볼록 함수이며, x = 0 지점에서 미분 가능하지 않더라도 그렇다. 엄격히 볼록 함수는 아니다.^[2]
• p ≥ 1에 대한 함수 f(x) = |x|^p는 볼록 함수이다.^[2]
• 지수 함수 f(x) = e^x는 볼록 함수이다. f''(x) = e^x > 0 이므로 엄격히 볼록 함수이기도 하지만, 이계도함수가 임의로 0에 가까워질 수 있으므로 강볼록 함수는 아니다. 좀 더 일반적으로, 함수 f가 볼록 함수라면 g(x) = e^f(x)는 로그 볼록 함수이다.^[20]
• f(0) = f(1) = 1, 0 < x < 1에 대해 f(x) = 0으로 정의된 [0,1]을 정의역으로 하는 함수 f는 볼록 함수이다. 열린 구간 (0, 1)에서는 연속이지만, 0과 1에서는 연속이 아니다.^[2]
• 함수 x³는 이계도함수 6x를 가지므로, x ≥ 0인 집합에서는 볼록 함수이고 x ≤ 0인 집합에서는 오목 함수이다.^[2]
• 볼록 함수가 아니면서 단조 함수인 함수의 예로는 f(x) = √x와 g(x) = log x가 있다.^[2]
• 단조 함수가 아니지만 볼록 함수인 함수의 예로는 h(x) = x²와 k(x) = -x가 있다.^[2]
• 함수 f(x) = 1/x는 f''(x) = 2/x³을 가지며, x > 0일 때 0보다 크므로 f(x)는 구간 (0, ∞)에서 볼록 함수이다. 구간 (-∞, 0)에서는 오목 함수이다.^[2]
• f(0) = ∞인 함수 f(x) = 1/x²는 구간 (0, ∞)에서 볼록 함수이고, 구간 (-∞, 0)에서도 볼록 함수이지만, x = 0에서 특이점이 있으므로 구간 (-∞, ∞)에서는 볼록 함수가 아니다.^[2]
• LogSumExp 함수(소프트맥스 함수)는 볼록 함수이다.^[2]
• 양의 정부호 행렬의 영역에서 함수 -logdet(X)는 볼록 함수이다.^[7]
• 모든 실수 값을 갖는 선형 변환은 볼록하지만, 엄격한 볼록 함수는 아니다. f가 선형 함수일 경우, f(a + b) = f(a) + f(b)이기 때문이다. 이 명제는 "볼록"을 "오목"으로 대체해도 성립한다.^[2]
• f(x) = a^Tx + b 형태를 갖는 모든 실수 값을 갖는 아핀 함수는 동시에 볼록 함수이자 오목 함수이다.^[2]
• 노름은 삼각 부등식과 양의 동차성에 의해 볼록 함수이다.^[2]
• 음이 아닌 행렬의 스펙트럼 반경은 대각 성분에 대한 볼록 함수이다.^[21]

8. 기타

경제학에서 곡선이 원점을 향해 활처럼 튀어나온 형태를 '''원점에 대해 볼록'''^[24] 또는 '''원점을 향해 볼록'''^[25]이라고 부르기도 한다.

참조

_[1] 웹사이트 Lecture Notes 2 https://www.stat.cmu[...] 2017-03-03
_[2] 웹사이트 Concave Upward and Downward https://www.mathsisf[...]
_[3] 서적 Calculus Cengage Learning
_[4] 서적 Methods of Mathematics Applied to Calculus, Probability, and Statistics https://books.google[...] Courier Corporation
_[5] 서적 Mathematical Analysis https://books.google[...] Mir Publishers
_[6] 서적 The Probability Companion for Engineering and Computer Science https://books.google[...] Cambridge University Press
_[7] 서적 Convex Optimization https://web.stanford[...] Cambridge University Press 2011-10-15
_[8] 서적 Distributions and Fourier Transforms https://books.google[...] Academic Press 2012-08-29
_[9] 웹사이트 If f is strictly convex in a convex set, show it has no more than 1 minimum https://math.stackex[...] Math StackExchange 2013-03-21
_[10] 간행물 Resolvent positive linear operators exhibit the reduction phenomenon. Proceedings of the National Academy of Sciences
_[11] 웹사이트 Strong convexity · Xingyu Zhou's blog https://xingyuzhou.o[...] 2023-09-27
_[12] 서적 Convex Analysis and Optimization https://archive.org/[...] Athena Scientific
_[13] 서적 Introduction to numerical linear algebra and optimisation Cambridge University Press
_[14] 서적 Introductory Lectures on Convex Optimization: A Basic Course https://archive.org/[...] Kluwer Academic Publishers
_[15] 웹사이트 Optimization III: Convex Optimization http://www2.isye.gat[...] 2023
_[16] 서적 Convex Analysis in General Vector Spaces World Scientific
_[17] 서적 Convex Analysis and Monotone Operator Theory in Hilbert Spaces https://archive.org/[...] Springer
_[18] 서적 Convex Analysis and Monotone Operator Theory in Hilbert Spaces https://archive.org/[...] Springer
_[19] 서적 Convex Analysis in General Vector Spaces World Scientific
_[20] 학술저널 A Convexity Property of Positive Matrices
_[21] 간행물 Convexity of the dominant eigenvalue of an essentially nonnegative matrix. Proceedings of the American Mathematical Society https://www.ams.org/[...]
_[22] 문서 downward-convex function
_[23] 문서 concave function
_[24] 문서 芦谷 (2009)
_[25] 문서 神部、寶多、濱田 (2006)