하방미분

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요
2. 정의
- 2.1. 다변수 함수의 경우
3. 성질
4. 예시
5. 역사
참조

1. 개요

하방미분은 볼록 함수의 미분 가능성을 일반화하는 개념으로, 함수가 미분 불가능한 점에서도 '미분'의 정보를 제공한다. 일변수 함수의 경우, 하방미분은 함수의 그래프에 접하는 모든 직선의 기울기 범위를 나타내는 닫힌 구간으로 정의된다. 다변수 함수와 일반적인 국소 볼록 공간으로 확장될 수 있으며, 최적화 문제 등 다양한 분야에서 활용된다. 하방미분은 함수가 미분 가능한 경우 일반적인 미분과 일치하며, 함수의 최소점을 찾는 데에도 사용된다.

더 읽어볼만한 페이지

변분해석학 - 민코프스키 덧셈
민코프스키 덧셈은 두 집합의 원소를 더한 모든 가능한 결과의 집합으로, 기하학적 도형의 합을 통해 새로운 도형을 생성하며, 수학적 형태론, 물리 엔진 등 다양한 분야에서 활용됩니다.
변분해석학 - 반연속 함수
반연속 함수는 위상 공간에서 전순서 집합으로 가는 함수로서, 상반연속 함수는 특정 지점에서의 상극한이 함수값보다 작거나 같고, 하반연속 함수는 하극한이 함수값보다 크거나 같도록 정의되며, 함수의 극한, 최적화 문제, 연속 함수 등과 관련되어 다양한 분야에 응용된다.
볼록 최적화 - 선형 계획법
선형 계획법은 선형 제약 조건 아래에서 선형 목적 함수의 최적화를 추구하는 기법으로, 자원 배분 문제 해결에서 시작하여 경영 과학, 경제학, 공학 등 여러 분야에서 활용되며, 네트워크 흐름 및 정수 계획법 문제 해결에 중요한 도구로 사용된다.
볼록 최적화 - 확률적 경사 하강법
확률적 경사 하강법은 기계 학습에서 목적 함수를 최소화하는 반복적 최적화 알고리즘으로, 대규모 데이터 세트에서 일부 데이터만 사용하여 경사를 추정하여 계산 비용을 줄이고, 서포트 벡터 머신, 로지스틱 회귀, 심층 신경망 등 다양한 모델 훈련에 활용되며, Adam과 같은 파생 최적화기가 널리 사용된다.
미분의 일반화 - 기울기 (벡터)
기울기(벡터)는 스칼라장의 특정 지점에서 값이 가장 빠르게 증가하는 방향과 변화율을 나타내는 벡터로, 함수의 등위면에 수직이며 크기는 해당 방향의 변화율을 나타내고, 스칼라 함수의 각 성분에 대한 편미분으로 구성되며 나블라 연산자로 표현된다.
미분의 일반화 - 야코비 행렬
야코비 행렬은 열린 집합 U에서 정의된 함수 f의 각 성분 편도함수를 요소로 가지는 행렬이며, 함수가 미분 가능할 때 전미분을 나타내고, n=m일 경우 행렬식은 함수의 동작에 대한 정보를 제공하며 다양한 분야에 응용된다.

하방미분
정의
설명	실수값 함수에 대한 도함수의 일반화이다.
수학적 정의
기호	∂f(x₀)
정의	점 에서의 부분도함수는 다음 조건을 만족하는 숫자 z의 집합이다.
조건	모든 x ∈ I에 대해 이다. 여기서 는 x₀를 포함하는 f의 열린 구간이다.
부분미분	부분미분은 해당 집합의 최솟값이다.
예시
함수	}}
부분도함수	[-1, 1]
부분미분	-1

2. 정의

볼록함수 $f : I \to \mathbb{R}$ 에서, I의 점 x₀에서의 '''하방미분계수'''는 다음 부등식을 만족하는 실수 c이다.

: $f(x)-f(x_0)\ge c(x-x_0)$

(여기서 I의 모든 점 x에 대해 위 부등식이 성립한다.)

x₀에서 하방미분계수가 되는 실수는 하나가 아닐 수 있으며, 그 값들의 집합은 닫힌 구간 [a, b] 형태이다. a, b는 각각 다음과 같다.

: $a=\lim_{x\to x_0^-}\frac{f(x)-f(x_0)}{x-x_0}$

: $b=\lim_{x\to x_0^+}\frac{f(x)-f(x_0)}{x-x_0}$

이 닫힌 구간 [a, b]는 유일하게 존재하며, 이 집합을 x₀에서의 '''하위미분'''이라 한다. 평균값 정리의 역에 따라, 볼록 함수에 대한 $x_0$ 에서의 하위 미분 집합은 비어 있지 않은 닫힌 구간 $[a,b]$ 이다.

만약 $x_0$ 에서 서브미분이 정확히 하나의 하위 미분을 포함한다면, $f$ 는 $x_0$ 에서 미분 가능하며 $\partial f(x_0)=\{f'(x_0)\}$ 이다.^[2]

2. 1. 다변수 함수의 경우

다변수 함수에도 하방미분의 개념이 적용될 수 있다. 유클리드 공간

\mathbb{R}^n

의 볼록 열린 집합에서 정의된 볼록 실함수

f : U \to \mathbb{R}

에서 x₀의 '''하방기울기'''(subgradient)는 다음 식을 만족하는 벡터

v

이다.

:

f(x)-f(x_0)\ge v\cdot (x-x_0)

(

\cdot

은 스칼라곱)

(여기서 x는 U의 모든 점)

일변수함수와 마찬가지로 하방기울기값들의 집합을 하위미분이라 하며, 하방미분 집합은 항상 볼록 컴팩트 집합이다.

하위도함수와 하위미분 개념은 여러 변수의 함수로 일반화될 수 있다.

f:U\to\mathbb{R}

이 볼록 집합 내의 열린 집합에서 정의된 실수 값을 갖는 볼록 함수이고, 이 집합은 유클리드 공간

\mathbb{R}^n

에 속한다고 할 때, 이 공간의 벡터

v

가 모든

x\in U

에 대해 다음을 만족하면

x_0\in U

에서 '''하위 기울기'''라고 한다.

:

f(x)-f(x_0)\ge v\cdot (x-x_0),

(여기서 점은 내적을 나타낸다.)

x_0

에서의 모든 하위 기울기의 집합을

x_0

에서의 '''하위 미분'''이라고 부르며

\partial f(x_0)

로 표기한다. 하위 미분은 항상 비어 있지 않은 볼록 콤팩트 집합이다.

이러한 개념은 국소 볼록 공간

V

내의 볼록 집합에서 정의된 볼록 함수

f:U\to\mathbb{R}

으로 더 일반화된다. 쌍대 공간

V^*

의 범함수

v^*

가 모든

x\in U

에 대해 다음을 만족하면

U

내의

x_0

에서 "하위 기울기"라고 부른다.

:

f(x)-f(x_0)\ge v^*(x-x_0).

x_0

에서의 모든 하위 기울기의 집합을

x_0

에서의 하위 미분이라고 부르며,

\partial f(x_0)

로 표기한다. 하위 미분은 항상 볼록 닫힌 집합이다. 비어 있는 집합일 수도 있는데, 예를 들어 하위 기울기가 없는 무계산 연산자는 볼록하지만 하위 기울기가 없다.

f

가 연속적이면 하위 미분은 비어 있지 않다.

3. 성질

볼록함수 $f : I \to \mathbb{R}$ 은 $x_0$ 에서 하방미분 집합이 한원소 집합인 경우에만 미분가능하고, 그 한원소집합의 원소가 일반 미분값이다.^[3]
$x_0$ 의 하방미분 집합에 0이 포함되어 있으면 그 점은 함수의 최소점이 된다.^[3]
함수의 하방미분을 $\partial$ 로 나타낼 때 볼록함수 $f, g$ 에 대해 $\partial(f + g)(x) = \partial f(x) + \partial g(x)$ 이다.^[3]
볼록 함수 $f:I\to\mathbb{R}$ 가 $x_0$ 에서 미분 가능하다는 것은 필요충분조건이며, 서브미분은 단일 집합 $\{f'(x_0)\}$ 이다.^[3]
점 $x_0$ 이 볼록 함수 $f$ 의 전역 최솟값이라는 것은 서브미분에 0이 포함된다는 것과 같다.^[3]
만약 $f$ 와 $g$ 가 서브미분 $\partial f(x)$ 와 $\partial g(x)$ 를 가진 볼록 함수이고, $x$ 가 함수 중 하나의 내부점이면, $f + g$ 의 서브미분은 $\partial(f + g)(x) = \partial f(x) + \partial g(x)$ 이다(여기서 덧셈 연산자는 민코프스키 합을 나타낸다).^[3]

4. 예시

함수 f(x) = |x|를 생각해보자. 이 함수는 볼록 함수이다. 그러면 원점에서의 서브미분은 구간 [-1,1]이다. x₀<0인 임의의 점에서의 서브미분은 싱글톤 집합 {-1}이고, x₀>0인 임의의 점에서의 서브미분은 싱글톤 집합 {1}이다. 이는 부호 함수와 유사하지만, 0에서 단일 값을 가지지 않고, 대신 모든 가능한 하위미분을 포함한다.

5. 역사

하방미분법은 1960년대 초 장 자크 모로와 R. 타이어렐 록펠러에 의해 처음 도입되었다.^[5] 1980년대에는 프랜시스 H. 클라크가 이를 더욱 일반화하여 볼록함수가 아닌 경우에도 적용하는 방법을 고안하였다.^[6]

참조

_[1] 논문 Theory of Convex Optimization for Machine Learning 2014
_[2] 서적 Convex Analysis Princeton University Press
_[3] 서적 Fundamentals of Convex Analysis https://archive.org/[...] Springer-Verlag Berlin Heidelberg 2001
_[4] 서적 Optimization and nonsmooth analysis https://archive.org/[...] John Wiley & Sons
_[5] 서적 Convex Analysis https://archive.org/[...] Princeton University Press
_[6] 서적 Optimization and nonsmooth analysis https://archive.org/[...] John Wiley & Sons

본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com