라그랑주 수

1. 본문

라그랑주 승수법(Lagrange multiplier method)은 제약 조건이 있는 최적화 문제를 푸는 데 사용되는 기법입니다. 프랑스의 수학자 조제프루이 라그랑주의 이름을 따서 명명되었습니다.
개념주어진 함수 f(x, y, ...)를 제약 조건 g(x, y, ...) = c (여기서 c는 상수) 하에서 최적화(최대화 또는 최소화)하는 문제를 생각해 봅시다. 라그랑주 승수법은 다음과 같은 아이디어를 기반으로 합니다.

1. 새로운 함수 정의 (라그랑지안, Lagrangian): 원래 함수 f와 제약 조건 g를 결합하여 새로운 함수 L을 만듭니다. 이때, 제약 조건에 곱해지는 새로운 변수 λ (람다)를 도입하는데, 이 λ를 라그랑주 승수라고 합니다.

L(x, y, ..., λ) = f(x, y, ...) - λ(g(x, y, ...) - c)

2. 임계점 찾기: 라그랑지안 L에 대한 임계점을 찾습니다. 즉, L을 x, y, ..., λ 각각에 대해 편미분한 값이 모두 0이 되는 지점을 찾습니다.

∇L = (∂L/∂x, ∂L/∂y, ..., ∂L/∂λ) = (0, 0, ..., 0)

3. 해 평가: 위에서 찾은 임계점들이 원래 문제의 최적해(최댓값 또는 최솟값)가 되는지 확인합니다.
수학적 표현

• 목표 함수: f(x, y, ...)
• 제약 조건: g(x, y, ...) = c
• 라그랑지안: L(x, y, ..., λ) = f(x, y, ...) - λ(g(x, y, ...) - c)
• ∇L = 0 (L의 모든 변수에 대한 편미분 값이 0)

• ∂L/∂x = 2xy - λ = 0
• ∂L/∂y = x² - λ = 0
• ∂L/∂λ = -(x + y - 10) = 0 (즉, x + y = 10)

• 라그랑주 승수법은 임계점을 찾는 방법이며, 이 임계점이 반드시 최적해(최댓값 또는 최솟값)라는 보장은 없습니다. 찾은 해를 추가적으로 검증해야 할 수 있습니다.
• 제약 조건이 여러 개일 경우, 각 제약 조건마다 라그랑주 승수를 도입하여 라그랑지안을 구성합니다.
• 부등식 제약 조건의 경우에는 KKT(Karush-Kuhn-Tucker) 조건이라는, 라그랑주 승수법을 확장한 방법을 사용합니다.