리처드 E. 벨먼

1. 개요

리처드 E. 벨먼(Richard E. Bellman, 1920-1984)은 미국의 응용 수학자이자 공학자로, 동적 프로그래밍, 벨만 방정식, 차원의 저주 등의 개념을 개발했다. 그는 브루클린 칼리지에서 수학을 전공하고 위스콘신 대학교에서 석사 학위를 받은 후, 제2차 세계 대전 중 로스앨러모스 국립 연구소에서 일했다. 1949년부터 RAND 연구소에서 근무하며 동적 프로그래밍을 개발했으며, 이후 서던캘리포니아 대학교 교수로 재직했다. 벨먼은 IEEE 명예 훈장, 딕슨상, 존 폰 노이만 이론상 등을 수상했으며, 600편 이상의 논문과 여러 권의 저서를 출판했다.

2. 생애

리처드 벨만은 수학자로, 동적 프로그래밍을 개발하고 벨만 방정식을 발표하는 등 다양한 업적을 남겼다. 1979년 "결정 과정 및 제어 시스템 이론에 대한 기여, 특히 동적 프로그래밍의 창조 및 응용"으로 IEEE 명예 훈장을 수상했다. 1985년 그의 업적을 기리기 위해 수학적 생물학 벨만상이 제정되었으며, 이 상은 학술지에 게재된 최우수 논문에 격년으로 수여된다.

2.1. 어린 시절과 교육

리처드 벨만은 1920년 뉴욕에서 폴란드와 러시아 출신 유대인 부모인 펄(사피안)과 존 제임스 벨만의 아들로 태어났다. 그의 부모는 브루클린 프로스펙트 공원 근처 버겐 스트리트에서 작은 식료품점을 운영했다. 그는 종교적으로는 무신론자였다. 1937년 브루클린 에이브러햄 링컨 고등학교를 졸업하고, 브루클린 칼리지에서 수학을 전공하여 1941년에 문학사 학위를 받았다. 이후 위스콘신 대학교에서 문학 석사 학위를 받았다. 제2차 세계 대전 중에는 로스앨러모스 국립 연구소의 이론 물리학 부서에서 일했다. 1946년, 솔로몬 레프셰츠의 지도 아래 프린스턴 대학교에서 박사 학위를 받았다.

2.2. 경력

1949년부터 벨만은 RAND 연구소에서 오랫동안 근무했으며, 이때 동적 프로그래밍을 개발했다. 제2차 세계 대전 중에는 로스앨러모스 국립 연구소의 이론 물리학 부서에서 일했다.

후년에 리처드 벨만은 생물학과 의학에 관심을 갖기 시작했고, 이를 "현대 과학의 최전선"으로 규정했다. 1967년, 그는 학술지 수학적 생물학의 창립 편집자가 되었으며, 이 학술지는 빠르게 (그리고 현재까지도) 해당 분야에서 가장 중요한 학술지 중 하나가 되었다.

서던캘리포니아 대학교의 교수였으며, 미국 예술 과학 아카데미 회원(1975년), 미국 공학 한림원 회원(1977년), 미국 국립 과학원 회원(1983년)이었다.

2.3. 질병과 사망

벨만은 1973년 뇌종양 진단을 받고 제거 수술을 받았으나 합병증으로 심각한 장애를 갖게 되었다. 이후 서던캘리포니아 대학교 교수로 재직하면서, 미국 예술 과학 아카데미 회원(1975년), 미국 공학 한림원 회원(1977년), 미국 국립 과학원 회원(1983년)으로 선출되었다.

3. 주요 업적

리처드 E. 벨먼은 다양한 분야에 걸쳐 중요한 업적을 남겼다.

* 동적 프로그래밍: 벨만 방정식은 동적 프로그래밍이라는 수학적 최적화 방법과 관련된 최적성의 필요 조건이다. 최적 제어 이론을 사용하여 해결할 수 있는 거의 모든 문제는 적절한 벨만 방정식을 분석하여 해결할 수 있다.
* 해밀턴-야코비-벨만 방정식(HJB): 최적 제어 이론의 핵심인 편미분 방정식이다. HJB 방정식의 해는 주어진 동역학적 시스템과 관련된 비용 함수에 대한 최적의 미래 비용을 나타내는 '가치 함수'이다.
* 차원의 저주: (수학적) 공간에 차원이 추가될수록 부피가 기하급수적으로 증가하여 발생하는 문제를 설명하기 위해 벨만이 만든 용어이다.
* 벨만-포드 알고리즘: 간선 가중치가 음수일 수 있는 가중치 유향 그래프에서 단일 시작점 최단 경로를 계산하는 알고리즘이다. 다익스트라 알고리즘도 같은 문제를 해결하지만 실행 시간이 더 짧으며, 간선 가중치가 음수가 아니어야 한다.

3.1. 동적 프로그래밍

벨만 방정식은 동적 프로그래밍이라고 알려진 수학적 최적화 방법과 관련된 최적성의 필요 조건이다. 최적 제어 이론을 사용하여 해결할 수 있는 거의 모든 문제는 적절한 벨만 방정식을 분석하여 해결할 수 있다. 벨만 방정식은 처음에는 공학 제어 이론과 응용 수학의 다른 주제에 적용되었으며, 이후 경제학 이론에서 중요한 도구가 되었다.

이 방정식은 벨만이 동료와 함께 1950년대부터 선구적으로 연구하던 동적 계획법 이론 연구의 성과이다. 이산 시간 버전은 일반적으로 벨만 방정식이라고 불린다.

3.2. 벨만 방정식

벨만 방정식은 '동적 프로그래밍 방정식'이라고도 하며, 동적 프로그래밍이라는 수학적 최적화 방법과 관련된 최적성의 필요 조건이다. 최적 제어 이론을 사용하여 해결할 수 있는 거의 모든 문제는 적절한 벨만 방정식을 분석하여 해결할 수도 있다. 벨만 방정식은 처음에는 공학 제어 이론과 응용 수학의 다른 주제에 적용되었으며, 이후 경제학 이론에서 중요한 도구가 되었다.

해밀턴-야코비-벨만 방정식(HJB)은 최적 제어 이론의 핵심인 편미분 방정식이다. HJB 방정식의 해는 주어진 동역학적 시스템과 관련된 비용 함수에 대한 최적의 미래 비용을 나타내는 '가치 함수'이다. 예를 들어, 최단 강하선 문제와 같은 고전적인 변분 문제도 이 방법을 사용하여 해결할 수 있다. 이 방정식은 1950년대 리처드 벨만(Richard Bellman)과 동료들이 개척한 동적 프로그래밍 이론의 결과이다. 해당 이산 시간 방정식은 일반적으로 벨만 방정식이라고 한다. 연속 시간에서, 이 결과는 윌리엄 로언 해밀턴(William Rowan Hamilton)과 카를 구스타프 야코프 야코비(Carl Gustav Jacob Jacobi)의 해밀턴-야코비 방정식에 대한 고전 물리학의 초기 연구의 확장으로 볼 수 있다.

3.3. 해밀턴-야코비-벨만 방정식

해밀턴-야코비-벨만 방정식(HJB)은 최적 제어 이론의 핵심인 편미분 방정식이다. HJB 방정식의 해는 주어진 동역학적 시스템과 관련된 비용 함수에 대한 최적의 미래 비용을 나타내는 '가치 함수'이다. 예를 들어, 최단 강하선 문제와 같은 고전적인 변분 문제도 이 방법을 사용하여 해결할 수 있다. 이 방정식은 1950년대 리처드 벨만과 동료들이 개척한 동적 프로그래밍 이론의 결과이다. 해당 이산 시간 방정식은 일반적으로 벨만 방정식이라고 한다. 연속 시간에서, 이 결과는 윌리엄 로언 해밀턴과 카를 구스타프 야코프 야코비의 해밀턴-야코비 방정식에 대한 고전 물리학의 초기 연구의 확장으로 볼 수 있다.

3.4. 차원의 저주

차원의 저주는 리처드 E. 벨먼이 (수학적) 공간에 차원이 추가될수록 부피가 기하급수적으로 증가하여 발생하는 문제를 설명하기 위해 만든 용어이다. 차원의 저주는 벨만 방정식의 수치 해법에서 가치 함수의 상태 변수가 증가하면 계산량이 폭발적으로 증가하는 문제를 야기한다.

예를 들어, 단위 구간에 0.01 간격으로 표본점을 설정하면 100개의 표본점이 필요하다. 그러나 10차원 단위 하이퍼큐브에서 같은 간격으로 표본점을 설정하면 10²⁰개의 표본점이 필요하다. 이는 10차원 단위 초입방체가 단위 구간보다 10¹⁸배 더 크다고 볼 수 있다는 의미이다.

3.5. 벨만-포드 알고리즘

벨만-포드 알고리즘은 레이블 수정 알고리즘이라고도 불리며, 간선 가중치가 음수일 수 있는 가중치 유향 그래프에서 단일 시작점 최단 경로를 계산하는 알고리즘이다. 다익스트라 알고리즘도 같은 문제를 해결하지만 실행 시간이 더 짧으며, 간선 가중치가 음수가 아니어야 한다. 음의 가중치도 허용하는 문제에서는 벨만-포드 알고리즘을 사용한다.

4. 수상 경력

* 1970년 딕슨상 과학 부문, 노버트 위너 응용수학상을 수상하였다.
* 1976년 존 폰 노이만 이론상을 수상하였다.
* 1979년 IEEE 명예 훈장을 수상하였다. 수상 이유는 "결정 과정 및 제어 시스템 이론에 대한 기여, 특히 동적 프로그래밍의 창조 및 응용"이다.

5. 저서

벨만은 평생 동안 39권의 책을 출판했다. 뇌 수술로 인한 합병증에도 불구하고 마지막 11년 동안 100편이 넘는 논문을 발표했다. 주요 저서는 다음과 같다.

* 1957년 동적 프로그래밍(Dynamic Programming)
* 1959년 미분 방정식 해의 점근적 거동(Asymptotic Behavior of Solutions of Differential Equations)
* 1961년 부등식 입문(An Introduction to Inequalities)
* 1961년 적응 제어 프로세스: 가이드 투어(Adaptive Control Processes: A Guided Tour)
* 1962년 응용 동적 프로그래밍(Applied Dynamic Programming)
* 1967년 제어 프로세스 수학 이론 입문(Introduction to the Mathematical Theory of Control Processes)
* 1970년 알고리즘, 그래프 및 컴퓨터(Algorithms, Graphs and Computers)
* 1972년 동적 프로그래밍과 편미분 방정식(Dynamic Programming and Partial Differential Equations)
* 1982년 스케줄링과 응용의 수학적 측면(Mathematical Aspects of Scheduling and Applications)
* 1983년 의학의 수학적 방법(Mathematical Methods in Medicine)
* 1984년 편미분 방정식(Partial Differential Equations)
* 1984년 허리케인의 눈: 자서전(Eye of the Hurricane: An Autobiography), World Scientific Publishing.
* 1985년 인공 지능(Artificial Intelligence)
* 1995년 현대 초등 미분 방정식(Modern Elementary Differential Equations)
* 1997년 행렬 분석 입문(Introduction to Matrix Analysis)
* 2003년 동적 프로그래밍(Dynamic Programming)
* 2003년 수학, 공학 및 물리학의 섭동 기법(Perturbation Techniques in Mathematics, Engineering and Physics)
* 2003년 미분 방정식 안정성 이론(Stability Theory of Differential Equations) (원래 1953년에 출판)