정보 이론

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요
2. 역사적 배경
- 2.1. 한국 정보이론의 발전
3. 정보의 수학적 모델
4. 정보 이론의 응용
5. 한국의 정보 이론 연구 현황
6. 한계점 및 과제
참조

1. 개요

정보 이론은 1948년 클로드 섀넌에 의해 창시된 분야로, 통신의 수학적 모델을 제시하며 정보의 정량화 및 효율적인 전송에 대한 연구를 수행한다. 확률론과 통계학에 기반하여 소스 코딩, 채널 코딩, 부호율-변형 이론 등의 분야를 포함하며, 엔트로피와 상호 정보량과 같은 개념을 통해 정보의 양을 측정한다. 정보 이론은 통신 시스템, 데이터 압축, 암호학 등 다양한 분야에 응용되며, 5G, 6G 통신 기술, 데이터 압축 기술, 암호 시스템 설계, 지진파 탐사, 인지 과학 등 광범위한 분야에 걸쳐 활용된다.

2. 역사적 배경

클로드 섀넌이 1948년 7월과 10월 ''벨 시스템 기술 저널''에 발표한 "통신의 수학적 이론"은 정보 이론 분야를 확립하고 즉시 전 세계적인 주목을 받게 한 획기적인 사건이었다. 역사학자 제임스 글릭은 이 논문을 1948년의 가장 중요한 발전으로 평가하며, 트랜지스터보다 "훨씬 더 심오하고 근본적"이라고 언급했다. 섀넌은 "정보 이론의 아버지"로 알려지게 되었다.^[23]^[24]

이 논문 이전에, 벨 연구소에서는 제한적인 정보 이론적 아이디어들이 개발되었는데, 모두 암묵적으로 동일한 확률의 사건을 가정했다. 해리 나이퀴스트의 1924년 논문 "전신 속도에 영향을 미치는 특정 요인"에는 통신 시스템으로 전송할 수 있는 "지능"과 "회선 속도"를 정량화하는 이론적 부분이 포함되어 있다. 랄프 하틀리의 1928년 논문 "정보의 전송"은 "정보"라는 단어를 측정 가능한 양으로 사용하며, 수신자가 다른 기호 시퀀스와 구별할 수 있는 능력을 반영하여 정보를 정량화했다. 앨런 튜링은 1940년에 독일 제2차 세계 대전 에니그마 암호의 해독에 대한 통계적 분석의 일부로 유사한 아이디어를 사용했다.

섀넌의 논문에서 섀넌은 정보 이론의 기초가 되는 통신의 질적 및 양적 모델을 통계적 프로세스로 처음 소개하며 다음과 같이 단언했다.

:"''통신의 근본적인 문제는 한 지점에서 다른 지점에서 선택된 메시지를 정확하게 또는 대략적으로 재현하는 것이다.''"

이와 함께 다음 아이디어가 제시되었다.

소스의 정보 엔트로피 및 중복성과 소스 코딩 정리를 통한 관련성
상호 정보 및 잡음 채널의 채널 용량, 잡음 채널 코딩 정리에 의해 제공되는 완벽한 무손실 통신의 약속 포함
섀넌-하틀리 법칙의 실질적인 결과는 가우시안 채널의 채널 용량에 대한 것
비트 — 정보의 가장 기본적인 단위를 보는 새로운 방식

2. 1. 한국 정보이론의 발전

3. 정보의 수학적 모델

정보 이론은 확률론과 통계학에 기초한 수학적 이론이다. 정보 이론은 크게 소스 코딩 이론, 채널 코딩 이론, 부호율-변형 이론의 세 가지 분야로 나뉜다.

정보의 가장 중요한 정량적 척도는 엔트로피와 상호 정보량이다. 엔트로피는 확률 변수의 정보 척도이며, 메시지의 압축 용이성을 나타낸다. 상호 정보량은 두 확률 변수 사이에 공통된 정보의 척도이며, 통신 채널에서의 통신 속도를 결정하는 데 사용된다.

다음 식에 나오는 로그의 밑은, 정보 엔트로피의 단위를 결정하는 데 사용된다. 현재 가장 일반적으로 사용되는 정보의 단위는 비트이며, 2를 밑으로 하는 로그를 기반으로 한다. 따라서 일반적으로 밑은 2로 간주된다. 또한, 일반적으로 정의되지 않는 $0 \log 0 \,$ 를 0으로 한다.

부호 이론
신호 탐지 이론
피셔 정보량
콜모고로프 복잡성
정보량(엔트로피)
중복성 (정보 이론)
통신로
정보원
전달 정보량
차분 엔트로피
쿨백-라이블러 정보량
통신로 용량
인코더
디코더

3. 1. 정보량과 엔트로피

정보 이론은 확률론과 통계를 기반으로 하며, 정보량은 일반적으로 비트 단위로 설명된다.^[26] 정보 이론은 확률 변수와 관련된 분포의 정보 척도에 대해 다룬다. 가장 중요한 척도 중 하나는 엔트로피이며, 이는 단일 확률 변수의 정보 척도를 정량화할 수 있게 해준다.^[26]

로그 밑수의 선택은 사용되는 정보 엔트로피의 단위를 결정한다. 정보의 일반적인 단위는 이진 로그를 기반으로 하는 비트 또는 섀넌이다. 다른 단위로는 자연 로그를 기반으로 하는 nat과 상용 로그를 기반으로 하는 데시반이 있다.^[26]

확률 질량 함수를 기반으로, 비트 단위(기호당)의 섀넌 엔트로피 ''H''는 다음과 같이 주어진다.

:

H = - \sum_{i} p_i \log_2 (p_i)

여기서 ''p_i''는 소스 기호의 ''i''-번째 가능한 값의 발생 확률이다. 이 방정식은 밑이 2인 로그를 사용하므로 엔트로피를 "비트"(기호당) 단위로 제공하며, 섀넌이라고 불리기도 한다.

직관적으로, 이산 확률 변수 ''X''의 엔트로피 ''H_X''는 분포만 알려져 있을 때 ''X''의 값과 관련된 "불확실성"의 양을 측정한 것이다.

독립 및 동일 분포 (iid)인 ''N''개의 기호 시퀀스를 방출하는 소스의 엔트로피는 ''N'' ⋅ ''H'' 비트(''N''개의 기호의 메시지당)이다. 소스 데이터 기호가 동일하게 분포되어 있지만 독립적이지 않은 경우, 길이 ''N''인 메시지의 엔트로피는 ''N'' ⋅ ''H''보다 작아진다.

만약 1000 비트(0과 1)를 전송하고, 이 비트 각각의 값이 전송 전에 수신자에게 알려져 있다면, 어떠한 정보도 전송되지 않는 것이 분명하다. 하지만, 만약 각 비트가 0 또는 1일 확률이 독립적으로 동일하다면, 1000 섀넌의 정보(더 흔히 비트라고 불림)가 전송된 것이다. 이 두 극단 사이에서 정보는 다음과 같이 정량화될 수 있다.

:

H(X) = \mathbb{E}_{X} [I(x)] = -\sum_{x \in \mathbb{X}} p(x) \log p(x).

(여기서, ''I''(''x'')는 개별 메시지의 엔트로피 기여도인 자기 정보이고,

\mathbb{E}_X

는 기댓값이다.) 엔트로피의 한 속성은 메시지 공간의 모든 메시지가 동일한 확률을 가질 때, 즉 가장 예측 불가능할 때, 최대화된다는 것이다.

두 가지 결과를 가진 확률 변수에 대한 정보 엔트로피의 특수한 경우는 이진 엔트로피 함수이며, 일반적으로 로그 밑 2를 사용하므로 섀넌(Sh)을 단위로 갖는다.

:

H_{\mathrm{b}}(p) = - p \log_2 p - (1-p)\log_2 (1-p).

두 개의 이산 확률 변수 ''X''와 ''Y''의 결합 엔트로피는 단순히 그들의 쌍(''X'', ''Y'')의 엔트로피이다. 만약 ''X''와 ''Y''가 통계적 독립이면, 그들의 결합 엔트로피는 개별 엔트로피의 합과 같다.

:

H(X, Y) = \mathbb{E}_{X,Y} [-\log p(x,y)] = - \sum_{x, y} p(x, y) \log p(x, y) \,

조건부 엔트로피 또는 임의 변수 ''Y''가 주어졌을 때의 ''조건부 불확실성''(''X''에 대한 ''Y''의 ''모호성''이라고도 함)은 ''Y''에 대한 평균 조건부 엔트로피이다.

:

H(X|Y) = \mathbb E_Y [H(X|y)] = -\sum_{y \in Y} p(y) \sum_{x \in X} p(x|y) \log p(x|y) = -\sum_{x,y} p(x,y) \log p(x|y).

조건부 엔트로피의 기본적인 속성은 다음과 같다.

:

H(X|Y) = H(X,Y) - H(Y) .\,

''상호 정보량''은 한 확률 변수를 관측함으로써 다른 확률 변수에 대해 얻을 수 있는 정보량을 측정한다. ''Y''에 대한 ''X''의 상호 정보량은 다음과 같이 주어진다.

:

I(X;Y) = \mathbb{E}_{X,Y} [SI(x,y)] = \sum_{x,y} p(x,y) \log \frac{p(x,y)}{p(x)\, p(y)}

여기서 SI (''S''pecific mutual Information, 특정 상호 정보량)는 점별 상호 정보량이다.

상호 정보량의 기본 속성은 다음과 같다.

:

I(X;Y) = H(X) - H(X|Y).\,

즉, ''Y''를 알면 ''Y''를 모르는 경우에 비해 ''X''를 인코딩하는 데 평균 ''I''(''X''; ''Y'') 비트를 절약할 수 있다.

상호 정보량은 대칭 함수이다.

:

I(X;Y) = I(Y;X) = H(X) + H(Y) - H(X,Y).\,

정보 ''율''은 심볼당 평균 엔트로피이다. 메모리 없는 소스의 경우, 이것은 각 심볼의 엔트로피에 불과하지만, 정상 확률 과정의 경우 다음과 같다.

:

r = \lim_{n \to \infty} H(X_n|X_{n-1},X_{n-2},X_{n-3}, \ldots);

반드시 정상적이지 않은 프로세스의 더 일반적인 경우, ''평균율''은 다음과 같다.

:

r = \lim_{n \to \infty} \frac{1}{n} H(X_1, X_2, \dots X_n);

3. 2. 통신로 용량

채널 코딩 이론은 주어진 채널에 얼마나 많은 데이터를 보낼 수 있는가를 다루는 분야이다. 어떤 채널로 보낼 수 있는 정보의 최대량을 채널 용량이라고 한다. 채널 용량은 입력 신호와 출력 신호의 상호 정보량에 의해 정의된다.

채널을 통한 통신은 정보 이론의 주요 동기 부여 요인이다. 그러나 채널은 종종 신호를 정확하게 재구성하지 못하고, 잡음, 침묵, 신호 손상 등으로 인해 품질이 저하된다.

이산 채널을 통한 통신을 가정할 때, ''X''는 전송 메시지 공간, ''Y''는 수신 메시지 공간을 나타낸다. ''p''(''y''|''x'')를 ''X''가 주어졌을 때 ''Y''의 조건부 확률 분포 함수라고 하면, 이는 통신 채널의 고유한 속성으로 간주된다. 채널과 메시지의 주변 분포 ''f''(''x'')에 의해 ''X''와 ''Y''의 결합 분포가 결정된다. 이러한 제약 조건에서 정보 전송률을 최대화하는 척도는 상호 정보량이며, 이를 최대화한 것이 채널 용량이다.

:

C = \max_{f} I(X;Y).\!

섀넌의 통신로 부호화 정리에 따르면, 정보 전송률 ''R'' < ''C''이고 코딩 오류 ''ε'' > 0일 때, 충분히 큰 ''N''에 대해 길이 ''N'' 및 전송률 ≥ R의 코드가 존재하고 최대 블록 오류 확률이 ≤ ''ε''인 디코딩 알고리즘이 존재한다. 즉, 임의로 작은 블록 오류로 전송하는 것이 가능하다. 반면 ''R'' > ''C''이면 임의로 작은 블록 오류로 전송하는 것은 불가능하다.

채널 코딩은 채널 용량에 가까운 전송률로 작은 코딩 오류로 잡음 채널을 통해 데이터를 전송하는 최적의 코드를 찾는 것이다.

가우시안 잡음의 영향을 받는 연속 시간 아날로그 통신 채널은 섀넌-하트리 정리를 따른다.

이진 대칭 채널(BSC)은 입력 비트를 확률 ''p''로 뒤집는 채널로, 용량은 채널 사용당 비트이다. (''H''_b는 이진 엔트로피 함수)

이진 삭제 채널(BEC)은 삭제 확률 ''p''를 갖는 채널로, 가능한 출력은 0, 1, 삭제(e)이다. BEC의 용량은 채널 사용당 1 − ''p'' 비트이다.

3. 3. 부호화 이론

부호화 이론은 정보 이론의 응용 분야로, 정보를 효율적으로 전송하고 오류를 정정하기 위한 부호를 설계하는 방법을 연구한다.^[35] 부호화 이론은 크게 데이터 압축(소스 부호화)과 오류 정정 코드(채널 부호화)로 나뉜다.^[35]

데이터 압축은 정보의 중복성을 제거하여 데이터 크기를 줄이는 기술이며, 무손실 데이터 압축과 손실 데이터 압축으로 구분된다.^[35] 채널 코딩(오류 정정)은 전송 과정에서 발생하는 오류를 정정하기 위해 데이터에 중복성을 추가하는 기술이다.^[35]

CD-R의 읽을 수 있는 표면에 긁힌 자국. 음악 및 데이터 CD는 오류 정정 코드를 사용하여 코딩되므로 오류 감지 및 수정을 통해 약간의 긁힘이 있어도 읽을 수 있다.

어떤 채널로 보낼 수 있는 정보의 최대량을 채널 용량이라고 하며, 채널 용량은 입력 신호와 출력 신호의 상호 엔트로피에 의해 정의된다.^[35] 섀넌의 채널 코딩 정리는 주어진 채널 용량보다 낮은 전송률로 통신할 경우, 오류 없이 정보를 전송할 수 있는 부호가 존재함을 보장한다.

연속적인 메시지를 생성하는 모든 프로세스는 정보의 소스로 간주될 수 있다.^[35] 정보 ''율''은 심볼당 평균 엔트로피이다.^[35] 정보 소스의 율은 그 중복성과 압축할 수 있는 정도와 관련이 있으며, 소스 코딩의 주제이다.

부호 이론을 압축과 전송으로 나눈 것은 정보 전송 정리, 즉 소스-채널 분리 정리에 의해 정당화된다. 그러나 이러한 정리는 한 명의 전송 사용자가 한 명의 수신 사용자에게 통신하려는 상황에서만 적용된다. 둘 이상의 송신기(다중 액세스 채널), 둘 이상의 수신기(브로드캐스트 채널) 등이 있는 경우에는 압축 후 전송이 더 이상 최적이 아닐 수 있다.

4. 정보 이론의 응용

정보 이론은 다양한 분야에 응용된다.

; 통신 시스템

: 정보 이론은 유무선 통신 시스템 설계의 핵심적인 이론적 기반을 제공한다. 5G, 6G와 같은 차세대 이동통신 시스템에서는 더 높은 전송 속도와 더 낮은 지연 시간을 달성하기 위해 정보 이론의 다양한 개념과 기술이 활용되고 있다. MIMO(다중 입출력), OFDM(직교 주파수 분할 다중화) 등 현대 통신 기술은 정보 이론의 원리에 기반하여 설계되었다.

: 부호 이론은 정보 이론 분야에서 가장 중요하고 직접적인 응용 분야이다. 그 영역은 정보원 부호화 이론(데이터 압축)과 통신로 부호화 이론(오류 검출 및 정정)으로 크게 나뉜다. 데이터의 통계적 기술을 사용하여 부호화에 필요한 비트 수(정보원의 정보 엔트로피)를 정량화한다.

: 데이터 압축(정보원 부호화)은 무손실 압축과 손실 압축으로 분류된다. 오류 정정 부호(통신로 부호화)는 데이터 압축을 통해 가능한 한 중복성을 제거하는 한편, 오류 정정 부호를 부여하여 올바른 성질의 중복성을 도입함으로써, 노이즈가 있는 통신로에서 데이터를 효율적이고 충실하게 전송할 수 있도록 한다.

: 압축과 전송에 관한 부호 이론은 정보 이론에 의해 뒷받침된다. 그러나 이는 1대1 통신에 한해서이다. 발신자가 여러 명인 경우(다중 접속 통신로), 수신자가 여러 명인 경우(동보 통신로), 중개자가 있는 경우(릴레이 통신로) 또는 이들의 복합인 컴퓨터 네트워크 등에서 전송 후 압축은 최적이 아닐 수 있다. 이러한 멀티 에이전트 통신 모델을 다루는 것은 네트워크 정보 이론(Network Information Theory)이다.

; 데이터 압축

: 정보 레이트는 기호당 평균 엔트로피이다. 메모리가 없는 정보원에서 정보 레이트는 단순히 각 기호의 엔트로피를 나타내지만, 일반적으로 이전 메시지 그룹에서 얻어진 단위 시간당 기대되는 조건부 엔트로피로 표현된다. 정보원의 정보 레이트는 중복성과 압축의 정도와 관계한다.

: 부호 이론은 정보 이론 분야에서 가장 중요하고 직접적인 응용 분야이며, 정보원 부호화(데이터 압축)와 통신로 부호화(오류 검출 및 정정)로 크게 나뉜다. 데이터의 통계적 기술을 사용하여 부호화에 필요한 비트 수(정보원의 정보 엔트로피)를 정량화한다.

: 데이터 압축(정보원 부호화) 방식은 무손실 압축과 손실 압축으로 분류된다. 무손실 압축은 데이터의 정확한 복원을 보장하고 손실 압축은 왜곡 함수에 의해 지정된 충실도 수준으로 데이터를 재현하는데 필요한 비트 수를 할당한다. 이러한 정보 이론의 하위 집합을 레이트 왜곡 이론이라고 부른다.

; 암호학

: 정보 이론은 암호학적 보안의 이론적 기반을 제공하며, 안전한 암호 시스템 설계에 활용된다. 튜링의 정보 단위인 밴은 독일의 에니그마 코드를 해독하고 유럽에서의 제2차 세계 대전 종전을 앞당긴 울트라 프로젝트에 사용되었다. 섀넌은 평문의 중복성을 바탕으로, 고유한 해독을 보장하는 데 필요한 최소한의 암호문 양을 나타내는 유일 거리라는 중요한 개념을 정의했다.

: 정보 이론은 비밀 유지가 쉽지 않음을 보여준다. 무차별 대입 공격은 비대칭 키 알고리즘 또는 블록 암호와 같은 대칭 키 알고리즘 기반 시스템을 깨뜨릴 수 있다. 정보 이론적 보안을 갖는 일회용 패드는 이러한 공격에 취약하지 않다. 일회용 패드는 평문과 암호문 간의 비조건부 상호 정보가 0으로 유지되어 안전한 통신을 보장한다. 즉, 도청자는 암호문을 알아도 평문에 대한 정보를 얻을 수 없다. 그러나 베노나 프로젝트에서처럼 일회용 패드도 부적절하게 사용되면 해독될 수 있다.

: 섀넌의 정보 이론은 첩보 기관에서 기밀 정보를 유지하고 적의 정보를 획득하는 데 응용된다. 섀넌-하틀리 정리는 기밀 정보 유출을 완전히 막는 것은 불가능하며, 누설 속도를 늦출 수 있을 뿐임을 보여준다. 정보에 접근하는 사람이 많을수록 정보의 중복성이 증가하여 기밀 유지가 더욱 어려워진다.

; 기타 응용 분야

: 정보 이론은 지진파 석유 탐사 분야에서 초기 상업적 응용 사례를 보였다. 이 연구를 통해 원치 않는 잡음을 제거하고 원하는 지진파 신호를 분리하는 것이 가능해졌다.^[39] 디지털 신호 처리와 결합하여 이전 아날로그 방식보다 해상도와 이미지 선명도를 크게 향상시켰다.^[39]

: 찰스 샌더스 퍼스는 기호학 저작에서 정보 이론을 창시했다고 평가받는다.^[40]^[41] 도데 나우타는 기호 정보 이론을 "''코딩, 필터링 및 정보 처리의 내부 과정''"을 연구하는 것이라고 정의했다.^[40] 움베르토 에코와 같은 기호학자들은 정보 이론의 개념을 사용하여 이데올로기를 설명하기도 했다.^[42]

: 양적 정보 이론적 방법은 인지 과학에서 신경 정보의 통합 과정을 분석하는 데 적용되어 왔다.^[43] 제럴드 에델만과 줄리오 토노니의 기능적 클러스터링 모델, 동적 핵심 가설(DCH),^[44] 통합 정보 이론(IIT),^[45]^[46]^[47] 칼 J. 프리스턴의 자유 에너지 원리(FEP), 베이즈적 뇌 가설^[48]^[49]^[50]^[51]^[52] 등이 정보 이론적 척도로 활용된다.

: 외계 지적 생명체 탐사(SETI), 블랙홀, 생물정보학, 도박 분야에도 정보 이론이 적용된다. GPS의 부호화 방식에서 신호 은폐, 단거리 비밀 통신, 스테가노그래피, 스펙트럼 확산 통신 등도 정보 이론의 응용 예시이다. 그 외에도 도박, 투자, 인지심리학, 블랙홀과 정보의 역설, 생물정보학, 음악 등 다양한 분야에서 활용된다.

: 그 외에, 능동 네트워킹, 암호 해독, 암호학, 사이버네틱스, 열역학 및 정보 이론의 엔트로피, 도박, 정보, 지진 탐사, 암호 이론, 첩보 활동 등에도 응용된다.

4. 1. 통신 시스템

정보 이론은 유무선 통신 시스템 설계의 핵심적인 이론적 기반을 제공한다. 5G, 6G와 같은 차세대 이동통신 시스템에서는 더 높은 전송 속도와 더 낮은 지연 시간을 달성하기 위해 정보 이론의 다양한 개념과 기술이 활용되고 있다. MIMO(다중 입출력), OFDM(직교 주파수 분할 다중화) 등 현대 통신 기술은 정보 이론의 원리에 기반하여 설계되었다.

부호 이론은 정보 이론 분야에서 가장 중요하고 직접적인 응용 분야이다. 그 영역은 정보원 부호화 이론(데이터 압축)과 통신로 부호화 이론(오류 검출 및 정정)으로 크게 나뉜다. 데이터의 통계적 기술을 사용하여 부호화에 필요한 비트 수(정보원의 정보 엔트로피)를 정량화한다.

데이터 압축(정보원 부호화)은 무손실 압축과 손실 압축으로 분류된다. 오류 정정 부호(통신로 부호화)는 데이터 압축을 통해 가능한 한 중복성을 제거하는 한편, 오류 정정 부호를 부여하여 올바른 성질의 중복성을 도입함으로써, 노이즈가 있는 통신로에서 데이터를 효율적이고 충실하게 전송할 수 있도록 한다.

압축과 전송에 관한 부호 이론은 정보 이론에 의해 뒷받침된다. 그러나 이는 1대1 통신에 한해서이다. 발신자가 여러 명인 경우(다중 접속 통신로), 수신자가 여러 명인 경우(동보 통신로), 중개자가 있는 경우(릴레이 통신로) 또는 이들의 복합인 컴퓨터 네트워크 등에서 전송 후 압축은 최적이 아닐 수 있다. 이러한 멀티 에이전트 통신 모델을 다루는 것은 네트워크 정보 이론(Network Information Theory)이다.

4. 2. 데이터 압축

정보 레이트는 기호당 평균 엔트로피이다. 메모리가 없는 정보원에서 정보 레이트는 단순히 각 기호의 엔트로피를 나타내지만, 일반적으로 이전 메시지 그룹에서 얻어진 단위 시간당 기대되는 조건부 엔트로피로 표현된다. 정보원의 정보 레이트는 중복성과 압축의 정도와 관계한다.

부호 이론은 정보 이론 분야에서 가장 중요하고 직접적인 응용 분야이며, 정보원 부호화(데이터 압축)와 통신로 부호화(오류 검출 및 정정)로 크게 나뉜다. 데이터의 통계적 기술을 사용하여 부호화에 필요한 비트 수(정보원의 정보 엔트로피)를 정량화한다.

데이터 압축(정보원 부호화) 방식은 무손실 압축과 손실 압축으로 분류된다. 무손실 압축은 데이터의 정확한 복원을 보장하고 손실 압축은 왜곡 함수에 의해 지정된 충실도 수준으로 데이터를 재현하는데 필요한 비트 수를 할당한다. 이러한 정보 이론의 하위 집합을 레이트 왜곡 이론이라고 부른다.

4. 3. 암호학

정보 이론은 암호학적 보안의 이론적 기반을 제공하며, 안전한 암호 시스템 설계에 활용된다. 튜링의 정보 단위인 밴은 독일의 에니그마 코드를 해독하고 유럽에서의 제2차 세계 대전 종전을 앞당긴 울트라 프로젝트에 사용되었다. 섀넌은 평문의 중복성을 바탕으로, 고유한 해독을 보장하는 데 필요한 최소한의 암호문 양을 나타내는 유일 거리라는 중요한 개념을 정의했다.

정보 이론은 비밀 유지가 쉽지 않음을 보여준다. 무차별 대입 공격은 비대칭 키 알고리즘 또는 블록 암호와 같은 대칭 키 알고리즘 기반 시스템을 깨뜨릴 수 있다. 정보 이론적 보안을 갖는 일회용 패드는 이러한 공격에 취약하지 않다. 일회용 패드는 평문과 암호문 간의 비조건부 상호 정보가 0으로 유지되어 안전한 통신을 보장한다. 즉, 도청자는 암호문을 알아도 평문에 대한 정보를 얻을 수 없다. 그러나 베노나 프로젝트에서처럼 일회용 패드도 부적절하게 사용되면 해독될 수 있다.

섀넌의 정보 이론은 첩보 기관에서 기밀 정보를 유지하고 적의 정보를 획득하는 데 응용된다. 섀넌-하틀리 정리는 기밀 정보 유출을 완전히 막는 것은 불가능하며, 누설 속도를 늦출 수 있을 뿐임을 보여준다. 정보에 접근하는 사람이 많을수록 정보의 중복성이 증가하여 기밀 유지가 더욱 어려워진다.

4. 4. 기타 응용 분야

정보 이론은 지진파 석유 탐사 분야에서 초기 상업적 응용 사례를 보였다. 이 연구를 통해 원치 않는 잡음을 제거하고 원하는 지진파 신호를 분리하는 것이 가능해졌다.^[39] 디지털 신호 처리와 결합하여 이전 아날로그 방식보다 해상도와 이미지 선명도를 크게 향상시켰다.^[39]

찰스 샌더스 퍼스는 기호학 저작에서 정보 이론을 창시했다고 평가받는다.^[40]^[41] 도데 나우타는 기호 정보 이론을 "''코딩, 필터링 및 정보 처리의 내부 과정''"을 연구하는 것이라고 정의했다.^[40] 움베르토 에코와 같은 기호학자들은 정보 이론의 개념을 사용하여 이데올로기를 설명하기도 했다.^[42]

양적 정보 이론적 방법은 인지 과학에서 신경 정보의 통합 과정을 분석하는 데 적용되어 왔다.^[43] 제럴드 에델만과 줄리오 토노니의 기능적 클러스터링 모델, 동적 핵심 가설(DCH),^[44] 통합 정보 이론(IIT),^[45]^[46]^[47] 칼 J. 프리스턴의 자유 에너지 원리(FEP), 베이즈적 뇌 가설^[48]^[49]^[50]^[51]^[52] 등이 정보 이론적 척도로 활용된다.

외계 지적 생명체 탐사(SETI), 블랙홀, 생물정보학, 도박 분야에도 정보 이론이 적용된다. GPS의 부호화 방식에서 신호 은폐, 단거리 비밀 통신, 스테가노그래피, 스펙트럼 확산 통신 등도 정보 이론의 응용 예시이다. 그 외에도 도박, 투자, 인지심리학, 블랙홀과 정보의 역설, 생물정보학, 음악 등 다양한 분야에서 활용된다.

능동 네트워킹
암호 해독
암호학
사이버네틱스
열역학 및 정보 이론의 엔트로피
도박
정보
지진 탐사
암호 이론
첩보 활동

5. 한국의 정보 이론 연구 현황

6. 한계점 및 과제

참조

_[1] 논문 Claude Shannon: Biologist 2006
_[2] 논문 Information Theory Applications in Signal Processing 2019-07-03
_[3] 서적 Fractional Order Systems and Applications in Engineering https://books.google[...] Academic Press
_[4] 웹사이트 Claude Shannon: Tinkerer, Prankster, and Father of Information Theory https://spectrum.iee[...] 2024-11-08
_[5] 서적 Advanced Artificial Intelligence https://books.google[...] World Scientific Publishing 2011
_[6] 서적 Reimagining Businesses with AI https://books.google[...] Wiley 2020-10-20
_[7] 서적 Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach Springer Science
_[8] 서적 Spikes: Exploring the Neural Code The MIT press
_[9] 논문 Human vision is determined based on information theory 2016-11-03
_[10] 논문 Bayesian inference of phylogeny and its impact on evolutionary biology
_[11] 논문 Thomas D. Schneider], Michael Dean (1998) Organization of the ABCR gene: analysis of promoter and splice junction sequences http://alum.mit.edu/[...]
_[12] 논문 Information Theory and Statistical Mechanics http://bayes.wustl.e[...]
_[13] 논문 Method of information entropy for convergence assessment of molecular dynamics simulations 2020-10-05
_[14] 논문 Chain Letters and Evolutionary Histories http://sciamdigital.[...] 2008-03-11
_[15] 웹사이트 Some background on why people in the empirical sciences may want to better understand the information-theoretic methods http://aicanderson2.[...] 2010-06-23
_[16] 간행물 Music, Expectation, and Information Theory https://link.springe[...] Springer International Publishing 2024-09-19
_[17] 논문 Information Theory Concepts Applied to the Analysis of Rhythm in Recorded Music with Recurrent Rhythmic Patterns http://www.aes.org/e[...] 2019-04-05
_[18] 논문 New Prospects for Information Theory in Arts Research https://direct.mit.e[...] 2020
_[19] arXiv Universal evaluation and design of imaging systems using information estimation 2024
_[20] 논문 Applications of Information Theory in Solar and Space Physics 2019-02-01
_[21] 논문 Information theory and dimensionality of space 2020-11-26
_[22] 논문 The Use of Information Theory in Epistemology https://www.jstor.or[...] 1998
_[23] 웹사이트 Claude Shannon: Tinkerer, Prankster, and Father of Information Theory https://spectrum.iee[...] 2023-09-30
_[24] 잡지 The Forgotten Father of the Information Age https://www.newyorke[...] 2023-09-30
_[25] 웹사이트 How Claude Shannon Invented the Future https://www.quantama[...] 2023-09-30
_[26] 웹사이트 Information Theory in Computer Science https://www.cs.princ[...] 2011-09-19
_[27] Citation Proc. 1990 Intl. Symp. on Info. Th. and its Applications 1990
_[28] 논문 Finite State Channels With Time-Invariant Deterministic Feedback 2009-02
_[29] 논문 Capacity results for the discrete memoryless network 2003-01
_[30] 논문 Interpretations of Directed Information in Portfolio Theory, Data Compression, and Hypothesis Testing 2011-06
_[31] 논문 Source Coding When the Side Information May Be Delayed 2013-06
_[32] 논문 Directed Information on Abstract Spaces: Properties and Variational Equalities 2016-08
_[33] 논문 LQG Control With Minimum Directed Information: Semidefinite Programming Approach http://resolver.tude[...] 2018-01
_[34] 논문 Analogy between gambling and measurement-based work extraction 2016-04-20
_[35] 서적 Digital Compression for Multimedia: Principles and Standards https://books.google[...] Morgan Kaufmann
_[36] 논문 Finite State Channels With Time-Invariant Deterministic Feedback 2009-02
_[37] 논문 Reference frames, superselection rules, and quantum information 2007-04
_[38] 서적 Quantum Theory: Reconsideration of Foundations Växjö University Press, Växjö, Sweden
_[39] 논문 The corporation and innovation
_[40] 서적 The Meaning of Information Mouton 1972
_[41] 논문 Charles S. Peirce's theory of information: a theory of the growth of symbols and of knowledge https://edisciplinas[...] 2012-01
_[42] 간행물 Semiotics of ideology https://kobra.uni-ka[...] Semiotica 1981
_[43] 서적 Cognitive Science: Integrative Synchronization Mechanisms in Cognitive Neuroarchitectures of the Modern Connectionism CRC Press
_[44] 서적 A Universe of Consciousness: How Matter Becomes Imagination Basic Books
_[45] 논문 Measuring information integration
_[46] 논문 An information integration theory of consciousness
_[47] 서적 Encyclopedia of Neuroscience Elsevier
_[48] 논문 Free-energy and the brain
_[49] 논문 The free-energy principle: a unified brain theory
_[50] 논문 Perception and self-organized instability
_[51] 논문 Life as we know it
_[52] 논문 The Markov blankets of life: autonomy, active inference and the free energy principle
_[53] 논문 Information theory, animal communication, and the search for extraterrestrial intelligence 2011-02

본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com