퍼플렉시티

3. 확률 모델의 퍼플렉시티

알 수 없는 확률 분포 ''p''를 모델링하기 위해, ''p''에서 추출된 훈련 샘플을 기반으로 확률 모델 ''q''를 제안할 수 있다. 이 모델 ''q''의 성능은, ''p''에서 추출된 별도의 테스트 샘플 ''x''₁, ''x''₂, ..., ''x_N''을 얼마나 잘 예측하는지로 평가한다. 모델 ''q''의 퍼플렉시티(Perplexity)는 다음과 같이 정의된다.

:$b^\{-\; \backslash frac\{1\}\{N\}\; \backslash sum\_\{i=1\}^N\; \backslash log\_b\; q(x\_i)\}\; =\; \backslash left(\backslash prod\_i\; q(x\_i)\; \backslash right)^\{-1/N\}$

여기서 $b$는 보통 2를 사용한다. 더 좋은 모델 ''q''는 테스트 샘플의 각 이벤트 ''x_i''에 더 높은 확률 ''q''(''x_i'')를 할당하는 경향이 있다. 따라서 좋은 모델일수록 테스트 샘플에 대해 덜 "놀라게" 되며, 결과적으로 퍼플렉시티 값이 낮아진다. 이는 더 나은 모델이 테스트 데이터에 대해 더 높은 우도를 갖는다는 의미와 같다.

퍼플렉시티 정의 식의 지수 부분 $-\; \backslash tfrac\{1\}\{N\}\; \backslash sum\_\{i=1\}^N\; \backslash log\_b\; q(x\_i)$는 여러 방식으로 해석될 수 있다.

첫째, 이는 모델 ''q''에 기반한 최적의 압축 코드를 사용할 경우, 테스트 샘플의 이벤트 ''x_i'' 하나를 표현하는 데 필요한 평균 비트 수로 볼 수 있다. 퍼플렉시티가 낮은 모델은 테스트 샘플을 더 효과적으로 압축할 수 있는데, 이는 ''q''(''x_i'')가 높을수록 평균적으로 각 테스트 요소를 인코딩하는 데 더 적은 비트가 필요하기 때문이다.

둘째, 이 지수는 교차 엔트로피로도 해석될 수 있다.

:$H(\backslash tilde\{p\},q)\; =\; -\backslash sum\_x\; \backslash tilde\{p\}(x)\; \backslash log\_b\; q(x)$

여기서 $\backslash tilde\{p\}$는 테스트 샘플의 경험적 분포를 나타낸다. 즉, 크기가 ''N''인 테스트 샘플에서 특정 값 ''x''가 ''n''번 나타났다면 $\backslash tilde\{p\}(x)\; =\; n/N$이다.

쿨백-라이블러 발산의 정의에 따르면, 교차 엔트로피 $H(\backslash tilde\{p\},q)$는 $H(\backslash tilde\; p)\; +\; D\_\{KL\}(\backslash tilde\; p\; \backslash |\; q)$와 같다. 여기서 $H(\backslash tilde\; p)$는 경험적 분포의 엔트로피이고 $D\_\{KL\}(\backslash tilde\; p\; \backslash |\; q)$는 $\backslash tilde\; p$와 $q$ 사이의 KL 발산이다. KL 발산은 항상 0 이상이므로($D\_\{KL\}(\backslash tilde\; p\; \backslash |\; q)\; \backslash ge\; 0$), 교차 엔트로피는 $H(\backslash tilde\; p)$보다 크거나 같다($H(\backslash tilde\{p\},q)\; \backslash ge\; H(\backslash tilde\; p)$). 따라서 퍼플렉시티는 모델 ''q''가 테스트 샘플의 경험적 분포 $\backslash tilde\; p$와 같을 때, 즉 $q\; =\; \backslash tilde\; p$일 때 최소값을 갖는다.

4. 토큰당 퍼플렉시티

자연어 처리(NLP) 분야에서 '''코퍼스'''는 텍스트나 문서의 구조화된 모음을 의미하며, '''언어 모델'''은 텍스트 전체 또는 문서에 대한 확률 분포이다. 이 분야에서는 모델의 성능을 평가하기 위해 텍스트의 길이로 정규화한 '''토큰당 퍼플렉시티'''(perplexity per token)라는 척도를 더 일반적으로 사용한다. 여기서 토큰은 단어 또는 더 자주 사용되는 하위 단어(subword)를 의미할 수 있다.

토큰당 퍼플렉시티는 코퍼스 $s\_1,\; ...,\; s\_n$ 내 $n$개의 문서와 총 $N$개의 토큰이 있을 때, 언어 모델 $q$에 대해 다음과 같이 정의된다:

$$\backslash left(\backslash prod\_\{i=1\}^n\; q(s\_i)\; \backslash right)^\{-1/N\}$$

이 척도는 텍스트의 길이($N$)로 전체 퍼플렉시티를 정규화하기 때문에, 길이가 다른 텍스트나 서로 다른 모델 간의 성능을 비교하는 데 유용하다.

예를 들어, 어떤 언어 모델이 특정 코퍼스의 평균적인 텍스트 ''x_i''에 대해 $2^\{-190\}$의 확률을 부여한다고 가정해 보자. 이는 모델의 퍼플렉시티가 텍스트당 2¹⁹⁰임을 의미한다. 그러나 NLP에서는 일반적으로 텍스트의 길이로 정규화한다. 만약 테스트 샘플의 길이가 1,000개의 토큰이고, 이를 토큰당 평균 7.95 비트로 부호화할 수 있다면, 모델의 토큰당 퍼플렉시티는 2^7.95 ≈ 247로 계산된다. 이는 모델이 테스트 데이터의 각 토큰을 예측할 때 평균적으로 247개의 가능한 선택지 중에서 하나를 고르는 것과 같은 수준의 불확실성을 가진다는 의미이다.

언어 모델의 성능을 평가하는 또 다른 표준 지표로는 단어 오류율(Word Error Rate, WER)이 있다. WER은 주로 음성 인식 작업에서 사용되며, 잘못 인식된 단어(삭제, 삽입, 대체)의 비율을 측정한다. 반면, 토큰당 퍼플렉시티는 제안된 모델 ''m''이 실제 데이터의 분포 ''p''와 얼마나 유사한지를 평가하는 정보 이론적 척도이다. 이는 테스트 세트 ''T''에 대한 모델의 (기하) 평균 확률의 역수로 계산할 수 있으며, 수식은 다음과 같다.

$PPL(T)\; =\; \backslash sqrt[N]\{\backslash frac\{1\}\{m(T)\}\}\; =\; 2^\{-\backslash frac\{1\}\{N\}\; \backslash log\_2\backslash big(m(T)\backslash big)\}$

여기서 ''N''은 테스트 세트 ''T''의 총 토큰 수이다. 이 식은 교차 엔트로피 $H(p;m)\; =\; -\backslash frac\{1\}\{N\}\; \backslash log\_2\backslash big(m(T)\backslash big)$를 지수화한 값으로 볼 수 있다.

4. 1. 브라운 코퍼스

4. 2. 최근 언어 모델의 발전

참조

_[1] 논문 Perplexity—a measure of the difficulty of speech recognition tasks 1977
_[2] 간행물 What Makes My Model Perplexed? A Linguistic Investigation on Neural Language Models Perplexity https://aclanthology[...] 2023-08-24
_[3] 논문 Testing the correlation of word error rate and perplexity https://doi.org/10.1[...] 2002
_[4] 논문 Evaluation Metrics For Language Models https://doi.org/10.1[...] 2018
_[5] 논문 An Estimate of an Upper Bound for the Entropy of English https://www.cs.cmu.e[...] 2007-02-07
_[6] 문서 Exploring the limits of language modeling https://arxiv.org/ab[...] 2016
_[7] 문서 On the predictive power of neural language models for human real-time comprehension behavior https://arxiv.org/ab[...] 2020
_[8] 논문 An Estimate of an Upper Bound for the Entropy of English https://www.cs.cmu.e[...] 2007-02-07
_[9] 논문 Perplexity—a measure of the difficulty of speech recognition tasks https://doi.org/10.1[...] 1977