신경망 기계 번역

3. 특징

신경망 기계 번역(NMT)은 기존의 통계적 기계 번역(SMT) 모델에 비해 적은 메모리를 사용한다. 또한, 번역 성능을 극대화하기 위해 모델의 모든 부분을 함께 (종단간으로) 훈련시킨다.

NMT는 단어 및 내부 상태에 대한 벡터 표현("임베딩")을 사용하여 통계적 기계 번역(SMT)의 희소성 문제를 극복하고 일반화 능력을 향상시킨다. NMT 모델은 구문 기반 모델보다 단순하며, 개별 언어 모델, 번역 모델, 재정렬 모델 없이 단일 시퀀스 모델을 사용하여 한 번에 하나의 단어를 예측한다. 이 시퀀스 예측은 소스 문장 전체와 이미 생성된 대상 시퀀스 전체를 조건으로 한다. NMT는 딥 러닝과 특징 학습을 이용한다.

순환 신경망(RNN)은 긴 입력을 단일 벡터로 인코딩하는 데 어려움을 겪는데, 이는 출력의 각 단어를 생성하는 동안 디코더가 입력의 다양한 부분에 집중할 수 있는 어텐션 메커니즘(attention mechanism|어텐션 메커니즘^영어)에 의해 보정될 수 있다. 과거 정렬 정보를 무시하는 문제를 해결하기 위해 커버리지 모델(Coverage Models|커버리지 모델^영어)^[41] 등이 사용된다.

4. 작동 원리

신경망 기계 번역(NMT) 모델은 소스 언어의 문장($\backslash mathbf\{x\}$)을 대상 언어의 문장($\backslash mathbf\{y\}$)으로 번역한다. 소스 언어 문장은 $I$개의 토큰($x\_i$)으로, 대상 언어 문장은 $J$개의 토큰($x\_j$)으로 구성된다. NMT 모델은 가능한 번역 $\backslash mathbf\{y\}$에 대한 확률 $P(\backslash mathbf\{y\}|\backslash mathbf\{x\})$를 할당하고, 이 확률이 가장 높은 번역을 찾는다.

대부분의 NMT 모델은 '자기 회귀' 방식을 사용하는데, 각 대상 토큰의 확률을 소스 문장과 이전에 예측된 대상 토큰의 함수로 모델링한다. 전체 번역의 확률은 개별 예측 토큰 확률의 곱으로 나타낼 수 있다.

:$$P(y|x)\; =\; \backslash prod\_\{j=1\}^\{J\}\; P(y\_j\; |\; y\_\{1,i-1\},\; \backslash mathbf\{x\})$$

대부분 NMT 모델은 인코더-디코더 아키텍처를 기반으로 한다. 인코더는 소스 문장 $\backslash mathbf\{x\}$를 벡터 또는 행렬 표현으로 인코딩하고, 디코더는 이 표현과 이전에 생성된 토큰을 기반으로 한 번에 하나의 대상 단어를 생성한다. 디코더가 특수 '문장 종료' 토큰을 생성하면 디코딩이 완료된다. 디코더는 이전 출력을 참조하므로 '자기 회귀'라고 불린다.

신경망 기계 번역은 심층 학습과 Feature learning|특징 학습^영어을 이용하며, 기존의 통계적 기계 번역과는 달리 단일 시퀀스 모델을 사용한다.

초기에 주로 사용된 순환 신경망(RNN)에서 인코더는 양방향 RNN으로 소스 문장을 인코딩하고, 디코더는 RNN을 사용하여 대상 언어 단어를 예측했다. 그러나 순환 신경망은 긴 입력을 단일 벡터로 인코딩하기 어려웠는데, 이는 어텐션 메커니즘을 통해 개선되었다. 어텐션 메커니즘은 디코더가 출력 단어를 생성하는 동안 입력의 다양한 부분에 집중하도록 돕는다. 커버리지 모델Coverage Models^영어은 어텐션 메커니즘의 문제 해결을 위해 사용된다.^[41]

합성곱 신경망(Convnets)은 긴 연속 시퀀스에 대해 강점을 가졌으나, 2017년에 "어텐션 메커니즘"을 통해 약점이 보완되었다.

트랜스포머 아키텍처는 주의 기반 모델로, 일부 언어 쌍에서 주요 아키텍처로 사용된다.^[42][43]

4. 1. 훈련 방법

5. 통계적 기계 번역과의 비교

신경망 기계 번역(NMT)은 통계적 기계 번역(SMT)에 비해 다음과 같은 장점을 가진다.

• 희소성 문제 해결: NMT는 토큰의 연속적인 표현을 사용하여 희소성 문제를 극복하고, 모델이 더 효과적으로 일반화할 수 있도록 한다.
• 문맥 손실 문제 해결: SMT는 n-gram 언어 모델의 제한된 길이로 인해 문맥 손실이 발생했지만, NMT는 어텐션 메커니즘(attention mechanism^영어)을 사용하여 다음 토큰을 생성할 때 어떤 토큰에 집중할지 선택함으로써 이 문제를 해결한다.
• 종단간 훈련: NMT는 단일 모델을 종단간 훈련하여 번역 성능을 향상시키고 전체 프로세스를 단순화한다.
• 메모리 효율성: SMT는 거대한 n-gram 모델을 사용하기 때문에 많은 양의 메모리가 필요했지만, NMT는 더 적은 메모리를 필요로 한다.
• 단순화된 구조: NMT는 구문 기반 SMT와 달리 개별적인 언어 모델, 번역 모델, 재정렬 모델 없이 단일 시퀀스 모델을 사용하여 한 번에 하나의 단어를 예측한다.
• 심층 학습 활용: NMT는 심층 학습과 Feature learning|특징 학습^영어을 이용하여 소스 문장 전체와 이미 생성된 대상 시퀀스 전체를 고려하여 번역한다.
• 장거리 의존성 처리: NMT는 RNN을 사용하여 긴 입력을 단일 벡터로 인코딩하는 데 어려움을 겪었지만, 어텐션 메커니즘을 통해 입력의 다양한 부분에 집중하여 이 문제를 해결한다. 또한, 과거 정렬 정보를 무시하는 문제를 해결하기 위해 커버리지 모델(Coverage Models^영어)이 존재한다.^[41]
• 트랜스포머 아키텍처: 주의 기반 모델인 트랜스포머 아키텍처는 일부 언어 쌍에서 주요 아키텍처로 사용되고 있다.^[42][43]

6. 프롬프트 엔지니어링 LLM을 활용한 번역

대규모 언어 모델(LLM)을 활용한 생성형 인공지능은, 병렬 텍스트로 훈련된 기존의 신경망 기계 번역(NMT) 시스템과는 달리, 텍스트 번역을 위한 프롬프트를 직접 받을 수 있다. 이 모델들은 번역 작업에 특화되어 훈련되지는 않지만, 대규모 텍스트 데이터 세트에서 얻은 언어 모델링 능력을 활용하여 번역을 수행한다.

생성형 LLM은 추가 예시 없이 텍스트 번역을 요청하는 제로샷 학습 방식을 사용하거나, 프롬프트에 번역 예시를 포함하는 원샷 또는 소수샷 학습 방식을 활용할 수 있다.

Hendy et al. (2023)의 연구에서는 제로샷 및 원샷 번역에 다음과 같은 프롬프트 형식이 사용되었다.

'''제로샷 프롬프트:'''

### 이 문장을 [소스 언어]에서 [대상 언어]로 번역하시오, 소스:

[소스 문장]

### 대상:

이것을 1. [대상 언어]로 번역하시오:

[샷 1 소스]

1. [샷 1 참조]

이것을 1. [대상 언어]로 번역하시오:

[입력]

1.

참조

_[1] 웹사이트 Microsoft brings AI-powered translation to end users and developers, whether you're online or offline https://www.microsof[...] 2024-04-19
_[2] 서적 Deep Learning https://www.deeplear[...] MIT Press 2022-12-29
_[3] 서적 Neural Machine Translation http://www2.statmt.o[...] Cambridge University Press 2020
_[4] 간행물 Neural Machine Translation: A Review and Survey 2020-09-29
_[5] 간행물 Neural Machine Translation: A Review of Methods, Resources, and Tools 2020-12-31
_[6] 간행물 A Survey of Deep Learning Techniques for Neural Machine Translation 2020-02-18
_[7] 서적 Artificial Intelligence: A Modern Approach http://aima.cs.berke[...] Pearson
_[8] 논문 Progress in Machine Translation https://www.scienced[...] 2022-11-01
_[9] 논문 Survey of Low-Resource Machine Translation https://aclanthology[...] 2022
_[10] conference Several Studies on Natural Language and Back-Propagation https://www.research[...] 2022-12-30
_[11] 논문 Learning Recursive Distributed Representations for Holistic Computation https://figshare.com[...] 1991
_[12] 논문 Recursive distributed representations https://dx.doi.org/1[...] 1990
_[13] 서적 Biological and Artificial Computation: From Neuroscience to Technology 1997
_[14] conference A connectionist approach to machine translation https://www.isca-spe[...] 1997
_[15] conference Machine translation using neural networks and finite-state models https://aclanthology[...] 1997-07-23
_[16] conference Continuous Space Language Models for Statistical Machine Translation https://aclanthology[...] 2006
_[17] 논문 Contiuous space language models 2007
_[18] 논문 Efficient Handling of N-gram Language Models for Statistical Machine Translation https://aclanthology[...] Association for Computational Linguistics 2007
_[19] conference Continuous Space Translation Models for Phrase-Based Statistical Machine Translation https://aclanthology[...] 2012
_[20] conference On the Properties of Neural Machine Translation: Encoder–Decoder Approaches Association for Computational Linguistics 2014
_[21] conference Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation Association for Computational Linguistics 2014
_[22] 논문 Sequence to Sequence Learning with Neural Networks https://proceedings.[...] Curran Associates, Inc. 2014
_[23] 간행물 Neural Machine Translation by Jointly Learning to Align and Translate
_[24] 논문 Recurrent Continuous Translation Models http://www.aclweb.or[...] 2013
_[25] 간행물 Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation 2016
_[26] conference A Convolutional Encoder Model for Neural Machine Translation https://aclanthology[...] Association for Computational Linguistics 2017
_[27] conference Attention Is All You Need https://papers.nips.[...] 2017
_[28] tech report Improving Language Understanding by Generative Pre-Training https://cdn.openai.c[...] 2023-12-26
_[29] 논문 Multilingual Denoising Pre-training for Neural Machine Translation https://doi.org/10.1[...] 2020
_[30] 논문 Language Models are Few-Shot Learners https://proceedings.[...] Curran Associates, Inc. 2020
_[31] 논문 Transforming machine translation: a deep learning system reaches news translation quality comparable to human professionals 2020-09-01
_[32] 논문 On "Human Parity" and "Super Human Performance" in Machine Translation Evaluation https://aclanthology[...] European Language Resources Association 2022
_[33] 간행물 How Good Are GPT Models at Machine Translation? A Comprehensive Evaluation 2023-02-18
_[34] 뉴스 DeepL schools other online translators with clever machine learning https://techcrunch.c[...] TechCrunch 2023-12-26
_[35] 뉴스 Quel est le meilleur service de traduction en ligne? https://www.lemonde.[...] Le Monde 2023-01-10
_[36] 뉴스 DeepL im Hands On: Neues Tool übersetzt viel besser als Google und Microsoft https://www.golem.de[...] 2017-08-29
_[37] 웹사이트 GPT 3 dataset statistics: languages by character count https://github.com/o[...] OpenAI 2023-12-23
_[38] 간행물 Findings of the 2016 Conference on Machine Translation https://web.archive.[...] The Association for Computational Linguistics 2018-01-27
_[39] 간행물 Findings of the 2022 Conference on Machine Translation (WMT22) https://aclanthology[...] Association for Computational Linguistics 2022
_[40] 간행물 Findings of the 2023 Conference on Machine Translation (WMT23): LLMs Are Here but Not Quite There Yet https://aclanthology[...] Association for Computational Linguistics 2023
_[41] Arxiv Modeling Coverage for Neural Machine Translation
_[42] Arxiv Attention Is All You Need 2017-12-05
_[43] 간행물 Findings of the 2019 Conference on Machine Translation (WMT19) https://www.aclweb.o[...] Association for Computational Linguistics 2019-08
_[44] 웹인용 ACL 2016 First Conference on Machine Translation (WMT16) https://web.archive.[...] 2019-10-29
_[45] 웹인용 2017 Second Conference on Machine Translation (WMT17) https://web.archive.[...] 2019-10-29
_[46] 웹인용 1st Workshop on Neural Machine Translation (and Generation) https://sites.google[...]