말뭉치언어학

3. 말뭉치의 요건과 종류

말뭉치는 몇 가지 요건을 갖추어야 한다.^[32]

• 텍스트 수집이나 입력 과정에서 내용 누락 없이 원형을 유지해야 한다.
• 언어의 다양한 변이를 반영하는 구성이어야 한다.
• 해당 언어의 통계적 대표성을 지녀야 한다.

균형 말뭉치는 모집단 구성, 표준화 방법 등을 고려하여 구축해야 한다. 주석 말뭉치는 형태, 통사, 의미 정보 등을 포함하는 말뭉치이다.

21세기 세종계획으로 구축된 말뭉치에는 현대 국어 구어 전사 말뭉치, 한영/한일 병렬 말뭉치, 북한 및 해외 한국어 말뭉치, 역사 자료 말뭉치, 전문 용어 말뭉치 등이 있다.^[34]

4. 말뭉치의 구축

말뭉치를 구축할 때 처음 발생하는 문제는 어떤 문서에서 어느 정도의 양을 고를 것인가이다. 예를 들어 연세대학교 한국어사전을 만들 때는 일반인의 독서 실태를 조사하여 다음과 같이 비중을 정했다.^[35]

이는 독서량이 어휘 사용 및 해독량과 비례할 것이라는 가정에 따른 것이다. 다른 가정을 세운다면 또 다른 결과가 나올 수 있다.

세종 계획 말뭉치는 연세대학교 말뭉치에 비해 규모가 방대하고 준구어 텍스트까지 포함하는 등 좀 더 범용으로 만들어졌다. 하지만 전체적인 장르 간 비율 등을 보면 연세대학교 말뭉치와 많이 다르다고 보긴 어렵다. 고려대학교 한국어 말모둠은 세종 계획 말뭉치를 구축한 김흥규와 강범모가 만든 것이라 전체적인 체계는 비슷하나 비율이 좀 다르다. 총 1008만 어절 중에서 (준)구어 11.7%, 신문 20.7%, 잡지 9.8%, 책-정보 33.5%, 책-상상 21%, 기타 3.3%이다.^[36][37]

말뭉치를 구축할 때는 1차 설계, 구축, 분석, 2차 설계, 구축, 분석 등 순환적으로 검토하면서 진행한다. 실험적으로 구축한 부분 말뭉치가 적당한지 검증을 해서 다시 2차 말뭉치를 구축한다. 이는 기존에 알려진 사실들과 대조하여 검증이 가능하다. 한국어의 품사는 대략 어떤 비율을 가진다. 고빈도어의 사용 빈도 등이 알려져 있기 때문이다. 좀 더 상세한 검증도 필요하다. 예를 들어 감탄사나 선어말 어미, 대명사의 사용 빈도는 장르에 따라 변화가 있다. 이런 특성에 기대어 말뭉치가 균형성을 가지게 되었는지, 아니면 구축자의 의도에 맞게 만들어졌는지를 판단해볼 수 있다.

말뭉치는 클수록 좋겠지만, 크면 그만큼 다루기 힘들어지고 또 수집하기도 어렵다. 따라서 신뢰도를 어디까지 가져갈 것인가에 맞춰 크기를 결정하면 된다. 예전에는 어떻게 대표성을 유지하면서 말뭉치의 크기를 줄일 것인가를 고민했다. 컴퓨터의 성능이 그리 좋지 못했기 때문이다. 이 문제는 여전히 유효하고, 그래서 글의 앞쪽 일부만을 취한다거나 하는 방법들도 있었지만 지금은 그렇게까지 조절하진 않아도 기술의 발달로 다량의 문서를 다룰 수 있다.

5. 말뭉치의 활용

말뭉치 분석으로 얻는 가장 유용한 정보는 빈도이다. 특정 어휘나 환경이 말뭉치 내에서 얼마나 자주 나타나는지를 관찰하면, 이후 연구 방향을 설정하고 언어학적 가설을 검증하는 데 유용하다.^[5] 빈도는 단순 수치뿐 아니라, 정규화 과정을 거쳐 통계적 방법론, 주로 카이제곱 검증(chi-squared test)을 통해 분석된다.

1967년 출판된 ''현대 미국 영어의 전산 분석''(Computational Analysis of Present-Day American English)은 현대 말뭉치 언어학의 획기적인 사건이었다. 헨리 쿠체라(Henry Kučera)와 W. 넬슨 프랜시스(W. Nelson Francis)는 브라운 말뭉치(Brown Corpus) 분석을 기반으로 이 책을 집필했다.^[6] 이후, 호튼 미플린(Houghton-Mifflin)은 쿠체라에게 ''미국 헤리티지 영어 사전(The American Heritage Dictionary of the English Language)'' 편찬을 위한 기반을 제공하도록 요청했다. 다른 출판사들도 이 흐름에 따라, 콜린스(Collins)는 COBUILD 단일 언어 학습자 사전을 Bank of English를 사용하여 편찬하였다. 영국 사용법 조사(Survey of English Usage) 말뭉치는 ''영어 문법 종합''(A Comprehensive Grammar of the English Language) 개발에 사용되었다.^[9]

브라운 말뭉치(Brown Corpus)는 LOB 말뭉치(1960년대 영국 영어), 콜라푸르 (인도 영어), 웰링턴 (뉴질랜드 영어), 호주 영어 말뭉치(호주 영어), Frown 말뭉치(1990년대 초 미국 영어), FLOB 말뭉치(1990년대 영국 영어) 등 유사한 구조의 말뭉치에 영향을 주었다. 국제 영어 말뭉치, 영국 국립 말뭉치를 비롯하여, 현대 미국 영어의 경우 미국 국립 말뭉치(American National Corpus) 작업이 중단되었지만, 현대 미국 영어 말뭉치(Corpus of Contemporary American English)(1990년~현재)가 제공되고 있다.

1971년 몬트리올 프랑스 프로젝트에 의해 최초의 전산화된 구어 텍스트 말뭉치가 구성되었고,^[10] 샤나 팝락(Shana Poplack)의 오타와-헐 지역 구어 프랑스어 말뭉치에 영감을 주었다.^[11] 1990년대 자연어 처리(NLP) 분야에서 통계적 방법론의 초기 성공은 기계 번역 분야에서 이루어졌다. 이러한 시스템은 캐나다 의회와 유럽 연합의 다국어 텍스트 말뭉치를 활용했다.

일본의 국립 국어 연구소는 일본어 말뭉치를 구축했고, 수화 말뭉치 또한 만들어졌다.^[12] 고대 언어 텍스트 모음으로 컴퓨터화된 말뭉치도 만들어졌다. 앤더슨-포브스 히브리어 성경 데이터베이스, 꾸란 아랍어 말뭉치(Quranic Arabic Corpus), 산스크리트어 디지털 말뭉치(DCS) 등이 그 예이다.^{[13][14][15][16]}

말뭉치 언어학은 법률과 말뭉치 언어학과 같은 다른 분야에도 적용되고 있으며,^[17] 번역^[19] 및 외국어 교육^[20]에도 도움을 줄 수 있다. 말뭉치 언어학은 주석, 추상화, 분석의 3A 관점을 제시했다.^[21]

• '''주석'''은 텍스트에 스키마를 적용하는 것이다.
• '''추상화'''는 스키마의 용어를 이론적 모델 또는 데이터세트의 용어로 변환하는 것이다.
• '''분석'''은 데이터세트에서 통계적으로 조사하고, 조작하고, 일반화하는 것이다.

5. 1. 언어 연구

5. 2. 변이 연구

5. 3. 역사 언어 연구

5. 4. 비교 언어학

병렬 말뭉치를 구축할 때 가장 큰 주의점은 되도록 직역한 것 위주로 모으는 것이 좋으며 원문과 번역문의 표시를 명확하게 해야 한다는 것이다. 병렬말뭉치가 구축되어 있으면 이국어 사전을 만드는 데 도움이 된다. 영영사전을 번역하여 영한사전을 만드는 것과 병렬말뭉치를 활용해 영한사전을 만드는 것은 근본적인 차이가 있기 때문이다. 후자 쪽이 더욱 기술적인 사전이 될 수밖에 없고 실제 언어 생활에 가까운 형태로 나오게 된다.^[24]

5. 5. 언어 교육

5. 6. 사전 편찬

6. 말뭉치의 한계

사전 편찬이나 언어 연구에서 말뭉치만으로는 모든 것을 해결할 수 없다. 말뭉치로 구축하기 어려운 언어 현상들이 존재한다. 예를 들어, 방언 화자의 구어 말뭉치를 전사(轉寫)하는 것은 많은 노력이 필요하며, 휴대폰 문자 메시지의 언어 변화를 추적하는 것은 개인 정보 문제라는 장벽이 있다. 이러한 현상들은 말뭉치보다는 소규모 샘플링을 통한 사례 연구가 더 적합할 수 있다.

비용 문제도 존재한다. 범용 사전을 만들 수 있을 정도의 대규모 균형 말뭉치를 구축하는 것은 큰 비용이 필요하다. 한국에서 사전 출판사 규모로는 감당하기 어렵다. 또한, 높은 수준의 자연어 처리 및 데이터베이스 관리 능력이 필요하며, 저작권 문제도 걸림돌이 된다. 따라서 국가나 학계 이외의 곳에서 진행하기는 어렵다. 말뭉치에 정교한 주석을 추가하는 작업 역시 방대하므로 대규모 프로젝트 없이는 불가능하다.

참조

_[1] 서적 English Corpus Linguistics Cambridge University Press
_[2] 백과사전 Corpus Linguistics https://www.scienced[...] Elsevier 2006-01-01
_[3] 서적 The automatic analysis of corpora Mouton de Gruyter
_[4] 간행물 Annotation, Retrieval and Experimentation http://www.helsinki.[...] Varieng, [University of Helsinki]
_[5] 서적 Computational Analysis of Present-Day American English Brown University Press 1967-06-01
_[6] 백과사전 Corpus Linguistics https://www.scienced[...] Pergamon 2001-01-01
_[7] 학술지 Towards a description of English Usage 1960-11
_[8] 백과사전 Corpus Linguistics https://www.scienced[...] Pergamon 2001-01-01
_[9] 서적 A Comprehensive Grammar of the English Language Longman 1985
_[10] 학술지 Sample survey methods and computer-assisted analysis in the study of grammatical variation Linguistic Research Incorporated 1973
_[11] 학술지 The care and handling of a mega-corpus Benjamins 1989
_[12] 웹사이트 National Center for Sign Language and Gesture Resources at B.U. https://www.bu.edu/a[...]
_[13] 학술지 Hebrew Grammar Visualized: I. Syntax
_[14] 서적 Revelations from Word Counts Eisenbrauns
_[15] 학술지 Supervised Collaboration for Syntactic Annotation of Quranic Arabic
_[16] 웹사이트 Digital Corpus of Sanskrit (DCS) http://www.sanskrit-[...]
_[17] 학술지 D3: A Massive Dataset of Scholarly Metadata for Analyzing the State of Computer Science Research https://aclanthology[...] European Language Resources Association 2022
_[18] 학술지 NLP Scholar: A Dataset for Examining the State of NLP Research https://aclanthology[...] European Language Resources Association 2020
_[19] 백과사전 Machine Readable Corpora https://www.scienced[...] Elsevier 2006-01-01
_[20] 웹사이트 Corpus Linguistics {{!}} ENGLISH LINGUISTICS https://www.english-[...]
_[21] 학술지 Knowledge discovery in grammatically analysed corpora
_[22] 서적 Triangulating Methodological Approaches in Corpus-Linguistic Research Routledge
_[23] 문서 competence
_[24] 문서 performance
_[25] 뉴스 多くの達人が実践している学習法 “暗唱”が最強の英語学習法である理由（1） http://business.nikk[...] 日経BP 2016-07-23
_[26] 서적 Computational Analysis of Present-Day American English
_[27] 학술지 Towards a description of English Usage
_[28] 서적 A Comprehensive Grammar of the English Language Longman
_[29] 서적 국어정보학 입문 태학사
_[30] 문서 말뭉치 목록
_[31] 서적 국어정보학 입문 태학사
_[32] 서적 국어정보학 입문 태학사
_[33] 문서 구글 검색엔진
_[34] 문서 한국어 말뭉치
_[35] 문서
_[36] 논문 21세기 세종계획 현대국어 기초말뭉치: 성과와 전망 2007년도 제19회 한글 및 한국어 정보처리 학술대회 2007
_[37] 문서 세종계획 말뭉치와 연세 말뭉치 비교 분석
_[38] 논문 Knowledge discovery in grammatically analysed corpora 2001
_[39] 문서 구문 주석의 중요성과 어려움