문서 분류

3. 내용 기반 분류와 요청 기반 분류

자동 문서 분류는 내용 기반 분류와 요청 기반 분류로 나눌 수 있다.
내용 기반 분류는 문서 내 특정 주제에 부여된 가중치를 기준으로 문서를 분류한다.^[1] 예를 들어, 도서관에서 책 내용의 20% 이상이 해당 클래스와 관련 있어야 한다는 규칙이 있을 수 있다. 자동 분류에서는 특정 단어의 출현 빈도가 내용 기반 분류의 지표가 될 수 있다.
요청 기반 분류는 사용자의 예상 검색어가 문서 분류에 영향을 미치는 방식이다.^[2] 분류자는 "이 문서는 어떤 검색어에서 찾아야 하는가?"와 "가능한 모든 검색어를 고려하여 해당 문서와 관련된 검색어를 결정하라"는 질문을 던진다. 요청 기반 분류는 특정 사용자 그룹을 대상으로 할 수 있으며, 예를 들어 페미니즘 연구 도서관은 역사 도서관과 다르게 문서를 분류할 수 있다. 그러나 요청 기반 분류는 정책 기반 분류, 즉 특정 이상에 따라 분류를 수행하고 도서관이나 데이터베이스의 목적을 반영하는 방식으로 이해하는 것이 더 적절할 수 있다. 사용자 연구를 기반으로 하지 않은 분류 방식이며, 사용 데이터가 적용되는 경우에만 사용자 기반 접근 방식으로 간주해야 한다.

문서 분류 기법에는 단순 베이즈 분류기, TF-IDF, 잠재 의미 분석, 서포트 벡터 머신, 신경망, K-최근접 이웃 알고리즘, 결정 트리(예: ID3), 개념 마이닝 등이 있으며, 자연어 처리 기반 기법도 활용된다.

3. 1. 내용 기반 분류 (Content-based Classification)

• 단순 베이즈 분류기
• TF-IDF
• 잠재 의미 분석
• 서포트 벡터 머신
• 신경망
• K-최근접 이웃 알고리즘
• 결정 트리 (예: ID3)
• 개념 마이닝

3. 2. 요청 기반 분류 (Request-based Classification)

4. 분류와 색인

문서를 분류하는 것("분류")과 문서를 주제에 할당하는 것("주제 색인")은 때때로 구별되지만, 사실상 같은 작업이다. 문서에 레이블을 지정하는 행위(예: 통제 어휘에서 용어를 문서에 할당하는 것)는 동시에 해당 문서를 해당 용어로 색인된 문서 클래스에 할당하는 것이다.^{[3][4][5][6][7]}

4. 1. 프레데릭 윌프리드 랭커스터의 견해

4. 2. 테소러스와의 관계

5. 자동 문서 분류 기법

자동 문서 분류에는 다양한 기계 학습 및 자연어 처리 기법이 사용된다. 이러한 기법에는 단순 베이즈 분류기가 있다.

5. 1. 기계 학습 기법

• 나이브 베이즈 분류기
• tf-idf
• 잠재 의미 분석
• 서포트 벡터 머신
• 신경망
• K-최근접 이웃 알고리즘
• 결정 트리 (예: ID3)
• 개념 마이닝
• 기대값 최대화
• 즉시 훈련된 신경망
• 다중 인스턴스 학습
• 러프 집합 기반 분류기
• 소프트 집합 기반 분류기
• 자연어 처리 접근 방식

5. 2. 자연어 처리 (NLP) 기반 기법

6. 응용 분야

자동 문서 분류 기술은 스팸 필터링, 이메일 라우팅, 언어 식별, 장르 분류, 가독성 평가, 감성 분석, 공중 보건 감시, 생물학 분야 등 다양한 분야에 활용된다.^[1]

6. 1. 스팸 메일 필터링

6. 2. 이메일 라우팅

6. 3. 언어 식별

6. 4. 장르 분류

• 스팸 필터링: 합법적인 이메일과 이메일 스팸 메시지를 구별한다.
• 이메일 라우팅: 일반 주소로 전송된 이메일을 주제에 따라 특정 주소 또는 사서함으로 전송한다.
• 언어 식별: 텍스트의 언어를 자동으로 결정한다.
• 장르 분류: 텍스트의 장르를 자동으로 결정한다.
• 가독성 평가: 텍스트의 가독성 정도를 자동으로 결정하여, 서로 다른 연령대나 독자 유형에 적합한 자료를 찾거나 더 큰 텍스트 단순화 시스템의 일부로 활용한다.
• 감성 분석: 어떤 주제에 대한 화자 또는 작성자의 태도 또는 문서의 전체적인 맥락적 극성을 결정한다.
• 공중 보건 감시: 소셜 미디어를 활용한 건강 관련 분류를 한다.
• 문서 분류: 생물학에서 수동으로 큐레이션된 주석 데이터베이스를 생성하기 위한 첫 번째 단계로 수행되는 것처럼 수동 문헌 큐레이션에 관련된 문서를 선택한다.

6. 5. 가독성 평가

6. 6. 감성 분석

6. 7. 공중 보건 감시

6. 8. 생물학 분야

참조

_[1] 서적 The subject headings manual Library of Congress, Policy and Standards Division 2008
_[2] 서적 Organizing information: Principles of data base and retrieval systems https://books.google[...] Academic Press 1985
_[3] 서적 Indexing and abstracting in theory and practice Library Association 2003
_[4] 간행물 "A classification as a source for thesaurus: The Bibliographic Classification of H. E. Bliss as a source of thesaurus terms and structure." 1986
_[5] 간행물 "Thesauri from BC2: Problems and possibilities revealed in an experimental thesaurus derived from the Bliss Music schedule." 2004
_[6] 간행물 "A faceted classification as the basis of a faceted terminology: Conversion of a classified structure to thesaurus format in the Bliss Bibliographic Classification (2nd Ed.)." https://link.springe[...] 2008
_[7] 간행물 "Thesaurification of the UDC." Index Verlag, Frankfurt 1991
_[8] 간행물 Optimization and label propagation in bipartite heterogeneous networks to improve transductive classification of texts https://www.scienced[...] 2016
_[9] 웹사이트 An Interactive Automatic Document Classification Prototype https://web.archive.[...] 2017-11-14
_[10] 웹사이트 An Interactive Automatic Document Classification Prototype https://seer.lcc.ufm[...]
_[11] 웹사이트 Automatic Document Classification - Artsyl https://archive.toda[...]
_[12] 웹사이트 ABBYY FineReader Engine 11 for Windows http://www.abbyy.com[...]
_[13] 웹사이트 Classifier - Antidot http://www.antidot.n[...]
_[14] 웹사이트 3 Document Classification Methods for Tough Projects https://www.bisok.co[...] 2021-08-04
_[15] 간행물 Message classification in the call center https://arxiv.org/ab[...] 2000
_[16] 간행물 Testing a Genre-Enabled Application: A Preliminary Assessment https://web.archive.[...] 2008
_[17] 간행물 From social media to public health surveillance: Word embedding based clustering method for twitter classification 2017
_[18] 간행물 Overview of the protein-protein interaction annotation extraction task of Bio Creative II