정보 추출

3. 현재의 중요성

현재 정보 추출의 중요성은 구조화되지 않은 형태로 이용 가능한 정보의 양이 증가하고 있다는 점과 관련이 있다. 월드 와이드 웹의 발명가인 팀 버너스-리는 기존의 인터넷을 '문서의 웹'^[7]이라고 언급하며 더 많은 콘텐츠를 데이터의 웹으로 제공해야 한다고 주장한다.^[8] 이것이 실현될 때까지 웹은 대부분 의미 메타데이터가 부족한 비구조화된 문서로 구성된다. 이러한 문서에 포함된 지식은 관계형 형태로 변환하거나 XML 태그로 마크업하여 기계 처리를 위해 더욱 접근 가능하게 만들 수 있다. 뉴스 데이터 피드를 모니터링하는 지능형 에이전트는 정보 추출을 통해 비구조화된 데이터를 추론할 수 있는 형태로 변환해야 한다. 정보 추출의 일반적인 응용 프로그램은 자연어로 작성된 문서 집합을 스캔하고 추출된 정보로 데이터베이스를 채우는 것이다.^[9]

4. 주요 작업 및 하위 작업

정보 추출은 텍스트에서 정보를 추출하여 구조화된 형태로 만드는 작업으로, 텍스트 단순화 문제와 관련이 있다. 즉, 기계가 텍스트를 더 쉽게 읽을 수 있도록 돕는 것이다.

정보 추출의 주요 작업 및 하위 작업은 다음과 같다.

• 템플릿 채우기: 문서에서 미리 정해진 정보(예: 가해자, 피해자, 시간)를 추출한다.
• 이벤트 추출: 문서에서 발생하는 사건에 대한 정보를 추출한다.
• 지식 베이스 채우기: 여러 문서에서 추출한 사실 정보를 데이터베이스 형태로 저장한다.
• 개체명 인식: 사람, 장소, 기관 등 특정 개체를 인식하고 고유 식별자를 부여한다.
• 공참조 해결: 문장 내 또는 문장 간 대명사 등이 가리키는 대상을 찾아 연결한다.
• 관계 추출: 개체들 간의 관계(예: '사람-직장', '사람-위치')를 파악한다.
• 반구조화 정보 추출: 표, 주석 등 문서 내 구조화된 정보를 추출한다.
• 언어 및 어휘 분석: 용어 추출 등을 통해 문서의 언어적 특징을 분석한다.
• 오디오 추출: 음악에서 리듬 정보 등 특정 요소를 추출한다.^[15]

4. 1. 템플릿 채우기

4. 2. 이벤트 추출

4. 3. 지식 베이스 채우기

• (버락 오바마, 배우자, 미셸 오바마)

4. 4. 개체명 인식 (Named Entity Recognition, NER)

4. 5. 공참조 해결 (Coreference Resolution)

4. 6. 관계 추출 (Relation Extraction)

• 사람이 조직에서 근무하는 관계 ("Bill은 IBM에서 근무합니다."라는 문장에서 추출)
• 사람이 특정 위치에 있는 관계 ("Bill은 프랑스에 있습니다."라는 문장에서 추출)

4. 7. 반구조화 정보 추출

• 표 추출: 문서에서 표를 찾고 추출한다.^[11][12]
• 표 정보 추출: 표에서 구조화된 방식으로 정보를 추출한다. 이 작업은 표 추출보다 더 복잡하다. 표 추출은 단지 첫 번째 단계일 뿐이며, 셀, 행, 열의 역할을 이해하고, 표 내부의 정보를 연결하고, 표에 표시된 정보를 이해하는 것은 표 정보 추출에 필요한 추가 작업이다.^[11][13][14]
• 주석 추출: 각 문장의 작성자 간의 링크를 복원하기 위해 기사의 실제 내용에서 주석을 추출한다.

4. 8. 언어 및 어휘 분석

4. 9. 오디오 추출

5. 월드 와이드 웹(WWW) 응용

웹의 확산으로 인해 온라인에서 이용 가능한 방대한 양의 데이터를 처리하기 위한 정보 추출 시스템 개발의 필요성이 증가했다. 온라인 텍스트 정보 추출 시스템은 저렴한 비용, 개발 유연성, 새로운 도메인 적응 용이성 등의 요구 사항을 충족해야 한다.^[9]

• 래퍼(Wrapper): 웹 정보 추출을 위한 언어적으로 덜 집약적인 접근 방식으로, 특정 페이지의 콘텐츠를 추출하는 규칙 집합이다. 래퍼는 수동으로 개발할 경우 시간과 전문성이 필요하지만, 기계 학습(지도 학습 또는 비지도 학습)을 통해 자동으로 규칙을 생성할 수 있다.
• 적응형 정보 추출(Adaptive Information Extraction): 잘 구조화된 텍스트부터 자유 텍스트까지 다양한 유형의 텍스트를 처리할 수 있는 시스템 개발을 목표로 한다. 이러한 시스템은 표층적인 자연어 처리 지식을 활용하여 덜 구조화된 텍스트에도 적용 가능하다.
• 시각적 정보 추출(Visual Information Extraction): 2017년 3월 경 개발된 최신 기술^[16][17]로, 웹 페이지를 브라우저에서 렌더링하고 렌더링된 페이지의 영역 근접성을 기반으로 규칙을 생성한다. HTML 소스 코드에 식별 가능한 패턴이 없지만 시각적 패턴이 있는 복잡한 웹 페이지에서 엔티티를 추출하는 데 유용하다.

6. 접근 방식

정보 추출에는 다양한 접근 방식이 사용된다. 현재 널리 받아들여지는 표준 접근 방식으로는 수작업으로 작성된 정규 표현식을 활용하는 규칙 기반 방식과 나이브 베이즈 분류기, 최대 엔트로피 모델(다항 로지스틱 회귀) 등의 분류기나 순환 신경망, 숨겨진 마르코프 모델, 최대 엔트로피 마르코프 모델(MEMM), 조건부 랜덤 필드(CRF) 등의 시퀀스 모델을 사용하는 기계 학습 기반 방식이 있다.

6. 1. 규칙 기반 접근 방식

6. 2. 기계 학습 기반 접근 방식

• 분류기 사용
• * 생성형: 나이브 베이즈 분류기
• * 판별형: 최대 엔트로피 모델 (예: 다항 로지스틱 회귀)
• 시퀀스 모델
• * 순환 신경망
• * 숨겨진 마르코프 모델
• * 조건부 마르코프 모델(CMM) / 최대 엔트로피 마르코프 모델(MEMM)
• * 조건부 랜덤 필드(CRF)는 연구 논문에서 정보 추출^[18]부터 길찾기 안내 추출^[19]까지 다양한 작업을 위한 정보 추출과 함께 일반적으로 사용된다.

7. 한국어 정보 추출의 특징

한국어는 교착어로서 조사가 발달되어 있고 어순이 비교적 자유롭다는 특징이 있다. 이러한 특징은 영어와는 다른 정보 추출 방식을 요구한다.^[1]

7. 1. 딥러닝 기반 모델의 활용

8. 오픈 소스 소프트웨어 및 서비스

• GATE는 무료 정보 추출 시스템과 함께 제공된다.
• 아파치 오픈NLP(OpenNLP)는 자바 기반의 자연어 처리를 위한 기계 학습 도구이다.
• 오픈칼라리스(OpenCalais)는 톰슨 로이터(Thomson Reuters)의 자동화된 정보 추출 웹 서비스이다 (무료 제한 버전).
• 언어 도구를 위한 기계 학습(Machine Learning for Language Toolkit, Mallet)은 정보 추출을 포함한 다양한 자연어 처리 작업을 위한 자바 기반 패키지이다.
• DB피디아 스포트라이트(DBpedia Spotlight)는 자바/스칼라 기반의 오픈소스 도구이자 무료 웹 서비스로, 개체명 인식 및 명칭 해석에 사용될 수 있다.
• 자연어 처리 도구(Natural Language Toolkit)는 파이썬 프로그래밍 언어를 위한 기호 및 통계적 자연어 처리(NLP)를 위한 라이브러리 및 프로그램 모음이다.
• spaCy는 토큰화 및 고유 명사 인식과 같은 작업에 사용되는 인기 있는 오픈소스 자연어 처리 라이브러리이다.

9. 관련 모델

• GPT (생성적 사전 훈련 변환기)는 텍스트 생성 기능으로 알려진 최첨단 언어 모델이다.
• BERT (변환기를 사용한 양방향 인코더 표현)는 자연어 이해 작업을 위해 설계된 트랜스포머 기반 모델이다.
• LLaMA는 다양한 애플리케이션을 위해 텍스트와 비전을 결합한 혁신적인 AI 모델이다.
• spaCy는 토큰화 및 고유 명사 인식과 같은 작업에 사용되는 인기 있는 오픈소스 자연어 처리 라이브러리이다.

참조

_[1] 논문 Precision information extraction for rare disease epidemiology at scale 2023
_[2] 논문집 A Survey on Open Information Extraction Association for Computational Linguistics 2018
_[3] 논문 Machine Learning for Information Extraction in Informal Domains http://www.cs.bilken[...] 2000 Kluwer Academic Publishers 2000
_[4] 서적 Information Extraction http://pdfs.semantic[...] 1996
_[5] 논문집 Proceedings of the third conference on Applied natural language processing - 1992
_[6] 서적 Information Extraction in Finance Wit Press 2008
_[7] 웹사이트 Linked Data - The Story So Far http://tomheath.com/[...]
_[8] 웹사이트 Tim Berners-Lee on the next Web http://www.ted.com/t[...] 2010-03-27
_[9] 간행물 InfoXtract: A Customizable Intermediate Level Information Extraction Engine https://web.archive.[...] 2008
_[10] 논문집 End-to-end neural relation extraction using deep biaffine attention 2019
_[11] 논문 A framework for information extraction from tables in biomedical literature 2019-02
_[12] 논문 A multi-layered approach to information extraction from tables in biomedical documents https://www.research[...] University of Manchester 2018
_[13] 서적 Natural Language Processing and Information Systems 2016-06
_[14] 논문 A multi-layered approach to information extraction from tables in biomedical documents https://www.research[...] University of Manchester 2018
_[15] 논문집 Automatic Extraction of Drum Tracks from Polyphonic Music Signals http://www.csl.sony.[...] 2002
_[16] 논문 WYSIWYE: An Algebra for Expressing Spatial and Textual Rules for Information Extraction 2015
_[17] 논문 Visual Web Information Extraction with Lixto 2001
_[18] 논문 Information extraction from research papers using conditional random fields☆ 2006
_[19] 웹사이트 Extracting Frame-based Knowledge Representation from Route Instructions http://www.cs.albany[...] 2006