맨위로가기

질의 응답

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
목차

1. 개요

질의응답 시스템은 주어진 질문에 대한 답변을 생성하는 인공지능 시스템이다. 시스템은 질문 유형, 기술적 접근 방식, 대상 도메인에 따라 분류된다. 다양한 유형의 질문에 답하고, 규칙 기반, 통계적, 하이브리드 시스템 등의 기술을 활용한다. 초창기에는 특정 분야에 국한되었지만, 현재는 개방형 도메인으로 확장되어 다양한 분야에서 활용되며, 왓슨, DrQA, GPT-4와 같은 대규모 언어 모델(LLM)의 발전으로 더욱 정교해지고 있다.

더 읽어볼만한 페이지

  • 딥 러닝 - 딥페이크
    딥페이크는 인공지능 기술을 활용하여 영상이나 이미지를 조작, 합성하여 실제와 구별하기 어렵게 만드는 기술이며, 가짜 뉴스, 명예훼손, 신원 위장 등 다양한 문제점을 야기한다.
  • 딥 러닝 - 환각 (인공지능)
    인공지능 환각은 인공지능이 사실이 아닌 정보를 사실처럼 생성하는 현상으로, 대규모 언어 모델의 부정확한 정보 생성 문제를 설명하기 위해 사용되며, 데이터 불일치, 모델 오류, 훈련 데이터 부족 등이 원인으로 발생하여 다양한 완화 기술이 연구되고 있다.
  • 전산언어학 - 알고리즘
    알고리즘은 문제 해결을 위한 명확하고 순서화된 유한 개의 규칙 집합으로, 알콰리즈미의 이름에서 유래되었으며, 수학 문제 해결 절차로 사용되다가 컴퓨터 과학에서 중요한 역할을 하며 다양한 방식으로 표현되고 효율성 분석을 통해 평가된다.
  • 전산언어학 - 단어 의미 중의성 해소
    단어 의미 중의성 해소(WSD)는 문맥 내 단어의 의미를 파악하는 계산 언어학 과제로, 다양한 접근 방식과 외부 지식 소스를 활용하여 연구되고 있으며, 다국어 및 교차 언어 WSD 등으로 발전하며 국제 경연 대회를 통해 평가된다.
  • 자연어 처리 - 정보 추출
    정보 추출은 비정형 또는 반구조화된 텍스트에서 구조화된 정보를 자동으로 추출하는 기술로, 자연어 처리 기술을 활용하여 개체명 인식, 관계 추출 등의 작업을 수행하며 웹의 방대한 데이터에서 유용한 정보를 얻는 데 사용된다.
  • 자연어 처리 - 단어 의미 중의성 해소
    단어 의미 중의성 해소(WSD)는 문맥 내 단어의 의미를 파악하는 계산 언어학 과제로, 다양한 접근 방식과 외부 지식 소스를 활용하여 연구되고 있으며, 다국어 및 교차 언어 WSD 등으로 발전하며 국제 경연 대회를 통해 평가된다.
질의 응답

2. 질의응답 시스템의 유형

질의응답 시스템은 일반적으로 컴퓨터 프로그램으로, 구조화된 데이터베이스 또는 지식베이스에 질의하여 답을 구성할 수 있다. 더 일반적으로는, 비구조화된 자연어 문서 집합에서 답을 가져올 수 있다.

질의응답 시스템에 사용되는 자연어 문서 집합의 몇 가지 예는 다음과 같다.


  • 특정 지역 참조 텍스트 집합
  • 내부 조직 문서 및 웹 페이지
  • 편집된 뉴스 보도 자료
  • 위키백과 페이지 집합[34]
  • 월드 와이드 웹 페이지의 부분집합

2. 1. 질문 및 답변 유형에 따른 분류

질의응답 연구는 사실, 목록, 정의, 방법, 이유, 가정, 의미 제약, 그리고 다국어 질문을 포함한 광범위한 질문 유형에 답하는 방법을 개발하려고 시도한다.[34]

질문 유형에 따른 질의응답 시스템은 다음과 같이 분류할 수 있다.

  • 읽기 이해력 평가 질의응답: 기사와 관련된 질문에 답하는 형태로, 주어진 기사가 비교적 짧기 때문에 질의응답의 더 단순한 형태 중 하나이다. 예를 들어, 시스템에 특정 주제에 대한 기사를 제공한 후 "알버트 아인슈타인은 무엇으로 노벨상을 수상했습니까?"와 같은 질문을 던질 수 있다.
  • 사전 지식 없음 질의응답: 시스템이 훈련 중에 암기한 사실을 바탕으로, 맥락이 명시적으로 주어지지 않아도 질문에 답할 수 있는 경우이다. 이는 인간이 사전 지식 없이 시험을 치르는 것과 유사하다.
  • 폐쇄 영역 질의응답: 특정 영역(예: 의학, 자동차 정비)의 질문을 다루며, 온톨로지에 형식화된 도메인별 지식을 활용할 수 있다. 또는 제한된 유형의 질문만 허용되는 상황을 의미할 수도 있다. 예를 들어, 기계 독해 응용 프로그램의 맥락에서 알츠하이머병과 관련된 의료 영역에 질의응답 시스템을 구축할 수 있다.[2]
  • 개방형 도메인 질의응답: 거의 모든 것에 대한 질문을 다루며, 일반적인 온톨로지와 세계 지식에만 의존할 수 있다. 개방형 도메인 질의응답 시스템은 답변을 추출할 수 있는 훨씬 더 많은 데이터를 사용할 수 있다. 예를 들어, 시스템에 특정 주제에 대한 기사를 제공하지 않은 상태에서 "알버트 아인슈타인은 무엇으로 노벨상을 수상했습니까?"와 같은 질문을 던질 수 있다.


질의응답 시스템은 사용된 기술적 접근 방식에 따라 분류할 수도 있다. 여기에는 다음이 포함된다.

  • 규칙 기반 시스템
  • 통계적 시스템
  • 하이브리드 시스템


규칙 기반 시스템은 질문에 대한 정답을 결정하기 위해 일련의 규칙을 사용한다. 통계적 시스템은 질문에 대한 가장 가능성이 높은 답변을 찾기 위해 통계적 방법을 사용한다. 하이브리드 시스템은 규칙 기반 및 통계적 방법을 결합하여 사용한다.

2. 2. 대상 도메인에 따른 분류

질의응답 시스템은 다루는 정보의 출처, 즉 대상 도메인에 따라 다음과 같이 분류할 수 있다.

  • '''폐쇄 영역(Closed Domain) 질의응답''': 특정 분야(예: 의학, 자동차 정비)에 대한 질문을 다룬다. 온톨로지를 활용하여 해당 분야의 전문 지식을 활용하기도 한다. 예를 들어, 알츠하이머병과 관련된 의료 영역에 특화된 질의응답 시스템이 이에 해당한다.[2]
  • '''개방형 도메인(Open Domain) 질의응답''': 거의 모든 종류의 질문을 다룰 수 있으며, 일반적인 지식과 상식에 기반하여 답변한다. 답변을 찾기 위해 훨씬 더 광범위한 데이터를 활용할 수 있다는 장점이 있다.


질의응답 시스템은 사용되는 기술적 접근 방식에 따라 규칙 기반 시스템, 통계적 시스템, 그리고 이 둘을 결합한 하이브리드 시스템으로 분류할 수도 있다.

2. 3. 사용 기술에 따른 분류

질의응답 시스템은 사용되는 기술적 접근 방식에 따라 여러 유형으로 분류할 수 있다. 주요 유형은 다음과 같다.

  • '''규칙 기반 시스템''': 질문에 대한 정답을 결정하기 위해 일련의 규칙을 사용한다.
  • '''통계적 시스템''': 질문에 대한 가장 가능성이 높은 답변을 찾기 위해 통계적 방법을 사용한다.
  • '''하이브리드 시스템''': 규칙 기반 및 통계적 방법을 결합하여 사용한다.

3. 질의응답 시스템의 역사

초기 질의응답 시스템으로는 BASEBALL[3]과 LUNAR[4]이 있다. BASEBALL은 1년 동안 메이저 리그 야구에 대한 질문에 답변했다. LUNAR은 아폴로 달 탐사 임무에서 가져온 암석의 지질 분석에 대한 질문에 답변했다. 두 질의응답 시스템 모두 선택한 영역에서 매우 효과적이었다. LUNAR은 1971년 달 과학 컨벤션에서 시연되었으며, 시스템에 대해 훈련받지 않은 사람들이 제기한 해당 영역의 질문 중 90%에 답변할 수 있었다. 그 후 몇 년 동안 더 제한적인 영역의 질의응답 시스템이 개발되었다. 이러한 모든 시스템의 공통적인 특징은 선택된 영역의 전문가가 수동으로 작성한 핵심 데이터베이스 또는 지식 시스템을 가지고 있다는 점이다. BASEBALL과 LUNAR의 언어 능력은 최초의 챗봇 프로그램인 ELIZA와 DOCTOR과 유사한 기술을 사용했다.

SHRDLU는 1960년대 후반과 1970년대 초에 테리 위노그래드가 개발한 성공적인 질의응답 프로그램이다. 이 프로그램은 장난감 세계("블록 세계")에서 로봇의 작동을 시뮬레이션했으며, 로봇에게 세계의 상태에 대한 질문을 할 수 있는 가능성을 제공했다. 이 시스템의 강점은 매우 특정한 영역과 컴퓨터 프로그램에 쉽게 인코딩할 수 있는 물리 법칙이 있는 매우 단순한 세계를 선택한 것이다.

1970년대에는 더 좁은 지식 영역을 목표로 하는 지식베이스가 개발되었다. 이러한 전문가 시스템과 인터페이스하기 위해 개발된 질의응답 시스템은 지식 영역 내에서 더 반복 가능하고 유효한 응답을 생성했다. 이러한 전문가 시스템은 내부 아키텍처를 제외하고는 현대 질의응답 시스템과 매우 유사하다. 전문가 시스템은 전문가가 구성하고 정리한 지식베이스에 크게 의존하는 반면, 많은 현대 질의응답 시스템은 크고 비정형적인 자연어 텍스트 코퍼스의 통계적 처리에 의존한다.

1970년대와 1980년대에는 전산언어학 분야에서 포괄적인 이론이 개발되었으며, 이는 텍스트 이해와 질의응답 분야에서 야심찬 프로젝트의 개발로 이어졌다. 한 예로, 1980년대 후반에 캘리포니아 대학교 버클리에서 로버트 윌렌스키가 개발한 Unix Consultant(UC)가 있다. 이 시스템은 유닉스 운영 체제에 관한 질문에 답변했다. 이 시스템은 해당 영역에 대한 포괄적이고 수작업으로 제작된 지식베이스를 가지고 있으며, 다양한 유형의 사용자에게 맞는 답변을 제시하는 것을 목표로 했다. 또 다른 프로젝트는 독일 도시의 관광 정보 영역에서 작동하는 텍스트 이해 시스템인 LILOG이다. UC 및 LILOG 프로젝트에서 개발된 시스템은 간단한 시연 단계를 넘어서지 못했지만, 전산언어학 및 추론 이론 개발에 기여했다.

건강 및 생명 과학자를 위한 EAGLi와 같은 특수 자연어 질의응답 시스템이 개발되었다.[5]

4. 질의응답 시스템의 구조

질의응답 시스템은 일반적으로 컴퓨터 프로그램으로, 구조화된 데이터베이스 또는 지식베이스에 질의하여 답을 구성할 수 있다. 더 일반적으로는, 비구조화된 자연어 문서 집합에서 답을 가져올 수 있다.

질의응답 시스템에 사용되는 자연어 문서 집합의 몇 가지 예는 다음과 같다.



2001년 기준으로, 질의응답 시스템은 일반적으로 질문의 유형과 답변의 유형을 결정하는 '질문 분류기' 모듈을 포함했다.[6]

다양한 유형의 질의응답 시스템은 서로 다른 아키텍처를 사용한다. 예를 들어, 최신 개방형 도메인 질의응답 시스템은 검색-판독 아키텍처(retriever-reader architecture)를 사용할 수 있다. 검색기(retriever)는 주어진 질문과 관련된 관련 문서를 검색하는 것을 목표로 하고, 판독기(reader)는 검색된 문서에서 답을 추론하는 데 사용된다. GPT-3, T5,[7] 및 BART[8] 와 같은 시스템은 변환기 기반 아키텍처가 기본 매개변수에 대규모 텍스트 데이터를 저장하는 종단간 아키텍처를 사용한다. 이러한 모델은 외부 지식 소스에 액세스하지 않고도 질문에 답할 수 있다.

5. 질의응답 시스템의 응용 분야

질의응답 시스템은 다음과 같은 다양한 분야에 활용된다.


  • 사실 확인: "사실 ''X''가 참인지 거짓인지" 질문하여 사실 여부를 확인한다.
  • 고객 서비스
  • 기술 지원
  • 시장 조사
  • 보고서 생성 또는 연구 수행

6. 질의응답 시스템의 과제 및 발전 방향

최근 몇 년 동안 질의응답 시스템은 지식의 추가 영역을 포괄하도록 확장되었다.[21] 예를 들어, 시간적 및 공간적 질문, 정의 및 용어에 대한 질문, 전기적 질문, 다국어 질문, 오디오, 이미지[30] 및 비디오[22]의 내용에 대한 질문에 자동으로 답변하는 시스템이 개발되었다.

현재 질의응답 연구 주제는 다음과 같다.


  • 상호 작용—질문 또는 답변의 명확화[23]
  • 답변 재사용 또는 캐싱[24]
  • 의미 분석[25]
  • 답변 제시[26]
  • 지식 표현 및 의미 함축[27]
  • 질의응답 시스템을 이용한 소셜 미디어 분석
  • 감성 분석[28]
  • 주제 역할 활용[29]
  • 시각적 질의응답을 위한 이미지 캡션 생성[30]
  • 구현된 질의응답[31]


2011년, IBM이 개발한 질의응답 컴퓨터 시스템인 왓슨은 브래드 러터와 켄 제닝스와의 ''제퍼디!'' 두 번의 시범 경기에 참가하여 상당한 차이로 승리했다.[32]

페이스북 리서치는 오픈 소스 라이선스에 따라 자체 DrQA 시스템[33]을 제공했다. 이 시스템은 위키피디아를 지식 원천으로 사용한다.[34] 딥셋의 오픈 소스 프레임워크인 Haystack은 오픈 도메인 질의응답과 생성 질의응답을 결합하고 언어 모델을 적용한다.[35][36]

GPT-4[36], Gemini[38]와 같은 대규모 언어 모델(LLM)[36]은 더욱 정교한 텍스트 이해 및 생성을 가능하게 하는 성공적인 QA 시스템의 예이다. 텍스트, 이미지 및 오디오와 같은 다양한 모달리티의 정보를 처리하고 이해할 수 있는 다모달[39] QA 시스템과 결합하면 LLM은 QA 시스템의 기능을 크게 향상시킨다.

참조

[1] 서적 Ontology-Based Interpretation of Natural Language https://books.google[...] Morgan & Claypool Publishers 2014-03-01
[2] 간행물 Machine Reading of Biomedical Texts about Alzheimer's Disease http://citeseerx.ist[...] CLEF 2012 Evaluation Labs and Workshop 2012-09-17
[3] 논문 Baseball: an automatic question-answerer https://web.stanford[...] 1961
[4] 논문 Lunar rocks in natural English: Explorations in natural language question answering 1977
[5] 웹사이트 EAGLi platform - Question Answering in MEDLINE https://candy.hesge.[...] 2021-12-02
[6] 간행물 Natural Language Question Answering. The View from Here http://journals.camb[...] Cambridge University Press 2001
[7] 논문 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
[8] 논문 BART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and Comprehension
[9] 간행물 The Web as a Resource for Question Answering: Perspectives and Challenges http://citeseerx.ist[...] 2002
[10] 간행물 Cogex: A logic prover for question answering http://anthology.acl[...] Association for Computational Linguistics 2003
[11] 간행물 An application of automated reasoning in natural language question answering https://web.archive.[...] 2010
[12] 서적 Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing 2018
[13] 서적 Proceedings of the 21st International Conference on Computational Linguistics and the 44th annual meeting of the ACL - ACL '06 2006
[14] 논문 Introducing MathQA: a Math-Aware question answering system Emerald Publishing Limited 2018-09-12
[15] 논문 Introducing MathQA: a Math-Aware question answering system Emerald Publishing Limited 2018-09-12
[16] 간행물 Mining Mathematical Documents for Question Answering via Unsupervised Formula Labeling https://www.gipp.com[...] 2022
[17] 서적 Experimental IR Meets Multilinguality, Multimodality, and Interaction http://dx.doi.org/10[...] Springer International Publishing 2020
[18] 서적 ARQMath Lab: An Incubator for Semantic Formula Search in zbMATH Open? http://worldcat.org/[...] 2020-12-04
[19] 서적 2019 ACM/IEEE Joint Conference on Digital Libraries (JCDL) IEEE 2019-06
[20] 논문 Collaborative and AI-aided Exam Question Generation using Wikidata in Education 2022
[21] 논문 Book Review ''New'' Directions in Question Answering Mark T. Maybury (editor) (MITRE Corporation) Menlo Park, CA: AAAI Press and Cambridge, MA: The MIT Press, 2004, xi+336 pp; paperbound, ISBN 0-262-63304-3, $40.00, £25.95
[22] 논문 Uncovering Temporal Context for Video Question and Answering
[23] 간행물 Designing an interactive open-domain question answering system https://www.research[...] 2009
[24] 간행물 Reuse in Question Answering: A Preliminary Study https://www.aaai.org[...] 2003
[25] 간행물 Semantic parsing for single-relation question answering https://www.aclweb.o[...] 2014
[26] 간행물 Utilizing typed dependency subtree patterns for answer sentence generation in question answering systems https://link.springe[...] 2017
[27] 간행물 An inference model for semantic entailment in natural language https://www.aaai.org[...] 2005
[28] 웹사이트 BitCrawl by Hobson Lane http://totalgood.com[...] 2012-05-29
[29] 간행물 Towards a thematic role based target identification model for question answering http://rivinduperera[...] 2012
[30] 간행물 Bottom-up and top-down attention for image captioning and visual question answering http://openaccess.th[...] 2018
[31] 간행물 Embodied question answering https://openaccess.t[...] 2018
[32] 뉴스 On 'Jeopardy!' Watson Win is All but Trivial https://www.nytimes.[...] 2011-02-16
[33] 웹사이트 DrQA https://research.fb.[...]
[34] 논문 Reading Wikipedia to Answer Open-Domain Questions
[35] 서적 Natural Language Processing with Transformers: Building Language Applications with Hugging Face https://www.oreilly.[...] O'Reilly UK Ltd. 2022-07-05
[36] 웹사이트 Haystack documentation https://docs.haystac[...] deepset 2022-11-04


본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com