맨위로가기

델파이 기법

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
목차

1. 개요

델파이 기법은 전문가들의 의견을 수렴하여 집단적 판단을 도출하는 예측 기법이다. 냉전 초기에 기술 발전을 예측하기 위해 개발되었으며, 랜드 연구소의 올래프 헬머, 노먼 댈키, 니콜라스 레셔 등에 의해 1950~1960년대에 정립되었다. 델파이 기법은 익명성, 반복적인 피드백, 정보 흐름의 구조화, 전문가 패널 활용 등의 특징을 가지며, 기술 예측, 정책 결정, 보건 의료 등 다양한 분야에서 활용된다. 예측 시장과 유사한 점이 있으나, 전문가의 추론 과정을 공개하고 기밀 유지가 용이하다는 장점이 있다. 다만, 전문가 선정의 어려움, 정보 부족, 복잡한 예측의 어려움, 정확도 문제 등의 한계도 존재한다.

2. 역사

델파이 기법은 1964년 미국의 랜드 연구소에서 개발되어 IT, 연구개발, 교육, 군사 분야 등에서 활용되고 있다. 이 기법은 전문가들의 의견 수립, 중재, 타협을 통해 반복적인 피드백을 받아 하향식으로 의견을 도출하여 문제를 해결한다.

2021년, 바이더벡 외 연구진은 실시간 델파이 형식을 포함한 델파이 기법의 새로운 방향과 발전에 대한 학제 간 연구를 진행했다. 이들은 심리학 분야의 감성 분석 등을 활용하여 델파이 설문 조사를 설계하기 위한 방법론적 도구 상자를 제공한다.[15]

2. 1. 기원

델파이 기법은 냉전 초기에 기술이 전쟁에 미치는 영향을 예측하기 위해 개발되었다.[12] 1944년, 헨리 H. 아놀드 장군은 미국 육군 항공대를 위해 군에서 사용될 수 있는 미래 기술 능력에 대한 보고서를 작성하도록 지시했다.

이론적 접근, 정량적 모형 또는 외삽법과 같은 전통적인 예측 방법의 단점은 정확한 과학적 법칙이 아직 확립되지 않은 분야에서 빠르게 드러났다. 이러한 단점을 극복하기 위해 1950~1960년대(1959년) 올라프 헬머, 노먼 댈키, 니콜라스 레셔가 랜드 연구소에서 델파이 기법을 개발했다.[13] 이후로 이멘-델파이 절차와 같은 다양한 수정 및 재정의와 함께 사용되어 왔다.[14]

"델파이"라는 이름은 델포이의 신탁에서 유래되었지만, 방법의 저자들은 이 이름이 "약간의 신비주의"를 연상시킨다는 점에 불만을 품었다.[11]

2. 2. 랜드 연구소 개발

델파이 기법은 냉전 초기에 기술이 전쟁에 미치는 영향을 예측하기 위해 개발되었다.[12] 1944년, 헨리 H. 아놀드 장군은 미국 육군 항공대를 위해 군에서 사용될 수 있는 미래 기술 능력에 대한 보고서를 작성하도록 지시했다.

이론적 접근, 정량적 모형 또는 예측 방법의 단점이 빠르게 드러나자, 이를 극복하기 위해 1950~1960년대(1959년) 올라프 헬머, 노먼 댈키, 니콜라스 레셔가 랜드 연구소에서 델파이 기법을 개발했다.[13] 이후로 이멘-델파이 절차와 같은 다양한 수정 및 재정의와 함께 사용되어 왔다.[14]

전문가들은 가능한 적의 공격 가능성, 빈도 및 강도에 대한 의견을 제시하도록 요청받았고, 다른 전문가들은 익명으로 피드백을 제공했다. 이러한 과정은 합의가 도출될 때까지 여러 번 반복되었다.

2. 3. 발전과 변형

"델파이"라는 이름은 델포이의 신탁에서 유래되었지만, 이 방법의 저자들은 이 이름이 "약간의 신비주의"를 연상시킨다는 점에 불만을 품었다.[11] 델파이 기법은 집단적 판단이 개별적 판단보다 더 타당하다고 가정한다.

냉전 초기, 헨리 H. 아놀드 장군은 미국 육군 항공대를 위해 군에서 사용될 수 있는 미래 기술 능력에 대한 보고서를 작성하도록 지시했고(1944년), 이는 기술이 전쟁에 미치는 영향을 예측하기 위함이었다.[12]

다양한 접근 방식이 시도되었지만, 정확한 과학적 법칙이 아직 확립되지 않은 분야에서는 이론적 접근, 정량적 모형, 외삽법 등 전통적인 예측 방법은 단점이 빠르게 드러났다. 이를 극복하기 위해 1950~1960년대(1959년) 올라프 헬머, 노먼 댈키, 니콜라스 레셔가 랜드 연구소에서 델파이 기법을 개발했다.[13] 이후 이멘-델파이 절차와 같은 다양한 수정 및 재정의가 이루어졌다.[14]

전문가들은 가능한 적의 공격 가능성, 빈도 및 강도에 대한 의견을 제시하도록 요청받았고, 다른 전문가들은 익명으로 피드백을 제공할 수 있었다. 이러한 과정은 합의가 도출될 때까지 여러 번 반복되었다.

2021년, 바이더벡 외 연구진의 학제 간 연구에서는 실시간 델파이 형식을 포함한 델파이 기법의 새로운 방향과 발전에 초점을 맞췄다. 저자들은 심리학 분야의 감성 분석 등을 포함하여 델파이 설문 조사를 설계하기 위한 방법론적 도구 상자를 제공한다.[15]

3. 주요 특징

델파이 기법은 특정 문제에 대해 전문가들의 견해를 종합하여 집단적 판단으로 정리하는 절차이다. 이는 정확한 정보가 없을 때 "두 사람의 의견이 한 사람의 의견보다 정확하다"는 계량적 객관의 원리와 "다수의 판단이 소수의 판단보다 정확하다"는 민주적 의사결정 원리에 기반한다. 전문가들은 직접 만나지 않고 우편이나 전자 메일을 통해 의견을 교환하며, 이를 통해 도출된 결론을 내놓는 것이 특징이다.[46]

델파이 기법은 구조화된 개인 그룹의 예측이 구조화되지 않은 그룹의 예측보다 정확하다는 원칙에 기반한다. 또한, 응답, 검토, 수정의 반복을 통해 응답 범위를 좁혀나가며, 전문가 패널을 활용하여 의사 결정이 필요한 분야에 대한 전문 지식을 활용한다.

3. 1. 익명성 보장

델파이 기법에서는 일반적으로 모든 참여자가 익명을 유지한다. 최종 보고서가 완료된 후에도 그들의 신원은 공개되지 않는다. 이는 일부 참여자의 권위, 개성 또는 명성이 다른 참여자를 과정에서 지배하는 것을 방지한다.[47] 또한 참여자가 자신의 개인적인 편견에서 (어느 정도까지) 자유로워지게 하고, 편승 효과 또는 후광 효과를 최소화하며, 자유로운 의견 표현을 허용하고, 열린 비판을 장려하며, 이전 판단을 수정할 때 오류를 인정하는 것을 용이하게 한다.[47]

3. 2. 반복적인 피드백

델파이 기법은 참여자들이 다른 사람들의 응답, 전체 패널의 진행 상황에 대해 의견을 제시하고, 자신의 예측과 의견을 실시간으로 수정할 수 있도록 한다.[46]

응답, 검토, 응답 수정의 반복을 통해 응답 범위가 좁혀지고 그룹은 "정확한" 응답으로 수렴한다고 여겨진다. 델파이 기법의 절차는 독자적으로 개선되는 경우가 많다. 일반적인 절차는 다음과 같다.[47]

단계내용
1델파이 기법의 프로세스를 담당하고 관리하는 팀 결성
2응답자 그룹 선정 (최소 1명 이상의 전문가 포함)
31차 설문 작성
4설문 검증
5응답자 개개인에게 설문 발송
61차 답변으로 얻은 정보를 분석하고, 이를 통합하여 다시 응답자에게 발송 (전문가 익명, 익명화 처리, 답변 데이터 집약 및 체계화)
7응답자가 답변하고, 전원의 합의를 얻을 때까지 (6~7)의 프로세스를 반복 (단순 답변 외 근거 자료 등 제공 가능, 응답자는 다른 답변과 대조하여 답변 수정 권장, 프로세스 종료 기준은 "전원의 합의" 외 "특정 기준"도 가능)
8최종 결과 기록



전문가들의 첫 번째 기여는 설문 조사에 대한 답변과 이러한 답변에 대한 의견의 형태로 수집된다. 관리자는 정보를 처리하고 관련 없는 내용을 제거하여 참가자 간의 상호 작용을 제어한다. 이를 통해 대면 토론으로 인한 악영향을 피하고, 집단 역학에서의 영향(소수 의견이 배제되기 쉬운 심리적 영향)을 해결한다.

3. 3. 정보 흐름의 구조화

델파이 기법은 구조화된 개인 그룹의 예측이나 결정이 구조화되지 않은 그룹의 예측이나 결정보다 더 정확하다는 원칙에 기반한다.[46]

전문가들의 초기 기여는 설문지 응답과 해당 응답에 대한 의견 형태로 수집된다. 패널 디렉터는 정보를 처리하고 관련 없는 내용을 걸러내어 참가자 간의 상호 작용을 관리한다. 이는 대면 패널 토론의 부정적인 영향을 방지하고 집단 역학의 일반적인 문제를 해결한다.

델파이 기법에서는 참여자가 다른 사람의 반응이나 전체적인 진척 상황에 대해 의견을 제시하거나 자신의 예측이나 의견을 실시간으로 수정할 수 있다.

응답, 검토, 응답 수정의 반복을 통해 응답 범위가 좁혀지고 그룹은 "정확한" 응답으로 수렴한다고 여겨진다.

델파이 기법의 절차는 독자적으로 개선되는 경우가 많으므로, 여기에서는 "ISO 31010"을 기준으로 기술한다.

  • 1명 이상의 전문가를 포함하는 응답자 그룹과 팀의 관리자가 필요하다.
  • 관리자는 설문 작성 및 집계·요약을 실시한다.
  • 전문가는 각 응답자의 답변 수정과 요약을 한다.


절차는 다음과 같다.

1. 델파이 기법의 프로세스를 담당하고 관리하는 팀 결성

2. 응답자 그룹 선정

  • 응답자에는 최소 1명 이상의 전문가를 포함한다.

3. 1차 설문 작성

4. 설문 검증

5. 응답자 개개인에게 설문 발송

6. 1차 답변으로 얻은 정보를 분석하고, 이를 통합하여 다시 응답자에게 발송

  • 전문가도 익명
  • 익명화를 위한 처리
  • 답변 데이터의 집약·체계화

7. 응답자가 답변하고, 전원의 합의를 얻을 때까지 (6~7)의 프로세스를 반복한다.

  • 단순한 답변뿐만 아니라, 근거를 뒷받침하는 이유나 자료 등도 제공할 수 있다.
  • 응답자는 다른 답변과 대조하여 답변 수정을 권장한다.
  • 프로세스 종료 기준은 "전원의 합의" 외에도 과반수 또는 답변 횟수 등 "특정 기준"도 가능하다. [47]

8. 최종 결과 기록

3. 4. 전문가 패널 활용

델파이 기법에서는 조직 내부 및 외부의 전문가 패널을 구성한다. 패널은 의사 결정이 필요한 분야에 대한 지식을 가진 전문가로 구성된다. 각 전문가에게 익명으로 예측을 하도록 요청한다.[16]

델파이 기법을 조정하는 사람은 일반적으로 ''촉진자'' 또는 리더로 알려져 있으며, 의견이나 견해에 대한 지식을 가지고 있다는 이유로 선정된 ''전문가 패널''의 응답을 촉진한다. 촉진자는 설문지, 설문 조사 등을 발송하고, 전문가 패널이 이를 수락하면 지침에 따라 자신의 견해를 제시한다. 응답이 수집 및 분석된 후, 공통적인 관점과 상충하는 관점이 식별된다. 합의에 도달하지 못하면, 이 과정은 점진적으로 종합을 향해 나아가고 합의를 구축하기 위해 정립과 반정립을 거쳐 계속된다.[16]

델파이 기법의 통신 구조


델파이 기법은 구조화된 개인 그룹의 예측(또는 결정)이 구조화되지 않은 그룹의 예측(또는 결정)보다 더 정확하다는 원칙에 기반한다.[46] 응답, 검토, 응답 수정의 반복을 통해 응답 범위가 좁혀지고 그룹은 "정확한" 응답으로 수렴한다고 여겨진다.[47]

4. 수행 절차

델파이 기법의 수행 절차는 일반적으로 다음과 같다. 아래 절차는 "ISO 31010"을 기준으로 한다.[47]

# 델파이 기법 프로세스를 담당하고 관리하는 팀을 결성한다.

# 응답자 그룹을 선정한다.

#:* 응답자는 최소 1명 이상의 전문가를 포함해야 한다.

# 1차 설문을 작성한다.

# 설문을 검증한다.

# 응답자 개개인에게 설문을 발송한다.

# 1차 답변으로 얻은 정보를 분석하고, 이를 통합하여 다시 응답자에게 발송한다.

#:* 전문가는 익명으로 처리된다.

#:* 익명화를 위한 처리가 이루어진다.

#:* 답변 데이터는 집약되고 체계화된다.

# 응답자가 답변하고, 전원의 합의를 얻을 때까지 (6~7)의 과정을 반복한다.

#:* 단순한 답변뿐만 아니라, 근거를 뒷받침하는 이유나 자료 등도 함께 제공할 수 있다.

#:* 응답자는 다른 답변과 대조하여 답변 수정을 권장받는다.

#:* 프로세스 종료 기준은 "전원의 합의" 외에도 과반수 또는 답변 횟수 등 "특정 기준"도 가능하다. [47]

# 최종 결과를 기록한다.

이 과정에서 델파이 기법을 조정하는 사람은 ''촉진자'' 또는 리더로 불리며, 전문가 패널의 응답을 촉진한다. 촉진자는 설문지, 설문 조사 등을 발송하고, 전문가 패널은 지침에 따라 자신의 견해를 제시한다. 응답이 수집 및 분석된 후, 공통적인 관점과 상충하는 관점이 식별된다. 합의에 도달하지 못하면, 이 과정은 정립과 반정립을 거쳐 점진적으로 종합을 향해 나아가고 합의를 구축하기 위해 반복된다.[16]

5. 활용 분야

델파이 기법은 1964년 미국의 RAND연구소에서 개발되어 IT, 연구개발, 교육, 군사 분야 등에서 활용되고 있다.[51] 초기에는 과학 기술 예측에 주로 사용되었으나, 이후 경제, 건강, 교육 등 공공 정책 문제와 관련된 분야로 적용 범위가 넓어졌다.[51] 특히 비즈니스 예측 분야에서 높은 정확도를 보였는데, Basu and Schroeder(1977)의 연구에 따르면 델파이 기법을 활용한 신제품 매출 예측은 실제 매출과 비교했을 때 오차가 3~4%에 불과했다.[51] 이는 정량적 방법(10~15%)이나 비구조화된 예측 방법(20%)에 비해 훨씬 정확한 결과였다.[51]

1980년대 초, 재키 어워먼은 특허 대상 제품 개발에 기여한 여러 사람들의 역할을 평가하기 위해 수정된 델파이 기법을 고안했다. 이 방법은 특허 변호사들이 팀원 모두가 만족할 수 있는 보너스 분배 비율을 결정하는 데 활용되었다.[51]

5. 1. 기술 예측

델파이 기법은 처음 과학 기술 예측 분야에 적용되었다. 이 기법의 목적은 특정 기술의 가능성과 예상 개발 시간에 대한 전문가 의견을 단일 지표로 결합하는 것이었다. 1964년 고든과 헬머가 작성한 최초의 보고서는 과학적 돌파구, 인구 통제, 자동화, 우주 발전, 전쟁 예방 및 무기 체계와 같은 주제를 다루면서 과학 및 기술 개발의 장기적인 추세 방향을 평가했다.[17] 다른 기술 예측에서는 차량-고속도로 시스템, 산업용 로봇, 지능형 인터넷, 광대역 연결 및 교육에서의 기술을 다루었다.[17]

이후 델파이 기법은 경제 지표, 건강 및 교육과 같은 공공 정책 문제와 관련된 다른 분야에도 적용되었다.[17] 또한 사업 예측에서도 높은 정확도로 적용되었다.[17] 예를 들어, Basu와 Schroeder (1977)가 보고한 사례에서 델파이 기법은 신제품의 첫 2년간 판매량을 실제 판매량과 비교하여 3~4%의 오차로 예측했다.[17] 정량적 방법은 10~15%의 오차를 보였고, 전통적인 비구조화된 예측 방법은 약 20%의 오차를 보였다.[17] (이는 단지 한 예일 뿐이며, 이 기술의 전반적인 정확도는 혼합되어 있다.)[17]

5. 2. 정책 결정

1970년대부터 델파이 기법은 공공 정책 결정에 활용되면서 여러 방법론적 혁신을 가져왔다. 주요 특징은 다음과 같다.

  • 단순 예측 항목 외에 '이슈', '목표', '옵션' 등 다양한 항목을 검토하면서 '바람직성', '실현 가능성'(기술적, 정치적), '확률' 등 다양한 평가 척도가 도입되었다. 이를 통해 '바람직한' 시나리오, '잠재적' 시나리오, '예상' 시나리오 등 다양한 시나리오를 구상할 수 있게 되었다.
  • 공공 정책 문제의 복잡성으로 인해 패널 구성원의 주장에 대한 가중치가 높아졌다. 예를 들어, 각 항목에 대한 찬반 의견을 요청하거나 패널의 고려 사항으로 새로운 항목을 제시하는 방식이다.
  • 패널 평가를 측정하는 방법론도 다차원 척도화와 같은 정교한 방식으로 발전했다.


컴퓨터 기반(이후 웹 기반) 델파이 회의가 사용되면서 추가적인 혁신이 일어났다. 투로프(Turoff)와 힐츠(Hiltz)에 따르면, 컴퓨터 기반 델파이에서는 다음과 같은 변화가 나타났다.

  • 3라운드 이상으로 구분된 종이 기반 델파이의 반복 구조를 패널 구성원이 언제든지 평가를 변경할 수 있는 연속적인(라운드 없는) 상호 작용 과정으로 대체할 수 있다.
  • 통계적 그룹 응답을 실시간으로 업데이트하여 패널 구성원이 새로운 평가를 제공할 때마다 표시할 수 있다.


볼로니니(Bolognini)에 따르면, 웹 기반 델파이는 양방향 정책 결정 및 전자 민주주의와 관련하여 두 가지 추가적인 가능성을 제공한다.

  • 다수의 참여자 참여 가능
  • 웹 기반 통신 구조(하이퍼델파이)
  • 서로 다른 그룹(정책 결정자, 전문가, 시민 등)을 대표하는 둘 이상의 패널 사용 가능. 관리자는 각 패널에게 다양한 역할과 전문성을 반영하는 작업을 부여하고, 특별한 통신 구조 내에서 상호 작용하도록 할 수 있다. 예를 들어, '정책 커뮤니티' 구성원(정책 결정자 및 전문가)은 '메인 회의' 패널의 일부로 상호 작용하는 동시에, '사이드 회의'에 참여하는 '가상 커뮤니티'(시민, 협회 등)로부터 입력을 받을 수 있다. 그는 이러한 웹 기반 가변 통신 구조를 '하이퍼델파이'(HD)라고 부르며, 델파이 회의가 "디지털 통신의 하이퍼텍스트적이고 상호 작용적인 특성에 더 유연하게 적응하도록 설계"되었다고 설명한다.


웹 기반 정책 델파이의 성공적인 사례 중 하나는 라틴 아메리카의 eLAC 실행 계획을 수립하기 위한 5라운드 델파이 연습(1,454건의 기고)이다.[51] 이는 당시 개발도상국 정부 간 절차 역사상 가장 광범위한 온라인 참여 정책 결정 예측 연습으로 여겨진다. 구체적인 정책 지침 외에도, 연구자들은 다음과 같은 교훈을 제시했다.

  • 정책 델파이 방법론이 특히 개발도상국에서 공공 의사 결정에 투명성과 책무성을 도입할 수 있는 잠재력
  • 개발 커뮤니티에서 다기관 네트워킹을 촉진하기 위한 예측 연습의 유용성
  • 유엔과 같은 기존의 대의 민주주의 및 국제 다자주의 메커니즘에 예측 연습을 포함시키는 것의 유용성
  • 자원이 부족한 개발도상국에서 참여를 촉진하기 위한 온라인 도구의 잠재력
  • 국제 예측 연습 규모에서 발생하는 자원 효율성이며, 따라서 자원이 부족한 지역에 적합.

5. 3. 보건 의료

델파이 기법은 보건 관련 분야에서 전문가 합의를 도출하는 데 널리 사용된다.[21] 예를 들어, 의학 지침 및 프로토콜 개발에 자주 활용된다.[21]

공중 보건 분야에서 델파이 기법을 적용한 몇 가지 예시는 다음과 같다.

  • 비알코올성 지방간 질환[22]
  • 요오드 결핍 장애[23]
  • 이주민이 영향을 받는 지역 사회를 위한 대응적인 보건 시스템 구축[24]
  • HIV 감염인들의 웰빙 증진에 있어서 보건 시스템의 역할[25]
  • 코로나19 범유행 종식을 위한 권고안에 관한 2022년 논문 작성[26]


건강 연구 보고 지침 개발에 델파이 기법을 사용하는 것이 권장되며,[27] 특히 숙련된 개발자에게 적합하다.[28] 2010년에 이러한 권고가 이루어진 이후, 두 건의 체계적 문헌고찰에서 발표된 보고 지침의 30% 미만이 개발 과정에 델파이 기법을 통합한 것으로 나타났다.[29][30]

5. 4. 기타 분야

델파이 기법은 초기에는 과학 기술 예측 분야에 주로 사용되었다.[51] 1964년 고든과 헬머의 보고서에서는 과학의 진보, 인구 관리, 자동화, 우주 개발, 전쟁 방지, 무기 시스템 등 다양한 주제를 다루면서 장기적인 과학 기술 개발 방향을 예측했다.[51] 이 외에도 차량 고속도로 시스템, 산업용 로봇, 지능형 인터넷, 광대역 연결, 교육 기술 등이 예측되었다.[51]

이후 델파이 기법은 경제 동향, 보건, 교육 등 공공 정책 문제와 관련된 다양한 분야로 활용 영역이 넓어졌다.[51] 특히 비즈니스 예측 분야에서 높은 정확도를 보였는데, Basu and Schroeder(1977)의 연구에 따르면 델파이 기법을 활용한 신제품 매출 예측은 실제 매출과 비교했을 때 오차가 3~4%에 불과했다.[51] 이는 10~15%의 오차를 보인 정량적 방법이나 20%의 오차를 보인 비구조화된 예측 방법에 비해 훨씬 정확한 결과였다.[51]

1980년대 초, 재키 어워먼(Jackie Awerman)은 특허 대상 제품 개발에 기여한 여러 사람들의 역할을 평가하기 위해 수정된 델파이 기법을 고안했다.[51] 이 방법은 특허 변호사들이 팀원 모두가 만족할 수 있는 보너스 분배 비율을 결정하는 데 활용되었다.[51]

6. 변형 기법

델파이 기법은 반복을 통해 가장 유력한 미래에 대한 합의를 목표로 해왔으나, 다양한 변형 기법들이 개발되었다. 정책 델파이(Policy Delphi)[31][32]는 선호하는 미래에 대한 다양한 관점을 구조화하고 논의하는 의사 결정 지원 방법이다. 유럽에서는 웹 기반 실험을 통해 델파이 기법을 의사 결정 및 전자 민주주의를 위한 대화형 의사 결정 기술로 사용하기도 한다.[33]

오스모 쿠시(Osmo Kuusi)가 개발한 논쟁 델파이(Argument Delphi)는 결과보다는 지속적인 토론과 관련 논거를 찾는 데 중점을 둔다. 페트리 타피오(Petri Tapio)가 개발한 분해 정책 델파이(Disaggregative Policy Delphi)는 클러스터 분석을 이용하여 델파이 마지막 라운드에서 미래의 다양한 시나리오를 구성한다.[34] 응답자의 미래 관점은 별개로 처리된다. 사디 에브렌 세케르(Sadi Evren Seker)는 논쟁 델파이 전산화의 어려움을 해결하는 방법을 제시했다.[35]


  • '''미니 델파이 기법''' : 대면 회의에 적합하도록 개선된 형태이다.

6. 1. 실시간 델파이

실시간 델파이 예측은 웹사이트를 이용하여 실시간으로 수행된다. 테크캐스트 프로젝트(TechCast Project)는 전 세계 100명의 전문가 패널을 통해 과학 및 기술 분야의 획기적인 발전을 예측한다.[1] 호라이즌 프로젝트(Horizon Project)는 교육 미래학자들이 델파이 기법을 활용하여 온라인 협력을 통해 교육 분야에서 주목해야 할 기술 발전을 도출한다.[1]

6. 2. 논쟁 델파이

전통적으로 델파이 기법은 반복을 통해 가장 유력한 미래에 대한 합의를 목표로 해왔다. 정책 델파이(Policy Delphi)[31][32]와 같은 다른 변형들은 선호하는 미래에 대한 다양한 관점을 구조화하고 논의하는 것을 목표로 하는 의사 결정 지원 방법을 제공한다.

유럽에서는 더 최근의 웹 기반 실험에서 델파이 기법을 의사 결정 및 전자 민주주의를 위한 대화형 의사 결정 기술로 사용해왔다.[33]

오스모 쿠시(Osmo Kuusi)가 개발한 논쟁 델파이(Argument Delphi)는 산출물에 초점을 맞추기보다는 지속적인 토론과 관련 논거를 찾는 데 중점을 둔다. 페트리 타피오(Petri Tapio)가 개발한 분해 정책 델파이(Disaggregative Policy Delphi)는 클러스터 분석을 체계적인 도구로 사용하여 델파이의 마지막 라운드에서 미래의 다양한 시나리오를 구성한다.[34] 응답자의 가능한 미래와 선호하는 미래에 대한 관점은 별개의 사례로 처리된다. 논쟁 델파이의 전산화는 논거 해결, 논거 집계 및 논거 평가와 같은 여러 문제로 인해 상대적으로 어렵다. 사디 에브렌 세케르(Sadi Evren Seker)가 개발한 논쟁 델파이의 전산화는 이러한 문제에 대한 해결책을 제시한다.[35]

6. 3. 미니 델파이 기법

개선된 형태로, 대면 회의에서의 사용에 적합하도록 한 것이다.

7. 델파이 기법과 예측 시장

델파이 기법은 예측 시장과 유사하게 다양한 집단의 의견을 종합하는 구조화된 접근 방식이다. 그러나 서로 다른 문제에 대한 상대적인 적용 가능성을 결정할 수 있는 차이점도 존재한다.[1]

예측 시장은 참여에 대한 인센티브를 제공하여 사람들이 오랜 기간 동안 참여하고 자신의 진정한 믿음을 드러내도록 동기를 부여하며, 정보를 자동으로 종합하고 새로운 정보를 즉시 예측에 통합한다는 장점이 있다. 또한 참가자는 진행자가 수동으로 선택하고 모집할 필요 없이, 자신의 사적인 정보가 아직 예측에 반영되지 않았다고 생각하면 스스로 참여 여부를 결정한다.

델파이 기법은 예측 시장에 비해 참가자들이 자신의 추론 과정을 공개하고, 기밀 유지가 더 쉬우며, 전문가를 쉽게 구할 수 있다면 잠재적으로 더 빠른 예측이 가능하다는 장점이 있다. 또한 델파이 기법은 관련 베팅이 베팅에 사용된 통화의 가치에 영향을 미칠 수 있는 상황에 적용 가능하다.[1] (예: 달러로 하는 달러 붕괴에 대한 베팅은 왜곡된 배당률을 가질 수 있다.)

최근에는 델파이 기법과 예측 시장을 결합하는 연구도 진행되고 있다. 도이치 증권 거래소의 연구에서는 델파이 기법의 요소를 예측 시장에 통합하기도 했다.[39]

7. 1. 델파이 기법의 장점

델파이 기법은 예측 시장에 비해 다음과 같은 장점을 가진다.[1]

  • 추론 공개: 참가자들이 자신의 추론 과정을 공개한다.
  • 기밀 유지: 기밀 유지가 더 쉽다.
  • 신속성: 전문가를 쉽게 구할 수 있다면 잠재적으로 더 빠른 예측이 가능하다.
  • 통화 가치 영향: 델파이 기법은 관련 베팅이 베팅에 사용된 통화의 가치에 영향을 미칠 수 있는 상황에 적용할 수 있다. (예: 달러로 하는 달러 붕괴에 대한 베팅은 왜곡된 배당률을 가질 수 있다.)


최근 연구에서는 델파이 기법과 예측 시장을 결합하는 데 초점을 맞추고 있다. 도이치 증권 거래소에서 진행된 연구에서는 델파이 기법의 요소를 예측 시장에 통합하였다.[39]

델파이 기법은 다음과 같은 추가적인 장점도 있다.

  • 익명성: 익명으로 의견을 제시하므로 비판적인 의견도 표명하기 쉽다.
  • 평등성: 모든 의견의 중요도가 동일하며, 위압적인 사람으로 인한 문제가 발생하지 않는다.
  • 성과: 성과에 대한 소유권을 얻을 수 있다.
  • 회의 불필요: 동시에 한 장소에 사람들이 모일 필요가 없다.

7. 2. 예측 시장의 장점

예측 시장은 참여에 대한 인센티브를 제공하여 다음과 같은 장점을 가진다.[1]

  • 참여자들이 오랜 기간 동안 참여하고 자신의 진정한 믿음을 드러내도록 동기를 부여할 수 있다.
  • 정보를 자동으로 종합하고 새로운 정보를 즉시 예측에 통합한다.
  • 진행자가 참여자를 수동으로 선택하고 모집할 필요가 없다. 참여자는 자신의 사적인 정보가 아직 예측에 반영되지 않았다고 생각하면 스스로 참여 여부를 결정한다.

8. 한계 및 비판

델파이 기법은 오늘날 널리 받아들여지는 예측 도구이지만, 그 실적은 엇갈린다.[37] 좋지 않은 결과를 낳은 사례도 많았지만, 일부 전문가들은 이를 기법 자체의 약점보다는 부적절한 적용 탓으로 돌린다. ''델파이 패널 수행 및 비판적 평가를 위한 RAND 방법론적 지침''은 연구 수행 지침과 평가 도구를 제공하여 잠재적 단점을 피하고 연구 결과의 신뢰도를 높이는 데 도움을 준다.[37]

델파이 기법은 익명성과 평등성을 보장하여 비판적인 의견을 쉽게 제시하고 모든 의견을 동등하게 고려할 수 있다는 장점이 있다. 또한, 회의 없이 진행되므로 시간과 장소에 구애받지 않고 참여할 수 있으며, 성과에 대한 소유권을 얻을 수 있다.

하지만, 델파이 기법은 노동 집약적인 작업이므로 많은 시간이 소요되며, 참가자들은 자신의 의견을 서면으로 작성해야 한다는 단점이 있다.

8. 1. 전문가 선정의 어려움

델파이 기법의 중요한 과제는 충분한 지식을 갖춘 패널 구성원을 확보하는 것이다. 패널 구성원이 주제에 대해 잘못된 정보를 가지고 있다면, 델파이 기법은 무지에 대한 확신만 더해줄 수 있다.[38]

8. 2. 정보 부족 문제

델파이 기법은 과학 및 기술 예측과 같이 불확실성이 매우 큰 분야에서 사용될 때, 정확하고 항상 올바른 예측이 불가능하므로 높은 수준의 오류가 발생할 수 있다. 이러한 환경에서 중요한 과제는 충분한 지식을 갖춘 패널 구성원을 확보하는 것이다. 만약 패널 구성원이 주제에 대해 잘못된 정보를 가지고 있다면, 델파이 기법은 오히려 무지에 대한 확신만 더해줄 수 있다.[38]

8. 3. 복잡한 예측의 어려움

델파이 기법은 기술 예측에서 약물 남용에 이르기까지 다양한 분야에서 성공적으로 사용되어 왔지만, 전반적인 실적은 엇갈린다.[36][37] 좋지 않은 결과를 낳은 사례도 많았지만, 일부 전문가들은 이를 기법 자체의 약점보다는 부적절한 적용 탓으로 돌린다. '델파이 패널 수행 및 비판적 평가를 위한 RAND 방법론적 지침'은 연구 수행 지침과 평가 도구를 제공하여 잠재적 단점을 피하고 연구 결과의 신뢰도를 높이는 데 도움을 준다.[37]

과학 및 기술 예측과 같이 불확실성이 매우 큰 분야에서는 정확하고 항상 올바른 예측이 불가능하므로 높은 수준의 오류가 예상된다. 따라서 델파이 기법을 사용할 때는 충분한 지식을 갖춘 패널 구성원을 확보하는 것이 중요하며, 패널 구성원이 잘못된 정보를 가지고 있다면 델파이 기법은 무지에 대한 확신만 더해줄 수 있다.[38]

초기 델파이 기법은 여러 요인이 작용하는 복잡한 예측을 할 수 없다는 문제점이 있었다. 잠재적인 미래 결과는 일반적으로 서로 영향을 미치지 않는 것처럼 간주되었다. 이후 교차 영향 분석과 같이 델파이 기법의 몇 가지 확장 기법이 개발되어 한 사건의 발생이 다른 사건의 확률을 변경할 수 있다는 가능성을 고려하게 되었다. 그럼에도 불구하고 델파이 기법은 단일 스칼라 지표를 예측하는 데 가장 성공적으로 사용될 수 있다.

8. 4. 정확도 문제

델파이 기법은 오늘날 널리 받아들여지는 예측 도구이며, 기술 예측에서 약물 남용에 이르기까지 다양한 분야에서 수천 건의 연구에 성공적으로 사용되어 왔다.[36]

전반적으로 델파이 기법의 실적은 엇갈린다.[37] 이 기법이 좋지 않은 결과를 낳은 사례가 많았다. 그럼에도 불구하고 일부 저자는 이를 기법 자체의 약점이 아니라 기법의 부적절한 적용 탓으로 돌린다. ''델파이 패널 수행 및 비판적 평가를 위한 RAND 방법론적 지침''은 연구 수행에 대한 지침을 제공하고 평가 도구를 제공하는 델파이 연구 매뉴얼이다.[37] 이 매뉴얼은 델파이 기법 연구의 잠재적인 단점을 피하거나 완화하는 데 도움이 되는 모범 사례에 대한 지침을 제공하며, 연구 결과에 부여할 수 있는 신뢰도를 이해하는 데도 도움이 된다.

또한 과학 및 기술 예측과 같은 분야에서는 불확실성의 정도가 매우 커서 정확하고 항상 올바른 예측은 불가능하므로 높은 수준의 오류가 예상된다는 점을 인식해야 한다. 이 기법의 중요한 과제는 충분한 지식을 갖춘 패널 구성원을 확보하는 것이다. 패널 구성원이 주제에 대해 잘못된 정보를 가지고 있다면 델파이 기법을 사용하면 무지에 대한 확신만 더해질 수 있다.[38]

이 기법의 초기 문제점 중 하나는 여러 요인이 작용하는 복잡한 예측을 할 수 없다는 점이었다. 잠재적인 미래 결과는 일반적으로 서로 영향을 미치지 않는 것처럼 간주되었다. 이후 이 문제를 해결하기 위해 교차 영향 분석과 같이 델파이 기법의 몇 가지 확장 기법이 개발되었으며, 이를 통해 한 사건의 발생이 설문 조사에서 다루는 다른 사건의 확률을 변경할 수 있다는 가능성을 고려하게 되었다. 그럼에도 불구하고 델파이 기법은 단일 스칼라 지표를 예측하는 데 가장 성공적으로 사용될 수 있다.

참조

[1] 논문 An Experimental Application of the Delphi Method to the use of experts
[2] 간행물 Delphi Process: A Methodology Used for the Elicitation of Opinions of Experts. https://apps.dtic.mi[...] Rand Corp 1968-09
[3] 간행물 Delphi assessment: Expert opinion, forecasting, and group process. https://apps.dtic.mi[...] The Rand Corporation 1974
[4] 간행물 An Experiment in Probabilistic Forecasting https://apps.dtic.mi[...] The Rand Corporation 1972
[5] 서적 The Delphi Method: Techniques and Applications http://is.njit.edu/p[...] Addison-Wesley
[6] 서적 Principles of Forecasting: A Handbook of Researchers and Practitioners Kluwer Academic Publishers 2001
[7] 논문 The Rand Change Agent Study Revisited: Macro Perspectives and Micro Realities 1990
[8] 논문 The Delphi technique as a forecasting tool: issues and analysis. 1999-10
[9] 논문 Improving the question formulation in Delphi-like surveys: Analysis of the effects of abstract language and amount of information on response behavior. 2021-03
[10] 논문 Who is an expert for foresight? A review of identification methods. 2020-05
[11] 서적 Gazing Into the Oracle: The Delphi Method and Its Application to Social Policy and Public Health Jessica Kingsley Publishers 1996
[12] 논문 The Modified Delphi Technique - A Rotational Modification http://scholar.lib.v[...] 1999
[13] 서적 Predicting the Future: An Introduction to the Theory of Forecasting State University of New York Press 1998
[14] 논문 Imen Delphi: A Delphi Variant Procedure for Emergence Southern Methodist University 1997
[15] 논문 Preparing, conducting, and analyzing Delphi surveys: Cross-disciplinary practices, new directions, and advancements 2021
[16] 논문 Consensus Measurement in Delphi Studies - Review and Implications for Future Quality Assurance
[17] 논문 Incorporating Judgments in Sales Forecasts: Application of the Delphi Method at American Hoist & Derrick 1977-05
[18] 논문 Foresight tools for participative policy-making in inter-governmental processes in developing countries: Lessons learned from the eLAC Policy Priorities Delphi http://martinhilbert[...]
[19] 서적 Gazing into the oracle: The Delphi method and its application to social policy and public health. 1996
[20] 서적 Democrazia elettronica. Metodo Delphi e politiche pubbliche (Electronic Democracy. Delphi Method and Public Policy-Making) Carocci Editore
[21] 논문 We Agree, Don't We? The Delphi Method for Health Environments Research https://journals.sag[...] 2020
[22] 논문 Advancing the global public health agenda for NAFLD: a consensus statement 2022-01
[23] 논문 Barriers Against Prevention Programs for Iodine Deficiency Disorders in Europe: A Delphi Study 2021-04
[24] 논문 Building Responsive Health Systems to Help Communities Affected by Migration: An International Delphi Consensus 2017-02
[25] 논문 Consensus statement on the role of health systems in advancing the long-term well-being of people living with HIV 2021-07
[26] 논문 A multinational Delphi consensus to end the COVID-19 public health threat 2022-11
[27] 논문 Guidance for developers of health research reporting guidelines 2010-02
[28] 웹사이트 Developing your reporting guideline https://www.equator-[...] EQUATOR Network
[29] 논문 Methodology and reporting quality of reporting guidelines: systematic review 2015-09
[30] 논문 The majority of reporting guidelines are not developed with the Delphi method: a systematic review of reporting guidelines 2020-08
[31] 논문 The Design of a Policy Delphi http://is.njit.edu/p[...] 1970-01
[32] 서적 Gazing Into the Oracle: The Delphi Method and Its Application to Social Policy and Public Health Kingsley Publishers
[33] 서적 Democrazia elettronica. Metodo Delphi e politiche pubbliche Carocci Editore
[34] 논문 Disaggregative Policy Delphi: Using cluster analysis as a tool for systematic scenario formation
[35] 논문 Computerized Argument Delphi Technique
[36] 서적 The Delphi Method: Techniques and Applications 2002
[37] 간행물 RAND methodological guidance for conducting and critically appraising Delphi panels. www.rand.org/t/TLA30[...] RAND Corporation 2023
[38] 논문 Methods to elicit forecasts from groups: Delphi and prediction markets compared. https://repository.u[...] 2008-06
[39] 논문 Integrating prediction market and Delphi methodology into a foresight support system — Insights from an online game
[40] 논문 An Experimental Application of the Delphi Method to the use of experts
[41] 문서 Delphi Process: A Methodology Used for the Elicitation of Opinions of Experts. 1968
[42] 문서 Delphi Assessment: Expert Opinion, Forecasting and Group Process 1974-04
[43] 서적 The Delphi Method: Techniques and Applications http://is.njit.edu/p[...] Addison-Wesley
[44] 웹사이트 용語の定義と概念 https://www.jspm.ne.[...] 2021-12-29
[45] 논문 Methods to Elicit Forecasts from Groups: Delphi and Prediction Markets Compared. http://mpra.ub.uni-m[...] 2007
[46] 문서 Expert Opinions in Forecasting. Role of the Delphi Technique. 2001
[47] 논문 The Delphi technique as a forecasting tool: issues and analysis. 1999-10
[48] 뉴스 JVTE v15n2: The Modified Delphi Technique - A Rotational Modification http://scholar.lib.v[...] 1999
[49] 서적 Predicting the Future http://www.rand.org/[...] State University of New York Press 1998
[50] 논문 Imen Delphi: A Delphi Variant Procedure for Emergence Southern Methodist University 1997
[51] 논문 Incorporating Judgments in Sales Forecasts: Application of the Delphi Method at American Hoist & Derrick 1977-05


본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com