선다형 문제

3. 구조

선다형 문항은 제시문과 여러 개의 대안적인 답으로 구성된다. ''제시문''은 해결해야 할 문제, 질문, 또는 완성되지 않은 진술이다. 선택지는 응시자가 선택할 수 있는 가능한 답으로, 정답은 ''정답''이라고 하고 오답은 ''오답지''라고 한다.^[3] 정답은 하나만 정답으로 지정될 수 있다. 이는 여러 개를 정답으로 지정할 수 있는 복수 응답 문항과 대조된다.

일반적으로 정답은 총점에 대해 정해진 점수를 받고, 오답은 점수를 받지 못한다. 그러나 시험에서는 추측을 방지하기 위해 응답하지 않은 질문에 부분 점수를 부여하거나 오답에 대해 벌점을 부과할 수도 있다. 예를 들어, SAT 과목 시험에서는 오답에 대해 응시자의 점수에서 4분의 1점을 삭감한다.

응용 지식 문항과 같은 고급 문항의 경우 제시문은 여러 부분으로 구성될 수 있다. 제시문에는 비네트, 사례 연구, 그래프, 표 또는 여러 요소가 있는 상세한 설명과 같은 확장된 또는 부수적인 자료가 포함될 수 있다. 문항에 최대한의 타당성과 진정성을 보장하는 데 필요한 모든 것을 포함할 수 있다. 제시문은 응답자가 어떻게 답해야 하는지 설명하는 도입 질문으로 끝난다. 의학 선다형 문항의 경우, 도입 질문은 이전에 제시된 사례 연구와 관련하여 "가장 가능성이 높은 진단은 무엇입니까?" 또는 "가장 가능성이 높은 병원체는 무엇입니까?"와 같이 질문할 수 있다.

선다형 시험의 문항은 구어체로 "문제"라고 불리는 경우가 많지만, 많은 문항이 질문 형태로 표현되지 않기 때문에 이는 잘못된 명칭이다. 예를 들어, 불완전한 진술, 유추 또는 수학 방정식으로 제시될 수 있다. 따라서 더 일반적인 용어인 "문항"이 더 적절한 명칭이다. 문항은 문항 은행에 저장된다.

4. 형태

선다형 문항은 제시문과 여러 개의 대안적인 답으로 구성된다. ''제시문''은 해결해야 할 문제, 질문, 또는 완성되지 않은 진술이다. 선택지는 응시자가 선택할 수 있는 가능한 답으로, 정답은 ''정답''이라고 하고 오답은 ''오답지''라고 한다.^[3]

선다형 문제의 유형은 다음과 같다.

일반적으로 정답은 총점에 대해 정해진 점수를 받고, 오답은 점수를 받지 못한다. 그러나 시험에서는 추측을 방지하기 위해 응답하지 않은 질문에 부분 점수를 부여하거나 오답에 대해 벌점을 부과할 수도 있다. 예를 들어, SAT 과목 시험에서는 오답에 대해 응시자의 점수에서 4분의 1점을 삭감한다.^[3]

5. 장점

선다형 시험은 다음과 같은 장점이 있다. 우선, 문항 작성자가 훈련을 잘 받고 문항 품질이 보장된다면 매우 효과적인 평가 기법이 될 수 있다.^[4] 또한 응시자가 문항 형식의 작동 방식에 대한 지침을 받고 시험에 대한 잘못된 통념이 수정된다면 시험에서 더 좋은 성적을 거둘 수 있다.^[5] 많은 평가에서 시험 문항 수가 많을수록 신뢰도가 향상되는 것으로 나타났으며, 적절한 표집과 사례 특이성에 대한 주의를 기울이면 전체 시험 신뢰도를 더욱 높일 수 있다.^[6]

선다형 시험은 서술형 답안을 요구하는 시험보다 주어진 분량의 내용을 평가하는 데 시간이 덜 걸리는 경우가 많다.

선다형 문항은 객관식 평가 문항을 개발하는 데 적합하지만, 작성자 교육이 없으면 문항이 주관적인 성격을 띨 수 있다. 이 시험 방식은 교사가 답을 해석할 필요가 없기 때문에 응시자는 선택 내용만으로 평가를 받으며, 결과에 교사의 편견이 개입될 가능성이 낮아진다.^[7] 평가 대상과 관련 없는 요소(예: 필체, 제시의 명확성)는 선다형 평가에서 작용하지 않으므로, 응시자는 해당 주제에 대한 지식만으로 평가를 받는다. 마지막으로, 응시자가 답안지 또는 온라인 시험 체크 상자를 사용하는 방법을 알고 있다면, 그들의 응답은 명확하게 신뢰할 수 있다. 전반적으로, 선다형 시험은 수업 참여, 사례 시험, 서면 과제, 시뮬레이션 게임과 같은 다른 형태의 평가에 비해 학생들의 전반적인 성과를 가장 강력하게 예측한다.^[8]

2000년대에 교육자들은 상황 판단형 문항(SBA)이 더 우수하다는 것을 발견했다.^[9]

6. 단점

• 근래에는 광학 마크 인식(OMR)을 기반으로 한 컴퓨터 채점 방식을 사용하기 때문에, 오류 발생 시 이의 신청 절차가 까다로울 수 있다.
• 시간 절약과 효율성에 치중하여 학생들의 실력 점검이라는 본래 목적에서 벗어나는 경우가 있다는 비판이 제기되었다.
• 선다형 시험은 잘 정의된 기술이나 낮은 수준의 지식을 평가하는 데는 적합하지만, 문제 해결 및 고차원적 사고 능력을 평가하는 데는 한계가 있다. 이러한 능력은 단답형이나 논술형 시험을 통해 더 효과적으로 평가할 수 있다.
• 대규모 학생들을 평가해야 하는 경우, 비용 효율성 때문에 선다형 시험이 선호되기도 한다. 특히 미국과 인도에서 이러한 경향이 두드러진다.
• 응시자가 문항을 출제자의 의도와 다르게 해석하여, 정답을 알고 있음에도 오답으로 처리될 수 있는 모호성이 존재한다.
• 자유 응답 시험에서는 응시자가 자신의 관점을 주장하고 부분 점수를 받을 수 있지만, 선다형 시험에서는 이러한 기회가 제한적이다.
• 학생들이 질문에 대한 부분적인 지식을 가지고 있더라도, 오답을 선택하면 해당 지식에 대한 점수를 전혀 받지 못한다.
• 특정 주제에 대해 더 많은 질문을 출제하여 표본을 늘리면, 지식 수준을 더 정확하게 평가할 수 있다.
• 답을 모르는 학생이 무작위로 답을 선택해도 일정 확률로 점수를 얻을 수 있다.
• 무작위 선택의 영향을 줄이기 위해 오답 수에 따라 점수를 감점하는 공식 점수 방식이 사용되기도 한다.^[10]
• 문항 반응 이론의 세 모수 모형으로 채점된 시험은 찍기 요소를 고려한다.
• 모호한 표현은 시험 응시자를 혼란시킬 수 있다. 일부 시험 출제자는 하나의 답이 이전 선택지를 포괄할 수 있다는 점을 인지하지 못하고 여러 답을 선택하도록 요구할 수 있다.
• 철학자 자크 데리다는 기본적인 지식 확인의 필요성은 인정하지만, 칸닝 페이퍼 외에 다른 수단이 있다고 주장했다.^[11]
• 이러한 단점에도 불구하고, 선다형 문항은 작성, 채점, 분석이 용이하여 여전히 널리 사용된다.^[12]

7. 답 변경

학생들은 선다형 문제에서 첫 번째 직감을 믿고 처음 고른 답을 고수해야 한다는 이론은 근거 없는 통념이다. 연구자들은 답을 바꾸는 것이 좋지 않다고 생각하는 사람들이 있지만, 일반적으로 답을 바꾸는 것이 더 높은 점수를 얻는 결과를 가져온다는 것을 발견했다. 20개의 별도 연구에서 얻은 데이터에 따르면 "정답에서 오답"으로의 변경 비율은 20.2%인 반면, "오답에서 정답"으로의 변경 비율은 57.8%로 거의 3배에 달한다.^[13] "정답에서 오답"으로의 변경은 더 고통스럽고 기억에 남을 수 있지만(폰 레스토르프 효과), 추가적인 숙고를 통해 더 나은 선택을 할 수 있다는 판단이 들면 답을 바꾸는 것이 좋은 생각일 것이다. 사실, 특정 답안에 대한 개인의 초기 끌림은 시험 출제자가 의도적으로 오답(또는 잘못된 답안)에 심어 놓은 표면적인 타당성에서 비롯될 수 있다. 시험 문항 출제자는 오답을 그럴듯하지만 명백히 틀리게 만들도록 지시받는다. 따라서 시험 응시자가 오답에 처음 끌리는 것은 종종 각 답안을 신중하게 고려한 후에 수정해야 할 반응이다. 일부 시험 과목의 일부 응시자는 특정 시험 문항에 대해 정확한 첫 번째 직감을 가질 수 있지만, 그렇다고 해서 모든 응시자가 자신의 첫 번째 직감을 믿어야 한다는 의미는 아니다.

8. 주요 객관식 시험

• ACT
• AIEEE (인도)
• AP
• ASVAB
• AMC
• 호주 수학 경시대회
• CFA
• CISSP
• CLEP
• COMLEX
• CLAT
• 홍콩 중등 교육 졸업 시험
• F = ma (미국 물리학 올림피아드로 이어짐)
• FE
• GCE 일반 수준 시험
• GED
• GRE
• GATE
• IB 디플로마 프로그램 과학 과목 시험
• IIT-JEE
• 인도네시아 국가 시험
• LSAT
• MCAT
• 다중 주 변호사 시험
• NCLEX
• PLAB (영국에서 비 유럽 경제 지역 의학 졸업생의 의료 행위를 위한 시험)
• PSAT
• SAT
• TOEFL
• 토익
• USMLE
• NTSE
• NEET(UG) (인도)
• UGC NET (인도)
• UPSC CSE 예비 시험 (인도)
• UTME (나이지리아 대학 입학 시험)

참조

_[1] 논문 Constructive multiple-choice testing system
_[2] 논문 Alumni Notes https://books.google[...] 2020-11-29
_[3] 논문 Writing multiple-choice test items http://PAREonline.ne[...]
_[4] 웹사이트 Item Writing Manual http://www.nbme.org/[...] National Board of Medical Examiners
_[5] 논문 A needs-based study and examination skills course improves students' performance
_[6] 논문 Reliability: On the reproducibility of assessment data
_[7] 뉴스 Revisions Adopted in College Entrance Tests https://www.nytimes.[...] 2012-08-22
_[8] 논문 Techniques for assessing skills and knowledge in a business strategy classroom https://www.aserenko[...]
_[9] 논문 The introduction of single best answer questions as a test of knowledge in the final examination for the fellowship of the Royal College of Radiologists in Clinical Oncology
_[10] 웹사이트 Formula Scoring of Multiple-Choice Tests (Correction for Guessing) https://web.archive.[...] 2011-05-20
_[11] 문서 Jacques Derrida
_[12] 웹사이트 Multiple-Choice Tests: Revisiting the Pros and Cons https://www.facultyf[...] 2019-03-22
_[13] 논문 Staying with Initial Answers on Objective Tests: Is it a Myth?
_[14] 웹사이트 Origins and Purposes of Multiple Choice Tests http://ctfd.sfsu.edu[...] San Francisco State University 2016-04-02