고전검사이론

3. 정의

고전검사이론에서는 각 개인이 측정 오류가 없을 때 얻을 수 있는 '진실 점수'(T)를 가지고 있다고 가정한다. 개인의 진실 점수는 무한히 많은 독립적인 시험 시행에서 예상되는 정답 수로 정의된다. 하지만 시험 사용자는 개인의 진실 점수를 관찰할 수 없고, 단지 '관찰 점수'(X)만 관찰할 수 있다. 이때 '관찰 점수'는 '진실 점수'와 '오차'의 합으로 구성된다고 가정한다.

: X = T + E

:: 관찰 점수 = 진실 점수 + 오차

고전검사이론은 모집단에서 X, T, E 세 변수 간의 관계를 다루며, 이는 시험 점수의 질을 평가하는 데 사용된다. 여기서 가장 중요한 개념은 '신뢰도'이다. 관찰된 시험 점수 X의 신뢰도는 $\backslash rho^2\_\{XT\}$로 표시되며, 진실 점수 분산 $\backslash sigma^2\_T$을 관찰 점수 분산 $\backslash sigma^2\_X$으로 나눈 값으로 정의된다.

:$\backslash rho^2\_\{XT\}\; =\; \backslash frac\{\backslash sigma^2\_T\}\{\backslash sigma^2\_X\}$

관찰 점수의 분산은 진실 점수의 분산과 오차 점수의 분산의 합과 같으므로, 신뢰도는 다음과 같이 표현할 수도 있다.

:$\backslash rho^2\_\{XT\}\; =\; \backslash frac\{\backslash sigma^2\_T\}\{\backslash sigma^2\_X\}\; =\; \backslash frac\{\backslash sigma^2\_T\}\{\backslash sigma^2\_T+\backslash sigma^2\_E\}$

이는 신호 대 잡음비(signal-to-noise ratio)를 나타내는 식으로, 시험 점수의 신뢰도는 시험 점수에서 오차 분산의 비율이 낮을수록 높아지며, 반대의 경우도 마찬가지이다. 신뢰도는 진실 점수를 알고 있을 때 설명 가능한 시험 점수 분산의 비율을 의미한다. 신뢰도의 제곱근은 진실 점수와 관찰 점수 간 상관 관계의 절댓값과 같다.

4. 신뢰도

고전검사이론에서 신뢰도는 관찰된 시험 점수($X$)의 분산 중 진실 점수($T$)의 분산이 차지하는 비율($\backslash rho^2\_\{XT\}$)로 정의된다. 이는 시험 점수에서 오차 분산의 비율이 낮을수록 신뢰도가 높아짐을 의미한다. 수식으로 표현하면 다음과 같다.

:$\backslash rho^2\_\{XT\}\; =\; \backslash frac\{\backslash sigma^2\_T\}\{\backslash sigma^2\_X\}\; =\; \backslash frac\{\backslash sigma^2\_T\}\{\backslash sigma^2\_T+\backslash sigma^2\_E\}$

여기서 $\backslash sigma^2\_T$는 진실 점수의 분산, $\backslash sigma^2\_X$는 관찰 점수의 분산, $\backslash sigma^2\_E$는 오차 점수의 분산을 나타낸다.

신뢰도는 진실 점수를 안다면 설명할 수 있는 시험 점수 분산의 비율을 나타내며, 신뢰도의 제곱근은 진실 점수와 관찰 점수 간 상관 관계의 절댓값과 같다. 하지만, 고전검사이론에서는 진실 점수를 직접 알 수 없으므로, 신뢰도를 직접 추정하는 것은 불가능하다.

(신뢰도 추정 방법에 관한 내용은 하위 섹션에서 자세히 다루고 있으므로 여기서는 생략한다.)

4. 1. 신뢰도 추정 방법

• 평행 검사: 평행 검사는 모든 개인에 대해 동일한 참 점수와 동일한 관찰 점수 분산을 제공하는 검사이다. 평행 검사 점수 간의 상관 관계는 신뢰도와 같다. 그러나 평행 검사를 구하기 어렵기 때문에 실제로 이 방법은 거의 사용되지 않는다.
• 크론바흐의 α: 내적 일관성 척도로, 검사 항목 간의 일관성을 측정한다. 크론바흐 알파는 신뢰도의 하한을 제공하는 것으로 알려져 있다. 즉, 모집단에서 검사 점수의 신뢰도는 크론바흐 알파 값보다 항상 높다. 이 방법은 경험적으로 실행 가능하며, SPSS 및 SAS와 같은 통계 패키지에서 계산할 수 있어 연구자들 사이에서 매우 인기가 있다.^[3]

5. 문항 분석

신뢰도는 단일 숫자로 검사의 질을 나타내는 편리한 지표를 제공하지만, 개별 문항을 평가하는 데 필요한 정보는 제공하지 않는다. 고전적 접근 방식의 문항 분석은 P값(비율)과 문항-총점 상관관계(점-이중 상관 계수)의 두 가지 통계에 의존하는 경우가 많다. P값은 정답 방향으로 응답한 응시자의 비율을 나타내며, 일반적으로 ''문항 난이도''라고 한다. 문항-총점 상관관계는 문항의 변별력 또는 차별화 능력을 나타내는 지표를 제공하며, 일반적으로 ''문항 변별도''라고 한다. 또한, 자주 사용되는 객관식 문항의 각 응답에 대해 이러한 통계가 계산되며, 이는 혼란스러운 오답과 같은 문제를 평가하고 진단하는 데 사용된다. 이러한 유용한 분석은 특별히 설계된 심리 측정 소프트웨어에서 제공된다.

6. 한계 및 대안

고전검사이론은 수검자 특성과 검사 특성을 분리할 수 없다는 중요한 단점을 가지고 있다. 즉, 각 특성은 서로의 맥락에서만 해석될 수 있다. 또한 고전검사이론에서 정의하는 신뢰도는 "검사의 평행 양식에 대한 검사 점수 간의 상관관계"로 정의되는데,^[5] 이 정의는 평행 검사가 무엇인지에 대한 의견이 달라 문제가 된다. 다양한 신뢰도 계수는 신뢰도의 하한 추정치 또는 알 수 없는 편향이 있는 신뢰도 추정치를 제공한다.

세 번째 단점은 측정의 표준 오차와 관련이 있다. 고전검사이론에 따르면 측정의 표준 오차가 모든 수검자에게 동일하다고 가정한다. 그러나 햄블턴(Hambleton)이 설명했듯이, 어떤 검사 점수도 서로 다른 능력의 수검자에게 불균등하게 정확한 척도이므로 모든 수검자에 대한 동일한 측정 오차 가정은 타당하지 않다.

마지막으로 고전검사이론은 항목 지향적이기보다는 검사 지향적이다. 즉, 개인이든 수검자 집단이든 검사 항목에서 얼마나 잘 수행할 수 있는지 예측하는 데 도움이 되지 않는다.^[5]

6. 1. 문항 반응 이론 (IRT)

참조

_[1] 웹사이트 National Council on Measurement in Education http://www.ncme.org/[...] 2017-07-22
_[2] 논문 Classical Test Theory in Historical Perspective
_[3] 간행물 CTTITEM: SAS macro and SPSS syntax for classical item analysis
_[4] 간행물 Starting at the Beginning: An Introduction to Coefficient Alpha and Internal Consistency
_[5] 서적 Fundamentals of Item Response Theory Sage Publications, Inc.
_[6] 웹사이트 National Council on Measurement in Education http://www.ncme.org/[...] 2017-07-22