맨위로가기

검사 타당도

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
목차

1. 개요

검사 타당도는 심리 검사 점수의 해석에 대한 "견고한 과학적 근거"를 제공하는 증거를 수집하는 과정이다. 타당도는 검사 점수가 의도하는 바를 제대로 측정하는지를 나타내는 지표로, 1954년 타당성을 내용, 준거, 구인 타당도로 분류하여 범위를 확장하려는 시도가 있었다. 타당성은 시험 내용, 응답 과정, 내부 구조, 다른 변수와의 관계, 시험 결과에 따른 증거 등 다섯 가지 범주로 분류되는 증거를 통해 검증되며, 내용 타당도, 준거 타당도, 구성개념 타당도, 요인 타당도 등이 존재한다.

더 읽어볼만한 페이지

  • 교육 평가 - 기능적 행동 평가
    기능적 행동 평가는 응용 행동 분석에서 문제 행동을 유지하는 변인을 식별하는 방법으로, 문제 행동의 기능적인 선행 자극과 결과를 파악하여 문제 행동의 원인이 되는 교육 환경 내 요인을 분석하고 적절한 치료법과 긍정적인 지원 계획을 수립하는 데 기여한다.
  • 교육 평가 - 총괄평가
    총괄 평가는 학습 활동 후 학습 성과를 측정하여 학생의 강점과 약점을 파악하고 교육 프로그램의 효과성을 검증하는 평가 방법이다.
  • 가정 (논리학) - 불확실성
    불확실성이란 현재나 미래를 정확히 예측할 수 없는 상태를 말하며, 확률을 알 수 없는 근본적인 불확실성도 존재하고, 바람직하지 않은 결과를 초래할 수 있는 위험과는 구별되며, 과학, 경제, 철학 등 다양한 분야에서 다뤄지는 중요한 개념이다.
  • 가정 (논리학) - 마음
    마음은 의식, 사고, 지각, 감정, 동기, 행동, 기억, 학습 등을 포괄하는 심리적 현상과 능력의 총체이며, 다양한 분야에서 연구되고 인간 삶의 중추적인 역할을 한다.
  • 측정 - 측지학
    측지학은 지구의 형상, 크기, 중력장 및 시간적 변화를 측정하고 연구하는 지구과학의 한 분야로, 고대 그리스어에서 유래되었으며 현대에는 GPS 등의 기술을 활용하여 지구 역학적 현상 연구에 기여한다.
  • 측정 - 불확실성
    불확실성이란 현재나 미래를 정확히 예측할 수 없는 상태를 말하며, 확률을 알 수 없는 근본적인 불확실성도 존재하고, 바람직하지 않은 결과를 초래할 수 있는 위험과는 구별되며, 과학, 경제, 철학 등 다양한 분야에서 다뤄지는 중요한 개념이다.
검사 타당도
검사 타당도 개요
정의검사가 측정하고자 하는 것을 정확하게 측정하는 정도
관련 분야심리 검사, 교육 측정
측정 대상검사 점수의 의미, 해석, 활용
평가 방법내용 타당도
준거 타당도
구인 타당도
내용 타당도
정의 (Content validity)검사 내용이 측정하고자 하는 내용을 얼마나 잘 반영하는지 평가
평가 방법전문가 판단
내용 타당도 비율 (CVR) 활용
활용교육 과정 평가
직무 분석
준거 타당도
정의 (Criterion validity)검사 점수가 특정 준거와 얼마나 관련 있는지 평가
유형공존 타당도 (Concurrent validity)
예측 타당도 (Predictive validity)
공존 타당도검사 점수와 현재 시점의 준거 간의 상관관계
예측 타당도검사 점수가 미래의 준거를 얼마나 잘 예측하는지 평가
평가 방법상관계수, 회귀 분석
구인 타당도
정의 (Construct validity)검사가 측정하고자 하는 이론적 구인을 얼마나 잘 반영하는지 평가
평가 방법요인 분석
수렴 타당도
변별 타당도
요인 분석검사 문항들이 이론적으로 구성된 요인 구조와 일치하는지 확인
수렴 타당도유사한 구인을 측정하는 다른 검사와의 상관관계
변별 타당도관련 없는 구인을 측정하는 검사와의 낮은 상관관계
검사 타당도에 영향을 미치는 요인
응답자의 특성동기 부족
사회적 바람직성
검사 도구의 문제문항의 모호성
검사 시간의 부족
환경적 요인소음
불편한 환경

2. 타당도의 역사적 배경

리 크론바흐의 지시 아래, 1954년 "심리 검사 및 진단 기법에 대한 기술 권고"[6]는 타당성을 (a) 동시 타당도, (b) 예측 타당도, (c) 내용 타당도, (d) 구인 타당도의 네 부분으로 나누어 타당성의 범위를 명확히 하고 확장하려 시도했다. 크론바흐와 미흘의 후속 출판물[8]은 예측 타당도와 동시 타당도를 "기준 지향성"으로 묶었으며, 이는 결국 준거 타당도가 되었다.

이후 40년 동안 크론바흐 자신을 포함한 많은 이론가들이[9] 이 세 가지 타당성 모델에 대한 불만을 표명했다.[10][11][12] 그들의 주장은 새뮤얼 미식의 1995년 논문에서 절정에 달했으며, 이 논문은 타당성을 여섯 가지 "측면"으로 구성된 단일 구인으로 묘사했다.[3] 그의 관점에서 검사 점수에서 도출된 다양한 추론은 다른 유형의 증거를 요구할 수 있지만, 다른 타당도를 요구하지는 않는다.

1999년의 "교육 및 심리 검사 기준"[1]은 미식의 모델을 광범위하게 성문화했다. 이 기준은 미식의 각 측면을 통합하는 다섯 가지 유형의 타당성 지원 증거를 설명하며, 고전적 모델의 내용, 준거 및 구인 타당성에 대해서는 언급하지 않는다.

3. 타당도 검증 과정

1999년 기준에 따르면,[1] 타당도 검증은 시험 개발자나 시험 사용자가 제안한 대로 점수를 해석하기 위한 "견고한 과학적 근거"를 제공하는 증거를 수집하는 과정이다. 따라서 타당도 검증은 제안된 해석의 범위와 측면(다차원 척도의 경우)을 정의하는 프레임워크로 시작되며, 여기에는 해석을 해당 시험과 연결하는 합리적인 근거도 포함된다.

타당도 연구자들은 해석이 유효하려면 충족되어야 하는 일련의 명제를 나열하거나, 반대로 해석의 타당성을 위협할 수 있는 문제 목록을 작성할 수 있다. 어느 경우든 연구자들은 해석의 명제(또는 해석의 타당성에 대한 위협)를 뒷받침하거나 질문하기 위해 원래의 경험적 연구, 메타 분석, 기존 문헌 검토, 문제에 대한 논리적 분석 등의 증거를 수집한다. 이때 증거의 양보다 질이 강조된다.

어떤 시험 결과에 대한 단일 해석은 여러 명제가 참이어야 할 수 있으며(또는 타당성에 대한 일련의 위협 중 하나라도 질문할 수 있다), 단일 명제를 뒷받침하는 강력한 증거가 있다고 해서 다른 명제를 뒷받침해야 하는 요구 사항이 줄어드는 것은 아니다.

해석의 타당성을 뒷받침하거나 질문하는 증거는 다음 다섯 가지 범주 중 하나로 분류할 수 있다.

# 시험 내용에 따른 증거

# 응답 과정에 따른 증거

# 내부 구조에 따른 증거

# 다른 변수와의 관계에 따른 증거

# 시험의 결과에 따른 증거

각 유형의 증거를 수집하는 기술은 해당 해석에 필요한 명제를 뒷받침하거나 질문할 정보를 제공할 때만 사용해야 한다.

각 증거는 최종적으로 타당성 주장에 통합된다. 이 주장은 시험, 시험 시행 프로토콜, 또는 해석의 기반이 되는 이론적 구성 요소를 수정해야 할 수 있다. 시험이나 시험 결과의 해석이 어떤 방식으로든 수정된 경우, 새로운 타당도 검증 과정은 새로운 버전을 뒷받침하는 증거를 수집해야 한다.

4. 타당도의 종류 및 증거

타당도를 검증하는 방법에는 내용 타당도, 예언 타당도, 공인 타당도, 구인 타당도가 있다. 예언 타당도와 공인 타당도는 함께 준거 타당도로, 구인 타당도는 요인 타당도와 밀접한 관련이 있다.

제2차 세계 대전 이전에는 타당성 검증이 주로 검사 점수와 알려진 기준 간의 상관 관계에 국한되었다.[7] 1954년 리 크론바흐는 "심리 검사 및 진단 기법에 대한 기술 권고"에서 타당성을 동시 타당도, 예측 타당도, 내용 타당도, 구인 타당도의 네 가지로 분류했다.[6] 이후 크론바흐와 미흘은 예측 타당도와 동시 타당도를 "기준 지향성"으로 묶어 준거 타당도로 정의했다.[8]

그러나 이후 40년간 크론바흐를 포함한 많은 이론가들이 이 모델에 불만을 제기했다.[9][10][11][12] 새뮤얼 미식은 1995년 논문에서 타당성을 여섯 가지 측면으로 구성된 단일 구인으로 묘사하며, 검사 점수에서 도출된 다양한 추론이 다른 유형의 증거를 요구할 수는 있지만, 다른 타당도를 요구하는 것은 아니라고 주장했다.[3]

1999년 "교육 및 심리 검사 기준"은 미식의 모델을 따랐다.[1] 이 기준은 미식의 각 측면을 통합하는 다섯 가지 유형의 타당성 지원 증거를 설명하며, 고전적 모델의 내용, 준거, 구인 타당성은 언급하지 않는다.

1999년 기준에 따르면,[1] 타당도 검증은 시험 개발자나 사용자가 제안한 점수 해석을 위한 "견고한 과학적 근거"를 제공하는 증거를 수집하는 과정이다. 타당도 연구는 제안된 해석의 범위와 측면을 정의하는 프레임워크에서 시작되며, 해석을 시험과 연결하는 합리적인 근거를 포함한다.

타당도 연구자들은 해석이 유효하기 위해 충족되어야 하는 명제나 해석의 타당성을 위협하는 문제를 나열하고, 증거(경험적 연구, 메타 분석, 기존 문헌 검토, 논리적 분석)를 수집하여 명제를 뒷받침하거나 반박한다. 이때 증거의 양보다 질이 강조된다.

해석의 타당성을 뒷받침하거나 의문을 제기하는 증거는 다음 다섯 가지 범주로 분류할 수 있다.


  • 시험 내용에 따른 증거
  • 응답 과정에 따른 증거
  • 내부 구조에 따른 증거
  • 다른 변수와의 관계에 따른 증거
  • 시험의 결과에 따른 증거


각 증거는 최종적으로 타당성 주장에 통합된다. 이 주장은 시험, 시험 시행 프로토콜, 또는 해석의 기반이 되는 이론적 구성 요소를 수정해야 할 수 있으며, 수정이 이루어지면 새로운 타당도 검증 과정이 필요하다.

4. 1. 내용 타당도 (시험 내용에 따른 증거)

내용 타당도(內容的妥當度, content validity)란 평가하려는 내용을 분석하고 정의함으로써, 평가 도구의 내용이 주어진 준거(準據)에 어느 정도 일치하는지를 나타낸다.[7] 내용 타당도는 논리적 타당도(logical validity), 정의에 의한 타당도(validity by definition), 안면 타당도(face validity)라고도 불린다.

예를 들어, 교사가 만드는 시험의 내용적 준거는 교육 목표가 되고, 지능 검사의 준거는 지능의 정의가 된다. 이때 정의는 분석적이고 포괄적이어야 한다. 정의된 내용은 실제 문항의 표준과 작성에 구체적인 지침이 되어야 하며, 문항의 논리적, 심리적 타당성을 판단하는 기준이 될 수 있을 만큼 상세해야 한다. 내용 타당도에서는 이러한 정의를 내리는 방법으로 조작주의적 정의(操作主義的定義, operational definition)를 주로 사용한다. 조작주의적 정의는 순환 논리에 빠지기 쉬운 기존의 정의에서 벗어나 과학적인 정의 방법을 도입한 것이다. 예를 들어, '지능'을 '한 개인의 전체 환경에 대한 적응', '학습하는 능력', '추상적 사고 능력' 등으로 정의하는 대신, "지능 검사로 측정해서 나온 수치"를 지능이라고 정의하는 것이 조작주의의 특징이다.

1999년의 "교육 및 심리 검사 기준"에서는 타당도 검증을 시험 개발자나 시험 사용자가 제안한 대로 점수를 해석하기 위한 "견고한 과학적 근거"를 제공하는 증거를 수집하는 과정이라고 설명한다.[1] 시험 내용에 따른 증거는 이러한 증거의 한 종류이다.

4. 2. 기준 타당도 (다른 변수와의 관계에 따른 증거)

기준 타당도는 하나의 측정도구를 이용해 측정한 결과를 이미 타당성이 입증된 기존 측정도구의 결과와 비교하는 것을 말한다. 기준 타당도는 '동시적 타당도'와 '예언적 타당도'로 나눌 수 있다.[7]

리 크론바흐는 1954년 "심리 검사 및 진단 기법에 대한 기술 권고"에서 타당성을 동시 타당도, 예측 타당도, 내용 타당도, 구인 타당도의 네 가지로 구분했다.[6] 이후 크론바흐와 미흘은 예측 타당도와 동시 타당도를 "기준 지향성"으로 묶었으며, 이는 결국 준거 타당도가 되었다.[8]

이후 40년 동안 크론바흐 자신을 포함한 많은 이론가들이 이 세 가지 타당성 모델에 대한 불만을 표명했다.[9][10][11][12] 이들의 주장은 새뮤얼 미식의 1995년 논문에서 절정에 달했으며, 이 논문은 타당성을 여섯 가지 "측면"으로 구성된 단일 구인으로 묘사했다.[3] 미식의 관점에서 검사 점수에서 도출된 다양한 추론은 다른 유형의 증거를 요구할 수 있지만, 다른 타당도를 요구하지는 않는다.

1999년의 "교육 및 심리 검사 기준"은 미식의 모델을 광범위하게 성문화했다.[1] 이 기준은 미식의 각 측면을 통합하는 다섯 가지 유형의 타당성 지원 증거를 설명하며, 고전적 모델의 내용, 준거 및 구인 타당성에 대해서는 언급하지 않는다.

4. 2. 1. 예측 타당도

예언적 타당도란 그 검사가 측정하려는 피험자의 장래 행동을 어느 정도로 정확하게 예언하느냐에 따라 결정된다. 예언적 타당도가 내용적 타당도와 다른 점은, 내용적 타당도는 논리적 근거를 내부에 두고 있으며(inside criterion), 예언적 타당도는 외부준거(outside criterion)를 문제삼고 있다는 점이다. 예컨대, 입학성적과 학교생활의 성취도 간에 나타나는 상관(相關)은 예언적 타당도가 하게 된다. 즉, 검사 X와 준거 Y와의 상관계수로 표시되는 것이 예언적 타당도다. 이때 문제는 측정도구가 자연과학에서처럼 완전치 못하기 때문에 오차(誤差) 부분이 따르게 되는데, 이를 '예언의 오차'라 한다. 예를 들어 입학성적이 좋은 학생이 그 후 학교성적이 나빠졌다면 그 검사는 예언적 타당도가 낮다고 말할 수 있으며, 예언의 오차가 커서 바람직한 검사가 되지 못한다.[7]

리 크론바흐의 지시 아래, 1954년의 "심리 검사 및 진단 기법에 대한 기술 권고"[6]는 타당성을 (a) 동시 타당도, (b) 예측 타당도, (c) 내용 타당도, (d) 구인 타당도의 네 부분으로 나누어 타당성의 범위를 명확히 하고 확장하려 시도했다. 크론바흐와 미흘의 후속 출판물[8]은 예측 타당도와 동시 타당도를 "기준 지향성"으로 묶었으며, 이는 결국 준거 타당도가 되었다.

4. 2. 2. 동시 타당도 (공인 타당도)

공인 타당도(共因妥當度, concurrent validity)는 동시 타당도라고도 하며, 행동의 준거를 현재(동시점)에 둔 일종의 예언적 타당도이다. 예언적 타당도는 준거가 반드시 예언에 관계되어 장래에 있지만, 공인 타당도는 외적 준거와 검사 사이의 상관을 본다. 즉, 평가도구로 밝혀진 피험자의 행동특성이 평가도구 밖의 행동준거와 현재 어느 정도 일치하는지를 따져 보는 것이다.[7] 예를 들어 흥미검사에서 미술에 흥미가 많은 학생이 실제 그림을 그리는 데 얼마나 적극적으로 활동하며 잘 그리는지 비교 상관을 내거나, 지능 검사와 인성 검사의 상관을 내어 이들 사이의 변량(變量) 합치도를 알아보는 경우가 있다.

1954년 리 크론바흐는 "심리 검사 및 진단 기법에 대한 기술 권고"에서 타당성을 (a) 동시 타당도, (b) 예측 타당도, (c) 내용 타당도, (d) 구인 타당도의 네 가지로 나누었다.[6] 이후 크론바흐와 미흘의 출판물에서 예측 타당도와 동시 타당도를 "기준 지향성"으로 묶었으며, 이는 결국 준거 타당도가 되었다.[8]

4. 3. 구인 타당도 (내부 구조에 따른 증거)

구인 타당도의 내부 구조에 따른 증거는 평가 점수가 검사 구인의 구조와 일치하는 정도를 나타낸다.[1] 이 증거는 요인 분석, 다중 특성-다중 방법(MTMM) 분석, 고전 검사 이론의 항목 분석 및 문항 반응 이론(IRT) 모델을 포함한 다양한 방법을 통해 얻을 수 있다. 예를 들어, 특정 성격 검사가 5가지 요인으로 구성되어 있다고 주장하는 경우, 검사 점수의 요인 분석은 이 주장을 뒷받침하는 증거를 제공해야 한다.[1]

4. 4. 요인 타당도

요인적 타당도란 두 검사 사이에 공통으로 존재하는 어떤 요소(factor)가 작용해서 나타난 결과라고 할 수 있다. 예를 들어 A, B 두 검사의 상관계수가 +1.00이라면 둘은 이름은 다르지만 재고 있는 내용은 같은 것임을 알 수 있다. 이와 같이 요인적 타당도는 요인분석(要因分析, factor analysis)이라는 실험적·통계적 측정이론을 기초로 하는 것이고, 요인분석은 여러 검사 간의 상호상관계수(相互相關係數－inter correlation)를 계산한 표를 자료로 해서 그 여러 검사 간에 존재하는 공통된 요인과 어떤 검사만이 지니고 있는 고유한 요인으로 분해 작업하는 방법이다. 예를 들어 '수학검사'를 요인분석했더니 수(數)요인 50%, 공간지각요인 10%, 언어요인 30%, 오차(誤差)요인 10%의 결과를 얻는 것과 같이 어떤 검사에 구성된 여러 요소를 분해해 내는 것이다. 그런데 요인적 타당도는 예언적 타당도처럼 직접 예언에 사용되는 실용적인 방법은 못 되며, 이론적 연구와 한 검사의 실용적 타당도를 높이기 위한 제작 내지 개작(改作)에 도움을 준다.

4. 5. 결과 타당도 (시험의 결과에 따른 증거)

1999년 기준에 따르면,[1] 타당도 검증은 시험 개발자 또는 시험 사용자가 제안한 대로 점수를 해석하기 위한 "견고한 과학적 근거"를 제공하는 증거를 수집하는 과정이다. 시험 결과에 대한 해석의 타당성을 뒷받침하거나 의문을 제기하는 증거는 다음 다섯 가지 범주 중 하나로 분류할 수 있다.

  • 시험 내용에 따른 증거
  • 응답 과정에 따른 증거
  • 내부 구조에 따른 증거
  • 다른 변수와의 관계에 따른 증거
  • 시험의 결과에 따른 증거


각 증거는 최종적으로 타당성 주장에 통합된다. 이 주장은 시험, 시험 시행 프로토콜 또는 해석의 기반이 되는 이론적 구성 요소를 수정해야 할 수 있다. 시험 및/또는 시험 결과의 해석이 어떤 방식으로든 수정된 경우, 새로운 타당도 검증 과정은 새로운 버전을 뒷받침하는 증거를 수집해야 한다.

5. 응답 과정에 따른 증거

1999년 기준에 따르면,[1] 타당도 검증은 시험 점수 해석을 위한 "견고한 과학적 근거"를 제공하는 증거를 수집하는 과정이다. 응답 과정에 따른 증거는 해석의 타당성을 뒷받침하거나 질문하는 증거의 한 종류이다. 이러한 증거는 최종적으로 타당성 주장에 통합된다.

참조

[1] 서적 Standards for educational and psychological testing American Educational Research Association 1999
[2] 논문 On trinitarian doctrines of validity 1980
[3] 논문 Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning 1995
[4] 간행물 All About Assessment / A Misunderstood Grail 2008
[5] 서적 Educational assessment of students Merrill-Prentice Hall 2004
[6] 서적 Technical recommendations for psychological tests and diagnostic techniques The Association 1954
[7] 서적 Validity Lawrence Erlbaum 1988
[8] 논문 Construct validity in psychological tests 1955
[9] 간행물 Validation of educational measures Educational Testing Service 1969
[10] 논문 Objective tests as instruments of psychological theory 1957
[11] 논문 Content-construct confusion 1977
[12] 논문 Content validity–The source of my discontent 1977
[13] 문서 타당도 우리말샘
[14] 서적 기초통계학 학지사 2007
[15] 서적 Standards for educational and psychological testing American Educational Research Association 1999


본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com