준실험

3. 윤리학

예를 들어, 진실험은 다른 모든 변수를 통제하기 위해 무작위로 아이들을 장학금에 배정하는 것이다. 준실험은 사회과학, 공중보건, 교육 및 정책 분석에서 일반적으로 사용되며, 특히 연구 참가자를 치료 조건에 무작위로 배정하는 것이 실용적이지 않거나 합리적이지 않은 경우에 사용된다.^[1]

가구를 두 가지 범주로 나눈다고 가정해 보자. 부모가 자녀를 때리는 가구와 부모가 자녀를 때리지 않는 가구가 있다. 부모의 체벌과 자녀의 공격적인 행동 사이에 양의 상관관계가 있는지 확인하기 위해 선형 회귀를 실행할 수 있다. 그러나 부모를 체벌 여부 범주에 무작위로 배정하는 것은 일부 부모가 자녀를 때리는 것이 도덕적으로 잘못되었다고 믿고 참여를 거부할 수 있기 때문에 실용적이거나 윤리적이지 않을 수 있다.

4. 장점

준실험 설계는 무작위 할당이 비실용적이거나 비윤리적일 때 유용하며, 실제 실험 설계보다 설정하기 쉽다.^[22] 잘 통제된 실험실 환경과 달리 자연스러운 환경에서 진행되므로 인위성으로 인한 문제가 적어 생태적 타당도에 대한 위협을 최소화할 수 있다. 준실험은 자연 실험이므로, 한 연구 결과를 다른 주제와 환경에 적용하여 일반화를 할 수 있다. 이 실험 방법은 서로 다른 환경에서 추적할 수 있는 더 긴 기간이 포함된 종단 연구에 효율적이다.^[8]

실험자가 원하는 대로 조작을 가할 수 있다는 장점도 있다. 자연 실험에서는 연구자가 조작에 대해 전혀 통제할 수 없지만, 준실험에서는 가능하다. 또한, 준실험에서 자발적으로 선택된 집단을 사용하면 연구 수행 과정에서 발생할 수 있는 윤리적, 조건적 문제에 대한 우려를 줄일 수 있다.^[27]

진실험은 아이들을 무작위로 장학금에 배정하는 것이지만, 준실험은 특히 연구 참가자를 치료 조건에 무작위로 배정하는 것이 실용적이지 않거나 합리적이지 않을 때 사회 과학, 공중 보건, 교육, 정책 분석 분야에서 흔히 사용된다.

예를 들어, 부모가 자녀를 때리는 가구와 그렇지 않은 가구로 나누어 부모의 체벌과 자녀의 공격적인 행동 사이에 양의 상관관계가 있는지 확인하는 연구를 할 수 있다. 하지만, 부모를 체벌 여부 범주에 무작위로 배정하는 것은 일부 부모가 자녀를 때리는 것이 도덕적으로 잘못되었다고 믿고 참여를 거부할 수 있기 때문에 실용적이거나 윤리적이지 않을 수 있다.

5. 단점

준실험은 무작위 배정이 없어 연구의 실행 가능성은 높지만, 내부 타당성 측면에서 여러 문제점을 야기한다.^[24] 무작위 배정의 부재는 교란 변수를 통제하기 어렵게 만들고, 이는 내부 타당성에 대한 새로운 위협으로 이어진다.^[24]

사회적 환경에는 다양한 외생 변수와 교란 변수가 존재하기 때문에, 준실험을 통해 인과 관계를 명확히 결론 내리기는 어렵다.^[25] 또한, 연구자가 외생 변수를 완전히 통제할 수 없기 때문에, 내부 타당성에 대한 위협을 평가하더라도 인과 관계를 완전히 확립하는 것은 불가능하다.^[25]

연구 그룹에 무작위성이 결여되어 있다는 점은 약한 증거를 제공할 수 있다는 단점으로 이어진다. 무작위성은 연구 결과를 일반화하여 전체 모집단을 더 잘 대표할 수 있게 해주기 때문에 연구에 중요한 정보를 제공한다. 준실험에서는 그룹이 불균등할 수 있는데, 이는 내부 타당성에 위협이 될 수 있으며, 실험자가 결과의 원인을 정확히 파악하기 어렵게 만든다.^[26]

6. 내적 타당도

준실험에서 내적 타당도는 인과관계 추론의 정확성을 나타내는 중요한 개념이다. 실험자가 실험 결과에 영향을 줄 수 있는 모든 변수를 통제하려고 할 때 내적 타당도가 발생한다.^[27] 통계적 회귀, 실험 과정의 역사, 참가자 특성 등은 모두 내적 타당도를 위협하는 요인이 될 수 있다.^[27]

준실험 설계는 무작위 할당을 사용하지 않기 때문에, 교란 변수를 완전히 배제하기 어렵고, 이는 내적 타당도에 대한 새로운 위협을 발생시킨다.^[24] 연구자는 이러한 교란 변수의 영향을 최소화하기 위해 노력해야 하지만, 외부 변수를 완벽하게 통제하는 것은 불가능하므로 인과관계를 확립하는 데 어려움이 있다.^[25]

연구 그룹이 무작위로 구성되지 않으면, 결과의 원인이 무엇인지 명확하게 판단하기 어려워진다.^[26] 예를 들어, 특정 치료 프로그램의 효과를 평가하는 준실험에서, 프로그램에 참여한 그룹과 참여하지 않은 그룹이 원래부터 서로 다른 특성을 가지고 있었다면, 프로그램의 효과인지 아니면 원래 그룹 간의 차이 때문인지 판단하기 어렵다.

따라서 준실험 설계를 사용할 때는 내적 타당도를 위협하는 요인들을 신중하게 고려하고, 가능한 한 이러한 위협을 최소화하기 위한 노력을 기울여야 한다. "내가 원하는 이유 외에 결과에 대한 다른 가능한 이유가 있는가?"라는 질문을 통해 내적 타당도를 평가하고, 다른 가능한 원인이 존재한다면 내적 타당도가 낮다고 판단할 수 있다.^[27]

7. 외적 타당도

외적 타당도는 연구 표본에서 얻은 결과가 일부 잘 지정된 관심 모집단과 사람, 시간, 맥락 및 연구 방법의 하위 모집단 "전체"로 일반화될 수 있는 정도이다.^[28] 린치는 우리가 투영하고자 하는 모집단이 정의상 표본 추출이 불가능한 미래 행동의 척도이기 때문에 모집단을 일반화하는 것은 거의 불가능하다고 주장했다.^[29] 따라서 보다 적절한 질문은 치료 효과가 연구자에게 두드러지지 않을 수 있는 배경 요인에 따라 달라지는 "전체" 하위 집단을 일반화하는지 여부이다. 외적 타당성은 치료 연구가 사람들, 시간, 맥락 및 연구 방법의 여러 하위 집합에 걸쳐 균질한 영향을 미치는지 여부 또는 치료 효과의 부호와 크기가 하위 집합에 걸쳐 연구자가 인정하거나 이해할 수 없는 방식으로 변하는지 여부에 달려있다.^[30] 아테이와 임번스, 아테이와 웨이거는 이질적인 치료 효과에 대한 귀납적 이해를 위한 기계 학습 기술을 개척했다.^[31][32]

8. 설계 유형

준실험 설계는 다양한 유형이 있으며, 각각 강점, 약점, 적용 방식이 다르다.^[7] 주요 설계 유형은 다음과 같다.

이 중 회귀 불연속 설계는 실험 설계에 가장 가깝다. 실험자가 치료 할당을 제어하며, 치료 효과의 편향되지 않은 추정치를 산출한다.^[7] 단, 전통적 실험 설계와 동일한 검증력을 얻으려면 많은 연구 참가자와 할당-결과 변수 간 함수 형태에 대한 정확한 모델링이 필요하다.

준실험 설계는 혼란 편향 가능성을 제거할 수 없어 인과관계 추론을 방해할 수 있다. 그러나 혼란 변수를 식별, 측정하면 다중 회귀 등으로 편향을 제어할 수 있다. 성향 점수 매칭으로 참가자를 일치시켜 결과 정확도를 높일 수도 있다.

대표적인 준실험 설계 유형은 개인-대-처치 설계와 자연 실험이다.

• 개인-대-처치 설계: 실험자가 최소 하나의 독립 변수를 측정하고, 다른 독립 변수는 조작한다. 주로 실험실에서 수행되며, 무작위 할당으로 실험자가 조작을 완전히 제어한다.^[19] 예: 직장 멘토링이 직무 만족도에 미치는 영향 연구.^[18]

• 자연 실험: 실험자가 변수를 조작하지 않고, 우연에 의해 실험적 제어가 이루어진다. 자연 발생 사건(예: 교통사고)을 대상으로 하므로, 외상 후 스트레스 장애 연구 등에 유용하다.^[19]

참조

_[1] 서적 The New Palgrave Dictionary of Economics
_[2] 서적 Evaluation: A Systematic Approach SAGE
_[3] 저널 True and quasi-experimental designs http://pareonline.ne[...]
_[4] 저널 Quasi-Experimental Designs
_[5] 서적 Methodology and epistemology for social science: selected papers University of Chicago Press
_[6] 저널 Using Quasi-Experimental Data To Develop Empirical Generalizations For Persuasive Advertising https://faculty.whar[...] 2009-06-01
_[7] 서적 Experimental and Quasi-Experimental Designs for Generalized Causal Inference Houghton Mifflin
_[8] 저널 A Quasi Experimental Study of After-Event Reviews https://scholarship.[...] 2012-09
_[9] 웹사이트 CHARM-Controlled Experiments http://www.otal.umd.[...] 2012-07-22
_[10] 웹사이트 http://www.osulb.edu[...]
_[11] 간행물 Quasi-experimental and experimental designs: more powerful evaluation designs http://ssmon.chb.kth[...] 2001
_[12] 웹사이트 Research Methods: Planning: Quasi-Exper. Designs http://linguistics.b[...] 2013-03-18
_[13] 서적 Quasi-experimentation: Design & Analysis Issues for Field Settings. Houghton-Mifflin
_[14] 저널 "On the External Validity of Experiments in Consumer Research," December
_[15] 저널 "Beyond the two disciplines of scientific psychology"
_[16] 저널 "Recursive partitioning for heterogeneous causal effects."
_[17] 저널 "Estimation and inference of heterogeneous treatment effects using random forests."
_[18] 저널 The Effectiveness of Facilitated Mentoring A Longitudinal Quasi Experiment
_[19] 저널 Quasi & Natural Experiments in Economics http://www.nber.org/[...] 1995-04
_[20] 서적 Evaluation: A Systematic Approach https://archive.org/[...] SAGE
_[21] 저널 True and quasi-experimental designs http://pareonline.ne[...] 2013-05-02
_[22] 웹사이트 CHARM-Controlled Experiments http://www.otal.umd.[...] 2012-07-22
_[23] 서적 The New Palgrave Dictionary of Economics
_[24] 간행물 Quasi-experimental and experimental designs: more powerful evaluation designs http://ssmon.chb.kth[...] 2001
_[25] 웹사이트 Research Methods: Planning: Quasi-Exper. Designs http://linguistics.b[...] 2013-03-18
_[26] 저널 Quasi-Experimental Designs
_[27] 저널 A Quasi Experimental Study of After-Event Reviews https://scholarship.[...] 2012-09
_[28] 서적 Quasi-experimentation: Design & Analysis Issues for Field Settings. Houghton-Mifflin
_[29] 저널 "On the External Validity of Experiments in Consumer Research," December
_[30] 저널 "Beyond the two disciplines of scientific psychology"
_[31] 저널 "Recursive partitioning for heterogeneous causal effects."
_[32] 저널 "Estimation and inference of heterogeneous treatment effects using random forests."