평가

3. 평가의 유형 및 접근 방식

평가는 제안이나 결과의 예측되거나 실제적인 영향에 대해 구조화된 해석과 의미를 부여하는 것이다. 원래 목표와 예측되었거나 달성된 것, 그리고 그것이 어떻게 달성되었는지를 살펴본다.^[3] 평가는 형성적 평가가 될 수도 있고, 총괄적 평가가 될 수도 있다.^[3]

평가는 본질적으로 이론적으로 고려된 접근 방식(명시적이든 아니든)이며, 따라서 평가의 특정 정의는 그 맥락, 이론, 필요, 목적 및 평가 과정 자체의 방법론에 맞춰 조정되었을 것이다. 평가는 통합된 이론적 틀의 일부가 아니며,^[8] 경영학, 조직 이론, 정책 분석, 교육학, 사회학, 사회인류학, 사회 변동을 포함한 여러 학문 분야를 활용한다.^[9]

마이클 퀸 패튼(Michael Quinn Patton)은 평가 절차가 활동, 특성, 결과, 프로그램에 대한 판단, 효과성 향상, 정보에 입각한 프로그램 의사결정을 목표로 해야 한다는 개념을 제시했다.

평가 작업에 대한 사고방식, 설계 및 수행에는 개념적으로 여러 가지 구별되는 방법이 존재한다. 오늘날 사용되는 많은 평가 접근 방식은 중요한 문제 해결에 실질적으로 독창적인 기여를 하는 반면, 다른 접근 방식은 기존 접근 방식을 어떤 식으로든 개선한다.

하우스^[17]는 모든 주요 평가 접근 방식이 자유민주주의라는 공통된 이데올로기에 기반한다고 보았다. 그는 또한 모든 접근 방식이 주관주의 윤리에 기반한다고 주장했는데, 여기서 윤리적 행위는 개인이나 집단의 주관적 또는 직관적인 경험에 기반한다. 이러한 윤리적 입장에는 상응하는 인식론—철학이 지식을 얻는 방법—이 존재한다. 객관주의 인식론은 공리주의 윤리와 관련이 있으며, 일반적으로 공개적으로 노출된 방법과 데이터를 통해 외부적으로 검증(주관 간 합의)될 수 있는 지식을 얻는 데 사용된다. 주관주의 인식론은 직관주의/다원주의 윤리와 관련이 있으며, 기존의 개인적인 지식뿐만 아니라 공개적으로 검사할 수 있는(명시적) 또는 없는(암묵적) 경험을 바탕으로 새로운 지식을 얻는 데 사용된다. 하우스는 그런 다음 각 인식론적 접근 방식을 두 가지 주요 정치적 관점으로 나눈다. 첫째, 접근 방식은 관리자와 전문가의 이익에 초점을 맞춘 엘리트 관점을 취할 수 있다. 또는 소비자와 참여적 접근 방식에 초점을 맞춘 대중적 관점을 취할 수도 있다.

스터플빔과 웹스터는 가치와 윤리적 고려의 역할에 대한 방향에 따라 접근 방식을 세 가지 그룹, 즉 정치적 방향, 질문 방향, 가치 지향으로 분류한다.

3. 1. 평가 접근 방식의 분류

정치적으로 통제된 연구와 홍보 연구는 엘리트 관점에서 객관주의 인식론에 기반을 둔다. 두 접근 방식 모두 대상에 대한 가치 해석을 왜곡하지만, 기능 방식은 다르다. 정치적으로 통제된 연구는 소유자의 이익을 위해 정보 공개를 조작하는 반면, 홍보 연구는 실제 상황과 무관하게 긍정적 이미지를 만든다. 이러한 접근 방식은 실제 상황에 적용되지만, 허용되는 평가 관행은 아니다.

5가지 준평가 접근 방식(실험 연구, 경영 정보 시스템, 시험 프로그램, 목표 기반 연구, 내용 분석)은 엄격한 조사 방법으로 존중받는다. 이들은 지식에 대한 질문에 집중하고 가치에 대한 질문은 다루지 않아 준평가로 간주된다. 이러한 연구는 특징을 생성하지만 평가를 생성하지 않을 수 있다. 그러나 특정 연구는 둘 다 생성할 수 있다. 각 접근 방식은 의도된 목적에 부합하며, 객관주의적 이상에 접근하는 정도에 따라 논의된다.

• 실험 연구는 변수 간의 인과 관계를 결정하는 데 가장 적합하다. 그러나 통제되고 양식화된 방법론은 인간 서비스 프로그램의 변화하는 요구에 대응하지 못할 수 있다.
• 경영 정보 시스템(MIS)은 복잡한 프로그램 운영에 대한 자세한 정보를 제공하지만, 쉽게 정량화할 수 있는 데이터로 제한된다.
• 검사 프로그램은 학교, 군대, 대기업 등에서 익숙하다. 개인이나 그룹을 표준과 비교하는 데 적합하지만, 피험자의 성과에만 초점을 맞추고 가르치는 내용을 충분히 샘플링하지 못할 수 있다.
• 목표 기반 접근 방식은 결과를 목표와 관련시켜 달성 수준을 판단하지만, 중요하지 않거나 좁은 결과에 초점을 맞출 수 있다.
• 내용 분석은 내용 분석 판단이 가치 진술이 아닌 지식에 기반할 수 있어 준평가이다. 가치에 기반한 내용 분석은 평가이다.
• '''책임'''은 결과에 대한 정확한 설명을 제공하여 제품과 서비스의 품질을 향상시키는 것을 목표로 유권자들에게 인기가 있다. 그러나 강압적으로 시행될 경우 실무자와 소비자를 적대 관계로 만들 수 있다.

3. 2. 각 접근 방식의 요약

정치적으로 통제된 연구와 홍보 연구는 엘리트 관점에서 객관주의 인식론에 기반을 둔다. 두 접근 방식 모두 대상에 대한 가치 해석을 잘못 제시하려 하지만, 서로 다른 방식으로 기능한다. 정치적으로 통제된 연구를 통해 얻은 정보는 소유자의 특수한 이익을 충족하기 위해 공개되거나 은폐되는 반면, 홍보 정보는 실제 상황에 관계없이 대상에 대한 긍정적인 이미지를 만든다. 실제 상황에 두 연구 모두 적용됨에도 불구하고, 이러한 접근 방식은 모두 허용되는 평가 관행이 아니다.

실험 연구, 경영 정보 시스템, 교육 평가 프로그램, 목표 기반, 콘텐츠 분석의 다섯 가지 접근 방식은 집단적으로 매우 존중받는 엄격한 조사 접근 방식의 모음을 나타낸다. 이들은 특정 연구가 가치에 대한 질문을 다루지 않고 지식에 대한 질문에만 집중할 수 있기 때문에 준평가 접근 방식으로 간주된다. 이러한 연구는 정의상 평가가 아니다. 이러한 접근 방식은 평가를 생성하지 않고도 특징을 생성할 수 있지만, 특정 연구는 둘 다 생성할 수 있다. 이러한 각 접근 방식은 의도된 목적에 잘 부합한다.

• 실험 연구는 인과 관계를 변수 간에 결정하는 데 가장 적합한 접근 방식이다.
• 관리 정보 시스템(MIS)은 복잡한 프로그램의 역동적인 운영에 대한 자세한 정보를 제공할 수 있다. 그러나 이 정보는 일반적으로 정기적인 간격으로 사용 가능한 쉽게 정량화할 수 있는 데이터로 제한된다.
• 검사 프로그램은 학교에 다녔거나 군 복무를 했거나 대기업에 근무한 거의 모든 사람에게 친숙하다.
• 목표 기반 접근 방식은 결과를 사전에 지정된 목표와 관련시켜 그 달성 수준에 대한 판단을 내릴 수 있도록 한다. 목표는 종종 중요한 것으로 입증되지 않거나 대상의 가치를 결정하는 기반을 제공하기에는 너무 좁은 결과에 초점을 맞춘다.
• 내용 분석은 내용 분석 판단이 가치 진술에 기반할 필요가 없기 때문에 준평가 접근 방식이다. 대신 지식에 기반할 수 있다. 이러한 내용 분석은 평가가 아니다. 반면에 내용 분석 판단이 가치에 기반하는 경우 이러한 연구는 평가이다.
• '''책임'''은 결과에 대한 정확한 설명을 제공하여 제품과 서비스의 품질을 향상시키는 것을 목표로 하기 때문에 유권자들에게 인기가 있다. 그러나 이러한 접근 방식은 강압적으로 시행될 경우 실무자와 소비자를 적대 관계로 만들 수 있다.

4. 평가의 신뢰성

평가는 신뢰성이 요구되며, "평가자에 대한 신뢰성"과 "평가 방법에 대한 신뢰성"으로 나누어 생각할 수 있다. "평가자에 대한 신뢰성"은 평가자가 평가를 수행할 만한 충분한 기술을 가지고 있는지에 대한 것이다. "평가 방법에 대한 신뢰성"은 평가할 내용에 대해 적절하고 충분한 방법으로 평가를 하고 있는지에 대한 것이다.^[9][6][5]

예를 들어, 운전면허 시험에서 실기 시험관이 안일하다면, 그 평가는 적절하다고 보기 어렵다. 실기 시험이 신뢰를 얻으려면, 시험관은 운전에 관한 기술과 지식을 갖추고, 응시자의 운전 기술을 판단하는 훈련을 받아야 한다. 또한, 실기 시험은 운전 기술은 측정할 수 있지만, 운전에 필요한 지식을 측정하기에는 충분하지 않으므로, 필기 시험을 함께 실시해야 운전면허 부여 여부를 평가하는 적절한 방법이 된다.

하지만 예술 작품 평가와 같이 표준적인 평가 방법이 정해져 있지 않은 경우도 있다. 이러한 경우, 평가자의 권위, 인격적 신뢰, 또는 그 공적에 대한 신뢰 등이 평가에 큰 영향을 미치는 경우가 많다. 따라서 누가 평가를 했는지가 중요한 정보가 되며, 나중에 다른 평가자에 의해 평가 기준이 크게 변경되거나, 완전히 다른 평가가 내려지는 경우도 있다.

4. 1. 평가자와 기술

5. 평가의 윤리 및 표준

평가 과정의 질과 엄격성을 검토하는 전문가 그룹이 존재하며, 프로그램 및 프로젝트 평가는 윤리적으로 어려울 수 있다. 교육 평가 표준 합동 위원회는 프로그램, 인사, 학생 평가 표준을 개발했으며, 이는 유용성, 실현 가능성, 적절성, 정확성으로 나뉜다. 유럽 기관들도 유사한 표준을 마련했다.

미국 평가 협회는 평가자 지침 원칙을 제시했는데,^[12] 이는 우선순위가 없으며 상황에 따라 적용된다. 국제통화기금(IMF), 세계은행 등 국제기구도 독립적 평가 기능이 있다. 유엔 평가 그룹(UNEG)^[13]은 유엔 평가 표준 수립 및 기능 강화를 위해 노력하며, 경제협력개발기구(OECD)-DAC 내 평가 그룹은 개발 평가 표준 개선을 목표로 한다.^[15] 주요 다국적 개발 은행(MDB) 독립 평가 부서는 평가 협력 그룹^[16]을 통해 MDB 효과 및 책임성 강화를 위한 평가 활용, 교훈 공유, 평가 조정을 추진한다.

5. 1. 윤리적 고려 사항

• 체계적인 조사: 평가자는 평가 대상에 대해 체계적이고 데이터 기반의 조사를 수행하고, 결과의 신뢰성을 높이기 위해 방어 가능한 지표를 선택하여 양질의 데이터를 수집해야 한다.^[13]
• 역량: 평가자는 이해 관계자에게 유능한 성과를 제공해야 하며, 평가 팀은 다양하고 적절한 전문 지식을 갖춰야 한다.^[10]
• 성실성/정직성: 평가자는 전체 평가 과정의 정직성과 성실성을 보장해야 하며, 평가에서 편견이 없어야 한다. 이는 공정성, 독립성, 투명성의 세 가지 원칙으로 강조된다.
• 독립성: 평가 결론이 다른 당사자의 영향을 받지 않고, 평가자는 특정 결론에 대한 이해관계가 없어야 한다. 이해 상충은 특히 평가 자금이 특정 기관에서 제공되는 경우 문제가 된다.^[10]
• 공정성: 결과가 프로젝트 또는 프로그램의 강점과 약점에 대한 공정하고 철저한 평가여야 한다. 관련된 모든 이해 관계자의 의견을 수렴하고, 편견 없이 결과를 제시하며, 결과와 권장 사항 간의 투명하고 비례적이며 설득력 있는 연결을 제공해야 한다.^[10]
• 투명성: 이해 관계자가 평가의 이유, 기준, 목적을 알고 있어야 한다. 결과는 읽기 쉽고, 평가 방법, 접근 방식, 정보 출처, 발생 비용에 대한 명확한 설명이 포함되어야 한다.^[10]
• 사람에 대한 존중: 평가자는 응답자, 프로그램 참가자, 소비자 및 기타 이해 관계자의 안전, 존엄성, 자존감을 존중해야 한다. 평가에 참여하는 사람들의 동의를 얻고, 기밀을 유지하며, 신원을 보호해야 한다.^[13][14]
• 일반 및 공공 복지에 대한 사회적 책임: 평가자는 일반 및 공공 복지와 관련된 다양한 이익과 가치를 명확히 하고 고려해야 한다. 대중의 평가 문서 접근을 용이하게 하여 토론과 피드백을 가능하게 해야 한다.^[10]

5. 2. 평가 표준

• 체계적인 조사: 평가는 체계적이고 데이터 기반의 조사를 통해 이루어져야 한다. 평가 대상에 대한 명확하고 신뢰할 수 있는 데이터를 수집하고, 사용된 방법론을 명확히 하여 결과의 신뢰성을 높여야 한다.^[13] 결과는 증거 기반이어야 하며, 평가의 목표에 맞게 신뢰할 수 있는 데이터를 제공해야 한다.^[10]
• 역량: 평가자는 이해 관계자에게 유능한 성과를 제공해야 한다. 평가 팀은 적절한 전문 지식을 갖춘 인원으로 구성되어야 하며, 평가자는 자신의 능력 범위 내에서 작업을 수행해야 한다.^[10]
• 성실성/정직성: 평가자는 전체 평가 과정에서 정직성과 성실성을 보장해야 한다. 평가에는 편견이 없어야 하며, 이를 위해 공정성, 독립성, 투명성을 확보해야 한다.^[10]
• 독립성: 평가자는 외부의 영향을 받지 않고 독립적으로 판단해야 하며, 이해 상충을 피해야 한다. 특히 평가 자금 제공 기관과 관련된 이해 상충에 주의해야 한다.^[10]
• 공정성: 평가는 프로그램의 강점과 약점을 공정하게 평가해야 한다. 모든 이해 관계자의 의견을 수렴하고, 편견 없이 결과를 제시하며, 결과와 권장 사항 간의 명확한 연결을 제공해야 한다.^[10]
• 투명성: 평가의 이유, 기준, 목적 등이 이해 관계자에게 명확하게 공개되어야 한다. 평가 방법, 정보 출처, 비용 등에 대한 정보를 투명하게 제공해야 한다.^[10]
• 사람에 대한 존중: 평가자는 응답자, 프로그램 참가자, 소비자 등 관련된 모든 사람들의 안전, 존엄성, 자존감을 존중해야 한다. 평가 참여자의 동의를 얻고, 기밀을 유지하며, 개인 정보를 보호해야 한다.^[14] 또한, 평가 대상자들의 관습과 신념을 존중해야 한다.^[10]
• 일반 및 공공 복지에 대한 사회적 책임: 평가자는 일반 및 공공 복지와 관련된 다양한 이익과 가치를 고려해야 한다. 평가 문서를 공개하여 토론과 피드백을 활성화해야 한다.^[10]

6. 평가의 방법 및 기법

평가는 질적, 양적 연구 방법을 모두 활용하며, 다양한 방법과 기법이 사용된다.^[3] 사례 연구, 설문 조사, 통계 분석, 모델 구축 등과 더불어 다음과 같은 다양한 방법들이 활용된다.^[3]

7. 한국 사회에서의 평가

평가는 교육, 부동산, 주식 등 재산 가치, 골동품 등의 가치, 공학에서 기술이나 제품의 우열 및 성능, 면접에서 태도에 따른 인품 판단 등 다양한 상황에서 이루어진다.^[1]

평가는 보통 여러 항목이나 관점으로 나뉘어 진행된다. 비슷한 의미로 '''평정'''이 사용되기도 하는데, 평정은 "다양한 평가를 종합하여 최종적으로 정한 값매김"이라는 뉘앙스를 가지며, 엄밀하게는 평가와 다르다.

자신의 가치에 대한 평가는 '''비평'''이라고도 불리지만, 비판적인 의미로 사용되는 경우가 많다. 비평에 대해 논하는 것을 '''평론'''이라 하며, 평론을 직업으로 하는 사람을 '''평론가'''라고 한다.

7. 1. 교육 평가

7. 2. 정책 평가

7. 3. 기업 및 노동 평가

참조

_[1] 웹사이트 2. What Is Evaluation? http://www.icap.org/[...] International Center for Alcohol Policies 2012-05-13
_[2] 웹사이트 WHAT is evaluation? http://www.evaluatio[...] The Evaluation Trust 2002-03-13
_[3] 서적 Curriculum evaluation Rand McNally
_[4] 서적 Evaluation: A systematic approach Sage
_[5] 학술지 Evaluating the evaluation: Understanding the utility and limitations of evaluation as a tool for organizational learning
_[6] 학술지 How Legitimate and Justified are Judgments in Program Evaluation?
_[7] 웹사이트 Evaluation Purpose http://www.edtech.vt[...] Learning Technologies at Virginia Tech 2012-05-13
_[8] 서적
_[9] 학술지 Psychology and the art of program evaluation
_[10] 서적 GEF Evaluation Office Ethical Guidelines http://www.thegef.or[...] Global Environment Facility Evaluation Office 2011-11-20
_[11] 웹사이트 News and Events http://www.wmich.edu[...] Joint Committee on Standards for Educational Evaluation 2012-05-13
_[12] 웹사이트 AMERICAN EVALUATION ASSOCIATION GUIDING PRINCIPLES FOR EVALUATORS http://www.eval.org/[...] American Evaluation Association 2004-07
_[13] 웹사이트 UNEG Home http://www.uneval.or[...] United Nations Evaluation Group 2012-05-13
_[14] 웹사이트 Monitoring & Evaluation for Results Evaluation Ethics What to expect from your evaluators http://siteresources[...] The World Bank Group 2012-05-13
_[15] 웹사이트 DAC Network On Development Evaluation http://www.oecd.org/[...] OECD 2012-05-13
_[16] 웹사이트 Evaluation Cooperation Group http://www.ecgnet.or[...] ECG 2013-05-31
_[17] 간행물 Assumptions underlying evaluation models
_[18] 학술지 An analysis of alternative approaches to evaluation https://www.jstor.or[...]
_[19] 웹사이트 評価（ひょうか）とは？ 意味・読み方・使い方をわかりやすく解説 - goo国語辞書 https://dictionary.g[...] goo 2024-12-21