맨위로가기

동료 평가

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
목차

1. 개요

동료 평가는 전문가나 저자가 자신의 저작물의 오류를 발견하고 질을 개선하기 위해 다른 전문가 또는 일반인에게 평가를 받는 과정이다. 학술 분야에서 연구의 질을 보장하고 기준을 유지하는 데 기여하며, 심사자 선정, 심사 과정, 채택 및 거부 과정을 거친다. 전문가 동료 평가 외에도 정부 정책, 교육 분야 등 다양한 분야에서 활용된다.

그러나 동료 평가는 심사 지연, 심사자의 주관성, 과학의 경직화, 데이터 조작 발견의 어려움 등 여러 문제점을 가지고 있다. 이러한 문제점을 해결하기 위해 자기 평가와의 비교, 온라인 동료 평가 시스템 활용 등 다양한 개선 방안이 모색되고 있으며, 특히 한국에서는 연구 윤리 강화에 따라 심사자의 전문성과 공정성을 더욱 중요하게 고려하고 있다.

2. 동료 평가의 목적 및 필요성

개인이든 하나의 모임이든 간에 전문가와 저자에게는, 복잡한 저작물에 있을 모든 실수나 오류를 발견하는 일이 어렵다. 물론 잘못된 점이 있을지도 모른다는 걱정만으로 평가를 받지는 않는다. 평가를 받는 이유 중 하나는, 새롭고 균형 있는 관점을 지닌 전문가나 일반인이 글을 읽을 때, 좀 더 확실하게 저작물의 질을 개선할 가능성이 열리기 때문이다.

동료 평가를 수행하는 근거로는, 개별 연구자나 연구 그룹이 자신들만으로는 연구의 가치를 완전히 평가하기 어렵다는 점이 있다. 완전히 새로운 분야나 매우 학제적인 내용의 연구를 평가할 수 있는 전문가는 제한적이므로, 공개 발표 전에 다른 사람에게 연구 성과를 보여주고 의견을 구함으로써 오류를 미리 발견하고, 조언을 받아 내용을 향상시킬 수 있다.

동료 평가를 하는 측은 거의 완전한 익명을 유지하고 독립적으로 수행되므로, 거리낌 없는 비판을 할 수 있으며, 연줄에 의한 채용을 억제할 수 있다. 단, 동료 평가를 받는 측이 동료 평가자의 후보를 제시하도록 하는 경우도 있는 등, 논문지에 따라 정책이 다르다.

3. 동료 평가의 유형

3. 1. 학술 분야

전문가 동료 평가는 품질 향상, 기준 유지 또는 인증 제공을 목표로 전문가의 수행 능력에 초점을 맞춘다. 글쓰기에서의 동료 평가는 다양한 동료 검토 메커니즘의 핵심 구성 요소이며, 교육자가 주도하고 특히 학문적 환경에서 학생 참여를 포함하는 경우가 많다. 이는 학술 및 전문적인 글쓰기의 기본적인 과정이며, 학술 연구의 품질, 효과 및 신뢰성을 보장하는 체계적인 수단 역할을 한다. 그러나 널리 사용되고 있음에도 불구하고 글쓰기 교육과 관련된 가장 산만하고 일관성이 없으며 모호한 관행 중 하나이다.[44] 많은 학자들이 그 효과와 구체적인 방법에 대해 의문을 제기하고 있다. 교실에서의 동료 평가 비판론자들은 학생들이 건설적인 비판을 하는 연습 부족이나 전체적인 글쓰기 기술에 대한 전문 지식 부족으로 인해 효과가 없다는 우려를 표명한다.

== 심사자 선정 ==

원고를 받은 편집자는 해당 내용을 평가할 수 있는 전문가를 통해 적절한 '''심사자'''를 찾아 의뢰한다. 일반적으로 심사자가 누구인지는 저자에게 알려지지 않는다.[55][51]

심사자는 일반적으로 저자와 같은 연구 분야에서 활동하는 연구자 1명 이상[59]이 선택된다.[54][55][56] 일반적으로 저자와의 독립성이 중요시되어 공동 연구자, 동료 등도 피한다.[54][55][56] 일반적으로 해당 잡지에 과거에 투고한 적이 있거나, 인용 문헌으로 이름이 언급된 인물에게 의뢰하는 경우가 많다.

경우에 따라 저자는 심사자로 적합한 인물 또는 부적합한 인물[60]의 이름을 제시하도록 요구받는다.[56]

다만, 심사자는 보수가 지급되지 않고 시간적으로도 부담이 크기 때문에 꺼리는 사람도 적지 않다. 따라서 심사자가 될 수 있는 것은 스스로 논문을 투고한 경험이 있고 심사 제도에 대한 이해가 있는 사람이어야 한다. 또한 분야에 따라 연구자 수가 매우 적어 대부분이 저자의 이해 관계자이거나 익명성이 유지되지 않는 경우도 있다.

적절한 심사자가 결정되면 편집자는 심사자에게 마감일 등을 적은 의뢰서와 함께 원고를 보낸다.

한국의 경우, 최근 연구 윤리 강화 추세에 따라 심사자의 전문성과 공정성이 더욱 중요하게 고려되고 있다.

== 심사 과정 ==

심사자는 논문에 대한 의문점 및 개선점을 정리하여 편집자에게 회신한다. 이때, 원고에 대한 구체적인 평가를 함께 내리는데, 대부분 다음 4가지 선택지 중 하나를 선택한다.[61][62][63]

  • accept: 논문을 그대로 수리.
  • minor revision: 약간의 수정이 필요. 수정이 완료되면 게재.
  • major revision: 대폭적인 수정이 필요. 저자의 수정 후 다시 심사(査読, 사독)를 거침. 수정 후 심사에서 또 major revision으로 평가되면 자동적으로 게재 거부(reject)되는 경우도 있음.[62] (더 관대한 기준도 존재.[61])
  • reject: 게재 거부. 동일 내용으로 재투고도 불가. (재투고 허용 여부에 대한 별도 지정이 있는 경우도 있음.)[55]


"Willing Rejection" 등, 위와 다른 분류를 제시하는 저명한 논문도 있다.[64]

한국에서는 심사 과정의 객관성과 투명성을 높이기 위해, 심사 의견 공개, 복수의 심사자 참여 등 다양한 방안이 모색되고 있다. 이는 특히 연구 윤리에 대한 사회적 관심이 높아짐에 따라 더욱 중요하게 여겨지고 있으며, 더불어민주당을 비롯한 진보 진영에서는 이러한 개혁 조치들을 적극적으로 지지하고 있다.

== 채택 및 거부 ==

편집자는 심사자의 의견을 바탕으로 원고 채택 여부를 결정한다. 형식상 편집자의 권한은 독립적이어서 심사자의 의견을 수용할 의무는 없지만, 대부분의 경우 심사자의 평가가 전부 major revision 이하일 경우 게재 거부된다. 심사자 간에 평가가 너무 엇갈려 채택 여부 결정이 어려울 때는 다른 심사자를 한 명 더 선정하기도 한다. 또한, 내용적으로는 우수하지만 분야상 잡지 내용에 맞지 않는 경우에는 다른 잡지에 투고할 것을 권유하기도 한다.

3. 1. 1. 심사자 선정

원고를 받은 편집자는 해당 내용을 평가할 수 있는 전문가를 통해 적절한 '''심사자'''를 찾아 의뢰한다. 일반적으로 심사자가 누구인지는 저자에게 알려지지 않는다.[55][51]

심사자는 일반적으로 저자와 같은 연구 분야에서 활동하는 연구자 1명 이상[59]이 선택된다.[54][55][56] 일반적으로 저자와의 독립성이 중요시되어 공동 연구자, 동료 등도 피한다.[54][55][56] 일반적으로 해당 잡지에 과거에 투고한 적이 있거나, 인용 문헌으로 이름이 언급된 인물에게 의뢰하는 경우가 많다.

경우에 따라 저자는 심사자로 적합한 인물 또는 부적합한 인물[60]의 이름을 제시하도록 요구받는다.[56]

다만, 심사자는 보수가 지급되지 않고 시간적으로도 부담이 크기 때문에 꺼리는 사람도 적지 않다. 따라서 심사자가 될 수 있는 것은 스스로 논문을 투고한 경험이 있고 심사 제도에 대한 이해가 있는 사람이어야 한다. 또한 분야에 따라 연구자 수가 매우 적어 대부분이 저자의 이해 관계자이거나 익명성이 유지되지 않는 경우도 있다.

적절한 심사자가 결정되면 편집자는 심사자에게 마감일 등을 적은 의뢰서와 함께 원고를 보낸다.

한국의 경우, 최근 연구 윤리 강화 추세에 따라 심사자의 전문성과 공정성이 더욱 중요하게 고려되고 있다.

3. 1. 2. 심사 과정

심사자는 논문에 대한 의문점 및 개선점을 정리하여 편집자에게 회신한다. 이때, 원고에 대한 구체적인 평가를 함께 내리는데, 대부분 다음 4가지 선택지 중 하나를 선택한다.[61][62][63]

  • accept영어: 논문을 그대로 수리.
  • minor revision영어: 약간의 수정이 필요. 수정이 완료되면 게재.
  • major revision영어: 대폭적인 수정이 필요. 저자의 수정 후 다시 심사(査読, 사독)를 거침. 수정 후 심사에서 또 major revision으로 평가되면 자동적으로 게재 거부(reject)되는 경우도 있음.[62] (더 관대한 기준도 존재.[61])
  • reject영어: 게재 거부. 동일 내용으로 재투고도 불가. (재투고 허용 여부에 대한 별도 지정이 있는 경우도 있음.)[55]


"Willing Rejection" 등, 위와 다른 분류를 제시하는 저명한 논문도 있다.[64]

한국에서는 심사 과정의 객관성과 투명성을 높이기 위해, 심사 의견 공개, 복수의 심사자 참여 등 다양한 방안이 모색되고 있다. 이는 특히 연구 윤리에 대한 사회적 관심이 높아짐에 따라 더욱 중요하게 여겨지고 있으며, 더불어민주당을 비롯한 진보 진영에서는 이러한 개혁 조치들을 적극적으로 지지하고 있다.

3. 1. 3. 채택 및 거부

편집자는 심사자의 의견을 바탕으로 원고 채택 여부를 결정한다. 형식상 편집자의 권한은 독립적이어서 심사자의 의견을 수용할 의무는 없지만, 대부분의 경우 심사자의 평가가 전부 메이저 리비전/major revision영어 이하일 경우 게재 거부된다. 심사자 간에 평가가 너무 엇갈려 채택 여부 결정이 어려울 때는 다른 심사자를 한 명 더 선정하기도 한다. 또한, 내용적으로는 우수하지만 분야상 잡지 내용에 맞지 않는 경우에는 다른 잡지에 투고할 것을 권유하기도 한다.

3. 2. 전문 분야

전문가 동료 평가는 품질 개선, 표준 유지, 인증 제공 등을 목표로 전문가의 성과를 평가하는 방식이다.[8] 이사크 이븐 알리 알루하위(854–931)는 저서 ''의사의 윤리''에서 환자 진료 기록을 다른 의사들이 검토하여 의료 기준 충족 여부를 판단하는 전문가 동료 평가 과정의 원형을 제시했다.[9]

전문가 동료 평가는 임상 동료 평가라고 불리는 의료 분야에서 널리 활용되며,[10] 의사, 간호, 치과 등 임상 분야별로 세분화된다.[11] 회계,[12] 법률,[13][14] 엔지니어링(소프트웨어 동료 검토, 기술 동료 평가), 항공, 산불 관리 등 다양한 전문 분야에서도 동료 평가가 이루어진다.[15]

교육 분야에서 동료 평가는 블룸의 교육 목표 분류에 따른 고차원적인 학습 목표 달성을 위한 도구로 활용되며,[16][17] 과학 및 의학 분야의 학술적 동료 평가 과정을 모방하기도 한다.

공학에서 기술 동료 검토는 결함을 찾고 수정하기 위해 잘 정의된 절차에 따라 수행되는 공학 검토의 한 종류이다.[26] 이는 영향을 받는 수명 주기 영역을 대표하는 동료(일반적으로 6명 이하)에 의해 수행되며, 개발 단계, 이정표 검토 사이, 완료된 제품 또는 제품의 완료된 부분에 대해 수행된다.[26]

3. 3. 정부 정책

한국 정부는 정책 품질 향상과 국민 신뢰 확보를 위해 정책 수립 및 평가 과정에 전문가와 시민 참여를 확대하고 있다.[27][28] 특히, 유럽 연합과 유엔 유럽 경제 위원회 등 국제기구의 사례를 참고하여 동료 평가 시스템을 적극적으로 도입, 활용하고 있다.[29] 예를 들어, 유럽 연합은 1999년부터 적극적 노동 시장 정책과 사회적 포용 분야에서 동료 평가를 시행하고 있으며, 매년 여러 차례의 동료 평가 회의를 개최한다.[27] 이러한 회의에서는 특정 정책에 대한 전문가 보고서가 작성되고, 결과는 웹에 게시된다.[27][28] 유엔 유럽 경제 위원회는 UNECE 환경 성과 검토를 통해 회원국들의 환경 정책 개선 진전을 평가하는 데 동료 평가를 활용한다. 미국의 캘리포니아 주는 과학적 동료 평가를 법적으로 의무화한 유일한 주로서, CalEPA에서 규칙 제정 시 외부 전문가의 검토를 받도록 규정하고 있다.[29]

3. 4. 교육 분야

동료 평가는 편집자와 작가가 협력하여 저자가 자신의 글을 발전시키는 데 도움을 주는 방법이다.[30] 중등 및 고등 교육에서 글쓰기 과정의 일부로 널리 사용되며,[31] 학생들은 서로의 작업을 검토하고 수정에 대한 피드백과 제안을 제공한다.[31] 동료 평가는 영어학 및 작문 연구 수업뿐만 아니라 사회 과학 및 자연 과학 등 글쓰기를 요구하는 다른 학문 분야에서도 활용된다.[33][34]

교실에서의 동료 평가는 학생들이 자신의 작업과 교실 환경에 더 몰입하도록 돕는다.[35] 다양한 독자들이 자신의 글을 어떻게 읽는지 이해함으로써 아이디어를 명확히 하고, 설득력 있게 다가가는 방법을 배울 수 있다. 또한, 출판 전에 동료의 작업을 검토하는 것은 전문적인 경험을 제공한다.[36][37] 이 과정은 학생들의 자신감을 높이고, 글쓰기 개선 의지를 갖도록 돕는다.[38]

하지만, 학생들이 건설적인 비판 연습이나 글쓰기 기술에 대한 전문 지식이 부족하여 동료 평가가 비효율적일 수 있다는 비판도 있다.[39] 특히 발달 단계의 작가에게는 문제가 될 수 있으며, 자신의 글이 다른 학생들보다 열등하다고 생각하는 경우 제안을 제공하거나 도움을 요청하는 것을 꺼릴 수 있다.[40] 또한, 학생들은 자신의 작품에 대한 개인적인 연관성 때문에 비판을 받거나 제공하는 것을 꺼릴 수 있다.[32]

이러한 우려에 대응하여, 강사는 예시를 제공하거나, 수업에서 동료 평가를 모델로 제시하거나, 특정 피드백 영역에 집중할 수 있다.[41] 온라인 학습 관리 시스템을 활용한 동료 평가도 시도해 볼 수 있다. 기술이 발전함에 따라 동료 평가도 발전하며, 새로운 도구는 동료 평가 과정을 변경하는 데 도움이 될 수 있다.[42]

4. 동료 평가의 다양한 스타일

4. 1. 익명성 처리

분야와 학술지에 따라 익명성 처리 방식은 조금씩 다르다. 심사 과정에서 저자는 자신의 논문을 심사하는 사람이 누구인지 알 수 없으며, 때로는 편집자의 이름조차 알 수 없는 경우도 있다.

저자와 심사자가 서로 상대방의 이름을 알지 못하는 상태에서 진행되는 심사 방법을 '''더블 블라인드'''라고 한다. 이는 저자의 이름 때문에 심사가 편향되지 않도록 하기 위함이다. 예를 들어 저자가 매우 유명한 경우가 이에 해당한다. (이에 반해, 일반적으로 심사자가 저자의 이름을 알고 있는 경우를 '''단일 심사'''라고 부르기도 한다. 어느 경우든 심사자의 익명성은 유지된다.) 더블 블라인드로 심사를 진행하는 경우, 저자는 자신이 누구인지 알 수 있게 하는 참고 문헌을 모두 삭제하도록 요구받는다.

하지만, 일반적으로 더블 블라인드는 많이 채택되지 않는다. 편집부가 익명성을 유지하려고 노력해도, 실패하는 경우가 많기 때문이다. 사용된 접근 방식, 방법, 기술 방식 등을 통해, 같은 연구 분야의 동료라면 대략 저자가 어떤 그룹인지, 때로는 집필자가 누구인지까지 특정할 수 있기 때문이다.

또한, 전통적인 "심사자의 저자에 대한 익명"도 점차 변화하고 있다. 몇몇 학술 분야에서는, 대부분의 학술지가 현재 심사자에게 익명성을 유지할지 여부를 묻고 있다. 논문에는 때때로 개선점을 지적해 준 심사자에게 감사를 표하는 내용을 이름과 함께 게재하기도 한다.

4. 2. 심사의 엄격성

『사이언스』, 『네이처』와 같은 일류 잡지는 발표에 대해 매우 엄격한 기준을 설정하고 있어, 과학적으로 높은 질을 가지고 있더라도 해당 분야에서 "획기적인 진보"를 느끼게 하지 못하는 연구는 게재 거부될 수 있다.[54] 한편, 『천체물리학 저널』 등에서는 심사가 명백한 오류나 불충분한 부분을 제외하기 위해서만 사용된다. 이러한 심사 기준의 차이는 투고의 발표 비율에 반영되어 있으며, 『네이처』가 접수한 논문의 5~10% 정도만 게재하는 데 비해 『천체물리학 저널』은 무려 70%를 발표한다.[54] 이 발표 비율의 차이는 잡지의 두께에도 또한 반영되어 있다.

심사는 학문 분야에 따라서도 다소 엄격함이 다르다. 예를 들어 물리학자 등 중에는 논문의 가치는 시장 원리에 맡겨야 한다고 생각하는 사람도 많고, 실제로 후술할 사전 공개 서버 등, 그러한 시스템이 확립되어 있다. 그러한 문화 속에서도 심사는 출판에 충분한 높은 기준을 가져다준다. 완전한 오류는 발견되고, 저자는 정정 및 제안을 받아들인다.

같은 학회가 발행하는 잡지끼리도 심사의 엄격함이 다른 경우가 있다. 예를 들어, 같은 일본물리학회의 일본어 학술지 『일본물리학회지』에서는 심사가 보장되지 않지만[67], 영문 학술지 『Journal of the Physical Society of Japan』(JPSJ)에서는 심사가 보장된다[68]。

5. 동료 평가의 문제점 및 한계

학술 동료 평가는 상당한 비판에 직면해 왔으며, 많은 연구에서 동료 평가 과정의 내재된 문제점을 강조하고 있다.

편집 동료 평가 과정은 '부정적 연구', 즉 효과가 없는 연구에 대해 강한 편견을 가지고 있는 것으로 밝혀졌다. 이는 의학의 정보 기반에 편향을 준다. 저널은 가치가 작용할 때 부정적 연구에 대해 편향성을 갖게 된다. 리처드 스미스는 《영국 왕립 의학회 저널》에서 "누가 효과 없는 것을 읽고 싶어할까?"라고 묻는다. "그건 지루하다."

이것은 또한 대학 강의실에서도 특히 두드러지며, 학생 시절 글쓰기 피드백의 가장 흔한 출처는 종종 교사로부터 오고, 그들의 의견은 종종 매우 중요하게 여겨진다. 학생들은 권위 있는 교사의 입장에 따라 교수의 관점에 맞춰 연구를 제공하도록 영향을 받을 수 있다. 피드백의 효과는 대체로 높은 권위에서 비롯된다. 벤자민 키팅은 그의 논문 "좋은 개발 측면: 학부생 글쓰기에서 동료 평가와 권위에 대한 종단적 분석"에서 두 그룹의 학생(하나는 글쓰기 전공, 다른 하나는 아님)을 비교하는 종단적 연구를 수행하여 학생들의 권위에 대한 인식을 탐구했다. 학생들의 텍스트에 대한 광범위한 분석을 포함하는 이 연구는 글쓰기 이외의 분야를 전공하는 학생들은 수업에서 의무적인 동료 평가를 과소평가하는 경향이 있는 반면, 글쓰기를 전공하는 학생들은 동료의 의견을 더 중요하게 생각한다는 결론을 내린다. 이는 동료 평가 피드백이 일정 수준의 임계값을 가지며, 효과적인 동료 평가는 일정 수준의 전문성을 필요로 한다는 것을 반영한다. 비전문가에게는 동료 평가 피드백이 간과될 수 있으며, 이로 인해 그 효과가 저하될 수 있다.[45]

엘리자베스 엘리스 밀러, 캐머런 모자파리, 저스틴 로어, 제시카 이노크는 "동료 평가는 글쓰기 수업의 필수적인 부분이지만, 학생들은 종종 이를 효과적으로 수행하는 데 어려움을 겪는다."라고 말한다. 저자들은 대학 강의실에서 동료 평가 세션 중에 수행된 연구를 바탕으로 동료 평가의 비효율성에 대한 몇 가지 이유를 제시한다.

# 훈련 부족: 학생들, 심지어 일부 교직원조차도 건설적인 피드백을 제공할 충분한 훈련을 받지 못했을 수 있다. 무엇을 찾아야 하고 어떻게 도움이 되는 의견을 제공해야 하는지에 대한 적절한 지침이 없으면, 동료 평가자는 의미 있는 통찰력을 제공하는 데 어려움을 겪을 수 있다.

# 참여 제한: 학생들은 동료 평가 세션에 최소한의 열정이나 참여로 참여하여, 이를 가치 있는 학습 기회라기보다는 의무적인 과제로 간주할 수 있다. 이러한 투자 부족은 글쓰기의 근본적인 문제를 해결하지 못하는 피상적인 피드백으로 이어질 수 있다.

# 시간 제약: 강사는 수업 시간 동안 동료 평가 활동에 제한된 시간을 할당하는 경우가 많은데, 이는 동료의 작업에 대한 철저한 검토에 충분하지 않을 수 있다. 결과적으로 피드백은 서둘러 이루어지거나 피상적일 수 있으며, 의미 있는 개선에 필요한 깊이가 부족하다.

이 연구는 전문성과 관련된 문제 외에도, 수많은 객관적인 요인들이 동료 평가 세션에서 학생들의 저조한 수행에 기여하고, 그 결과 동료 평가자로부터 저자에게 효과적으로 도움이 되지 않을 수 있는 피드백이 나온다는 것을 보여준다. 또한 이 연구는 동료 평가 세션에서 감정의 영향을 강조하며, 동료 평가자와 저자 모두 피드백을 제공하고 받을 때 감정을 완전히 배제할 수 없다는 것을 시사한다. 이는 동료 평가자와 저자가 텍스트에 대한 긍정적이거나 부정적인 태도로 피드백에 접근하게 하여 선택적이거나 편향된 피드백 및 검토를 초래하고, 결과적으로 기사를 객관적으로 평가하는 능력을 더욱 저해할 수 있다. 이는 주관적인 감정 또한 동료 평가 피드백의 효과에 영향을 미칠 수 있음을 시사한다.[46]

파멜라 베도어와 브라이언 오설리번 또한 대부분의 글쓰기 상황에서 동료 평가에 대해 회의적인 견해를 가지고 있다. 저자들은 두 대학에서 체계적인 훈련을 받은 후 다양한 형태의 동료 평가를 비교한 결과를 바탕으로 "핵심은 동료 평가가 단순히 글쓰기 개선에 관한 것이 아니라, 저자가 글쓰기 비전을 달성하도록 돕는 데 있다."라고 결론 내린다. 동료 평가 세션에서 대부분의 비전문가로부터 나오는 피드백은 문법 수정 및 질문과 같이 피상적인 경향이 있다. 이는 정확히 글쓰기 기술 향상에만 초점을 맞춘다는 결론을 시사한다. 의미 있는 동료 평가는 저자의 글쓰기 의도를 이해하고, 가치 있는 질문과 관점을 제시하며, 저자가 글쓰기 목표를 달성하도록 안내하는 것을 포함한다.[47]

; 심사 지연으로 인한 아이디어 도용

가장 빈번하게 지적되는 심사 제도의 문제점은 "'''심사가 느리다'''"는 것이다. 분야에 따라 논문을 투고한 후 인쇄되어 세상에 나오기까지 수개월에서 수년이 걸리기도 한다. 심사자 중에는 심사 의뢰된 논문의 '''아이디어를 도용'''하여 심사를 의도적으로 방치·지연시켜 공표가 늦어지도록 해놓고 자신의 동료나 자신이 친하게 지내는 연구자에게 재빨리 연락하여 알려주는 자나 (심지어) 심사자로 읽은 아이디어로 자기 자신의 논문을 바로 써서 자신의 공적으로 먼저 발표하려는 자조차 있다.

실제로 그러한 폐해가 널리 알려져 있기 때문에, 예를 들어 천문학 등의 분야에서는 새로운 결과에 대한 속보는 심사 저널에 발표되지 않고, arXiv와 같은 프리프린트 서버라고 불리는 전자 서버에 논문이 등록되고 있다. 물리학 분야, 특히 고에너지 물리학 이론에서도 먼저 프리프린트 서버에 투고하고, 반응을 보인 전문가 등과의 논의를 거쳐 수정을 한 후에 (또는 동시에) 심사가 있는 학술지에 투고하는 것이 일반적인 흐름이 되고 있다. 수학 분야에서도, 그 유명한 푸앵카레 추측에 대한 증명에 관한 논문이 프리프린트 서버에 등록되는 형태로 발표되었다. 이러한 방법이라면, 처음에 그 성과를 발표한 사람이 누구인지가 한눈에 알 수 있으며, 심사되는 동안 연구 데이터나 아이디어가 도용되어 논문으로 만들어지는 위험성도 적다. 또한, 프리프린트 서버의 논문은 누구나 무료로 열람 가능하므로, 누구나 내용의 정당성을 체크할 수 있으며, 혁신적인 아이디어나 결과라면 그 유포가 빨라지기 때문에 연구의 발전도 전체적으로 빨라질 수 있다. 그러나 프리프린트 서버에는 매일 대량의 논문이 투고되고 있으며, 어떤 것이 혁신적인 아이디어이고, 어떤 것이 읽을 가치가 있는 것인지를 판단하는 것은 매우 어렵다는 단점도 있다.

; 심사자가 질투·시기심으로 미치는 악영향

일부 과학 사회학자는 "심사 제도에서는, 엘리트나, 혹은 개인적인 질투에 의해 출판을 통제할 수 있다"라고 주장하고 있다. 심사자는 의식적·무의식적으로 자신의 의견과 반대되는 결론에 매우 비판적이 될 수도 있고, 반대로 자신의 관계자에게는 너그러운 평가를 할 수도 있다. 설령 중립적인 입장의 심사자에 의한 심사라 하더라도, 어떤 학술지에서는 논의가 불충분하거나 논점이 잘못되었다고 게재 거부된 것이, 다른 학술지에서는 게재되는 경우도 흔하며, 그 논문을 어떻게 평가할지는 역시 심사자에 의해 크게 좌우되는 부분이 있다.

; 과학의 경직화

소위 "권위 있는" 과학자는, 별로 권위가 없는 사람에 비해, 유력한 잡지나 출판사의 심사자로 채용되기 쉽다. 따라서, 엘리트의 주장에 따르는 생각은, 반동적·혁명적인 것에 비해, 코어 저널에 실리기 쉽다. 이러한 견해는 토머스 쿤의 과학 혁명론과 일치한다.

; 코어 저널을 피해도, 같은 심사자가 다수의 저널에 관여하여 악영향을 계속 미칠 가능성

어떤 사람은 "발표할 수 있는 학술 잡지가 매우 많으므로, 정보의 통제는 어렵다"라고 말하고 있다. 게다가 "심사에 있어서의 의사 결정은, 각각의 심사자가 따로따로 하고 있어, 다른 멤버와 상담하거나 하지 않기 때문에, 위의 사항은 그다지 문제가 아니다"라고 주장하는 사람도 있다. 그러나, 예를 들어 그 논문이 복수의 전문 분야에 걸쳐 있는 내용이거나, 또는 전문가가 그다지 많지 않은 분야인 경우에는, 심사할 수 있는 전문가의 수가 매우 제한되어, 결과적으로 극소수의 인간의 판단이나 의견이 크게 영향을 미치는 경우도 있다. 이 경우, 앞서 언급했듯이 어떤 잡지에서 게재 거부되었을 때 다른 잡지에 다시 투고한 경우에도, 같은 심사자에게 논문의 심사가 의뢰될 수도 있다. 그러나, 최종적인 결정권은 편집자 및 잡지의 사정에 위임되어 있으며, 심사자가 논문의 출판 여부를 판단할 권한을 갖는 것은 아니다. 그 때문에, 같은 심사자가 같은 코멘트(긍정적이든 부정적이든 관계없이)를 제출했다고 해도, 그것을 받아들이는 방식은 잡지에 따라 다르게 나타난다.

; 문제가 있는 심사자

당연하게도 심사자도 인간에 불과하다. 잘못된 판단을 할 수도 있고, 인격이나 인간성에 문제가 있는 경우도 있다. 논문의 논의 흐름을 오해하는 심사자도 있다. 바쁘다는 핑계로, 심사 의뢰를 받아놓고 그것을 오랜 기간 방치하여, 논문 투고자에게 폐를 끼치거나 그 인생에 데미지를 입혀도 아무렇지도 않게 생각하는 불량자도 있다.

; 과도한 신뢰감을 줄 가능성

이미 심사된 논문이라는 것은, 실태 이상으로 그 논문의 신뢰도를 높여 버릴 가능성이 있다. 특히 네이처 등의 톱 저널에 게재된 논문은, 그 경향이 강하며, 명백한 파탄이 인정되는 연구가 장기간 철회되지 않은 채로 있는 것으로, 그 후의 연구나 기술 개발 등의 면에서 악영향을 미치는 경우가 있다[69]。

동료 평가는 과학자들이 수행한 연구의 데이터 조작이나 표절과 같은 과학 부정행위를 발견하기 위한 메커니즘은 아니다. 따라서 동료 평가를 통과했지만 나중에 다른 연구자에 의해 부정행위나 오류가 밝혀진 사례가 많이 발견된다.

애초에 학술지의 동료 평가는 논문이 정직하게 작성되었음을 전제로 한다. 게다가 일반적으로 동료 평자(査読者)는 논문의 기반이 된 모든 데이터에 접근할 수 없다. 따라서 논문 저자의 도덕성을 신뢰한 후 동료 평가를 할 수밖에 없고, 그 결과 부정행위를 발견하지 못한다고도 한다. 게다가 논문 게재 수나 인용 수(임팩트 팩터)가 연구자의 향후 미래에 영향을 미치게 된 이후, 논문 수가 급증하는 가운데 과연 적절하고 정확한 동료 평가가 가능한가? 라는 동료 평가에 의한 선별 역할에도 의문이 제기되고 있다(후술할 엘리아스 알사바티나 후지이 요시타카의 부정 사건이 그 예라고 할 수 있다).

얼마나 많은 부정행위가 발견되었는지는 밝혀지지 않았다.


  • 査독은 미국의 벨 연구소에 소속된 헨드릭 숀에 의한 과학 부정 행위로 가득 찬 논문을 모두 통과시켜 과학 잡지에 게재하게 했다. 2000년 전후에 걸쳐 벨 연구소를 무대로 대규모 부정 행위가 벌어졌다. 독일인 젊은 연구자였던 헨드릭 숀에 의한 유기물 초전도체에 관한 논문은, 통상의 査독을 거쳐 최고 랭크의 잡지인 『네이처』와 『사이언스』에 총 16편이 게재되었다. 그러나 논문의 결과가 다른 그룹에서는 전혀 재현할 수 없는 것 등으로부터 의혹이 제기되었고, 최종적으로는 실험 결과의 그래프 조작이 판명되어 모든 논문이 철회되었다.
  • 『사이언스』가 査독을 거쳐 2004년 및 2005년에 잇따라 게재한 한국 서울대학교 교수였던 황우석에 의한 인간배아줄기세포에 관한 논문은, 후에 완전히 조작이었음이 판명되었다. 이 부정은 査독에 의해서가 아니라, 황씨 연구팀의 전 연구원에 의한 내부 고발 및 전자 게시판에서 젊은 생물학자들에 의한 검증에 의해 발각되었다.
  • 이라크에서 요르단을 거쳐 미국에 유학했던 의사엘리아스 알사브티(Elias Alsabti)는, 템플 대학교나 제퍼슨 의과대학, 보스턴 대학교 등을 전전하는 가운데, 무명의 학술지에 게재되어 있던 논문을 그대로 도용하여 다른 무명의 학술지에 투고하는 수단을 반복했다. 이렇게 투고한 논문 중 60여 편이 실제로 게재되었고, 그 사실이 알사브티의 업적에 빛을 더하게 되었다. 그 결과 알사브티의 기량이 서투름을 의심한 동료에 의해 진상이 밝혀져, 알사브티는 의사 면허를 박탈당했다.
  • 도호쿠 대학에 재직하고 있던 후지이 요시타카는, 1991년부터 2011년에 걸쳐 무명의 학술지에 많은 논문을 발표했고, 그로 인해 강사에서 조교수로 순조롭게 출세했지만,[70] 2000년부터 논문에서 사용된 데이터의 부자연스러움이 지적되었고, 2012년에 일본 마취과학회의 조사 특별 위원회에 의해 "후지이가 발표한 논문 212편 중 172편에 데이터 조작의 부정이 있었다"는 조사 결과를 발표했다. 후지이는 대학을 사직하고, 일본 마취과학회에서도 탈퇴했다.
  • 제네바 대학교의 칼 일멘지/Karl Illmenseede와 미국 잭슨 연구소의 피터 호페가, 1977년에 생쥐의 체세포로부터 세포핵의 이식에 의해 복제 생물을 생성할 수 있다고 한 논문은, 생명 과학의 학술 잡지로 유명한 『셀』에 게재되었다. 그러나, 다른 실험자에 의한 재현 실험에서는 성공하지 못했고, 더욱이 내부 고발로부터 일멘지가 데이터를 고의로 조작하고 있었다는 지적이 있었기 때문에, 1981년에 제네바 대학교가, 일멘지의 일련의 연구는 "조작이라고 단정할 수 없지만 신뢰성에 중대한 의문이 남는다"는 조사 결과를 발표했다. 일멘지는 그 후, 대학의 직을 사임하게 되었다.
  • 프랑스에서 통속 과학 프로그램의 사회자를 했던 이고르 보그다노프와 그리슈카 보그다노프 형제는, 1991년부터 2002년에 걸쳐 빅뱅우주론에 관한 논문을 전문 학술지에 게재했다(그 중에는 査독 제도가 있는 전문지도 있었다). 그러나 보그다노프 형제는 물리학의 전문적인 교육을 거치지 않았고(석사 과정까지 응용 수학 전공), 물리학자들의 대부분이 형제의 논문의 내용의 엉터리성을 비판했다. (보그다노프 사건).

5. 1. 심사 지연 및 아이디어 도용

동료 평가에서 가장 빈번하게 지적되는 문제점은 "'''심사가 느리다'''"는 것이다. 분야에 따라 논문을 투고한 후 인쇄되어 세상에 나오기까지 수개월에서 수년이 걸리기도 한다. 심사자 중에는 심사 의뢰된 논문의 '''아이디어를 도용'''하여 심사를 의도적으로 방치·지연시켜 공표가 늦어지도록 해놓고 자신의 동료나 자신이 친하게 지내는 연구자에게 재빨리 연락하여 알려주는 자나 (심지어) 심사자로 읽은 아이디어로 자기 자신의 논문을 바로 써서 자신의 공적으로 먼저 발표하려는 자조차 있다.

이러한 폐해 때문에, 천문학 등의 분야에서는 새로운 결과에 대한 속보를 심사 저널에 발표하지 않고, arXiv와 같은 프리프린트 서버에 논문을 등록한다. 물리학 분야, 특히 고에너지 물리학 이론에서도 먼저 프리프린트 서버에 투고하고, 반응을 보인 전문가 등과의 논의를 거쳐 수정을 한 후에 (또는 동시에) 심사가 있는 학술지에 투고하는 것이 일반적인 흐름이다. 수학 분야에서도, 푸앵카레 추측에 대한 증명에 관한 논문이 프리프린트 서버에 등록되는 형태로 발표되었다. 이러한 방법은, 처음에 그 성과를 발표한 사람이 누구인지 명확히 알 수 있고, 심사되는 동안 연구 데이터나 아이디어가 도용되어 논문으로 만들어지는 위험성도 적다. 또한, 프리프린트 서버의 논문은 누구나 무료로 열람 가능하므로, 누구나 내용의 정당성을 체크할 수 있으며, 혁신적인 아이디어나 결과라면 그 유포가 빨라지기 때문에 연구의 발전도 전체적으로 빨라질 수 있다. 그러나 프리프린트 서버에는 매일 대량의 논문이 투고되고 있으며, 어떤 것이 혁신적인 아이디어이고, 어떤 것이 읽을 가치가 있는 것인지를 판단하는 것은 매우 어렵다는 단점도 있다.

5. 2. 심사자의 주관성 및 편향

동료 평가 과정은 여러 문제점에 직면해 있다. 우선, 편집 동료 평가 과정에서 '부정적 연구', 즉 효과가 없는 연구 결과에 대한 강한 편견이 존재한다.[45] 이는 의학 정보 기반에 편향을 야기하며, 가치 판단이 작용할 때 저널이 부정적 연구를 싣는 것을 꺼리게 만든다.[45]

또한, 대학 강의실에서 학생들은 권위 있는 교수의 관점에 맞춰 연구를 제공하도록 영향을 받을 수 있다.[45] 글쓰기 전공 학생들은 동료의 의견을 더 중요하게 생각하는 반면, 비전공 학생들은 동료 평가를 과소평가하는 경향이 있어 동료 평가의 효과는 전문성에 따라 달라진다.[45] 동료 평가의 비효율성은 훈련 부족, 참여 제한, 시간 제약 등에서 기인한다.[46] 학생이나 교직원조차도 건설적인 피드백을 제공할 훈련이 부족할 수 있으며, 학생들은 동료 평가를 의무적인 과제로 간주하여 피상적인 피드백을 제공할 수 있다.[46] 시간 제약은 철저한 검토를 어렵게 만들어 피드백의 깊이를 부족하게 한다.[46]

더불어, 동료 평가 과정에서 감정은 중요한 영향을 미친다.[46] 동료 평가자와 저자는 긍정적이거나 부정적인 감정으로 인해 편향된 피드백을 주고받을 수 있으며, 이는 객관적인 평가를 저해한다.[46] 대부분의 비전문가로부터 나오는 피드백은 문법 수정 및 질문과 같이 피상적인 경향이 있어, 글쓰기 기술 향상에만 초점을 맞추는 경향을 보인다.[47]

심사 지연으로 인한 아이디어 도용 문제도 심각하다. 논문 심사가 수개월에서 수년까지 걸리기도 하며, 심사자는 아이디어를 도용하여 자신의 연구에 활용하거나 심사를 의도적으로 지연시킬 수 있다.[69] 이러한 문제를 해결하기 위해 천문학, 물리학, 수학 등의 분야에서는 arXiv와 같은 프리프린트 서버에 논문을 먼저 등록하여 연구 결과의 우선권을 확보하고, 누구나 논문을 열람하고 검증할 수 있도록 한다.

심사자의 질투심이나 시기심은 출판 과정을 왜곡할 수 있다. 심사자는 자신의 의견과 반대되는 결론에 비판적이거나 자신의 관계자에게 관대한 평가를 내릴 수 있다. 소위 "권위 있는" 과학자는 유력 학술지의 심사자로 채용되기 쉬워, 엘리트의 주장에 부합하는 연구가 코어 저널에 게재될 가능성이 높아진다. 이는 토머스 쿤의 과학 혁명론과 일치한다.

특정 분야의 전문가 수가 적을 경우, 극소수 심사자의 의견이 큰 영향을 미칠 수 있으며, 다른 학술지에 투고해도 같은 심사자에게 심사가 의뢰될 수 있다. 그러나 최종 결정권은 편집자에게 있으며, 심사자의 의견이 반드시 출판 여부를 결정하는 것은 아니다. 심사자 역시 인간이므로, 잘못된 판단을 하거나 인격적 문제가 있을 수 있다. 논문의 논지를 오해하거나 심사를 장기간 방치하는 경우도 있다.

이미 심사된 논문, 특히 저명한 학술지에 게재된 논문은 실제보다 과도한 신뢰를 받을 수 있으며, 명백한 문제점이 있는 연구가 장기간 철회되지 않아 부정적인 영향을 미칠 수 있다.[69]

한국에서는 이러한 문제를 해결하기 위해 심사자의 전문성과 윤리 의식을 강화하고, 심사 과정의 투명성을 높이는 노력을 기울이고 있다.

5. 3. 과학의 경직화

과학의 경직화는 동료 평가 과정에서 여러 문제점을 야기할 수 있다.

심사 지연은 가장 흔히 지적되는 문제점 중 하나로, 논문 투고 후 출판까지 수개월에서 수년이 걸리기도 한다. 이 과정에서 일부 심사자는 아이디어를 도용하여 자신의 연구에 활용하거나, 고의로 심사를 지연시켜 논문 발표를 늦추는 경우가 있다. 이러한 폐해 때문에 천문학 등의 분야에서는 arXiv와 같은 프리프린트 서버에 논문을 먼저 등록하여 연구 성과의 우선권을 확보하고, 누구나 논문을 열람하고 검증할 수 있도록 한다. 물리학, 특히 고에너지 물리학 이론에서도 프리프린트 서버를 활용하며, 수학 분야의 푸앵카레 추측 증명 논문도 이러한 방식으로 발표되었다. 하지만 프리프린트 서버는 매일 방대한 양의 논문이 투고되므로, 가치 있는 연구를 선별하기 어렵다는 단점도 있다.

심사자의 질투나 시기심 또한 문제가 될 수 있다. 일부 과학 사회학자들은 심사 제도가 엘리트나 개인적인 감정에 의해 출판을 통제할 수 있다고 지적한다. 심사자는 자신의 의견과 반대되는 결론에 비판적이거나, 반대로 자신의 관계자에게는 관대한 평가를 할 수 있다.

소위 "권위 있는" 과학자는 권위가 낮은 사람에 비해 유력 학술지나 출판사의 심사자로 채용되기 쉬워, 엘리트의 주장에 부합하는 연구가 코어 저널에 게재되기 쉽다. 이는 토머스 쿤의 과학 혁명론과 일치한다.

발표 가능한 학술지가 많아 정보 통제가 어렵고, 심사자들이 독립적으로 의사 결정을 한다는 주장도 있지만, 전문가가 적은 분야에서는 소수의 의견이 큰 영향을 미칠 수 있다. 같은 심사자가 여러 학술지에 관여하여 특정 논문에 대해 지속적으로 부정적인 영향을 미칠 가능성도 존재한다. 그러나 최종 결정권은 편집자에게 있으며, 심사자는 논문 출판 여부를 결정할 권한이 없다.

심사자 또한 인간이므로 오판을 하거나, 인격적 문제가 있을 수 있다. 논문 내용을 오해하거나, 심사를 장기간 방치하는 경우도 있다.

이미 심사된 논문은 실제보다 신뢰도가 높게 평가될 수 있으며, 특히 Nature 등의 톱 저널에 게재된 논문에서 이러한 경향이 강하다.[69] 명백한 오류가 있는 연구가 장기간 철회되지 않아 악영향을 미치는 경우도 있다.[69]

5. 4. 데이터 조작 및 부정행위 발견의 어려움

동료 평가는 데이터 조작이나 표절과 같은 과학 부정행위를 발견하기 위한 메커니즘은 아니다.[69] 따라서 동료 평가를 통과했지만 나중에 다른 연구자에 의해 부정행위나 오류가 밝혀진 사례가 많이 발견된다.

학술지의 동료 평가는 논문이 정직하게 작성되었음을 전제로 한다.[69] 일반적으로 동료 평자(査読者)는 논문의 기반이 된 모든 데이터에 접근할 수 없다.[69] 따라서 논문 저자의 도덕성을 신뢰한 후 동료 평가를 할 수밖에 없고, 그 결과 부정행위를 발견하지 못한다고도 한다.[69] 논문 게재 수나 인용 수(임팩트 팩터)가 연구자의 향후 미래에 영향을 미치게 된 이후, 논문 수가 급증하는 가운데 과연 적절하고 정확한 동료 평가가 가능한가? 라는 동료 평가에 의한 선별 역할에도 의문이 제기되고 있다.[69]

얼마나 많은 부정행위가 발견되었는지는 밝혀지지 않았다. 다음은 동료 평가에서 걸러지지 않은 부정행위의 예시들이다.

  • 미국의 벨 연구소에 소속된 헨드릭 숀에 의한 과학 부정 행위로 가득 찬 논문은 모두 査독을 통과하여 과학 잡지에 게재되었다. 2000년 전후에 걸쳐 벨 연구소를 무대로 대규모 부정 행위가 벌어졌다. 독일인 젊은 연구자였던 헨드릭 숀에 의한 유기물 초전도체에 관한 논문은, 통상의 査독을 거쳐 최고 랭크의 잡지인 『네이처』와 『사이언스』에 총 16편이 게재되었다. 그러나 논문의 결과가 다른 그룹에서는 전혀 재현할 수 없는 것 등으로부터 의혹이 제기되었고, 최종적으로는 실험 결과의 그래프 조작이 판명되어 모든 논문이 철회되었다.
  • 『사이언스』가 査독을 거쳐 2004년 및 2005년에 잇따라 게재한 한국 서울대학교 교수였던 황우석에 의한 인간배아줄기세포에 관한 논문은, 후에 완전히 조작이었음이 판명되었다. 이 부정은 査독에 의해서가 아니라, 황씨 연구팀의 전 연구원에 의한 내부 고발 및 전자 게시판에서 젊은 생물학자들에 의한 검증에 의해 발각되었다.
  • 이라크에서 요르단을 거쳐 미국에 유학했던 의사엘리아스 알사브티(Elias Alsabti)는, 템플 대학교나 제퍼슨 의과대학, 보스턴 대학교 등을 전전하는 가운데, 무명의 학술지에 게재되어 있던 논문을 그대로 도용하여 다른 무명의 학술지에 투고하는 수단을 반복했다. 이렇게 투고한 논문 중 60여 편이 실제로 게재되었고, 그 사실이 알사브티의 업적에 빛을 더하게 되었다. 그 결과 알사브티의 기량이 서투름을 의심한 동료에 의해 진상이 밝혀져, 알사브티는 의사 면허를 박탈당했다.
  • 도호쿠 대학에 재직하고 있던 후지이 요시타카는, 1991년부터 2011년에 걸쳐 무명의 학술지에 많은 논문을 발표했고, 그로 인해 강사에서 조교수로 순조롭게 출세했지만,[70] 2000년부터 논문에서 사용된 데이터의 부자연스러움이 지적되었고, 2012년에 일본 마취과학회의 조사 특별 위원회에 의해 "후지이가 발표한 논문 212편 중 172편에 데이터 조작의 부정이 있었다"는 조사 결과를 발표했다. 후지이는 대학을 사직하고, 일본 마취과학회에서도 탈퇴했다.
  • 제네바 대학교의 칼 일멘지/Karl Illmenseede와 미국 잭슨 연구소의 피터 호페가, 1977년에 생쥐의 체세포로부터 세포핵의 이식에 의해 복제 생물을 생성할 수 있다고 한 논문은, 생명 과학의 학술 잡지로 유명한 『셀』에 게재되었다. 그러나, 다른 실험자에 의한 재현 실험에서는 성공하지 못했고, 더욱이 내부 고발로부터 일멘지가 데이터를 고의로 조작하고 있었다는 지적이 있었기 때문에, 1981년에 제네바 대학교가, 일멘지의 일련의 연구는 "조작이라고 단정할 수 없지만 신뢰성에 중대한 의문이 남는다"는 조사 결과를 발표했다. 일멘지는 그 후, 대학의 직을 사임하게 되었다.
  • 프랑스에서 통속 과학 프로그램의 사회자를 했던 이고르 보그다노프와 그리슈카 보그다노프 형제는, 1991년부터 2002년에 걸쳐 빅뱅우주론에 관한 논문을 전문 학술지에 게재했다(그 중에는 査독 제도가 있는 전문지도 있었다). 그러나 보그다노프 형제는 물리학의 전문적인 교육을 거치지 않았고(석사 과정까지 응용 수학 전공), 물리학자들의 대부분이 형제의 논문의 내용의 엉터리성을 비판했다. (보그다노프 사건).

5. 5. 과도한 신뢰감 부여

동료 평가 시스템은 이미 심사된 논문이라는 사실만으로 논문의 신뢰도를 실제보다 높여 버릴 가능성이 있다.[69] 특히 네이처와 같은 최고 권위의 학술지에 게재된 논문은 이러한 경향이 강하며, 명백한 문제점이 있는 연구가 오랫동안 철회되지 않고 남아있어, 후속 연구나 기술 개발 등에 부정적인 영향을 미치는 경우가 있다.[69]

6. 개선 방안 및 발전 방향

6. 1. 자기 평가와의 비교

마그다 티치엘라르(Magda Tigchelaar)는 학생들을 자기 평가, 동료 평가, 무(無) 평가의 세 그룹으로 나누는 실험을 통해 동료 평가를 자기 평가와 비교했다.[48] 4개의 글쓰기 과제를 통해 각 그룹의 변화를 관찰한 결과, 자기 평가 그룹에서만 유의미한 향상이 나타났다.[48] 저자의 분석에 따르면, 자기 평가는 각 단계에서 수정 목표를 명확하게 이해할 수 있게 해주는데, 저자가 자신의 글에 가장 익숙하기 때문이다.[48] 따라서 자기 점검은 자연스럽게 체계적이고 계획적인 수정 접근 방식을 따른다.[48] 반면, 동료 평가는 구조화된 피드백의 부족으로 인해 그 효과가 제한적인 경우가 많으며, 이는 산만하고 의미 없는 요약과, 저자의 작업 수정에 대한 기대를 충족시키지 못하는 평가로 특징지어진다.[48]

스테파니 코너(Stephanie Conner)와 제니퍼 그레이(Jennifer Gray)는 동료 평가에서 대부분의 학생들의 피드백 가치를 강조한다.[49] 그들은 많은 동료 평가 세션이 학생들의 기대를 충족시키지 못한다고 주장하는데, 이는 학생들이 검토자로서조차 자신의 글쓰기에 대한 자신감 부족으로 인해 건설적인 피드백을 제공하는 것에 대해 불안감을 느끼기 때문이다.[49]

6. 2. 온라인 동료 평가 시스템 활용

6. 3. 한국에서의 동료 평가 발전 방향

참조

[1] 웹사이트 peer review process https://www.cancer.g[...] 2022-07-05
[2] 논문 Teachers as co-authors of student writing: How teachers' initiating texts influence response and revision in an online space https://www.scienced[...] 2019-06-01
[3] 웹사이트 The Scientific Revolution: Correspondence Networks http://www.clas.ufl.[...] University of Florida 2016-08-21
[4] 논문 Epistle Dedicatory
[5] 서적 Henry Oldenburg: shaping the Royal Society Oxford University Press
[6] 웹사이트 The History of Peer Review Is More Interesting Than You Think https://daily.jstor.[...] 2024-07-29
[7] 논문 Monument to peer review unveiled in Moscow https://www.nature.c[...] 2017-05-26
[8] 논문 The evaluation of scholarship in academic promotion and tenure processes: Past, present, and future 2018
[9] 논문 The history of the peer-review process
[10] 논문 Clinical peer review: burnishing a tarnished image http://www.annals.or[...]
[11] 논문 Dental Examinations for Quality Control: Peer Review versus Self-Assessment
[12] 웹사이트 AICPA Peer Review Program Manual http://www.aicpa.org[...] American Institute of CPAs 2012-09-04
[13] 웹사이트 Peer Review http://www.legalserv[...] UK Legal Services Commission 2007-07-12
[14] 웹사이트 Martindale-Hubbell Attorney Reviews and Ratings https://www.martinda[...] Martindale 2020-01-27
[15] 웹사이트 Peer Review Panels – Purpose and Process http://www.fs.fed.us[...] USDA Forest Service 2010-10-04
[16] 논문 Student Peer Review in the Classroom: A Teaching and Grading Tool https://www.agronomy[...] 2012-09-04
[17] 논문 Peer Review in the Classroom http://chans-net.org[...] 2012-09-04
[18] 논문 Review by Peers https://www.safetyan[...] 2020-08-06
[19] 논문 A Systematic Approach to Clinical Peer Review in a Critical Access Hospital 2016-10
[20] 웹사이트 Medschool.ucsf.edu http://medschool.ucs[...]
[21] 논문 Documenting the scholarship of clinical teaching through peer review 1998-11
[22] 논문 Second-order peer review of the medical literature for clinical practitioners
[23] 서적 Physician's Guide to Medical Staff Organization Bylaws http://www.ama-assn.[...] American Medical Association 2010
[24] 웹사이트 Medical Peer Review http://www.ama-assn.[...]
[25] 웹사이트 Peer review: What is it and why do we do it? https://www.medicaln[...] 2020-08-06
[26] 서적 NASA Systems Engineering Handbook https://ntrs.nasa.go[...] NASA 2019-07-19
[27] 웹사이트 Mutual Learning Programme – Employment, Social Affairs & Inclusion http://ec.europa.eu/[...]
[28] 웹사이트 Peer Review in Social Protection and Social Inclusion and Assessment in Social Inclusion http://www.peer-revi[...] 2021-09-30
[29] 웹사이트 What is Scientific Peer Review? https://ceparev.berk[...] 2017-03-30
[30] 논문 A Study of the Practices and Responsibilities of Scholarly Peer Review in Rhetoric and Composition
[31] 논문 Collaborative learning through formative peer review: pedagogy, programs and potential http://www.tandfonli[...] 2021-08-18
[32] 논문 "What Can You Possibly Know About My Experience?": Toward a Practice of Self-Reflection and Multicultural Competence https://thepeerrevie[...] 2017-Fall
[33] 논문 Teaching peer review and the process of scientific writing https://journals.phy[...] 2021-08-18
[34] 논문 Peer review as a strategy for improving students' writing process 2016-11-01
[35] 논문 What role for collaboration in writing and writing feedback
[36] 웹사이트 Benefits of Peer Review https://www.southwes[...] 2021-08-19
[37] 간행물 Growing a peer review culture among graduate students 2009
[38] 학술지 Affective Language in Student Peer Reviews: Exploring Data from Three Institutional Contexts 2018
[39] 웹사이트 What Are the Disadvantages of Student Peer Review? {{!}} Synonym https://classroom.sy[...] 2021-08-20
[40] 서적 Developing Writers in Higher Education: A Longitudinal Study University of Michigan Press 2019
[41] 웹사이트 Conducting Peer Review – Writers Workshop https://writersworks[...] 2021-08-20
[42] 학술지 Contemporary Peer Review: Construct Modeling, Measurement Foundations, and the Future of Digital Learning https://wac.colostat[...] 2018
[43] 학술지 The peer seminar, a spoken research process genre
[44] 학술지 Whither 'Peer Review'?: Terminology Matters for the Writing Classroom 2008-05-01
[45] 간행물 'A Good Development Thing': A Longitudinal Analysis of Peer Review and Authority in Undergraduate Writing University of Michigan Press 2019
[46] 학술지 Thinking about Feeling: The Roles of Emotion in Reflective Writing 2023-02
[47] 웹사이트 Writing centers go to class: Peer review (of our) workshops https://wac.colostat[...]
[48] 학술지 The Impact of Peer Review on Writing Development in French as a Foreign Language https://scholarsarch[...] 2016-01-01
[49] 학술지 Resisting the Deficit Model: Embedding Writing Center Tutors during Peer Review in Writing-Intensive Courses https://scholarsarch[...] 2023-04-15
[50] 학술지 Online Peer Review Using Turnitin PeerMark https://scholarsarch[...] 2018-01-01
[51] 뉴스 【焦点】福井大教授「査読偽装」か メールで質問事前共有「圧力で従わざるを得ず」／用語解説「査読」 https://mainichi.jp/[...] 毎日新聞 2022-06-11
[52] 서적 新英和大辞典 연구사
[53] 서적 広辞苑 岩波書店
[54] 웹사이트 Getting published in Nature: the editorial process, Nature http://www.nature.co[...]
[55] 웹사이트 Manuscript selection http://www.sciencema[...]
[56] 웹사이트 PNAS Submission Guidelines http://www.pnas.org/[...]
[57] 웹사이트 ACM Transactions on Architecture and Code Optimization誌の査読の解説 http://taco.acm.org/[...]
[58] 학술지 Peer review—reject, accept, or major revision? http://www.thelancet[...] The Lancet Neurology 2003-09
[59] 문서 通常2-3名程度で論文誌ごとに人数はほぼ決まっている。
[60] 문서 例えば、研究上の競争相手(competitor)など。
[61] 웹사이트 Reviewer Guide, ACM Transactions on Architecture and Code Optimization http://taco.acm.org/[...]
[62] 웹사이트 Software and Systems Modeling, Guidelines for Editors http://www.sosym.org[...]
[63] 웹사이트 IEEE Computer Society, Peer Review for Journals http://www.computer.[...]
[64] 웹사이트 New England Journal of Medicine, Publication Process http://www.nejm.org/[...]
[65] 웹사이트 Applied Physics Express http://www.jsap.or.j[...]
[66] 웹사이트 Science Express http://www.sciencema[...]
[67] 웹사이트 日本物理学会誌投稿規定 http://www.jps.or.jp[...]
[68] 웹사이트 Editorial Policy, Journal of the Physical Society of Japan (JPSJ) http://jpsj.ipap.jp/[...]
[69] 웹사이트 The rise and fall of peer review https://experimental[...] 2023-02-16
[70] 서적 嘘と絶望の生命科学 文春新書 2014
[71] 논문 How genius can smooth the road to publication. null
[72] 웹인용 동료평가에 대한 새로운 접근법 https://www.enago.co[...] 2016-08-25
[73] 웹인용 크라우드 피어리뷰(Crowd Peer Review)는 전통적인 피어리뷰 방식의 대안이 될 수 있을까? https://www.enago.co[...] 2017-07-28


본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com