재현성 위기

3. 과학 분야별 현황

심리학은 여러 요인으로 인해 재현성 위기 논쟁의 중심에 섰으며, 의학, 경제학, 수자원 관리 등 다양한 과학 분야에서도 재현성 문제가 나타나고 있다.

• '''심리학:''' 사회 심리학 뿐만 아니라 임상 심리학, 발달 심리학, 교육 연구 등 심리학의 여러 분야에서 재현성 문제가 제기되고 있다.
• '''의학:''' 1990년부터 2003년까지 많이 인용된 의학 연구 중 상당수가 후속 연구에서 반박되거나 효과가 과장된 것으로 나타났다. 암 연구 분야에서도 재현성 문제가 심각한 수준이다.
• '''경제학:''' 주요 경제학 저널에 게재된 실험 연구 중 일부가 재현에 실패했으며, 동일한 데이터 세트를 사용한 연구 간에도 모순이 발견되었다.
• '''수자원 관리:''' 2017년에 발표된 관련 논문 중 극히 일부만이 재현 가능했으며, 이는 정보 부족이 주된 원인으로 지적되었다.
• '''기타:''' 영양학에서 식품과 암의 연관성에 대한 연구, 인공지능에서 기계 학습의 예측 정확도 및 주성분 분석의 재현성에 대한 내용도 포함된다.

3. 1. 심리학

3. 2. 의학

2009년에는 과학자의 2%가 적어도 한 번은 (자신이) 《연구 조작》(＝과학 부정 행위의 일종)을 저질렀으며, 과학자의 14%는 그러한 조작을 저지른 사람을 개인적으로 알고 있다고 인정했다. "(실험) 처리의 오류"는 (다른 분야에 비해) 의학 연구자 쪽이 더 빈번하게 보고하고 있다.^[238]

3. 3. 경제학

3. 4. 수자원 관리

• '''사전 등록, 데이터, 프로그래밍 코드의 오픈 소스 공개'''는 재현성 위기에 대한 효과적인 대책으로 여겨지며, 실행 가능한 비교 횟수가 밝혀지지 않는 한, 문제의 근원 중 하나인 p값의 유의성을 설명해서는 안 된다.^[298][299]
• 기계 학습 논문에서 사용되는 데이터 세트에 대한 보고^[300]의 엄격성과 투명성을 높임으로써, 거의 확실하게 개선할 수 있다. 이를 위해, 논문 검색 엔진 Consensus는 엄격성과 투명성 지수를 갖추고 있으며, 그 자체가 기계 학습과 자연어 처리의 산물이다.^[301][302]

3. 5. 기타 분야

2009년에는 과학자의 2%가 적어도 한 번은 연구 조작(＝과학 부정 행위의 일종)을 저질렀으며, 과학자의 14%는 그러한 조작을 저지른 사람을 개인적으로 알고 있다고 인정했다. "처리 오류"는 (다른 분야에 비해) 의학 연구자 쪽이 더 빈번하게 보고되고 있다.^[238]

인공지능 분야의 기계 학습 예측 정확도는 과대 평가될 수 있으며,^[272] 기계 학습이 부적절하게 수행될 경우 재현성 및 정보 유출 문제가 발생할 수 있다.^{[273][274][275]} 또한, 룬드 대학교 연구자에 따르면 주성분 분석은 기계 학습에서 재현성이 없을 수 있으므로 사용할 때 특별한 주의가 필요하다.^[276]

4. 원인

심리학은 여러 요인으로 인해 논쟁의 중심에 서게 되었다.^[58][59] 사회적 점화와 자아 고갈^[60]과 같이 한때 확실하다고 여겨졌던 심리학의 일부 분야는 재현 실패로 인해 더욱 면밀한 조사를 받게 되었다.^[61] 주된 관심은 사회 심리학에 집중되었지만,^[62] 임상 심리학,^[63][64][65] 발달 심리학,^[66][67][68] 및 교육 연구와 같은 다른 심리학 분야도 연루되었다.^{[69][70][71][72][73]}

2015년 8월, 심리학 분야의 재현성에 대한 최초의 공개적인 경험적 연구가 재현성 프로젝트: 심리학이라는 이름으로 발표되었다. 브라이언 노섹이 조정하여, 연구자들은 세 개의 유력한 심리학 저널(''성격 및 사회 심리학 저널'', ''실험 심리학 저널: 학습, 기억 및 인지'', ''심리 과학'')에서 심리학 분야의 100개의 연구를 다시 수행했다. 원래 연구의 97개는 유의미한 결과를 보였지만, 그 중 재현 연구에서 유의미한 결과(''p'' 값 0.05 미만)를 얻은 것은 36%에 불과했다.^[11] 재현 연구의 평균 효과 크기는 원래 연구에서 보고된 효과의 약 절반 수준이었다. 같은 논문에서는 저널과 학문에 따른 재현율과 효과 크기를 조사했다. 연구 재현율은 ''성격 및 사회 심리학 저널''의 경우 23%, ''실험 심리학 저널: 학습, 기억 및 인지''의 경우 48%, ''심리 과학''의 경우 38%였다. 인지 심리학 분야의 연구는 사회 심리학 분야의 연구보다 높은 재현율(50%)을 보였다.^[74]

2018년 ''네이처 인간 행동''에 발표된 한 연구는 ''네이처''와 ''사이언스''에서 발표된 21개의 사회 및 행동 과학 논문을 재현하여, 약 62%만이 원래 결과를 성공적으로 재현할 수 있음을 발견했다.^[76][77] 개방 과학 센터의 후원하에 진행된 또 다른 연구에서는 6개 대륙, 36개 국적의 60개 연구소, 186명의 연구팀이 심리학의 28개 고전 및 현대 발견을 재현했는데, 50%가 재현에 실패했다.^[78][79]

2022년 연구 결과에 따르면, 많은 초기 뇌–표현형 연구("뇌 전체 연관 연구"(BWAS))가 작은 효과 크기로 인해 수천 명의 개인 표본이 필요하므로, 유효하지 않은 결론을 도출했다는 것을 시사한다.^[80][81]

이러한 재현성 위기는 다양한 원인에 의해 발생한다.

• 연구 관행 문제: 실험 재현 실패는 심리학뿐만 아니라 과학의 모든 영역에서 발견되지만,^[244] 심리학, 특히 사회 심리학 분야는 의심스러운 연구 관행(QRPs)과 연구 부정 스캔들로 인해 더 큰 주목을 받았다.^[250]
• 통계적 문제점: 낮은 통계적 검정력, 효과 크기 편향, p-해킹, 다중 비교 문제, 통계적 이질성 등이 재현성 위기를 야기하는 주요 통계적 문제점으로 지적된다.
• 출판 시스템의 문제: "게시하거나 망하는 절박함"을 초래하는 출판 시스템, 그리고 이에 따르는 좋은 과학적 관행을 따르지 못하게 함으로써 재현성 위기가 촉발될 수 있다.
• 기타 원인: 맥락 민감성, 베이지안 설명, 귀무 가설 검정의 문제점, 기저율 오류 등도 재현성 위기의 원인으로 제기된다.

• 새로운 데이터의 생성/전례 없는 속도로의 출판
• 거의 장기적으로는 칭찬받을 수 없을 발견의 증거 강요
• 원인: 좋은 과학적 관행의 정착 실패와, 출판 아니면 죽음(publish or perish)이라는 절망
• 이는 많은 요소와 많은 이해 관계자가 존재하는 문제이다.
• 한 집단이 단독으로 책임을 져야 하는 것도 아니고, 하나의 답으로 충분하지도 않을 것이다.

4. 1. 출판 시스템의 문제점

4. 2. 통계적 문제점

'''유의 수준''' (α)은 귀무 가설이 참일 때 대립 가설이 참이라고 결론 내릴 확률이다.

:$$(\backslash text\{유의\; 수준\})\; :=\; \backslash alpha\; :=\; Pr(\backslash text\{find\; \}\; H\_1\; |\; H\_0)$$

'''통계적 검정력'''(1-β)은 대립 가설이 참일 때 대립 가설이 참이라고 결론 내릴 확률이다.

:$$(\backslash text\{검정력\})\; :=\; 1-\backslash beta\; :=\; Pr(\backslash text\{find\; \}\; H\_1\; |\; H\_1)$$

'''p-값'''은 귀무 가설 하에서 검정 통계량이 관찰된 값 이상으로 극단적일 확률이다.

:$$p[D]\; =\; Pr\_\{D\text{'}\backslash sim\; H\_0\}(t[D\text{'}]\; >\; t[D])$$

귀무 가설이 참이면 p-값은 [0, 1]에서 균등하게 분포된다. p-값을 계산하고 이면 $H\_1$을 출력하여 유의 수준 $\backslash alpha$에서 통계적 검정을 구성할 수 있다.
낮은 통계적 검정력연구가 재현에 실패하는 이유 중 하나는 낮은 통계적 검정력 때문이다.^[14] 낮은 검정력은 다음과 같은 세 가지 문제를 야기한다.

• 재현 연구 자체가 참된 효과를 탐지할 확률이 낮아진다.
• 원래 연구의 낮은 검정력은 편향된 효과 크기 추정치를 유발한다.
• 원래 연구의 낮은 검정력은 통계적으로 유의미한 결과가 참된 효과를 반영할 확률을 낮춘다.

4. 3. 연구 관행 문제

• 데이터 긁어내기^{[125][126][38]}(data dredging^영어): p''-해킹'' 또는 p''-피싱''이라고도 하며, 다양한 기술을 통해 데이터가 부적절한 가설에 대한 지원을 찾는 데이터 오용이다.^[127]
• 선택적 보고^{[124][125][126][38]}(selective reporting^영어): ''부분적 출판''이라고도 한다. 보고는 사용되거나 악용된 모든 연구자 자유도를 공개할 기회이다. 선택적 보고는 일부 독립 및 종속 변수, 누락된 데이터, 데이터 제외 및 이상치 제외와 같은 관련 세부 정보 또는 선택 사항을 보고하지 않는 것이다.^[125]
• HARKing^{[125][126][38]}(HARKing^영어): 결과가 알려진 후 가설 설정. ''사후 이야기''라고도 하며, 탐색적 분석이 확인적 분석으로 간주될 때 발생한다. 연구가 완료된 후 가설을 변경하여 새로운 가설이 실험 결과에 의해 확인될 수 있도록 하는 것이다.^[125]

QRP는 데이터 위조와 같은 과학적 무결성에 대한 보다 명백한 위반을 포함하지 않는다.^[124][125] 디에데릭 스테이플,^[129][13] 마크 하우저, 로렌스 산나의 과학적 사기와 같은 사기 연구가 발생하지만, 드문 경우로 보인다.^[13]

인디애나 대학교(IU)의 어니스트 오보일 교수와 심리학자 마틴 괴츠에 따르면, 다양한 연구에서 설문조사를 받은 연구자의 약 50%가 HARKing을 했다고 인정했다.^[130] 행동 과학자 레슬리 K. 존과 동료들이 심리학자 2,000명을 대상으로 한 설문조사에서 약 94%의 심리학자가 적어도 하나의 QRP를 사용했다고 인정했다. 구체적으로, 63%는 연구의 모든 종속 변수를 보고하지 않았다고 인정했고, 28%는 연구의 모든 조건을 보고하지 않았으며, 46%는 원하는 결과 패턴을 생성한 연구만 선택적으로 보고했다고 인정했다. 또한, 56%는 이미 수집된 데이터를 검토한 후 더 많은 데이터를 수집했다고 인정했으며, 16%는 원하는 결과가 이미 나타났기 때문에 데이터 수집을 중단했다고 인정했다.^[38] 생명공학 연구원 J. 레슬리 글릭은 1992년에 연구 개발 연구의 10%에서 20%가 QRP 또는 명백한 사기를 포함한다고 추정했다.^[131] QRP를 추정하는 데 사용된 방법론은 논란의 대상이 되었으며, 최근 연구에서는 평균적으로 더 낮은 유병률을 시사했다.^[132]

2009년의 메타 분석에 따르면, 여러 분야의 과학자 중 2%가 최소 한 번 연구를 조작했다고 인정했으며, 14%는 그렇게 한 사람을 알고 있다고 인정했다. 한 연구에 따르면, 이러한 부정행위는 다른 분야보다 의학 연구자들에 의해 더 자주 보고되었다.^[133]

4. 4. 기타 원인

• 맥락 민감성: 특정 심리적 효과는 맥락에 민감하며, 재현 실패는 원래 실험과 재현 간의 맥락적 차이, 즉 "숨겨진 조절 변인"으로 설명될 수 있다.^[154] 오픈 사이언스 협업의 재현성 프로젝트 데이터를 재분석한 결과, 맥락 민감성이 높을수록 효과를 재현할 확률이 낮았다.^[11] 맥락 민감성은 다른 요인들을 조정한 후에도 재현 성공과 유의미한 상관관계를 보였다.^[154]

• 베이지안 설명: 베이즈 정리에 따르면, 유의 수준 5%에서 귀무 가설을 기각하는 것이 대립 가설의 사후 확률이 95%임을 의미하지 않으며, 사후 확률은 재현 확률과도 다르다.^[155][147] 재현 확률은 검정력과 대립 가설의 사전 확률에 따라 증가하며, 대립 가설의 사전 확률이 작다면 재현을 위해서는 높은 검정력이 필요하다.

• 귀무 가설 검정의 문제점: 특히 사회 심리학과 같은 "소프트 사이언스" 분야에서 귀무 가설 검정이 부적절하다는 주장이 제기된다.^[156][200] 복잡한 시스템에서는 "귀무 가설은 항상 거짓"이거나 "모든 것은 상관관계가 있다"는 관찰이 있으며,^[157] 귀무 가설이 기각되지 않더라도 이는 귀무 가설이 참임을 보여주는 것이 아니라 낮은 검정력으로 인한 위음성일 수 있다.^[158] 또한, 귀무 가설이 기각될 때, 이는 실질적인 대립 가설에 대한 증거가 아닐 수 있다.

• 기저율 오류: 알렉산더 버드는 특정 과학 분야에서 재현성이 낮은 이유 중 하나는 검증된 가설의 대다수가 ''사전적(a priori)''으로 거짓이기 때문이라고 주장한다.^[162] 이 관점에서 낮은 재현성은 양질의 과학과 일치할 수 있다.

5. 영향 및 대응

심리학은 여러 요인으로 인해 논쟁의 중심에 섰다.^[58][59] 사회적 점화, 자아 고갈^[60] 등 한때 확실하다고 여겨졌던 심리학의 일부 분야는 재현 실패로 인해 더욱 면밀한 조사를 받게 되었다.^[61] 주된 관심은 사회 심리학에 집중되었지만,^[62] 임상 심리학,^[63][64][65] 발달 심리학,^[66][67][68] 교육 연구 등 다른 심리학 분야도 연루되었다.^{[69][70][71][72][73]}

2015년 8월, 브라이언 노섹이 조정하고 재현성 프로젝트: 심리학라는 이름으로 심리학 분야 재현성에 대한 최초의 공개적인 경험적 연구가 발표되었다. 연구자들은 세 개의 유력한 심리학 저널에서 100개의 연구를 다시 수행했다. 원래 연구의 97개는 유의미한 결과를 보였지만, 재현 연구에서 유의미한 결과를 얻은 것은 36%에 불과했다.^[11] 재현 연구의 평균 효과 크기는 원래 연구의 약 절반 수준이었다. ''성격 및 사회 심리학 저널''의 재현율은 23%, ''실험 심리학 저널: 학습, 기억 및 인지''는 48%, ''심리 과학''은 38%였다. 인지 심리학(50%)이 사회 심리학(25%)보다 높은 재현율을 보였다.^[74] 재현되지 않은 64% 중 25%만이 원래 결과를 반증했고, 나머지 49%는 결론을 내릴 수 없었다. 이는 많은 재현 연구가 원래 연구보다 2.5배 작은 표본으로 진행되어 통계적 검증력이 부족했기 때문이다.^[75]

2018년 ''네이처 인간 행동'' 연구는 ''네이처''와 ''사이언스''에 발표된 21개의 사회 및 행동 과학 논문을 재현하여, 약 62%만이 원래 결과를 성공적으로 재현할 수 있음을 발견했다.^[76][77] 개방 과학 센터 후원으로 6개 대륙 36개 국적 60개 연구소 186명 연구팀이 심리학의 28개 발견을 재현한 연구에서는, 50%가 대규모 표본에도 불구하고 재현에 실패했다. 그러나 재현되는 발견은 대부분 표본에서 재현되었고, 재현되지 않는 발견은 표본과 맥락에 거의 변화 없이 실패했다. 이는 심리학 재현 실패가 표본 변화 때문이라는 설명을 반박한다.^[79] 2022년 연구는 많은 초기 뇌–표현형 연구("뇌 전체 연관 연구"(BWAS))가 작은 효과 크기로 인해 수천 명의 표본이 필요하므로 유효하지 않은 결론을 도출했음을 시사한다.^[80][81]

1990년부터 2003년까지 1,000회 이상 인용된 49건의 의학 연구 중 92%가 치료법이 효과적이라고 결론지었다. 이 중 16%는 후속 연구에서 반박되었고, 16%는 효과가 더 강력했으며, 44%는 재현되었고, 24%는 대체로 이의가 제기되지 않았다.^[82] 2011년 바이엘(Bayer) 연구원들은 내부 연구 결과의 최대 1/4만이 원래 결과를 재현했다고 분석했다.^[83] 그러나 재현된 결과는 임상 적용에 성공하는 경우가 많았다.^[84] 2012년 C. 글렌 베글리와 리 엘리스는 53건의 전임상 암 연구 중 11%만이 재현성을 보였다고 밝혔다.^[85] 2021년 말, The Reproducibility Project: Cancer Biology는 2010-2012년 출판된 53개 주요 암 관련 논문 검토 결과, 충분한 정보를 제공한 연구 중 효과 크기가 평균적으로 원래 결과보다 85% 작았다고 밝혔다.^[86][87] 암 연구자 대상 설문조사에서는 절반이 출판된 결과를 재현할 수 없었다.^[88] 또 다른 보고서는 거의 절반의 무작위 대조 시험에 결함 있는 데이터가 포함되어 있다고 추정했다.^[89]

2016년 ''네이처'' 설문조사(1,576명 연구자 대상)에 따르면, 70% 이상이 다른 과학자 실험 재현에 실패했고, 절반 이상이 자신의 실험 재현에 실패했다. 그러나 20% 미만이 자신의 연구 재현 불가 연락을 받았다. 31% 미만이 재현 실패가 원 결과 오류를 의미한다고 생각했고, 52%는 상당한 위기가 존재한다고 동의했다. 대부분은 여전히 출판된 문헌을 신뢰했다.^[5][97] 2010년 Fanelli는 정신과/심리학 연구의 91.5%가 찾던 효과를 확인했으며, 이는 천문학, 지구과학보다 약 5배 높다고 결론 내렸다. 그는 "더 연성적인" 과학 분야 연구자들이 의식적, 무의식적 편향에 제약이 적기 때문이라고 주장했다. 결과 블라인드 동료 심사 초기 분석에 따르면, 생물의학 및 심리학 분야 결과 블라인드 연구의 61%가 무효 결과로 이어졌으며, 이는 이전 추정치 5~20%와 대조적이다.^[99] 2021년 캘리포니아 대학교 샌디에이고 연구는 재현 불가능한 논문이 더 많이 인용될 가능성이 높고, 재현 연구 발표 후에도 종종 더 많이 인용됨을 보여준다.^[100][101]

낮은 재현성의 주요 원인은 통계적으로 유의미하지 않은 결과와 독창성이 없는 재현 연구가 거의 출판되지 않는 출판 편향이다. 심리학 및 신경과학 학술 저널 중 재현 연구 투고를 명시적으로 환영하는 곳은 극히 일부이다.^[111][112]

글렌 베글리와 존 이오아니디스는 2015년 논문에서 현재 과학의 어려움을 요약하는 5가지 요점을 제시했다.^[277]

• 새로운 데이터의 생성과 전례 없는 속도의 출판
• 장기적으로 칭찬받기 어려운 발견에 대한 증거 강요
• 좋은 과학적 관행 정착 실패와 '출판 아니면 죽음'이라는 절망적인 상황
• 다양한 요소와 이해 관계자가 존재하는 문제
• 한 집단만의 책임이 아니며, 하나의 해결책으로 충분하지 않음

• 학술 출판 개선:
• 사전 등록 보고서 사용:^[286][287] 연구 프로토콜 사전 등록, 결과 상관없이 출판 보장으로 출판 편향 감소.
• 결과 블라인드 동료 심사 채택: 연구 결과 아닌 방법론 엄격성 기준으로 논문 심사, 출판 편향 감소.
• 데이터, 프로토콜, 코드 공개: 연구 투명성, 재현성 용이.
• 연구 방법론 교육 강화: 재현성 위기 중요성 인식, 재현 연구 수행 교육.
• 연구 방법론 개선:
• 실험 설계, 통계 분석 보고 개선: 명확한 보고로 재현성 향상.
• 표본 크기 확대: 통계적 검정력, 효과 크기 추정 정확성 향상.
• 통계적 방법론 개선:
• p-값 임계값 조정: ''p'' < 0.005로 낮춰 위양성률 감소.
• 베이즈 통계 활용: p-값 대체, 불확실성 명확 표현.
• 교차 검증: 과적합 문제 해결, 모델 일반화 가능성 향상.
• 재현 연구 활성화:
• 재현 연구 장려: 학술지, 연구 지원 기관 장려 및 지원.
• 재현 연구 데이터베이스 구축: 체계적 추적, 연구 중복 방지, 결과 공유.
• 원저자 참여 유도: 연구 방법 정확성 향상.
• 과학적 접근 방식 변화:
• 삼각 측량 강조: 다양한 연구 방법으로 결과 교차 검증, 인위적 결과 가능성 감소.
• 반증 과도 의존 지양: 다양한 과학적 추론 방식 고려, 단일 접근 맹신 경계.
• 복잡계 모델 고려: 정신적 변수 상호작용 고려, 선형 모델 한계 극복.

5. 1. 사회적 영향

• 새로운 데이터의 생성과 전례 없는 속도의 출판
• 장기적으로 칭찬받기 어려운 발견에 대한 증거 강요
• 좋은 과학적 관행 정착 실패와 '출판 아니면 죽음(publish or perish)'이라는 절망적인 상황
• 다양한 요소와 이해 관계자가 존재하는 문제
• 한 집단만의 책임이 아니며, 하나의 해결책으로 충분하지 않음

5. 2. 학계의 대응

5. 3. 연구 방법론 개선

5. 4. 통계적 방법론 개선

• p-값 임계값 조정: 새로운 발견에 대한 통계적 유의성 기준을 ''p'' < 0.05에서 ''p'' < 0.005로 변경하자는 제안이 있다.^[188] 이는 오탐률(false positive rate)을 줄일 수 있지만, 모든 문제를 해결하지 못하고 새로운 문제를 야기할 수 있다는 비판도 있다.^[189]
• 베이즈 통계 활용: 베이즈 통계를 사용하여 p-값을 대체하자는 주장이 있다.^[191][192] 하지만 베이즈 통계는 복잡하고, 사전 분포(prior distribution) 설정에 대한 불확실성 때문에 널리 사용되지 않는다.
• 표본 크기 확대: 원 연구보다 더 큰 표본 크기를 사용하는 것이 재현성 향상에 필요하다.^[196] 발표된 연구의 효과 크기 추정치가 과장되는 경향이 있기 때문이다.^{[197][198][199]}
• 교차 검증: 과적합 문제를 해결하기 위해 교차 검증을 사용할 수 있다.^[202]

5. 5. 재현 연구 활성화

5. 6. 과학적 접근 방식 변화

6. 한국적 함의 및 과제

재현성 위기는 한국 사회에 여러 가지 중요한 시사점을 던져준다. 한국 과학계는 "출판 아니면 죽음"이라는 압박과 연구비 수주 경쟁 심화와 같은 구조적인 문제에 직면해 있으며^[102], 이는 연구 윤리와 진실성을 저해하고 재현성 위기를 심화시키는 요인으로 작용한다.

니클라스 루만의 시스템 이론에 따르면, 과학, 경제, 미디어 등 각 시스템은 고유한 코드로 소통하지만, 과학의 미디어화^[109], 상업화^[106], 정치화^[109][110]는 시스템 간 구조적 결합을 일으켜 원래 코드의 혼란을 초래한다.^[107][108] 계량 과학의 아버지 데릭 데 솔라 프라이스는 과학의 기하급수적인 성장이 "노쇠"를 초래할 수 있다고 예측했고^[103], 필립 미로스키는 과학적 품질 저하가 상업화와 관련 있다고 주장했다.^[106]

이는 한국 과학계에도 시사하는 바가 크며, 연구 윤리 및 진실성 확보, 연구 시스템 개선, 건강한 과학 문화 조성을 위한 노력이 필요하다. 또한, 재현성 위기는 한국 사회의 투명성, 공정성, 신뢰 문제와도 밀접하게 관련되어 있다. 특히 사회과학 분야 연구 결과의 재현성 문제는 정책 결정 과정에서 과학적 근거의 중요성을 약화시킬 수 있으므로, 과학계뿐만 아니라 한국 사회 전반의 노력이 필요하다.

재현성 위기 해결을 위해서는 연구 윤리 강화, 연구 방법론 개선, 개방형 과학 확산, 메타 분석 개선 등 다양한 노력이 필요하다. 특히, 심리학 분야에서는 의심스러운 연구 관행 (QRPs)에 대한 문제 인식이 높아지면서, 이를 개선하기 위한 다양한 방안이 모색되고 있다.^{[245][246][247][248]} 다니엘 카너먼과 같은 저명한 학자들은 재현성 노력을 위해 원저자가 직접 참여해야 한다고 주장한다.^[265]

6. 1. 한국 과학계의 현실과 과제

• 새로운 데이터의 생성 및 전례 없는 속도의 출판
• 장기적으로 칭찬받을 수 없는 발견의 증거 강요
• 원인: 좋은 과학적 관행 정착 실패와, 출판 아니면 죽음(publish or perish)이라는 절망
• 다양한 요소와 이해 관계자가 존재하는 문제
• 한 집단이 단독으로 책임을 져야 하는 것도 아니고, 하나의 답으로 충분하지도 않음

6. 2. 한국 사회에 대한 시사점

6. 3. 해결 방안 모색

참조

_[1] 논문 Why most published research findings are false 2005-08
_[2] 서적 Scientific Method Routledge 2017-12-08
_[3] 간행물 The Truth Wears Off https://www.newyorke[...] 2020-01-30
_[4] 간행물 The Crisis in Social Psychology That Isn't https://www.newyorke[...] 2020-01-30
_[5] News Feature 1,500 scientists lift the lid on reproducibility Springer Nature 2016-05
_[6] 논문 Is the Replicability Crisis Overblown? Three Arguments Examined 2012-11
_[7] 웹사이트 Reproducibility of Scientific Results https://plato.stanfo[...] Metaphysics Research Lab, Stanford University 2019-05-19
_[8] 논문 The replication crisis has led to positive structural, procedural, and community changes 2023-07-25
_[9] 논문 Most published research findings are false-but a little replication goes a long way 2007-02
_[10] 논문 The Value of Direct Replication 2014-01
_[11] 논문 PSYCHOLOGY. Estimating the reproducibility of psychological science https://repository.u[...] 2015-08
_[12] 논문 Shall we Really do it Again? The Powerful Concept of Replication is Neglected in the Social Sciences SAGE Publications
_[13] 논문 Psychology, Science, and Knowledge Construction: Broadening Perspectives from the Replication Crisis Annual Reviews 2018-01
_[14] 논문 What meta-analyses reveal about the replicability of psychological research 2018-12
_[15] 웹사이트 Why Psychologists' Food Fight Matters http://www.slate.com[...] 2014-07-31
_[16] 웹사이트 Science Isn't Broken https://fivethirtyei[...] 2020-01-30
_[17] 웹사이트 Psychology Is Starting To Deal With Its Replication Problem https://fivethirtyei[...] 2020-01-30
_[18] 뉴스 Psychology's replication drive: it's not about you https://www.theguard[...] 2014-05-28
_[19] 논문 An Agenda for Purely Confirmatory Research 2012-11
_[20] 논문 Why Science Is Not Necessarily Self-Correcting 2012-11
_[21] 논문 Is the Replicability Crisis Overblown? Three Arguments Examined 2012-11
_[22] 논문 Theory-Testing in Psychology and Physics: A Methodological Paradox https://www.jstor.or[...] 1967
_[23] 논문 On effect size 2012-06
_[24] 논문 p-Curve and Effect Size: Correcting for Publication Bias Using Only Significant Results 2014-11
_[25] 논문 P-curve: a key to the file-drawer 2014-04
_[26] 논문 Philosophy of science and the replicability crisis 2019-11
_[27] 논문 Automaticity of social behavior: direct effects of trait construct and stereotype-activation on action 1996-08
_[28] 논문 Behavioral priming: it's all in the mind, but whose mind? 2012-01-18
_[29] 웹사이트 A failed replication draws a scathing personal attack from a psychology professor https://www.national[...] 2023-07-04
_[30] 논문 Priming of social distance? Failure to replicate effects on social and food judgments 2012-08-29
_[31] 논문 Two failures to replicate high-performance-goal priming effects 2013-08-16
_[32] 논문 Priming intelligent behavior: an elusive phenomenon 2013-04-24
_[33] 논문 Investigating Variation in Replicability 2014-05
_[34] 논문 Feeling the future: experimental evidence for anomalous retroactive influences on cognition and affect 2011-03
_[35] 논문 Why psychologists must change the way they analyze their data: the case of psi: comment on Bem (2011) 2011-03
_[36] 논문 Correcting the past: failures to replicate ψ 2012-12
_[37] 논문 Why most discovered true associations are inflated 2008-09
_[38] 논문 Measuring the prevalence of questionable research practices with incentives for truth telling 2012-05
_[39] 논문 False-positive psychology: undisclosed flexibility in data collection and analysis allows presenting anything as significant 2011-11
_[40] 논문 "Editors' Introduction to the Special Section on Replicability in Psychological Science: A Crisis of Confidence?" 2012-11
_[41] 논문 A modest proposal for encouraging replication. http://doi.apa.org/g[...] 1969-04
_[42] 논문 Replication studies: A neglected aspect of psychological research. http://doi.apa.org/g[...] 1970-10
_[43] 논문 Reviewer bias against replication research https://www.proquest[...] 1993
_[44] 논문 Editorial bias against replication research https://www.proquest[...] 1990
_[45] 간행물 They Studied Dishonesty. Was Their Work a Lie? https://www.newyorke[...] 2023-10-01
_[46] 웹사이트 The Band of Debunkers Busting Bad Scientists https://www.wsj.com/[...] 2023-10-08
_[47] 웹사이트 APA PsycNet https://psycnet.apa.[...] 2023-10-08
_[48] 논문 A Short (Personal) Future History of Revolution 2.0 2015-11
_[49] 논문 An editorial. http://doi.apa.org/g[...] 1976-01
_[50] 논문 Publication Decisions and Their Possible Effects on Inferences Drawn from Tests of Significance--Or Vice Versa https://www.jstor.or[...] 1959
_[51] 논문 Data torturing 1993-10
_[52] 논문 The file drawer problem and tolerance for null results. http://doi.apa.org/g[...] 1979-05
_[53] 논문 The statistical power of abnormal-social psychological research: a review 1962-09
_[54] 논문 Do studies of statistical power have an effect on the power of studies? http://doi.apa.org/g[...] 1989-03
_[55] 웹사이트 What has happened down here is the winds have changed https://statmodeling[...] 2016-09-21
_[56] 논문 Nobel laureate challenges psychologists to clean up their act https://www.nature.c[...] 2012-10-03
_[57] 논문 On the persistence of low power in psychological science 2014-05
_[58] 뉴스 No, science's reproducibility problem is not limited to psychology https://www.washingt[...] 2015-09-10
_[59] 논문 The replication crisis in psychology: An overview for theoretical and philosophical psychology. http://doi.apa.org/g[...] 2019
_[60] 논문 A Multilab Preregistered Replication of the Ego-Depletion Effect 2016-07
_[61] 간행물 Power of Suggestion http://chronicle.com[...] 2013-01-30
_[62] 뉴스 When the Revolution Came for Amy Cuddy https://www.nytimes.[...] 2017-10-19
_[63] 논문 A critical review of the first 10 years of candidate gene-by-environment interaction research in psychiatry 2011-10
_[64] 논문 Biases in research: risk factors for non-replicability in psychotherapy and pharmacotherapy research https://discovery.uc[...] 2017-04
_[65] 논문 Raising Awareness for the Replication Crisis in Clinical Psychology by Focusing on Inconsistencies in Psychotherapy Research: How Much Can We Rely on Published Findings from Efficacy Trials? Frontiers Media 2018-02-28
_[66] 논문 A Collaborative Approach to Infant Research: Promoting Reproducibility, Best Practices, and Theory-Building 2017-03-09
_[67] 서적 The Nurture Assumption: Why Children Turn Out the Way They Do Free Press
_[68] 서적 No Two Alike: Human Nature and Human Individuality W. W. Norton & Company
_[69] 논문 Failure to Replicate https://www.insidehi[...] 2018-12-19
_[70] 논문 Facts Are More Important Than Novelty: Replication in the Education Sciences https://journals.sag[...] 2018-12-19
_[71] 논문 Why Minimal Guidance During Instruction Does Not Work: An Analysis of the Failure of Constructivist, Discovery, Problem-Based, Experiential, and Inquiry-Based Teaching https://www.research[...] Routledge
_[72] 보고서 Foundations for Success: The Final Report of the National Mathematics Advisory Panel https://www2.ed.gov/[...] United States Department of Education 2020-11-03
_[73] 논문 Learning Styles: Concepts and Evidence SAGE Publications 2008-12
_[74] 웹사이트 Summary of reproducibility rates and effect sizes for original and replication studies overall and by journal/discipline https://mfr.osf.io/r[...] Reproducibility Project: Psychology 2018
_[75] 논문 Psychology's Renaissance 2018-01
_[76] 잡지 The Science Behind Social Science Gets Shaken Up—Again https://www.wired.co[...] 2018-08-27
_[77] 논문 Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015 https://resolver.cal[...] 2018-09
_[78] 논문 Many Labs 2: Investigating Variation in Replicability Across Samples and Settings 2018
_[79] 잡지 Is the glass half empty or half full? Latest results in the replication crisis in Psychology https://forbiddenpsy[...] 2019
_[80] 뉴스 Brain-Imaging Studies Hampered by Small Data Sets, Study Finds https://www.nytimes.[...] 2022-03-16
_[81] 논문 Reproducible brain-wide association studies require thousands of individuals 2022-03
_[82] 논문 Contradicted and initially stronger effects in highly cited clinical research 2005-07
_[83] 논문 Believe it or not: how much can we rely on published data on potential drug targets? 2011-08
_[84] 뉴스 Big Pharma Reveals a Biomedical Replication Crisis https://psmag.com/ne[...] 2020-01-30
_[85] Comment article Drug development: Raise standards for preclinical cancer research 2012-03
_[86] 뉴스 Dozens of major cancer studies can't be replicated https://www.sciencen[...] 2022-01-19
_[87] 웹사이트 Reproducibility Project: Cancer Biology https://www.cos.io/r[...] Center for Open Science 2022-01-19
_[88] 논문 A survey on data reproducibility in cancer research provides insights into our limited ability to translate findings from the laboratory to the clinic
_[89] 논문 Medicine is plagued by untrustworthy clinical trials. How many studies are faked or flawed? 2023-07
_[90] 논문 Is everything we eat associated with cancer? A systematic cookbook review https://pubmed.ncbi.[...] 2013-01
_[91] 논문 What Is Meant by "Replication" and Why Does It Encounter Resistance in Economics? https://www.aeaweb.o[...] 2017-05
_[92] 논문 Evaluating replicability of laboratory experiments in economics 2016-03
_[93] 논문 About 40% of economics experiments fail replication survey https://www.science.[...] 2017-10-25
_[94] 논문 Now you see it, now you don't: emerging contrary results in economics 1997-12-01
_[95] 논문 Is there a credibility crisis in strategic management research? Evidence on the reproducibility of study findings 2017-04-06
_[96] 논문 Assessing data availability and research reproducibility in hydrology and water resources 2019-02
_[97] 웹사이트 Is There a Reproducibility Crisis in Science? https://www.scientif[...] 2019-08-15
_[98] 논문 "Positive" results increase down the Hierarchy of the Sciences 2010-04
_[99] 논문 Open science challenges, benefits and tips in early career and beyond Public Library of Science 2019-05
_[100] 웹사이트 A New Replication Crisis: Research that is Less Likely to be True is Cited More https://rady.ucsd.ed[...] University of California, San Diego 2021-05-21
_[101] 논문 Nonreplicable publications are cited more than replicable ones 2021-05
_[102] 논문 Reproducibility in science: improving the standard for basic and preclinical research 2015-01
_[103] 서적 Little science big science https://archive.org/[...] Columbia University Press
_[104] 논문 Overflow in science and its implications for trust 2015-09
_[105] 논문 Attention decay in science
_[106] 서적 Science-Mart Harvard University Press
_[107] 서적 Luhmann explained: from souls to systems Open Court
_[108] 서적 Social systems Stanford University Press
_[109] 간행물 Science communication as political communication 2014-09
_[110] 서적 The honest broker : making sense of science in policy and politics Cambridge University Press
_[111] 간행물 Are Psychology Journals Anti-replication? A Snapshot of Editorial Practices 2017
_[112] 간행물 Do Neuroscience Journals Accept Replications? A Survey of Literature 2017
_[113] 간행물 An empirical comparison of published replication research in accounting, economics, finance, management, and marketing 1996-02-01
_[114] APA Dictionary of Psychology Confirmation bias 2022-02-02
_[115] 뉴스 When the Revolution Came for Amy Cuddy https://www.nytimes.[...] 2017-10-18
_[116] 간행물 Incongruence between test statistics and P values in medical papers 2004-05
_[117] 간행물 Erroneous analyses of interactions in neuroscience: a problem of significance 2011-08
_[118] 간행물 Do pressures to publish increase scientists' bias? An empirical support from US States Data 2010-04
_[119] 간행물 Scientific Utopia: II. Restructuring Incentives and Practices to Promote Truth Over Publishability 2012-11
_[120] 간행물 A tragedy of the (academic) commons: interpreting the replication crisis in psychology as a social dilemma for early-career researchers 2015-01-01
_[121] 간행물 Methodological reporting behavior, sample sizes, and statistical power in studies of event-related potentials: Barriers to reproducibility and replicability https://psyarxiv.com[...] 2019-11
_[122] 간행물 Fearing the Future of Empirical Psychology: Bem's (2011) Evidence of Psi as a Case Study of Deficiencies in Modal Research Practice http://journals.sage[...] 2011-12
_[123] 간행물 The natural selection of bad science 2016-09
_[124] 웹사이트 Research misconduct – The grey area of Questionable Research Practices http://www.vib.be/en[...] Vlaams Instituut voor Biotechnologie 2013-09-30
_[125] 간행물 Degrees of Freedom in Planning, Running, Analyzing, and Reporting Psychological Studies: A Checklist to Avoid ''p''-Hacking 2016
_[126] Opinion The Nine Circles of Scientific Hell 2012-11
_[127] APA Dictionary of Psychology Data dredging 2022-01-09
_[128] Comment article Six red flags for suspect work 2013-05
_[129] 뉴스 Fraud Scandal Fuels Debate Over Practices of Social Psychology http://chronicle.com[...] 2011-11-13
_[130] 서적 Research Integrity: Best Practices for the Social and Behavioral Sciences Oxford University Press
_[131] 간행물 Scientific data audit—A key management tool 1992
_[132] 간행물 Questionable Research Practices Revisited 2015-10-19
_[133] 간행물 How many scientists fabricate and falsify research? A systematic review and meta-analysis of survey data 2009-05
_[134] 간행물 Power failure: why small sample size undermines the reliability of neuroscience 2013-05
_[135] 간행물 Power failure: why small sample size undermines the reliability of neuroscience 2013-05
_[136] 간행물 The Power of Bias in Economics Research 2017-10-01
_[137] 간행물 Candidate and non-candidate genes in behavior genetics 2013-02
_[138] 간행물 Low statistical power in biomedical science: a review of three human research domains 2017-02
_[139] 간행물 Evaluating historical candidate genes for schizophrenia 2015-05
_[140] Citation Decline Effects: Types, Mechanisms, and Personal Reflections https://onlinelibrar[...] Wiley 2017-02-21
_[141] 논문 Measurement error and the replication crisis 2017-02
_[142] 논문 A Vast Graveyard of Undead Theories: Publication Bias and Psychological Science's Aversion to the Null 2012-11
_[143] 간행물 The garden of forking paths: Why multiple comparisons can be a problem, even when there is no “fishing expedition” or “p-hacking” and the research hypothesis was posited ahead of time. http://www.stat.colu[...] Department of Statistics, Columbia University 2013
_[144] 논문 The extent and consequences of p-hacking in science 2015-03
_[145] 논문 Does rejection hurt? An FMRI study of social exclusion 2003-10
_[146] 논문 Puzzlingly High Correlations in fMRI Studies of Emotion, Personality, and Social Cognition https://escholarship[...] 2009-05
_[147] 논문 A practical solution to the pervasive problems of p values 2007-10
_[148] 논문 Degrees of Freedom in Planning, Running, Analyzing, and Reporting Psychological Studies: A Checklist to Avoid ''p''-Hacking 2016-11-25
_[149] 논문 Quantifying heterogeneity in a meta-analysis 2002-06
_[150] 논문 The fragility of results and bias in empirical research: an exploratory exposition 2019-10-02
_[151] 서적 Empirical Modeling in Economics: Specification and Evaluation https://books.google[...] Cambridge University Press 1999
_[152] 논문 Resolving empirical controversies with mechanistic evidence 2021-12-01
_[153] 논문 The experiment in applied econometrics https://onlinelibrar[...] 1997-09
_[154] 논문 Contextual sensitivity in scientific reproducibility 2016-06
_[155] 논문 Hypothesis testing and theory evaluation at the boundaries: surprising insights from Bayes's theorem 2003-07
_[156] 논문 The earth is round (p < .05). 1994-12
_[157] 웹사이트 Everything Is Correlated https://gwern.net/ev[...] 2023-04-30
_[158] 서적 Methodological issues & strategies in clinical research. American Psychological Association 2024-07-26
_[159] 서적 The restoration of dialogue: Readings in the philosophy of clinical psychology. American Psychological Association 1992
_[160] 서적 What social scientists don't understand University of Chicago Press 1986
_[161] 서적 Probability theory: the logic of science Cambridge University Press 2003
_[162] 논문 Understanding the Replication Crisis as a Base Rate Fallacy 2021-12-01
_[163] 논문 Publication bias and the canonization of false facts 2016-12
_[164] 뉴스 A new replication crisis: Research that is less likely to be true is cited more https://phys.org/new[...] Association for Psychological Science 2021-05-01
_[165] 논문 Nonreplicable publications are cited more than replicable ones 2021-05
_[166] 논문 Replications can cause distorted belief in scientific progress 2018-01
_[167] 논문 The "replication crisis" in the public eye: Germans' awareness and perceptions of the (ir)reproducibility of scientific research https://osf.io/ctpyn 2021-01
_[168] 웹사이트 Scientists are furious after a famous psychologist accused her peers of 'methodological terrorism' https://www.business[...] 2020-01-30
_[169] 뉴스 Draft of Observer Column Sparks Strong Social Media Response https://www.psycholo[...] Association for Psychological Science 2017-10-04
_[170] 논문 A Call to Change Science's Culture of Shaming https://www.psycholo[...] 2016-10-31
_[171] 뉴스 Inside Psychology's 'Methodological Terrorism' Debate http://nymag.com/sci[...] 2017-10-04
_[172] 논문 Implications of the Credibility Revolution for Productivity, Creativity, and Progress https://psyarxiv.com[...] 2018-07
_[173] 논문 The replication crisis has led to positive structural, procedural, and community changes 2023-07-25
_[174] 논문 The Alleged Crisis and the Illusion of Exact Replication https://research.rug[...] 2014-01
_[175] 웹사이트 Replication as Success and Unsuccessful Replication https://cla.umn.edu/[...] University of Minnesota 2022-05-25
_[176] 논문 The overlooked variable in animal studies: why diet makes a difference 2022-05
_[177] 논문 Why Most Clinical Research Is Not Useful 2016-06
_[178] 논문 Meta-research: Evaluation and Improvement of Research Methods and Practices 2015-10
_[179] 웹사이트 On communicating science and uncertainty: A podcast with John Ioannidis https://scopeblog.st[...] 2015-12-08
_[180] 논문 Statistical Analysis Must Improve to Address the Reproducibility Crisis: The ACcess to Transparent Statistics (ACTS) Call to Action 2020-01
_[181] 논문 Editorial Essay: The Tumult over Transparency: Decoupling Transparency from Replication in Establishing Trustworthy Qualitative Research 2019-11-06
_[182] 논문 From Traditional Research to Responsible Research: The Necessity of Scientific Freedom and Scientific Responsibility for Better Societies 2022-01-21
_[183] 웹사이트 Psychology's Replication Crisis Has Made The Field Better https://fivethirtyei[...] 2018-12-06
_[184] 간행물 The Cooperative Revolution Is Making Psychological Science Better https://www.psycholo[...] 2018-12
_[185] 웹사이트 Registered Replication Reports http://www.psycholog[...] Association for Psychological Science 2015-11-13
_[186] 뉴스 Psychology's 'registration revolution' https://www.theguard[...] 2014-05-20
_[187] 논문 Replication in Psychological Science 2015-12
_[188] 논문 Redefine statistical significance 2018-01
_[189] 논문 Justify your alpha https://pure.eur.nl/[...] 2018-03
_[190] 논문 The vicious cycle that stalls statistical revolution 2022
_[191] 논문 An investigation of the false discovery rate and the misinterpretation of p-values 2014-11
_[192] 논문 The reproducibility of research and the misinterpretation of ''p''-values 2017-12
_[193] 잡지 The problem with p-values https://aeon.co/essa[...] 2016-10-11
_[194] 웹사이트 Calculator for false positive risk (FPR) http://fpr-calc.ucl.[...] University College London
_[195] 논문 Why should clinicians care about Bayesian methods? 2001
_[196] 논문 Is psychology suffering from a replication crisis? What does "failure to replicate" really mean? 2015-09
_[197] 논문 Small studies are more heterogeneous than large ones: a meta-meta-analysis 2015-08
_[198] 논문 Power failure: why small sample size undermines the reliability of neuroscience 2013-05
_[199] 논문 Consequences of prejudice against the null hypothesis https://faculty.wash[...]
_[200] 논문 The earth is flat (''p'' > 0.05): significance thresholds and the crisis of unreplicable research 2017
_[201] 논문 Circular analysis in systems neuroscience: the dangers of double dipping 2009-05
_[202] 논문 Choosing Prediction Over Explanation in Psychology: Lessons From Machine Learning 2017-11
_[203] 간행물 NWO makes 3 million available for Replication Studies pilot http://www.nwo.nl/en[...] 2016-07
_[204] 뉴스 The Young Billionaire Behind the War on Bad Science https://www.wired.co[...] 2017-01-22
_[205] 논문 Teaching Replication 2012-11
_[206] 논문 Harnessing the Undiscovered Resource of Student Research Projects 2012-11
_[207] 논문 How to Use Replication Assignments for Teaching Integrity in Empirical Archaeology 2019-10-22
_[208] 논문 A tragedy of the (academic) commons: interpreting the replication crisis in psychology as a social dilemma for early-career researchers 2015-01-01
_[209] 논문 Replication and Extension of Alicke (1985) Better-Than-Average Effect for Desirable and Controllable Traits http://journals.sage[...] 2021-08
_[210] 논문 The replication crisis has led to positive structural, procedural, and community changes 2023-07-25
_[211] 서적 A student's guide to open science: using the replication crisis to reform psychology Open University Press 2023
_[212] 논문 Implicit Theory of Mind – An overview of current replications and non-replications 2018-02-01
_[213] 웹사이트 Curate Science https://curatescienc[...] 2024-09-19
_[214] 논문 A Unified Framework to Quantify the Credibility of Scientific Findings http://journals.sage[...] 2018-09
_[215] 논문 The Replication Database: Documenting the Replicability of Psychological Science 2024-09-11
_[216] World View article Replication studies for undergraduate theses to improve science and education 2021-09
_[217] 뉴스 "'Robot scientist' Eve finds that less than one-third of scientific results are reproducible" https://techxplore.c[...] 2022-04
_[218] 논문 Testing the reproducibility and robustness of the cancer biology literature by robot 2022-04
_[219] 뉴스 Physics envy: Do 'hard' sciences hold the solution to the replication crisis in psychology? https://www.theguard[...] 2014-06-10
_[220] Commentary A New Etiquette for Replication
_[221] 논문 Replications in Psychology Research: How Often Do They Really Occur? 2012-11
_[222] 논문 Scientific Utopia III: Crowdsourcing Science 2019-09
_[223] 논문 The Benefits, Barriers, and Risks of Big-Team Science https://psyarxiv.com[...] 2023-05
_[224] 논문 Robust research needs many lines of evidence 2018-01
_[225] 논문 Interaction-Dominant Causation in Mind and Brain, and Its Implication for Questions of Generalization and Replication 2018-06-01
_[226] 논문 Creative destruction in science 2020-11-01
_[227] 논문 A creative destruction approach to replication: Implicit work and sex morality across cultures 2021-03-01
_[228] 논문 Examining the generalizability of research findings from archival data 2022-07
_[229] 논문 The case for open computer programs 2012-02
_[230] 논문 The (ir)rational consideration of the cost of science in transition economies 2018-01
_[231] 논문 Reproducibility and Replication of Experimental Particle Physics Results 2020-12-21
_[232] Commentary Anticipating consequences of sharing raw data and code and of awarding badges for sharing 2016-02
_[233] 논문 Metascience could rescue the 'replication crisis' 2014
_[234] 웹사이트 The Crisis in Social Psychology That Isn’t http://www.newyorker[...] The New Yorker 2016-10-08
_[235] 웹사이트 The Truth Wears Off http://www.newyorker[...] The New Yorker 2016-10-08
_[236] 웹사이트 「社会科学」は崩壊した。米国の新たな指針は救いとなるか？ https://wired.jp/201[...] 2023-09-03
_[237] 논문 1,500 scientists lift the lid on reproducibility http://www.nature.co[...] 2016-05-26
_[238] 논문 How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data http://journals.plos[...] 2009-05-29
_[239] 논문 COntradicted and initially stronger effects in highly cited clinical research https://doi.org/10.1[...] 2005-07-13
_[240] 논문 Scientific data audit—A key management tool http://www.tandfonli[...] 1992-01-01
_[241] 문서 Begley, C. G., and Lee M. E., 2012, Drug Development: Raise Standards for Preclinical Cancer Research, Nature, 483, 531–533.
_[242] 문서 Begley, C.G., 2013, Reproducibility: Six red flags for suspect work, Nature, 497, 433–434.
_[243] 문서 Ioannidis JPA, 2016, Why Most Clinical Research Is Not Useful, PLoS Med 13(6): e1002049. doi:10.1371/journal.pmed.1002049.
_[244] 웹사이트 No, science’s reproducibility problem is not limited to psychology https://www.washingt[...] 2015-09-10
_[245] 논문 Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling http://pss.sagepub.c[...] 2012-05-01
_[246] 논문 The Nine Circles of Scientific Hell http://pps.sagepub.c[...] 2012-11-01
_[247] 웹사이트 Research misconduct - The grey area of Questionable Research Practices http://www.vib.be/en[...] 2015-11-13
_[248] 논문 Questionable Research Practices Revisited http://spp.sagepub.c[...] 2015-10-19
_[249] 논문 False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant http://pss.sagepub.c[...] Association for Psychological Science 2012-01-29
_[250] 웹사이트 Fraud Scandal Fuels Debate Over Practices of Social Psychology http://chronicle.com[...] 2016-10-08
_[251] 웹사이트 A New Etiquette for Replication http://www.scribd.co[...] 2016-10-08
_[252] 문서 http://www.psyconten[...]
_[253] 문서 Table of Contents（目次） http://pps.sagepub.c[...]
_[254] 논문 Estimating the reproducibility of Psychological Science
_[255] 웹사이트 Are meta analyses conducted by professional organizations more trustworthy? http://blogs.plos.or[...] 2016-09-13
_[256] 웹사이트 Why Psychologists' Food Fight Matters http://www.slate.com[...] 2016-10-08
_[257] 웹사이트 Psychology Is Starting To Deal With Its Replication Problem http://fivethirtyeig[...] 2016-10-08
_[258] 웹사이트 Science Isn’t Broken http://fivethirtyeig[...] 2016-10-08
_[259] 논문 Why Science Is Not Necessarily Self-Correcting http://pps.sagepub.c[...] 2012-11-01
_[260] 논문 Is the Replicability Crisis Overblown? Three Arguments Examined http://pps.sagepub.c[...] 2012-11-01
_[261] 웹사이트 Psychology’s replication drive: it’s not about you http://www.theguardi[...] 2016-10-08
_[262] 논문 An Agenda for Purely Confirmatory Research http://pps.sagepub.c[...] 2012-11-01
_[263] 웹사이트 Power of Suggestion http://chronicle.com[...] 2016-10-08
_[264] 뉴스 Study reveals that a lot of psychology research really is just 'psycho-babble' http://www.independe[...] 2015-08-27
_[265] 웹사이트 Physics envy: Do ‘hard’ sciences hold the solution to the replication crisis in psychology? http://www.theguardi[...] 2016-10-08
_[266] 논문 Replications in Psychology Research How Often Do They Really Occur? http://pps.sagepub.c[...] 2012-11-01
_[267] 논문 Estimating the reproducibility of psychological http://www.sciencema[...] 2015-08-28
_[268] 문서 Earp and Trafimow 2015
_[269] 논문 A tragedy of the (academic) commons: interpreting the replication crisis in psychology as a social dilemma for early-career researchers http://journal.front[...] 2015-01-01
_[270] 웹사이트 Resolving the replication crisis in social psychology? A new proposal http://www.spsp.org/[...] 2015-11-18
_[271] 논문 Algorithmic bias in social research: A meta-analysis https://journals.plo[...] 2020-06-08
_[272] 논문 The need to approximate the use-case in clinical machine learning https://academic.oup[...] 2017-05-01
_[273] 논문 Leakage and the Reproducibility Crisis in ML-based Science https://arxiv.org/ab[...] 2022
_[274] 웹사이트 How to avoid machine learning pitfalls: a guide for academic researchers https://arxiv.org/pd[...] 2023-12-01
_[275] 웹사이트 Is AI Driving a Scientific Reproducibility Crisis? https://www.deeplear[...] 2023-12-01
_[276] 웹사이트 Principal Component Analysis Can Negatively Impact Science https://www.deeplear[...] 2023-12-01
_[277] 논문 Reproducibility in Science: Improving the Standard for Basic and Preclinical Research
_[278] 서적 Little science big science Columbia University Press
_[279] 논문 Overflow in science and its implications for trust
_[280] 논문 Attention decay in science
_[281] 서적 Science-Mart: Privatizing American Science Harvard University Press
_[282] 간행물 The Rightful Place of Science: Science on the Verge The Consortium for Science, Policy and Outcomes at Arizona State University.
_[283] 간행물 A new community for science https://www.newscien[...] 2016-06-25
_[284] 논문 Most Published Research Findings Are False—But a Little Replication Goes a Long Way https://doi.org/10.1[...] 2007-02-27
_[285] 논문 The Value of Direct Replication http://pps.sagepub.c[...] 2014-01-01
_[286] 웹사이트 Registered Replication Reports - Association for Psychological Science http://www.psycholog[...] 2015-11-13
_[287] 웹사이트 Psychology’s ‘registration revolution’ {{!}} Chris Chambers http://www.theguardi[...] 2015-11-13
_[288] 논문 Teaching Replication http://pps.sagepub.c[...] 2012-11-01
_[289] 논문 Harnessing the Undiscovered Resource of Student Research Projects http://pps.sagepub.c[...] 2012-11-01
_[290] 논문 Is psychology suffering from a replication crisis? What does "failure to replicate" really mean? http://doi.apa.org/g[...]
_[291] 논문 Small studies are more heterogeneous than large ones: a meta-meta-analysis http://linkinghub.el[...]
_[292] 논문 Power failure: why small sample size undermines the reliability of neuroscience http://www.nature.co[...] 2013-05-01
_[293] 논문 Consequences of prejudice against the null hypothesis. http://content.apa.o[...]
_[294] 논문 Anticipating consequences of sharing raw data and code and of awarding badges for sharing http://linkinghub.el[...]
_[295] 논문 Replication in Psychological Science http://pss.sagepub.c[...] 2015-11-09
_[296] 웹사이트 NWO makes 3 million available for Replication Studies pilot http://www.nwo.nl/en[...] 2016-08-02
_[297] 웹사이트 Big names in statistics want to shake up much-maligned P value https://www.nature.c[...] 2019-03-14
_[298] 논문 Is there a reproducibility crisis around here? Maybe not, but we still need to change. https://jov.arvojour[...] 2019-09-06
_[299] 논문 An empirical assessment of transparency and reproducibility-related research practices in the social sciences (2014–2017) https://royalsociety[...] 2020-02
_[300] 논문 Reproducibility of studies on text mining for citation screening in systematic reviews: Evaluation and checklist https://linkinghub.e[...] 2017-09
_[301] 웹사이트 Search - Consensus: AI Search Engine for Research https://consensus.ap[...] 2023-12-01
_[302] 논문 The Rigor and Transparency Index Quality Metric for Assessing Biological and Medical Science Methods https://www.scienced[...] 2020-11-20
_[303] 논문 Reproducibility in Science Improving the Standard for Basic and Preclinical Research http://circres.ahajo[...] 2015-01-02
_[304] 논문 Metascience could rescue the 'replication crisis'
_[305] 웹인용 Why 'Statistical Significance' Is Often Insignificant https://www.bloomber[...] 2017-11-07
_[306] 논문 1,500 scientists lift the lid on reproducibility https://www.nature.c[...] Springer Nature 2021-05-21
_[307] 웹인용 The Truth Wears Off https://www.newyorke[...] 2020-01-30
_[308] 웹인용 The Crisis in Social Psychology That Isn't https://www.newyorke[...] 2020-01-30
_[309] 논문 1,500 scientists lift the lid on reproducibility https://www.nature.c[...] Springer Nature 2021-05-21
_[310] 웹인용 Is There a Reproducibility Crisis in Science? https://www.scientif[...] 2019-08-15
_[311] 논문 How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data 2009-05-29
_[312] 논문 What meta-analyses reveal about the replicability of psychological research. https://www.semantic[...] 2018