재현성

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.

1. 개요
2. 역사
- 2.1. 초기 재현성 논쟁
3. 용어
4. 재현성 및 반복성 측정
5. 재현 가능한 연구
- 5.1. 재현 가능한 연구 방법
- 5.2. 실제 적용의 어려움
6. 주목할 만한 재현 불가능한 결과들
7. 재현성의 예
참조

1. 개요

재현성은 과학적 연구 결과의 신뢰성을 평가하는 중요한 요소로, 동일한 실험 조건에서 유사한 결과를 얻을 수 있는 정도를 의미한다. 17세기 로버트 보일은 재현성을 통해 과학적 사실의 신뢰성을 확보해야 한다고 주장했으며, 칼 포퍼와 로널드 피셔 등은 재현성의 중요성을 강조했다. 재현성은 재현 가능성, 반복성 등의 개념과 관련되며, 실험 방법과 데이터의 투명한 공개를 통해 확보될 수 있다. 심리학, 경제학, 의학 등 다양한 분야에서 재현성 위기가 나타나고 있으며, 데이터 공유 부족, 분석 맥락 미공개 등이 문제점으로 지적된다. 노구치 히데요의 매독균 배양, 저온 핵융합 등 재현에 실패한 사례들이 존재하며, 과학적 주장의 신뢰성을 확보하기 위해 재현성 확보 노력이 중요하다.

2. 역사

과학에서 재현성의 중요성을 처음 강조한 인물은 17세기 영국에서 활동한 영국-아일랜드 화학자 로버트 보일이다. 실험 방법의 선구자인 보일은 실험을 반복 수행하여 사실의 확실성을 드러낼 수 있고, 이러한 재현성을 통해 과학 공동체가 실험적으로 생성된 사실을 신뢰할 수 있다고 주장했다.

과학철학자 칼 포퍼는 ''과학적 발견의 논리''에서 "재현할 수 없는 단일 사건은 과학적으로 중요하지 않다"고 언급했다.^[3] 통계학자 로널드 피셔는 ''실험계획법''에서 "실험을 수행하여 거의 실패하지 않고 통계적으로 유의미한 결과를 얻을 수 있는 방법을 알고 있을 때 현상은 실험적으로 증명 가능하다고 할 수 있다"고 썼다.^[4] 이러한 주장은 재현성이 과학적 사실을 확립하기 위한 필요조건이며, 실제로는 어떤 지식 분야에서든 과학적 권위를 확립하기 위한 필요조건이라는 현대 과학의 일반적인 교리를 나타낸다.

2. 1. 초기 재현성 논쟁

로버트 보일(Robert Boyle^영어)은 과학에서 재현성의 중요성을 처음으로 강조한 17세기 영국-아일랜드 화학자였다. 진공을 생성하고 연구하기 위해 보일이 고안한 공기 펌프는 특정 과학적 현상의 재현성에 대한 최초의 기록된 논쟁 중 하나로 이어졌다. 1660년대에 네덜란드 과학자 크리스티안 호이겐스(Christiaan Huygens^영어)는 암스테르담에서 보일과 그의 조수 로버트 훅(Robert Hooke^영어)의 직접적인 관리 없이 자신의 공기 펌프를 제작했다. 호이겐스는 물이 공기 펌프 안의 유리 용기에서 공중에 떠 있는 것처럼 보이는 "비정상적인 부유" 현상을 보고했다. 그러나 보일과 훅은 자신의 펌프에서 이 현상을 재현할 수 없었다.^[2]

보일의 공기 펌프는 17세기 기준으로 복잡하고 값비싼 과학 장비였기에 결과의 재현성을 확보하기 어려웠다.

스티븐 샤핀(Steven Shapin^영어)과 사이먼 샤퍼(Simon Schaffer^영어)는 이 현상을 영국에서 두 대의 펌프 중 한 대를 사용하여 재현할 수 없다면, 영국의 누구도 호이겐스가 주장한 내용이나 그의 펌프 작동 능력을 받아들이지 않을 것이 분명했다고 설명한다. 호이겐스는 1663년 영국에 초청되었고, 그의 지도하에 훅은 물의 비정상적인 부유를 재현할 수 있었다. 이후 호이겐스는 왕립 학회의 외국인 회원으로 선출되었다. 그러나 샤핀과 샤퍼는 "재현의 달성은 우연적인 판단 행위에 달려 있었다. 재현이 달성되었는지 아닌지를 말하는 공식을 적어낼 수는 없다"라고 지적한다.^[2]

3. 용어

재현성(Reproducibility)은 계산적 관점에서 원래 연구의 데이터와 동일한 절차를 통해 동일한 결과를 얻는 것을 의미한다. 재현 가능성(Replicability)은 새로운 데이터를 사용하여 원래 연구와 동일한 결과를 얻으려는 시도로, 독립적인 연구팀에 의해 수행된다. 반복성(Repeatability)은 동일한 연구팀이 동일한 실험을 반복하여 일관된 결과를 얻는 것을 의미한다.

실험적 또는 관찰적 연구의 재현성과 관련하여 두 가지 주요 단계가 있다. 새로운 데이터를 얻어 재현성을 달성하려고 시도할 때, "재현 가능성"(replicability)이라는 용어가 사용되며, 새로운 연구는 원래 연구의 "재현"(replication) 또는 "복제"(replicate)가 된다. 원래 연구의 데이터 세트를 동일한 절차로 다시 분석할 때 동일한 결과를 얻는 경우, "재현성"(reproducibility)이라는 용어를 사용한다. "반복성"(repeatability)은 동일한 연구자들에 의한 동일한 연구 내에서 실험의 "반복"(repetition)과 관련이 있다. 원래의 넓은 의미에서의 재현성은 '''독립적인 연구팀'''이 수행한 재현이 성공적인 경우에만 인정된다.

하지만 재현성과 재현 가능성이라는 용어는 서로 다른 연구 분야에서 다르게 정의되기도 하여 과학 문헌에서 때때로 반대되는 의미로 사용되기도 한다.^[5]^[6]

서로 다른 실험에서 얻은 값이, 유사한 재현성 있는 실험의 설명과 절차에 따라 얻어졌을 때 “상응하는(commensurate^[42])”이라고 한다.^[43] 특정 실험 값이 서로 다른 장소, 서로 다른 사람에 의해 복제된 표본에서 측정된 값 또는 관측값과 높은 일치도를 보일 때, 즉 실험값이 높은 정확도를 가진다고 판단될 때 “재현성이 있다”고 말한다.^[44] 둘 다 재현성의 중요한 특징이다.

과학 실험에 국한하면 재현성은 「실험을 반복했을 때 일관된 결과가 얻어지는 정도^[45]」로 여겨진다.

4. 재현성 및 반복성 측정

화학 분야에서는 재현성(reproducibility)과 반복성(repeatability)이라는 용어를 특정한 정량적 의미로 사용한다.^[7] 여러 실험실 간의 실험에서, 화학 물질의 농도 또는 다른 양을 여러 실험실에서 반복적으로 측정하여 측정값의 변동성을 평가한다. 동일한 실험실 내에서 얻은 두 값의 차이의 표준 편차를 반복성이라고 하며, 서로 다른 실험실에서 얻은 두 측정값의 차이의 표준 편차를 재현성이라고 한다.^[8]

이러한 측정값은 계측학(metrology)에서 더 일반적인 개념인 분산 성분과 관련이 있다. 서로 다른 실험에서 얻은 값이, 유사한 재현성 있는 실험의 설명과 절차에 따라 얻어졌을 때 “상응하는(commensurate^[42])”이라고 한다.^[43] 특정 실험 값이 서로 다른 장소, 서로 다른 사람에 의해 복제된 표본에서 측정된 값 또는 관측값과 높은 일치도를 보일 때, 즉 실험값이 높은 정확도를 가진다고 판단될 때 “재현성이 있다”고 말한다.^[44]

5. 재현 가능한 연구

재현 가능한 연구는 과학적 결과와 추론 과정을 투명하게 문서화하는 것을 목표로 한다. 데이터, 방법, 코드의 공개는 개방 과학의 필수적인 부분이다.

과학에서 재현성의 중요성을 처음으로 강조한 사람은 17세기 영국에서 활동한 영국-아일랜드 화학자 로버트 보일이었다. 보일의 공기 펌프는 당시 매우 논란이 되었던 진공을 생성하고 연구하기 위해 고안되었다. 르네 데카르트와 토마스 홉스와 같은 저명한 철학자들은 진공의 존재 가능성 자체를 부정했다. 과학사학자 스티븐 샤핀과 사이먼 샤퍼는 1985년 저서 ''레비아탄과 공기 펌프''에서 보일과 홉스 사이의 논쟁을, 표면적으로는 진공의 본질에 대한 논쟁이지만 근본적으로는 유용한 지식을 얻는 방법에 대한 논쟁으로 묘사한다. 실험 방법의 선구자인 보일은 지식의 기초는 실험적으로 생성된 사실로 구성되어야 하며, 이러한 사실은 재현성을 통해 과학 공동체에 신뢰할 수 있게 만들어질 수 있다고 주장했다.

17세기에 복잡하고 값비싼 장비였던 공기 펌프는 특정 과학적 현상의 재현성에 대한 최초의 기록된 논쟁 중 하나로 이어지기도 했다. 1660년대에 네덜란드 과학자 크리스티안 호이겐스는 암스테르담에서 보일과 그의 당시 조수인 로버트 훅의 직접적인 관리 없이 최초로 자신의 공기 펌프를 제작했다. 호이겐스는 "비정상적인 부유"라고 명명한 효과를 보고했는데, 이는 물이 그의 공기 펌프 안의 유리 용기에서 공중에 떠 있는 것처럼 보이는 현상(실제로는 기포 위에 떠 있음)이었다. 그러나 보일과 훅은 자신의 펌프에서 이 현상을 재현할 수 없었다. 샤핀과 샤퍼의 설명에 따르면, "이 현상을 영국에서 두 대의 펌프 중 한 대를 사용하여 재현할 수 없다면, 영국의 아무도 호이겐스가 주장한 내용이나 그의 펌프 작동 능력을 받아들이지 않을 것이 분명해졌다." 호이겐스는 마침내 1663년 영국에 초청되었고, 그의 지도하에 훅은 물의 비정상적인 부유를 재현할 수 있었다. 이후 호이겐스는 왕립 학회의 외국인 회원으로 선출되었다. 그러나 샤핀과 샤퍼는 "재현의 달성은 우연적인 판단 행위에 달려 있었다. 재현이 달성되었는지 아닌지를 말하는 공식을 적어낼 수는 없다"라고 지적한다.^[2]

과학철학자 칼 포퍼는 그의 1934년 저서 ''과학적 발견의 논리''에서 "재현할 수 없는 단일 사건은 과학적으로 중요하지 않다"고 간략하게 언급했다.^[3] 통계학자 로널드 피셔는 현대 과학의 가설 검정과 통계적 유의성의 실천 기반을 마련한 1935년 저서 ''실험계획법''에서 "실험을 수행하여 거의 실패하지 않고 통계적으로 유의미한 결과를 얻을 수 있는 방법을 알고 있을 때 현상은 실험적으로 증명 가능하다고 할 수 있다"고 썼다.^[4] 이러한 주장은 재현성이 과학적 사실을 확립하기 위한 필요조건이며, 어떤 지식 분야에서든 과학적 권위를 확립하기 위한 필요조건이라는 현대 과학의 일반적인 교리를 나타낸다.

5. 1. 재현 가능한 연구 방법

어떤 연구 프로젝트라도 계산적으로 재현 가능하게 만들기 위해서는 일반적으로 모든 데이터와 파일을 명확하게 분리하고, 라벨을 지정하고, 문서화해야 한다. 모든 작업은 가능한 한 완전히 문서화하고 자동화하여 수동 개입을 최소화해야 한다. 작업 흐름은 더 작은 단계들의 순서로 설계되어야 하며, 한 단계의 중간 출력이 다음 단계의 입력으로 직접 전달되도록 결합되어야 한다. 버전 관리를 사용하면 프로젝트의 이력을 쉽게 검토하고 변경 사항을 투명하게 문서화하고 추적할 수 있다.

재현 가능한 연구를 위한 기본적인 작업 흐름에는 데이터 수집, 데이터 처리 및 데이터 분석이 포함된다. 데이터 수집은 주로 설문 조사, 현장 관찰, 실험 연구와 같은 주요 출처에서 기본 데이터를 얻거나 기존 출처에서 데이터를 얻는 것으로 구성된다. 데이터 처리는 첫 번째 단계에서 수집된 원시 데이터를 처리하고 검토하는 것을 포함하며, 데이터 입력, 데이터 조작 및 필터링을 포함하고 소프트웨어를 사용하여 수행될 수 있다. 데이터는 디지털화되어 데이터 분석을 위해 준비되어야 한다. 데이터는 통계 또는 데이터를 해석하거나 시각화하여 그림과 표를 포함한 정량적 결과와 같은 연구의 원하는 결과를 생성하기 위해 소프트웨어를 사용하여 분석할 수 있다. 소프트웨어와 자동화의 사용은 연구 방법의 재현성을 향상시킨다.^[16]

이러한 문서화를 용이하게 하는 시스템으로는 R 마크다운 언어^[17] 또는 주피터 노트북^[18]^[19]^[20] 등이 있다. 개방 과학 프레임워크는 재현 가능한 연구를 지원하기 위한 플랫폼과 유용한 도구를 제공한다.

5. 2. 실제 적용의 어려움

심리학 분야에서는 재현 불가능한 결과에 대한 내부적인 우려가 제기되고 있다. 2006년 연구에 따르면 미국 심리학회(APA)의 실증 논문 141편 저자 중 73%가 6개월 동안 데이터를 제공하지 않았다.^[21] 2015년 후속 연구에서는 APA 저널 논문 저자 394명 중 62%가 요청에 따라 데이터를 공유하지 않았다.^[22] 연구 결과와 함께 데이터를 공개해야 한다는 제안과^[23] 분석 맥락 전체를 공개해야 한다는 제안도 있었다.^[24]

경제학 분야에서는 발표된 연구의 신뢰성과 신빙성에 대한 우려가 제기되었다. 다른 과학 분야와 달리 경제 과학에서는 재현성이 가장 중요한 우선순위로 여겨지지 않는다. 대부분의 동료 심사 경제학 저널은 발표된 결과가 재현 가능하도록 실질적인 조치를 취하지 않지만, 최고 경제학 저널들은 의무적인 데이터 및 코드 보관소 도입을 추진하고 있다.^[25] 연구자들이 데이터를 공유하도록 유도하는 인센티브가 부족하거나 없으며, 저자는 재사용 가능한 형태로 데이터를 편집하는 비용을 부담해야 한다. 데이터셋과 프로그램 코드에 대한 충분한 공개 정책을 갖춘 저널은 일부에 불과하며, 저자들이 이를 준수하지 않거나 출판사가 이를 시행하지 않는 경우가 많아 경제 연구는 종종 재현되지 않는다. 37개의 동료 심사 저널에 게재된 599편의 논문에 대한 연구에서 일부 저널은 상당한 준수율을 달성했지만 상당수는 부분적으로만 준수하거나 전혀 준수하지 않았다. 논문 수준에서 평균 준수율은 47.5%였고, 저널 수준에서는 13%에서 99%까지 다양했으며 평균 38%였다.^[26]

PLOS ONE^영어 저널에 2018년 발표된 연구에 따르면, 공중 보건 통계 연구자 표본 중 14.4%가 데이터 또는 코드 또는 둘 다를 공유했다.^[27]

수년 동안 의학 문헌의 보고 및 재현성을 개선하기 위한 노력이 있어 왔으며, 이는 현재 EQUATOR Network의 일부인 CONSORT 이니셔티브로 시작되었다. 이 단체는 최근 연구 낭비, 특히 생의학 연구의 낭비를 줄이는 방법에 대한 관심을 두고 있다.^[28]

약리학에서 신약 발견은 1상 발견 후 2상 재현이 뒤따라야 한다. 최근 수십 년 동안 2상 성공률은 28%에서 18%로 감소했다. 2011년 연구에 따르면 의학 연구의 65%가 재검사 시 일관성이 없었고, 6%만이 완전히 재현 가능했다.^[29]

6. 주목할 만한 재현 불가능한 결과들

노구치 히데요는 매독의 원인균을 정확히 밝혀 유명해졌지만, 자신의 실험실에서 이 균을 배양할 수 있다고 주장했다. 하지만 다른 어떤 사람도 이후의 결과를 재현하지 못했다.^[30]
1989년 3월, 유타대학교의 화학자 스탠리 폰스와 마틴 플레이슈만은 핵 반응으로만 설명 가능한 과잉 열 발생을 보고했다(저온 핵융합^영어). 이 보고서는 장비의 단순함을 고려할 때 놀라운 것이었다. 그것은 본질적으로 중수와 팔라듐 음극이 포함된 전기 분해 셀이었고, 전기 분해 과정에서 생성된 중수소를 빠르게 흡수했다. 언론은 이 실험을 광범위하게 보도했고, 전 세계 많은 신문의 1면 기사가 되었다(언론 발표식 과학). 그 후 몇 달 동안 다른 연구자들이 이 실험을 재현하려고 시도했지만 실패했다.^[31]
니콜라 테슬라는 1899년 초에 고주파 전류를 사용하여 약 40.23km 이상 떨어진 곳에서 가스로 채워진 램프를 전선 없이 밝혔다고 주장했다. 1904년 그는 롱 아일랜드에 워든클리프 타워를 건설하여 전선을 연결하지 않고 전력을 송수신하는 방법을 시연했다. 이 시설은 완전히 가동된 적이 없었고 경제적 문제로 인해 완공되지 않았으므로 그의 첫 번째 결과를 재현하려는 시도는 결코 이루어지지 않았다.^[32]

반대 증거가 원래 주장을 반박한 다른 예는 다음과 같다.

N선, 가설적인 방사선의 일종으로 후에 환상으로 밝혀짐
폴리워터, 가설적인 물의 중합체 형태로 후에 일반적인 오염 물질이 섞인 물로 밝혀짐
자극 유발 다능성 획득, 사기로 밝혀짐
GFAJ-1, 인 대신 비소를 DNA에 통합할 수 있다고 주장된 박테리아(비소 생화학)
MMR 백신 논란 - ''랜싯''에 실린 MMR 백신이 자폐증을 유발한다는 연구는 사기로 밝혀짐
Schön 사건 - 반도체 "획기적 발견"이 사기로 밝혀짐
파워 포징 - 매우 인기 있는 TED 강연의 주제가 된 후 바이러스처럼 퍼졌지만, 수십 건의 연구에서 재현할 수 없었던 사회심리학 현상^[33]

7. 재현성의 예

서로 다른 실험에서 얻은 값이 유사한 재현성 있는 실험의 설명과 절차에 따라 얻어졌을 때 "상응하는(commensurate)"이라고 한다.^[42]^[43] 특정 실험 값이 서로 다른 장소, 서로 다른 사람에 의해 복제된 표본에서 측정된 값 또는 관측값과 높은 일치도를 보일 때, 즉 실험값이 높은 정확도를 가진다고 판단될 때 "재현성이 있다"고 말한다.^[44]

재현성은 과학 실험에 국한하면 "실험을 반복했을 때 일관된 결과가 얻어지는 정도"^[45]로 여겨진다. 예를 들어 어떤 과학 저널 N에 과학자 P가 발표한 어떤 과학 논문에 "대상 X를 x그램 및 Y를 y그램 준비하여(C라는 조건이나 방법을 사용하여) a라는 온도까지 가열하는 실험을 했더니, M이라는 물질이 m그램 생성되었다."라고 쓰여 있었다면, (다른 실험자 Q가) X와 Y를 같은 양 준비하고, C와 a를 해당 논문과 완전히 동일하게 하여 실험을 했을 때, M이라는 물질이 m그램 생성되는 결과가 얻어진 것은 몇 번 중 몇 번인가(100번 중 96번인가, 100번 중 10번인가, 100번 중 0번(한 번도 재현되지 않았는가))라는 정도를 나타내는 개념이다. (또, M이라는 물질이 m그램이 아니라 n그램 생성되고, 논문과 몇 퍼센트 다른 양으로 생성되었는가, 몇 할 정도 다른 양으로만 생성되었는가와 같은 정도도 가리킬 수 있다)

참조

_[1] 논문 Replication and Theory Development in Organizational Science: A Critical Realist Perspective http://dx.doi.org/10[...] 1999
_[2] 서적 Leviathan and the Air-Pump Princeton University Press 1985
_[3] 서적 The Logic of Scientific Discovery Routledge 1992
_[4] 서적 The Design of Experiments Macmillan 1971
_[5] arXiv Terminologies for Reproducible Research
_[6] 웹사이트 Replicability vs. reproducibility — or is it the other way round? https://languagelog.[...] 2020-10-15
_[7] 웹사이트 IUPAC - reproducibility (R05305) https://goldbook.iup[...] 2022-03-04
_[8] 웹사이트 Standard Practice for Use of the Terms Precision and Bias in ASTM Test Methods https://www.astm.org[...] ASTM International
_[9] 논문 Replication, Replication http://nrs.harvard.e[...] 1995
_[10] 논문 Improving the Traditional Information Management in Natural Sciences https://datascience.[...]
_[11] 논문 Guest Editors' Introduction: Reproducible Research
_[12] 논문 The Yale Law School Round Table on Data and Core Sharing: "Reproducible Research"
_[13] 논문 Computational reproducibility in archaeological research: Basic principles and a case study of their implementation https://ro.uow.edu.a[...]
_[14] 논문 What does research reproducibility mean? 2016-06-01
_[15] 논문 Three Changes Public Health Scientists Can Make to Help Build a Culture of Reproducible Research 2019
_[16] 서적 The practice of reproducible research case studies and lessons from the data-intensive sciences http://www.jstor.org[...] University of California Press 2018
_[17] 논문 Packaging data analytical work reproducibly using R (and friends) http://ro.uow.edu.au[...] 2017-09-29
_[18] 학회 Jupyter Notebooks–a publishing format for reproducible computational workflows https://eprints.soto[...] IOS Press
_[19] 논문 Using Jupyter for Reproducible Scientific Workflows 2021-03-01
_[20] 논문 Jupyter: Thinking and Storytelling With Code and Data 2021-03-01
_[21] 논문 The poor availability of psychological research data for reanalysis
_[22] 논문 Are we wasting a good crisis? The availability of psychological research data after the storm
_[23] 논문 Publish (your data) or (let the data) perish! Why not publish your data too?
_[24] 논문 If these data could talk 2017-09-05
_[25] 논문 Open Access Economics Journals and the Market for Reproducible Economic Research 2009-03
_[26] 논문 Journals in Economic Sciences: Paying Lip Service to Reproducible Research? https://iassistquart[...] 2017-12-10
_[27] 논문 Use of reproducible research practices in public health: A survey of public health analysts. 2018
_[28] 웹사이트 Research Waste/EQUATOR Conference http://researchwaste[...]
_[29] 논문 Believe it or not: How much can we rely on published data on potential drug targets?
_[30] 논문 Hideyo Noguchi (1876-1928): Distinguished bacteriologist
_[31] 뉴스 Physicists Debunk Claim Of a New Kind of Fusion http://partners.nyti[...] 1989-05-03
_[32] 서적 Tesla, Master of Lightning Barnes & Noble Books 1999
_[33] 뉴스 When the Revolution Came for Amy Cuddy https://www.nytimes.[...] 2017-10-18
_[34] 문서 (예를 들어, 심사가 끝난 논문 등에 의해) 해당하는 과학적 근거가 설명되어 있는 방법.
_[35] 서적 第2版標準化学用語辞典丸善出版
_[36] 논문 JCGM 100:2008. Evaluation of measurement data – Guide to the expression of uncertainty in measurement http://www.bipm.org/[...] Joint Committee for Guides in Metrology
_[37] 논문 NIST Guidelines for Evaluating and Expressing the Uncertainty of NIST Measurement Results Cover https://www.nist.gov[...] National Institute of Standards and Technology
_[38] 저널 Reproducible research can still be wrong: Adopting a prevention approach 2015-02-10
_[39] 문서 ただし、理想的な手法は、研究する領域や分野によって、少なからず異なる。
_[40] 서적 Interdisciplinary research : process and theory
_[41] 웹사이트 Metascience: Reproducibility blues https://www.nature.c[...] 2017-03-29
_[42] 문서 訳注：対応する和訳を発見できなかったため、英名を併記。和名は単なる直訳。
_[43] 웹사이트 Definition of COMMENSURATE https://www.merriam-[...] 2019-01-09
_[44] 논문 Standard Practice for Use of the Terms Precision and Bias in ASTM Test Methods http://www.astm.org/[...] ASTM International
_[45] 웹사이트 reproducibility https://www.lexico.c[...]

재현성