맨위로가기

메타과학

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
목차

1. 개요

메타과학은 과학 연구의 방법론, 보고, 재현성, 평가 및 인센티브를 개선하는 것을 목표로 하는 학문 분야이다. 이는 연구의 질을 높이고 재현성 위기를 해결하기 위해 다양한 개혁을 제안하며, 정보 통신 기술을 활용하여 연구 선별 및 피드백, 도구 개발 등을 추진한다. 의학, 심리학, 물리학, 컴퓨터 과학 등 다양한 분야에서 응용되며, 연구 결과의 신뢰성을 높이고 과학적 진보를 가속화하는 데 기여한다.

더 읽어볼만한 페이지

  • 윤리와 통계 - 뉘른베르크 강령
    뉘른베르크 강령은 제2차 세계 대전 후 뉘른베르크 재판 중 의사 재판에서 제시된 인간 대상 의학 연구 윤리에 관한 10가지 원칙으로, 나치 독일의 비윤리적 인체 실험 반성에서 비롯되어 피험자의 자발적 동의, 사회적 유익성, 과학적 근거, 고통 및 부상 최소화 등을 주요 내용으로 하며, 법적 구속력은 없으나 임상 연구 윤리 역사상 중요한 문서로 평가받고 각국 법률 및 윤리 규범에 큰 영향을 미쳤다.
  • 윤리와 통계 - 재현성 위기
    재현성 위기는 과학 연구 결과가 다른 연구자에 의해 재현되지 않아 과학계 신뢰성에 영향을 미치는 문제로, 실험 절차의 어려움, 연구 조작, 통계적 유의성 문제 등 복합적인 원인으로 발생하며, 과학 출판 시스템 개혁, 통계 방법 개선 등의 해결책이 모색되고 있다.
  • 과학기술 정책 - 과학 정책
    과학 정책은 국가가 과학 연구와 기술 개발을 지원하기 위해 수립하는 정책으로, 공공 사업 및 과학 자금 지원에 영향을 미치며, 기초 연구와 응용 연구, 혁신 정책 등 다양한 분야를 포괄한다.
  • 과학기술 정책 - 과학계량학
    과학계량학은 과학 활동을 계량적으로 분석하는 학문으로, 과학 문헌 통계 분석에서 출발하여 학술 정보 데이터베이스 구축 및 분석 지표 개발을 목표로 하며, 과학 인용 색인 등을 통해 연구 생산성 및 영향력을 측정하는 데 활용되지만 지표에 대한 과도한 의존은 학문적 연구의 질 저하를 야기할 수 있다는 비판도 있다.
  • 메타과학 - 재현성
    재현성은 과학적 연구의 신뢰성을 평가하는 요소로, 동일한 조건에서 유사한 결과를 얻을 수 있는 정도를 의미하며, 실험 방법과 데이터의 투명한 공개를 통해 확보해야 한다.
  • 메타과학 - 실험계획법
    실험계획법은 실험의 효율성과 신뢰성을 높이기 위해 실험 전 상세 계획을 세우는 방법론이며, 비교, 무작위화, 반복 등의 원칙을 기반으로 다양한 설계 방식을 활용하여 실험을 진행한다.
메타과학
메타 과학
학문 분야과학
연구 대상과학 자체
목표연구 방법론 개선 및 과학적 실천의 질 향상
관련 용어재현성 위기
하위 분야연구 편향
출판 편향
통계적 검정력
연구 설계
데이터 분석
과학 철학
추가 정보
관련 저널Metascience
Research Synthesis Methods
Journal of Trial and Error

2. 역사

1966년, 초기 메타 연구 논문은 10개의 유력 의학 저널에 게재된 295편의 논문의 통계적 방법을 조사했다. 이 연구는 "읽은 보고서의 거의 73%에서... 이러한 결론에 대한 정당성이 무효일 때 결론이 도출되었다"는 사실을 발견했다.[6] 1976년의 논문은 메타 연구에 대한 자금 지원을 촉구했다. "연구에 대한 연구의 본질, 특히 그것이 전향적일 경우, 오랜 기간을 필요로 하기 때문에, 우리는 과학적 발견의 본질에 대한 회고적이고 전향적인 연구를 수행하고 지원하기 위해 충분하고 장기적인 지원을 받는 독립적이고 매우 유능한 그룹을 설립할 것을 권장한다".[7]

200px


2005년, 존 요아니디스(John Ioannidis)는 "왜 대부분의 출판된 연구 결과는 거짓인가(Why Most Published Research Findings Are False)"라는 제목의 논문을 발표하여, 의학 분야의 대다수 논문이 잘못된 결론을 내린다고 주장했다.[8] 이 논문은 Public Library of Science에서 가장 많이 다운로드된 논문이 되었으며[9][10], 메타과학 분야의 기초로 여겨진다.[11] 제레미 하윅(Jeremy Howick) 및 데스피나 콜레치(Despina Koletsi)와 함께 수행한 관련 연구에서 요아니디스는 권고 등급 평가, 개발 및 평가(GRADE) 접근법에 따르면 소수의 의학적 중재만이 '고품질' 증거에 의해 뒷받침된다는 것을 보여주었다.[12] 이후의 메타 연구는 재현성을 포함하여 많은 과학 분야, 심리학 및 근거 중심 의학에서 결과의 재현성 위기에 대한 광범위한 어려움을 확인했다. 이 문제는 "재현성 위기"라고 불렸다. 메타과학은 재현성 위기에 대한 반응과 연구 폐기물에 대한 우려로 성장했다.[13]

많은 주요 출판사들이 메타 연구와 출판물의 품질 개선에 관심을 가지고 있다. ''Science'', ''The Lancet'', ''Nature''과 같은 주요 저널들은 메타 연구와 재현성 문제에 대한 지속적인 보도를 제공한다.[14] 2012년 ''PLOS ONE''은 재현성 이니셔티브를 시작했다. 2015년 바이오메드 센트럴(BioMed Central)은 4개의 저널에 최소 보고 표준 체크리스트를 도입했다.

메타 연구의 광범위한 분야에서 첫 번째 국제 컨퍼런스는 2015년 에든버러에서 열린 연구 폐기물/EQUATOR 네트워크 컨퍼런스였고, 동료 심사에 대한 첫 번째 국제 컨퍼런스는 1989년에 열린 동료 심사 회의였다.[15] 2016년에는 ''연구 윤리 및 동료 심사''가 시작되었다. 저널의 창간 사설은 "동료 심사, 연구 보고 및 연구 및 출판 윤리와 관련된 문제에 대한 우리의 이해를 높이고 잠재적인 해결책을 제시할 연구"를 촉구했다.[16]

2. 1. 초기 연구

2. 2. 재현성 위기와 메타과학의 부상

1966년, 초기 메타 연구 논문은 10개의 유력 의학 저널에 게재된 295편의 논문의 통계적 방법을 조사했다. 이 연구는 "읽은 보고서의 거의 73%에서... 이러한 결론에 대한 정당성이 무효일 때 결론이 도출되었다"는 사실을 발견했다.[6] 1976년의 논문은 메타 연구에 대한 자금 지원을 촉구했다. "연구에 대한 연구의 본질, 특히 그것이 전향적일 경우, 오랜 기간을 필요로 하기 때문에, 우리는 과학적 발견의 본질에 대한 회고적이고 전향적인 연구를 수행하고 지원하기 위해 충분하고 장기적인 지원을 받는 독립적이고 매우 유능한 그룹을 설립할 것을 권장한다".[7]

2005년, 존 요아니디스(John Ioannidis)는 "왜 대부분의 출판된 연구 결과는 거짓인가(Why Most Published Research Findings Are False)"라는 제목의 논문을 발표하여, 의학 분야의 대다수 논문이 잘못된 결론을 내린다고 주장했다.[8] 이 논문은 Public Library of Science에서 가장 많이 다운로드된 논문이 되었으며[9][10], 메타과학 분야의 기초로 여겨진다.[11] 제레미 하윅(Jeremy Howick) 및 데스피나 콜레치(Despina Koletsi)와 함께 수행한 관련 연구에서 요아니디스는 권고 등급 평가, 개발 및 평가(GRADE) 접근법에 따르면 소수의 의학적 중재만이 '고품질' 증거에 의해 뒷받침된다는 것을 보여주었다.[12] 이후의 메타 연구는 재현성을 포함하여 많은 과학 분야, 심리학 및 근거 중심 의학에서 결과의 재현성 위기에 대한 광범위한 어려움을 확인했다. 이 문제는 "재현성 위기"라고 불렸다. 메타과학은 재현성 위기에 대한 반응과 연구 폐기물에 대한 우려로 성장했다.[13]

많은 주요 출판사들이 메타 연구와 출판물의 품질 개선에 관심을 가지고 있다. ''Science'', ''The Lancet'', ''Nature''과 같은 주요 저널들은 메타 연구와 재현성 문제에 대한 지속적인 보도를 제공한다.[14] 2012년 ''PLOS ONE''은 재현성 이니셔티브를 시작했다. 2015년 바이오메드 센트럴(BioMed Central)은 4개의 저널에 최소 보고 표준 체크리스트를 도입했다.

메타 연구의 광범위한 분야에서 첫 번째 국제 컨퍼런스는 2015년 에든버러에서 열린 연구 폐기물/EQUATOR 네트워크 컨퍼런스였고, 동료 심사에 대한 첫 번째 국제 컨퍼런스는 1989년에 열린 동료 심사 회의였다.[15] 2016년에는 ''연구 윤리 및 동료 심사''가 시작되었다. 저널의 창간 사설은 "동료 심사, 연구 보고 및 연구 및 출판 윤리와 관련된 문제에 대한 우리의 이해를 높이고 잠재적인 해결책을 제시할 연구"를 촉구했다.[16]

2. 3. 한국에서의 메타과학 논의

3. 주요 분야 및 주제

과학적 지식 생성에 대한 개념을 계층별로 구조화한 예시 시각화, "과학 기관"이 메타과학의 대상이 됨


메타과학은 방법, 보고, 재현성, 평가 및 인센티브의 5가지 주요 관심 분야로 분류될 수 있다. 이는 각각 연구를 수행하고, 전달하고, 검증하고, 평가하고, 보상하는 방식에 해당한다.[1]

==== 연구 방법론 ====

메타과학은 연구의 편향, 부실한 연구 설계, 통계 오용을 포함하여 부실한 연구 관행을 식별하고 이러한 관행을 줄이는 방법을 찾는 것을 목표로 한다.[1] 메타 연구는 과학 문헌에서 수많은 편향을 식별했다.[17] 특히 주목할 만한 것은 p값 오용과 통계적 유의미성의 남용이다.[18][113]

==== 과학적 데이터 과학 ====

과학적 데이터 과학은 데이터 과학을 사용하여 연구 논문을 분석하는 것이다. 여기에는 질적 방법과 양적 방법이 모두 포함된다. 과학적 데이터 과학 연구에는 사기 탐지[19] 및 인용 네트워크 분석이 포함된다.[20]

==== 저널학 (Journalology) ====

저널학은 출판 과학이라고도 하며, 학술 출판 과정의 모든 측면에 대한 학술적 연구이다.[21][22] 이 분야는 학술 출판에 증거 기반 실천을 구현하여 학술 연구의 질을 향상시키고자 한다.[23] "저널학"이라는 용어는 전 ''The BMJ''의 편집장이었던 스티븐 록이 만들었다. 1989년 미국 일리노이주 시카고에서 열린 첫 번째 피어 리뷰 회의는 저널학이 별개의 분야로 설립되는 데 중요한 순간으로 여겨진다.[7] 저널학은 특히 임상 시험에서 과학의 사전 등록 연구를 추진하는 데 영향을 미쳤다. 임상 시험 등록은 현재 대부분의 국가에서 요구된다.[7]

==== 연구 보고 및 투명성 ====

메타 연구는 보고, 설명, 보급 및 대중화 측면에서 특히 사회 및 보건 과학 분야에서 부실한 관행을 확인했다. 부실한 보고는 과학 연구 결과를 정확하게 해석하고, 연구를 재현하며, 저자의 편견과 이해 상충을 식별하는 것을 어렵게 만든다.[1] 해결책으로는 보고 표준 구현, 과학 연구의 투명성 강화(이해 상충 공개에 대한 더 나은 요구 사항 포함) 등이 있다.[1] CONSORT 및 더 큰 EQUATOR Network와 같은 보고 기관에서 지침을 만들어 데이터 및 방법론 보고를 표준화하려는 시도가 있다.[1]

==== 재현성 ====

암 연구에서 실험 재현의 장벽, ''재현성 프로젝트: 암 생물학''


재현성 위기는 많은 과학 연구가 재현하기 어렵거나 불가능하다는 것이 밝혀진 진행 중인 방법론적 위기이다.[24][25] 이 위기는 20세기 중후반의 메타 연구에서 비롯되었지만, "재현성 위기"라는 문구는 문제에 대한 인식이 커지면서 2010년대 초반에 처음 사용되었다.[26][1] 재현성 위기는 심리학 (특히 사회 심리학)과 의학에서 면밀히 연구되었으며,[27][28] 암 연구를 포함한다.[29][30] 재현은 과학적 과정의 필수적인 부분이며, 재현 실패가 광범위하게 발생하면 영향을 받는 분야의 신뢰성에 의문을 제기하게 된다.[31]

연구의 재현(또는 재현 실패)은 독창적인 연구보다 영향력이 적다고 간주되며, 많은 분야에서 출판될 가능성이 적다. 이는 연구 보고를 억제하고, 연구를 재현하려는 시도조차 막는다.[32][33]

==== 평가 및 인센티브 ====

메타과학은 동료 심사를 위한 과학적 기반을 만들고자 한다. 메타 연구는 학술 동료 심사 시스템, 즉 출판 전 동료 심사, 출판 후 동료 심사, 그리고 공개 동료 심사를 평가한다. 또한, 더 나은 연구 자금 지원 기준을 개발하고자 한다.[1]

메타과학은 더 나은 인센티브 시스템을 통해 더 나은 연구를 장려하고자 한다. 여기에는 연구를 평가하고 순위를 매기는 다양한 접근 방식과 그 수행자의 정확성, 효율성, 비용 및 이점에 대한 연구가 포함된다.[1] 비평가들은 역인센티브가 학계에 실적주의 환경을 조성하여 쓰레기 과학, 낮은 품질의 연구, 그리고 위양성을 조장한다고 주장한다.[34][35] 브라이언 노섹에 따르면, "우리가 직면한 문제는 인센티브 시스템이 연구를 제대로 하는 것보다 출판하는 데 거의 전적으로 집중되어 있다는 것입니다."[36] 개혁 지지자들은 더 높은 품질의 결과를 선호하도록 인센티브 시스템을 구조화하려고 한다.[37] 예를 들어, 품질을 내러티브 전문가 평가("지표만 또는 주로"가 아닌)를 기반으로 판단하고, 제도적 평가 기준을 마련하며, 투명성을 보장하고, 전문적인 기준을 정하는 방식이다.[38]

==== 기여도 (Contributorship) ====

연구에서는 기여도, 즉 누가 무엇을 얼마나 연구에 기여했는지에 초점을 맞춰 과학 출판 관리 시스템을 위한 기계 판독 가능한 표준과 (분류법의) 디지털 배지를 제안했다. 이는 단순한 학술 저자 개념, 즉 출판물 생성에 어떤 방식으로든 관련된 사람을 사용하는 대신이다.[39][40][41][42] 한 연구에서는 기여도 뉘앙스에 대한 지속적인 무시와 관련된 문제점 중 하나를 지적했는데, "저자 목록의 증가, 논문의 축약, 출판물 수의 급증으로 인해 출판물 수가 더 이상 좋은 지표가 아니다"는 점을 발견했다.[43]

==== 평가 요인 (Assessment factors) ====

피어 리뷰어의 평가에는 제출물의 장점 외에도 다른 요인이 실질적으로 영향을 미칠 수 있다.[44] 연구자의 이전 출판물의 진실성에 대한 기록이나 공익과의 연관성과 같은 요소도 중요할 수 있다. 그럼에도 불구하고, 평가 시스템, 특히 피어 리뷰 시스템은 인용 횟수나 알트메트릭스와 같은 분석적 지표보다는, 공적 유용성, 실제 긍정적 영향, 진보, 장점에 더 집중하거나 이러한 목표에 부합하는 메커니즘과 기준이 상당히 부족할 수 있다. 이러한 지표가 그러한 목적의 부분적인 지표로 사용될 수 있더라도 말이다.[45][46] "데이터와 같은 중간 산물에 대한 보다 공식적인 인정을 제공"하기 위해 학술적 보상 구조를 재고하는 것은 긍정적인 영향을 미치고 데이터 보류를 줄일 수 있을 것이다.[47]

==== 계량서지학 (Scientometrics) ====

계량서지학은 과학 출판물의 서지 데이터를 측정하는 데 관여한다. 주요 연구 문제는 연구 논문과 학술 저널의 영향력 측정, 과학적 인용의 이해, 정책 및 관리 상황에서 이러한 측정의 사용을 포함한다.[49] 연구에 따르면 "출판물 수, 인용 횟수, 영향력 지수와 같이 학문적 성공을 측정하는 데 사용되는 지표는 수십 년 동안 변하지 않았으며" 어느 정도 "더 이상" 좋은 측정치가 되지 못했다.[43][113] 이는 "과잉 생산, 불필요한 분열, 과잉 판매, 포식성 저널(유료 출판), 교묘한 표절, 과학적 결과의 고의적인 모호성으로 인한 판매 및 과잉 판매"와 같은 문제로 이어진다.[50]

이 분야의 새로운 도구에는 인용된 노드가 인용하는 노드에 얼마나 많은 정보를 제공하는지 정량화하는 시스템이 포함된다.[51] 이는 가중치가 없는 인용 네트워크를 가중치가 있는 네트워크로 변환한 다음, 중요성 평가에 사용할 수 있으며, "출판물, 저자 등과 같은 다양한 관련 주체에 대한 영향력 지표"를 도출할 수 있을 뿐만 아니라, 검색 엔진 및 추천 시스템과 같은 다른 도구에도 사용할 수 있다.[52]

==== 과학 거버넌스 (Science governance) ====

과학 정책 및 과학 정책의 과학도 참조.

과학 자금 지원과 과학 거버넌스는 메타과학에 의해 탐구되고 정보를 얻을 수 있다.[53]

==== 과학 커뮤니케이션 및 대중의 이용 ====

"과학은 지식 주장과 그 근거가 되는 증거가 공개적으로 검토될 수 있으며, 과학 연구의 결과가 신속하고 효율적으로 전달된다는 두 가지 기본적인 속성을 가지고 있으며, 이는 과학을 세계 공공재로서의 가치를 뒷받침한다"는 주장이 제기되었다.[61] 메타과학 연구는 과학 커뮤니케이션의 주제, 예를 들어 과학의 미디어 보도, 과학 저널리즘, 과학 교육자 및 과학자의 온라인 결과 전달 등을 탐구하고 있다.[62][63][64][65] 한 연구는 "학자들이 소셜 미디어를 사용하는 주된 인센티브는 증폭"이며, "이러한 [또는 이와 같은] 플랫폼이 연구에 대한 실제 참여를 어떻게 촉진할 수 있는지에 더 초점을 맞춘 기관 문화를 향해 나아가야 한다"는 것을 발견했다.[66] 과학 커뮤니케이션은 또한 사회적 요구, 관심사 및 요청을 과학자에게 전달하는 것을 포함할 수 있다.

==== 대안적 지표 도구 (Alternative metrics tools) ====

대체 지표 도구는 평가(성과 및 영향력)[112] 및 발견 가능성에 도움을 줄 뿐만 아니라 레딧, 위키백과 인용과 같은 소셜 미디어에서 과학 논문에 대한 많은 공개 토론, 그리고 뉴스 매체의 연구 보고서를 집계하여 메타과학에서 분석하거나 관련 도구에서 제공 및 사용할 수 있습니다.[67] 평가 및 발견 가능성의 측면에서, 대체 지표는 소셜 미디어나 다른 온라인 플랫폼을 통해 받는 상호 작용을 통해 출판물의 성과 또는 영향력을 평가한다.[68] 예를 들어, 다른 연구가 인용하기 전에 측정된 영향력으로 최근 연구를 정렬하는 데 사용할 수 있다. 확립된 대체 지표의 구체적인 절차는 투명하지 않으며,[68] 사용된 알고리즘은 오픈 소스 소프트웨어처럼 사용자가 맞춤 설정하거나 변경할 수 없다. 한 연구는 대체 지표의 다양한 제한 사항을 설명하고 "지속적인 연구 및 개발을 위한 길"을 지적했다.[69] 또한 연구자가 건설적인 피드백을 찾는 주요 도구로서의 사용에도 제한이 있다.

==== 사회적 영향 및 응용 (Societal implications and applications) ====

지적 교류, 특히 과학 기술의 사회적 영향과 응용에 관한 교류가 미래에 더 잘 인식되고 장려된다면 과학에 도움이 될 수 있다는 제안이 있었다.[112]

==== 지식 통합 (Knowledge integration) ====

1차 연구는 "맥락, 비교 또는 요약 없이 궁극적으로 제한적인 가치를 지닌다"라고 하며, 다양한 유형의 연구 종합 및 요약이 1차 연구를 통합한다.[128] 글로벌 환경 의제의 주요 사회 생태학적 과제에 대한 진전은 "기존 과학적 증거의 통합 및 종합 부족"으로 인해 방해받고 있으며, "급증하는 데이터량", 분할된 정보 및 일반적으로 충족되지 않는 증거 종합 과제가 있다.[70] 칼릴에 따르면, 연구자들은 너무 많은 논문이라는 문제에 직면해 있으며 - 예를 들어 2014년 3월에 8,000개 이상의 논문이 arXiv에 제출되었다 - "엄청난 양의 문헌을 따라가기 위해, 연구자들은 참고 문헌 관리 소프트웨어를 사용하고, 요약 및 노트를 만들고, 특정 주제에 대한 개요를 제공하기 위해 검토 논문에 의존한다". 그는 검토 논문이 일반적으로 (단지) "이미 많은 논문이 작성된 주제에 대해서만 작성되며, 빠르게 구식이 될 수 있다"라고 지적하며, 새로운 연구로 지속적으로 업데이트되고 많은 연구 결과를 요약하며 향후 연구를 제안하는 "위키 검토 논문"을 제안한다.[132] 한 연구에 따르면, 과학 출판물이 위키백과 문서에서 인용될 경우, 이는 해당 출판물에 대한 어떤 형태의 영향력의 지표로 간주될 수 있으며,[68] 예를 들어 시간이 지남에 따라 해당 참고 문헌이 주어진 주제에 대한 고도의 요약에 기여했음을 나타낼 수 있다.

==== 과학 저널리즘 (Science journalism) ====

과학 저널리스트는 과학 생태계와 대중을 위한 과학 커뮤니케이션에서 중요한 역할을 한다. 이들은 연구 결과를 신뢰할지 여부와 이를 보도할지 여부를 결정할 때 관련 정보를 "사용하는 방법을 알고", 대중에게 전달되는 결과를 검증해야 한다.[71]

==== 과학교육 ====

일부 연구에서는 과학 교육을 조사하며, 예를 들어 선택된 과학 논쟁[72] 및 주요 과학적 결론의 역사적 발견 과정,[73] 그리고 흔한 과학적 오개념에 대한 교육을 다룬다.[74] 교육은 또한 과학적 결과물의 질을 향상시키고 과학 연구에 필요한 시간을 줄이거나, 다양한 과학 인력을 확대하고 유지하는 방법과 같이 더 일반적으로 다루어질 수 있다.

==== 과학적 오개념 및 반과학적 태도 ====

많은 학생들은 과학이 무엇이고 어떻게 작동하는지에 대한 오해를 가지고 있다.[75] 반과학적 태도와 신념 또한 연구 대상이다.[76][77] 호테즈(Hotez)는 반과학이 "지배적이고 매우 치명적인 세력으로 부상했으며, 세계 안보를 위협하는 존재"가 되었으며 이를 완화할 "새로운 인프라"가 필요하다고 주장한다.[78]

3. 1. 연구 방법론

메타과학은 연구의 편향, 부실한 연구 설계, 통계 오용을 포함하여 부실한 연구 관행을 식별하고 이러한 관행을 줄이는 방법을 찾는 것을 목표로 한다.[1] 메타 연구는 과학 문헌에서 수많은 편향을 식별했다.[17] 특히 주목할 만한 것은 p값 오용과 통계적 유의미성의 남용이다.[18][113]

==== 과학적 데이터 과학 ====

과학적 데이터 과학은 데이터 과학을 사용하여 연구 논문을 분석하는 것이다. 여기에는 질적 방법과 양적 방법이 모두 포함된다. 과학적 데이터 과학 연구에는 사기 탐지[19] 및 인용 네트워크 분석이 포함된다.[20]

==== 저널학 (Journalology) ====

저널학은 출판 과학이라고도 하며, 학술 출판 과정의 모든 측면에 대한 학술적 연구이다.[21][22] 이 분야는 학술 출판에 증거 기반 실천을 구현하여 학술 연구의 질을 향상시키고자 한다.[23] "저널학"이라는 용어는 전 ''The BMJ''의 편집장이었던 스티븐 록이 만들었다. 1989년 미국 일리노이주 시카고에서 열린 첫 번째 피어 리뷰 회의는 저널학이 별개의 분야로 설립되는 데 중요한 순간으로 여겨진다.[7] 저널학은 특히 임상 시험에서 과학의 사전 등록 연구를 추진하는 데 영향을 미쳤다. 임상 시험 등록은 현재 대부분의 국가에서 요구된다.[7]

3. 1. 1. 과학적 데이터 과학

과학적 데이터 과학은 데이터 과학을 사용하여 연구 논문을 분석하는 것이다. 여기에는 질적 방법과 양적 방법이 모두 포함된다. 과학적 데이터 과학 연구에는 사기 탐지[19] 및 인용 네트워크 분석이 포함된다.[20]

3. 1. 2. 저널학 (Journalology)

저널학은 출판 과학이라고도 하며, 학술 출판 과정의 모든 측면에 대한 학술적 연구이다.[21][22] 이 분야는 학술 출판에 증거 기반 실천을 구현하여 학술 연구의 질을 향상시키고자 한다.[23] "저널학"이라는 용어는 전 ''The BMJ''의 편집장이었던 스티븐 록이 만들었다. 1989년 미국 일리노이주 시카고에서 열린 첫 번째 피어 리뷰 회의는 저널학이 별개의 분야로 설립되는 데 중요한 순간으로 여겨진다.[7] 저널학은 특히 임상 시험에서 과학의 사전 등록 연구를 추진하는 데 영향을 미쳤다. 임상 시험 등록은 현재 대부분의 국가에서 요구된다.[7]

3. 2. 연구 보고 및 투명성

메타 연구는 보고, 설명, 보급 및 대중화 측면에서 특히 사회 및 보건 과학 분야에서 부실한 관행을 확인했다. 부실한 보고는 과학 연구 결과를 정확하게 해석하고, 연구를 재현하며, 저자의 편견과 이해 상충을 식별하는 것을 어렵게 만든다.[1] 해결책으로는 보고 표준 구현, 과학 연구의 투명성 강화(이해 상충 공개에 대한 더 나은 요구 사항 포함) 등이 있다.[1] CONSORT 및 더 큰 EQUATOR Network와 같은 보고 기관에서 지침을 만들어 데이터 및 방법론 보고를 표준화하려는 시도가 있다.[1]

3. 3. 재현성



재현성 위기는 많은 과학 연구가 재현하기 어렵거나 불가능하다는 것이 밝혀진 진행 중인 방법론적 위기이다.[24][25] 이 위기는 20세기 중후반의 메타 연구에서 비롯되었지만, "재현성 위기"라는 문구는 문제에 대한 인식이 커지면서 2010년대 초반에 처음 사용되었다.[26][1] 재현성 위기는 심리학 (특히 사회 심리학)과 의학에서 면밀히 연구되었으며,[27][28] 암 연구를 포함한다.[29][30] 재현은 과학적 과정의 필수적인 부분이며, 재현 실패가 광범위하게 발생하면 영향을 받는 분야의 신뢰성에 의문을 제기하게 된다.[31]

연구의 재현(또는 재현 실패)은 독창적인 연구보다 영향력이 적다고 간주되며, 많은 분야에서 출판될 가능성이 적다. 이는 연구 보고를 억제하고, 연구를 재현하려는 시도조차 막는다.[32][33]

3. 4. 평가 및 인센티브

메타과학은 동료 심사를 위한 과학적 기반을 만들고자 한다. 메타 연구는 학술 동료 심사 시스템, 즉 출판 전 동료 심사, 출판 후 동료 심사, 그리고 공개 동료 심사를 평가한다. 또한, 더 나은 연구 자금 지원 기준을 개발하고자 한다.[1]

메타과학은 더 나은 인센티브 시스템을 통해 더 나은 연구를 장려하고자 한다. 여기에는 연구를 평가하고 순위를 매기는 다양한 접근 방식과 그 수행자의 정확성, 효율성, 비용 및 이점에 대한 연구가 포함된다.[1] 비평가들은 역인센티브가 학계에 실적주의 환경을 조성하여 쓰레기 과학, 낮은 품질의 연구, 그리고 위양성을 조장한다고 주장한다.[34][35] 브라이언 노섹에 따르면, "우리가 직면한 문제는 인센티브 시스템이 연구를 제대로 하는 것보다 출판하는 데 거의 전적으로 집중되어 있다는 것입니다."[36] 개혁 지지자들은 더 높은 품질의 결과를 선호하도록 인센티브 시스템을 구조화하려고 한다.[37] 예를 들어, 품질을 내러티브 전문가 평가("지표만 또는 주로"가 아닌)를 기반으로 판단하고, 제도적 평가 기준을 마련하며, 투명성을 보장하고, 전문적인 기준을 정하는 방식이다.[38]

=== 기여도 (Contributorship) ===

연구에서는 기여도, 즉 누가 무엇을 얼마나 연구에 기여했는지에 초점을 맞춰 과학 출판 관리 시스템을 위한 기계 판독 가능한 표준과 (분류법의) 디지털 배지를 제안했다. 이는 단순한 학술 저자 개념, 즉 출판물 생성에 어떤 방식으로든 관련된 사람을 사용하는 대신이다.[39][40][41][42] 한 연구에서는 기여도 뉘앙스에 대한 지속적인 무시와 관련된 문제점 중 하나를 지적했는데, "저자 목록의 증가, 논문의 축약, 출판물 수의 급증으로 인해 출판물 수가 더 이상 좋은 지표가 아니다"는 점을 발견했다.[43]

=== 평가 요인 (Assessment factors) ===

피어 리뷰어의 평가에는 제출물의 장점 외에도 다른 요인이 실질적으로 영향을 미칠 수 있다.[44] 연구자의 이전 출판물의 진실성에 대한 기록이나 공익과의 연관성과 같은 요소도 중요할 수 있다. 그럼에도 불구하고, 평가 시스템, 특히 피어 리뷰 시스템은 인용 횟수나 알트메트릭스와 같은 분석적 지표보다는, 공적 유용성, 실제 긍정적 영향, 진보, 장점에 더 집중하거나 이러한 목표에 부합하는 메커니즘과 기준이 상당히 부족할 수 있다. 이러한 지표가 그러한 목적의 부분적인 지표로 사용될 수 있더라도 말이다.[45][46] "데이터와 같은 중간 산물에 대한 보다 공식적인 인정을 제공"하기 위해 학술적 보상 구조를 재고하는 것은 긍정적인 영향을 미치고 데이터 보류를 줄일 수 있을 것이다.[47]

=== 계량서지학 (Scientometrics) ===

계량서지학은 과학 출판물의 서지 데이터를 측정하는 데 관여한다. 주요 연구 문제는 연구 논문과 학술 저널의 영향력 측정, 과학적 인용의 이해, 정책 및 관리 상황에서 이러한 측정의 사용을 포함한다.[49] 연구에 따르면 "출판물 수, 인용 횟수, 영향력 지수와 같이 학문적 성공을 측정하는 데 사용되는 지표는 수십 년 동안 변하지 않았으며" 어느 정도 "더 이상" 좋은 측정치가 되지 못했다.[43][113] 이는 "과잉 생산, 불필요한 분열, 과잉 판매, 포식성 저널(유료 출판), 교묘한 표절, 과학적 결과의 고의적인 모호성으로 인한 판매 및 과잉 판매"와 같은 문제로 이어진다.[50]

이 분야의 새로운 도구에는 인용된 노드가 인용하는 노드에 얼마나 많은 정보를 제공하는지 정량화하는 시스템이 포함된다.[51] 이는 가중치가 없는 인용 네트워크를 가중치가 있는 네트워크로 변환한 다음, 중요성 평가에 사용할 수 있으며, "출판물, 저자 등과 같은 다양한 관련 주체에 대한 영향력 지표"를 도출할 수 있을 뿐만 아니라, 검색 엔진 및 추천 시스템과 같은 다른 도구에도 사용할 수 있다.[52]

=== 과학 거버넌스 (Science governance) ===

과학 정책 및 과학 정책의 과학도 참조.

과학 자금 지원과 과학 거버넌스는 메타과학에 의해 탐구되고 정보를 얻을 수 있다.[53]

3. 4. 1. 기여도 (Contributorship)

연구에서는 기여도, 즉 누가 무엇을 얼마나 연구에 기여했는지에 초점을 맞춰 과학 출판 관리 시스템을 위한 기계 판독 가능한 표준과 (분류법의) 디지털 배지를 제안했다. 이는 단순한 학술 저자 개념, 즉 출판물 생성에 어떤 방식으로든 관련된 사람을 사용하는 대신이다.[39][40][41][42] 한 연구에서는 기여도 뉘앙스에 대한 지속적인 무시와 관련된 문제점 중 하나를 지적했는데, "저자 목록의 증가, 논문의 축약, 출판물 수의 급증으로 인해 출판물 수가 더 이상 좋은 지표가 아니다"는 점을 발견했다.[43]

3. 4. 2. 평가 요인 (Assessment factors)

피어 리뷰어의 평가에는 제출물의 장점 외에도 다른 요인이 실질적으로 영향을 미칠 수 있다.[44] 연구자의 이전 출판물의 진실성에 대한 기록이나 공익과의 연관성과 같은 요소도 중요할 수 있다. 그럼에도 불구하고, 평가 시스템, 특히 피어 리뷰 시스템은 인용 횟수나 알트메트릭스와 같은 분석적 지표보다는, 공적 유용성, 실제 긍정적 영향, 진보, 장점에 더 집중하거나 이러한 목표에 부합하는 메커니즘과 기준이 상당히 부족할 수 있다. 이러한 지표가 그러한 목적의 부분적인 지표로 사용될 수 있더라도 말이다.[45][46] "데이터와 같은 중간 산물에 대한 보다 공식적인 인정을 제공"하기 위해 학술적 보상 구조를 재고하는 것은 긍정적인 영향을 미치고 데이터 보류를 줄일 수 있을 것이다.[47]

3. 4. 3. 계량서지학 (Scientometrics)

계량서지학은 과학 출판물의 서지 데이터를 측정하는 데 관여한다. 주요 연구 문제는 연구 논문과 학술 저널의 영향력 측정, 과학적 인용의 이해, 정책 및 관리 상황에서 이러한 측정의 사용을 포함한다.[49] 연구에 따르면 "출판물 수, 인용 횟수, 영향력 지수와 같이 학문적 성공을 측정하는 데 사용되는 지표는 수십 년 동안 변하지 않았으며" 어느 정도 "더 이상" 좋은 측정치가 되지 못했다.[43][113] 이는 "과잉 생산, 불필요한 분열, 과잉 판매, 포식성 저널(유료 출판), 교묘한 표절, 과학적 결과의 고의적인 모호성으로 인한 판매 및 과잉 판매"와 같은 문제로 이어진다.[50]

이 분야의 새로운 도구에는 인용된 노드가 인용하는 노드에 얼마나 많은 정보를 제공하는지 정량화하는 시스템이 포함된다.[51] 이는 가중치가 없는 인용 네트워크를 가중치가 있는 네트워크로 변환한 다음, 중요성 평가에 사용할 수 있으며, "출판물, 저자 등과 같은 다양한 관련 주체에 대한 영향력 지표"를 도출할 수 있을 뿐만 아니라, 검색 엔진 및 추천 시스템과 같은 다른 도구에도 사용할 수 있다.[52]

3. 4. 4. 과학 거버넌스 (Science governance)

wikitext

과학 정책 및 과학 정책의 과학도 참조.

과학 자금 지원과 과학 거버넌스는 메타과학에 의해 탐구되고 정보를 얻을 수 있다.[53]

3. 5. 과학 커뮤니케이션 및 대중의 이용

"과학은 지식 주장과 그 근거가 되는 증거가 공개적으로 검토될 수 있으며, 과학 연구의 결과가 신속하고 효율적으로 전달된다는 두 가지 기본적인 속성을 가지고 있으며, 이는 과학을 세계 공공재로서의 가치를 뒷받침한다"는 주장이 제기되었다.[61] 메타과학 연구는 과학 커뮤니케이션의 주제, 예를 들어 과학의 미디어 보도, 과학 저널리즘, 과학 교육자 및 과학자의 온라인 결과 전달 등을 탐구하고 있다.[62][63][64][65] 한 연구는 "학자들이 소셜 미디어를 사용하는 주된 인센티브는 증폭"이며, "이러한 [또는 이와 같은] 플랫폼이 연구에 대한 실제 참여를 어떻게 촉진할 수 있는지에 더 초점을 맞춘 기관 문화를 향해 나아가야 한다"는 것을 발견했다.[66] 과학 커뮤니케이션은 또한 사회적 요구, 관심사 및 요청을 과학자에게 전달하는 것을 포함할 수 있다.
대안적 지표 도구 (Alternative metrics tools)대체 지표 도구는 평가(성과 및 영향력)[112] 및 발견 가능성에 도움을 줄 뿐만 아니라 레딧, 위키백과 인용과 같은 소셜 미디어에서 과학 논문에 대한 많은 공개 토론, 그리고 뉴스 매체의 연구 보고서를 집계하여 메타과학에서 분석하거나 관련 도구에서 제공 및 사용할 수 있습니다.[67] 평가 및 발견 가능성의 측면에서, 대체 지표는 소셜 미디어 또는 다른 온라인 플랫폼을 통해 받는 상호 작용을 통해 출판물의 성과 또는 영향력을 평가한다.[68] 예를 들어, 다른 연구가 인용하기 전에 측정된 영향력으로 최근 연구를 정렬하는 데 사용할 수 있다. 확립된 대체 지표의 구체적인 절차는 투명하지 않으며,[68] 사용된 알고리즘은 오픈 소스 소프트웨어처럼 사용자가 맞춤 설정하거나 변경할 수 없다. 한 연구는 대체 지표의 다양한 제한 사항을 설명하고 "지속적인 연구 및 개발을 위한 길"을 지적했다.[69] 또한 연구자가 건설적인 피드백을 찾는 주요 도구로서의 사용에도 제한이 있다.
사회적 영향 및 응용 (Societal implications and applications)지적 교류, 특히 과학 기술의 사회적 영향과 응용에 관한 교류가 미래에 더 잘 인식되고 장려된다면 과학에 도움이 될 수 있다는 제안이 있었다.[112]
지식 통합 (Knowledge integration)1차 연구는 "맥락, 비교 또는 요약 없이 궁극적으로 제한적인 가치를 지닌다"라고 하며, 다양한 유형의 연구 종합 및 요약이 1차 연구를 통합한다.[128] 글로벌 환경 의제의 주요 사회 생태학적 과제에 대한 진전은 "기존 과학적 증거의 통합 및 종합 부족"으로 인해 방해받고 있으며, "급증하는 데이터량", 분할된 정보 및 일반적으로 충족되지 않는 증거 종합 과제가 있다.[70] 칼릴에 따르면, 연구자들은 너무 많은 논문이라는 문제에 직면해 있으며 - 예를 들어 2014년 3월에 8,000개 이상의 논문이 arXiv에 제출되었다 - "엄청난 양의 문헌을 따라가기 위해, 연구자들은 참고 문헌 관리 소프트웨어를 사용하고, 요약 및 노트를 만들고, 특정 주제에 대한 개요를 제공하기 위해 검토 논문에 의존한다". 그는 검토 논문이 일반적으로 (단지) "이미 많은 논문이 작성된 주제에 대해서만 작성되며, 빠르게 구식이 될 수 있다"라고 지적하며, 새로운 연구로 지속적으로 업데이트되고 많은 연구 결과를 요약하며 향후 연구를 제안하는 "위키 검토 논문"을 제안한다.[132] 한 연구에 따르면, 과학 출판물이 위키백과 문서에서 인용될 경우, 이는 해당 출판물에 대한 어떤 형태의 영향력의 지표로 간주될 수 있으며,[68] 예를 들어 시간이 지남에 따라 해당 참고 문헌이 주어진 주제에 대한 고도의 요약에 기여했음을 나타낼 수 있다.
과학 저널리즘 (Science journalism)과학 저널리스트는 과학 생태계와 대중을 위한 과학 커뮤니케이션에서 중요한 역할을 한다. 이들은 연구 결과를 신뢰할지 여부와 이를 보도할지 여부를 결정할 때 관련 정보를 "사용하는 방법을 알고", 대중에게 전달되는 결과를 검증해야 한다.[71]

3. 5. 1. 대안적 지표 도구 (Alternative metrics tools)

대체 지표 도구는 평가(성과 및 영향력)[112] 및 발견 가능성에 도움을 줄 뿐만 아니라 레딧, 위키백과 인용과 같은 소셜 미디어에서 과학 논문에 대한 많은 공개 토론, 그리고 뉴스 매체의 연구 보고서를 집계하여 메타과학에서 분석하거나 관련 도구에서 제공 및 사용할 수 있습니다.[67] 평가 및 발견 가능성의 측면에서, 대체 지표는 소셜 미디어나 다른 온라인 플랫폼을 통해 받는 상호 작용을 통해 출판물의 성과 또는 영향력을 평가합니다.[68] 예를 들어, 다른 연구가 인용하기 전에 측정된 영향력으로 최근 연구를 정렬하는 데 사용할 수 있습니다. 확립된 대체 지표의 구체적인 절차는 투명하지 않으며,[68] 사용된 알고리즘은 오픈 소스 소프트웨어처럼 사용자가 맞춤 설정하거나 변경할 수 없습니다. 한 연구는 대체 지표의 다양한 제한 사항을 설명하고 "지속적인 연구 및 개발을 위한 길"을 지적했습니다.[69] 또한 연구자가 건설적인 피드백을 찾는 주요 도구로서의 사용에도 제한이 있습니다.

3. 5. 2. 사회적 영향 및 응용 (Societal implications and applications)

지적 교류, 특히 과학 기술의 사회적 영향과 응용에 관한 교류가 미래에 더 잘 인식되고 장려된다면 과학에 도움이 될 수 있다는 제안이 있었다.[112]

3. 5. 3. 지식 통합 (Knowledge integration)

1차 연구는 "맥락, 비교 또는 요약 없이 궁극적으로 제한적인 가치를 지닌다"라고 하며, 다양한 유형의 연구 종합 및 요약이 1차 연구를 통합한다.[128] 글로벌 환경 의제의 주요 사회 생태학적 과제에 대한 진전은 "기존 과학적 증거의 통합 및 종합 부족"으로 인해 방해받고 있으며, "급증하는 데이터량", 분할된 정보 및 일반적으로 충족되지 않는 증거 종합 과제가 있다.[70] 칼릴에 따르면, 연구자들은 너무 많은 논문이라는 문제에 직면해 있으며 - 예를 들어 2014년 3월에 8,000개 이상의 논문이 arXiv에 제출되었다 - "엄청난 양의 문헌을 따라가기 위해, 연구자들은 참고 문헌 관리 소프트웨어를 사용하고, 요약 및 노트를 만들고, 특정 주제에 대한 개요를 제공하기 위해 검토 논문에 의존한다". 그는 검토 논문이 일반적으로 (단지) "이미 많은 논문이 작성된 주제에 대해서만 작성되며, 빠르게 구식이 될 수 있다"라고 지적하며, 새로운 연구로 지속적으로 업데이트되고 많은 연구 결과를 요약하며 향후 연구를 제안하는 "위키 검토 논문"을 제안한다.[132] 한 연구에 따르면, 과학 출판물이 위키백과 문서에서 인용될 경우, 이는 해당 출판물에 대한 어떤 형태의 영향력의 지표로 간주될 수 있으며,[68] 예를 들어 시간이 지남에 따라 해당 참고 문헌이 주어진 주제에 대한 고도의 요약에 기여했음을 나타낼 수 있다.

3. 5. 4. 과학 저널리즘 (Science journalism)

과학 저널리스트는 과학 생태계와 대중을 위한 과학 커뮤니케이션에서 중요한 역할을 한다. 이들은 연구 결과를 신뢰할지 여부와 이를 보도할지 여부를 결정할 때 관련 정보를 "사용하는 방법을 알고", 대중에게 전달되는 결과를 검증해야 한다.[71]

3. 6. 과학교육

일부 연구에서는 과학 교육을 조사하며, 예를 들어 선택된 과학 논쟁[72] 및 주요 과학적 결론의 역사적 발견 과정,[73] 그리고 흔한 과학적 오개념에 대한 교육을 다룬다.[74] 교육은 또한 과학적 결과물의 질을 향상시키고 과학 연구에 필요한 시간을 줄이거나, 다양한 과학 인력을 확대하고 유지하는 방법과 같이 더 일반적으로 다루어질 수 있다.

```wikitable

하위 레벨 제목하위 레벨 본문
과학적 오개념 및 반과학적 태도많은 학생들은 과학이 무엇이고 어떻게 작동하는지에 대한 오해를 가지고 있다.[75] 반과학적 태도와 신념 또한 연구 대상이다.[76][77] 호테즈(Hotez)는 반과학이 "지배적이고 매우 치명적인 세력으로 부상했으며, 세계 안보를 위협하는 존재"가 되었으며 이를 완화할 "새로운 인프라"가 필요하다고 주장한다.[78]


3. 6. 1. 과학적 오개념 및 반과학적 태도

많은 학생들은 과학이 무엇이고 어떻게 작동하는지에 대한 오해를 가지고 있다.[75] 반과학적 태도와 신념 또한 연구 대상이다.[76][77] 호테즈(Hotez)는 반과학이 "지배적이고 매우 치명적인 세력으로 부상했으며, 세계 안보를 위협하는 존재"가 되었으며 이를 완화할 "새로운 인프라"가 필요하다고 주장한다.[78]

3. 7. 과학의 진화

3. 7. 1. 과학적 실천 (Scientific practice)





메타과학은 과학적 과정이 시간의 흐름에 따라 어떻게 진화하는지 연구할 수 있다. 한 연구에 따르면 팀 규모가 커지고 있으며, "매 10년마다 평균 17%씩 증가"하고 있다.[112]



일반적인 형태의 비오픈 액세스(open access) 출판과 많은 기존 저널에서 부과하는 가격(공적 자금 지원 논문 포함)이 정당하지 않고 불필요하며 최적의 수준이 아니며 과학 발전에 해로운 장벽이라는 사실이 밝혀졌다.[61][80][81][82] 오픈 액세스는 상당한 양의 재정 자원을 절약할 수 있으며, 이를 다른 용도로 사용할 수 있고, 개발도상국 연구자들을 위한 공정한 경쟁의 장을 마련할 수 있다.[83] 구독, 특정 연구 접근, 그리고 논문 처리 비용에 상당한 지출이 발생한다. ''페이월: 학문의 사업''은 이러한 문제에 대한 다큐멘터리이다.[84]

또 다른 주제는 확립된 과학적 커뮤니케이션 스타일(예: 긴 텍스트 형식의 연구 및 리뷰)과 과학 출판 관행이며, 기존 출판의 "빙하 속도"에 대한 우려가 있다.[85] 연구 초안을 조기에 출판하기 위해 사전 공개 논문 서버를 사용하는 것이 증가하고 있으며, 공개 동료 심사[86], 연구를 검토하는 새로운 도구[87], 제출된 논문을 검토자와 더 잘 연결하는 것[88] 등이 출판 속도를 높이기 위한 제안에 포함된다.

3. 7. 2. 과학 전반 및 분야 내 발전 (Science overall and intrafield developments)



OpenAlex에 따른 분야별 과학 논문 수 변화


1949년부터 2020년까지 "코로나바이러스"를 포함하는 PubMed 검색 결과 수


연구는 유용한 방식으로 활용, 보완 및 접근할 수 있는 다양한 종류의 메타데이터를 가지고 있다. OpenAlex는 소스, 인용, 저자 정보, 과학 분야 및 연구 주제와 같은 메타데이터를 통합하고 제공하는 2억 개가 넘는 과학 문서를 담은 무료 온라인 색인이다. 이의 API와 오픈 소스 웹사이트는 메타과학, 계량 과학 및 이 시맨틱 웹의 논문을 쿼리하는 새로운 도구에 사용될 수 있다.[90][91][92] Scholia라는 또 다른 개발 중인 프로젝트는 과학 출판물의 메타데이터를 사용하여 위키데이터의 "주요 주제" 속성을 사용하여 SARS-CoV-2 바이러스의 특정 기능에 대한 문헌을 요약하는 간단한 사용자 인터페이스를 제공하는 등 다양한 시각화 및 집계 기능을 제공한다.[93]

3. 8. 주제 매핑 (Topic mapping)

과학 지도는 특정 과학 분야 내의 주요 상호 관련된 주제, 시간 경과에 따른 변화, 그리고 핵심 행위자(연구자, 기관, 저널)를 보여줄 수 있다. 이는 새로운 과학 분야의 출현과 학제간 영역의 발전을 결정하는 요인을 찾는 데 도움이 될 수 있으며, 과학 정책 목적에도 관련될 수 있다.[103] 과학적 변화 이론은 "시각화된 지적 구조와 역동적인 패턴의 탐구와 해석"을 안내할 수 있다.[104] 이 지도는 연구 분야의 지적, 사회적 또는 개념적 구조를 보여줄 수 있다.[105] 시각적 지도 외에도 전문가 설문 조사 기반 연구 및 유사한 접근 방식은 연구가 부족하거나 사회적으로 중요한 영역, 주제 수준 문제(낙인 또는 독단 등), 또는 잠재적인 우선순위 오류를 식별할 수 있다. 그러한 예로는 공중 보건과 관련된 연구[106] 및 기후 변화 완화에 대한 사회 과학[107]이 있으며, 현재 가장 시급한 문제는 기후 변화를 완화하는 방법을 찾는 것임에도 불구하고, 기후 관련 연구에 대한 전체 자금의 0.12%만이 이러한 연구에 사용된다고 추정된다. 반면, 기후 변화에 대한 자연 과학은 이미 잘 확립되어 있다.[107]

또한 연구 증거를 정책 및 실천에 사용하는 것을 연구하는 것과 같이 과학 분야 또는 주제를 매핑하는 연구가 있으며, 이는 부분적으로 설문 조사를 사용한다.[108]

3. 9. 논쟁, 현재의 토론 및 불일치 (Controversies, current debates and disagreement)

일부 연구에서는 과학적 논쟁 또는 논란을 조사하고 있으며, 현재 진행 중인 주요 논쟁(예: 해결되지 않은 문제)과 과학자 또는 연구 간의 불일치를 식별할 수 있다. 한 연구에 따르면 불일치 수준은 사회 과학 및 인문학에서 가장 높았으며(0.61%), 다음으로 생물의학 및 건강 과학(0.41%), 생명 및 지구 과학(0.29%), 물리 과학 및 공학(0.15%), 수학 및 컴퓨터 과학(0.06%) 순이었다.[109] 이러한 연구는 또한 불일치가 발생하는 위치, 특히 클러스터로 나타나는 경우 클러스터 다이어그램과 같은 시각적 표현을 포함하여 보여줄 수 있다.


3. 10. 통합된 결과 해석의 과제 (Challenges of interpretation of pooled results)

특정 연구 질문 또는 연구 주제에 대한 연구는 종종 다양한 연구의 결과를 통합, 비교, 비판적으로 분석하고 해석하는 상위 수준의 개요 형태로 검토된다. 이러한 작업의 예로는 과학 논문 검토 및 메타 분석이 있다.[110] 이러한 관행과 관련된 관행은 다양한 문제에 직면하며 메타 과학의 주제이다.[110] 사용된 방법의 이질성과 같이 포함되거나 사용 가능한 연구와 관련된 다양한 문제는 메타 분석의 잘못된 결론으로 이어질 수 있다.[110]

3. 11. 지식 통합 및 생동하는 문서 (Knowledge integration and living documents)

다양한 문제들은 새롭고 기존의 과학 기반 지식의 신속한 지식 통합을 요구한다. 특히 느슨하게 관련된 많은 수의 프로젝트와 이니셔티브가 있는 환경은 공통 기반 또는 "공유지"로부터 혜택을 받는다.[93]

증거 합성은 중요하고, 특히 상대적으로 시급하며 확실한 세계적인 문제 목록에 적용될 수 있다. "기후 변화, 에너지 전환, 생물 다양성 손실, 항생제 내성, 빈곤 퇴치 등"이 그 예시이다. 더 나은 시스템은 생동하는 문서와 같이 생동하는 체계적 검토를 통해 연구 증거 요약을 최신 상태로 유지하는 것이 제안되었다. 정보 폭발로 과학 논문과 데이터(또는 정보 및 온라인 지식)의 수가 상당히 증가했음에도 불구하고 발표된 학술 체계적 검토의 수는 "2011년 약 6,000건에서 2021년 45,000건 이상"으로 증가했다.[111] 증거 기반 접근 방식은 과학, 정책, 의학 및 기타 실천 분야의 발전에 중요하다. 예를 들어, 메타 분석은 알려진 것을 정량화하고 아직 알려지지 않은 것을 식별할 수 있으며[128] "진정으로 혁신적이고 매우 학제간 아이디어"를 기존 지식의 맥락에 배치하여 그 영향을 강화할 수 있다.[112]

3. 12. 성공과 진보의 요인 (Factors of success and progress)

사회가 당면한 문제들을 보다 효과적으로 해결하기 위한 과학 전반의 전망을 향상시킬 수 있다는 가설이 제기되어 왔다.[112][113]

=== 새로운 아이디어와 파괴적 학문 ===

두 명의 메타과학자는 "획기적인 학문을 육성하고 참신한 아이디어에 주목하는 구조"가 성장하는 과학 분야에서 중요할 수 있다고 보고했는데, 과학적 인용 흐름이 이미 인용된 논문에 불균형적으로 집중되어 표준적인 진보를 늦추고 저해할 수 있기 때문이다.[114][115] 한 연구는 진정으로 혁신적이고 매우 학제적인 참신한 아이디어의 영향을 향상시키기 위해서는 기존 지식의 맥락에 배치해야 한다고 결론지었다.[112]

=== 멘토링, 파트너십 및 사회적 요인 ===

다른 연구자들은 "수상, 미국 국립 과학원 (NAS) 가입, 또는 슈퍼스타덤" 측면에서 가장 성공적인 연구자들은 멘토 아래에서 연구를 한 사람들로, 그들의 멘토가 멘토링 기간 이후에 상을 받은 연구를 발표한 경우였다고 보고했다.[116][117] 멘토의 연구 주제가 아닌 독창적인 주제를 연구하는 것도 성공과 긍정적인 연관성을 보였다. 또한 생산성이 높은 파트너십도 연구의 대상이 된다. 예를 들어, 기술을 보완할 수 있는 두 개인의 빈번한 공동 저술을 통한 "슈퍼 관계"는 상호 신뢰, 확신, 헌신, 그리고 즐거움과 같은 다른 요인들의 결과일 가능성이 높다.[118][112]

=== 성공적인 과학자와 과정, 일반적인 기술 및 활동에 대한 연구 ===

성공적인 과학자들의 아이디어 출현 또는 기원은 연구 주제이며, 예를 들어 멘델이 어떻게 자신의 과학적 발견을 했는지에 대한 기존 아이디어를 검토하는 것과 같다.[119] – 또는 더 일반적으로, 과학자들의 발견 과정이다. 과학은 "아이디어와 발명[및 기타 유형의 지식 또는 정보]를 전용, 복제, 확장 또는 결합하는 다면적인 과정"이며, 고립된 과정이 아니다.[112] 또한 과학자들의 습관, 일반적인 사고 방식, 독서 습관, 정보 소스 사용, 디지털 리터러시 기술 및 워크플로우를 조사하는 연구도 거의 없다.[120][121][122][123][124]

=== 노동력 우위 ===

한 연구는 많은 분야에서 엘리트 대학의 더 큰 과학적 생산성 또는 성공은 자금 지원을 받는 더 많은 노동력 풀로 설명될 수 있다고 이론화했다.[125][126] 이 연구는 대학 명성이 단독으로 출판하는 교수나 그룹 구성원이 아닌, 그룹 구성원이 있는 교수의 더 높은 생산성과만 관련이 있다는 것을 발견했다. 이는 엘리트 연구자의 과도한 생산성이 최고 대학의 더 엄격한 인재 선발이 아니라, 더 많은 자금 접근성과 명성이 대학원생 및 박사후 연구원을 유치함으로써 얻는 노동력 우위에서 비롯된다는 증거로 제시된다.

=== 궁극적인 영향 ===

과학에서의 성공은 (테뉴어 심사 과정에서 나타나듯이) 인용 횟수와 같은 지표로 측정되는 경우가 많으며, 삶과 사회에 미치는 궁극적인 또는 잠재적인 영향력으로 측정되지는 않는다.[127] 이는 위에서 언급됨와 같은 포상이 때때로 고려하는 부분이다. 이러한 지표의 문제점은 이 문서의 다른 부분에서 대략적으로 설명되어 있으며, 여기에는 검토가 1차 연구에 대한 인용을 대체한다는 점이 포함된다.[128] 또한 연구 과정에서 사회적 영향력에 대한 인정을 높이기 위한 학문적 인센티브 시스템 변경 제안도 있다.[129]

=== 진보 연구 ===

제안된 분야인 진척 연구(Progress Studies)는 과학자(또는 과학자들의 자금 지원자 또는 평가자)가 어떻게 행동해야 하는지를 조사하고, "개입을 파악"하며, 진척 자체를 연구할 수 있다.[130] 이 분야는 2019년 에세이에서 명시적으로 제안되었으며, 행동을 규정하는 응용 과학으로 묘사되었다.[131]

=== 진보의 가속화 ===

연구에 따르면 과학 수행 방식을 개선하면 과학적 발견과 그 응용의 속도를 가속화하여 인류의 문제에 대한 긴급한 해결책을 찾고, 인류의 조건을 개선하며, 자연에 대한 이해를 높이는 데 유용할 수 있다.[132] 메타과학 연구는 개선이 필요한 과학적 측면을 식별하고 이를 개선하는 방법을 개발하는 것을 목표로 할 수 있다.[132] 과학이 경제 성장과 사회 진보의 근본적인 원동력으로 받아들여진다면, 이는 "우리 사회가 과학을 가속화하고 사회의 가장 중요한 문제를 해결하도록 과학을 이끌기 위해 무엇을 할 수 있는가?"라는 질문을 제기할 수 있다.[133] 그러나 한 저자는 획일적인 접근 방식이 정답이 아니라고 생각한다고 설명했다. 예를 들어, 자금 지원, DARPA 모델, 호기심 중심 방법, "동료가 동의하지 않더라도 한 명의 심사자가 프로젝트를 옹호하도록 허용"하는 것, 그리고 다양한 다른 접근 방식 모두 그 나름의 용도가 있다. 그럼에도 불구하고 이에 대한 평가는 무엇이 효과가 있고 가장 효과적인지에 대한 지식을 구축하는 데 도움이 될 수 있다.[134]

3. 12. 1. 새로운 아이디어와 파괴적 학문 (Novel ideas and disruptive scholarship)

두 명의 메타과학자는 "획기적인 학문을 육성하고 참신한 아이디어에 주목하는 구조"가 성장하는 과학 분야에서 중요할 수 있다고 보고했는데, 과학적 인용 흐름이 이미 인용된 논문에 불균형적으로 집중되어 표준적인 진보를 늦추고 저해할 수 있기 때문이다.[114][115] 한 연구는 진정으로 혁신적이고 매우 학제적인 참신한 아이디어의 영향을 향상시키기 위해서는 기존 지식의 맥락에 배치해야 한다고 결론지었다.[112]

3. 12. 2. 멘토링, 파트너십 및 사회적 요인 (Mentorship, partnerships and social factors)

다른 연구자들은 "수상, 미국 국립 과학원 (NAS) 가입, 또는 슈퍼스타덤" 측면에서 가장 성공적인 연구자들은 멘토 아래에서 연구를 한 사람들로, 그들의 멘토가 멘토링 기간 이후에 상을 받은 연구를 발표한 경우였다고 보고했다.[116][117] 멘토의 연구 주제가 아닌 독창적인 주제를 연구하는 것도 성공과 긍정적인 연관성을 보였다. 또한 생산성이 높은 파트너십도 연구의 대상이 된다. 예를 들어, 기술을 보완할 수 있는 두 개인의 빈번한 공동 저술을 통한 "슈퍼 관계"는 상호 신뢰, 확신, 헌신, 그리고 즐거움과 같은 다른 요인들의 결과일 가능성이 높다.[118][112]

3. 12. 3. 성공적인 과학자와 과정, 일반적인 기술 및 활동에 대한 연구 (Study of successful scientists and processes, general skills and activities)

성공적인 과학자들의 아이디어 출현 또는 기원은 연구 주제이며, 예를 들어 멘델이 어떻게 자신의 과학적 발견을 했는지에 대한 기존 아이디어를 검토하는 것과 같다.[119] – 또는 더 일반적으로, 과학자들의 발견 과정이다. 과학은 "아이디어와 발명[및 기타 유형의 지식 또는 정보]를 전용, 복제, 확장 또는 결합하는 다면적인 과정"이며, 고립된 과정이 아니다.[112] 또한 과학자들의 습관, 일반적인 사고 방식, 독서 습관, 정보 소스 사용, 디지털 리터러시 기술 및 워크플로우를 조사하는 연구도 거의 없다.[120][121][122][123][124]

3. 12. 4. 노동력 우위 (Labor advantage)

한 연구는 많은 분야에서 엘리트 대학의 더 큰 과학적 생산성 또는 성공은 자금 지원을 받는 더 많은 노동력 풀로 설명될 수 있다고 이론화했다.[125][126] 이 연구는 대학 명성이 단독으로 출판하는 교수나 그룹 구성원이 아닌, 그룹 구성원이 있는 교수의 더 높은 생산성과만 관련이 있다는 것을 발견했다. 이는 엘리트 연구자의 과도한 생산성이 최고 대학의 더 엄격한 인재 선발이 아니라, 더 많은 자금 접근성과 명성이 대학원생 및 박사후 연구원을 유치함으로써 얻는 노동력 우위에서 비롯된다는 증거로 제시된다.

3. 12. 5. 궁극적인 영향 (Ultimate impacts)

과학에서의 성공은 (테뉴어 심사 과정에서 나타나듯이) 인용 횟수와 같은 지표로 측정되는 경우가 많으며, 삶과 사회에 미치는 궁극적인 또는 잠재적인 영향력으로 측정되지는 않는다.[127] 이는 위에서 언급됨와 같은 포상이 때때로 고려하는 부분이다. 이러한 지표의 문제점은 이 문서의 다른 부분에서 대략적으로 설명되어 있으며, 여기에는 검토가 1차 연구에 대한 인용을 대체한다는 점이 포함된다.[128] 또한 연구 과정에서 사회적 영향력에 대한 인정을 높이기 위한 학문적 인센티브 시스템 변경 제안도 있다.[129]

3. 12. 6. 진보 연구 (Progress studies)

제안된 분야인 진척 연구(Progress Studies)는 과학자(또는 과학자들의 자금 지원자 또는 평가자)가 어떻게 행동해야 하는지를 조사하고, "개입을 파악"하며, 진척 자체를 연구할 수 있다.[130] 이 분야는 2019년 에세이에서 명시적으로 제안되었으며, 행동을 규정하는 응용 과학으로 묘사되었다.[131]

3. 12. 7. 진보의 가속화 (As and for acceleration of progress)

연구에 따르면 과학 수행 방식을 개선하면 과학적 발견과 그 응용의 속도를 가속화하여 인류의 문제에 대한 긴급한 해결책을 찾고, 인류의 조건을 개선하며, 자연에 대한 이해를 높이는 데 유용할 수 있다.[132] 메타과학 연구는 개선이 필요한 과학적 측면을 식별하고 이를 개선하는 방법을 개발하는 것을 목표로 할 수 있다.[132] 과학이 경제 성장과 사회 진보의 근본적인 원동력으로 받아들여진다면, 이는 "우리 사회가 과학을 가속화하고 사회의 가장 중요한 문제를 해결하도록 과학을 이끌기 위해 무엇을 할 수 있는가?"라는 질문을 제기할 수 있다.[133] 그러나 한 저자는 획일적인 접근 방식이 정답이 아니라고 생각한다고 설명했다. 예를 들어, 자금 지원, DARPA 모델, 호기심 중심 방법, "동료가 동의하지 않더라도 한 명의 심사자가 프로젝트를 옹호하도록 허용"하는 것, 그리고 다양한 다른 접근 방식 모두 그 나름의 용도가 있다. 그럼에도 불구하고 이에 대한 평가는 무엇이 효과가 있고 가장 효과적인지에 대한 지식을 구축하는 데 도움이 될 수 있다.[134]

4. 개혁

메타과학은 과학적 관행의 결함을 식별하고 있으며, 이는 과학 개혁에 영감을 주었다. 이러한 개혁은 질이 낮거나 비효율적인 연구로 이어지는 과학적 관행의 문제를 해결하고 개선하고자 한다.[1]

2015년 연구에서는 메타연구의 "분열된" 노력을 열거하고 있다.[1]

사전 등록은 연구를 수행하기 전에 연구를 등록하는 행위를 말한다. 이는 재현성 위기를 해결하기 위한 수단으로 등장했다.[135][136] 사전 등록은 등록된 보고서를 제출하는 것을 요구하며, 이는 이론적 근거, 실험 설계, 제안된 통계 분석을 기반으로 저널에서 출판이 수락되거나 거부된다. 연구의 사전 등록은 출판 편향(예: 부정적인 결과 미출판)을 방지하고, 데이터 마이닝을 줄이며, 재현성을 높이는 데 기여한다.[135][136]

보고의 일관성과 품질이 낮다는 연구 결과는 과학 분야에서 보고 표준 및 지침의 필요성을 보여주었으며, 이는 CONSORT(보고 시험 통합 표준) 및 EQUATOR Network와 같은 이러한 표준을 생산하는 조직의 부상으로 이어졌다.[137][138][139]

EQUATOR (건강 연구의 질과 투명성 향상/Enhancing the Quality and Transparency Of health Research영어) Network는 의학 연구 문헌의 가치와 신뢰성을 높이기 위해 건강 연구에 대한 투명하고 정확한 보고를 촉진하는 것을 목표로 하는 국제적 이니셔티브이다. EQUATOR Network는 연구의 올바른 보고의 중요성에 대한 인식을 높이고, 다양한 유형의 연구 설계에 대한 보고 지침의 개발, 보급 및 구현을 지원하며, 보건 과학 문헌에서 연구 연구 보고의 질적 상태를 모니터링하고, 건강 연구 연구 보고의 질에 영향을 미치는 문제와 관련된 연구를 수행하는 것을 목표로 설립되었다. 이 네트워크는 보고 지침 개발자, 의학 저널 편집자 및 동료 검토자, 연구 자금 지원 기관 및 연구 간행물 및 연구 자체의 품질을 개선하는 데 상호 관심이 있는 다른 주요 이해 관계자를 모으는 "우산" 조직 역할을 한다.

4. 1. 사전 등록 (Pre-registration)

사전 등록은 연구를 수행하기 전에 연구를 등록하는 행위를 말한다. 이는 재현성 위기를 해결하기 위한 수단으로 등장했다.[135][136] 사전 등록은 등록된 보고서를 제출하는 것을 요구하며, 이는 이론적 근거, 실험 설계, 제안된 통계 분석을 기반으로 저널에서 출판이 수락되거나 거부된다. 연구의 사전 등록은 출판 편향(예: 부정적인 결과 미출판)을 방지하고, 데이터 마이닝을 줄이며, 재현성을 높이는 데 기여한다.[135][136]

4. 2. 보고 표준 (Reporting standards)

보고의 일관성과 품질이 낮다는 연구 결과는 과학 분야에서 보고 표준 및 지침의 필요성을 보여주었으며, 이는 CONSORT(보고 시험 통합 표준) 및 EQUATOR Network와 같은 이러한 표준을 생산하는 조직의 부상으로 이어졌다.[137][138][139]

EQUATOR ('''E'''nhancing the '''QUA'''lity and '''T'''ransparency '''O'''f health '''R'''esearch, 건강 연구의 질과 투명성 향상) Network는 의학 연구 문헌의 가치와 신뢰성을 높이기 위해 건강 연구에 대한 투명하고 정확한 보고를 촉진하는 것을 목표로 하는 국제적 이니셔티브이다. EQUATOR Network는 연구의 올바른 보고의 중요성에 대한 인식을 높이고, 다양한 유형의 연구 설계에 대한 보고 지침의 개발, 보급 및 구현을 지원하며, 보건 과학 문헌에서 연구 연구 보고의 질적 상태를 모니터링하고, 건강 연구 연구 보고의 질에 영향을 미치는 문제와 관련된 연구를 수행하는 것을 목표로 설립되었다. 이 네트워크는 보고 지침 개발자, 의학 저널 편집자 및 동료 검토자, 연구 자금 지원 기관 및 연구 간행물 및 연구 자체의 품질을 개선하는 데 상호 관심이 있는 다른 주요 이해 관계자를 모으는 "우산" 조직 역할을 한다.

5. 응용

5. 1. 정보 통신 기술 (Information and communications technologies)

메타과학은 ICT 시스템과 과학 평가, 인센티브 부여, 의사소통, 위탁, 자금 지원, 규제, 생산, 관리, 사용 및 출판의 기준을 만들고 개선하는 데 사용된다. 이는 "응용 메타과학"이라고 할 수 있으며,[140] 연구의 양, 질, 긍정적 영향을 증가시키는 방법을 모색할 수 있다. 이러한 예시로 대체 지표 개발이 있다.[112]

==== 연구 선별 및 피드백 ====

다양한 웹사이트나 도구는 부적절한 연구를 식별하거나 PubPeer, 코크란의 편향 위험 평가 도구[141] 및 RetractionWatch와 같은 피드백을 가능하게 한다. 의학 및 학문적 분쟁은 고대부터 존재해 왔으며, 한 연구는 "건설적이고 강박적인 비판"과 "소셜 미디어를 토론의 활발한 장으로 만들고 단순히 검투사 경기장이 아니도록 돕는 정책"에 대한 연구를 요구한다.[142] 연구에 대한 피드백은 연구 웹사이트, 대개는 임베디드된 Altmetrics 배지로 통합되어 있는 알트메트릭스를 통해 찾을 수 있지만, 연구에 직접 연결된 소셜 미디어 토론만 보여주고 연구에 대한 뉴스 기사에 연결된 토론은 보여주지 않는 등 불완전한 경우가 많다.

==== 사용, 수정, 확장 또는 조사되는 도구 ====

  • scite.ai영어는 논문의 인용을 '지지', '언급' 또는 '대조'로 추적하고 연결하는 것을 목표로 하는 도구이다.[143][144][145]
  • Scite Reference Check 봇은 scite.ai의 확장 기능으로, 새로운 논문 PDF를 스캔하여 "철회된 논문에 대한 참조를 찾고, 인용된 논문과 철회된 논문을 모두 트위터에 게시"하며 "새로운 연구가 수정, 정정, 철회 또는 우려 표명이 있는 이전 연구를 인용할 때 플래그를 표시"한다.[145] 연구에 따르면 철회된 논문에 대한 인용 중 4%만이 철회를 명확히 인식하는 것으로 나타났다.[145]
  • 구글 학술 검색과 같은 검색 엔진은 연구를 찾는 데 사용되며, 알림 서비스인 구글 알리미는 지정된 검색어와 일치하는 새로운 연구에 대한 알림을 활성화한다. 학술 커뮤니케이션 인프라는 검색 데이터베이스를 포함한다.[146]
  • 그림자 도서관인 Sci-hub는 메타과학의 주제이다.[147]
  • 연구, 지식 근로자 및 작업 관리를 위한 개인 지식 관리 시스템. 예를 들어, 정보를 체계적인 방식으로 저장하는 것[148]과 다중 문서 텍스트 편집기를 미래에 사용하기 위한 것이다.[149][150] 이러한 시스템은 웹 브라우저 (탭-애드온[151] 등) 및 검색 소프트웨어와 함께 메타과학이 과학을 어떻게 개선할 수 있는지 조사할 수 있는 "마음-기계 파트너십"의 일부로 설명될 수 있다.[112]
  • Scholia – 학술 출판 메타데이터를 공개하고 위키데이터를 통해 사용하는 노력이다.[152]
  • 다양한 소프트웨어를 통해 계량 서지 분석과 같은 일반적인 메타과학적 관행이 가능하다.[153]


==== 개발 ====

과학의 재현성 문제로 인해 "연구가 얼마나 자주 반복되었는지, 원래의 결과가 확인되었는지 여부를 확인하는 간단한 방법"이 필요하다는 연구 결과가 나왔다.[154][155] 한 연구에서는 연구 부정 행위에 대한 조기 경고 징후를 선별하는 도구를 제안했다.[156]

5. 1. 1. 연구 선별 및 피드백 (Study screening and feedback)

다양한 웹사이트나 도구는 부적절한 연구를 식별하거나 PubPeer, 코크란의 편향 위험 평가 도구[141] 및 RetractionWatch와 같은 피드백을 가능하게 한다. 의학 및 학문적 분쟁은 고대부터 존재해 왔으며, 한 연구는 "건설적이고 강박적인 비판"과 "소셜 미디어를 토론의 활발한 장으로 만들고 단순히 검투사 경기장이 아니도록 돕는 정책"에 대한 연구를 요구한다.[142] 연구에 대한 피드백은 연구 웹사이트, 대개는 임베디드된 Altmetrics 배지로 통합되어 있는 알트메트릭스를 통해 찾을 수 있지만, 연구에 직접 연결된 소셜 미디어 토론만 보여주고 연구에 대한 뉴스 기사에 연결된 토론은 보여주지 않는 등 불완전한 경우가 많다.

5. 1. 2. 사용, 수정, 확장 또는 조사되는 도구 (Tools used, modified, extended or investigated)


  • scite.ai영어는 논문의 인용을 '지지', '언급' 또는 '대조'로 추적하고 연결하는 것을 목표로 하는 도구이다.[143][144][145]
  • Scite Reference Check 봇은 scite.ai의 확장 기능으로, 새로운 논문 PDF를 스캔하여 "철회된 논문에 대한 참조를 찾고, 인용된 논문과 철회된 논문을 모두 트위터에 게시"하며 "새로운 연구가 수정, 정정, 철회 또는 우려 표명이 있는 이전 연구를 인용할 때 플래그를 표시"한다.[145] 연구에 따르면 철회된 논문에 대한 인용 중 4%만이 철회를 명확히 인식하는 것으로 나타났다.[145]
  • 구글 학술 검색과 같은 검색 엔진은 연구를 찾는 데 사용되며, 알림 서비스인 구글 알리미는 지정된 검색어와 일치하는 새로운 연구에 대한 알림을 활성화한다. 학술 커뮤니케이션 인프라는 검색 데이터베이스를 포함한다.[146]
  • 그림자 도서관인 Sci-hub는 메타과학의 주제이다.[147]
  • 연구, 지식 근로자 및 작업 관리를 위한 개인 지식 관리 시스템. 예를 들어, 정보를 체계적인 방식으로 저장하는 것[148]과 다중 문서 텍스트 편집기를 미래에 사용하기 위한 것이다.[149][150] 이러한 시스템은 웹 브라우저 (탭-애드온[151] 등) 및 검색 소프트웨어와 함께 메타과학이 과학을 어떻게 개선할 수 있는지 조사할 수 있는 "마음-기계 파트너십"의 일부로 설명될 수 있다.[112]
  • Scholia – 학술 출판 메타데이터를 공개하고 위키데이터를 통해 사용하는 노력이다.[152]
  • 다양한 소프트웨어를 통해 계량 서지 분석과 같은 일반적인 메타과학적 관행이 가능하다.[153]

5. 1. 3. 개발 (Development)

과학의 재현성 문제로 인해 "연구가 얼마나 자주 반복되었는지, 원래의 결과가 확인되었는지 여부를 확인하는 간단한 방법"이 필요하다는 연구 결과가 나왔다.[154][155] 한 연구에서는 연구 부정 행위에 대한 조기 경고 징후를 선별하는 도구를 제안했다.[156]

5. 2. 의학

의학 분야의 임상 연구는 종종 질이 낮으며, 많은 연구가 재현될 수 없다.[157][158] 연구 자금의 약 85%가 낭비되는 것으로 추정된다.[159] 또한, 편향의 존재는 연구 품질에 영향을 미친다.[160] 제약 산업은 의학 연구의 설계와 수행에 상당한 영향력을 행사한다. 이해 상충은 의학 문헌의 저자와[161] 의학 저널의 편집자 사이에서 흔하게 발생한다. 거의 모든 의학 저널은 저자에게 이해 상충을 공개하도록 요구하지만, 편집자는 그럴 필요가 없다.[162] 재정적 이해 상충은 더 높은 비율의 긍정적인 연구 결과와 관련이 있다. 항우울제 임상 시험에서 제약 회사의 후원은 임상 시험 결과의 가장 좋은 예측 변수이다.[163]

눈가림은 메타 연구의 또 다른 초점이며, 잘못된 눈가림으로 인한 오류는 실험적 편향의 원인이다. 눈가림은 의학 문헌에서 제대로 보고되지 않으며, 이에 대한 광범위한 오해는 임상 시험에서 눈가림의 부실한 실행으로 이어졌다.[164] 게다가, 눈가림 실패는 거의 측정되거나 보고되지 않는다.[165] 항우울제 임상 시험에서 눈가림 실패를 보여주는 연구는 일부 과학자들이 항우울제가 위약보다 더 나은 점이 없다고 주장하게 만들었다.[166][167] 눈가림 실패를 보여주는 메타 연구에 비추어, CONSORT 표준은 모든 임상 시험이 눈가림의 질을 평가하고 보고하도록 권장한다.[168]

연구에 따르면 기존 연구 증거에 대한 체계적 검토는 새로운 연구를 계획하거나 결과를 요약하는 데 있어 최적으로 사용되지 않는다.[169] 의학적 개입의 효과를 평가하는 연구의 누적 메타 분석은 기존 증거에 대한 체계적 검토가 새로운 임상 시험을 수행하기 전에 수행되었다면 많은 임상 시험을 피할 수 있었을 것이라고 보여주었다.[170][171][172] 예를 들어, Lau 등[170]은 급성 심근 경색에 대한 정맥 내 스트렙토키나제의 효과를 평가하는 33개의 임상 시험(36,974명의 환자 포함)을 분석했다. 그들의 누적 메타 분석은 33개의 시험 중 25개가 새로운 시험을 수행하기 전에 체계적 검토를 수행했다면 피할 수 있었을 것이라고 입증했다. 다시 말해, 34,542명의 환자를 무작위 배정하는 것은 잠재적으로 불필요했다. 한 연구[173]는 227개의 메타 분석에 포함된 1,523개의 임상 시험을 분석하여 "관련된 이전 연구의 4분의 1 미만"이 인용되었다고 결론 내렸다. 그들은 또한 대부분의 임상 시험 보고서가 연구를 정당화하거나 결과를 요약하기 위해 체계적 검토를 제시하지 않는다는 이전의 결과를 확인했다.[173]

현대 의학에서 사용되는 많은 치료법이 효과가 없거나 심지어 해롭다는 것이 입증되었다. John Ioannidis의 2007년 연구에 따르면, 그 효과가 명백히 반증된 후 의학계가 대중적인 관행을 더 이상 언급하지 않게 되기까지 평균 10년이 걸렸다.[174][175]

5. 3. 심리학

메타과학은 심리학 연구에서 높은 편향성, 낮은 재현성, 광범위한 통계적 오용 등의 문제점을 발견했다.[176][177][178] 특히 재현성 위기는 심리학 분야에 큰 영향을 미쳤으며, 널리 알려진 연구 결과의 3분의 2가 재현 불가능할 수 있다는 연구 결과도 있다.[179] 메타 연구에 따르면 심리학 연구의 80~95%가 초기 가설을 지지하는데, 이는 출판 편향의 존재를 강력하게 시사한다.[183]

재현성 위기는 주요 연구 결과를 다시 검증하려는 노력을 촉진시켰다.[180][181] 출판 편향과 p-해킹에 대한 우려에 대응하여, 140개 이상의 심리학 저널이 사전 등록 및 결과 맹목적 동료 검토를 채택하여 연구 결과와 상관없이 연구가 출판될 수 있도록 했다.[182] 이러한 개혁에 대한 분석 결과, 결과 맹목적 연구의 61%가 무효 결과를 생성하는 것으로 나타났으며, 이는 이전 연구의 5~20%와 대조적이다. 즉, 결과 맹목적 동료 검토가 출판 편향을 줄이는 데 효과적임을 알 수 있다.[183]

일부 심리학자들은 통계적 유의성을 실제적인 중요성과 혼동하여 중요하지 않은 사실에 대해 큰 확신을 보이는 경향이 있다.[184] 이에 대한 대응으로 일부 심리학자들은 p 값에만 의존하지 않고 효과 크기 통계를 더 많이 사용하는 추세이다.

5. 4. 물리학

리처드 파인만은 물리 상수의 추정치가 우연히 예상되는 것보다 발표된 값에 더 가깝다는 점에 주목했다. 이는 확증 편향의 결과로 여겨졌는데, 기존 문헌과 일치하는 결과가 더 믿을 만하고, 따라서 출판될 가능성이 더 높았기 때문이다. 현재 물리학자들은 이러한 종류의 편향을 방지하기 위해 블라인딩을 시행한다.[185]

5. 5. 컴퓨터 과학

웹 측정 연구는 현대 웹의 작동 방식을 이해하는 데 필수적이며, 특히 보안 및 개인 정보 보호 분야에서 중요하다.[186] 그러나 이러한 연구는 종종 맞춤형 또는 수정된 크롤링 설정을 필요로 하여 유사한 작업에 대한 다양한 분석 도구를 낳는다.[186]

Nurullah Demir 외 여러 연구자의 논문에서, 저자들은 웹 기반 측정 연구를 위한 모범 사례를 도출하고 재현성과 반복성을 위한 기준을 확립하기 위해 117편의 최근 연구 논문을 조사했다.[186] 그들은 결과를 재현하고 반복하기 위한 실험 설정 및 기타 중요한 정보가 종종 누락된다는 것을 발견했다.[186] 24개의 서로 다른 측정 설정을 사용하여 450만 페이지에 대한 대규모 웹 측정 연구에서, 저자들은 실험 설정의 약간의 차이가 전반적인 결과에 미치는 영향을 보여주면서 정확하고 포괄적인 문서화의 필요성을 강조했다.[186]

6. 기관 및 단체

베를린 메타연구 혁신 센터(Meta-Research Innovation Center at Berlin)[187], 스탠퍼드 메타연구 혁신 센터(Meta-Research Innovation Center at Stanford)[188][189], 틸뷔르흐 대학교 메타연구 센터(Meta-Research Center at Tilburg University), 인도 조지 글로벌 보건 연구소의 메타 연구 및 증거 통합 부서, 그리고 열린 과학 센터(Center for Open Science)는 전 세계적으로 메타연구를 수행하는 기관 및 대학교들이다. OurResearch, 과학적 무결성 센터(Center for Scientific Integrity) 및 알트메트릭스 기업은 메타과학 도구를 개발하는 기관이다. 학제 간 메타 연구 및 열린 과학 협회(Association for Interdisciplinary Meta-Research and Open Science)(AIMOS)에서 주최하는 연례 메타과학 회의와 열린 과학 센터에서 주최하는 격년 회의가 있다.[190][191]

6. 1. 학술지 (Journals)

6. 2. 학회 (Conferences)

https://metascience.info/ 연례 메타과학 컨퍼런스가 있다.

7. 한국 사회에 대한 시사점

참조

[1] 논문 Meta-research: Evaluation and Improvement of Research Methods and Practices 2015-10-02
[2] 웹사이트 On communicating science and uncertainty: A podcast with John Ioannidis https://scopeblog.st[...] 2015-12-08
[3] 논문 Statistical Evaluation of Medical Journal Manuscripts https://jamanetwork.[...] 1966-03-28
[4] 논문 Is the Replicability Crisis Overblown? Three Arguments Examined http://journals.sage[...] 2012
[5] 논문 Open Editors: A dataset of scholarly journals' editorial board positions 2022-10-04
[6] 논문 Statistical Evaluation of Medical Journal Manuscripts
[7] 논문 Scientific Basis for the Support of Biomedical Science. https://www.jstor.or[...] 2023-12-14
[8] 논문 Why most published research findings are false. 2005-08
[9] 웹사이트 Highly Cited Researchers http://highlycited.c[...] 2015-09-17
[10] 문서 Medicine - Stanford Prevention Research Center. https://profiles.sta[...]
[11] 뉴스 Most Science Studies Appear to Be Tainted By Sloppy Analysis https://www.wsj.com/[...] Dow Jones & Company 2016-12-05
[12] 문서 "The quality of evidence for medical interventions does not improve or worsen: a metaepidemiological study of Cochrane reviews. Journal of Clinical Epidemiology 2020;126:154–159" https://www.jclinepi[...]
[13] 논문 Researching the researchers
[14] 논문 Research on research
[15] 논문 Editorial Peer Review in Biomedical Publication
[16] 논문 A new forum for research on research integrity and peer review
[17] 논문 Meta-assessment of bias in science 2017
[18] 논문 Weak statistical standards implicated in scientific irreproducibility https://www.nature.c[...] 2019-05-09
[19] 논문 Linguistic obfuscation in fraudulent science 2016
[20] 논문 Applying weighted PageRank to author citation networks 2010
[21] 논문 A systematic review highlights a knowledge gap regarding the effectiveness of health-related training programs in journalology 2015-03
[22] 논문 The Changing Landscape of Journalology in Medicine 2019-03
[23] 논문 "'Journalologists' use scientific methods to study academic publishing. Is their work improving science?" 2018-09-18
[24] 논문 Metascience could rescue the 'replication crisis'
[25] 뉴스 Why 'Statistical Significance' Is Often Insignificant https://www.bloomber[...] 2017-11-07
[26] 논문 Editors' Introduction to the Special Section on Replicability in Psychological Science: A Crisis of Confidence?
[27] 간행물 The Crisis in Social Psychology That Isn't http://www.newyorker[...] 2013-05-01
[28] 간행물 The Truth Wears Off http://www.newyorker[...] 2010-12-13
[29] 뉴스 Dozens of major cancer studies can't be replicated https://www.sciencen[...] 2022-01-19
[30] 웹사이트 Reproducibility Project: Cancer Biology https://www.cos.io/r[...] Center for Open Science 2022-01-19
[31] 서적 Scientific Method: How science works, fails to work or pretends to work. Taylor and Francis 2017
[32] 논문 Do Neuroscience Journals Accept Replications? A Survey of Literature 2017
[33] 논문 Are Psychology Journals Anti-replication? A Snapshot of Editorial Practices 2017
[34] 서적 Incentives and Performance Springer International Publishing 2015
[35] 논문 Academic Research in the 21st Century: Maintaining Scientific Integrity in a Climate of Perverse Incentives and Hypercompetition 2016-09-22
[36] 웹사이트 Blame bad incentives for bad science https://www.sciencen[...] 2016-10-21
[37] 논문 The natural selection of bad science
[38] 논문 Games academics play and their consequences: how authorship, h -index and journal impact factors are shaping the future of academia 2019-12-04
[39] 논문 Contributorship, Not Authorship: Use CRediT to Indicate Who Did What 2019-09
[40] 논문 Transparency in authors' contributions and responsibilities to promote integrity in scientific publication 2018-03-13
[41] 논문 Beyond authorship: attribution, contribution, collaboration, and credit https://www.research[...] 2015-04-01
[42] 논문 Digital badges aim to clear up politics of authorship 2015-10
[43] 논문 Over-optimization of academic publishing metrics: observing Goodhart's Law in action 2019-06-01
[44] 논문 Metascience on Peer Review: Testing the Effects of a Study's Originality and Statistical Significance in a Field Experiment https://psyarxiv.com[...] 2020-03-01
[45] 논문 Making a difference in the real world? A meta-analysis of the quality of use-oriented research using the Research Quality Plus approach 2019-04-01
[46] 웹사이트 Bringing Rigor to Relevant Questions: How Social Science Research Can Improve Youth Outcomes in the Real World http://wtgrantfounda[...] 2021-11-22
[47] 논문 A reputation economy: how individual reward considerations trump systemic arguments for open access to data 2017-06-20
[48] 논문 America's top universities reap the benefit of Italian-trained scientists https://www.nature.c[...] 2022-12-01
[49] 간행물 Scientometrics https://arxiv.org/ab[...] 2013
[50] arXiv Plea to publish less 2021-10-08
[51] 서적 Proceedings of the 2021 Conference on Empirical Methods in Natural Language Processing Association for Computational Linguistics 2021-11
[52] 웹사이트 Importance Assessment in Scholarly Networks http://ceur-ws.org/V[...]
[53] 논문 Science and public policy 2021-03-01
[54] 서적 Superintelligence: Paths, Dangers, Strategies Oxford University Press 2014
[55] 서적 The Precipice: Existential Risk and the Future of Humanity Bloomsbury Publishing
[56] 웹사이트 Technology is changing faster than regulators can keep up - here's how to close the gap https://www.weforum.[...] 2022-01-27
[57] 논문 The misallocation of climate research funding 2020-04-01
[58] 뉴스 Nobel prize-winning work is concentrated in minority of scientific fields https://phys.org/new[...] 2020-08-17
[59] 논문 Work honored by Nobel prizes clusters heavily in a few scientific fields 2020-07-29
[60] 논문 Funding CRISPR: Understanding the role of government and philanthropic institutions in supporting academic research within the CRISPR innovation system 2022-06-22
[61] 웹사이트 Science as a Global Public Good https://council.scie[...] 2021-10-08
[62] 서적 The Oxford Handbook of the Science of Science Communication https://books.google[...] Oxford University Press 2017-05-17
[63] 논문 Science communication in online media: influence of press releases on coverage of genetics and CRISPR https://www.biorxiv.[...] 2019-12-16
[64] 논문 Framing Analysis of News Coverage on Renewable Energy in the Star Online News Portal http://jestec.taylor[...] 2021-11-22
[65] 논문 Predicting News Coverage of Scientific Articles https://ojs.aaai.org[...] 2018-06-15
[66] 논문 Platforms and Institutions in the Post-Pandemic University: a Case Study of Social Media and the Impact Agenda 2021-11-04
[67] 논문 Measuring attention https://www.research[...] 2015
[68] 논문 "I updated the <ref>": The evolution of references in the English Wikipedia and the implications for altmetrics 2022-04-12
[69] 논문 Altmetrics: an overview and evaluation 2017-06-12
[70] 논문 The global environmental agenda urgently needs a semantic web of knowledge 2022-02-17
[71] 웹사이트 How Do Science Journalists Evaluate Psychology Research? https://psyarxiv.com[...]
[72] 논문 Controversies in Science https://eprints.whit[...] 2019-09-01
[73] 서적 How Should Humanity Steer the Future? 2016
[74] 논문 How to make sense of science: Mano Singham: The great paradox of science: why its conclusions can be relied upon even though they cannot be proven. Oxford: Oxford University Press, 2019, 332 pp, £ 22.99 HB 2021-07
[75] 웹사이트 Correcting misconceptions - Understanding Science https://undsci.berke[...] 2022-04-21
[76] 논문 Why are people antiscience, and what can we do about it? 2022-07-26
[77] 웹사이트 The 4 bases of anti-science beliefs – and what to do about them https://scienmag.com[...] 2022-07-11
[78] 웹사이트 The Antiscience Movement Is Escalating, Going Global and Killing Thousands https://www.scientif[...]
[79] 논문 Lessons from arXiv's 30 years of information sharing 2021-09
[80] 뉴스 Nature Journals To Charge Authors Hefty Fee To Make Scientific Papers Open Access https://www.iflscien[...] 2021-11-22
[81] 뉴스 Harvard University says it can't afford journal publishers' prices https://www.theguard[...] 2012-04-24
[82] 논문 Open access: The true cost of science publishing 2013-03-01
[83] 논문 The academic, economic and societal impacts of Open Access: an evidence-based review 2016-09-21
[84] 뉴스 Paywall: The business of scholarship review – analysis of a scandal https://www.newscien[...]
[85] 논문 Does it take too long to publish research? 2016-02-01
[86] 웹사이트 Open peer review: bringing transparency, accountability, and inclusivity to the peer review process https://blogs.lse.ac[...] 2017-09-13
[87] 간행물 The Pandemic Uncovered Ways to Speed Up Science https://www.wired.co[...]
[88] 웹사이트 Speeding up the publication process at PLOS ONE https://everyone.plo[...] 2019-05-13
[89] 웹사이트 Open Alex Data Evolution https://observablehq[...] 2022-02-08
[90] 뉴스 Massive open index of scholarly papers launches https://www.nature.c[...] 2022-01-24
[91] 뉴스 OpenAlex: The Promising Alternative to Microsoft Academic Graph https://library.smu.[...]
[92] 웹사이트 OpenAlex Documentation https://docs.openale[...]
[93] 논문 A protocol for adding knowledge to Wikidata: aligning resources on human coronaviruses 2021-01-22
[94] 논문 Scientific prizes and the extraordinary growth of scientific topics 2021-10-05
[95] 웹사이트 Scholia – biomarker https://scholia.tool[...]
[96] 논문 Growth rates of modern science: a latent piecewise growth curve approach to model publication numbers from established and new literature databases 2021-10-07
[97] 논문 Papers and patents are becoming less disruptive over time 2023-01
[98] 웹사이트 America Is Running on Fumes https://www.theatlan[...] 2021-12-01
[99] 웹사이트 Science Is Getting Less Bang for Its Buck https://www.theatlan[...] 2018-11-16
[100] 논문 Stagnation and Scientific Incentives https://www.nber.org[...] 2020-02
[101] 뉴스 With fewer disruptive studies, is science becoming an echo chamber? https://www.advanced[...] 2023-01-13
[102] 논문 Bias against novelty in science: A cautionary tale for users of bibliometric indicators https://lirias.kuleu[...] 2017-10-01
[103] 웹사이트 Science mapping https://www.isko.org[...] 2020
[104] 논문 Science Mapping: A Systematic Review of the Literature https://www.research[...] 2017-03-21
[105] 논문 Some bibliometric procedures for analyzing and evaluating research fields 2018-05-01
[106] 논문 Politics and health: a neglected area of research 2008-03-31
[107] 논문 The misallocation of climate research funding 2020-04-01
[108] 논문 Mapping the community: use of research evidence in policy and practice 2020-09-07
[109] 논문 Investigating disagreement in the scientific literature 2021-12-24
[110] 논문 The Advantages and Limitations of Using Meta-analysis in Human Resource Management Research 2017-03-01
[111] 논문 Decision makers need constantly updated evidence synthesis 2021-12
[112] 논문 Science of science https://www.research[...] 2021-11-22
[113] 서적 Science of Science: Understanding the Foundations and Limits of Science from an Interdisciplinary Perspective https://doi.org/10.1[...] Oxford University Press 2024
[114] 웹사이트 New ideas are struggling to emerge from the sea of science https://www.axios.co[...] Axios 2021-11-15
[115] 논문 Slowed canonical progress in large fields of science 2021-10-12
[116] 뉴스 Sharing of tacit knowledge is most important aspect of mentorship, study finds https://phys.org/new[...] 2020-07-04
[117] 논문 Mentorship and protégé success in STEM fields 2020-06-23
[118] 뉴스 Science of Science authors hope to spark conversations about the scientific enterprise https://phys.org/new[...] 2023-01-28
[119] 논문 How did Mendel arrive at his discoveries? 2022-07
[120] 논문 Correlations Between Avocations, Scientific Style, Work Habits, and Professional Impact of Scientists 1995-04-01
[121] 논문 A qualitative study of social sciences faculty research workflows 2022-01-01
[122] 웹사이트 Researchers reading habits for scientific literature {{!}} SciELO in Perspective https://blog.scielo.[...] 2014-04-03
[123] 뉴스 Scientists may be reaching a peak in reading habits https://www.nature.c[...] 2014-02-03
[124] 논문 Comparative analysis of academic scientists, social scientists and humanists' scholarly information seeking habits 2021-01-01
[125] 뉴스 Why it pays to join a big research group if you want to be more scientifically productive https://physicsworld[...] 2022-11-24
[126] 논문 Labor advantages drive the greater productivity of faculty at elite universities 2022-11-16
[127] 웹사이트 LibGuides: Promotion & Tenure and Open Scholarship: How is "impact" measured & valued? https://libguides.mi[...] 2024-03-14
[128] 논문 Meta-analysis and the science of research synthesis 2018-03
[129] 웹사이트 Academic Incentives and Research Impact: Developing Reward and Recognition Systems to Better People's Lives https://sfdora.org/r[...] 2023-01-28
[130] 웹사이트 We Need a New Science of Progress https://www.theatlan[...] 2019-07-30
[131] 웹사이트 Do we need a better understanding of 'progress'? https://www.bbc.com/[...] BBC 2023-01-27
[132] 서적 How Should Humanity Steer the Future? Springer International Publishing 2016
[133] 웹사이트 Developing the science of science https://www.worksinp[...] 2023-01-25
[134] 뉴스 How to escape scientific stagnation https://www.economis[...] 2023-01-25
[135] 웹사이트 Registered Replication Reports http://www.psycholog[...] Association for Psychological Science 2015-11-13
[136] 뉴스 Psychology's 'registration revolution' https://www.theguard[...] 2014-05-20
[137] 논문 Transparent and accurate reporting increases reliability, utility, and impact of your research: reporting guidelines and the EQUATOR Network
[138] 논문 A catalogue of reporting guidelines for health research
[139] 논문 Writing a research article that is "fit for purpose": EQUATOR Network and reporting guidelines 2009-10
[140] Youtube Ep. 49: Joel Chan on metascience, creativity, and tools for thought. https://www.youtube.[...]
[141] 웹사이트 Risk of Bias Tool {{!}} Cochrane Bias https://methods.coch[...] 2023-01-25
[142] 논문 Constructive and obsessive criticism in science 2022-11
[143] 뉴스 Coronavirus in context: Scite.ai tracks positive and negative citations for COVID-19 literature https://www.nature.c[...] 2022-02-19
[144] 논문 scite: A smart citation index that displays the context of citations and classifies their intent using deep learning 2021-11-05
[145] 뉴스 New bot flags scientific studies that cite retracted papers https://www.nature.c[...] 2023-01-25
[146] 서적 Companion Computer Supported Cooperative Work and Social Computing Association for Computing Machinery 2022-11-08
[147] 논문 Jumping over the paywall: Strategies and motivations for scholarly piracy and other alternatives https://eprints.ucm.[...] 2022-12-12
[148] 논문 How to find, read and organize papers https://www.nature.c[...] 2022-07-07
[149] 서적 Human Interface and the Management of Information. Information and Knowledge Design Springer International Publishing 2015
[150] 논문 Personal information management practices: how scientists find and organize information https://www.emerald.[...] 2022-01-01
[151] 서적 The 34th Annual ACM Symposium on User Interface Software and Technology Association for Computing Machinery 2021-10-12
[152] 논문 WikiProject Clinical Trials for Wikidata 2022-04-04
[153] 논문 Software tools for conducting bibliometric analysis in science: An up-to-date review 2020-01-19
[154] 뉴스 A new replication crisis: Research that is less likely to be true is cited more https://phys.org/new[...] 2021-06-14
[155] 논문 Nonreplicable publications are cited more than replicable ones 2021-05-01
[156] 논문 Experts identified warning signs of fraudulent research: a qualitative study to inform a screening tool 2022-11-01
[157] 논문 Why Most Clinical Research Is Not Useful
[158] 논문 Contradicted and initially stronger effects in highly cited clinical research 2005-07-13
[159] 논문 Avoidable waste in the production and reporting of research evidence http://timetravel.me[...]
[160] 웹사이트 Dark Side of Medical Research: Widespread Bias and Omissions https://www.livescie[...] 2019-05-24
[161] 논문 Confronting conflict of interest 2018-11
[162] 논문 Conflicts of interest of editors of medical journals 2018
[163] 논문 The antidepressant debate. 2002-03
[164] 논문 The risk of unblinding was infrequently and incompletely reported in 300 randomized clinical trial publications. 2014-10
[165] 논문 Blinding in pharmacological trials: the devil is in the details 2013-09-01
[166] 논문 Antidepressants and the Placebo Effect. 2014
[167] 논문 Effectiveness of antidepressants: an evidence myth constructed from a thousand randomized trials? 2008-05-27
[168] 논문 CONSORT 2010 Statement: updated guidelines for reporting parallel group randomised trials 2010-03-24
[169] 논문 Discussion Sections in Reports of Controlled Trials Published in General Medical Journals
[170] 논문 Cumulative Meta-Analysis of Therapeutic Trials for Myocardial Infarction
[171] 논문 Randomized controlled trials of aprotinin in cardiac surgery: Could clinical equipoise have stopped the bleeding?
[172] 논문 Accumulating Research: A Systematic Account of How Cumulative Meta-Analyses Would Have Provided Knowledge, Improved Health, Reduced Harm and Saved Resources
[173] 논문 A Systematic Examination of the Citation of Prior Research in Reports of Randomized, Controlled Trials
[174] 웹사이트 When Evidence Says No, but Doctors Say Yes - The Atlantic https://getpocket.co[...] 2020-04-10
[175] 논문 Persistence of contradicted claims in the literature. 2007-12-05
[176] 논문 Underreporting in Psychology Experiments: Evidence From a Study Registry 2016-01-01
[177] 논문 Metascience: Reproducibility blues 2017-03-29
[178] 논문 This research group seeks to expose weaknesses in science{{snd}}and they'll step on some toes if they have to 2018-09-20
[179] 논문 Estimating the reproducibility of psychological science http://eprints.keele[...]
[180] 논문 False-Positive Psychology
[181] 논문 The Alleged Crisis and the Illusion of Exact Replication https://pure.rug.nl/[...]
[182] 논문 Psychology's Replication Crisis Has Made The Field Better https://fivethirtyei[...] 2018-12-06
[183] 논문 Open Science challenges, benefits and tips in early career and beyond http://psyarxiv.com/[...]
[184] 논문 The earth is round (p < .05)
[185] 논문 Blind analysis: Hide results to seek the truth 2015-10-08
[186] 간행물 Reproducibility and Replicability of Web Measurement Studies Association for Computing Machinery
[187] 웹사이트 Meta-Research Innovation Center Berlin https://www.metricbe[...] 2021-12-06
[188] 웹사이트 Home {{!}} Meta-research Innovation Center at Stanford https://metrics.stan[...] 2021-12-06
[189] 웹사이트 Meta-research and Evidence Synthesis Unit https://www.georgein[...] 2021-12-19
[190] 웹사이트 AIMOS 2022 https://www.eventcre[...] 2023-03-20
[191] 웹사이트 Metascience 2023 https://metascience.[...] 2023-03-20
[192] 저널 Meta-research: Evaluation and Improvement of Research Methods and Practices 2015-10-02
[193] 웹인용 On communicating science and uncertainty: A podcast with John Ioannidis https://scopeblog.st[...] 2015-12-08


본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com