맨위로가기

메타분석

"오늘의AI위키"는 AI 기술로 일관성 있고 체계적인 최신 지식을 제공하는 혁신 플랫폼입니다.
"오늘의AI위키"의 AI를 통해 더욱 풍부하고 폭넓은 지식 경험을 누리세요.
목차

1. 개요

메타분석은 여러 연구 결과를 통합하여 분석하는 통계적 방법으로, 1976년 진 글래스가 처음 사용했다. 의학, 심리학, 사회과학 등 다양한 분야에서 활용되며, 연구의 질, 통계적 방법 선택, 편향, 연구 간 이질성 등의 문제점을 안고 있다. 한국에서도 다양한 분야에서 메타분석 연구가 이루어지고 있으며, 최근에는 인공지능을 활용한 메타분석 방법론도 등장하고 있다.

더 읽어볼만한 페이지

  • 증거 기반 실행 - 무작위 대조 시험
  • 증거 기반 실행 - 효과적 이타주의
    효과적 이타주의는 세상을 가장 효과적으로 이롭게 하는 방법을 탐구하는 철학적 운동으로, 기부, 직업 선택 등을 통해 세계 빈곤, 동물 복지 등을 개선하려 하며, 피터 싱어 등이 주요 인물이다.
  • 연구 방법 - 민족지
    민족지는 특정 문화, 사회, 집단에 대한 연구 방법이자 결과물을 의미하며, 다양한 학문 분야에서 활용되어 사람들의 사회적 의미와 일상 활동을 포착하고 문화의 보편성과 변이를 연구, 해석하는 학문이다.
  • 연구 방법 - 무작위 대조 시험
  • 평가 방법 - 양적 연구
    양적 연구는 사회 현상이나 자연 현상을 수치화하여 과학적 방법과 통계 분석 등을 통해 가설을 검증하고 인과 관계를 규명하는 연구 방법론이다.
  • 평가 방법 - 사례 연구
    사례 연구는 소수 사례에 대한 심층 연구로 현상에 대한 풍부한 이해를 제공하는 질적 연구 방법으로, 다양한 연구 설계와 사례 선택 전략을 활용하여 이론 생성 및 검증 등에 유용하지만 일반화의 어려움과 선택 편향의 위험이 존재하며 교육 분야에서 교수법으로 활용된다.
메타분석
통계적 방법
유형통계
하위 유형메타분석
과학 분야통계학
의학
역학
사회과학
관련 주제체계적 문헌고찰
출판 편향
에거 테스트
상세 정보
관련 통계평균
표준 편차
신뢰 구간
p값
고안자진 글래스

2. 역사

"메타분석"이라는 용어는 1976년 통계학자 진 글래스가 처음 사용했으며,[1][2] 그는 ''"메타분석은 분석의 분석을 의미한다"'라고 말했다.[3] 글래스의 연구는 관계와 효과에 대한 집계된 측정값을 설명하는 것을 목표로 했다.[4]

칼 피어슨이 1904년 ''영국 의학 저널''에 발표한 논문[5]은 장티푸스 예방 접종에 대한 여러 연구의 데이터를 수집했으며, 여러 임상 연구의 결과를 집계하기 위해 메타분석적 접근 방식이 처음 사용된 사례로 여겨진다.[6][7] 1920년대에는 영국의 통계학자 로널드 피셔가 농업 분야에서 여러 연구의 분석 방법을 제시했으며, 1935년에는 저서를 통해 발표했다.[156]

1978년, 메리 리 스미스와 진 글래스는 정신 요법 결과의 효과에 대한 최초의 모델 메타분석을 발표했다.[2][11] 그러나 한스 아이젠크는 메타분석을 "메가 어리석음의 연습", "통계적 연금술"이라고 비판했다.[12][13][14] 이러한 비판에도 불구하고 메타분석의 사용은 꾸준히 증가하여, 1991년에는 334개,[13] 2014년에는 9,135개의 메타분석이 발표되었다.[1][15]

1970년대 이후 메타분석 분야는 심리학, 의학, 생태학 등 여러 분야로 확장되었으며,[1] 최근에는 증거 합성을 위한 커뮤니티가 만들어져 다양한 분야에서 아이디어, 방법론 및 소프트웨어 도구의 상호 교류가 증가하고 있다.[16][17][18] 2020년에는 인공 지능을 사용한 메타분석의 신속한 작성 방법이 발명되었다.[157]

3. 절차

메타 분석은 연구 추출과 풀 분석 절차를 따른다. 이 과정에서 주관적이거나 자의적인 바이어스를 피하는 것은 무작위 비교 시험의 연속이다.[158] 연구 추출은 발견된 연구 전체를 대상으로 한다. 자의적으로 연구를 추출하는 것을 피한다. 데이터를 결합하여, 치료군과 대조군 각각의 종말점 평균값을 산출한다.


  • 산출: 치료군과 대조군의 평균값 차이를 표준 편차로 나눈다. 효과 크기 값은, 치료가 플러스가 되는지 마이너스가 되는지의 객관적인 척도로 산출된다.


무작위 비교 시험에서, 치료군과 대조군의 개선도 차이가 작은 경우, 통계에 의한 검정력이 낮아, 통계적 유의성이 있는 차이가 발견되지 않을 수 있다. 그러나, 메타 분석을 통해, 모집단의 수를 늘림으로써, 이 통계적 유의성이 있는 차이가 발견될 가능성이 높아진다.

3. 1. 문헌 검색

메타분석에서 가장 중요한 단계 중 하나는 데이터 수집이다.[19] 효율적인 데이터베이스 검색을 위해 적절한 키워드와 검색 범위를 식별해야 한다.[19] 불리언 연산자와 검색 범위의 사용은 문헌 검색에 도움이 된다.[20][21] PubMed, Embase, PsychInfo 등 다양한 데이터베이스를 사용할 수 있지만, 연구 분야에 가장 적합한 소스를 선택하는 것은 연구자의 몫이다.[22] 많은 과학자들은 여러 소스를 포괄하기 위해 둘 이상의 데이터베이스에서 중복된 검색어를 사용한다.[23]

적격 연구의 참고 문헌 목록을 검색하여 적격 연구를 찾을 수도 있다(스노우볼링).[24] 초기 검색으로 많은 양의 연구가 나올수 있으며,[24] 사전 지정된 기준에 따라 연구가 포함하기에 적합하지 않다는 것이 원고의 초록이나 제목에서 종종 드러난다.[22] 이러한 연구는 폐기할 수 있다. 그러나 연구가 적격일 가능성이 있거나(또는 약간의 의문이 있는 경우) 전체 논문을 더 자세히 검토하기 위해 보관할 수 있다. 적격 논문의 참고 문헌 목록에서도 관련 논문을 검색할 수 있다.[23][25]

이러한 검색 결과는 검토의 모든 단계를 통해 정보 흐름을 자세히 설명하는 PRISMA 흐름도[26]에 상세히 기록해야 한다. 지정된 검색어를 사용한 후 반환된 연구 수와 그중 폐기된 연구 수, 그리고 그 이유를 기록하는 것이 중요하다.[22] 검색어와 전략은 독자가 검색을 재현할 수 있을 정도로 구체적이어야 하며,[27] 연구의 기간 범위와 검색이 수행된 날짜(또는 기간)도 제공해야 한다.[28]

3. 2. 연구 선정 및 데이터 추출

메타 분석은 연구 추출 및 풀 분석 절차를 따른다. 이 과정에서 주관적이거나 자의적인 바이어스를 피하는 것은 무작위 비교 시험의 연속이다.[158] 발견된 연구 전체를 대상으로 하며, 자의적으로 연구를 추출하는 것을 피한다.

사전 지정된 기준에 따라 연구가 포함하기에 적합한지 평가한다. 데이터 수집 양식은 적격 연구로부터 데이터를 수집하는 표준화된 수단을 제공한다. 상관 관계 데이터의 메타분석의 경우, 효과 크기 정보는 일반적으로 Pearson's ''r'' 통계량으로 수집된다. 효과를 조절할 수 있는 중요한 연구 특성(예: 참가자의 평균 연령)을 보고하는 데이터도 수집해야 한다. 각 연구의 증거 품질을 평가하기 위해 연구 품질 척도를 포함할 수도 있다.

3. 3. 통계 분석

메타분석에서는 일반적으로 개별 참여자 데이터(IPD)와 집계 데이터(AD)의 두 가지 유형의 증거를 구별할 수 있다.[49] 집계 데이터는 직접적이거나 간접적일 수 있으며, 승산비[50] 또는 상대 위험도[51]와 같은 요약 추정치로 나타난다. 직접 집계 데이터는 개념적으로 유사한 연구에서 여러 방법을 통해 통합될 수 있다. 간접 집계 데이터는 유사한 대조군과 비교된 두 가지 치료법의 효과를 측정하며, 별도의 메타분석에서 위약과 직접 비교된 치료법 A와 B의 통합된 결과를 사용하여 간접 비교에서 A 대 B의 효과 추정치를 얻을 수 있다.

IPD 증거는 연구 센터에서 수집한 원시 데이터를 나타낸다. 이러한 증거 차이로 인해 1단계 및 2단계 방법과 같은 메타분석 방법이 개발되었다.[52] 1단계 방법은 모든 연구의 IPD를 동시에 모델링하고, 2단계 방법은 각 연구에서 AD에 대한 요약 통계를 계산한 후 전체 통계를 계산한다. 2단계 방법은 IPD를 사용할 수 있을 때도 적용 가능하여 메타분석 수행 시 매력적인 선택이 된다. 1단계 방법과 2단계 방법은 유사한 결과를 산출하는 것으로 알려져 있었으나, 최근 연구에서는 다른 결론으로 이어질 수 있음이 밝혀졌다.[53][54]

메타분석은 개별 환자 데이터(IPD)와 집계 데이터(AD)를 결합하는 데에도 적용될 수 있으며, 일반화된 통합 모델(GIM)은 메타분석의 일반화된 형태이다.

메타 분석은 연구 추출과 풀 분석 절차를 따른다. 이 과정에서 주관적이거나 자의적인 바이어스를 피하는 것은 무작위 비교 시험(RCT)의 연속이다[158]。 연구 추출은 발견된 연구 전체를 대상으로 하며, 데이터를 결합하여 치료군과 대조군 각각의 종말점 평균값을 산출한다. 효과 크기는 치료군과 대조군의 평균값 차이를 표준 편차로 나누어, 치료 효과의 객관적인 척도로 산출된다.

무작위 비교 시험에서 치료군과 대조군의 개선도 차이가 작으면 통계적 유의성이 있는 차이가 발견되지 않을 수 있다. 그러나 메타분석을 통해 모집단의 수를 늘려 통계적 유의성이 있는 차이가 발견될 가능성을 높인다.

3. 4. 결과 해석 및 보고

메타분석 추정치는 여러 연구의 가중 평균을 나타내며, 이질성이 있는 경우 요약 추정치가 개별 연구를 대표하지 못할 수 있다. 확립된 도구를 사용하여 1차 연구를 질적으로 평가하면 잠재적인 바이어스를 발견할 수 있지만,[97][98] 이러한 바이어스가 요약 추정치에 미치는 총체적인 영향을 정량화하지는 못한다. 메타분석 결과를 독립적인 전향적 1차 연구와 비교할 수 있지만, 이러한 외부 검증은 종종 비실용적이다. 이로 인해 때때로 내부-외부 교차 검증(IOCV)이라고도 하는 하나씩 제외 교차 검증 형태를 활용하는 방법이 개발되었다.[99] 여기서 k개의 포함된 각 연구는 차례로 생략되고 나머지 k-1개 연구를 집계하여 도출된 요약 추정치와 비교된다. 메타분석 결과의 통계적 타당성을 측정하기 위해 IOCV를 기반으로 하는 일반적인 검증 통계량 Vn이 개발되었다.[100] 특히 다변량 효과가 있는 경우, 시험 정확도 및 예측을 위해 예측 오차를 추정하려는 다른 접근 방식도 제안되었다.[101]

메타분석은 연구 추출과 풀 분석 절차를 따르며, 이 과정에서 주관적이거나 자의적인 바이어스를 피하는 것은 무작위 비교 시험의 연속이다.[158] 연구 추출은 발견된 연구 전체를 대상으로 하며, 자의적으로 연구를 추출하는 것을 피한다. 풀(pool)은 데이터를 결합하여 치료군과 대조군 각각의 종말점 평균값을 산출하며, 효과 크기 산출은 치료군과 대조군의 평균값 차이를 표준 편차로 나누어 치료 효과의 객관적인 척도를 산출한다. 무작위 비교 시험에서 치료군과 대조군의 개선도 차이가 작으면 통계적 유의성이 있는 차이가 발견되지 않을 수 있지만, 메타분석을 통해 모집단의 수를 늘려 통계적 유의성이 있는 차이를 발견할 가능성을 높인다.

4. 통계 모델

4. 1. 고정 효과 모델 (Fixed effect model)

고정 효과 모형은 일련의 연구 추정치의 가중 평균을 제공한다.[55] 추정치의 분산의 역수가 일반적으로 연구 가중치로 사용되므로, 규모가 큰 연구가 규모가 작은 연구보다 가중 평균에 더 많이 기여하는 경향이 있다.[56] 결과적으로, 메타 분석 내의 연구가 매우 큰 연구에 의해 지배되는 경우, 규모가 작은 연구의 결과는 사실상 무시된다.[57]

효과 크기의 포레스트 플롯


가장 중요한 것은 고정 효과 모형이 포함된 모든 연구가 동일한 모집단을 조사하고, 동일한 변수 및 결과 정의 등을 사용한다고 가정한다는 것이다.[58] 이 가정은 연구가 종종 여러 출처의 이질성에 취약하기 때문에 일반적으로 비현실적이다.[59][60]

독립적인 효과 크기 추정치의 집합, 각 추정치에 해당하는 효과 크기 i = 1,\ldots,k로 시작하는 경우 y_i = \theta_i + e_i라고 가정할 수 있다. 여기서 y_i는 i번째 연구에서 관찰된 효과, \theta_i는 해당 (알 수 없는) 실제 효과, e_i는 표본 오차이고 e_i \thicksim N(0, v_i)이다. 따라서 y_i는 해당 실제 효과의 편향되지 않은 정규 분포 추정치라고 가정한다. 표본 분산(즉, v_i 값)은 알려져 있다고 가정한다.[76]

4. 2. 무작위 효과 모델 (Random effects model)

무작위 효과 모델은 포함된 표본의 특성 차이로 인해 발생하는 연구 간 변동성, 즉 "이질성"을 고려하는 모델이다.[76][61] 이질성을 순전히 무작위로 취급하며, 무작위 효과 메타 분석을 통한 가중 평균화 과정에서 적용되는 가중치는 두 단계로 수행된다.[62]

첫 번째 단계는 역분산 가중치를 부여하는 것이고, 두 번째 단계는 기본 연구의 효과 크기의 변동 정도에서 파생된 무작위 효과 분산 성분(REVC)을 적용하여 이 역분산 가중치를 가중치 제거하는 것이다.[62]

이는 효과 크기의 변동성이 클수록 가중치 제거가 커져서, 무작위 효과 메타 분석 결과가 연구 전체에서 단순히 가중치가 없는 평균 효과 크기가 될 수 있음을 의미한다. 반대로, 모든 효과 크기가 유사할 때는 REVC가 적용되지 않으며 무작위 효과 메타 분석은 단순히 고정 효과 메타 분석(역분산 가중치만)으로 기본 설정된다. 이러한 반전의 정도는 정밀도의 이질성과 효과 크기의 이질성에 따라 달라진다.[63]

무작위 효과 모델의 한 가지 문제는 가장 일반적으로 사용되는 신뢰 구간이 지정된 공칭 수준 이상에서 적용 확률을 유지하지 못하여 통계적 오차를 과소 평가하고 결론에 대해 과신할 수 있다는 것이다.[64][65] 또 다른 우려는 평균 치료 효과가 때때로 고정 효과 모델에 비해 덜 보수적일 수 있다는 것이다.[69]

연구 간 분산을 추정하는 데 사용되는 방법에는 여러 가지가 있으며, 제한된 최대 우도 추정치가 편향에 가장 덜 취약하고 가장 일반적으로 사용되는 방법 중 하나이다.[72] 최대 우도 및 제한된 최대 우도 방법을 모두 포함하는 연구 간 분산을 계산하기 위한 몇 가지 고급 반복 기술이 있으며 이러한 방법을 사용하는 무작위 효과 모델은 여러 소프트웨어 플랫폼에서 실행할 수 있다.

대부분의 메타 분석은 2~4개의 연구를 포함하며 이러한 표본은 이질성을 정확하게 추정하기에 부적절한 경우가 많다.[77]

4. 3. 질적 효과 모델 (Quality effects model)

Doi와 Thalib은 질적 효과 모형을 처음으로 소개했다.[79] 이들은 각 연구에 대한 가중치를 생성하기 위해 고정 효과 메타 분석 모형에서 사용되는 무작위 오차로 인한 분산 외에 질적 요소로 인한 분산의 기여를 통합하여 연구 간 변동성을 조정하는 새로운 접근 방식을 제시했다.[79][80]

질적 효과 메타 분석은 주관적인 무작위 효과 대신 사용 가능한 방법론적 증거를 활용하여 임상 연구에서 방법론과 통계 사이의 간극을 좁히는 데 기여한다. 질 정보에 기반하여 합성 편향 분산을 계산하고, 이를 통해 역분산 가중치를 조정하여 ''i''번째 연구의 질 조정 가중치를 도입한다.[79] 이 조정된 가중치는 메타 분석에 사용된다.

연구 ''i''의 질이 좋고 다른 연구의 질이 낮다면, 질 조정 가중치의 일부가 수학적으로 연구 ''i''로 재분배되어 전체 효과 크기에 더 큰 비중을 둔다. 연구의 질이 유사해질수록 재분배는 감소하며, 모든 연구가 동일한 질을 갖게 되면 중단된다. 이 경우 질적 효과 모형은 IVhet 모형으로 기본 설정된다.

질 평가의 주관성에도 불구하고, (몇 가지 업데이트를 포함한) 질적 효과 모형에 대한 최근 평가는 성능(MSE 및 시뮬레이션 하의 실제 분산)이 무작위 효과 모형보다 우수함을 보여준다.[81][82] 따라서 이 모형은 문헌에서 흔히 발견되는 지지할 수 없는 해석을 대체하며, 이 방법을 더 자세히 탐구할 수 있는 소프트웨어가 제공된다.[83]

4. 4. 네트워크 메타분석 (Network meta-analysis)

네트워크 메타분석(간접 비교 메타분석)은 여러 치료법을 동시에 비교하는 방법이다.[84][85]
네트워크 메타 분석은 간접 비교를 살펴봅니다. 이미지에서 A는 C와 관련하여 분석되었고 C는 B와 관련하여 분석되었습니다. 그러나 A와 B 사이의 관계는 간접적으로만 알려져 있으며, 네트워크 메타 분석은 통계적 방법을 사용하여 방법 및 중재 간의 이러한 간접적인 차이 증거를 살펴봅니다.
직접 비교뿐만 아니라 간접 비교 증거를 활용하여 치료법 간의 효과를 비교한다.

일반적으로 두 가지 주요 방법론을 사용하는데, 첫 번째는 부처 방법[86]으로, 세 가지 치료법의 폐쇄 루프를 단일 또는 반복적으로 비교하는 방법으로, 그중 하나가 두 연구에 공통적으로 사용되며 루프가 시작되고 끝나는 노드를 형성한다. 따라서 여러 치료법을 비교하려면 여러 2x2 비교(3-치료 루프)가 필요하다. 이 방법론은 두 개 이상의 팔을 가진 임상 시험에서 두 개의 팔만 선택해야 독립적인 쌍별 비교가 필요하다. 대안적인 방법론은 복잡한 통계 모델링을 사용하여 여러 팔 임상 시험과 모든 경쟁 치료법 간의 비교를 동시에 포함한다. 이러한 방법은 베이즈 방법, 혼합 선형 모델 및 메타 회귀 접근 방식을 사용하여 실행되었다.

5. 활용

메타 분석은 여러 연구 결과를 통합하여 분석하는 방법으로, 의학, 보건, 심리학, 사회과학 등 다양한 분야에서 활용되고 있다.

1,000건 이상의 미만성 내재성 뇌교종 및 기타 소아 뇌종양 사례에 대한 메타 분석의 그래픽 요약. 여기에는 관련된 돌연변이 및 일반적인 결과에 대한 정보가 기본 1차 문헌에서 추출되었다.


현대 통계적 메타 분석은 가중 평균을 사용하여 일련의 연구의 효과 크기를 결합하는 것 이상을 수행한다. 연구 결과가 연구 참가자 수의 표본 추출로 인해 예상되는 변동보다 더 많은 변동을 보이는지 테스트할 수 있다. 또한 사용된 측정 도구, 표본 추출된 모집단 또는 연구 설계 측면과 같은 연구 특성을 코딩하고 추정량의 분산을 줄이는 데 사용할 수 있다(위의 통계 모델 참조). 따라서 연구의 일부 방법론적 약점을 통계적으로 수정할 수 있다. 메타 분석 방법의 다른 용도로는 임상 예측 모델의 개발 및 검증이 있으며, 메타 분석을 사용하여 서로 다른 연구 센터의 개별 참가자 데이터를 결합하고 모델의 일반성을 평가하거나[139][140] 기존 예측 모델을 집계할 수 있다.[141]

메타 분석은 단일 대상 설계뿐만 아니라 그룹 연구 설계로 수행할 수 있다.[142] 이는 많은 연구가 단일 대상 연구 설계를 사용하여 수행되었기 때문에 중요하다.[143] 단일 대상 연구에 가장 적합한 메타 분석 기술에 대해서는 상당한 논쟁이 있다.[144]

메타 분석은 단일 연구에서 여러 연구로 강조점을 이동시킨다. 이는 개별 연구의 통계적 유의성 대신 효과 크기의 실제적 중요성을 강조한다. 이러한 사고 방식의 변화를 "메타 분석적 사고"라고 한다. 메타 분석의 결과는 종종 숲 그림으로 표시된다.

연구 결과는 다양한 접근 방식을 사용하여 결합된다. 의료 연구에서 메타 분석에 자주 사용되는 한 가지 접근 방식은 '역분산 방법'이라고 한다. 모든 연구의 평균 효과 크기는 각 연구의 효과 추정치의 역분산과 동일한 가중치를 사용하는 ''가중 평균''으로 계산된다. 더 큰 연구와 무작위 변동이 적은 연구에 작은 연구보다 더 큰 가중치가 부여된다. 다른 일반적인 접근 방식으로는 만텔-핸젤 방법[145]과 페토 방법이 있다.[146]

시드 기반 d 매핑 (구 SDM(signed differential mapping))은 fMRI, VBM 또는 PET과 같은 신경 영상 기술을 사용하여 뇌 활동 또는 구조의 차이에 대한 연구를 메타 분석하기 위한 통계적 기술이다.

마이크로어레이와 같은 다양한 고처리량 기술을 사용하여 유전자 발현을 이해해 왔다. 마이크로RNA 발현 프로파일은 특정 세포 또는 조직 유형 또는 질병 상태에서 차등적으로 발현되는 마이크로RNA를 식별하거나 치료 효과를 확인하는 데 사용되어 왔다. 이러한 발현 프로파일의 메타 분석은 새로운 결론을 도출하고 알려진 결과를 검증하기 위해 수행되었다.[147]

전체 게놈 시퀀싱 연구의 메타 분석은 복잡한 표현형과 관련된 희귀 변이를 발견하기 위해 대규모 표본 크기를 수집하는 문제에 대한 매력적인 해결책을 제공한다. 요약 통계 저장에 대한 효율적인 접근 방식을 사용하여 바이오뱅크 규모 코호트에서 기능적으로 정보를 제공하는 희귀 변이 연관 메타 분석을 가능하게 하는 일부 방법이 개발되었다.[148]

광범위한 메타 분석은 또한 효과 네트워크를 추정하는 데 사용될 수 있다. 이를 통해 연구자들은 보다 정확하게 추정된 결과의 더 넓은 파노라마에서 패턴을 검토하고 더 넓은 맥락(예: 성격-지능 관계가 특성 계열에 따라 어떻게 다른지)을 고려하는 결론을 도출할 수 있다.[149]

5. 1. 의학 및 보건

의학 및 보건 분야에서 메타분석은 치료 효과, 진단 방법의 정확성, 질병 위험 요인 등을 평가하는 데 널리 사용된다.[149] 여러 연구 결과를 통합하여 분석함으로써 개별 연구의 한계를 극복하고 보다 신뢰성 있는 결론을 도출할 수 있다.

현대 통계적 메타 분석은 가중 평균을 사용하여 일련의 연구의 효과 크기를 결합하는 것 외에도, 연구 결과의 변동성을 테스트하고 연구 특성을 활용하여 추정량의 분산을 줄이는 등 다양한 기능을 수행한다. 이를 통해 연구의 방법론적 약점을 통계적으로 보완할 수 있다.[142][143][144]

코크란 연합(Cochrane)은 체계적 문헌고찰 및 메타분석을 통해 의료 근거를 제공하는 국제적인 비영리 단체이다. 코크란에서는 RevMan 프로그램을 배포하여 메타분석을 지원한다. 의료 연구에서는 '역분산 방법'이 메타 분석에 자주 사용되는데, 이는 각 연구의 효과 추정치의 역분산을 가중치로 사용하여 평균 효과 크기를 계산하는 방식이다. 이 외에도 만텔-핸젤 방법[145]과 페토 방법[146]이 사용된다.

시드 기반 d 매핑은 신경 영상 기술 연구를 메타 분석하는 기법이며, 마이크로어레이와 같은 기술을 사용한 유전자 발현 연구에도 메타 분석이 활용된다.[147]

5. 2. 심리학

심리학 분야에서 메타분석은 특정 심리 치료의 효과, 성격 특성과 행동 간의 관계, 심리 검사의 타당도 등을 평가하는 데 활용된다. 한국심리학회지 등 국내 학술지에서도 메타분석 연구 결과를 찾아볼 수 있다. 현대 통계적 메타 분석은 단순 가중 평균을 넘어 연구 결과의 변동성을 검토하고, 연구 특성을 코딩하여 추정량의 분산을 줄이는 등 연구의 방법론적 약점을 통계적으로 수정할 수 있다. 또한, 임상 예측 모델 개발 및 검증에도 활용된다.[139][140][141] 메타분석은 단일 대상 설계와 그룹 연구 설계 모두에 적용 가능하다.[142] 메타 분석은 개별 연구의 통계적 유의성보다는 효과 크기의 중요성을 강조하며, 이러한 변화를 "메타 분석적 사고"라고 한다. 연구 결과는 숲 그림으로 시각화하여 표현하는 경우가 많다. 의료 연구에서는 '역분산 방법', 만텔-핸젤 방법,[145] 페토 방법[146] 등이 사용된다. 신경 영상 연구에서는 시드 기반 d 매핑이 활용된다. 마이크로RNA 발현 프로파일 메타 분석은 새로운 결론 도출 및 알려진 결과 검증에 유용하다.[147] 전장 유전체 연관분석 연구에서는 희귀 변이와 표현형 간의 연관성을 찾기 위해 메타분석이 활용된다.[148] 광범위한 메타분석은 효과 네트워크를 추정하는 데 사용될 수 있으며,[149] 이를 통해 연구자들은 더 넓은 맥락에서 패턴을 검토할 수 있다.

5. 3. 사회과학

사회과학 분야에서 메타분석은 교육 프로그램의 효과, 사회 정책의 영향, 경제 현상 등을 분석하는 데 사용된다.[142][143][144] 메타분석은 단일 연구의 통계적 유의성 대신 효과 크기의 중요성을 강조하며, 숲 그림으로 결과를 시각화하기도 한다. 연구 결과는 역분산 방법, 만텔-핸젤 방법, 페토 방법 등을 통해 결합된다.[145][146] 시드 기반 d 매핑은 뇌 활동 및 구조 연구 메타분석에 사용되는 통계 기법이다. 마이크로RNA 발현 프로파일 메타분석은 새로운 결론 도출 및 알려진 결과 검증에 활용된다.[147]

5. 4. 기타 분야

메타분석은 농업, 생태학, 공학[147] 등 다양한 분야에서 활용된다. 단일 대상 연구 설계에도 메타분석을 적용할 수 있으며, 이에 대한 다양한 분석 기술이 논의되고 있다.[142][143][144]

현대 통계적 메타 분석은 단순 가중 평균을 넘어, 연구 특성을 고려하여 추정량의 분산을 줄이는 등 방법론적 약점을 보완한다. 또한, 임상 예측 모델 개발 및 검증에 활용되기도 한다.[139][140][141]

최근에는 신경 영상 연구[147], 유전자 발현 연구[147] 등에도 메타분석이 적용되고 있다. 신경 영상 기술을 이용한 뇌 활동 및 구조 차이 연구에는 시드 기반 d 매핑이 사용되며, 마이크로어레이 또는 마이크로RNA 발현 프로파일 메타분석을 통해 새로운 결론을 도출하거나 기존 결과를 검증한다.[147] 또한, 전체 게놈 시퀀싱 연구의 메타 분석은 희귀 변이 연관성 분석에 활용된다.[148] 광범위한 메타분석은 효과 네트워크를 추정하는데 사용될 수 있다.[149]

6. 한계 및 문제점

여러 개의 소규모 연구에 대한 메타분석이 항상 단일 대규모 연구의 결과를 예측하는 것은 아니다.[102] 일부에서는 방법의 약점이 편향(Bias)의 원인을 방법으로 제어할 수 없다는 점이라고 주장해 왔다. 즉, 좋은 메타 분석은 원래 연구의 부실한 설계나 편향을 수정할 수 없다는 것이다.[103] 이는 방법론적으로 타당한 연구만 메타 분석에 포함되어야 함을 의미하며, 이를 '최고 증거 종합'이라고 한다.[103] 다른 메타 분석가들은 더 약한 연구를 포함하고, 연구 품질이 효과 크기에 미치는 영향을 조사하기 위해 연구의 방법론적 품질을 반영하는 연구 수준 예측 변수를 추가할 것이다.[104] 그러나 다른 사람들은 연구 표본의 분산에 대한 정보를 보존하고 가능한 한 넓게 범위를 넓히는 것이 더 나은 접근 방식이며, 방법론적 선택 기준은 원치 않는 주관성을 도입하여 접근 방식의 목적을 훼손한다고 주장해 왔다.[105] 더 최근에는 과학 분야의 공개 관행에 대한 추진의 영향으로, 과학자 커뮤니티가 업데이트하는 "크라우드 소싱" 라이브 메타 분석을 개발하는 도구[106][107]가 등장하여 모든 주관적인 선택을 더 명확하게 만들고자 한다.

6. 1. 편향(Bias) 문제

메타분석은 여러 단계에서 편향이 발생할 수 있다. 여러 소규모 연구에 대한 메타분석이 단일 대규모 연구의 결과를 항상 예측하는 것은 아니다.[102] 좋은 메타분석은 원래 연구의 부실한 설계나 편향을 수정할 수 없기 때문에, 방법론적으로 타당한 연구만 메타분석에 포함되어야 하며, 이를 '최고 증거 종합'이라고 한다.[103] 그러나 다른 메타분석가들은 더 약한 연구를 포함하고 연구 수준 예측 변수를 추가하여 연구 품질이 효과 크기에 미치는 영향을 조사하기도 한다.[104] 방법론적 선택 기준은 원치 않는 주관성을 도입하여 메타분석의 목적을 훼손한다는 주장도 있다.[105]

연구들은 통계적으로 유의미한 효과에 도달하지 못했을 때 그 효과를 보고하지 않는 경우가 많다.[122] 이러한 연구들을 제외하면 출판 편향과 유사한 상황이 발생할 수 있고, 포함시키는 경우(영향이 없는 경우를 가정)에도 메타분석이 편향될 수 있다. 제약 회사가 자사 의약품의 유효성을 좋게 보이게 하기 위해 좋은 결과의 연구만 선택하여 풀 분석을 실시하는 경우가 있는데, 이는 엄밀히 말하면 메타분석이 아니다.

항우울제 파록세틴의 부정적인 결과 데이터 은폐는 약물의 유효성과 위험성 재평가로 이어져 출판 편향의 영향이 우려되었다.[161] 이러한 논의는 연구의 사전 등록에 관한 성명이나 연구 등록 제도 구축으로 이어졌다.[162] 출판 편향을 경감하는 방법 중 하나로, 정보 공개법에 근거하여 각국의 규제 기관으로부터 약의 인가를 위해 제출된 모든 데이터를 입수하여 분석하는 방법이 있다.[163]

메타분석에 회색 문헌을 포함하면 신뢰성이 향상된다고 알려져 있다.[164] 그러나 미발표 또는 회색 문헌의 연구 결과를 포함하지 않은 메타분석의 질에 큰 영향을 미치는 경우는 극소수라고 여겨지기도 한다.[165]

6. 2. 연구 간 이질성 (Heterogeneity)

연구 간 이질성은 포함된 연구들의 결과가 서로 다른 정도를 의미한다.[102][103][104][105] 연구 대상, 연구 방법, 중재 방법 등의 차이로 인해 이질성이 발생할 수 있다.[133]

개입 형태의 차이나 과학자들이 사소하다고 생각하거나 알지 못하는 코호트의 차이는 메타 분석의 결과를 왜곡하거나 데이터에서 적절하게 고려되지 않는 결과를 포함하여 실질적으로 다른 결과를 초래할 수 있다.[133] 반대로, 메타 분석의 결과는 일시적 투여, 개인화된 기준 및 병용 조치와 같은 특정 수정 사항에도 불구하고 특정 가설이나 개입이 실행 불가능해 보이게 하여 추가 연구 또는 승인을 선제적으로 막을 수 있다.

표준화, 실험 재현, 오픈 데이터 및 오픈 프로토콜은 관련 요인과 기준이 알려지지 않거나 기록되지 않을 수 있으므로 이러한 이질성 문제를 완화하지 못하는 경우가 많다.

가능한 적은 수의 동물 또는 인간을 대상으로 한 실험과 강력하고 신뢰할 수 있는 결과를 얻어야 할 필요성 사이의 적절한 균형에 대한 논쟁이 있다. 신뢰할 수 없는 연구는 비효율적이고 낭비적이며, 연구는 너무 늦게 중단될 때뿐만 아니라 너무 일찍 중단될 때도 낭비적이라고 주장되어 왔다.[134]

6. 3. 기타 문제점

메타분석은 여러 연구 결과를 종합하여 분석하는 방법이지만, 몇 가지 문제점을 안고 있다.
연구의 질 문제: 질 낮은 연구가 메타분석에 포함될 경우, 전체 결과의 신뢰성이 저하될 수 있다. 방법론적으로 타당한 연구만 포함해야 한다는 '최고 증거 종합' 개념이 있지만,[103] 연구 표본 분산 정보를 보존하기 위해 약한 연구도 포함해야 한다는 주장도 있다.[104]
통계적 방법 선택 문제: 결과를 결합하는 가장 정확한 통계적 방법에 대한 논쟁이 있다. 고정 효과 모형, IVhet 모형, 무작위 효과 모형, 질적 효과 모형 등 다양한 방법이 존재하지만, 새로운 무작위 효과 모형은 예측을 불가능하게 만들 수 있다는 비판을 받는다.[124]
의제 중심 편향 (Agenda-driven bias): 메타분석을 수행하는 사람이 특정 의도를 가질 경우, 개인적인 편향으로 인해 메타분석을 악용할 가능성이 있다.[126] 예를 들어, 특정 의제에 유리한 연구는 선택하고 불리한 연구는 무시하는 방식으로 결과가 왜곡될 수 있다.[127]
이해 상충 (Conflict of Interest, COI) 문제: 메타분석에 포함된 연구의 자금 출처나 저자와 산업 간의 재정적 관계가 제대로 공개되지 않아 독자의 이해와 평가를 손상시킬 수 있다.[128]
기타 문제: 미국 환경 보호국이 금연 사업장 법안 통과를 위해 메타분석 과정을 악용했다는 판결 사례가 있으며,[129][130][131] 교육 분야에서는 방법론적으로 질이 낮은 연구를 포함하여 효과 크기 추정치가 과장될 수 있다는 문제도 제기된다.[136]

7. 한국에서의 메타분석

한국에서는 다양한 분야에서 메타분석 연구가 활발하게 진행되고 있으며, 그 결과는 국내 학술지에 발표되고 있다. 한국심리학회지에 게재된 정서노동과 직무관련 변수들 간 관계에 대한 메타분석 연구, 호텔경영학연구에 게재된 호텔리어의 핵심 이직의도 억제요인에 관한 메타분석 연구 등이 그 예시이다. 이러한 연구들은 한국의 연구자들이 메타분석을 통해 국내 현실에 맞는 근거를 마련하고, 정책 결정 및 실무에 기여하고 있음을 보여준다.

연구 수행에는 R, RevMan, CMA 등 다양한 메타분석 프로그램이 사용될수 있다. 보건의료분야에서는 코크란(Cochrane)에서 배포하는 RevMan 프로그램을 사용할 수 있다.

8. 인공지능 기반 메타분석

2020년대에 들어서면서, 인공지능(AI)을 활용한 메타분석 방법론이 도입되고 있다.[157] 인공지능을 메타 분석에 응용하면, 인력 절감뿐만 아니라, 기존 메타 분석의 문제점인 분석 기간이 1년에 육박하여 최신 논문이 고려 대상에서 제외되는 경우가 많다는 점을 해결할 수 있다.[167]

2021년과 2022년에는 전 세계적으로 연간 500만 편 이상의 논문이 발표될 것으로 추정되며,[166] 사람이 이 모든 논문을 분석하는 것은 어렵다.[167] 더욱이, 메타 분석을 수행할 때 집단 사고나 기타 편향이 발생할 가능성이 매우 높기 때문에, 인공지능에 의한 신속한 메타 분석 자동화는 현재 중요하다.[167] 그러나 AI가 생성하는 메타분석에 대한 전문가 검토는 2022년 시점에서는 필수적이다.[168][169]

참조

[1] 논문 The meta-analytic big bang 2015-09
[2] 논문 Meta-analysis at middle age: a personal history 2015-09
[3] 논문 Primary, secondary, and meta-analysis of research
[4] 서적 How science takes stock: the story of meta-analysis Russell Sage Foundation
[5] 논문 Report on Certain Enteric Fever Inoculation Statistics 1904-11
[6] 논문 Meta-analyses: what they can and cannot do 2012-03-09
[7] 논문 An historical perspective on meta-analysis: dealing quantitatively with varying study results 2007-12
[8] 간행물 The measurement of occupational aptitude University of California Publications in Psychology 1955
[9] 논문 The Validity of Aptitude Tests in Personnel Selection https://onlinelibrar[...] 1973
[10] 논문 The analysis of groups of experiments https://www.cambridg[...] 1938
[11] 논문 Meta-analysis of psychotherapy outcome studies. http://doi.apa.org/g[...] 1977
[12] 논문 An exercise in mega-silliness. http://doi.apa.org/g[...] 1978
[13] 논문 Meta-analysis as a response to the replication crisis. http://doi.apa.org/g[...] 2020
[14] 논문 Meta-analysis or best-evidence synthesis? https://onlinelibrar[...] 1995
[15] 논문 The Mass Production of Redundant, Misleading, and Conflicted Systematic Reviews and Meta-analyses 2016
[16] 논문 Future of Evidence Ecosystem Series: Evidence ecosystems and learning health systems: why bother? 2020-07
[17] 논문 The ecosystem of evidence cannot thrive without efficiency of knowledge generation, synthesis, and translation 2019-06
[18] 논문 The evidence synthesis and meta-analysis in R conference (ESMARConf): levelling the playing field of conference accessibility and equitability 2022-06
[19] 논문 An automated approach to identifying search terms for systematic reviews using keyword co-occurrence networks 2019
[20] 논문 Using Advanced Search Tools on PubMed for Citation Retrieval 2004
[21] 논문 Making PubMed Searching Simple: Learning to Retrieve Medical Literature Through Interactive Problem Solving 2006-03-01
[22] 논문 From pre-registration to publication: a non-technical primer for conducting a meta-analysis to synthesize correlational data 2015-10-08
[23] 논문 De-duplication of database search results for systematic reviews in EndNote 2016
[24] 논문 Checking reference lists to find additional studies for systematic reviews 2011-08-10
[25] 논문 A systematic approach to searching: an efficient and complete method to develop literature searches http://jmla.pitt.edu[...] 2018-10-04
[26] 논문 Epidemiology and Reporting Characteristics of Systematic Reviews 2007-03-27
[27] 논문 On the reproducibility of meta-analyses: six practical recommendations 2016
[28] 논문 Systematic reviewers' perspectives on sharing review data, analytic code, and other materials: A survey 2023
[29] 논문 Reproducible research practices are underused in systematic reviews of biomedical interventions https://linkinghub.e[...] 2018
[30] 논문 An Empirical Investigation of Partial Effect Sizes in Meta-Analysis of Correlational Data http://www.tandfonli[...] 2014
[31] 논문 Correlational Meta-Analysis: Independent and Nonindependent Cases https://journals.sag[...] 1992
[32] 논문 A Cautionary Tale of Two Statistics: Partial Correlation and Standardized Partial Regression http://www.tandfonli[...] 2003
[33] 논문 Ycasd– a tool for capturing and scaling data from graphical representations 2014
[34] 간행물 Scatteract: Automated Extraction of Data from Scatter Plots https://link.springe[...] Springer International Publishing 2023-12-26
[35] 논문 Conducting a meta-analysis in the age of open science: Tools, tips, and practical recommendations. http://doi.apa.org/g[...] 2022
[36] 논문 Risk-of-bias VISualization (robvis): An R package and Shiny web app for visualizing risk-of-bias assessments 2021
[37] 논문 Tools for assessing quality and susceptibility to bias in observational studies in epidemiology: a systematic review and annotated bibliography 2007-06-01
[38] 논문 ROSES RepOrting standards for Systematic Evidence Syntheses: pro forma, flow-diagram and descriptive summary of the plan and conduct of environmental systematic reviews and systematic maps 2018
[39] 논문 Gray literature: An important resource in systematic reviews https://onlinelibrar[...] 2017
[40] 논문 Grey Literature in Meta-Analyses http://journals.lww.[...] 2003
[41] 논문 How should systematic reviewers handle conference abstracts? A view from the trenches 2019
[42] 논문 Grey literature in systematic reviews: a cross-sectional study of the contribution of non-English reports, unpublished studies and dissertations to the results of meta-analyses in child-relevant reviews 2017
[43] 논문 Making literature reviews more reliable through application of lessons from systematic reviews https://www.jstor.or[...] 2015
[44] 논문 How important are comprehensive literature searches and the assessment of trial quality in systematic reviews? Empirical study 2003
[45] 서적 Searching for and selecting studies https://onlinelibrar[...] Wiley 2019-09-23
[46] 논문 Does the inclusion of grey literature influence estimates of intervention effectiveness reported in meta-analyses? https://linkinghub.e[...] 2000
[47] 논문 Abstracts presented at the American Society of Clinical Oncology conference: how completely are trials reported? http://dx.doi.org/10[...] 2005
[48] 논문 An Observational Study of Orthopaedic Abstracts and Subsequent Full-Text Publications http://dx.doi.org/10[...] 2002
[49] 논문 Comparison of aggregate and individual participant data approaches to meta-analysis of randomised trials: An observational study 2020-01-31
[50] 논문 Meta-Analysis of Odds Ratios: Current Good Practices https://journals.lww[...] 2017
[51] 논문 Pitfalls of using the risk ratio in meta-analysis 2019
[52] 논문 Get real in individual participant data (IPD) meta-analysis: a review of the methodology 2015-12
[53] 논문 Individual participant data meta-analysis for a binary outcome: one-stage or two-stage? 2013
[54] 논문 Meta-analysis using individual participant data: one-stage and two-stage approaches, and why they may differ 2017-02
[55] 논문 How to interpret meta-analysis models: fixed effect and random effects meta-analyses https://ebmh.bmj.com[...] 2014
[56] 논문 Meta-analysis: Key features, potentials and misunderstandings 2018
[57] 논문 Data and models determine treatment proposals--an illustration from meta-analysis 2002-03
[58] 논문 Fixed-Effect vs Random-Effects Models for Meta-Analysis: 3 Points to Consider 2022
[59] 논문 Fixed- and random-effects models in meta-analysis. http://doi.apa.org/g[...] 1998
[60] 논문 A re-evaluation of fixed effect(s) meta-analysis https://www.jstor.or[...] 2018
[61] 논문 Heterogeneity in effect size estimates 2024-08-06
[62] 논문 Trying to be precise about vagueness 2007-03
[63] 논문 Combining heterogenous studies using the random-effects model is a mistake and leads to inconclusive meta-analyses 2011-02
[64] 논문 A comparison of statistical methods for meta-analysis 2001-03
[65] 논문 Confidence intervals for a random-effects meta-analysis based on Bartlett-type corrections 2011-12
[66] 논문 A simple method for inference on an overall effect in meta-analysis 2007-11
[67] 논문 A simple confidence interval for meta-analysis 2002-11
[68] 논문 A re-evaluation of the 'quantile approximation method' for random effects meta-analysis 2009-01
[69] 논문 Random-effects meta-analyses are not always conservative 1999-09
[70] 논문 Interpretation of random effects meta-analyses 2011-02
[71] 논문 Dealing with clinical heterogeneity in meta-analysis. Assumptions, methods, interpretation 2013-03
[72] 논문 A comparison of heterogeneity variance estimators in simulated random-effects meta-analyses 2019
[73] 웹사이트 MetaXL User Guide http://www.epigear.c[...] 2018-09-18
[74] 논문 Metaan: Random-effects meta-analysis https://www.research[...] 2010-08-01
[75] 논문 How to do a meta-analysis http://doi.wiley.com[...] 2010
[76] 논문 Conducting Meta-Analyses in R with the metafor Package http://www.jstatsoft[...] 2010
[77] 논문 A re-analysis of the Cochrane Library data: the dangers of unobserved heterogeneity in meta-analyses
[78] 논문 A short guide and a forest plot command (ipdforest) for one-stage meta-analysis https://www.research[...] 2013-09-27
[79] 논문 A quality-effects model for meta-analysis 2008-01
[80] 논문 Meta-analysis of heterogeneous clinical trials: an empirical example 2011-03
[81] 논문 Simulation Comparison of the Quality Effects and Random Effects Methods of Meta-analysis 2015-07
[82] 논문 Advances in the meta-analysis of heterogeneous clinical trials II: The quality effects model 2015-11
[83] 웹사이트 MetaXL software page http://www.epigear.c[...] Epigear.com 2017-06-03
[84] 논문 Network meta-analysis: an introduction for clinicians 2017
[85] 논문 A clinician's guide to network meta-analysis 2022
[86] 논문 The results of direct and indirect treatment comparisons in meta-analysis of randomized controlled trials 1997-06
[87] 논문 Automating network meta-analysis 2012-12
[88] 논문 General methods for monitoring convergence of iterative simulations http://www.stat.colu[...]
[89] 웹사이트 metaBMA: Bayesian model averaging for random and fixed effects meta-analysis https://CRAN.R-proje[...] 2022-05-09
[90] 웹사이트 RoBMA: An R Package for Robust Bayesian Meta-Analyses https://CRAN.R-proje[...] 2022-05-09
[91] 논문 A Primer on Bayesian Model-Averaged Meta-Analysis 2021-07
[92] 논문 Adjusting for Publication Bias in JASP & R - Selection Models, PET-PEESE, and Robust Bayesian Meta-Analysis https://osf.io/75bqn 2020-10-16
[93] 논문 Issues in performing a network meta-analysis 2013-04
[94] 논문 Multivariate random-effects meta-regression: updates to mvmeta
[95] 논문 Estimating a test's accuracy using tailored meta-analysis-How setting-specific data may aid study selection https://research.bir[...] 2014-05
[96] 논문 What is the test's accuracy in my practice population? Tailored meta-analysis provides a plausible estimate https://research.bir[...] 2015-08
[97] 논문 The Cochrane Collaboration's tool for assessing risk of bias in randomised trials 2011-10
[98] 논문 QUADAS-2: a revised tool for the quality assessment of diagnostic accuracy studies 2011-10
[99] 논문 Construction and validation of a prognostic model across several studies, with an application in superficial bladder cancer 2004-03
[100] 논문 Measuring the statistical validity of summary meta-analysis and meta-regression results for use in clinical practice 2017-09
[101] 논문 Summarising and validating test accuracy results across multiple studies for use in clinical practice 2015-06
[102] 논문 Discrepancies between meta-analyses and subsequent large randomized, controlled trials 1997-08
[103] 논문 Best-Evidence Synthesis: An Alternative to Meta-Analytic and Traditional Reviews
[104] 서적 Meta-analysis: cumulating research findings across studies Sage 1982
[105] 서적 Meta-analysis in social research Sage Publications 1981
[106] 논문 Does transcutaneous auricular vagus nerve stimulation affect vagally mediated heart rate variability? A living and interactive Bayesian meta-analysis 2021
[107] 논문 Breathing Life Into Meta-Analytic Methods 2024-07-22
[108] 논문 The influence of unpublished studies on results of recent meta-analyses: publication bias, the file drawer problem, and implications for the replication crisis https://www.tandfonl[...] 2022-09-03
[109] 논문 Estimating the Difference Between Published and Unpublished Effect Sizes: A Meta-Review http://journals.sage[...] 2016
[110] 논문 Publication Bias and the Pharmaceutical Industry: The Case of Lamotrigine in Bipolar Disorder 2008-09-10
[111] 논문 Is grey literature essential for a better control of publication bias in psychiatry? An example from three meta-analyses of schizophrenia https://www.cambridg[...] 2005
[112] 논문 The "File Drawer Problem" and the Tolerance for Null Results
[113] 서적 Methods of Meta-Analysis: Correcting Error and Bias in Research Findings SAGE Publications
[114] 논문 Methods for testing publication bias in ecological and evolutionary meta-analyses https://besjournals.[...] 2022
[115] 서적 Summing up: the science of reviewing research https://archive.org/[...] Harvard University Press 1984
[116] 논문 Publication bias in research synthesis: sensitivity analysis using a priori weight functions 2005-12
[117] 논문 The appropriateness of asymmetry tests for publication bias in meta-analyses: a large survey 2007-04
[118] 논문 Estimating Effect Size Under Publication Bias: Small Sample Properties and Robustness of a Random Effects Selection Model http://journals.sage[...] 1996
[119] 논문 Publication bias in psychological science: prevalence, methods for identifying and controlling, and implications for the use of meta-analyses 2012-03
[120] 논문 False-positive psychology: undisclosed flexibility in data collection and analysis allows presenting anything as significant 2011-11
[121] 논문 Fearing the future of empirical psychology: Bem's (2011) evidence of psi as a case study of deficiencies in modal research practice http://publish.uwo.c[...]
[122] 논문 Statistical Significance Versus Clinical Importance of Observed Effect Sizes: What Do P Values and Confidence Intervals Really Represent? https://journals.lww[...] 2018
[123] 논문 Reporting and interpretation of results from clinical trials that did not claim a treatment difference: survey of four general medical journals 2019
[124] 웹사이트 Random effects old and new 2011-02
[125] 서적 Richly parameterized linear models: additive, time series, and spatial models using random effects CRC Press 2014
[126] 뉴스 Research into trans medicine has been manipulated https://www.economis[...] 2024-09-28
[127] 논문 Is meta-analysis the platinum standard of evidence? https://philpapers.o[...] 2011-12
[128] 간행물 Reporting of Conflicts of Interest in Meta-analyses of Trials of Pharmacological Treatments https://www.rug.nl/r[...]
[129] 논문 Challenging Environmental Tobacco Smoke in the Workplace https://journals.sag[...] 1999
[130] 웹사이트 Polluted by the anti-tobacco crusade https://www.tampabay[...] 2024-09-28
[131] 논문 The Use (and Abuse) of Meta-Analysis in Environmental and Natural Resource Economics: An Assessment https://link.springe[...] 2009
[132] 논문 Meta-analysis of genetic association studies 2004-09
[133] 논문 The Advantages and Limitations of Using Meta-analysis in Human Resource Management Research 2017-03-01
[134] 논문 Power failure: why small sample size undermines the reliability of neuroscience 2013-05
[135] 논문 Megastudies improve the impact of applied behavioural science 2021-12
[136] 논문 How Methodological Features Affect Effect Sizes in Education 2016-06-01
[137] 논문 The hazards of scoring the quality of clinical trials for meta-analysis 1999-09
[138] 논문 Inconsistency in the items included in tools used in general health research and physical therapy to evaluate the methodological quality of randomized controlled trials: a descriptive analysis 2013-09
[139] 논문 Individual participant data (IPD) meta-analyses of diagnostic and prognostic modeling studies: guidance on their use 2015-10
[140] 논문 A framework for developing, implementing, and evaluating clinical prediction models in an individual participant data meta-analysis https://ris.utwente.[...] 2013-08
[141] 논문 Aggregating published prediction models with individual participant data: a comparison of different approaches https://ris.utwente.[...] 2012-10
[142] 논문 Analysis and meta-analysis of single-case designs: An introduction https://linkinghub.e[...] 2014
[143] 논문 A demonstration of how to do a meta-analysis that combines single-case designs with between-groups experiments: The effects of choice making on challenging behaviors performed by people with disabilities https://www.tandfonl[...] 2018-05-19
[144] 논문 Aggregating Single-Case Results https://www.questia.[...]
[145] 논문 Statistical aspects of the analysis of data from retrospective studies of disease 1959-04
[146] 서적 Cochrane Handbook for Systematic Reviews of Interventions The Cochrane Collaboration 2021
[147] 논문 Consensus miRNA expression profiles derived from interplatform normalization of microarray data 2010-01
[148] 논문 Powerful, scalable and resource-efficient meta-analysis of rare variant associations in large whole genome sequencing studies 2023-01
[149] 서적 Of Anchors & Sails: Personality-ability trait constellations https://umnlibraries[...] University of Minnesota Libraries Publishing
[150] 웹사이트 SUNY Downstate EBM Tutorial http://library.downs[...] 2015-09-03
[151] 간행물 津谷、正木 2006
[152] 간행물 Morrissey 2016
[153] 간행물 Ahn, Kang 2018
[154] 간행물 津谷 2003
[155] 웹사이트 Box https://app.box.com/[...] 2022-07-09
[156] 간행물 O'Rourke 2007
[157] 간행물 Michelson, Chow, Martin, Ross, Tee Qiao Ying, Minton 2020
[158] 간행물 津谷、正木 2006
[159] 간행물 Page, Forbes, Chau, McKenzie 2016
[160] 간행물 Page, McKenzie, Forbes 2013
[161] 간행물 Joober, Schmitz, Annable, Boksa 2012
[162] 간행물 Bian, Wu 2010
[163] 간행물 Huedo-Medina, Kirsch, Middlemass, Klonizakis, Siriwardena 2012
[164] 간행물 Conn, Valentine, Cooper, Rantz 2003
[165] 간행물 Schmucker, Blümle, Schell, Schwarzer, Oeller, Cabrera, von Elm, Briel, Meerpohl 2017
[166] 웹사이트 Number of Academic Papers Published Per Year – WordsRated https://wordsrated.c[...] 2024-11-04
[167] 웹사이트 Meta-Analysis — A Comprehensive Guide to Utilizing AI https://typeset.io/r[...] 2024-09-23
[168] 간행물 Christopoulou 2023
[169] 간행물 Feng, LiangZhang, Chen, Wang, Huang, Sun, Liu, Zhu 2022
[170] 서적 Statistical methods for meta-analysis https://archive.org/[...] Academic Press
[171] 문서 Borenstein 등(2009)
[172] 문서 헌터-슈미트(Hunter-Schmidt) 2004
[173] 웹인용 학술연구의 메타분석 ( Meta-Analysis): 더 큰 그림 그리기 https://www.enago.co[...] 2021-10-15


본 사이트는 AI가 위키백과와 뉴스 기사,정부 간행물,학술 논문등을 바탕으로 정보를 가공하여 제공하는 백과사전형 서비스입니다.
모든 문서는 AI에 의해 자동 생성되며, CC BY-SA 4.0 라이선스에 따라 이용할 수 있습니다.
하지만, 위키백과나 뉴스 기사 자체에 오류, 부정확한 정보, 또는 가짜 뉴스가 포함될 수 있으며, AI는 이러한 내용을 완벽하게 걸러내지 못할 수 있습니다.
따라서 제공되는 정보에 일부 오류나 편향이 있을 수 있으므로, 중요한 정보는 반드시 다른 출처를 통해 교차 검증하시기 바랍니다.

문의하기 : help@durumis.com