피인용지수

1. 개요

피인용지수는 학술지의 영향력을 평가하는 지표로, 1955년 유진 가필드에 의해 처음 제안되어 1960년 SCI가 출시되면서 본격적으로 활용되었다. 특정 기간 동안 학술지에 게재된 논문의 피인용 횟수를 기반으로 계산되며, 주로 최근 2년간의 데이터를 사용한다. 피인용지수는 학술지 간 비교를 돕지만, 학문 분야별 특성을 고려해야 하며, 개별 논문이나 연구자를 평가하는 데 사용될 경우 통계적 문제점과 비윤리적 행위, 학문 분야 간의 차이 등으로 인해 비판을 받기도 한다. 이러한 문제점 때문에 여러 대안적 평가 노력이 이루어지고 있으며, 대한민국에서도 대학 평가, 연구비 지원 등 연구 평가 전반에 걸쳐 피인용지수가 광범위하게 활용되고 있다.

2. 역사

유진 가필드가 1955년에 피인용지수의 개념을 처음 제안했고, 1960년에 그가 설립한 미국 과학 정보 연구소(ISI)에서 SCI을 출시하면서 본격적으로 활용되기 시작했다. 1975년부터는 학술지 인용 보고서(JCR)에 등재된 학술지를 대상으로 매년 피인용지수가 계산되고 있다. 1992년 ISI는 톰슨 사이언티픽 & 헬스케어에 인수되어 톰슨 ISI로 알려졌다가, 2018년 톰슨 로이터가 ISI를 오넥스 코퍼레이션과 베어링 프라이빗 에쿼티 아시아에 매각하면서 클래리베이트 애널리틱스로 분사되었다. 현재 피인용지수는 클래리베이트 애널리틱스의 Web of Science(WoS) 데이터를 기반으로 산출된다.

3. 계산 방법

학술지의 피인용지수는 특정 기간 동안 그 학술지에 게재된 논문의 수와 피인용 수에 의해 결정된다. 이는 기본적으로 학술지에 실린 논문들의 피인용 횟수의 평균을 의미한다.

일반적인 계산식은 다음과 같다.

:$\backslash text\{피\; 인\; 용\; 지\; 수\; \}\; =\; \backslash frac\; \{\backslash text\{학\; 술\; 지\; 에\; 실\; 린\; 논\; 문\; 이\; 다\; 른\; 논\; 문\; 에\; 인\; 용된\; 횟\; 수\; \}\}\; \{\backslash text\{학\; 술\; 지\; 에\; 실\; 린\; 논\; 문\; 의\; 총\; 수\; \}\}$

같은 학술지라도 측정 기간에 따라 피인용지수 값이 달라질 수 있다. 일반적으로 최근 2년간의 데이터를 사용하지만, 3년 또는 5년으로 사용하는 경우도 있다. 예를 들어, 사이언스의 2014년 피인용지수는 33.61, 5년간 피인용지수는 35.26이었다. 이는 2012년, 2013년 두 해 동안 사이언스에 실린 논문들이 평균 33.61회 인용되었음을 의미하고, 2009-2013년의 5년 동안 사이언스에 실린 논문들이 평균 35.26회 인용되었음을 의미한다.

2년 저널 피인용지수는 해당 저널의 이전 2년 동안 출판된 논문에 대해 그 해에 받은 피인용 횟수와 이전 2년 동안 해당 저널에 출판된 총 "인용 가능한 항목" 수의 비율이다.

:$$\backslash text\{IF\}\_y\; =\; \backslash frac\{\backslash text\{Citations\}\_y\}\{\backslash text\{Publications\}\_\{y-1\}\; +\; \backslash text\{Publications\}\_\{y-2\}\}.$$

예를 들어, 네이처의 2017년 피인용지수는 다음과 같이 계산되었다.

:$$\backslash text\{IF\}\_\{2017\}\; =\; \backslash frac\{\backslash text\{Citations\}\_\{2017\}\}\{\backslash text\{Publications\}\_\{2016\}\; +\; \backslash text\{Publications\}\_\{2015\}\}\; =\; \backslash frac\{74090\}\{880\; +\; 902\}\; =\; 41.577.$$

이는 평균적으로 2015년과 2016년에 출판된 논문이 2017년에 각각 약 42회 인용되었음을 의미한다. 2017년 피인용지수는 2018년에 보고되는데, 이는 모든 2017년 출판물이 색인 기관에 의해 처리될 때까지 계산할 수 없기 때문이다.

피인용지수의 값은 "피인용 횟수"와 "출판물"(인용 가능한 항목)을 어떻게 정의하느냐에 따라 달라진다. 현재 "피인용 횟수"와 "출판물"은 클래리베이트 애널리틱스에 의해 독점적으로 정의된다. "출판물"은 Web of Science (WoS) 데이터베이스에서 "논문", "리뷰" 또는 "학술 회의 논문"으로 분류된 항목이며, 사설, 수정 사항, 노트, 철회 및 토론과 같은 다른 항목은 제외된다.

4. 적용

피인용지수는 같은 학문 분야의 비슷한 주제를 다루는 학술지를 서로 비교할 수 있게 정보를 전달하는 역할을 한다. 숫자가 높다고 하여 더 좋은 학술지인 것은 아니며, 서로 다른 학문을 비교하는 것도 큰 의미가 없다. 원래는 대학 도서관 사서가 어떤 저널을 구매할지 결정하는 데 도움을 주기 위해 고안되었지만, 곧 학문적 성공을 평가하는 척도로 사용되었다.

피인용지수는 저널 수준의 지표이지 논문 또는 개인 수준의 지표가 아니기 때문에 이러한 사용은 논란의 여지가 있다. JIF의 발명가인 유진 가필드(Eugene Garfield)는 "단일 저널 내에서 논문마다 인용 횟수가 크게 다르기" 때문에 "개인을 평가하는 데 오용"될 수 있다고 경고했다. 이러한 경고에도 불구하고 JIF의 사용은 개별 연구자, 채용 지원서 및 연구비 지원 제안을 평가하는 과정에서 핵심적인 역할을 하고 있다.

피인용지수와 인용 분석은 일반적으로 분야 의존적 요인의 영향을 받는다고 알려져 있다. 또한 분야 간뿐만 아니라, 동일 분야의 서로 다른 연구 영역 간에도 비교가 무효화될 가능성이 있다. 출판 후 처음 2년 동안 발생하는 총 인용 비율도 분야에 따라 크게 다르다. 따라서, 피인용지수를 사용하여 분야를 초월하여 저널을 비교하는 것은 어렵다.

피인용지수는 저널뿐만 아니라 그 안의 논문을 평가하기 위해 사용되는 경우가 있다. 그러나, 이상치의 영향을 크게 받는다. 예를 들어, Acta Crystallographica Section A의 피인용지수는 특정 논문으로 인해 2008년에 2.051이었던 것에 비해 2009년에는 49.926이 되었고, 네이처 (31.434)나 Science (28.103)를 넘어섰다. 이러한 현상이 일어날 수 있기 때문에, 피인용지수는 저널의 지표이며, 개별 연구자나 기관을 평가하기 위해 사용해서는 안 된다는 생각이 주류를 이루고 있다.

5. 비판

피인용지수는 학술지의 영향력을 평가하는 지표로 널리 사용되지만, 여러 비판에 직면해 있다. 본래 학술지 정보를 제공하기 위해 고안되었으나, 개별 논문이나 연구자를 평가하는 데 오용되면서 문제가 발생하고 있다.

피인용지수는 인용 횟수를 기반으로 계산되는데, 리뷰 논문에 의한 과대 평가, 자기 인용 등의 문제로 인해 신뢰도가 떨어질 수 있다. 또한, 통계적 타당성 문제, 편집 정책 왜곡, 학문 분야 간 비교의 어려움 등 다양한 비판이 제기된다.

피인용지수 강조는 연구의 질보다 학술지의 명성을 우선시하는 출판 관행을 조장하며, 연구 주제 및 방법론의 다양성을 저해할 수 있다는 비판도 있다. 이는 신자유주의 정책이 학계에 미치는 부정적 영향의 결과라는 주장도 제기된다.

이러한 문제점을 해결하기 위해 유럽 과학 편집자 협회(EASE)는 피인용지수의 신중한 사용을 권고했으며, 국제 과학 협의회(ICSU)는 연구 평가 방식 개선을 위한 제안을 제시했다. 독일 연구 진흥 협회(DFG) 등 여러 기관에서는 연구 평가 시 논문의 질을 우선적으로 고려하는 정책을 도입하고 있다. 또한, 연구 평가에 관한 샌프란시스코 선언(DORA)을 통해 피인용지수의 부적절한 사용에 대한 문제 제기가 이루어지고 있으며, 일부 출판사 및 플랫폼은 피인용지수를 표시하지 않는 방식을 채택하고 있다.

5.1. 통계적 문제점

피인용지수는 평균을 사용하여 계산되지만, 인용 데이터는 정규 분포를 따르지 않는다는 근본적인 문제가 지적되었다. 인용 횟수는 소수의 논문에 집중되는 왜곡된 분포를 가지기 때문에, 평균값보다는 중앙값을 사용하는 것이 더 적절하다는 제안이 있다. 이러한 특성 때문에 평균적인 인용 횟수는 저널 전체의 영향력을 제대로 반영하지 못하고 오해를 불러일으킬 수 있다.

예를 들어, 네이처의 2004년 피인용지수 중 약 90%는 전체 논문의 4분의 1에서 비롯되었으며, 대부분의 논문은 평균보다 훨씬 적게 인용되었다. 또한, 저널의 피인용지수와 개별 논문의 인용 횟수 간의 상관관계는 논문이 디지털 형태로 제공되기 시작하면서 점차 감소하고 있다.

특이값으로 인해 피인용지수가 왜곡되는 현상은 Acta Crystallographica Section A 저널의 사례에서 확인할 수 있다. "SHELX의 간략한 역사"라는 논문이 6,600회 이상 인용되면서, 이 저널의 피인용지수는 2008년 2.051에서 2009년 49.926으로 급상승하여 네이처(31.434)와 사이언스(28.103)를 넘어섰다. 그러나 2008년 Acta Crystallographica Section A에서 두 번째로 많이 인용된 논문은 28회 인용에 불과했다.

이러한 문제점들 때문에, 피인용지수 대신 인용 분포 메트릭과 같은 대안적인 지표가 제안되기도 한다.

5.2. 편집 정책

일부 학술지는 피인용지수를 높이기 위해 편집 정책을 변경한다. 예를 들어, 연구 보고서보다 더 많이 인용되는 총설을 더 많이 게재하거나, 인용될 가능성이 없는 논문(예: 의학 저널의 증례 보고) 게재를 거부한다. 또는 논문을 변경하여 초록 또는 참고 문헌을 허용하지 않아 "인용 가능한 항목"으로 간주되지 않도록 하여 "인용 가능한 항목"의 수를 제한하기도 한다. 항목이 "인용 가능한지"에 대한 협상 결과로 300% 이상의 피인용지수 변동이 관찰되기도 한다.

연초에 논문의 상당 부분, 또는 인용이 많이 될 것으로 예상되는 논문을 게재하여 해당 논문이 인용을 얻을 시간을 더 많이 주는 전술을 사용하기도 한다.

강제 인용은 저널 편집자가 논문 게재에 동의하기 전에 저자에게 불필요한 인용을 추가하도록 강요하여 저널의 피인용지수를 부풀리는 관행이다. 2012년 조사에 따르면, 강제 인용은 경제학, 사회학, 심리학 및 여러 비즈니스 분야에서 일하는 연구자 5명 중 1명이 경험했으며, 비즈니스 분야와 피인용지수가 낮은 저널에서 더 흔하게 나타난다.

5.3. 학문 분야 간 차이

피인용지수는 학문 분야별 특성에 따라 크게 달라지므로, 서로 다른 학문 분야의 학술지를 비교하는 데는 부적합하다. 영향력 지수, 특히 피인용 분석은 분야별 요인의 영향을 받는다고 알려져 있다.

출판 후 처음 2년 동안 발생하는 전체 피인용 횟수의 비율 또한 학문 분야에 따라 크게 다르다. 예를 들어 수학 및 물리 과학 분야에서는 1~3%인 반면, 생물학 분야에서는 5~8%이다. 따라서 피인용지수를 사용하여 서로 다른 학문 분야의 학술지를 비교하는 것은 어렵다.

피인용지수는 분야 간뿐만 아니라, 동일 분야의 서로 다른 연구 영역 간에도 비교가 무효화될 가능성이 있다. 예를 들어, "A short history of SHELX"라는 논문은 결정 구조 결정 과정에서 오픈 소스인 SHELX 프로그램을 사용했을 때 범용적인 인용 문헌으로 사용될 수 있다는 문구 때문에 6,600건 이상의 인용을 받았다. 이로 인해 해당 논문이 게재된 Acta Crystallographica Section A의 피인용지수는 2008년 2.051에서 2009년 49.926으로 급상승하여 네이처(31.434)나 Science(28.103)를 넘어섰다. 그러나 Acta Crystallographica에서 두 번째로 많이 인용된 논문은 2008년에 28건만 인용되었다.

이러한 현상 때문에 피인용지수는 학술지의 지표일 뿐, 개별 연구자나 기관을 평가하는 데 사용해서는 안 된다는 견해가 지배적이다.

5.4. 연구 평가에 미치는 영향

피인용지수는 원래 대학 도서관에서 어떤 학술지를 구매할지 결정하는 데 도움을 주기 위해 고안되었으나, 곧 학문적 성공을 평가하는 척도로 사용되기 시작했다. 그러나 피인용지수는 저널 수준의 지표이지, 개별 논문이나 연구자 수준의 지표가 아니기 때문에 이러한 사용은 논란의 여지가 있다.

피인용지수가 연구 평가의 주요 지표로 사용되면서 여러 문제점들이 지적되고 있다. 우선, 피인용지수는 단순히 저널의 정보를 전달하는 것이 목적이지, 저자나 특정 논문에 대한 분석 정보를 제공하는 것이 아니다. 학술지의 피인용지수가 개별 논문에 대한 평가 잣대가 될 수 없다는 논란 때문에, 피인용지수 사용을 철회하는 경우도 있었다.

또한, 인용 횟수가 많은 리뷰 논문으로 인해 피인용지수가 과대 평가되거나, 자기 학술지에 실린 논문을 참고 문헌으로 이용하는 자기 인용 등의 문제점으로 인해 신뢰도가 떨어질 수 있다는 비판도 제기된다.

피인용지수의 통계적 타당성과 과학 수행 및 평가 방식에 미치는 영향에 대한 비판도 꾸준히 제기되었다. 특히, 피인용지수가 평균을 나타내지만, 데이터가 정규 분포를 따르지 않는다는 점이 지적되었으며, 중앙값을 제시하는 것이 더 적절하다는 제안도 있었다.

피인용지수에 대한 강조는 연구 주제 및 방법론의 다양성을 저해할 수 있다는 비판도 있다. 연구자들이 피인용지수가 높은 학술지에 논문을 게재하기 위해 연구 주제나 방법을 제한하는 경우가 발생할 수 있기 때문이다.

이러한 문제점들 때문에, 유럽 과학 편집자 협회(EASE)는 피인용지수를 신중하게 사용하고, 단일 논문이나 연구자 평가에는 사용하지 말 것을 권고하는 공식 성명을 발표했다. 국제 과학 협의회(ICSU) 역시 출판 관행과 지표, 연구 평가에 대한 성명을 발표하고, 여러 해결책을 제안했다.

독일 연구 진흥 협회(DFG), 미국 국립 과학 재단(NSF), 연구 평가 사업(REF) 등 여러 기관에서도 피인용지수와 같은 수치 지표보다는 논문 자체의 질을 평가하는 방향으로 정책을 변경하고 있다.

미국 세포 생물학회는 연구 평가에 관한 샌프란시스코 선언(DORA)을 통해 피인용지수의 부적절한 사용에 대한 우려를 표명하고, 학술 저널의 편집자와 발행자 그룹과 함께 대안적인 연구 평가 방식을 모색하고 있다. 유럽 연구 대학 연맹(LERU)도 DORA에 대한 지지를 표명했다.

일부 출판사 및 플랫폼에서는 피인용지수를 표시하지 않는 방식을 채택하고 있다. PLOS는 저널의 피인용지수를 웹사이트에 표시하지 않으며, Microsoft Academic도 h-지수나 저널의 피인용지수를 표시하지 않는다.

6. 대한민국의 상황

대한민국에서는 대학 평가, 연구비 지원, 교수 임용 등 연구 평가 전반에 걸쳐 피인용지수가 광범위하게 활용되고 있다. 특히, BK21, WCU 사업 등 대규모 정부 재정 지원 사업에서 피인용지수가 중요한 평가 지표로 사용되면서, 연구자들의 피인용지수 경쟁이 심화되었다.

도쿄 여자 의과대학은 2016년 교수 채용에서 피인용지수 합계가 15 이상이어야 한다는 조건을 제시했다. 후쿠이 대학은 2011년 조교 채용에서 채용 후 피인용지수가 10 이상인 잡지에 논문을 게재해야 한다는 조건을 계약 조건에 포함했다.

아키히토 친왕은 2015년 학술 세계에서 단기적인 성과를 요구하는 경향과 피인용지수 중심의 평가 방식에 대해 우려를 표명했다. 오스미 요시노리는 2016년 노벨상 수상 이후 인터뷰에서 젊은 연구자들이 연구의 즐거움을 알지 못하고 피인용지수에만 매달리는 현실을 비판했다. 2018년 노벨상 수상자 혼조 타스쿠는 피인용지수를 만든 회사를 비판하며, 논문의 가치를 모르는 사람들이 피인용지수를 사용한다고 지적했다.

이처럼 피인용지수 중심의 평가 방식은 연구의 질적 평가를 소홀히 하고, 연구의 다양성을 저해하며, 장기적인 연구를 어렵게 만든다는 비판이 제기되고 있다.

7. 관련 지표

* 피인용 반감기(Cited Half-life): 학술지에 게재된 논문이 피인용되는 기간의 중앙값이다. 예를 들어, 2005년의 저널 반감기가 5년이라면, 2001년부터 2005년까지의 인용이 2005년 해당 저널의 모든 인용의 절반을 차지하고, 나머지 절반은 2001년 이전에 인용된 것을 의미한다.
* 즉시성 지수(Immediacy index): 특정 연도에 학술지의 논문이 받은 피인용 횟수를 게재된 논문 수로 나눈 값이다.
* 저널 인용 지표(Journal Citation Indicator, JCI): 과학 분야를 조정한 JIF이며, Scopus 데이터베이스를 기반으로 계산된 논문당 출처 정규화 영향력과 유사하다. JCI는 Web of Science Core Collection(WoS CC)의 모든 저널(AHCI, ESCI, BCI, CPCI 포함)에 대해 사용할 수 있는 반면, JIF는 SCIE 및 SSCI에 대해서만 사용할 수 있다. 그러나 2023년 6월부터 JIF도 WoS CC의 모든 저널에 대해 발행될 예정이다.
* 기타 피인용 지표: CiteScore, h-지수, 알트메트릭스 등이 있다. CiteScore는 엘스비어에서 2016년 12월에 출시한 Scopus에 등재된 연재물의 지표이다. h-지수는 개별 연구자에게 적용되는 지표이다. 알트메트릭스는 논문 조회수, 다운로드, 또는 소셜 미디어 언급 등을 포함하며, 학계 안팎에서 즉각적인 사회적 영향에 더 집중하여 연구 영향력에 대한 다른 관점을 제공한다.

8. 대안적 평가 노력

연구 평가에 관한 샌프란시스코 선언(DORA), 라이덴 선언 등 국제적인 움직임을 통해 피인용지수 중심의 평가에서 벗어나려는 노력이 이루어지고 있다. 이러한 움직임은 학술 커뮤니케이션 시스템의 근본적인 변화를 요구하고 있다.

일부 대학 및 연구 기관에서는 피인용지수를 사용하지 않거나, 다양한 지표를 함께 고려하는 방식으로 연구 평가 방식을 개선하고 있다. 예를 들어, 유럽 과학 편집자 협회(EASE)는 2007년 공식 성명을 통해 저널 피인용지수는 전체 저널의 영향력을 측정하고 비교하는 데에만 신중하게 사용되어야 하며, 개별 논문 평가, 연구자나 연구 프로그램 평가에는 절대 사용해서는 안 된다고 권고했다. 독일 연구 재단은 2010년 자금 지원 신청 시 제출 가능한 출판물 수를 줄이는 새로운 지침을 발표하면서, "누가 어떤 연구를 했는가보다는 얼마나 많은 논문을 어디에 게재했는가에 초점을 맞추지 않았다"고 언급했다.

미국 세포 생물학회는 학술 저널 편집자 및 출판사 그룹과 함께 연구 평가에 관한 샌프란시스코 선언(DORA)을 만들었다. 2013년 5월에 발표된 DORA는 수천 명의 개인과 수백 개의 기관으로부터 지지를 얻었으며, 2015년 3월에는 유럽 연구 대학교 연맹도 이 문서를 지지했다.

2021년, 위트레흐트 대학교는 임팩트 팩터를 포함한 모든 정량적 서지 계량을 폐기하겠다고 발표했다. 이는 2018년 네덜란드 연구 위원회(NWO)가 모든 콜 텍스트 및 신청 양식에서 저널 임팩트 팩터와 h-index에 대한 모든 언급을 삭제하기로 결정한 데 따른 것이다.

연구의 질적 평가, 연구 과정의 투명성, 연구 결과의 사회적 영향력 등을 종합적으로 고려하는 평가 방식이 필요하다는 인식이 확산되고 있다.