스코어보드 지표 소개

여기에서 소개하는 한국기관 프로파일 분석은 KISTI와 CWTS의 공동연구결과이며, Leiden Ranking을 도출하는 분석프레임을 공유하고 있습니다.

따라서, 한국기관 프로파일 분석의 결과를 이해하기 위해서는 Leiden Ranking에 대한 이해와 더 나아가 프로파일링 분석을 위해 활용된
데이터/DB의 특징, 분석지표(1.Scientific Impact, 2. Collaboration, 3. Open Access, 4. Gender)에 대한 이해가 필요합니다.

P(top xx%) &
PP(top xx%)의 의미

해당 연구기관에서 출판된 논문의 동일 분야/연도의 타 논문 대비 절대량 및 비중

  • 예) P(top 1%) & PP(top 1%) : 가장 많이 인용된 top 1% 논문 중, 해당 연구기관의 편수 및 해당 연구기관의 전체 논문 편수 대비 비중

지표의 해석 예시

  • PP(top 10%)가 10%인 경우, 해당 분야 top 10% 피인용 논문이 해당 기관에서 차지하는 비중이 10%로, 기관 내 top 10% 논문의 비중의 기댓값과 동일함

    ㆍ 예) 한 기관이 100건의 논문을 발표했을 경우, top 10% 논문의 개수와 비중의 기댓값은 10건, 10%이며, 이를 상회할 시 해당 기관이 피인용 빈도가 높은 논문들을 발표했음을 시사함

인용지수(TCS, MCS)의
의미

Total Citation Score (TCS) & Mean Citation Score (MCS)

  • 해당 연구기관에서 출판된 논문의 전체 및 평균 인용수
  • 자기인용(self-citations)은 포함되지 않음
  • 유의사항 : 분야별 인용 특성의 차이로 인하여, 분야 간 비교에는 MCS 지표를 사용할 수 없음

    ㆍ예) 수학의 전체 논문 평균 인용수는 2.0인 반면, 세포생물학의 전체 평균 인용수는 19.6이므로, MCS 지표로 두 분야를 비교할 수 없음

  • 오래된 출판물이 인용수가 더 높은 경향이 있으므로, 최신 출판물보다 MCS 지표가 유리함

Total Normalized Citation Score (TNCS) & Mean Normalized Citation Score (MNCS)

  • TCS/MCS를 정교화한, 분야·출판연도로 정규화된 전체 및 평균 인용수

    ㆍ 다양한 분야의 논문 및 상이한 연령의 논문 간 인용특성의 차이를 보정하기 위하여 정규화가 적용

  • MNCS는 해당 분야의 모든 논문의 정규화된 citation scores의 평균값을 통하여 계산됨

    ㆍ예) MNCS 값이 1인 경우, 해당 분야의 논문의 평균적인 실제 인용수가 예상되는 인용수와 동일함을 의미함 (동일 분야·출판연도의 논문들과 동일한 빈도로 인용되었음)

    ㆍ예) MNCS 값이 2인 경우, 해당 연구기관의 논문은 분야·출판연도를 기준으로 예상보다 두 배 더 인용되었음을 의미함

  • 유의사항 : MNCS 지표는 인용수가 매우 많은 논문의 영향을 받을 수 있음

    ㆍ예) 해당 연구기관이 인용수가 매우 높은 논문 한 편을 출판하였을 경우, 다른 모든 논문의 인용수가 적더라도 MNCS 지표가 높을 수 있음

  • 정규화를 위하여 개별 논문의 인용관계에 기반한 알고리즘 클러스터링으로 4천여 개의 분야가 식별되었음.
    정규화에 대한 상세한 내용은 여기를 참조

scientific indicators
해석시 유의사항

PP(top xx%)와 MNCS는 각각 상반된 장단점을 가지고 있으므로, 연구기관의 impact를 평가할 시 두 지표를 조합할 것이 권고됨

PP(top xx%)는 논문 출판 수가 낮은 (소규모의) 기관의 지표가 높게 나타날 수 있음

  • 극단적인 예시로, 논문 2편을 출판한 연구기관의 논문 중 1편이 top 10%에 해당할 경우, PP(top 10%)는 50%이나, 해당 기관이 평균 대비 5배의 impact를 가지고 있다고 볼 수는 없음

MNCS는 피인용수가 극단적으로 높은 극소수의 논문의 impact가 과대대표될 수 있음