스코어보드 지표 소개

여기에서 소개하는 한국기관 프로파일 분석은 KISTI와 CWTS의 공동연구결과이며, Leiden Ranking을 도출하는 분석프레임을 공유하고 있습니다.

따라서, 한국기관 프로파일 분석의 결과를 이해하기 위해서는 Leiden Ranking에 대한 이해와 더 나아가 프로파일링 분석을 위해 활용된
데이터/DB의 특징, 분석지표(1.Scientific Impact, 2. Collaboration, 3. Open Access, 4. Gender)에 대한 이해가 필요합니다.

Full vs Fractional
counting의 차이점

공저자 논문을 처리하기 위하여 Full counting과 Fractional counting을 모두 사용

Full counting은 공저자 논문을 기여 비중에 관계없이 기관에 할당할 때 주로 사용

  • 누적 출판물 수 (P), TCS, MCS, 협력지표를 계산하는 데도 사용됨
  • 협력, open access, 젠더 지표는 항상 full counting으로 계산됨
  • 한계 : 여러 기관에서 공동으로 저술한 논문이 각 기관에 중복으로 카운팅되므로, 공저에 참여한 기관의 수가 많고, 공저한 기관의 수가 추가인용과 상관관계가 있는 분야에서 편향이 발생할 수 있음

Fractional counting는 impact에 대하여 Leiden Ranking이 선호하는 카운팅 방법

  • 지표를 보다 적절하게 정규화할 수 있으므로, 상이한 분야에서의 연구기관의 활동을 보다 공정하게 비교할 수 있음

Self-citations의 처리

지표 계산 시 자기인용은 배제됨

  • 인용한 논문과 인용된 논문의 공통 저자가 한 명 이상일 경우, 해당 인용은 자기인용으로 간주됨

자기인용의 문제

  • 연구자들의 작업물의 impact는 과학공동체의 다른 구성원에 미치는 영향으로 해석됨
  • 그러나 자기인용은 관련성 있는 작업물을 지칭하기보다는 자기홍보를 위한 메커니즘으로 작용할 수 있으며, 이러한 자기홍보는 출판물의 영향력을 조작하는데 사용될 수 있음

자기인용을 제외함으로써 잠재적 조작에 대한 impact 지표의 민감도를 효과적으로 줄일 수 있음

Stability intervals의 의미

Stability interval는 논문의 집합이 변경될 때 관찰될 수 있는 지표의 범위를 나타남

  • 특정 기관의 PP(top 10%)가 15.3%이고 stability interval의 범위가 14.1%에서 16.5%일 경우, 해당 기관의 논문의 집합이 변화함에 따라 PP(top 10%)가 14.1%에서 16.5% 범위로 변화할 수 있음을 의미

Leiden Ranking은 bootstrapping 통계기법을 사용하여 95% stability interval를 구성