全面画像_而非简单指标_12页_3mb

报告摘要

文档总结：全面画像，而非简单指标

核心内容

本报告由 Jonathan Adams、Marie McVeigh、David Pendlebury 和 Martin Szomszor 合著，旨在探讨科研评估中对简单指标（如 h 指数、期刊影响因子、篇均引文影响力、大学排名）的依赖问题，并提出使用数据可视化方法（如射束图、期刊画像、影响力全貌、研究足迹）来替代这些指标，以实现更全面、准确和负责任的科研管理。

报告指出，尽管这些指标在某些情况下具有参考价值，但它们往往过度简化科研表现，导致信息丢失和误用。通过更丰富的数据背景和可视化方式，科研管理者可以更深入地理解科研活动的复杂性与多样性。

主要观点

简单指标的局限性
- 单点指标（如 h 指数、期刊影响因子、篇均引文影响力）无法全面反映科研人员、期刊或研究机构的科研表现。
- 这些指标容易被误用，尤其是在缺乏上下文的情况下，可能导致不公平或误导性的评估。
- h 指数依赖于职业生涯长度和学科差异，无法用于跨学科或跨个体的比较。
- 期刊影响因子（JIF）主要用于期刊管理，而非科研评估，其应用范围被过度扩展。
数据可视化方法的优势
- 射束图：通过百分位数显示科研人员的论文影响力分布，能够揭示单个 h 指数无法表达的细节。
- 期刊画像：提供更丰富的数据背景，如引文分布、分区信息等，帮助研究人员和管理者理解期刊在科研生态系统中的真实位置。
- 影响力全貌（Impact Profile™）：将学科规范化引文影响力（CNCI）的分布以图形形式呈现，揭示高被引与低被引论文的比例，避免平均值的误导。
- 研究足迹（Research Footprint）：使用雷达图等多维可视化方法，展示研究机构在不同学科和指标上的表现，提供更全面的科研活动视图。
科研活动的复杂性
- 科研活动并非一维，其过程和成果具有高度多样性，涉及基础研究、应用研究、跨学科合作等多个维度。
- 研究机构不仅承担研究任务，还涉及教学、社会服务、行业合作等多方面职能，单一指标难以全面反映其贡献。
排名系统的缺陷
- 大学排名通常将多类别数据压缩为一个数字，掩盖了科研活动的复杂性和多样性。
- 即使排名体系如 THE、WUR 等较为全面，其结果仍可能受到机构规模、历史等因素的影响，无法准确反映科研实力。

关键信息

h 指数：由 Jorge Hirsch 提出，用于衡量科研人员的产出与影响力，但存在局限性，如不适用于跨学科比较、忽略非期刊出版物等。
期刊影响因子（JIF）：由 Eugene Garfield 创立，用于评估期刊的影响力，但被广泛误用于科研人员和机构的评估。
学科规范化引文影响力（CNCI）：通过将论文被引次数与学科和年份的世界平均值进行比较，提供更公平的科研影响力评估。
影响力全貌（Impact Profile™）：将 CNCI 值按区间分类，直观展示论文的引文分布情况，帮助识别高被引和低被引论文。
研究足迹（Research Footprint）：一种多维度的可视化方法，可用于比较不同机构在多个指标上的表现，如基金收入、论文数量、引文影响力等。

可视化方法推荐

可视化方法	用途	优点
射束图	显示科研人员论文的影响力分布	能揭示 h 指数无法表达的细节
期刊画像	展示期刊的引文分布和分区信息	提供更全面的期刊影响力视图
影响力全貌（Impact Profile™）	展示机构论文的引文分布情况	避免平均值的误导，揭示真实分布
研究足迹（Research Footprint）	多维度比较研究机构的科研表现	支持跨机构、跨学科的对比分析

结论

本报告强调，数据可视化方法能够更有效地揭示科研活动的复杂性，避免简单指标的误导。通过使用射束图、期刊画像、影响力全貌和研究足迹等工具，科研管理者可以更全面、准确地评估科研人员、期刊和机构的表现，支持更负责任的科研管理决策。

引用文献

Adams J, Gurney KA and Marshall S. (2007). Profiling citation impact: a new methodology. Scientometrics, 72, 325-344
Bornmann, L and Haunschild, R. (2018). Plots for visualizing paper impact and journal impact of single researchers in a single graph. Scientometrics, 115, 385-394. DOI: https://doi.org/10.1007/s11192-018-2658-1
Bornmann, L and Marx, W. (2014). Distributions instead of single numbers: percentiles and beam plots for the assessment of single researchers. Journal of the Association for Information Science and Technology 65, 206-208. DOI: 10.1002/asi
Hirsch, J. E. (2005). An index to quantify an individual's scientific research output. PNAS, 102, 16569-72.
Garfield, E. (1955). Citation Indexes for Science: A New Dimension in Documentation through Association of Ideas. Science, 122, 108-111.
Garfield, E. (2006). The History and Meaning of the Journal Impact Factor. Journal of the American Medical Association (JAMA), 293: 90-93, January 2006.
Waltman, L., & Van Eck, N. J. (2012). The inconsistency of the h-index. Journal of the American Society for Information Science and Technology, 63(2), 406-415.