兰德-REF案例研究中标准化影响量化指标的指南（英文）-2018.7-54页-1mb

报告摘要

总结：REF 案例研究中量化影响指标标准化指南

核心内容

本报告由 RAND Europe 为英国高等教育资金委员会（HEFCE）撰写，旨在为 2021 年研究卓越框架（REF）案例研究中量化影响指标的标准化提供指导。该研究基于 2014 年 REF 案例研究数据，识别并分析了其中使用的量化影响指标，并提出了两个主要类别的标准化建议：风格指南（Style Guide）和具体指南（Specific Guidance）。

主要观点

REF 的背景与目标：REF 是评估英国高等教育机构（HEI）研究质量的系统。2014 年的 REF 显示，大学研究不仅在学术领域产生影响，还对社会、经济、公共政策和健康等领域产生广泛影响。2021 年的 REF 继续采用案例研究方式评估研究影响。
量化指标的挑战：2014 年 REF 案例研究中使用了大量量化指标，但由于缺乏统一的格式和术语，数据的分析与比较变得困难。因此，标准化这些指标对于后续的数据分析和研究影响的透明度至关重要。
标准化的必要性：标准化量化影响指标有助于提升数据的可发现性、可比性和聚合能力，从而支持更有效的研究评估和政策制定。
研究方法：采用混合方法，包括文本挖掘和定性分析，对 2014 年 REF 案例研究中的量化指标进行了系统分析。研究周期为九周，涵盖文献综述、数据集构建、内部研讨会、专家咨询与结果合成。

关键信息

标准化指南的两个主要类别

风格指南（Style Guide）
- 旨在统一量化影响指标的表述方式，提高其在案例研究中的可发现性。
- 涵盖以下方面：
  - 数字（Numbers）：统一数字的使用方式，如是否使用“约”、“超过”等词汇。
  - 百分比与比率（Percentages and Rates）：建议使用统一的表达方式，如“% increase”或“per 1000 people”。
  - 变化量度（Measures of Change）：如“increased by 20%”，建议使用一致的术语和表达。
  - 时间周期（Time Periods）：建议统一时间单位，如“per year”或“over a five-year period”。
  - 单位（Units）：建议使用国际单位制（SI）或 ISO 标准单位，以确保一致性。
  - 货币单位（Currency）：建议使用统一的货币单位，如 GBP，避免混淆。
具体指南（Specific Guidance）
- 针对案例研究中常见的量化指标，提出具体的标准化建议。
- 涵盖以下具体指标：
  - 参与度（Engagement）：如“number of people engaged”或“number of organisations involved”。
  - 非学术文献与媒体提及（Mentions in Non-Academic Documents and the Media）：如“number of articles published in non-academic media”。
  - 就业（Employment）：如“number of jobs created”或“number of people employed”。
  - 财务数据（Financial Figures）：如“revenue increase”或“investment in research”。
  - 排放量（Emissions）：如“reduction in CO₂ emissions”。