兰德-The-Feasibility-of-Developing-a-Repository-of-Assessments-of-Hard_71页_2mb

总结：开发难以测量能力评估库的可行性

核心内容

本报告由RAND Corporation发布，探讨了建立一个评估难以测量能力的资源库的可行性及其面临的主要挑战。该研究由William and Flora Hewlett基金会资助，旨在支持教育工作者、研究人员和政策制定者更好地评估学生在21世纪所需的高阶认知技能、人际技能和内在技能。

主要观点

1. 需求背景
   随着科技的发展和全球竞争的加剧，教育界对培养学生的高阶能力提出了更高要求。这些能力包括批判性思维、问题解决、合作、沟通和自我调节学习等，传统标准化测试难以有效衡量。

2. 可行性分析
   研究表明，虽然可以找到大量评估这些能力的工具，但收集和整理相关信息面临诸多挑战。此外，许多新开发的评估工具尚未广泛传播或被教育工作者熟知。

3. 关键功能
   一个有效的评估资源库应具备五大核心功能：搜索、展示、评估、使用和连接。这些功能有助于用户找到合适的评估工具、了解其技术属性、使用在线系统进行评估，并与更广泛的用户群体互动。

4. 构建步骤
   本研究识别了构建评估资源库的十个主要步骤，包括定义目标、确定用户需求、搜索和筛选评估工具、收集和整理信息、设计数据库和用户界面、推广和更新资源库等。

5. 挑战与建议
   构建资源库需要克服信息收集难度、技术实现复杂性、用户需求多样性等问题。同时，研究建议在未来的项目中加强合作、明确标准、持续更新，并确保资源库的可用性和实用性。

关键信息

• 目标用户：教育工作者、研究人员、政策制定者。
• 主要能力领域：高阶认知能力（如批判性思维、问题解决）、人际能力（如合作、沟通）、内在能力（如自我调节学习）。
• 数据来源：包括已有的评估数据库（如APA的PsycTESTS®）、研究项目、商业评估提供商、其他评估资源库等。
• 研究方法：通过文献搜索、数据库查询、访谈潜在用户、分析现有评估资源库网站功能等方式进行。
• 研究结论：构建评估资源库是可行的，但需要克服信息收集、标准化、技术实现和用户参与等方面的挑战。

主要步骤

1. 确定感兴趣的能力构念

   • 需要明确有限且清晰的构念定义，以指导评估工具的搜索和选择。

2. 制定评估工具选择标准

   • 标准需根据目标用户的需求制定，同时应对信息缺失的情况进行处理。

3. 系统搜索评估工具

   • 使用多种搜索策略，包括学术数据库、项目基金、商业评估网站等，以确保全面性。

4. 筛选评估工具

   • 根据制定的标准筛选出适合纳入资源库的评估工具，并记录决策过程。

5. 收集评估工具信息

   • 从公共来源收集尽可能多的信息，并在必要时联系开发者获取补充信息。

6. 整理和组织信息

   • 使用统一模板整理信息，确保信息的结构化和一致性。

7. 整合数据库与网站技术

   • 需要教育内容团队与技术团队协作，确保数据库与用户界面的设计兼容。

8. 推广资源库

   • 通过多种渠道向潜在用户宣传，以扩大使用范围。

9. 持续更新与维护

   • 定期更新已有评估工具的信息，加入新的工具，并进行技术审查。

10. 用户反馈与互动

    • 提供用户评论功能和讨论论坛，以增强资源库的互动性和实用性。

建议与展望

• 未来方向：构建资源库是一个长期项目，需持续投入资源与精力。
• 功能优化：应优先考虑搜索功能、信息展示、评估工具使用指南和在线管理功能。
• 合作机制：需要教育界、研究机构和技术团队之间的紧密合作。
• 标准化与透明度：确保评估工具的选择标准清晰，并提供足够的技术质量证据和评估信息。

附录与参考文献

• 附录A：本可行性研究中开发的评估工具数据库。
• 附录B：加州批判性思维倾向量表的评估工具简介。
• 附录C：研究中审查的评估资源库网站描述。
• 参考文献：包括多个相关研究项目和报告，如RAND的多份研究报告及教育组织的资料。

结论

尽管存在挑战，但建立一个评估难以测量能力的资源库是可行的，并且能够为教育实践、研究和政策制定提供重要支持。未来的工作应聚焦于完善资源库的功能设计、信息整合和用户参与机制，以确保其有效性和可持续性。