当艺术遇见AI_科艺融合的新探索-浙江大学-2025.4.21_25页_3mb

Where Art Meets AI: 科艺融合的前沿探索总结

核心内容概述

本次讲座由浙江大学艺术与考古学院的唐谈主讲，主题为“Where Art meets AI”，聚焦于人工智能在艺术领域，尤其是古画修复与色彩复原中的应用。讲座通过多个案例和模型展示，探讨了AI如何与传统艺术修复流程相结合，实现对古画色彩的智能推理与复原，推动“诗画一律”的跨模态融合。

主要观点

1. 古画修复流程

• 传统古画修复包括多个步骤：处理画芯、揭命纸、托命纸、补洞、帖断纹、全色、接笔。
• 这些步骤需要高度的专业技能和经验，且耗时费力，修复过程中需谨慎处理画作的原始状态和历史信息。

2. 色彩复原技术

• 通过AI技术对古画进行色彩复原，可以更准确地还原原作的色彩细节，提升视觉效果。
• 例如《江亭晚景图》和《菩萨焚香图》的复原案例，展示了AI在色彩推理与还原中的应用效果。

3. “诗画一律”的跨模态融合

• “诗画一律”是中国传统艺术中重要的美学理念，强调诗歌与绘画在表达意境上的统一。
• 通过AI模型，可以实现诗歌与画作的跨模态匹配与理解，提升艺术作品的多维度解读能力。

关键信息

1. 色彩推理与图像召回

• AI模型能够通过文本描述（如诗句）推断画作的色彩搭配，并进行图像召回，匹配相似的画作。
• 例如《洞庭东山图》与《湘君》、《湘夫人》等诗句的匹配，展示了AI在理解画作意境与诗歌意象方面的潜力。

2. 诗画融合大模型

• 介绍了一种专门用于诗画融合的AI大模型，其模型规模达到958M参数，在色彩一致性和意境一致性方面表现优异。
• 该模型基于ViT-H/14视觉骨架和RoBERTa-wwm-Large文本骨架，具有强大的跨模态理解能力。

3. 模型性能对比

• 提供了不同版本的Chinese-CLIP模型的参数量与召回率对比，展示其在图像与文本匹配任务中的表现：
  • CN-CLIPRN50：77M参数，Top1召回3.6，Top5召回5.8，Top10召回17.3
  • CN-CLIPViT-B/16：188M参数，Top1召回6.5，Top5召回12.2，Top10召回18.7
  • CN-CLIPViT-L/14：406M参数，Top1召回2.2，Top5召回14.4，Top10召回23.0
  • CN-CLIPViT-L/14@336px：407M参数，Top1召回4.3，Top5召回15.1，Top10召回25.9
  • CN-CLIPViT-H/14：958M参数，Top1召回5.0，Top5召回15.1，Top10召回20.1
  • 诗画融合大模型：958M参数，Top1召回65.5，Top5召回84.2，Top10召回88.5

4. 智能协同修复流程

• AI技术可以辅助修复师进行智能协同修复，提高修复效率与准确性。
• 流程包括：输入、挑战一（画作收集数量庞大）、推色、还原、挑战二（画作还原费时费力）、输出。
• 通过AI模型对画作进行智能分析，减少人工干预，实现更高效的修复。

未来展望

• AI技术在古画修复与色彩复原中的应用，将传统艺术修复与现代科技相结合，为文化遗产保护提供新的解决方案。
• 通过跨模态模型的不断优化，AI有望在“诗画一律”的理解与创作中发挥更大作用，促进艺术与科技的深度融合。

结论

唐谈的讲座展示了AI在古画修复与色彩复原中的巨大潜力，不仅提升了修复工作的效率和准确性，还为“诗画一律”的跨模态理解提供了新的视角。通过智能协同修复流程与诗画融合大模型的应用，AI正逐步成为艺术修复与创作的重要工具。