用户偏爱LLM生成内容——直到发现是AI所为_13页_306kb

用户对AI生成内容的偏好研究总结

本研究通过操控实验设计，探讨用户对人类与大型语言模型（LLM）生成内容的偏好差异，分析内容来源是否披露对其评价的影响。研究针对Quora和Stack Overflow等平台的热门问题，收集人类及LLM（ChatGPT、Claude、Gemini、Llama）生成的回答，参与者的性别、年龄、教育背景、编程技能等特征被纳入分析。结果显示，用户普遍偏好AI生成内容，但当明确知晓来源后，偏好显著减弱，表明来源披露对评估判断的影响大于内容本身质量。

核心发现

1. 来源披露对偏好的影响

   • 实验中，50%参与者被随机告知回答来源，另一半未知。总体数据显示，AI生成回答的接受度高于人类回答，但来源公开后，用户对AI的偏好下降，且更倾向于选择人类生成回答。
   • 女性受访者对人类回答的偏好高于男性，编程技能者在知情情况下更可能选择人类内容，而人文领域问题在来源披露时更易引发对AI的负面评价。

2. 内容质量与偏好的关系

   • 尽管AI生成内容在流畅性、情感表达等方面与人类内容趋近，但用户评价仍受来源认知影响。例如，AI生成的回答在长度和复杂度上通常优于人类回答，但这种优势在知情后被弱化。

3. 领域差异与用户特征

   • 不同学科领域的偏好差异显著：健康科学领域AI内容被接受度较低，而人文领域用户更倾向人类回答。编程技能与性别是关键调节变量，男性在知情情况下更倾向于选择人类生成内容。

4. 伦理与技术挑战

   • 研究指出AI内容可能存在的偏见问题（如性别、种族、政治倾向），以及内容来源透明度对用户信任的重要性。同时，强调需在AI部署中加强人类监督，以确保敏感领域内容的适当性。

研究意义与局限

• 该成果揭示了用户对AI生成内容的潜在偏见，提示技术开发者需关注如何提升AI内容的可信度，尤其在需高度可信的场景（如医疗、公共政策）。
• 研究受限于文本内容，未涵盖图像、音频等非文本形式。样本主要来自特定平台，可能存在文化或技术背景偏差。此外，未探讨增强型人类-AI协作内容的用户反应。

未来方向

• 建议进一步研究长期透明度效果、非文本媒体中AI内容的感知差异，以及人类-AI协作模式对用户信任的影响。

本研究通过实证分析，为理解人类与AI生成内容的交互机制提供依据，同时提出改进AI社会接受度的实践方向。