生成式人工智能时代的网络搜索特征研究_24页_3mb

总结：Characterizing Web Search in The Age of Generative AI

核心内容

本文探讨了生成式人工智能（Generative AI）对网络搜索的影响，特别是生成式搜索与传统网络搜索在输出格式、信息来源和内容多样性方面的差异。研究通过比较Google的传统搜索（Organic）与四个生成式搜索引擎（AI0, Gemini, GPT-Search, GPT-Tool）的搜索结果，揭示了生成式搜索在信息获取和呈现方式上的新特性。

主要观点

• 输出格式差异：传统搜索返回的是排名列表，而生成式搜索提供的是单个连贯的文本块。
• 信息来源范围：生成式搜索可以整合更多来源的信息，覆盖范围更广，而传统搜索通常仅显示前10或前100个结果。
• 内部知识与外部知识的依赖：生成式搜索结合了模型内部知识与外部检索内容，而传统搜索主要依赖外部信息。
• 内容多样性：生成式搜索在某些情况下能提供更广泛的概念覆盖，但也可能忽略某些特定视角。
• 评估标准的转变：现有评估指标适用于传统搜索，但无法有效衡量生成式搜索的多样性、新颖性、可信度和时效性。

关键信息

1. 搜索引擎对比

• Organic Google Search：返回前100个结果，主要依赖外部知识，结果包括链接和摘要。
• Google AI Overview (AI0)：集成在Google搜索中，根据内部判断生成摘要，覆盖更多来源。
• Gemini：结合了AI助手功能与网络搜索，通过多次重写查询以提高准确性。
• GPT-Search：始终执行网络搜索，依赖外部信息。
• GPT-Tool：仅在部分情况下使用网络搜索，主要依赖内部知识。

2. 数据集描述

• MS Marco：包含1000个Bing搜索查询，用于开放领域检索和问答。
• WildChat：从100万ChatGPT用户查询中提取，过滤掉对话性质的查询，保留事实性问题。
• AllSides：聚焦政治议题，从新闻网站提取主题并生成相关问题。
• Regulatory Actions：涉及特朗普政府2025年发布的行政命令，生成相关问题。
• Science Queries：从ACM分类系统中提取科学相关主题，生成用户关注的问题。
• Products：基于2023年亚马逊热门产品，生成产品评论和比较类问题。

3. 源分析结果

• 生成式搜索在信息来源上更广泛，例如AI0平均覆盖53%的领域，而传统搜索仅覆盖27%。
• 生成式搜索在某些查询中依赖更少的外部链接，如GPT-Tool平均引用0.4个网页，而AI0引用8.6个网页。
• 生成式搜索的链接通常来自排名较低的网站，但GPT模型在某些数据集中（如Regulatory Actions）引用的链接排名更高。
• 生成式搜索结果与传统搜索的前100个结果重叠率较低，尤其在Products数据集中仅为30%。
• 生成式搜索结果中，社交网站的比例接近于零，除了Products数据集中的GPT-Search和GPT-Tool，分别有7%和5%的链接来自社交媒体。

4. 内容分析结果

• 生成式搜索在概念覆盖方面与传统搜索相似，但在某些查询中，传统搜索结果更全面。
• 生成式搜索结果的结构和长度差异较大，通常包含更多链接。
• 在模糊查询中，生成式搜索可能无法全面覆盖所有方面，而传统搜索表现更优。
• 生成式搜索可能牺牲多样性与偶然性，以提高效率，但也存在生成幻觉的风险。

5. 未来研究方向

• 需要重新审视网络搜索的评估标准，以适应生成式搜索的新特性。
• 建议开发新的评估方法，综合考虑来源多样性、概念覆盖和内容合成能力。
• 生成式搜索在信息整合和呈现方式上带来了新的设计挑战，影响透明度、信任和用户自主性。

结论

生成式搜索正在改变网络搜索的模式，其在信息来源、内容结构和多样性方面表现出与传统搜索的显著差异。研究强调了现有评估方法的局限性，并呼吁建立新的评估体系以全面理解生成式搜索的优缺点。