COSMO: A Large-Scale E-commerce Common Sense Knowledge Generation and Serving System at Amazon

论文作者所在机构

• 亚马逊公司、香港科技大学

发表时间

• 2024\6

一句话概括

• 该论文提出了 COSMO 系统(第一个采用大语言模型构建高质量知识图谱并服务在线应用的行业规模知识系统.)，它通过从大规模用户行为中挖掘用户中心的常识知识来构建知识图谱，利用LLM和指令微调生成高质量知识，应用于多种电子商务任务，有效提升了购物体验和业务指标

核心问题

• 找出海量嘈杂行为背后的用户意图

  • 如何有效地生成和使用常识知识图谱，以更好地理解和服务电子商务平台用户的意图

    • 现有电子商务知识图谱的局限性（忽略了对用户意图的深度挖掘）

    • 常识知识的生成与服务问题（缺乏与用户行为相关的常识知识）

    • 用户中心的常识知识图谱构建（如何围绕用户行为和意图来构建）

    • 知识生成与质量控制问题（与真实偏好一致、避免噪声和错误传播）

研究方法

• 大规模数据收集与处理

  • 用户行为

    • search-buy = query-product
      pair (𝑞, 𝑝)

    • co-buy = co-purchased product pair (𝑝1, 𝑝2)

  • 常识性知识

    • 三元组（h,r,t）user behavior,relation,tail

      • eg

        • customers bought camera case and screen protector glass together because they are capable of providing protection for camera

        • provide protection for camera” is the tail under the relation capableOf

    • relation

      • usedFor\capableOf\isA\cause

        • 

  • 指令数据

    • 

    • 输入

      • (𝑞, 𝑝) (𝑝1, 𝑝2)

        • 输出

          • (ℎ, 𝑟, 𝑡) 之 t

• 常识知识生成：使用大语言模型（LLMs）

  • 用户行为采样

    • eg：co-buy 找一个以上的产品集（目标：弥补搜索查询和产品之间的语义差距）

  • QA提示生成

    • LLM在给定描述良好的场景或任务指令的情况下更擅长回答上下文化的问题

      • 通过提供问答（QA）上下文来表达用户行为

        • 

        • 使用 OPT175b 和 OPT30b 模型在 16 个 A100 GPU 上进行生成推理

    • 
      不同域的生成例子

• 人类反馈与知识优化：人类标注（Human-in-the-Loop）

  • Coarse-grained Filtering

    • Rule-based Filtering.

      • GPT - 2

    • Similarity Filtering

      • 𝑑(𝑘, 𝑐) = cos(E(𝑘), E(𝑐)).

      • 通过计算余弦相似度来处理语义相似情况

  • Human-in-the-loop Annotation

    • 我们结合知识频率日志和产品或查询的流行度进行重新加权

      • v

    • • 数据隐私问题

        • 聘请专业的数据注释供应商公司进行高质量的注释，然后进行严格和仔细的内部审计过程

• 指令调优：为生成模型进行微调（Instruction Tuning）

  • 为了使模型对不同的格式具有鲁棒性，我们设计了不同的模板来表达指令和输入输出对。 例如，我们添加“搜索查询”、“用户输入”或“用户搜索：”等前缀

• 知识图谱构建与扩展

  • COSMO将从LLMs生成的常识知识和人工反馈结合起来，构建了一个跨越18个主要商品类别的大规模知识图谱。通过这种方法，COSMO能够在不同商品类别中提供个性化的、符合常识的推荐和搜索服务。

• 实验验证与性能评估：离线和在线A/B测试

  • COSMO被部署在Amazon的搜索应用中，离线实验通过数据分析来评估模型在生成常识知识图谱方面的效果，在线A/B测试则验证了该系统在真实用户环境中的表现，特别是在搜索导航等实际应用中的效果。这些测试结果为系统的商业化应用提供了支持。

创新点

• 基于用户行为的常识知识图谱构建

  • COSMO系统提出了一种全新的方法，通过用户中心的常识知识图谱，深入挖掘用户的行为、意图和交互方式。

• LLMs+human-in-the-loop结合的常识知识生成

  • 大语言模型能够从大规模数据中提取知识，而人工反馈帮助过滤噪声并提升生成内容的准确性和相关性。

• COSMO-LM模型与指令调优

  • 使用指令调优技术对COSMO-LM进行微调，使其能够更准确地生成电子商务领域的常识知识