经典推荐系统级联漏斗

经典推荐系统级联漏斗 由 Archify 生成的数据流图。 01 / 来源 02 / 召回 03 / 粗排 04 / 精排 05 / 重排与混排 内容库 · 百万级条目 · 01 / 来源 · 离线建索引 内容库 百万级条目 离线建索引 用户历史 · 近期行为 · 01 / 来源 用户历史 近期行为 召回通道 · ANN · 协同 · 关注图 · 02 / 召回 · 并行 召回通道 ANN · 协同 · 关注图 并行 粗排模型 · 轻量模型 · 03 / 粗排 粗排模型 轻量模型 特征库 · 水合后的特征 · 03 / 粗排 特征库 水合后的特征 精排模型 · 多目标 P(行为) · 04 / 精排 · 最大开销 精排模型 多目标 P(行为) 最大开销 广告竞价 · 与自然内容并行 · 04 / 精排 广告竞价 与自然内容并行 重排 · 多样性 · 业务规则 · 05 / 重排与混排 重排 多样性 · 业务规则 混排 · Top N 进入信息流 · 05 / 重排与混排 混排 Top N 进入信息流 百万 → ~10⁴ 用户向量 ~10⁴ → ~10³ 水合候选 ~10³ → ~10² 已打分 ~10² 中标广告 排好的帖子 图例 主要数据 异步批处理 数据存储 数据流

为什么分层

  • • 每一层便宜的筛子,都是为了让贵的那一层少看几条
  • • 成本由到达精排的数量决定,而不是进入漏斗的数量

延迟预算

  • • 服务端排序在 P99 下约 300 ms
  • • 精排独占其中最大一块

不在关键路径上的

  • • 广告竞价与自然内容管线并行
  • • 建索引与特征计算都在离线完成