推荐系统的评价指标

  • 日活用户数(DAU)和留存是最核心的指标(信息流推荐系统)。电商最核心的指标应该是营收
  • 目前工业界最常用 LT7 和 LT30 衡量留存
    • 某用户今天 t0t_0t0​ 登录 APP,未来七点 (t0t_0t0​ 到 t6t_6t6​) 中有 4 天登录 APP,那么该用户今天 (t0t_0t0​) 的 LT7 等于 4
    • 显然有 1≤LT7≤71\le LT7 \le 71≤LT7≤7 和 1≤LT30≤301 \le LT30 \le 301≤LT30≤30
    • LT 增长通常意味用户体验的提升(除非 LT 增长且 DAU 下降,这说明策略赶走了低活用户)
    • 假设 APP 禁止低活用户登录(极端例子),则 DAU 下降(总用户减少),LT 增长(LT 反映活跃度,低活用户走了均值就高了)
  • 其他核心指标:用户使用时长,总阅读数(即总点击数),总曝光数。这些指标的重要性低于 DAU 和留存
    • 时长增长,LT 通常会增长
    • 时长增长,阅读数,曝光数可能会下降。比如说如果长视频变多短视频变少,那么用户使用 app 的时长可能增加,但是曝光数会减少
    • 时长关系到 DAU 和留存,曝光关系到收入,所以要在两者间做平衡
  • 非核心指标:点击率,交互率等等
  • 对于 UGC 平台,发布量和发布渗透率也是核心指标

涨指标的方法

  • 改进召回模型,添加新的召回模型
  • 改进粗排和精排模型
  • 提升召回,粗排,精排中的多样性
  • 特殊对待新用户,低活用户等特殊人群
  • 利用关注,转发,评论这三种交互行为
Logo

北京人形旗下天工造物具身智能开源社区,聚焦具身天工与慧思开物两大平台

更多推荐