搜推广生死判官：聊聊重排技术发展
输入“/”快速插入内容
搜推广生死判官：聊聊重排技术发展
搜推广生死判官：聊聊重排技术发展
🏕️
对重排模块之前有了解，真正开始搞重排时间不久，是一篇学习笔记。
本文内容观点与作者雇主无关，仅代表作者本人当前认知梳理。全文只会引用互联网公开资源，不涉及任何内部未公开信息，欢迎讨论~
1.
重排Overview
重排一般是离用户最近的一个环节（有些场景还有混排），其定位是对精排模型打分后的top-N候选进行重新排序，从上下文listwise的角度系统建模最优收益，然后重新生成TOP-K个物品的序列展现给用户。
首先简单说明一下为什么需要重排。精排的思路是通过对商品打分，按照这个打分从高到低进行排序，打分越高的物品价值越高 -> 展示位置更靠前 -> 产生的实际收益更大。但这套逻辑有一个严重的缺陷，就是物品的上下文信息会极大影响用户决策。
举一个快手短视频的例子，比如第一条视频是将军对于台海危机的言论，但如果下一条视频推荐了小姐姐视频那就相当不合时宜，因为这两个视频没有连贯性，推荐效果较差。那如果下一个推荐视频是比较燃的音乐，再在后面推荐小姐姐跳舞的视频，那么这时候内容的连贯性就较好，用户不会觉得突兀。
具体而言，重排模块需要处理的问题：
1.
不再同召回、粗精排一样仅仅考虑
的pair关系，而是
的相互影响，如何使得整个展现序列价值最大化；
2.
在不同的场景中，如何合理定义『价值』，什么是好的价值，业务意志如何体现；
3.
越来越多业务参与其中，如何恰当地分配流量。除了各自业务主目标（GMV、时长等），还需要考虑更多的多样性、发现性、用户体验等，也许还需要背负一些业务策略（如加权、降权、bad case过滤等）
4.
如何更加及时感知用户的行为喜好，迅速响应调整模型策略。
既然目标明确了，那么效果如何评估，能与我们最终的目标对应上？
•
精准度：NDCG。这个衡量指标与精排的一致，目标是将用户可能点击/购买的商品尽可能排到更前面，效率更高，公式如下
•
多样性：α-NDCG。来源于2008年在SIGIR发表的《Novelty and Diversity in Information Retrieval Evaluation》，本质还是DCG的逻辑，优化了对于增益的定义。
2.
重排模型发展
重排的模型发展主要有
•
pointwise模型。和经典CTR模型基本类似，如DNN、WDL、DeepFM。与精排模型相比主要优势在于实时更新的模型、特征和调控权重。随着工程能力的升级，ODL和实时特征的引入带来了较大提升；
•
pairwise模型。通过pairwise来对比物品对之间的顺序关系，如GBRank、RankSVM、RankNet等，但pirwise的模型没有考虑列表的全局信息，而且极大地增加了模型训练和预估的复杂度。