输入“/”快速插入内容

CTR预估技术

2024年4月7日修改

CTR 任务一般可以认为是一个二分类任务，使用交叉熵作为 loss function​

一般，

CTR模型的发展可以分为两个方面：特征层面 和 模型层面。在早期，受限于算力资源，一般都是复杂人工特征+简单模型的优化思路，近些年随着算力的提升，越来越多的复杂模型和可学习特征工程涌现出来。​

1.
从浅到深的 CTR 模型​

1.1
Logistic Regression​

是最基本的CTR模型：通过二分类完成预估。具有效率高、易于快速部署、快速挖掘有效特征的优点。​

缺点是不能处理特征和目标之间的非线性关系，模型效果严重依赖于人工经验。​

1.2
FM​

因子分解机（Factorization Machine，FM）是一个经典算法，为每个特征 i 分配一个k维可学习的嵌入向量 
，使模型能够以灵活的方式探索特征组合的有效性；​

FM 模型可以通过学习特征对应的隐向量，来学习训练数据中很少或者没有出现过的特征组合。例如特征 ​

和特征

在训练数据中从来没有成对出现过，但特征

经常和特征

成对出现，特征

也经常和特征

成对出现，因而在FM模型中特征

和特征

也会有一定的相关性。毕竟所有包含特征

的训练样本都会导致模型更新特征

的隐向量

，同理，所有包含特征

的样本也会导致模型更新隐向量

，这样 ⟨

⟩ 就不太可能为0。

FFM

在 FM 模型中，所有特征共享一个隐空间，但是实际不同特征是按域（field）来划分的。例如，“飞利浦”、“兰蔻”属于“品牌商”field，“男性”、“女性”属于“性别”field。​

FFM 将每个特征按 field 拆分，划分到多个隐空间上。

CTR预估技术​