当前位置：首页 > news >正文

搜广推校招面经五十六

news 来源：原创 2025/8/4 12:15:42

字节推荐算法

一、Attention的复杂度是多少？

见【搜广推校招面经三十八】

二、如何对普适性强的物品（如新华字典）设计指标进行降权

2.1. 问题背景

普适性强的物品（如新华字典）在推荐系统或搜索排序中可能频繁出现，影响多样性和用户体验。因此，需要设计指标对其进行降权。
但 - 平衡用户需求：在降权的同时，仍需满足用户对普适性物品的潜在需求。

2.2. 具体指标设计

2.2.1. 物品流行度降权

定义：根据物品的流行度（如点击量、购买量等）进行降权。
公式：
$\text{权重} = \frac{1}{\log(\text{流行度} + 1)}$
说明：流行度越高，权重越低，从而降低普适性物品的排名。

2.2.2. 用户个性化评分

定义：根据用户的历史行为（如点击、购买、评分等）计算个性化评分。
公式：
$\text{权重} = \frac{\text{用户个性化评分}}{\text{物品流行度}}$
说明：即使物品流行度高，如果用户对其不感兴趣，权重也会降低。

2.2.3. 物品类别多样性

定义：根据物品所属类别进行多样性调整。
公式：
$\text{权重} = \text{权重} \times (1 - \text{类别出现频率})$
说明：如果某类别物品出现频率过高，降低其权重，增加其他类别的机会。

2.2.4. 时间衰减因子

定义：根据物品的时间衰减因子进行降权。
公式：
$\text{权重} = \text{权重} \times e^{-\lambda t}$
说明：随着时间的推移，普适性物品的权重逐渐降低，确保推荐结果的时效性。

三、AUC的推广与多分类AUC计算

AUC（Area Under Curve）是评估二分类模型性能的重要指标，通常用于衡量模型在不同阈值下的分类能力。其值为ROC曲线下的面积，取值范围为[0, 1]，值越大表示模型性能越好。

3.1 多分类AUC的定义

在多分类问题中，AUC的计算可以通过以下两种方式推广：

One-vs-Rest (OvR) 方法：将多分类问题转化为多个二分类问题，每个类别分别计算AUC，最后取平均。
One-vs-One (OvO) 方法：对每两个类别计算AUC，最后取平均。

3.2 One-vs-Rest (OvR) 方法

步骤：
1. 对于每个类别，将其视为正类，其余类别视为负类。
2. 计算每个类别的AUC。
3. 对所有类别的AUC取平均，得到最终的多分类AUC。
公式：
$\text{AUC}_{\text{OvR}} = \frac{1}{C} \sum_{i=1}^{C} \text{AUC}_i$
其中， $C$ 为类别数， $\text{AUC}_i$ 为第 $i$ 个类别的AUC。

3.3 One-vs-One (OvO) 方法

步骤：
1. 对于每两个类别，计算它们之间的AUC。
2. 对所有两两组合的AUC取平均，得到最终的多分类AUC。
公式：
$\text{AUC}_{\text{OvO}} = \frac{2}{C(C-1)} \sum_{i=1}^{C-1} \sum_{j=i+1}^{C} \text{AUC}_{i,j}$
其中， $C$ 为类别数， $\text{AUC}_{i,j}$ 为第 $i$ 个类别和第 $j$ 个类别之间的AUC。

3.4 基于排序的快速计算

原理：AUC可以通过正负样本的排序关系快速计算。
步骤：
1. 对所有样本的预测概率进行排序。
2. 统计正样本的排名之和。
3. 使用公式计算AUC：
  $\text{AUC} = \frac{\sum_{i=1}^{n_+} r_i - \frac{n_+(n_+ + 1)}{2}}{n_+ \times n_-}$
  其中， $n_+$ 为正样本数， $n_-$ 为负样本数， $r_i$ 为正样本的排名。

四、DeepFM 中的交叉项系数计算及其意义

DeepFM（Deep Factorization Machine）是一种结合了因子分解机（FM）和深度神经网络（DNN）的模型，用于解决推荐系统和点击率预测等任务。其核心特点是能够同时捕捉低阶特征交互（通过FM部分）和高阶特征交互（通过DNN部分）。

4.1. 交叉项系数的计算

4.1.1. FM 部分的交叉项

在FM部分，交叉项系数用于建模特征之间的二阶交互。假设输入特征为 $(x_1, x_2, \dots, x_n)$ ，FM部分的交叉项计算如下：
$\text{FM交叉项} = \sum_{i=1}^{n} \sum_{j=i+1}^{n} \langle v_i, v_j \rangle x_i x_j$
其中：

$v_i$ 和 $v_j$ 是特征 $x_i$ 和 $x_j$ 的隐向量（embedding）。
$\langle v_i, v_j \rangle$ 表示隐向量的点积，用于衡量特征 $x_i$ 和 $x_j$ 之间的交互强度。

4.1.2. 隐向量的作用

每个特征 $x_i$ 被映射到一个低维隐向量 $v_i$ 。
隐向量的点积 $\langle v_i, v_j \rangle$ 可以理解为特征 $x_i$ 和 $x_j$ 之间的交互系数。
通过隐向量的方式，FM可以有效地减少参数数量，避免直接计算所有特征对的交互系数。

4.1.3. 交叉项计算的优化

FM通过以下公式优化交叉项的计算：
$\sum_{i=1}^{n} \sum_{j=i+1}^{n} \langle v_i, v_j \rangle x_i x_j = \frac{1}{2} \left( \left( \sum_{i=1}^{n} v_i x_i \right)^2 - \sum_{i=1}^{n} (v_i x_i)^2 \right)$
这种优化将计算复杂度从 $O(n^2)$ 降低到 $O (n)$ ，极大地提高了计算效率。

4.2. 为什么要计算交叉项系数

4.2.1. 捕捉特征交互

在推荐系统和点击率预测任务中，特征之间的交互（如用户年龄和商品类别的交互）对预测结果至关重要。
FM通过交叉项系数显式地建模二阶特征交互，能够更好地捕捉这些关系。

4.2.2 解决稀疏性问题

在实际应用中，数据通常是稀疏的（如用户-物品交互矩阵）。
FM通过隐向量的方式，可以在稀疏数据中学习到有效的特征交互，避免过拟合。

4.2.3. 结合低阶和高阶交互

DeepFM 的 FM 部分专注于低阶特征交互，而 DNN 部分可以捕捉高阶特征交互。
这种结合使得 DeepFM 能够同时建模简单和复杂的特征关系，提升模型的表现。

4.2.4 参数效率

通过隐向量的方式，FM 避免了直接存储和计算所有特征对的交互系数，大大减少了参数量。
这使得 DeepFM 在大规模数据集上也能高效运行。