当前位置：首页 > news >正文

【论文阅读】Joint Deep Modeling of Users and Items Using Reviews for Recommendation

news 来源：原创 2025/8/23 6:22:15

Joint Deep Modeling of Users and Items Using Reviews for Recommendation

题目翻译：利用评论对用户和项目进行联合深度建模进行推荐

原文地址：点这里

关键词： DeepCoNN、推荐系统、卷积神经网络、评论建模、协同建模、评分预测、联合建模

摘要

用户撰写的大量评论包含着丰富的信息，而目前的大多数推荐系统忽视了这部分资源。本文提出了一个深度模型，名为 DeepCoNN，用于从评论中同时学习商品属性和用户行为。该模型由两个并行神经网络组成，分别利用用户撰写的评论和商品收到的评论进行建模，最终在顶部的共享层将二者耦合。这个共享层允许用户和商品的隐变量交互，类似因子分解模型的方式。实验表明，DeepCoNN 在多个数据集上显著优于所有的基线模型

一、前言

在过去十年里，商品和服务的种类和数量显著增加，虽然这为用户提供了更多选择，但也使他们更难做出决策。推荐系统应运而生，它们通过分析用户的偏好、需求和历史行为，向用户推荐可能感兴趣的商品，如网购、阅读文章、观看电影等场景中广泛使用。

当前主流的推荐系统方法主要基于 协同过滤（Collaborative Filtering, CF），尤其是基于 矩阵分解（Matrix Factorization） 的方法，它通过发现用户和商品之间的潜在因子（如电影的类型、演员等）来预测评分。这些方法虽然在多个应用中取得了成功，但也存在一个关键问题——稀疏性问题：用户评分（显式）过少，导致模型难以准确建模。

为了解决评分数据不足的问题，有研究尝试引入用户评论信息。用户在撰写评论时会表达对商品的看法，这些评论中包含了对评分背后的解释和情感信息，是评分矩阵之外的重要信息源。然而，大多数现有方法仍然忽视了这部分内容，仅基于评分建模用户和商品。

为此，本文提出了一个新的基于深度神经网络的模型，名为 DeepCoNN（Deep Cooperative Neural Networks），该模型从评论文本中联合建模用户行为和商品属性，从而提高评分预测的准确性。其核心思想如下：

使用两个并行神经网络分别对用户和商品进行建模；
每个网络的输入是该用户或该商品的所有评论；
顶部引入一个共享层，让用户和商品的潜在特征能够交互，类似于矩阵分解方法；
采用预训练词向量（如Word2Vec） 表示评论，提升语义建模效果。

论文的实验表明，DeepCoNN 在多个真实世界的数据集上（如 Yelp、Amazon、Beer）表现出显著优于现有方法的准确性，特别是在应对用户和商品评分稀缺的情况下，更能有效缓解稀疏性问题。

二、方法

表一：符号总结

符号	定义与描述
$d_u^{1:n}$	用户或物品 $u$ 的评论文本，由 $n$ 个单词组成
$V_u^{1:n}$	用户或物品 $u$ 的词向量矩阵
$w_{ui}$	用户 $u$ 对物品 $i$ 所写的评论文本
$o_j$	第 $j$ 个卷积层神经元的输出
$n_i$	第 $i$ 层神经元的数量
$K_j$	第 $j$ 个卷积核（Kernel）
$b_j$	第 $j$ 个卷积核的偏置项
$g$	全连接层的偏置项
$z_j$	第 $j$ 个卷积特征图（Feature Map）
$W$	全连接层的权重矩阵
$t$	卷积核的窗口大小（即卷积覆盖的词数）
$c$	词向量的维度（例如 Word2Vec 常为 300）
$x_u$	用户网络 Net $_u$ 的输出向量
$y_i$	物品网络 Net $_i$ 的输出向量
$\lambda$	学习

图1

2.2 模型架构

评分预测任务中所提出模型的结构如图1所示。该模型由两个并行的神经网络构成，在最后一层进行耦合：一个网络用于用户建模（记作 Net $_u$ ），另一个用于商品建模（记作 Net $_i$ ）。用户撰写的评论和商品收到的评论分别作为输入传递给 Net $_u$ 和 Net $_i$ ，最终输出预测评分。

模型的第一层被称为 查找层（look-up layer），它将评论文本转化为词嵌入矩阵（word embedding matrices），以提取评论中的语义信息。接下来的几层则是 CNN 中常用的结构，用于提取用户和商品的多层次特征，包括：

卷积层（convolution layer）、
最大池化层（max pooling layer）、
全连接层（fully connected layer）。

在两个网络的顶端，模型引入了一个 共享层（top shared layer），用于让用户和商品的隐向量进行交互。该层通过 Net $_u$ 和 Net $_i$ 输出的隐变量计算预测评分误差，即优化目标函数。

2.3 词嵌入表示

词嵌入是一种将单词映射为向量的参数化函数，记作 $\rightarrow \mathbb{R}^n$ ，其中 $M$ 表示词汇表，函数 $f$ 将每个单词映射为一个 $n$ 维的分布式向量。近年来，这种表示方式在许多自然语言处理（NLP）任务中显著提升了性能【参考文献12, 7】。

在 DeepCoNN 模型中，采用这种表示技术来挖掘评论文本中的语义信息。在模型的第一层，即查找层（look-up layer），评论被表示为一个词嵌入矩阵，以提取其中的语义特征。

具体做法是：将用户 $u$ 撰写的所有评论合并为一个整体文档，记作 $d_u^{1:n}$ ，该文档由总共 $n$ 个单词组成。随后，为用户 $u$ 构建其对应的词向量矩阵 $V_u^{1:n}$ ，公式如下：

$V_u^{1:n} = \phi(d_u^1) \oplus \phi(d_u^2) \oplus \phi(d_u^3) \oplus \cdots \oplus \phi(d_u^n)$

其中， $d_u^k$ 表示文档 $d_u^{1:n}$ 中的第 $k$ 个单词，查找函数 $\phi(d_u^k)$ 返回该单词对应的 $c$ 维词向量，符号 $\oplus$ 表示向量拼接操作。

需要特别指出的是，这种表示方法保留了词语的顺序信息，这是它相较于传统的“词袋模型（bag-of-words）”方法的一大优势。

2.4 卷积神经网络层

接下来的几层包括 卷积层（convolution layer）、最大池化层（max pooling） 和 全连接层（fully connected layer），这些结构遵循文献 [7] 中提出的 CNN 模型设计。

卷积层 由 $m$ 个神经元组成，每个神经元通过在用户 $u$ 的词向量矩阵 $V_u^{1:n}$ 上应用卷积操作来提取新的特征。
每个卷积神经元 $j$ 使用一个大小为 $\times t$ 的卷积核 $K_j$ ，在长度为 $t$ 的词窗口上滑动进行计算。
卷积操作的结果如下式所示：

$z_j = f(V_u^{1:n} * K_j + b_j) \tag{2}$

其中：

$*$ 表示卷积操作符；
$b_j$ 是该卷积核的偏置项；
$f$ 是激活函数。

在本模型中，我们使用 ReLU（修正线性单元） 作为激活函数，其定义如下：

$\max\{0, x\} \tag{3}$

使用 ReLU 的深度卷积神经网络相比使用 tanh 单元的网络训练速度更快【参考文献14】。

接下来，按照文献 [7] 的方法，我们在每个卷积特征图上执行 最大池化操作（max pooling），并取最大值作为该卷积核提取的代表性特征：

$o_j = \max\{z_1, z_2, \dots, z_{n-t+1}\} \tag{4}$

此方法可以自然地应对评论文本长度不一的问题。最大池化之后，卷积结果被压缩成一个固定大小的向量。

上述过程描述了一个卷积核提取一个特征的流程。实际模型中使用多个卷积核来提取不同的特征，其卷积层输出向量为：

$\{o_1, o_2, o_3, \dots, o_{n_1}\} \tag{5}$

其中， $n_1$ 表示卷积层中卷积核的数量。

然后，将最大池化层的输出 $O$ 输入到一个全连接层，使用权重矩阵 $W$ 和偏置 $g$ 进行线性变换并激活，得到用户 $u$ 的特征向量 $x_u$ ：

$x_u = f(W \times O + g) \tag{6}$

最终，我们可以分别获得用户端 CNN 的输出 $x_u$ 和物品端 CNN 的输出 $y_i$ ，作为后续评分预测的输入。

2.5 共享层

尽管用户和物品的输出向量 $x_u$ 和 $y_i$ 可以被视为各自的特征表示，但它们可能处于不同的特征空间，因此彼此之间不可直接比较或交互。

为了解决这个问题，本文在两个神经网络的顶部引入了一个共享层（shared layer），用于将 Net $_u$ 和 Net $_i$ 的输出耦合在一起。

具体做法是，将用户和物品的向量拼接成一个新的向量：

$\hat{z} = (x_u, y_i)$

为了建模该拼接向量 $\hat{z}$ 中所有特征之间的高阶交互关系，我们引入了 因子分解机（Factorization Machine, FM）【参考文献24】作为评分预测的估计器。

因此，给定一个包含 $N$ 个训练样本的批次 $T$ ，我们定义其损失函数（代价函数）如下：

$\hat{w}_0 + \sum_{i=1}^{|\hat{z}|} \hat{w}_i \hat{z}_i + \sum_{i=1}^{|\hat{z}|} \sum_{j=i+1}^{|\hat{z}|} \langle \hat{v}_i, \hat{v}_j \rangle \hat{z}_i \hat{z}_j \tag{7}$

其中：

$\hat{w}_0$ 是全局偏置项；
$\hat{w}_i$ 表示 $\hat{z}$ 中第 $i$ 个变量的权重；
$\langle \hat{v}_i, \hat{v}_j \rangle$ 表示变量 $i$ 和 $j$ 的二阶交互项，定义为向量内积：

$\langle \hat{v}_i, \hat{v}_j \rangle = \sum_{f=1}^{|\hat{z}|} \hat{v}_{i,f} \cdot \hat{v}_{j,f}$

x和y处于不同的特征空间，不能直接比较，采用耦合

2.6 网络训练（Network Training）

我们的模型通过最小化公式（7）所表示的损失函数 $J$ 来进行训练。对该函数关于 $\hat{z}_i$ 求导后，得到如下导数表达式（公式8）：

$\frac{\partial J}{\partial \hat{z}_i} = \hat{w}_i + \sum_{j=i+1}^{|\hat{z}|} \langle \hat{v}_i, \hat{v}_j \rangle \hat{z}_j \tag{8}$

对于网络中其他层的参数，其梯度可以通过链式法则（chain rule）进一步求得。

给定一个包含 $N$ 个样本元组的训练集 $T$ ，我们采用 RMSprop 优化器【参考文献30】在随机打乱后的小批量（mini-batches）上进行模型优化。

RMSprop 是一种自适应版本的梯度下降算法，它根据梯度的绝对值动态调整学习率。其做法是：用当前梯度的平方值对历史梯度进行加权平均，从而缩放每个权重参数的更新量。

其参数 $\theta$ 的更新规则如下：

$r_t \leftarrow 0.9 \left( \frac{\partial J}{\partial \theta} \right)^2 + 0.1 \cdot r_{t-1} \tag{9}$

$\theta \leftarrow \theta - \left( \frac{\lambda}{\sqrt{r_t} + \varepsilon} \right) \cdot \frac{\partial J}{\partial \theta} \tag{10}$

其中：

$\lambda$ 是学习率；
$\varepsilon$ 是为避免数值不稳定性而加入的一个很小的常数。

此外，为了防止过拟合，在两个神经网络的全连接层中还使用了 dropout 策略【参考文献28】。

思考

1. DeepCoNN模型解决一个什么问题

显示评分数据少且评论信息为利用

2. DeepCoNN模型怎么解决这个问题

联合建模评论文本
- 对每个用户与每个物品分别汇总其所有评论，输入到两条并行的卷积神经网络（Netₙᵤ 和 Netᵢₜₑₘ），自动抽取深层语义特征。
词嵌入 + CNN 提取特征
- 使用预训练的词向量保留评论的语义与词序；
- 通过卷积层 + 最大池化获得固定维度的特征向量，捕捉局部 n-gram 信息。
共享交互层
- 将用户向量 $x_u$ 与物品向量 $y_i$ 拼接，输入因子分解机（FM），同时建模一阶偏置项和二阶交互项，输出评分预测。

3. DeepCoNN模型在当时创新点是什么

首个深度联合模型：将用户和物品的评论文本放入两条并行 CNN，同时学习并耦合二者的隐向量，用于评分预测；
语义与词序保留：通过预训练词嵌入和卷积操作，克服了 Bag‑of‑Words/主题模型忽视词序与词语语义多样性的局限；
与经典矩阵分解融合：在顶层采用因子分解机（FM）建模高阶交互，将深度特征与协同过滤思想有机结合；
和二阶交互项，输出评分预测。

3. DeepCoNN模型在当时创新点是什么

首个深度联合模型：将用户和物品的评论文本放入两条并行 CNN，同时学习并耦合二者的隐向量，用于评分预测；
语义与词序保留：通过预训练词嵌入和卷积操作，克服了 Bag‑of‑Words/主题模型忽视词序与词语语义多样性的局限；
与经典矩阵分解融合：在顶层采用因子分解机（FM）建模高阶交互，将深度特征与协同过滤思想有机结合；
缓解稀疏与冷启动：实验证明，在用户或物品评分极少（甚至仅一条评论）时，DeepCoNN 仍能显著降低预测误差。

Joint Deep Modeling of Users and Items Using Reviews for Recommendation

摘要

一、前言

二、方法

表一：符号总结

图1

2.2 模型架构

2.3 词嵌入表示

2.4 卷积神经网络层

2.5 共享层

2.6 网络训练（Network Training）

思考

1. DeepCoNN模型解决一个什么问题

2. DeepCoNN模型怎么解决这个问题

3. DeepCoNN模型在当时创新点是什么

3. DeepCoNN模型在当时创新点是什么

相关文章：