当前位置：首页 > news >正文

论文《Collaboration-Aware Graph Convolutional Network for Recommender Systems》阅读

news 来源：原创 2025/7/12 19:42:56

论文《Collaboration-Aware Graph Convolutional Network for Recommender Systems》阅读

论文概况
Introduction and Motivation
Methodology
- LightGCN 传播形式
- CIR
- CAGCN
- Implementation
Experiments

论文概况

论文《Collaboration-Aware Graph Convolutional Network for Recommender Systems》对推荐场景下的GNN进行了改良，在 $\mathbf{D}^{-1/2}\mathbf{A}\mathbf{D}^{-1/2}$ 的简单无权integration的基础上加上了邻居之间的重要性参数。论文来自范德比尔特大学Yu Wang，提出了模型CAGCN。

论文地址：https://dl.acm.org/doi/10.1145/3543507.3583229
代码仓库：https://github.com/YuWVandy/CAGCN

Introduction and Motivation

论文提出了一个概念 CIR —— Common Interacted Ratio，共同交互比例，用于衡量 neighbor 在整个 neighborhood 圈子中对于 target 的综合影响能力。

同时，论文的证明部分比较多。这里主要梳理一下pipeline。

Methodology

LightGCN 传播形式

首先给出 LightGCN 的传播形式：
$\begin{aligned}\mathbf{e}_u^{l+1}&=d_u^{-0.5} \sum_{j \in \mathcal{N}_u^1} d_j^{-0.5} \mathbf{e}_j^l,\\ \mathbf{e}_i^{l+1}&=d_i^{-0.5} \sum_{v \in \mathcal{N}_i^1} d_v^{-0.5} \mathbf{e}_v^l, \end{aligned} \tag{1}$

传播完成后，聚合方式采用 mean-pooling 方式，对 $L + 1$ 层 embedding都进行逐位求平均操作如下：

$\begin{aligned}\mathbf{e}_u&=\frac{1}{(L+1)} \sum_{l=0}^L \mathbf{e}_u^l,\\ \mathbf{e}_i&=\frac{1}{(L+1)} \sum_{l=0}^L \mathbf{e}_i^l,\end{aligned} \quad \forall u \in \mathcal{U}, \forall i \in \mathcal{I} \tag{2}$

Loss 采用 BPR Loss，如下：

$\mathcal{L}_{\mathrm{BPR}}=\sum_{\left(u, i, i^{-}\right) \in O}-\ln \sigma\left(y_{u i}-y_{u i^{-}}\right), \tag{3}$

CIR

LightGCN 传播在整个图 $\mathcal{G} = \left\{\mathcal{V}, \mathcal{E}\right\}$ ，为提取邻居间的互动信息和交互影响，提取以节点 $p$ 为中心的子图 $\mathcal{S}_p=\left(\mathcal{V}_{\mathcal{S}_p}, \mathcal{E}_{\mathcal{S}_p}\right)$ ，其中 $\tilde{N}_p^1=\mathcal{N}_p^1 \cup\{p\}$ 表示 $p$ 及其 $l$ 跳邻居集合。

作者提出两个关键问题：
RQ1： 交互影响如何捕捉并提高 ranking 表现？
RQ2： 交互影响何时提高性能？

作者将 LightGCN 的 $L$ 层 embedding 集合后的 $\left(u, i\right)$ 对间的交互预测表示合并得到如下形式：

$y_{u i}^L=\left(\sum_{l_1=0}^L \sum_{j \in \mathcal{N}_u^l}^{l_1} \sum_{l_2=l_1}^L \beta_{l_2} \alpha_{j u}^{l_2} \mathbf{e}_j^0\right)^{\top}\left(\sum_{l_1=0}^L \sum_{v \in \mathcal{N}_i^l}^{l_1} \sum_{l_2=l_1}^L \beta_{l_2} \alpha_{v i}^{l_2} \mathbf{e}_v^0\right), \tag{4}$
其中， $\alpha_{j u}^{l_2}=\sum_{P_{j u}^{l_2} \in \mathscr{P}_{j u}^{l_2}} \prod_{e_{p q} \in P_{j u}^{l_2}} d_p^{-0.5} d_q^{-0.5}$ ，（ $\alpha_{j u}^{l_2}=0 \text { if } \mathscr{P}_{j u}^{l_2}=\emptyset$ ）表示节点 $j, u$ 间举例为 $l_2$ 的所有路径权重之和。 $\beta_{l_2}$ 表示层数为 $l_{2}$ 的 embedding 的权重贡献。因此，将上述公式分为了三部分用于评估 CIR 对结果的影响，具体如下：

对于 $L$ 跳节点 $(i, j)$ 及其影响范围（ $\left\{(j, v) \mid j \in \bigcup_{l=0}^L \mathcal{N}_u^l, v \in \bigcup_{l=0}^L \mathcal{N}_i^l\right\}$ ，其结果主要受三部分影响：

${\mathbf{e}_{j}^{0}}^\top\mathbf{e}_{v}^{0}$
$\left\{\alpha_{j u}^l\right\}_{l=0}^L\left(\left\{\alpha_{v i}^l\right\}_{l=0}^L\right)\left\{\beta_l\right\}_{l=0}^L$
$\left\{\beta_{l}\right\}_{l=0}^{L}$

此外，定义CIR为：针对用户 $u$ 的任意邻居 $\in \mathcal{N}_{u}^{l}$ ， $j$ 对用户 $u$ 的 $L + 1$ 跳范围内的所有邻居的共同交互率 CIR ，即 $\phi_u^{\widehat{L}}(j)$ ，定义为 $j$ 与 $u$ 的所有邻居 $\mathcal{N}_u^1$ 的最大路径为 $2\widehat{L}$ 的均值如下：
$\phi_u^{\widehat{L}}(j)=\frac{1}{\left|\mathcal{N}_u^1\right|} \sum_{i \in \mathcal{N}_u^1} \sum_{l=1}^{\widehat{L}} \alpha^{2 l}\sum_{P_{j i}^{2 l} \in \mathscr{P}_{j i}^{2 l}} \frac{1}{f\left(\left\{\mathcal{N}_k^1 \mid k \in P_{j i}^{2 l}\right\}\right)},\\\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad \forall j \in \mathcal{N}_u^1, \forall u \in \mathcal{U}. \tag{5}$
其中， $\left\{\mathcal{N}_k^1 \mid k \in P_{j i}^{2 l}\right\}$ 表示 $P_{j i}^{2 l}$ 中任意节点 $k$ 的一阶邻居； $f(\cdot)$ 是归一化函数，用于指导 $\mathscr{P}_{j i}^{2 l}$ 中路径的权重； $\alpha^{2 l}$ 是路径的系数。

$\phi_u^{\widehat{L}}(j)$ 由路径长度 $\rightarrow 2L$ 的路径决定。指定不同的 $\widehat{L}$ 及 $f(\cdot)$ ， $\phi_u^{\widehat{L}}(j)$ （简写为 $\phi_u(j)$ ）结合 $\sum_{P_{j i}^{2 l} \in \mathscr{P}_{j i}^{2 l}} \frac{1}{f\left(\left\{\mathcal{N}_k^1 \mid k \in P_{j i}^{2 l}\right\}\right)}$ 就能体现不同的图相似性。

这些都会在不同的实现形式中给出不同的实现方式，给出这一定义，主要是为了证明越大 CIR 的节点作用越大。作者给出实验，如下：
Verification

CAGCN

CAGCN是为了给邻居节点分配不同的权重进行优化，首先给出群众矩阵如下：
$\Phi_{i j}=\left\{\begin{array}{ll} \phi_i(j), & \text { if } \mathrm{A}_{i j}>0 \\ 0, & \text { if } \mathrm{A}_{i j}=0 \\ \end{array}, \forall i, j \in \mathcal{V}\right. \tag{6}$

相应地，聚合函数如下：

$\mathrm{e}_i^{l+1}=\sum_{j \in \mathcal{N}_i^1} g\left(\gamma_i \frac{\Phi_{i j}}{\sum_{k \in \mathcal{N}_i^1} \Phi_{i k}}, d_i^{-0.5} d_j^{-0.5}\right) \mathrm{e}_j^l, \forall i \in \mathcal{V} \tag{7}$

模型结构图如下：
Architecture

Implementation

具体地，针对 $\phi_u^{\widehat{L}}(j)$

$\phi_u^{\widehat{L}}(j)=\frac{1}{\left|\mathcal{N}_u^1\right|} \sum_{i \in \mathcal{N}_u^1} \sum_{l=1}^{\widehat{L}} \beta^{2 l} \sum_{P_{j i}^{2 l} \in \mathscr{P}_{j i}^{2 l}} \frac{1}{f\left(\left\{\mathcal{N}_k^1 \mid k \in P_{j i}^{2 l}\right\}\right)}, \tag{8}$
本文提供不同的相似度度量函数：

杰卡尔德相似性：
$\mathrm{JC}(i, j)=\frac{\left|\mathcal{N}_i^1 \cap \mathcal{N}_j^1\right|}{\left|\mathcal{N}_i^1 \cup \mathcal{N}_j^1\right|} \tag{9}$

指定 $\widehat{L}=1$ ， $f\left(\left\{\mathcal{N}_k^1 \mid k \in P_{j i}^2\right\}\right)=\left|\mathcal{N}_i^1 \cup \mathcal{N}_j^1\right|$ , 可以得到：
$\begin{aligned} \phi_u^1(j)&=\frac{1}{\left|\mathcal{N}_u^1\right|} \sum_{i \in \mathcal{N}_u^1} \beta^2 \sum_{P_{j i}^2 \in \mathscr{P}_{j i}^2} \frac{1}{\left|\mathcal{N}_i^1 \cup \mathcal{N}_j^1\right|}\\&=\frac{\beta^2}{\left|\mathcal{N}_u^1\right|} \sum_{i \in \mathcal{N}_u^1} \frac{\left|\mathcal{N}_i^1 \cap \mathcal{N}_j^1\right|}{\left|\mathcal{N}_i^1 \cup \mathcal{N}_j^1\right|}\\&=\frac{\beta^2}{\left|\mathcal{N}_u^1\right|} \sum_{i \in \mathcal{N}_u^1} \mathrm{JC}(i, j)\end{aligned} \tag{10}$

Salton 余弦相似度
$\mathrm{SC}(i, j)=\frac{\left|\mathcal{N}_i^1 \cap \mathcal{N}_j^1\right|}{\sqrt{\left|\mathcal{N}_i^1 \cup \mathcal{N}_j^1\right|}} \tag{11}$

指定 $\widehat{L}=1$ ， $f\left(\left\{\mathcal{N}_k^1 \mid k \in P_{j i}^2\right\}\right)=\sqrt{\left|\mathcal{N}_i^1 \cup \mathcal{N}_j^1\right|}$ ：
$\begin{aligned} \phi_u^1(j)&=\frac{1}{\left|\mathcal{N}_u^1\right|} \sum_{i \in \mathcal{N}_u^1} \beta^2 \sum_{P_{j i}^2} \sum_{\in \mathscr{P}_{j i}^2} \frac{1}{\sqrt{\left|\mathcal{N}_i^1 \cup \mathcal{N}_j^1\right|}}\\&=\frac{\beta^2}{\left|\mathcal{N}_u^1\right|} \sum_{i \in \mathcal{N}_u^1} \frac{\left|\mathcal{N}_i^1 \cap \mathcal{N}_j^1\right|}{\sqrt{\left|\mathcal{N}_i^1 \cup \mathcal{N}_j^1\right|}}\\&=\frac{\beta^2}{\left|\mathcal{N}_u^1\right|} \sum_{i \in \mathcal{N}_u^1} \operatorname{SC}(i, j)\end{aligned} \tag{12}$

共同邻居个数
$\operatorname{CN}(i, j)=\left|\mathcal{N}_i^1 \cap \mathcal{N}_j^1\right| \tag{13}$

指定 $\widehat{L}=1$ ， $f\left(\left\{\mathcal{N}_k^1 \mid k \in P_{j i}^2\right\}\right)=1$ ，有：

$\begin{aligned}\phi_u^1(j)&=\frac{1}{\left|\mathcal{N}_u^1\right|} \sum_{i \in \mathcal{N}_u^1} \beta^2 \sum_{P_{j i}^2 \in \mathscr{P}_{j i}^2} 1\\&=\frac{\beta^2}{\left|\mathcal{N}_u^1\right|} \sum_{i \in \mathcal{N}_u^1}\left|\mathcal{N}_i^1 \cap \mathcal{N}_j^1\right|\\&=\frac{\beta^2}{\left|\mathcal{N}_u^1\right|} \sum_{i \in \mathcal{N}_u^1} \mathrm{CN}(i, j)\end{aligned} \tag{14}$

LHN
$\operatorname{LHN}(i, j)=\frac{\left|\mathcal{N}_i^1 \cap \mathcal{N}_j^1\right|}{\left|\mathcal{N}_i^1\right| \cdot\left|\mathcal{N}_j^1\right|} \tag{15}$
指定 $\widehat{L}=1$ ， $f\left(\left\{\mathcal{N}_k^1 \mid k \in P_{j i}^2\right\}\right)=\left|\mathcal{N}_i^1\right| \cdot\left|\mathcal{N}_j^1\right|$ ，则有：

$\begin{aligned}\phi_{\mathcal{u}}^1(j)&=\frac{1}{\left|\mathcal{N}_{\mathcal{u}}^1\right|} \sum_{i \in \mathcal{N}_{\mathcal{u}}^1} \beta^2 \sum_{P_{j i}^2} \frac{1}{\left|\mathcal{N}_i^1\right| \cdot\left|\mathcal{N}_j^1\right|}\\&=\frac{\beta^2}{\left|\mathcal{N}_{\mathcal{u}}^1\right|} \sum_{i \in \mathcal{N}_{\mathcal{u}}^1} \frac{\left|\mathcal{N}_i^1 \cap \mathcal{N}_j^1\right|}{\left|\mathcal{N}_i^1\right| \cdot\left|\mathcal{N}_j^1\right|}\\&=\frac{\beta^2}{\left|\mathcal{N}_{\mathcal{u}}^1\right|} \sum_{i \in \mathcal{N}_{\mathcal{u}}^1} \operatorname{LHN}(i, j)\end{aligned} \tag{16}$

Experiments

Performance

论文《Collaboration-Aware Graph Convolutional Network for Recommender Systems》阅读

论文概况

Introduction and Motivation

Methodology

LightGCN 传播形式

CIR

CAGCN

Implementation

Experiments

相关文章：