📄ICLR2024 | 结合加性个性化的联邦推荐
2024-2-7
| 2024-4-1
3130  |  阅读时长 8 分钟
type
status
date
slug
summary
tags
category
icon
password
TLDR：这篇论文介绍了 FedRAP 方法，旨在改善联邦学习中的推荐系统。FedRAP 通过整合全局项目嵌入和个性化用户嵌入，实现了全局知识共享和本地个性化的平衡。该方法引入双向个性化和两种正则化项，通过逐步学习全局和本地视图，最终取得了出色的推荐性能。该论文已被 ICLR 2024 接收。
论文链接：openreview.net/forum?id=xkXdE81mOK
通过联邦学习构建推荐系统是下一代互联网服务的新兴挑战。现有的联邦学习模型在客户端之间共享项目信息，同时将用户信息留存在客户端上，保证其是私有和本地的。然而，拥有共享信息的项目嵌入不能捕捉用户对相同项目的个体差异，从而可能导致推荐效果不佳。此外，在联邦学习中共享稠密的项目嵌入也会导致昂贵的通信成本和延迟。为了解决这些挑战，本文提出了一种名为 FedRAP 的联邦学习方法，它能够学习项目信息的全局视图，并在每个客户端本地学习个性化视图。FedRAP 通过引入两种正则化项，鼓励全局视图的稀疏性以节省联邦学习的通信成本，并通过 F-范数正则化项使两个视图中的信息互补。本文还提出了一种有效的参数变化方法，能够渐进地调整正则化权重，以平衡个性化的效果。为了更好地向用户生成推荐，FedRAP 将这两个视图相加以获得个性化项目嵌入。在多个基准测试中，FedRAP 在联邦学习环境中取得了最佳性能，优于最近的联邦推荐方法和几种消融研究基线。

前言

推荐系统已经成为分配用户可能感兴趣的新项目的重要工具和产品，并且深刻地改变了日常生活。这些系统通常依赖中央服务器来聚合用户数据、数字活动和偏好，以便训练模型做出准确的推荐。然而，将通常包含敏感隐私信息的用户数据上传到服务器可能会使他们面临重大的隐私和安全风险。此外，最近部分关于隐私保护的法规（如GDPR）要求用户数据存储在其设备本地，而不是上传到服务器。作为上述问题的潜在解决方案，联邦学习（FL）能够通过在客户端和服务器之间交替进行本地模型训练和本地模型的服务器端聚合来保持数据本地化，并以分布式方法训练全局共享模型。FL 在一些应用中取得了巨大的成功，例如 Google 键盘查询建议。然而，客户端之间的异质性可能会显着减慢 FL 收敛速度，从而导致客户端漂移或单个客户端的全局模型性能不佳。
为了在不侵犯用户隐私的同时促进不同客户端之间的知识交换，学者们正在深入研究联邦推荐系统。联邦推荐系统能够处理来自单个用户的客户端数据，从而形成用户的个人资料。用户资料和评分数据应该保留在客户端，而服务器则存储项目信息。为了在保持用户隐私的同时遵守 FL 约束，联邦推荐系统需要在通信成本和模型精度之间找到适当的平衡，以产生最优的推荐。然而，他们忽视了用户对同一项目的不同感知，即用户对每个项目有不同的偏好，并且可能关注项目的不同属性。
为了弥补现有联邦推荐系统中存在的问题，本文提出了结合加性个性化的联邦推荐算法 FedRAP，它通过将加性个性化方法应用于项目嵌入中并通过迫使全局项目嵌入稀疏以减少通信成本和延迟，并且通过一种渐进式的参数变化方法来平衡全局知识共享和本地个性化之间的权重。FedRAP 遵循 Horizontal FL 假设，即“具有独特的用户和独特的用户数据集，但项目是共享的”。具体而言，FedRAP 的主要贡献包括：
  1. FedRAP 使用了双向个性化：即 1）客户端具有个性化和私有的用户嵌入，以及 2）将与用户相关的本地项目嵌入和通过服务器聚合更新的全局共享的项目嵌入相加进行项目的加性个性化；
  1. 应用了两个正则化项：一个鼓励减少通信成本/开销的稀疏性，另一个强制项目信息不同以确保互补；
  1. 在早期训练中，加性个性化可能由于时间变化和重叠而损害性能；为了缓解这一点，FedRAP 的正则化权重回通过从全个性化到加性个性化的变化逐渐增加。
因此，FedRAP 能够利用本地存储的部分评分来预测未评分项目的用户评分，同时考虑项目的全球视图和用户特定视图。在六个真实数据基准的实验中，FedRAP 显著优于现有的联邦推荐方法。

联邦推荐与加性个性化

符号说明： 设 R=[r1,r2,…,rn]T∈0,1n×m\mathbf{R} = [r_1, r_2, \dots, r_n]^T \in {0, 1}^{n \times m} 表示有 n 个用户和 m 个项目的输入评分数据，其中 ri∈{0,1}mr_i \in \{0, 1\}^m 表示第 i 个用户的评分数据。由于每个客户端如上所述只有一个用户信息，rir_i 也表示第 i 个客户端的评分。此外，我们使用 D(i)∈Rm×k\mathbf{D}^{(i)} \in \mathbb{R}^{m \times k} 来表示第 i 个客户端上的本地项目嵌入，和 C∈Rm×k\mathbf{C} \in \mathbb{R}^{m \times k} 来表示全局项目嵌入。在推荐设置中，一个用户可能只对部分项目进行评分。因此，我们引入 Ω={(i,j) : 第i个用户已对第j个项目进行了评分}\mathbf{\Omega} = \{(i, j)\text{ : 第} i \text{个用户已对第} j \text{个项目进行了评分}\} 作为 R\mathbf{R} 中已评分条目的集合。

问题表述

为了在保持用户之间共享项目信息的同时实现项目个性化，我们提议使用 C\mathbf{C} 来学习共享信息，并使用 D(i)\mathbf{D}^{(i)} 来捕获对应于第 i 个客户端上第 i 个用户特定的项目信息，其中 i=1,2,…,ni = 1, 2, \dots, n。FedRAP 然后使用 C\mathbf{C} 和 D(i)\mathbf{D}^{(i)} 的总和来实现项目的加性个性化。考虑到 R∈{0,1}n×m\mathbf{R} \in \{0, 1\}^{n \times m}，我们为第 i 个客户端使用以下公式将预测评分 r^ij\hat{r}_{ij} 映射到 [0,1][0, 1] 中：
这里，r^ij=1/(1+e−<ui,(D(i)+C)j>)\hat{r}_{ij} = 1/(1+e^{-<\mathbf{\mathbf{u}_i, (\mathbf{D}^{(i)} + \mathbf{C}})_j>}) 代表第 i 个用户对第 j 个项目的预测评分。该式旨在最小化实际评分 rir_i 和基于 Ω\mathbf{\Omega} 索引的评分条目的预测评分 r^ij\hat{r}_{ij} 之间的重建误差。
为了确保第 i 个客户端上由 D(i)\mathbf{D}^{(i)} 和 C\mathbf{C} 学到的项目信息有所不同，我们通过以下等式强制它们之间的差异化：
上述公式描述了每个客户端的个性化模型，并旨在最大化 D(i)\mathbf{D}^{(i)} 和 C\mathbf{C} 之间的差异。我们注意到，在学习的早期阶段，由 {D(i)}i=1n\{\mathbf{D}^{(i)}\}^n_{i=1} 和 C\mathbf{C} 学到的项目信息可能不足以进行推荐，因此加性个性化可能会降低性能。因此，考虑到公式和前述条件，我们在 FedRAP 中提出了以下优化问题 L\mathcal{L}：
min⁡U,C,D(i)∑i=1n(∑(i,j)∈Ω−(rijlog⁡r^ij+(1−rij)log⁡(1−r^ij))−λ(a,v1)∣∣D(i)−C∣∣F2)+μ(a,v2)∣∣C∣∣1,\min_{\mathbf{U}, \mathbf{C}, \mathbf{D}^{(i)}} \sum^{n}_{i=1} (\sum_{(i, j) \in \mathbf{\Omega}} - (r_{ij}\log \hat{r}_{ij}+\left(1-r_{ij}\right) \log \left(1-\hat{r}_{ij}\right)) \\ - \lambda_{(a, v_1)} ||\mathbf{D}^{(i)} - \mathbf{C}||^2_F ) + \mu_{(a, v_2)} ||\mathbf{C}||_1,
其中 aa 是训练迭代的次数。我们使用函数 λ(a,v1)\lambda_{(a, v_1)} 和 μ(a,v2)\mu_{(a, v_2)} 来控制正则化项强度，将它们限制在 00 到 v1v_1 或 v2v_2 之间。这里，v1v_1 和 v2v_2 是确定超参数最大值的常数。通过逐渐增加正则化权重，FedRAP 逐渐从完全个性化过渡到关于项目信息的加性个性化。由于 C\mathbf{C} 中可能存在一些冗余信息，我们在 C\mathbf{C} 上使用 L1L_1 范数 (∣∣C∣∣1||\mathbf{C}||_1) 来诱导 C\mathbf{C} 的稀疏性，这消除了 C\mathbf{C} 中不必要的信息，并有助于减少服务器和客户端之间的通信成本。FedRAP 的整个框架如下图所示。
notion image

实验

数据集：FedRAP 在六个流行的推荐数据集上进行了广泛的实验研究以评估其性能：MovieLens-100K (ML-100K)、MovieLens-1M (ML-1M)、Amazon-Instant-Video (Video)、LastFM-2K (LastFM)、Ta Feng Grocery (TaFeng) 和 QB-article。前四个数据集包含 1 到 5 之间的明确评分。考虑到我们的任务是在含有隐式反馈的数据上进行推荐预测，这些数据集中高于 0 的任何评分都被分配为 1。TaFeng 和 QB-article 是两个来自用户互动日志的隐式反馈数据集。每个数据集中，我们只包含那些至少评价了 10 个项目的用户。
基线：FedRAP的有效性与中心化和联邦设置中的几种最新方法进行了对比验证，包括：NCF、LightGCN、FedMF、FedNCF 和 PFedRec 。具体实验设置请见原论文。
评价指标：本文使用命中率（HR@K）和归一化折扣累积增益（NDCG@K），并设置 K=10。所有实验都重复了 5 次，并报告了结果的平均值和标准偏差。

主要结果

notion image
上图实验结果表明，在 6 个真实世界数据集上，FedRAP 在大多数情况下优于其他方法，并在所有联邦方法中表现最佳。FedRAP 的优越性可能源于其在用户信息和项目信息上进行双边个性化的能力。此外，FedRAP 之所以表现优于 PFedRec 的可能原因是 FedRAP 能够在保留项目的共同信息的同时个性化项目信息，从而避免了信息损失。CentRAP 在所有数据集上的表现略优于 FedRAP，展示了 FedRAP 在所用数据集上的性能上限。此外，为了研究 FedRAP 的收敛性，我们比较了ML-100K数据集上训练期间每次迭代的所有方法（除 CentRAP 外）的评估。下图实验结果显示了 FedRAP 的优势，但由于 FedRAP 比 PFedRec 更复杂，它需要更多迭代才能收敛。
notion image
更多实验结果请见原论文。

结论

本文基于用户对项目评分受用户偏好影响的假设，提出了一种名为 FedRAP 的方法，用于进行结合了双向个性化的联邦推荐，即用户信息的个性化和项目信息的加性个性化。通过逐渐增加正则化权重，实现了从全面个性化到加性个性化的过渡，以减轻早期使用加性个性化导致的性能下降。此外，对全局项目嵌入施加稀疏约束以去除推荐中的无用信息，也有助于减少通信成本。由于客户端在每次迭代中只上传更新的全局项目嵌入到服务器，因此 FedRAP 避免了用户信息的泄露。通过在六个真实的推荐数据集上惊醒的比较实验和大量消融研究证明了 FedRAP 的有效性。此外，由于 FedRAP 的简单性，探索其在其他联邦场景中的应用也将会是一个有趣的方向。
作者介绍：
  • 李志伟：第一作者，主页: zhw.li。目前在悉尼科技大学攻读博士学位，跟随导师龙国栋教授从事联邦推荐算法的研究。
  • 龙国栋：悉尼科技大学副教授，主页：profiles.uts.edu.au/guodong.long。组里正在招收博士生一起探索联邦学习及其应用。
  • 周天翼：马里兰大学帕克分校助理教授，主页：tianyizhou.github.io。
相关文章 :
机器学习
  • 机器学习
  • 科研
    • 「Foundation Agent」 VS 「AI Agent」「进化算法」、「Agentic Workflow」与「MAD」
    目录
    0%