LightAD:基于自适应采样的自动去偏框架加速方法(英文)
2024-04-15分类号:TP391.3
【部门】中国科学技术大学信息科学技术学院
【摘要】在推荐系统中,由于数据是从用户行为中收集而来而不是通过合理的实验得到,因此偏差问题是普遍存在的。自动去偏框架(AutoDebias)通过采用元学习寻找适当地去偏置配置(即伪标签和置信权重),已被证明是应对各种偏差的一种通用和有效的解决方案。然而,为每个用户-物品对设置伪标签和权重是一个极度耗时的过程。因此,自动去偏框架面临巨大的计算成本,这使其在实际应用中的适用性较差。虽然使用带有均匀采样器的随机梯度下降可以加速模型训练,但这会显著恶化模型的收敛性和稳定性。为了解决这个问题,我们提出了LightAutoDebias (简称LightAD),它为自动去偏框架配备了一种专门的权重采样策略。该采样器可以自适应地和动态地获取信息量更大的训练样本,这带来的收敛性和稳定性比标准的均匀采样器更好。在三个基准数据集上的广泛实验证明,我们的LightAD可以加速自动去偏框架的训练达几个数量级,同时保持几乎相同的精度。
【关键词】推荐系统 偏差 去偏 采样
【基金】supported by the Fundamental Research Funds for the Central Universities (WK2100000019)
【所属期刊栏目】中国科学技术大学学报
文献传递