今天，分享一篇AAAI 2023杰出论文一作分享新算法加持的大批量学习加速推荐系统训练，希望以下AAAI 2023杰出论文一作分享新算法加持的大批量学习加速推荐系统训练的内容对您有用。
CTR（click-through rate）预测模型是个性化推荐场景下的一种常用算法，它通常需要学习用户的反馈（点击、收藏、购买等），而每天在线产生的数据量又是空前庞大的。因此，加快 CTR 预估模型的训练速度至关重要。一般来说，提高训练速度会使用批量训练，不过批量太大会导致模型的准确度有所降低。
在 2 月 7 日至 2 月 14 日于华盛顿举办的 AAAI 2023 会议上，新加坡国立大学和字节跳动的研究者在获得 AAAI 2023 杰出论文奖（Distinguised Paper）的研究《CowClip: Reducing CTR Prediction Model Training Time from 12 hours to 10 minutes on 1 GPU》中，通过数学分析证明了在扩大批次时，对于不常见特征的学习率使用传统的学习率放缩，会影响学习的稳定性。
此外，研究者提出 CowClip 的梯度裁剪算法，可以简单有效扩展批大小。通过在 4 个 CTR 预估模型和 2 个数据集上进行测试，团队成功将原始批大小扩大了 128 倍，并没有造成精度损失。尤其是在 DeepFM 上，通过将批大小从 1K 扩大到 128K，CowClip 实现了 AUC 超过 0.1% 的改进。在单块 V100 GPU 上，将训练时长从原本的 12 小时，缩短至只需 10 分钟，训练提速 72 倍。
北京时间 2 月 14 日 19:00-20:00，机器之心最新一期线上分享邀请到论文一作、新加坡国立大学二年级博士生郑奘巍，为大家解读 CowClip 梯度裁剪算法如何改进大批量学习进而提升推荐系统训练效率的。
分享主题：CowClip 算法分享：大批量学习加速推荐系统训练过程
分享摘要：本次分享将讲解论文《CowClip: Reducing CTR Prediction Model Training Time from 12 hours to 10 minutes on 1 GPU》。本次分享将讨论 CTR 预测加速的必要性、大 batch 训练的优点以及如何用 cowclip 算法保持性能。此外，我们还将探讨可能的未来方向。
嘉宾介绍：郑奘巍，新加坡国立大学二年级博士生，导师为尤洋教授，HPC-AI Lab 成员。本科毕业于南京大学。目前的研究方向包括机器学习训练加速和计算机视觉。
论文链接：https://arxiv.org/abs/2204.06240
代码链接：https://github.com/bytedance/LargeBatchCTR
直播时间：2 月 14 日 19:00-20:00
直播间：关注机动组视频号，立即预约直播。
交流群：本次直播有 QA 环节，欢迎加入本次直播交流群探讨交流。
机器之心 · 机动组
机动组是机器之心发起的人工智能技术社区，聚焦于学术研究与技术实践主题内容，为社区用户带来技术线上公开课、学术分享、技术实践、走近顶尖实验室等系列内容。机动组也将不定期举办线下学术交流会与组织人才服务、产业技术对接等活动，欢迎所有 AI 领域技术从业者加入。
