跳到正文
返回论文列表
cs.LG提交于 已译

大规模推荐模型中的智能嵌入剪枝

Intelligent Embedding Pruning for Large-Scale Recommendation Models

Anish Khazane · Alex Saad-Falcon · Guanchu Wu · Marcio Porto · Jasper Shan · Fei Yu · et al.

中文摘要

现代推荐系统面临显著的内存压力,主要来自将高基数类别特征映射为稠密向量的稀疏嵌入层。训练中嵌入剪枝(ITEP)在训练过程中移除重要性较低的嵌入行,实现端到端内存节省,但有时会因基于大小的启发式方法设定每表剪枝比例而降低准确率。利用特征重要性(FI)指导这些比例(FI-ITEP),对与较不重要特征关联的表分配更高剪枝率。在三个大规模推荐模型上,FI-ITEP 实现 20–40% 的总内存减少,同时相对于基于百分位的 ITEP 保持或提升准确率。由于特征重要性信号计算所需资源极少,这些内存节省转化为具体的系统收益:相同模型在更少的 GPU 训练器上训练(例如从 112 台减少到 80 台),且每 GPU 吞吐量更高,每次模型发布节省 1,000+ GPU 小时。我们在开源 DLRM(Criteo 1TB)上复现了这些趋势,并量化了端到端训练时间和 GPU 成本权衡——包括计算 FI 的负担——为实际系统中的嵌入剪枝提供实用指导。

关键要点

  1. 01问题:ITEP 按表大小启发式设定剪枝比例,导致准确率下降。
  2. 02方法:用特征重要性指导每表剪枝比例,形成 FI-ITEP。
  3. 03结果:三个大规模模型内存降 20–40%,准确率匹配或提升。
  4. 04系统收益:GPU 训练器从 112 台减至 80 台,每次发布省 1,000+ GPU 小时。
  5. 05在 DLRM(Criteo 1TB)上复现并量化训练时间与 GPU 成本权衡。

解读

尚无解读。

原始英文摘要

arXiv:2611.25288v1 Announce Type: new Abstract: Modern recommendation systems face substantial memory pressure, largely from the sparse embedding layer that maps high-cardinality categorical features into dense vectors. In-training embedding pruning (ITEP) removes less important embedding rows during training, yielding end-to-end memory savings but sometimes degrading accuracy because per-table pruning ratios are set by size-based heuristics. We use feature importance (FI) to guide these ratios (FI-ITEP), assigning higher pruning to tables tied to less important features. Across three large-scale recommendation models, FI-ITEP achieves 20--40% total memory reduction while matching or improving accuracy relative to percentile-based ITEP. Because the feature-importance signal requires minimal resources to compute, these memory savings translate into concrete systems benefits: the same models train on fewer GPU trainers (e.g., 112 to 80) with higher per-GPU throughput, saving 1,000+ GPU-hours per model launch. We reproduce these trends on the open-source DLRM (Criteo 1TB) and quantify the end-to-end training-time and GPU-cost tradeoff---including the burden of computing FI---offering practical guidance for embedding pruning in real-world systems.

同方向论文 · cs.LG

查看全部 →