面对扩散模型推理速度慢、成本高的问题，HKUST&北航&商汤提出了全新缓存加速方案——HarmoniCa：训练-推理协同的特征缓存加速框架，突破DiT架构在部署端的速度瓶颈，成功实现高性能无损加速。 由于现有指标并不能完全反映图像效果优劣，因此该团队研究人员提供了大量可视化效果对比图，更多对比请看原论文。 Diffusion Transformer（DiT）作为高分辨率图像生成主力架构，在推理阶段仍面临「重复计算多」「耗时严重」的现实瓶颈。例如，使用PIXART-α生成一张2048×2048图像即需14秒，严重影响落地效率。 传统方法在训练时仅采样某个时间步，缓存是空的，完全跳过了“历史缓存影响”，而推理时，缓存是从头累积的，训练和推理根本不是一回事。 1）构建完整的 T 步去噪过程，与推理一致；2）教师-学生结构：学生使用缓存进行去噪，教师不使用缓存作为“理想输出”；3）每一时间步的Router都被独立更新，显式对齐多轮缓存路径下的输出误差；4）学生模型每步将自己的输出作为下一个输入，使得误差传播机制贴近真实推理轨迹。 以往方法训练时只对齐每一步的噪声误差，而推理的目标是最终图像质量，两者目标严重错配，导致缓存Router学出来“看似合理”但效果很差。 除了与主流缓存方法的对比，该工作也评估了HarmoniCa相比剪枝和量化等压缩技术的表现。在统一的 20 步采样设置下，传统方案如 PTQ4DiT、EfficientDM等虽然模型更小，但实际加速依赖硬件支持，特别是一些定制CUDA内核在H800等新架构上表现并不稳定。更重要的是，量化模型在小步数采样时往往精度下降严重，PTQ4DiT就出现了明显的性能下滑。而HarmoniCa不依赖底层魔改，无需专用硬件，在各种主流采样器和设备上都能稳定提速，保持图像质量，是当前更通用、更稳妥的部署选择。 该工作还验证了HarmoniCa与模型量化技术的高度兼容性。在 PIXART-α 256×256 场景下，将HarmoniCa应用于4bit量化模型（EfficientDM），推理速度从1.18×提升至1.85×，FID仅略增0.12，几乎无感知差异。说明HarmoniCa不仅可独立提速，也能作为“加速插件”叠加于量化模型之上，进一步释放性能潜力。未来，该工作也计划探索其与剪枝、蒸馏等技术的组合能力，为DiT模型的轻量部署开辟更多可能。 训练侧：HarmoniCa 采用无需图像的训练策略，仅基于模型和噪声即可完成优化，不依赖任何额外数据。在同等训练轮次下，其训练时间比主流方案 LTC 缩短约 25%，显存占用相近，可在单卡稳定运行，适合闭源模型加速和快速迭代。 推理端新增 Router 极其轻量，参数仅占 0.03%，计算开销低于总 FLOPs 的 0.001%，几乎不影响吞吐。配合特征缓存，HarmoniCa 在 PIXART-α 上可实现理论加速比2.07×、实测加速1.69×，具备优越的部署效率与工程可行性。 当前Diffusion加速路径中，缓存机制正逐渐成为主流方案，但传统做法要么依赖手工规则、要么训练目标错位，无法在真实部署中兼顾性能、效率、适应性。 SDT——真实模拟推理轨迹，让缓存行为“可训练”；IEPO——从结果出发优化目标，兼顾图像质量与加速比；无图像训练/多模型适配/高分辨率通用，让部署更轻松；
