Meta提出了一种创新的方法AdaCache，可以加速Diffusion Transformers (DiT)视频生成模型，且无需额外的训练。这种加速技术源于一个关键的观察：并非所有视频都同样需要复杂的处理。
团队发现，有些视频在达到可接受的质量水平时，所需的去噪步骤比其他视频更少。这启发了AdaCache，它采用按需分配的策略，根据视频内容动态调整缓存和计算资源。
AdaCache采用了一种自适应缓存机制，根据视频的特定内容分配缓存资源。它通过计算当前表示与缓存中先前表示之间的差异，来判断是否需要重新计算。通过只更新差异较大的表示，可以节省大量的计算资源。
此外，AdaCache还引入了运动正则化（MoReg）来进一步改进缓存策略。MoReg通过考虑视频中的运动信息，优化缓存的使用。对于运动量大的视频，MoReg减少缓存的使用，从而允许在更多步骤中进行重新计算。
实验结果表明，与其他无训练加速方法相比，AdaCache在生成质量相当或更高的情况下，提供了显著的加速效果。单块A100 GPU上的加速比高达2.61倍。
AdaCache的加速能力归因于其按需分配和动态调整缓存和计算资源的策略。它避免了对所有视频进行统一的、不必要的高强度计算，从而提高了推理速度。
此外，AdaCache还可以有效利用并行计算资源并减少GPU之间的通信开销。随着GPU数量的增加，加速比也相应增加。
AdaCache的推出为提高DiT视频生成模型的效率提供了新的途径。它可以将视频生成速度提高数倍，同时保持或提高生成质量。这将极大地推动视频生成技术在各种应用中的发展，如视觉效果、动画和游戏。
总体而言，AdaCache是一种创新的免训练加速方法，它利用了视频内容的差异性来优化缓存和计算分配。它为DiT模型提供了显著的加速，使其在视频生成领域更加高效和实用。
原创文章，作者：睿鸿在线，如若转载，请注明出处：https://mip.orihonor.com/2024/11/08/5062.shtml
