SSVAE – 智谱AI开源的频谱结构化变分自编码器，提供快速生成视频的能力

SSVAE的技术原理

• 时空低频偏置（Spatio-Temporal Low-Frequency Bias）：SSVAE 引入时空低频偏置。在视频生成中，低频成分通常包含视频的主要结构和运动信息，高频成分包含细节和噪声。通过增强低频成分，模型能更高效地从低信噪比的高频细节中恢复出高质量的视频内容。SSVAE 用局部相关性正则化（LCR）实现这一目标。LCR 通过计算隐空间中相邻时空位置的相似性，将其作为损失函数的一部分进行优化，显式地增加低频能量。
• 通道特征值的少模式偏置（Few-Mode Bias）：在多通道的隐空间中，少模式偏置意味着大部分信息被集中在少数几个主要的特征模式中，不是均匀分布在所有通道中。偏置有助于扩散模型更快地学习信号与噪声的关系，加速收敛。SSVAE 通过隐空间掩码重建（LMR）技术实现这一目标。LMR 在训练过程中随机掩码部分隐空间特征，强制解码器从不完整的特征中重建视频。

SSVAE的应用场景