← 返回架构图
因果视频 VAE,时间压缩比 4×,空间压缩比 8×(lat_stride=[4,8,8])。
使用 CausalConv3d 保证帧间因果性,支持流式 KV Cache 推理。
编码器将 [3,F,H,W] 压缩为 [16,lat_f,lat_h,lat_w],解码器做逆变换。
压缩参数
时间步vae_stride[0]=4 → lat_f=(F-1)//4+1
空间vae_stride[1,2]=8 → lat_h=H//8, lat_w=W//8
通道编码后通道数 16(latent channels)
CACHE_T= 2,流式推理时保留最近 2 帧缓存
关键模块
CausalConv3d填充 (2T, 0, 0) 保因果性
RMS_norm代替 BatchNorm,channel-first 模式
Resampleupsample3d / downsample3d 各 3 层
ResBlock残差块,RMS_norm + CausalConv + skip