← 返回架构图
采用 UMT5-XXL（4B 参数，仅 Encoder）将文本 prompt 编码为上下文向量序列。
包含 24 层 Transformer，使用相对位置编码（T5 Relative Position Bias），
输出 context [B, seq_len, 4096] 供 DiT Cross-Attention 消费。
模型规格
vocab_size256,384 tokens（多语言）
dim4096 · num_heads: 64 · head_dim: 64
encoder_layers24 层 T5SelfAttention Block
dim_ffn10,240（门控 FFN: gate×fc1→fc2）
num_buckets32 桶相对位置编码
输入/输出
输入text_len=256 token，含 [EOS] 特殊 token
mask有效 token mask，用于 seq_lens 计算
输出context list, 每条长度=实际 token 数
dtypebfloat16 推理，支持 t5_cpu 卸载