Voost – 创新的双向虚拟试穿和试脱AI模型，增强服装与身体的关系推理能力。

65 0

NXN Labs的研究团队开发了一个叫做Voost的人工智能系统，旨在提升虚拟试衣和试脱技术的表现。就像是一个超级聪明的"换衣魔法师"。这个系统最神奇的地方在于，它不仅能让你"试穿"任何衣服，还能从穿着的照片中"脱下"衣服，看看原本的服装是什么样子。就好比有了一个能够随意控制时间的魔法，可以让衣服在人身上"穿上"或"脱下"。

Voost是什么

Voost 是NXN实验室推出创新的虚拟试穿和试脱模型，基于统一且可扩展的扩散 Transformer（DiT）框架开发。能同时处理虚拟试穿（try-on）和试脱（try-off）任务，生成高质量的图像结果。通过联合学习这两个任务，Voost 利用双向监督机制，使每对服装 – 人物数据能为两个方向的生成提供监督信号，显著增强了服装与身体的关系推理能力，无需依赖特定于任务的网络、辅助损失或额外的标签。

Voost的主要功能

双向虚拟试穿和试脱：Voost 能同时处理虚拟试穿（try-on）和试脱（try-off）任务，生成高质量的图像结果，支持用户查看穿着目标服装和脱下服装后的效果。
统一框架：通过单个扩散 Transformer（DiT）联合学习虚拟试穿和试脱任务，无需依赖特定任务的网络、辅助损失或额外标签，简化了模型结构并提升了效率。
增强关系推理：利用双向监督机制，使每对服装 – 人物数据都能为两个方向的生成提供监督信号，增强了服装与身体的关系推理能力。
鲁棒性提升：引入注意力温度缩放技术，增强模型对分辨率变化或掩码变化的鲁棒性；采用自纠正采样策略，通过双向一致性验证提升生成结果的稳定性和准确性。
高质量生成：在多个基准测试中，Voost 在服装对齐精度和视觉保真度方面均取得了最佳性能，展现出卓越的泛化能力，能生成逼真的试穿和试脱图像。
灵活的条件输入：支持灵活的条件输入，支持在生成方向和服装类别上进行条件化，增强模型的灵活性和适应性，适用于多种服装类别和人体姿势。

Voost的技术原理

统一的扩散 Transformer 框架：Voost 采用单个扩散 Transformer（DiT）联合学习虚拟试穿和试脱任务，通过双向监督机制，使每对服装 – 人物数据都能为两个方向的生成提供监督信号，增强服装与身体的关系推理能力。
双向监督机制：通过联合建模虚拟试穿和试脱任务，Voost 利用双向监督信号提升模型对服装与身体对应关系的理解，无需额外的标签或任务特定的网络。
注意力温度缩放：引入注意力温度缩放技术，调节注意力权重，增强模型对分辨率变化或掩码变化的鲁棒性，确保在不同输入条件下的稳定性和一致性。
自纠正采样策略：利用双向生成结果进行交叉一致性验证，通过自我校正采样策略提升生成结果的稳定性和准确性，确保生成图像的视觉一致性和逼真度。