PortraitGen

PortraitGen是什么：

PortraitGen是由中国科学技术大学研究团队开发的一款AI人像视频编辑工具。它利用3D高斯溅射技术和神经高斯纹理机制，将2D人像视频转换为4D高斯场，实现高质量的3D和时间一致性编辑。这款工具支持多模态编辑，包括文本驱动、图像驱动编辑以及重新照明，能够快速、高效地对视频中的人物进行风格化、换衣、光照调整等操作。

主要特点：

1. 多模态人像编辑：支持文本和图像驱动的编辑模式。
2. 光照调节：基于文本描述动态调整视频中的光照效果。
3. 人脸感知编辑：保留人物的面部结构和个性化特征。
4. 风格转换与虚拟试穿：实现全局风格的迁移或为人物添加虚拟服装。
5. 多镜头和复杂场景处理：处理多镜头视频，保持风格和人物一致性。
6. 快速生成与高帧率输出：支持高达100帧每秒的渲染速度。

主要功能：

1. 多模态编辑：通过文本或参考图像进行人物动作、表情及场景的编辑。
2. 光照调节：根据文本描述调整光照，使光照与场景自然融合。
3. 人脸感知编辑：优化人物表情和面部动作的自然性和一致性。
4. 风格转换：转换视频风格，如动画风格。
5. 虚拟试穿：为视频中的人物添加虚拟服装。

技术原理：

1. 3D高斯溅射（3DGS）：基于3D高斯表示场景，实现动态3D场的构建。
2. 神经高斯纹理机制：在SMPL-X模型的UV空间上维护一个3D高斯场。
3. 面部感知编辑模块：增强面部结构感知，提高编辑质量。
4. 表达式相似性指导：确保表情的相似性。
5. 多模态编辑技术：结合2D生成模型的知识，实现文本和图像驱动编辑。

应用场景：

1. 电影和影视制作：创建或修改角色外貌，实现特效化妆或风格化场景转换。
2. 艺术创作：创作具有特定风格的人像艺术作品。
3. 广告和宣传：根据品牌形象或产品特点，对人物肖像进行定制化编辑。
4. 时尚行业：在虚拟环境中展示服装和配饰。
5. 社交媒体和短视频：编辑肖像视频，增加创意效果。
6. 游戏开发：快速生成或编辑游戏角色外貌。

总结：

PortraitGen是一个强大的AI人像视频编辑工具，它通过先进的技术实现了对视频中人物的高质量编辑。无论是在影视制作、艺术创作、广告宣传、时尚展示、社交媒体还是游戏开发等领域，PortraitGen都能提供高效、自然的编辑解决方案。