Make-A-Character
AI开源项目
Make-A-Character

创新的3D角色生成框架,它通过文本描述快速创建逼真的3D角色,具有高度的定制性和逼真度。它结合了最新的人工智能技术,提供了一个直观、灵活且高效的角色创建解决方案,适用于多...

Make-A-Character

Make-A-Character(Mach)是什么:

Make-A-Character(简称Mach)是由阿里巴巴集团智能计算研究院开发的人工智能3D数字人生成框架。它利用大型语言和视觉模型,通过文本描述快速创建逼真的3D角色,满足人工智能代理和元宇宙中对个性化和富有表现力的3D角色的需求。

主要特点:

  1. 文本到3D角色生成:用户通过文本描述来指定角色的外观特征,系统生成相应的3D角色模型。
  2. 灵活的可控定制:允许用户对角色进行详细的定制,包括面部特征、眼睛形状、虹膜颜色、发型和颜色等。
  3. 高度逼真的渲染:利用基于物理的渲染(PBR)技术和真实人类扫描数据生成高度逼真的角色。
  4. 完整的角色模型:生成的角色模型包括眼睛、舌头、牙齿、全身和服装等所有细节。
  5. 动画支持:角色配备了高级的骨骼刚体,支持标准动画。
  6. 行业兼容性:生成的角色模型采用明确的3D表示,可以无缝集成到游戏和电影行业的标准CG流程中。

主要功能:

  1. 文本解析与视觉提示生成:利用大型语言模型(LLM)理解文本中的语义信息,提取关键面部特征和属性。
  2. 参考肖像图像生成:结合Stable Diffusion模型和ControlNet生成参考肖像图像。
  3. 密集面部坐标检测:利用密集面部坐标重建面部和头部几何结构。
  4. 几何生成:根据参考肖像图像和密集面部坐标重建头部几何结构。
  5. 纹理生成:使用可微渲染技术从参考图像中提取纹理。
  6. 纹理修正与完成:对生成的漫反射贴图进行修正。
  7. 头发生成:通过2D图像合成各种发型,然后基于这些图像进行3D发丝重建。
  8. 资产匹配:将生成的头部与预先制作的头发、身体、服装和配饰等资产进行匹配。

使用示例:

用户可以这样使用Make-A-Character:

  • 文本描述输入:用户输入文本描述,如“一个留着短发、有雀斑的年轻中国女孩”。
  • 角色生成:Mach系统根据文本描述生成相应的3D角色模型。
  • 定制调整:用户可以调整角色的面部特征、发型、服装等,直至满意。
  • 动画制作:利用角色的骨骼刚体进行动画制作,如制作角色的行走或说话动画。
  • 集成应用:将生成的角色模型集成到游戏、电影或其他虚拟环境中。

总结:

Make-A-Character是一个创新的3D角色生成框架,它通过文本描述快速创建逼真的3D角色,具有高度的定制性和逼真度。它结合了最新的人工智能技术,提供了一个直观、灵活且高效的角色创建解决方案,适用于多种行业应用。

相关导航