(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210869094.0 (22)申请日 2022.07.21 (71)申请人 深圳市腾讯计算机系统有限公司 地址 518057 广东省深圳市南 山区高新区 科技中一路腾讯大厦3 5层 申请人 香港中文大 学 （深圳） (72)发明人 熊张洋　康頔　者雪飞　暴林超　 韩晓光　 (74)专利代理 机构 北京三高永信知识产权代理 有限责任公司 1 1138 专利代理师 祝亚男 (51)Int.Cl. G06T 17/20(2006.01) G06T 17/00(2006.01) G06V 10/774(2022.01)G06T 3/40(2006.01) G06T 7/50(2017.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 三维重建模型的训练方法、 装置、 设备及存 储介质 (57)摘要 本申请公开了一种三维重建模型的训练方 法、 装置、 设备及存储介质， 涉及人工智能技术领 域。 该方法包括： 获取多个训练图像以及各个训 练图像对应的三维重建标签； 其中， 多个训练图 像包括至少一个真实训练图像和至少一个合成 训练图像， 真实训练图像是指 对真实的目标对象 进行拍摄得到的图像， 合 成训练图像是指根据合 成的目标对象的三维模型生 成的图像； 通过三维 重建模型根据训练图像， 得到训练图像对应的三 维重建信息， 三维重建信息用于确定训练图像中 的目标对象在三维空间中的三维几何构型； 根据 训练图像对应的三维重建信息和三维重建标签， 对三维重建模 型进行训练。 通过真实图像和合成 图像进行训练， 有助于提高三维重建模型的泛化 性和保真性。 权利要求书3页 说明书19页 附图5页 CN 115115805 A 2022.09.27 CN 115115805 A 1.一种三维重建模型的训练方法， 其特 征在于， 所述方法包括： 获取多个训练图像以及各个所述训练图像对应的三维重建标签； 其中， 所述多个训练 图像包括至少一个真实训练图像和至少一个合成训练图像， 所述真实训练图像是指对真实 的目标对象进 行拍摄得到的图像， 所述合成训练图像是指根据合成的目标对象的三 维模型 生成的图像； 通过所述三维重建模型根据所述训练图像， 得到所述训练图像对应的三维重建信息， 所述三维重建信息用于确定所述训练图像中的目标对象在三维空间中的三维几何构型； 根据所述训练图像对应的三维重建信 息和三维重建标签， 对所述三维重建模型进行训 练。 2.根据权利要求1所述的方法， 其特征在于， 所述根据所述训练图像对应的三维重建信 息和三维重建标签， 对所述 三维重建模型进行训练， 包括： 根据所述真实训练图像对应的三维重建信息和三维重建标签， 计算得到第一训练损 失， 所述第一训练损失用于指示所述真实训练图像对应的三 维重建信息和三 维重建标签之 间的差异度； 根据所述合成训练图像对应的三维重建信息和三维重建标签， 计算得到第二训练损 失， 所述第二训练损失用于指示所述合成训练图像对应的三 维重建信息和三 维重建标签之 间的差异度； 根据所述第一训练损失和所述第二训练损失， 对所述 三维重建模型的参数进行调整。 3.根据权利要求2所述的方法， 其特征在于， 所述根据所述第 一训练损失和所述第 二训 练损失， 对所述 三维重建模型的参数进行调整， 包括： 对所述第一训练损失和所述第二训练损失进行加权求和， 得到总训练损失； 根据所述总训练损失对所述 三维重建模型的参数进行调整。 4.根据权利要求1所述的方法， 其特征在于， 所述三维重建信 息和三维重建标签采用有 向距离场形式表示， 所述有向距离场用于表征至少一个空间点与目标对象对应的三 维几何 构型表面的距离； 所述方法还 包括： 根据采用所述有向距离场形式表示的所述三维重建信 息和三维重建标签， 得到采用占 用场形式表示的所述三维重建信息和三维重建标签； 其中， 所述占用场用于表征至少一个 空间点与目标对象对应的三维几何构型表面的内外关系； 所述根据 所述训练图像对应的三维重建信 息和三维重建标签， 对所述三维重建模型进 行训练， 包括： 根据所述训练图像对应的采用所述有向距离场形式表示的所述三维重建信息和三维 重建标签， 以及所述训练图像对应的采用所述占用场形式表示的所述三 维重建信息和三 维 重建标签， 对所述 三维重建模型进行训练。 5.根据权利要求1所述的方法， 其特征在于， 所述获取多个训练图像以及各个所述训练 图像对应的三维重建标签， 包括： 对于所述真实训练图像， 采用深度图预测模型生成所述真实训练图像对应的预测深度 图像； 对所述预测深度图像进行空间转换， 得到所述真实训练图像对应的三维点云数据； 其权　利　要　求　书 1/3 页 2 CN 115115805 A 2中， 所述空间转换用于实现二维空间到三维空间的转换； 对所述三维点云数据进行采样， 得到所述真实训练图像对应的三维重建标签。 6.根据权利要求5所述的方法， 其特征在于， 所述采用深度图预测模型生成所述真实训 练图像对应的预测深度图像之后， 还 包括： 对所述预测深度图像进行上采样， 得到上采样后的所述预测深度图像； 其中， 在上采样 过程中， 保持所述预测深度图像的边 缘位置像素的深度值； 所述对所述预测深度图像进行空间转换， 得到所述真实训练图像对应的三维点云数 据， 包括： 对上采样后的所述预测深度图像进行空间转换， 得到所述真实训练图像对应的三维点 云数据。 7.根据权利要求1所述的方法， 其特征在于， 所述获取多个训练图像以及各个所述训练 图像对应的三维重建标签， 包括： 对于所述合成训练图像， 获取所述合成训练图像对应的虚拟几何构型； 其中， 所述虚拟 几何构型 是指所述 合成的目标对象的三维几何构型； 对所述合成训练图像对应的虚拟几何构型进行渲染和采样处理， 得到所述合成训练图 像对应的三维重建标签。 8.根据权利要求1所述的方法， 其特征在于， 所述通过所述三维重建模型根据 所述训练 图像， 得到所述训练图像对应的三维重建信息， 包括： 通过所述三维重建模型根据所述训练图像， 得到所述训练图像对应的特征体素， 所述 特征体素包括所述训练图像中的目标对象对应的体素的特 征信息； 通过所述三维重建模型根据所述特 征体素， 得到所述训练图像对应的三维重建信息 。 9.根据权利要求8所述的方法， 其特征在于， 所述通过所述三维重建模型根据 所述特征 体素， 得到所述训练图像对应的三维重建信息， 包括： 对所述训练图像中的目标对象所在的三维空间中的点进行采样， 得到多个采样点； 通过插值的方式， 从所述特 征体素中确定所述多个采样点分别对应的特 征信息； 通过所述三维重建模型根据 所述多个采样点分别对应的特征信 息， 得到所述训练图像 对应的三维重建信息 。 10.根据权利要求8所述的方法， 其特征在于， 所述三维重建模型包括： 特征体素提取子 模型和三维重建子模型； 所述特征体素提取子模型用于根据所述训练图像， 得到所述训练图像对应的特征体 素； 所述三维重建子模型用于根据所述特征体素， 得到所述训练图像对应的三维重建信 息。 11.根据权利要求1至10任一项所述的方法， 其特征在于， 完成训练的所述三维重建模 型用于以下至少之一： 根据人体的真实彩色图像， 在三维虚拟场景中生成所述人体的三维几何构型； 根据数字人的真实彩色图像， 在三维虚拟场景中生成所述数字人的三维几何构型； 根据衣服的真实彩色图像， 在三维虚拟场景中生成所述衣服的三维几何构型； 根据人脸的真实彩色图像， 在三维虚拟场景中生成所述人脸的三维几何构型。权　利　要　求　书 2/3 页 3 CN 115115805 A 3