(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210842557.4 (22)申请日 2022.07.18 (71)申请人 聚好看科技股份有限公司 地址 266100 山东省青岛市崂山区松岭路 399号 申请人 清华大学　 海信视像科技股份有限公司 (72)发明人 赵笑晨　刘烨斌　刘帅　梁大才　 王宝云　于芝涛　吴连朋　 (74)专利代理 机构 北京同达信恒知识产权代理 有限公司 1 1291 专利代理师 宋正伟 (51)Int.Cl. G06T 17/00(2006.01) G06T 15/00(2011.01)G06T 7/593(2017.01) G06N 3/08(2006.01) (54)发明名称 一种头部三维模型的重建方法及电子设备 (57)摘要 本申请提供一种头部三维模型的重建方法 及电子设备， 用于提高头部三维模型的质量。 包 括： 针对任一目标对象， 将目标对象的多视角 RGBD图像输入至预先训练好的头部三维模型重 建神经网络中， 得到头部三维模型； 其中， 头部三 维模型重建神经网络通过训练方式为： 将训练样 本输入至头部三维模型重建神经网络， 得到各渲 染图像的预测sdf值、 各预测渲染图像和头部三 维模型， 其中， 训练样本包括头部三维模型在不 同视角和光照进行渲染后的各渲染图像和各渲 染图像的目标sdf值； 利用基于各预测渲染图像 和各渲染图像得到的第一中间损失值和基于预 测sdf值和目标sdf值得到的第二中间损失值， 确 定目标损失值； 若目标损失值大于指定阈值， 则 结束训练。 权利要求书2页 说明书10页 附图5页 CN 115272565 A 2022.11.01 CN 115272565 A 1.一种头 部三维模型的重建方法， 其特 征在于， 所述方法包括： 针对任意一个目标对象， 将所述目标对象的多视角彩色深度RGBD图像输入至预先训练 好的头部三维模型重建神经网络中， 得到所述目标对象的头 部三维模型； 其中， 所述头 部三维模型重建神经网络是通过以下 方式进行训练的： 获取训练样本， 其中， 所述训练样本中包括头部三维模型在不同视角以及不同光照条 件下进行渲染后的各渲染图像以及所述各渲染图像分别对应的目标符号距离场sdf值； 将训练样本输入至头部三维模型重建神经网络 中， 得到与所述各渲染图像对应的预测 sdf值、 各 预测渲染图像以及头 部三维模型； 基于所述各预测渲染图像和所述各渲染图像， 得到第一中间损 失值， 并基于所述预测 sdf值和所述目标sdf值， 得到第二中间损失值； 利用所述第一中间损失值和所述第二中间损失值， 得到目标损失值； 若所述目标损失值大于指定阈值， 则结束对所述头 部三维模型重建神经网络的训练。 2.根据权利要求1所述的方法， 其特 征在于， 所述方法还 包括： 若所述目标损失值不大于所述指定 阈值， 则对所述头部三维模型重建神经网络的指定 参数进行调整后， 返回将所述训练样本输入至头部三维模型重建神经网络中的步骤， 直至 所述目标损失值大于所述指定阈值， 则结束对所述头 部三维模型重建神经网络的训练。 3.根据权利要求1所述的方法， 其特征在于， 所述基于所述各预测渲染图像和所述各渲 染图像， 得到第一中间损失值， 包括： 针对所述渲染图像中的任意一个像素点， 基于所述像素点的像素值以及所述预测渲染 图像中与所述像素点相对应的目标像素点的像素值， 得到所述像素点对应的子损失值， 其 中， 所述目标像素点为在所述预测渲 染图像中位置坐标与所述像素点在所述渲染图像中的 位置坐标相同的像素点； 并， 利用所述 渲染图像中各像素点对应的子损失值， 得到所述第一中间损失值。 4.根据权利要求3所述的方法， 其特征在于， 所述基于所述像素点的像素值以及所述预 测渲染图像中与所述像素点相对应的目标像素点的像素值， 得到所述像素点对应的子损失 值， 包括： 将所述像素点的像素值以及所述目标像素点的像素值的差值的绝对值确定为所述像 素点对应的子损失值； 所述利用所述 渲染图像中各像素点对应的子损失值， 得到所述第一中间损失值， 包括： 将所述渲染图像中各像素点对应的子损失值相加， 得到所述第一中间损失值。 5.根据权利要求1所述的方法， 其特征在于， 所述基于所述预测sdf值和所述目标sdf 值， 得到第二中间损失值， 包括： 将所述预测sdf值与所述目标sdf值的差值的绝对值确定为所述第二损失值； 所述利用所述第一中间损失值和所述第二中间损失值， 得到目标损失值， 包括： 将所述第一中间损失值和所述第二中间损失值相加， 得到所述目标损失值。 6.一种电子设备， 其特征在于， 包括处理器和存储器， 所述处理器和所述存储器通过总 线连接； 所述存储器中存储有计算机程序， 所述处理器被配置为基于所述计算机程序 执行以下 操作：权　利　要　求　书 1/2 页 2 CN 115272565 A 2针对任意一个目标对象， 将所述目标对象的多视角彩色深度RGBD图像输入至预先训练 好的头部三维模型重建神经网络中， 得到所述目标对象的头 部三维模型； 其中， 所述头 部三维模型重建神经网络是通过以下 方式进行训练的： 获取训练样本， 其中， 所述训练样本中包括头部三维模型在不同视角以及不同光照条 件下进行渲染后的各渲染图像以及所述各渲染图像分别对应的目标符号距离场sdf值； 将训练样本输入至头部三维模型重建神经网络 中， 得到与所述各渲染图像对应的预测 sdf值、 各 预测渲染图像以及头 部三维模型； 基于所述各预测渲染图像和所述各渲染图像， 得到第一中间损 失值， 并基于所述预测 sdf值和所述目标sdf值， 得到第二中间损失值； 利用所述第一中间损失值和所述第二中间损失值， 得到目标损失值； 若所述目标损失值大于指定阈值， 则结束对所述头 部三维模型重建神经网络的训练。 7.根据权利要求6所述的电子设备， 其特 征在于， 所述处 理器还被 配置为： 若所述目标损失值不大于所述指定 阈值， 则对所述头部三维模型重建神经网络的指定 参数进行调整后， 返回将所述训练样本输入至头部三维模型重建神经网络中的步骤， 直至 所述目标损失值大于所述指定阈值， 则结束对所述头 部三维模型重建神经网络的训练。 8.根据权利要求6所述的电子设备， 其特征在于， 所述处理器执行所述基于所述各预测 渲染图像和所述各渲染图像， 得到第一中间损失值， 具体 被配置为： 针对所述渲染图像中的任意一个像素点， 基于所述像素点的像素值以及所述预测渲染 图像中与所述像素点相对应的目标像素点的像素值， 得到所述像素点对应的子损失值， 其 中， 所述目标像素点为在所述预测渲 染图像中位置坐标与所述像素点在所述渲染图像中的 位置坐标相同的像素点； 并， 利用所述 渲染图像中各像素点对应的子损失值， 得到所述第一中间损失值。 9.根据权利要求8所述的电子设备， 其特征在于， 所述处理器执行所述基于所述像素点 的像素值以及所述预测渲 染图像中与所述像素点相对应的目标像素点的像素值， 得到所述 像素点对应的子损失值， 具体 被配置为： 将所述像素点的像素值以及所述目标像素点的像素值的差值的绝对值确定为所述像 素点对应的子损失值； 所述处理器执行所述利用所述渲染图像中各像素点对应的子损失值， 得到所述第 一中 间损失值， 具体 被配置为： 将所述渲染图像中各像素点对应的子损失值相加， 得到所述第一中间损失值。 10.根据权利要求6所述的电子设备， 其特征在于， 所述处理器执行所述基于所述预测 sdf值和所述目标sdf值， 得到第二中间损失值， 具体 被配置为： 将所述预测sdf值与所述目标sdf值的差值的绝对值确定为所述第二损失值； 所述处理器执行所述利用所述第 一中间损失值和所述第 二中间损失值， 得到目标损失 值， 包括： 将所述第一中间损失值和所述第二中间损失值相加， 得到所述目标损失值。权　利　要　求　书 2/2 页 3 CN 115272565 A 3