(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210910828.5 (22)申请日 2022.07.29 (71)申请人 嬴彻星创智能科技 （上海） 有限公司 地址 201801 上海市浦东 新区 （上海） 自由 贸易试验区临港新片区新杨公路1800 弄2幢2528室 (72)发明人 贺克赛　 (74)专利代理 机构 北京路浩知识产权代理有限 公司 11002 专利代理师 耿琦 (51)Int.Cl. G06V 40/16(2022.01) G06V 10/82(2022.01) G06T 17/00(2006.01) G06N 3/04(2006.01)G06N 3/08(2006.01) (54)发明名称 参数预测模型的训练方法及三维人脸重建 方法、 装置 (57)摘要 本发明提供一种参数预测模型的训练方法 及三维人脸重建方法、 装置， 包括： 获取二维人脸 图像训练集， 并输入至预先构建的神经网络模型 中； 通过主干网络从所述二维人脸图像训练集中 提取得到 人脸特征， 并利用多个检测分支网络基 于所述人脸特征预测得到多个第一人脸特征参 数； 从多个第一人脸特征参数中确定至少一个待 提炼人脸特征参数， 并将待提炼人脸特征参数输 入至对应的分支提炼网络中， 预测得到与待提炼 人脸特征参数对应的第二人脸特征参数； 根据第 一人脸特征参数对应的第一损失以及第二人脸 特征参数对应的第二损失对神经网络模型进行 联合训练， 得到训练好的神经网络模型。 本发明 能够在提升准确率的同时保证计算量不做任何 增加。 权利要求书3页 说明书12页 附图3页 CN 115359523 A 2022.11.18 CN 115359523 A 1.一种参数 预测模型的训练方法， 其特 征在于， 包括： 获取二维人脸图像训练集， 并输入至预先构建的神经网络模型中； 其中， 所述预先构建 的神经网络模型包括参数预测模型以及至少一个分支提炼网络； 所述参数预测模型包括主 干网络以及多个 检测分支网络； 通过所述主干网络从所述二维人脸图像训练集中提取得到人脸特征， 并利用所述多个 检测分支网络基于所述人脸特 征预测得到多个第一人脸特 征参数； 从所述多个第 一人脸特征参数中确定至少一个待提炼人脸特征参数， 并将所述待提炼 人脸特征参数输入至对应的分支 提炼网络中， 预测得到与所述待提炼人脸特征参数对应的 第二人脸特 征参数； 根据所述第一人脸特征参数对应的第一损失以及第二人脸特征参数对应的第二损失 对所述神经网络模型进行联合训练， 得到训练好的神经网络模型， 该训练好的神经网络模 型包括训练好的参数 预测模型以及训练好的分支提炼网络； 其中， 所述第 一损失基于所述二维人脸图像训练集对应的真值与第 一人脸特征参数得 到； 所述第二损失包括所述二维人脸图像训练集对应的真值与第二人脸特征参数之 间的损 失以及待提炼人脸特 征参数与第二人脸特 征参数之间的损失。 2.根据权利要求1所述的参数预测模型的训练方法， 其特征在于， 在所述通过所述主干 网络从所述二维人脸图像训练集中提取得到人脸特征， 并利用所述多个检测分支网络基于 所述人脸特 征预测得到多个第一人脸特 征参数之后， 方法还 包括： 根据所述第一人脸特征参数、 基准人脸坐标以及基准人脸参数， 将所述第一人脸特征 参数转化为人脸关键点； 相应地， 所述分支提炼网络包括m个依次连接的卷积层， 且第m个卷积层与前m ‑1个卷积 层中的一个卷积层之间存在跳跃 连接； 所述将所述待提炼人脸特征参数输入至对应的分支提炼网络 中， 预测得到与 所述待提 炼人脸特 征参数对应的第二人脸特 征参数， 包括： 经由前m‑1个卷积层对所述待提炼人脸特征参数进行特征提取， 得到第m ‑1个卷积层输 出的特征信息； 将所述第m ‑1个卷积层输出的特征信 息、 通过跳跃连接与所述第m个卷积层连接的卷积 层输出的特 征信息以及所述人脸关键点输入第m个卷积层， 从而输出第二人脸特 征参数。 3.根据权利要求1所述的参数预测模型的训练方法， 其特征在于， 所述第 二损失包括所 述二维人脸图像训练集对应的真值与第二人脸特征参数之间的损失以及待提炼人脸特征 参数与第二人脸特 征参数之间的损失， 包括： 利用均方误差计算方法分别计算得到所述二维人脸图像训练集对应的真值与第二人 脸特征参数之间的损失以及待提炼人脸特 征参数与第二人脸特 征参数之间的损失。 4.根据权利要求2所述的参数预测模型的训练方法， 其特征在于， 所述第 一人脸特征参 数至少包括姿态参数、 形状参数以及表情参数； 所述基准人脸 参数包括基准表情参数以及基准形状参数； 相应地， 所述根据 所述第一人脸特征参数、 基准人脸坐标以及基准人脸参数， 将所述第 一人脸特 征参数转 化为人脸关键点， 包括： 分别获取表情参数与基准表情参数之间的乘积， 以及形状参数与基准形状参数之间的权　利　要　求　书 1/3 页 2 CN 115359523 A 2乘积； 在基准人脸坐标的基础上， 获取表情参数与基准表情参数之间的乘积与形状参数与基 准形状参数之间的乘积的和， 作为表情与形状的形变参数； 获取表情与 形状的形变参数和姿态参数之间的乘积， 作为在第 一人脸特征参数下的人 脸关键点。 5.根据权利要求1 ‑4任一所述的参数预测模型的训练方法， 其特征在于， 所述分支提炼 网络的数量与所述待提炼人脸特征参数的数量相同， 且所述分支提炼网络与所述待提炼人 脸特征参数一 一对应； 相应地， 所述从所述多个第一人脸特征参数中确定至少一个待提炼人脸特征参数， 包 括： 根据预设的精度提升目标从所述第一人脸特 征参数中确定待提炼人脸特 征参数； 将所述待提炼人脸特 征参数输入至对应的分支提炼网络中。 6.一种三维人脸重建方法， 其特 征在于， 包括： 获取待重建的二维人脸图像； 将所述待重建的二维人脸图像输入预先训练好的参数预测模型中， 预测得到多个人脸 特征参数； 将所述多个人脸特 征参数输入至三维形变模型中， 获取重建后的三维人脸； 其中， 所述预先训练好的参数预测模型基于如权利要求1 ‑5任一所述的参数预测模型 的训练方法训练得到 。 7.一种参数 预测模型的训练装置， 其特 征在于， 包括： 训练集获取与输入模块， 用于获取二维人脸图像训练集， 并输入至预先构建的神经网 络模型中； 其中， 所述预先构建的神经网络模型包括参数预测模型以及至少一个分支提炼 网络； 所述 参数预测模型包括主干网络以及多个 检测分支网络； 参数预测模型预测模块， 用于通过所述主干网络从所述二维人脸图像训练集中提取得 到人脸特征， 并利用所述多个检测分支网络基于所述人脸特征预测得到多个第一人脸特征 参数； 分支提炼网络预测模块， 用于从所述多个第 一人脸特征参数中确定至少一个待提炼人 脸特征参数， 并将所述待提炼人脸特征参数输入至对应的分支提炼网络中， 预测得到与所 述待提炼人脸特 征参数对应的第二人脸特 征参数； 模型训练模块， 用于根据所述第 一人脸特征参数对应的第 一损失以及第 二人脸特征参 数对应的第二损失对所述神经网络模型进行联合训练， 得到训练好的神经网络模型， 该训 练好的神经网络模型包括训练好的参数 预测模型以及训练好的分支提炼网络； 其中， 所述第 一损失基于所述二维人脸图像训练集对应的真值与第 一人脸特征参数得 到； 所述第二损失包括所述二维人脸图像训练集对应的真值与第二人脸特征参数之 间的损 失以及待提炼人脸特 征参数与第二人脸特 征参数之间的损失。 8.一种三维人脸重建装置， 其特 征在于， 包括： 图像获取模块， 用于获取待重建的二维人脸图像； 参数预测模块， 用于将所述待重建的二维人脸图像输入预先训练好的参数预测模型 中， 预测得到多个人脸特 征参数；权　利　要　求　书 2/3 页 3 CN 115359523 A 3