(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210922490.5 (22)申请日 2022.08.02 (71)申请人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 匡志毅　陈益扬　郑友怡　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 邱启旺 (51)Int.Cl. G06T 17/00(2006.01) G06T 3/00(2006.01) G06N 3/08(2006.01) G06N 3/04(2006.01) (54)发明名称 一种基于深度学习的多视角头发建模方法 及系统 (57)摘要 本发明提供了一种基于深度学习的多视角 头发建模 方法及系统， 本发明先获取每一视角下 的二维图像的生长方向图和头部模 型的深度图； 对头部模型构造头发生长的容积空间， 在头发生 长的容积空间内获取多个查询点； 将每一视角下 的二维图像的生长方向图、 头部模 型的深度图和 每一查询点的三维坐标作为一训练好的多目重 建网络的输入， 获得每一查询点的占用值和生长 方向， 最后依据查询点的占用值和生长方向在头 部模型上生长头发， 完成头发建模； 本发明结合 了两类方法的优点， 可使用较少的输入， 较有效 率地重建出精准的头发几何， 能广泛地部署、 使 用到人体数字化的场景中。 权利要求书2页 说明书7页 附图2页 CN 115375839 A 2022.11.22 CN 115375839 A 1.一种基于深度学习的多视角头发建模方法， 其特 征在于， 包括： 构建头部模型， 并获取待重建头发在多个视角下的二维图像； 获取每一视角下的二维图像的生长方向图和头 部模型的深度图； 对头部模型构造 头发生长的容积空间， 在头发生长的容积空间内获取多个查询点； 将每一视角下的二维图像的生长方向图、 头部模型的深度图和每一查询点的三维坐标 作为一训练好的多目重建网络的输入， 获得每一 查询点的占用值σ 和生长方向d； 依据查询点的占用值σ 和生长方向d在头 部模型上生长头发， 完成头发建模； 其中， 多目重建网络由骨干特征提取网络、 特征聚合模块、 信 息聚合模块和解码模块组 成， 其中骨干特征提取网络用于依据每一视角下的生长方向图和深度图沿通道维度叠加的 叠加图， 提取获得每一视角下的特 征图fi； 所述特征聚合模块用于依据每一视角下获取的查询 点X特征fi(xi)及对应的相机坐标 系的坐标pi(X)， 得到每一视角下查询点X的表征向量 其中， 所述查询点X特征fi(xi)依据 每一查询点X在第i个视角下的二维坐标xi， 从各视角下的特 征图fi查找获得； 信息聚合模块用于将全 部视角下查询点 X的表征向量 及所述查询点 X对应的用于查询 的表征向量q(X)聚合获得 所述查询点X的三维特 征向量 解码模块用于依据查询点X的三维特 征向量 解码获得占用值σ 和生长方向d； 所述训练好的多目重建网络是基于训练数据集， 通过以最小化输出的每一查询点的占 用值σ 和生长方向d与真值的损失为目标进行训练获得。 2.根据权利要求1所述的方法， 其特征在于， 所述对头部模型构造头发生长的容积空 间， 构造的头发生长的容积空间大小设置为头 部模型的边界框的两倍。 3.根据权利要求1所述的方法， 其特征在于， 所述查询点为头发生长的容积空间中各个 体素的角点， 所述依据查询点的占用值σ和生长方向d在头部模型上生长头发， 完成头发建 模， 具体为： 在生长的容积空间内均匀地采样点， 并沿着生长方向场双向生长头发， 空间中 任意一点的头发生长方向是包 含这一点的体素的角点处生长方向的三线性插值的结果。 4.根据权利要求1所述的方法， 其特 征在于， 所述训练数据集中的每组训练数据包括： 同一头发模型在多个视角下的二维图像、 基于头发模型采样的每一查询点的占用值和 生长方向。 5.根据权利要求1所述的方法， 其特征在于， 所述基于头发模型采样的每一查询点通过 如下方法获得： 将头发模型周围的空间体素化， 如果一个体素被任意一根头发丝穿过， 则认 为一个体素为正， 反之则认为是负， 然后， 在正体素和正体素邻近的负体素中密集地采样， 在剩余的负体素中稀疏地采样作为 查询点。 6.根据权利要求1所述的方法， 其特 征在于， 训练采用的损失函数如下： 权　利　要　求　书 1/2 页 2 CN 115375839 A 2其中， Locc是占用值的损失函数， σ*表示占用值的真值， d*是生长方向的真值， N是查询 点总数。 7.根据权利要求1所述的方法， 其特征在于， 在依据查询点的占用值σ 和生长方向d在头 部模型上生长头发后， 还 包括微调步骤： 将依据查询点的占用值σ和生长方向d在头部模型上生长头发后得到的每根三维头发 丝投影到它的可见视角， 形成一根二维头发丝， 每根投影的二维头发丝依据与它最匹配的 引导头发丝按段进行形变， 多个视角的形变后的二维头发丝通过反投影， 聚合成最终形变 后的三维头发丝； 其中， 所述与它最匹配的引导头发丝通过投影视角对应的二维 图像中选 择获得。 8.根据权利要求1所述的方法， 其特征在于， 所述获取每一视角下的二维图像的生长方 向图具体如下： 将每一视角下的二维图像输入至带有方向的加伯滤波器进行卷积， 为每个像素点确定 其最显著的头发生长方向， 得到对应视角下的一张带噪声的生长方向图和测定生长方向图 准确度的置信图； 将对应视角下的一张带噪声的生长方向图和测定生长方向图准确度的置信图作为一 训练好的去噪卷积网络的输入， 输出获得对应视角下的生长方向图； 所述训练好的去噪卷积网络是基于训练数据集， 通过以最小化输出的生长方向图与真 值的损失为目标进行训练获得。 9.一种基于深度学习的多视角头发建模系统， 其特征在于， 用于实现权利要求1 ‑8任一 项所述基于深度学习的多视角头发建模方法， 包括： 数据预处理单元， 用于构建头部模型， 并获取待重建头发在多个视角下的二维图像； 获 取每一视角下的二维图像的生长方向图和头 部模型的深度图； 查询点获取单元， 用于对头部模型构造头发生长的容积空间， 在头发生长的容积空间 内获取多个查询点； 头发建模单元， 将每一视角下的二维图像的生长方向图、 头部模型的深度图和每一查 询点的三维坐标作为一训练好的多目重建网络的输入， 获得每一查询点的占用值σ和生长 方向d； 依据查询点的占用值σ 和生长方向d在头 部模型上生长头发， 完成头发建模。 10.一种包含计算机可执行指令的存储介质， 所述计算机可执行指令在由计算机处理 器执行时实现如权利要求1 ‑8任一项所述的基于深度学习的多视角头发建模方法。权　利　要　求　书 2/2 页 3 CN 115375839 A 3