(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210924780.3 (22)申请日 2022.08.02 (71)申请人 广东顺德工业设计 研究院 （广东 顺 德创新设计 研究院） 地址 528311 广东省佛山市顺德区北滘镇 三乐路一号广东工业设计城二期广东 顺德创新设计 研究院604 (72)发明人 张维　林晓明　王洋　王爽　巩高　 (74)专利代理 机构 广州三环 专利商标代理有限 公司 44202 专利代理师 许羽冬 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/50(2017.01) G06N 3/04(2006.01) (54)发明名称 一种基于深度学习的三维重建方法及系统 (57)摘要 本发明公开了一种基于深度学习的三维重 建方法及系统， 包括： 获取目标物体对应的多个 待处理图像； 将所有待处理图像输入至深度图像 获取模型， 以获得各待处理图像对应的深度图 像； 通过预设的三维重建算法， 结合所有深度图 像， 获得目标物体的三维重建模型， 实现对目标 物体的三维重建； 其中， 深度图像获取模型为通 过在预设的多视角立体视觉神经网络MVSNet 的 基础上， 引入交叉注意力机制而获得的。 本发明 通过在预设的多视角立体视觉神经网络MVSNet 的基础上， 引入交叉注意力机制， 以优化深度图 像获取模型的信息捕捉性能和信息匹配性能， 并 逐图像获取目标物体的多视角深度信息， 进而提 升对于目标物体的三维重建精度和三维重建效 率。 权利要求书2页 说明书8页 附图2页 CN 115330935 A 2022.11.11 CN 115330935 A 1.一种基于深度学习的三维重建方法， 其特 征在于， 包括： 获取目标物体对应的多个待处 理图像； 将所有所述待处理图像输入至深度图像获取模型， 以获得各所述待处理图像对应的深 度图像； 通过预设的三维重建算法， 结合所有所述深度图像， 获得所述目标物体的三维重建模 型， 实现对所述目标物体的三维重建； 其中， 所述深度图像获取模型为通过在预设的多视角立体视觉神经网络MVSNet的基础 上， 引入交叉注意力机制而获得的。 2.如权利要求1所述的一种基于深度 学习的三维重建方法， 其特征在于， 所述将所有所 述待处理图像输入至深度图像获取模型， 以获得各所述待处理图像对应的深度图像， 具体 为： 将所有所述待处理图像输入至所述深度图像获取模型， 通过特征提取层， 分别提取各 所述待处理图像对应的局部特征和全局特征， 并融合所述局部特征和所述全局特征， 以获 得各所述待处 理图像对应的深度特 征； 通过单应性变换层， 对各所述深度特征进行可微单应性变换， 以获得各所述待处理图 像对应的单应矩阵， 并根据各 所述单应矩阵， 构建各 所述单应矩阵对应的第一代价空间； 通过代价空间正则化层， 对各所述第一代价空间进行正则化， 以获得各所述第一代价 空间对应的第二代价空间、 以及各 所述第二代价空间对应的概 率体积； 通过深度图像获取层， 按照预设的算法， 结合各所述概率体积， 计算得到各所述待处理 图像对应的所述深度图像； 其中， 所述深度图像获取模型依次包括所述特征提取层、 所述单应性变换层、 所述代价 空间正则化层和所述深度图像获取层。 3.如权利要求2所述的一种基于深度 学习的三维重建方法， 其特征在于， 所述深度图像 获取模型的获取， 具体为： 在所述多视角立体视觉神经网络MVSNet的特征提取阶段， 引 入所述交叉注意力机制， 以形成所述深度图像获取模型的所述特征提取层， 并在所述多视角立体视觉神经网络 MVSNet的代价空间正则化阶段， 引入所述交叉注意力机制， 以形成所述深度图像获取模型 的所述代价空间正则化层， 进 而获得所述深度图像获取模型； 其中， 所述交叉注意力机制通过Transformer模型实现。 4.如权利要求1所述的一种基于深度 学习的三维重建方法， 其特征在于， 所述通过预设 的三维重建算法， 结合所有所述深度图像， 获得所述目标物体的三 维重建模型， 实现对所述 目标物体的三维重建， 具体为： 通过预设的三维重建算法， 对同一视角下的所述深度图像和所述待处理图像进行融合 处理， 以获得 各所述深度图像对应的融合图像； 根据所有所述融合图像， 获取所述目标物体的三维点云数据， 并利用所述三维点云数 据， 构建所述目标物体的所述 三维重建模型， 实现对所述目标物体的三维重建。 5.如权利要求1所述的一种基于深度 学习的三维重建方法， 其特征在于， 所述获取目标 物体对应的多个待处 理图像， 具体为： 通过双目相机， 从不同视角对所述目标物体进行拍摄， 以获得多个单视角图像；权　利　要　求　书 1/2 页 2 CN 115330935 A 2对所有所述单视角图像进行 预处理， 获得各所述单视角图像对应的所述待处 理图像。 6.一种基于深度学习的三维重建系统， 其特 征在于， 包括： 数据获取模块， 用于获取目标物体对应的多个待处 理图像； 数据处理模块， 用于将所有所述待处理图像输入至深度图像获取模型， 以获得各所述 待处理图像对应的深度图像； 其中， 所述深度图像获取模型为通过在预设的多视角立体视 觉神经网络 MVSNet的基础上， 引入交叉注意力机制而获得的； 三维重建模块， 用于通过预设的三维重建算法， 结合所有所述深度图像， 获得所述目标 物体的三维重建模型， 实现对所述目标物体的三维重建。 7.如权利要求6所述的一种基于深度 学习的三维重建系统， 其特征在于， 所述深度图像 获取模块， 具体包括： 特征提取单元， 用于通过所述深度图像获取模型， 分别提取各所述待处理图像对应的 局部特征和全局特征， 并融合所述局部特征和所述全局特征， 以获得各所述待处理图像对 应的深度特 征； 单应性变换单元， 用于对各所述深度特征进行可微单应性变换， 以获得各所述待处理 图像对应的单应矩阵， 并根据各 所述单应矩阵， 构建各 所述单应矩阵对应的第一代价空间； 代价空间正则化单元， 用于对各所述第一代价空间进行正则化， 以获得各所述第一代 价空间对应的第二代价空间、 以及各 所述第二代价空间对应的概 率体积； 深度图像获取单元， 用于按照预设的算法， 结合各所述概率体积， 计算得到各所述待处 理图像对应的所述深度图像。 8.如权利要求7 所述的一种基于深度学习的三维重建系统， 其特 征在于， 还 包括： 模型构建模块， 用于在所述多视角立体视觉神经网络MVSNet的特征提取阶段和代价空 间正则化阶段， 分别引入所述交叉注意力机制， 以获得所述深度图像获取模型； 其中， 所述 交叉注意力机制通过Transformer模型实现。 9.如权利要求6所述的一种基于深度 学习的三维重建系统， 其特征在于， 所述三维重建 模块， 具体包括： 融合处理单元， 用于通过预设的三维重建算法， 对 同一视角下的所述深度图像和所述 待处理图像进行融合处 理， 以获得 各所述深度图像对应的融合图像； 三维重建单元， 用于根据 所有所述融合图像， 获取所述目标物体的三维点云数据， 并利 用所述三维点云数据， 构建所述 目标物体的所述三维重建模型， 实现对所述 目标物体的三 维重建。 10.如权利要求6所述的一种基于深度学习的三维重建系统， 其特征在于， 所述数据获 取模块， 具体包括： 数据获取单元， 用于通过双目相机， 从不同视角对所述目标物体进行拍摄， 以获得多个 单视角图像； 预处理单元， 用于对所有所述单视角图像进行预处理， 获得各所述单视角图像对应的 所述待处 理图像。权　利　要　求　书 2/2 页 3 CN 115330935 A 3