(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210851175.8 (22)申请日 2022.07.19 (71)申请人 深圳万兴软件 有限公司 地址 518000 广东省深圳市南 山区粤海街 道软件产业基地5 栋D座1001 (72)发明人 高立刚　 (74)专利代理 机构 深圳市精英专利事务所 44242 专利代理师 王暄 (51)Int.Cl. G06T 17/00(2006.01) G06N 3/04(2006.01) G06T 7/593(2017.01) G06T 7/70(2017.01) G06T 15/04(2011.01) (54)发明名称 基于多视图图像的3D重建方法、 装置及相关 设备 (57)摘要 本发明公开了基于多视图图像的3D重建方 法、 装置及相关设备。 该方法包括获取建模目标 在不同视角的图像， 得到图像序列； 通过基于 ResNet18的Encoder网络对所述图像序列进行特 征提取， 得到图像特征； 通过增量式SfM算法对图 像特征进行稀 疏点云重建， 得到建模目标的稀 疏 点云及每一图像对应的相机位姿； 通过MVSNet网 络对图像序列中每一图像进行深度估计得到深 度图像， 并基于估计结果和对应的相机位姿进行 稠密点云重建， 得到建模目标的稠密点云； 基于 稠密点云进行网格化和纹理映射， 得到建模目标 的三维模型。 该方法有效提升建模目标的整体建 模效果。 权利要求书2页 说明书7页 附图3页 CN 115222889 A 2022.10.21 CN 115222889 A 1.一种基于多视图 图像的3D重建方法， 其特 征在于， 包括： 获取建模目标在不同视角的图像， 得到图像序列； 通过基于ResNet18的Encoder网络对所述图像序列进行 特征提取， 得到图像特 征； 通过增量式SfM算法对所述图像特征进行稀疏点云重建， 得到所述建模目标的稀疏点 云及每一图像对应的相机位姿； 通过MVSNet网络对所述图像序列中每一图像进行深度估计得到深度图像， 并基于估计 结果和对应的相机位姿 进行稠密点云重建， 得到所述建模目标的稠密点云； 基于所述稠密点云进行网格化和纹 理映射， 得到所述建模目标的三维模型。 2.根据权利要求1所述的基于多视图图像的3D重建方法， 其特征在于， 所述通过基于 ResNet18的Encoder网络对所述图像序列进行 特征提取， 得到图像特 征， 包括： 通过所述Encoder网络 的ResNet18模块对所述图像序列进行残差提取， 得到浅层特征 图； 通过所述Encoder网络的Transformer模块对所述浅层特征图的全局特征进行全局感 知和特征增强， 得到所述图像特 征。 3.根据权利要求1所述的基于多视图图像的3D重建方法， 其特征在于， 所述通过增量式 SfM算法对所述图像特征进行稀疏点云重建， 得到所述建模目标的稀疏点云及每一图像对 应的相机位姿， 包括： 根据所述图像特征的特征点对所述图像序列中的图像逐一进行匹配， 并对匹配的两张 图像进行初始化点云重建， 对初始化生成的相机位姿和三维点云进行首次光束平差BA优 化； 继续进行匹配， 对每一新匹配的图像进行相机空间位置点求解和特征点的三角定位， 同时每匹配一次新的图像并重 建完成后均进 行一次光束平差BA优化， 直到所有图像匹配完 毕， 得到所述稀疏点云及每一图像对应的相机位姿。 4.根据权利 要求1所述的基于多视图图像的3D重建方法， 其特征在于， 所述通过MVSNet 网络对所述图像序列中每一图像进行深度估计得到深度图像， 包括： 通过MVSNet网络对所述图像序列中每一图像进行深度特征提取， 得到每一图像的深度 特征； 对所述深度特 征进行深度估计， 得到每一图像的所述深度图像。 5.根据权利要求4所述的基于多视图图像的3D重建方法， 其特征在于， 所述对所述深度 特征进行深度估计， 得到每一图像的所述深度图像， 包括： 对所述深度特 征进行代价构建和代价累积， 得到特 征体； 基于所述特征体和对应的深度真值， 通过softmax函数计算每一像素在每一深度真值 的概率， 得到概 率图； 对所述概率图进行平 滑处理， 得到所述深度图像。 6.根据权利要求5所述的基于多视图图像的3D重建方法， 其特征在于， 所述基于所述特 征体和对应的深度真值， 通过softmax函数计算每个像素在每一深度真值的概率， 得到概率 图， 包括： 按如下公式计算每 个像素在每一深度真值的概 率P：权　利　要　求　书 1/2 页 2 CN 115222889 A 2式中， θmin表示最小深度真值， θmax表示最大深度真值， S( θ )表示特征在深度真值θ 的置 信度。 7.一种基于多视图 图像的3D重建装置， 其特 征在于， 包括： 获取模块， 用于获取建模目标在不同视角的图像， 得到图像序列； 提取模块， 用于通过基于ResNet18的Encoder网络对所述图像序列进行特征提取， 得到 图像特征； 稀疏点云重建模块， 用于通过增量式SfM算法对所述图像特征进行稀疏点云重建， 得到 所述建模目标的稀疏点云及每一图像对应的相机位姿； 稠密点云重建模块， 用于通过MVSNet网络对所述图像序列中每一图像进行深度估计得 到深度图像， 并基于估计结果和对应的相 机位姿进行稠密点云重建， 得到所述建模目标 的 稠密点云； 模型建立模块， 用于基于所述稠密点云进行网格化和 纹理映射， 得到所述建模目标的 三维模型。 8.根据权利要求7所述的基于多视图图像的3D重建装置， 其特征在于， 所述提取模块包 括： 残差单元， 用于通过所述Encoder网络的ResNet18模块对所述图像序列进行残差提取， 得到浅层特征图； 增强单元， 用于通过所述Encoder网络的Transformer模块对所述浅层 特征图的全局特 征进行全局感知和特 征增强， 得到所述图像特 征。 9.一种计算机设备， 包括存储器、 处理器及存储在所述存储器上并可在所述处理器上 运行的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如权利要求1至6 中任一项所述的基于多视图 图像的3D重建方法。 10.一种计算机可读存储介质， 其特征在于， 所述计算机可读存储介质存储有计算机程 序， 所述计算机程序当被处理器执行时使 所述处理器执行如权利要求 1至6任一项 所述的基 于多视图 图像的3D重建方法。权　利　要　求　书 2/2 页 3 CN 115222889 A 3