(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210864971.5 (22)申请日 2022.07.21 (71)申请人 众趣 （北京） 科技有限公司 地址 100000 北京市朝阳区安定路3 3号化 信大厦16层 (72)发明人 段岳华　高翔　黄敏生　 (74)专利代理 机构 北京汇捷知识产权代理事务 所(普通合伙) 11531 专利代理师 霍从芳 (51)Int.Cl. G06T 17/00(2006.01) G06T 3/40(2006.01) G06T 3/60(2006.01) G06T 7/55(2017.01) (54)发明名称 一种基于深度预测与融合的三维重建方法 (57)摘要 本发明提供了一种基于深度预测与融合的 三维重建方法， 包括如下步骤： 步骤一、 获取场景 同一位置且多个角度的彩色图片， 将若干彩色图 片依次拼接获得初始彩色全景图； 步骤二、 将步 骤一中初始彩色全景图旋转N次， 得到N个不同角 度的旋转彩色全景图； 步骤三、 将初始彩色全景 图及N个旋转彩色全景图输入预先训练好的神经 网络， 获取初始深度全景图和N个旋转深度全景 图； 步骤四、 去除初始深度全景图及N个旋转深度 全景图两侧边缘数据； 本发明解决了现有三维模 型重建方法成本较高， 且拼接处存在裂缝， 与现 实场景存在一定 差异等问题。 权利要求书1页 说明书4页 附图1页 CN 115239880 A 2022.10.25 CN 115239880 A 1.一种基于深度预测与融合的三维重建方法， 其特 征在于： 包括如下步骤： 步骤一、 获取场景同一位置且多个角度的彩色图片， 将若干彩色图片依次拼接获得初 始彩色全景图； 步骤二、 将步骤一中初始彩色全景图旋转 N次， 得到N个不同角度的旋转彩色全景图； 步骤三、 将初始彩色全景图及N个旋转彩色全景图输入预先训练好的神经网络， 获取初 始深度全景图和N个旋转深度全景图； 步骤四、 去除初始深度全景图及N个旋转深度全景图两侧边 缘数据； 步骤五、 对去除边缘数据的N个旋转深度全景图反向旋转相应角度， 使其与去除边缘数 据的初始深度全景图一 一对应； 步骤六、 选取步骤五中去 除边缘数据且一一对应的初始深度全景图及N个旋转深度全 景图两侧深度值的深度数据均值， 添加到去除边缘数据的初始深度全景图两侧， 完成对初 始深度全景图两侧边 缘深度信息融合； 步骤七、 将融合深度信息的初始深度全景图转换为三维点云， 将不同位置的三维点云 进行融合， 完成三维模型重建。 2.根据权利要求1所述的一种基于深度 预测与融合的三维重建方法， 其特征在于： 所述 步骤四中去除初始深度全景图及N个旋转深度全景图边 缘1/8度数据。 3.根据权利要求1所述的一种基于深度 预测与融合的三维重建方法， 其特征在于： 所述 步骤七中融合深度信息的初始深度全景图转换为 三维点云的方式如下： 其中， w， h为图像的分辨 率， d为像素(u0， v0)处存储的深度值。权　利　要　求　书 1/1 页 2 CN 115239880 A 2一种基于深度预测与融合的三维重建 方法 技术领域 [0001]本发明涉及 三维重建技术领域， 具体涉及 一种基于深度预测与融合的三维重建方 法。 背景技术 [0002]三维模型在各个领域中有着重要的作用， 例如： 工业测量、 家居装修、 室内导航、 资 产管理等。 而一般三维模型都需要场景 的深度信息， 通常获取深度信息的设备包括基于结 构光的深度传感器、 基于光飞行时间的激光雷达等， 其价格相对比较昂贵。 为了节约 成本， 通常采用彩色镜头获取场景 的信息， 借助于深度学习技术预测该场景对应的深度信息， 随 后将不同位置处预测得到的点云进行融合， 得到整个场景 的三维模型； 该方法用于预测单 张全景图， 其优势在于对单张全景图预测的深度信息更加精确。 [0003]而基于单张全景图预测的深度信息， 由于在全景图边缘的深度信息与实际情况有 误差， 所以在进行模型拼接时会导致模型连接处存在模型与模型之间对不整齐， 从而在拼 接处有裂缝产生。 [0004]尤其是针对彩色摄像头获取的彩色全景图进行三维重建； 通过深度学习技术所预 测得到的深度信息在图像边缘处会存在较大的误差， 最 终生成的三 维模型在拼接处会存在 一定的裂缝， 导 致三维模型与现实场景有一定 差异。 发明内容 [0005]为了克服现有技术的不足， 本发明提供了一种基于深度预测与融合的三维重建方 法， 解决了现有三 维模型重 建方法成本较高， 且拼接处存在裂缝， 与现实场景存在一定差异 等问题。 [0006]本发明解决其技术问题所采用的技术方案是： 一种基于深度预测与融合的三维重 建方法， 包括如下步骤： [0007]步骤一、 获取场景同一位置且多个角 度的彩色图片， 将若干彩色图片依次拼接获 得初始彩色全景图； [0008]步骤二、 将步骤一中初始彩色全景图旋转N次， 得到N个不 同角度的旋转彩色全景 图； [0009]步骤三、 将初始彩色全景图及N个旋转彩色全景图输入预先训练好的神经网络， 获 取初始深度全景图和N个旋转深度全景图； [0010]步骤四、 去除初始深度全景图及N个旋转深度全景图两侧边 缘数据； [0011]步骤五、 对去除边缘数据的N个旋转深度全景图反向旋转相应角度， 使其与 去除边 缘数据的初始深度全景图一 一对应； [0012]步骤六、 选取步骤五中去除边缘数据且一一对应 的初始深度全景 图及N个旋转深 度全景图两侧深度值的深度数据均值， 添加到去除边缘数据的初始深度全景图两侧， 完成 对去除边 缘数据的初始深度全景图两侧边 缘深度信息融合；说　明　书 1/4 页 3 CN 115239880 A 3