(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210910035.3 (22)申请日 2022.07.29 (71)申请人 杭州易现先进科技有限公司 地址 311200 浙江省杭州市萧 山区钱江世 纪公园C区6幢102室 (72)发明人 贺飏　张双力　丛林　王成　 (74)专利代理 机构 杭州创智卓英知识产权代理 事务所(普通 合伙) 33324 专利代理师 郑思思 (51)Int.Cl. G06T 17/00(2006.01) G06T 19/20(2011.01) G06T 5/20(2006.01) G06T 5/50(2006.01) (54)发明名称 基于多元置信度滤波的点云融合三维重建 方法和系统 (57)摘要 本申请涉及一种基于多元置信度滤波的点 云融合三维重建方法和系统， 其中， 该基于多元 置信度滤波的点云融合三维重建方法包括： 获取 图像， 根据各帧图像的RGB信息、 位姿信息和对应 的深度图， 确定待融合深度观测的多元的置信 度， 并将多元的该置信度合并， 得到合并置信 度； 对于每个观测， 根据其对应的合并置信度， 执行 融合； 并根据融合结果确定重建点， 基于该重建 点进行三维重建； 通过本申请， 解决了相关技术 中对于AR大场景导航导 览的三维重建， 重建精度 较低的问题， 提高了AR大场景三维重建的精度。 权利要求书2页 说明书11页 附图5页 CN 115375836 A 2022.11.22 CN 115375836 A 1.一种基于多元置信度滤波的点云融合 三维重建方法， 其特 征在于， 所述方法包括： 获取图像， 根据各帧图像的RGB信息、 位姿信息和对应的深度图， 确定待融合深度观测 的多元的置信度， 并将多元的所述置信度合并， 得到合并置信度； 对于每个观测， 根据其对应的合并置信度， 执行融合； 并根据融合结果确定重建点； 基 于所述重建点进行三维重建。 2.根据权利要求1所述的方法， 其特征在于， 所述执行融合， 并根据融合结果确定重建 点的过程包括： 通过贝叶斯滤波将各组共视 帧上的所述观测向参考帧融合， 根据融合后点 云分布的收敛性确定 重建点。 3.根据权利要求2所述的方法， 其特 征在于， 确定合并置信度的过程包括： 根据图像参考帧和共视帧的位姿信息， 确定待融合深度观测的几何置信度； 根据图像 RGB信息和所述参考帧和共视帧的位姿信息， 确定待融合深度 观测的纹理匹配置信度； 根据 基于图像RGB信息解 算出的语义信息， 确定待融合深度观测的语义置信度； 合并所述几何置信度、 纹 理匹配置信度以及语义置信度， 得到合并置信度。 4.根据权利要求3所述的方法， 其特征在于， 所述确定待融合深度观测的多元的置信度 之前， 所述方法包括： 遍历参考帧深度图的像素， 得到第 一像素， 通过所述第 一像素的深度值反投影， 确定所 述第一像素在参 考帧坐标系下的目标点的坐标， 得到第一 坐标； 通过位姿变换， 确定所述目标点在世界坐标系下的坐标， 得到第二坐标； 选取参考帧的 其中一个未操作的共视帧， 根据所述第二 坐标， 确定观测值。 5.根据权利要求 4所述的方法， 其特 征在于， 所述观测值的确定过程包括： 根据所述第二坐标， 通过位姿变换和 投影方程， 确定所述目标点在所述共视帧上的像 素位置， 得到第二像素； 通过所述第 二像素的深度值反投影， 确定所述第 二像素在世界坐标系下的目标点的坐 标， 得到第三 坐标； 根据所述第一坐标、 第三坐标以及参考帧的光心， 确定所述第三坐标对应的位置在参 考帧的观测向量上的投影的坐标， 并将结果作为所述观测值。 6.根据权利要求5所述的方法， 其特征在于， 所述确定待融合深度观测的多元的置信度 的过程包括： 确定所述待融合深度观测纹 理匹配置信度， 并用匹配标准差表示； 根据参考帧和共视帧的位姿信息， 确定相对位姿的变换矩阵， 并根据 所述变换矩阵， 确 定参考帧的光心和共视帧的光心间的距离， 得到光心 距； 根据所述观测值的平方、 参考帧相机内参的焦距、 所述光心距， 以及所述匹配标准差， 确定几何置信度， 并用几何标准差表示； 查询每个观测所属像素的语义类别标签， 确定所述观测的语义置信度， 其中， 动态物体 的观测对应的标准差为无穷大。 7.根据权利要求6所述的方法， 其特征在于， 所述根据融合后 点云分布的收敛性确定重 建点的过程包括： 对于高斯分布， 确定融合后的标准差是否小于预设阈值， 若是， 则判定为收敛； 如果收 敛， 则根据高斯分布的平均值， 确定世界坐标系下的重建点， 并标记对应共视帧的合并位权　利　要　求　书 1/2 页 2 CN 115375836 A 2置； 如果未收敛， 则继续选取参考帧的其中一个未操作的共视帧， 确定观测值并进行融合， 直至所述 参考帧下所有共视帧均已被执 行操作。 8.一种基于多元置信度滤波的点云融合 三维重建系统， 其特 征在于， 所述系统包括： 确定模块， 用于获取图像， 根据各帧图像的RGB信息、 位姿信息和对应的深度图， 确定待 融合深度观测的多元的置信度， 并将多元的所述置信度合并， 得到合并置信度； 融合模块， 用于对于每个观测， 根据其对应的合并置信度， 执行融合； 并根据融合结果 确定重建点； 基于所述重建点进行三维重建。 9.一种电子装置， 包括存储器和处理器， 其特征在于， 所述存储器中存储有计算机程 序， 所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项 所述的基于多 元置信度滤波的点云融合 三维重建方法。 10.一种存储介质， 其特征在于， 所述存储介质中存储有计算机程序， 其中， 所述计算机 程序被设置为运行时执行权利要求1至7中任一项所述的基于多元置信度滤波的点云融合 三维重建方法。权　利　要　求　书 2/2 页 3 CN 115375836 A 3