(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210914563.6 (22)申请日 2022.08.01 (71)申请人 天津大学 地址 300072 天津市南 开区卫津路9 2号 (72)发明人 宋嘉慧　侯永宏　彭勃　雷建军　 (74)专利代理 机构 天津市北洋 有限责任专利代 理事务所 12 201 专利代理师 李林娟 (51)Int.Cl. G06T 17/00(2006.01) G06V 10/82(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种无监督多视图三维点云重建方法及装 置 (57)摘要 本发明公开了一种无监督多视图三维点云 重建方法及装置， 方法包括： 构建基于交互的点 云增强模块， 用于对输入的多个粗糙点云， 分别 使用点云增强子网获得增强点云； 对输入的多个 增强点云分别使用点云特征提取器提取点云特 征， 将多个点云特征级 联后送入一个多层感知机 层， 进行精细点云的重建； 利用多视图一致性损 失最小化投影后的二维图像与对应位姿输入视 图间的逐像素差异， 以实现无监督三维点云重 建； 通过在网络训练中应用所构建的多视图一致 性损失进行网络优化， 约束投影视图与输入视图 间的一致性， 从而约束重建点云能够具有合理的 几何形状， 最终实现无监督三维点云重建。 装置 包括： 处理器和存储器。 本发明有效减小对大规 模真实三维点云数据的依赖， 提升无监督三维点 云重建的性能。 权利要求书2页 说明书6页 附图1页 CN 115222891 A 2022.10.21 CN 115222891 A 1.一种无监 督多视图三维点云重建方法， 其特 征在于， 所述方法包括： 构建基于交互的点云增强模块， 用于对输入的多个粗糙点云， 分别使用点云增强子网 获得增强点云； 对输入的多个增强点云分别使用点云特征提取器提取点云特征， 将多个点云特征级联 后送入一个多层感知机层， 进行精细点云的重建； 利用多视 图一致性损失最小化投影后的二维图像与对应位姿输入视图间的逐像素差 异， 以实现无监 督三维点云重建； 通过在网络训练中应用所构建的多视图一致性损失进行网络优化， 约束投影视图与输 入视图间的一致性， 从而约束重建点云能够具有合理的几何形状， 最终实现无监督三维点 云重建。 2.根据权利要求1所述的一种无监督多视图三维点云重建方法， 其特征在于， 所述点云 增强子网由一个点云特 征提取器、 一个点云特 征交互单元和一个多层感知机组成。 3.根据权利要求1所述的一种无监 督多视图三维点云重建方法， 其特 征在于， 所述点云特征提取器采用基于深度 学习的三维点云特征提取网络， 该网络以三维点云 为输入， 提取包 含点云空间结构信息的点云特 征； 所述点云特征交互单元由两个级联层、 V个卷积层和两个激活层组成， 该单元以从多个 粗糙点云提取 的点云特征为输入， 通过多支路信息交互， 有效利用其他支路点云特征中的 有益信息来增强当前支路的点云特 征； 所述多层感知机用于将增强后的点云特 征映射到三维空间， 以重建增强后的点云。 4.根据权利要求1所述的一种无监督多视图三维点云重建方法， 其特征在于， 所述提取 包含点云空间结构信息的点云特 征为： fi＝Extractor(Pi) 其中， fi表示从粗 糙点云Pi提取的点云特 征， Extractor(·)表示点云特征提取器； 5.根据权利要求1所述的一种无监督多视图三维点云重建方法， 其特征在于， 所述通过 多支路信息交互， 有效利用其他支路点云特征中的有益信息来增强当前支路的点云特征 为： 将第j个支路点云特征fj送入一个卷积层进行自适应学习， 得到自适应点云特征f ′j， 将 第i个支路点云特征fi与f′j级联， 并将级联后的特征送 入一个卷积层和一个激活层， 以获得 第j个支路点云特 征fj中的有益信息， 用于后续对点云特 征fi的增强； 将所获得的第j个支路点云特征fj中的有益信息rj与第i个支路点云特征fi做点积计 算， 得到增强后的特 征 利用其他各支 路点云特征 采用上述增强方 式能够分别获得对第i个支 路点云 特征fi的增强特征 将各支路对应的增强特征进行级联并送入一个卷积层和 一个 激活层进行融合， 再将融合特征送入一个多层感知机， 以获得对粗糙点云Pi进行交互增强 后的点云Ei。 6.根据权利要求1所述的一种无监督多视图三维点云重建方法， 其特征在于， 所述最小 化投影后的二维图像为：权　利　要　求　书 1/2 页 2 CN 115222891 A 2view′i＝Φ(F, θi) 其中， Φ表示投影操作， view ′表示精细点云F根据第i个输入视图的真实位姿θi进行投 影得到的二维图像。 7.根据权利要求6所述的一种无监督多视图三维点云重建方法， 其特征在于， 所述多视 图一致性损失为： 其中， LMVC表示多视图一 致性损失， viewi表示输入的第i个视图。 8.一种无监督多视图三维点云重建装置， 其特征在于， 所述装置包括： 处理器和存储 器， 所述存储器中存储有程序指令， 所述处理器调用存储器中存储的程序指令以使装置执 行权利要求1 ‑7中的任一项所述的方法步骤。权　利　要　求　书 2/2 页 3 CN 115222891 A 3