(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210894473.5 (22)申请日 2022.07.27 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 周宇　毋戈　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 王文思 (51)Int.Cl. G06T 17/00(2006.01) G06T 17/20(2006.01) G06T 7/55(2017.01) G06T 7/70(2017.01) G06T 5/50(2006.01) (54)发明名称 图像处理方法、 图像处理设备和元宇宙 三维 重建方法 (57)摘要 本公开提供了一种图像处理方法、 图像处理 设备和元宇宙三维重建方法， 涉及人工智能领 域， 具体为计算机视觉、 图像处理、 元宇宙等技术 领域。 图像处理方法包括： 获取由图像采集装置 在第一位置处采集的与 目标对象相关联的第一 原始图像和与目标对象相关联的第一补光图像； 获取由图像采集装置在第二位置处采集的与 目 标对象相关联的第二原始 图像和与 目标对象相 关联的第二补光图像； 基于第一原始图像和第二 原始图像， 确定图像采集位姿； 基于第一补光图 像和第二补光图像， 确定与目标对象相关联的局 部点云数据； 基于图像采集位姿和局部点云数 据， 确定与目标对象相关联的总体点云数据。 权利要求书4页 说明书11页 附图5页 CN 115131507 A 2022.09.30 CN 115131507 A 1.一种图像处 理方法， 包括： 获取由图像采集装置在第一位置处采集的与目标对象相关联的第一原始图像和与所 述目标对象相关联的第一补光图像； 获取由所述图像采集装置在第二位置处采集的与所述目标对象相关联的第二原始图 像和与所述目标对象相关联的第二补光图像； 基于所述第一原 始图像和所述第二原 始图像， 确定图像采集 位姿； 基于所述第 一补光图像和所述第 二补光图像， 确定与 所述目标对象相关联的局部点云 数据； 以及 基于所述图像采集位姿和所述局部点云数据， 确定与 所述目标对象相关联的总体点云 数据。 2.根据权利要求1所述的方法， 其中， 所述局部点云数据包括与多个采集角度相关联的 多个局部点云数据， 所述采集角度对应第一 位置和第二 位置； 其中， 所述基于所述图像采集位姿和所述局部点云数据， 确定与所述目标对象相关联 的总体点云数据包括： 基于所述图像采集 位姿， 将所述多个局部点云数据进行融合， 得到所述总体点云数据。 3.根据权利要求2所述的方法， 其中， 所述第 一原始图像包括与 所述多个采集角度相关 联的多个第一原始图像， 所述第二原始图像包括与所述多个采集角度相关联的多个第二原 始图像； 其中， 所述基于所述第一原 始图像和所述第二原 始图像， 确定图像采集 位姿包括： 从所述多个第 一原始图像和所述多个第 二原始图像中， 确定第 一待处理图像和第 二待 处理图像； 确定所述第一待处理图像的第一特征点和所述第二待处理图像的第二特征点， 其中， 所述第一特 征点与所述第二特 征点相匹配； 以及 基于所述第 一特征点和所述第 二特征点之间的差异数据， 得到与所述第 一待处理图像 相关联的图像采集 位姿和与所述第二待处 理图像相关联的图像采集 位姿。 4.根据权利要求3所述的方法， 其中， 所述基于所述第一原始图像和所述第二原始图 像， 确定图像采集 位姿还包括： 基于与所述第一待处理图像相关联的图像采集位姿和与所述第二待处理图像相关联 的图像采集 位姿， 确定与所述第一特 征点和所述第二特 征点相关联的空间位置； 从所述多个第一原 始图像和所述多个第二原 始图像中， 确定第三待处 理图像； 确定所述第三待处 理图像的第三特 征点相对于所述第二特 征点的增量数据； 以及 以所述空间位置为约束， 基于所述增量数据和与 所述第二待处理图像相关联的图像采 集位姿， 确定与所述第三待处 理图像相关联的图像采集 位姿。 5.根据权利要求1 ‑4中任意一项所述的方法， 还 包括： 基于所述总体点云数据， 生成与所述目标对象相关联的网格； 以及 将所述第一原始图像和所述第 二原始图像映射至所述网格， 得到所述目标对象的三维 模型。 6.根据权利要求1 ‑5中任意一项所述的方法， 其中， 所述图像采集位姿包括与所述第一 补光图像和所述第二补光图像相关联的图像采集位姿； 所述基于所述第一原始图像和所述权　利　要　求　书 1/4 页 2 CN 115131507 A 2第二原始图像， 确定图像采集 位姿包括： 基于所述第 一原始图像和所述第 二原始图像， 确定与 所述第一原始图像和所述第 二原 始图像相关联的参 考图像采集 位姿； 以及 将所述参考图像采集 位姿确定为所述图像采集 位姿。 7.根据权利要求1 ‑6中任意一项所述的方法， 其中， 所述基于所述第 一补光图像和所述 第二补光图像， 确定与所述目标对象相关联的局部点云数据包括： 确定所述第一补光图像的第三特征点和所述第二补光图像的第 四特征点， 其中， 所述 第三特征点与所述第四特 征点相匹配； 确定与所述第三特 征点和所述第四特 征点相关联的深度信息； 以及 基于所述深度信息， 确定所述局部点云数据。 8.一种图像处 理设备， 包括： 载物台， 用于承载目标对象； 补光装置， 用于向所述目标对象投射 光； 图像采集装置， 用于在第 一位置处采集与 所述目标对象相关联的第 一原始图像和与 所 述目标对象相关联的第一补光图像， 以及在第二位置处采集与所述目标对象相关联的第二 原始图像和与所述目标对象相关联的第二补光图像； 以及 图像处理装置， 用于执 行根据权利要求1 ‑7中任意一项所述的方法。 9.根据权利要求8所述的设备， 还 包括： 控制器， 用于控制所述载物台基于多个采集角度转动， 其中， 所述采集角度对应第一位 置和第二 位置。 10.一种图像处 理装置， 包括： 第一获取模块， 用于获取由图像采集装置在第 一位置处采集的与目标对象相关联的第 一原始图像和与所述目标对象相关联的第一补光图像； 第二获取模块， 用于获取由所述图像采集装置在第 二位置处采集的与 所述目标对象相 关联的第二原 始图像和与所述目标对象相关联的第二补光图像； 第一确定模块， 用于基于所述第一原 始图像和所述第二原 始图像， 确定图像采集 位姿； 第二确定模块， 用于基于所述第一补光图像和所述第二补光图像， 确定与所述目标对 象相关联的局部点云数据； 以及 第三确定模块， 用于基于所述图像采集位姿和所述局部点云数据， 确定与所述目标对 象相关联的总体点云数据。 11.根据权利要求10所述的装置， 其中， 所述局部点云数据包括与多个采集角度相关联 的多个局部点云数据， 所述采集角度对应第一 位置和第二 位置； 其中， 所述第三确定模块还用于： 基于所述图像采集 位姿， 将所述多个局部点云数据进行融合， 得到所述总体点云数据。 12.根据权利要求11所述的装置， 其中， 所述第 一原始图像包括与所述多个采集角度相 关联的多个第一原始图像， 所述第二原始图像包括与所述多个采集角度相关联的多个第二 原始图像； 其中， 所述第一确定模块包括： 第一确定子模块， 用于从所述多个第一原始图像和所述多个第二原始图像中， 确定第权　利　要　求　书 2/4 页 3 CN 115131507 A 3