(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210964457.9 (22)申请日 2022.08.09 (71)申请人 北京百度网讯科技有限公司 地址 100085 北京市海淀区上地十街10号 百度大厦2层 (72)发明人 王海君　 (74)专利代理 机构 中科专利商标代理有限责任 公司 11021 专利代理师 吕朝蕙 (51)Int.Cl. G06T 7/30(2017.01) G06T 7/70(2017.01) G06T 17/00(2006.01) (54)发明名称 位姿确定方法和三维模型的生成方法、 装 置、 设备、 介质 (57)摘要 本公开提供了一种位姿确定方法和三维模 型的生成方法、 装置、 设备、 介质， 涉及人工智能 领域， 具体涉及虚拟现实、 增强现实、 元宇宙、 计 算机视觉和深度学习等技术领域。 位姿的确定方 法包括： 根据在不同位姿采集的两个图像的多个 特征点对， 确定初始相对位姿， 特征点对包括分 别属于两个图像的、 彼此匹配的两个特征点， 初 始相对位姿基于第一度量单位表 示； 根据初始相 对位姿， 确定特征点对对应的空间点基于第一度 量单位的位置信息； 根据两个图像所对应的点云 数据， 确定空间点基于第二度量单位的位置信 息， 点云数据基于第二度量单位表示； 以及根据 空间点的两个位置信息对初始相对位姿进行变 换， 得到基于第二度量单位表示的相对位姿。 权利要求书3页 说明书12页 附图6页 CN 115375740 A 2022.11.22 CN 115375740 A 1.一种位姿的确定方法， 包括： 根据在不同位姿采集的两个图像的多个特征点对， 确定针对两个所述图像的初始相对 位姿； 其中， 所述特征点对包括分别属于两个所述图像的两个特征点， 所述两个特征点彼此 匹配； 所述初始相对位姿是基于第一度量单位表示的； 根据所述初始相对位姿， 确定所述特征点对所对应的空间点基于所述第 一度量单位的 第一位置信息； 根据两个所述图像所对应的点云数据， 确定所述空间点基于第 二度量单位的第 二位置 信息， 所述 点云数据是基于所述第二度量单位表示的； 以及 根据所述第 一位置信 息和所述第 二位置信 息对所述初始相对位姿进行变换， 得到基于 所述第二度量单位表示的相对位姿。 2.根据权利要求1所述的方法， 还 包括： 针对所述图像， 采用单目深度估计模型对所述图像进行处理， 得到所述图像对应的深 度图； 以及 根据所述图像和所述深度图， 确定所述图像所对应的点云数据。 3.根据权利要求1所述的方法， 其中， 所述根据在不同位姿采集的两个图像的多个特征 点对， 确定针对两个所述图像的初始相对位姿包括： 针对所述两个图像中一个图像的多个第 一特征点， 采用特征点匹配算法确定所述两个 图像中另一个图像的与多个所述第一特征点一一匹配的多个第二特征点， 得到多个所述特 征点对； 所述特 征点对由所述第一特 征点及匹配的所述第二特 征点组成； 以及 根据对极约束关系和多个所述特 征点对， 确定所述初始相对位姿。 4.根据权利要求1所述的方法， 其中， 所述根据所述初始相对位姿， 确定所述特征点对 所对应的空间点基于所述第一度量单位的第一 位置信息包括： 根据所述初始相对位姿和所述特征点对， 采用三角测量法确定所述特征点对所对应的 空间点的第一 位置信息 。 5.根据权利要求1所述的方法， 其中， 所述根据所述第 一位置信 息和所述第 二位置信 息 对所述初始相对位姿 进行变换， 得到基于所述第二度量单位表示的相对位姿包括： 根据多个所述特征点对所对应的空间点的所述第 一位置信 息和所述第 二位置信 息， 确 定所述第一度量单位与所述第二度量单位之间的变换关系； 以及 根据所述变换关系对所述初始相对位姿进行变换， 得到基于所述第 二度量单位的相对 位姿。 6.一种三维模型的生成方法， 包括： 针对目标场景 下的至少两个图像， 根据所述图像生成针对所述图像的三维子模型； 以至少两个所述图像中的任一图像为参考图像， 确定由所述参考图像和至少两个所述 图像中的其 他图像构成的图像对， 得到 至少一个图像对； 确定针对所述至少一个图像对的相对位姿； 以及 根据所述相对位姿， 拼接针对所述其他图像的三维子模型和针对所述参考图像的三维 子模型， 得到针对所述目标场景的三维模型， 其中， 所述相对位姿是采用权利要求1～5中任一项所述的方法确定的。 7.一种位姿的确定装置， 包括：权　利　要　求　书 1/3 页 2 CN 115375740 A 2位姿确定模块， 用于根据在不同位姿采集的两个图像的多个特征点对， 确定针对两个 所述图像的初始相对位姿； 其中， 所述特征点对包括分别属于两个所述图像的两个特征点， 所述两个特 征点彼此匹配； 所述初始相对位姿是基于第一度量单位表示的； 第一位置确定模块， 用于根据所述初始相对位姿， 确定所述特征点对所对应的空间点 基于所述第一度量单位的第一 位置信息； 第二位置确定模块， 用于根据两个所述图像所对应的点云数据， 确定所述空间点基于 第二度量单位的第二 位置信息， 所述 点云数据是基于所述第二度量单位表示的； 以及 位姿变换模块， 用于根据所述第 一位置信 息和所述第 二位置信 息对所述初始相对位姿 进行变换， 得到基于所述第二度量单位表示的相对位姿。 8.根据权利要求7 所述的装置， 还 包括： 深度图生成模块， 用于针对所述图像， 采用单目深度估计模型对所述图像进行处理， 得 到所述图像对应的深度图； 以及 点云数据确定模块， 用于根据所述图像和所述深度图， 确定所述图像所对应的点云数 据。 9.根据权利要求7 所述的装置， 其中， 所述 位姿确定模块包括： 匹配子模块， 用于针对所述两个图像中一个图像的多个第一特征点， 采用特征点匹配 算法确定所述两个图像中另一个图像的与多个所述第一特征点一一匹配的多个第二特征 点， 得到多个所述特征点对； 所述特征点对由所述第一特征点及 匹配的所述第二特征点组 成； 以及 位姿确定子模块， 用于根据对极约束关系和多个所述特征点对， 确定所述初始相对位 姿。 10.根据权利要求7 所述的装置， 其中， 所述第一 位置确定模块用于： 根据所述初始相对位姿和所述特征点对， 采用三角测量法确定所述特征点对所对应的 空间点的第一 位置信息 。 11.根据权利要求7 所述的装置， 其中， 所述 位姿变换模块包括： 变换关系确定子模块， 用于根据多个所述特征点对所对应的空间点的所述第 一位置信 息和所述第二位置信息， 确定所述第一度量单位与所述第二度量单位之间的变换关系； 以 及 变换子模块， 用于根据所述变换关系对所述初始相对位姿进行变换， 得到基于所述第 二度量单位的相对位姿。 12.一种三维模型的生成装置， 包括： 模型生成模块， 用于针对目标场景下的至少两个图像， 根据所述图像生成针对所述图 像的三维子模型； 图像对确定模块， 用于以至少两个所述图像中的任一图像为参考图像， 确定由所述参 考图像和至少两个所述图像中的其 他图像构成的图像对， 得到 至少一个图像对； 位姿确定模块， 用于确定针对所述至少一个图像对的相对位姿； 以及 模型拼接模块， 用于根据所述相对位姿， 拼接针对所述其他图像的三维子模型和针对 所述参考图像的三维子模型， 得到针对所述目标场景的三维模型， 其中， 所述相对位姿是采用权利要求7～1 1中任一项所述的装置确定的。权　利　要　求　书 2/3 页 3 CN 115375740 A 3