(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210854523.7 (22)申请日 2022.07.15 (71)申请人 北京鉴智科技有限公司 地址 100084 北京市海淀区中关村东路1号 院8号楼十六层B1801D-2 (72)发明人 蒋斌　梁兵　曹杨　刘欣　 (74)专利代理 机构 北京润泽恒知识产权代理有 限公司 1 1319 专利代理师 苏培华 (51)Int.Cl. G06T 7/90(2017.01) G06T 7/80(2017.01) G06T 7/593(2017.01) G06T 3/40(2006.01) G06T 17/00(2006.01) (54)发明名称 三维全景图像的生成方法及装置、 电子设备 (57)摘要 本发明实施例提供了一种三维全景图像的 生成方法及装置、 电子设备， 该方法包括： 获取同 一时刻下至少四个深度相机拍摄的至少四个图 像以及所述图像中各像素点的深度数据， 其中， 且相邻的所述深度相机的视场角内的场景存在 重叠； 基于第一图像和第二图像中各像素点的深 度数据， 生成第一点云图和第二点云图， 所述第 一点云图和所述第二点云图具有重叠区域、 且坐 标原点均在第一位置； 根据第一重叠区域将所述 第一点云图和所述第二点云图进行重叠， 得到第 一拼接点云图， 其中， 所述第一重叠区域为所述 第一点云图和所述第二点云图的重叠区域。 三维 全景图像可以指导用户对车辆周围的情况做出 准确的判断， 提升行 车过程中的安全性。 权利要求书3页 说明书12页 附图4页 CN 115330888 A 2022.11.11 CN 115330888 A 1.一种三维全景图像的生成方法， 其特 征在于， 所述方法包括： 获取同一 时刻下至少四个深度相机拍摄的图像以及所述图像中各像素点的深度 数据， 其中， 且相邻的所述深度相机的视场角内的场景存在重 叠； 基于第一图像和第二图像中各像素点的深度数据， 生成第一点云图和第二点云图， 所 述第一点云图和所述第二 点云图具有重 叠区域、 且坐标原点均在第一 位置； 根据第一重叠区域将所述第 一点云图和所述第 二点云图进行重叠， 得到第 一拼接点云 图， 其中， 所述第一重 叠区域为所述第一 点云图和所述第二 点云图的重 叠区域； 基于所述第一拼接点云图以及剩余图像中各像素点的深度数据， 得到全景点云图； 其 中， 所述剩余图像为所述至少四个图像中除所述第一图像和所述第二图像之外的图像； 基于所述全景点云图和所述至少四个图像中各像素点的颜色数据， 生成三维全景图 像。 2.根据权利要求1所述的方法， 其特征在于， 所述基于第 一图像和第 二图像中各像素点 的深度数据， 生成第一 点云图和第二 点云图， 包括： 基于所述第 一图像中各像素点的深度 数据， 将所述第 一图像中各像素点映射到以所述 第一位置为坐标原点的世界坐标系中得到第一 点云图； 基于所述第 二图像中各像素点的深度 数据以及第 一联合标定数据， 将所述第 二图像中 各像素点映射到以所述第一 位置为坐标原点的世界坐标系中得到第二 点云图； 其中， 所述第 一联合标定数据为拍摄所述第 一图像和所述第 二图像的所述深度相机进 行联合标定得到的数据。 3.根据权利要求1所述的方法， 其特征在于， 所述基于所述第 一拼接点云图以及剩余图 像中各像素点的深度数据， 得到全景点云图， 包括： 基于所述第三图像中各像素点的深度数据和第二联合标定数据， 生成第三点云图； 其 中， 所述第二联合标定数据为拍摄所述第一图像和所述第三图像的所述深度相机进行联合 标定得到的数据； 所述第三点云图和所述第一拼接点云图具有重叠区域， 且坐标原点在所 述第一位置； 根据第二重叠区域将所述第 一拼接点云图和所述第 三点云图进行重叠， 得到第 二拼接 点云图， 其中， 所述第二重 叠区域为所述第三 点云图和所述第一 拼接点云图的重 叠区域； 基于所述第四图像中各像素点的深度 数据， 生成坐标原点在车辆的目标位置的第四点 云图， 其中， 所述第四点云图和所述第二 拼接点云图具有重 叠区域； 将所述第二拼接点云图的坐标原点切换至所述目标位置， 并根据第 三重叠区域将切换 坐标原点后的所述第二拼接点云图和所述第四点云图进 行重叠， 得到全景点云图， 其中， 所 述第三重 叠区域为第四点云图和所述第二 拼接点云图的重 叠区域。 4.根据权利要求1所述的方法， 其特征在于， 所述基于所述第 一拼接点云图以及剩余图 像中各像素点的深度数据， 得到全景点云图， 包括： 基于所述第 三图像和所述第四图像中各像素点的深度数据， 生成第 三点云图和第四点 云图； 其中， 所述第三 点云图和所述第四点云图具有重 叠区域、 且坐标原点均在第二 位置； 根据第二重叠区域将所述第 三点云图和所述第四点云图进行重叠， 得到第 二拼接点云 图， 其中， 所述第二重 叠区域为所述第三 点云图和所述第四点云图的重 叠区域； 将所述第一拼接点云图和所述第 二拼接点云图的坐标原点均切换至车辆的目标位置，权　利　要　求　书 1/3 页 2 CN 115330888 A 2并根据第三重叠区域进 行重叠， 得到全 景点云图， 其中， 所述第三重叠区域为所述第一拼接 点云图和所述第二 拼接点云图的重 叠区域。 5.根据权利要求3或4所述的方法， 其特征在于， 所述目标位置为所述车辆的驾驶员头 部所处的位置 。 6.一种三维全景图像的生成装置， 其特 征在于， 所述装置包括： 获取模块， 用于获取同一 时刻下所述至少四个深度相机拍摄的至少四个图像以及所述 图像中各像素点的深度数据， 其中， 且相邻的所述深度相机的视场角内的场景存在重 叠； 点云模块， 用于基于第一图像和第二图像中各像素点的深度数据， 生成第一点云图和 第二点云图， 所述第一 点云图和所述第二 点云图具有重 叠区域、 且坐标原点均在第一 位置； 第一拼接模块， 用于根据第一重叠区域将所述第一点云图和所述第二点云图进行重 叠， 得到第一拼接点云图， 其中， 所述第一重叠区域为所述第一点云图和所述第二点云图的 重叠区域； 第二拼接模块， 用于基于所述第一拼接点云图以及剩余图像中各像素点的深度数据， 得到全景点云图； 其中， 所述剩余图像为所述至少四个图像中除所述第一图像和所述第二 图像之外的图像； 全景模块， 用于基于所述全景点云图和所述至少四个图像中各像素点的颜色数据， 生 成三维全景图像。 7.根据权利要求6所述的装置， 其特 征在于， 所述 点云模块， 包括： 第一点云单元， 用于基于所述第一图像中各像素点的深度数据， 将所述第一图像中各 像素点映射到以所述第一 位置为坐标原点的世界坐标系中得到第一 点云图； 第二点云单元， 用于基于所述第二图像中各像素点的深度数据 以及第一联合标定数 据， 将所述第二图像中各像素点映射到以所述第一位置为坐标原点的世界坐标系中得到第 二点云图； 其中， 所述第 一联合标定数据为拍摄所述第 一图像和所述第 二图像的所述深度相机进 行联合标定得到的数据。 8.根据权利要求6所述的装置， 其特 征在于， 所述第二 拼接模块， 包括： 第三点云单元， 用于基于所述第三图像中各像素点的深度数据和第二联合标定数据， 生成第三点云图； 其中， 所述第二联合标定数据为拍摄所述第一图像和所述第三图像的所 述深度相机进 行联合标定得到的数据； 所述第三点云图和所述第一拼接点云图具有重叠区 域， 且坐标原点在所述第一 位置； 第一拼接单元， 用于根据第 二重叠区域将所述第 一拼接点云图和所述第 三点云图进行 重叠， 得到第二 拼接点云图， 其中， 所述第二重 叠区域为所述 第三点云图和所述第一 拼接点云图的重 叠区域； 第四点云单元， 用于基于所述第 四图像中各像素点的深度数据， 生成坐标原点在车辆 的目标位置的第四点云图， 其中， 所述第四点云图和所述第二 拼接点云图具有重 叠区域； 第二拼接单元， 用于将所述第二拼接点云图的坐标原点切换至所述目标位置， 并根据 第三重叠区域将切换坐标原 点后的所述第二拼接点云图和所述第四点云图进 行重叠， 得到 全景点云图， 其中， 所述第三重 叠区域为第四点云图和所述第二 拼接点云图的重 叠区域。 9.一种电子设备， 其特征在于， 包括： 处理器、 存储器以及存储在所述存储器上并可在权　利　要　求　书 2/3 页 3 CN 115330888 A 3