(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210924907.1 (22)申请日 2022.08.02 (71)申请人 荣耀终端 有限公司 地址 518040 广东省深圳市福田区香蜜湖 街道东海社区红荔西路8089号深业中 城6号楼A单元3401 (72)发明人 李宇　杨佼汪　 (74)专利代理 机构 深圳中一联合知识产权代理 有限公司 4 4414 专利代理师 徐晓龙 (51)Int.Cl. G06T 17/00(2006.01) G06T 3/00(2006.01) G06T 3/40(2006.01) G06T 15/00(2011.01)G06V 10/22(2022.01) G06V 10/82(2022.01) (54)发明名称 合成三维图像的方法、 装置及电子设备 (57)摘要 本申请提供一种合 成三维图像的方法、 装置 及电子设备， 该方法应用于电子设备， 包括： 获取 目标的多个二维图像及其分别对应的空间位置 信息； 对多个二维图像进行目标检测处理， 得到 多个目标检测图像， 每个目标检测图像中包括目 标在对应的二维图像中的图像区域； 根据空间位 置信息， 将多个目标检测图像融合成三维图像。 该方案通过先目标检测再融合的方式， 将对整体 图像的所有像素的整体融合任务转换为只基于 目标的图像区域进行融合的任务， 从而有效降低 处理难度， 且提高了融合精度。 此外， 该方案步骤 简单， 且由于不需要复杂繁琐的图像处理过程和 逻辑运算过程， 因此对于设备的处理能力的要求 也较低。 权利要求书3页 说明书14页 附图3页 CN 115330936 A 2022.11.11 CN 115330936 A 1.一种合成三维图像的方法， 应用于电子设备， 其特 征在于， 包括： 获取目标的多个二维图像和所述多个二维图像分别对应的空间位置信息； 对所述多个二维图像进行目标检测处理， 得到标记有所述目标的图像区域的多个目标 检测图像； 根据所述空间位置信息， 将所述多个目标检测图像融合成三维图像。 2.根据权利要求1所述的方法， 其特征在于， 所述空间位置信 息是利用设置在所述电子 设备中的 陀螺仪得到的。 3.根据权利要求1所述的方法， 其特征在于， 所述对所述多个二维图像进行目标检测处 理， 得到标记有所述目标的图像区域的多个目标检测图像， 包括： 利用目标检测模型检测出 所述多个二维图像中所述目标对应的像素； 将所述多个二维图像中除所述目标对应的像素之外的其他像素均设置为预设值， 所述 目标对应的像素 所构成的区域即为标记出的所述目标的图像区域。 4.根据权利要求1所述的方法， 其特征在于， 所述根据所述空间位置信息， 将所述多个 目标检测图像融合成三维图像， 包括： 根据所述空间位置信 息， 将所述多个目标检测图像中每相邻 两个所述目标检测图像为 一组进行重投影 变换， 使得每组所述目标检测图像中的所述目标的图像区域相对应； 将每组所述目标检测图像的重叠部分的像素值合并， 且保持每组所述目标检测图像中 的两个所述 目标检测图像的没有重叠的部分的像素值， 从而得到多个待拼接图像， 所述多 个待拼接图像与所述多个目标检测图像对应； 将所述多个待拼接图像进行拼接和渲染， 得到所述 三维图像。 5.根据权利要求4所述的方法， 其特征在于， 所述将所述多个待拼接图像进行拼接和渲 染， 得到所述 三维图像， 包括： 根据所述空间位置信息， 确定所述多个待拼接图像是否满足闭合三维图像的融合条 件； 当满足所述闭合三维图像的融合条件时， 将所述多个待拼接 图像进行拼接和渲染， 得 到闭合的三维图像； 或者 当不满足所述闭合三维图像的融合条件时， 将所述多个待拼接 图像进行拼接和渲染， 得到非闭合的三维图像。 6.根据权利要求5所述的方法， 其特征在于， 所述闭合三维图像的融合条件为所述多个 二维图像的空间位置信息对应的转动角度的总和在至少一个维度上 大于或等于 360度。 7.根据权利要求5所述的方法， 其特征在于， 所述闭合三维图像的融合条件为所述多个 二维图像的空间位置信息对应的转动角度之和与所述电子设备的相机视场角的总和在至 少一个维度上 大于或等于 360度。 8.根据权要求6所述的方法， 其特征在于， 所述多个待拼接图像在第 一维度上满足所述 闭合三维 图像的融合条件； 所述当满足所述闭合三维 图像的融合条件时， 将所述多个待拼 接图像进行拼接和渲染， 得到闭合的三维图像， 包括： 将所述多个待拼接图像在所述第 一维度上进行拼接和渲染， 得到在所述第 一维度上所 述闭合的三维图像。 9.根据权利要求1至8中任一项所述的方法， 其特征在于， 所述多个二维图像是第一图权　利　要　求　书 1/3 页 2 CN 115330936 A 2像序列中的连续多帧图像； 所述第一图像序列是利用所述电子 设备对所述目标进 行拍摄得 到的连续图像序列。 10.根据权利要求1至8中任一项所述的方法， 其特征在于， 所述多个二维图像是第 二图 像序列中的多个图像； 所述第二图像序列中的每个图像的空间位置信息对应的转动角度之 和在至少一个维度上大于或等于所述电子 设备的相机视场角的一半； 所述第二图像序列是 利用所述电子设备对所述目标进行拍摄得到的。 11.一种合成三维图像的装置， 应用于电子设备， 其特 征在于， 包括： 获取单元， 用于获取目标的多个二维图像和所述多个二维图像分别对应的空间位置信 息； 处理单元， 用于对所述多个二维图像进行目标检测 处理， 得到标记有所述目标的图像 区域的多个目标检测图像； 所述处理单元还用于， 根据所述空间位置信息， 将所述多个目标检测图像融合成三维 图像。 12.根据权利要求11所述的装置， 其特征在于， 所述空间位置信 息是利用设置在所述电 子设备中的 陀螺仪得到的。 13.根据权利要求1 1所述的装置， 其特 征在于， 所述处 理单元具体用于： 利用目标检测模型检测出 所述多个二维图像中所述目标对应的像素； 将所述多个二维图像中除所述目标对应的像素之外的其他像素均设置为预设值， 所述 目标对应的像素 所构成的区域即为标记出的所述目标的图像区域。 14.根据权利要求1 1所述的装置， 其特 征在于， 所述处 理单元具体用于： 根据所述空间位置信 息， 将所述多个目标检测图像中每相邻 两个所述目标检测图像为 一组进行重投影 变换， 使得每组所述目标检测图像中的所述目标的图像区域相对应； 将每组所述目标检测图像的重叠部分的像素值合并， 且保持每组所述目标检测图像中 的两个所述 目标检测图像的没有重叠的部分的像素值， 从而得到多个待拼接图像， 所述多 个待拼接图像与所述多个目标检测图像对应； 将所述多个待拼接图像进行拼接和渲染， 得到所述 三维图像。 15.根据权利要求14所述的装置， 其特 征在于， 所述处 理单元具体用于： 根据所述空间位置信息， 确定所述多个待拼接图像是否满足闭合三维图像的融合条 件； 当满足所述闭合三维图像的融合条件时， 将所述多个待拼接 图像进行拼接和渲染， 得 到闭合的三维图像； 或者 当不满足所述闭合三维图像的融合条件时， 将所述多个待拼接 图像进行拼接和渲染， 得到非闭合的三维图像。 16.根据权利要求15所述的装置， 其特征在于， 所述闭合三维图像的融合条件为所述多 个二维图像的空间位置信息对应的转动角度的总和在至少一个维度上 大于或等于 360度。 17.根据权利要求15所述的装置， 其特征在于， 所述闭合三维图像的融合条件为所述多 个二维图像的空间位置信息对应的转动角度之和与所述电子设备的相机视场角的总和在 至少一个维度上 大于或等于 360度。 18.根据权要求16所述的装置， 其特征在于， 所述多个待拼接图像在第 一维度上满足所权　利　要　求　书 2/3 页 3 CN 115330936 A 3