(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210850871.7 (22)申请日 2022.07.19 (71)申请人 上海西虹桥 导航技术有限公司 地址 201799 上海市青浦区高泾路59 9号1 幢101室 申请人 上海交通大 学 (72)发明人 尚小雪　潘常春　郁文贤　裴凌　 (74)专利代理 机构 安徽顺超知识产权代理事务 所(特殊普通 合伙) 34120 专利代理师 贺湘君 (51)Int.Cl. G06T 3/40(2006.01) G06T 3/00(2006.01) G06V 20/17(2022.01) G06V 10/25(2022.01)G06V 10/26(2022.01) G06V 10/46(2022.01) G06V 10/82(2022.01) G06T 5/50(2006.01) G06T 7/70(2017.01) G06T 7/80(2017.01) G06T 17/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G01C 11/02(2006.01) G01C 11/04(2006.01) (54)发明名称 一种基于无人机倾斜摄影3D模型的目标快 速识别与标定方法 (57)摘要 本发明涉及信息技术技术领域， 且公开了一 种基于无人机倾斜摄影3D模型的目标快速识别 与标定方法， 包括以下步骤： 步骤一： 2D图片预处 理； 步骤二： 2D图片拼接； 步骤三： 人工智能识别； 步骤四： 2D/3D坐标转换； 步骤五： 3D可视化标识， 直接用拍摄的图片进行图像识别存在重复识别、 识别速度慢的问题， 本过程对图片携带的光点中 心的高精度坐标进行处理， 得到图片轨迹， 利用 轨迹中相邻最近的4张图片作为图片拼接的数据 源， 为图像拼接做拼接数据准备， 直接利用三维 坐标信息选取图片拼接顺序和拼接位置， 避免出 现图像拼接过程中进行逐一特 征点获取匹配 。 权利要求书1页 说明书5页 附图3页 CN 115330594 A 2022.11.11 CN 115330594 A 1.一种基于无人机倾斜摄影3D模型的目标快速识别与标定方法， 其特征在于： 包括以 下步骤： 步骤一： 2D图片预处 理； 步骤二： 2D图片拼接； 步骤三： 人工智能识别； 步骤四： 2D/ 3D坐标转换； 步骤五： 3D可视化标识。 2.根据权利要求1所述的一种基于无人机倾斜摄影3D模型的目标快速识别与标定方 法， 其特征在于： 利用无人机拍摄的2D图片携带的三 维坐标信息， 结合重叠度对2D图片进 行 快速拼接处理， 降低图片计算数据量， 然后利用人工智能识别方法对感兴趣的图片内容进 行智能识别， 将2D图片识别 结果的坐标信息通过坐标转换系统映射计算得到3D坐标值， 在 3D模型上标识出识别对象。 3.根据权利要求1所述的一种基于无人机倾斜摄影3D模型的目标快速识别与标定方 法， 其特征在于： 所述步骤一2D图片预 处理的具体操作流程为： 无人机在摄影测量拍摄定焦 图片时， 提前设置飞行区域、 规划飞行路线， 设定飞行重叠度， 重叠度一般在70％以上才能 在三维建模时得到比较好的结果， 同时在采集数据时会利用北斗/ GPS的RTK或者PPK高精度 定位系统， 可得到拍摄图片时的高精度三维坐标， 一般坐标系为WGS84。 直接用拍摄的图片 进行图像识别存在重复识别、 识别速度慢的问题， 本过程对图片携带 的光点中心的高精度 坐标进行处理， 得到图片轨迹， 利用轨迹中相邻最近的4张图片作为图片拼接的数据源， 为 图像拼接做拼接数据准备， 直接利用三维坐标信息选取图片拼接顺序和 拼接位置， 避免出 现图像拼接过程中进行 逐一特征点获取匹配， 然后才能选取最相近的图片进行拼接 。 4.根据权利要求1所述的一种基于无人机倾斜摄影3D模型的目标快速识别与标定方 法， 其特征在于： 所述步骤二2D图片拼接的具体操作流程为： 根据高精度三 维坐标计算得到 的4张拼接图片， 将2D图片进行拼接合成处理， 处理过程如下： 输入合并图像 ‑重叠区域计 算‑特征点提取‑2D图像配准‑投影变换‑拼接计算 ‑图像融合 ‑生成图像。 5.根据权利要求1所述的一种基于无人机倾斜摄影3D模型的目标快速识别与标定方 法， 其特征在于： 所述步骤三人工智能识别的具体操作流程为： 采用深度学习算法实现拼接 后2D图片的智能识别， 识别内容主要包括： 树、 农田、 电线杠、 池塘、 汽车、 房屋/地基、 人、 绿 化带、 人行道等； 深度学习的数据集采用现有的公开数据集如： ADE20K、 Urban  Drone Dataset(UDD)、 Stanford Drone Dataset等进行 预训练和粗调， 再用无 人机拍摄的图片进行增强后细调； 图像处理采集全景分割算法， 采用Transformer和多层感知机MLP解码的方式实现的开 源的SegFormer分割算法。 6.根据权利要求1所述的一种基于无人机倾斜摄影3D模型的目标快速识别与标定方 法， 其特征在于： 所述步骤四2D/3D坐标转换的具体操作流程为： 将人工智能图像识别的像 素坐标， 与物理世界的三 维坐标建立快速转换模 型， 转换过程如下： 像素坐标 ‑图像坐标 ‑相 机坐标‑WGS84坐标。权　利　要　求　书 1/1 页 2 CN 115330594 A 2一种基于无人机倾斜摄影3D 模型的目标快速识别与标定方 法 技术领域 [0001]本发明涉及信息技术领域， 具体为一种基于无人机倾斜摄影3D模型的目标快速识 别与标定方法。 背景技术 [0002]随着无人机、 人工智能技术的日渐成熟， 利用无人机拍 摄的照片图像研究获取的 视觉信息内容也日益丰富。 传统方式上， 通过无人机拍摄的大量二 维照片， 利用空三摄影测 量建模方法， 可以生成附带有高精度三维坐标信息的地理信息三维模型， 实现对三维模型 进行点、 线、 面、 体的测量。 利用无人机摄影技术可以生 成大范围空间3D特定场景图。 一类重 要的应用是需要能够对场景图中的目标进行识别， 并标定其 位置和几何信息 。 [0003]利用深度学习技术对无人机拍摄的2D图片进行车、 房、 树、 人等物体的智能识别。 ， 该技术虽然已经比较成熟， 但是由于单帧2D图片仅仅是场景图的局部信息， 并且其中的目 标位置和几何信息无法直接标定， 可视化效果差， 无法满足行业需求。 [0004]而直接在3D模型数据中进行场景图目标识别与标定也存在 较大的困难， 通常3D模 型是以3D点云数据来描述的， 虽然3D点云模型能否覆盖全局的场景图， 但由于三维模型在 建模过程中存在 模型重构， 导致原有图像信息存在不同程度的丢失， 影响识别效果， 加上 处 理的数据量大， 需要消耗大量的算力， 时效上 无法满足行业应用需求。 [0005]因此， 需要建立一种混合机制的处理， 能够利用在2D图片上的精确识别能力， 融合 3D模型上的坐标和几何尺寸信息， 进而实现在3D全局场景图上的目标快速识别与标定方 法。 发明内容 [0006](一)解决的技 术问题 [0007]针对现有技术的不足， 本发明提供了一种基于无人机倾斜摄影3D模型的目标快速 识别与标定方法， 解决了在大量大幅重叠度下的2D图片的快速目标识别、 合并、 拼接与统 计； 快速进行2D/3D坐标变换， 对2D图片中的识别的目标， 能够快速标定其位置和几何信息， 并在3D模型中进行 可视化展示的问题。 [0008](二)技术方案 [0009]为实现上述目的， 本发明提供如下技术方案： 1.一种基于无人机倾斜摄影3D模型 的目标快速识别与标定方法， 包括以下步骤： [0010]步骤一： 2D图片预处 理； [0011]步骤二： 2D图片拼接； [0012]步骤三： 人工智能识别； [0013]步骤四： 2D/ 3D坐标转换； [0014]步骤五： 3D可视化标识。 [0015]优选的， 利用无人机拍摄的2D图片携带的三维坐标信息， 结合重叠度对  2D图片进说　明　书 1/5 页 3 CN 115330594 A 3