(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221085728 8.9 (22)申请日 2022.07.20 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 吴巍炜　高勇　凌波　余森泽　 徐学永　傅忱忱　夏羽　徐宇航　 陈越　 (74)专利代理 机构 南京众联专利代理有限公司 32206 专利代理师 叶倩 (51)Int.Cl. G06T 17/00(2006.01) G06T 3/40(2006.01) G06V 10/46(2022.01)G06V 10/75(2022.01) G06V 10/762(2022.01) (54)发明名称 面向野外山林环境搜救的多机协同三维建 模系统及方法 (57)摘要 本发明公开了一种面向野外山林环境搜救 的多机协同三维建模系统及方法， 其中， 地面站 控制模块用于与无人机通信， 将初步生成的粗飞 轨迹发送给无人机， 控制无人机飞行并接收无人 机回传的状态信息； 航拍影像实时拼接模块基于 特征匹配的影像进行实时拼接； 深度估计模块基 于深度学习的单目图像深度估计模 型， 获得拼接 图像的全局深度图； 多机协同路径 规划模块获取 全局场景下高度较高的区域作为重点区域， 对重 点区域生成倾斜摄影轨迹， 再利用改进的k聚类 算法将所有轨迹点划分成任务量均衡的类别， 让 无人机能够经过每一类点集的所有轨迹点， 根据 无人机回传的图像建立待搜索区域的三维重建 模型。 权利要求书3页 说明书9页 附图4页 CN 115115785 A 2022.09.27 CN 115115785 A 1.面向野外山林环境搜救的多机协同三维建模系统， 其特征在于， 至少包括： 地面站控 制模块、 航拍影 像实时拼接模块、 深度估计模块和多机协同路径规划模块； 所述地面站控制模块用于与无人机通信， 针对待搜救区域， 将初步生成的单机粗飞轨 迹航线发送给 无人机， 控制无 人机飞行并接收无 人机回传的状态信息； 所述航拍影像实时拼接模块接收地面站控制模块中无人机回传的影像， 基于特征匹配 的影像进行实时拼接； 所述深度估计模块接收航拍影像实时拼接模块输出的全局拼接图片， 基于深度 学习的 单目图像深度估计模型， 获得拼接图像的全局深度图； 所述多机协同路径规划模块根据深度估计模块输出的全局深度图， 获取全局场景下高 度较高的区域作为重点区域， 对重点区域生成倾斜摄影轨迹， 再利用改进的k聚类算法将所 有轨迹点划分成任务量均衡的类别， 让无人机能够经过每一类点集的所有轨迹点， 根据无 人机回传的图像建立待搜索区域的三维重建模型。 2.如权利要求1所述的面向野外山林环境搜救的多机协同三维建模系统， 其特征在于： 所述地面站控制模块至少包括飞行监视器、 飞行控制板及UAV  agent和， 所述UAV  agent负 责处理无人机状态、 设备控制和异常三种状态信息， 并提供了飞行控制 板和监视器之间通 信的UAV APIs； 所述飞行监视器用于与每架无人机通信， 并分别通过API和GUI与上层应用程序和终端 用户进行交 互的接口。 3.如权利要求2所述的面向野外山林环境搜救的多机协同三维建模系统， 其特征在于： 所述地面站控制模块中发送给每架无人机的大任务必须分成一系列小的子任务， 称为步 骤， 每个步骤最多包含一个同步设置为真的动作， 无人机将在之前 的每个步骤结束时同步 进行下一步； 在其步骤完成后， UAV  agent向飞行监视器发送同步消 息， 并等待直到它接收 到确认消息， 在收集了所有的同步消息后， 飞行监视器向所有的无人机发送确认， 以继续下 一步。 4.如权利要求2或3所述面向野外山林环境搜救的多机协同三维建模系统， 其特征在 于： 所述航拍影像实时拼接模块中， 采用拉普拉斯融合， 建立图像的拉普拉斯金字塔LP(x, y,n)和高斯金字塔G(x,y,n+1)， 求掩膜图像的高斯金字塔Gmask(x,y,n+1)； 对图像的拉普拉 斯金字塔进行拼接， 在每一层上将图像透过掩膜的部分拼接得到结果的拉普拉斯金字塔， 计算结果的图像金字塔顶层， 将 每张图像的高斯金字塔顶层透过对应掩膜金字塔顶层的部 分拼接， 从结果的图像金字塔顶层开始， 将结果的拉普拉斯金字塔的每一层相加然后上采 样， 最后得到融合结果。 5.使用如权利要求1所述系统的面向野外山林环境搜救的多机协同三维建模方法， 其 特征在于， 包括如下步骤： S1： 地面站控制模块根据选定的待搜救区域， 生成单机粗飞轨迹航线发送给无人机， 并 控制无人机按照粗飞轨 迹执行； S2： 无人机执行并获取粗飞轨迹中的图像， 采用基于特征匹配的无人机航拍影像实时 拼接模块对地面控制站模块中接收到的无人机航拍影像进行实时拼接， 得到全局拼接图 片， 所述步骤进一 步包括： S21： 地面站控制模块对无人机每一分段的飞行轨迹进行路径点划定， 得到最终的权　利　要　求　书 1/3 页 2 CN 115115785 A 2waypoint点集， 并将此waypo int点集按序发送给 无人机执行； S22： 根据按序接收到的图片It(t＝1,2,...,n)， 从EXIF头中获取图片的经纬度信息 GPSt(t＝1,2,...,n)， 对任意t时刻接收到的图片It， 根据经纬度信息计算其与之前接收到 的图片之间的距离disi(i＝1,2,...,t‑1)， 并从中找出距离最近的三张图片Ij,Ik,Il； S23： 计算 It,Ij,Ik,Il的SIFT特 征点； S24： 对参考图It和观测图Ij,Ik,Il进行关键点匹配， 所述匹配的方法具体为： 当某对匹 配图片的特征点大于设定的阈值时在两张图片之间建立一条边， 如此往复， 再利用最大联 通分量算法求解整个匹配图的最大 联通分量得到最佳匹配方案； S25： 采用RANSAC算法剔除步骤S24中的误匹配点； S26： 通过优化目标函数来实现减少大范围多幅拼接可能会出现的累积误差， 设在M张 无人机遥感影像中总共 可以找到N组SIFT特征匹配,则第i幅对于选定的参考图像变换矩阵 为Hi,其具体形式如下： 将其写成向量的表达形式后， 其对应的列向量为Xi， 定义 则需要 优化的目标函数E(X)为： 其中， ei＝Xmpi,m‑Xnpi,n,ri＝Xrefpi,ref‑pi,ref,pi,m为第i组匹配中图像 m中的特征点坐标， ref为参考图像的编号； S27： 通过S26中的优 化过程后可以获取每张图片的全局最优变换矩阵Hi,根据每张图片 的变换矩阵Hi， 将所有图片映射到最终的融合图成像空间上； S28： 记在粗飞阶段实时获取的每张图片Ii(x,y)(x∈[0,m),y∈[0,n))的经纬度信息为 GPSi＝(longi,lati)， 因为在粗飞阶段无人机的摄像头竖直向下， 因此可 以假设在原图Ii 中， 处的经纬度坐标为GPSi＝(longi,lati)， 利用优化计算出的变换矩阵Hi就可以得 到在拼接图中 处的经纬度坐标为GPSi＝(longi,lati)， 对一系列像素坐标位置 和经纬度坐标值(xi,yi,GPSi)利用最小二乘法拟合平面得到经度平面方程long(x,y)和纬 度平面方程 lat(x,y)； S3： 基于深度学习的单目图像深度估计模型， 将步骤S2获得的全局拼接图片作为输入， 得到拼接图像的深度图； 所述深度估计模 型为： Encoder ‑Decoder结构的有监督深度估计模 型； S4： 根据步骤S3中得到的深度图， 获取全局场景下高度较高的区域作为重点区域， 对重 点区域生成倾斜摄影轨迹， 再利用改进的k聚类算法将所有轨迹点划分成任务量均衡的类 别， 让无人机能够经过每一类点集的所有轨迹点， 根据无人机回传的图像建立待搜索区域 的三维重建模型。权　利　要　求　书 2/3 页 3 CN 115115785 A 3