(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210915482.8 (22)申请日 2022.07.31 (71)申请人 南京理工大 学紫金学院 地址 210023 江苏省南京市栖霞区文澜路 89号 (72)发明人 朱娴　韦宝　缪亚萍　项伟涛　 刘方超　程征安　 (74)专利代理 机构 南京禹为知识产权代理事务 所(特殊普通 合伙) 32272 专利代理师 褚晓英 (51)Int.Cl. G06T 17/00(2006.01) G06T 15/00(2011.01) G06T 5/00(2006.01) G06T 7/80(2017.01)G06N 3/04(2006.01) (54)发明名称 一种基于无人机的双目灰度图像的三维重 建方法 (57)摘要 本发明公开了一种基于无人机的双目灰度 图像的三维重建方法， 包括通过双目灰度相机拍 摄标定， 获取相机内外参数并构建数学模型； 获 取灰度图像， 并对其进行原彩恢复； 将恢复原彩 的图像进行处理对比输出视差图， 并将视差图转 换为深度图像； 将深度图与三通道图像进行坐标 转换， 通过渲染进行三维重建。 本发明提供的基 于无人机的双目灰度图像的三维重建方法， 运用 了Deoldify算法对图像进行恢复原彩的操作， 通 过GWCNet和SGBM算法的对比研究， 三维重建的效 果能够得到有效验证， 本发明能够很好地应用在 真实场景中， 并且能够保证在 恶劣环境中算法的 稳定性。 权利要求书4页 说明书11页 附图4页 CN 115375838 A 2022.11.22 CN 115375838 A 1.一种基于无 人机的双目灰度图像的三维重建方法， 其特 征在于， 包括： 通过双目灰度相机拍摄标定， 获取相机内外参数并构建数 学模型； 获取灰度图像， 并对其进行原彩恢复； 将恢复原彩的图像进行处 理对比输出视 差图， 并将视 差图转换为深度图像； 将深度图与三 通道图像进行坐标转换， 通过渲染进行三维重建。 2.如权利要求1所述的基于无人机的双目灰度图像的三维重建方法， 其特征在于： 通过 双目灰度相机拍摄标定， 包括： 用双目灰度相机拍十组棋盘 格图片， 用张正友棋盘 格标定法获取相机内外参数。 3.如权利要求2所述的基于无人机的双目灰度图像的三维重建方法， 其特征在于： 所述 相机定标的数 学模型表示 为： 其中， 是从世界坐标系到相机坐标系， R是旋转矩阵， T是平移向量； 是从相机坐 标系到理想图像坐 标系， 是从实际图像坐标系到像素坐标系。 4.如权利要求1所述的基于无人机的双目灰度图像的三维重建方法， 其特征在于： 所述 灰度图像获取 方法， 包括： 使用双目相机绕着物体进行全方位拍摄， 所述相机成像模式表示 为： 对拍摄到的图像进行 预处理， 去畸变：权　利　要　求　书 1/4 页 2 CN 115375838 A 2P和Pd的关系表示 为 相机坐标系和图像坐标系的关系表示 为 其中， P是图像点的坐标， Pd是矫正后的带有畸变的实际图像点的坐标， 5.如权利要求1所述的基于无人机的双目灰度图像的三维重建方法， 其特征在于： 对所 述灰度图像进行原彩恢复， 恢复原彩所用的方法为Deo ldify， 包括： 首先对图像进行预处理， 输入一个单通道灰度图片， 将单通道复制为三通道， 根据设定 的渲染因子， 将图片尺 寸缩放到边长为因子16倍长的正方形， 然后转为数组矩阵格式， 除以 255并进行正则化处 理； 将预处理后的数据输入网络模型， Deoldify的网络基于resnet101和改进后的Unet实 现， 整个网络是通过输入灰度图像经 过网络后得到三 通道图像的模型； 模型的损失函数L1_l oss表示为： 6.如权利要求5所述的基于无人机的双目灰度图像的三维重建方法， 其特征在于： 将恢 复原彩的图像进行立体匹配并输出视 差图， 包括： 使用GWCNet和SGBM算法对图像进行立体匹配处 理对比， 所述GWCNet算法表示 为： 其中， 是两个特 征向量的内积； 在所有的视差层级d中计算所有分组g的相关， 然后将所有的相关图报打包为一个匹配 代价量， 形状为 其中， Dmax表示最大视差， Dmax/4对应该特征的最大视差， 当Ng＝1时， 组相关变成了完全 相关； 视差估计值 表示为： 其中， k为一个可能的视 差层级， pk 为对应的概 率；权　利　要　求　书 2/4 页 3 CN 115375838 A 3