(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210872490.9 (22)申请日 2022.07.20 (71)申请人 安徽理工大 学环境友好材 料与职业 健康研究院 （芜湖） 地址 241002 安徽省芜湖市弋江区中山 南 路芜湖科技产业园 申请人 安徽理工大 学 (72)发明人 黄友锐　刘玉文　韩涛　徐善永　 付家豪　 (74)专利代理 机构 北京同辉知识产权代理事务 所(普通合伙) 11357 专利代理师 何静 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/73(2017.01)G06T 5/00(2006.01) G06T 5/40(2006.01) (54)发明名称 一种基于弱光图像增强的农作物三维重建 方法 (57)摘要 本发明公开了一种基于弱光图像增强的农 作物三维重建方法， 其方法包括弱光农作物图像 增强和农作物 三维重建： 所述弱光农作物图像增 强包括采集弱光农作物图像、 弱光农作物图像增 强， 主要功能为增强采集到的弱光环 境下的农作 物图像亮度， 以提高图像质量； 所述农作物三维 重建包括基于尺度不变特征变换算法(SIFT)特 征检测与匹配、 基于运动中恢复结构(SFM)空间 点云重建， 主要功能为求取关键点作为特征点并 得到特征点描述向量， 应用欧氏距离判定得到匹 配点对集， 结合相机内外参数求得空间点云与相 机位姿进行农作物三维重建； 实现农机装备在弱 光作业环境下对农作物 精确的感知。 权利要求书5页 说明书10页 附图5页 CN 115239882 A 2022.10.25 CN 115239882 A 1.一种基于弱光图像增强的农作物三维重建方法， 其特征在于， 包括弱光农作物图像 增强和农作物三维重建： 所述弱光农作物图像增强包括采集弱光农作物图像、 弱光农作物 图像增强， 主要功能为增强采集到的弱光环境下的农作物图像亮度， 以提高图像质量； 所述 农作物三维重建包括基于尺度不变特征变换算法特征检测与匹配、 基于运动中恢复结构空 间点云重建， 主要功 能为求取关键点作为特征点并得到特征点描述向量， 应用欧氏距离判 定得到匹配点对集， 结合相机内外参数求得空间点云与相机位姿 进行农作物三维重建。 2.根据权利要求1中所述的一种基于弱光图像增强的农作物三维重建方法， 其特征在 于， 所述采集弱光农作 物图像其过程为： 室外弱光图像采集过程中， 使用相机以待重 建的农 作物为中心进 行拍摄； 围绕待重 建农作物场景拍摄， 每转 10度采集一次图像， 围绕农作 物有 序地采集到大量含有不同高度信息的弱光农作 物图像， 并且在相 邻图像中保留场景中更多 的相同景物。 3.根据权利要求1中所述的一种基于弱光图像增强的农作物三维重建方法， 其特征在 于， 所述弱光农作物图像增强包括以下步骤： 通过图层分解、 反射率恢复和光照调整三个子网络构成弱光农作物图像增强网络， 实 现对弱光农作物图像的增强； 由两张不同曝光条件下的农作物图像作为网络的输入图像， 首先利用图层分解子网 络， 将输入的弱光农作物图像分解为光照分量和反射率分量两部分， 光照分量负责亮度调 整， 反射率分量用于去除降质， 并且两个部分之间共享权 重； 分解后的光照分量通过由多个卷积层构 成的光照调整子网络， 灵活地进行调整光照强 度； 分解后的反射率分量作为反射率恢复子网络的输入， 经带有残差连接的编解码网络， 执行去噪操作； 通过组合反射率恢复子网络生成的反射率图像和光照调整子网络生成的光照图像形 成最终的弱光农作物增强图像， 并且自由调整适 合的光照条件。 4.根据权利要求1中所述的一种基于弱光图像增强的农作物三维重建方法， 其特征在 于， 所述尺度不变特 征变换算法特 征检测与匹配的步骤如下： 通过对输入增强后的弱光农作物图像建立高斯差分金字塔， 获得图像多尺度 下的空间 表示， 实现尺度空间的构建， 寻找候选点， 其过程 为： 高斯金字塔由多组图像序列构成， 每组图像序列是通过组中基础图像I(x,y)和多次改 变尺度因子σ， 高斯函数G(x,y, σ )卷积计算得到的不同尺度图像L(x,y, σ )组成， 从而构建成 多尺度空间， 卷积计算公式为： 其中含有尺度因子的高斯 函数计算公式为： 图像高斯金字塔组数O是由图像I(x,y)的行高M与 列宽N决定， 计算公式为： O＝[log2min(M,N)]‑3 图像高斯金字塔 每组的层数S与待提取图像特 征的图像数n有关， 计算公式为：权　利　要　求　书 1/5 页 2 CN 115239882 A 2S＝n+3 对应图像的高斯模糊系数σ(o,r)计算公式为： o为高斯金字塔每组图像序列组索引序号； r为一组图像序列中尺度图像层索引序号； σ0 为高斯模糊初始值， SIFT算法中默认设定为 1.6， 考虑相机实际已对图像进 行σ ＝0.5的模糊 处理， 故实际初始高斯模糊系数σ0为： 高斯差分金字塔是后期检测图像极值点的前提， 通过创建的图像 高斯金字塔中每一组 图像序列内的相邻层相减得到， 高斯差分金字塔中每层图像的极值点为待提取 的特征点， 高斯差分金字塔的计算公式为： 其中kσ 表示与σ 为 不同图层的尺度因子； 尺度空间极值点检测中， 关键点包括高斯差分金字塔空间的局部极值点， 检测过程为： 关键点的初步探查是通过高斯差分金字塔中同一组内各相 邻两层图像之间比较完成的， 通 过每一个中间检测点与它所有的26个相邻点比较， 即 同尺度的8个相邻点与上下相邻尺度 对应的18个点， 以确保在尺度空间和二维图像空间都检测到极值点； 该检测点D(x,y,kσ )值 在其26个相邻点D(x,y,kσ )值中是最大值或最小值时， 则判定该检测点为图像在该尺度下 的一个关键点； 为得到更加精确的结果， 通过对尺度空间D(x,y,kσ )函数进 行曲线拟合寻找 极值点来减小这种误差， 考虑到物体的边缘在不同的图像中或者在同一图像中会有变化， 因此删除存在的边缘效应， 得到稳定的关键点， 此时关键点具有缩放不变性， 该点的坐标 (x,y)和尺度L(x,y)会作为该点的特 征信息被记录下来； 尺度不变特征变换算法特征区域的确定由三个值表示位置、 尺度和方向信息， 中心表 示特征点位置， 半径表示关键点的尺度， 箭头表 示主方向； 使用图像梯度的方法求取局部结 构的稳定方向， 计算梯度幅值m和梯度方向θ 计算公式为： 使用直方图统计关键点邻域内像素对应的梯度 方向和幅值， 选取相隔45度的八个基本 方向为横轴表示梯度方向的角度， 纵轴为梯度方向对应梯度幅值的累加， 直方图中峰值就 是关键点主方向， 若某个关键点方向的峰值不低于设定主方向的80％， 则将其设为关键点 的辅方向， 增加匹配稳定性， 此时关键点被确定为尺度不变特征变换算法特征点， 并且具有 旋转不变性； 通过每个特征点的位置、 尺度和方向信 息， 生成对应的特征点描述符， 表示特征点邻域 高斯图像梯度统计结果， 使其 不随各种变化而改变。 5.根据权利要求4中所述的一种基于弱光图像增强的农作物三维重建方法， 其特征在 于， 所述特 征点描述符生成过程包括以下步骤： 校正旋转主方向， 为了保证特征矢量的旋转不变性， 要以特征点为中心， 在附近邻域内权　利　要　求　书 2/5 页 3 CN 115239882 A 3