(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210872321.5 (22)申请日 2022.07.20 (71)申请人 东南大学 地址 210096 江苏省南京市玄武区四牌楼 2 号 (72)发明人 吴刚　侯士通　吴涛　何小元　 张健　 (74)专利代理 机构 南京经纬专利商标代理有限 公司 32200 专利代理师 朱小兵 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/62(2017.01) G06T 7/70(2017.01) G06T 7/80(2017.01)G06T 17/00(2006.01) (54)发明名称 一种水下桥墩病害识别定位方法、 装置、 电 子设备及存 储介质 (57)摘要 本发明公开了一种水下桥墩病害识别定位 方法、 装置、 电子设备及存储介质， 所述方法包 括： 搭建视觉平台及测量系统； 标定测量系统中 相机参数， 采集水下桥墩表面图像； 构建病害 图 像数据集， 通过图像处理模型对采集获得初始图 像进行图像增强与复原处理； 对处理后的图像进 行三维重构， 获得局部三维点云并校正水下折射 导致的偏 差； 根据双目相机有效视场重叠区域统 一双目相机所有测点处获得的三维点云数据， 测 量被测物表 面全周三维形貌； 对采集的局部图像 进行病害识别， 获得病害的像素位置和像素面 积； 结合采集的局部图像深度图， 计算病害实际 体积， 获得病害在三维点云全局坐标系中的空间 位置。 本发 明提高了水下光学测量方法在水下结 构自动化 监测场景中的测量效率和质量。 权利要求书3页 说明书5页 附图2页 CN 115187565 A 2022.10.14 CN 115187565 A 1.一种水 下桥墩病害识别定位方法， 其特 征在于， 包括以下步骤： S1、 搭建水 下抱柱式立体视 觉平台和安置在 密封水箱内的双目视 觉光学测量系统； S2、 标定步骤S1中双目视觉光学测量系统中双目相机的内外参数以及折射参数， 根据 桥墩尺寸设置测点， 采集水 下桥墩表面图像； S3、 构建水环境病害图像数据集， 通过基于深度学习方法的水下图像处理模型对步骤 S2中采集的水 下桥墩表面图像进行图像增强与复原处 理； S4、 对步骤S3中处理后的图像的被测表面采用三维数字图像相关方法进行三维点云重 构， 获得局部三维点云并通过 水下成像折 射修正原理校正 光线折射导致的重构偏差； S5、 根据步骤S2中双目相机的有效视场重叠区域， 统一双目相机所有测点处获得的三 维点云数据， 实现被测物 表面全周三维形貌测量； S6、 建立水下病害纹理特征的深度学习模型算法， 对步骤S3中增 强与复原处理后的水 下桥墩表面图像进行病害识别， 获得病害在图像坐标系里面的像素位置和像素面积； S7、 通过计算步骤S2中双目相机采集水下桥墩表面图像的深度图并结合步骤S6中所计 算的病害像素位置和像素面积， 计算病害实际体积， 根据步骤S4中重构的三维点云与对应 的感兴趣区域图像 像素， 获得病害在全周三维点云形貌全局坐标系中的空间位置 。 2.根据权利要求1所述一种水下桥墩病害识别定位方法， 其特征在于， 步骤S1中双目视 觉光学测量系统采用的光学测量方法为基于双目视觉原理的三维形貌测量方法， 包括线 结 构光法、 三维数字 散斑相关法和栅线投影法。 3.根据权利要求1所述一种水下桥墩病害识别定位方法， 其特征在于， 在步骤S3 中构建 水环境病害图像数据集， 具体是模拟不同浑浊度水环境， 分别在浑浊水环境和无水环境下， 拍摄有水和无 水环境一一对应的构件表面病害图像， 以建立水 下病害图像数据集。 4.根据权利要求1所述一种水下桥墩病害识别定位方法， 其特征在于， 步骤S4中， 在进 行被测物水下形貌测 量前， 双目相 机放置于有透明平板观察窗的密封水箱中， 光线经 由水 体、 玻璃和空气三种介质成像， 利用基于双目视觉原理的三维数字图像相关方法对被测物 表面感兴趣区域进行三维重建获得局部初始三维点云， 基于水下多折射成像原理， 标定出 折射平面相对于左相机的位置关系用于初始三维重建点云的修 正。 5.根据权利要求1所述一种水下桥墩病害识别定位方法， 其特征在于， 在步骤S5中， 对 双目相机有效视场的重叠区域进行特征识别， 利用重叠区域的特征， 计算所有连续测点折 射修正后局部三 维点云相对于第一个测点点云所在坐标系的空间转化矩阵R和T， 利用每个 测点的空间转换矩阵统一所有局部坐标系三 维点云； 根据测点(N ‑1)和测点N重叠区域计算 出测点N坐标系转换到测点(N ‑1)坐标系的空间转换矩阵RN‑(N‑1)和TN‑(N‑1)， 公式表达如下： 权　利　要　求　书 1/3 页 2 CN 115187565 A 2其中， RN‑(N‑1)和TN‑(N‑1)表示测点 N坐标系转换到测点(N ‑1)坐标系的空间转换矩阵， 对测点N中三维点云任一点(xN,yN,zN)， 通过空间转换矩阵变换转换为(xN‑1,yN‑1,zN‑1), 该点即为(xN,yN,zN)在测点(N ‑1)坐标系中对应坐标； 公式表达如下： 完成所有测点与第一个测点点云所在坐标系所在坐标系转换后得到桥墩表面全周三 维点云形貌 。 6.根据权利要求1所述一种水下桥墩病害识别定位方法， 其特征在于， 步骤S6中， 建立 水下病害纹 理特征的深度学习模型算法， 具体为： 采用深度特征提取骨架结构ResNet， 提取病害纹理的高层次特征和多个低层次特征， 并结合表征病害纹理特征的量化算子， 对每个裂缝特征相对于平均裂缝特征的距离进 行量 化统计， 构建纹理增强模块， 将构建纹理增强模块扩展到一个可学习的图像来对每个量化 级进行重建； 在编码器与解码器之间加入注意力机制模块， 通过分层连续卷积操作提取更高层特 征， 并将各层的特征进行相加融合， 构成注意力模块， 通过注意力模块,加强裂缝区域的信 息权值。 7.根据权利要求1所述一种水下桥墩病害识别定位方法， 其特征在于， 步骤S7中， 通过 结合双目相机采集的局部图像深度图以及步骤S 6中计算的病害像素位置和像素面积， 计算 出病害实际体积大小， 公式表达如下： 其中， V为病害实际体积， (xi,yi)为像素区域点， S为病害像 素区域， Spn为测点n处像 素面 积， Di为每个像素的深度信息， s为单位像素对应实际面积大小； 再根据步骤S5计算出局部 坐标系与测点1所在全局 坐标系的空间转换关系， 获得病害在全周三维点云形貌全局 坐标 系下的空间位置 。 8.一种应用于水 下桥墩病害识别定位的自动化组态装置， 其特 征在于， 包括： 双模视觉光学测量模块， 其被 配置用于采集水 下桥墩表面图像； 图像处理模块， 其被 配置用于对 采集的水 下桥墩表面图像进行图像增强与复原处 理； 重构模块， 其被配置用于对处理后的图像的被测表面采用三维数字图像相关方法进行 三维点云重构， 获得局部三 维点云并通过水下成像折射修正原理校正光线折射导致的重构 偏差， 实现被测物 表面全周三维形貌测量； 识别模块， 其被配置用于将增强与复原处理后的水下桥墩表面图像进行病害识别， 获 得病害在图像坐标系里面的像素位置和像素面积。 9.一种电子设备， 其特征在于， 包括： 存储器和 处理器， 所述存储器存储由所述处理器 可执行的计算机程序， 所述处理器执行所述计算机程序时实现上述权利要求1 ‑7任一项所权　利　要　求　书 2/3 页 3 CN 115187565 A 3