(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210863076.1 (22)申请日 2022.07.21 (71)申请人 郑州大学 地址 450001 河南省郑州市高新 技术开发 区科学大道100号 (72)发明人 方宏远　王念念　马铎　梁静　 姜雪　 (74)专利代理 机构 长沙市岳麓慧专利代理事务 所(普通合伙) 43270 专利代理师 邹剑峰 (51)Int.Cl. G06T 7/00(2017.01) G06T 7/10(2017.01) G06T 7/60(2017.01) G06T 17/00(2006.01)G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G01N 21/954(2006.01) G01B 11/24(2006.01) (54)发明名称 一种融合视觉与激光的管道病害智能量化 方法 (57)摘要 本发明公开一种融合视觉与激光的管道病 害智能量化方法。 该方法包括获取管道爬行机器 人采集的检测数据， 根据检测数据进行实时计 算， 得到管道的全景图和色谱图； 根据全景图和 色谱图构建管道缺陷数据集， 对 管道缺陷数据集 进行分类标注， 建立管道缺陷数据库， 将管道缺 陷数据库内的图像按比例分为训练集、 验证集和 测试集； 搭载基于特征金字塔的管道 缺陷分割模 型， 训练管道缺陷分割模型， 基于管道缺陷分割 模型对全景图进行检测， 在全景图上检测到缺陷 时， 关联缺陷对应的激光雷达轮廓数据和管道检 测影像数据， 进行缺陷的判读及量化， 为管道运 维管理和修复提供详细数据， 降低排水管渠检测 工程的人工成本， 提升 检测效率。 权利要求书2页 说明书7页 附图1页 CN 115205266 A 2022.10.18 CN 115205266 A 1.一种融合视 觉与激光的管道病害智能量 化方法， 其特 征在于， 包括： 获取管道爬行机器人采集的检测数据， 所述检测数据包括管道检测影像数据、 激光雷 达轮廓数据、 行进里程数据以及管道爬行机器人姿态数据， 根据所述检测数据进行实时计 算， 得到管道的全景图和色谱图； 根据全景图和色谱图构建管道缺陷数据集， 对所述管道缺陷数据集进行分类标注， 建 立管道缺陷数据库， 将所述管道缺陷数据库内的图像按比例分为训练集、 验证集和 测试集； 搭载基于特征金字塔的管道缺陷分割 模型， 使用迁移学习方法进行管道缺陷分割模型 的初始化， 基于所述训练集、 验证集和测试集， 训练管道缺陷分割模型， 对比管道缺陷分割 模型训练过程中损失值及准确率的变化曲线， 调整并寻找最优 超参数； 基于管道缺陷分割模型对全景图进行检测， 在全景图上检测到缺陷时， 关联所述缺陷 对应的激光雷达轮廓数据和管道检测影 像数据， 进行缺陷的判读及量 化； 接收管道爬行机器人在 现场测试过程中回传的实时检测数据， 根据所述实时检测数据 计算得到实时全景图， 基于管道缺陷分割模型对所述实时全景图进行管道缺陷检测， 分割 并量化管道缺陷。 2.如权利要求1所述的一种融合视觉与激光的管道病 害智能量化方法， 其特征在于， 管 道爬行机器人采集检测数据的方法包括： 管道爬行机器人进入管道后， 正式开始检测前， 进行参数的确定， 所述参数的确定包括 对激光雷达轮廓数据进行 标定， 输入管道 尺寸， 选择合 适的展开圆位置及展开宽度； 参数确定后进行 试检测， 观察是否存在全景展开图不清晰或者明显百叶窗现象； 如果存在全景展开图不清晰或者明显百叶窗现象， 调整所述 参数； 检测过程中， 如遇到无法通过的障碍时， 将当前影像进行全幅展开， 使得缺陷在全景图 上有体现， 进 而能够通过全景图进行缺陷的判读。 3.如权利要求2所述的一种融合视觉与激光的管道病 害智能量化方法， 其特征在于， 对 激光雷达轮廓数据进行 标定， 包括： 获取人工测量的实际管道的直径和管道爬行机器人的采集系统上显示的直径值； 判断人工测量的实际管道的直径和管道爬行机器人的采集系统上显示的直径值是否 相同； 如果人工测量的实际管道的直径和管道爬行机器人的采集系统上显示的直径值不相 同， 点击采集系统的标定按 钮， 输入两者的差值进行 标定； 标定完成后， 采集系统提 示管道爬行机器人的推荐最大 行走速度。 4.如权利要求2所述的一种融合视觉与激光的管道病 害智能量化方法， 其特征在于， 检 测过程中， 如遇到无法通过的障碍时， 将当前影像进 行全幅展开， 使得缺陷在全 景图上有体 现， 进而能够通过全景图进行缺陷的判读的步骤中， 全景图将管道内部全景以一张图片来 的方式呈现， 检测过程中无停止、 无旋转、 无环视、 无调教变倍并且无停留观察。 5.如权利要求1所述的一种融合视觉与激光的管道病 害智能量化方法， 其特征在于， 管 道爬行机器人在现场测试 过程中， 管道内部水位 不超过5％。 6.如权利要求1所述的一种融合视觉与激光的管道病 害智能量化方法， 其特征在于， 管 道爬行机器人在现场测试之前， 调节管道爬行机器人的光源强度， 确保视频图像清。 7.如权利要求1所述的一种融合视觉与激光的管道病 害智能量化方法， 其特征在于， 根权　利　要　求　书 1/2 页 2 CN 115205266 A 2据全景图和色谱图构建管道缺陷数据集， 对所述管道缺陷数据集进行分类标注， 建立管道 缺陷数据库， 包括： 筛选管道缺陷数据库内的图像， 去 除模糊图像和不带有缺陷的图像， 得到管道缺陷图 像； 将所述管道缺陷图像按缺陷类别分类并标注， 标注图片背景区域像素为0， 缺陷区域像 素按照类别依次标注为1， 2， 3 ……； 将标定后的png格式的管道缺陷图像和生成的json格式的标注信息结合， 通过python 代码转化为缺陷二值化图， 并将管道缺陷图像与二值化图按照名称一一对应， 建立管道缺 陷图像数据库。 8.如权利要求1所述的一种融合视觉与激光的管道病 害智能量化方法， 其特征在于， 当 基于管道缺陷分割模型对全景图进行检测， 在全景图上检测到缺陷时， 关联所述缺陷对应 的激光雷达轮廓数据和管道检测影像数据， 进行缺陷的判读及量化的步骤中， 在激光雷达 轮廓数据上能够测出破裂尺寸、 变形率、 沉积量， 同时可以在平面展开图上确认裂缝宽度、 缺陷长度。权　利　要　求　书 2/2 页 3 CN 115205266 A 3