(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210917073.1 (22)申请日 2022.08.01 (71)申请人 北京强度环境研究所 地址 100076 北京市丰台区南大红门1号 (72)发明人 周书涛　周江帆　张东升　苏志龙　 李立欣　巨亚堂　李海波　吴兵　 张忠　宫文然　童军　朱仪凡　 张伟　韩丽　杨蓉　贾亮　侯传涛　 孝春成　王泰然　高魁垠　 (74)专利代理 机构 中国航天科技专利中心 11009 专利代理师 张欢 (51)Int.Cl. G06T 7/80(2017.01) G06T 7/70(2017.01)G06T 3/40(2006.01) G06T 17/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) (54)发明名称 一种基于单相机的应变片三维坐标获取方 法和系统 (57)摘要 本发明提供一种基于单相机的应变片三维 坐标获取方法和系统， 基于单相机多视角测量原 理， 使用单相机从不同的角度拍摄得到物体表面 应变片的图像序列； 通过识别和匹配相邻图像的 编码点， 并采用非线性优化的手段对空间坐标和 相机姿态进行联合优化； 在相机姿态估计的同 时， 采用了深度学习算法从拍摄的图像序列中识 别和提取应变片的图像坐标， 然后使用极限约束 进行坐标匹配； 最后根据估计的相机姿态和匹配 的应变片图像坐标， 使用经典的三角测量法计算 获得应变片的三维坐标。 本发明解决了基于光学 编码点的相机姿态估计、 基于深度学习技术的应 变片图像识别和应变片三维坐标重构等三个方 面的技术问题。 权利要求书2页 说明书6页 附图1页 CN 115393447 A 2022.11.25 CN 115393447 A 1.一种基于单相机的应 变片三维坐标获取 方法， 其特 征在于， 包括： 标定相机内参， 包括焦距、 主点和畸变系数； 从拍摄的图像序列中进行编码点检测， 得到编码点对应关系； 根据第一二帧中匹配的编码点对应关系， 使用八点算法计算前两帧的本质矩阵， 使用 奇异值分解得到三维旋转矩阵和平移向量， 使用三角测量法重构编码点的三维坐标， 并将 第一帧相机坐标系作为 参考坐标系； 采用N点透视算法解算后续每一帧相机相对于参考坐标系的姿态， 包括三维旋转向量 和平移向量， 得到图像序列中每帧相机在参 考坐标系下的姿态信息； 使用深度学习方法识别所拍摄图像序列中的应 变片； 根据计算得到的每帧相机在参 考坐标系下姿态信息， 计算得到匹配 应变片； 根据计算得到的每帧相机在参考坐标系下姿态信息和匹配应变片， 从第一帧开始， 采 用三角测量算法对相邻两帧图像中匹配到的应变片进行三维重构， 得到应变片的三维坐 标。 2.根据权利要求1所述的一种基于单相机的应变片三维坐标获取方法， 其特征在于， 所 述从拍摄的图像序列中进行编码点检测， 包括： 使用15位环形编码点， 通过图像二 值分割提取环形编码带， 进行解码得到编码点的ID； 根据对应的中心定位 圆采用灰度重心法得到编码点的图像坐标， 相邻图像中具有相同 ID的编码点 为匹配的编码点对应关系。 3.根据权利要求1所述的一种基于单相机的应变片三维坐标获取方法， 其特征在于， 所 述使用深度学习方法识别所拍摄图像序列中的应 变片， 包括： 采用YOLO模型作为应变片识别模型， 按照实际需求将应变片贴在物体表面后， 从多角 度拍摄若干组图像， 并根据数据增强原理扩展样本数量， 标注每张图像中的应变片， 并按设 定的比例随机将数据集分成训练集、 验证集和 测试集； 采用交叉验证的方式对 模型进行训练， 得到用于应 变片识别的YOLO模型； 在测试集上进行测试， 评估模型的[email protected]数值， [email protected]数值大于设定阈值时， 模型训 练达标。 4.根据权利要求3所述的一种基于单相机的应变片三维坐标获取方法， 其特征在于， 所 述样本数量≥15 00。 5.根据权利要求1所述的一种基于单相机的应变片三维坐标获取方法， 其特征在于， 所 述根据计算得到的每帧相机在参 考坐标系下姿态信息， 计算得到匹配 应变片， 包括： 根据计算得到的每帧相机在参考坐标系下姿态信息， 构建相邻帧之间的极线约束关 系， 前一帧的应 变片为源应 变片， 计算前一帧每一个 应变片在下一帧图像中极线； 计算下一帧中 图像中每一个应变片到该极线的距离， 将满足给定阈值要求的应变片按 照距离从小到大排序， 得到每一个源应变片的候选应变片集合， 同时采用SIFT 特征描述子， 计算源应变片和候选应变片集合中每个应变片的128维特征向量， 并计算源应变片特征向 量与每一个候选应变片特征向量之 间的2范数， 具有最小2范数和最小极线距离的候选应变 片为源应 变片的匹配 应变片。 6.一种基于单相机的应 变片三维坐标获取系统， 其特 征在于， 包括： 相机、 工程计算机； 所述相机用于对带有应变片的目标物体进行环绕多视角成像， 得到 图像序列， 并将拍权　利　要　求　书 1/2 页 2 CN 115393447 A 2摄到的图像导入工程计算机； 所述工程计算机包括： 编码点检测模块、 相机姿态计算模块、 应变片识别模块、 三维重 构模块； 编码点检测模块： 用于从拍摄的图像序列中进行编码点检测， 得到编码点对应关系； 相机姿态计算模块： 用于根据第一二帧中匹配的编码点对应关系， 使用八点算法计算 前两帧的本质矩阵， 使用奇异值分解得到三维旋转矩阵和平移向量， 使用三角测量法重构 编码点的三 维坐标， 并将第一帧相机坐标系作为参考坐标系； 采用N点透视算法解算后续每 一帧相机相对于参考坐标系的姿态， 包括三维旋转向量和平移向量， 得到图像序列中每 帧 相机在参 考坐标系下的姿态信息； 应变片识别模块： 用于使用深度学习方法识别所拍摄图像序列中的应变片； 根据计算 得到的每帧相机在参 考坐标系下姿态信息， 计算得到匹配 应变片； 三维重构模块： 用于根据计算得到的每帧相机在参考坐标系下姿态信息和匹配应变 片， 从第一帧开始， 采用三角测量算法对相 邻两帧图像中匹配到的应变片进行三维重构， 得 到应变片的三维坐标。 7.根据权利要求6所述的一种基于单相机的应变片三维坐标获取系统， 其特征在于， 所 述从拍摄的图像序列中进行编码点检测， 包括： 使用15位环形编码点， 通过图像二 值分割提取环形编码带， 进行解码得到编码点的ID； 根据对应的中心定位 圆采用灰度重心法得到编码点的图像坐标， 相邻图像中具有相同 ID的编码点 为匹配的编码点对应关系。 8.根据权利要求6所述的一种基于单相机的应变片三维坐标获取系统， 其特征在于， 所 述使用深度学习方法识别所拍摄图像序列中的应 变片， 包括： 采用YOLO模型作为应变片识别模型， 按照实际需求将应变片贴在物体表面后， 从多角 度拍摄若干组图像， 并根据数据增强原理扩展样本数量， 标注每张图像中的应变片， 并按设 定的比例随机将数据集分成训练集、 验证集和 测试集； 采用交叉验证的方式对 模型进行训练， 得到用于应 变片识别的YOLO模型； 在测试集上进行测试， 评估模型的[email protected]数值， [email protected]数值大于设定阈值时， 模型训 练达标。 9.根据权利要求8所述的一种基于单相机的应变片三维坐标获取系统， 其特征在于， 所 述样本数量≥15 00。 10.根据权利要求6所述的一种基于单相机的应变片三维坐标获取系统， 其特征在于， 所述根据计算得到的每帧相机在参 考坐标系下姿态信息， 计算得到匹配 应变片， 包括： 根据计算得到的每帧相机在参考坐标系下姿态信息， 构建相邻帧之间的极线约束关 系， 前一帧的应 变片为源应 变片， 计算前一帧每一个 应变片在下一帧图像中极线； 计算下一帧中 图像中每一个应变片到该极线的距离， 将满足给定阈值要求的应变片按 照距离从小到大排序， 得到每一个源应变片的候选应变片集合， 同时采用SIFT 特征描述子， 计算源应变片和候选应变片集合中每个应变片的128维特征向量， 并计算源应变片特征向 量与每一个候选应变片特征向量之 间的2范数， 具有最小2范数和最小极线距离的候选应变 片为源应 变片的匹配 应变片。权　利　要　求　书 2/2 页 3 CN 115393447 A 3