(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111513440.3 (22)申请日 2021.12.10 (71)申请人 国网甘肃省电力公司电力科 学研究 院 地址 730000 甘肃省兰州市安宁区万 新北 路249号 申请人 国网甘肃省电力公司 　 中国电力科 学研究院有限公司 (72)发明人 张祥全　马志程　王利平　赵金雄　 李洪斌　张驯　聂江龙　马宏忠　 刘超　焦飞　贺洲强　谈元鹏　 陈钊　蔡常雨　王锋　莫文昊　 夏天　陈维　赵连斌　朱海涛　 (74)专利代理 机构 北京盛凡佳华专利代理事务 所(普通合伙) 11947 专利代理师 陈文丽(51)Int.Cl. G06V 40/10(2022.01) G06V 20/64(2022.01) G06Q 50/06(2012.01) G06Q 10/00(2012.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/82(2022.01) (54)发明名称 基于深度图像的电力生产人员安全监测方 法 (57)摘要 本发明涉及基于深度图像的电力生产人员 安全监测方法， 通过图像识别算法识别二维图像 中运检人员、 变电设备； 基于空间三维深度数据 与人体三维深度数据， 计算被检设备与人员距 离， 提出一种人员骨骼关节的方向自适应检测方 法以及基于中心点距离的关联人员骨骼关节与 人员检测识别结果的配对 方法。 本发 明为提升我 国电网企业的电力基建、 运检等生产业务场景下 工作人员的安全管控水平提供技 术支撑。 权利要求书1页 说明书3页 附图1页 CN 114445850 A 2022.05.06 CN 114445850 A 1.基于深度图像的电力生产人员安全监测方法， 其特 征在于， 包括如下步骤： S1、 利用摄 像设备， 对准变电设备运维位置， 采集 运检人员及电力设备图像数据； S2、 提取现场摄像设备采集到的运检人员及电力设备图像数据， 进行基于深度神经网 络的三维深度信息提取， 可求得运检人员及电力设备图像的三维深度信息； S3、 提取现场摄像设备采集到的运检人员及电力设备图像数据， 进行基于深度神经网 络的运检人员与电力 设备检测识别， 计算获得运检人员与电力设备 的三维边框， 基于角度 对目标检测精度的影响权重和线性角度回归与检测框交并比不统一， 提出一种基于目标框 长宽比的角度预测损失函数： 其中， θi为第i个目标的角度预测， 为第i个目标的角度预测， ri为该目标框的长宽比 (ri≥1)， b和γ为超参数， 用于调节其影响； S4、 在S3计算获得运检人员与电力设备的三维边框的基础上， 实时计算运检人员三维 边框与被检测电力设备三 维边框的最小欧式距离a， 计算方法如下式， 并与安全阈值D ’对比 后， 判断是否存在误入带电间隔、 超过安全距离的情况， 如存在， 转入S6； S5、 提取现场摄像设备采集到的运检人员及电力设备图像数据， 进行基于深度神经网 络的运检人员骨骼关节检测， 计算 运检人员是否存在异常行为， 如存在， 转入S6； S6、 根据S4与S5的预警情况发出警示信号， 并将警示信息转化为文本数据发送至电力 企业的数据后台。 2.基于深度图像的电力生产 人员安全监测方法， 其特征在于： 所述步骤S2中， 深度神经 网络中的角度预测采用一个3 ×3的可变形卷积模块和一个3 ×3的卷积模块结合， 增强对旋 转目标的适应性。 3.基于深度图像的电力生产 人员安全监测方法， 其特征在于： 所述步骤S2中， 可变形卷 积通过预测每个特征点对应的所有卷积点的位置偏移， 使 卷积核自由在特征图上提取任意 特征， 对异构物体、 旋转目标的复杂检测结果具 备更好的适应性。 4.基于深度图像的电力生产 人员安全监测方法， 其特征在于： 所述步骤S5 中， 根据人员 骨骼关节的结构特点和相关性， 提出一种基于中心 点距离的关联性人员骨骼关节与S 3中所 述运检人员检测识别结果的配对算法， 对于同一人员有确定关联性的人员骨骼关节与人员 检测识别结果CT、 CS， 将网络检测结果划分为集合T＝{t1， t2， ...， tm}与S＝{s1， s2， ...， sn}， 其中， ti为第i个CT类设备中心点， sj为第j个CS类中心点， 依次找出集合T和S中距离最近的 一组点(ti， sj)， 并将其从集合中取出， 作为一对目标保留， 直至集合T或S没有元素， 或T和S 中距离最近的点的距离超过设定的阈值超参数。权　利　要　求　书 1/1 页 2 CN 114445850 A 2基于深度图像的电力生产人员安全监测方 法 技术领域 [0001]本发明涉及电力安监技术领域， 具体是指基于深度图像的电力生产人员安全监测 方法。 背景技术 [0002]在电网企业中基建、 运检等生产业务场景下， 工作人员为了完成建设任务或及时 排查隐患需要到线路及变电站执行， 但是目前电力生产现场仍存在安全监管水平较低、 操 作粗放的现象， 同时有事后管理、 不量化、 随机性等问题， 导致基 建、 运检等生产业务中缺乏 对一线人员安全的有效管控， 客观上存在超范围作业、 误入带电间隔等问题。 [0003]目前， 电力能源企业对一线生产作业人员的位置信息仍然主要依靠后台监控人员 通过视觉判定， 少部分企业通过GPS/BDS定位系统、 FRID与摄像联动定位等方法进行人员位 置信息的采集。 但是以上技术存在一定不 足： 视觉定位由于无法测出深度， 难以准确判断人 员与设备间距离； GPS/BDS的定位存在米级误差， 且涉及便携式设备的资金投入； RFID中天 线通过反馈外界微波激励进行距离报警， 然而激励信号的强弱、 发射角度都会影响RFID的 反馈， 从而容易导致误判、 漏判。 亟待结合人工智能技术提出一种精度高、 响应快的新型电 力生产人员安全监测方法， 迎 接大量基建、 运检需求 为人员安全管控水平带来的更高挑战。 发明内容 [0004]本发明提供一种基于深度图像的电力生产人员安全监测方法， 为提升我国电网企 业的电力基建、 运检等 生产业务场景下工作人员的安全管控水平提供技 术支撑。 [0005]本发明通过以下S1到S6步骤所述 技术方案实现上述目的： [0006]S1、 利用摄 像设备， 对准变电设备运维位置， 采集 运检人员及电力设备图像数据。 [0007]S2、 提取现场摄像设备采集到 的运检人员及电力设备图像数据， 进行基于深度神 经网络的三维深度信息提取， 可求得运检人员及电力设备图像的三维深度信息 。 [0008]S3、 提取现场摄像设备采集到 的运检人员及电力设备图像数据， 进行基于深度神 经网络的运检人员与电力设备检测识别， 计算 获得运检人员与电力设备的三 维边框。 其中， 深度神经网络中的角度预测采用一个3 ×3的可变形卷积模块和一个3 ×3的卷积模块结合， 增强对旋转目标的适应性。 可变形卷积通过预测每个特征点对应的所有卷积点的位置偏 移， 使卷积核可以自由在特征图上提取任意特征， 对异构物体、 旋转目标等复杂检测结果具 备更好的适应性。 考虑到角度对目标检测精度的影响权重较大和线性角度回归与检测框交 并比不统一的问题， 提出一种基于目标框 长宽比的角度预测损失函数： [0009] [0010]其中， θi为第i个目标的角度预测， 为第i个目标的角度预测， ri为该目标框的长 宽比ri≥1)， b和γ为超参数， 用于调节其影响。 [0011]S4、 在S3计算获得运检人员与电力设备的三维边框的基础上， 实时计算运检人员 三维边框与 被检测电力设备三维边框的最小欧式距离a， 计算方法如下式。 并与安全阈值D’说　明　书 1/3 页 3 CN 114445850 A 3