(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111654558.8 (22)申请日 2021.12.3 0 (71)申请人 内蒙古大学 地址 010021 内蒙古自治区呼和浩特市大 学西路23 5号 申请人 内蒙古塔 塔送变电工程有限公司 (72)发明人 张颖慧　邢雅轩　白戈　 (74)专利代理 机构 北京永创新实专利事务所 11121 代理人 易卜 (51)Int.Cl. G06F 16/29(2019.01) G06F 16/22(2019.01) G06F 16/2458(2019.01) G06F 16/9537(2019.01)G06N 3/04(2006.01) G06Q 10/04(2012.01) G16Y 20/00(2020.01) (54)发明名称 工业物联网边缘设备上基于联邦学习的空 时预测算法 (57)摘要 本发明公开了工业物联网边缘设备上基于 联邦学习的空时预测算法， 属于工业物联网领 域， 具体包括： 首先， 搭建包括行业集和客户集的 应用场景； 然后， 针对单个客户端， 其设备监测到 的传感数据构成数据库， 在该客户端中构建TCN ‑ GCN深度模型， 并使用数据库的数据更新TCN ‑GCN 深度模型的参数wC； 同理， 各客户端分别在本地 训练各自 的TCN‑GCN模型并得到各自的模型参数 wC； 最后， 利用改进的FedAVG算法将每个客户端 的模型参数wC， 上传到云端进行加权聚合， 成一 个新的全局模型， 实现基于联邦学习的空时预 测。 本发明对参与联邦学习的客户以及客户内部 的设备采用随机采样， 减少算法的通信开销， 特 别适用于大规模IIoT网络和分布式预测； 在保护 隐私的基础上， 具有良好的预测性能。 权利要求书3页 说明书13页 附图3页 CN 114265913 A 2022.04.01 CN 114265913 A 1.工业物联网边 缘设备上基于联邦学习的空时预测算法， 其特 征在于， 包括如下步骤： 首先， 搭建包括行业集和客户集的应用场景； 每个行业有I个客户端， 每个客户端有K个 传感器设备； 针对 单个客户端Ci， 其K个设备监测到的传感数据构成数据库Di， 在客户端Ci构 建TCN‑GCN深度模型， 并使用数据库Di的数据更新TCN ‑GCN深度模型的参数wC； 同理， 每个客 户端分别在本地训练各自对应的TCN ‑GCN深度模型， 得到各自的模型参数wC； wC中包含TCN‑GCN深度模型从原 始数据中挖掘的空时特性； 最后、 利用改进的FedAVG算法将每个客户端的TCN ‑GCN深度模型参数wC， 上传到云端进 行加权聚合， 成一个新的全局模型， 实现基于联邦学习的空时预测。 2.如权利要求1所述的工业物联网边缘设备上基于联邦学习的空时预测算法， 其特征 在于， 所述的TCN ‑GCN深度模型是基于膨胀时间卷积网络DTCN和动态图卷积网络DGCN交替 结合形成的； 具体更新过程 为： 步骤201、 客户端Ci利用K个传感器分别采 集包含时间步长与空间节点的二维数据， 并构 建初始的图邻接矩阵表示空间节点的关联关系； 步骤202、 将二维数据依次送入TCN ‑GCN深度模型中， 结合图邻接矩阵分别提取时间和 空间特征； 具体为： 首先， 给定输入的二维数据xin， 则经过DTCN的输出xout为： xout＝tanh(f1*xin)×sigmoid(f2*xin) 其中， f1表示滤波卷积函数， f2表示门控卷积函数， sigmoid( ·)表示S型激活函数， tanh (·)表示正切双曲激活函数； 然后， 将DTCN捕捉的特 征送入DGCN模块， 其信息传递层为： 其中， Hl表示第l层的传播层； σ1和σ2为不同的激活函数， 为随机动态采样得到的动态 图邻接矩阵， Wl‑1表示第l‑1层的网络权重； 表示经过跳跃连接的传播层； β 为控制保留 根节点原始状态比率的超参数； H(l)是随着图卷积的深度增加节 点状态不断更新的第l层传 播层， H(l‑1)表示保留的之前节点状态的传播层； Hout为跳跃层叠加后的输出层； 步骤203、 利用TCN ‑GCN模型对图邻接矩阵中各空间节点的关联进行 更新； 步骤204、 将更新的图邻接矩阵与提取出的空间特征向量进行卷积运算， 实现移动节点 空间特征的不断更新； 步骤205、 根据捕捉的时间和空间相关性， 实现二维数据的高精度预测； 具体预测过程 为： 在时间步长t处输入的二维数据X表示 为： X＝{z1[i],z2[i],…,zt[i]} 其中， zt[i]表示在时间步长t处第i个传感器的值， i∈K； 则下一时间步长的预测值表示 为：权　利　要　求　书 1/3 页 2 CN 114265913 A 2Y＝{zt+1[i]} 步骤206、 通过不断将预测值与真实数据的标签值做拟合， 得到客户端Ci本地更新的 TCN‑GCN深度模型的参数wC。 3.如权利要求1所述的工业物联网边缘设备上基于联邦学习的空时预测算法， 其特征 在于， 所述的改进的F edAVG算法包括以下步骤： 步骤I、 每一轮开始时， 行业O所在的服务器从客户端中选择志愿者参与本轮培训， 并向 被选中的客户广播随机初始化的TCN ‑GCN的全局模型参数； 步骤II、 对参与的客户以及客户所包 含的所有传感器设备进行随机采样； 对于每一个随机采样的客户端， 使其损失最小的模型参数 Fl(w)为： 其中， w∈Rd是每个传感器设备的本地模型参数， h( ·)是正则项， Dk表示客户在本地模 型需要学习设备采样后的k个样本； 在云端， 全局预测模型 经过客户端采样后得到的平均模型参数 Fg(w)表示为 n＝β×N 其中， N为行业所包 含的所有客户数， β 表示 客户采样的比例； 因此， 经过对客户以及设备的双采样后， 客户端得到经过中央云端加权平均后的模型 参数为： 对客户端的设备采样体现为对图邻接矩阵的节点采样， 具体为： 对于具有K个设备的客户端， 其随机初始化的图邻接矩阵A的数 学表示为： 其中， Aij表示图邻接矩阵中第i,j个节点的关系， 为顶点的集 合， (vi,vj)表示一对节点的关系， 连接顶点的边为 c表示非0的 实数； 为减小通信开销， 对每个客户端的K个设备进行采样， 取前k个相关设备后的节点索引 idx表示为 idx＝argtopk(A[i,:]) 其中， argtopk( ·)返回向量前k个最大值的索引； 对于每个设备， 选择其前k个最邻近 的边缘计算节 点作为其邻居， 即筛选出多个 设备中的前k个最相关的子集； A[i,:]表示图邻 接矩阵中第i个节点与其 余所有节点的节点关系； 步骤III、 初始化设定轮次E和训练批次B， 对采样的客户端在本地训练数据集， 更新 TCN‑GCN模型参数 权　利　要　求　书 2/3 页 3 CN 114265913 A 3