(19)中华 人民共和国 国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111517783.7 (22)申请日 2021.12.13 (71)申请人 广东工业大 学 地址 510062 广东省广州市越秀区东 风东 路729号 (72)发明人 苏梓骏　 (74)专利代理 机构 广东广信君达律师事务所 44329 代理人 戴绪霖 (51)Int.Cl. G06Q 10/06(2012.01) G06Q 10/04(2012.01) G06Q 50/06(2012.01) G06N 3/08(2006.01) G06N 3/04(2006.01)H02J 3/28(2006.01) H02J 3/32(2006.01) H02J 3/38(2006.01) (54)发明名称 一种分布式储能电站在 线、 自适应的电能调 度优化方法 (57)摘要 本发明公开了一种分布式储能电站在 线、 自 适应的电能调度优化方法， 建立深度Q网络(Deep   Q Network,DQN)的框架； 在该框架下， 可以根据 智能微电网的历史用电数据， 在 线计算得到分布 式储能电站储能系统的最优充放电功率， 不过充 过放、 不超过额定工况， 利用储能系统对区域电 网进行削峰， 优化区域电网运行效益。 建立的深 度Q网络网架包括深度Q网络和目标深度Q网络， 深度Q网络的设计， 通过卷积、 递归、 前馈相结合 的方式， 增强了网络的逼近能力， 目标Q网络的存 在， 避免了深度网络在训练时， 参数过多导致的 不收敛。 权利要求书2页 说明书5页 附图2页 CN 114240125 A 2022.03.25 CN 114240125 A 1.一种分布式储能电站在线、 自适应的电能调度优化方法， 其特征在于， 包括以下步 骤： S1、 构建待调度的区域微电网的用电数据库， 采集待调度的区域微电网的历史用电数 据{Dt}， 以及待调度的区域 微电网的历史电价数据Ct； S2、 建立深度Q网络模型， 并初始化 参数； S3、 定义区域 微电网的电能优化指标； S4、 结合区域 微电网的电能优化指标， 对深度Q网络模型进行在线优化训练； S5、 将步骤S4在线优化训练完成的深度Q网络模型用于计算电能调度的控制策略， 直到 计算的控制策略影响预制舱储能系统 时， 重新返回步骤S4， 再次对深度Q网络模 型进行在线 优化训练。 2.根据权利要求1所述的一种分布式储能电站在线、 自适应的电能调度优化方法， 其特 征在于， 所述步骤S2中， 建立的深度Q网络网架包括两个深度网络及其连结形式， 其中两个 深度网络分别为： 深度Q网络和目标深度Q网络 。 3.根据权利要求2所述的一种分布式储能电站在线、 自适应的电能调度优化方法， 其特 征在于， 所述 步骤S2中， 初始化 参数的具体过程如下： S2‑1、 初始化深度Q网络的权 重WQ， 以及目标Q网络的权 重WQ′， 其中， WQ＝WQ′ 且： ||WQ||∞≤0.05 ||WQ′||∞≤0.05 S2‑2、 设定迭代 停止的阈值 ε； S2‑3、 设定用于训练的数据集E的初始大小Ninit,D， 总大小Ntotal,D； S2‑4、 初始化在线遍历的次数L， 以及 更新的时间步数间隔Tupdate， 以及调度的时间区间 T， 其中Tupdate≤T； S2‑5、 随机选取步骤S1中采集到的数据， 放入训练的数据集E中。 4.根据权利要求3所述的一种分布式储能电站在线、 自适应的电能调度优化方法， 其特 征在于， 所述 步骤S3定义区域 微电网的电能优化指标， 具体包括： 其中， J为总的指标项， T 为调度的时间区间， Ut为t时刻的效用函数， Ccon为蓄电池的建造 成本， Ncycle为蓄电池可循环充放电的次数， Ccap为蓄电池容量， μ为罚函数系数， ut为蓄电池 的充放电功率， 正数为放点， 负数为充电， ηc为蓄电池的充电效率， ηd为蓄电池的放电效率， SoCt为蓄电池的荷电状态， Eb,rate为蓄电池的额定电量， Dt为用户用电的有功功率， Rt为新能权　利　要　求　书 1/2 页 2 CN 114240125 A 2源发电的输出功率， Ct为动态电价， Pavg为微电网用户的平均用电负荷， 定义系统的状态变 量st＝[Rt Dt Ct SoCt]T。 5.根据权利要求4所述的一种分布式储能电站在线、 自适应的电能调度优化方法， 其特 征在于， 所述 步骤S4进行在线优化调度包括外循环和内循环， 具体过程包括： S4‑1、 设内循环次数i ＝1； S4‑2、 在每一次外循环开始时， 归一 化处理系统状态st， 得到 归一化的公式为: S4‑3、 初始化状态变量st和时间步长t＝1； S4‑4、 以阈值 ε 的概 率随机选择动作at＝ut， 否则， 根据深度Q网络 选取动作， 满足： S4‑5、 执行步骤S4 ‑4中的动作at， 并观察下一个 状态st+1； S4‑6、 根据效用函数， 计算采取动作at的效用Ut； S4‑7、 归一化处理st+1， 得到 将数组 储存到训练数据集E中； S4‑8、 在训练数据集E中随机抽取一组样本， 其中含有M个样本； S4‑9、 对于抽取出来 的每一个样本 计算深度Q网络的输出样本值yj， 如 果 是一个终端状态， 那么yj＝Uj； 否则， S4‑10、 对于所选取的M个样本， 以 为深度Q网络输入， yj为输出， 训练深度Q网络的 参数WQ； 并更新目标Q网络的参数WQ′， 其中 WQ′←τ WQ+(1‑τ )WQ′ S4‑11、 如果t＜T， 但i＜L， 则t＝t+1并回到步骤S4 ‑4； 如果t＝T， 但i＜L， 则结束内循 环， 转到下一 步； S4‑12、 如果i＜E， i＝i+1并回到S4 ‑2； 如果i＝E,结束外循环和内循环， 进入下一 步； S4‑13、 判断在线算法是否收敛。 若||WQ‑WQ′||≥ε， 返回步骤S4 ‑1； 若||WQ‑WQ′||≤ε， 转 入步骤S5 。权　利　要　求　书 2/2 页 3 CN 114240125 A 3