(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202111644760.2 (22)申请日 2021.12.3 0 (65)同一申请的已公布的文献号 申请公布号 CN 114444774 A (43)申请公布日 2022.05.06 (73)专利权人 特斯联科技 集团有限公司 地址 100027 北京市朝阳区新源南路8号启 皓北京西塔1 1层 (72)发明人 李启娟　 (74)专利代理 机构 北京春江专利商标代理事务 所(普通合伙) 11835 专利代理师 向志杰 (51)Int.Cl. G06Q 10/04(2012.01) G06Q 50/06(2012.01)G06N 3/00(2006.01) (56)对比文件 CN 111338227 A,2020.0 6.26 CN 112423455 A,2021.02.26 CN 113078641 A,2021.07.0 6 US 2019200546 A1,2019.07.04 CN 102123 545 A,201 1.07.13 宋宗峰 等.基 于红外传感器的喷泉安全智 能控制系统设计. 《山 东工业技术》 .2016,第13 3 页. 王春洁.音乐喷泉系统的设计与实施. 《中国 优秀硕士学位 论文全文数据库信息科技 辑》 .2007,(第06期),I140 -354. 审查员 袁一民 (54)发明名称 基于强化学习的园区水系工作时间选择方 法和系统 (57)摘要 本发明涉及一种基于强化学习的园区水系 工作时间选择方法， 所述方法包括： 使用参数分 析设备， 用于执行智能预测体以获得最新一天对 应的参考二进制数值； 使用状态识别设备， 用于 基于参考二进制数值获取各个时间段分别对应 的各个一位二进制数值； 使用开关控制设备， 用 于基于各个一位二进制数值提前配置景观水系 在各个时间段分别对应的开关控制策略。 本发明 还涉及一种基于强化学习的园区水系工作时间 选择系统。 通过本发明， 能够采用设定格式的信 息表达模式描述生态园区景观水系在历史时间 段的附近 人体分布状态， 并作为智能预测体的输 入信号对未来时间段的附近人体分布状态进行 预测， 进而实现对景观水系未来时间段开关控制 策略的智能化配 置。 权利要求书4页 说明书11页 附图4页 CN 114444774 B 2022.10.18 CN 114444774 B 1.一种基于强化学习的园区水系工作时间选择 方法， 其特 征在于， 所述方法包括： 使用信息录入器件， 用于针对生态园区的景观水系， 获取历史上任一天的各个时间段 内所述景观水系附近存在的人体数量， 所述人体数量为在 对应时间段内存在所述景观水系 附近的各个人体的总数； 使用内容转换器件， 与所述信息录入器件连接， 用于当所述景观水系在历史上任一天 某一时间段对应的人体数量大于等于设定数量阈值时， 将所述某一时间段对应的一位二进 制数值表述 为1， 否则， 将所述某一时间段对应的一 位二进制数值表述 为0； 使用数值解析器件， 与所述内容转换器件连接， 用于按照历史上任一天的各个时间段 在时间轴上的排列顺序， 将各个时间段分别对应的各个一位二进制数值进 行排列以获得与 所述各个时间段数量数值相等位数的多位二进制数值， 作为历史上任一 天对应的描述所述 景观水系整天人体分布状态的参 考二进制数值； 使用模型搭建设备， 与所述数值解析器件连接， 用于将目标日期对应的参考二进制数 值作为径向基神经网络模型的输出层的单个输出信号， 将所述目标日期之前固定数量的历 史各天分别对应的各个参考二进制数值作为所述径向基神经网络模型的输入层的固定数 量的多个输入信号， 以搭建所述径向基神经网络模型； 使用学习执行设备， 与所述模型搭建设备连接， 用于对所述模型搭建设备搭建的径向 基神经网络模型 执行强化学习过程以获得强化学习后的径向基神经网络模型； 使用参数分析设备， 与所述学习执行设备连接， 用于在每天凌晨将最新一天之前固定 数量的历史各天分别对应的各个参考二进制数值作为所述强化学习后的径向基神经网络 模型的输入层的固定数量的多个输入信号， 以执行所述强化学习后的径向基神经网络模 型， 获得所述强化学习后的径向基神经网络模型输出层输出的单个输出信号并作为最新一 天对应的参 考二进制数值； 使用状态识别设备， 与所述参数分析设备连接， 用于基于最新一天的各个时间段在时 间轴上的排列顺序对所述参数分析设备输出的最新一天对应的参考二进制数值进行数值 解析， 以获取最 新一天各个时间段分别对应的各个一 位二进制数值； 使用开关控制设备， 与所述状态识别设备连接， 用于基于最新一天各个时间段分别对 应的各个一位二进制数值提前配置所述景观水系在最新一天各个时间段分别对应的开关 控制策略； 其中， 在所述模型搭建设备中， 所述固定数量的取值与所述生态园区的面积的取值正 向关联。 2.如权利要求1所述的基于强化学习的园区水系工作时间选择方法， 其特征在于， 所述 方法还包括： 使用视觉采集器件， 设置在所述景观水系中心位置的正上方， 采用全景摄像机构完成 针对历史上任一天的某一时间段内所述景观水系附近范围的各帧现场画面的分时采集； 其中， 采用全景摄像机构完成针对历史上任一天的某一 时间段内所述景观水系附近范 围的各帧现场画面的分时采集包括： 所述全景摄像机构的采集帧率大于等于设定帧率数 值。 3.如权利要求2所述的基于强化学习的园区水系工作时间选择方法， 其特征在于， 所述 方法还包括：权　利　要　求　书 1/4 页 2 CN 114444774 B 2使用画质优化器件， 与所述视觉采集器件连接， 用于对接收到的每一帧现场画面执行 基于边缘增强的画质优化处 理， 以获得相应的优化处 理画面； 使用数量辨识器件， 分别与所述信息录入器件以及所述画质优化器件连接， 用于对每 一帧优化处理画面执行人体目标识别操作以获得每一帧优化处理画面中存在的各个人体 目标； 其中， 所述数量辨识器件还用于对各帧优化处理画面中分别存在的人体目标进行去重 处理， 以获得历史上任一天的某一时间段内所述景观水系附近存在的人体数量。 4.如权利要求1 ‑3任一所述的基于强化学习的园区水系工作时间选择方法， 其特征在 于： 基于最新一天各个时间段分别对应的各个一位二进制数值提前配置所述景观水系在 最新一天各个时间段分别对应的开关控制策略包括： 当最新一天某一时间段对应的一位二 进制数值取值 为1时， 提前配置最 新一天某一时间段的所述景观水系为打开状态； 其中， 基于最新一天各个时间段分别对应的各个一位二进制数值提前配置所述景观水 系在最新一 天各个时间段分别对应的开关控制策略包括： 当最新一 天某一时间段对应的一 位二进制数值取值 为0时， 提前配置最 新一天某一时间段的所述景观水系为关闭状态； 其中， 获取历史上任一天的各个时间段内所述景观水系附近存在的人体数量， 所述人 体数量为在 对应时间段内存在所述景观水系附近的各个人体的总数还包括： 所述各个时间 段分别对应的各个时间长度相等。 5.如权利要求1 ‑3任一所述的基于强化学习的园区水系工作时间选择方法， 其特征在 于： 获取历史上任一天的各个时间段内所述景观水系附近存在的人体数量， 所述人体数量 为在对应时间段内存在所述景观水系附近的各个人体的总数包括： 针对历史上任一 天的某 一时间段， 将以所述景观水系中心 位置为圆心且以预设长度为半径的圆圈内出现过的不同 人体的数量作为所述某一时间段内所述景观水系附近存在的人体数量； 其中， 针对历史上任一天的某一时间段， 将以所述景观水系中心位置为圆心且以预设 长度为半径的圆圈内出现过 的不同人体的数量作为所述某一时间段内所述景观水系附近 存在的人体数量包括： 所述景观水系的面积越大， 选择的预设长度的数值越大； 其中， 针对历史上任一天的某一时间段， 将以所述景观水系中心位置为圆心且以预设 长度为半径的圆圈内出现过 的不同人体的数量作为所述某一时间段内所述景观水系附近 存在的人体数量还包括： 将所述某一时间段内出现在所述圆圈内的各个人体执行去重处理 以获得所述景观水系中心位置为圆心且以预设长度为半径的圆圈内出现过 的不同人体的 数量； 其中， 针对历史上任一天的某一时间段， 将以所述景观水系中心位置为圆心且以预设 长度为半径的圆圈内出现过 的不同人体的数量作为所述某一时间段内所述景观水系附近 存在的人体数量还包括： 当某一人体的大部分处于以所述景观水系中心 位置为圆心且以预 设长度为半径的圆圈内时， 判断所述人体处于以所述景观水系中心 位置为圆心且以预设长 度为半径的圆圈内。 6.一种基于强化学习的园区水系工作时间选择系统， 其特 征在于， 所述系统包括： 信息录入器件， 用于针对生态园区的景观水系， 获取历史上任一天的各个时间段内所权　利　要　求　书 2/4 页 3 CN 114444774 B 3