(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202111622593.1 (22)申请日 2021.12.28 (71)申请人 江苏泰坦智慧科技有限公司 地址 214100 江苏省无锡市滨湖区金融一 街昌兴国际金融大厦70 5 (72)发明人 郑龙　张雅婷　凃浩　杜丛晋　 (74)专利代理 机构 武汉臻诚专利代理事务所 (普通合伙) 42233 专利代理师 胡星驰 (51)Int.Cl. G08G 1/01(2006.01) G06Q 10/04(2012.01) G06Q 50/30(2012.01) G06N 3/04(2006.01) G06N 3/08(2006.01)G06N 20/00(2019.01) (54)发明名称 一种基于层次强化学习的微观交通流预测 系统及方法 (57)摘要 本发明公开了一种基于层次强化学习的微 观交通流预测系统， 其包括： 车辆行驶风格层次 预测模块， 用于根据目标范围内每辆车辆的行驶 状况信息集合采用强化学习模型评估车辆的行 驶风格， 获得车辆的行驶风格属性， 所述车辆的 行驶风格属性用于评价车辆行驶平稳或激进的 程度； 车辆驾驶行为层次预测模块， 用于根据车 辆行驶风格层次预测模块输出的含有车辆的行 驶风格属性的结构化车辆信息， 采用强化学习模 型， 预测特定车辆的加速比、 以及变道到各车道 的变道概率。 本发明将复杂的交通流预测问题分 解为对驾驶员及车辆特性分布的预测及对车辆 行为的预测这两个层次， 实现精 准预测特定路段 和时段的交通 流预测。 权利要求书2页 说明书11页 附图1页 CN 114495486 A 2022.05.13 CN 114495486 A 1.一种基于层次强化学习的微观 交通流预测系统， 其特征在于， 包括： 车辆行驶风格层 次预测模块和车辆驾驶行为层次预测模块； 车辆行驶风格层次预测模块， 用于根据目标范围内每辆车辆的行驶状况信 息集合采用 强化学习模型评估车辆的行驶风格， 获得车辆的行驶风格属 性， 所述车辆的行驶风格属 性 用于评价车辆行驶平稳或激进的程度； 车辆驾驶行为层次预测模块， 用于根据车辆行驶风格层次预测模块输出的含有车辆的 行驶风格属性的结构化车辆信息， 采用强化学习模 型， 预测特定车辆的加速比、 以及变道到 各车道的变道概 率。 2.如权利要求1所述的基于层次强化学习的微观 交通流预测系统， 其特征在于， 所述加 速比用于表征 该车辆在预测时刻的瞬时车速相对于当前时刻的瞬时车速变化 程度和趋势。 3.如权利要求1所述的基于层次强化学习的微观 交通流预测系统， 其特征在于， 所述目 标范围内每辆车辆的行驶状况信息集 合为沙盘系统可用的结构化车辆数据。 4.如权利要求1所述的基于层次强化学习的微观 交通流预测系统， 其特征在于， 所述车 辆行驶风格层次预测模块采用的强化学习模型和所述辆驾驶行为模块采用的强化学习模 型分别为DQ N模型、 DDPG模型、 或A3 C模型。 5.如权利要求1所述的基于层次强化学习的微观 交通流预测系统， 其特征在于， 所述目 标范围内每辆车辆的行驶状况信息集合表示为目标范围内车辆位置矩阵Wv×Lv×Cv； 所述 车辆位置矩阵Wv×Lv×Cv， 用于存储车辆位置及车辆属性信息， 其中Wv表示车道， Lv表示车道 内的位置单元， Cv为车辆属性向量， 车辆属性向量包括车辆速度、 车辆平均行驶速度、 加速 度、 减速度、 跟车距离、 用于唯一标记车辆的车辆标识符、 和 /或历史位置信息序列， 例如用 连续K个时刻该位置的车辆属性 来体现K个观测时间周期的历史位置信息序列。 6.如权利要求5所述的基于层次强化学习的微观 交通流预测系统， 其特征在于， 所述车 辆行驶风格层次预测模块采用的强化学习模型状态空间为结构化车辆路况信息构成的张 量， 状态定义 为车辆位置矩阵； 动作空间定义为车辆行驶风格属性n， n为从1到N的离散值， 用来描述车辆行驶的平稳 程度； 输出为车辆位置矩阵， 其车辆属性向量含有为当前时刻的路上车辆对应的车辆行驶风 格属性n。 7.如权利要求6所述的基于层次强化学习的微观 交通流预测系统， 其特征在于， 所述含 有车辆的行驶风格属性的结构化车辆信息， 可为所述车辆行驶风格层次预测模块采用的目 标范围内每辆车辆的行驶状况信息集合叠加车辆的行驶风格属性形成的结构化车辆信息， 亦可表示为待预测范围内车辆位置矩阵Wv×Lv×Cv’； 所述车辆位置矩阵Wv×Lv×Cv’， 用于 存储车辆位置及含有车辆的行驶风格属性 的车辆属性信息， 可表示为Wv×Lv×Cv’， 其中Wv 表示车道， Lv表示车道内的位置单元， Cv’为车辆属性向量， 车辆属性向量包括车辆的行驶风 格属性。 8.如权利要求4所述的基于层次强化学习的微观 交通流预测系统， 其特征在于， 所述辆 驾驶行为模块采用的强化学习模型状态空间为结构化车辆路况信息构成的张量； 优选以特 定车辆为中心， 取其周围预设范围内的结构化车辆信息 定义为状态； 动作空间为加速比和变道概 率组成的二元组。权　利　要　求　书 1/2 页 2 CN 114495486 A 29.如权利要求1所述的基于层次强化学习的微观 交通流预测系统， 其特征在于， 按照如 下方法训练： 重复以下步骤(1)和(2)直至微观交通 流预测系统收敛； (1)固定车辆行驶风格层次预测模块或车辆驾驶行为层次预测模块的强化学习模型， 对车辆驾驶行为层次预测模块或车辆行驶 风格层次预测模块， 进行训练直至收敛； (2)固定车辆行驶风格层次预测模块或车辆驾驶行为层次预测模块的强化学习模型， 对车辆驾驶行为层次预测模块或车辆行驶 风格层次预测模块， 进行训练直至收敛。 10.如权利要求9所述的基于层次强化学习的微观交通流预测系统， 其特征在于， 所述 系统训练采用奖励函数为每一观察时刻离开目标范围的车辆数量的预测 值与真实值的累 计误差。权　利　要　求　书 2/2 页 3 CN 114495486 A 3