(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210911159.3 (22)申请日 2022.07.29 (71)申请人 北京邮电大 学 地址 100876 北京市海淀区西土城路10号 北京邮电大 学新科研楼627室 (72)发明人 唐进　张晋　顾宝轩　尹建芹　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 孟洋 (51)Int.Cl. G06T 11/00(2006.01) G06T 17/00(2006.01) G06V 10/774(2022.01) G06V 10/82(2022.01) G06V 40/20(2022.01)G06N 3/04(2006.01) (54)发明名称 基于模态引导的多图人体姿态生成方法及 装置 (57)摘要 本发明提出一种基于模态引导的多图人体 姿态生成方法及装置， 其中方法包括， 获取训练 数据集， 训练数据集包括人体动作序列； 将训练 数据集输入模态引导多图模型， 其中模态引导多 图网络包括时序特征增强子网络和特征提取子 网络； 通过时序特征增强子网络对 人体动作序列 进行裁剪， 对后T帧的特征占比进行增强， 获取特 征增强数据集； 同时通过复制最后一帧， 提高输 入序列中最后一帧的贡献度； 根据动作幅度将特 征增强数据集分为多个模态子集； 通过特征提取 子网络对多个模态子集分别进行建模提取特征， 再根据动作幅度的划分方式还原至人体全局姿 态序列。 本发 明实现了由模态引导的对动静态不 同关节点的多图建模。 权利要求书2页 说明书9页 附图6页 CN 115294228 A 2022.11.04 CN 115294228 A 1.一种基于模态引导的多图人体姿态生成方法， 其特 征在于， 包括以下步骤： 获取训练数据集， 所述训练数据集包括人体动作序列； 将所述训练数据集输入模态引导多图模型， 其中所述模态引导多图网络包括 时序特征 增强子网络和特 征提取子网络； 通过所述时序特征增强子网络对所述人体动作序列进行裁剪， 对后T帧的特征占比进 行增强， 获取特征增强数据集； 同时通过复制最后一帧， 提高输入序列中最后一帧的贡献 度； 根据动作幅度将所述特征增强数据集分为多个模态子集， 其中， 所述多个模态子集包 括静止模态子集、 稳定模态子集和活跃模态子集； 通过所述特征提取子网络对所述多个模态子集分别进行建模提取特征， 再根据 所述动 作幅度的划分方式还原至人体全局姿态序列。 2.根据权利要求1所述的方法， 其特 征在于， 还 包括： 将所述人体全局姿态序列与真实姿态序列进行比较， 通过误差反传迭代地对所述模态 引导多图模型进行优化， 获取训练完成的模态引导多图模型。 3.根据权利要求1所述的方法， 其特征在于， 所述通过所述 时序特征增强子网络对所述 人体动作序列进行裁 剪， 对后T帧的特 征占比进行增强， 包括： 将输入序列O复制为M份子序列， 并对M份子序列分别取后[T1， T2，…， Tm]帧， 此时子序列 描述为 每个裁剪后的子序列由一维卷积Cov1进行编码提取子序列特征， 对第m个子序列的特 征Fm的提取表示 为： 4.根据权利要求1所述的方法， 其特征在于， 所述通过复制最后一帧， 提高输入序列中 最后一帧的贡献度， 还 包括： 将输入序列O 的最后一帧PT复制为长度为T的新序列， 并继续采用一维卷积提取其特征 再与上述子序列特 征拼接， 最终得到增强 终帧信息的特 征FTRM， 表示为： FTRM＝Concat(F1， F2，…FM， FT)。 5.根据权利要求1所述的方法， 其特征在于， 所述根据动作幅度将所述特征增强数据集 分为多个模态子集， 包括： 通过计算各关节点在相邻帧Δt内位移大小Δx来衡量该关节运动能量大小， 构建不同 模态关节轨迹的多图网络， 根据所述多图网络将所述特征增强数据集分为静止模态子集、 稳定模态子集和活跃模态子集。 6.根据权利要求1所述的方法， 其特征在于， 所述通过所述特征提取子网络对所述多个 模态子集分别进行建模提取 特征， 包括： 采用图卷积层分路来构建各模态子集的关节运动规律， 当建模包含K个节点的图结构 数据时， 图卷积层运 算方式表示 为： H(p+1)＝σ(A(p)H(p)W(p))，权　利　要　求　书 1/2 页 2 CN 115294228 A 2其中， W(p)为第p层图卷积层的可学习参数， 可更新矩阵A(p)为邻接矩阵学习特征H(p)内 各节点之间的边权 重， 每层图卷积层衔接非线性激活函数σ( ·)和失活操作。 7.根据权利要求2所述的方法， 其特征在于， 所述将所述人体全局姿态序列与真实姿态 序列进行比较， 通过误差反传迭代地对所述模态引导多图模型进行优化， 包括： 采用MPJPE作 为评价指标； 具体包括取Ti+To长度的序列作 为一个样本， 并将前Ti帧输至 网络， 得到由预测关节点 位置 组成的长度为To的预测序列 再与长度为to的真实姿态序 列S按如下公式计算MPJPE： 其中， Jt， k代表真实姿态序列中第k关节在t时刻的3D坐标， 代表生成的结果序列中 第k关节在t时刻的3D坐标， To和N分别代 表输出序列长度以及人体骨架点个数。 8.一种基于模态引导的多图人体姿态生成装置， 其特 征在于， 包括以下模块： 获取模块， 用于获取训练数据集， 所述训练数据集包括人体动作序列； 输入模块， 用于将所述训练数据集输入模态引导多图模型， 其中所述模态引导多图网 络包括时序特 征增强子网络和特 征提取子网络； 增强模块， 用于通过所述 时序特征增强子网络对所述人体动作序列进行裁剪， 对后T帧 的特征占比进 行增强， 获取特征增强数据集； 同时通过复制最后一帧， 提高输入序列中最后 一帧的贡献度； 划分模块， 用于根据动作幅度将所述特征增强数据集分为多个模态子集， 其中， 所述多 个模态子集包括静止模态子集、 稳定模态子集和活跃模态子集； 提取模块， 用于通过所述特征提取子网络对所述多个模态子集分别进行建模提取特 征， 再根据所述动作幅度的划分方式还原至人体全局姿态序列。 9.根据权利要求8所述的装置， 其特 征在于， 还 包括优化模块， 用于： 将所述人体全局姿态序列与真实姿态序列进行比较， 通过误差反传迭代地对所述模态 引导多图模型进行优化， 获取训练完成的模态引导多图模型。 10.一种计算机设备， 其特征在于， 包括存储器、 处理器及存储在所述存储器上并可在 所述处理器上运行的计算机程序， 所述处理器执行所述计算机程序时， 实现如权利要求 1‑7 中任一所述的基于模态引导的多图人体姿态生成方法。权　利　要　求　书 2/2 页 3 CN 115294228 A 3