(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210845745.2 (22)申请日 2022.07.19 (65)同一申请的已公布的文献号 申请公布号 CN 114926536 A (43)申请公布日 2022.08.19 (73)专利权人 合肥工业大 学 地址 230009 安徽省合肥市包河区屯溪路 193号 (72)发明人 方宝富　王浩　杨静　张旭　 (74)专利代理 机构 深圳市沈 合专利代理事务所 (特殊普通 合伙) 44373 专利代理师 钱丽华 (51)Int.Cl. G06T 7/73(2017.01) G06T 7/246(2017.01) G06T 7/579(2017.01) G06V 10/26(2022.01) G06V 10/62(2022.01) G06V 10/771(2022.01)G06V 20/10(2022.01) G06V 20/70(2022.01) G06T 17/00(2006.01) G06T 17/05(2011.01) (56)对比文件 CN 110458863 A,2019.1 1.15 CN 110827395 A,2020.02.21 CN 114565675 A,202 2.05.31 CN 114612525 A,202 2.06.10 US 2021213973 A1,2021.07.15 US 2018161986 A1,2018.0 6.14 CN 113516664 A,2021.10.19 CN 114119732 A,202 2.03.01 CN 113031005 A,2021.0 6.25 (续) 审查员 蒋悦 (54)发明名称 一种基于语义的定位与建图方法、 系统及智 能机器人 (57)摘要 本发明涉及一种基于语义的定位与建图方 法、 系统及智能机器人。 该基于语义的定位与建 图方法， 包括获取当前帧图像的矢量特征网络； 对矢量特征网络进行剪枝， 将 矢量特征网络划分 为若干个矢量簇； 检测每一所述矢量簇的运动状 态， 获取动态目标的模糊区域； 结合所述当前帧 图像的语义分割结果， 优化模糊区域； 剔除精确 区域内的动态特征点， 基于最小化重投影误差根 据当前帧图像中静态特征点进行位姿估计； 基于 剔除动态特征点的当前帧图像和位姿信息， 增量 式更新八叉树语义地图。 该方法可无需先验知识 通过纯物理几何方式独立地检测视野中的动态 目标并剔除， 提升机器人在动态环 境下的定位精度， 同时能够建立语义 地图。 [转续页] 权利要求书2页 说明书14页 附图6页 CN 114926536 B 2022.10.14 CN 114926536 B (56)对比文件 Hao Wang,Le Wang,Baofu Fang.Robust Visual Odeomet ry Using Semantic Informati on in Complex Dynamic Scenes. 《Cognitive Sy stems and Signal Processing》 .2021,第594- 601页. 艾青林， 王威， 刘刚江.室内动态 环境下基 于网格分割与双地图耦合的RGB-D SLAM算法. 《机 器人》 .202 2,第44卷(第4期),第431-4 42页. Hao Wang,Yi ncan Wang,Baofu Fang.RGB-D Visual Odometry Based o n Semantic F eature Points in Dynamic Enviro nments. 《Artificial I ntelligence》 .202 2,第334-344 页.2/2 页 2[接上页] CN 114926536 B1.一种基于语义的定位与建图方法， 其特 征在于， 包括： 获取当前帧图像对应的矢量特征网络； 其中， 所述矢量特征网络中的矢量特征用于描 述所述当前帧图像中每两个图像特 征点之间的关联性； 对所述矢量特征网络进行剪枝处理， 去 除无关特征， 以将所述矢量特征网络划分为若 干个矢量簇； 其中， 所述矢量簇用于指示相同目标的矢量特 征集； 检测每一所述矢量簇的运动状态， 确定动态特 征簇； 获取动态目标的模糊区域； 其中， 所述模糊区域为所述动态特征簇对应的最小包围多 边形； 结合所述当前帧图像的语义分割结果， 优化所述模糊区域， 得到所述动态目标的精确 区域， 并剔除所述精确区域内的动态特 征点； 基于最小化重投影误差方式根据所述当前帧图像中的静态特 征点进行位姿估计； 基于剔除动态特征点的当前帧图像以及位姿估计得到的位姿信 息， 增量式更新八叉树 语义地图。 2.如权利要求1所述的一种基于语义的定位与建图方法， 其特征在于， 所述获取当前帧 图像对应的矢量特 征网络， 包括： 对所述当前帧图像进行三角 剖分， 获取三角 剖分网络作为所述矢量特征网络； 其中， 所 述三角剖分网络中每条 连接两个所述图像特 征点的边作为所述矢量特 征。 3.如权利要求1所述的一种基于语义的定位与建图方法， 其特征在于， 所述对所述矢量 特征网络进行剪枝处理， 去除无关特征， 包括： 若所述矢量特征的长度大于第一阈值， 则根 据所述矢量特征 的深度值拟合深度曲线； 其中， 所述深度曲线用于描述所述矢量特征 的深 度变化； 若深度曲线上存在目标点的梯度值大于第 二阈值， 则将所述矢量特征作为无关特征去 除； 其中， 所述目标点在所述矢量特 征在三维坐标系下 所对应的坐标 范围内； 若所述矢量特征的长度不大于第 一阈值， 则计算所述矢量特征关联的两个所述特征点 之间的深度值差； 若所述深度值差大于第三阈值， 则将所述矢量特 征作为无关特 征去除。 4.如权利要求1所述的一种基于语义的定位与建图方法， 其特征在于， 所述检测每一所 述矢量簇的运动状态， 包括： 对第一矢量簇以及第 二矢量簇进行特征匹配， 若所述第 一矢量簇 中与所述第二矢量簇 匹配成功的矢量特 征数小于第五阈值， 则将所述第一矢量簇作为动态特 征簇； 其中， 所述第一矢量簇为所述当前帧图像对应的矢量簇； 所述第二矢量簇为上一帧图 像对应的矢量簇 。 5.如权利要求4所述的一种基于语义的定位与建图方法， 其特征在于， 所述矢量特征通 过绝对坐标和描述子表征； 所述对所述第一矢量簇以及第二矢量簇进行 特征匹配， 包括： 遍历所述第一矢量簇中每一第一矢量特征， 并从所述第二矢量簇中获取第二矢量特 征； 其中， 所述第二矢量特 征为与所述第一矢量特 征的描述子匹配的矢量特 征； 基于所述绝对坐标， 对所述第一矢量特征以及所述第二矢量特征进行匹配验证， 若验 证通过， 则所述第一矢量特 征匹配成功； 若所述第一矢量簇 中匹配成功的第 一矢量特征数小于所述第五阈值， 则将所述第 一矢权　利　要　求　书 1/2 页 2 CN 114926536 B 3