(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210866257.X (22)申请日 2022.07.22 (71)申请人 江苏理工学院 地址 213001 江苏省常州市中吴大道1801 号 (72)发明人 薛波　蒋帅　李林丰　 (74)专利代理 机构 常州佰业腾飞专利代理事务 所(普通合伙) 32231 专利代理师 陈红桥 (51)Int.Cl. G06T 7/73(2017.01) G06T 17/00(2006.01) G06T 19/00(2011.01) G06V 10/26(2022.01) G06V 10/82(2022.01)G06N 3/04(2006.01) (54)发明名称 基于目标检测和视觉SLAM的室内定位方法 和装置 (57)摘要 本发明提供一种基于目标检测和视觉SLAM 的室内定位方法和装置， 其中， 所述方法包括以 下步骤： 通过采集机器人携带的RGB ‑D相机获取 整个室内的环 境图像序列； 构建室内三维点云地 图； 对关键帧进行语义分割， 并采用目标检测模 型对关键帧进行检测， 以获取关键帧中物体的类 别信息； 将关键帧中物体的类别信息融合到室内 三维点云地图中， 以构建室内三维语义地图； 通 过RGB‑D相机获取待定位机器人当前所在位置的 环境图像； 获取待定位机器人当前所在位置的环 境图像中物体的类别信息； 估算待定位机器人在 室内的粗略位置； 通过RGB ‑D相机获取所拍摄的 物体与待定位机器人之间的距离， 并结合待定位 机器人在室内的粗略位置， 得到待定位机器人在 室内的精确位置 。 权利要求书2页 说明书9页 附图3页 CN 115375761 A 2022.11.22 CN 115375761 A 1.一种基于目标检测 和视觉SLAM的室内定位方法， 其特 征在于， 包括以下步骤： 通过采集机器人携带的RGB ‑D相机获取整个室内的环境图像序列； 根据所述环境图像序列， 采用SLAM算法构建 室内三维点云地图； 对所述环境图像序列中的关键帧进行语义分割， 并采用目标检测模型对所述关键帧进 行检测， 以获取 所述关键帧中物体的类别 信息； 将所述关键帧中物体的类别信 息融合到所述室内三维点云地图中， 以构建室内三维语 义地图； 通过处于所述室内的待定位机器人携带的RGB ‑D相机获取所述待定位机器人当前所在 位置的环境图像； 采用所述目标检测模型对所述待定位机器人当前所在位置的环境图像进行检测， 以获 取所述待定位机器人当前 所在位置的环境图像中物体的类别 信息； 根据所述待定位机器人当前所在位置的环境图像中物体的类别信息和所述室内三维 语义地图， 估算所述待定位机器人在所述室内的粗略位置； 通过所述待定位机器人携带的RGB ‑D相机获取所拍摄的物体与所述待定位机器人之间 的距离， 并结合所述待定位机器人在所述室内的粗略位置， 得到所述待定位机器人在所述 室内的精确位置 。 2.根据权利要求1所述的基于目标检测和视觉SLAM的室内定位方法， 其特征在于， 采用 Deeplab V3 plus算法对所述环境图像序列中的关键帧进行语义分割， 所述目标检测 模型 为SSD模型。 3.根据权利要求2所述的基于目标检测和视觉SLAM的室内定位方法， 其特征在于， 采用 八叉树结构存储所述室内三 维点云地图， 并在所述室内三维点云地图中融入物体类别标签 以构建所述室内三维语义 地图。 4.根据权利要求3所述的基于目标检测和视觉SLAM的室内定位方法， 其特征在于， 所述 室内的物体为位置固定的物体， 包括沙发、 茶 几、 餐桌、 床、 衣柜、 洗衣机、 冰箱中的一个或多 个。 5.根据权利要求4所述的基于目标检测和视觉SLAM的室内定位方法， 其特征在于， 通过 飞行时间法获取 所拍摄的物体与所述待定位机器人之间的距离 。 6.一种基于目标检测 和视觉SLAM的室内定位装置， 其特 征在于， 包括： 第一获取模块， 所述第一获取模块用于通过采集机器人携带的RGB ‑D相机获取整个室 内的环境图像序列； 第一构建模块， 所述第一构建模块用于根据所述环境图像序列， 采用SLAM算法构建室 内三维点云地图； 第一检测模块， 所述第一检测模块用于对所述环境图像序列中的关键帧进行语义分 割， 并采用目标检测模型对所述关键帧进行检测， 以获取 所述关键帧中物体的类别 信息； 第二构建模块， 所述第 二构建模块用于将所述关键帧中物体的类别信 息融合到所述室 内三维点云地图中， 以构建 室内三维语义 地图； 第二获取模块， 所述第二获取模块用于通过处于所述室内的待定位机器人携带的RGB ‑ D相机获取 所述待定位机器人当前 所在位置的环境图像； 第二检测模块， 所述第 二检测模块用于采用所述目标检测模型对所述待定位机器人当权　利　要　求　书 1/2 页 2 CN 115375761 A 2前所在位置的环境图像进 行检测， 以获取所述待定位机器人当前所在位置的环境图像中物 体的类别 信息； 估算模块， 所述估算模块用于根据 所述待定位机器人当前所在位置的环境图像中物体 的类别信息和所述室内三维语义 地图， 估算所述待定位机器人在所述室内的粗略位置； 定位模块， 所述定位模块用于通过所述待定位机器人携带的RGB ‑D相机获取所拍摄的 物体与所述待定位机器人之间的距离， 并结合所述待定位机器人在所述室内的粗略位置， 得到所述待定位机器人在所述室内的精确位置 。 7.根据权利要求6所述的基于目标检测和视觉SLAM的室内定位装置， 其特征在于， 所述 第一检测模块采用Deeplab  V3 plus算法对所述环境图像序列中的关键帧进行语义分割， 所述目标检测模型为S SD模型。 8.根据权利要求7所述的基于目标检测和视觉SLAM的室内定位装置， 其特征在于， 所述 第二构建模块采用八叉树结构存储所述室内三维点云地图， 并在所述室内三 维点云地图中 融入物体 类别标签以构建所述室内三维语义 地图。 9.根据权利要求8所述的基于目标检测和视觉SLAM的室内定位装置， 其特征在于， 所述 室内的物体为位置固定的物体， 包括沙发、 茶 几、 餐桌、 床、 衣柜、 洗衣机、 冰箱中的一个或多 个。 10.根据权利要求9所述的基于目标检测和视觉SLAM的室内定位装置， 其特征在于， 所 述定位模块 通过飞行时间法获取 所拍摄的物体与所述待定位机器人之间的距离 。权　利　要　求　书 2/2 页 3 CN 115375761 A 3