(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210899630.1 (22)申请日 2022.07.28 (71)申请人 北京大学第三医院 （北京大 学第三 临床医学院） 地址 100191 北京市海淀区花园北路49号 (72)发明人 韩永正　付铭明　刘畅　贾斐　 黄河　原青　郭江真　朱罡　王豫　 谭宏宇　郭向阳　 (74)专利代理 机构 北京天达知识产权代理事务 所有限公司 1 1386 专利代理师 庞许倩 (51)Int.Cl. A61M 16/04(2006.01) A61B 1/267(2006.01) A61B 1/04(2006.01)A61B 1/06(2006.01) A61B 34/20(2016.01) G06T 15/04(2011.01) G06T 17/00(2006.01) (54)发明名称 基于结构光 立体视觉的气管插管导 航系统 (57)摘要 本发明涉及一种基于结构光立体视觉的气 管插管导航系统， 包括光源模块、 气管识别模块、 数据处理模块和控制模块； 光源模块包括光源、 光纤和滤波片， 用于为导管探头的当前位置投射 结构光、 红外光或可见光； 气管识别模块包括第 一摄像头模块和第二摄像头模块， 设置于导管探 头内， 用于获取气管内的图像； 数据处理模块用 于对获取的气管内的图像进行融合处理， 并基于 融合处理后得到的图像， 利用预先训练的图像识 别模型判定下一步导航方向； 控制模块与导管探 头连接， 用于驱动导管探头根据下一步导航方向 引导导管探头移动。 解决了 现有技术中的气管插 管导航系统需要依靠医生的经验和判断进行手 动或半自动操作， 无法实现全自动气管插管的问 题。 权利要求书2页 说明书10页 附图5页 CN 115252992 A 2022.11.01 CN 115252992 A 1.一种基于结构光立体视觉的气管插管导航系统， 其特征在于， 包括： 光源模块、 气管 识别模块、 数据处 理模块和控制模块； 所述光源模块用于为 导管探头的当前位置投射 不同的环境 光； 所述气管识别模块包括第一摄像头模块和第二摄像头模块， 设置于导管探头内， 通过 设置于导管内的数据传输线与所述数据处 理模块通信连接， 用于获取气管内的图像； 所述数据处理模块用于对获取的气管内的图像进行三维融合处理， 并基于 融合处理后 得到的三维图像， 利用预 先训练的图像识别模型判定下一 步导航方向； 所述控制模块用于根据 预设的流程控制所述光源模块产生不同的环境光， 并控制所述 气管识别模块根据当前的环境光通过对应的摄像头模块 获取图像； 所述控制模块还用于通 过设置于导管内的电机驱动线驱动所述探 头根据下一 步所述导航方向引导探 头移动。 2.根据权利要求1所述的气管插管导航系统， 其特征在于， 所述光源模块包括光源、 光 纤、 滤光片、 透镜组和光栅； 所述滤光片、 透镜组和光栅均通过电机驱动线与所述控制模块 连接； 所述光源发出的光束经过依次设置于光纤的光束入射端的一组滤光片和透镜组进 行 滤波整形后， 得到均匀的平行光； 所述平行光经过光纤传导到光纤的光束 出射端， 所述光束 出射端出射的光束再依 次经过另一组滤光片、 透镜组和光栅滤波整形后输出， 为气管内探 头当前位置提供 结构光、 红外光或可 见光。 3.根据权利要求2所述的气管插管导航系统， 其特征在于， 所述第 一摄像头模块包括一 个红外摄 像头， 用于在所述 光源模块投射结构光的状态下获取气管内的结构光图像； 所述第二摄像头模块包括两个相同的红外摄像头， 用于在所述光源模块投射红外光的 条件下， 获取双目视 觉图像。 4.根据权利要求1所述的气管插管导航系统， 其特征在于， 所述系统还包括可见光摄像 头模块， 所述可见光摄像头模块包括至少一个可见光摄像头； 所述可见光摄像头设置于探 头内， 通过设置于导管内的数据传输线与所述数据 处理模块通信连接， 用于在光源模块投 射可见光的状态下， 采集气管内当前位置的可见光图像； 利用所述可见光图像对融合处理 后得到的所述 三维图像进行三维建模贴图操作， 得到气管中当前位置的三维彩色图像； 基于当前位置的所述 三维彩色图像， 辅助判断下一 步导航方向。 5.根据权利要求1所述的气管插管导航系统， 其特征在于， 还包括惯性导航模块， 所述 惯性导航模块包括加速度计、 磁力计和陀螺仪； 所述惯性导航模块通过设置于导管内的数 据传输线与所述数据处理模块通信连接， 并将获取的导管探头在导管探头坐标系下的姿态 信息发送至数据处理模块， 数据处理模块将所述导管探头坐标系下的姿态信息转换至地球 坐标系得到地球坐标系下的导管探头姿态信息， 并基于地球坐标系下的导管探头姿态信息 得到地球坐标系下的所述三 维模型的姿态， 并根据三 维模型的所述姿态预测前进方向的坐 标。 6.根据权利要求3所述的气管插管导航系统， 其特征在于， 所述数据处理模块用于对获 取的气管内的图像进行三维融合处 理， 包括： 对所述结构光图像和双目视觉图像分别进行三维重建， 得到结构光三维模型和双目视 觉三维模型； 对所述结构光三维模型和双目视觉三维模型进行特征点融合， 得到三维融合重建模 型；权　利　要　求　书 1/2 页 2 CN 115252992 A 2所述三维融合重建模型用于判定下一 步导航方向。 7.根据权利要求6所述的气管插管导航系统， 其特征在于， 对所述结构光三维模型和双 目视觉三维模型进行 特征点融合， 包括： 对结构光 三维模型和双目视 觉三维模型进行坐标系归一 化； 基于结构光三维模型和双目视觉三维模型对应的两个特征点的深度差异和角度差异 得到每个特征点的空间位置差异， 对于每个特征点的空间位置差异进行求和， 得到全局特 征点空间位置 差异， 最小化全局特 征点空间位置 差异， 构建得到三维融合重建结果； 对所述三维融合重建结果进行平 滑滤波处 理， 得到所述 三维融合重建模型。 8.根据权利要求7所述的气管插管导航系统， 其特征在于， 通过下式最小化结构光三维 模型和双目视 觉三维模型全局特 征点的空间位置 差异， 构建得到三维融合重建的结果： 其中， ε(Γ)为全局特征点的空间位置差异； 为双目视觉三维模型中特征点(i,j, k)表面的垂直单位向量； 为结构光三维模型中与特征点(i,j,k)匹配的特征点(i ′, j′,k′)表面的垂直单位向量； 为双目视觉三维模型中特征点(i,j,k)对应的向量； 为结构光三维模型中特征点(i ′,j′,k′)对应的向量。 表示表面的垂直 单位向量夹角差异； 表示特征点对应向量夹角差异； 表示特征 点对应向量距离原点距离 差异。 。 9.根据权利要求6所述的气管插管导航系统， 其特征在于， 所述判断下一步导航方向包 括： 根据摄像头获取 的图像， 通过预先训练的图像识别模型判断导管探头所在的当前位置 是否为关键位置； 若非关键位置， 则获取当前位置的三维融合重建模型的三维信息， 并搜索深度最深的 方向坐标， 根据所述深度最深的方向坐标 得到下一 步导航方向； 若为关键位置， 则获取所述图像识别模型的指导导航方向坐标和三维信 息中深度最深 方向的坐标； 若坐标夹角大于预先设置的阈值， 则判断为转角， 以所述深度最深的方向为下 一步导航方向； 若坐标夹角小于阈值， 则以两个坐标中间的方向为下一 步导航方向。 10.根据权利要求9所述的气管插管导航系统， 其特征在于， 所述预先训练的图像识别 模型为通过海量样本图片对神经网络模型进 行预先训练得到的辅助诊断模 型， 所述样本图 片为带有标注标签的气管内各位置图像， 包括二维 图像和三维立体图像； 所述标注标签为 标注关键特 征位置和关键位置指导 导航方向的标签。权　利　要　求　书 2/2 页 3 CN 115252992 A 3