(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210899599.1 (22)申请日 2022.07.28 (71)申请人 北京大学第三医院 （北京大 学第三 临床医学院） 地址 100191 北京市海淀区花园北路49号 (72)发明人 韩永正　郭江真　付铭明　贾斐　 张佳楠　原青　黄河　闵栋　 郭向阳　 (74)专利代理 机构 北京天达知识产权代理事务 所有限公司 1 1386 专利代理师 庞许倩 (51)Int.Cl. A61M 16/04(2006.01) A61B 34/10(2016.01) A61B 34/20(2016.01)A61B 90/00(2016.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 15/04(2011.01) G06T 17/00(2006.01) (54)发明名称 一种自动气管插管导 航方法及计算机设备 (57)摘要 本发明涉及一种自动气管插管导航方法及 计算机设备， 属于医疗器械技术领域； 本发明的 气管插管导航方法包括： 获取插 管设备前端探头 在气管内当前位置的结构光图像以及双目立体 视觉图像； 对 所述结构光图像以及双目立体视觉 图像分别进行三维重建， 得到当前位置的第一三 维模型和第二三维模型； 对所述第一三维模型和 第二三维模 型进行特征点融合， 得到融合后的当 前位置的第三三维模型； 基于所述第三三维模 型， 预测得到前端探头的下一步导航方向。 解决 了现有技术中的气管插管导航方法无法自动获 取高精度的图像及位置信息， 依靠医生的经验和 判断进行手动或半自动操作， 无法实现全自动气 管插管以及由于人为因素造成误判给患者带来 风险的问题。 权利要求书2页 说明书9页 附图3页 CN 115317747 A 2022.11.11 CN 115317747 A 1.一种自动气管插管导 航方法， 其特 征在于， 包括以下步骤： 获取插管设备 前端探头在气管内当前位置的结构光图像以及 双目立体视 觉图像； 对所述结构光图像以及双目立体视觉图像分别进行三维重建， 得到当前位置的第 一三 维模型和第二 三维模型； 对所述第一三维模型和第 二三维模型进行特征点融合， 得到 融合后的当前位置的第 三 三维模型； 基于所述第三 三维模型， 预测得到前端探 头的下一 步导航方向。 2.根据权利要求1所述的气管插管导航方法， 其特征在于， 利用光源投射条纹结构光， 并通过红外摄像头采集气管内当前位置的结构光图像； 采用格雷码和插值查找算法对所述 结构光图像进行三维重建， 得到所述第一 三维模型。 3.根据权利要求2所述的气管插管导航方法， 其特征在于， 利用光源投射均匀 红外光， 通过两个红外摄像头采集气管内当前位置图像， 得到所述双目视觉图像； 采用立体视觉视 差匹配的方法对所述双目视 觉图像进行三维重建， 得到所述第二 三维模型。 4.根据权利要求3所述的气管插管导航方法， 其特征在于， 所述对所述第 一三维模型和 第二三维模型进行 特征点融合包括： 对第一三维模型和第二 三维模型进行坐标系归一 化； 基于第一三维模型和第二三维模型对应特征点的深度差异和角度差异得到每个特征 点的空间位置差异， 对每个特征点的空间位置差异进行求和， 得到全局特征点空间位置差 异， 最小化全局特 征点空间位置 差异， 构建得到三维融合重建结果； 对所述三维融合重建结果进行平 滑滤波处 理， 得到所述第三 三维模型。 5.根据权利要求4所述的气管插管导航方法， 其特征在于， 通过下式最小化第 一三维模 型和第二 三维模型全局特 征点的空间位置 差异， 构建得到三维融合重建的结果： 其中， ε(Γ)为全局 特征点的空间位置差异； 为第二三维模型中特征点(i,j,k)表 面的垂直单位向量； 为第一三维模型中与特征点(i,j,k)匹配的特征点(i ′,j′,k′)表 面的垂直单位向量； 为第二三维模型中特征点(i,j,k)对应的向量； 为第一三维 模型中特征点(i ′,j′,k′)对应的向量； 表示表面的垂直单位向量夹角差异； 表示特征点对应向量夹角差异； 表示特征点对应向量距离原点 距离差异。 6.根据权利要求1所述的气管插管导 航方法， 其特 征在于， 还 包括： 利用光源投射可见光， 通过摄像头采集气管内当前位置的可见光图像； 利用所述可见 光图像对第三 三维模型进行三维建模贴图操作， 得到气管中当前位置的三维彩色图像； 基于当前位置的所述 三维彩色图像， 辅助判断下一 步导航方向。权　利　要　求　书 1/2 页 2 CN 115317747 A 27.根据权利要求6所述的气管插管导航方法， 其特征在于， 所述判断下一步导航方向包 括： 根据摄像头获取 的图像， 通过预先训练的图像识别模型判断前端探头所在的当前位置 是否为关键位置； 若非关键位置， 则获取当前位置的第三三维模型的三维信息， 并搜索深度最深的方向 坐标， 根据所述深度最深的方向坐标 得到下一 步导航方向； 若为关键位置， 则获取所述图像识别模型的指导导航方向坐标和三维信 息中深度最深 方向的坐标； 若坐标夹角大于预先设置的阈值， 则判断为转角， 以所述深度最深的方向为下 一步导航方向； 若坐标夹角小于阈值， 则以两个坐标中间的方向为下一 步导航方向。 8.根据权利要求7所述的气管插管导航方法， 其特征在于， 所述判断下一步导航方向还 包括通过惯性导航系统对插管探头坐标系与地球坐标系进 行坐标变换， 得到地球坐标系下 三维模型的姿态， 并根据三维模型的所述姿态预测前进方向的坐标。 9.根据权利要求1所述的气管插管导航方法， 其特征在于， 所述预先训练 的图像识别模 型为通过海量样本图片对神经网络模型进 行预先训练得到的辅助诊断模型， 所述样本图片 为带有标注标签的气管内各位置图像， 包括二维图像和三维立体图像； 所述标注标签为标 注关键特 征位置和关键位置指导 导航方向的标签。 10.一种计算机设备， 其特征在于， 包括至少一个处理器， 以及至少一个与所述处理器 通信连接的存 储器； 所述存储器存储有可被所述处理器执行的指令， 所述指令用于被所述处理器执行以实 现权利要求1 ‑9任一项所述的气管插管导 航方法。权　利　要　求　书 2/2 页 3 CN 115317747 A 3