(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221084940 0.4 (22)申请日 2022.07.19 (71)申请人 华中科技大 学同济医学院附属协和 医院 地址 430050 湖北省武汉市解 放大道127 7 号 (72)发明人 刘蓬然　叶哲伟　 (74)专利代理 机构 北京云嘉 湃富知识产权代理 有限公司 1 1678 专利代理师 程凌军 (51)Int.Cl. G06T 19/00(2011.01) G06T 17/00(2006.01) G06F 3/04815(2022.01) G16H 40/67(2018.01) (54)发明名称 一种基于混合现实技术的远程骨科手术指 导装置和操作方法 (57)摘要 本申请涉及一种基于混合现实技术的远程 骨科手术指导装置和操作方法。 该远程骨科手术 指导装置包括： 本地设备和远程设备； 其中， 本地 设备包括： 采集设备、 混合 现实设备Hololen s、 本 地5G通讯终端， 远程 设备所括： 头戴式显示器、 远 程控制终端、 计算机设备、 以及远程5G通 讯终端。 通过操作远程骨科手术指导装置， 一名或多名远 程专家在混合现实环境中实时接收到来自工作 环境中的一名或多名本地用户共享的信息， 并为 本地用户远程 提供手术指导操作。 权利要求书1页 说明书6页 附图2页 CN 115205500 A 2022.10.18 CN 115205500 A 1.一种远程骨科手术指导装置， 其包括： 本地设备和远程设备； 其中， 所述本地设备包括： 采集设备、 混合现实设备Hololens、 本地5G通讯终端， 所述采集设 备和混合现实设备Ho lolens连接 至本地5G通讯终端； 所述远程设备所括： 头戴式显示器、 远程控制终端、 计算机设备、 以及远程5G通讯终端； 所述头戴式显示器与远程控制终端 连接于计算机设备， 所述计算机 设备连接于远程5 G通讯 终端； 所述本地设备与远程设备通过所述本地5G通讯终端和远程5G通讯终端以无线方式实 现实时数据传输 。 2.根据权利 要求1所述的远程骨科手术指导装置， 其中， 所述混合现实设备Hololens包 括三维建模单 元、 三维显示单 元。 3.根据权利要求2所述的远程骨科手术指导装置， 其中， 所述三维建模单元用于根据 人 体骨骼图像建立虚拟的人体骨骼的三维模型。 4.根据权利要求1所述的远程骨科手术指导装置， 其中， 所述远程控制终端包括手持控 制器和远程跟踪设备。 5.权利要求1～4任一项所述的远程骨科手术指导装置， 其包括至少一组权利要求1所 述本地设备和远程设备的组合。 6.一种权利要求1所述远程骨科手术指导装置的操作方法， 包括： 采集设备采集人体骨骼图像并传输 至混合现实设备Ho lolens； 混合现实设备Hololens通过所述人体骨骼图像构 建虚拟的三维人体骨骼模型； 并将所 述虚拟的三维人体骨骼模型传输 至远程设备端； 远程专家用户通过远程控制终端的手持控制器完成在虚拟的三维人体骨骼模型上的 虚拟手术操作； 计算机设备合成图像信息生成手术指导影 像， 并传输 至显示终端； 本地用户观看 手术指导影 像。 7.根据权利要求6所述的操作方法， 其中， 所述人体骨骼图像包括X光图像、 CT图像及 MRI图像的至少一种。 8.根据权利要求6所述的操作方法， 其中， 所述计算机设备将接收到的人体骨骼图像和 人体骨骼信息显示在本地设备和远程设备的显示 终端上， 本地设备的显示终端位于 混合现 实设备Ho lolens上， 远程设备的显示终端位于前述头戴 式显示器。 9.根据权利要求6～8任一项所述的操作方法， 其中， 远程控制 终端采集专家用户的手 势和位姿信息， 并将手势和位姿信息传递至计算机设备。 10.根据权利要求9所述的操作方法， 其中， 所述计算机设备接收前述手势和位姿信 息， 并将手势和位姿信息转化为虚拟的手势和位姿图像， 然后 将虚拟的手势和位姿图像与前述 的虚拟的三维人体骨骼模型融合， 生成合并的骨科模拟手术场景图像， 显示在本地设备和 远程设备的显示终端上。权　利　要　求　书 1/1 页 2 CN 115205500 A 2一种基于混合现实技术的远 程骨科手术指导装 置和操作方 法 技术领域 [0001]本申请涉及远程骨科 医疗技术领域， 尤其涉及一种基于混合现实技术的远程骨科 手术指导装置和操作方法。 背景技术 [0002]远程医疗是解决优势医疗资源稀缺与分布不均问题的途径 之一。 国外对于远程医 疗开展的较早， 2006年美国宇航局对国际空间站的宇航员就开展了基于超声影像的远程诊 断指导， 对于可穿戴式高清视频转播下的远程手术指导也较早， 2013年美国伯明翰阿拉巴 马大学利用谷歌眼镜开展了远程虚拟手术。 在国内， 目前基于高清视频的手术指导系统已 经得到了较为广泛的应用， 但是大多 数远程手术指导系统都是基于2D屏幕进 行观看和指示 操作的， 使得专家的远程指导比较粗糙， 现场人员不能清楚直观的明白专家的手术指导操 作。 [0003]骨科手术是外科手术一个重要分支。 针对骨科手术来说， 难度较大的骨科手术需 要多名专家进行会诊， 骨骼是人体重要的组成部位， 在骨科手术过程中， 非常微小的偏差， 会给骨科手术带来 安全隐患。 [0004]因此， 亟需提供一种远程骨科手术指导方法， 为医疗资源稀缺地方实现精准、 微 创、 安全的骨科手术 提供技术支持。 发明内容 [0005]混合现实技术(MR)是虚拟现实技术的进一步发展， 该技术通过在现实场景呈现虚 拟场景信息， 在虚拟世界、 现实世界和用户之 间搭起一个交互反馈的信息回路， 以增强用户 体验的真实感。 混合现实(MR)指的是合并现实和虚拟世界而产生的新的可视化环境。 在新 的可视化环境里物理和数字对象共 存， 并实时互动。 [0006]基于MR的同步共享技术， 骨科专家佩戴VR(虚拟现实)头戴式显示器， 本地用户佩 戴MR头戴式显示器， 将MR头戴式显示器中捕捉到的内容传输到虚拟现实头戴式显示器中， 通过这种方式， 专 家就可以观察到 本地用户在工作环境中正在取 得的进展并提出建议。 [0007]基于以上混合现实技术应用基础， 本申请提供了一种基于混合现实技术的远程骨 科手术指导装置和操作方法。 本申请技 术方案如下： [0008]一种远程骨科手术指导装置， 其包括： 本地设备和远程设备； 其中， [0009]所述本地设备包括： 采集设备、 混合现实设备Hololens、 本地5G通讯终端， 所述采 集设备和混合现实设备Ho lolens连接 至本地5G通讯终端； [0010]所述远程设备所括： 头戴式显示器、 远程控制终端、 计算机设备、 以及远程5G通讯 终端； 所述头戴式显示器与远程控制终端连接于计算机设备， 所述计算机设备连接于远程 5G通讯终端； [0011]所述本地设备与远程设备通过所述本地5G通讯终端和远程5G通讯终端以无线方 式实现实时数据传输 。说　明　书 1/6 页 3 CN 115205500 A 3