(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210847084.7 (22)申请日 2022.07.19 (71)申请人 中国人民解 放军空军 军医大学 地址 710032 陕西省西安市新城区长乐西 路169号 (72)发明人 白石柱　史雨林　商洪涛　刘彦普　 任楠　 (74)专利代理 机构 西安渭之蓝知识产权代理有 限公司 61282 专利代理师 刘振 (51)Int.Cl. G06T 17/00(2006.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06T 17/20(2006.01)G16H 30/40(2018.01) (54)发明名称 一种基于容貌的颅颌面骨骼手术规划的设 计方法 (57)摘要 本发明公开了一种基于容貌的颅颌面骨骼 模型的设计方法， 即通过对患者术前3D容貌进行 编辑， 得到患者预期的术后3D容貌； 再根据此预 期的术后容貌， 用 构建的面部肌肉软组织、 颅颌 面骨骼硬组织映射关系神经网络模 型， 计算出该 预期容貌 所需对应的面部骨骼位置及外形， 得到 需手术实施的颅颌面骨骼模型， 然后根据得到的 面部骨骼模型重建面部骨骼。 (1)利用医学大数 据深度学习， 探究面部软、 硬组织间对应关系这 一临床技术难点。 利用计算机擅长的深度学习神 经网络模型解决医学上模糊不清的问题。 (2)将 面部轮廓整形手术规划， 由现阶段的针对骨骼进 行设计， 转变为以患者预期容貌为指导， 预测预 期容貌下覆骨骼形态， 指导进行手术规划。 更容 易实现患者的预期容貌要求， 降低手术规划的难 度， 减少对医生经验的依赖 。 权利要求书3页 说明书10页 附图4页 CN 115222887 A 2022.10.21 CN 115222887 A 1.一种基于容貌的颅颌面骨骼手术 规划的设计方法， 其特 征在于： (1)数据收集： 构 建若干例正常人颅颌面CT数据 集， 分别采用3D重建颅颌面骨骼和肌肉 软组织模型， 并统一 坐标系， 将数据集对齐， 以STL格式存 储； (2)数据结构化： 将统一对齐的正常人颅颌面软组织和硬组织数据进行点云采样处理， 用ExtractFacePoinst点云采样软件分别对颏部、 下颌角和颧骨区域进行软硬组织配对有 序点云采样； 软硬组织是指颅颌面骨骼和肌肉软组织； (3)构建并训练基于深度有监督学习的卷积神经网络模型， 随机选取若干例样本作为 训练集， 若干例样本中的十 分之一作为验证集， 将软组织点云作为输入层， 对应样本的骨骼 点云作为输出层， 对卷积神经网络模型进行训练； (4)卷积神经网络模型预测效果测试， 将若干例样本做为测试集， 对训练好的神经网络 模型进行测试， 用肌肉软组织点云预测颅颌面骨骼点云， 预测的结果与颅颌面骨骼真实值 比较， 计算模型 预测精度； (5)设计颅颌面骨骼模型， 利用CT数据三维重建的肌肉软组织的3D容貌， 编辑出预期的 3D容貌， 用神经网络模 型预测该容貌下覆的颅颌面骨骼 点云， 进行颅颌面骨骼曲面重 建， 获 得颅颌面骨骼模型。 2.如权利要求1所述的颅颌面骨骼手术 规划的设计方法， 其特 征在于： 所述步骤(1)中， 将原始CT数据导入mimics21.0软件， 进行软硬组织分别三维重建； 骨 骼三维重建CT阈值为： 226～3071， 软 组织三维重建CT阈值为： ‑390～3071， 然后分别进行区 域增长完成分割， 重建得到独立软硬组织3D头颅模型； 原始CT数据库无法看到三维重建后面部软组织外观， 所以mimics软件重建后， 观察软 组织3D模型， 依据排除标准,进一步排除不符合条件的数据； 经过严格纳入排除标准， 将CT 数据进行筛选排除后， 共保留正常青年人头颅CT数据作为正常人颅颌面CT数据集， 并在 mimics21.0软件分别进行重建， 软硬组织3D模型分别以STL格式导出保存。 3.如权利要求1所述的颅颌面骨骼手术规划的设计方法， 其特征在于， 所述步骤(2)中， 按照如下步骤获得 结构化数据： 第一步， 613个数据文件夹以序 号命名； 文件夹内子文件同样以 “序号+Bone/Soft ”分别 命名， 便于查询与索引； 第二步， 统一局部坐标系及世界坐标系； 在GeomagicWrap软件中， 对613对颅颌面软硬 组织模型 统一局部及世界坐标系； 规定世界坐标原 点为软组织颏前点， 定内眦连线为X轴方 向水平向右为 正， 定Z轴为 面中线方向垂直向上为 正， 定眶耳平面 为XY平面的平行面； 第三步， 测量颏前点的软组织厚度； 在软组织模型上依次手动标定颏前点、 双侧内眦点、 鼻根点、 上唇中点， 在硬组织模型 上标定双侧眶下缘点及右外耳道上缘中点， 通过标定点完成样本局部坐标系的确 立； 再将 局部坐标系与世界坐标系 配准； 为完成此任务， 用Python语言编写GeomagicWrap软件脚本 语言执行任务； 第四步， 将结构化处理好的的面部软硬组织3D模型数据以STL格 式导出保存， 同时建立 参数表格， 表格包 含数据编号、 颏 部软组织厚度、 性别、 年龄等要素， 便 于数据检索查询。 4.如权利要求1所述的颅颌面骨骼手术规划的设计方法， 其特征在于， 所述步骤(2)中， 按照如下步骤获得有序点云： 设计一个模拟假想球， 球心 位于软组织感兴趣区域的中心 点，权　利　要　求　书 1/3 页 2 CN 115222887 A 2如任一点A0； 球面与软 组织面相交产生一条 交线； 该交线上任一点A1与过点AO的法线NA0构 成一个平面PA1,该平面绕法线NA0旋转， 每间隔一固定角度θ与上述交线形成一个采样点， 故每条交线上可取的点个数为360/θ； 当C逐渐减小时， 每个交线 上所取的点逐渐增多； 而当 一系列半径r＝1,2,3， ……的球不断与软组织面相交取点时， 在该感兴趣区域就采样到了 有序点云； 过软组织中心点A0的法线NA0于骨面相交于点B0， 利用 和软组织同样的方法， 以 点BO为球心， 可采样到骨面的有序点云。 5.如权利要求1所述的颅颌面骨骼手术规划的设计方法， 其特征在于： 所述步骤(2)中， ExtractFacePoints软件进行配对有序点云采样时， 操作者在面部软组织表面标定的基点 即假想球的球心， 为软组织点云的中心； 同时该基点的法线与骨骼相交， 交点为硬组织骨骼 的点云中心； 假想球的半径间隔决定内外两圈点云前后相邻点距离即点云稠密度， 平面旋 转角度决定点云左右相邻点距离亦即点云密度， 假想球个数决定生成点云的点的总 数量； 操作者进行面部感兴趣区域点云采样， 在设定好调节点云密度和 点云数量的参数后， 只需 在该区域标定一个基点即假想球球心位置， 就会在面部软硬组织表面自动生成采样的点 云， 同时以Excel格式导出软硬组织配对的有序点云的三 维坐标， 表格还包含软硬组织基点 的三维坐标和基点间法线距离即软组织厚度； 颏部区域点云采样时， 选择的软组织基点为颏前点， 该点为软组织颏部最突点， 设定为 颏部区域的点云中心； 点云采样参数设定为： 球最小半径1.5毫米,球半径间隔1.5毫米， 球 数量20个， 平 面边长45毫米， 平 面旋转角度2度； 此采样参数定义的点云信息为： 软硬组织曲 面各取点3600个(180×20， 点云有20层， 每层180个点)。 6.如权利要求1所述的颅颌面骨骼手术规划的设计方法， 其特征在于： 所述步骤(3)中， 构建了一个 “W”形结构的卷积神经网络—FPNet模型(FacePredictionNet)； FPNet模型是一 个包含4层降采样、 4层升采样和类似跳跃连接结构的全卷积网络， 其特点是卷积层在降采 样和升采样部分完全对称， 且降采样端的特征图可以跳过深层采样， 被拼接至对应的升采 样端FPNet模 型的整体结构是对输入点云先编码(下采样)， 再解码(上采样)， 然后回归到跟 原始数据一样大小的点云的分类。 7.如权利要求6所述的颅颌面骨骼模型的设计方法， 其特 征在于： 网络模型由收缩路径和扩 张路径组成； 其中， 收缩路径用于获取上下文信息， 扩 张路径 用于精确的定位， 且两条路径相互对称； 该网络能从极少的训练图像中， 依靠数据增强将有 效的标注数据更为有效地使用； 为了能精准的定位， 收缩路径上提取出来的局部像素特征 会在升采样过程中与新的特征图进行结合， 即： 结合局部信息和全局信息， 通过信息整合提 高像素点类别的预测的准确 性， 以最大程度的保留前面降采样过程一些重要的特征信息； 而为了能使网络结构能更高效的运行， 结构 中是没有全连接层， 这样可以很大程度上减少 需要训练的参数， 并得益于特殊的U形 结构可以很好的保留图片中的所有信息 。 8.如权利要求7所述的颅颌面骨骼手术规划的设计方法， 其特征在于： 收缩路径上是每 两个3×3的卷积层后会跟一个2 ×2的最大池化层， 并且每个卷积层后面采用LeakyReLu激 活函数来对原 始图片进行降采样 操作， 除此之外， 每一次降采样都会增 加一杯通道数。 9.如权利要求7 所述的颅颌面骨骼手术 规划的设计方法， 其特 征在于： 采用训练好的FPNet神经网络模型预测骨骼点云； 把预期容貌采样得到的颏部、 下颌 角、 颧骨三个组的软 组织点云作为输入， 在FPNet网络模型中得到输出即为预测的三个区域权　利　要　求　书 2/3 页 3 CN 115222