(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210840013.4 (22)申请日 2022.07.18 (71)申请人 南方科技大 学 地址 518055 广东省深圳市南 山区桃源街 道学苑大道1088号 (72)发明人 祝渊　黄皓恬　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 周翀 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/60(2017.01) G06T 7/70(2017.01) G06T 7/80(2017.01) G01J 5/48(2006.01) (54)发明名称 三维热像模型生成方法、 装置、 系统及电子 设备 (57)摘要 本发明公开了一种三维热像模 型生成方法、 装置、 系统及电子设备。 其中， 三维热像模型生成 方法包括： 获取所述标定件的第一可见光图像， 以得到第一内参数和第一外参数； 获取所述标定 件的第一热成像图像， 根据所述第一热成像图像 得到第二内参数； 获取所述标定件的第二可见光 图像和第二热成像图像， 以得到第二外参数； 获 取待测件的第三可见光图像， 并进行三维重建操 作， 得到所述待测件的三维结构模型； 获取所述 待测件的第三热成像图像， 将第三热成像图像与 三维结构 模型通过第二外参数结合， 得到所述待 测件的三维热像模型。 本发明的三维热像模型生 成方法能够简化重建三维热像模 型的操作流程， 从而提高了三维热像模型的精确度。 权利要求书2页 说明书10页 附图6页 CN 114913293 A 2022.08.16 CN 114913293 A 1.三维热像模型生成方法， 其特征在于， 应用于控制器， 所述控制器用于与双目摄像模 组、 红外摄像模组通信连接， 其中， 所述双目摄像模组用于获取可见光图像， 所述红外摄像 模组用于获取 热成像图像， 所述 三维热像模型生成方法包括： 获取标定件的第一可见光图像， 根据所述第一可见光图像进行第一标定操作， 得到第 一内参数和第一外参数； 其中， 所述第一内参数为所述双目摄像模组的相机参数， 所述第一 外参数为所述双目摄 像模组与所述标定件的相对位置参数； 获取所述标定件的第一热成像图像， 根据所述第一热成像图像进行第二标定操作， 得 到第二内参数； 其中， 所述第二内参数为所述红外摄 像模组的相机参数； 获取所述标定件的第 二可见光图像和第 二热成像图像， 根据所述第 二可见光图像和所 述第二热成像图像得到第二外参数； 其中， 所述第二外参数为所述双目摄像模组与所述红 外摄像模组的相对位置参数； 获取待测件的第三可见光图像， 根据所述第三可见光图像、 所述第一内参数和所述第 一外参数进行三维重建操作， 得到所述待测件的三维结构模型； 获取所述待测件的第三热成像图像， 根据 所述第三热成像图像、 所述第 二内参数、 所述 第二外参数和所述 三维结构模型 得到所述待测件的三维热像模型。 2.根据权利要求1所述的三维热像模型生成方法， 其特征在于， 所述标定件包括多个标 志孔； 其中， 多个所述标志孔以阵列形式排列。 3.根据权利要求2所述的三维热像模型生成方法， 其特征在于， 所述根据 所述第一可见 光图像进行第一标定操作， 得到第一内参数和第一外参数， 包括： 根据所述第一可见光图像获取第一像素坐标； 其中， 所述第一像素坐标为所述标志孔 的圆心在第一像素坐标系中的坐标； 根据所述第一可 见光图像设定第一世界坐标系的原点； 根据所述第一世界坐标系的原点得到第一世界坐标； 其中， 所述第一世界坐标为所述 标志孔的圆心在所述第一世界坐标系中的坐标； 根据所述第一像素坐标和所述第一世界坐标计算得到第一内参数； 根据所述第一内参数计算得到第一外参数。 4.根据权利要求3所述的三维热像模型生成方法， 其特征在于， 所述根据 所述第一热成 像图像进行第二标定操作， 得到第二内参数， 包括： 根据所述第一热成像图像获取第二像素坐标； 其中， 所述第二像素坐标为所述标志孔 的圆心在第二像素坐标系中的坐标； 根据所述第一热成像图像设定第二世界坐标系的原点； 根据所述第二世界坐标系的原点得到第二世界坐标； 其中， 所述第二世界坐标为所述 标志孔的圆心在所述第二世界坐标系中的坐标； 根据所述第二像素坐标和所述第二世界坐标计算得到所述第二内参数。 5.根据权利要求4所述的三维热像模型生成方法， 其特征在于， 所述根据 所述第二可见 光图像和所述第二热成像图像得到第二外参数， 包括： 根据所述第二可 见光图像和所述第二热成像图像设定第三世界坐标系的原点； 根据所述第三世界坐标系的原点得到第三世界坐标； 其中， 所述第三世界坐标为所述 标志孔的圆心在所述第三世界坐标系中的坐标；权　利　要　求　书 1/2 页 2 CN 114913293 A 2根据所述第三世界坐标计算得到所述第二外参数。 6.根据权利要求1至5任一项所述的三维热像模型生成方法， 其特征在于， 所述获取所 述待测件的第三可 见光图像， 包括： 获取所述待测件在正弦光栅的不同空间频率下的所述第三可见光图像； 其中， 所述正 弦光栅的空间频率包括： 1、 1/ 3、 1/9、 1/28、 1/85 。 7.根据权利要求6所述的三维热像模型生成方法， 其特征在于， 所述根据 所述第三可见 光图像、 所述第一内参数和所述第一外参数进行三维重建操作， 得到所述待测件的三维结 构模型， 包括： 根据所述第三可 见光图像、 所述第一内参数和所述第一外参数 得到光学参数； 根据所述 光学参数计算得到目标相位； 根据所述目标相位进行三维重建操作， 得到所述 三维结构模型。 8.三维热像模型生成装置， 其特征在于， 应用于控制器， 所述控制器用于与双目摄像模 组、 红外摄像模组通信连接， 其中， 所述双目摄像模组用于获取可见光图像， 所述红外摄像 模组用于获取 热成像图像， 所述 三维热像模型生成装置包括： 标定模块， 所述标定模块用于获取标定件的第一可见光图像， 根据所述第一可见光图 像进行第一标定操作， 得到第一内参数和第一外参数； 获取所述标定件的第一热成像图像， 根据所述第一热成像图像进行第二标定操作， 得到第二内参数； 其中， 所述第一内参数为双 目摄像模组的相机参数， 所述第一外参数为所述双目摄像模组与所述标定件的相对位置参 数， 所述第二内参数为红外摄 像模组的相机参数； 参数获取模块， 所述参数获取模块用于获取所述标定件的第 二可见光图像和第 二热成 像图像， 根据所述第二可见光图像和所述第二热成像图像得到第二外参数； 其中， 所述第二 外参数为所述双目摄 像模组与所述红外摄 像模组的相对位置参数； 三维重建模块， 所述三维重建模块用于获取待测件的第三可见光图像， 根据所述第三 可见光图像、 所述第一内参数和所述第一外参数进行三维重建操作， 得到所述待测件的三 维结构模型； 映射模块， 所述映射模块用于获取所述待测件的第三热成像图像， 根据所述第三热成 像图像、 所述第二内参数、 所述第二外参数和所述三维结构模型得到所述待测件的三维热 像模型。 9.三维热像模型生成系统， 包括： 控制器， 所述控制器用于执 行如权利要求1至7任一项所述的三维热像模型生成方法； 双目摄像模组， 所述双目摄像模组与所述控制器通信连接， 所述双目摄像模组用于获 取可见光图像； 红外摄像模组， 所述红外摄像模组与所述控制器通信连接， 所述红外摄像模组用于获 取热成像图像； 标定件， 所述标定件用于对所述双目摄 像模组和所述红外摄 像模组进行 标定操作。 10.电子设备， 其特 征在于， 包括： 至少一个处 理器， 以及， 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有指令， 所述指令被所述至少一个处理器执行， 以使所述至少一 个处理器执行上述指令时实现如权利要求1至7中任一项所述的三维热像模型生成方法。权　利　要　求　书 2/2 页 3 CN 114913293 A 3