(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210923498.3 (22)申请日 2022.08.02 (65)同一申请的已公布的文献号 申请公布号 CN 114952873 A (43)申请公布日 2022.08.30 (73)专利权人 季华实验室 地址 528200 广东省佛山市南海区桂城街 道环岛南路28号 (72)发明人 付鑫　韩乐　 (74)专利代理 机构 佛山市海融科创知识产权代 理事务所(普通 合伙) 44377 专利代理师 莫荣津 (51)Int.Cl. B25J 9/16(2006.01) G06T 17/00(2006.01)G06T 7/207(2017.01) (56)对比文件 CN 113305851 A,2021.08.27 CN 113752264 A,2021.12.07 CN 112070835 A,2020.12.1 1 CN 111496781 A,2020.08.07 CN 106156425 A,2016.1 1.23 CN 10971973 0 A,2019.0 5.07 US 6233538 B1,20 01.05.15 审查员 沈珍 (54)发明名称 一种机械臂三维重建方法、 装置、 电子设备 和存储介质 (57)摘要 本发明涉及虚拟工厂的数字孪生模型搭建 领域， 具体为一种机械臂三维重建方法、 装置、 电 子设备和存储介质。 该机械臂三维重建方法包括 步骤： 基于已装配的机械臂， 获取机械臂各个手 臂的零件模 型； 获取多张不同位姿下机械臂的第 一图像； 根据第一图像， 获取机械臂各个手臂之 间的关节的关节点坐标； 根据关节 点坐标识别出 机械臂各个手臂之间的关节的自由度； 根据自由 度对零件模 型添加运动约束， 得到机械臂的数字 孪生动态模型， 本发明采取部分重建、 整体装配 的思想通过向三维重建技术生成的静态零件模 型添加运动约束进而搭建出可进行仿真运动的 机械臂数字 孪生动态模型。 权利要求书2页 说明书8页 附图3页 CN 114952873 B 2022.10.18 CN 114952873 B 1.一种机械臂三维重建方法， 用于搭建出机械臂的数字孪生动态模型， 其特征在于， 包 括步骤： S1.基于已装配的机 械臂， 获取 所述机械臂各个 手臂的零件 模型； S2.获取多张不同位姿下 所述机械臂的第一图像； S3.根据所述第一图像， 获取 所述机械臂各个 手臂之间的关节的关节点 坐标； S4.根据所述关节点 坐标识别出 所述机械臂各个 手臂之间的关节的自由度； S5.根据所述自由度对所述零件模型添加运动约束， 得到所述机械臂的数字孪生动态 模型。 2.根据权利要求1所述的机械臂三维重建方法， 其特征在于， 步骤S1中的具体步骤包 括： S11.获取所述机械臂从多个采集层拍摄所得的第二图像， 所述采集层从上往下间隔排 布， 且每个所述采集层均包括多个拍摄点， 所述机 械臂被所有所述拍摄点所包围； S12.利用soloV2语义分割模型对所有所述第二图像进行分割处理， 得到所述机械臂各 个手臂在不同视角下的多个零件图片； S13.根据所述 零件图片， 利用co lmap算法重建出 所述机械臂各个 手臂的零件 模型。 3.根据权利要求1所述的机械臂三维重建方法， 其特征在于， 步骤S2中的具体步骤包 括： S21.获取 所述机械臂的运动视频； S22.从所述 运动视频中以第一预设时间为间隔截取 所述第一图像。 4.根据权利要求1所述的机械臂三维重建方法， 其特征在于， 步骤S3中的具体步骤包 括： S31.将所述第一图像输入到预先训练好的基于DAS算法的3D位姿估计模型中， 得到所 述关节点 坐标。 5.根据权利要求4所述的机械臂三维重建方法， 其特征在于， 所述3D位姿估计模型通过 以下训练步骤训练得到： A1.获取不同位姿下 所述机械臂的第三图像； A2.获取各个所述第三图像中所述机 械臂各个 手臂之间的关节的真实坐标； A3.根据所述第三图像和所述真实坐标， 获取多组训练数据， 每组所述训练数据均包括 一张所述第三图像和对应的所述真实坐标； A4.将所述训练数据输入到待训练的3D位姿估计模型中进行训练， 得到完成训练的3D 位姿估计模型。 6.根据权利要求5所述的机械臂三维重建方法， 其特征在于， 步骤A2中的具体步骤包 括： A21.利用激光追踪仪获取所述机械臂的末端执行器在激光追踪仪坐标系下的第一坐 标； A22.将所述第一 坐标换算至所述机 械臂的基座 坐标系中， 得到第二 坐标； A23.基于所述第 二坐标， 通过逆运动学计算获得所述机械臂上各个手臂之间的关节的 所述真实坐标。 7.根据权利要求3所述的机械臂三维重建方法， 其特征在于， 步骤S4中的具体步骤包权　利　要　求　书 1/2 页 2 CN 114952873 B 2括： S41.获取目标时刻下目标关节的关节点坐标， 所述目标时刻为任一个所述第一图像在 所述运动视频中对应的截取时刻， 所述目标关节为所述机械臂各个手臂之 间的关节中的任 一个关节； S42.获取 所述目标时刻的下一个时刻的目标关节的关节点 坐标； S43.对比所述目标时刻下目标关节的关节点坐标和所述目标时刻的下一个时刻的目 标关节的关节点 坐标， 得到坐标轴数值未发生变化的坐标轴并作为目标坐标轴； S44.根据所述目标坐标轴， 判断所述目标关节的自由度。 8.一种机械臂三维重建装置， 用于搭建出机械臂的数字孪生动态模型， 其特征在于， 所 述机械臂三维重建装置包括： 第一获取模块， 用于基于已装配的机 械臂， 获取 所述机械臂各个 手臂的零件 模型； 第二获取模块， 用于获取多张不同位姿下 所述机械臂的第一图像； 第三获取模块， 用于根据所述第一图像， 获取所述机械臂各个手臂之间的关节的关节 点坐标； 识别模块， 用于根据所述关节点坐标识别出所述机械臂各个手臂之间的关节的自由 度； 约束模块， 用于根据所述自由度对所述零件模型添加运动约束， 得到所述机械臂 的数 字孪生动态模型。 9.一种电子设备， 其特征在于， 包括处理器以及存储器， 所述存储器存储有计算机可读 取指令， 当所述计算机可读取指 令由所述处理器执行时， 运行如权利要求 1‑7中的任一项 所 述机械臂三维重建方法中的步骤。 10.一种存储介质， 其上存储有计算机程序， 其特征在于， 所述计算机程序被处理器执 行时运行如权利要求1 ‑7中的任一项所述机 械臂三维重建方法中的步骤。权　利　要　求　书 2/2 页 3 CN 114952873 B 3