(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210887400.3 (22)申请日 2022.07.26 (71)申请人 渭南领智三维科技有限公司 地址 714000 陕西省渭南市高新 技术产业 开发区朝阳大街西段70号增材制造创 新中心产业园2号楼1层 (72)发明人 唐正宗　刘家乐　李磊刚　张培　 卢今吉　 (74)专利代理 机构 深圳新创友知识产权代理有 限公司 4 4223 专利代理师 江耀锋 (51)Int.Cl. G06T 17/00(2006.01) G06T 7/30(2017.01) G06T 7/80(2017.01)G06T 7/11(2017.01) (54)发明名称 一种动态人体的实时重建方法 (57)摘要 本发明公开了一种动态人体的实时重建方 法， 包括如下步骤： 连接人体测量装置； 求解相机 内参数和两相机之间的相对姿态； 参考状态图像 采集； 散斑区域划分； 参考状态三维重建； 时间序 列上的图像采集； 时间序列上人体散斑的三维重 建； 动态三维点云的快速三角化。 在保证重建精 度的前提下， 可以大大提高重建人体数据的点云 密度， 使得重建后的点云数据能够更加充分地表 达人体的局部细节， 能够完成动态人体的实时计 算， 实现人体的在线测量与重建。 权利要求书3页 说明书13页 附图7页 CN 115272573 A 2022.11.01 CN 115272573 A 1.一种动态人体的实时重建方法， 其特 征在于， 所述方法的步骤 包括： S1、 连接人体测量装置， 其中包括第一相机和第二相机； S2、 第一相机和第二相机标定， 求 解相机内参数和两相机之间的相对姿态(R,T)； 其中R和T为第二相机的相机坐标系到第一相机相机坐标系的旋转矩阵和平 移向量； S3、 参考状态图像采集： 将相机采集到的并用于划分计算区域的第一张图像认为是参 考状态图像； 打开散斑投射器， 向人体表面投射散斑， 同时采集人体散斑图像； S4、 散斑区域划分： 根据左图像上的散斑分布区域和人体分布区域， 划分出待计算的区 域， 用于确定左右图像匹配以及重建人体的范围； S5、 参考状态三维重建： 首先在左图像上选取种子点， 然后在极线上下设定条带范围内 搜索种子点的匹配点， 之后完成S4中划分的子区中的所有数据点的匹配， 最后利用S2中标 定的(R,T)， 重建出参 考状态下的人体三维点云； S6、 时间序列上的图像采集： 同时采集人体散斑的图像流； S7、 时间序列上人体散斑的三维重建： 针对S6步骤中采集的图像流， 根据人体动态运动 的连续性， 将前一时刻的散斑数据点相对于参考状态的变形参数直接作为当前时刻对应数 据点的对应初值， 在GPU上完成每一个数据点的精匹配过程， 将匹配结果在CPU 上完成GPU匹 配结果的校验和修复精匹配失败的点； 最后根据步骤S5中的重建方法， 重建出当前状态的 人体的三维点云； S8、 实时输出时间序列上的人体重建后的三维点云。 2.如权利要求1所述的动态人体的实时重建方法， 其特征在于， 所述步骤S1中， 人体测 量装置还包括工作站、 散斑投射器、 相机与散斑投射器控制箱； 通过指令脉冲控制散斑投射 器中的LED光源工作， LED光源产生短波长蓝光， 散斑投射器使所述光源按照光路设计要求 透过散斑片投影在人体表面产生散斑图案 。 3.如权利要求1所述的动态人体的实时重建方法， 其特征在于， 所述步骤S2中， 所述第 一相机和第二相机标定的步骤为： S21、 针对标定所用的依次放置在相机景深范围内的多个不同方位的标定板， 使第一相 机和第二相机同时依次对这多个位置的标定 板进行采集， 共生成多张图像； S22、 对采集图像进行图像处理， 计算标定板上编码点和 非编码点的像素坐标， 利用各 张图像上 的坐标以及标定板上 的三维坐标， 根据光束平差算法， 求解出相 机的内参数以及 相机之间的相对姿态。 4.如权利要求1所述的动态人体的实时重建方法， 其特征在于， 所述步骤S4中， 散斑区 域划分步骤详细为： 采用矩形、 椭圆和多边形三种基本形状工具， 以及三种形状之间的交集、 并集布尔运算 操作， 在参考状态时左相机图像上， 选择出形状复杂的待计算的散斑区域， 用于后续图像匹 配的计算范围。 5.如权利要求1所述的动态人体的实时重建方法， 其特征在于， 所述步骤S5中， 参考状 态三维重建的步骤为： S51、 种子点选取， 根据种子点的分布的间隔步长参数在第一相机采集图像上自动选择 种子点阵列， 种子点阵列表示 为(xLij,yLij)， 其中i＝0,1…n； j＝0,1 …n； S52、 种子点的粗匹配， 根据S2中相机标定的第一相机和第二相机的相对姿态(R,T)， 利权　利　要　求　书 1/3 页 2 CN 115272573 A 2用双视几何中的极线约束， 求解出种子点(xLij,yLij)在第二相机采集图像(右图像)上的估 计位置(xRij,yRij)， 该位置在右图像上对应于一条线； 采用左右图像子区的相关性策略， 如归一化互相关函数(NCC)， 在极线的条带范围内进 行整像素搜索， 选取相关系数最大的点作为匹配点， 得到种子点匹配的整像素坐标(x'Rij, y'Rij)； S53、 种子点的精匹配， 在步骤S52的基础上， 以获得的(x'Rij,y'Rij)为初值， 进行精匹 配， 首先利用亚像素插值算法对搜索域进行灰度插值， 得到亚像素级别的坐标和对应灰度 值； 完成亚像素插值之后， 采用精匹配相关系数计算函数进行亚像素匹配， 通过亚像素的 搜索， 在右图像上选取相关系数最大的搜索区域中心为匹配点， 即得到亚像素匹配坐标 (xRij,yRij)； S54、 种子点的扩散， 根据步骤S53中的种子点阵列在右图像上对应点坐标相对于左图 像上种子点的坐标， 求 解种子点阵列在右图像上对应的点的坐标增量(Δuij,Δvij)； 以种子点为中心， 向种子点的上下左右四个方向扩散一定步长， 得到四个图像点， 将种 子点的(Δuij,Δvij)赋值给这四个图像点的粗匹配坐标增量， 然后直接进行所述S53步骤 中的精匹配过程， 求出这四个点在右图像上 的精匹配坐标以及坐标增量； 之后再依 次以这 四个点为中心， 采用相同的思路， 完成对所述S54 步骤中散斑区域内的所有数据点的匹配； S55、 散斑区域 内数据点的三维重建， 将步骤S54中得到的所有匹配点对在GPU上完成三 维重建。 6.如权利要求1所述的动态人体的实时重建方法， 其特征在于， 步骤S7中， 时间序列上 的三维重建， 其详细步骤如下： S71、 采用t0、 t1、 t 2、 t3…tn序列表示相机采集图像的时间序列； S72、 完成t0时刻到t1时刻图像的数据点匹配与变形参数的求 解； S73、 ti+1时刻图像数据 点初值数据获取， 将ti时刻图像上所有计算节点的位置作为ti +1时刻图像上对应节 点的精匹配初值， 同时将t i时刻图像上所有 数据节点的变形参数作为 ti+1时刻图像上对应节点的变形参数的迭代初值； S74、 数据拷贝， 将步骤S 72中的初值数据 拷贝到GPU的全局内存global  memory中， 将左 右图像数据拷贝到GPU的纹理内存texture  memory中， 将第一相机和第二相机的相对姿态 (R,T)以及畸变模型系数拷贝到GPU的常量内存Co nstant menory中； S75、 执行核函数， 在GPU核函数中完成数据点的精匹配过程， 重建精匹配后的同名点， GPU完成匹配后， 通过验证区分标志匹配正确的与匹配错误的数据点， 输出精匹配后正确的 数据点和重建的三维数据点； S76、 数据拷贝， 将步骤S74中求解的数据点对以及点对的变形参数， 三维点坐标， 拷贝 回CPU内存中； S77、 针对步骤S75中拷贝回CPU的数据 点对， 在CPU中根据GPU拷贝回的匹配失败标志位 来判断匹配失败点并修复部分精匹配失败的节点数据， 并在CPU上重建修复点 坐标； S78、 将步骤S77中修复后的点对数据赋值给ti+2时刻的图像中的数据点的初值， 循环 执行步骤S73～S7 7， 直到用户停止程序。 7.如权利要求6所述的动态人体的实时重建方法， 其特征在于， 步骤S75 中， 所述验证区权　利　要　求　书 2/3 页 3 CN 115272573 A 3