(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210939847.0 (22)申请日 2022.08.05 (65)同一申请的已公布的文献号 申请公布号 CN 114998532 A (43)申请公布日 2022.09.02 (73)专利权人 中通服建设有限公司 地址 510000 广东省广州市越秀区原 道路 17号 (72)发明人 范宏辉　张清　陈俊槟　卓彦会　 曹显斌　 (74)专利代理 机构 广东省中源正拓专利代理事 务所(普通 合伙) 44748 专利代理师 党冲 (51)Int.Cl. G06T 17/00(2006.01)G06T 5/00(2006.01) G06T 7/70(2017.01) G06T 7/80(2017.01) G06V 10/26(2022.01) (56)对比文件 CN 106228605 A,2016.12.14 CN 114255286 A,202 2.03.29 CN 1087347 76 A,2018.1 1.02 CN 103049903 A,2013.04.17 CN 10190823 0 A,2010.12.08 AU 202010 0462 A4,2020.04.3 0 CN 1015815 69 A,2009.11.18 张如如等.基于双目立体 视觉的三维重建方 法. 《扬州大 学学报(自然科 学版)》 .2018,(第0 3 期), 审查员 颜佳 (54)发明名称 一种基于数字图像重建的三维影像视觉传 达优化方法 (57)摘要 本发明公开了一种基于数字图像重建的三 维影像视觉传达优化方法， 属于三维重建技术领 域， 具体包括以下步骤： 通过平行设置的两台摄 像机获取目标物 体的初始二维图像， 对初始二维 图像进行预处理获得二维图像； 通过标定板对摄 像机进行立体标定， 对二维图像进行畸变校正； 通过线性变换使左图像和右 图像的极线处于同 一水平线； 若存在像素点在两次立体匹配中获得 的匹配像素点不同， 则该像素点为遮挡点， 对遮 挡点进行填充； 根据左右图像素点二维坐标计算 匹配点对在目标物体中的三维坐标， 根据三维坐 标在三维立体空间中建立目标物体的三维模型； 本发明实现了双目视觉三维重建过程中的遮挡 点的检测与填充。 权利要求书2页 说明书6页 附图1页 CN 114998532 B 2022.11.01 CN 114998532 B 1.一种基于数字图像重建的三维影 像视觉传达优化方法， 其特 征在于， 包括以下步骤： 通过平行设置的两 台摄像机获取目标物体的初始二维图像， 对所述初始二维图像进行 预处理获得二维图像， 所述 二维图像包括左图像和右图像； 通过标定板对摄像机进行立体标定， 获得摄像机的内参数矩阵、 外参数矩阵和畸变参 数， 根据畸变参数和内参数矩阵对二维图像进行畸变校正； 对畸变校正后的左图像和右图像进行立体校正， 通过线性变换使左图像和右图像的极 线处于同一水平线； 对立体校正后的左图像和右图像进行初次立体匹配获得初始视差图， 再将左图像和 右 图像对调进行二次立体匹配， 若存在像素点在两次立体匹配中获得的匹配像素点不同， 则 该像素点为遮挡点， 否则为有效像素点， 收集遮挡点周围的有效像素点并对遮挡点进行填 充， 获得完整的视 差图； 获取左图像中和 右图像中所有像素点与对应匹配像素点的二维坐标， 根据所述二维坐 标获取目标物体各点的三 维坐标， 根据所述三维坐标在三维立体空间中建立所述目标物体 的三维模型； 所述立体匹配的过程 为： 将左图像中任一像素点命名为待匹配点， 以所述待匹配点为中心建立左窗口Dl， 所述 左窗口Dl的像素大小为v*v， v为正奇数， 获取所述左窗口Dl内所有像素点的灰度值， 获取所 述待匹配点所在极线， 沿所述极线根据视差由小到大逐点获取右图像中的右窗口Dr1， Dr2，…， Drn， n为正整数， 所有右窗口均与左窗口Dl像素尺寸相同， 分别获取所有右窗口内所 有像素点的灰度值， 将左窗口Dl依次与所有右窗口进行叠加， 分别计算所述左窗口Dl与右 窗口Dr1， Dr2，…， Drn中重叠像素点的灰度值的差值， 获取所述灰度值的差值的绝对值之和， 提取数值最小的所述绝对值之和对应的右窗口， 则该右窗口中心像素点为待匹配点的匹配 像素点， 根据待匹配点与匹配 像素点的视 差值， 建立左图像相对于右图像的初始视 差图； 所述立体匹配遮挡点检测的过程 为： 将左图像与右图像进行对调， 对调后的左右图像进行二次立体匹配， 获得右图像相对 于左图像 的初始视差图， 获取对调前初 次立体匹配时左图像中的点q与右图像中匹配点q1 的视差值d1， 获取对调后右图像中点q1与左图像中新匹配点q2的视差值d2， 若|d1‑d2|>c， c为 预设阈值， 则点q为无效像素点， 标记为遮挡点， 否则为有效像素点； 选定所述遮挡点， 以所述遮挡点为中心向外等角度发射8条射线， 获取每条射线接触的 第一个有效像素点， 获取8 个有效像素点的视差值， 提取视差值中的次最小值对遮挡点进 行 填充， 获得完整视 差图。 2.根据权利要求1所述的一种基于数字图像重建的三维影像视觉传达优化方法， 其特 征在于， 所述预处 理的过程包括： 获取二维图像， 将二维图像分割成像素块重叠的图像块， 获取任一图像块与其余图像 块之间的MSE和MAP E， 根据MSE和MAPE对图像块进行非支配排序， 将排序靠前的k个图像块组 成矩阵， k为正整 数， 使用若干个的λ值对矩阵的奇异 值进行软阈值收缩， λ为预设值， 获得低 秩矩阵， 获取所述低秩矩阵的奇异 值， 将低于预设阈值的奇异 值所对应的图像块信息过滤， 将得到的降噪图像块重组为 二维图像。 3.根据权利要求1所述的一种基于数字图像重建的三维影像视觉传达优化方法， 其特权　利　要　求　书 1/2 页 2 CN 114998532 B 2征在于， 对所述摄 像头进行立体标定的过程包括： 在摄像头前方设置标定板， 标定板与摄像头 图像平面平行， 移动标定板并拍摄若干张 图像， 检测图像上的标定点在左右图像中的视差， 获取内参数矩阵、 外参数矩阵和畸变参数 的闭式解， 将所述闭式解作为初始 值， 通过极大似然估计方法对闭式解进 行优化， 得出内参 数矩阵、 外参数矩阵和畸变参数的最终解， 所述外参数矩阵包括旋转矩阵R和平 移矩阵T。 4.根据权利要求1所述的一种基于数字图像重建的三维影像视觉传达优化方法， 其特 征在于， 所述 立体校正的过程 为： 将右图像平面相对于左图像平面的旋转矩阵R分解成两个矩阵Rl和 Rr， 将左右摄像机 各旋转半圈， 使得左 右摄像机的光轴平行， 构造变换矩阵Rrect使得基线与成像平面平行， 通 过合成旋转矩阵与变换矩阵相乘获得左右摄像机的整体旋转矩阵， 左右摄像机坐标系乘以 各自的整体旋转矩阵， 于是左右摄 像机的主光轴平行， 且成像平面与基线平行。 5.根据权利要求4所述的一种基于数字图像重建的三维影像视觉传达优化方法， 其特 征在于， 所述构造变换矩阵Rrect的过程为： 构造左图像极点e1， 变换矩阵将左图像极点变换到无穷远处， 则使极线达到水平， 通过 e1与主光轴方向的叉积并归一化 获得右图像极点e2方向， e2方向与主光轴方向正交， 沿图像 方向与e1垂直， 将e1和e2进行叉积运算获得e3， 矩阵Rrect公式如下： ， T为平移矩阵。 6.根据权利要求1所述的一种基于数字图像重建的三维影像视觉传达优化方法， 其特 征在于， 获取目标物体的三维坐标的具体过程 为： 对于目标物体上的任意一点P在左图像中的成像点坐标pl(x1， y1)， 获取点P在右图像中 的成像点 坐标pr(x2， y2)， 则点P在空间中的三维坐标(X1， Y1， Z1)通过下列公式获取： ， 其中ax、 ay、 u0和v0为摄像机的内部参数， d为两台摄 像机光心之间的距离 。权　利　要　求　书 2/2 页 3 CN 114998532 B 3