(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 20221086178 8.X (22)申请日 2022.07.20 (71)申请人 抖音视界有限公司 地址 100041 北京市石景山区实兴大街3 0 号院3号楼 2层B-0035房间 申请人 脸萌有限公司 (72)发明人 王庆　程铭　赵世杰　朱亦凡　 陈嘉麟　李军林　 (74)专利代理 机构 北京远智汇知识产权代理有 限公司 1 1659 专利代理师 鲁艳萍 (51)Int.Cl. G06T 17/00(2006.01) G06T 3/40(2006.01) G06T 5/50(2006.01)G06T 7/246(2017.01) G06T 7/269(2017.01) (54)发明名称 立体图像重建方法、 装置、 电子设备及存储 介质 (57)摘要 本公开实施例公开了一种立体图像重建方 法、 装置、 电子设备及存储介质。 所述应用方法包 括： 采用立体图像重建模型对待处理立体图像左 右视图特征执行光流预对齐任务得到预对齐特 征； 采用所述立体图像重建模型对 所述预对齐特 征执行精细化对齐任务； 依据所述精细化对齐任 务对待处理立体图像左右视图进行图像重建得 到重建后立体图像左右视图。 本公开方案， 在立 体图像重建过程中， 除了使用光流估计方式进行 光流预对齐同时还在立体图像重建模型中对预 对齐特征进行精细化对齐任务， 大大提升待处理 立体图像左右视图特征之间预对齐特征的准确 性， 进而能提升重建结果的主观效果， 能够得到 更好立体图像的超分辨 率效果。 权利要求书3页 说明书16页 附图7页 CN 115147552 A 2022.10.04 CN 115147552 A 1.一种立体图像重建方法， 其特 征在于， 所述应用方法包括： 采用立体图像重建模型对待处理立体图像左右视图特征执行光流预对齐任务得到预 对齐特征； 采用所述 立体图像重建模型对所述预对齐特 征执行精细化对齐任务； 依据所述精细化对齐任务对待处理立体图像左右视图进行图像重建， 得到重建后立体 图像左右视图。 2.根据权利要求1所述的方法， 其特征在于， 采用立体图像重建模型对待处理立体图像 左右视图特 征执行光流预对齐任务得到预对齐特 征， 包括： 基于所述立体图像重建模型中的预训练光流估计网络， 对待处理立体图像左右视图特 征执行光流预对齐任务得到预对齐特 征。 3.根据权利要求2所述的方法， 其特征在于， 所述预训练光流估计网络的确定过程， 包 括： 确定光流估计网络所使用的训练样本； 每个训练样本包括真实场景的两个训练图像以 及两个训练图像之间的光 流预标注值； 基于所述训练样本控制立体图像重建模型中待训练光流估计网络执行光流估计训练 任务， 得到所述 立体图像重建模型中预训练光 流估计网络 。 4.根据权利要求3所述的方法， 其特征在于， 确定光流估计网络所使用的训练样本， 包 括： 确定从源图像集中选取的背景图像与前景图像对应的光流信 息； 其中所述背景图像与 前景图像为不重复的图像， 所述源图像集基于立体图像超分辨率数据集中真实场景图像生 成； 从所述前景图像中选取局部区域得到前景局部图像， 并确定前景局部图像对应的光流 信息； 将背景图像与 前景局部图像采用各自光流信 息进行前向转换， 得到转换后的背景图像 与前景局部图像； 将转换前的背景图像与前景局部图像按从背景到前景的方向进行叠加得到第一训练 图像， 将转换后的背 景图像与前景局部图像按从背景到前景的方向进 行叠加得到第二训练 图像以及将背景图像与前景局部图像各自对应的光流信息进行叠加得到两个训练图像之 间的预标注光流信息， 以构建训练光 流估计网络所使用的训练样本 。 5.根据权利要求3所述的方法， 其特征在于， 基于所述训练样本控制立体图像重建模型 中待训练光流估计网络执行光流估计训练任务， 得到所述立体图像重 建模型中预训练光流 估计网络， 包括： 将训练样本中两个训练图像输入到立体图像重建模型中的待训练光流估计网络进行 光流估计训练任务， 得到训练样本中两个训练图像之间的光 流估算值； 依据训练样本中两个训练图像之间的光流估算值与两个训练图像之间的光流预标注 值， 确定光 流估计训练任务的损失函数值； 依据光流估计训练任务的损失函数值对所述待训练光流估计网络进行参数调整， 得到 所述预训练光 流估计网络 。 6.根据权利要求2所述的方法， 其特征在于， 基于所述立体图像重建模型中的预训练光权　利　要　求　书 1/3 页 2 CN 115147552 A 2流估计网络， 对待处 理立体图像左右视图特 征执行光流预对齐任务得到预对齐特 征， 包括： 将待处理立体图像左右视图输入到所述立体图像重建模型中的预训练光流估计网络， 得到待处 理立体图像左右视图之间的光 流估算值； 依据待处理立体图像左右视图之间的光流估算值对待处理立体图像左右视图特征进 行预对齐， 得到待处 理立体图像左右视图特 征之间的预对齐特 征； 其中， 对齐特征包括从立体图像左 视图特征向立体图像右视图特征进行对齐得到的特 征以及从立体图像右视图特 征向立体图像左视图特 征进行对齐得到的特 征。 7.根据权利要求1所述的方法， 其特征在于， 采用所述立体图像重建模型对所述预对齐 特征执行精细化对齐任务， 包括： 通过所述立体图像重建模型中的预训练精细化对齐网络对所述预对齐特征进行精细 化对齐得到精细化对齐特 征； 其中， 在训练所述预训练精细化对齐网络时， 所述预训练光流估计网络的学习率处于 预设学习率范围内， 所述预训练光流估计网络的学习率低于所述预训练精细化对齐网络的 学习率， 所述精细化对齐网络包括可变形 卷积网络 。 8.根据权利要求7所述的方法， 其特征在于， 通过所述立体图像重建模型的预训练精细 化对齐网络对所述预对齐特 征进行精细化对齐得到精细化对齐特 征， 包括： 将所述预对齐特征与待处理立体图像左右视图特征输入到所述精细化对齐网络的偏 移估计网络中进行偏移估计， 确定所述预对齐特 征的偏移量； 将所述预对齐特征的偏移量与所述预对齐特征输入到所述精细化对齐网络的可变形 卷积网络中对所述预对齐特征进 行精细化对齐， 得到待处理立体图像左右视图特征之 间的 精细化对齐特 征。 9.根据权利要求1所述的方法， 其特征在于， 依据 所述精细化对齐任务对待处理立体图 像左右视图进行图像重建得到 重建后立体图像左右视图， 包括： 将所述精细化对齐任务得到的精细化对齐特征与待处理立体图像左右视图特征输入 到所述立体图像重 建模型的融合重 建网络， 得到经对立体图像左右视图进 行超分辨率重建 的重建后立体图像左右视图。 10.一种立体图像重建装置， 其特 征在于， 所述应用装置包括： 预对齐模块， 用于采用立体图像重建模型对待处理立体图像左右视图特征执行光流预 对齐任务得到预对齐特 征； 精细化对齐模块， 用于采用所述立体图像重建模型对所述预对齐特征执行精细化对齐 任务； 图像重建模块， 用于依据所述精细化对齐任务对所述待处理立体图像左右视图进行图 像重建， 得到 重建后立体图像左右视图。 11.一种电子设备， 其特 征在于， 所述电子设备包括： 至少一个处 理器； 以及 与所述至少一个处 理器通信连接的存 储器； 其中， 所述存储器存储有可被所述至少一个处理器执行的计算机程序， 所述计算机程序被所 述至少一个处理器执行， 以使所述至少一个处理器能够执行权利要求1 ‑9中任一项所述的 立体图像重建方法。权　利　要　求　书 2/3 页 3 CN 115147552 A 3