(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210911889.3 (22)申请日 2022.07.29 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市下城区潮王路 18号 (72)发明人 刘振阳　陈天笑　周鑫龙　郭欢磊　 原俊青　郭羿宏　孙淳　林宁宇　 丁佳骏　 (74)专利代理 机构 杭州君度专利代理事务所 (特殊普通 合伙) 33240 专利代理师 朱月芬 (51)Int.Cl. G06T 17/00(2006.01) G06T 5/00(2006.01) G06T 5/50(2006.01)G06V 10/54(2022.01) (54)发明名称 基于自集成模块的NERF新视角合成模型的 实现方法 (57)摘要 本发明公开了一种基于自集成模块的NERF 新视角合 成模型的实现方法。 本发 明包括以下步 骤： 步骤1： 选择图像数据， 选择NERF作者在 googledrive中开源的训练数据， 其中训练数据 包括生成的乐高数据和场景数据， 且乐高数据和 场景数据分别存储在两个文件夹； 步骤2： 构建基 于自集成模块的NERF新视角合成模型， 包括获取 NERF的场景表征； 基于场景表征的体素渲染； 构 建自集成模块。 本发明将自集成模块添加到NERF 神经辐射场中， 可以提高输出图像的峰值信噪 比， 提高图像质量。 本发明提出的自集成模块对 于3D新视角重建效果增强， 可以更好地还原场景 的具体细节。 权利要求书2页 说明书5页 附图2页 CN 115457192 A 2022.12.09 CN 115457192 A 1.基于自集成模块的NERF新视角合成模型的实现方法， 其特 征在于包括以下步骤： 步骤1： 选择图像数据 选择NERF作者在googledrive中开源的训练数据， 其中训练数据包括生成的乐高数据 和场景数据， 且乐高数据和场景 数据分别存 储在两个文件夹； 步骤2： 构建基于自集成模块的NERF新视角合成模型。 2.根据权利要求1所述的基于自集成模块的NERF新视角合成模型的实现方法， 其特征 在于步骤2具体实现如下： 2‑1.获取NERF的场景表征； 2‑2.基于场景表征的体素渲染； 2‑3.构建自集成模块。 3.根据权利要求2所述的基于自集成模块的NERF新视角合成模型的实现方法， 其特征 在于步骤2 ‑1具体实现如下： MLP的输入是源图像对应的三维空间坐标和视角 输出是(R,G,B, σ )， 在得 到场景表征(R,G,B, σ )后， 渲染出射线对应的图片； 其中， (x,y,z)表示三维空间坐标， 表示视角； (R,G,B)表示RGB颜色值， σ 表示体素密度。 4.根据权利要求2所述的基于自集成模块的NERF新视角合成模型的实现方法， 其特征 在于步骤2 ‑2具体实现如下： 2‑2‑1.对一条射线采样64个点， 每个采样点对应着一个 经过MLP得到每 个采样点的场景表征(R,G,B, σ )； 2‑2‑2.使用经典的渲染公式对射线进行渲染， 得到该射线对应像素的颜色值C(r)， 具 体渲染过程如下： 其中， r(t)是射线的公式， t的取值范围是从近端点tn和远端点tf， 也就是积分的上下 限； σ(r(t))是射线在点t的体素密度， 由MLP预测的结果得到； c(r(t),d)是射线在点t的RGB 颜色值， 由MLP的预测结果得到， 其中符号d是射线o+td中的方 向向量； T(t)是射线在点t的 透光率， 由体素密度σ(r(t))积分得到， 具体公式是 利用 MLP的预测结果 求解图片中某个 像素点的RGB颜色值； 2‑2‑3.选择L1损失， 即均方差损失函数， 具体如下： L1＝(RGBNeRF‑RGBgroundtruth)2 其中， RGBNeRF是利用NeRF对于特定视角的场景渲染出的图片的RGB颜色值， RGBgroundtruth 是对应于该视角的真实图片的RGB颜色值。 5.根据权利要求2所述的基于自集成模块的NERF新视角合成模型的实现方法， 其特征 在于步骤2 ‑3具体实现如下。 自集成模块设定训练8个完全独立的模型， 分别 对于同一个数据集进行3D重建， 将同一权　利　要　求　书 1/2 页 2 CN 115457192 A 2个物体或者同一个场景隐式地存 储在不同模型的不同参数中。 6.根据权利要求5所述的基于自集成模块的NERF新视角合成模型的实现方法， 其特征 在于每个模型训练20000个epoch后， 分别对同一场景的同一视角进行3D重建， 得到该视角 相应的渲染后的RGB颜色值。 7.根据权利要求6所述的基于自集成模块的NERF新视角合成模型的实现方法， 其特征 在于计算渲染后RGB颜色值与真实图片的RGB颜色值(gr ountruth)的损失， 并将该损失转换 成为psnr。 8.根据权利要求7所述的基于自集成模块的NERF新视角合成模型的实现方法， 其特征 在于对8个完全独立模型得到的渲 染后的RGB 颜色值进 行平均， 得到目标视角下重 建的最终 RGB颜色值。 9.根据权利要求7所述的基于自集成模块的NERF新视角合成模型的实现方法， 其特征 在于每个完全独立模 型都重复步骤1和2的操作， 对同一个数据集中同一场景的不同视角进 行渲染得到RGB颜色值。 10.根据权利要求7所述的基于自集成模块的NERF新视角合成模型的实现方法， 其特征 在于自集成模块主 要体现在模型测试阶段。权　利　要　求　书 2/2 页 3 CN 115457192 A 3