(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210792906.6 (22)申请日 2022.07.07 (65)同一申请的已公布的文献号 申请公布号 CN 114863038 A (43)申请公布日 2022.08.05 (73)专利权人 杭州像衍科技有限公司 地址 311121 浙江省杭州市余杭区五常街 道文一西路9 98号19幢6 03B室 (72)发明人 徐震　孙佳明　鲍虎军　周晓巍　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 刘静 (51)Int.Cl. G06T 17/00(2006.01) G06T 19/00(2011.01)G06T 19/20(2011.01) G06T 15/00(2011.01) (56)对比文件 US 2009161827 A1,20 09.06.25 CN 103543830 A,2014.01.2 9 审查员 陈硕 (54)发明名称 基于显式几何形变的实时动态自由视角 合 成方法及装置 (57)摘要 本发明公开了一种基于显式几何形变的实 时动态场景自由视角合成方法及装置， 在预处理 阶段， 获得基准坐标系下的神经辐射场与对应显 式几何表 示； 同时提取实时辐射场和显式几何形 变， 在运行阶段， 首先将显式几何从基准坐标系 映射到世界坐标系下， 获得从基准坐标系到世界 坐标系的矩阵变换关系， 并通过相机投影将世界 坐标系下的显示几何映射到屏幕空间， 对于有投 影的所有像素点， 根据投影矩阵与变换矩阵的 逆， 逆映射到基准坐标系下， 并根据视角获得少 量需要查询实时辐射场的坐标， 查询后通过体渲 染获得每个像素点的颜色值。 本发 明在实时获得 自由视角合成的同时能够很好的控制储存空间 与内存开销， 并能够高质量的将实时辐射场拓展 到动态场景。 权利要求书2页 说明书13页 附图3页 CN 114863038 B 2022.11.01 CN 114863038 B 1.一种基于显式几何形变的实时动态自由视角合成方法， 其特征在于， 包括预处理阶 段和运行阶段； (1)预处理阶段， 包括： (1.1)给定动态场景的多视角视频， 重建出基准坐标系下的神经辐射场与对应显式几 何表示， 所述显式几何表示和所述神经辐射场在基准 坐标系下 是对齐的； (1.2)根据步骤(1.1)中重建的基准坐标系下的神经辐射场， 提取动态场景对应的基准 坐标系下的实时辐射场； 提取基准 坐标系下显示几何和动态场景对应的形变场； (2)运行阶段， 包括： (2.1)使用步骤(1.2)中提取的形变场将显式几何从基准坐标系映射到形变坐标系， 并 从形变坐标系映射到世界坐标系 下， 获得从基准坐标系到世界坐标系的变换关系， 并通过 投影将世界坐标系下的显示几何映射到屏幕空间； (2.2)对于有投影的所有像素点， 根据投影矩阵与变换矩阵的逆， 逆映射到基准坐标系 下， 并根据视角信息获得需要查询实时辐 射场的坐标， 查询后通过体渲染获得每个像素点 的颜色值。 2.根据权利要求1所述的基于显式几何形变的实时动态自由视角合成方法， 其特征在 于， 步骤(1.1)中， 所述神经辐射场的输入为三维空间点位置以及二维观察方向， 输出为三 维空间点的颜色以及空间点透明度。 3.根据权利要求1所述的基于显式几何形变的实时动态自由视角合成方法， 其特征在 于， 步骤(1.1)中， 在重建基准坐标系下的神经辐射场的过程中， 引入对神经辐射场几何部 分的相似性约束， 使得空间中邻近点的基准坐标系法向、 世界坐标系法向以及位移场空间 运动速度相近 。 4.根据权利要求1所述的基于显式几何形变的实时动态自由视角合成方法， 其特征在 于， 步骤(1.1)中， 神经辐射场的颜色坐标多层感知机的输入为基准 坐标系下的观察方向。 5.根据权利要求1所述的基于显式几何形变的实时动态自由视角合成方法， 其特征在 于， 步骤(1.2)中， 提取实时辐射场的过程中， 过滤距离显式几何超过设定距离阈值的网格 点， 将实时辐射场中八叉树同一叶子节点下不同三维空间位置的采样点均用于该叶子节点 的球谐函数投影。 6.根据权利要求1所述的基于显式几何形变的实时动态自由视角合成方法， 其特征在 于， 步骤(1.2)中， 利用参数化梯度下降算法结合位移场的连续性， 优化获得显式几何位移 场的逆， 基于自动梯度求 解算法进行求 解初始化。 7.根据权利要求1所述的基于显式几何形变的实时动态自由视角合成方法， 其特征在 于， 步骤(2.1)中， 利用顶 点着色器并行应用显式几何形变场， 并进行投影变换， 以获得从基 准坐标系到屏幕空间的变换关系。 8.根据权利要求1所述的基于显式几何形变的实时动态自由视角合成方法， 其特征在 于， 步骤(2.1)中， 对于人体数据， 利用顶点着色器并行应用线性骨骼蒙皮动画的正向算法 的变换关系， 获得从形变坐标系到世界坐标系的变换关系。 9.根据权利要求1所述的基于显式几何形变的实时动态自由视角合成方法， 其特征在 于， 步骤(2.2)中， 利用渲染过程以及形变过程的变换关系的逆， 通过片段着色器并行地将 体渲染所需的采样点以及射线映射到基准坐标系， 采样基准坐标系 下实时辐 射场， 利用片权　利　要　求　书 1/2 页 2 CN 114863038 B 2段着色器并行运行体渲染算法。 10.一种基于显式几何形变的实时动态自由视角合成装置， 包括存储器和一个或多个 处理器， 所述存储器中存储有可执行代码， 其特征在于， 所述处理器执行所述可执行代码 时， 用于实现如权利要求1 ‑9中任一项所述的基于显式几何形变的实时动态自由视角合成 方法。权　利　要　求　书 2/2 页 3 CN 114863038 B 3