CN114240785A - 一种光线追踪渲染连续帧的去噪方法及*** - Google Patents
一种光线追踪渲染连续帧的去噪方法及*** Download PDFInfo
- Publication number
- CN114240785A CN114240785A CN202111551086.3A CN202111551086A CN114240785A CN 114240785 A CN114240785 A CN 114240785A CN 202111551086 A CN202111551086 A CN 202111551086A CN 114240785 A CN114240785 A CN 114240785A
- Authority
- CN
- China
- Prior art keywords
- denoising
- time
- result
- scale
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 238000009877 rendering Methods 0.000 title claims abstract description 24
- 238000002156 mixing Methods 0.000 claims abstract description 85
- 239000013598 vector Substances 0.000 claims abstract description 67
- 238000001914 filtration Methods 0.000 claims abstract description 20
- 239000011229 interlayer Substances 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 14
- 230000002123 temporal effect Effects 0.000 claims description 13
- 230000000750 progressive effect Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000003860 storage Methods 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 7
- 239000011159 matrix material Substances 0.000 claims description 6
- 238000004040 coloring Methods 0.000 abstract description 4
- 239000010410 layer Substances 0.000 description 26
- 238000010586 diagram Methods 0.000 description 13
- 230000009977 dual effect Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 238000005070 sampling Methods 0.000 description 6
- 238000013528 artificial neural network Methods 0.000 description 5
- 238000012805 post-processing Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 3
- 230000000903 blocking effect Effects 0.000 description 2
- 125000004122 cyclic group Chemical group 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004926 polymethyl methacrylate Substances 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 125000004432 carbon atom Chemical group C* 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 150000007524 organic acids Chemical class 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 239000002356 single layer Substances 0.000 description 1
- 238000001308 synthesis method Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/73—Deblurring; Sharpening
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明提供了一种光线追踪渲染连续帧的去噪方法及***，包括：获取当前帧的双运动矢量和上一帧的去噪结果，计算上一帧的扭曲重投影；获取当前帧的噪声图和辅助特征，联合上一帧的扭曲重投影，拼接为一个张量；将张量输入时空多尺度去噪网络，得到当前帧的去噪结果；其中，时空多尺度去噪网络包括：核预测网络和时空多尺度混合网络，时空多尺度混合网络联合时间滤波结果和空间多尺度混合结果，获得当前帧的去噪结果。在保证获得高质量去噪结果的前提下，消除现有技术存在的过模糊、着色走样和拖尾现象。
Description
技术领域
本发明属于高度真实感渲染后处理去噪技术领域，尤其涉及一种光线追踪渲染连续帧的去噪方法及***。
背景技术
本部分的陈述仅仅是提供了与本发明相关的背景技术信息，不必然构成在先技术。
基于蒙特卡洛(MC)积分的光线追踪技术在基于物理的真实感渲染中应用广泛。传统的MC路径追踪需要耗时的计算和大量每像素样本数(sample per pixel，spp)以获得可观的渲染结果，但由于实时帧率的需求(>30FPS)和目前硬件设备的限制，实时光线追踪(Real-Time Ray Tracing，RTRT)仅能使用1spp，极低采样率将导致高方差，视觉上表现为干扰噪声。
一些方法(例如，时间反走样(Temporal Anti-Aliasing，TAA)和基于神经网络的后处理去噪方法)的提出能够在交互速率甚至实时速率下获取可用的无噪声光线追踪渲染连续帧序列。从光线追踪渲染连续帧的特点可知，除了噪声(nosing)以外还需要去除连续帧之间的闪烁(flicking)。运动矢量(Motion vector)引入历史帧信息以供时间域上的重用，为去除帧间闪烁起到关键作用。传统基于屏幕的运动矢量(SVGF)是一个二维向量，从当前帧的每个像素坐标指向物体在前一帧对应的像素坐标，但它在阴影、光泽(glossy)材质反射和运动遮挡处会失效。特别对于运动遮挡区域，该区域定义为：随着运动物体的移动，上一帧被遮挡而在这一帧刚刚出现的背景区域。该区域的SVGF运动矢量总是指向上一帧的运动前景物体，导致了时间信息不可重用，出现严重的拖尾(ghosting)现象。
发明内容
为了解决上述背景技术中存在的技术问题，本发明提供一种光线追踪渲染连续帧的去噪方法及***，在获得无噪声和时间稳定的序列帧的前提下，可以去除着色走样、过模糊以及拖尾现象，获得高质量去噪结果。
为了实现上述目的，本发明采用如下技术方案：
本发明的第一个方面提供一种光线追踪渲染连续帧的去噪方法，其包括：
获取当前帧的双运动矢量和上一帧的去噪结果，计算上一帧的扭曲重投影；
获取当前帧的噪声图和辅助特征，联合上一帧的扭曲重投影，拼接为一个张量；
将所述张量输入时空多尺度去噪网络，得到当前帧的去噪结果；其中，时空多尺度去噪网络包括核预测网络和时空多尺度混合网络；
所述核预测网络用于提取所述张量的特征，得到逐像素空间核、逐像素时间核、时间混合权重和层间混合权重；
所述时空多尺度混合网络将逐像素空间核应用于多尺度噪声图，并使用层间混合权重加权求和，获得空间多尺度混合结果；同时，将所述逐像素时间核应用于上一帧的扭曲重投影，获得时间滤波结果，使用时间混合权重，将空间多尺度混合结果和时间滤波结果进行加权求和，获得时空多尺度混合结果，并将其作为当前帧的去噪结果。
进一步的，所述计算上一帧的扭曲重投影的具体方法为：
创建一个存储像素坐标的二维张量并与所述双运动矢量直接相加，获得当前帧与上一帧的像素坐标映射关系；
使用所述像素坐标映射关系，将所述上一帧的去噪结果与当前帧快速对齐，获得上一帧的扭曲重投影。
进一步的，所述时空多尺度去噪网络的损失函数采用空间损失、时间损失和运动遮挡损失的和。
进一步的，所述运动遮挡损失的具体计算方法为：
获取当前帧和多个相邻帧的运动矢量、当前帧的去噪结果和对照图；
基于所述当前帧和多个相邻帧的运动矢量，计算当前帧的时域渐进带权蒙版；
使用哈达玛积将时域渐进带权蒙版分别与当前帧的去噪结果和对照图按矩阵对应像素相乘；
基于蒙版后的去噪结果和对照图，计算运动遮挡损失。
进一步的，所述当前帧的时域渐进带权蒙版为多个蒙版的加权和；
所述蒙版为所述当前帧或相邻帧的双运动矢量与SVGF运动矢量的差值。
进一步的，所述辅助特征包括当前帧的反照率、深度和法向。
本发明的第二个方面提供一种光线追踪渲染连续帧的去噪***，其包括：
扭曲重投影计算模块，其被配置为：获取当前帧的双运动矢量和上一帧的去噪结果，计算上一帧的扭曲重投影；
拼接模块，其被配置为：获取当前帧的噪声图和辅助特征，联合上一帧的扭曲重投影，拼接为一个张量；
时空多尺度去噪模块，其被配置为：将所述张量输入时空多尺度去噪网络，得到当前帧的去噪结果；
其中，时空多尺度去噪网络包括核预测网络和时空多尺度混合网络；
所述核预测网络用于提取所述张量的特征，得到逐像素空间核、逐像素时间核、时间混合权重和层间混合权重；
所述时空多尺度混合网络将所述逐像素空间核应用于多尺度噪声图，并使用层间混合权重加权求和，获得空间多尺度混合结果；同时，将所述逐像素时间核应用于上一帧的扭曲重投影，获得时间滤波结果；使用时间混合权重，将空间多尺度混合结果和时间滤波结果进行加权求和，获得时空多尺度混合结果，并将其作为当前帧的去噪结果。
本发明的第三个方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述所述的一种光线追踪渲染连续帧的去噪方法中的步骤。
本发明的第四个方面提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述所述的一种光线追踪渲染连续帧的去噪方法中的步骤。
与现有技术相比，本发明的有益效果是：
本发明提供了一种光线追踪渲染连续帧的去噪方法，其能够适用于稀疏MC路径追踪间接光照下的实时去噪，在获得无噪声和时间稳定的序列帧的前提下，可以去除现有后处理去噪技术中存在的着色走样、过模糊以及因为使用SVGF运动矢量而引起的拖尾现象，获得高质量去噪结果。
本发明提供了一种光线追踪渲染连续帧的去噪方法，其在时间重投影阶段使用双运动矢量的方法，将上一帧去噪结果作为输入，使用双运动矢量快速扭曲并将之与当前帧对齐，获得比现有基于网络的实时去噪技术更合理的上一帧扭曲重投影图像。
本发明提供了一种光线追踪渲染连续帧的去噪方法，其提出基于蒙版的运动遮挡损失函数，能够充分利用SVGF运动矢量和时间可靠的双运动矢量的语义信息，快速计算并获得时域渐进的带权蒙版，加快网络在运动遮挡区域处的收敛，实现该区域拖尾现象的消除。
附图说明
构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
图1是本发明实施例一的双运动矢量示意图；
图2是本发明实施例一的不同运动矢量获得的扭曲重投影的运动遮挡区域示意图；
图3是本发明实施例一的不同运动矢量的可视化结果以及生成的扭曲重投影结果图；
图4是本发明实施例一的损失函数所使用的蒙版示意图；
图5是本发明实施例一的一种光线追踪渲染连续帧的去噪方法流程图；
图6是本发明实施例一的核预测网络结构图；
图7是本发明实施例一的去噪结果对比图。
具体实施方式
下面结合附图与实施例对本发明作进一步说明。
应该指出，以下详细说明都是例示性的，旨在对本发明提供进一步的说明。除非另有指明，本发明使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。
实施例一
本实施例提供了一种光线追踪渲染连续帧的去噪方法，可以分为四个主要阶段：时间重投影阶段、核预测阶段、时空多尺度混合阶段、循环反馈阶段，流程图如图5所示，具体包括以下步骤：
步骤1、时间重投影阶段：获取当前帧的时间可靠的双运动矢量(Temporalreliable dual motion vector，TRMV)和上一帧的去噪结果，计算上一帧的扭曲重投影
该过程通过将上一帧的最终去噪结果作为输入，使用时间可靠的双运动矢量对该输入进行逐像素映射，快速生成更合理的与当前帧对齐的上一帧扭曲重投影图像，分别用于神经网络的输入和后续逐像素加权混合。
S101：从光线跟踪渲染器中获取当前帧的二维时间可靠的双运动矢量(mx,my)，两个维度的尺寸分别为渲染图片分辨率大小(1280×720)，值的计算方法由图1所示，含义为着色点所在的物体表面在当前帧像素位置和对应上一帧应当指向的像素位置的差，其中mx和my分别为当前帧中的像素点相对于上一帧在x轴和y轴方向上的偏移。使用图1所示计算方法获得的双运动矢量，在遮挡区域上会有与使用传统运动矢量(SVGF运动矢量)不同的结果。
S102：从网络的循环反馈回路获取上一帧的去噪结果
S103：创建一个存储像素坐标的二维张量并与S101步骤得到的双运动矢量直接相加，获得当前帧与上一帧的像素坐标映射关系，依照公式(1)，使用Pytorch框架中的grid_sample函数和双线性插值模式，使用刚才得到的像素坐标映射，将S102步骤中获得的上一帧去噪结果
与当前帧快速对齐，获得上一帧的扭曲重投影
上述合成方法的关键步骤是S101，图1展示了SVGF运动矢量和时间可靠的双运动矢量各自的计算方法。如图1所示，运动物体(蓝圆)正在往左移动，需要获得运动遮挡处xi点的颜色。SVGF运动矢量给出了xi→y的对应关系(指向了上一帧运动物体)。双运动矢量利用遮挡物体的运动，跟踪从上一帧到当前帧的y→z的运动。然后，根据xi和z(红色虚线箭头)的相对位置，找到上一帧中的位置xi-1，得到xi→xi-1的对应关系。这个过程可以简单地用公式(2)～(4)表示，公式中的P为每帧的视口变换矩阵乘模型视图投影变换矩阵，T为帧之间的几何变换矩阵。
xi-1＝y+(xi-z) (2)
图2展示了两种运动矢量获得的扭曲重投影的运动遮挡区域的不同；图3是以可视化的方式展现了这一内容，传统的运动矢量严密贴合移动物体的边缘,而双运动矢量在遮挡物体运动的反方向存在缝隙,因此,在运动遮挡区域,前者(SVGF运动矢量)创建移动对象的重复粘贴模式，其颜色往往与背景有很大的不同，而后者(双运动矢量)重用背景信息来解决颜色差异过大的问题，进一步减小了最终去噪结果产生拖尾的可能。
步骤1获得的扭曲重投影结果优于其他使用SVGF运动矢量的现有技术的结果，因为重复的背景区域通常比前景运动物体的颜色更接近被遮挡的背景区域，提供了更有效和正确的历史时间信息。
步骤2、获取当前帧1spp噪声图、几何缓存(G buffer)辅助特征(反照率、法向、深度)，联合步骤1获得的上一帧的扭曲重投影
拼接为一个张量；将张量输入基于神经网络的时空多尺度去噪网络，得到当前帧的去噪结果。其中，时空多尺度去噪网络包括核预测网络(Kernel Predict Convolutional Networks，KPCN)和时空多尺度混合网络。
利用基于Pytorch框架搭建的多尺度层级核预测网络，以基于Optix框架的MC路径追踪渲染结果及几何缓存(G buffer)，外加时间重投影阶段的上一帧扭曲重投影图像作为输入，通过层级核预测网络训练出时空多尺度的逐像素核权重和混合权重，快速应用于不同规模的当前帧噪声图像和上一帧扭曲重投影图像，输出无噪声、闪烁和拖尾现象的高质量去噪序列，具体包括：
步骤201、核预测阶段：收集当前帧1spp噪声图、G buffer辅助特征(反照率、法向、深度)和步骤1获得的扭曲重投影
按照第三维串联拼接成一个(720，1280，N)的张量作为输入，送入核预测网络提取输入张量的特征，在倒数三层都分别输出相应图像规模大小的逐像素核(包括逐像素空间核、逐像素时间核、时间混合权重和层间混合权重)。图6展示了核预测网络的细节，核预测网络为编码器-解码器结构，使用3×3核大小的卷积层以及Relu激活函数，前半部分各层使用2×2最大池化向下采样，后半部分各层使用双线性插值向上采样，同样尺度的层中间使用跳跃连接，形成对称的U型网络结构。核预测网络包括三层输出层：第一输出层，即最后一层输出(720，1280，51×3)核，第二输出层，即倒数第二层输出(360，640，26×3)核，第三输出层，即倒数第三层输出(180，320，26×3)核。其中，51＝5×5的空间核+5×5的时间核+时间混合权重，26＝5×5的空间核+层间混合权重，3为RGB通道数。
步骤202、时空多尺度混合阶段：主要进行空间上的层级混合和时间上的混合。时空多尺度混合网络将步骤201获取的三层逐像素空间核应用于相应大小规模的噪声图，并使用层间混合权重加权求和，获得空间多尺度混合结果；同时，将逐像素时间核应用于上一帧的扭曲重投影，获得时间滤波结果；使用时间混合权重，将空间多尺度混合结果和时间滤波结果进行加权求和，获得时空多尺度混合结果，并将其作为当前帧的去噪结果。
对于空间混合，如公式(5)所示，对于每次层间混合，c为相对粗糙的尺度，f为相对精细的尺度，D为2×2最大池化向下采样，U为双线性向上采样，i为应用核以后的滤波结果。使用从步骤201获得的三个5×5逐像素空间核，分别将空间核应用于原图大小、1/2原图大小和1/4原图大小的噪声图输入，获得i，并使用层间混合权重α加权求和，获得空间多尺度混合结果
具体地，首先混合第三输出层和第二输出层，对于该混合而言，第二输出层1/2原图大小的噪声图(360，640，3)为相对精细尺度，第三输出层的1/4原图大小的噪声图(180，320，3)为相对粗糙尺度，将核预测网络倒数第二输出层获得的(360，640，25×3)的空间核应用于第二输出层噪声图(360，640，3)，获得if。类似地，将核预测网络倒数第三输出层获得的(180，320，25×3)应用于第三输出层噪声图(180，320，3)，获得ic。最后使用核预测网络倒数第三输出层获得的(180，320，1)层间混合权重αc进行混合(由于层间混合权重分辨率为相对粗糙尺度，因此需要对if先向下采样应用权重，再向上采样；对ic直接应用权重后需要向上采样)，然后将第三输出层和第二输出层的混合结果与第一输出层进行类似的层级混合。公式如下：
其中，p为相对精细尺度的像素索引，
为相对精细尺度的滤波结果在像素p的值。U[αc[Dif]]p为相对精细尺度的滤波结果if经过向下采样后获得Dif，应用相对粗糙尺度的层间混合权重αc后，再经过向上采样U恢复成精细尺度的大小的U[αc[Dif]]在像素p的值。U[αc[ic]]p为相对粗糙尺度的滤波结果ic在应用相对粗糙制度的层间混合权重αc后，向上采样获得相对精细尺度分辨率的U[αc[ic]]在像素p的值。空间层级混合阶段获得空间多尺度混合结果。
对于时间混合，使用从步骤201获得的一个5×5逐像素时间核，应用于步骤1阶段得到的扭曲重投影
获得时间滤波结果
之后使用步骤201获得的时间混合权重αt，将时间滤波结果
与空间多尺度混合结果
加权求和，获得时空多尺度混合结果
(即当前帧的最终去噪输出)。公式如下：
步骤203、循环反馈阶段，按照公式(7)，将步骤202获得的时空多尺度混合结果进行L1空间损失、L1时间损失(ΔIi＝Ii-Ii-1，ΔRi＝Ri-Ri-1)以及运动遮挡损失Locc的计算，进行后向传播，并存储混合结果以在下一个迭代中作为
供步骤1使用。即，时空多尺度去噪网络的损失函数为空间损失、时间损失和运动遮挡损失的和：
L＝L1(Ii,Ri)+L1(ΔIi,ΔRi)+Locc (7)
其中，运动遮挡损失Locc具体为，对于连续帧序列的每帧，利用每帧的传统屏幕空间的运动矢量和时间可靠的双运动矢量获得单层蒙版，使用时域渐进的递减权重，叠加额外的上一帧和上上帧的蒙版，对当前帧去噪结果和参考图像进行损失计算。计算过程具体包括：
(1)对于第i帧，获取当前帧的去噪结果Ii，2048spp对照图Ri，和以下六个运动矢量(当前帧和多个相邻帧的运动矢量)：第i帧、第i-1帧和第i-2帧的SVGF运动矢量和双运动矢量。对于一些特殊情况，如序列的第1帧仅获取两个运动矢量，第2帧仅获取四个运动矢量。
(2)按照图4所示方法，使用步骤(1)中获取的运动矢量快速计算蒙版，其中，蒙版为所述当前帧或相邻帧的双运动矢量与SVGF运动矢量的差值，具体的：用第i帧的双运动矢量减去SVGF运动矢量，获得蒙版
类似地，用第i-1帧的双运动矢量减去SVGF运动矢量，获得蒙版
用第i-2帧的双运动矢量减去SVGF运动矢量，获得蒙版
对于一些特殊情况，如序列的第1帧的
和
直接设置为
第2帧的
直接设置为
(3)为了在时间域上渐进累积，对从步骤(2)中获得的多个蒙版
和
分别设置不同的权重(
为1，
为0.8，
为0.6)，然后直接相加，获得对于第i帧的最终的时域渐进带权蒙版；
(4)根据公式(9)和(10)，使用哈达玛乘积⊙，应用于步骤(1)获得的Ii、Ri和S203步骤获得的时域渐进带权蒙版，将矩阵中相同位置的元素相乘，获得蒙版后的当前帧去噪结果
和对照图
根据公式(8)，对
和
计算L1损失，获得运动遮挡损失LOCC，合并进最终的损失函数。
由于每一帧的遮挡区域相对于整个输入张量而言过于狭小细长，网络无法自发地去额外关注这些区域，这导致遮挡区域收敛不够充分(至少不如其他地方充分)，产生剩余的拖尾视觉伪影。本实施例提供的运动遮挡损失函数使用时域渐进带权蒙版划定损失计算范围和关注程度，能够增加网络对这些区域的关注，进一步加快这些区域的收敛速度，进而消除残留的拖尾效应。
在本实施例中，使用Pytorch框架，Xavier初始化以及Adam优化器，初始学习率为0.0001。每次训练200代。使用英伟达Optix框架获得1spp噪声图、2048spp对照图、辅助特征缓存(反照率、深度、法向)和两种运动矢量。
本实施例的数据集从4个场景的不同视角获得，共281个切片，142个用于训练，139个用于测试。每个切片包含10个连续帧，前9帧用于训练，最后1帧用于验证。每个切片第一帧的扭曲重投影
和上一帧去噪结果
被初始化为噪声输入。
图形处理器为英伟达NVIDIA GeForce RTX 2080Ti，显存为12GB，本实施例的所有渲染结果均在1280×720屏幕空间下测试得到。本实施例的去噪方法能够以实时速率进行，平均去噪时间为每帧7.9ms，可细分为四个耗时部分：网络提取特征和预测逐像素核(3.1ms)，将核应用于多尺度图像(3.4ms)，混合空间和时间过滤的结果(0.8ms)和计算时间重投影(0.6ms)。
本实施例与现有技术相比，数值和结果均有明显提升。本实施例将均方误差MSE降低到0.0002，明显去除现有技术存在的过模糊、着色走样和拖尾问题。图7展示了本实施例去噪结果。
本发明将基于神经网络的时空多尺度网络用于实时稀疏样本计数(1spp)下的MC路径跟踪的间接照明时间和空间域后处理去噪；通过时空多尺度的核预测神经网络去除噪声和帧间闪烁，能够以实时速率获得高质量的无噪声的时间稳定的连续帧序列，与现有技术相比解决了着色走样和过模糊问题；除生成高质量的无噪声图像和保持时间稳定性外，通过时间可靠的双运动矢量(TRMV)生成合理的上一帧扭曲重投影图像，并使用运动遮挡损失函数来减少剩余拖尾现象，适用于场景中存在运动物体的动态场景。
实施例二
本实施例提供了一种光线追踪渲染连续帧的去噪***，其具体包括如下模块：
扭曲重投影计算模块，其被配置为：获取当前帧的双运动矢量和上一帧的去噪结果，计算上一帧的扭曲重投影；
拼接模块，其被配置为：获取当前帧的噪声图和辅助特征，联合上一帧的扭曲重投影，拼接为一个张量；
时空多尺度去噪模块，其被配置为：将所述张量输入时空多尺度去噪网络，得到当前帧的去噪结果；
其中，时空多尺度去噪网络包括核预测网络和时空多尺度混合网络；
所述核预测网络用于提取所述张量的特征，得到逐像素空间核、逐像素时间核、时间混合权重和层间混合权重；
所述时空多尺度混合网络将所述逐像素空间核应用于多尺度噪声图，并使用层间混合权重加权求和，获得空间多尺度混合结果；同时，将所述逐像素时间核应用于上一帧的扭曲重投影，获得时间滤波结果；使用时间混合权重，将空间多尺度混合结果和时间滤波结果进行加权求和，获得时空多尺度混合结果，并将其作为当前帧的去噪结果。
所述时空多尺度去噪网络的损失函数为空间损失、时间损失和运动遮挡损失的和。
此处需要说明的是，本实施例中的各个模块与实施例一中的各个步骤一一对应，其具体实施过程相同，此处不再累述。
实施例三
本实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例一所述的一种光线追踪渲染连续帧的去噪方法中的步骤。
实施例四
本实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述实施例一所述的一种光线追踪渲染连续帧的去噪方法中的步骤。
本领域内的技术人员应明白，本发明的实施例可提供为方法、***、或计算机程序产品。因此，本发明可采用硬件实施例、软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
本发明是参照根据本发明实施例的方法、设备(***)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory，ROM)或随机存储记忆体(RandomAccessMemory，RAM)等。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (10)
1.一种光线追踪渲染连续帧的去噪方法，其特征在于，包括：
获取当前帧的双运动矢量和上一帧的去噪结果，计算上一帧的扭曲重投影；
获取当前帧的噪声图和辅助特征，联合上一帧的扭曲重投影，拼接为一个张量；
将所述张量输入时空多尺度去噪网络，得到当前帧的去噪结果；其中，时空多尺度去噪网络包括核预测网络和时空多尺度混合网络；
所述核预测网络用于提取所述张量的特征，得到逐像素空间核、逐像素时间核、时间混合权重和层间混合权重；
所述时空多尺度混合网络将逐像素空间核应用于多尺度噪声图，并使用层间混合权重加权求和，获得空间多尺度混合结果；同时，将所述逐像素时间核应用于上一帧的扭曲重投影，获得时间滤波结果；使用时间混合权重，将空间多尺度混合结果和时间滤波结果进行加权求和，获得时空多尺度混合结果，并将其作为当前帧的去噪结果。
2.如权利要求1所述的一种光线追踪渲染连续帧的去噪方法，其特征在于，所述计算上一帧的扭曲重投影的具体方法为：
创建一个存储像素坐标的二维张量并与所述双运动矢量直接相加，获得当前帧与上一帧的像素坐标映射关系；
使用所述像素坐标映射关系，将所述上一帧的去噪结果与当前帧快速对齐，获得上一帧的扭曲重投影。
3.如权利要求1所述的一种光线追踪渲染连续帧的去噪方法，其特征在于，所述时空多尺度去噪网络的损失函数采用空间损失、时间损失和运动遮挡损失的和。
4.如权利要求3所述的一种光线追踪渲染连续帧的去噪方法，其特征在于，所述运动遮挡损失的具体计算方法为：
获取当前帧和多个相邻帧的运动矢量、当前帧的去噪结果和对照图；
基于所述当前帧和多个相邻帧的运动矢量，计算当前帧的时域渐进带权蒙版；
使用哈达玛积将时域渐进带权蒙版分别与当前帧的去噪结果和对照图按矩阵对应像素相乘；
基于蒙版后的去噪结果和对照图，计算运动遮挡损失。
5.如权利要求4所述的一种光线追踪渲染连续帧的去噪方法，其特征在于，所述当前帧的时域渐进带权蒙版为多个蒙版的加权和；
所述蒙版为所述当前帧或相邻帧的双运动矢量与SVGF运动矢量的差值。
6.如权利要求1所述的一种光线追踪渲染连续帧的去噪方法，其特征在于，所述辅助特征包括当前帧的反照率、深度和法向。
7.一种光线追踪渲染连续帧的去噪***，其特征在于，包括：
扭曲重投影计算模块，其被配置为：获取当前帧的双运动矢量和上一帧的去噪结果，计算上一帧的扭曲重投影；
拼接模块，其被配置为：获取当前帧的噪声图和辅助特征，联合上一帧的扭曲重投影，拼接为一个张量；
时空多尺度去噪模块，其被配置为：将所述张量输入时空多尺度去噪网络，得到当前帧的去噪结果；
其中，时空多尺度去噪网络包括核预测网络和时空多尺度混合网络；
所述核预测网络用于提取所述张量的特征，得到逐像素空间核、逐像素时间核、时间混合权重和层间混合权重；
所述时空多尺度混合网络将所述逐像素空间核应用于多尺度噪声图，并使用层间混合权重加权求和，获得空间多尺度混合结果；同时，将所述逐像素时间核应用于上一帧的扭曲重投影，获得时间滤波结果；使用时间混合权重，将空间多尺度混合结果和时间滤波结果进行加权求和，获得时空多尺度混合结果，并将其作为当前帧的去噪结果。
8.如权利要求7所述的一种光线追踪渲染连续帧的去噪***，其特征在于，所述时空多尺度去噪网络的损失函数为空间损失、时间损失和运动遮挡损失的和。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-6中任一项所述的一种光线追踪渲染连续帧的去噪方法中的步骤。
10.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1-6中任一项所述的一种光线追踪渲染连续帧的去噪方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111551086.3A CN114240785A (zh) | 2021-12-17 | 2021-12-17 | 一种光线追踪渲染连续帧的去噪方法及*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111551086.3A CN114240785A (zh) | 2021-12-17 | 2021-12-17 | 一种光线追踪渲染连续帧的去噪方法及*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN114240785A true CN114240785A (zh) | 2022-03-25 |
Family
ID=80757700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111551086.3A Pending CN114240785A (zh) | 2021-12-17 | 2021-12-17 | 一种光线追踪渲染连续帧的去噪方法及*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114240785A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115187491A (zh) * | 2022-09-08 | 2022-10-14 | 阿里巴巴（中国）有限公司 | 图像降噪处理方法、图像滤波处理方法及装置 |
-
2021
- 2021-12-17 CN CN202111551086.3A patent/CN114240785A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115187491A (zh) * | 2022-09-08 | 2022-10-14 | 阿里巴巴（中国）有限公司 | 图像降噪处理方法、图像滤波处理方法及装置 |
| CN115187491B (zh) * | 2022-09-08 | 2023-02-17 | 阿里巴巴（中国）有限公司 | 图像降噪处理方法、图像滤波处理方法及装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109003282B (zh) | 一种图像处理的方法、装置及计算机存储介质 | |
| CN107025632B (zh) | 一种图像超分辨率重建方法及*** | |
| US7876378B1 (en) | Method and apparatus for filtering video data using a programmable graphics processor | |
| CN110634147B (zh) | 基于双边引导上采样的图像抠图方法 | |
| CN110942424B (zh) | 一种基于深度学习的复合网络单图像超分辨率重建方法 | |
| US20130342758A1 (en) | Video retargeting using content-dependent scaling vectors | |
| CN107993208A (zh) | 一种基于稀疏重叠组先验约束的非局部全变分图像复原方法 | |
| US9565414B2 (en) | Efficient stereo to multiview rendering using interleaved rendering | |
| KR101987079B1 (ko) | 머신러닝 기반의 동적 파라미터에 의한 업스케일된 동영상의 노이즈 제거방법 | |
| Li et al. | Underwater image high definition display using the multilayer perceptron and color feature-based SRCNN | |
| KR20190059157A (ko) | 영상 화질 개선방법 및 그 장치 | |
| EP1668597A1 (en) | Generation of motion blur | |
| US20090022402A1 (en) | Image-resolution-improvement apparatus and method | |
| JP2013250891A (ja) | 超解像方法及び装置 | |
| WO2014008329A1 (en) | System and method to enhance and process a digital image | |
| Zuo et al. | View synthesis with sculpted neural points | |
| Yu et al. | Learning to super-resolve blurry images with events | |
| CN114240785A (zh) | 一种光线追踪渲染连续帧的去噪方法及*** | |
| Peng et al. | Efficient image resolution enhancement using edge-directed unsharp masking sharpening for real-time ASIC applications | |
| CN114022809A (zh) | 基于改进自编码网络的视频运动放大方法 | |
| EP3939248B1 (en) | Re-timing objects in video via layered neural rendering | |
| Qin | An improved super resolution reconstruction method based on initial value estimation | |
| Soh et al. | Joint high dynamic range imaging and super-resolution from a single image | |
| CN111899166A (zh) | 一种基于深度学习的医学高光谱显微图像超分辨重构方法 | |
| US20230298212A1 (en) | Locking mechanism for image classification |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |