CN117237501A - 一种隐式的风格化新视角合成方法 - Google Patents
一种隐式的风格化新视角合成方法 Download PDFInfo
- Publication number
- CN117237501A CN117237501A CN202311083793.3A CN202311083793A CN117237501A CN 117237501 A CN117237501 A CN 117237501A CN 202311083793 A CN202311083793 A CN 202311083793A CN 117237501 A CN117237501 A CN 117237501A
- Authority
- CN
- China
- Prior art keywords
- stylized
- style
- image
- radiation field
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001308 synthesis method Methods 0.000 title claims abstract description 9
- 230000005855 radiation Effects 0.000 claims abstract description 68
- 210000005036 nerve Anatomy 0.000 claims abstract description 47
- 238000009877 rendering Methods 0.000 claims abstract description 47
- 238000000034 method Methods 0.000 claims abstract description 45
- 238000013508 migration Methods 0.000 claims abstract description 29
- 230000005012 migration Effects 0.000 claims abstract description 29
- 238000012549 training Methods 0.000 claims abstract description 29
- 238000012216 screening Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 16
- 238000005457 optimization Methods 0.000 claims abstract description 16
- 230000014759 maintenance of location Effects 0.000 claims abstract description 7
- 238000005070 sampling Methods 0.000 claims description 52
- 239000013598 vector Substances 0.000 claims description 47
- 230000001537 neural effect Effects 0.000 claims description 16
- 238000010586 diagram Methods 0.000 claims description 11
- 230000015572 biosynthetic process Effects 0.000 claims description 10
- 238000003786 synthesis reaction Methods 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 230000001105 regulatory effect Effects 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 3
- 230000006870 function Effects 0.000 description 17
- 239000010410 layer Substances 0.000 description 17
- 239000003086 colorant Substances 0.000 description 7
- 238000012546 transfer Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 239000011229 interlayer Substances 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000001276 controlling effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Landscapes
- Image Analysis (AREA)
- Image Generation (AREA)
Abstract
本发明涉及一种隐式的风格化新视角合成方法，基于构建的真实神经辐射场网络对多视角照片级的训练图像进行渲染，得到渲染图像；基于具有笔触金字塔的特征提取网络对渲染图像和风格图像进行特征提取，得到渲染特征图和风格特征图；渲染特征图和风格特征图基于K近邻优化筛选匹配方法迁移风格样式并结合对原内容的保留损失共同优化真实神经辐射场，得到风格化神经辐射场网络；基于Lab空间的颜色迁移优化风格化神经辐射场网络以及在三维风格化之后再次把渲染的视图进行颜色迁移，通过计算风格损失函数得到训练完成的风格化神经辐射场网络模型。本发明在生成多视角一致的基础上能提取到更多局部细节且笔触可控的高质量渲染视图。
Description
技术领域
本发明涉及计算机视觉处理领域，尤其涉及一种隐式的风格化新视角合成方法。
背景技术
目前基于显式的方法如点云和网格的三维风格迁移方法受限于几何重建的质量，通常包含较为明显的伪影。如果采用基于隐式辐射场的新视角合成方法进行风格迁移则面临着如下挑战。直接组合新视角合成和二维图像风格迁移的方式，如先风格迁移然后新视角合成或者先新视角合成再把合成的视频进行视频风格迁移会产生模糊和多视角不一致的问题。而现有的基于隐式方法的三维风格化方法并不能很好的捕捉到样式图的局部细节，如何能捕捉到更多的局部细节是保证生成高质量风格化视图的关键。
而且对于三维风格迁移问题而言，主要目标是在保留原三维场景的语义信息的基础上更好的匹配样式图，因此色调匹配也是关键问题之一，目前基于隐式方法的三维风格化在颜色匹配上仍和样式图有较大的差异，这也是亟需解决的问题。
此外，在风格化迁移方面，往往需要的是更多视觉上的效果，比如通过更改笔触大小对视觉效果进行控制，虽然这在二维风格化迁移已经有了一定的研究，但对于基于隐式方法的三维风格化而言如何能在保持多视角一致的基础上对笔触大小进行控制仍然是一个挑战。
发明内容
本发明的目的是为了提供一种隐式的风格化新视角合成方法，充分利用了真实神经辐射场渲染出图像的特征信息，在生成多视角一致的基础上能提取到更多局部细节且笔触可控的高质量渲染视图。
为解决以上技术问题，本发明的技术方案为：
一种隐式的风格化新视角合成方法，包括：
步骤S100：基于构建的真实神经辐射场网络对多视角照片级的训练图像进行渲染，得到渲染图像；
步骤S200：获取风格图像；
步骤S300：基于渲染图像和风格图像对真实神经辐射场优化，得到训练完成的风格化神经辐射场网络模型；包括：
步骤S310：基于具有笔触金字塔的特征提取网络对渲染图像和风格图像进行特征提取，得到渲染特征图和风格特征图；
步骤S320：渲染特征图和风格特征图基于K近邻优化筛选匹配方法迁移风格样式并结合对原内容的保留损失共同优化真实神经辐射场，得到风格化神经辐射场网络，同时增加基于Lab空间的颜色迁移优化风格化神经辐射场网络以及在三维风格化之后再次把渲染的视图进行颜色迁移，通过计算风格损失函数得到训练完成的风格化神经辐射场网络模型；
步骤S400：获取待风格化视角图像，通过训练完成的风格化神经辐射场网络模型渲染当前场景连续视角的风格化新视图。
进一步地，步骤S100，包括：
步骤S110：构建神经辐射场网络即NeRF网络；
步骤S120：基于训练图片通过真实神经辐射场渲染生成渲染图像：训练图片生成光线；首先对每条光线进行粗采样，得到每个采样点后输入到粗糙NeRF网络中渲染后生成图像；然后对每条光线进行精细采样，得到每个采样点输入到精细NeRF网络中渲染后生成渲染后的图像；
步骤S130：基于渲染后的图像和原训练图像计算损失更新，得到训练好的真实神经辐射场；基于真实神经辐射场对训练图片进行渲染，得到渲染图像。
进一步地，步骤S110中，神经辐射场网络将三维场景表示为一个连续的五维的向量函数用于真实场景的新视角合成，输入三维空间点的位置x＝(x,y,z)和表示观测方向的二维方向向量d＝(θ,φ)，输出基于观测方向的空间点颜色c＝(r,g,b)和体密度σ，使用MLP网络表示这种映射Fθ:(x,d)→(c,σ)，映射Fθ是一种三维场景的隐式表示。
进一步地，步骤S120中，把均匀采样点输入到粗糙NeRF网络中，将再次被利用作为粗糙NeRF网络输出的颜色信息和有权重的采样经过精细NeRF网络的输出结果结合作为最终颜色信息输出，其重复部分将不再输入到精细NeRF网络中计算。
进一步地，步骤S310，包括：
步骤S311：预训练具有笔触金字塔的特征提取网络；其中，对VGG 16网络进行层间横向连接，每层代表一个笔触特征，构建笔触金字塔；通过门控函数形成笔触风格样式特征的选取，并可通过插值系数形成连续的笔触大小，从而实现对笔触进行调控；
步骤S312：基于具有笔触金字塔的特征提取网络提取真实神经辐射场渲染的渲染图像和风格图像的特征，得到渲染特征图和风格特征图。
进一步地，步骤S311中，将VGG 16网络不同层输出的特征图金字塔做增强表示，把上一层特征图经过2倍上采样和1×1卷积操作和下一层相加所构成的层组用来重新构建金字塔。
进一步地，步骤S300中，还包括以下步骤：
在步骤S310之前，基于Lab空间的颜色迁移把风格图像中的颜色先转移到训练后的渲染图像中预先优化真实神经辐射场；
在步骤S320之后，基于Lab空间的颜色迁移将训练视角渲染的图片进行颜色迁移，将颜色变换应用在风格化神经辐射场网络模型渲染出来图像的颜色值上，渲染当前场景连续视角的风格化新视图。
进一步地，基于Lab空间的颜色迁移的方法为：
首先，进行色彩空间的转换，把输入的渲染图像和风格图像由RGB空间转换到Lab空间；然后，对三个通道分别统计并做均值和标准差的转换；
最后，将Lab空间转换到RGB空间。
进一步地，步骤S320包括：
步骤S321：获取渲染特征图Frender和风格特征图Fstyle；
步骤S322：基于K近邻方法在风格特征图Fstyle中寻找到离Frender(i,j)最近的k个向量，形成k个匹配；其中，Frender(i,j)表示渲染特征图Frender在像素位置为(i,j)的特征向量；
步骤S323：在k个匹配中进行优化筛选，以k个匹配中最近的距离Dmin为参考，设置阈值系数α，依次拿剩下k-1个匹配的距离Dx和αDmin比较，如果Dx小于等于αDmin则认为这是一个好的匹配；
步骤S324：在筛选出的好的匹配中根据每个匹配的距离加权计算差异，从而计算风格化损失；从而进行图像风格化。
进一步地，步骤S324中，基于K近邻优化筛选匹配的风格损失函数为：
其中，用余弦距离D来计算两个特征向量间的距离；G表示找到k个匹配后，需要进行筛选所使用的优化匹配方法；Fstyle(i′,j′)表示在特征图Fstyle中寻找到离Frender(i,j)最近的k个向量中的一个且向量所在的位置位于(i′,j′)；表示对于渲染特征图的(i,j)位置的特征向量，从风格特征图中找到与之最近邻的k个向量用于来加权计算差异。
本发明具有如下有益效果：
一、本发明提出基于K近邻优化筛选匹配的特征表示方法，通过考虑特征向量间的相关性进行风格传递，在传递了更多样式图特征信息的同时，设置优化筛选方法以减少差异超出阈值范围的特征向量匹配，避免出现风格平滑的情况，使得在风格化新视角合成后生成的视图可以具有更多的局部细节。
二、本发明在基于K近邻特征优化筛选匹配的风格化新视图合成过程中增加基于Lab空间的颜色迁移，以保证渲染的新视图和风格图像颜色具有更恰当的全局颜色匹配。
三、本发明提出具有层间横向连接笔触金字塔的风格化辐射场网络结构，在构建笔触金字塔的过程中进行层间横向连接增强特征表示，在保证多视图一致性的基础上，通过门控函数和插值系数对网络中学习到的基本笔触进行调控以实现多视图一致的前提下有效的控制笔触大小连续变化，无需训练大量不同尺度的样式图。
附图说明
图1为本发明方法步骤流程图；
图2为本发明方法整体流程示意图；
图3为本实施例中基于K近邻优化筛选匹配的风格传递示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明作进一步详细说明。
请参考图1，本发明为一种隐式的风格化新视角合成方法，其包括：
步骤S100：基于构建的真实神经辐射场网络对多视角照片级的训练图像进行渲染，得到渲染图像；
步骤S200：获取风格图像；
步骤S300：基于渲染图像和风格图像对真实神经辐射场优化，得到训练完成的风格化神经辐射场网络模型；包括：
步骤S310：基于具有笔触金字塔的特征提取网络对渲染图像和风格图像进行特征提取，得到渲染特征图和风格特征图；
步骤S320：渲染特征图和风格特征图基于K近邻优化筛选匹配方法迁移风格样式并结合对原内容的保留损失共同优化真实神经辐射场，得到风格化神经辐射场网络，同时增加基于Lab空间的颜色迁移优化风格化神经辐射场网络以及在三维风格化之后再次把渲染的视图进行颜色迁移，通过计算风格损失函数得到训练完成的风格化神经辐射场网络模型；
步骤S400：获取待风格化视角图像，通过训练完成的风格化神经辐射场网络模型渲染当前场景连续视角的风格化新视图。
下面针对上述各个步骤进行具体说明。
步骤S100中，包括：
步骤S110：构建神经辐射场网络即NeRF网络；神经辐射场网络将三维场景表示为一个连续的五维的向量函数用于真实场景的新视角合成，输入三维空间点的位置x＝(x,y,z)和表示观测方向的二维方向向量d＝(θ,φ)，输出基于观测方向的空间点颜色c＝(r,g,b)和体密度σ，使用MLP网络表示这种映射Fθ:(x,d)→(c,σ)，映射Fθ是一种三维场景的隐式表示；具体包括如下步骤：
步骤S111：通过高频函数γ(p)＝(sin(20πp),cos(20πp),…,sin(2L-1πp),cos(2L-1πp))进行高频编码将三维位置向量输入映射到更高维度的空间，输出63维向量；通过高频函数将方向向量输入映射到更高维度的空间，输出27维的方向向量，使MLP网络更好的拟合包含高频变化的数据；其中，L表示当高频函数作用于位置向量时，设置L＝10；当高频函数作用于单位方向向量时，设置L＝4；p表示三维位置或方向。
步骤S112：使用8个全连接层处理经过高频编码的三维位置向量，输出体密度和一个256维的中间特征向量；
步骤S113：将中间特征向量和经过高频编码变成27维的方向向量连接起来，包含了位置信息和方向信息；
步骤S114：用4个全连接层处理连接后的向量，输出和位置向量以及方向向量相关的RBG颜色。
步骤S120：基于训练图片通过真实神经辐射场渲染生成渲染图像：训练图片生成光线；首先对每条光线进行粗采样，得到每个采样点后输入到粗糙NeRF网络中渲染后生成图像；然后对每条光线进行精细采样，得到每个采样点输入到精细NeRF网络中渲染后生成渲染后的图像；具体包括如下步骤：
步骤S121：从训练集中图像中选取一张训练图片作为监督值，在图中随机选取1024个点，生成1024条光线；其中，训练集包含来自不同视角的2D图片，以及对应的相机姿态矩阵。
步骤S122：输入光线的原点坐标和方向向量，将方向向量归一化把视角表示为笛卡尔坐标系下的三维方向向量，防止出现现存不够的问题将光线分批量进行渲染。
步骤S123：首先对每条光线粗采样，把采样区间等分，每条光线采样64个点。粗采样的过程可以表示为光线上所有采样位置上的颜色加权；其中权重用于指导精细采样，颜色信息将再精细采样中被利用起来，提高了一定的效率。
步骤S124：将每个采样点输入到粗糙NeRF网络中，计算每个采样点的RGB值以及体密度；使用离散形式的渲染方程来获得每条光线最终对应的颜色值：
其中，δi＝ti+1-ti代表相邻样本间沿光线方向的距离；ci和σi表示第i个采样点的颜色属性值和体密度属性值；Ti表示在经过前i-1个采样点后的累积透射率；r代表相机光线；N代表在***面和远平面之间的距离进行N等分，在N个区间中均匀随机抽取一个样本；i表示一条光线上的第几个采样点，j用于遍历当前采样点的前i-1个采样点，j的取值范围为[0,i-1]。
步骤S125：将光线采样点对应的颜色和体密度渲染为图片上的像素颜色，然后体渲染生成图像对粗糙网络进行优化：首先进行均匀采样，把采样区间等分，在一组均匀的采样位置Nc次采样，一条光线对应的颜色等于这条光线上所有采样位置上的颜色加权，然后体渲染生成图像对粗糙网络进行优化。
其中，ci表示第i个采样点的颜色属性值，Cc(r)表示优化后的每条光线对应的颜色值，ωi表示第i个采样点的颜色权重，ωi＝Ti(1-exp(-σiδi))；
步骤S126：对每条光线进行精细采样，根据粗采样64个点得到权重，再根据概率密度函数进行精细采样；概率密度函数为：权重大小和第i个采样位置附近存在对最终渲染图像有贡献的点概率具有相关性，因此将粗采样的一系列权重归一化，将其作为空间中有贡献的点的概率分布。
步骤S127：将每个采样点输入到精细NeRF网络中，计算每个采样点的RGB值以及体密度，并使用离散形式的渲染方程来获得每条光线最终对应的颜色值。
步骤S129：将光线采样点对应的颜色和体密度渲染为图片上的像素颜色，然后体渲染生成图像对精细网络进行优化。
在上述步骤S123、S124中，把均匀采样点输入到粗糙NeRF网络中，其输出结果不同于传统NeRF中仅用于指导精细采样，将再次被利用作为粗糙NeRF网络输出的颜色信息和有权重的采样经过精细NeRF网络的输出结果结合作为最终颜色信息输出，其重复部分将不再输入到精细NeRF网络中计算，可以在一定程度上减少真实照片重建辐射场的时间。本发明使用一种优化采样的NeRF方法来缩短真实神经辐射场重建的时间。
步骤S130：基于渲染后的图像和原训练图像计算损失更新，将粗糙网络和精细网络得到的误差相加同时反向传播，用计算损失更新粗糙网络和精细网络，得到训练好的真实神经辐射场；基于真实神经辐射场对训练图片进行渲染，得到渲染图像。本实施例中，计算损失时有两类，即粗糙采样点作为输入得到预测值经过渲染的输出与真实像素颜色误差、精细采样点作为输入得到预测值经过渲染的输出与真实像素颜色误差。
在步骤S200中，获取风格图像；风格图像为希望迁移到某种风格的给定的图像。
在步骤S300中，基于渲染图像和风格图像对真实神经辐射场优化，得到训练完成的风格化神经辐射场网络模型；包括：
步骤S310：基于具有笔触金字塔的特征提取网络对渲染图像和风格图像进行特征提取，得到渲染特征图和风格特征图；具体包括：
步骤S311：预训练具有笔触金字塔的特征提取网络；其中，对VGG 16网络进行层间横向连接，每层代表一个笔触特征，构建笔触金字塔；通过门控函数形成笔触风格样式特征的选取，并可通过插值系数形成连续的笔触大小，从而实现对笔触进行调控；
本实施例中，VGG 16卷积神经网络不同层输出的特征图来构建金字塔同时做增强表示，经过笔触金字塔的网络可以学习到三个基本笔触的大小；三个基本笔触来自风格图像的尺度比例分别为256、512和768。设置插值系数factor来实现连续的笔触控制，插值系数的有效范围是0到2的闭区间，当插值系数所在范围是0到1之间时，风格特征是来自金字塔笔触1和笔触2的组合，两者在计算特征损失时权重系数分别为1-factor和factor。当插值系数所在范围是1到2之间时，风格特征是来自金字塔笔触2和笔触3的组合，两者在计算特征损失时的权重系数分别为2-factor和factor-1。在这种设计下，当插值系数从0增加到2时，将从笔触1变化到笔触3。该阶段具体步骤如下：
步骤S311a:用预先训练的基于VGG 16具有笔触金字塔的网络结构提取真实辐射场渲染的新视图的语义信息和风格图像的样式特征，将卷积神经网络不同层输出的特征图金字塔做增强表示，把上一层特征图经过2倍上采样和1×1卷积操作和下一层相加所构成的层组用来重新构建金字塔。经过笔触金字塔的网络结构可以学习到三个基本笔触的大小。
步骤S311b:笔触金字塔是由三个尺度的样式图提取到的样式特征构成，每层代表一个笔触的特征，笔触特征之间是异或的关系。随着从笔触1到笔触3的改变，所选择的特定网络层随着网络深度的增加感受野也逐渐增大。
步骤S311c:然后通过门控函数形成从笔触1到笔触2再到笔触3的笔触风格样式特征的选取，并可通过插值系数形成连续的笔触大小。
步骤S312：基于具有笔触金字塔的特征提取网络提取真实神经辐射场渲染的渲染图像和风格图像的特征，得到渲染特征图和风格特征图。
步骤S320：渲染特征图和风格特征图基于K近邻优化筛选匹配方法迁移风格样式并结合对原内容的保留损失共同优化真实神经辐射场，使其转变成具有风格图样式的辐射场，得到风格化神经辐射场网络，同时增加基于Lab空间的颜色迁移优化风格化神经辐射场网络以及在三维风格化之后再次把渲染的视图进行颜色迁移，通过计算风格损失函数得到训练完成的风格化神经辐射场网络模型；使得风格化新视角合成中可以渲染具有更多的局部细节且全局颜色匹配的高质量新视图，共进行了12个epoch的风格化迭代，学习率从0.1衰减到0.01。该阶段具体步骤如下：
步骤S321：获取渲染特征图Frender和风格特征图Fstyle；
步骤S322：基于K近邻方法在风格特征图Fstyle中寻找到离Frender(i,j)最近的k个向量，形成k个匹配；其中，Frender(i,j)表示渲染特征图Frender在像素位置为(i,j)的特征向量；
步骤S323：在k个匹配中进行优化筛选，以k个匹配中最近的距离Dmin为参考，设置阈值系数α(α≥1)，，依次拿剩下k-1个匹配的距离Dx和αDmin比较，如果Dx小于等于αDmin则认为这是一个好的匹配；
步骤S324：在筛选出的好的匹配中根据每个匹配的距离加权计算差异，从而计算风格化损失；从而进行图像风格化；基于K近邻优化筛选匹配的风格损失函数为：
其中，用余弦距离D来计算两个特征向量间的距离；G表示找到k个匹配后，需要进行筛选所使用的优化匹配方法；Fstyle(i′,j′)表示在特征图Fstyle中寻找到离Frender(i,j)最近的k个向量中的一个且向量所在的位置位于(i′,j′)；表示对于渲染特征图的(i,j)位置的特征向量，从风格特征图中找到与之最近邻的k个向量用于来加权计算差异。
本实施例中，内容保留损失采用渲染图像和真实图像之间的均方误差。设置系数用来控制三维场景语义信息的保留度，一般情况下360度场景的内容保留度系数设置为0.001，180度场景设置为0.005。
步骤S300中，还包括以下步骤：
在步骤S310之前，基于Lab空间的颜色迁移把风格图像中的颜色先转移到训练后的渲染图像中预先优化真实神经辐射场；基于Lab空间的颜色迁移的方法为：首先，进行色彩空间的转换，把输入的渲染图像和风格图像由RGB空间转换到Lab空间；然后，对三个通道分别统计并做均值和标准差的转换，考虑到多视点一致性，颜色传递设计为基于全局统计的，即在Lab空间下的颜色迁移方法的输入图像的像素集合应该是所有待转换图像的像素集合；最后，将Lab空间转换到RGB空间。
在步骤S320的三维风格化之后，基于Lab空间的颜色迁移将训练视角渲染的图片进行颜色迁移，将颜色变换应用在风格化神经辐射场网络模型渲染出来图像的颜色值上。
当风格化神经辐射场网络模型完成优化后，可以渲染当前场景连续视角的风格化新视图。
本发明未涉及部分均与现有技术相同或采用现有技术加以实现。
以上内容是结合具体的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。
Claims (10)
1.一种隐式的风格化新视角合成方法，其特征在于：包括
步骤S100：基于构建的真实神经辐射场网络对多视角照片级的训练图像进行渲染，得到渲染图像；
步骤S200：获取风格图像；
步骤S300：基于渲染图像和风格图像对真实神经辐射场优化，得到训练完成的风格化神经辐射场网络模型；包括：
步骤S310：基于具有笔触金字塔的特征提取网络对渲染图像和风格图像进行特征提取，得到渲染特征图和风格特征图；
步骤S320：渲染特征图和风格特征图基于K近邻优化筛选匹配方法迁移风格样式并结合对原内容的保留损失共同优化真实神经辐射场，得到风格化神经辐射场网络，同时增加基于Lab空间的颜色迁移优化风格化神经辐射场网络以及在三维风格化之后再次把渲染的视图进行颜色迁移，通过计算风格损失函数得到训练完成的风格化神经辐射场网络模型；
步骤S400：获取待风格化视角图像，通过训练完成的风格化神经辐射场网络模型渲染当前场景连续视角的风格化新视图。
2.根据权利要求1所述的隐式的风格化新视角合成方法，其特征在于：步骤S100，包括：步骤S110：构建神经辐射场网络即NeRF网络；
步骤S120：基于训练图片通过真实神经辐射场渲染生成渲染图像：训练图片生成光线；首先对每条光线进行粗采样，得到每个采样点后输入到粗糙NeRF网络中渲染后生成图像；然后对每条光线进行精细采样，得到每个采样点输入到精细NeRF网络中渲染后生成渲染后的图像；
步骤S130：基于渲染后的图像和原训练图像计算损失更新，得到训练好的真实神经辐射场；基于真实神经辐射场对训练图片进行渲染，得到渲染图像。
3.根据权利要求2所述的隐式的风格化新视角合成方法，其特征在于：步骤S110中，神经辐射场网络将三维场景表示为一个连续的五维的向量函数用于真实场景的新视角合成，输入三维空间点的位置x＝(x,y,z)和表示观测方向的二维方向向量d＝(θ,φ)，输出基于观测方向的空间点颜色c＝(r,g,b)和体密度σ，使用MLP网络表示这种映射Fθ:(x,d)→(c,σ)，映射Fθ是一种三维场景的隐式表示。
4.根据权利要求3所述的隐式的风格化新视角合成方法，其特征在于：步骤S120中，把均匀采样点输入到粗糙NeRF网络中，将再次被利用作为粗糙NeRF网络输出的颜色信息和有权重的采样经过精细NeRF网络的输出结果结合作为最终颜色信息输出，其重复部分将不再输入到精细NeRF网络中计算。
5.根据权利要求1所述的隐式的风格化新视角合成方法，其特征在于：步骤S310，包括：
步骤S311：预训练具有笔触金字塔的特征提取网络；其中，对VGG 16网络进行层间横向连接，每层代表一个笔触特征，构建笔触金字塔；通过门控函数形成笔触风格样式特征的选取，并可通过插值系数形成连续的笔触大小，从而实现对笔触进行调控；
步骤S312：基于具有笔触金字塔的特征提取网络提取真实神经辐射场渲染的渲染图像和风格图像的特征，得到渲染特征图和风格特征图。
6.根据权利要求5所述的隐式的风格化新视角合成方法，其特征在于：步骤S311中，将VGG 16网络不同层输出的特征图金字塔做增强表示，把上一层特征图经过2倍上采样和1×1卷积操作和下一层相加所构成的层组用来重新构建金字塔。
7.根据权利要求1所述的隐式的风格化新视角合成方法，其特征在于：步骤S300中，还包括以下步骤：
在步骤S310之前，基于Lab空间的颜色迁移把风格图像中的颜色先转移到训练后的渲染图像中预先优化真实神经辐射场；
在步骤S320之后，基于Lab空间的颜色迁移将训练视角渲染的图片进行颜色迁移，将颜色变换应用在风格化神经辐射场网络模型渲染出来图像的颜色值上，渲染当前场景连续视角的风格化新视图。
8.根据权利要求7所述的隐式的风格化新视角合成方法，其特征在于：基于Lab空间的颜色迁移的方法为：
首先，进行色彩空间的转换，把输入的渲染图像和风格图像由RGB空间转换到Lab空间；然后，对三个通道分别统计并做均值和标准差的转换；
最后，将Lab空间转换到RGB空间。
9.根据权利要求1所述的隐式的风格化新视角合成方法，其特征在于：步骤S320包括：
步骤S321：获取渲染特征图Frender和风格特征图Fstyle；
步骤S322：基于K近邻方法在风格特征图Fstyle中寻找到离Frender(i,j)最近的k个向量，形成k个匹配；其中，Frender(i,j)表示渲染特征图Frender在像素位置为(i,j)的特征向量；
步骤S323：在k个匹配中进行优化筛选，以k个匹配中最近的距离Dmin为参考，设置阈值系数α，依次拿剩下k-1个匹配的距离Dx和αDmin比较，如果Dx小于等于αDmin则认为这是一个好的匹配；
步骤S324：在筛选出的好的匹配中根据每个匹配的距离加权计算差异，从而计算风格化损失；从而进行图像风格化。
10.根据权利要求9所述的隐式的风格化新视角合成方法，其特征在于：步骤S324中，基于K近邻优化筛选匹配的风格损失函数为：
其中，用余弦距离D来计算两个特征向量间的距离；G表示找到k个匹配后，需要进行筛选所使用的优化匹配方法；Fstyle(i′,j′)表示在特征图Fstyle中寻找到离Frender(i,j)最近的k个向量中的一个且向量所在的位置位于(i′,j′)；表示对于渲染特征图的(i,j)位置的特征向量，从风格特征图中找到与之最近邻的k个向量用于来加权计算差异。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311083793.3A CN117237501A (zh) | 2023-08-25 | 2023-08-25 | 一种隐式的风格化新视角合成方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311083793.3A CN117237501A (zh) | 2023-08-25 | 2023-08-25 | 一种隐式的风格化新视角合成方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117237501A true CN117237501A (zh) | 2023-12-15 |
Family
ID=89085291
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311083793.3A Pending CN117237501A (zh) | 2023-08-25 | 2023-08-25 | 一种隐式的风格化新视角合成方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117237501A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118096978A (zh) * | 2024-04-25 | 2024-05-28 | 深圳臻像科技有限公司 | 一种基于任意风格化的3d艺术内容快速生成方法 |
-
2023
- 2023-08-25 CN CN202311083793.3A patent/CN117237501A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN118096978A (zh) * | 2024-04-25 | 2024-05-28 | 深圳臻像科技有限公司 | 一种基于任意风格化的3d艺术内容快速生成方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115690324A (zh) | 一种基于点云的神经辐射场重建优化方法及装置 | |
| CN108830913B (zh) | 基于用户颜色引导的语义级别线稿上色方法 | |
| CN114666564B (zh) | 一种基于隐式神经场景表示进行虚拟视点图像合成的方法 | |
| CN116958453B (zh) | 基于神经辐射场的三维模型重建方法、设备和介质 | |
| CN115761178A (zh) | 基于隐式神经表示的多视图三维重建方法 | |
| CN117237501A (zh) | 一种隐式的风格化新视角合成方法 | |
| CN116993826A (zh) | 一种基于局部空间聚合神经辐射场的场景新视图生成方法 | |
| CN113096239B (zh) | 一种基于深度学习的三维点云重建方法 | |
| CN113962858A (zh) | 一种多视角深度获取方法 | |
| CN116402942A (zh) | 一种融合多尺度图像特征的大规模建筑物三维重建方法 | |
| CN116416375A (zh) | 一种基于深度学习的三维重建方法和*** | |
| CN114742966A (zh) | 一种基于图像的三维场景重建方法及装置 | |
| CN116416376A (zh) | 一种三维头发的重建方法、***、电子设备及存储介质 | |
| CN112614070A (zh) | 一种基于DefogNet的单幅图像去雾方法 | |
| CN116739899A (zh) | 基于saugan网络的图像超分辨率重建方法 | |
| CN116977536A (zh) | 一种基于混合神经辐射场的无边界场景新视角合成方法 | |
| CN116681838A (zh) | 基于姿态优化的单目视频动态人体三维重建方法 | |
| CN116310111A (zh) | 基于伪平面约束的室内场景三维重建方法 | |
| CN117274493A (zh) | 一种融合深度估计的神经隐式表面重建方法及装置 | |
| CN115953551A (zh) | 一种基于点云初始化和深度监督的稀疏网格辐射场表示方法 | |
| CN115147709A (zh) | 一种基于深度学习的水下目标三维重建方法 | |
| CN116134491A (zh) | 用于面部表情、身体姿态形态和衣服表演捕捉的使用隐式可微分渲染器的多视图神经人体预测 | |
| CN117726502A (zh) | 一种图像神经风格迁移方法 | |
| CN117058302A (zh) | 一种基于NeRF的可泛化性场景渲染方法 | |
| CN110675381A (zh) | 一种基于串行结构网络的本征图像分解方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |