CN109685723A - 一种多媒体数据信息处理方法 - Google Patents

Abstract

本发明提供了一种多媒体数据信息处理方法，所述方法包括：获取第一神经网络预测模型，根据所述第一神经网络预测模型对指定图像进行处理，得到中间特征图；根据所述第一神经网络预测模型的N个反卷积块依次对所述中间特征图进行处理，得到第一特征图像；获取第二神经网络预测模型，根据所述第二神经网络预测模型对所述指定图像的梯度图进行处理，得到所述指定图像的第二特征图像；获取第三神经网络预测模型，根据所述第三神经网络预测模型，根据输入的所述第一特征图像和所述第二特征图像得到处理后图像。本发明由于该处理后图像能够有效恢复指定图像的场景信息特征和边缘信息特征，从而可以提升图像增强处理的效率。

Description

一种多媒体数据信息处理方法

技术领域

本发明涉及多媒体技术领域，尤其涉及一种多媒体数据信息处理方法。

背景技术

图像增强是通过一定手段对原图像附加一些信息或变换数据，有选择地突出图像中感兴趣的特征或者抑制图像中某些不需要的特征，使图像与视觉响应特性相匹配。图像增强技术可以根据增强处理过程所在的空间不同，可分为基于空域的算法和基于频域的算法两大类。基于空域的算法处理时直接对图像灰度级做运算，基于频域的算法是在图像的某种变换域内对图像的变换系数值进行某种修正，是一种间接增强的算法。现有的图像增强技术只考虑了整体性地对图像进行处理，从而导致处理效率较低。

发明内容

本发明提供了一种多媒体数据信息处理方法，其技术方案如下：

获取第一神经网络预测模型，所述第一神经网络预测模型包括：N个卷积块，以及与所述N个卷积块一一对应的N个反卷积块，所述N为正整数，每个所述卷积块包括多个卷积处理层，属于同一卷积块的任意两个卷积处理层的尺度相同，属于不同卷积块的任意两个卷积处理层的尺度不同，每个反卷积块包括的卷积处理层的个数与对应的卷积块所包括的卷积处理层的个数相等，每个反卷积块包括的卷积处理层的尺度，与对应的卷积块所包括的卷积处理层的尺度相同；

根据第一神经网络预测模型的N个卷积块依次对所述指定图像进行处理，得到中间特征图；根据所述第一神经网络预测模型的N个反卷积块依次对所述中间特征图进行处理，得到第一特征图像；

获取第二神经网络预测模型，所述第二神经网络预测模型包括：M个卷积块、与所述M个卷积块一一对应的M个反卷积块以及循环神经网络模型，所述M为正整数，每个所述卷积块包括多个卷积处理层，属于同一卷积块的任意两个卷积处理层的尺度相同，属于不同卷积块的任意两个卷积处理层的尺度不同，每个反卷积块包括的卷积处理层的个数与对应的卷积块所包括的卷积处理层的个数相等，每个反卷积块包括的卷积处理层的尺度，与对应的卷积块所包括的卷积处理层的尺度相同；

根据第二神经网络预测模型的M个卷积块依次对所述指定图像的梯度图进行处理，得到中间梯度特征图，根据第二神经网络预测模型的M个反卷积块依次对所述中间梯度特征图进行处理，得到第一特征图，在确定所述循环神经网络模型在不同梯度方向上的权重值后，基于确定权重值的所述循环神经网络模型，对所述第一特征图进行处理，得到所述指定图像的第二特征图像；

获取第三神经网络预测模型，所述第三神经网络预测模型包括多个卷积层；

根据第三神经网络预测模型，根据输入的所述第一特征图像和所述第二特征图像得到处理后图像。

优选地，所述多媒体数据信息处理方法还包括：

基于所述K组训练图像，构造训练损失函数，所述训练损失函数包括：感知损失函数和对抗损失函数中的至少一种；

所述根据所述损失函数，对所述增强处理模型进行训练，包括：

将所述损失函数和所述训练损失函数叠加，得到叠加函数；

基于所述叠加函数，对所述增强处理模型进行训练；

获取K组训练图像，每组所述训练图像包括正常光照图像，以及与所述正常光照图像对应的低光照图像，K为大于1的整数，所述低光照图像是根据伽马矫正函数对所述正常光照图像进行处理后得到的图像；

基于所述K组训练图像，构造损失函数，所述损失函数L_mse(θ)满足：

其中，L_k和R_k分别为第k组训练图像中的低光照图像和正常光照图像，f为所述图像增强方法所根据的增强处理模型，所述增强处理模型由所述第一神经网络预测模型、所述第二神经网络预测模型和所述第三神经网络预测模型组成；f(L_k,θ)为对所述第k组训练图像中的低光照图像L_k进行增强处理后得到的处理后图像，θ为所述增强处理模型中的参数，k为不大于K的正整数；

根据所述损失函数，对所述增强处理模型进行训练，得到所述第一神经网络预测模型、所述第二神经网络预测模型和所述第三神经网络预测模型。

本发明实施例提供了一种多媒体数据信息处理方法，可以根据第一神经网络预测模型得到该指定图像的第一特征图像，该第一特征图像可以反映指定图像的场景信息，并可以根据第二神经网络预测模型得到该指定图像的第二特征图像，最后对该第一特征图像和该第二特征图像进行融合处理后得到处理后图像。由于该处理后图像能够有效恢复指定图像的场景信息特征和边缘信息特征，从而可以提升图像增强处理的效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种多媒体数据信息处理方法的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

请参考图1，本发明实施例提供了一种多媒体数据信息处理方法，其主要如下步骤：

步骤1、获取第一神经网络预测模型，所述第一神经网络预测模型包括：N个卷积块，以及与所述N个卷积块一一对应的N个反卷积块，所述N为正整数，每个所述卷积块包括多个卷积处理层，属于同一卷积块的任意两个卷积处理层的尺度相同，属于不同卷积块的任意两个卷积处理层的尺度不同，每个反卷积块包括的卷积处理层的个数与对应的卷积块所包括的卷积处理层的个数相等，每个反卷积块包括的卷积处理层的尺度，与对应的卷积块所包括的卷积处理层的尺度相同；

步骤2、根据第一神经网络预测模型的N个卷积块依次对所述指定图像进行处理，得到中间特征图；根据所述第一神经网络预测模型的N个反卷积块依次对所述中间特征图进行处理，得到第一特征图像；

步骤3、获取第二神经网络预测模型，所述第二神经网络预测模型包括：M个卷积块、与所述M个卷积块一一对应的M个反卷积块以及循环神经网络模型，所述M为正整数，每个所述卷积块包括多个卷积处理层，属于同一卷积块的任意两个卷积处理层的尺度相同，属于不同卷积块的任意两个卷积处理层的尺度不同，每个反卷积块包括的卷积处理层的个数与对应的卷积块所包括的卷积处理层的个数相等，每个反卷积块包括的卷积处理层的尺度，与对应的卷积块所包括的卷积处理层的尺度相同；

步骤4、根据第二神经网络预测模型的M个卷积块依次对所述指定图像的梯度图进行处理，得到中间梯度特征图，根据第二神经网络预测模型的M个反卷积块依次对所述中间梯度特征图进行处理，得到第一特征图，在确定所述循环神经网络模型在不同梯度方向上的权重值后，基于确定权重值的所述循环神经网络模型，对所述第一特征图进行处理，得到所述指定图像的第二特征图像；

步骤5、获取第三神经网络预测模型，所述第三神经网络预测模型包括多个卷积层；

步骤6、根据第三神经网络预测模型，根据输入的所述第一特征图像和所述第二特征图像得到处理后图像。

优选实施例中国，所述多媒体数据信息处理方法还包括：

步骤7、基于所述K组训练图像，构造训练损失函数，所述训练损失函数包括：感知损失函数和对抗损失函数中的至少一种；

步骤8、所述根据所述损失函数，对所述增强处理模型进行训练，包括：

步骤9、将所述损失函数和所述训练损失函数叠加，得到叠加函数；

步骤10、基于所述叠加函数，对所述增强处理模型进行训练；

步骤11、获取K组训练图像，每组所述训练图像包括正常光照图像，以及与所述正常光照图像对应的低光照图像，K为大于1的整数，所述低光照图像是根据伽马矫正函数对所述正常光照图像进行处理后得到的图像；

步骤12、基于所述K组训练图像，构造损失函数，所述损失函数L_mse(θ)满足：

其中，L_k和R_k分别为第k组训练图像中的低光照图像和正常光照图像，f为所述图像增强方法所根据的增强处理模型，所述增强处理模型由所述第一神经网络预测模型、所述第二神经网络预测模型和所述第三神经网络预测模型组成；f(L_k,θ)为对所述第k组训练图像中的低光照图像L_k进行增强处理后得到的处理后图像，θ为所述增强处理模型中的参数，k为不大于K的正整数；

步骤13、根据所述损失函数，对所述增强处理模型进行训练，得到所述第一神经网络预测模型、所述第二神经网络预测模型和所述第三神经网络预测模型。

而本发明实施例提供的多媒体数据信息处理方法，可以根据回归网络模型分别提取指定图像的第一特征图像和第二特征图像，其中该第一特征图像可以用于反映指定图像的场景内容特征，该第二特征图像可以反映指定图的边缘信息特征，因此将该第一特征图像和第二特征图像进行融合处理得到的处理后图像能够在恢复场景真实内容的同时，保证指定图像的细节边缘特征也得到有效恢复，其处理效果较好。

具体地，在所述步骤1和步骤3中，所述第一神经网络预测模型可以为基于卷积神经网络的网络模型。该第一特征图像可以用于反映该指定图像的场景信息，也即是，可以反映该指定图像中具体包含哪些拍摄对象。该第二神经网络预测模型可以为基于卷积神经网络和循环神经网络的网络模型，该第二特征图像可以用于反映该指定图像的边缘特征。其中，图像的边缘是指图像中特性(如像素灰度、纹理等)分布的不连续处，边缘一般存在于图像中物体与背景之间或者物体与物体之间。

该第一神经网络预测模型可以为基于卷积神经网络的网络模型，该第一神经网络预测模型可以包括：N个卷积块，以及与该N个卷积块一一对应的N个反卷积块，该N可以为正整数，例如可以为大于1的整数。其中，每个卷积块可以包括多个卷积处理层，每个卷积处理层可以为卷积层、腐蚀卷积层或者下采样卷积层等。并且，属于同一卷积块的任意两个卷积处理层的尺度相同，属于不同卷积块的任意两个卷积处理层的尺度不同。

每个反卷积块包括的卷积处理层的个数与对应的卷积块所包括的卷积处理层的个数相等，每个反卷积块包括的卷积处理层的尺度，与对应的卷积块所包括的卷积处理层的尺度相同。根据不同尺度的卷积处理层对指定图像进行处理后所得到的特征图的大小(即分辨率)不同，该每个卷积处理层的尺度大小可以由卷积核的大小决定。

在根据该第一神经网络预测模型对指定图像进行处理时，可以先根据该N个卷积块依次对该指定图像进行处理，得到中间特征图；然后再根据该N个反卷积块依次对该中间特征图进行处理，最终即可得到该第一特征图像。由于该第一神经网络预测模型包括的N个卷积块和N个反卷积块一一对应，因此根据该第一神经网络预测模型对该指定图像进行处理后，最终得到的第一特征图像的分辨率与该指定图像的分辨率相同。

例如，该第一神经网络预测模型可以包括三个卷积块和三个反卷积块。第一卷积块可以包括：依次连接的两个腐蚀卷积层和一个卷积层；第二卷积块可以包括：依次连接的两个卷积层和一个下采样卷积层；第三卷积块可以包括：依次连接的三个卷积层。其中，在第一卷积块中设置两个腐蚀卷积层，可以有效提升该第一神经网络预测模型所输出的第一特征图像的感知野。在卷积神经网络中，感知野是指网络模型所输出的特征图上的像素点在原始图像上映射的区域大小。

第一反卷积块可以包括：依次连接的三个卷积层；第二反卷积块可以包括：依次连接的一个反卷积层和两个卷积层；第三反卷积块可以包括：依次连接的一个反卷积层和两个卷积层。

所述第二神经网络预测模型可以为基于卷积神经网络和循环神经网络的模型，该第二神经网络预测模型可以包括：M个卷积块、与该M个卷积块一一对应的M个反卷积块、下采样模型以及循环神经网络模型。其中，M可以为正整数，例如可以为大于1的整数。

该M个卷积块中，每个卷积块可以包括多个卷积处理层，属于同一卷积块的任意两个卷积处理层的尺度相同，属于不同卷积块的任意两个卷积处理层的尺度不同；该M个反卷积块中，每个反卷积块包括的卷积处理层的个数与对应的卷积块所包括的卷积处理层的个数相等，每个反卷积块包括的卷积处理层的尺度，与对应的卷积块所包括的卷积处理层的尺度相同；该下采样模型则可以包括多个不同尺度的下采样卷积层。

该第二神经网络预测模型中的M个卷积块与该第一神经网络预测模型中的N个卷积块也可以一一对应，该第二神经网络预测模型中的M个反卷积块与该第一神经网络预测模型中的N个反卷积块也可以一一对应。其中，相对应的两个卷积块的尺度相同，相对应的两个反卷积块的尺度相同。

步骤4中，根据第二神经网络预测模型对该指定图像的梯度图进行处理，得到该指定图像的第二特征图像，可以获取该指定图像的梯度图，该梯度图可以反映该指定图像中每个像素的邻域内的灰度变化。终端根据第二神经网络预测模型对该梯度图进行处理后，即可得到该指定图像的第二特征图像。

步骤6中，根据第三神经网络预测模型，对该第一特征图像和该第二特征图像进行融合处理，得到处理后图像。该第三神经网络预测模型可以为基于卷积神经网络的模型。终端通过第三神经网络预测模型，对该第一特征图像和该第二特征图像进行融合处理所得到的处理后图像，不仅可以恢复指定图像的场景信息，还可以有效恢复该指定图像的边缘特征，该处理后图像的视觉效果较好，有效提高了该多媒体数据信息处理方法的处理效果。

对该第一特征图和该多个不同尺度的第二特征图进行分层处理，确定循环神经网络模型在不同梯度方向上的权重值。

可以对该第一特征图和该多个不同尺度的第二特征图进行分层处理，从而确定循环神经网络模型在不同梯度方向上的权重值。其中，该梯度方向可以包括上下左右共四个方向。

由于不同尺度的第二特征图可以提供不同的边缘信息。比如，小分辨率的第二特征图可以提供强烈的边缘信息，即图像的细节纹理信息，大分辨率的第二特征图可以提供细小的边缘信息，即图像的整体轮廓及结构信息，因此在该分层处理的过程中，可以利用多个不同尺度的第二特征图所提供的特征对RNNs模型中不同梯度方向的权重值进行约束，从而确定该RNNs模型在不同梯度方向上的权重值。一般第二特征图中像素值越大的像素对应的RNNs模型中的权重值也越大。

基于确定权重值的该循环神经网络模型，对该第一特征图进行处理，得到该指定图像的第二特征图像。可以在循环神经网络模型所提取的不同梯度方向的权重值中选取最大的权重值作为最终的梯度方向指示结果，并可以基于该结果控制循环神经网络模型对该第一特征图进行处理，得到该指定图像的第二特征图像。

将该第一特征图像和该第二特征图像进行叠加，可根据基于卷积神经网络的第三神经网络预测模型，对该第一特征图像和该第二特征图像进行处理，以得到处理后图像。

根据多个卷积层对叠加后的图像进行处理，得到处理后图像，所述第三神经网络预测模型中可以包括多个卷积层，例如可以包括两个卷积层。终端可以根据该多个卷积层对叠加后的图像进行处理，从而得到处理后图像。该处理后图像能够有效反映出指定图像的场景信息和边缘特征，因此该处理后图像的视觉效果较好。

所述第一神经网络预测模型和第二神经网络预测模型中的各个卷积块或反卷积块所根据的卷积处理层的数量和类型可以根据实际情况进行调整，例如，第一神经网络预测模型中的第一卷积块中可以设置一个腐蚀卷积层或者三个以上的腐蚀卷积层，第三卷积块中也可以设置四个卷积层。本发明实施例对此不做限定。

本实施例还公开了对该增强处理模型进行训练的步骤，包括：

1、获取K组训练图像，每组该训练图像包括正常光照图像，以及与该正常光照图像对应的低光照图像。其中，K为大于1的整数，该K组训练图像中的正常光照图像可以为开发人员人工筛选的亮度较高，且较为清晰的图像；或者该K组训练图像中的正常光照图像也可以为机器筛选的亮度和对比度满足预设条件的图像。每组训练图像中的低光照图像是根据伽马矫正函数对该组训练图像中的正常光照图像进行处理后得到的图像，因此每组训练图像中的正常光照图像和低光照图像也可以称为一对匹配对。

2、基于该K组训练图像，构造损失函数。

该损失函数L_mse(θ)可以满足：

其中，|| ||表示求解二范数，L_k和R_k分别为第k组训练图像中的低光照图像和正常光照图像，f为本发明实施例提供的图像增强方法所根据的增强处理模型，如前文所述，该增强处理模型可以由该第一神经网络预测模型、该第二神经网络预测模型和该第三神经网络预测模型组成；f(L_k,θ)为对该第k组训练图像中的低光照图像L_k进行增强处理后得到的处理后图像，θ为该增强处理模型中的参数，k为不大于K的正整数。

f(L_k,θ)-R_k可以是指将两幅图像中对应像素的像素值之差，由此可知，该损失函数也即是求解根据增强处理模型得到的处理后图像，与真实的正常光照图像之间的均方误差。

3、基于该K组训练图像，构造训练损失函数。

该步骤具体包括：

a、从K组训练图像中选取一组目标训练图像。

例如终端可以随机选取一组训练图像作为目标训练图像。

b、根据该增强处理模型对该目标训练图像中的目标低光照图像进行增强处理，得到该目标低光照图像对应的处理后图像。

根据该增强处理模型f对该目标低光照图像L进行增强处理后得到的处理后图像可以表示为f(L,θ)。

c、基于该目标训练图像，构造感知损失函数。

在本发明实施例中，终端可以根据预设的神经网络模型ψ分别对该目标训练图像中的目标正常光照图像R，以及该目标低光照图像L对应的处理后图像f(L,θ)进行处理后，构造感知损失函数L_per，该感知损失函数L_per可以满足：

其中，ψ_i,j表示该预设的神经网络模型ψ中第i个池化层之后的第j个卷积层所提取出的特征图，W_i,j和H_i,j分别为该预设的神经网络模型中每层特征图的长度和宽度。

在本发明实施例中，为了进一步提高该增强处理模型的处理效果，终端还可以构造其他训练损失函数，该训练损失函数可以包括：感知损失函数和对抗损失函数中的至少一种。

4、将该损失函数与该训练损失函数叠加，得到叠加函数。

假设该训练损失函数包括感知损失函数和对抗损失函数。则相应的，终端可以将该损失函数、该感知损失函数和该对抗损失函数进行叠加，得到叠加函数。

5、基于该叠加函数，对该增强处理模型进行训练。

最后，终端即可基于该叠加函数，对该增强处理模型进行训练，以规则化该增强处理模型中的参数θ，从而得到该第一神经网络预测模型、该第二神经网络预测模型以及该第三神经网络预测模型。该训练后的增强处理模型能够有效拟合该K组训练图像。其中，在训练的过程中，可以通过反向传递的方式更新该增强处理模型中的参数，直至该叠加函数收敛。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种多媒体数据信息处理方法，其特征在于，所述方法包括：

获取第一神经网络预测模型，所述第一神经网络预测模型包括：N个卷积块，以及与所述N个卷积块一一对应的N个反卷积块，所述N为正整数，每个所述卷积块包括多个卷积处理层，属于同一卷积块的任意两个卷积处理层的尺度相同，属于不同卷积块的任意两个卷积处理层的尺度不同，每个反卷积块包括的卷积处理层的个数与对应的卷积块所包括的卷积处理层的个数相等，每个反卷积块包括的卷积处理层的尺度，与对应的卷积块所包括的卷积处理层的尺度相同；

根据第一神经网络预测模型的N个卷积块依次对所述指定图像进行处理，得到中间特征图；根据所述第一神经网络预测模型的N个反卷积块依次对所述中间特征图进行处理，得到第一特征图像；

获取第二神经网络预测模型，所述第二神经网络预测模型包括：M个卷积块、与所述M个卷积块一一对应的M个反卷积块以及循环神经网络模型，所述M为正整数，每个所述卷积块包括多个卷积处理层，属于同一卷积块的任意两个卷积处理层的尺度相同，属于不同卷积块的任意两个卷积处理层的尺度不同，每个反卷积块包括的卷积处理层的个数与对应的卷积块所包括的卷积处理层的个数相等，每个反卷积块包括的卷积处理层的尺度，与对应的卷积块所包括的卷积处理层的尺度相同；

根据第二神经网络预测模型的M个卷积块依次对所述指定图像的梯度图进行处理，得到中间梯度特征图，根据第二神经网络预测模型的M个反卷积块依次对所述中间梯度特征图进行处理，得到第一特征图，在确定所述循环神经网络模型在不同梯度方向上的权重值后，基于确定权重值的所述循环神经网络模型，对所述第一特征图进行处理，得到所述指定图像的第二特征图像；

获取第三神经网络预测模型，所述第三神经网络预测模型包括多个卷积层；

根据第三神经网络预测模型，根据输入的所述第一特征图像和所述第二特征图像得到处理后图像。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

基于所述K组训练图像，构造训练损失函数，所述训练损失函数包括：感知损失函数和对抗损失函数中的至少一种；

所述根据所述损失函数，对所述增强处理模型进行训练，包括：

将所述损失函数和所述训练损失函数叠加，得到叠加函数；

基于所述叠加函数，对所述增强处理模型进行训练；

获取K组训练图像，每组所述训练图像包括正常光照图像，以及与所述正常光照图像对应的低光照图像，K为大于1的整数，所述低光照图像是根据伽马矫正函数对所述正常光照图像进行处理后得到的图像；

基于所述K组训练图像，构造损失函数，所述损失函数L_mse(θ)满足：

其中，L_k和R_k分别为第k组训练图像中的低光照图像和正常光照图像，f为所述图像增强方法所根据的增强处理模型，所述增强处理模型由所述第一神经网络预测模型、所述第二神经网络预测模型和所述第三神经网络预测模型组成；f(L_k,θ)为对所述第k组训练图像中的低光照图像L_k进行增强处理后得到的处理后图像，θ为所述增强处理模型中的参数，k为不大于K的正整数；

根据所述损失函数，对所述增强处理模型进行训练，得到所述第一神经网络预测模型、所述第二神经网络预测模型和所述第三神经网络预测模型。