CN110557572B - 一种图像处理方法、装置及卷积神经网络*** - Google Patents

Abstract

本申请提供一种图像处理方法、装置及卷积神经网络***，可以获取N帧图像数据，该N帧图像数据中至少有两帧图像数据曝光参数不同，且N大于等于2，通过将N帧图像数据输入到预训练的卷积神经网络，获取所述卷积神经网络对输入的N帧图像数据进行合成处理后输出的目标数据。本申请通过预训练的卷积神经网络对输入的不同曝光参数的图像数据进行合成处理，通过利用卷积神经网路更充分更准确的提取并融合不同帧存在的差异信息，可以减少合成图像的过渡瑕疵，另外还可以通过去模糊处理，保证动态范围较大场景下的图像正常合成，因此提升了合成图像的视觉体验。

Description

一种图像处理方法、装置及卷积神经网络***

技术领域

本申请涉及图像处理技术领域，尤其涉及一种图像处理方法、装置及卷积神经网络***。

背景技术

摄像机传感器在场景中的动态范围是存在局限的，所谓的动态范围是指图像中所包含的从“最暗”至“最亮”的范围。当强光源(日光、灯具或反光等)照射下的高亮度区域及阴影、逆光等相对亮度较低的区域在图像中同时存在时，摄像机输出的图像会出现明亮区域因曝光过度成为白色，而黑暗区域因曝光不足成为黑色的现象，严重影响图像质量。

通过图像宽动态处理技术可以克服传感器动态范围有限的缺点，产生与人眼感觉近似的视觉观感。现有的图像宽动态处理技术主要是基于多帧多曝光模式，即对同一场景多次拍摄，每次拍摄采用不同的曝光模式，得到多帧曝光时间不同的图像，最后采用宽动态处理技术合成一帧宽动态图像。

采用图像宽动态处理方法，图像中过亮和过暗的地方都可得到适当的曝光，但这种方法对合成的算法要求较高，且融合的图像容易出现过渡瑕疵；另外，在拍摄运动场景时，拍摄到的图像容易出现运动模糊、长短帧不匹配等现象，从而导致合成图像异常。

发明内容

有鉴于此，为了解决现有技术中采用宽动态处理方法可能出现过渡瑕疵以及动态范围较大场景下合成图异常的问题，本申请提供一种图像处理方法、装置及卷积神经网络***，以实现通过将不同曝光时间的图像参数输入到预训练的卷积神经网络得到合成图像，从而减少合成图像瑕疵，保证动态范围较大场景下的图像正常合成，提升了合成图像的视觉体验。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种图像处理方法，所述方法包括：

获取N帧图像数据，所述N帧图像数据中至少有两帧图像数据曝光参数不同，N大于等于2；

将所述N帧图像数据输入到预训练的卷积神经网络；

获取所述卷积神经网络对输入的N帧图像数据进行合成处理后输出的目标数据。

作为一个实施例，所述卷积神经网络至少通过以下两个计算层实现所述合成处理：

第一计算层，用于对输入的图像数据进行叠加；

第二计算层，用于对所述第一计算层输出的叠加结果进行合成处理，输出合成处理后的图像数据。

作为一个实施例，所述卷积神经网络还包括：

第三计算层，用于对输入的每一帧图像数据进行特征提取并输出特征数据给所述第一计算层。

作为一个实施例，所述第三计算层包括N个子计算层，所述N个子计算层分别对应所述N帧图像数据；每一子计算层对其对应的一帧图像数据进行特征提取并输出特征数据给所述第一计算层。

作为一个实施例，所述第一计算层，具体用于将输入的图像数据中的特征按通道进行处理，组成一个图像特征数据。

作为一个实施例，所述方法还包括：

去模糊层，用于对输入的图像数据进行去模糊处理将处理结果输出给所述第一计算层。

根据本申请实施例的第二方面，提供一种图像处理装置，所述装置包括：

图像获取单元，用于获取N帧图像数据，所述N帧图像数据中至少有两帧图像数据曝光参数不同，N大于等于2；

图像输入单元，用于将所述N帧图像数据输入到预训练的卷积神经网络；

图像合成单元，用于获取所述卷积神经网络对输入的N帧图像数据进行合成处理后输出的目标数据。

作为一个实施例，所述卷积神经网络至少通过以下两个计算层实现所述合成处理：

第一计算层，用于对输入的图像数据进行叠加；

第二计算层，用于对所述第一计算层输出的叠加结果进行合成处理，输出合成处理后的图像数据。

作为一个实施例，所述卷积神经网络还包括：

第三计算层，用于对输入的每一帧图像数据进行特征提取并输出特征数据给所述第一计算层。

作为一个实施例，所述第三计算层包括N个子计算层，所述N个子计算层分别对应所述N帧图像数据；每一子计算层对其对应的一帧图像数据进行特征提取并输出特征数据给所述第一计算层。

作为一个实施例，所述第一计算层，具体用于将输入的图像数据中的特征按通道进行处理，组成一个图像特征数据。

作为一个实施例，所述装置还包括：

去模糊层，用于对输入的图像数据进行去模糊处理将处理结果输出给所述第一计算层。

根据本申请实施例的第三方面，提供一种卷积神经网络***，

所述卷积神经网络***，用于在预训练完成后，对输入的N帧图像数据进行合成处理后输出目标数据，其中所述N帧图像数据中至少有两帧图像数据曝光参数不同，N大于等于2。

作为一个实施例，所述卷积神经网络至少通过以下两个计算层实现所述合成处理：

第一计算层，用于对输入的图像数据进行叠加；

第二计算层，用于对所述第一计算层输出的叠加结果进行合成处理，输出合成处理后的图像数据。

作为一个实施例，所述卷积神经网络还包括：

第三计算层，用于对输入的每一帧图像数据进行特征提取并输出特征数据给所述第一计算层。

作为一个实施例，所述第三计算层包括N个子计算层，所述N个子计算层分别对应所述N帧图像数据；每一子计算层对其对应的一帧图像数据进行特征提取并输出特征数据给所述第一计算层。

作为一个实施例，所述第一计算层，具体用于将输入的图像数据中的特征按通道进行处理，组成一个图像特征数据。

作为一个实施例，所述***还包括：

去模糊层，用于对输入的图像数据进行去模糊处理将处理结果输出给所述第一计算层。

由上述实施例可见，本申请可以获取N帧图像数据，该N帧图像数据中至少有两帧图像数据曝光参数不同，且N大于等于2，通过将N帧图像数据输入到预训练的卷积神经网络，获取所述卷积神经网络对输入的N帧图像数据进行合成处理后输出的目标数据。本申请通过预训练的卷积神经网络对输入的不同曝光参数的图像数据进行合成处理，通过利用卷积神经网路更充分更准确的提取并融合不同帧存在的差异信息，可以减少合成图像的过渡瑕疵，另外还可以通过去模糊处理，保证动态范围较大场景下的图像正常合成，因此提升了合成图像的视觉体验。

附图说明

图1为本申请示例性的一种图像处理方法的实施例流程图；

图2为本申请示例性的一种图像处理方法的方案示意图；

图3为本申请示例性的第三计算层实施例示意图；

图4-1为本申请示例性的子计算层的第一种实施例示意图；

图4-2为本申请示例性的子计算层的第二种实施例示意图；

图4-3为本申请示例性的子计算层的第三种实施例示意图；

图5-1为本申请示例性的第一计算层的第一种实施例示意图；

图5-2为本申请示例性的第一计算层的第二种实施例示意图；

图6-1为本申请示例性的另一种图像处理方法的方案示意图；

图6-2为本申请示例性的又一种图像处理方法的方案示意图；

图7为本申请示例性的去模糊层的实施例示意图；

图8为本申请示例性的训练方案示意图；

图9为本申请图像处理装置的一个实施例框图；

图10为本申请一种计算机设备的一个实施例框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

为了解决现有技术中采用宽动态处理方法可能出现过渡瑕疵以及动态范围较大场景下合成图异常的问题，本申请提供一种图像处理方法、装置及卷积神经网络***，以实现通过将不同曝光参数的图像数据输入到预训练的卷积神经网络进行合成处理，从而减少合成图像的过渡瑕疵，保证动态范围较大场景下的合成图像正常。

如下，示出下述实施例对本申请提供的图像处理方法进行说明。

实施例一：

请参见图1，为本申请示例性的一种图像处理方法的实施例流程图，该方法包括以下步骤：

步骤101、获取N帧图像数据，所述N帧图像数据中至少有两帧图像数据曝光参数不同，N大于等于2；

在本实施例中，首先通过成像模块获取图像数据，该成像模块包括但不限于镜头和传感器，光线透过镜头投射到传感器表层，使传感器可以获取N帧图像数据，其中N大于等于2。在这N帧图像数据中至少包含两帧参数不同的图像数据，其他图像数据的曝光参数可以相同也可以不同。需要说明的是，本实施例中，曝光参数主要是根据曝光模式和曝光时间来决定。其中曝光模式可以是卷帘式曝光，也可以是全局曝光，此处不做限定。因此本实施例中，曝光参数不同主要是因为曝光时间不同，其中曝光时间不同的图像数据可以是图像帧P1曝光时间较短，图像帧Pn曝光时间较长，也可以是图像帧P1曝光时间较长，图像帧Pn曝光时间较短，还可以在图像帧P1和图像帧Pn之间加入一个或多个图像帧，该一个或多个图像帧的曝光时间不做限定。

步骤102、将所述N帧图像数据输入到预训练的卷积神经网络；

在本实施例中，可以将获取的N帧图像数据输入到预训练的卷积神经网络中，上述卷积神经网络可以通过在预训练卷积神经网络模型配置训练参数得到，具体训练过程请参考图8对应的实施例。

步骤103、获取所述卷积神经网络对输入的N帧图像数据进行合成处理后输出的目标数据。

上述步骤101至步骤103可由图9所示的图像处理装置执行。步骤102中预训练的卷积神经网络可以是一个神经网络***，神经网络***可包括多个计算层来实现对输入的N帧图像数据进行融合处理。

在一个实施例中，卷积神经网络至少通过以下两个计算层实现所述合成处理：其中包括第一计算层，用于对输入的图像数据进行叠加；第二计算层，用于对所述第一计算层输出的叠加结果进行合成处理，输出合成处理后的图像数据。

请参考图2，为本申请示例性的一种图像处理方法的方案示意图；其中，传感器可将获取的N帧图像数据，例如，将图像帧P1至图像帧Pn输入到通过预训练的卷积神经网络20中，该预训练的卷积神经网络20包括第一计算层21和第二计算层22，由于第一计算层21可以对输入的N帧图像数据通过预训练的卷积神经网络的计算得到图像特征数据，再通过第二计算层22对所述第一计算层输出的叠加结果进行合成处理，输出合成处理后的图像数据。从而可以充分利用不同曝光时间的图像数据存在的差异信息，减少图像瑕疵，提升视觉感官。

作为一个实施例，卷积神经网络20还包括第三计算层23，用于对输入的每一帧图像数据进行特征提取并输出特征数据给所述第一计算层。请参考图3，为本申请示例性的第三计算层实施例示意图；其中该卷积神经网络20的第三计算层23用于将输入的N帧图像数据的每一帧图像数据进行特征提取得到对应的图像特征数据；在一个实施例中，第三计算层23包括N个子计算层，所述N个子计算层分别对应所述N帧图像数据；每一子计算层对其对应的一帧图像数据进行特征提取并输出特征数据给所述第一计算层。如图3所示，当输入的图像帧为图像帧P1至图像帧Pn时，第三计算层23则包括子计算层1至子计算层n，其中图像帧1输入到子计算层1，图像帧n输入到子计算层n。在第三计算层中设置多个子计算层，可以使每个子计算层对应处理一个图像帧，从而可以对每一帧图像数据进行并行处理，得到每一帧图像数据对应的图像特征数据，即子计算层1获取图像帧P1的图像特征数据，例如特征1；子计算层n获取图像帧Pn的图像特征数据，例如特征n。从而可以更加充分准确的对每帧图像数据分别进行特征提取。在本实施例中，该子计算层中可以包括N个卷积层和N-1个激活层，N大于等于1。

如下，示出下述实施例对本申请提供的包含N个卷积层和N-1个激活层的子计算层的结构进行说明。

实施例二：

在本实施例中，所述子计算层包括N个卷积层和N-1个激活层。具体来讲，卷积层、激活层具体数量不限，本申请对卷积核的个数不做限制。

通过卷积层和激活层组成的子计算层时，可以包含多种组合形式，下面示例性举出三种组合形式对本申请进行说明，本领域技术人员可知，本申请的子计算层中的卷积层和激活层的数量需要根据实际需求以及卷积神经网络训练结果进行确定，并且该通过卷积层和激活层组成的子计算层还可能包含其他组合形式，本实施例中不再一一举出。

请参考图4-1，为本申请示例性的子计算层的第一种实施例示意图；其中，包括N个卷积层和N-1个激活层，N-1个卷积层和N-1个激活层成对工作，直至最后一对卷积层和激活层处理完成后，再将处理结果输出到第N个卷积层，从而得到图像特征数据。卷积层和激活层的具体工作过程可以参考现有的卷积层和激活层的工作过程，此处不再赘述。

请参考图4-2，为本申请示例性的子计算层的第二种实施例示意图；其中，包括N个卷积层和N-1个激活层，N-1个卷积层和N-1个激活层成对工作，直至最后一对卷积层和激活层处理完成后，再将处理结果输出到第N个卷积层，该卷积层将输出的处理结果与该子计算层输入的图像帧进行逐像素叠加，从而得到图像特征数据。通过将特征提取后的图像特征数据与输入的图像数据进行叠加，可以让神经网络更有目的地学习图像的细节信息。

请参考图4-3，为本申请示例性的子计算层的第三种实施例示意图；其中，包括多个组合块Block，每个组合块的形式可以为图4-2的卷积层和激活层组合形式，其中包括N个卷积层和N-1个激活层，N-1个卷积层和N-1个激活层成对工作，直至最后一对卷积层和激活层处理完成后，再将处理结果输出到第N个卷积层，该卷积层将输出的处理结果与该子计算层输入的图像帧进行累加得到图像特征数据。图像帧经过多个组合块后，将处理结果经过一个卷积层处理之后再与最初的输入进行一次叠加，得到最终的图像特征数据进行输出。通过组合块的形式处理图像数据可以得到更多更丰富的图像特征，从而可以提高图像处理的清晰度。

至此，完成实施例二的描述。

在一个实施例中，所述第一计算层21可以通过连接层Concat实现，连接层用于将多个图像对应的多个图像特征数据(例如特征P1～Pn)按通道进行处理，组成一个图像特征数据。具体组合形式如图5-1、5-2所示。

请参考图5-1，为本申请示例性的第一计算层的第一种实施例示意图；其中，第一计算层将输入的图像数据分别输入到每个连接层，该图像数据为三维数据，连接层将每个输入的三维图像数据处理逐层连接得到一个图像特征数据。例如，将三个深度为1的三维图像数据输入到第一计算层，按通道(例如按深度)逐层连接后，输出一个深度为3的三维图像特征数据，连接层的具体工作过程可以参考现有的连接层的工作过程，此处不再赘述。

请参考图5-2，为本申请示例性的第一计算层的第二种实施例示意图；其中，第一计算层将输入的图像数据分别输入到每个连接层，该图像数据为三维数据，连接层将每个输入的三维图像数据处理逐层连接得到一个图像特征数据。例如，将三个深度为1的三维图像数据输入到第一计算层，按通道(例如按深度)逐层连接并累加后，输出三个深度为1的三维图像特征数据，其每个图像特征数据的像素点包含的特征值是由上述三个三维图像数据的对应的像素点的特征值计算得到。连接层的具体工作过程可以参考现有的连接层的工作过程，此处不再赘述。

在一个实施例中，所述第二计算层22用于对第一计算层21输出的叠加结果进行合成处理，输出合成处理后的图像数据。第二计算层22的组成包括卷积层和激活层，具体组成形式可以参考实施例二。

在一个实施例中，在第一计算层之前，还包括去模糊层，用于对输入的图像数据进行去模糊处理将处理结果输出给所述第一计算层。需要说明的是，该去模糊层可以是该卷积神经网络中的一个计算层，也可以是单独的一个计算网络。去模糊层具体实现可以参考图6-1、图6-2。

请参考图6-1，为本申请示例性的另一种图像处理方法的方案示意图，所述预训练的卷积神经网络20中，在第一计算层21之前，还包括去模糊层24，所述去模糊层24包括至少两个子去模糊层，子去模糊层用于处理输入的N帧图像数据中的一帧或者多帧图像数据，再将输出的图像特征数据输入到第一计算层21处理，其中该子去模糊层包括卷积层和激活层，具体组成形式可以参考

实施例二。

请参考图6-2，为本申请示例性的又一种图像处理方法的方案示意图，所述预训练的卷积神经网络20之前，还包括去模糊层30，所述去模糊层30包括至少两个子去模糊层，子去模糊层用于处理输入的N帧图像数据中的一帧或者多帧图像数据，再将输出的图像特征数据输入到第一计算层21处理，其中该子去模糊层包括卷积层和激活层，具体组成形式可以参考实施例二。

另外，请参考图7，为本申请示例性的去模糊层的实施例示意图；其中包括结构1、结构2、结构3，以及连接层，结构1和结构2分别接收输入的部分图像数据，输出结果经过连接层后输入到结构3，其中结构1、结构2、结构3的具体组成形式可以参考实施例二。本申请通过去模糊层可以去除曝光时间较长而导致图像出现模糊的现象。

在一个实施例中，请参考图8，为本申请示例性的训练方案示意图，其中包括，在一个场景下架设一台单反相机，单反相机先后采集关闭宽动态模式下不同曝光时间的图像P1-PN以及开启宽动态模式采集得到的融合图像I。将P1-PN作为输入样本，将I作为真值，构成一组训练样本，在不同场景下采用前述类似方式，即可得到多组训练样本，将训练样本送入网络进行训练，即可得到网络参数。具体训练方法本申请不做限定。本申请的卷积神经网络可以通过预训练得到网络参数用于后续图像处理。

由上述实施例可见，本申请可以获取N帧图像数据，该N帧图像数据中至少有两帧图像数据曝光参数不同，且N大于等于2，通过将N帧图像数据输入到预训练的卷积神经网络，获取所述卷积神经网络对输入的N帧图像数据进行合成处理后输出的目标数据。本申请通过预训练的卷积神经网络对输入的不同曝光参数的图像数据进行合成处理，通过利用卷积神经网路更充分更准确的提取并融合不同帧存在的差异信息，可以减少合成图像的过渡瑕疵，另外还可以通过去模糊处理，保证动态范围较大场景下的图像正常合成，因此提升了合成图像的视觉体验。

与前述图像处理方法的实施例相对应，本申请还提供了图像处理装置的实施例。

请参见图9，为本申请图像处理装置的一个实施例框图，该装置90可以包括：

图像获取单元91，用于获取N帧图像数据，所述N帧图像数据中至少有两帧图像数据曝光参数不同，N大于等于2；

图像输入单元92，用于将所述N帧图像数据输入到预训练的卷积神经网络；

图像合成单元93，用于获取所述卷积神经网络对输入的N帧图像数据进行合成处理后输出的目标数据。

作为一个实施例，所述卷积神经网络至少通过以下两个计算层实现所述合成处理：

第一计算层，用于对输入的图像数据进行叠加；

第二计算层，用于对所述第一计算层输出的叠加结果进行合成处理，输出合成处理后的图像数据。

作为一个实施例，所述卷积神经网络还包括：

第三计算层，用于对输入的每一帧图像数据进行特征提取并输出特征数据给所述第一计算层。

作为一个实施例，所述第三计算层包括N个子计算层，所述N个子计算层分别对应所述N帧图像数据；每一子计算层对其对应的一帧图像数据进行特征提取并输出特征数据给所述第一计算层。

作为一个实施例，所述第一计算层，具体用于将输入的图像数据中的特征按通道进行处理，组成一个图像特征数据。

作为一个实施例，所述装置还包括：

去模糊层，用于对输入的图像数据进行去模糊处理将处理结果输出给所述第一计算层。所述去模糊层可以是所述卷积神经网络中的一个计算层，也可以是所述图像处理装置90中的一个计算单元，图9中未示出。

由上述实施例可见，本申请可以获取N帧图像数据，该N帧图像数据中至少有两帧图像数据曝光参数不同，且N大于等于2，通过将N帧图像数据输入到预训练的卷积神经网络，获取所述卷积神经网络对输入的N帧图像数据进行合成处理后输出的目标数据。本申请通过预训练的卷积神经网络对输入的不同曝光参数的图像数据进行合成处理，通过利用卷积神经网路更充分更准确的提取并融合不同帧存在的差异信息，可以减少合成图像的过渡瑕疵，另外还可以通过去模糊处理，保证动态范围较大场景下的图像正常合成，因此提升了合成图像的视觉体验。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

与前述图像处理方法的实施例相对应，本申请还提供了用于执行上述图像处理方法的卷积神经网络***的实施例。

作为一个实施例，本申请包括一种卷积神经网络***，所述卷积神经网络***，用于在预训练完成后，对输入的N帧图像数据进行合成处理后输出目标数据，其中所述N帧图像数据中至少有两帧图像数据曝光参数不同，N大于等于2。

作为一个实施例，所述卷积神经网络至少通过以下两个计算层实现所述合成处理：

第一计算层，用于对输入的图像数据进行叠加；

第二计算层，用于对所述第一计算层输出的叠加结果进行合成处理，输出合成处理后的图像数据。

作为一个实施例，所述卷积神经网络还包括：

第三计算层，用于对输入的每一帧图像数据进行特征提取并输出特征数据给所述第一计算层。

作为一个实施例，所述第三计算层包括N个子计算层，所述N个子计算层分别对应所述N帧图像数据；每一子计算层对其对应的一帧图像数据进行特征提取并输出特征数据给所述第一计算层。

作为一个实施例，所述第一计算层，具体用于将输入的图像数据中的特征按通道进行处理，组成一个图像特征数据。

作为一个实施例，所述***还包括：

去模糊层，用于对输入的图像数据进行去模糊处理将处理结果输出给所述第一计算层。

由上述实施例可见，本申请可以获取N帧图像数据，该N帧图像数据中至少有两帧图像数据曝光参数不同，且N大于等于2，通过将N帧图像数据输入到预训练的卷积神经网络，获取所述卷积神经网络对输入的N帧图像数据进行合成处理后输出的目标数据。本申请通过预训练的卷积神经网络对输入的不同曝光参数的图像数据进行合成处理，通过利用卷积神经网路更充分更准确的提取并融合不同帧存在的差异信息，可以减少合成图像的过渡瑕疵，另外还可以通过去模糊处理，保证动态范围较大场景下的图像正常合成，因此提升了合成图像的视觉体验。

与前述图像处理方法的实施例相对应，本申请还提供了用于执行上述图像处理方法的计算机设备的实施例。

作为一个实施例，请参考图10，一种计算机设备，包括处理器110、通信接口120、存储器130和通信总线140；

其中，所述处理器110、通信接口120、存储器130通过所述通信总线140进行相互间的通信；

所述存储器130，用于存放计算机程序；

所述处理器110，用于执行所述存储器上所存放的计算机程序，所述处理器110执行所述计算机程序时实现任一所述图像处理方法的步骤。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于计算机设备的实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

与前述图像处理方法的实施例相对应，本申请还提供了用于执行上述图像处理方法的计算机可读存储介质的实施例。

作为一个实施例，本申请还包括一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现任一所述图像处理方法的步骤。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于***实施例以及计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (12)

1.一种图像处理方法，其特征在于，所述方法包括：

获取N帧图像数据，所述N帧图像数据中至少有两帧在不同曝光模式下得到的曝光时间不同的原始图像，N大于等于2；

将所述N帧图像数据输入到预训练的卷积神经网络；

获取所述卷积神经网络对输入的N帧图像数据进行合成处理后输出的目标数据；

所述卷积神经网络至少通过以下两个计算层实现所述合成处理：

第一计算层，用于对输入的图像数据进行叠加，具体用于：将输入的多个图像对应的多个图像数据按通道进行处理，组成一个图像特征数据；

第二计算层，用于对所述第一计算层输出的叠加结果进行合成处理，输出合成处理后的图像数据。

2.根据权利要求1所述的方法，其特征在于，所述卷积神经网络还包括：

第三计算层，用于对输入的每一帧图像数据进行特征提取并输出特征数据给所述第一计算层。

3.根据权利要求2所述的方法，其特征在于，所述第三计算层包括N个子计算层，所述N个子计算层分别对应所述N帧图像数据；每一子计算层对其对应的一帧图像数据进行特征提取并输出特征数据给所述第一计算层。

4.根据权利要求1所述的方法，其特征在于，所述所述卷积神经网络还包括：

去模糊层，用于对输入的图像数据进行去模糊处理将处理结果输出给所述第一计算层。

5.一种图像处理装置，其特征在于，所述装置包括：

图像获取单元，用于获取N帧图像数据，所述N帧图像数据中至少有两帧在不同曝光模式下得到的曝光时间不同的原始图像，N大于等于2；

图像输入单元，用于将所述N帧图像数据输入到预训练的卷积神经网络；

图像合成单元，用于获取所述卷积神经网络对输入的N帧图像数据进行合成处理后输出的目标数据；

所述卷积神经网络至少通过以下两个计算层实现所述合成处理：

第一计算层，用于对输入的图像数据进行叠加，具体用于：将输入的多个图像对应的多个图像数据按通道进行处理，组成一个图像特征数据；

第二计算层，用于对所述第一计算层输出的叠加结果进行合成处理，输出合成处理后的图像数据。

6.根据权利要求5所述的装置，其特征在于，所述卷积神经网络还包括：

第三计算层，用于对输入的每一帧图像数据进行特征提取并输出特征数据给所述第一计算层。

7.根据权利要求6所述的装置，其特征在于，所述第三计算层包括N个子计算层，所述N个子计算层分别对应所述N帧图像数据；每一子计算层对其对应的一帧图像数据进行特征提取并输出特征数据给所述第一计算层。

8.根据权利要求5所述的装置，其特征在于，所述装置还包括：

去模糊层，用于对输入的图像数据进行去模糊处理将处理结果输出给所述第一计算层。

9.一种卷积神经网络***，其特征在于，

所述卷积神经网络***，用于在预训练完成后，对输入的N帧图像数据进行合成处理后输出目标数据，其中所述N帧图像数据中至少有两帧在不同曝光模式下得到的曝光时间不同的原始图像，N大于等于2；

所述卷积神经网络至少通过以下两个计算层实现所述合成处理：

第一计算层，用于对输入的图像数据进行叠加，具体用于：将输入的多个图像对应的多个图像数据按通道进行处理，组成一个图像特征数据；

第二计算层，用于对所述第一计算层输出的叠加结果进行合成处理，输出合成处理后的图像数据。

10.根据权利要求9所述的***，其特征在于，所述卷积神经网络还包括：

第三计算层，用于对输入的每一帧图像数据进行特征提取并输出特征数据给所述第一计算层。

11.根据权利要求10所述的***，其特征在于，所述第三计算层包括N个子计算层，所述N个子计算层分别对应所述N帧图像数据；每一子计算层对其对应的一帧图像数据进行特征提取并输出特征数据给所述第一计算层。

12.根据权利要求9所述的***，其特征在于，所述***还包括：

去模糊层，用于对输入的图像数据进行去模糊处理将处理结果输出给所述第一计算层。

Images