CN115314627A - 一种图像处理方法、***及摄像机 - Google Patents

Abstract

本申请提供一种图像处理方法、***及摄像机，该图像处理方法包括：获取单个图像传感器在第一工作模式时的输出图像，输出图像包括N帧连续的第一图像，对N帧连续的第一图像进行第一处理得到第二图像；所述第一处理包括加权处理；所述第二图像的信噪比大于第一图像的信噪比，其中，N为大于1的正整数；将第一图像与第二图像进行第二处理得到第三图像，所述第二处理至少包括合成处理。该图像处理方法可以提高输出图像的质量。

Description

一种图像处理方法、***及摄像机

技术领域

本申请涉及数据处理技术领域，尤其涉及一种图像处理方法、***及摄像机。

背景技术

随着图像传感器技术和图像处理技术的发展，对于光照充足的场景，主流图像处理***可以获得较高质量的图像。而对于低照度环境，获得的图像容易出现亮度低、噪声大的问题。主流图像处理***通过增长曝光时间的方式来增加进光量，提高图像亮度，降低图像噪声，但是曝光时间的增长会导致图像中运动区域拖影加重，并导致视频流的帧率下降，可能会出现视频卡顿的现象。

如何提高低照度环境下的图像质量成为一个亟待解决的技术问题。

发明内容

有鉴于此，本申请提供一种图像处理方法、***及摄像机。

具体地，本申请是通过如下技术方案实现的：

根据本申请实施例的第一方面，提供一种图像处理方法，包括：

获取单个图像传感器在第一工作模式时的输出图像，输出图像包括N帧连续的第一图像，对N帧连续的第一图像进行第一处理得到第二图像；所述第一处理包括加权处理；所述第二图像的信噪比大于第一图像的信噪比，其中，N为大于1的正整数；

将第一图像与第二图像进行第二处理得到第三图像，所述第二处理至少包括合成处理。

根据本申请实施例的第二方面，提供一种图像处理***包括：图像传感器、图像生成单元以及处理单元；其中：

图像传感器，用于在第一工作模式时，输出第一图像；

图像生成单元，用于对N帧连续的第一图像进行第一处理得到第二图像；所述第一处理包括加权处理；所述第二图像的信噪比大于第一图像的信噪比，其中，N为大于1的正整数；

处理单元，用于将所述第一图像与所述第二图像进行处理得到第三图像，所述处理至少包括合成处理。

根据本申请实施例的第三方面，提供一种摄像机包括：镜头、图像传感器、处理器以及存储器；其中：

所述镜头，用于将入射光处理为入射所述图像传感器的光信号；

所述图像传感器，用于在第一工作模式时输出图像，该输出图像包括第一图像；

所述处理器，用于对N帧连续的第一图像进行第一处理得到第二图像；所述第一处理包括加权处理；所述第二图像的信噪比大于第一图像的信噪比，其中，N为大于1的正整数；

所述存储器，用于存储所述第一图像与所述第二图像；

所述处理器，还用于将第一图像与第二图像进行第二处理得到第三图像，所述第二处理至少包括合成处理

本申请实施例的图像处理方法，通过将单个图像传感器输出的N帧连续第一图像进行第一处理得到信噪比更高的第二图像，并将第一图像与第二图像处理得到第三图像，提高了输出图像的质量；此外，由于第二图像通过对第一图像进行处理得到，因此，第二图像可以不再受第一视频帧率限制，在最低帧率下也可以获取信噪比比第一图像的信噪比更高的第二图像。

附图说明

图1是本申请一示例性实施例示出的一种图像处理方法的流程示意图；

图2A是本申请一示例性实施例示出的一种图像处理***的结构示意图；

图2B～图2D是本申请示例性实施例示出的不同权重图确定方式的图像处理***的结构示意图；

图3A～图3B是本申请示例性实施例示出的依据至少两帧第一图像加权生成第二图像的示意图；

图4A～图4H是本申请示例性实施例示出的权重计算单元依据像素值差异进行滤波处理得到权重图的示意图；

图5是本申请示例性实施例示出的权重计算单元利用运动检测模型得到权重图的示意图；

图6A～图6C是本申请示例性实施例示出的权重计算单元利用目标检测模型得到权重图的示意图；

图7是本申请一示例性实施例示出的一种图像处理***的结构示意图；

图8是本申请一示例性实施例示出的一种图像处理装置的结构示意图；

图9是本申请一示例性实施例示出的一种电子设备的硬件结构示意图；

图10是本申请一示例性实施例示出的一种摄像机的结构示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，并使本申请实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本申请实施例中技术方案作进一步详细的说明。

请参见图1，为本申请实施例提供的一种图像处理方法的流程示意图，如图1所示，该图像处理方法可以包括以下步骤：

步骤S100、获取单个图像传感器在第一工作模式时的输出图像，输出图像包括N帧连续的第一图像，对N帧连续的第一图像进行第一处理得到第二图像；第一处理包括加权处理；第二图像的信噪比大于第一图像的信噪比，其中，N为大于1的正整数。

本申请实施例中，考虑到长短帧图像采集方案中，当短帧图像的曝光时间等于1/(2*f)时，受视频帧率限制，无法获取曝光时间比短帧图像的曝光时间更长的长帧图像，从而，无法获取信噪比比短帧图像的信噪比更高的长帧图像。

示例性的，f为视频帧率(即合成图像的帧率)。

为了突破上述帧率限制，提高单图像传感器输出图像的质量，并降低输出高质量图像对图像传感器的要求，可以依据单个传感器在第一工作模式时输出的N帧连续的第一图像，进行处理(本文中称为第一处理)得到信噪比大于该第一图像的第二图像。第二图像不再受视频帧率限制，在最低帧率下也可以获取信噪比比第一图像的信噪比更高的第二图像。

示例性的，第一处理可以包括加权处理，即可以通过对N帧连续的第一图像进行加权处理，得到第二图像。

示例性的，第二图像的信噪比大于第一图像的信噪比可以包括第二图像的非目标区域的信噪比大于第一图像的非目标区域的信噪比。

示例性的，目标区域可以包括但不限于图像中的物体运动区域、图像中例如行人、车辆、动物或信号灯等关键目标区域。

步骤S110、将第一图像与第二图像进行处理得到第三图像，该第二处理至少包括合成处理。

本申请实施例中，可以将第一图像与第二图像进行处理(本文中称为第二处理)，例如，对第一图像与第二图像进行合成处理，得到第三图像，以提高图像传感器输出的图像的质量。

在图1所示方法流程中，通过将单个图像传感器输出的N帧连续第一图像进行第一处理得到信噪比更高的第二图像，并将第一图像与第二图像处理得到第三图像，提高了输出图像的质量；此外，由于第二图像通过对第一图像进行处理得到，因此，第二图像可以不再受第一视频帧率限制，在最低帧率下也可以获取信噪比更高的第二图像。

再者，通过依据图像传感器输出的第一图像处理得到信噪比更高的第二图像，通过单个图像传感器实现了信噪比不同的两种图像的生成，简化了成像***的结构。

在一些实施例中，加权处理为对M帧第一图像进行加权处理得到第二图像，其中，M为小于等于N且大于1的正整数。

示例性的，可以通过对N帧连续的第一图像中的M帧第一图像进行加权处理的方式，得到第二图像。

示例性的，通过对M帧第一图像进行加权处理得到的第二图像的帧数可以小于或等于M帧。

例如，对N帧连续的第一图像中，每两帧第一图像进行加权得到一帧第二图像。

又例如，将N帧连续的第一图像中第一帧第一图像作为第一帧第二图像，将N帧连续的第一图像中前两帧第一图像进行加权得到第二帧第二图像，将N帧连续的第一图像中前三帧第一图像进行加权得到第三帧第二图像，以此类推。

在一个示例中，上述加权处理可以为对M帧第一图像依据M帧第一权重图像进行加权处理得到第二图像。

示例性的，为了实现对第一图像的加权处理，可以获取用于对第一图像进行加权，以得到第二图像的权重图(本文中称为第一权重图)。

示例性的，可以依据M帧第一权重图，对M帧第一图像进行加权处理，得到第二图像。

在一个示例中，上述M帧第一权重图中各像素位置的配置权重预先设定。

示例性的，为了提高对第一图像加权处理的效率，可以预先设定M帧第一权重图中各像素位置的配置权重。

当获取到N帧连续的第一图像时，可以依据预先设定的第一权重图，对该N帧连续的第一图像中M帧第一图像进行加权处理，得到第二图像。

作为一种示例，当M帧第一权重图中各像素位置的配置权重预先设定时，对于该M帧第一权重图中的任一帧第一权重图，该帧第一权重图内各像素位置的配置权重大小相等。

示例性的，为了提高对第一图像加权处理的效率，并降低第一权重图的设定难度，在设定M帧第一权重图中各像素位置的配置权重时，对于该M帧第一权重图中的任一帧第一权重图，可以使该帧第一权重图中各像素位置的配置权重大小相等。

示例性的，不同第一权重图中的配置权重可以相同，也可以不同。

在另一个示例中，上述N帧第一权重图依据M帧第一图像间的像素值关系得到。

示例性的，为了提高第一权重图的合理性，提高依据第一权重图进行加权处理得到的图像的质量，可以依据N帧第一图像间的像素值关系确定M帧第一权重图像。

作为一种示例，通过计算M帧第一图像间的像素值差异得到第一权重图，包括依据M帧第一图像间的每个像素值差异得到第一权重图。

示例性的，可以通过计算M帧第一图像间的像素值差异得到第一权重图，即依据M帧第一图像间的每个像素值差异得到第一权重图。

作为另一种示例，通过计算M帧第一图像间的像素值差异得到第一权重图，包括依据M帧第一图像间的指定区域内多个像素值的均值差异得到第一权重图。

示例性的，为了提高加权处理的针对性，提高加权处理对图像质量的提升效果，可以依据M帧第一图像间的指定区域内多个像素值的均值差异得到第一权重图。

在一些实施例中，本申请实施例提供的图像处理方法还可以包括：

当图像传感器由第一工作模式切换为第二工作模式时，获取图像传感器在第二工作模式时的输出图像，该输出图像为第四图像。

示例性的，为了提高图像传感器工作的灵活性，可以为图像传感器设置多种不同的工作模式，并根据实际场景控制图像传感器在多种工作模式之间进行切换。

示例性的，以图像传感器的工作模式包括第一工作模式和第二工作模式为例，当图像传感器由第一工作模式切换为第二工作模式时，可以控制图像传感器生成并输出第四图像。

示例性的，当图像传感器工作于第二工作模式时，可以不需要对图像传感器输出的连续两帧或多帧第四图像进行合成处理。

作为一种示例，基于环境光强弱进行第一工作模式与第二工作模式的切换。

示例性的，考虑到当环境光强弱不同时，图像传感器需要按照不同的曝光参数进行图像生成，以保证图像质量，且当环境光较强时，图像传感器生成的图像质量通常可以满足要求，当环境光较弱时，图像传感器生成的图像质量可能会较差，需要进行处理，以提高图像质量，如按照上述实施例中描述的方式进行处理。

示例性的，可以基于环境光强弱进行第一工作模式与第二工作模式的切换。

在一个示例中，可以在环境光弱时，控制图像传感器工作于第一工作模式；在环境光强时，控制图像传感器工作于第二工作模式。

在一些实施例中，步骤S110中，将第一图像与第二图像进行处理得到第三图像，可以包括：

基于第二权重图将第一图像与第二图像进行合成处理得到第三图像；该权重图依据第一图像序列或第二图像序列确定；第一图像序列至少包括一帧第一图像，第二图像序列至少包括一帧第二图像。

示例性的，为了提高图像合成的图像质量提升效果，可以依据图像传感器在第一工作模式输出的第一图像确定第一图像序列，并依据第一图像序列确定用于对第一图像与第二图像进行合成处理的权重图(本文中称为第二权重图)。

或者，可以依据处理得到的第二图像确定第二图像序列，并依据第二图像序列确定用于对第一图像与第二图像进行合成处理的权重图(本文中称为第二权重图)。

示例性的，第一图像序列包括至少一帧第一图像；第二图像序列至少包括一帧第二图像。

示例性的，可以依据所确定的第二权重图，将第一图像与第二图像进行合成处理得到第三图像。

在一个示例中，上述依据第一图像序列确定第二权重图，可以包括：

第一图像序列包含当前帧第一图像与历史帧第一图像，依据当前帧第一图像与历史帧第一图像的像素值差异确定第二权重图。

示例性的，历史帧第一图像可以指输出时刻在当前帧第一图像的输出时刻之前的第一图像。

例如，历史帧第一图像可以包括邻近当前帧第一图像的一帧或多帧第一图像。

示例性的，考虑到长短帧融合方案通过长短帧差异以及长短帧亮度计算权重，无法解决由于曝光时间不同导致的频闪灯等震荡现象。

针对上述问题，在本申请实施例中，在第一图像序列中存在至少两帧第一图像的情况下，可以依据当前帧第一图像与历史帧第一图像的像素值差异确定第二权重图，由于当前帧第一图像与历史帧第一图像的曝光时间相同，因此，可以避免由于曝光时间不同导致的频闪灯等震荡现象，提高低照度环境下物体运动信息检测的准确性和检出率。

示例性的，当前帧第一图像与历史帧第一帧图像可以尽量邻近，以提高合成图像的质量。

在一个示例中，当前帧第一图像与历史帧第一图像为第一图像序列中的相邻帧。

在一个示例中，依据第二图像序列确定第二权重图，可以包括：

第二图像序列包含当前帧第二图像与历史帧第二图像，依据当前帧第二图像与历史帧第二图像的像素值差异确定第二权重图。

示例性的，历史帧第二图像可以指输出时刻在当前帧第二图像的输出时刻之前的第二图像。

例如，历史帧第二图像可以包括邻近当前帧第二图像的一帧或多帧第二图像。

示例性的，考虑到长短帧融合方案通过长短帧差异以及长短帧亮度计算权重，无法解决由于曝光时间不同导致的频闪灯等震荡现象。

针对上述问题，在本申请实施例中，在第二图像序列中存在至少两帧第二图像的情况下，可以依据当前帧第二图像与历史帧第二图像的像素值差异确定第二权重图，避免由于曝光时间不同导致的频闪灯等震荡现象，提高低照度环境下物体运动信息检测的准确性和检出率。

示例性的，当前帧第二图像与历史帧第二帧图像可以尽量邻近，以提高合成图像的质量。

在一个示例中，当前帧第二图像与历史帧第二图像为第二图像序列中的相邻帧。

需要说明的是，在本申请实施例中，除了可以按照上述方式依据当前帧第一图像与历史帧第一图像的像素值差异确定第二权重图，或者，依据当前帧第二图像与历史帧第二图像的像素值差异确定第二权重图之外，还可以依据当前帧第一图像与历史帧第一图像的像素值差异以及第二图像与历史帧第二图像的像素值差异确定第二权重图。

例如，可以依据当前帧第一图像与历史帧第一图像的像素值差异确定对应的第二权重图(假设为权重图1)，依据当前帧第二图像与历史帧第二图像的像素值差异确定对应的第二权重图(假设为权重图2)，并依据权重图1和权重图2，确定最终的第二权重图。

例如，可以对权重图1和权重图2进行融合，如进行加权，确定最终的第二权重图。

此外，还可以分别对当前帧第一图像与当前帧第二图像进行加权，得到当前帧加权图像，以及，对历史帧第一图像与历史帧第二图像进行加权，得到历史帧加权图像，并依据当前帧加权图像与历史帧加权图像，确定权重图。

在一个示例中，依据像素值差异确定第二权重图，可以包括：

利用像素值差异进行滤波处理得到第二权重图。

示例性的，可以通过对像素值差异进行滤波处理的方式得到第二权重图。

例如，以依据第一图像序列包含的当前帧第一图像与历史帧第一图像的像素值差异确定第二权重图为例，可以将当前帧第一图像与历史帧第一图像通过减法单元做差得到残差图像，而后将残差图像在指定邻域大小内进行均值滤波处理，并依据各像素点的残差均值，通过阈值化的手段将残差均值转化为第二权重图。

在另一个示例中，依据像素值差异确定第二权重图，可以包括：

将像素值差异送入预先训练好的卷积神经网络得到第二权重图，该预先训练好的卷积神经网络用于对输入的像素值差异进行运动检测并得到第二权重图。

示例性的，为了提高运动检测的效率和准确性，可以预先训练用于对输入的像素值差异进行运动检测得到第二权重图的卷积神经网络模型(可以称为运动检测模型)，当按照上述方式确定了像素差异值时，可以将所确定的像素差异值输入该预先训练好的运动检测模型，得到对应的第二权重图。

例如，以依据第二图像序列包含的当前帧第二图像与历史帧第二图像的像素值差异确定第二权重图为例，可以将当前帧第二图像与历史帧第二图像的像素值差异输入预先训练好的运动检测模型，得到对应的第二权重图。

又例如，以依据当前帧第一图像与历史帧第一图像的像素值差异以及第二图像与历史帧第二图像的像素值差异确定第二权重图为例，可以分别将当前帧第一图像与历史帧第一图像的像素值差异输入预先训练好的运动检测模型，得到对应的第二权重图(假设为权重图1)，以及，将当前帧第二图像与历史帧第二图像的像素值差异输入预先训练好的运动检测模型，得到对应的第二权重图(假设为权重图2)，并依据权重图1与权重图2，得到最终的第二权重图。

在一些实施例中，还可以通过对图像进行目标检测，确定图像中关键目标的位置信息，并依据图像中关键目标的位置信息确定第二权重图，从而，通过至少一帧图像即可得到合成权重，节省缓存与计算量消耗。

示例性的，关键目标可以包括但不限于车辆、行人、动物或信号灯等。

在一个示例中，依据第一图像序列确定第二权重图，可以包括：

第一图像序列为第一图像，依据第一图像中的关键目标的位置信息确定第二权重图。

示例性的，可以对第一图像进行目标检测，确定第一图像中的关键目标的位置信息，并依据第一图像中的关键目标的位置信息确定第二权重图。

在一个示例中，依据第二图像序列确定第二权重图，可以包括：

第二图像序列为第二图像，依据第二图像中的关键目标的位置信息确定第二权重图。

示例性的，可以对第二图像进行目标检测，确定第二图像中的关键目标的位置信息，并依据第二图像中的关键目标的位置信息确定第二权重图。

需要说明的是，在本申请实施例中，除了可以按照上述方式中描述的依据第一图像中的关键目标的位置信息确定第二权重图，或，依据第二图像中的关键目标的位置信息确定第二权重图之外，还可以依据第一图像中的关键目标的位置信息与第二图像中的关键目标的位置信息确定第二权重图。

例如，可以分别对第一图像进行目标检测，确定第一图像中的关键目标的位置信息，以及对第二图像进行目标检测，确定第二图像中的关键目标的位置信息，并依据第一图像中的关键目标的位置信息与第二图像中关键目标的位置信息确定第二权重图。

在一个示例中，依据关键目标的位置信息确定第二权重图，可以包括：

利用预先训练好的卷积神经网络得到第二权重图，所述预先训练好的卷积神经网络用于对输入的图像进行目标检测并得到第二权重图。

示例性的，为了提高目标检测的准确性，可以预先训练用于对输入的图像进行目标检测并得到第二权重图的卷积神经网络模型(可以称为目标检测模型)，并利用训练好的目标检测模型确定第二权重图。

例如，以依据第一图像中的关键目标的位置信息确定第二权重图为例，可以将第一图像输入预先训练好的目标检测模型，得到对应的第二权重图。

又例如，以依据第一图像中的关键目标的位置信息与第二图像中关键目标的位置信息确定权重图为例，可以分别将第一图像输入预先训练好的目标检测模型，得到对应的权重图(假设为权重图1)，以及，将第二图像输入预先训练好的目标检测模型，得到对应的权重图(假设为权重图2)，并依据权重图1和权重图2，确定最终的权重图。

在一些实施例中，将第一图像与第二图像进行处理得到第三图像，可以包括：

依据第二权重图中各像素位置的配置权重，对第一图像与第二图像的各像素值进行加权处理，得到第三图像。

示例性的，当按照上述方式得到用于对第一图像与第二图像进行合成的第二权重图时，可以依据第二权重图中各像素位置的配置权重，对第一图像与第二图像的各像素值进行加权处理，得到第三图像。

例如，可以依据第二权重图，按照以下公式对第一图像与第二图像进行处理得到第三图像：

img_fus＝(img_1*alpha+img_2*(n-alpha))/n

其中，img_fus表示合成图像(即第三图像)，img_1表示第一图像，img_2表示第二图像，alpha表示第二权重图，n表示归一化权重。

在一个示例中，将第一图像与第二图像进行处理得到第三图像，可以包括：

当第一图像的平均亮度与第二图像的平均亮度不同时，在进行合成处理之前将第一图像的平均亮度调整为与第二图像的平均亮度相同。

示例性的，考虑到宽动态合成方案为了保证合成图像动态范围高于合成前图像，必须保证长短帧亮度不同，其限制了方案适用场景，而本申请实施例提供的成像方案在解决低照度图像噪声大问题时，并不需要限制长短帧的亮度不同。

示例性的，为了提高合成图像的质量，可以尽量保证第一图像与第二图像的平均亮度相同。

需要说明的是，本申请实施例中所提及的平均亮度相同并不要求平均亮度严格相等，其允许存在可以容忍的偏差，即若第一图像的平均亮度和第二图像的平均亮度之差在预设差值范围内，则可以认为第一图像的平均亮度和第二图像的平均亮度相同；若第一图像的平均亮度和第二图像的平均亮度之差未在预设差值范围内，则可以认为第一图像的平均亮度和第二图像的平均亮度不同。

示例性的，当第一图像的平均亮度与第二图像的平均亮度不同时，可以在对第一图像与第二图像进行合成处理之前，将第一图像的平均亮度调整为与第二图像的平均亮度相同。

作为一种示例，可以通过将第一图像乘以第二图像平均亮度与第一图像平均亮度的比值，达到第一图像的平均亮度与第二图像的平均亮度相同。

例如，假设第一图像的平均亮度为L1，第二图像的平均亮度为L2，则可以通过将第一图像乘以L2/L1的方式，使第一图像的平均亮度与第二图像的平均亮度相同。

为了使本领域技术人员更好地理解本申请实施例提供的技术方案，下面结合具体实例对本申请实施例提供的技术方案进行说明。

请参见图2A，本申请实施例提供的图像处理***可以包括控制单元、图像传感器、权重计算单元以及处理单元。

需要说明的是，在实际应用中，权重计算单元可以作为处理单元的一个功能子单元，即权重计算也可以作为处理单元的一个功能，由处理单元实现权重计算功能。

如图2A所示，为了提高低照度条件下图像质量，可以利用单图像传感器输出的第一图像，通过图像生成单元生成第二图像。权重计算单元依据第一图像与第二图像中的至少一帧图像进行权重计算得到第二权重图，处理单元依据上述第二权重图对第一图像与第二图像进行合成处理，输出第三图像。

如图2A所示，权重计算单元可以依据第一图像确定第二权重图，或，可以依据第二图像确定第二权重图，或，可以依据第一图像与第二图像确定第二权重图。

该方法能够大幅改善低照度条件下图像噪声大的问题，提高低照度条件下的图像质量。

下面基于图2A，对本申请实施例提供的技术方案进行详细说明。

一、主要技术特征

1、图像传感器

1.1、图像传感器：在第一工作模式时，输出图像，该图像包括N帧连续的第一图像。

2、图像生成单元

2.1、图像生成单元：对N帧连续的第一图像进行第一处理得到第二图像。

3、权重计算单元

3.1、权重计算单元：依据第一图像与第二图像中至少一帧图像进行权重计算，得到第二权重图。

4、处理单元

4.1、处理单元：将第一图像与第二图像进行第二处理得到三图像；

4.2、处理单元：第二处理至少包括合成处理。

二、其他技术特征

2、图像生成单元

2.2、图像生成单元：第二图像中背景区域(即非目标区域)的信噪比高于第一图像中背景区域的信噪比。

2.3、图像生成单元：第二图像的图像帧数等于第一图像的图像帧数；

或，第二图像的图像帧数小于第一图像的图像帧数。

3、权重计算单元

3.2、权重计算单元：依据当前帧图像与历史帧图像的像素值差异计算出权重图；

3.3、权重计算单元：依据当前帧第一图像与历史帧第一图像的像素值差异，得到第二权重图；

或，依据当前帧第二图像与历史帧第二图像的像素值差异，得到第二权重图；

或，上述两种第二权重图加权得到第二权重图；

或，对当前帧第一图像与当前帧第二图像进行加权，得到当前帧加权图像，以及，对历史帧第一图像与历史帧第二图像进行加权，得到历史帧加权图像，依据当前帧加权图像与历史帧加权图像的像素值差值，得到第二权重图。

3.4、权重计算单元：上述当前帧图像与历史帧图像尽可能邻近。

3.5、权重计算单元：用于确定权重图的图像至少应包括当前帧第一图像和当前帧第二图像中的任意一帧图像；

3.6、权重计算单元：依据第一图像进行目标检测得到第二权重图；

或，依据第二图像进行目标检测得到第二权重图。

或，上述两种权重图加权得到第二权重图。

4、处理单元

4.3、处理单元：进行合成处理的第一图像与第二图像的平均亮度相同。

4.4、处理单元：依据权重图对第一图像与第二图像进行加权处理，得到第三图像，最终输出第三图像。

4.5、处理单元：第三图像的目标区域优先选用第一图像。

4.6、处理单元：目标区域至少为图像中的物体运动区域、图像中例如行人、车辆、动物或信号灯等关键目标区域的一种区域。

下面结合实施例对上述特征进行说明。

实施例一

图像传感器在第一工作模式时，输出图像为第一图像。

示例性的，N为大于1的正整数。

图像生成单元对N帧连续的第一图像进行第一处理得到第二图像。

示例性的，第一处理包括加权处理；第二图像的信噪比大于第一图像的信噪比。

处理单元将第一图像与第二图像进行第二处理得到第三图像。

示例性的，第二处理至少包括合成处理。

实施例二

依据环境光强弱控制图像传感器进行第一工作模式与第二工作模式的切换。

示例性的，在环境光弱时，控制图像传感器切换为第一工作模式；在环境光强时，控制图像传感器切换为第二工作模式。

当图像传感器在第一工作模式时，输出第一图像；

图像生成单元对N帧连续的第一图像进行第一处理得到第二图像；

处理单元将第一图像与第二图像处理得到第三图像。

当图像传感器在第二工作模式时，输出第四图像。

处理单元对该第四图像进行输出。

下面分别对各单元进行说明。

2、图像生成单元

图像生成单元，通过对N帧连续的第一图像进行第一处理得到第二图像。

示例性的，第二图像中背景区域的信噪比高于第一图像中背景区域的信噪比。

实施例三

第二图像由至少两帧第一图像加权生成。

其中一种加权方式：

请参见图3A，可以对相邻两帧第一图像进行加权处理，得到第二图像。

示例性的，第二图像的图像帧数小于第一图像的图像帧数。

实施例四

第二图像由至少两帧第一图像加权生成。

另一种加权方式：

请参见图3B，可以将N帧连续的第一图像中第一帧第一图像作为第一帧第二图像，将N帧连续的第一图像中前两帧第一图像进行加权得到第二帧第二图像，将N帧连续的第一图像中前三帧第一图像进行加权得到第三帧第二图像，以此类推。

实施例五

图像生成单元依据预先设定的M帧第一权重图，对M帧第一图像进行加权处理得到第二图像。

示例性的，对于该预先设定的M帧第一权重图中的任一帧第一权重图，该帧第一权重图中各像素位置的配置权重大小相等。

实施例六

图像生成单元依据M帧第一图像序列间的每个像素值差异得到M帧第一权重图，并依据该M帧第一权重图，对M帧第一图像进行加权处理得到第二图像。

实施例七

图像生成单元依据M帧第一图像间的指定区域内多个像素值的均值差异得到M帧第一权重图，并依据该M帧第一权重图，对M帧第一图像进行加权处理得到第二图像。

3、权重计算单元

权重计算单元的主要作用是通过至少使用运动检测、目标检测中的一种技术得到权重图。

示例性的，权重图至少表示物体运动信息，以及行人、车辆、动物或信号灯等关键目标位置信息中的一种。

实施例八

请参见图2B和图4A，权重计算单元对第一图像序列中不同时刻的至少两帧图像差异进行运动检测，得到第二权重图。

示例性的，以两帧为例，如图4A所示，当前帧第一图像为第一图像序列中的当前时刻图像(即第一图像序列中当前参与图像合成的第一图像)，历史帧第一图像(可以称为第五图像)为第一图像序列中的更早时刻图像。

示例性的，如图4A所示，可以将第一图像与第五图像通过减法单元做差得到残差图像，而后将残差图像在指定邻域大小内进行均值滤波处理。

示例性的，邻域大小本申请实施例不做限定。

通过上述方法得到每个像素点的残差均值，通过阈值化的手段将残差均值转化为第二权重图。

实施例九

请参见图2C和图4B，权重计算单元对第二图像序列中不同时刻的至少两帧图像差异进行运动检测，得到第二权重图。

示例性的，以两帧为例，如图4B所示，当前帧第二图像为第二图像序列中的当前时刻图像(即第二图像序列中当前参与图像合成的第二图像)，历史帧第二图像为第二图像序列中的更早时刻图像(可以称为第六图像)。

示例性的，如图4B所示，可以将第二图像与第六图像通过减法单元做差得到残差图像，而后将残差图像在指定邻域大小内进行均值滤波处理。

示例性的，邻域大小本申请实施例不做限定。

通过上述方法得到每个像素点的残差均值，通过阈值化的手段将残差均值转化为第二权重图。

实施例十

请参见图2D和图4C，权重计算单元对第一图像与第二图像差异进行运动检测，得到第二权重图。

示例性的，如图4C所示，可以将第一图像与第二图像通过减法单元做差得到残差图像，而后将残差图像在指定邻域大小内进行均值滤波处理。

示例性的，邻域大小本申请实施例不做限定。

通过上述方法得到每个像素点的残差均值，通过阈值化的手段将残差均值转化为第二权重图。

本申请实施例中，还可以对按照上述方式得到的权重图进行融合的方式，得到参与融合的权重图中包括的物体运动信息的全集，作为最终的第二权重图(即上述融合权重图)。

实施例十一

将实施例八与实施例九进行组合，对实施例八与实施例九各自确定的第二权重图进行融合处理，得到两者物体运动信息的全集，作为最终的第二权重图。

一种组合方式如下：

请参见图2D和图4D，一方面，权重计算单元可以将第一图像与第五图像通过减法单元做差得到残差图像，而后将残差图像在指定邻域大小内进行均值滤波处理，通过上述方法得到每个像素点的残差均值，通过阈值化的手段将残差均值转化为权重图1。

另一方面，权重计算单元可以将第二图像与第六图像通过减法单元做差得到残差图像，而后将残差图像在指定邻域大小内进行均值滤波处理，通过上述方法得到每个像素点的残差均值，通过阈值化的手段将残差均值转化为权重图2。

权重计算单元可以对权重图1和权重图2进行融合，得到最终的第二权重图。

实施例十二

将实施例八与实施例九进行组合，对实施例八与实施例九各自确定的第二权重图进行融合处理，得到两者物体运动信息的全集，作为最终的第二权重图。

另一种组合方式如下：

请参见图2D和图4E，权重计算单元可以依据第一图像和第二图像进行加权得到第七图像(即上述当前帧加权图像)，并依据第五图像和第六图像进行加权得到第八图像(即上述历史帧加权图像)。

权重计算单元可以将第七图像与第八图像通过减法单元做差得到残差图像，而后将残差图像在指定邻域大小内进行均值滤波处理，通过上述方法得到每个像素点的残差均值，通过阈值化的手段将残差均值转化为第二权重图。

实施例十三

将实施例八与实施例十进行组合，对实施例八与实施例十各自确定的第二权重图进行融合处理，得到两者物体运动信息的全集，作为最终的第二权重图。

请参见图2D和图4F，一方面，权重计算单元可以将第一图像与第五图像通过减法单元做差得到残差图像，而后将残差图像在指定邻域大小内进行均值滤波处理，通过上述方法得到每个像素点的残差均值，通过阈值化的手段将残差均值转化为权重图1。

另一方面，权重计算单元可以将第一图像与第二图像通过减法单元做差得到残差图像，而后将残差图像在指定邻域大小内进行均值滤波处理，通过上述方法得到每个像素点的残差均值，通过阈值化的手段将残差均值转化为权重图2。

权重计算单元可以对权重图1和权重图2进行融合，得到最终的第二权重图。

实施例十四

将实施例九与实施例十进行组合，对实施例九与实施例十各自确定的第二权重图进行融合处理，得到两者物体运动信息的全集，作为最终的第二权重图。

请参见图2D和图4G，一方面，权重计算单元可以将第二图像与第六图像通过减法单元做差得到残差图像，而后将残差图像在指定邻域大小内进行均值滤波处理，通过上述方法得到每个像素点的残差均值，通过阈值化的手段将残差均值转化为权重图1。

另一方面，权重计算单元可以将第一图像与第二图像通过减法单元做差得到残差图像，而后将残差图像在指定邻域大小内进行均值滤波处理，通过上述方法得到每个像素点的残差均值，通过阈值化的手段将残差均值转化为权重图2。

权重计算单元可以对权重图1和权重图2进行融合，得到最终的第二权重图。

实施例十五

将实施例八～实施例十进行组合，对实施例八～实施例十各自确定的第二权重图进行融合处理，得到三者物体运动信息的全集，作为最终的第二权重图。

请参见图2D和图4H，一方面，权重计算单元可以将第一图像与第五图像通过减法单元做差得到残差图像，而后将残差图像在指定邻域大小内进行均值滤波处理，通过上述方法得到每个像素点的残差均值，通过阈值化的手段将残差均值转化为权重图1。

另一方面，权重计算单元可以将第二图像与第六图像通过减法单元做差得到残差图像，而后将残差图像在指定邻域大小内进行均值滤波处理，通过上述方法得到每个像素点的残差均值，通过阈值化的手段将残差均值转化为权重图2。

再者，权重计算单元可以将第一图像与第二图像通过减法单元做差得到残差图像，而后将残差图像在指定邻域大小内进行均值滤波处理，通过上述方法得到每个像素点的残差均值，通过阈值化的手段将残差均值转化为权重图3。

权重计算单元可以对权重图1、权重图2和权重3进行融合，得到最终的第二权重图。

实施例十六

对于实施例八～实施例十五中任一实施例，可以通过用于对输入图像进行运动检测并得到第二权重图的卷积神经网络(即运动检测模型)替代减法单元与残差累计单元，通过卷积神经网络估算得到第二权重图。

以实施例八所示权重计算为例，可以将第一图像与第五图像输入到预先训练的运动检测模型，通过该预先训练的运动检测模型估算得到第二权重图，其示意图可以如图5所示。

实施例十七

利用预先训练的用于对输入图像进行目标检测并得到第二权重图的卷积神经网络模型(即目标检测模型)，对第一图像和第二图像中的至少一帧图像进行目标检测，得到关键目标的位置信息，作为第二权重图。

以对第一图像进行目标检测为例，请参见图2B和图6A，可以将第一图像输入预先训练的目标检测模型，利用该目标检测模型对第一图像进行目标检测，得到第一图像中关键目标的位置信息，作为第二权重图。

实施例十八

利用预先训练的用于对输入图像进行目标检测并得到第二权重图的卷积神经网络模型(即目标检测模型)，对第一图像和第二图像中的至少一帧图像进行目标检测，得到关键目标的位置信息，作为第二权重图。

以对第二图像进行目标检测为例，请参见图2C和图6B，可以将第二图像输入预先训练的目标检测模型，利用该目标检测模型对第二图像进行目标检测，得到第二图像中关键目标的位置信息，作为第二权重图。

实施例十九

利用预先训练的用于对输入图像进行目标检测并得到第二权重图的卷积神经网络模型(即目标检测模型)，对第一图像和第二图像中的至少一帧图像进行目标检测，得到目标位置信息，作为第二权重图。

以对第一图像和第二图像进行目标检测为例，请参见图2D和图6C，可以分别将第一图像输入到预先训练的目标检测模型，利用该目标检测模型对第一图像进行目标检测，得到第一图像中关键目标的位置信息，作为权重图1；以及，将第二图像输入预先训练的目标检测模型，利用该目标检测模型对第二图像进行目标检测，得到第二图像中关键目标的位置信息，作为权重图2。

权重计算单元可以对权重图1和权重图2进行融合，得到最终的第二权重图。

4、处理单元

处理单元的主要作用是依据权重计算单元输出的权重图(上述第二权重图)对第一图像与第二图像进行合成，输出合成图像。

示例性的，合成图像中目标区域优先选用第一图像，非目标区域使用第一图像与第二图像加权，达到图像目标区域清晰无拖影，同时非目标区域信噪比显著提升的目的。

示例性的，目标区域既可以指代图像中的物体运动区域，也可以是图像中的关键信息，例如行人、车辆、动物或信号灯等。

示例性的，在对第一图像与第二图像进行合成处理之前，处理单元需保证第一图像与第二图像的平均亮度相同。

实施例二十

第一图像的平均亮度与第二图像平均亮度相同时：

处理单元根据以下公式对第一图像与第二图像进行合成：

img_fus＝(img_1*alpha+img_2*(n-alpha))/n

其中，img_fus表示合成图像，img_1表示第一图像，img_2表示第二图像，alpha表示第二权重图，n表示归一化权重。

实施例二十一

第一图像的平均亮度与第二图像的平均亮度不相同时：

处理单元将第一图像的平均亮度调整至为与第二图像的平均亮度相同。

示例性的，处理单元可以将第一图像乘以第二图像的平均亮度与第一图像的平均亮度的比值，使第一图像的平均亮度与第二图像的平均亮度相同。

然后，处理单元依据以下公式对第一图像与第二图像进行合成：

img_fus＝(img_1*alpha+img_2*(n-alpha))/n

其中，img_fus表示合成图像，img_1表示第一图像，img_2表示第二图像，alpha表示第二权重图，n表示归一化权重。

需要说明的是，上述实施例仅仅是本申请实施例的实现方式的具体示例，而并不是对本申请保护范围的限定，基于上述实施例，可以通过实施例之间的组合，或对实施例进行变型，得到新的实施例，其均应属于本申请的保护范围。

以上对本申请提供的方法进行了描述。下面对本申请提供的装置及图像处理***进行描述：

请参见图7，为本申请实施例提供的一种图像处理***的结构示意图，如图7所示，该图像处理***可以包括：图像传感器710、图像生成单元720和处理单元730；其中：

图像传感器710，用于在第一工作模式时，输出第一图像；

图像生成单元720，用于对N帧连续的第一图像进行第一处理得到第二图像；所述第一处理包括加权处理；所述第二图像的信噪比大于第一图像的信噪比，其中，N为大于1的正整数；

处理单元730，用于将所述第一图像与所述第二图像进行处理得到第三图像，所述处理至少包括合成处理。

在一些实施例中，所述图像生成单元720，具体用于对M帧所述第一图像进行加权处理得到第二图像，其中，M为小于等于N且大于1的正整数。

在一些实施例中，所述图像生成单元720，具体用于对所述M帧第一图像依据M帧第一权重图进行加权处理得到第二图像。

在一些实施例中，所述M帧第一权重图中各像素位置的配置权重预先设定；

和/或，所述M帧第一权重图依据所述M帧第一图像间的像素值关系得到。

在一些实施例中，当所述M帧第一权重图中各像素位置的配置权重预先设定时，对于所述M帧第一权重图中的任一帧权重图，该帧第一权重图中各像素位置的配置权重大小相等。

在一些实施例中，所述图像生成单元720，具体用于通过计算所述M帧第一图像间的像素值差异得到所述第一权重图，包括：依据所述M帧第一图像序列间的每个像素值差异得到所述第一权重图；或，依据所述M帧第一图像间的指定区域内多个像素值的均值差异得到所述第一权重图。

在一些实施例中，所述图像传感器710，还用于当由第一工作模式切换为第二工作模式时，输出第四图像。

在一些实施例中，第一工作模式与第二工作模式切换基于环境光强弱进行。

在一些实施例中，所述处理单元730将所述第一图像与所述第二图像进行第二处理得到第三图像，包括：

依据第二权重图中各像素位置的配置权重，对所述第一图像与所述第二图像的各像素位置进行加权处理，得到所述第三图像；所述第二权重图依据第一图像序列或第二图像序列确定，所述第一图像序列至少包括一帧第一图像，所述第二图像序列至少包括一帧第二图像；任一像素位置的配置权重用于确定所述第一图像与所述第二图像在该像素位置的加权权重。

在一些实施例中，所述处理单元730依据第一图像序列确定第二权重图，包括：

所述第一图像序列包含当前帧第一图像与历史帧第一图像，依据所述当前帧第一图像与所述历史帧第一图像的像素值差异确定所述第二权重图。

在一些实施例中，所述处理单元730依据第二图像序列确定第二权重图，包括：

所述第二图像序列包含当前帧第二图像与历史帧第二图像，依据所述当前帧第二图像与历史帧第二图像的像素值差异确定所述第二权重图。

在一些实施例中，所述处理单元730依据像素值差异确定所述第二权重图，包括：

利用所述像素值差异进行滤波处理得到所述第二权重图；

和/或，将所述像素值差异送入预先训练好的卷积神经网络得到所述第二权重图，所述预先训练好的卷积神经网络用于对输入的像素值差异进行运动检测并得到所述第二权重图。

在一些实施例中，所述处理单元730依据第一图像序列或第二图像序列确定第二权重图，包括：

所述第一图像序列为第一图像，依据所述第一图像中的关键目标的位置信息确定所述第二权重图；

和/或，所述第二图像序列为第二图像，依据所述第二图像中的关键目标的位置信息确定所述第二权重图。

在一些实施例中，所述处理单元730依据关键目标的位置信息确定所述第二权重图，包括：

利用预先训练好的卷积神经网络得到权重图，所述预先训练好的卷积神经网络用于对输入的图像进行目标检测并得到所述第二权重图。

在一些实施例中，所述处理单元730将所述第一图像与所述第二图像进行第二处理得到第三图像，包括：

当所述第一图像的平均亮度与所述第二图像的平均亮度不同时，在进行所述合成处理之前将所述第一图像的平均亮度调整为与所述第二图像的平均亮度相同。

在一些实施例中，所述处理单元730，具体用于通过将第一图像乘以第二图像平均亮度与第一图像平均亮度的比值，达到第一图像的平均亮度与第二图像亮度相同。

请参见图8，为本申请实施例提供的一种图像处理装置的结构示意图，如图8所示，该图像处理装置可以包括：

获取单元810，用于获取单个图像传感器在第一工作模式时的输出图像，输出图像包括包括N帧连续的第一图像，N为大于1的正整数；

第一处理单元820，用于对N帧连续的第一图像进行第一处理得到第二图像；所述第一处理包括加权处理；所述第一处理包括加权处理；所述第二图像的信噪比大于第一图像的信噪比；

第二处理单元830，用于将第一图像与第二图像进行第二处理得到第三图像，所述第二处理至少包括合成处理。

在一些实施例中，所述第一处理单元820，具体用于对M帧所述第一图像进行加权处理得到第二图像，其中，M为小于等于N且大于1的正整数。

在一些实施例中，所述第一处理单元820，具体用于对所述M帧第一图像依据M帧第一权重图进行加权处理得到第二图像。

在一些实施例中，所述M帧第一权重图中各像素位置的配置权重预先设定；

和/或，所述M帧第一权重图依据所述M帧第一图像间的像素值关系得到。

在一些实施例中，当所述M帧第一权重图中各像素位置的配置权重预先设定时，对于所述M帧第一权重图中的任一帧权重图，该帧第一权重图中各像素位置的配置权重大小相等。

在一些实施例中，所述第一处理单元820，具体用于通过计算所述M帧第一图像间的像素值差异得到所述第一权重图，包括：依据所述M帧第一图像序列间的每个像素值差异得到所述第一权重图；或，依据所述M帧第一图像间的指定区域内多个像素值的均值差异得到所述第一权重图。

在一些实施例中，所述获取单元810，还用于当所述单个图像传感器由第一工作模式切换为第二工作模式时，获取所述图像传感器在第二工作模式时的输出图像，该输出图像为第四图像。

在一些实施例中，第一工作模式与第二工作模式切换基于环境光强弱进行。

在一些实施例中，所述第二处理单元830将所述第一图像与所述第二图像进行第二处理得到第三图像，包括：

依据第二权重图中各像素位置的配置权重，对所述第一图像与所述第二图像的各像素值进行加权处理，得到所述第三图像；所述第二权重图依据第一图像序列或第二图像序列确定，所述第一图像序列至少包括一帧第一图像，所述第二图像序列至少包括一帧第二图像；任一像素位置的配置权重用于确定所述第一图像与所述第二图像在该像素位置的加权权重。

在一些实施例中，所述第二处理单元830依据第一图像序列确定第二权重图，包括：

所述第一图像序列包含当前帧第一图像与历史帧第一图像，依据所述当前帧第一图像与所述历史帧第一图像的像素值差异确定所述第二权重图。

在一些实施例中，所述第二处理单元830依据第二图像序列确定第二权重图，包括：

所述第二图像序列包含当前帧第二图像与历史帧第二图像，依据所述当前帧第二图像与历史帧第二图像的像素值差异确定所述第二权重图。

在一些实施例中，所述第二处理单元830依据像素值差异确定所述第二权重图，包括：

利用所述像素值差异进行滤波处理得到所述第二权重图；

和/或，将所述像素值差异送入预先训练好的卷积神经网络得到所述第二权重图，所述预先训练好的卷积神经网络用于对输入的像素值差异进行运动检测并得到所述第二权重图。

在一些实施例中，所述第二处理单元830依据第一图像序列或第二图像序列确定第二权重图，包括：

所述第一图像序列为第一图像，依据所述第一图像中的关键目标的位置信息确定所述第二权重图；

和/或，所述第二图像序列为第二图像，依据所述第二图像中的关键目标的位置信息确定所述第二权重图。

在一些实施例中，所述第二处理单元830依据关键目标的位置信息确定所述第二权重图，包括：

利用预先训练好的卷积神经网络得到权重图，所述预先训练好的卷积神经网络用于对输入的图像进行目标检测并得到所述第二权重图。

8在一些实施例中，所述第二处理单元830将所述第一图像与所述第二图像进行第二处理得到第三图像，包括：

当所述第一图像的平均亮度与所述第二图像的平均亮度不同时，在进行所述合成处理之前将所述第一图像的平均亮度调整为与所述第二图像的平均亮度相同。

在一些实施例中，所述第二处理单元830，具体用于通过将第一图像乘以第二图像平均亮度与第一图像平均亮度的比值，达到第一图像的平均亮度与第二图像亮度相同。

请参见图9，为本申请实施例提供的一种电子设备的硬件结构示意图。该电子设备可包括处理器901、存储有机器可执行指令的存储器902。处理器901与存储器902可经由***总线903通信。并且，通过读取并执行存储器902中的机器可执行指令，处理器901可执行上文描述的图像处理方法。

本文中提到的存储器902可以是任何电子、磁性、光学或其它物理存储装置，可以包含或存储信息，如可执行指令、数据，等等。例如，机器可读存储介质可以是：RAM(RadomAccess Memory，随机存取存储器)、易失存储器、非易失性存储器、闪存、存储驱动器(如硬盘驱动器)、固态硬盘、任何类型的存储盘(如光盘、dvd等)，或者类似的存储介质，或者它们的组合。

在一些实施例中，还提供了一种机器可读存储介质，如图9中的存储器902，该机器可读存储介质内存储有机器可执行指令，所述机器可执行指令被处理器执行时实现上文描述的图像处理方法。例如，所述机器可读存储介质可以是ROM、RAM、CD-ROM、磁带、软盘和光数据存储设备等。

请参见图10，为本申请实施例提供的一种摄像机的结构示意图，如图10所示，该摄像机可以包括：镜头1010、图像传感器1020、处理器1030以及存储器1040；其中：

所述镜头1010，用于将入射光处理为入射所述图像传感器的光信号；

所述图像传感器1020，用于在第一工作模式时输出图像，该输出图像包括第一图像；

所述处理器1030，用于对N帧连续的第一图像进行第一处理得到第二图像；所述第一处理包括加权处理；所述第二图像的信噪比大于第一图像的信噪比，其中，N为大于1的正整数；

所述存储器1040，用于存储所述第一图像与所述第二图像；

所述处理器1030，还用于将第一图像与第二图像进行第二处理得到第三图像，所述第二处理至少包括合成处理。

在一些实施例中，所述加权处理为对M帧所述第一图像进行加权处理得到第二图像，其中，M为小于等于N且大于1的正整数。

在一些实施例中，所述加权处理为对所述M帧第一图像依据M帧第一权重图进行加权处理得到第二图像。

在一些实施例中，所述M帧第一权重图中各像素位置的配置权重预先设定；

和/或，所述M帧第一权重图依据所述M帧第一图像间的像素值关系得到。

在一些实施例中，当所述M帧第一权重图中各像素位置的配置权重预先设定时，对于所述M帧第一权重图中的任一帧权重图，该帧第一权重图中各像素位置的配置权重大小相等。

在一些实施例中，所述处理器1030通过计算所述M帧第一图像间的像素值差异得到所述第一权重图，包括：

依据所述M帧第一图像序列间的每个像素值差异得到所述第一权重图；

或，依据所述M帧第一图像间的指定区域内多个像素值的均值差异得到所述第一权重图。

在一些实施例中，所述图像传感器1020，还用于当由第一工作模式切换为第二工作模式时，输出第四图像。

在一些实施例中，第一工作模式与第二工作模式的切换基于环境光强弱进行。

在一些实施例中，所述处理器1030将所述第一图像与所述第二图像进行第二处理得到第三图像，包括：

依据第二权重图中各像素位置的配置权重，对所述第一图像与所述第二图像的各像素值进行加权处理，得到所述第三图像；所述第二权重图依据第一图像序列或第二图像序列确定，所述第一图像序列至少包括一帧第一图像，所述第二图像序列至少包括一帧第二图像。

在一些实施例中，所述处理器1030依据第一图像序列确定第二权重图，包括：

所述第一图像序列包含当前帧第一图像与历史帧第一图像，依据所述当前帧第一图像与所述历史帧第一图像的像素值差异确定所述第二权重图。

在一些实施例中，所述处理器1030依据第二图像序列确定第二权重图，包括：

所述第二图像序列包含当前帧第二图像与历史帧第二图像，依据所述当前帧第二图像与历史帧第二图像的像素值差异确定所述第二权重图。

在一些实施例中，所述处理器1030依据像素值差异确定所述第二权重图，包括：

利用所述像素值差异进行滤波处理得到所述第二权重图；

和/或，将所述像素值差异送入预先训练好的卷积神经网络得到所述第二权重图，所述预先训练好的卷积神经网络用于对输入的像素值差异进行运动检测并得到所述第二权重图。

在一些实施例中，所述处理器1030依据第一图像序列或第二图像序列确定第二权重图，包括：

所述第一图像序列为第一图像，依据所述第一图像中的关键目标的位置信息确定所述第二权重图；

和/或，所述第二图像序列为第二图像，依据所述第二图像中的关键目标的位置信息确定所述第二权重图。

在一些实施例中，所述处理器1030依据关键目标的位置信息确定所述第二权重图，包括：

利用预先训练好的卷积神经网络得到权重图，所述预先训练好的卷积神经网络用于对输入的图像进行目标检测并得到所述第二权重图。

在一些实施例中，所述处理器1030将所述第一图像与所述第二图像进行第二处理得到第三图像，包括：

当所述第一图像的平均亮度与所述第二图像的平均亮度不同时，在进行所述合成处理之前将所述第一图像的平均亮度调整为与所述第二图像的平均亮度相同。

在一些实施例中，所述处理器1030具体用于通过将第一图像乘以第二图像平均亮度与第一图像平均亮度的比值，达到第一图像的平均亮度与第二图像亮度相同。

需要说明的是，上述摄像机、图像处理***、图像处理装置和图像处理方法的实施例之间可以相互参照，相同的步骤不做赘述。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。

Claims (25)

1.一种图像处理方法，其特征在于，包括：

获取单个图像传感器在第一工作模式时的输出图像，输出图像包括N帧连续的第一图像，对N帧连续的第一图像进行第一处理得到第二图像；所述第一处理包括加权处理；所述第二图像的信噪比大于第一图像的信噪比，其中，N为大于1的正整数；

将第一图像与第二图像进行第二处理得到第三图像，所述第二处理至少包括合成处理。

2.根据权利要求1所述的方法，其特征在于，所述加权处理为对M帧所述第一图像进行加权处理得到第二图像，其中，M为小于等于N且大于1的正整数。

3.根据权利要求2所述的方法，其特征在于，所述加权处理为对所述M帧第一图像依据M帧第一权重图进行加权处理得到第二图像。

4.根据权利要求3所述的方法，其特征在于，所述M帧第一权重图中各像素位置的配置权重预先设定；

和/或，所述M帧第一权重图依据所述M帧第一图像间的像素值关系得到。

5.根据权利要求4所述的方法，其特征在于，当所述M帧第一权重图中各像素位置的配置权重预先设定时，对于所述M帧第一权重图中的任一帧权重图，该帧第一权重图内各像素位置的配置权重大小相等。

6.根据权利要求4所述的方法，其特征在于，通过计算所述M帧第一图像间的像素值差异得到所述第一权重图，包括依据所述M帧第一图像间的每个像素值差异得到所述第一权重图；

或，依据所述M帧第一图像间的指定区域内多个像素值的均值差异得到所述第一权重图。

7.根据权利要求1-6任一项所述的方法，其特征在于，当所述单个图像传感器由第一工作模式切换为第二工作模式时，获取所述图像传感器在第二工作模式时的输出图像，该输出图像为第四图像。

8.根据权利要求7所述的方法，其特征在于，基于环境光强弱进行第一工作模式与第二工作模式切换。

9.根据权利要求1所述的方法，其特征在于，所述将所述第一图像与所述第二图像进行第二处理得到第三图像，包括：

依据第二权重图中各像素位置的配置权重，对所述第一图像与所述第二图像的各像素值进行加权处理，得到所述第三图像；所述第二权重图依据第一图像序列或第二图像序列确定，所述第一图像序列至少包括一帧第一图像，所述第二图像序列至少包括一帧第二图像；任一像素位置的配置权重用于确定所述第一图像与所述第二图像在该像素位置的加权权重。

10.根据权利要求9所述的方法，其特征在于，依据第一图像序列确定第二权重图，包括：

所述第一图像序列包含当前帧第一图像与历史帧第一图像，依据所述当前帧第一图像与所述历史帧第一图像的像素值差异确定所述第二权重图。

11.根据权利要求9所述的方法，其特征在于，依据第二图像序列确定第二权重图，包括：

所述第二图像序列包含当前帧第二图像与历史帧第二图像，依据所述当前帧第二图像与历史帧第二图像的像素值差异确定所述第二权重图。

12.根据权利要求10或11所述的方法，其特征在于，依据像素值差异确定所述第二权重图，包括：

利用所述像素值差异进行滤波处理得到所述第二权重图；

和/或，将所述像素值差异送入预先训练好的卷积神经网络得到所述第二权重图，所述预先训练好的卷积神经网络用于对输入的像素值差异进行运动检测并得到所述第二权重图。

13.根据权利要求9所述的方法，其特征在于，依据第一图像序列或第二图像序列确定第二权重图，包括：

所述第一图像序列为第一图像，依据所述第一图像中的关键目标的位置信息确定所述第二权重图；

和/或，所述第二图像序列为第二图像，依据所述第二图像中的关键目标的位置信息确定所述第二权重图。

14.根据权利要求13所述的方法，其特征在于，依据关键目标的位置信息确定所述第二权重图，包括：

利用预先训练好的卷积神经网络得到权重图，所述预先训练好的卷积神经网络用于对输入的图像进行目标检测并得到所述第二权重图。

15.根据权利要求1所述的方法，其特征在于，所述将所述第一图像与所述第二图像进行第二处理得到第三图像，包括：

当所述第一图像的平均亮度与所述第二图像的平均亮度不同时，在进行所述合成处理之前将所述第一图像的平均亮度调整为与所述第二图像的平均亮度相同。

16.根据权利要求15所述的方法，其特征在于，通过将第一图像乘以第二图像平均亮度与第一图像平均亮度的比值，达到第一图像的平均亮度与第二图像亮度相同。

17.一种图像处理***，其特征在于，包括：图像传感器、图像生成单元以及处理单元；其中：

图像传感器，用于在第一工作模式时，输出第一图像；

图像生成单元，用于对N帧连续的第一图像进行第一处理得到第二图像；所述第一处理包括加权处理；所述第二图像的信噪比大于第一图像的信噪比，其中，N为大于1的正整数；

处理单元，用于将所述第一图像与所述第二图像进行处理得到第三图像，所述处理至少包括合成处理。

18.根据权利要求17所述的图像处理***，其特征在于，

所述图像生成单元，具体用于对M帧所述第一图像进行加权处理得到第二图像，其中，M为小于等于N且大于1的正整数。

19.根据权利要求18所述的图像处理***，其特征在于，

所述图像生成单元，具体用于对所述M帧第一图像依据M帧第一权重图进行加权处理得到第二图像。

20.根据权利要求19所述的图像处理***，其特征在于，所述M帧第一权重图中各像素位置的配置权重预先设定；

和/或，所述M帧第一权重图依据所述M帧第一图像间的像素值关系得到。

21.根据权利要求20所述的图像处理***，其特征在于，当所述M帧第一权重图中各像素位置的配置权重预先设定时，对于所述M帧第一权重图中的任一帧权重图，该帧第一权重图内各像素位置的配置权重大小相等。

22.根据权利要求20所述的图像处理***，其特征在于，

所述图像生成单元，具体用于通过计算所述M帧第一图像间的像素值差异得到所述第一权重图，包括：依据所述M帧第一图像序列间的每个像素值差异得到所述第一权重图；或，依据所述M帧第一图像间的指定区域内多个像素值的均值差异得到所述第一权重图。

23.根据权利要求17-22任一项所述的图像处理***，其特征在于，

所述图像传感器，还用于当由第一工作模式切换为第二工作模式时，输出第四图像。

24.根据权利要求23所述的图像处理***，其特征在于，第一工作模式与第二工作模式切换基于环境光强弱进行。

25.一种摄像机，其特征在于，包括：镜头、图像传感器、处理器以及存储器；其中：

所述镜头，用于将入射光处理为入射所述图像传感器的光信号；

所述图像传感器，用于在第一工作模式时输出图像，该输出图像包括第一图像；

所述处理器，用于对N帧连续的第一图像进行第一处理得到第二图像；所述第一处理包括加权处理；所述第二图像的信噪比大于第一图像的信噪比，其中，N为大于1的正整数；

所述存储器，用于存储所述第一图像与所述第二图像；

所述处理器，还用于将第一图像与第二图像进行第二处理得到第三图像，所述第二处理至少包括合成处理。

Images