CN115830434A - 图像处理装置、方法、电子设备及存储介质 - Google Patents

Abstract

本申请公开了一种图像处理装置、方法、电子设备及存储介质，属于电子技术领域。该图像处理装置包括：图像信号分解装置，用于对第一图像信号进行分解处理，得到第一子图像信号和第二子图像信号；人工智能AI处理器，用于对第一子图像信号进行第一图像信号处理，得到第三子图像信号；图像信号处理器ISP，用于对第二子图像信号进行第二图像信号处理，得到第四子图像信号；图像信号融合装置，用于对第三子图像信号和第四子图像信号进行融合处理，得到第二图像信号。本申请旨在降低图像处理过程中人工智能AI处理器的资源消耗。

Description

图像处理装置、方法、电子设备及存储介质

技术领域

本申请涉及电子技术领域，尤其涉及一种图像处理装置、方法、电子设备及存储介质。

背景技术

图像信号处理器(Image Signal Processor，ISP)能够提供一系列的图像处理算法对图像传感器输出的图像信号进行处理，处理后的图像信号提供给后端继续处理。然而现有的图像信号处理器ISP提供的图像处理算法基本硬化，对图像处理具有局限性，为了提高图像处理效果，提出将传统的图像处理算法与人工智能技术(AI，ArtificialIntelligence)相结合。例如，采用AI处理器替代实现图像信号处理器ISP中的某个或某几个功能。在上述方案中，AI处理器的数据处理复杂度较高，资源消耗较大。

发明内容

有鉴于此，本申请提供一种图像处理装置、方法、电子设备及存储介质，旨在降低图像处理过程中人工智能AI处理器的资源消耗。

本申请提供一种图像处理装置，包括：

图像信号分解装置，用于对第一图像信号进行分解处理，得到第一子图像信号和第二子图像信号，所述第一图像信号是摄像装置输出的图像信号或者是基于摄像装置输出的图像信号获取的；

人工智能AI处理器，用于对所述第一子图像信号进行第一图像信号处理，得到第三子图像信号；

图像信号处理器ISP，用于对所述第二子图像信号进行第二图像信号处理，得到第四子图像信号；

图像信号融合装置，用于对所述第三子图像信号和所述第四子图像信号进行融合处理，得到第二图像信号。

在本申请的一种可能的实施方式中，所述图像信号处理器ISP包括多个级联的处理器模块，所述图像信号处理ISP还用于：

基于其一个或者多个处理器模块，继续对所述第二图像信号进行第三图像信号处理，并输出图像处理结果；

或者直接将所述第二图像信号作为输出的图像处理结果。

在本申请的一种可能的实施方式中，所述图像信号处理器ISP包括多个级联的处理器模块，所述图像信号处理器ISP还用于：

基于其一个或者多个处理器模块对摄像装置输出的图像信号进行第四图像信号处理，得到所述第一图像信号。

在本申请的一种可能的实施方式中，所述图像处理装置还包括：

控制装置，用于对所述第一图像信号进行分析处理，得到所述第一图像信号的属性参数；

还用于基于所述属性参数，确定所述图像信号分解装置所对应的分解模式，并控制所述图像信号分解装置基于所述分解模式，对所述第一图像信号进行分解处理；

还用于基于所述属性参数，确定所述图像信号融合装置所对应的融合模式，并控制所述图像信号融合装置基于所述融合模式，对所述第三子图像信号和所述第四子图像信号进行融合处理。

在本申请的一种可能的实施方式中，所述属性参数包括以下至少一项：增益强度、噪声形态、运动/静止区域、曝光信息或者图像亮度，且所述属性参数与所述分解模式和/或者所述融合模式相对应；

所述控制装置用于基于所述属性参数，确定所述属性参数相对应的分解模式，作为所述图像信号分解装置所对应的分解模式；和/或

所述控制装置用于基于所述属性参数，确定所述属性参数相对应的融合模式，作为所述图像信号分解装置所对应的融合模式。

在本申请的一种可能的实施方式中，所述图像处理装置还包括：

存储器，用于在所述图像信号分解装置和所述图像信号处理器ISP之间转移所述第一子图像信号；

还用于在所述图像信号融合装置和所述图像信号处理器ISP之间转移所述第三子图像信号；

其中，所述存储器包括片上存储器或者片外存储器。

本申请提供一种图像处理方法，包括以下步骤：

对第一图像信号进行分解处理，得到第一子图像信号和第二子图像信号，所述第一图像信号是摄像装置输出的图像信号或者是基于摄像装置输出的图像信号获取的；

对所述第一子图像信号进行第一图像信号处理，得到第三子图像信号；其中，所述第一图像信号处理由人工智能AI处理器执行；

对所述第二子图像信号进行第二图像信号处理，得到第四子图像信号；其中，所述第二图像信号处理由图像信号处理器ISP执行；

对所述第三子图像信号和所述第四子图像信号进行融合处理，得到第二图像信号。

在本申请的一种可能的实施方式中，所述图像信号处理器ISP包括多个级联的处理器模块，所述图像处理方法，还包括：

基于所述图像信号处理ISP的一个或者多个处理器模块，继续对所述第二图像信号进行第三图像信号处理，并输出图像处理结果；

或者直接将所述第二图像信号作为输出的图像处理结果。

在本申请的一种可能的实施方式中，所述图像信号处理器ISP包括多个级联的处理器模块，所述对第一图像信号进行分解处理，得到第一子图像信号和第二子图像信号的步骤之前，还包括：

基于所述图像信号处理ISP的一个或者多个处理器模块对摄像装置输出的图像信号进行第四图像信号处理，得到所述第一图像信号。

在本申请的一种可能的实施方式中，所述对第一图像信号进行分解处理，得到第一子图像信号和第二子图像信号的步骤之前，还包括：

对所述第一图像信号进行分析处理，得到所述第一图像信号的属性参数；

基于所述属性参数，确定与所述属性参数相对应的分解模式以及融合模式；

则所述对第一图像信号进行分解处理，得到第一子图像信号和第二子图像信号的步骤，包括：

基于所述分解模式，对所述第一图像信号进行分解处理，得到第一子图像信号和第二子图像信号；

则所述对所述第三子图像信号和所述第四子图像信号进行融合处理，得到第二图像信号的步骤，包括：

基于所述融合模式，对所述第三子图像信号和所述第四子图像信号进行融合处理，得到第二图像信号。

本申请提供一种电子设备，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像处理程序，所述图像处理程序配置为实现如上所述的图像处理方法的步骤。

本申请提供一种存储介质，所述存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现如上所述的图像处理方法的步骤。

本申请公开了一种图像处理装置、方法、电子设备及存储介质，与现有技术中，采用AI处理器替代实现图像信号处理器ISP中的某个或某几个功能，导致AI处理器的数据处理复杂度较高，资源消耗较大相比，本申请包括：图像信号分解装置，用于对第一图像信号进行分解处理，得到第一子图像信号和第二子图像信号，所述第一图像信号是摄像装置输出的图像信号或者是基于摄像装置输出的图像信号获取的；人工智能AI处理器，用于对所述第一子图像信号进行第一图像信号处理，得到第三子图像信号；图像信号处理器ISP，用于对所述第二子图像信号进行第二图像信号处理，得到第四子图像信号；图像信号融合装置，用于对所述第三子图像信号和所述第四子图像信号进行融合处理，得到第二图像信号。所以，本申请在图像处理的过程中，对图像信号处理器ISP处理的图像信号进行分解，能够灵活自适配AI处理器，将分解后得到的子图像信号分别给图像信号处理器ISP和人工智能AI处理器(也可称作AI处理网络)处理，由于输入到人工智能处理器的图像数据经过了预先的自适配处理，可减少人工智能AI处理器的数据处理量，降低了人工智能AI处理器的算力需求和硬件功耗消耗，有利于降低选择AI处理器解决图像数据处理的成本，同时将图像信号处理器ISP和人工智能AI处理器处理后得到的子图像信号进行融合，基于融合得到的图像信号输出图像处理结果，根据适配的环境情况，AI处理网络能够进行去马赛克、宽动态、降噪、数据域转换等，AI处理器与ISP处理器得到的图像进行融合，能共同完成对图像处理中某个或某几个功能的实现或优化，以更小资源来实现AI处理器与ISP的结合，可以提高图像处理效果。

附图说明

图1为本申请图像处理装置第一实施例的结构示意图；

图2为本申请图像处理装置第二实施例的结构示意图；

图3为本申请图像处理装置第三实施例的结构示意图；

图4为本申请图像处理装置第四实施例的结构示意图；

图5为本申请图像处理方法第一实施例的流程示意图；

图6是本申请实施例方案涉及的硬件运行环境的电子设备的结构示意图。

本申请目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

本申请实施例提供了一种图像处理装置，参照图1，图1为本申请图像处理装置第一实施例的结构示意图。

在本实施例中，所述图像处理装置包括：

图像信号分解装置400，用于对第一图像信号进行分解处理，得到第一子图像信号和第二子图像信号，第一图像信号是摄像装置500输出的图像信号或者是基于摄像装置500输出的图像信号获取的；

人工智能AI处理器300，用于对第一子图像信号进行第一图像信号处理，得到第三子图像信号；

图像信号处理器ISP100，用于对第二子图像信号进行第二图像信号处理，得到第四子图像信号；

图像信号融合装置200，用于对第三子图像信号和第四子图像信号进行融合处理，得到第二图像信号。

本申请实施例提供的图像处理装置可以应用于各种需要图像或者视频输入的场景中，例如，门禁***、监控***、视频会议或者视频通话等。以应用于门禁***为例，门禁***在工作时，用于身份识别的图像，可以是经过本申请实施例提供的图像处理装置处理后的图像；以应用于监控***为例，监控***在工作时，在监控平台的显示屏中所显示的图像，可以是经过本申请实施例提供的图像处理装置处理后的图像；以应用于视频会议或者视频通过为例，进行视频会议或者视频通话时，不同用户所持有的智能终端(手机、电脑、可以视频通话的智能手表)的显示屏中所显示的图像，可以是经过本申请实施例提供的图像处理装置处理后的图像。

在本实施例中，摄像装置500可以是任意的具有图像采集功能的装置。例如，摄像装置500可以包括但不限于：模拟摄像机、数字摄像机、单目摄像头或者双目摄像头。

在本实施例中，从摄像装置500输出的图像信号经过多个图像处理过程以得到图像处理结果。上述图像处理过程包括但不限于：黑电平补偿、去坏点、去马赛克、降噪、宽动态合成、gamma(伽马)矫正或者图像域转换。图像信号处理器ISP100可以执行上述多个图像处理过程中的一个过程或者多个过程，人工智能AI处理器300也可以执行上述图像处理过程中的一个过程或者多个过程。其中，人工智能AI处理器300所执行的对第一子图像信号(图1中的图像信号A1)进行第一图像信号处理的过程与图像信号处理器ISP100所执行的对第二子图像信号(图1中的图像信号A2)第二图像信号处理的过程，可以相同，也可以不相同。其中，人工智能AI处理器300所执行的第一图像信号处理可以包括上述图像处理过程中的一个过程或者多个过程，图像信号处理器ISP100所执行的第二图像信号处理可以包括上述图像处理过程中的一个过程或者多个过程。

在本实施例中，第一图像信号的可以为摄像装置500输出的图像信号，也可以是基于摄像装置500输出的图像信号获取的。其中，第一图像信号是摄像装置500输出的图像信号时，摄像装置500直接将图像信号传输至图像信号分解装置400。第一图像信号是基于摄像装置500输出的图像信号获取的时，摄像装置500将图像信号传输至图像信号处理器ISP100，图像信号处理器ISP100对摄像装置500输出的图像信号进行第四图像处理，得到第一图像信号(图1中的图像信号A)；再由图像信号处理器ISP100将第一图像信号传输至图像信号分解装置400。需要说明的是，图像信号处理器ISP100对摄像装置500输出的图像信号进行第四图像处理时，该第四图像处理的过程可以包括上述图像处理过程中的一个过程或者多个过程。

在本实施例中，图像信号融合装置200对第三子图像信号(图1中的图像信号B1)和第四子图像信号(图1中的图像信号B2)进行融合处理得到第二图像信号(图1中的图像信号B)后，将第二图像信号传输至图像信号处理器ISP100，以供图像信号处理器ISP100继续对第二图像信号进行处理，得到图像处理结果。其中，图像信号处理器ISP100可以直接将第二图像信号作为图像处理结果输出；图像信号处理器ISP100也可以对第二图像信号进行第三图像处理，输出图像处理结果。需要说明的是，图像信号处理器ISP100对第二图像信号进行第三图像处理时，该第三图像处理的过程可以包括上述图像处理过程中的一个过程或者多个过程。

在本实施例中，摄像装置500、图像信号分解装置400、人工智能AI处理器300、图像信号处理器ISP100和图像信号融合装置200，各装置和各处理器之间的数据交互是通过通信线路来实现的。

与直接采用AI处理器替代实现图像信号处理器ISP100中的某个或某几个功能，导致AI处理器的数据处理复杂度较高，资源消耗较大相比，本申请的图像处理装置在进行图像处理的过程中，对图像信号处理器ISP100处理的图像信号进行分解，将分解后得到的子图像信号分别给图像信号处理器ISP100和人工智能AI处理器300处理，减少了人工智能AI处理器300的数据处理量，降低了人工智能AI处理器300的资源消耗，同时将图像信号处理器ISP100和人工智能AI处理器300处理后得到的子图像信号进行融合，基于融合得到的图像信号输出图像处理结果，提高图像处理效果。也就是说，本申请实施例提供的图像处理装置在提高图像处理效果的同时，降低了人工智能AI处理器300的资源消耗。

图2为本申请图像处理装置第二实施例的结构示意图。在图1所示的图像处理装置的基础上，该图像处理装置中的图像信号处理器ISP100包括多个级联的处理器模块101。

在上述基础上，进一步地，该图像信号处理ISP还用于：

基于其一个或者多个处理器模块101，继续对第二图像信号进行第三图像信号处理，并输出图像处理结果；

或者直接将第二图像信号作为输出的图像处理结果。

进一步地，该图像信号处理器ISP100还用于：

基于其一个或者多个处理器模块101对摄像装置500输出的图像信号进行第四图像信号处理，得到第一图像信号。

在本实施例中，每一处理器模块101被设置为用于执行一图像处理过程。其中，不同的处理器模块101所执行的图像处理过程，可以相同，也可以不同。需要说明的是，处理器模块101所执行的图像处理过程包括但不限于：黑电平补偿、去坏点、去马赛克、降噪、宽动态合成、gamma(伽马)矫正或者图像域转换。

在本实施例中，从摄像装置500输出的图像信号得到图像处理结果的整个图像处理过程中，多个级联的处理器模块101可以按序执行各自被设置的图像处理过程；多个级联的处理器模块101也可以按照预先设置的执行顺序执行各自被设置的图像处理过程。其中，预设设置的执行顺序可以按照实际应用需求进行设置，本实施例对此不作具体限定。

如图2所示，图像信号处理器ISP100包括依次连接的处理器模块01、…、处理器模块i、处理器模块i+1、…、处理器模块i+n、处理器模块i+(n+1)、…、处理器模块i+(n+m)。

在本实施例中，当第一图像信号是基于摄像装置500输出的图像信号获取的时，摄像装置500将图像信号传输至图像信号处理器ISP100中与其连接的处理器模块101(图2中的处理器模块01)，图像信号处理器ISP100对摄像装置500输出的图像信号进行第四图像处理，得到第一图像信号(图2中处理器模块i输出的图像信号A)；再由图像信号处理器ISP100将第一图像信号传输至图像信号分解装置400。需要说明的是，图像信号处理器ISP100对摄像装置500输出的图像信号进行第四图像处理时，该第四图像处理的过程可以包括上述图像处理过程中的一个过程或者多个过程。在图2中，第四图像处理过程即为：处理器模块01至处理器模块i按序执行各自被设置的图像处理过程。

在本实施例中，图像信号处理器ISP100所执行的第二图像信号处理可以包括上述图像处理过程中的一个过程或者多个过程。在图2中，第二图像信号处理的过程即为：处理器模块i+1至处理器模块i+n按序执行各自被设置的图像处理过程。

在本实施例中，图像信号融合装置200对第三子图像信号(图2中的图像信号B1)和第四子图像信号(图2中的图像信号B2)进行融合处理得到第二图像信号(图2中的图像信号B)后，将第二图像信号传输至图像信号处理器ISP100，以供图像信号处理器ISP100继续对第二图像信号进行处理，得到图像处理结果。其中，若输出第四子图像信号的是图像信号处理器ISP100中依次连接的最后一个处理器模块101(图2中的处理器模块i+(n+m))，则图像信号处理器ISP100可以直接将第二图像信号作为图像处理结果输出；若输出第四子图像信号的处理器模块101(图2中的处理器模块i+(n+1))非图像信号处理器ISP100中依次连接的最后一个处理器模块101，则图像信号处理器ISP100对第二图像信号进行第三图像处理，输出图像处理结果。需要说明的是，图像信号处理器ISP100对第二图像信号进行第三图像处理时，该第三图像处理的过程可以包括上述图像处理过程中的一个过程或者多个过程。在图2中，第三图像处理过程即为：处理器模块i+(n+1)至处理器模块i+(n+m)按序执行各自被设置的图像处理过程。

需要说明的是，本申请的图像处理装置在进行图像处理的整个过程中，用于图像信号分解装置400进行分解的图像信号可以是摄像装置500输出的图像信号，也可以是图像信号处理器ISP100基于其一个或者多个处理器模块101对摄像装置500输出的图像信号进行第四图像信号处理所得到的；图像信号融合装置200输出的第二图像可以直接作为输出的图像处理结果，可以传输至图像信号处理器ISP100，以供其基于其一个或者多个处理器模块101，继续对第二图像信号进行第三图像信号处理，并输出图像处理结果。所以本申请实施例可以灵活配置人工智能AI处理器300在图像处理的整个过程中使用的位置，满足了不同应用场景对图像处理效果的要求，拓展了图像处理装置的应用范围，使得图像处理装置具有普适性。

图3为本申请图像处理装置第三实施例的结构示意图。在图2所示的图像处理装置的基础上，该图像处理装置还包括：

控制装置600，用于对第一图像信号进行分析处理，得到第一图像信号的属性参数；

还用于基于属性参数，确定图像信号分解装置400所对应的分解模式，并控制图像信号分解装置400基于分解模式，对第一图像信号进行分解处理；

还用于基于属性参数，确定图像信号融合装置200所对应的融合模式，并控制图像信号融合装置200基于融合模式，对第三子图像信号和第四子图像信号进行融合处理。

在本实施例中，控制装置600对第一图像信号(图3中的图像信号A)进行分析处理后，得到第一图像信号的属性参数。该属性参数包括但不限于：增益强度、噪声形态、运动/静止区域、曝光信息或者图像亮度。且该属性参数与分解模式和/或者融合模式相对应。控制装置600可以通过对环境的识别控制图像信号分解装置400、存储器和图像信号融合装置200，用于控制图像信号的分解、合成和存储模式。

其中，不同分解模式下，图像信号分解装置400对处理的信号进行分解提取不同的特征值。图像信号分解装置400根据控制装置600发送的控制，可以进行视频图像的图像域单分量数据拆解、不同频率层图像信号分解、背景和前景拆解、图像分块、上下采样等操作。

作为一种示例，增益强度对应第一分解模式。图像信号分解装置400所对应的分解模式为第一分解模式时，其根据增益强度，对第一图像信号进行高、中、低频的分解，得到高频段图像信号、中频段图像信号和低频段图像信号，并将高频段图像信号、中频段图像信号和低频段图像信号中的其一作为第一子图像信号，剩余两个频段信号作为第二子图像信号；或者将高频段图像信号、中频段图像信号和低频段图像信号中的其二作为第一子图像信号，剩余一个频段信号作为第二子图像信号。

作为一种示例，运动/静止区域对应第二分解模式。图像信号分解装置400所对应的分解模式为第二分解模式时，其根据运动/静止区域，对第一图像信号进行运动区域和静止区域的划分，得到运动区域图像信号和静止区域图像信号，并将运动区域图像信号和静止区域图像信号中的其一作为第一子图像信号，另一作为第二子图像信号。

作为一种示例，噪声形态对应第三分解模式。图像信号分解装置400所对应分解模式为第三分解模式时，其根据噪声形态，对第一图像信号进行高、中、低频的分解，得到高频段图像信号、中频段图像信号和低频段图像信号，并将高频段图像信号、中频段图像信号和低频段图像信号中的其一作为第一子图像信号，剩余两个频段信号作为第二子图像信号；或者将高频段图像信号、中频段图像信号和低频段图像信号中的其二作为第一子图像信号，剩余一个频段信号作为第二子图像信号。

作为一种示例，增益强度对应第一融合模式。图像信号融合装置200所对应的融合模式为第一融合模式时，第三子图像信号和第四子图像信号为高频段图像信号、中频段图像信号和低频段图像信号，其基于增益强度，对高频段图像信号、中频段图像信号和低频段图像信号进行融合，得到第二图像信号。

作为一种示例，运动/静止区域对应第二融合模式。图像信号融合装置200所对应的融合模式为第二融合模式时，第三子图像信号和第四子图像信号为运动区域图像信号和静止区域图像信号，其根据运动/静止区域，对运动区域图像信号和静止区域图像信号进行融合，得到第二图像信号。

作为一种示例，噪声形态对应第三融合模式。图像信号融合装置200所对应的融合模式为第三融合模式时，第三子图像信号和第四子图像信号为高频段图像信号、中频段图像信号和低频段图像信号，其基于噪声形态，对高频段图像信号、中频段图像信号和低频段图像信号进行融合，得到第二图像信号。

需要说明的是，在本实施例中，分解模式与融合模式之间可以存在耦合关系，也可以是各自独立的。例如，属性参数为增益强度时，分解模式为增益强度所对应的第一分解模式，融合模式为增益强度所对应的第一融合模式，即分解模式和融合模式之间存在耦合关系。例如，属性参数为增益强度和噪声形态时，分解模式可以为增益强度所对应的第一分解模式，融合模式可以为噪声形态所对应的第三融合模式，即分解模式和融合模式之间是各自独立的。

需要说明的是，分解模式和融合模式的选择与图像场景维度相关联。例如，当图像场景为体育运动场景时，分解模式为运动/静止区域对应的第二分解模式、融合模式为运动/静止区域对应的第二融合模式。也就是说，对第一图像信号进行分析处理得到的属性参数为运动/静止区域。当图像场景为人脸识别时场景时，分解模式为噪声形态对应的第三分解模式、融合模式为噪声形态对应的第三融合模式。也就是说，对第一图像信号进行分析处理得到的属性参数为噪声形态。

作为一种示例，分解模式和融合模式是可以灵活的自定义配置的，可以从几种分解模式中选择当前适用的分解模式，以便将第一图像信号转换为适合人工智能AI处理器处理的第一子图像信号和适合图像信号处理器ISP处理的第二子图像信号。相应的，也可以从几种融合模式中自定义配置当前适用的融合模式，使融合后的得到的第二图像信号能够满足进一步的图像使用需求。

本申请在图像处理的过程中，通过分解模式和融合模式的自定义配置，能够灵活自适配AI处理器，由于输入到AI处理器的图像数据经过了预先的自适配分解处理，可减少AI处理器的数据处理量，降低AI处理器的实现复杂度和硬件功耗消耗，有利于降低选择AI处理器解决图像数据处理的成本。同时根据适配的环境情况，将ISP和AI处理器处理后得到的子图像信号进行融合，由于AI处理网络能够有效解决图像处理的一些问题，如去马赛克、宽动态、降噪、数据域转换等，AI处理器与ISP处理器得到的图像进行融合，能共同完成对图像处理中某个或某几个功能的实现或优化，以更小资源来实现AI处理器与ISP的结合，实现图像信号处理结果的优化。

进一步地，控制装置600在控制图像信号分解装置400基于分解模式，对第一图像信号进行分解处理，以及控制图像信号融合装置200基于融合模式，对第三子图像信号(图3中的图像信号B1)和第四子图像信号(图3中的图像信号B2)进行融合处理之外，还可以控制第一图像信号的获取位置。可以理解为，控制装置600可以控制第一图像信号是从摄像装置500获取的，还是图像信号处理器ISP100中的一处理器模块所获取的。

图4为本申请图像处理装置第四实施例的结构示意图。在图3所示的图像处理装置的基础上，该图像处理装置还包括：

存储器700，用于在图像信号分解装置400和图像信号处理器ISP100之间转移第一子图像信号；

还用于在图像信号融合装置200和图像信号处理器ISP100之间转移第三子图像信号。

在本实施例中，图像信号分解装置400对第一图像信号(图4中的图像信号A)进行分解处理后得到第一子图像信号(图4中的图像信号A1)和第二子图像信号(图4中的图像信号A2)，将第一子图像信号写入至存储器700，人工智能AI处理器300从存储器700中读取第一子图像信号，以此完成第一子图像信号在图像信号分解装置400和图像信号处理器ISP100之间的转移。

在本实施例中，人工智能AI处理器300对第一子图像信号进行第一图像信号处理后得到第三子图像信号(图4中的图像信号B1)，将第三子图像信号写入至存储器700，图像信号融合装置200从存储器700中读取第三子图像信号，以此完成第三子图像信号在图像信号融合装置200和图像信号处理器ISP100之间的转移。

进一步地，存储器700包括片上存储器或者片外存储器。

在本实施例中，控制装置600根据图像处理装置所支持的数据量灵活选择片上存储器或者片外存储器，作为用于在图像信号融合装置200与图像信号处理器ISP100或者图像信号分解装置400与图像信号处理器ISP100之间转移数据的存储器700。具体而言，当图像处理装置所支持的数据量大于预设的数据阈值时，选择片外存储器作为本申请实施例的存储器700，可以保证有充足的存储空间来存储图像信号；当图像处理装置所支持的数据量小于或等于预设的数据阈值时，选择片上存储器作为本申请实施例的存储器700，可以实现在数据交互得到保证的同时减少资源的浪费。

本申请实施例还提供了一种图像处理方法，应用于控制装置。参照图5，图5为本申请图像处理方法第一实施例的流程示意图。

在本实施例中，图像处理方法包括以下步骤：

步骤S10、控制图像信号分解装置对第一图像信号进行分解处理，得到第一子图像信号和第二子图像信号，第一图像信号是摄像装置输出的图像信号或者是基于摄像装置输出的图像信号获取的；

步骤S20、控制人工智能AI处理器对第一子图像信号进行第一图像信号处理，得到第三子图像信号；其中，所述第一图像信号处理由人工智能AI处理器执行；AI处理器对图像信号分解装置分解的信号A1进行硬件网络处理，可以进行降噪、去马赛克、宽动态等功能。

步骤S30、控制图像信号处理器ISP对第二子图像信号进行第二图像信号处理，得到第四子图像信号；其中，所述第二图像信号处理由图像信号处理器ISP执行；

步骤S40、控制图像信号融合装置对第三子图像信号和第四子图像信号进行融合处理，得到第二图像信号；

步骤S50、控制图像信号处理ISP基于第二图像信号，输出图像处理结果。

在本申请的一种可能的实施方式中，所述图像信号处理器ISP包括多个级联的处理器模块，所述图像处理方法控制所述图像信号处理ISP基于所述第二图像信号，输出图像处理结果的步骤，还包括：

控制所述图像信号处理ISP基于所述图像信号处理ISP的一个或者多个处理器模块，继续对所述第二图像信号进行第三图像信号处理，并输出图像处理结果；

或者控制所述图像信号处理ISP直接将所述第二图像信号作为输出的图像处理结果。

在本申请的一种可能的实施方式中，所述图像信号处理器ISP包括多个级联的处理器模块，所述控制图像信号分解装置对第一图像信号进行分解处理，得到第一子图像信号和第二子图像信号的步骤之前，还包括：

控制所述图像信号处理ISP基于所述图像信号处理ISP的一个或者多个处理器模块对摄像装置输出的图像信号进行第四图像信号处理，得到所述第一图像信号。

在本申请的一种可能的实施方式中，所述控制图像信号分解装置对第一图像信号进行分解处理，得到第一子图像信号和第二子图像信号的步骤之前，还包括：

对所述第一图像信号进行分析处理，得到所述第一图像信号的属性参数；

基于所述属性参数，确定与所述属性参数相对应的分解模式以及融合模式；

则所述控制图像信号分解装置对第一图像信号进行分解处理，得到第一子图像信号和第二子图像信号的步骤，包括：

控制图像信号分解装置基于所述分解模式，对所述第一图像信号进行分解处理，得到第一子图像信号和第二子图像信号；

则所述控制图像信号融合装置对所述第三子图像信号和所述第四子图像信号进行融合处理，得到第二图像信号的步骤，包括：

控制图像信号融合装置基于所述融合模式，对所述第三子图像信号和所述第四子图像信号进行融合处理，得到第二图像信号。

本申请实施例所示的图像处理方法其实现原理以及有益效果，具体可参见上述任一实施例所示的图像处理装置的实现原理及有益效果，此处不再进行赘述。

参照图6，图6为本申请实施例方案涉及的硬件运行环境的电子设备结构示意图。

如图6所示，该电子设备可以包括：处理器1001，例如中央处理器(CentralProcessing Unit，CPU)，通信总线1002、用户接口1003，网络接口1004，存储器1005。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(Display)、输入单元比如键盘(Keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如无线保真(WIreless-FIdelity，WI-FI)接口)。存储器1005可以是高速的随机存取存储器(RandomAccess Memory，RAM)存储器，也可以是稳定的非易失性存储器(Non-Volatile Memory，NVM)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图6中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图6所示，作为一种存储介质的存储器1005中可以包括操作***、数据存储模块、网络通信模块、用户接口模块以及图像处理程序。

在图6所示的电子设备中，网络接口1004主要用于与其他设备进行数据通信；用户接口1003主要用于与用户进行数据交互；本申请电子设备中的处理器1001、存储器1005可以设置在电子设备中，所述电子设备通过处理器1001调用存储器1005中存储的图像处理程序，并执行上述图像处理方法的实施例提供的图像处理方法。

本申请实施例还提供了一种存储介质，且存储介质存储有一个或者一个以上程序，一个或者一个以上程序还可被一个或者一个以上的处理器执行以用于实现上述图像处理方法的步骤。

本申请存储介质具体实施方式与上述图像处理方法各实施例基本相同，在此不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者***不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者***所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者***中还存在另外的相同要素。

上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

以上仅为本申请的优选实施例，并非因此限制本申请的专利范围，凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本申请的专利保护范围内。

Claims (12)

1.一种图像处理装置，其特征在于，包括：

图像信号分解装置，用于对第一图像信号进行分解处理，得到第一子图像信号和第二子图像信号，所述第一图像信号是摄像装置输出的图像信号或者是基于摄像装置输出的图像信号获取的；

人工智能AI处理器，用于对所述第一子图像信号进行第一图像信号处理，得到第三子图像信号；

图像信号处理器ISP，用于对所述第二子图像信号进行第二图像信号处理，得到第四子图像信号；

图像信号融合装置，用于对所述第三子图像信号和所述第四子图像信号进行融合处理，得到第二图像信号。

2.如权利要求1所述的图像处理装置，其特征在于，所述图像信号处理器ISP包括多个级联的处理器模块，所述图像信号处理ISP还用于：

基于其一个或者多个处理器模块，继续对所述第二图像信号进行第三图像信号处理，并输出图像处理结果；

或者直接将所述第二图像信号作为输出的图像处理结果。

3.如权利要求1所述的图像处理装置，其特征在于，所述图像信号处理器ISP包括多个级联的处理器模块，所述图像信号处理器ISP还用于：

基于其一个或者多个处理器模块对摄像装置输出的图像信号进行第四图像信号处理，得到所述第一图像信号。

4.如权利要求1至3任一项所述的图像处理装置，其特征在于，所述图像处理装置还包括：

控制装置，用于对所述第一图像信号进行分析处理，得到所述第一图像信号的属性参数；

还用于基于所述属性参数，确定所述图像信号分解装置所对应的分解模式，并控制所述图像信号分解装置基于所述分解模式，对所述第一图像信号进行分解处理；

还用于基于所述属性参数，确定所述图像信号融合装置所对应的融合模式，并控制所述图像信号融合装置基于所述融合模式，对所述第三子图像信号和所述第四子图像信号进行融合处理。

5.如权利要求4所述的图像处理装置，其特征在于，所述属性参数包括以下至少一项：增益强度、噪声形态、运动/静止区域、曝光信息或者图像亮度，且所述属性参数与所述分解模式和/或者所述融合模式相对应；

所述控制装置用于基于所述属性参数，确定所述属性参数相对应的分解模式，作为所述图像信号分解装置所对应的分解模式；和/或

所述控制装置用于基于所述属性参数，确定所述属性参数相对应的融合模式，作为所述图像信号分解装置所对应的融合模式。

6.如权利要求1至3任一项所述的图像处理装置，其特征在于，所述图像处理装置还包括：

存储器，用于在所述图像信号分解装置和所述图像信号处理器ISP之间转移所述第一子图像信号；

还用于在所述图像信号融合装置和所述图像信号处理器ISP之间转移所述第三子图像信号；

其中，所述存储器包括片上存储器或者片外存储器。

7.一种图像处理方法，其特征在于，包括以下步骤：

对第一图像信号进行分解处理，得到第一子图像信号和第二子图像信号，所述第一图像信号是摄像装置输出的图像信号或者是基于摄像装置输出的图像信号获取的；

对所述第一子图像信号进行第一图像信号处理，得到第三子图像信号；其中，所述第一图像信号处理由人工智能AI处理器执行；

对所述第二子图像信号进行第二图像信号处理，得到第四子图像信号；其中，所述第二图像信号处理由图像信号处理器ISP执行；

对所述第三子图像信号和所述第四子图像信号进行融合处理，得到第二图像信号。

8.如权利要求7所述的图像处理方法，其特征在于，所述图像信号处理器ISP包括多个级联的处理器模块，所述图像处理方法，还包括：

基于所述图像信号处理ISP的一个或者多个处理器模块，继续对所述第二图像信号进行第三图像信号处理，并输出图像处理结果；

或者直接将所述第二图像信号作为输出的图像处理结果。

9.如权利要求7所述的图像处理方法，其特征在于，所述图像信号处理器ISP包括多个级联的处理器模块，所述对第一图像信号进行分解处理，得到第一子图像信号和第二子图像信号的步骤之前，还包括：

基于所述图像信号处理ISP的一个或者多个处理器模块，对摄像装置输出的图像信号进行第四图像信号处理，得到所述第一图像信号。

10.如权利要求7至9任一项所述的图像处理方法，其特征在于，所述对第一图像信号进行分解处理，得到第一子图像信号和第二子图像信号的步骤之前，还包括：

对所述第一图像信号进行分析处理，得到所述第一图像信号的属性参数；

基于所述属性参数，确定与所述属性参数相对应的分解模式以及融合模式；

则所述对第一图像信号进行分解处理，得到第一子图像信号和第二子图像信号的步骤，包括：

基于所述分解模式，对所述第一图像信号进行分解处理，得到第一子图像信号和第二子图像信号；

则所述对所述第三子图像信号和所述第四子图像信号进行融合处理，得到第二图像信号的步骤，包括：

基于所述融合模式，对所述第三子图像信号和所述第四子图像信号进行融合处理，得到第二图像信号。

11.一种电子设备，其特征在于，所述设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的图像处理程序，所述图像处理程序配置为实现如权利要求7至10中任一项所述的图像处理方法的步骤。

12.一种存储介质，其特征在于，所述存储介质上存储有图像处理程序，所述图像处理程序被处理器执行时实现如权利要求7至10任一项所述的图像处理方法的步骤。

Images