CN113747145B - 图像处理电路、电子设备和图像处理方法 - Google Patents

Abstract

本申请实施例提供一种图像处理电路、电子设备和图像处理方法，其中，图像传感器与图像信号前处理器连接，用于按照配置的采集参数采集外部图像，并将外部图像传输给图像信号前处理器；图像信号前处理器与应用处理器连接，用于在接收到图像传感器传输的外部图像中单帧图像的首个图像数据包的包头时，传输指示信息至应用处理器；应用处理器与图像传感器连接，用于根据指示信息更新图像传感器的采集参数。本申请利用图像信号前处理器指示应用处理器更新图像传感器的采集参数，使得应用处理器能够稳定的对图像传感器进行图像采集的控制。将本申请提供的图像处理电路应用于电子设备时，能够有效的提高电子设备的进行图像采集的稳定性。

Description

图像处理电路、电子设备和图像处理方法

技术领域

本申请涉及图像处理技术领域，特别涉及一种图像处理电路、电子设备和图像处理方法。

背景技术

目前，拍摄功能的好坏已经成为衡量一台电子设备(比如智能手机、平板电脑等)性能的关键。而电子设备拍摄质量的好坏与电子设备的图像处理能力息息相关，能否稳定的进行图像采集影响着电子设备是否能够正常有效的进行图像处理。

发明内容

本申请实施例提供一种图像处理电路、电子设备和图像处理方法，可以提升电子设备的进行图像采集的稳定性。

本申请公开一种图像处理电路，包括图像传感器、图像信号前处理器以及应用处理器，其中，

所述图像传感器与所述图像信号前处理器连接，用于按照配置的采集参数采集外部图像，并将所述外部图像传输给所述图像信号前处理器；

所述图像信号前处理器与所述应用处理器连接，用于在接收到所述图像传感器传输的所述外部图像中单帧图像的首个图像数据包的包头时，传输指示信息至所述应用处理器；

所述应用处理器与所述图像传感器连接，用于根据所述指示信息更新所述图像传感器的采集参数。

本申请还公开一种电子设备，包括本申请提供的图像处理电路。

本申请实施例还公开一种图像处理方法，适用于图像处理电路，所述图像处理电路包括图像传感器、图像信号前处理器以及应用处理器，所述图像处理方法，包括：

所述图像传感器按照配置的采集参数采集外部图像，并将所述外部图像传输给所述图像信号前处理器；

所述图像信号前处理器在接收到所述图像传感器传输的所述外部图像中单帧图像的首个图像数据包的包头时，传输指示信息至所述应用处理器；

所述应用处理器根据所述指示信息更新所述图像传感器的采集参数。

本申请利用图像信号前处理器指示应用处理器更新图像传感器的采集参数，使得应用处理器能够稳定的对图像传感器进行图像采集的控制。将本申请提供的图像处理电路应用于电子设备时，能够有效的提高电子设备的进行图像采集的稳定性。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。

图1为本申请实施例提供的图像处理电路的第一种结构示意图。

图2为本申请实施例中RTL设计的状态机示意图。

图3为本申请实施例提供的图像处理电路的第二种结构示意图。

图4为本申请实施例提供的图像处理电路的第三种结构示意图。

图5为本申请实施例提供的图像处理电路的第四种结构示意图。

图6为本申请实施例提供的图像处理电路的第五种结构示意图。

图7为本申请实施例中对后处理图像增强得到增强图像的示例图。

图8为本申请实施例提供的图像处理电路的第六种结构示意图。

图9为本申请实施例提供的图像处理方法的流程示意图。

具体实施方式

本申请实施例提供的技术方案可以应用于各种需要进行数据通信的场景，本申请实施例对此并不限定。

请参照图1，图1为本申请实施例提供的图像处理电路100的第一种结构示意图。该图像处理电路100可以集成于电子设备(比如，智能手机、平板电脑、掌上电脑、笔记本电脑、或者台式电脑等配置有处理器而具有处理能力的设备)中，包括图像传感器110、图像信号前处理器120以及应用处理器130。

图像传感器110或称感光元件，是一种将光信号转换成电信号的器件，与光敏二极管、光敏三极管等“点”光源的光敏元件相比，图像传感器110将其感受到的光像分成多个小单元，进而转换为可用的电信号，得到原始的图像数据。应当说明的是，本申请实施例中对图像传感器110的类型不做限制，可以为互补金属氧化物半导体(Complementary Metal-Oxide-Semiconductor，CMOS)图像传感器，也可以为电荷藕合器件(Charge CoupledDevice，CCD)图像传感器等。

应用处理器130集成有图像信号处理单元，能够对图像传感器110采集的图像数据进行处理，提升图像数据的质量。比如，图像信号处理器130能够对图像数据做坏点校正处理，消除图像数据中的坏点。

图像信号前处理器120相较于应用处理器130集成的图像信号处理单元，其在应用处理器130集成的图像信号处理单元对图像数据进行处理之前进行一些差异化处理。

在本申请实施例中，图像传感器110与图像信号前处理器120连接，用于按照配置的采集参数采集外部图像，并将采集到的外部图像传输给图像信号前处理器。比如，以曝光参数为例，在自动曝光时，应用处理器130根据收集到的自动曝光所需相关信息，利用预先配置的自动曝光控制算法计算出对应的曝光参数，并将该曝光参数配置到图像传感器110，使得图像传感器110按照该曝光参数采集外部图像，并传输给图像信号前处理器120。

应当说明的是，本申请实施例中对图像信号前处理器120和图像传感器110的连接方式不做具体限定，比如，图像信号前处理器120与图像传感器110之间通过MIPI(MobileIndustry Processor Interface，移动行业处理器接口)连接。

其中，图像传感器110在向图像信号前处理器120传输外部图像时，对于每一帧外部图像，将其封装为多个图像数据包，以图像数据包的形式传输至图像信号前处理器。示例性的，图像数据包包括包头字段、包尾字段以及数据字段，其中，包头字段和包尾字段用于填充一些必要的控制信息，比如同步信息、地址信息、差错控制信息等，数据字段则用于填充实际的图像内容。

另一方面的，图像信号前处理器120对来自于图像传感器110的外部图像进行接收。此外，图像信号前处理器120还与应用处理器130连接，其中，本申请实施例中对应用处理器130与图像信号前处理器120的连接方式不做具体限定，比如，应用处理器130与图像信号前处理器120之间也可以通过MIPI连接。

其中，图像信号前处理器120在接收到图像传感器110传输的外部图像中单帧图像的首个图像数据包的包头时，即传输指示信息至应用处理器130，该指示信息用于指示应用处理器130更新图像传感器110的曝光参数。应当说明的是，本申请实施例中对指示信息的类型不做具体限制，可由本领域普通技术人员根据实际需要进行选择。

示例性的，以采用SOF作为指示信息为例。

其中，图像信号前处理器120与应用处理器130通过MIPI连接，在ASIC设计MIPI的过程中，需要改变原有的SoF(Start of Frame，帧起始)的RTL设计，其状态机如图2所示。

应用处理器130还与图像传感器110连接，用于根据来自于图像信号前处理器120的指示信息更新图像传感器110的采集参数，使得图像传感器110按照更新后的采集参数进行图像采集，从而稳定的采集到高质量的图像。

由上可知，本申请提供的图像处理电路包括图像传感器、图像信号前处理器以及应用处理器，其中，图像传感器与图像信号前处理器连接，用于按照配置的采集参数采集外部图像，并将外部图像传输给图像信号前处理器；图像信号前处理器与应用处理器连接，用于在接收到图像传感器传输的外部图像中单帧图像的首个图像数据包的包头时，传输指示信息至应用处理器；应用处理器与图像传感器连接，用于根据指示信息更新图像传感器的采集参数。本申请利用图像信号前处理器指示应用处理器更新图像传感器的采集参数，使得应用处理器能够稳定的对图像传感器进行图像采集的控制。将本申请提供的图像处理电路应用于电子设备时，能够有效的提高电子设备的进行图像采集的稳定性。

可选地，在一实施例中，为了提升图像质量，本申请实施例中还由图像信号前处理器120对来自于图像传感器110的外部图像中的单帧图像进行前处理，相应得到前处理图像。

为了避免图像信号前处理120对外部图像的前处理导致外部图像的原始数据被破坏，图像信号前处理120在对前述单帧图像进行前处理之前，还提取前述单帧图像的基准参数。其中，基准参数包括应用处理器130进行图像处理所需的相关参数，比如自动对焦参数、自动白平衡参数、自动曝光参数以及以及相位对焦参数等。

应当说明的是，本申请实施例中对于图像信号前处理器120所进行的前处理也不做具体限定，比如，当电子设备位于环境照度低于1lux的极暗环境下拍摄时，最终得到的成像图像的图像内容将难以辨识，利用本申请提供的图像信号前处理器120，可以对图像传感器110采集的原始外部图像进行优化，使得最终得到的成像图像的图像内容能够清晰辨识，达到提升图像质量的目的。

应用处理器130与图像信号前处理器120连接，用于对图像信号前处理器120进行前处理得到的前处理图像做进一步地后处理，相应得到后处理图像。应当说明的是，本申请实施例中对应用处理器130与图像信号前处理器120的连接方式不做具体限定，比如，应用处理器130与图像信号前处理器120之间也可以通过MIPI连接。此外，本申请实施例中对于应用处理器130所进行的后处理也不做具体限定，可由本领域普通技术人员根据实际需要进行配置，也可由应用处理器130在出厂时缺省配置。

此外，应用处理器130在处理得到后处理图像之后，可以直接将该后处理图像进行预览和/或存储，也可以对后处理图像做进一步的处理之后再进行预览和/或存储。

此外，应用处理器130还基于其与图像传感器110之间的连接，控制图像传感器110开始采集外部图像和结束采集外部图像。

可选地，在一实施例中，采集参数包括曝光参数，在应用处理器130完成对图像传感器110曝光参数的当次更新后，图像传感器110将采用更新后的曝光参数进行外部图像的采集，相应的，应用处理器130收集到自动曝光控制所需的曝光统计信息，并采用配置的自动曝光控制算法计算出新的曝光参数，以备再次接收到图像信号前处理器120的指示信息时，再次对图像传感器110的曝光参数进行更新。如此，通过不断更新图像传感器110的曝光参数，直至曝光参数收敛。

相比于相关技术，本申请额外增加了图像信号前处理器120，通过图像信号前处理器120对图像传感器110采集的原始图像进行前处理后，再由应用处理器处理器130对前处理后的图像进行后处理，从而通过图像信号前处理器120协同应用处理器130进行图像处理。另外，本申请利用图像信号前处理器120指示应用处理器130更新图像传感器110的采集参数，使得应用处理器130能够稳定的对图像传感器110进行图像采集的控制。将本申请提供的图像处理电路应用于电子设备时，能够有效的提高电子设备的图像处理能力。

可选地，在一实施例中，图像信号前处理器120与应用处理器130通过GPIO(General-purpose input/output，通用输入/输出)接口直接连接。

本申请实施例中，图像信号前处理器120与应用处理器130之间采用GPIO接口直接连接，相应的，第二图像信号处理单元1302在发送指示信息至应用处理器130时，通过其与应用处理器130之间的GPIO接口发送指示信息至应用处理器130。

请参照图3，图3为本申请实施例提供的图像处理电路100的第二种结构示意图。本申请实施例提供的图像处理电路100可以包括图像传感器110、图像信号前处理器120、应用处理器130以及寄存器140，其中，图像传感器110、图像信号前处理器120以及应用处理器130可以相应参照图1中的图像传感器110、图像信号前处理器120以及应用处理器130，此处不再赘述。其中，寄存器140与图像信号前处理器120和应用处理器130连接。

本申请实施例中，图像信号前处理器120的指示信息并不是直接传输至应用处理器130，而是利用第三方器件“寄存器140”间接传输，相应的，在发送指示信息至应用处理器130时，图像信号前处理器120用于：

将寄存器140的预设标志位写为对应前述指示信息的预设值，使得应用处理器130根据寄存器140的预设标识位所写入的预设值获取到前述指示信息，相应对图像传感器110的曝光参数进行更新。

其中，本申请实施例对于选用寄存器140的哪一个标志位作为预设标志位来指示信息的传递不做具体限定，可由本领域普通技术人员根据实际需要进行选择。应当说明的是，针对寄存器140中的预设标志位，本申请中预先建立预设值与指示信息的对应关系。其中，对于采用哪一个值来表征指示信息，本申请实施例中不做具体限制，可由本领域普通技术人员根据实际需要进行选择，比如，对于寄存器140的预设标志位，本申请实施例中采用“1”来表征前述指示信息，相应的，图像信号前处理器120在需要向应用处理器130发送前述指示信息时，将寄存器140中预设标志位的值写为“1”，使得寄存器140发送中断信号到应用处理器130，告知应用处理器130当前有数据写入，应用处理器130相应读取寄存器140中预设标志位的值，此时为“1”，从而获取到前述指示信息，对图像传感器110的曝光参数进行更新。

应当说明的是，本申请实施例中可由本领域普通技术人员根据实际需要选取寄存器类型，比如，本申请实施例中采用PCIE寄存器实现指示信息的传输。

可选地，在一实施例中，图像传感器110用于将前述单帧图像的每一行图像数据封装为一个图像数据包，并依次将每一个图像数据包传输至图像信号前处理器120。

应当说明的是，在本申请实施例中，对于一帧完整的外部图像，图像传感器110并不是将一帧完整的外部图像直接传输至图像信号前处理器120，而是以行为单位，逐行的将其传输至图像信号前处理器120。

其中，图像传感器110用于将前述单帧图像的每一行图像数据封装为一个图像数据包，并将依次将封装得到的图像数据包传输至图像信号前处理器120。

可选地，在一实施例中，图像传感器110用于在采集得到一行外部图像的图像数据时，将采集得到的一行图像数据封装为图像数据包，并将封装得到的图像数据包传输至图像信号前处理器120。

应当说明的是，在本申请实施例中，图像传感器110并不是在采集到一帧完整的外部图像后，再将完整的外部图像逐行的传输至图像信号前处理器120，而是每采集到一行外部图像的图像数据，即将采集到的一行图像数据传输至图像信号前处理器120。

示例性的，图像传感器110在采集得到前述单帧图像的第一行图像数据之后，即将采集得到第一行图像数据封装为图像数据包传输至图像信号前处理器120，与此同时，继续采集前述单帧图像的下一行图像数据，并再次传输，如此循环，直至采集得到前述单帧图像的最后一行图像数据，将最后一行图像数据封装为图像数据包传输至第二图像信号处理单元1302，从而完成前述单帧图像的传输。

请参照图4，图4为本申请实施例提供的图像处理电路100的第三种结构示意图。该图像处理电路100包括图像传感器110、图像信号前处理器120以及应用处理器130。其中，图像信号前处理器120包括第一图像信号处理单元1201和神经网络处理单元1202。此外，图像传感器110和应用处理器130可以相应参照图1中的图像传感器110和应用处理器130，此处不再赘述。

本申请实施例中，第一图像信号处理单元1201用于提取前述单帧图像的基准参数，将提取到的基准参数传输至应用处理器130，此外，还对前述单帧图像进行优化处理，得到优化后的外部图像。其中，第一图像信号处理单元1201在提取得到前述单帧图像的基准参数之后，进一步按照预先配置的优化策略对前述单帧图像进行优化处理，得到优化后单帧图像。应当说明的是，本申请实施例中对于第一图像信号处理单元1201所进行的优化处理不做具体限制，可以包括坏点校正处理、时域降噪处理、3D降噪处理、线性化处理以及黑电平校正处理中的至少一种，当然，还可以包括本申请所未列出的优化处理方式。

神经网络处理单元1202用于对优化后的单帧图像进行前处理，得到前处理图像。其中，神经网络处理单元1202固化有多种神经网络算法(比如，基于神经网络的视频夜景算法、视频HDR算法、视频虚化算法、视频降噪算法以及视频超分算法等)，在第一图像信号处理单元1201完成对前述单帧图像的优化处理之后，神经网络处理单元1202按照配置的前处理策略，调用对应的神经网络算法进一步对优化后的单帧图像进行前处理，得到前处理图像。

在完成对优化后的单帧图像的前处理得到前处理图像之后，神经网络处理单元1202还将前处理图像传输至应用处理器130。

比如，神经网络处理单元1202可以将前处理图像传输至第一图像信号处理单元1201，由第一图像信号处理单元1201将提取到的基准参数以及神经网络处理单元1202所处理得到的前处理图像一同传输至应用处理器130。

可选地，第一图像信号处理单元1201还用于在提取到基准参数时，即将提取到的基准参数传输至应用处理器130。

请参照图5，图5为本申请实施例提供的图像处理电路100的第四种结构示意图。该图像处理电路100包括图像传感器110、图像信号前处理器120以及应用处理器130。其中，图像信号前处理器120包括第一图像信号处理单元1201和神经网络处理单元1202。此外，图像信号前处理器120还包括中控处理单元1203，图像传感器110、应用处理器130、第一图像信号处理单元1201以及神经网络处理单元1202可以相应参照图4中的图像传感器110、应用处理器130、第一图像信号处理单元1201以及神经网络处理单元1202，此处不再赘述。

本申请实施例中，第一图像信号处理单元1201还用于在传输指示信息至应用处理器130时，将前述指示信息同步发送至中控处理单元1203。

另一方面，中控处理单元1203用于根据前述指示信息对神经网络处理单元1202的前处理进行控制。其中，中控处理单元1203对神经网络处理单元的控制包括但不限于前处理的时机以及类型等。

请参照图6，图6为本申请实施例提供的图像处理电路100的第五种结构示意图。该图像处理电路100包括图像传感器110、图像信号前处理器120以及应用处理器130。其中，图像信号前处理器120包括第一图像信号处理单元1201和神经网络处理单元1202，应用处理器130包括应用处理单元1301和第二图像信号处理单元1302。

其中，第二图像信号处理单元1302与第一图像信号处理单元1201连接，用于获取第一图像信号处理单元1201传输的基准参数以及前处理图像，并根据基准参数对前处理图像进行后处理，得到后处理图像；

应用处理单元1301用于：

当后处理图像为动态图像时，预览后处理图像或者根据后处理图像进行视频编码；或者，

当后处理图像为静态图像时，根据后处理图像进行图像编码。

本申请实施例中对于第二图像信号处理单元1302所进行的后处理不做具体限定，可由本领域普通技术人员根据实际需要进行配置。

示例性的，第二图像信号处理单元1302可以对前处理图像进行图像增强处理。其中，图像增强是指对需要增强的图像数据进行数据变换，有选择地突出图像中感兴趣的特征以及抑制图像中某些不需要的特征，使增强后的图像质量的视觉效果得到改善。有监督学习是从标签化训练数据集中推断出模型参数的机器学习任务。在有监督学习中，样本对包括输入对象和期望的输出。在本申请实施例中，输入对象为样本对中的训练图像，期望的输出为配对的目标图像。初始图像增强模型是需要进一步进行模型训练，以调整模型参数的图像增强模型。初始图像增强模型的类型可以根据需要设置，例如可以是深度卷积神经网络模型或者残差卷积网络模型等。模型训练的目标是得到更好的模型参数，以提高图像增强的效果。在进行训练时，将训练图像输入到初始图像增强模型中，得到输出的模型增强图像，然后根据模型增强图像与配对的目标图像的差异调整模型参数，使得根据调整后的模型参数进行图像增强得到的模型增强图像越来越接近目标图像，比如采用梯度下降方法朝着使模型对应的损失值下降的方向对模型参数进行调整，直至收敛，得到图像增强模型。

本申请实施例中，第二图像信号处理单元1302在获取到前处理图像即基准参数之后，调用预训练的图像增强模型对前处理图像进行图像增强处理，得到增强图像(即后处理图像)。

比如，请参照图7，图7左侧所示为第二图像信号处理单元1302获取到的前处理图像，第二图像信号处理单元1302调用预先训练的图像增强模型对前述前处理图像的亮度和清晰度进行增强，得到右侧所示增强后的增强图像(即后处理图像)，可以看出，经过图像增强处理，得到的增强图像相较于前处理图像的亮度和清晰度得以明显提升。

应当说明的是，图像类型并不随着对外部图像的处理而改变，即，原始的外部图像为静态图像，则相应处理得到的后处理图像也为静态图像，原始的外部图像为动态图像，则相应处理得到的后处理图像也为动态图像。其中，静态图像比如实时拍摄的单帧图像，动态图像比如预览时采集的图像序列中的一帧图像，录像时采集的图像序列中的一帧图像。

比如，将本申请提供的图像处理电路100应用于拍照场景时，图像传感器110采集的外部图像即为一帧静态图像；

将本申请提供的图像处理电路100应用于预览场景时，图像传感器110采集的外部图像即为预览图像序列中的一帧动态图像；

将本申请提供的图像处理电路100应用于录像场景时，图像传感器110采集的外部图像即为的视频图像序列中的一帧动态图像。

本申请实施例中，在第二图像信号处理单元1302完成对前处理图像的后处理，并相应得到后处理图像之后，应用处理单元1301用于从第二图像信号处理单元1302获取到前述后处理图像，并根据后处理图像的类型执行相应的操作。应当说明的是，本申请实施例中，对前处理图像进行的后处理并不改变前处理图像的类型，比如，前处理图像为动态图像，相应后处理得到的后处理图像也为动态图像。

其中，当后处理图像为动态图像时，应用处理单元1301可以预览前述后处理图像或者根据前述后处理图像进行视频编码。比如，当前处理图像为预览图像序列中一帧动态图像时，相应后处理得到后处理图像之后，应用处理单元1301将预览前述后处理图像；当前处理图像为视频图像序列中一帧动态图像时，相应处理得到后处理图像之后，应用处理单元1301将根据前述后处理图像进行视频编码。

当后处理图像为静态图像时，应用处理单元1301根据前述后处理图像进行图像编码，得到编码图像。比如，前处理图像为RAW格式图像，相应后处理得到后处理图像也为RAW格式图像，应用处理单元1301可以根据前述后处理图像进行JPEG图像编码，得到JPEG格式的编码图像。

请参照图8，图8为本申请实施例提供的图像处理电路100的第六种结构示意图。与图6的所示图像处理电路100的区别在于，本申请实施例中图像信号前处理器120还包括存储器1204。

应当说明的是，本申请实施例中对存储器1204的类型不做限制，可由本领域普通技术人员根据实际需要进行选择，可以为静态存储器，也可以为动态存储器。比如，本申请实施例中，存储器1204为DDR(Double Data Rate，双倍速率)类型的动态存储器。

本申请实施例中，第一图像信号处理单元1201根据前处理图像的图像类型采用不同的传输方式将前处理图像以及基准参数提供给第二图像信号处理单元1302。

其中，当前处理图像为动态图像时，第一图像信号处理单元1201用于将前述基准参数以及前处理图像直接传输至第二图像信号处理单元1302。由于动态图像需要考虑处理的实时性，可由第一图像信号处理单元1201基于其与第二图像信号处理单元1302之间的直接连接(比如MIPI连接)，将前处理图像和前述基准参数直接传输至第二图像信号处理单元1302。

当前处理图像为静态图像时，第一图像信号处理单元1201用于将前述基准参数以及前处理图像写入到存储器1204中，由第二图像信号处理单元1302从存储器1204中提取前述前处理图像及前述基准参数。

本申请还提供一种电子设备，用于处理图像数据，该电子设备包括本申请所提供的图像处理电路。

本申请还提供一种图像处理方法，请参照图9，该图像处理方法的流程可以为：

在201中，图像传感器按照配置的采集参数采集外部图像，并将外部图像传输给图像信号前处理器；

在202中，图像信号前处理器在接收到图像传感器传输的外部图像首个图像数据包的包头时，传输指示信息至应用处理器；

在203中，应用处理器根据指示信息更新图像传感器的采集参数。

以本申请提供的图像处理方法适用于图1所示的图像处理电路为例。

在本申请实施例中，图像传感器110与图像信号前处理器120连接，用于按照配置的采集参数采集外部图像，并将采集到的外部图像传输给图像信号前处理器。比如，以曝光参数为例，在自动曝光时，应用处理器130根据收集到的自动曝光所需相关信息，利用预先配置的自动曝光控制算法计算出对应的曝光参数，并将该曝光参数配置到图像传感器110，使得图像传感器110按照该曝光参数采集外部图像，并传输给图像信号前处理器120。

应当说明的是，本申请实施例中对图像信号前处理器120和图像传感器110的连接方式不做具体限定，比如，图像信号前处理器120与图像传感器110之间通过MIPI(MobileIndustry Processor Interface，移动行业处理器接口)连接。

其中，图像传感器110在向图像信号前处理器120传输外部图像时，对于每一帧外部图像，将其封装为多个图像数据包，以图像数据包的形式传输至图像信号前处理器。示例性的，图像数据包包括包头字段、包尾字段以及数据字段，其中，包头字段和包尾字段用于填充一些必要的控制信息，比如同步信息、地址信息、差错控制信息等，数据字段则用于填充实际的图像内容。

另一方面的，图像信号前处理器120对来自于图像传感器110的外部图像进行接收。此外，图像信号前处理器120还与应用处理器130连接，其中，本申请实施例中对应用处理器130与图像信号前处理器120的连接方式不做具体限定，比如，应用处理器130与图像信号前处理器120之间也可以通过MIPI连接。

其中，图像信号前处理器120在接收到图像传感器110传输的外部图像中单帧图像的首个图像数据包的包头时，即传输指示信息至应用处理器130，该指示信息用于指示应用处理器130更新图像传感器110的曝光参数。应当说明的是，本申请实施例中对指示信息的类型不做具体限制，可由本领域普通技术人员根据实际需要进行选择。

示例性的，以采用SOF作为指示信息为例。

其中，图像信号前处理器120与应用处理器130通过MIPI连接，在ASIC设计MIPI的过程中，需要改变原有的SoF(Start of Frame，帧起始)的RTL设计，其状态机如图2所示。

应用处理器130还与图像传感器110连接，用于根据来自于图像信号前处理器120的指示信息更新图像传感器110的采集参数，使得图像传感器110按照更新后的采集参数进行图像采集，从而稳定的采集到高质量的图像。

可选地，在一实施例中，本申请提供的图像处理方法还包括：

图像信号前处理器120提取前述单帧图像的基准参数，并对前述单帧图像进行前处理，得到前处理图像；以及

将基准参数和前处理图像传输至应用处理器130；

应用处理器130根据基准参数对前处理图像进行后处理，得到后处理图像。

为了提升图像质量，本申请实施例中还由图像信号前处理器120对来自于图像传感器110的外部图像进行前处理，相应得到前处理图像。

为了避免图像信号前处理120对外部图像的前处理导致外部图像的原始数据被破坏，图像信号前处理120在对外部图像进行前处理之前，还提取外部图像的基准参数。其中，基准参数包括应用处理器130进行图像处理所需的相关参数，比如自动对焦参数、自动白平衡参数、自动曝光参数以及以及相位对焦参数等。

应当说明的是，本申请实施例中对于图像信号前处理器120所进行的前处理也不做具体限定，比如，当电子设备位于环境照度低于1lux的极暗环境下拍摄时，最终得到的成像图像的图像内容将难以辨识，利用本申请提供的图像信号前处理器120，可以对图像传感器110采集的原始外部图像进行优化，使得最终得到的成像图像的图像内容能够清晰辨识，达到提升图像质量的目的。

应用处理器130与图像信号前处理器120连接，用于对图像信号前处理器120进行前处理得到的前处理图像做进一步地后处理，相应得到后处理图像。应当说明的是，本申请实施例中对应用处理器130与图像信号前处理器120的连接方式不做具体限定，比如，应用处理器130与图像信号前处理器120之间也可以通过MIPI连接。此外，本申请实施例中对于应用处理器130所进行的后处理也不做具体限定，可由本领域普通技术人员根据实际需要进行配置，也可由应用处理器130在出厂时缺省配置。

此外，应用处理器130在处理得到后处理图像之后，可以直接将该后处理图像进行预览和/或存储，也可以对后处理图像做进一步的处理之后再进行预览和/或存储。

此外，应用处理器130还基于其与图像传感器110之间的连接，控制图像传感器110开始采集外部图像和结束采集外部图像。

可选地，在一实施例中，采集参数包括曝光参数，在应用处理器130完成对图像传感器110曝光参数的当次更新后，图像传感器110将采用更新后的曝光参数进行外部图像的采集，相应的，应用处理器130收集到自动曝光控制所需的曝光统计信息，并采用配置的自动曝光控制算法计算出新的曝光参数，以备再次接收到图像信号前处理器120的指示信息时，再次对图像传感器110的曝光参数进行更新。如此，通过不断更新图像传感器110的曝光参数，直至曝光参数收敛。

可选地，请参照图3，图像处理电路100的还包括寄存器140，寄存器140与图像信号前处理器120和应用处理器130连接，传输指示信息至所述应用处理器，包括：

图像信号前处理器120将寄存器140的预设标志位写为对应指示信息的预设值，使得应用处理器130根据预设值获取到指示信息。

本申请实施例中，图像信号前处理器120的指示信息并不是直接传输至应用处理器130，而是利用第三方器件“寄存器140”间接传输，相应的，在发送指示信息至应用处理器130时，图像信号前处理器120用于：

将寄存器140的预设标志位写为对应前述指示信息的预设值，使得应用处理器130根据寄存器140的预设标识位所写入的预设值获取到前述指示信息，相应对图像传感器110的曝光参数进行更新。

其中，本申请实施例对于选用PCIE寄存器的哪一个标志位作为预设标志位来指示信息的传递不做具体限定，可由本领域普通技术人员根据实际需要进行选择。应当说明的是，针对寄存器140中的预设标志位，本申请中预先建立预设值与指示信息的对应关系。其中，对于采用哪一个值来表征指示信息，本申请实施例中不做具体限制，可由本领域普通技术人员根据实际需要进行选择，比如，对于寄存器140的预设标志位，本申请实施例中采用“1”来表征前述指示信息，相应的，图像信号前处理器120在需要向应用处理器130发送前述指示信息时，将寄存器140中预设标志位的值写为“1”，使得寄存器140发送中断信号到应用处理器130，告知应用处理器130当前有数据写入，应用处理器130相应读取寄存器140中预设标志位的值，此时为“1”，从而获取到前述指示信息，对图像传感器110的曝光参数进行更新。

应当说明的是，本申请实施例中可由本领域普通技术人员根据实际需要选取寄存器类型，比如，本申请实施例中采用PCIE寄存器实现指示信息的传输。

可选地，在一实施例中，将外部图像传输给图像信号前处理器120，包括：

图像传感器110将前述单帧图像的每一行图像数据封装为一个图像数据包，并依次将每一图像数据包传输至图像信号前处理器120。

应当说明的是，在本申请实施例中，对于一帧完整的外部图像，图像传感器110并不是将一帧完整的外部图像直接传输至图像信号前处理器120，而是以行为单位，逐行的将其传输至图像信号前处理器120。

其中，图像传感器110用于将前述单帧图像的每一行图像数据封装为一个图像数据包，并将依次将封装得到的图像数据包传输至图像信号前处理器120。

可选地，在一实施例中，将前述图像的每一行图像数据封装为一个图像数据包，并依次将每一图像数据包传输至图像信号前处理器120，包括：

图像传感器110在采集得到前述单帧图像的一行图像数据时，将采集得到的一行图像数据封装为图像数据包，并将封装得到的图像数据包传输至图像信号前处理器120。

应当说明的是，在本申请实施例中，图像传感器110并不是在采集到一帧完整的外部图像后，再将完整的外部图像逐行的传输至图像信号前处理器120，而是每采集到一行外部图像的图像数据，即将采集到的一行图像数据传输至图像信号前处理器120。

示例性的，图像传感器110在采集得到前述单帧图像的第一行图像数据之后，即将采集得到第一行图像数据封装为图像数据包传输至图像信号前处理器120，与此同时，继续采集前述单帧图像的下一行图像数据，并再次传输，如此循环，直至采集得到前述单帧图像的最后一行图像数据，将最后一行图像数据封装为图像数据包传输至第二图像信号处理单元1302，从而完成前述单帧图像的传输。

请参照图4，图像信号前处理器120包括第一图像信号处理单元1201和神经网络处理单元1202，提取所述外部图像的基准参数，并对所述外部图像进行前处理，得到前处理图像；以及将所述基准参数和所述前处理图像传输至所述应用处理器包括：

第一图像信号处理单元1201提取所述外部图像的基准参数，将提取到的基准参数传至应用处理器130；以及对外部图像进行优化处理，得到优化后的外部图像；

神经网络处理单元用于对优化后的外部图像进行前处理，得到前处理图像；以及将前处理图像传输至应用处理器130。

本申请实施例中，第一图像信号处理单元1201用于提取前述单帧图像的基准参数，将提取到的基准参数传输至应用处理器130，此外，还对前述单帧图像进行优化处理，得到优化后的外部图像。其中，第一图像信号处理单元1201在提取得到前述单帧图像的基准参数之后，进一步按照预先配置的优化策略对前述单帧图像进行优化处理，得到优化后单帧图像。应当说明的是，本申请实施例中对于第一图像信号处理单元1201所进行的优化处理不做具体限制，可以包括坏点校正处理、时域降噪处理、3D降噪处理、线性化处理以及黑电平校正处理中的至少一种，当然，还可以包括本申请所未列出的优化处理方式。

神经网络处理单元1202用于对优化后的单帧图像进行前处理，得到前处理图像。其中，神经网络处理单元1202固化有多种神经网络算法(比如，基于神经网络的视频夜景算法、视频HDR算法、视频虚化算法、视频降噪算法以及视频超分算法等)，在第一图像信号处理单元1201完成对前述单帧图像的优化处理之后，神经网络处理单元1202按照配置的前处理策略，调用对应的神经网络算法进一步对优化后的单帧图像进行前处理，得到前处理图像。

在完成对优化后的单帧图像的前处理得到前处理图像之后，神经网络处理单元1202还将前处理图像传输至应用处理器130。

比如，神经网络处理单元1202可以将前处理图像传输至第一图像信号处理单元1201，由第一图像信号处理单元1201将提取到的基准参数以及神经网络处理单元1202所处理得到的前处理图像一同传输至应用处理器130。

可选地，第一图像信号处理单元1201还用于在提取到基准参数时，即将提取到的基准参数传输至应用处理器130。

请参照图5，图像信号前处理器120还包括中控处理单元1203，本申请提供的图像处理方法还包括：

第一图像信号处理单元1201在传输指示信息至应用处理器130时，同步发送指示信息至中控处理单元1203；

中控处理单元1203根据指示信息对神经网络处理单元1202的前处理进行控制。

本申请实施例中，第一图像信号处理单元1201还用于在传输指示信息至应用处理器130时，将前述指示信息同步发送至中控处理单元1203。

另一方面，中控处理单元1203用于根据前述指示信息对神经网络处理单元1202的前处理进行控制。其中，中控处理单元1203对神经网络处理单元的控制包括但不限于前处理的时机以及类型等。

请参照图6，应用处理器130包括应用处理单元1301和第二图像信号处理单元1302，根据基准参数对前处理图像进行后处理，得到后处理图像，包括：

第二图像信号处理单元1302用于获取第一图像信号处理单元1201传输的基准参数以及前处理图像，并根据基准参数对前处理图像进行后处理，得到后处理图像；

本申请提供的图像处理方法还包括：

当后处理图像为动态图像时，应用处理单元1301预览后处理图像或者根据后处理图像进行视频编码；或者，

当后处理图像为静态图像时，应用处理单元1301根据后处理图像进行图像编码。

申请实施例中对于第二图像信号处理单元1302所进行的后处理不做具体限定，可由本领域普通技术人员根据实际需要进行配置。

示例性的，第二图像信号处理单元1302可以对前处理图像进行图像增强处理。其中，图像增强是指对需要增强的图像数据进行数据变换，有选择地突出图像中感兴趣的特征以及抑制图像中某些不需要的特征，使增强后的图像质量的视觉效果得到改善。有监督学习是从标签化训练数据集中推断出模型参数的机器学习任务。在有监督学习中，样本对包括输入对象和期望的输出。在本申请实施例中，输入对象为样本对中的训练图像，期望的输出为配对的目标图像。初始图像增强模型是需要进一步进行模型训练，以调整模型参数的图像增强模型。初始图像增强模型的类型可以根据需要设置，例如可以是深度卷积神经网络模型或者残差卷积网络模型等。模型训练的目标是得到更好的模型参数，以提高图像增强的效果。在进行训练时，将训练图像输入到初始图像增强模型中，得到输出的模型增强图像，然后根据模型增强图像与配对的目标图像的差异调整模型参数，使得根据调整后的模型参数进行图像增强得到的模型增强图像越来越接近目标图像，比如采用梯度下降方法朝着使模型对应的损失值下降的方向对模型参数进行调整，直至收敛，得到图像增强模型。

本申请实施例中，第二图像信号处理单元1302在获取到前处理图像即基准参数之后，调用预训练的图像增强模型对前处理图像进行图像增强处理，得到增强图像(即后处理图像)。

比如，请参照图7，图7左侧所示为第二图像信号处理单元1302获取到的前处理图像，第二图像信号处理单元1302调用预先训练的图像增强模型对前述前处理图像的亮度和清晰度进行增强，得到右侧所示增强后的增强图像(即后处理图像)，可以看出，经过图像增强处理，得到的增强图像相较于前处理图像的亮度和清晰度得以明显提升。

应当说明的是，图像类型并不随着对外部图像的处理而改变，即，原始的外部图像为静态图像，则相应处理得到的后处理图像也为静态图像，原始的外部图像为动态图像，则相应处理得到的后处理图像也为动态图像。其中，静态图像比如实时拍摄的单帧图像，动态图像比如预览时采集的图像序列中的一帧图像，录像时采集的图像序列中的一帧图像。

比如，在拍照场景时，图像传感器110采集的外部图像即为一帧静态图像；

在预览场景时，图像传感器110采集的外部图像即为预览图像序列中的一帧动态图像；

在录像场景时，图像传感器110采集的外部图像即为的视频图像序列中的一帧动态图像。

本申请实施例中，在第二图像信号处理单元1302完成对前处理图像的后处理，并相应得到后处理图像之后，应用处理单元1301用于从第二图像信号处理单元1302获取到前述后处理图像，并根据后处理图像的类型执行相应的操作。应当说明的是，本申请实施例中，对前处理图像进行的后处理并不改变前处理图像的类型，比如，前处理图像为动态图像，相应后处理得到的后处理图像也为动态图像。

其中，当后处理图像为动态图像时，应用处理单元1301可以预览前述后处理图像或者根据前述后处理图像进行视频编码。比如，当前处理图像为预览图像序列中一帧动态图像时，相应后处理得到后处理图像之后，应用处理单元1301将预览前述后处理图像；当前处理图像为视频图像序列中一帧动态图像时，相应处理得到后处理图像之后，应用处理单元1301将根据前述后处理图像进行视频编码。

当后处理图像为静态图像时，应用处理单元1301根据前述后处理图像进行图像编码，得到编码图像。比如，前处理图像为RAW格式图像，相应后处理得到后处理图像也为RAW格式图像，应用处理单元1301可以根据前述后处理图像进行JPEG图像编码，得到JPEG格式的编码图像。

请参照图8，图像信号前处理器120还包括存储器1204，将基准参数和前处理图像传输至应用处理器，包括：

当前处理图像为动态图像时，第一图像信号处理单元1201用于将基准参数以及前处理图像直接传输至第二图像信号处理单元；

当前处理图像为静态图像时，第一图像信号处理单元1201用于将基准参数和前处理图像写入存储器，使得第二图像信号处理单元1302从存储器1204中提取基准参数和前处理图像。

应当说明的是，本申请实施例中对存储器1204的类型不做限制，可由本领域普通技术人员根据实际需要进行选择，可以为静态存储器，也可以为动态存储器。比如，本申请实施例中，存储器1204为DDR(Double Data Rate，双倍速率)类型的动态存储器。

本申请实施例中，第一图像信号处理单元1201根据前处理图像的图像类型采用不同的传输方式将前处理图像以及基准参数提供给第二图像信号处理单元1302。

其中，当前处理图像为动态图像时，第一图像信号处理单元1201用于将前述基准参数以及前处理图像直接传输至第二图像信号处理单元1302。由于动态图像需要考虑处理的实时性，可由第一图像信号处理单元1201基于其与第二图像信号处理单元1302之间的直接连接(比如MIPI连接)，将前处理图像和前述基准参数直接传输至第二图像信号处理单元1302。

当前处理图像为静态图像时，第一图像信号处理单元1201用于将前述基准参数以及前处理图像写入到存储器1204中，由第二图像信号处理单元1302从存储器1204中提取前述前处理图像及前述基准参数。

以上对本申请实施例提供的图像处理电路、电路板、电子设备和图像处理方法进行了详细介绍。本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请。同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。

Claims (11)

1.一种图像处理电路，其特征在于，包括图像传感器、图像信号前处理器以及应用处理器，其中，

所述图像传感器与所述图像信号前处理器连接，用于按照配置的采集参数采集外部图像，并将所述外部图像传输给所述图像信号前处理器；所述图像传感器用于将单帧图像的每一行图像数据封装为一个图像数据包，并依次将每一图像数据包传输至所述图像信号前处理器；

所述图像信号前处理器与所述应用处理器连接，用于在接收到所述图像传感器传输的所述外部图像中单帧图像的首个图像数据包的包头时，传输指示信息至所述应用处理器；

所述应用处理器与所述图像传感器连接，用于根据所述指示信息更新所述图像传感器的采集参数，所述采集参数包括曝光参数，所述应用处理器收集到自动曝光控制所需的曝光统计信息，并采用配置的自动曝光控制算法计算出新的曝光参数。

2.根据权利要求1所述的图像处理电路，其特征在于，所述图像信号前处理器还用于提取所述单帧图像的基准参数，并对所述单帧图像进行前处理，得到前处理图像；以及

将所述基准参数和所述前处理图像传输至所述应用处理器；

所述应用处理器还用于根据所述基准参数对所述前处理图像进行后处理，得到后处理图像。

3.根据权利要求1所述的图像处理电路，其特征在于，所述图像处理电路还包括寄存器，所述寄存器与所述图像信号前处理器和所述应用处理器连接，所述图像信号前处理器用于：

将所述寄存器的预设标志位写为对应所述指示信息的预设值，使得所述应用处理器根据所述预设值获取到所述指示信息。

4.根据权利要求1所述的图像处理电路，其特征在于，所述图像信号前处理器包括第一图像信号处理单元和神经网络处理单元，所述第一图像信号处理单元用于：

提取所述单帧图像的基准参数，将所述基准参数传输至所述应用处理器；

对所述单帧图像进行优化处理，得到优化后的单帧图像；

所述神经网络处理单元用于对所述优化后的单帧图像进行前处理，得到前处理图像；

以及将所述前处理图像传输至所述应用处理器。

5.根据权利要求4所述的图像处理电路，其特征在于，所述图像信号前处理器还包括中控处理单元，所述第一图像信号处理单元还用于在传输所述指示信息至所述应用处理器时，同步发送所述指示信息至所述中控处理单元；

所述中控处理单元用于根据所述指示信息对所述神经网络处理单元的前处理进行控制。

6.根据权利要求4所述的图像处理电路，其特征在于，所述应用处理器包括应用处理单元和第二图像信号处理单元，其中，

所述第二图像信号处理单元用于根据所述基准参数对所述前处理图像进行后处理，得到后处理图像；

所述应用处理单元用于：

当所述后处理图像为动态图像时，预览所述后处理图像或者根据所述后处理图像进行视频编码；或者，

当所述后处理图像为静态图像时，根据所述后处理图像进行图像编码。

7.根据权利要求6所述的图像处理电路，其特征在于，所述图像信号前处理器还包括存储器，其中，

当所述前处理图像为动态图像时，所述第一图像信号处理单元用于将所述基准参数直接传输至所述第二图像信号处理单元；

当所述前处理图像为静态图像时，所述第一图像信号处理单元用于将所述基准参数写入所述存储器；

所述第二图像信号处理单元用于从所述存储器中提取所述基准参数。

8.一种电子设备，用于处理图像数据，其特征在于，所述电子设备包括如权利要求1-6任一项所述的图像处理电路。

9.一种图像处理方法，应用于图像处理电路，其特征在于，所述图像处理电路包括图像传感器、图像信号前处理器以及应用处理器，所述图像处理方法包括：

所述图像传感器按照配置的采集参数采集外部图像，并将所述外部图像传输给所述图像信号前处理器；所述图像传感器用于将单帧图像的每一行图像数据封装为一个图像数据包，并依次将每一图像数据包传输至所述图像信号前处理器；

所述图像信号前处理器在接收到所述图像传感器传输的所述外部图像中单帧图像的首个图像数据包的包头时，传输指示信息至所述应用处理器；

所述应用处理器根据所述指示信息更新所述图像传感器的采集参数，所述采集参数包括曝光参数，所述应用处理器收集到自动曝光控制所需的曝光统计信息，并采用配置的自动曝光控制算法计算出新的曝光参数。

10.根据权利要求9所述的图像处理方法，其特征在于，还包括：

所述图像信号前处理器提取所述单帧图像的基准参数，并对所述单帧图像进行前处理，得到前处理图像；以及

将所述基准参数和所述前处理图像传输至所述应用处理器；

所述应用处理器根据所述基准参数对所述前处理图像进行后处理，得到后处理图像。

11.根据权利要求10所述的图像处理方法，其特征在于，所述图像信号前处理器包括第一图像信号处理单元和神经网络处理单元，其中，

所述第一图像信号处理单元提取所述外部图像的基准参数；以及

对所述外部图像进行优化处理，得到优化后的外部图像；

所述神经网络处理单元对所述优化后的外部图像进行前处理，得到前处理图像；

所述第一图像信号处理单元将所述基准参数以及所述前处理图像传输至所述应用处理器。