CN112702588B - 双模态图像信号处理器和双模态图像信号处理*** - Google Patents

Abstract

本发明实施例公开了一种双模态图像信号处理器和双模态图像信号处理***，该双模态图像信号处理器包括：同步图像信号处理器，用于处理双模态图像信号中的同步信号；异步图像信号处理器，用于处理双模态图像信号中的异步信号；神经网络单元，用于根据神经网络算法处理同步图像信号处理器输出的同步信号和异步图像信号处理器输出的异步信号并输出。上述方案中的双模态图像信号处理器可以同时对双模态图像信号中的同步信号和异步信号进行处理，可以在高速拍摄图像时实现很高的信号保真度，同时可以实现高动态范围和高时间分辨率。而且，利用神经网络单元可以在保证低功耗的基础上，实时标记感兴趣区域等人工智能相关任务。

Description

双模态图像信号处理器和双模态图像信号处理***

技术领域

本发明实施例涉及图像传感技术领域，尤其涉及一种双模态图像信号处理器和双模态图像信号处理***。

背景技术

传统的图像信号处理器(Image Signal Processor，ISP)一般包括有源像素传感器(Active Pixel Sensor，APS)和动态视觉传感器(Dynamic Vision Sensor，DVS)。其中，有源像素传感器仅能实现以像素矩阵图像帧方式排列的彩色图像的处理，具有色彩还原度及图像质量高的优势，然而其获取的图像信号的动态范围较小，并且拍摄速度较慢。动态视觉传感器能够对动态场景进行感知，具有拍摄速度较快，且获取的图像信号的动态范围较大，然而这类传感器采集的图像质量较差，分辨率较低。传统的图像信号处理器无法同时对有源像素传感器信号和动态视觉感受器信号进行处理，并且，传统的图像信号处理器未集成片上神经网络，无法实现人工智能相关的图像处理任务。

现有技术中的智能图像信号处理器仅能够支持处理传统有源像素传感器采取的彩色图像，不能支持同时处理类似动态视觉传感器采取的具有稀疏事件的图像信息，进而无法充分利用基于事件的图像信号中的稀疏性、高速和高动态范围特性，从而无法保证图像的处理效果和图像的质量。此外，目前的智能图像信号处理器仅能够支持以卷积神经网络为代表的人工神经网络(Artificial Neural Network，ANN)，实现传统彩色图像的机器学习任务，但是彩色图像信息的数据量大，具有人工神经网络的智能图像信号处理器难以在保证图像处理效果和低功耗的同时提高彩色图像信息的帧率，进而无法实现高速且低功耗地处理图像信息。

发明内容

本发明提供一种双模态图像信号处理器和双模态图像信号处理***，以提高双模态图像信号处理器的时效性、时间分辨率以及降低功耗，实时标记感兴趣区域、目标识别等人工智能相关任务。

第一方面，本发明实施例提供了一种双模态图像信号处理器包括：

同步图像信号处理器，用于处理双模态图像信号中的同步信号；

异步图像信号处理器，用于处理双模态图像信号中的异步信号；

神经网络单元，用于根据神经网络算法处理同步图像信号处理器输出的同步信号和异步图像信号处理器输出的异步信号并输出。

进一步地，神经网络单元包括人工神经网络子单元和脉冲神经网络子单元；

人工神经网络子单元用于根据人工神经网络算法处理同步图像信号处理器输出的同步信号，脉冲神经网络子单元用于根据脉冲神经网络算法处理异步图像信号处理器输出的异步信号。

进一步地，神经网络单元还包括融合子单元，融合子单元用于融合人工神经网络子单元输出的同步信号和脉冲神经网络子单元输出的异步信号形成融合信号，并根据脉冲神经网络算法处理融合信号。

进一步地，异步图像信号处理器包括异步信号编码单元，异步信号编码单元用于对双模态图像信号中的异步信号进行编码。

进一步地，异步图像信号处理器还包括像素一致性校正单元，用于对双模态图像信号中的异步信号进行像素一致性校正后输出至异步信号编码单元。

进一步地，异步图像信号处理器还包括第一黑电平校正单元；

第一黑电平校正单元与像素一致性校正单元连接，用于对双模态图像信号中的异步信号进行黑电平校正后输出至像素一致性校正单元。

进一步地，同步图像信号处理器包括第二黑电平校正单元、颜色插值单元和颜色校正单元；

第二黑电平校正单元与颜色插值单元连接，用于对双模态图像信号中的同步信号进行黑电平校正后输出至颜色插值单元；

颜色插值单元与颜色校正单元连接，用于对黑电平校正后的同步信号进行颜色插值后输出至颜色校正单元；

颜色校正单元，用于对颜色插值后的同步信号进行颜色校正。

进一步地，双模态图像信号处理器还包括自动调整单元，自动调整单元用于调整同步图像信号处理器输出的同步信号和异步图像信号处理器输出的异步信号。

进一步地，自动调整单元包括自动白平衡子单元；

自动白平衡子单元与同步图像信号处理器和异步图像信号处理器连接，用于根据同步图像信号处理器输出的同步信号和异步图像信号处理器输出的异步信号进行自动白平衡处理。

进一步地，自动调整单元还包括自动曝光子单元；

自动曝光子单元与自动白平衡子单元连接，用于对自动白平衡后的双模态图像信号进行自动曝光调整；或与同步图像信号处理器和异步图像信号处理器连接，用于对同步图像信号处理器输出的同步信号和异步图像信号处理器输出的异步信号进行自动曝光调整。

进一步地，自动调整单元还包括自动对焦子单元；

自动对焦子单元与自动白平衡子单元连接，用于对自动白平衡后的双模态图像信号进行自动对焦调整；或与同步图像信号处理器和异步图像信号处理器连接，用于对同步图像信号处理器输出的同步信号和异步图像信号处理器输出的异步信号进行自动对焦调整。

进一步地，双模态图像信号处理器还包括宽动态范围和时空插值单元；宽动态范围和时空插值单元与自动调整单元连接，用于对自动调整单元输出的双模态图像信号进行动态范围调整以及时空插值处理，并输出处理后的双模态图像信号；其中，处理后的双模态图像信号包括同步信号和异步信号，或者为处理后的融合信号。

进一步地，双模态图像信号处理器还包括编码压缩单元和外部接口；编码压缩单元与宽动态范围和时空插值单元连接，用于对宽动态范围和时空插值单元输出的双模态图像信号进行编码压缩，并输出至外部接口。

进一步地，外部接口包括通用串行总线接口、以太网接口和高清多媒体接口中的至少一种。

进一步地，双模态图像信号处理器还包括控制单元和输入输出总线；

控制单元通过输入输出总线与同步图像信号处理器、异步图像信号处理器和神经网络单元连接，控制单元用于根据指令信息控制同步图像信号处理器、异步图像信号处理器和神经网络单元；控制单元还用于根据神经网络参数设置神经网络单元，神经网络单元通过输入输出总线输出处理后的双模态图像信号。

进一步地，双模态图像信号处理器还包括存储单元，存储单元用于缓存指令信息和神经网络参数；存储单元与控制单元连接，用于为控制单元提供指令信息和神经网络参数；存储单元还与输入输出总线连接，用于缓存神经网络单元输出的处理后的双模态图像信号。

进一步地，双模态图像信号处理器还包括移动产业处理器接口；移动产业处理器接口与输入输出总线连接，双模态图像信号通过移动产业处理器接口和输入输出总线传输至同步图像信号处理器和异步图像信号处理器。

进一步地，双模态图像信号处理器还包括自动调整单元，自动调整单元用于调整同步图像信号处理器输出的同步信号和异步图像信号处理器输出的异步信号；

控制单元还用于根据神经网络单元输出的双模态图像信号和自动调整单元输出的双模态图像信号调节图像传感器。

第二方面，本发明实施例还提供了一种双模态图像信号处理***，包括图像传感器和实现如第一方面中任一项的双模态图像信号处理器；图像传感器与双模态图像信号处理器连接，图像传感器用于获取双模态图像信号，同步图像信号处理器用于处理双模态图像信号中的同步信号，异步图像信号处理器用于处理双模态图像信号中的异步信号；神经网络单元用于根据神经网络算法处理同步图像信号处理器输出的同步信号和异步图像信号处理器输出的异步信号并输出。

本发明实施例的技术方案通过设置双模态图像信号处理器中的同步图像信号处理器和异步图像信号处理器同时对双模态图像信号中的同步信号和异步信号进行处理，不仅可以提高双模态图像信号处理器处理双模态图像信号的效率，还可以提高双模态图像信号处理的效率和实时性。而且，异步图像信号处理器在对异步信号进行处理时，可以充分利用异步信号的稀疏性，从而可以提高异步图像信号处理器输出的处理后的异步信号的动态范围和时间分辨率，使得通过双模态图像信号处理器处理的双模态图像信号不仅可以在高速拍摄图像时实现很高的信号保真度，同时可以实现高动态范围和高时间分辨率。此外，通过设置双模态图像信号处理器中的神经网络单元，利用不同的神经网络算法分别处理同步图像信号处理器输出的同步信号和异步图像信号处理器输出的异步信号，可以最大化地提取异步信号的稀疏性、高速和高动态范围特性以及同步信号的高空间分辨率，可以实现在保证低功耗的基础上，实时标记感兴趣区域(Region Of Interest，ROI)、目标识别等人工智能相关任务，有效地提高双模态图像信息的处理效率。

附图说明

图1为本发明实施例提供的一种双模态图像信号处理器的结构示意图；

图2为本发明实施例提供的另一种双模态图像信号处理器的结构示意图；

图3为本发明实施例提供的另一种双模态图像信号处理器的结构示意图；

图4为本发明实施例提供的另一种双模态图像信号处理器的结构示意图；

图5为本发明实施例提供的另一种双模态图像信号处理器的结构示意图；

图6为本发明实施例提供的另一种双模态图像信号处理器的结构示意图；

图7为本发明实施例提供的另一种双模态图像信号处理器的结构示意图；

图8为本发明实施例提供的另一种双模态图像信号处理器的结构示意图；

图9为本发明实施例提供的另一种双模态图像信号处理器的结构示意图；

图10为本发明实施例提供的另一种双模态图像信号处理器的结构示意图；

图11为本发明实施例提供的另一种双模态图像信号处理器的结构示意图；

图12为本发明实施例提供的另一种双模态图像信号处理器的结构示意图；

图13为本发明实施例提供的一种双模态图像信号处理***的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

图1为本发明实施例提供的一种双模态图像信号处理器的结构示意图。如图1所示，该双模态图像信号处理包括同步图像信号处理器110，用于处理双模态图像信号中的同步信号；异步图像信号处理器120，用于处理双模态图像信号中的异步信号；神经网络单元130，用于根据神经网络算法处理同步图像信号处理器110输出的同步信号和异步图像信号处理器120输出的异步信号并输出。

其中，双模态图像信号包括同步信号和异步信号。双模态图像信号处理器包括同步图像信号处理器110、异步图像信号处理器120和神经网络单元130。同步图像信号处理器110对双模态图像信号中的同步信号进行处理，可以充分利用同步信号中的低速、高分辨率的强度信息，即基于像素矩阵的图像帧，以提高同步图像信号处理器110输出的处理后的同步信号的图像质量。同时异步图像信号处理器120可以对双模态图像信号中的异步信号进行处理，可以充分利用异步信号中的高速、高动态低分辨率的光流视觉信息，即基于事件的图像信号，以提高异步图像信号处理器120输出的处理后的异步信号的动态范围和时间分辨率。神经网络单元130通过不同的神经网络算法分别同时处理同步图像信号处理器110输出的同步信号和异步图像信号处理器120输出的异步信号，可以充分利用同步图像信号处理器110输出的同步信号的高空间分辨率和异步图像信号处理器120输出的异步信号的稀疏、高速和高动态范围的特性，分别提取到同步信号的特征信息和异步信号的特征信息，进而可以提高双模态图像信号的处理效率，实现实时输出感兴趣区域信息。由此可知，通过设置双模态图像信号处理器中的同步图像信号处理器110和异步图像信号处理器120同时对双模态图像信号中的同步信号和异步信号进行处理，不仅可以提高双模态图像信号处理器处理双模态图像信号的效率，进而提高双模态图像信号处理的效率和实时性。而且，异步图像信号处理器120在对异步信号进行处理时，可以充分利用异步信号的稀疏性，从而可以提高异步图像信号处理器120输出的处理后的异步信号的动态范围和时间分辨率，使得通过双模态图像信号处理器处理的双模态图像信号不仅可以在高速拍摄图像时实现很高的信号保真度，同时可以实现高动态范围和高时间分辨率。此外，通过设置双模态图像信号处理器中的神经网络单元130，利用不同的神经网络算法分别同时处理同步图像信号处理器110输出的同步信号和异步图像信号处理器120输出的异步信号，可以最大化地提取异步信号的稀疏性、高速和高动态范围特性以及同步信号的高空间分辨率，可以实现在保证低功耗的基础上，实时标记感兴趣区域(Region Of Interest，ROI)、目标识别等人工智能相关任务，有效地提高双模态图像信号的处理效率。

图2为本发明实施例提供的另一种双模态图像信号处理器的结构示意图。如图2所示，神经网络单元130包括人工神经网络子单元131和脉冲神经网络子单元132；人工神经网络子单元131用于根据人工神经网络算法处理同步图像信号处理器110输出的同步信号，脉冲神经网络子单元132用于根据脉冲神经网络算法处理异步图像信号处理器120输出的异步信号。

其中，人工神经网络子单元131可以根据人工神经网络算法处理同步图像信号处理器110输出的同步信号。人工神经网络子单元131可以提取同步信号的高空间分辨率特征并输出处理后的同步信号。该处理后的同步信号为感兴趣区域信号，可以实现感兴趣区域(ROI)标记，目标识别、图像分类等任务。脉冲神经网络子单元132可以根据脉冲神经网络算法处理异步图像信号处理器120输出的异步信号。脉冲神经网络子单元132可以提取异步信号的稀疏性和离散性并输出处理后的异步信号，该处理后的异步信号可以提升对图像信号的处理效率和能量效率，使双模态图像信号处理器可以完成低功耗且高速计算的任务。

图3为本发明实施例提供的另一种双模态图像信号处理器的结构示意图。如图3所示，神经网络单元130还包括融合子单元133，融合子单元133用于融合人工神经网络子单元131输出的同步信号和脉冲神经网络子单元132输出的异步信号形成融合信号，并根据脉冲神经网络算法处理融合信号。

其中，融合子单元133可以获取人工神经网络子单元131输出的同步信号和脉冲神经网络子单元132输出的异步信号，融合子单元133分别获取经过人工神经网络子单元131提取的同步信号的特征信息和经过脉冲神经网络子单元132提取的异步信号的特征信息，并将经过人工神经网络子单元131提取的同步信号的特征信息以合并的方式加入到经过脉冲神经网络子单元132提取的异步信号的特征信息中，从而完成经过人工神经网络子单元131处理后的同步信号和经过脉冲神经网络子单元132处理后的异步信号的融合，形成融合信号。然后根据脉冲神经网络算法处理同步信号的特征信息与异步信号的特征信息形成的融合信号，利用融合信号的组合信息获取光流结果并输出处理后的融合信号。融合子单元133输出的处理后的融合信号可以使双模态图像信号处理器在保证低功耗的基础上，完成实时标记感兴趣区域(Region Of Interest，ROI)、目标识别等人工智能相关任务，有效地提高图片的质量和处理效率。

图4为本发明实施例提供的另一种双模态图像信号处理器的结构示意图。如图4所示，异步图像信号处理器120包括异步信号编码单元124，异步信号编码单元124用于对双模态图像信号中的异步信号进行编码。

其中，异步信号编码单元124用于对双模态图像信号中的异步信号进行编码，即对灰度梯度图像信号进行大幅度压缩，然后将其编码为异步模式，形成地址形式事件信号。地址形式事件信号具体可以为(X，Y，P，T)，其中，“X，Y”为事件地址，例如“X，Y”可体现灰度梯度图像信号中的像素点位置，“P”为4值事件输出，例如“P”可体现该像素点位置的灰度变化量，“T”为事件产生的时间，例如拍摄时间。由此可知，地址形式事件信号中的信息包括事件地址、事件输出和事件产生的时间等特征信息。地址形式事件信号的特征信息可以充分利用异步信号中的离散性和稀疏性，提高了处理后的异步信号的动态范围和时间分辨率，从而可以使双模态图像信号处理器在高速拍摄图像时实现很高的信号保真度，而且同时可以实现高动态范围和高时间分辨率。

需要说明的是，上述过程中地址形式事件信号仅是一种示例，在其他实施例中，地址形式事件信号还可以为(X，Y，P)形式，或者为(X，Y，P，ΔT)形式，或者为(X，Y，ΔP，T)形式，或者为(X，Y，ΔP，ΔT)形式。其中，ΔP为两个4值事件输出的变化量，ΔT为两个事件产生的时间的变化量。

可选地，继续参考图4，异步图像信号处理器120还包括像素一致性校正单元123，用于对双模态图像信号中的异步信号进行像素一致性校正后输出至异步信号编码单元124。

其中，像素一致性校正单元123可以与异步信号编码单元124连接，在异步信号编码单元124对双模态图像信号中的异步信号进行编码之前，像素一致性校正单元123先对双模态图像信号中的异步信号进行像素一致性校正，减小异步信号中因像素原因导致的异步信号的差值，降低了像素本身因素对异步信号的影响。然后经过像素一致性校正后的异步信号再通过异步信号编码单元124进行编码，可以提高异步信号编码单元124的编码准确性。

可选地，继续参考图4，异步图像信号处理器120还包括第一黑电平校正单元122；第一黑电平校正单元122与像素一致性校正单元123连接，用于对双模态图像信号中的异步信号进行黑电平校正后输出至像素一致性校正单元123。

其中，黑电平是指在经过一定校准的显示面板上，没有一行光亮输出的视频信号电平。黑电平校正的主要原理是先检测出亮度信号中的“浅黑”部分的电平，并把该电平与消隐电平相比较，如果没有达到消隐电平，则向黑电平方向扩展；如果已达到消隐电平，就停止扩展，即不超过消隐电平。这样就使原来的“浅黑”变成了“深黑”，黑电平扩展只是改变亮度信号内的“浅黑”电平，而白电平、亮度/色度信号比均未改变，从而消除了图像的模糊感觉，提高了图像的对比度。由此可知，第一黑电平校正单元122用于对双模态图像信号中的异步信号中的图像亮度进行调整，使图像去除模糊的阴影，变得更加清晰，提高了图像的对比度。然后将第一黑电平校正单元122消除模糊特征的异步信号输出至像素一致性校正单元123进行像素一致性校正，进一步地提高异步信号的准确度。

图5为本发明实施例提供的另一种双模态图像信号处理器的结构示意图。如图5所示，同步图像信号处理器110包括第二黑电平校正单元112、颜色插值单元113和颜色校正单元114；第二黑电平校正单元112与颜色插值单元113连接，用于对双模态图像信号中的同步信号进行黑电平校正后输出至颜色插值单元113；颜色插值单元113与颜色校正单元114连接，用于对黑电平校正后的同步信号进行颜色插值后输出至颜色校正单元114；颜色校正单元114，用于对颜色插值后的同步信号进行颜色校正。

其中，第二黑电平校正单元112用于对双模态图像信号中的同步信号中的图像亮度进行调整，使图像去除模糊的阴影，变得更加清晰，提高了图像的对比度。另外，由于经过滤色板的作用之后，每个像素点只能感应到一种颜色，所以需要复原该像素点其它两个通道的信息，寻找该点另外两个通道的值。由于图像是连续变化的，因此一个像素点的R、G、B的值应该是与周围的像素点相联系的，因此可以利用其周围像素点的值来获得该点其它两个通道的值，从而补全全彩色图像，得到更全面的彩色图像信息。因此，颜色插值单元113可以根据周围的采样点计算出每个像素所缺失的另外两种颜色分量，从而可以得到全彩色的同步信号，提高同步信号还原图像色彩的精度，进而获得具有较高质量的图像。颜色校正单元114就是校正图像的偏色，又称为校色，其是一种光学概念的三基色RGB与三补色CMY的互补纠色过程，可以确保同步信号的色彩能够被较为精确地再现出拍摄现场人眼看到的情况，使我们能够得到更好、更精确的效果图。

双模态图像信号中的同步信号通过第二黑电平校正单元112后对同步信号中的亮度信号中的“浅黑”部分的电平与消隐电平作比较，进行黑电平矫正，去除图像模糊阴影。然后经过第二黑电平校正单元112处理后的同步信号传输给颜色插值单元113，来复原像素点缺失的颜色信息，得到补全图像的色彩信息。最后经过颜色插值单元113处理后的同步信号传输给颜色校正单元114，来校正图像的偏色，来确保图像的色彩能够被较为精确地再现出拍摄现场人眼看到的情况。由此可知，双模态图像信号中的同步信号经过第二黑电平校正单元112、颜色插值单元113和颜色校正单元114处理后，可以得到效果更好、色彩更精确的同步信号。

图6为本发明实施例提供的另一种双模态图像信号处理器的结构示意图。如图6所示，双模态图像信号处理器还包括自动调整单元140，自动调整单元140用于调整同步图像信号处理器110输出的同步信号和异步图像信号处理器120输出的异步信号。

其中，在进行神经网络单元130对同步图像信号处理器110输出的同步信号和异步图像信号处理器120输出的异步信号处理之前，需要自动调整单元140对同步图像信号处理器110输出的同步信号和异步图像信号处理器120输出的异步信号进行自动调整。自动调整单元140与同步图像信号处理器110和异步图像信号处理器120连接，自动调整单元140可以获取同步图像信号处理器110输出的同步信号以及异步图像信号处理器120输出的异步信号，根据获取同步信号中的特征信息及异步信号中的特征信息，对同步图像信号处理器110输出的同步信号进行调整并输出调整后的同步信号；以及对异步图像信号处理器120输出的异步信号进行调整并输出调整后的异步信号；由此自动调整单元140可以同时输出具有全部色彩信息特征的同步信号和具有全部灰度梯度信息特征的异步信号，实现对同步信号和异步信号的自动调整。

此外，自动调整单元140自动调整单元140还可以将获取的异步信号的特征信息以合并的方式加入到同步信号的特征信息中，实现同步信号和异步信号的融合，形成融合信号。自动调整单元140根据融合信号的组合特征对同步信号和异步信号的融合信号进行调整并输出融合信号。由于融合信号中既包括同步信号的特征信息，也包括异步信号的特征信息，因此通过融合信号显示图像时，可以使得图像既可以利用同步信号中基于像素矩阵的图像帧，提高图像的质量，同时可以利用异步信号中基于事件的图像信号，提高图像的动态范围和时间分辨率，使得图像具有很高的信号保真度。

图7为本发明实施例提供的另一种双模态图像信号处理器的结构示意图。如图7所示，自动调整单元140包括自动白平衡子单元141；自动白平衡子单元141与同步图像信号处理器110和异步图像信号处理器120连接，用于根据同步图像信号处理器110输出的同步信号和异步图像信号处理器120输出的异步信号进行自动白平衡处理。

其中，自动白平衡子单元141与同步图像信号处理器110和异步图像信号处理器120连接，可以同时获取同步信号和异步信号。自动白平衡子单元141可以对获取的同步信号和异步信号进行自动白平衡调整并输出调整后的同步信号和调整后的异步信号。在自动白平衡调整过程中，自动白平衡子单元141根据其镜头和白平衡感测器的光线情况，自动探测出被摄物体的色温值，以此判断摄像条件，并选择最接近的色调设置，由色温校正电路加以校正，白平衡自动控制电路自动将白平衡调到合适的位置。其中，白平衡指的是“不管在任何光源下，都能将白色物体还原为白色”，对在特定光源下拍摄时出现的偏色现象，通过加强对应的补色来进行补偿。例如：相机的白平衡设定可以校准色温的偏差，在拍摄时我们可以大胆地调整白平衡来达到想要的画面效果。自动白平衡子单元141可以根据同步信号和异步图像信号进行纠正色温，还原被拍主体的色彩，使在不同光源条件下或不同动态内拍摄的画面同人眼观看的画面色彩相近。还可以通过控制色温，获得色彩效果迥异的图像。

可选地，图8为本发明实施例提供的另一种双模态图像信号处理器的结构示意图。如图8所示，自动白平衡子单元141还可以对同时获取的同步信号和异步信号进行融合。自动白平衡子单元141可以分别获取同步信号中的特征信息以及异步信号中的特征信息，并将异步信号的特征信息以合并的方式加入到同步信号的特征信息中，从而完成同步信号和异步信号的融合，形成融合信号。然后自动白平衡子单元141对融合信号进行自动白平衡调整。自动白平衡子单元141可以根据融合信号进行纠正色温，还原被拍主体的色彩，使在不同光源条件下或不同动态内拍摄的画面同人眼观看的画面色彩相近。还可以通过控制色温，获得色彩效果迥异的图像。

可选地，继续参考图8，自动调整单元140还包括自动曝光子单元142；自动曝光子单元142与自动白平衡子单元141连接，用于对自动白平衡后的双模态图像信号进行自动曝光调整；

其中，曝光的物理含意是指光线使感光层面(涂了感光化学物)产生潜影。曝光后的工序是化学显影，显影使潜影显现并固化。图像的好坏与曝光有关，也就是说应该通多少的光线使感光元件能够得到清晰的图像。自动曝光是根据测光***所测得的图像的曝光值，按照生产时所设定的快门及光圈曝光组合，自动地设定快门速度和光圈值。自动曝光子单元142与自动白平衡子单元140连接，可以将经过自动白平衡后输出的融合信号进行自动曝光调整，可以使画面的色彩显得更艳丽，并且带有明显方向性的光线可以很好地提升画面的质感。

另外，在其他实施例中，当自动白平衡子单元141分别对同步信号和异步信号进行白平衡时，自动曝光子单元142与同步图像信号处理器110和异步图像信号处理器120连接，用于对同步图像信号处理器110输出的同步信号和异步图像信号处理器120输出的异步信号进行自动曝光调整。示例性地，如图7所示，自动曝光子单元142直接与同步图像信号处理器110和异步图像信号处理器120连接，可以同步获取同步图像信号处理器110输出的同步信号以及异步图像信号处理器120输出的异步信号，同时对同步信号和异步信号进行自动曝光调整，并输出经过自动曝光子单元142自动曝光调整后的同步信号和异步信号，使图像画面的色彩显得更艳丽，并且带有明显方向性的光线可以很好地提升画面的质感。

可选地，继续参考图8，自动调整单元140还包括自动对焦子单元143；自动对焦子单元143与自动白平衡子单元141连接，用于对自动白平衡后的双模态图像信号进行自动对焦调整；

其中，自动对焦是利用物体光反射的原理，根据被摄体的反射确定被摄体的距离，然后根据测得的结果调整镜头组合，实现自动对焦。这种自动对焦方式具有速度快、容易实现以及成本低的特点。自动对焦子单元143与自动白平衡子单元141连接，将自动白平衡后的融合信号进行自动对焦调整，可以使图像更加清晰。

同理，在其他实施例中，当自动白平衡子单元141分别对同步信号和异步信号进行白平衡时，自动对焦子单元143与同步图像信号处理器110和异步图像信号处理器120连接，用于对同步图像信号处理器110输出的同步信号和异步图像信号处理器120输出的异步信号进行自动对焦调整。示例性地，如图7所示，自动对焦子单元143与同步图像信号处理器110和异步图像信号处理器120连接，可以直接获取同步图像信号处理器110输出的同步信号以及异步图像信号处理器120输出的异步信号，同时对同步信号和异步信号进行自动对焦调整并输出自动对焦后的同步信号和异步信号，可以使图像更加清晰。

图9为本发明实施例提供的另一种双模态图像信号处理器的结构示意图。如图9所示，双模态图像信号处理器还包括宽动态范围和时空插值单元150；宽动态范围和时空插值单元150与自动调整单元140连接，用于对自动调整单元140输出的双模态图像信号进行动态范围调整以及时空插值处理，并输出处理后的双模态图像信号；其中，处理后的双模态图像信号包括同步信号和异步信号，或者为处理后的融合信号。

其中，在进行神经网络单元130对同步图像信号处理器110输出的同步信号和异步图像信号处理器120输出的异步信号处理之前，宽动态范围和时空插值单元150对自动调整单元140输出的处理后的双模态图像信号进行动态范围调整以及时空插值处理。高动态范围(High-Dynamic Range，简称HDR)，又称宽动态范围技术，是在非常强烈的对比下让摄像机看到影像的特色而运用的一种技术。“动态范围”是指摄像机对拍摄场景中景物光照反射的适应能力，具体指亮度(反差)及色温(反差)的变化范围。由于数据缺失会降低时空数据的完整性，所以时空插值被广泛应用于缺失时空数据集的插值与估计。宽动态范围和时空插值单元150与自动调整单元140连接，用于对自动调整单元140输出的调整后的双模态图像信号进行动态范围调整以及时空插值处理，来获得更多动态范围和图像细节，更高的时间分辨率，反映出更真实的视觉效果。

另外，宽动态范围和时空插值单元150可以输出融合信号，也可以同时分别输出同步信号和异步信号。当宽动态范围和时空插值单元150输出融合信号时，可以直接输出具有高保真度、高动态范围和高时间分辨率的图像信号。当宽动态范围和时空插值单元150同时分别输出同步信号和异步信号时，可以对自动调整单元140输出的融合信号进行分解，形成处理后的同步信号和异步信号，使得同步信号为具有高精度还原图像色彩的图像信号，异步信号为具有高动态范围和高时间分辨率的图像信号。

图10为本发明实施例提供的另一种双模态图像信号处理器的结构示意图。如图10所示，双模态图像信号处理器还包括编码压缩单元160和外部接口170；编码压缩单元160与宽动态范围和时空插值单元150连接，用于对宽动态范围和时空插值单元150输出的双模态图像信号进行编码压缩，并输出至外部接口170。

其中，编码压缩单元160与宽动态范围和时空插值单元150连接，可以对宽动态范围和时空插值单元150输出的双模态图像信号进行编码压缩，消除双模态图像信号中的大量冗余信息，用尽可能少的字节数来表示原始数据，输出至外部接口170来提高图像传输的效率。外部接口170是双模态图像信号处理器与外部设备进行信号传输的桥梁，用于与外部设备进行信息交互的输入输出口。外部设备可以通过与外部接口170连接，获取双模态图像信号处理器处理的双模态图像信号。另外，双模态图像信号可以为融合信号或同步信号和异步信号。

可选地，外部接口包括通用串行总线接口、以太网接口和高清多媒体接口中的至少一种。

其中，通用串行总线(Universal Serial Bus，USB)接口是连接计算机***与外部设备的一种串口总线标准，也是一种输入输出接口的技术规范，被广泛地应用于通讯设备间进行信息传输。以太网接口就是网络数据连接的端口，以太网协议定义了一系列软件和硬件标准，从而通过以太网接口将不同的通讯设备连接在一起，进行信息传输。高清多媒体接口(High Definition Multimedia Interface，HDMI)是一种全数字化视频和声音发送接口，可以发送未压缩的音频及视频信号，可以同时发送音频和视频信号，由于音频和视频信号采用同一条线材，大大简化***线路的安装难度。

需要说明的是，上述外部接口类型仅是示例出了外部接口的类型，在具体的实施中，外部接口需要根据信息传输要求进行选择设置。

图11为本发明实施例提供的另一种双模态图像信号处理器的结构示意图。如图11所示，双模态图像信号处理器还包括控制单元180和输入输出总线190；控制单元180通过输入输出总线190与同步图像信号处理器110、异步图像信号处理器120和神经网络单元130连接，控制单元180用于根据指令信息控制同步图像信号处理器110、异步图像信号处理器120和神经网络单元130；控制单元180还用于根据神经网络参数设置神经网络单元130，神经网络单元130通过输入输出总线190输出处理后的双模态图像信号。

其中，控制单元180主要负责程序的流程管理，是整个双模态图像信号处理器的指挥控制中心，对协调整个设备有序工作极为重要。此外，控制单元180还用于处理双模态图像信号处理器的反馈控制信息，可以根据自动调整单元140和神经网络单元130处理后的双模态图像信号形成的控制信号，反馈至同步图像信号处理器和异步图像信号处理器。输入输出总线190是整个双模态图像信号处理器各种功能部件之间传送信息的公共通信干线。例如：控制单元180通过输入输出总线190与同步图像传感器信号处理器110、异步图像信号处理器传感器120和神经网络单元130连接，可知控制单元180、同步图像传感器信号处理器110、异步图像信号处理器传感器120和神经网络单元130之间需要通过输入输出总线190实现信息传输交互。控制单元180发送指令信息通过输入输出总线190分别传输给同步图像信号处理器110、异步图像信号处理器120和神经网络单元130，从而控制同步图像信号处理器110、异步图像信号处理器120和神经网络单元130响应并执行指令内容。此外，控制单元180还可以根据神经网络参数设置神经网络单元130，使神经网络单元130根据预设参数处理双模态图像信号，实现在保证低功耗的基础上，可以高速地完成实时标记感兴趣区域(RegionOf Interest，ROI)、目标识别等人工智能相关任务，然后通过输入输出总线190输出处理后的双模态图像信号。由此，控制单元180在整个双模态图像信号处理器相当于整个***的大脑，可以给各个功能模块下达指令，协调控制整个***的快速平稳的作业。然而，输入输出总线190相当于整个***的主动脉，可以给各个功能模块快速的输送信息，实现信息的及时传递，保证***有条不紊的处理信息。

可选地，继续参考图11，双模态图像信号处理器还包括存储单元200，存储单元200用于缓存指令信息和神经网络参数；存储单元200与控制单元180连接，用于为控制单元180提供指令信息和神经网络参数；存储单元200还与输入输出总线190连接，用于缓存神经网络单元130输出的处理后的双模态图像信号。

其中，存储单元200用于缓存双模态图像信号处理器里的数据信息。例如：缓存控制单元180的指令信息、神经网络参数、双模态图像信号等数据信息。存储单元200与控制单元180连接，可以将存储单元200内缓存的指令信息和神经网络参数传输给控制单元180，由控制单元180分配好各个指令信息和神经网络参数需要传输给的功能模块。此外，存储单元200还可以接收数据信息，例如：存储单元200还与输入输出总线190连接，可以接收通过输入输出总线190传输过来的神经网络单元130处理后的双模态图像信号，并按照一定的存储方式将神经网络单元130处理后的双模态图像信号缓存在存储单元200内。

可选地，继续参考图11，双模态图像信号处理器还包括移动产业处理器接口210；移动产业处理器接口210与输入输出总线190连接，双模态图像信号通过移动产业处理器接口210和输入输出总线190传输至同步图像信号处理器110和异步图像信号处理器120。

其中，移动产业处理器接口210(Mobile Industry Processor Interface，MIPI)是MIPI联盟发起的为移动应用处理器制定的开放标准，专门在高速(数据传输)模式下采用低振幅信号摆幅。把移动设备内部的接口如摄像头、显示屏、基带、射频接口等标准化可以增加设计灵活性，同时降低成本、设计复杂度和功耗。由于移动产业处理器接口210、同步图像信号处理器110和异步图像信号处理器120均与输入输出总线190连接，进而移动产业处理器接口210可以将双模态图像信号通过输入输出总线190快速地传输至同步图像信号处理器110和异步图像信号处理器120，可以有效地提高信息传输速率。

图12为本发明实施例提供的另一种双模态图像信号处理器的结构示意图。如图12所示，双模态图像信号处理器还包括自动调整单元140，自动调整单元140用于调整同步图像信号处理器110输出的同步信号和异步图像信号处理器120输出的异步信号；控制单元180还用于根据神经网络单元130输出的双模态图像信号和自动调整单元140输出的双模态图像信号调节图像传感器。

其中，图像传感器为获取图像信号的传感器。图像传感器可以为双模态图像传感器，即图像传感器包括视锥细胞电路和视杆细胞电路；视锥细胞电路用于采集图像色彩信号，形成双模态图像信号中的同步信号，视杆细胞电路用于采集灰度梯度图像信号，形成双模态图像信号中的异步信号。图像传感器还可以由两个独立存在的子传感器组成，其中一个子传感器包括视锥细胞电路，用于采集图像色彩信号，形成双模态图像信号中的同步信号。另外一个子传感器包括视杆细胞电路，用于采集灰度梯度图像信号，形成双模态图像信号中的异步信号。控制单元180可以根据自动调整单元140输出的双模态图像信号调节图像传感器。自动调整单元140输出的双模态图像信号可以为同步信号和异步信号的融合信号，该融合信号可以包括经过自动曝光子单元142输出的自动曝光调整后的融合信号，还可以包括经过自动对焦子单元143输出的自动对焦调整后的融合信号。自动调整单元140输出的双模态图像信号可以为同步信号和异步信号的融合信号，可以包括经过自动曝光子单元142输出的自动曝光调整后的融合信号，还可以包括经过自动对焦子单元143输出的自动对焦调整后的融合信号。控制单元180控制自动曝光调整后的融合信号和自动对焦调整后的融合信号形成控制图像传感器的曝光参数和对焦参数的控制信号，并反馈至图像传感器，用于根据设定的曝光参数和对焦参数控制图像传感器的曝光时间和焦距。或者，控制单元180控制自动曝光调整后的同步信号和异步信号，和自动对焦调整后的同步信号和异步信号形成控制图像传感器的曝光参数和对焦参数的控制信号，并反馈至图像传感器，用于根据设定的曝光参数和对焦参数控制图像传感器的曝光时间和焦距。控制单元180可以根据神经网络单元130输出的双模态图像信号调节图像传感器。神经网络单元130输出的双模态图像信号可以为同步信号和异步信号的融合信号，该融合信号可以包括经过人工神经网络子单元131输出的提取高空间分辨率、稀疏性、和高动态范围特性特征后的融合信号。神经网络单元130输出的双模态图像信号还可以为提取高空间分辨率特征的同步信号和提取稀疏性、高动态范围特性的异步信号。控制单元180控制提取特征后的融合信号/同步信号和异步信号形成控制图像传感器的人工神经网络参数和脉冲神经网络参数的控制信号，并反馈至图像传感器，用于根据设定的人工神经网络参数和脉冲神经网络参数控制图像传感器的人工神经网络对同步信号的特征提取和脉冲神经网络对异步信号的特征提取。

图13为本发明实施例提供的另一种双模态图像信号处理***的结构示意图。如图13所示，本发明实施例还提供一种双模态图像信号处理***包括图像传感器300和实现上述实施例中任一项的双模态图像信号处理器；图像传感器300与双模态图像信号处理器连接，图像传感器用于获取双模态图像信号，同步图像信号处理器110用于处理双模态图像信号中的同步信号，异步图像信号处理器120用于处理双模态图像信号中的异步信号；神经网络单元130用于根据神经网络算法处理同步图像信号处理器110输出的同步信号和异步图像信号处理器120输出的异步信号并输出。

其中，图像传感器300可以为双模态图像传感器，双模态图像传感器同时包括视锥细胞电路和视杆细胞电路。视锥细胞电路用于采集图像色彩信号，视杆细胞电路用于采集灰度梯度图像信号，使得双模态图像传感器可以同时输出具有全部色彩信息的同步信号和具有全部灰度梯度信息的异步信号。或者，图像传感器300可以为有源像素传感器(ActivePixel Sensor，APS)和动态视觉传感器(Dynamic Vision Sensor，DVS)组合形成的传感器，APS包括视锥细胞电路，可以输出具有全部色彩信息的同步信号，DVS包括视杆细胞电路，可以输出具有全部灰度梯度信息的异步信号。APS和DVS组合输出具有全部色彩信息的同步信号和具有全部灰度梯度信息的异步信号。

双模态图像信号处理***包括图像传感器和本发明任意实施例提供的双模态图像信号处理器，因此具有本发明实施例提供的图像传感器和双模态图像信号处理器的有益效果，此处不再赘述。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (19)

1.一种双模态图像信号处理器，其特征在于，包括：

同步图像信号处理器，用于处理双模态图像信号中具备高空间分辨率的同步信号；

异步图像信号处理器，用于处理所述双模态图像信号中具备稀疏、高速和高动态范围特性的异步信号；

神经网络单元，用于根据不同的神经网络算法分别同时处理所述同步图像信号处理器输出的同步信号和所述异步图像信号处理器输出的异步信号并输出。

2.根据权利要求1所述的双模态图像信号处理器，其特征在于，所述神经网络单元包括人工神经网络子单元和脉冲神经网络子单元；

所述人工神经网络子单元用于根据人工神经网络算法处理所述同步图像信号处理器输出的同步信号，所述脉冲神经网络子单元用于根据脉冲神经网络算法处理所述异步图像信号处理器输出的异步信号。

3.根据权利要求2所述的双模态图像信号处理器，其特征在于，所述神经网络单元还包括融合子单元，所述融合子单元用于融合所述人工神经网络子单元输出的同步信号和所述脉冲神经网络子单元输出的异步信号形成融合信号，并根据所述脉冲神经网络算法处理所述融合信号。

4.根据权利要求1所述的双模态图像信号处理器，其特征在于，所述异步图像信号处理器包括异步信号编码单元，所述异步信号编码单元用于对所述双模态图像信号中的异步信号进行编码。

5.根据权利要求4所述的双模态图像信号处理器，其特征在于，所述异步图像信号处理器还包括像素一致性校正单元，用于对所述双模态图像信号中的异步信号进行像素一致性校正后输出至所述异步信号编码单元。

6.根据权利要求5所述的双模态图像信号处理器，其特征在于，所述异步图像信号处理器还包括第一黑电平校正单元；

所述第一黑电平校正单元与所述像素一致性校正单元连接，用于对所述双模态图像信号中的异步信号进行黑电平校正后输出至所述像素一致性校正单元。

7.根据权利要求1-6任一项所述的双模态图像信号处理器，其特征在于，所述同步图像信号处理器包括第二黑电平校正单元、颜色插值单元和颜色校正单元；

所述第二黑电平校正单元与所述颜色插值单元连接，用于对所述双模态图像信号中的同步信号进行黑电平校正后输出至所述颜色插值单元；

所述颜色插值单元与所述颜色校正单元连接，用于对黑电平校正后的同步信号进行颜色插值后输出至所述颜色校正单元；

所述颜色校正单元，用于对颜色插值后的同步信号进行颜色校正。

8.根据权利要求7所述的双模态图像信号处理器，其特征在于，还包括自动调整单元，所述自动调整单元用于调整所述同步图像信号处理器输出的同步信号和所述异步图像信号处理器输出的异步信号。

9.根据权利要求8所述的双模态图像信号处理器，其特征在于，所述自动调整单元包括自动白平衡子单元；

所述自动白平衡子单元与所述同步图像信号处理器和所述异步图像信号处理器连接，用于根据所述同步图像信号处理器输出的同步信号和所述异步图像信号处理器输出的异步信号进行自动白平衡处理。

10.根据权利要求9所述的双模态图像信号处理器，其特征在于，所述自动调整单元还包括自动曝光子单元；

所述自动曝光子单元与所述自动白平衡子单元连接，用于对自动白平衡后的双模态图像信号进行自动曝光调整；或与所述同步图像信号处理器和所述异步图像信号处理器连接，用于对所述同步图像信号处理器输出的同步信号和所述异步图像信号处理器输出的异步信号进行自动曝光调整。

11.根据权利要求9所述的双模态图像信号处理器，其特征在于，所述自动调整单元还包括自动对焦子单元；

所述自动对焦子单元与所述自动白平衡子单元连接，用于对自动白平衡后的双模态图像信号进行自动对焦调整；或与所述同步图像信号处理器和所述异步图像信号处理器连接，用于对所述同步图像信号处理器输出的同步信号和所述异步图像信号处理器输出的异步信号进行自动对焦调整。

12.根据权利要求8所述的双模态图像信号处理器，其特征在于，还包括宽动态范围和时空插值单元；所述宽动态范围和时空插值单元与所述自动调整单元连接，用于对所述自动调整单元输出的双模态图像信号进行动态范围调整以及时空插值处理，并输出处理后的双模态图像信号；其中，处理后的双模态图像信号包括同步信号和异步信号，或者为处理后的融合信号。

13.根据权利要求12所述的双模态图像信号处理器，其特征在于，还包括编码压缩单元和外部接口；所述编码压缩单元与所述宽动态范围和时空插值单元连接，用于对所述宽动态范围和时空插值单元输出的双模态图像信号进行编码压缩，并输出至所述外部接口。

14.根据权利要求13所述的双模态图像信号处理器，其特征在于，所述外部接口包括通用串行总线接口、以太网接口和高清多媒体接口中的至少一种。

15.根据权利要求1所述的双模态图像信号处理器，其特征在于，还包括控制单元和输入输出总线；

所述控制单元通过所述输入输出总线与所述同步图像信号处理器、所述异步图像信号处理器和所述神经网络单元连接，所述控制单元用于根据指令信息控制所述同步图像信号处理器、所述异步图像信号处理器和所述神经网络单元；所述控制单元还用于根据神经网络参数设置所述神经网络单元，所述神经网络单元通过所述输入输出总线输出处理后的双模态图像信号。

16.根据权利要求15所述的双模态图像信号处理器，其特征在于，还包括存储单元，所述存储单元用于缓存指令信息和所述神经网络参数；所述存储单元与所述控制单元连接，用于为所述控制单元提供所述指令信息和所述神经网络参数；所述存储单元还与所述输入输出总线连接，用于缓存所述神经网络单元输出的处理后的双模态图像信号。

17.根据权利要求15所述的双模态图像信号处理器，其特征在于，还包括移动产业处理器接口；所述移动产业处理器接口与所述输入输出总线连接，所述双模态图像信号通过所述移动产业处理器接口和所述输入输出总线传输至所述同步图像信号处理器和所述异步图像信号处理器。

18.根据权利要求15所述的双模态图像信号处理器，其特征在于，还包括自动调整单元，所述自动调整单元用于调整所述同步图像信号处理器输出的同步信号和所述异步图像信号处理器输出的异步信号；

所述控制单元还用于根据所述神经网络单元输出的双模态图像信号和所述自动调整单元输出的双模态图像信号调节图像传感器。

19.一种双模态图像信号处理***，其特征在于，包括图像传感器和权利要求1-18任一项所述的双模态图像信号处理器；所述图像传感器与所述双模态图像信号处理器连接，所述图像传感器用于获取所述双模态图像信号，所述同步图像信号处理器用于处理所述双模态图像信号中具备高空间分辨率的同步信号，所述异步图像信号处理器用于处理所述双模态图像信号中具备稀疏、高速和高动态范围特性的异步信号；所述神经网络单元用于根据不同的神经网络算法分别同时处理所述同步图像信号处理器输出的同步信号和所述异步图像信号处理器输出的异步信号并输出。

Images