CN113727079A - 一种图像信号处理方法及装置、电子设备 - Google Patents

Abstract

本申请的实施例提供一种图像信号处理方法及装置、电子设备。涉及图像处理领域，能够保证动态视觉信息与图像灰度信号的同步。应用于图像传感器，图像传感器包括多个像素组，每个像素组中包含至少两个子像素，每个子像素包含一个感光电路，该方法包括：在一帧图像的曝光时长中的任一时间段，获取图像传感器的像素组中子像素发出的电信号；将像素组中的任一子像素发出的电信号发送至DVS电路，其中DVS电路根据任一子像素发出的电信号确定生成事件信号；将像素组中的除任一子像素之外的其他子像素发出的电信号发送至APS电路，APS电路根据像素组中除任一子像素之外的其他子像素发出的电信号生成图像灰度信号。

Description

一种图像信号处理方法及装置、电子设备

技术领域

本申请涉及图像处理领域，尤其涉及一种图像信号处理方法及装置、电子设备。

背景技术

机器视觉已经越来越多地代替人类进行视觉信息的获取，帮助处理复杂的现实生活环境。动态视觉传感器(dynamic vision sensor，DVS)的出现从一个新的方向提供了机器视觉可行方案。DVS的感光电路(通常为光电二极管)将光强信号发送至DVS电路，DVS电路在根据接收到的光强信号确定光强变化超过一定阈值时作出响应，产生动态视觉信息(例如：“事件(event)”信号)。而event信息只包含变化事件的极性，不包含绝对光强的信息，无法产生生成完整图像的图像灰度信号。而在实际的应用中，为了便于***的识别与判断，绝对光强的信息也是需要获取的重要信息之一。异步时间图像传感器(asynchronous timebased image sensor,ATIS)，将DVS与主动像元传感器(active pixel sensor,APS)结合起来，以分别获取event信号和图像灰度信号。

ATIS方案中，一个完整的ATIS像元由一个变化检测器(change detector)和一个图片测量单元(photo-measurement unit)构成。其中，change detector相当于一个DVS的DVS电路，用来根据感光电路的光强信号感应光强的变化量，产生event信号。而photo-measurement unit相当于一个APS的APS电路，可以检测感光电路接收到的光强信息，产生图像灰度信号。在ATIS的工作过程中，输入光强的变化超过触发阈值时，引起changedetector产生event信号，并对photo-measurement unit发出触发信号；photo-measurement unit收到触发信号后，开始获取图像灰度信号。

由于photo-measurement unit是由change detector触发，触发之后才开始获取图像灰度信号，因此，event信号的时间戳与图像灰度信号的时间戳并不是完全一致的，两者之间存在不同步的问题。此外，event信号与图像灰度信号分别通过两个感光电路获得，即一个ATIS像元中，须包含两个光电二极管及其配套的操作和读取电路，因此相比于同分辨率下单独的DVS或APS，其所占面积至少要翻倍，芯片感光面积的使用效率低，并且损失了图像的一部分空间信息。

发明内容

本申请实施例提供一种图像信号处理方法及装置、电子设备，能够保证动态视觉信息与图像灰度信号的同步。

为达到上述目的，本申请采用如下技术方案：

第一方面，提供一种图像信号处理方法。该方法应用于图像传感器，图像传感器包括多个像素组，其中各个所述像素组中包含至少两个子像素，包括：在一帧图像的曝光时长中的任一时间段，获取图像传感器的像素组中子像素发出的电信号；将所述像素组中的任一子像素发出的电信号发送至动态视觉传感器DVS电路，其中所述DVS电路根据所述任一子像素发出的电信号确定生成动态视觉信息；将所述像素组中的除所述任一子像素之外的其他子像素发出的电信号发送至主动像元传感器APS电路，所述APS电路根据所述像素组中除所述任一子像素之外的其他子像素发出的电信号生成图像灰度信号。

这样在一帧图像的曝光时长中，无论是该一帧图像的曝光时长包含一个或多个时间段，在该任一时间段内，图像信号处理装置能够将像素组中的一个子像素发出的电信号发送至DVS电路(即单个子像素工作在DVS模式)，DVS电路根据该子像素发出的电信号确定生成动态视觉信息；并且将其他子像素发出的电信号发送至APS电路(即单个子像素工作在APS模式)，APS电路根据该其他子像素发出的电信号生成图像灰度信号；解决了在同一个图像传感器内同步获取动态视觉信息和图像灰度信号的问题。

在一种可能的实现方式中，像素组包含n个子像素，其中n为大于或等于2的正整数；所述任一时段的时长等于所述一帧图像的曝光时长；将所述像素组中的任一子像素发出的电信号发送至所述DVS电路，包括：将所述像素组中的第一子像素发出的电信号发送至所述DVS电路，其中所述DVS电路根据所述第一子像素发出的电信号确定生成动态视觉信息；将所述像素组中的除所述任一子像素之外的其他子像素发出的电信号发送至所述APS电路，包括：将所述像素组中的第二子像素发出的电信号发送至所述APS电路，其中所述APS电路根据所述第二子像素发出的电信号生成图像灰度信号。这样，在上述过程中图像传感器相当于在一帧图像的曝光时长将n-1个子像素的电信号发送至APS电路生成图像灰度信号，在一帧图像的曝光时长内将一个子像素的电信号发送至DVS电路生成动态视觉信息。在一帧图像的曝光时长中，同步获取了动态视觉信息和图像灰度信号。

在一种可能的实现方式中，像素组包含n个子像素，其中n为大于或等于2的正整数；所述一帧图像的曝光时长包含n个子帧时长；所述任一时段的时长等于所述子帧时长；将所述像素组中的任一子像素发出的电信号发送至所述DVS电路；包括：在第x子帧时长内将所述第x个子像素发出的电信号发送至所述DVS电路；其中所述DVS根据所述第x子像素发出的电信号确定生成第x子帧时长内的动态视觉信息；将所述像素组中的除所述任一子像素之外的其他子像素发出的电信号发送至所述APS电路，包括：在第x子帧时长内将所述第x个子像素之外的其他子像素发出的电信号发送至所述APS电路，所述APS根据所述第x个子像素发送的除所述第x个子帧时长外的其他子帧时长内的信号生成所述第x子像素对应的图像灰度信号。这样在每一帧图像的曝光时长之内，任一像素组内的任一子像素，都在其中至少一个子帧时长内将电信号发送至DVS电路，即工作在DVS模式；其余的子帧时长内将电信号发送至APS电路，即工作在APS模式。因此，在任一子帧时长内，总有至少一个子像素工作在DVS模式，其余子像素工作在APS模式。确保了在一帧图像的曝光时长中，同步获取了动态视觉信息和图像灰度信号。

在一种可能的实现方式中，所述像素组包含n个子像素，其中n为大于或等于2的正整数；所述任一时段的时长等于所述一帧图像的曝光时长；将所述像素组中的任一子像素发出的电信号发送至所述DVS电路，包括：将所述像素组中的第一子像素发出的电信号发送至所述DVS电路，其中所述DVS电路根据所述第一子像素发出的电信号确定生成动态视觉信息；将所述像素组中的除所述任一子像素之外的其他子像素发出的电信号发送至所述APS电路；包括：将所述像素组中除所述第一子像素外的其他子像素发出的电信号发送至所述APS电路，其中所述APS电路在所述一帧图像的曝光时长内根据除所述第一子像素外的其他子像素发出的电信号生成图像灰度信号。这样，在上述过程中图像传感器相当于一个n-1-binning的APS子像素，即一帧图像的曝光时长将n-1个子像素的电信号发送至APS电路进行合并(求和或者求平均值)生成图像灰度信号，一个一帧图像的曝光时长的DVS子像素，即一帧图像的曝光时长1个子像素的电信号发送至DVS电路生成动态视觉信息。因此，在一帧图像的曝光时长中，同步获取了动态视觉信息和图像灰度信号。

在一种可能的实现方式中，像素组包含n个子像素，其中n为大于或等于2的正整数；所述一帧图像的曝光时长包含n个子帧时长；所述任一时段的时长等于所述子帧时长；将所述像素组中的任一子像素发出的电信号发送至所述DVS电路；在第x子帧时长内将所述第x个子像素发出的电信号发送至所述DVS电路；其中所述DVS电路根据所述第x子像素发出的电信号确定生成第x子帧时长内的动态视觉信息；将所述像素组中的除所述任一子像素之外的其他子像素发出的电信号发送至所述APS电路，包括：在第x子帧时长内将所述第x个子像素之外的其他子像素发出的电信号发送至所述APS电路，所述APS电路根据在所述一帧图像的曝光时长内接收到的所有子像素的电信号生成图像灰度信号。这样在上述过程中图像传感器相当于具有n-1个一帧图像的曝光时长的APS子像素，即每个子像素都有n-1/n的时间将电信号发送至APS电路进行合并(求和或者求平均值)生成图像灰度信号，一个一帧图像的曝光时长的DVS子像素，即每个子像素都有1/n的时间将电信号发送至DVS电路生成动态视觉信息。在一帧图像的曝光时长中，时间上同步获取了动态视觉信息和图像灰度信号。

第二方面，提供了一种图像信号处理装置用于实现上述各种方法。该图像信号处理装置包括实现上述方法相应的模块、单元、或手段(means)，该模块、单元、或means可以通过硬件实现，软件实现，或者通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块或单元。

第三方面，提供了一种图像信号处理装置，包括：处理器和存储器；该存储器用于存储计算机指令，当该处理器执行该指令时，以使该图像信号处理装置执行上述任一方面的方法。

第四方面，提供了一种图像信号处理装置，包括：处理器和传输接口；处理器被配置为调用存储在存储器中的程序指令以执行如上述任一方面的方法。

在一种可能的设计中，该图像信号处理装置还包括存储器，该存储器，用于保存必要的程序指令和数据。该图像信号处理装置是芯片***时，可以由芯片构成，也可以包含芯片和其他分立器件。

第五方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有程序指令，当该程序指令在计算机或处理器上运行时，使得计算机或处理器可以执行上述任一方面的方法。

第六方面，提供了一种包含指令的计算机程序产品，当该指令在计算机或处理器上运行时，使得计算机或处理器可以执行上述任一方面的方法。

第七方面，提供一种电子设备，包括图像传感器、与图像传感器连接的如上述的图像信号处理装置；其中，所述像素传感器包括阵列排列的像素组，其中所述像素组中包含至少两个子像素，每个所述子像素包含一个感光电路。

在一种可能的设计中，所述图像传感器包括感光层以及位于所述感光层背向光线一侧的传感器电路层，其中所述感光层包括所述阵列排列的所述像素组；所述传感器电路层包括与所述像素组一一对应的电路区，所述电路区包括DVS电路。可选的，所述电路区还包括APS电路。

其中，第二方面至第七方面中任一种设计方式所带来的技术效果可参见上述第一方面中不同设计方式所带来的技术效果，此处不再赘述。

附图说明

图1为本申请的实施例提供的一种电子设备的结构示意图；

图2a为本申请的实施例提供的一种图像传感器的结构示意图；

图2b为本申请的另一实施例提供的一种图像传感器的结构示意图；

图3为本申请的实施例提供的一种图像信号处理方法的流程示意图；

图4为本申请的实施例提供的一种电子设备的电路结构示意图；

图5为本申请的实施例提供的一种电子设备的电路结构示意图；

图6为本申请的实施例提供一种图像信号处理方法中子像素的输出方式示意图一；

图7为本申请的实施例提供一种图像信号处理方法中子像素的输出方式示意图二；

图8为本申请的实施例提供一种图像信号处理方法中子像素的输出方式示意图三；

图9为本申请的实施例提供一种图像信号处理方法中子像素的输出方式示意图四；

图10为本申请的实施例提供的一种图像信号处理装置的结构示意图；

图11为本申请的实施例提供的一种图像信号处理装置的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。

以下，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。

此外，本申请中，“上”、“下”、“左”、“右”等方位术语是相对于附图中的部件示意置放的方位来定义的，应当理解到，这些方向性术语是相对的概念，它们用于相对于的描述和澄清，其可以根据附图中部件所放置的方位的变化而相应地发生变化。

目前，机器视觉已经越来越多地代替人类进行视觉信息的获取，帮助处理复杂的现实生活环境。随着算法的提升，机器视觉的处理速度、跟踪物体准确能力已经有了很大的改善，但是传统相机在处理复杂的现实环境时，仍然存在误差大、计算量大、功耗大等问题。

在机器视觉方案中，DVS的每个像素包含感光电路以及DVS电路。感光电路(通常为光电二极管)将光强信号发送至DVS电路，DVS电路在根据接收到的光强信号确定光强变化超过一定阈值时作出响应，产生动态视觉信息(例如：“事件(event)”信号)。DVS的像素感知的是光强变化，可以有效过滤静态冗余背景信息，减小了低效数据量，降低了数据处理的压力。此外，由于每个像素不经同步时序控制，而是各自异步触发，因此响应时间不受帧率的限制，响应速度快，时间精度高，可以在传感器端直接输出光流信息，对于运动物体的拍摄、识别和跟踪有着巨大的优势。在一种典型的DVS应用中，通过连续性监测实时的光强信号，当光强相对于参考量的变化幅度超过某一阈值时，根据变化量的正向或负向，产生对应ON(开)或OFF(关)的极性信号，并将新的光强信号作为参考量。可见，DVS本身只对接收到的光强变化作出反应，对于静态信息和微小的变化无响应。并且，其产生的event信号只包含变化事件的极性，不包含绝对光强的信息，更无法产生获取完整图像的图像灰度信号。

ATIS方案中，可以分别获取event信号和图像灰度信号。ATIS的典型配置方案中，一个完整的ATIS像元由一个change detector和一个photo-measurement unit构成。其中，change detector相当于一个DVS像素的DVS电路，用来根据感光电路的光强信号感应光强的变化量，当光强的变化超过一定阈值时，可以产生event信号。而photo-measurementunit相当于一个APS像素的APS电路，可以通过复位和积分操作，检测感光电路接收到的光强信息，产生图像灰度信号。在ATIS的工作过程中，输入光强的变化超过触发阈值，引起change detector产生event信号，并对photo-measurement unit发出触发信号；photo-measurement unit受到触发信号后，开始对电容进行复位和积分，比较器输出低电平，当输入光强越强，电容放电越快；当积分电容的电压下降到某一阈值时，比较器的输出恢复高电平，积分结束；积分持续的时间即表征了输入光的绝对光强，可换算为图像灰度信号。因此，ATIS可以获得event信号及其对应像素的图像灰度信号。

由于photo-measurement unit是由change detector触发，触发之后才开始获取图像灰度信号，因此严格来说，event信号的时间戳与图像灰度信号的时间戳并不是完全一致的，两者之间存在不同步的问题。此外，event信号与图像灰度信号分别由两个感光电路(例如光电二极管)获得，即一个ATIS像元中，须包含两个光电二极管及其配套的操作和读取电路，因此相比于同分辨率下单独的DVS或APS，其所占面积至少要翻倍，芯片感光面积的使用效率低，并且损失了图像的一部分空间信息。

为解决上述问题，本申请的实施例提供具有图像采集的功能的电子设备。本发明适用于需要同时获取传统图像以及动态视觉信息的场景，例如需要进行目标识别、追踪、光流计算、同时定位与地图构建(simultaneous localization and mapping，SLAM)等的应用场景。该电子设备包括例如：手机、照相机、摄像机、智能终端、平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、车载电脑等。本申请实施例对上述电子设备的具体形式不做特殊限制。

图1为本申请实施例提供的一种示例性的电子设备的架构示意图。如图1所示，该电子设备01包括：处理器11，射频(radio frequency，RF)电路12、电源13、存储器14、输入单元15、显示单元16、音频电路17等部件。本领域技术人员可以理解，图1中示出的电子设备的结构并不构成对该装置的限定，该电子设备可以包括比如图1所示的部件更多或更少的部件，或者可以组合如图1所示的部件中的某些部件，或者可以与如图1所示的部件布置不同。

处理器11是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器14内的软件程序和/或模块，以及调用存储在存储器14内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器11可包括一个或多个处理单元；优选的，处理器11可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作***、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器11中。

RF电路12可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，给处理器11处理；另外，将上行的数据发送给基站。通常，RF电路包括但不限于天线、至少一个放大器、收发信机、耦合器、低噪声放大器(lownoise amplifier，LNA)、双工器等。此外，RF电路12还可以通过无线通信与网络和其他设备通信。无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯***(global system of mobilecommunication，GSM)、通用分组无线服务(general packet radio service，GPRS)、码分多址(code division multiple access，CDMA)、宽带码分多址(wideband code divisionmultiple access，WCDMA)、长期演进(long term evolution，LTE)、电子邮件、短消息服务(short messaging service，SMS)等。

该电子设备包括给各个部件供电的电源13(比如电池)，可选的，电源可以通过电源管理***与处理器11逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。

存储器14可用于存储软件程序以及模块，处理器11通过运行存储在存储器14的软件程序以及模块，从而执行装置的各种功能应用以及数据处理。存储器14可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作***、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、图像数据、电话本等)等。此外，存储器14可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

输入单元15可用于接收输入的数字或字符信息，以及产生与装置的用户设置以及功能控制有关的键信号输入。具体地，输入单元15可包括触摸屏151以及其他输入设备152。触摸屏151，也称为触摸面板，可收集用户在触摸屏上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触摸屏151上或在触摸屏151附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触摸屏151可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器11，并能接收处理器11发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触摸屏151。其他输入设备152可以包括但不限于物理键盘、功能键(比如音量控制按键、电源开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。

显示单元16可用于显示由用户输入的信息或提供给用户的信息以及电子设备的各种菜单。显示单元16可包括显示面板161，在本申请中，可以采用AMOLED显示屏来配置显示面板161。进一步的，触摸屏151可覆盖显示面板161，当触摸屏151检测到在触摸屏151上或附近的触摸操作后，传送给处理器11以确定触摸事件的类型，随后处理器11根据触摸事件的类型在显示面板161上提供相应的视觉输出。虽然在图1中，触摸屏151与显示面板161是作为两个独立的部件来实现装置的输入和输出功能，但是在某些实施例中，可以将触摸屏151与显示面板161集成而实现装置的输入和输出功能。

音频电路17、扬声器171和麦克风172，用于提供用户与装置之间的音频接口。音频电路17可将接收到的音频数据转换后的电信号，传输到扬声器171，由扬声器171转换为声音信号输出；另一方面，麦克风172将收集的声音信号转换为电信号，由音频电路17接收后转换为音频数据，再将音频数据输出至RF电路12以发送给比如另一装置，或者将音频数据输出至存储器14以便进一步处理。

可选的，如图1所示的装置还可以包括各种传感器。例如陀螺仪传感器、湿度计传感器、红外线传感器、磁力计传感器、图像传感器等，在此不再赘述。可选的，如图1所示的装置还可以包括无线保真(wireless fidelity，WiFi)模块、蓝牙模块等，在此不再赘述。

可以理解的，本申请实施例中，电子设备可以执行本申请实施例中的部分或全部步骤，这些步骤或操作仅是示例，本申请实施例还可以执行其它操作或者各种操作的变形。此外，各个步骤可以按照本申请实施例呈现的不同的顺序来执行，并且有可能并非要执行本申请实施例中的全部操作。本申请各实施例可以单独实施，也可以任意组合实施，本申请对此不作限定。

为了实施本申请的实施例提供的图像信号处理方法，本申请的实施例提供的电子设备包含图像传感器、与图像传感器连接的图像信号处理装置；其中，像素传感器包括阵列排列的像素组(pixel group)，其中像素组中包含至少两个子像素，每个子像素包含一个感光电路，该感光电路可以为光电二极管。如图2a所示，图像传感器包括感光层21以及位于感光层21背向光线一侧的传感器电路层22，其中感光层21包括阵列排列的像素组211；传感器电路层22包括与像素组一一对应的电路区221，电路区221至少包括DVS电路。如图2b所示在一种示例中，电路区221也可以包括APS电路。其中APS电路也可以设置于图像传感器的***电路中。示例性，图2a、图2b中还示出了每个像素组包含四个子像素。本发明所涉及的像素组又称为感光单元，指将多个同色子像素邻近排列的像素结构，包括但不限于四合一像素组(又称拜耳阵列(Quad Bayer)、四格(four cell)或四像素合成(tetracell)等)、九合一像素组(又称nonacell等)、十六合一像素组等等由两个及两个以上子像素构成的感光单元。

本发明的实现原理是：在传统互补型金属氧化物半导体图像传感器(complementary metal oxide semiconductor image sensor,CIS)的基础上，利用时空间复用的原理，将DVS功能集成在CIS中。空间上在CIS的每一像素组中，时间上在每一帧图像的曝光时长内的任一时间段，都存在将像素组中的一个子像素发出的电信号发送至DVS电路(即单个子像素工作在DVS模式)，DVS根据该子像素发出的电信号确定生成动态视觉信息；并且将其他子像素发出的电信号发送至APS电路(即单个子像素工作在APS模式)，APS电路根据该其他子像素发出的电信号生成图像灰度信号；解决了在同一个图像传感器内同步获取动态视觉信息和图像灰度信号的问题；此外，每一子像素都可工作在DVS模式或APS模式下，不需要分用感光电路(光电二极管)，保证了感光面积的使用效率；同时通过芯片堆栈(stack)的工艺，将传感器电路层放置于感光层的下方，最大程度地减少了额外增加的电路面积。

参照图3所示，本申请的实施例提供一种图像信号处理方法，该方法包括如下步骤：

101、在一帧图像的曝光时长中的任一时间段，获取图像传感器的像素组中子像素发出的电信号。

102、将像素组中的任一子像素发出的电信号发送至DVS电路，其中DVS根据任一子像素发出的电信号确定生成动态视觉信息。

其中以下方案中动态视觉信息以事件event信号为例进行说明。

103、将像素组中的除任一子像素之外的其他子像素发出的电信号发送至APS电路，APS电路根据像素组中除任一子像素之外的其他子像素发出的电信号生成图像灰度信号。

示例性的，参照图4所示，提供一种电子设备的电路结构示意图，包括：感光电路41、图像信号处理装置42、APS电路43以及DVS电路44，其中感光电路41以及APS电路43、DVS电路44组成的图像传感器可以采取上述图2示出的堆栈式CIS结构。在该实施例中以任一像素组中的感光电路为例进行说明。配合该电子设备的电路结构示意图，图像信号处理装置42可以配合感光电路41以及APS电路43、DVS电路44实施上述的步骤101-103。

其中，感光电路41，主要包含光电二极管，负责光电转换功能，将感受到的光强转换为电信号。

图像信号处理装置42负责控制子像素在APS模式与DVS模式之间的切换，具体的如上述步骤102即103所示，图像信号处理装置42具体用于将感光电路41发出的电信号发送至APS电路或者DVS电路。

APS电路43包括积分电路431、采样保持电路432。积分电路431，负责控制APS模式下的光电二极管复位、积分、电荷转移等功能。采样保持电路,432，负责将积分信号采样并保持，同时可包含相关双采样功能，最终输出模拟的图像灰度信号。

DVS电路44包括差分放大电路441、event检测电路442以及握手协议电路443；其中，差分放大电路441，主要由运算放大电路及相关元件构成，负责将DVS模式下光电二极管的输出的电信号与参考信号进行差分放大。event检测电路442，主要由比较器及***元件构成，负责判断前述的差分信号是否达到阈值，若达到阈值，则产生event信号。握手协议电路443，负责与平台直接的异步通信控制，将event信号异步传输至平台。

此外，还包括像元***电路45，其中像元***电路45主要包括时序控制电路451以及模数转换电路452。时序控制电路451，这里统指整个电子设备工作过程中的时序产生、控制功能模块。模数转换电路452，负责将模拟的图像灰度信号转换为数字信号。时序控制电路451产生的时序信号具体用于以下过程中：图像信号处理装置42的模式切换、APS电路43对光电二极管的复位和积分、以及模数转换电路452的模数转换等的时序控制。例如：其中由于在步骤101装置需要在一帧图像的曝光时长中的任一时间段，获取图像传感器的像素组中子像素发出的电信号；因此装置需要在一定的时序信号来确定一帧图像的曝光时长。又例如：APS电路43需要通过积分持续的时间换算图像灰度信号，因此也需要参考一定的时序信号。

如图5所示，在一种示例中图像信号处理装置42可以由逻辑驱动电路421以及开关TG1、TG2组成时，则为了实现步骤102和步骤103所述的功能，则，本发明所涉及的模式切换，包括但不限于一种典型的实现方式，即通过两个MOS管开关，实现光电二极管41与APS电路43或DVS电路44的分时连接，如图5所示。当逻辑驱动电路421控制TG1打开，TG2关闭时，光电二极管41连接到APS电路43；当逻辑驱动电路421控制TG1关闭，TG2打开时，光电二极管41连接到DVS电路44。

这样在一帧图像的曝光时长中，无论是该一帧图像的曝光时长包含一个或多个时间段，在该任一时间段内，图像信号处理装置能够将像素组中的一个子像素发出的电信号发送至DVS电路(即单个子像素工作在DVS模式)，DVS根据该子像素发出的电信号确定生成动态视觉信息；并且将其他子像素发出的电信号发送至APS电路(即单个子像素工作在APS模式)，APS电路根据该其他子像素发出的电信号生成图像灰度信号；解决了在同一个图像传感器内同步获取动态视觉信息和图像灰度信号的问题。

其中，APS的像素组中每一像素组中的各个子像素既可以在全尺寸(full size)模式下独立感光并分别输出电信号，生成图像灰度信号；也可以在binning(是一种图像读出模式，将相邻像元感应的电荷加在一起或平均，以一个像素的模式读出)模式下将像素组内各子像素的电信号相加或平均并输出图像灰度信号。

以下以像素组中工作于APS的子像素采用full size模式为例进行说明：

示例一：像素组包含n个子像素，其中n为大于或等于2的正整数；任一时段的时长等于一帧图像的曝光时长；将像素组中的任一子像素发出的电信号发送至DVS电路，包括：将像素组中的第一子像素发出的电信号发送至DVS，其中DVS根据第一子像素发出的电信号确定生成动态视觉信息；将像素组中的除任一子像素之外的其他子像素发出的电信号发送至APS电路，包括：将像素组中的第二子像素发出的电信号发送至APS电路；其中APS电路根据第二子像素发出的电信号生成图像灰度信号。这样，在上述过程中图像传感器相当于在一帧图像的曝光时长将n-1个子像素的电信号发送至APS电路生成图像灰度信号，在一帧图像的曝光时长内将一个子像素的电信号发送至DVS电路生成动态视觉信息。在一帧图像的曝光时长中，同步获取了动态视觉信息和图像灰度信号。

参照图6所示，以四合一像素组结构为例，当然本申请的实际应用包括但不仅限于四合一的像素组排布方式，这样如图6所示，一个像素组包含四个子像素。在一个四个一像素组中，当子像素以full size模式输出时，四个子像素可以分别工作在不同的模式下，例如三个子像素工作在APS模式，同时一个子像素工作在DVS模式。具体的，在一帧图像的曝光时长(如图6中的T1、T2、T3、T4)中，图像信号处理装置将第一子像素输出的电信号输出至DVS电路；在一帧图像的曝光时长(如图6中的T1、T2、T3、T4)中，图像信号处理装置将第二子像素输出的电信号输出至APS电路；同理，图像信号处理装置将第三子像素输出的电信号输出至APS电路；图像信号处理装置将第四子像素输出的电信号输出至APS电路；这样在上述过程中图像传感器相当于具有3个一帧图像的曝光时长的APS子像素，一个一帧图像的曝光时长的DVS子像素。在一帧图像的曝光时长中，时间上同步获取了动态视觉信息和图像灰度信号。而由于在一帧图像的曝光时长内固定采用第一子像素始终工作在DVS模式，则相当于完整图像丢失了四分之一的图像空间信息。

示例二：像素组包含n个子像素，其中n为大于或等于2的正整数；一帧图像的曝光时长包含n个子帧时长；任一时段的时长等于子帧时长；将像素组中的任一子像素发出的电信号发送至DVS电路；包括：在第x子帧时长内将第x个子像素发出的电信号发送至DVS电路；其中DVS根据第x子像素发出的电信号确定生成第x子帧时长内的动态视觉信息；将像素组中的除任一子像素之外的其他子像素发出的电信号发送至APS电路，包括：在第x子帧时长内将第x个子像素之外的其他子像素发出的电信号发送至APS电路；APS电路根据第x个子像素发送的除第x个子帧时长外的其他子帧时长内的电信号生成第x子像素对应的图像灰度信号。这样在每一帧图像的曝光时长之内，任一像素组内的任一子像素，都在其中至少一个子帧时长内将电信号发送至DVS电路，即工作在DVS模式；其余的子帧时长内将电信号发送至APS电路，即工作在APS模式。因此，在任一子帧时长内，总有至少一个子像素工作在DVS模式，其余子像素工作在APS模式。确保了在一帧图像的曝光时长中，同步获取了动态视觉信息和图像灰度信号。

在该示例二中，采用时空间复用的轮转切换方式，如图7所示。可以将一帧图像的曝光时长，分成n等份，n为像素组中子像素的数量。例如在四合一像素组中，一帧图像的曝光时长被等分为四段子帧时长T1、T2、T3、T4，在每一段子帧时长内，均有三个子像素工作在APS模式，一个子像素工作在DVS模式。同时，子像素的APS模式或DVS模式是在不断轮转切换的，例如，在子帧时长时间T1内，第一子像素工作在DVS模式，第二子像素、第三子像素、第四子像素工作在APS模式，图像信号处理装置将第一子像素输出的电信号输出至DVS电路；图像信号处理装置将第二子像素输出的电信号输出至APS电路；同理，图像信号处理装置将第三子像素输出的电信号输出至APS电路；图像信号处理装置将第四子像素输出的电信号输出至APS电路。而在下一段子帧时长时间，即T2内，第二子像素工作在DVS模式，第一子像素恢复至APS模式，第三子像素、第四子像素工作在APS模式；图像信号处理装置将第二子像素输出的电信号输出至DVS电路；图像信号处理装置将第一子像素输出的电信号输出至APS电路；同理，图像信号处理装置将第三子像素输出的电信号输出至APS电路；图像信号处理装置将第四子像素输出的电信号输出至APS电路。以此类推。这样在上述过程中图像传感器相当于实现了4个四分之三帧图像的曝光时长的APS子像素以及相当于一个一帧图像的曝光时长的DVS子像素。

由此，在每一帧图像的曝光时长之内，任一像素组内的任一子像素，都在其中至少一个子帧时长工作在DVS模式，其余的子帧时长内工作在APS模式。而在任一子帧时长内，总有至少一个子像素工作在DVS模式，其余子像素工作在APS模式。

子像素在DVS模式下时，各子帧内的子像素输出的电信号可以直接输出至DVS电路进行动态视觉信息的生成。子像素在APS模式下时，在子像素的电信号输出后，涉及各子帧时长内的APS电路输出的图像灰度信号如何读出或叠加的问题。一种典型的实现方式是针对同一个子像素，每一子帧中的各图像灰度信号分别读出，再进行叠加，最终在一帧图像的曝光时长结束时获得完整的一帧图像的图像灰度信号。另一种典型的实现方式是各子像素在每一子帧内的APS电路输出的图像灰度信号暂不读出，缓存在电荷存储区中，持续叠加，直到一帧图像的曝光时长结束统一读出完整的一帧图像的图像灰度信号。

在上述示例二中，当以full size模式输出时，每一个子像素对应的图像灰度信号的实际曝光时间为一帧图像的曝光时长的四分之三，而与此同时可以获取与一帧图像的曝光时长的时间戳吻合的event信号，并且不丢失full size尺寸下四分之一的图像空间信息。

以下以像素组中工作于APS的子像素采用binning模式为例进行说明，其中当APS的子像素以binning模式输出时，同一像素组内的各子像素对应的图像灰度信号经过求和或求平均的方式，以等效一个像素的形式输出，由此降低分辨率，可以提高灵敏度和信噪比、提高帧率等。因此每一帧图像的曝光时长内每一像素组仅输出单个图像灰度信号，在该以下示例中，每一像素组还将保持随时获取event信号的能力。

示例三：像素组包含n个子像素，其中n为大于或等于2的正整数；任一时段的时长等于所述一帧图像的曝光时长；将像素组中的任一子像素发出的电信号发送至DVS电路，包括：将像素组中的第一子像素发出的电信号发送至所述DVS电路，其中DVS电路根据所述第一子像素发出的电信号确定生成动态视觉信息；将像素组中的除任一子像素之外的其他子像素发出的电信号发送至APS电路；包括：将像素组中除第一子像素外的其他子像素发出的电信号发送至APS电路；其中APS电路在一帧图像的曝光时长内根据除第一子像素外的其他子像素发出的电信号生成图像灰度信号。这样，在上述过程中图像传感器相当于一个n-1-binning的APS子像素，即一帧图像的曝光时长将n-1个子像素的电信号发送至APS电路进行合并(求和或者求平均值)生成图像灰度信号，一个一帧图像的曝光时长的DVS子像素，即一帧图像的曝光时长1个子像素的电信号发送至DVS电路生成动态视觉信息。因此，在一帧图像的曝光时长中，同步获取了动态视觉信息和图像灰度信号。

以四合一像素组结构为例，当然本申请的实际应用包括但不仅限于四合一的像素组排布方式，这样如图8所示，一个像素组包含四个子像素。在一个四个一像素组中，当子像素以binning模式输出时，四个子像素可以分别工作在不同的模式下，例如三个子像素工作在APS模式，同时一个子像素工作在DVS模式。具体的，在一帧图像的曝光时长(如图8中的T1、T2、T3、T4)中，图像信号处理装置将第一子像素输出的电信号输出至DVS电路；在一帧图像的曝光时长(如图8中的T1、T2、T3、T4)中，图像信号处理装置将第二子像素输出的电信号输出至APS电路；同理，图像信号处理装置将第三子像素输出的电信号输出至APS电路；图像信号处理装置将第四子像素输出的电信号输出至APS电路；binning尺寸下每个像素组的各个子像素将合并信号，以子像素发出的电信号生成图像灰度信号，此处合并信号的方式，包括但不限于电荷的相加或平均(例如对子像素输出的电信号直接进行相加或平均)、电压的相加或平均(例如对APS电路输出的模拟的图像灰度信号进行相加或平均)、数字信号的相加或平均(例如在像元***电路45将模拟的图像灰度信号转换为数字信号后进行相加或平均)等。在一帧图像的曝光时长中，由于三个子像素以APS模式工作，因此上述过程中图像传感器相当于实现了等效一个3-binning的APS子像素的效果；与此同时，一个子像素以DVS模式工作，因此上述过程中图像传感器相当于实现了一个全时段工作的DVS子像素。在该实施例中，3-binning的APS子像素的图像灰度信号与等效的DVS子像素的event信号是时空间完全匹配的。

示例四：像素组包含n个子像素，其中n为大于或等于2的正整数；所述一帧图像的曝光时长包含n个子帧时长；所述任一时段的时长等于所述子帧时长；将像素组中的任一子像素发出的电信号发送至所述DVS电路；在第x子帧时长内将所述第x个子像素发出的电信号发送至所述DVS电路；其中所述DVS根据所述第x子像素发出的电信号确定生成第x子帧时长内的动态视觉信息；将所述像素组中的除所述任一子像素之外的其他子像素发出的电信号发送至所述APS电路，包括：在第x子帧时长内将所述第x个子像素之外的其他子像素发出的电信号发送至所述APS电路，所述APS电路根据在所述一帧图像的曝光时长内接收到的所有子像素的电信号生成图像灰度信号。这样在上述过程中图像传感器相当于具有n-1个一帧图像的曝光时长的APS子像素，即每个子像素都有n-1/n的时间将电信号发送至APS电路进行合并(求和或者求平均值)生成图像灰度信号，一个一帧图像的曝光时长的DVS子像素，即每个子像素都有1/n的时间将电信号发送至DVS电路生成动态视觉信息。在一帧图像的曝光时长中，时间上同步获取了动态视觉信息和图像灰度信号。

以四合一像素组结构为例，当然本申请的实际应用包括但不仅限于四合一的像素组排布方式，这样如图9所示，一个像素组包含四个子像素。当子像素以binning模式输出时，四个子像素对应的图像灰度信号，合并为一个信号，每一像素组作为一个等效像素输出。在该示例四中，采用时空间复用的轮转切换方式，如图9所示。将每一帧图像的曝光时长分为四等份子帧时长T1、T2、T3、T4，在每一子帧时长内，四个子像素中都有至少一个工作在DVS模式，其余子像素工作在APS模式；例如，在子帧时长时间T1内，第一子像素工作在DVS模式，第二子像素、第三子像素、第四子像素工作在APS模式，图像信号处理装置将第一子像素输出的电信号输出至DVS电路；图像信号处理装置将第二子像素输出的电信号输出至APS电路；同理，图像信号处理装置将第三子像素输出的电信号输出至APS电路；图像信号处理装置将第四子像素输出的电信号输出至APS电路。到下一子帧时长时，即T2内，第二子像素工作在DVS模式，第一子像素恢复至APS模式；图像信号处理装置将第二子像素输出的电信号输出至DVS电路；图像信号处理装置将第一子像素输出的电信号输出至APS电路；同理，图像信号处理装置将第三子像素输出的电信号输出至APS电路；图像信号处理装置将第四子像素输出的电信号输出至APS电路。以此类推。在输出时，binning模式下每个像素组的各个子像素将合并信号。此处合并信号的方式，包括但不限于电荷的相加或平均(例如对子像素输出的电信号直接进行相加或平均)、电压的相加或平均(例如对APS电路输出的模拟的图像灰度信号进行相加或平均)、数字信号的相加或平均(例如在像元***电路45将模拟的图像灰度信号转换为数字信号后进行相加或平均)等。由于每个子像素都有四分之三时间以APS模式工作，输出时会获得等效3-binning的效果，因此上述过程中图像传感器相当于实现了等效一个3-binning的APS子像素的效果；与此同时，由于每个子像素都有四分之一时间以DVS模式工作，因此上述过程中图像传感器相当于实现了一个全时段工作的DVS子像素。在该实施例中，3-binning的APS子像素的图像灰度信号与等效DVS子像素的event信号是时空间完全匹配的。

在本发明实施例二中，以图6和图7为例，当以binning尺寸输出时，每一个像素组都可输出3-binning效果的图像灰度信号，以及与之时间和空间完全匹配的event信号。

可以理解的是，以上各个实施例中，由图像信号处理装置实现的方法和/或步骤，也可以由可用于图像信号处理装置的部件(例如芯片或者电路)实现。

可以理解的是，该图像信号处理装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

本申请实施例可以根据上述方法实施例中对图像信号处理装置进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

图10示出了一种图像信号处理装置的结构示意图。该图像信号处理装置应用于图像传感器，图像传感器包括多个像素组，其中像素组中包含至少两个子像素，每个子像素包含一个感光电路，该装置包括：获取模块1001、发送模块1002。

获取模块1001，用于在一帧图像的曝光时长中的任一时间段，获取图像传感器的像素组中子像素发出的电信号；

发送模块1002，用于将所述像素组中的任一子像素发出的电信号发送至所述DVS电路，其中所述DVS根据所述任一子像素发出的电信号确定生成动态视觉信息；

所述发送模块1002，用于将所述像素组中的除所述任一子像素之外的其他子像素发出的电信号发送至所述APS电路，所述APS电路根据所述像素组中除所述任一子像素之外的其他子像素发出的电信号生成图像灰度信号。

可选的，所述像素组包含n个子像素，其中n为大于或等于2的正整数；所述任一时段的时长等于所述一帧图像的曝光时长；所述发送模块1002，具体用于将所述像素组中的第一子像素发出的电信号发送至所述DVS电路，其中所述DVS电路根据所述第一子像素发出的电信号确定生成动态视觉信息；所述发送模块1002，具体用于将所述像素组中的第二子像素发出的电信号发送至所述APS电路，其中所述APS根据所述第二子像素发出的电信号生成图像灰度信号。

可选的，所述像素组包含n个子像素，其中n为大于或等于2的正整数；所述一帧图像的曝光时长包含n个子帧时长；所述任一时段的时长等于所述子帧时长；所述发送模块1002，具体用于在第x子帧时长内将所述第x个子像素发出的电信号发送至所述DVS电路；其中所述DVS根据所述第x子像素发出的电信号确定生成第x子帧时长内的动态视觉信息；所述发送模块1002，具体用于在第x子帧时长内将所述第x个子像素之外的其他子像素发出的电信号发送至所述APS电路，所述APS根据所述第x个子像素发送的除所述第x个子帧时长外的其他子帧时长内的信号生成所述第x子像素对应的图像灰度信号。

可选的，所述像素组包含n个子像素，其中n为大于或等于2的正整数；所述任一时段的时长等于所述一帧图像的曝光时长；所述发送模块1002，具体用于将所述像素组中的第一子像素发出的电信号发送至所述DVS，其中所述DVS根据所述第一子像素发出的电信号确定生成动态视觉信息；所述发送模块1002，具体用于将所述像素组中除所述第一子像素外的其他子像素发出的电信号发送至所述APS电路，其中所述APS在所述一帧图像的曝光时长内根据除所述第一子像素外的其他子像素发出的电信号生成图像灰度信号。

可选的，所述像素组包含n个子像素，其中n为大于或等于2的正整数；所述一帧图像的曝光时长包含n个子帧时长；所述任一时段的时长等于所述子帧时长；所述发送模块1002，具体用于在第x子帧时长内将所述第x个子像素发出的电信号发送至所述DVS电路；其中所述DVS根据所述第x子像素发出的电信号确定生成第x子帧时长内的动态视觉信息；所述发送模块1002，具体用于在第x子帧时长内将所述第x个子像素之外的其他子像素发出的电信号发送至所述APS电路，所述APS电路根据在所述一帧图像的曝光时长内接收到的所有子像素的电信号生成图像灰度信号。

其中，上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述，在此不再赘述。

如图11所示，本申请的实施例提供一种图像信号处理装置的硬件结构示意图。

其中，图像信号处理装置包括至少一个处理器(图11中示例性的以包括一个处理器1101为例进行说明)和至少一个传输接口1103(例如可以是接口电路，图11中示例性的以包括一个传输接口1103为例进行说明)。可选的，图像信号处理装置还可以包括至少一个存储器(图11中示例性的以包括一个存储器1102为例进行说明)。

处理器1101、存储器1102和传输接口1103通过通信线路相连接。通信线路可包括一通路，在上述组件之间传送信息。

处理器1101可以是通用中央处理器(central processing unit，CPU)、微处理器、特定应用集成电路(application-specific integrated circuit，ASIC)，或者一个或多个用于控制本申请方案程序执行的集成电路。在具体实现中，作为一种实施例，处理器1101也可以包括多个CPU，并且处理器1101可以是单核(single-CPU)处理器或多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路或用于处理数据(例如计算机程序指令)的处理核。

存储器1102可以是具有存储功能的装置。例如可以是只读存储器(read-onlymemory，ROM)或可存储静态信息和指令的其他类型的静态存储设备、随机存取存储器(random access memory，RAM)或者可存储信息和指令的其他类型的动态存储设备，也可以是电可擦可编程只读存储器(electrically erasable programmable read-only memory，EEPROM)、只读光盘(compact disc read-only memory，CD-ROM)或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。存储器1102可以是独立存在，通过通信线路与处理器1101相连接。存储器1102也可以和处理器1101集成在一起。

其中，存储器1102用于存储执行本申请方案的计算机执行指令，并由处理器1101来控制执行。具体的，处理器1101用于执行存储器1102中存储的计算机执行指令，从而实现本申请实施例中所述的图像信号处理方法。

或者，可选的，本申请实施例中，也可以是处理器1101执行本申请下述实施例提供的图像信号处理方法中的处理相关的功能，传输接口1103负责与其他部件连接以实现信号的传输，例如向图像信号处理装置传输子像素的电信号等，本申请实施例对此不作具体限定。

可选的，本申请实施例中的计算机执行指令也可以称之为应用程序代码或者计算机程序代码，本申请实施例对此不作具体限定。

在具体实现中，作为一种实施例，处理器1101可以包括一个或多个CPU，例如图11中的CPU0和CPU1。

在具体实现中，作为一种实施例，图像信号处理装置可以包括多个处理器，例如图11中的处理器1101和处理器1104。这些处理器中的每一个可以是一个单核(single-CPU)处理器，也可以是一个多核(multi-CPU)处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据(例如计算机程序指令)的处理核。

图像信号处理装置中的处理器1101可以通过调用存储器1102中存储的计算机执行指令，使得图像信号处理装置执行上述方法实施例中的方法。具体的，图10中的获取模块1001、发送模块1002的功能/实现过程可以通过图11所示的图像信号处理装置中的处理器1101调用存储器1102中存储的计算机执行指令来实现。由于本实施例提供的图像信号处理装置可执行上述的方法，因此其所能获得的技术效果可参考上述方法实施例，在此不再赘述。

可选的，本申请实施例还提供了一种图像信号处理装置(例如，该图像信号处理装置可以是芯片或芯片***)，该图像信号处理装置包括处理器，用于实现上述任一方法实施例中的方法。在一种可能的设计中，该图像信号处理装置还包括存储器。该存储器，用于保存必要的程序指令和数据，处理器可以调用存储器中存储的程序指令以指示该图像信号处理装置执行上述任一方法实施例中的方法。当然，存储器也可以不在该图像信号处理装置中。该图像信号处理装置是芯片***时，可以由芯片构成，也可以包含芯片和其他分立器件，本申请实施例对此不作具体限定。

在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件程序实现时，可以全部或部分地以计算机程序产品的形式来实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可以用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质(例如，软盘、硬盘、磁带)，光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。本申请实施例中,计算机可以包括前面所述的装置。

尽管在此结合各实施例对本申请进行了描述，然而，在实施所要求保护的本申请过程中，本领域技术人员通过查看所述附图、公开内容、以及所附权利要求书，可理解并实现所述公开实施例的其他变化。在权利要求中，“包括”(comprising)一词不排除其他组成部分或步骤，“一”或“一个”不排除多个的情况。单个处理器或其他单元可以实现权利要求中列举的若干项功能。相互不同的从属权利要求中记载了某些措施，但这并不表示这些措施不能组合起来产生良好的效果。

尽管结合具体特征及其实施例对本申请进行了描述，显而易见的，在不脱离本申请的精神和范围的情况下，可对其进行各种修改和组合。相应地，本说明书和附图仅仅是所附权利要求所界定的本申请的示例性说明，且视为已覆盖本申请范围内的任意和所有修改、变化、组合或等同物。显然，本领域的技术人员可以对本申请进行各种改动和变型而不脱离本申请的精神和范围。这样，倘若本申请的这些修改和变型属于本申请权利要求及其等同技术的范围之内，则本申请也意图包含这些改动和变型在内。

Claims (15)

1.一种图像信号处理方法，应用于图像传感器，其特征在于，所述图像传感器包括多个像素组，其中各个所述像素组中包含至少两个子像素，每个所述子像素包含一个感光电路，该方法包括：

在一帧图像的曝光时长中的任一时间段，获取图像传感器的像素组中子像素发出的电信号；

将所述像素组中的任一子像素发出的电信号发送至动态视觉传感器DVS电路，其中所述DVS根据所述任一子像素发出的电信号确定生成动态视觉信息；

将所述像素组中的除所述任一子像素之外的其他子像素发出的电信号发送至主动像元传感器APS电路，所述APS电路根据所述像素组中除所述任一子像素之外的其他子像素发出的电信号生成图像灰度信号。

2.根据权利要求1所述的图像信号处理方法，其特征在于，所述像素组包含n个子像素，其中n为大于或等于2的正整数；所述任一时段的时长等于所述一帧图像的曝光时长；

将所述像素组中的任一子像素发出的电信号发送至所述DVS电路，包括：

将所述像素组中的第一子像素发出的电信号发送至所述DVS电路，其中所述DVS根据所述第一子像素发出的电信号确定生成动态视觉信息；

将所述像素组中的除所述任一子像素之外的其他子像素发出的电信号发送至所述APS电路，包括：

将所述像素组中的第二子像素发出的电信号发送至所述APS电路；

其中所述APS根据所述第二子像素发出的电信号生成图像灰度信号。

3.根据权利要求1所述的图像信号处理方法，其特征在于，所述像素组包含n个子像素，其中n为大于或等于2的正整数；所述一帧图像的曝光时长包含n个子帧时长；所述任一时段的时长等于所述子帧时长；

将所述像素组中的任一子像素发出的电信号发送至所述DVS电路；包括：在第x子帧时长内将所述第x个子像素发出的电信号发送至所述DVS电路；其中所述DVS电路根据所述第x子像素发出的电信号确定生成第x子帧时长内的动态视觉信息；

将所述像素组中的除所述任一子像素之外的其他子像素发出的电信号发送至所述APS电路，包括：在第x子帧时长内将所述第x个子像素之外的其他子像素发出的电信号发送至所述APS电路；

所述APS根据所述第x个子像素发送的除所述第x个子帧时长外的其他子帧时长内的信号生成所述第x子像素对应的图像灰度信号。

4.根据权利要求1所述的图像信号处理方法，其特征在于，所述像素组包含n个子像素，其中n为大于或等于2的正整数；所述任一时段的时长等于所述一帧图像的曝光时长；

将所述像素组中的任一子像素发出的电信号发送至所述DVS电路，包括：将所述像素组中的第一子像素发出的电信号发送至所述DVS电路，其中所述DVS电路根据所述第一子像素发出的电信号确定生成动态视觉信息；

将所述像素组中的除所述任一子像素之外的其他子像素发出的电信号发送至所述APS电路；包括：将所述像素组中除所述第一子像素外的其他子像素发出的电信号发送至所述APS电路；其中所述APS电路在所述一帧图像的曝光时长内根据除所述第一子像素外的其他子像素发出的电信号生成图像灰度信号。

5.根据权利要求1所述的图像信号处理方法，其特征在于，所述像素组包含n个子像素，其中n为大于或等于2的正整数；所述一帧图像的曝光时长包含n个子帧时长；所述任一时段的时长等于所述子帧时长；

将所述像素组中的任一子像素发出的电信号发送至所述DVS电路；在第x子帧时长内将所述第x个子像素发出的电信号发送至所述DVS电路；其中所述DVS根据所述第x子像素发出的电信号确定生成第x子帧时长内的动态视觉信息；

将所述像素组中的除所述任一子像素之外的其他子像素发出的电信号发送至所述APS电路，包括：在第x子帧时长内将所述第x个子像素之外的其他子像素发出的电信号发送至所述APS电路，所述APS电路根据在所述一帧图像的曝光时长内接收到的所有子像素的电信号生成图像灰度信号。

6.一种图像信号处理装置，应用于图像传感器，其特征在于，所述图像传感器包括多个像素组，其中所述像素组中包含至少两个子像素，每个所述子像素包含一个感光电路，该装置包括：

获取模块，用于在一帧图像的曝光时长中的任一时间段，获取图像传感器的像素组中子像素发出的电信号；

发送模块，用于将所述像素组中的任一子像素发出的电信号发送至动态视觉传感器DVS电路，其中所述DVS根据所述任一子像素发出的电信号确定生成动态视觉信息；

所述发送模块，用于将所述像素组中的除所述任一子像素之外的其他子像素发出的电信号发送至主动像元传感器APS电路，所述APS电路根据所述像素组中除所述任一子像素之外的其他子像素发出的电信号生成图像灰度信号。

7.根据权利要求6所述的图像信号处理装置，其特征在于，所述像素组包含n个子像素，其中n为大于或等于2的正整数；所述任一时段的时长等于所述一帧图像的曝光时长；

所述发送模块，具体用于将所述像素组中的第一子像素发出的电信号发送至所述DVS电路，其中所述DVS电路根据所述第一子像素发出的电信号确定生成动态视觉信息；

所述发送模块，具体用于将所述像素组中的第二子像素发出的电信号发送至所述APS电路，其中所述APS电路根据所述第二子像素发出的电信号生成图像灰度信号。

8.根据权利要求6所述的图像信号处理装置，其特征在于，所述像素组包含n个子像素，其中n为大于或等于2的正整数；所述一帧图像的曝光时长包含n个子帧时长；所述任一时段的时长等于所述子帧时长；

所述发送模块，具体用于在第x子帧时长内将所述第x个子像素发出的电信号发送至所述DVS电路；其中所述DVS电路根据所述第x子像素发出的电信号确定生成第x子帧时长内的动态视觉信息；

所述发送模块，具体用于在第x子帧时长内将所述第x个子像素之外的其他子像素发出的电信号发送至所述APS电路，所述APS电路根据所述第x个子像素发送的除所述第x个子帧时长外的其他子帧时长内的信号生成所述第x子像素对应的图像灰度信号。

9.根据权利要求6所述的图像信号处理装置，其特征在于，所述像素组包含n个子像素，其中n为大于或等于2的正整数；所述任一时段的时长等于所述一帧图像的曝光时长；

所述发送模块，具体用于将所述像素组中的第一子像素发出的电信号发送至所述DVS电路，其中所述DVS电路根据所述第一子像素发出的电信号确定生成动态视觉信息；

所述发送模块，具体用于将所述像素组中除所述第一子像素外的其他子像素发出的电信号发送至所述APS电路，其中所述APS电路在所述一帧图像的曝光时长内根据除所述第一子像素外的其他子像素发出的电信号生成图像灰度信号。

10.根据权利要求6所述的图像信号处理装置，其特征在于，所述像素组包含n个子像素，其中n为大于或等于2的正整数；所述一帧图像的曝光时长包含n个子帧时长；所述任一时段的时长等于所述子帧时长；

所述发送模块，具体用于在第x子帧时长内将所述第x个子像素发出的电信号发送至所述DVS电路；其中所述DVS电路根据所述第x子像素发出的电信号确定生成第x子帧时长内的动态视觉信息；

所述发送模块，具体用于在第x子帧时长内将所述第x个子像素之外的其他子像素发出的电信号发送至所述APS电路，所述APS电路根据在所述一帧图像的曝光时长内接收到的所有子像素的信号生成图像灰度信号。

11.一种的图像信号处理装置，其特征在于，包括：处理器和传输接口；

所述处理器被配置为调用存储在存储器中的程序指令，以执行如权利要求1-5中任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，包括指令，所述计算机可读存储介质中存储有程序指令，当所述程序指令在计算机或处理器上运行时，使得所述计算机或所述处理器执行如权利要求1-5任意一项所述的方法。

13.一种电子设备，其特征在于，包括图像传感器、与所述图像传感器连接的如图权利要求6-11任一项所述的图像信号处理装置；其中，所述像素传感器包括阵列排列的像素组，其中所述像素组中包含至少两个子像素，每个所述子像素包含一个感光电路。

14.根据权利要求13所述的电子设备，其特征在于，所述图像传感器包括感光层以及位于所述感光层背向光线一侧的传感器电路层，其中所述感光层包括所述阵列排列的所述像素组；所述传感器电路层包括与所述像素组一一对应的电路区，所述电路区包括DVS电路。

15.根据权利要求14所述的电子设备，其特征在于，所述电路区还包括APS电路。

Images