CN115118892A - 图像采集方法、装置及电子设备 - Google Patents

Abstract

本申请提供了一种图像采集方法、装置及电子设备，属于摄像技术领域。方法包括：在控制所述图像传感器进行曝光时，通过图像传感器中的多光谱像素和光谱发射器获取拍摄对象的运动信息；基于运动信息确定所述图像传感器的补偿信息；基于补偿信息控制所述图像传感器运动，使得曝光过程中图像传感器相对于所述拍摄对象静止；曝光完成后，输出第一原始图像。

Description

图像采集方法、装置及电子设备

技术领域

本发明实施例涉及摄像技术领域，尤其涉及一种图像采集方法、装置及电子设备。

背景技术

用户在通过电子设备的镜头进行拍摄时，电子设备可以通过逐行曝光的方式进行曝光，以拍摄得到比较清晰的图片。而当被拍摄对象处于运动状态时，采用逐行曝光的方式进行拍摄会导致拍摄对象所在图像区域出现倾斜或扭曲的情况，拍摄结果出现“倾斜”、“摇摆不定”或“部分曝光”，即产生果冻效应。

为了解决果冻效应的情况，通过提高电子设备逐行曝光的速度或将逐行曝光改为全局曝光的方式以提高拍摄运动对象时的清晰度。

而采用上述方法，会导致像素失效以及提高电子设备的使用成本。

发明内容

本发明实施例提供一种图像采集方法、装置及电子设备，以实现拍摄运动的物体时仍然可以得到正常清晰的图像的效果。

第一方面，本发明实施例提供了一种图像采集方法，应用于电子设备，所述图像采集装置包括图像传感器和光谱发射器，所述图像传感器上设有多光谱像素，所述方法包括：

在控制所述图像传感器进行曝光时，通过所述图像传感器中的多光谱像素和所述光谱发射器获取拍摄对象的运动信息；

基于所述运动信息确定所述图像传感器的补偿信息；

基于所述补偿信息控制所述图像传感器运动，使得曝光过程中所述图像传感器相对于所述拍摄对象静止；

曝光完成后，输出第一原始图像。

第二方面，本发明实施例提供了一种图像采集装置，所述图像采集装置包括图像传感器和光谱发射器，所述图像传感器上设有多光谱像素，所述装置包括：

运动信息获取模块，用于在控制所述图像传感器进行曝光时，通过所述图像传感器中的多光谱像素和所述光谱发射器获取拍摄对象的运动信息；

补偿信息获取模块，用于基于所述运动信息确定所述图像传感器的补偿信息；

图像传感器移动模块，用于基于所述补偿信息控制所述图像传感器运动，使得曝光过程中所述图像传感器相对于所述拍摄对象静止；

第一原始图像输出模块，用于曝光完成后，输出第一原始图像。

第三方面，本发明实施例还提供了一种电子设备，包括处理器和存储器、所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如所述第一方面的图像处理方法的步骤。

第四方面，本发明实施例还提供了一种可读存储介质，所述可读存储介质上存储有程序或指令，所述程序或指令被处理器执行时实现如所述第一方面的图像处理方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的方法。

在本申请实施例中，通过图像传感器中的多光谱像素和光谱发射器获取拍摄对象的运动信息；基于运动信息确定所述图像传感器的补偿信息；在控制所述图像传感器进行曝光时，基于补偿信息控制所述图像传感器运动，使得曝光过程中图像传感器相对于所述拍摄对象静止；曝光完成后，输出第一原始图像。在曝光的过程中，通过实时获取拍摄对象的运动信息，以实时的调整摄像头模组运动，使得在曝光每一像素行时，摄像头模组已经完成位移补偿移动，使得图像传感器相对于所述拍摄对象静止，这样，在拍摄运动的拍摄对象时，在不提高曝光速度的情况下也可以拍摄得到清晰的运动物体图像，降低了像素失效发生的几率，并且针对不提高曝光速度的曝光方式，还降低了电子设备的使用成本。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

图1是本发明实施例提供的一种果冻效应下成像示意图；

图2是本发明实施例提供的一种图像采集方法步骤流程图；

图3是本发明实施例提供的一种光学防抖镜头模组结构示意图；

图4是本发明实施例提供的一种微云台镜头模组结构示意图；

图5是本发明实施例提供的又一种图像采集方法步骤流程图；

图6是本发明实施例提供的一种光谱曲线示意图；

图7是本发明实施例提供的一种彩色像素成像过程的电路图；

图8是本发明实施例提供的一种多光谱像素分布图；

图9是本发明实施例提供的又一种多光谱像素分布图；

图10是本发明实施例提供的一种图像采集装置的框图；

图11是本发明实施例提供的一种电子设备；

图12是本发明实施例提供的一种电子设备的硬件结构示意图。

附图标记说明：

11-图像传感器；12-镜头；13-驱动框架；21-镜头模组；22-磁动力框架；23-图像传感器。

具体实施方式

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

下面对本申请实施例提供的方案中涉及的一些概念和/或术语做一下解释说明。

图像传感器(sensor)，是相机的核心，也是相机里最关键的技术。Sensor分两种，一种是广泛使用的CCD(Charge-coupled Device，电荷耦合)元件；另一种是CMOS器件(Complementary Metal-Oxide-Semiconductor，互补金属氧化物半导体)。与传统相机相比，传统相机使用“胶卷”作为其记录信息的载体，而数码相机的“胶卷”就是其成像感光元件，感光元件就是数码相机的不用更换的“胶卷”而且是与相机一体。

目前主流使用的是CMOS器件，主要是利用硅和锗这两种元素所做成的半导体，使其在CMOS上共存着带N(带负电)和P(带正电)级的半导体，两个互补效应所产生的电流即可被处理芯片纪录和解读成影像。

CMOS摄像模组是目前手机上主流使用的相机模组，主要由镜头、音圈马达、红外滤光片、图像传感器、数字信号处理器及软板组成。CMOS的工作流程是，音圈马达带动镜头达到对焦准确的位置，外部光线穿过镜头，经过红外滤光片的滤光，照射到图像传感器的感光二极管上，感光二极管将感知的光信号转换成电信号，通过放大电路，模数转换电路，形成数字信号矩阵(即图像)，再经过数字信号处理，压缩存储起来。

果冻效应，指在生产生活中像果冻一样产生的变形和颜色变化。果冻的形成是摄影机本身的特性决定的，使用CMOS传感器的相机多数使用卷帘快门，它是通过图像传感器逐行曝光的方式实现的。在曝光开始的时候，图像传感器逐行扫描逐行进行曝光，直至所有像素点都被曝光。若所有的动作在极短的时间内完成，一般不会对拍摄造成影响。但如果被拍摄物体相对于相机高速运动或快速振动时。用卷帘快门方式拍摄，逐行扫描速度不够，拍摄结果就可能出现“倾斜”、“摇摆不定”或“部分曝光”等情况。这种卷帘快门方式拍摄出现的现象，就定义为果冻效应。参考图1，图1为一种果冻效应下的成像示意图。在扫描第一行像素时，对一行像素对应的图像拍摄正常，当扫描第二行像素时，由于物体发生了向左的移动，导致扫描第二行像素得到的图像实际已经发生了偏移，以至于最后逐行扫描完成后得到的物体的拍摄图像为一个倾斜的图像，这种拍摄情况就称为果冻效应。

图2是本发明实施例提供的一种图像处理方法的步骤流程图，应用于图像采集装置，所述图像采集装置包括图像传感器和光谱发射器，所述图像传感器上设有多光谱像素，该方法可以包括：

步骤101、在控制所述图像传感器进行曝光时，通过所述图像传感器中的多光谱像素和所述光谱发射器获取拍摄对象的运动信息。

在本发明实施例中，图像传感器采用逐行曝光的方式进行成像，感光单元是从头一行、第二行、第三行...这样按照顺序进行光线感测，一直到整片感光单元从上到下每一行都曝光完成为止。

多光谱像素为一种仅接收在目标光谱范围内的光线(即特定光谱的光线)的像素，对目标光谱范围外的光线进行过滤处理。多光谱像素可以用于获得目标拍摄物体对不同波段光谱的反射率，同时，通过接收光谱信号的时间差，可以获得拍摄对象的运动信息。

进一步地，光谱发射器为可以发射不同波段光谱的电子元件，其发射的光谱可以被目标运动物体反射，图像传感器可以接收反射的光谱。利用光谱发射器发射光谱可以对目标运动物体运动距离进行计算，具体地，光谱发射器发射光谱后，光谱经目标运动物体反射到达图像传感器，此时，根据图像传感器捕捉的反射光谱的时间，以及光谱发射器发射光谱的时间就可以得到光谱的传播时间，基于光速已知，则可通过发射光谱与接收光谱的时间差得出目标运动物体的运动距离与运动方向。

通过光谱发射器与多光谱像素的配合，可以实时的获取拍摄对象的运动信息，以根据运动信息实时的对图像传感器的位置进行调整。

步骤102、基于所述运动信息确定所述图像传感器的补偿信息。

在本发明实施例中，在步骤101获得运动信息后，根据运动信息中包括的运动距离与运动方向，可以获得图像传感器的移动距离与移动方向，图像传感器的移动距离与移动方向即为图像传感器的补偿信息，随着拍摄对象实时的运动，图像传感器根据补偿信息实时地运动，以补偿拍摄对象的运动。例如拍摄对象的运动信息为向远离图像传感器的方向移动3mm，则得到的补偿信息即为与运动物体同方向的移动3mm，使得移动后，摄像头模组与目标运动物体之间依旧保持相对静止。

计算图像传感器的补偿信息，还可以进一步参考像素行的曝光时间，若每一行像素行的曝光时间为3ms，通过上述得到的移动距离以及时间段，可以得到目标运动物体的运动速度，例如，若计算得到的运动速度为1mm/ms，则可以得到目标运动物体在像素行曝光的时间段内移动的距离为3mm，在得到图像传感器的补偿信息时，可以进一步参考曝光时拍摄对象的位移量，将曝光时间段内产生的位移量与读取曝光数据产生的位移量做加和运算，将得到的结果作为图像传感器的补偿信息，以使得对图像传感器的位移调整更加准确。

进一步地，包括上述图像传感器的摄像头模组可以应用在光学防抖镜头或云台防抖镜头模组，参考图3，图4，其中，图3为一种光学防抖镜头模组结构示意图，图4为一种微云台防抖镜头模组结构示意图。如图3，光学防抖镜头模组中设置有陀螺仪，陀螺仪可以监测电子设备自身微小的移动，若陀螺仪监测到电子设备发生了移动，则将移动的信号传至图像信号处理组件，图像信号处理组件可以通过计算得到镜头需要对电子设备发生的位移的补偿量，最后通过电磁力驱动框架13驱动镜头12相对图像传感器11以与电子设备发生的位移方向相反的方向进行移动，以补偿电子设备自身抖动产生的位移，从而使光路保持稳定，有效克服因手机的振动产生的影像模糊问题。

微云台模组由限位机构、双滚珠悬架、镜头、音圈马达、双S型FPC(FlexiblePrinted Circuit，柔性电路板)排线、磁动力框架、模组载架以及保护盖构成。CMOS与镜头组封装在双滚珠悬架里，然后安装在磁动力框架上，两对滚珠配合十字支架，分别让微云台在X轴、Y轴完成灵活的“双轴转动”，从而实现“立体防抖”，参考图4，当电子设备出现位移时，在磁动力框架22内的摄像头模组21进行转动，以补偿电子设备自身的抖动位移，此时图像传感器23可以与摄像头模组21同时在磁动力框架22内移动，以保证光路稳定，微云台模组结构方案可以实现整个摄像头模组的移动，而光学防抖镜头结构模组由于仅移动镜头，会导致损失一部分画面，因此，微云台模组方案的成像效果更好，防抖范围面积可以达到光学防抖镜头结构模组的3.2倍，防抖稳定性更强。

因此，若电子设备自身存在抖动位移，那么计算图像传感器的补偿信息时，还可以进一步融合电子设备由于抖动产生的位移量，如由于电子设备自身抖动，镜头或整个镜头模组需要向拍摄对象的方向移动1mm，而经过对运动物体运动信息的获取，得到镜头或整个镜头模组需要向拍摄对象的方向移动3mm,，则将两次位移调整量叠加可得，镜头或整个镜头模组需向拍摄对象的方向移动4mm。通过综合考虑目标运动物体的位移与电子设备自身的位移，可以更加精确对镜头或整个镜头模组需要移动的位移量做出判断，以得到更加高质量的图像。本发明实施例对使用哪种镜头模组结构不作限定。

步骤103、基于所述补偿信息控制所述图像传感器运动，使得曝光过程中所述图像传感器相对于所述拍摄对象静止。

在本发明实施例中，在第一像素行完成曝光，在图像传感器移动到相应位置后，开始第二像素行的曝光操作，此时，由于图像传感器经移动后与拍摄对象之间依旧保持相对静止，因此在第二像素进行曝光时，拍摄对象对应在图像传感器的位置并未发生改变，此时，第二像素行曝光得到的拍摄对象对应的图像数据不会发生倾斜问题，在第二曝光操作完成后，继续获取目标运动物体的运动信息，在以在下一像素行开始曝光前对图像传感器进行移动，保证下一像素行成像时，图像传感器相对于拍摄对象依旧保持相对静止，这样依次曝光每一像素行，使得每一像素行进行曝光时，摄像头模组相对目标运动物体一直保持相对静止状态，在曝光完成后，最终可以得到拍摄对象成像清晰的图像。

步骤104、曝光完成后，输出第一原始图像。

在本发明实施例中，在图像传感器实时的调整下，所有像素行均完成曝光后，即可输出画面中拍摄对象为清晰的第一原始图像。

综上，本申请实施例提供一种图像采集方法，在控制图像传感器进行曝光时，通过图像传感器中的多光谱像素和光谱发射器获取拍摄对象的运动信息；基于运动信息确定所述图像传感器的补偿信息；基于补偿信息控制所述图像传感器运动，使得曝光过程中图像传感器相对于所述拍摄对象静止；曝光完成后，输出第一原始图像。在曝光的过程中，通过实时获取拍摄对象的运动信息，以实时的调整摄像头模组运动，使得在曝光每一像素行时，摄像头模组已经完成位移补偿移动，使得图像传感器相对于所述拍摄对象静止，这样，在拍摄运动的拍摄对象时，在不提高曝光速度的情况下也拍摄清晰的运动物体图像，降低了像素失效发生的几率，并且针对不提高曝光速度的曝光方式，还降低了电子设备的使用成本。

图5是本发明实施例提供的又一种图像采集方法的步骤流程图，如图5所示，该方法可以包括：

步骤201、在控制所述图像传感器进行曝光时，通过所述图像传感器中的多光谱像素和所述光谱发射器获取拍摄对象的运动信息。所述运动信息包括运动方向和运动速度。

该步骤具体可以参照上述步骤101，此处不再赘述。

步骤202、根据所述运动方向、运动速度以及读取时间，确定所述图像传感器的移动距离以及移动方向。

在本发明实施例中，读取时间为像素行曝光完成后，读取这一像素行的时间，通过计算读取像素行时间内拍摄对象的运动信息，即可根据得到的运动信息对图像传感器进行对应调整。若光谱的传播速度为c，光谱发射器发射光谱的第一时刻(读取时间的开始时刻)与图像传感器捕捉到光谱的第二时刻之间的时间差为t1，则拍摄对象与摄像头模组之间的距离d1＝ct1/2，得到的距离d1即为拍摄对象的目前与图像传感器之间的距离，根据光谱的速度c即光速，以及时间差t1即可得到拍摄对象当前与图像传感器之间的距离，在第三时刻(读取时间的结束时刻)光谱发射器发射光谱，在第四时刻图像传感器捕捉到经拍摄对象反射的光谱，根据上述同样的计算方式，计算到读取时间的结束时刻，图像传感器与拍摄对象之间的距离d2，通过对距离d1与距离d2的比较，即可得到拍摄对象的运动方向，而根据两次距离的变化与两次发射光谱之间间隔的时间差(读取时间)，既可以得到拍摄对象的运动速度。根据获得的拍摄对象的运动信息，可以得到图像传感器的移动距离以及移动方向。如：在读取时间内拍摄对象为背离图像传感器移动3mm，则图像传感器的补偿信息为：移动方向与拍摄对象相同，移动距离为3mm。根据得到的拍摄对象的运动信息即可对应得到图像传感器的补偿信息，使得根据补偿信息移动图像传感器，解决果冻效应。

步骤203、基于所述补偿信息控制所述图像传感器运动，使得曝光过程中所述图像传感器相对于所述拍摄对象静止。

该步骤具体可以参照上述步骤103，此处不再赘述。

步骤204、曝光完成后，输出第一原始图像。

该步骤具体可以参照上述步骤104，此处不再赘述。

可选地，所述方法还可以包括：

步骤205、响应于拍摄操作，获取所述图像传感器采集的第二原始图像；

在本发明实施例中，在拍摄图像时，可以获取一张拍摄对象所处环境的背景图像，由于针对拍摄对象拍摄时，图像传感器会跟随拍摄对象的运动而相应的移动，此时，可以拍摄到拍摄对象清晰的图像，但由于图像传感器的移动，拍摄得到的拍摄对象所处的背景实际是发生了形变或不清晰的，因此，可以采集一张背景清晰的第二原始图像，以保证采集到拍摄对象所处背景清晰的图像。

步骤206、对所述第一原始图像与所述第二原始图像进行图像融合，得到目标图像；其中，所述第二原始图像中背景图像的清晰度满足预设条件。

在本发明实施例中，通过多光谱像素与光谱发射器获得拍摄对象的运动信息，可以对应移动图像传感器，以拍摄一张拍摄对象清晰的第一原始图像，在图像传感器不作移动时，获得一张背景清晰的第二原始图像，此时，可以取第一原始图像中的拍摄对象对应的图像区域以及第二原始图像中的背景图像区域做融合计算，可以得到一张清晰的包括拍摄对象以及拍摄对象的背景的图像，解决了果冻效应带来的图像质量问题，最终得到的图像可以进一步保存或预览。对于两张图像的融合方式，可以为通过提取拍摄对象的轮廓线得到拍摄对象图像，并将第二原始图像中倾斜的拍摄对象通过同样的方式剔除，再将得到的两者融合得到最终的图像，或通过特征提取的方式提取图像中的特征后，再进行融合，本发明实施例在此不作限定。

可选地、所述图像传感器包括至少一个多光谱像素组，每一个所述多光谱像素组包括至少两个相邻设置的多光谱像素；所述多光谱像素组中每个多光谱像素对应的光谱波段不同。

在本发明实施例中，多光谱像素以多光谱像素组的形式设置在图像传感器中，每个多光谱像素对应的光谱波段不同。例如，若存在两个多光谱像素，则其中一个多光谱像素可以设置为允许10～500nm波段的光谱通过，另一个多光谱像素可以设置为允许501-800nm波段的光谱通过，这样通过不同的多光谱像素可以接收不同波长的光谱信号，通过多光谱像素组可以对拍摄对象反射的光谱信号进行接收并各自得到对应的反射率。

进一步地，多光谱像素组中包括的多光谱像素还可以为4个、6个、9个等个数，当多光谱像素组中包括的多光谱像素还为4个时，每个多光谱像素可以设置允许通过的波段的光谱范围变小，如可以分别设置为：10～200nm、200～400nm、400～600nm以及600～800nm，由于多光谱个数增加，每个多光谱像素接收光谱波段的范围变小，使得多光谱像素组接收光谱信号的划分更加准确，得到的拍摄对象的反射率最佳的光谱信号也更加准确。多光谱像素为其他个数时，划分方法同理，可根据实际进行划分，本申请实施例在此不做限定。

可选地，所述光谱发射器发射的光谱波段的范围包括所述多光谱像素组中每个所述多光谱像素对应的光谱波段，在步骤201之前，还可以包括：

步骤207、控制所述光谱发射器发射不同波段的发射光谱信号。

在本发明实施例中，光谱发射器可以发射不同波段的光谱信号，通过控制光谱发射器发射不同波段的发射光谱信号，可以获得拍摄对象对不同波段的发射光谱信号的反射率情况，以此可以得到拍摄对象的最佳反射率。

步骤208、通过所述多光谱像素获取所述拍摄对象对不同波段的所述发射光谱信号的反射率。

在本发明实施例中，多光谱像素可以对拍摄对象反射的光谱进行检测，通过对反射的光谱的反射率的检测，得到多光谱像素对不同波段的光谱的反射率情况，最终获得目标运动物体反射率最高的目标波段的光谱。

多光谱像素可以对拍摄对象对发射光谱的反射率生成光谱反射率曲线，光谱反射率曲线可以表示拍摄对象对不同波段光谱信号的反射率的大小。参考图6，图6示出了一种拍摄对象对不同波段光谱的反射率曲线图，图6中横坐标表示波段的长度、纵坐标表示反射率的大小，通过图6可以看出拍摄对象对不同波段光谱的反射率大小的值，根据对反射率的值的大小的判断，可以确定反射率最高的光谱的波段。

进一步地，多光谱像素可以通过检测拍摄对象对光谱发射器发射的光谱的发射率，得到拍摄对象的反射率曲线，同样，也可以通过对拍摄对象反射自然光中不同波段的光谱的反射率得到拍摄对象的反射率曲线。具体地，在自然光线较弱时，可以通过光谱发射器发射不同波段的光谱信号，以得到拍摄对象的反射率曲线，通过先获得反射率曲线，可以准确获得拍摄对象具有最佳反射率的波段的光谱信号，防止拍摄对象为特殊材质，如玻璃等材质时，反射率较低，不易捕捉到反射光谱的情况，进一步保证距离计算的准确性。

在本发明实施例中，步骤208具体可以包括：

子步骤2081、获取所述多光谱像素组中每个所述多光谱像素接收到的反射信号值；

在本发明实施例中，多光谱像素接收到的光谱信号，在处理时，会转换为电信号进行处理，经过模数转换等过程可以得到表示光谱信号强度大小的信号值，通过对信号值的比较可以获得多光谱像素接收到的光谱信号的强度大小。

子步骤2082、基于所述发射光谱信号和所述反射信号值确定所述拍摄对象对不同波段光谱信号的反射率。

在本发明实施例中，光谱发射器发射的发射光谱信号有一个对应的可以表征其信号强度大小的信号值，根据反射信号值的大小与光谱发射器发射的发射光谱信号的信号值的大小，可以确定拍摄对象对不同光谱的反射率的大小，反射率大的光谱波段既可以作为目标波段。

步骤209、基于所述反射率确定目标波段；其中，所述目标波段对应的反射率最大。

在本发明实施例中，参考图6，可以看出，600nm左右波段的反射率最高，此时可以将拍摄对象反射率最高的波段对应的光谱作为光谱发射器发射的光谱的目标波段，如目标波段可以为600nm左右长度的光谱波段，以提高可以采集到的反射光谱的概率。

可选地，所述图像传感器的感光层还包括：彩色像素；且所述多光谱像素与彩色像素的比值大于或等于3％且小于或等于50％。

在本发明实施例中，图像传感器可以包括常规的彩色像素与多光谱像素，彩色像素用于生成被拍摄对象的图像，多光谱像素用于实时的获取运动物体的运动信息，多光谱像素组可以均匀的分布在彩色像素中，以对整个图像传感器区域内的运动轨迹均可以实时的获得运动信息。

参考图7，图7示出了彩色像素成像电路图，具体地，彩色像素结构可以为PPD(Pinned Photodiode Pixel，固定光电二极管像素)像素结构。PPD像素包括一个PD1的感光区，即感光二极管，以及4个晶体管分别为：一个复位三极管RST，一个浮置开关TX1，一个行选择器SET，以及一个信号放大器SF，也称为4T像素结构。工作方式如下：

1、曝光，RST和TX1同时打开，以清空PD1，RST和TX1断开后开始曝光，光照射产生的电子-空穴对会因PD1电场的存在而分开，电子移向n区，空穴移向p区。

2、复位，在曝光结束时，激活RST，将读出区复位到高电平。

3、复位电平读出，复位完成后，读出复位电平，其中包含mos(mostet，场效应管)管的偏频噪声，低频噪声以及复位引入的电容噪声，将读出的信号存储在第一个电容中。

4、电荷转移，激活TX，将电荷从感光区完全转移到FD1区读出。

5、信号电平读出，将FD1的电压信号读出到第二个电容。这里的信号包括：光电转换产生的信号，偏频噪声，低频噪声以及复位引入的电容噪声。

6、信号输出，将存储在两个电容中的信号相减得到的信号在经过模拟放大，然后经过模数转换，即可进行数字化信号输出。

需要说明的是，多光谱像素与彩色像素的比值应在预设范围内，若多光谱像素占比过少，或将导致拍摄对象对应在图像传感器的区域不存在多光谱像素时，拍摄对象在这个区域的运动信息不会被捕捉到，若多光谱像素占比过多，甚至超过了彩色像素的数量，则可能导致可以采集图像的彩色像素过少，导致接收的光线偏少，以至于生成的图像不够清晰，因此，可以设置多光谱像素与彩色像素的比值大于或等于3％且小于或等于50％，以保证既可以采集到丰富的色彩信息，又可以捕捉到运动信息，最终得到拍摄清晰的图像，对于多光谱像素的数量，本发明实施例在此不作限定。

可选地，所述感光层包括：多个矩形多光谱像素阵列，所述矩形多光谱像素阵列由多个所述多光谱像素构成；在所述感光层中所述彩色像素为四拜耳阵列分布时，所述矩形多光谱像素阵列处于所述感光层中的一个矩形局部区域的对角位置。

在本发明实施例中，参考图8，图8为感光层的彩色像素的排列为四拜耳排列时，多光谱像素在图像传感器的一种分布方式。图3中R、G、B为常规的彩色像素，P代表多光谱像素，多光谱像素可以以4个一组并形成一个二乘二阵列的形式分布在图像传感器中，在一个图像传感器的矩形局部区域里，多光谱像素可以分布在该区域的两个对角位置，相应地，在该图像传感器的其他局部区域，多光谱像素可以以同样的分布方式进行分布，以保证多光谱像素可以准确实时的采集到拍摄对象的运动信息。本发明实施例对多光谱像素的具体个数以及分布规则不作限定。

可选地，所述感光层包括：多个矩形多光谱像素阵列，所述矩形多光谱像素阵列由多个所述多光谱像素构成；在所述感光层中所述彩色像素为拜耳阵列分布时，所述矩形多光谱像素阵列处于所述感光层中的一个矩形局部区域互相对称的四个位置。

在本发明实施例中，参考图9，图9为感光层的彩色像素的排列为拜耳排列时，多光谱像素在图像传感器的一种分布方式。图9中R、G、B为常规的彩色像素，P代表多光谱像素，多光谱像素可以以4个一组并形成一个二乘二阵列的形式分布在图像传感器中，在一个图像传感器的矩形局部区域里，多光谱像素可以分布在该区域的互相对称的四个位置，相应地，在该图像传感器的其他局部区域，多光谱像素可以以同样的分布方式进行分布。本发明实施例对多光谱像素的个数以及分布规则不作限定。

综上，本发明实施例提供一种图像采集方法，在控制所述图像传感器进行曝光时，通过图像传感器中的多光谱像素和光谱发射器获取拍摄对象的运动信息；基于运动信息确定所述图像传感器的补偿信息；基于补偿信息控制所述图像传感器运动，使得曝光过程中图像传感器相对于所述拍摄对象静止；曝光完成后，输出第一原始图像。在曝光的过程中，通过实时获取拍摄对象的运动信息，以实时的调整摄像头模组运动，使得在曝光每一像素行时，摄像头模组已经完成位移补偿移动，使得图像传感器相对于所述拍摄对象静止，这样，在拍摄运动的拍摄对象时，在不提高曝光速度的情况下也拍摄清晰的运动物体图像，降低了像素失效发生的几率，并且针对不提高曝光速度的曝光方式，还降低了电子设备的使用成本。

本申请实施例提供的图像采集方法，执行主体可以为图像采集装置。本申请实施例中以图像采集装置执行图像采集方法的方法为例，说明本申请实施例提供的图像采集的装置。

图10是本发明实施例提供的一种图像采集装置的框图，该装置应用于电子设备，所述电子设备的图像传感器的感光层包括多光谱像素，所述多光谱像素用于获取运动物体的运动信息，如图10所示，该装置30包括：

运动信息获取模块301，用于通过所述图像传感器中的多光谱像素和所述光谱发射器获取拍摄对象的运动信息；

补偿信息获取模块302，用于基于所述运动信息确定所述图像传感器的补偿信息；

图像传感器移动模块303，用于在控制所述图像传感器进行曝光时，基于所述补偿信息控制所述图像传感器运动，使得曝光过程中所述图像传感器相对于所述拍摄对象静止；

第一原始图像输出模块304，用于曝光完成后，输出第一原始图像。

可选地，所述运动信息包括运动方向和运动速度，所述补偿信息获取模块302，包括：

补偿信息计算子模块，用于根据所述运动方向、运动速度以及读取时间，确定所述图像传感器的移动距离以及移动方向；

可选地，所述装置30包括：

第二原始图像输出模块，用于响应于拍摄操作，获取所述图像传感器采集的第二原始图像。

融合模块，用于对所述第一原始图像与所述第二原始图像进行图像融合，得到目标图像；其中，所述第二原始图像中背景图像的清晰度满足预设条件。

可选地，所述装置30中所述图像传感器包括至少一个多光谱像素组，每一个所述多光谱像素组包括至少两个相邻设置的多光谱像素；所述多光谱像素组中每个多光谱像素对应的光谱波段不同。

可选地，所述光谱发射器发射的光谱波段的范围包括所述多光谱像素组中每个所述多光谱像素对应的光谱波段，所述装置30还包括：

光谱信号发射模块，用于控制所述光谱发射器发射不同波段的发射光谱信号；

反射率获取模块，用于通过所述多光谱像素获取所述拍摄对象对不同波段的所述发射光谱信号的反射率；

目标波段确定模块，基于所述反射率确定目标波段；其中，所述目标波段对应的反射率最大。

可选地，所述反射率获取模块，包括：

反射信号值获取子模块，用于获取所述多光谱像素组中每个所述多光谱像素接收到的反射信号值；

反射率确定子模块，用于基于所述发射光谱信号和所述反射信号值确定所述拍摄对象对不同波段光谱信号的反射率。

可选地，在装置30中所述图像传感器还包括：彩色像素，且所述多光谱像素与彩色像素的比值大于或等于3％且小于或等于50％。

综上，本发明实施例提供一种图像采集装置，在控制所述图像传感器进行曝光时，通过图像传感器中的多光谱像素和光谱发射器获取拍摄对象的运动信息；基于运动信息确定所述图像传感器的补偿信息；基于补偿信息控制所述图像传感器运动，使得曝光过程中图像传感器相对于所述拍摄对象静止；曝光完成后，输出第一原始图像。在曝光的过程中，通过实时获取拍摄对象的运动信息，以实时的调整摄像头模组运动，使得在曝光每一像素行时，摄像头模组已经完成位移补偿移动，使得图像传感器相对于所述拍摄对象静止，这样，在拍摄运动的拍摄对象时，在不提高曝光速度的情况下也拍摄清晰的运动物体图像，降低了像素失效发生的几率，并且针对不提高曝光速度的曝光方式，还降低了电子设备的使用成本。

本申请实施例中的图像采集装置可以是电子设备，也可以是电子设备中的部件，例如集成电路或芯片。该电子设备可以是终端，也可以为除终端之外的其他设备。示例性地，电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、移动上网装置(Mobile Internet Device，MID)、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、机器人、可穿戴设备、超级移动个人计算机(ultra-mobile personalcomputer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，还可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personalcomputer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。

本申请实施例中的图像采集装置可以为具有操作***的装置。该操作***可以为安卓(Android)操作***，可以为ios操作***，还可以为其他可能的操作***，本申请实施例不作具体限定。

本申请实施例提供的图像采集装置能够实现图1至图9的方法实施例实现的各个过程，达到相同的技术效果，为避免重复，这里不再赘述。

可选地，如图11所示，本申请实施例还提供一种电子设备400，包括处理器401和存储器402，存储器402上存储有可在所述处理器401上运行的程序或指令，该程序或指令被处理器401执行时实现上述图像处理方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。

图12为实现本申请实施例的一种电子设备的硬件结构示意图。

该电子设备400包括但不限于：射频单元1001、网络模块1002、音频输出单元1003、输入单元1004、传感器1005、显示单元1006、用户输入单元1007、接口单元1008、存储器1009、以及处理器1010等部件。

本领域技术人员可以理解，电子设备400还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理***与处理器1010逻辑相连，从而通过电源管理***实现管理充电、放电、以及功耗管理等功能。图8中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。

其中，处理器1010，用于通过所述图像传感器中的多光谱像素和所述光谱发射器获取拍摄对象的运动信息；

基于所述运动信息确定所述图像传感器的补偿信息；

在控制所述图像传感器进行曝光时，基于所述补偿信息控制所述图像传感器运动，使得曝光过程中所述图像传感器相对于所述拍摄对象静止；

曝光完成后，输出第一原始图像。

可选地，所述运动信息包括运动方向和运动速度，处理器1010还用于根据所述运动方向、运动速度以及读取时间，确定所述图像传感器的移动距离以及移动方向。

可选地，处理器1010，用于响应于拍摄操作，获取所述图像传感器采集的第二原始图像；对所述第一原始图像与所述第二原始图像进行图像融合，得到目标图像；其中，所述第二原始图像中背景图像的清晰度满足预设条件。

可选地，所述图像传感器包括至少一个多光谱像素组，每一个所述多光谱像素组包括至少两个相邻设置的多光谱像素；所述多光谱像素组中每个多光谱像素对应的光谱波段不同。

可选地，所述光谱发射器发射的光谱波段的范围包括所述多光谱像素组中每个所述多光谱像素对应的光谱波段，处理器1010，还用于控制所述光谱发射器发射不同波段的发射光谱信号；通过所述多光谱像素获取所述拍摄对象对不同波段的所述发射光谱信号的反射率；基于所述反射率确定目标波段；其中，所述目标波段对应的反射率最大。

可选地，处理器1010，还用于获取所述多光谱像素组中每个所述多光谱像素接收到的反射信号值；基于所述发射光谱信号和所述反射信号值确定所述拍摄对象对不同波段光谱信号的反射率。

可选地，所述图像传感器还包括：彩色像素，且所述多光谱像素与彩色像素的比值大于或等于3％且小于或等于50％。

通过处理器1010执行上述方法，在曝光的过程中，通过实时获取拍摄对象的运动信息，以实时的调整摄像头模组运动，使得在曝光每一像素行时，摄像头模组已经完成位移补偿移动，使得图像传感器相对于所述拍摄对象静止，这样，在拍摄运动的拍摄对象时，在不提高曝光速度的情况下也拍摄清晰的运动物体图像，降低了像素失效发生的几率，并且针对不提高曝光速度的曝光方式，还降低了电子设备的使用成本。

应理解的是，本申请实施例中，输入单元1004可以包括图形处理器(GraphicsProcessing Unit，GPU)10041和麦克风10042，图形处理器10041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元1006可包括显示面板10061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板10061。用户输入单元1007包括触控面板10071以及其他输入设备10072中的至少一种。触控面板10071，也称为触摸屏。触控面板10071可包括触摸检测装置和触摸控制器两个部分。其他输入设备10072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。

存储器1009可用于存储软件程序以及各种数据。存储器1009可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作***、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器1009可以包括易失性存储器或非易失性存储器，或者，存储器1009可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器1009包括但不限于这些和任意其它适合类型的存储器。

处理器1010可包括一个或多个处理单元；可选地，处理器1010集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作***、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器1010中。

本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述图像采集方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。

本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述图像采集方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

应理解，本申请实施例提到的芯片还可以称为***级芯片、***芯片、芯片***或片上***芯片等。

本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如上述图像采集方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。

上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种图像采集方法，应用于图像采集装置，所述图像采集装置包括图像传感器和光谱发射器，所述图像传感器上设有多光谱像素，所述方法包括：

在控制所述图像传感器进行曝光时，通过所述图像传感器中的多光谱像素和所述光谱发射器获取拍摄对象的运动信息；

基于所述运动信息确定所述图像传感器的补偿信息；

基于所述补偿信息控制所述图像传感器运动，使得曝光过程中所述图像传感器相对于所述拍摄对象静止；

曝光完成后，输出第一原始图像。

2.根据权利要求1所述的图像采集方法，其特征在于，所述运动信息包括运动方向和运动速度，所述基于所述运动信息确定所述图像传感器的补偿信息，包括：

根据所述运动方向、运动速度以及读取时间，确定所述图像传感器的移动距离以及移动方向。

3.根据权利要求1所述的图像采集方法，其特征在于，所述方法还包括：

响应于拍摄操作，获取所述图像传感器采集的第二原始图像；

对所述第一原始图像与所述第二原始图像进行图像融合，得到目标图像；

其中，所述第二原始图像中背景图像的清晰度满足预设条件。

4.根据权利要求1所述的图像采集方法，其特征在于，所述图像传感器包括至少一个多光谱像素组，每一个所述多光谱像素组包括至少两个相邻设置的多光谱像素；所述多光谱像素组中每个多光谱像素对应的光谱波段不同。

5.根据权利要求4所述的图像采集方法，其特征在于，所述光谱发射器发射的光谱波段的范围包括所述多光谱像素组中每个所述多光谱像素对应的光谱波段，所述通过所述图像传感器中的多光谱像素和所述光谱发射器获取拍摄对象的运动信息之前，所述方法还包括：

控制所述光谱发射器发射不同波段的发射光谱信号；

通过所述多光谱像素获取所述拍摄对象对不同波段的所述发射光谱信号的反射率；

基于所述反射率确定目标波段；

其中，所述目标波段对应的反射率最大。

6.根据权利要求5所述的图像采集方法，其特征在于，所述通过所述多光谱像素获取所述拍摄对象对不同波段的所述光谱信号的反射率，包括：

获取所述多光谱像素组中每个所述多光谱像素接收到的反射信号值；

基于所述发射光谱信号和所述反射信号值确定所述拍摄对象对不同波段光谱信号的反射率。

7.根据权利要求1所述的图像采集方法，其特征在于，所述图像传感器还包括：彩色像素，且所述多光谱像素与彩色像素的比值大于或等于3％且小于或等于50％。

8.一种图像采集装置，其特征在于，所述图像采集装置包括图像传感器和光谱发射器，所述图像传感器上设有多光谱像素，所述装置包括：

运动信息获取模块，用于在控制所述图像传感器进行曝光时，通过所述图像传感器中的多光谱像素和所述光谱发射器获取拍摄对象的运动信息；

补偿信息获取模块，用于基于所述运动信息确定所述图像传感器的补偿信息；

图像传感器移动模块，用于基于所述补偿信息控制所述图像传感器运动，使得曝光过程中所述图像传感器相对于所述拍摄对象静止；

第一原始图像输出模块，用于曝光完成后，输出第一原始图像。

9.根据权利要求8所述的图像采集装置，其特征在于，所述运动信息包括运动方向和运动速度，所述补偿信息获取模块包括：

补偿信息计算子模块，用于根据所述运动方向、运动速度以及读取时间，确定所述图像传感器的移动距离以及移动方向。

10.一种电子设备，其特征在于，包括处理器和存储器、所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至7中任一项所述的图像采集方法的步骤。

Images