CN113938664A - 像素阵列的信号采集方法、图像传感器、设备及存储介质 - Google Patents

Abstract

本申请实施例适用于信号采集技术领域，提供了一种像素阵列的信号采集方法、图像传感器、设备及存储介质，该方法包括：获取像素阵列中的多个像素组分别采集的信号；信号包括像素组中的彩色像素采集的彩色信号以及测距像素采集的距离信号；针对任一当前像素组，根据当前像素组中的距离信号和与当前像素组相邻的相邻像素组中的相邻距离信号，计算得到插值距离信号；以及，根据当前像素组中的彩色信号和相邻像素组中的相邻彩色信号，计算得到插值彩色信号；根据插值距离信号、插值彩色信号、距离信号和彩色信号，生成当前像素组的目标信号。采用上述方法可以使图像传感器获得图像更多的细节信息。

Description

像素阵列的信号采集方法、图像传感器、设备及存储介质

技术领域

本申请属于信号采集技术领域，尤其涉及一种像素阵列的信号采集方法、图像传感器、设备及存储介质。

背景技术

随着图像技术的不断发展，图像采集通常使用于网络视讯、摄像监控、取景摄影等领域。现有技术中，通常是通过图像传感器进行图像获取。

具体的，图像传感器中具有像素阵列，该像素阵列分别通常包含有红色像素(RedPixel)、绿色像素(Green Pixel)和蓝色像素(Blue Pixel)，分别用来采集图像中的红色光分量信号、绿色光分量信号和蓝色光分量信号；而后，图像传感器可对上述三色光信号进行处理，进而还原出每个像素相对应图像信息，得到彩色数据图像。当然，像素阵列中还可以是对应其他颜色光分量信号的像素，例如，黄色像素等；另外，一些情况需要获得黑白图像，像素阵列中为白色像素，或者是获得彩色图像的像素阵列中存在可以透过可见光的白色像素，上述情况的像素皆可以认为是获得图像数据的彩色像素。

然而，采用上述方式得到的彩色数据图像通常为二维平面结构方式，其缺少图像的三维距离深度数据。使得图像传感器无法获得图像更多的细节信息。

前面的叙述在于提供一般的背景信息，并不一定构成现有技术。

发明内容

本申请实施例提供了一种像素阵列的信号采集方法、图像传感器、设备及存储介质，可以使图像传感器获得图像更多的细节信息。

第一方面，本申请实施例提供了一种像素阵列的信号采集方法，应用于图像传感器，该方法包括：

获取像素阵列中的多个像素组分别采集的信号；信号包括像素组中的彩色像素采集的彩色信号以及测距像素采集的距离信号；

针对任一当前像素组，根据当前像素组中的距离信号和与当前像素组相邻的相邻像素组中的相邻距离信号，计算得到插值距离信号；以及，

根据当前像素组中的彩色信号和相邻像素组中的相邻彩色信号，计算得到插值彩色信号

根据插值距离信号、插值彩色信号、距离信号和彩色信号，生成当前像素组的目标信号。

第二方面，本申请实施例提供了一种图像传感器，该装置包括：

获取模块，用于获取像素阵列中的多个像素组分别采集的信号；信号包括像素组中的彩色像素采集的彩色信号以及测距像素采集的距离信号；

插值距离信号计算模块，用于针对任一当前像素组，根据当前像素组中的距离信号和与当前像素组相邻的相邻像素组中的相邻距离信号，计算得到插值距离信号；以及，

插值彩色信号计算模块，用于根据当前像素组中的彩色信号和相邻像素组中的相邻彩色信号，计算得到插值彩色信号；

生成模块，用于根据插值距离信号、插值彩色信号、距离信号和彩色信号，生成当前像素组的目标信号。

第三方面，本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述第一方面中任一项的方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，其特征在于，计算机程序被处理器执行时实现如上述第一方面中任一项的方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第一方面中任一项的方法。

本申请实施例与现有技术相比存在的有益效果是：图像传感器在获取到每个像素组中的彩色像素采集的彩色信号，以及测距像素采集的距离信号后，针对任一当前像素组，图像传感器可以根据当前像素组中的距离信号和与当前像素组中相邻的相邻像素组中的相邻距离信号，计算插值距离信号；根据当前像素组中的距离信号与插值距离信号，生成包含当前当前像素组的目标距离信号。同样的，根据当前像素组中的彩色信号和与当前像素组相邻的相邻像素组中的相邻彩色信号，计算插值彩色信号；根据当前像素组中的彩色信号和插值彩色信号，生成包含当前当前像素组的目标彩色信号。基于此，图像传感器可根据生成后的各个像素组中的目标信号，深度还原出图像的三维距离信息以及彩色信息，以进一步的显示图像更多的细节信息。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请一实施例提供的一种图像传感器的结构示意图；

图2是本申请一实施例提供的一种像素阵列的信号采集方法的实现流程图；

图3是本申请一实施例提供的一组像素组的示意图；

图4是本申请另一实施例提供的一种像素阵列的信号采集方法的实现流程图；

图5是本申请一实施例提供的一种像素阵列的示意图；

图6是本申请一实施例提供的一种像素阵列的信号采集方法的S102的一种实现方式示意图；

图7是本申请一实施例提供的一种只包含距离信号的像素阵列的示意图；

图8是本申请一实施例提供的一种只包含彩色信号的像素阵列的示意图；

图9是本申请又一实施例提供的一种只包含目标距离信号的像素阵列的示意图；

图10是本申请又一实施例提供的一种像素阵列的信号采集方法的实现流程图；

图11是本申请又一实施例提供的一种只包含目标彩色信号的像素阵列的示意图；

图12是本申请另一实施例提供的一组像素组的示意图；

图13是本申请另一实施例提供的一种像素阵列的示意图；

图14是本申请另一实施例提供的一种只包含彩色信号的像素阵列的示意图；

图15是本申请另一实施例提供的一种只包含距离信号的像素阵列的示意图；

图16是本申请另一实施例提供的一种图像传感器的结构示意图；

图17是本申请一实施例提供的一种终端设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定***结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的***、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

本申请实施例提供的像素阵列的信号采集方法可以应用于图像传感器。具体的，图像传感器包含像素阵列11、控制器12、光源发射器13、拜耳阵列插值模块14，距离阵列插值模块15以及信号处理***16。

在一实施例中，上述像素阵列11通常包含有红色像素，绿色像素，蓝色像素和测距像素。其中，红色像素用于采集图像的红色光分量信号；绿色像素用于采集图像的绿色光分量信号；蓝色像素用于采集图像的蓝色光分量信号。

在一实施例中，上述红色像素、绿色像素和蓝色像素，可以是电荷耦合器件型像素，也可以是CMOS图像传感器型像素，对此不作限定。需要说明的是，像素阵列11也可以包含其他像素，例如白色像素、黑色像素或黄色像素，其分别用于采集图像的白色光分量信号、黑色光分量信号以及黄色光分量信号，对此不作限定。也就是说，可以获得任意图像色彩(彩色或者黑白)的像素都可以认为是本发明所提及的彩色像素，以得到所需要的正常的图像信息。本实施例以RGB三色像素进行说明。

在一实施例中，上述测距像素可以是间接飞行时间传感器型像素，也可以是直接飞行时间传感器型像素；其中，测距像素用于采集图像的距离信号。

在一具体实施例中，上述红色像素、绿色像素、蓝色像素和测距像素，以2*2矩阵排列作为一个像素组，多个像素组重复排列成为像素阵列11。

在一实施例中，上述控制器12包含多个电路元器件(图中未示出)，多个电路元件协调工作以控制光源发射器13与像素阵列11协调工作。具体的，控制器12可以用于控制光源发射器13向图像发射正弦连续波光波或脉冲光波，也可以控制像素阵列11对图像执行信号采集。

在一实施例中，上述光源发射器13用于发射正弦连续波光波或脉冲光波，作为测距像素的调制光波发射源；其中，光源发射器13可以是发光二极管、垂直腔面发射激光器或边发射激光器，对此不作限定。

在一实施例中，上述拜耳阵列插值模块14用于对像素阵列11采集的红色光分量信号、绿色光分量1信号和蓝色光分量信号进行插值处理，得到拜耳阵列数据信号格式的目标彩色信号。其中，绿色光分量1可以对应一行像素中相邻蓝色像素之间的绿色像素Gb，也可以对应一行像素中相邻红色像素之间的绿色像素Gr。在本实施例中，绿色光分量1对应绿色像素Gb，绿色光分量2对应绿色像素Gr。

在一实施例中，上述距离阵列插值模块15用于计算出像素阵列11中每个像素组的目标距离信号。

在一实施例中，上述信号处理***16可以用于对彩色阵列信号和距离阵列信号进行处理，在终端设备上输出图像的三维距离深度数据，并还原出每个像素相对应图像信息的彩色数据。

请参阅图2，图2示出了本申请实施例提供的一种像素阵列的信号采集方法的实现流程图，该方法包括如下步骤：

S101、图像传感器获取像素阵列中的多个像素组分别采集的信号；信号包括像素组中的彩色像素采集的彩色信号以及测距像素采集的距离信号。

上述图像传感器以及像素阵列均已在上述进行说明，具体可参照上述图1中的解释。在一实施例中，所述彩色像素包括采集第一彩色信号的第一彩色像素，采集第二彩色信号的第二彩色像素以及采集第三彩色信号的第三彩色像素；第一彩色像素、第二彩色像素、第三彩色像素以及测距像素以2*2矩阵排列。需要说明的是，上述每个像素组中均包括至少两种像素，具体为采集彩色信号的彩色像素，以及采集距离信号的测距像素。其中，对于彩色像素，其包括但不限于红色像素、绿色像素、蓝色像素、白色像素、黑色像素或黄色像素，本实施例对采集像素的种类以及数量不作限定。在一种实施方式中，第一彩色像素为红色像素，第二彩色像素为蓝色像素，第三彩色像素为绿色像素，本实施例以此为例进行说明。

具体的，在本实施例中，以彩色像素的数量为3个为例，且分别为红色像素、绿色像素和蓝色像素为例进行解释。其中，上述红色像素、绿色像素、蓝色像素以及测距像素以2*2矩阵排列，形成一个像素组。并且，对于任一像素组，图像传感器可以设置绿色像素和测距像素以对角的格式进行排列。具体的可参照图3，图3中的字母T表示为测距像素、字母B表示为蓝色像素、字母R表示为红色像素以及Gr表示为绿色像素。从图3中可以看出，绿色像素和测距像素以对角的格式进行排列，以及红色像素和蓝色像素也以对角的格式进行排列。多个像素组重复阵列分布成为像素阵列。

S102、针对任一当前像素组，图像传感器根据当前像素组中的距离信号和与图像传感器像素组相邻的相邻像素组中的相邻距离信号，计算插值距离信号。

在一实施例中，上述当前像素组为当前时刻下被图像传感器进行处理的像素组。基于上述S101对像素组的说明以及图3可知，因多个像素组重复阵列分布成为像素阵列，因此，任一当前像素组均有对应的相邻像素组。基于此，图像传感器可以根据当前像素组中的距离信号和与相邻像素组中的测距像素采集的相邻距离信号，计算插值距离信号。示例性的，图像传感器可以计算距离信号与相邻距离信号的平均值，得到插值距离信号。在一种实施方式中，相邻像素组可以包括与当前像素组具有面接触的像素组，还可以包括与当前像素组具有对角关系的像素组。例如，对于3*3的像素组阵列，中心像素组(当前像素组)周围的八个像素组都可以是这里认为的当前像素组的相邻像素组。

具体的，因像素阵列中包括是三种彩色像素(红色像素、蓝色像素和绿色像素)，因此，可认为上述相邻距离信号同样包括三个。具体的，上述相邻距离信号包括第一相邻距离信号、第二相邻距离信号以及第三相邻距离信号。参照图4，在计算插值距离信号之前，还可包括如下步骤S121-S123，详述如下：

S121、图像传感器根据当前像素组中的红色像素的坐标位置，确定与红色像素相邻的相邻像素组中的测距像素采集的距离信号为第一相邻距离信号。

在一实施例中，参照图3和图5，因多个像素组重复阵列分布成为像素阵列，因此，图像传感器可以预先为每个像素组中的彩色像素设置相应的坐标位置。参照图3，以图3中的像素组为当前像素组为例进行解释说明。

图3中横轴x向右为坐标正方向，纵轴向下为坐标正方向。可以认为坐标位置中参数x1和参数x2分别为大于0的奇数或偶数，坐标位置中参数y1和y2也可以分别为大于0的奇数或偶数，对此不作限定。结合图3，可知图5中各个R、Gr、B和T的排列分布，以及相应的坐标位置。

具体的，参照图3和图5，对于坐标位置为(x1，y2)的红色像素R，其与图3中红色像素R相邻的测距像素在像素阵列的坐标位置则为(x1，y2+1)。基于此，可认为相邻像素组为包含坐标位置(x1，y2+1)的测距像素的像素组。

需要补充的是，处于坐标位置(x1，y1)测距像素T虽然与坐标位置(x1，y2)相邻，但坐标位置(x1，y1)测距像素T与该坐标位置(x1，y2)的红色像素为同一像素组。因此，可以只将坐标位置为(x1，y2+1)的测距像素确定为与红色像素相邻的相邻像素组中的测距像素，此时该相邻像素组中的测距像素采集的距离信号则为第一相邻距离信号。

在一种可实施的方式中，上述与红色像素相邻的测距像素的定义可以是：像素阵列中，图像传感器根据每个像素的坐标位置，分别计算每个测距像素T与红色像素R之间的距离(例如，可以是以像素中心的坐标进行计算该距离)，将距离相差为1(坐标系中相邻两个像素的距离之差为1)的测距像素T确定为与红色像素R相邻的相邻像素组中的测距像素T；也可以为，将距离相差为N之内的多个测距像素T均确定为与红色像素R相邻的相邻像素组中的测距像素T，对此不作限定。也即本实施例中，对与红色像素R相邻的测距像素T的数量不做任何限制，也即对相邻像素组的数量不作限制，上述第一相邻距离信号的数量也同样可以为多个。其中，需要补充的是，分别计算每个测距像素T与红色像素R的距离时，应当排除与红色像素R为同一像素组中的测距像素T。在本实施例中，上述N可以由工作人员根据实际情况进行设置，对此不作限定。

S122、图像传感器根据当前像素组中的蓝色像素的坐标位置，确定与蓝色像素相邻的相邻像素组中的测距像素采集的距离信号为第二相邻距离信号。

在一实施例中，可以理解的是，上述根据像素组中蓝色像素B的坐标位置，确定与蓝色像素B相邻的相邻像素组中的测距像素T采集的距离信号为第二相邻距离信号的方式，与S121中确定与红色像素R相邻的相邻像素组中的测距像素T采集的距离信号为第一相邻距离信号的方式类似，对此不再进行说明。

S123、图像传感器根据当前像素组中的绿色像素的坐标位置，确定与绿色像素相邻的相邻像素组中的测距像素采集的距离信号为第三相邻距离信号。

在一实施例中，在确定与绿色像素Gr相邻的相邻像素组中的测距像素T采集的距离信号为第三相邻距离信号时，其相邻的定义则具有一点不同。具体的，参照图3和图5，对于图3中坐标位置为(x2，y2)的绿色像素Gr，图像传感器也可分别计算每个测距像素T与绿色像素Gr之间的距离。之后，图像传感器可以将距离相差为

的测距像素T，确定为与绿色像素Gr相邻的相邻像素组中的测距像素T；也可以为，将距离相差为N之内的多个测距像素T均确定为与绿色像素Gr相邻的相邻像素组中的测距像素T，对此不作限定。同样的，对与绿色像素Gr相邻的测距像素T的数量不做任何限制，上述第三相邻距离信号的数量也同样可以为多个。同样需要补充的是，分别计算每个测距像素T与绿色像素Gr的距离时，应当排除与绿色像素Gr为同一像素组中的测距像素T。

可以理解的是，此时，与当前像素组中绿色像素Gr相邻的相邻像素组中，每个相邻像素组中的测距像素T均与绿色像素Gr处于对角排列。

基于此，参照图6，在根据上述S121-S123确定出第一相邻距离信号、第二相邻距离信号以及第三相邻距离信号后，图像传感器还可根据如下子步骤S1021-S1023计算插值距离信号。具体的，插值距离信号包括红色插值距离信号、蓝色差值距离信号和绿色插值距离信号。即在一种实施方式中，第一彩色插值距离信号为红色插值距离信号，第二彩色插值距离信号为蓝色插值距离信号，第三彩色插值距离信号为绿色插值距离信号，本实施例以此为例进行说明。

详述如下：

S1021、图像传感器计算第一相邻距离信号与当前像素组中的距离信号的平均值，得到红色插值距离信号。

在一实施例中，在计算插值距离信号时，图像传感器可对像素阵列中多个像素组分别采集的信号进行处理，使其形成为只包含彩色信号的像素阵列，以及只包含距离信号的像素阵列。具体的请参照图7和图8。其中，图7为只包含距离信号的像素阵列。图8为只包含彩色信号的像素阵列。之后，对于计算坐标位置为(x1，y2)的红色像素的红色插值距离信号，图像传感器可计算第一相邻距离信号与当前像素组中距离信号的平均值，得到红色插值距离信号。

具体的，在本实施例中，图像传感器可以将与红色像素距离相差为1的测距像素确定为相邻的测距像素。因此，从图7和图8中可知，相邻的测距像素只有一个，即第一相邻距离信号的数量也只有一个。此时，红色插值距离信号的插值算法表达式为：

其中，Tr(x1，y2)为计算后的坐标位置为(x1，y2)处的红色插值距离信号，T(x1，y2+1)表示为坐标位置为(x1，y2+1)处的第一相邻距离信号，T(x1，y1)为当前像素组中的距离信号。

S1022、图像传感器计算第二相邻距离信号与当前像素组中的距离信号的平均值，得到蓝色插值距离信号。

在一实施例中，计算像素阵列中坐标位置为(x2，y1)处的蓝色插值距离信号的方式，与上述S1021中计算红色插值距离信号的计算方式类似。具体的，在本实施例中，图像传感器可以将与蓝色像素距离相差为1的测距像素确定为相邻的测距像素。因此，从图7和图8中可知，相邻的测距像素只有一个，即第二相邻距离信号的数量也只有一个。此时，蓝色插值距离信号的插值算法表达式为：

其中，Tb(x2，y1)为计算后的坐标位置为(x2，y1)处的蓝色插值距离信号，T(x1，y1)为当前像素组中的距离信号，T(x2+1，y1)表示为坐标位置为(x2+1，y1)处的第二相邻距离信号。

S1023、图像传感器计算第三相邻距离信号与当前像素组中的距离信号的平均值，得到绿色插值距离信号。

在一实施例中，计算像素阵列中坐标位置为(x2，y2)处的蓝色插值距离信号的方式，与上述S1021中计算红色插值距离信号的计算方式类似。具体的，在本实施例中，图像传感器可以将与绿色像素距离相差为

的测距像素确定为相邻的测距像素。因此，从图7和图8中可知，相邻的测距像素具有3个，即第三相邻距离信号的数量也有3个。此时，计算绿色插值距离信号的插值算法表达式则为：

其中，Tgr(x2，y2)为计算后的坐标位置为(x2，y2)处的绿色插值距离信号，T(x1，y1)为当前像素组中的距离信号，T(x1，y2+1)表示为坐标位置为(x1，y2+1)处的第三相邻距离信号，T(x2+1，y1)表示为坐标位置为(x2+1，y1)处的第三相邻距离信号，T(x2+1，y2+1)表示为坐标位置为(x2+1，y2+1)处的第三相邻距离信号。

基于此，可以看出，在图像传感器执行完S1021-S1023后，可以得到坐标位置分别为(x1，y2)处的红色插值距离信号Tr，坐标位置为(x2，y1)处的蓝色插值距离信号Tb，以及坐标位置为(x2，y2)处的绿色插值距离信号Tgr。此时，结合当前像素组中原本坐标位置为(x1，y1)处的距离信号T可知，该当前像素组中每个坐标位置下的彩色像素此时均分别含有一个距离信号。即将计算出的Tr，Tb以及Tgr分别根据坐标位置对图7进行插值处理后，可生成如图9所示的只包含距离信号的像素阵列。即基于红色插值距离信号、蓝色插值距离信号、绿色插值距离信号以及当前像素组中的距离信号得到距离图像信息，以生成当前像素组的目标距离信号。其中，图9包含的Tgb为原本处于该坐标位置上的测距像素采集的测距信号T。

S103、图像传感器根据当前像素组中的彩色信号和相邻像素组中的相邻彩色信号，计算插值彩色信号。

在一实施例中，同样的，在基于上述S121-S123中基础上可知，在计算插值彩色信号之前，图像传感器也需要从像素阵列确定与当前像素组相邻的相邻像素组中的相邻彩色信号。其中，确认相邻彩色信号的方式可以是：根据当前像素组中的测距像素的坐标位置，确定与测距像素相邻的相邻像素组中的目标彩色像素为相邻目标彩色像素；根据相邻目标彩色像素采集的彩色信号确定相邻彩色信号，并基于相邻彩色信号得到插值彩色信号。例如，可以当测距像素替换传统拜耳基像素阵列中的某一像素时，相邻像素组中与该像素直接相邻的彩色像素作为目标彩色像素，如测距像素替换黑白像素阵列中的一个像素，则此时该测距像素周围具有两个直接相邻的相邻像素中的黑白像素，作为此处的目标彩色像素。进一步，可以基于这两个相邻像素中的目标彩色像素和当前像素组中与该测距像素直接相邻的两个黑白像素求平均值，从而计算出该位置的插值彩色信号。

在本发明提供的一种实施例中，以目标彩色像素为绿色像素进行示例说明。参照图10，图像传感器也可以通过如下步骤S131-S132确定相邻彩色信号，详述如下：

S131、图像传感器根据当前像素组中的测距像素的坐标位置，确定与测距像素相邻的相邻像素组中的绿色像素为相邻绿色像素。

S132、图像传感器根据相邻绿色像素采集的绿色信号确定相邻彩色信号，其中，基于相邻彩色信号得到插值彩色信号。

在一示例中，上述方式可以理解为，每一像素组中具有两个绿色像素，其中一个绿色像素被替换为测距像素，从而可以利用当前像素组中另外的一个绿色像素和相邻像素组中的绿色像素将测距位置的绿色像素信号插值出。

在一实施例中，对于像素组中包含的多种彩色像素，图像传感器可根据当前像素组中测距像素的坐标位置，确定与测距像素相邻的绿色像素为相邻绿色像素，并将相邻绿色像素采集的绿色信号作为相邻彩色信号。此时，包含相邻绿色像素的像素组即为相邻像素组。即图像传感器并非将所有与测距像素相邻的像素组均确定为相邻像素组。

在一具体实施例中，在根据当前像素组中的测距像素的坐标位置，确定与测距像素相邻的相邻像素组中的绿色像素为相邻绿色像素中，与测距像素相邻的定义与上述S121-S123中关于对相邻的定义的解释类似。具体的，参照图3和图5，对于图3中坐标位置为(x1，y1)的测距像素T，图像传感器可以分别计算测距像素T与每个绿色像素Gr之间的距离。之后，图像传感器可以将距离相差为

的绿色像素Gr，确定为相邻像素组中的相邻绿色像素。即将坐标位置为(x1-1，y1-1)、(x1-1，y2)、(x2，y1-1)的绿色像素确定为相邻像素组中的相邻绿色像素。也可以为，将距离相差为N之内的多个绿色像素Gr均确定为相邻像素组中的相邻绿色像素，对此不作限定。同样的，本实施例中，对相邻像素组以及相邻绿色像素的数量不做任何限制，上述相邻彩色信号的数量也同样可以为多个。之后，图像传感器可将所有相邻绿色像素采集的绿色信号均确定为相邻彩色信号。

需要补充的是，分别计算每个绿色像素Gr与测距像素T之间的距离时，应当排除与测距像素T为同一像素组中的绿色像素Gr。即排除坐标位置为(x2，y2)绿色像素Gr。

基于此，在根据上述S131-S132确定出相邻彩色信号信号后，图像传感器还可根据相邻彩色信号与当前像素组中的绿色信号计算插值彩色信号。具体的，图像传感器可通过计算相邻彩色信号与当前像素组中的绿色信号的平均值，得到插值彩色信号。

在一具体实施例中，计算像素阵列中坐标位置为(x1，y1)处的插值彩色信号的方式，与上述S1023中计算绿色插值距离信号的计算方式类似。具体的，在本实施例中，图像传感器可以将与当前像素组中的测距像素距离相差为

的绿色像素确定为相邻的彩色像素。因此，从图7和图8中可知，相邻绿色像素的数量为3个，且三个相邻绿色像素与当前像素组中的绿色像素关于当前像素组中的测距像素呈对称分布。基于此可知，相邻彩色信号的数量也有3个。此时，计算插值彩色信号的插值算法表达式则可以为：

其中，Gb(x1，y1)为计算后的坐标位置为(x1，y1)处的插值彩色信号，T(x1-1，y1-1)表示为坐标位置为(x1-1，y1-1)处的相邻彩色信号，T(x1-1，y2)表示为坐标位置为(x1-1，y2)处的相邻彩色信号，T(x2，y1-1)表示为坐标位置为(x2，y1-1)处的相邻彩色信号，Gr(x2，y2)为当前像素组中的绿色信号。

基于此，可以看出，在图像传感器执行完S103后，可以得到坐标位置为(x1，y1)处的插值彩色信号Gb。此时，参照图8，结合当前像素组中原本坐标位置分别为(x2，y1)的蓝色信号B，坐标位置为(x1，y2)处的红色信号R，以及坐标位置为(x2，y2)处的绿色信号Gr可知，该当前像素组中的测距像素的坐标位置上此时含有一个插值彩色信号Gb。即针对任意一个当前像素组，图像传感器可将计算出的Gb根据坐标位置对图8进行插值处理后，可生成如图11所示的只包含彩色信号的像素阵列。即基于插值彩色信号GB以及当前像素组中的彩色像素采集的彩色信号得到彩色图像信息，以生成当前像素组的目标彩色信号。

S104、图像传感器根据插值距离信号、插值彩色信号、距离信号和彩色信号，生成当前像素组的目标信号。

在一实施例中，基于上述S101-S103中的解释说明，在计算出插值距离信号后，图像传感器可以得到只由红色插值距离信号Tr，蓝色插值距离信号Tb，绿色插值距离信号Tgr，以及当前像素组中的距离信号Tb组成的目标距离信号。具体可参照图9。以及，在计算出插值彩色信号后，图像传感器可以得到只由插值彩色信号GB、当前像素组中的蓝色信号B，红色信号R，以及绿色信号Gr生成的当前像素组的目标彩色信号。具体可参照图11。

在本实施例中，图像传感器在获取到每个像素组中的彩色像素采集的彩色信号，以及测距像素采集的距离信号后，针对任一当前像素组，图像传感器可以根据当前像素组中的距离信号和与当前像素组中相邻的相邻像素组中的相邻距离信号，计算插值距离信号；根据当前像素组中的距离信号与插值距离信号，生成包含当前当前像素组的目标距离信号。同样的，根据当前像素组中的彩色信号和与当前像素组相邻的相邻像素组中的相邻彩色信号，计算插值彩色信号；根据当前像素组中的彩色信号和插值彩色信号，生成包含当前当前像素组的目标彩色信号。基于此，图像传感器可根据生成后的各个像素组中的目标信号，深度还原出图像的三维距离信息以及彩色信息，以进一步的显示图像更多的细节信息。

需要说明的是，上述步骤S101-S103顺序并不严格代表本发明所保护方法的步骤顺序，本领域技术人员可以依据实际情况进行调换、合并以及拆分等，上述步骤仅为采集方法中一种顺序的示例。

在另一具体实施例中，参照图12，该图中各个像素的排列方式与图3显示的红色像素、绿色像素、蓝色像素以及测距像素的排列方式略有不同。具体的，图12中当前像素组中绿色像素的坐标位置与测距像素的坐标位置对调，即此时绿色像素在像素阵列中的坐标位置为(x1，y1)，测距像素在像素阵列中的坐标位置为(x2，y2)，保持其余红色像素R以及蓝色像素B的坐标位置不变。即，在实施例中，测距像素替换原有绿色光分量2对应绿色像素Gr。

可以理解的是，基于图12中各个像素的排列方式，图像传感器在对由图12生成的像素阵列进行处理，生成像素组的目标信号的过程，应当与上述S101-S104，S121-S123、S131-S132以及S1021-S1024的步骤相似，对此不再进行说明。

需要说明的是，基于图12中各个像素的排列方式生成的像素阵列具体如图13所示。具体的，参照12，横轴x向右为坐标正方向，纵轴y向下为坐标正方向；Gb表示为绿色像素，坐标位置为(x1，y1)；字母B表示为蓝色像素，坐标位置(x2，y1)；字母R表示为红色像素，坐标位置(x1，y2)；字母T表示为测距像素，坐标位置为(x2，y2)；坐标位置参数x1和x2分别为大于0的奇数或偶数，坐标位置参数y1和y2分别为大于0的奇数或偶数。

此时，在计算插值距离信号时，图像传感器对像素阵列中多个像素组分别采集的信号进行处理，使其***成为只包含彩色信号的像素阵列，应当如14所示；以及，只包含距离信号的像素阵列，应当如图15所示。

需要进一步说明的是，在该实施例中，计算红色插值距离信号的插值算法表达式则改为：

此时，Tr(x1，y2)为计算后的坐标位置为(x1，y2)处的红色插值距离信号，T(x2，y2)为当前像素组中的距离信号，T(x1-1，y2)表示为坐标位置为(x1-1，y2)处的第一相邻距离信号。

计算蓝色插值距离信号的插值算法表达式则改为：

此时，Tb(x2，y1)为计算后的坐标位置为(x1，y2)处的蓝色插值距离信号，T(x2，y2)为当前像素组中的距离信号，T(x2，y1-1)表示为坐标位置为(x2，y1-1)处的第二相邻距离信号。

计算绿色插值距离信号的插值算法表达式则改为：

此时，Tgb(x1，y1)为计算后的坐标位置为(x1，y1)处的绿色插值距离信号，T(x2，y2)为当前像素组中的距离信号，T(x1-1，y1-1)表示为坐标位置为(x1-1，y1-1)处的第三相邻距离信号，T(x1-1，y2)表示为坐标位置为(x1-1，y2)处的第三相邻距离信号，T(x2，y1-1)表示为坐标位置为(x2，y1-1)处的第三相邻距离信号。

计算插值彩色信号的插值算法表达式则可以为：

此时，Gr(x2，y2)为计算后的坐标位置为(x，y2)处的插值彩色信号，T(x1，y2+1)表示为坐标位置为(x1，y2+1)处的相邻彩色信号，T(x2+1，y1)表示为坐标位置为(x2+1，y1)处的相邻彩色信号，T(x2+1，y2+1)表示为坐标位置为(x2+1，y2+1)处的相邻彩色信号，Gb(x1，y1)为当前像素组中的绿色信号。

请参阅图16，图16是本申请另一实施例提供的一种图像传感器的结构框图。本实施例中图像传感器包括的各模块用于执行图2、图4、图6和图10对应的实施例中的各步骤。具体请参阅图2、图4、图6和图10以及图2、图4、图6和图10所对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部分。参见图16，图像传感器1600可以包括：获取模块1610、插值距离信号计算模块1620、插值彩色信号计算模块1630以及生成模块1640，其中：

获取模块1610，用于获取像素阵列中的多个像素组分别采集的信号；信号包括像素组中的彩色像素采集的彩色信号以及测距像素采集的距离信号。

插值距离信号计算模块1620，用于针对任一当前像素组，根据当前像素组中的距离信号和与当前像素组相邻的相邻像素组中的相邻距离信号，计算得到插值距离信号。以及，

插值彩色信号计算模块1630，用于根据当前像素组中的彩色信号和相邻像素组中的相邻彩色信号，计算得到插值彩色信号；

生成模块1640，用于根据插值距离信号、插值彩色信号、距离信号和彩色信号，生成当前像素组的目标信号。

在一实施例中，彩色像素包括采集第一彩色信号的第一彩色像素，采集第二彩色信号的第二彩色像素以及采集第三彩色信号的第三彩色像素；第一彩色像素、第二彩色像素、第三彩色像素以及测距像素以2*2矩阵排列。

在一实施例中，在任一像素组中，第一彩色像素为红色像素，第二彩色像素为蓝色像素，第三彩色像素为绿色像素；绿色像素和测距像素对角排列。

在一实施例中，相邻距离信号包括第一相邻距离信号、第二相邻距离信号以及第三相邻距离信号；图像传感器1600还包括：

红色相邻距离信号计算模块，用于根据当前像素组中的第一彩色像素的坐标位置，确定与第一彩色像素相邻的相邻像素组中的测距像素采集的距离信号为第一相邻距离信号。

蓝色相邻距离信号计算模块，用于根据当前像素组中的第二彩色像素的坐标位置，确定与第二彩色像素相邻的相邻像素组中的测距像素采集的距离信号为第二相邻距离信号。

绿色相邻距离信号计算模块，用于根据当前像素组中的第三彩色像素的坐标位置，确定与第三彩色像素相邻的相邻像素组中的测距像素采集的距离信号为第三相邻距离信号。

在一实施例中，第一相邻距离信号的数量为一个；第二相邻距离信号的数量为一个；第三相邻距离信号的数量为三个。

在一实施例中，插值距离信号包括第一彩色插值距离信号、第三彩色差值距离信号和第三彩色插值距离信号；插值距离信号计算模块1620还用于：

计算第一相邻距离信号与距离信号的平均值，得到第一彩色插值距离信号；以及，计算第二相邻距离信号与距离信号的平均值，得到第二彩色插值距离信号；以及，计算第三相邻距离信号与距离信号的平均值，得到第三彩色插值距离信号；

其中，基于第一彩色插值距离信号、第二彩色插值距离信号、第三彩色插值距离信号以及当前像素组中的距离信号得到距离图像信息，以生成当前像素组的目标距离信号。

在一实施例中，图像传感器1600还包括：

相邻绿色像素确定模块课，用于根据当前像素组中的测距像素的坐标位置，确定与测距像素相邻的相邻像素组中的目标彩色像素为相邻彩色像素。

相邻彩色信号确定模块，用于根据相邻彩色像素采集的彩色信号确定相邻彩色信号，其中，基于相邻彩色信号得到插值彩色信号。

在一实施例中，目标彩色像素为绿色像素。

在一实施例中，插值彩色信号计算模块1630还用于：

计算相邻彩色信号与当前像素组中的绿色信号的平均值，得到插值彩色信号；其中，基于插值彩色信号以及当前像素组中的彩色像素采集的彩色信号得到彩色图像信息，以生成当前像素组的目标彩色信号。

在一实施例中，相邻绿色像素的数量为三个，且三个相邻绿色像素与当前像素组中的绿色像素关于当前像素组中的测距像素呈对称分布。

当理解的是，图16示出的图像传感器的结构框图中，各模块用于执行图2、图4、图6和图10对应的实施例中的各步骤，而对于图2、图4、图6和图10对应的实施例中的各步骤已在上述实施例中进行详细解释，具体请参阅图图2、图4、图6和图10以及图2、图4、图6和图10所对应的实施例中的相关描述，此处不再赘述。

图17是本申请一实施例提供的一种终端设备的结构框图。如图17所示，该实施例的终端设备1700包括：处理器1710、存储器1720以及存储在存储器1720中并可在处理器1710运行的计算机程序1730，例如像素阵列的信号采集方法的程序。处理器1710执行计算机程序1730时实现上述各个像素阵列的信号采集方法各实施例中的步骤，例如图1所示的S101至S104。或者，处理器1710执行计算机程序1730时实现上述图16对应的实施例中各模块的功能，例如，图16所示的模块1610至1640的功能，具体请参阅图16对应的实施例中的相关描述。

示例性的，计算机程序1730可以被分割成一个或多个模块，一个或者多个模块被存储在存储器1720中，并由处理器1710执行，以实现本申请实施例提供的像素阵列的信号采集方法。一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序1730在终端设备1700中的执行过程。例如，计算机程序1730可以实现本申请实施例提供的像素阵列的信号采集方法。

终端设备1700可包括，但不仅限于，处理器1710、存储器1720。本领域技术人员可以理解，图17仅仅是终端设备1700的示例，并不构成对终端设备1700的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如终端设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器1710可以是中央处理单元，还可以是其他通用处理器、数字信号处理器、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器1720可以是终端设备1700的内部存储单元，例如终端设备1700的硬盘或内存。存储器1720也可以是终端设备1700的外部存储设备，例如终端设备1700上配备的插接式硬盘，智能存储卡，闪存卡等。进一步地，存储器1720还可以既包括终端设备1700的内部存储单元也包括外部存储设备。

本申请实施例提供了一种终端设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述各个实施例中的像素阵列的信号采集方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述各个实施例中的像素阵列的信号采集方法。

第五方面，本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述各个实施例中的像素阵列的信号采集方法。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (13)

1.一种像素阵列的信号采集方法，其特征在于，应用于图像传感器，所述方法包括：

获取像素阵列中的多个像素组分别采集的信号；所述信号包括所述像素组中的彩色像素采集的彩色信号以及测距像素采集的距离信号；

针对任一当前像素组，根据所述当前像素组中的距离信号和与所述当前像素组相邻的相邻像素组中的相邻距离信号，计算得到插值距离信号；以及，

根据所述当前像素组中的彩色信号和所述相邻像素组中的相邻彩色信号，计算得到插值彩色信号；

根据所述插值距离信号、所述插值彩色信号、所述距离信号和所述彩色信号，生成所述当前像素组的目标信号。

2.根据权利要求1所述的像素阵列的信号采集方法，其特征在于，所述彩色像素包括采集第一彩色信号的第一彩色像素，采集第二彩色信号的第二彩色像素以及采集第三彩色信号的第三彩色像素；

所述第一彩色像素、所述第二彩色像素、所述第三彩色像素以及所述测距像素以2*2矩阵排列。

3.根据权利要求2所述的像素阵列的信号采集方法，其特征在于，所述第一彩色像素为红色像素，所述第二彩色像素为蓝色像素，所述第三彩色像素为绿色像素；在任一所述像素组中，所述绿色像素和所述测距像素对角排列。

4.根据权利要求2或3所述的像素阵列的信号采集方法，其特征在于，所述相邻距离信号包括第一相邻距离信号、第二相邻距离信号以及第三相邻距离信号，计算所述插值距离信号之前，还包括；

根据所述当前像素组中的第一彩色像素的坐标位置，确定与所述第一彩色像素相邻的所述相邻像素组中的测距像素采集的距离信号为第一相邻距离信号；

根据所述当前像素组中的第二彩色像素的坐标位置，确定与所述第二彩色像素相邻的所述相邻像素组中的测距像素采集的距离信号为第二相邻距离信号；

根据所述当前像素组中的第三彩色像素的坐标位置，确定与所述第三彩色像素相邻的所述相邻像素组中的测距像素采集的距离信号为第三相邻距离信号。

5.根据权利要求4所述的像素阵列的信号采集方法，其特征在于，所述第一相邻距离信号的数量为一个；所述第二相邻距离信号的数量为一个；所述第三相邻距离信号的数量为三个。

6.根据权利要求4所述的像素阵列的信号采集方法，其特征在于，所述插值距离信号包括第一彩色插值距离信号、第二彩色插值距离信号和第三彩色插值距离信号；计算所述当前像素组中的所述插值距离信号，包括：

计算所述第一相邻距离信号与所述当前像素组中的所述距离信号的平均值，得到所述第一彩色插值距离信号；以及，

计算所述第二相邻距离信号与所述当前像素组中的所述距离信号的平均值，得到所述第二彩色插值距离信号；以及，

计算所述第三相邻距离信号与所述当前像素组中的所述距离信号的平均值，得到所述第三彩色插值距离信号；

其中，基于所述第一彩色插值距离信号、所述第二彩色插值距离信号、所述第三彩色插值距离信号以及所述当前像素组中的所述距离信号得到距离图像信息，以生成所述当前像素组的目标距离信号。

7.根据权利要求2或3所述的像素阵列的信号采集方法，其特征在于，在计算所述插值彩色信号之前，还包括：

根据所述当前像素组中的所述测距像素的坐标位置，确定与所述测距像素相邻的所述相邻像素组中的目标彩色像素为相邻彩色像素；

根据所述相邻彩色像素采集的彩色信号确定所述相邻彩色信号，其中，基于所述相邻彩色信号得到所述插值彩色信号。

8.根据权利要求7所述的像素阵列的信号采集方法，其特征在于，所述目标彩色像素为绿色像素。

9.根据权利要求8所述的像素阵列的信号采集方法，其特征在于，计算所述插值彩色信号，包括：

计算所述相邻彩色信号与所述当前像素组中的绿色信号的平均值，得到所述插值彩色信号；

其中，基于所述插值彩色信号以及所述当前像素组中的彩色像素采集的彩色信号得到彩色图像信息，以生成所述当前像素组的目标彩色信号。

10.根据权利要求9所述的像素阵列的信号采集方法，其特征在于，所述相邻绿色像素的数量为三个，且三个所述相邻绿色像素与所述当前像素组中的所述绿色像素关于所述当前像素组中的测距像素呈对称分布。

11.一种图像传感器，适用于权利要求1-10中任意一项所述的像素阵列的信号采集方法，其特征在于，包括：

获取模块，用于获取像素阵列中的多个像素组分别采集的信号；所述信号包括所述像素组中的彩色像素采集的彩色信号以及测距像素采集的距离信号；

插值距离信号计算模块，用于针对任一当前像素组，根据所述当前像素组中的距离信号和与所述当前像素组相邻的相邻像素组中的相邻距离信号，计算得到插值距离信号；以及，

插值彩色信号计算模块，用于根据所述当前像素组中的彩色信号和所述相邻像素组中的相邻彩色信号，计算得到插值彩色信号；

生成模块，用于根据所述插值距离信号、所述插值彩色信号、所述距离信号和所述彩色信号，生成所述当前像素组的目标信号。

12.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至10任一项所述的方法。

13.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至10任一项所述的方法。

Images