CN112243095B - 像素合成模式下的pd像素的读取方法及装置、存储介质、图像采集设备 - Google Patents

Abstract

一种像素合成模式下的PD像素的读取方法及装置、存储介质、图像采集设备，所述方法包括：将图像传感器像素阵列中包含所述PD像素的像素行记为PD像素行，将除所述PD像素行之外的其他像素行记为非PD像素行；针对各个最小处理单元，将所述非PD像素行分为至少两个非PD像素行组，每个非PD像素行组包含一行或多行；根据各个非PD像素行组中的非PD像素行，进行第一合成读取，以得到各个非PD像素行组的读取数据；根据所述各个非PD像素行组的读取数据，进行第二合成读取。本发明可以提高读取效率，并且使得读取数据携带更多PD像素的特性。

Description

像素合成模式下的PD像素的读取方法及装置、存储介质、图像 采集设备

技术领域

本发明涉及图像传感器领域，尤其涉及一种像素合成模式下的PD像素的读取方法及装置、存储介质、图像采集设备。

背景技术

随着智能手机的普及，人们对移动智能终端的图像拍摄质量的需求日益提高。

在现有技术中，为了实现更加快速的对焦，可以采用相位检测自动对焦(PhaseDetection Auto Focus，PDAF)技术，并设置一定数量的相位检测(Phase Detection，PD)像素。所述PD像素可以设置于图像传感器像素阵列中，例如与具有成像功能的像素相邻放置，并作为非成像像素实现相位检测功能。

然而在现有技术中，当采用像素合成(Binning)模式读取时，容易出现读取准确性以及聚焦效果较低的问题。

发明内容

本发明解决的技术问题是提供一种像素合成模式下的PD像素的读取方法及装置、存储介质、图像采集设备，可以提高读取效率，并且使得读取数据携带更多PD像素的特性。

为解决上述技术问题，本发明实施例提供一种像素合成模式下的PD像素的读取方法，包括以下步骤：将图像传感器像素阵列中包含所述PD像素的像素行记为PD像素行，将除所述PD像素行之外的其他像素行记为非PD像素行，所述图像传感器像素阵列包含多个最小处理单元，每个最小处理单元包含2M×2N个相邻的像素，其中，每个最小处理单元包含一个或多个PD像素，m、n为正整数且m≥2，n≥2；针对各个最小处理单元，将所述非PD像素行分为至少两个非PD像素行组，每个非PD像素行组包含一行或多行；根据各个非PD像素行组中的非PD像素行，进行第一合成读取，以得到各个非PD像素行组的读取数据；根据所述各个非PD像素行组的读取数据，进行第二合成读取。

可选的，所述的PD像素的读取方法还包括：采用全尺寸读取方式，读取所述PD像素行中的各个PD像素以得到PD读取数据，以及读取所述PD像素行中的各个非PD像素以得到PD行非PD读取数据。

可选的，所述图像传感器像素阵列为四像素单元阵列，每个最小处理单元包含至少两组同色的2×2像素组；所述非PD像素行组包括第一非PD像素行组以及第二非PD像素行组；其中，所述第一非PD像素行组仅包含同色的2×2像素组，所述第二非PD像素行组包含与所述PD像素行相邻的非PD像素行。

可选的，所述根据各个非PD像素行组中的非PD像素行，进行第一合成读取包括：针对所述第一非PD像素行组，分别对每个同色的2×2像素组中的像素进行第一合成读取，以得到第一非PD像素行组的读取数据；针对所述第二非PD像素行组，分别对同色的非PD像素进行第一合成读取，以得到第二非PD像素行组的读取数据。

可选的，根据所述各个非PD像素行组的读取数据，进行第二合成读取包括：在所述第二非PD像素行组的读取数据以及所述PD行非PD读取数据中，对同色非PD像素的读取数据进行第二合成读取。

可选的，所述图像传感器像素阵列为RGB拜耳阵列结构，每个最小处理单元包含至少两组相邻的2×2拜耳像素组，每个2×2拜耳像素组包含第一行拜耳像素以及第二行拜耳像素；所述非PD像素行组包括第一非PD像素行组以及第二非PD像素行组；其中，所述第一非PD像素行组包含在行方向上相邻两组2×2拜耳像素组的第一行拜耳像素所在的像素行，以及与所述PD像素行相邻的非PD像素行；所述第二非PD像素行组包含相邻两组2×2拜耳像素组的第二行拜耳像素所在的像素行。

可选的，所述根据各个非PD像素行组中的非PD像素行，进行第一合成读取包括：针对所述第一非PD像素行组，在所述第一行拜耳像素所在的像素行以及非PD像素行中，选取同色的像素进行第一合成读取，以得到第一非PD像素行组的读取数据；针对所述第二非PD像素行组，分别对同色的非PD像素进行第一合成读取，以得到第二非PD像素行组的读取数据。

可选的，根据所述各个非PD像素行组的读取数据，进行第二合成读取包括：在所述第二非PD像素行组的读取数据以及所述PD行非PD读取数据中，对同色非PD像素的读取数据进行第二合成读取。

可选的，采用模拟电路单元对待读取的像素进行第一合成读取；采用数字处理单元对待读取的读取数据进行第二合成读取。

可选的，在根据所述各个非PD像素行组的读取数据，进行第二合成读取之前，所述的PD像素的读取方法还包括：确定一行非PD像素行，作为二次合并行；将所述二次合并行中的2M个像素，与所述PD像素行中同列的像素进行逐一合并，以得到2M个合并读取数据。

可选的，所述图像传感器像素阵列为四像素单元阵列，每个最小处理单元包含至少两组同色的2×2像素组；所述非PD像素行组包括第一非PD像素行组；其中，所述第一非PD像素行组仅包含同色的2×2像素组。

可选的，所述根据各个非PD像素行组中的非PD像素行，进行第一合成读取包括：针对所述第一非PD像素行组，分别对每个同色的2×2像素组中的每列像素进行第一合成读取，以得到第一非PD像素行组的读取数据。

可选的，所述二次合并行与所述PD像素行相邻；根据所述各个非PD像素行组的读取数据，进行第二合成读取包括：在所述第一非PD像素行组的读取数据以及所述2M个合并读取数据中，对同色像素的读取数据进行第二合成读取。

可选的，所述图像传感器像素阵列为RGB拜耳阵列结构，每个最小处理单元包含至少两组相邻的2×2拜耳像素组，每个2×2拜耳像素组包含第一列拜耳像素以及第二列拜耳像素；所述非PD像素行组包括第一非PD像素行组；其中，所述第一非PD像素行组包含在行方向上相邻的两组2×2拜耳像素组所在的像素行。

可选的，所述根据各个非PD像素行组中的非PD像素行，进行第一合成读取包括：针对所述第一非PD像素行组，在每个像素列中，选取同色的像素进行第一合成读取，以得到第一非PD像素行组的读取数据。

可选的，所述二次合并行与所述PD像素行间隔一行；根据所述各个非PD像素行组的读取数据，进行第二合成读取包括：在所述第一非PD像素行组的读取数据以及所述2M个合并读取数据中，对同色像素的读取数据进行第二合成读取。

为解决上述技术问题，本发明实施例提供一种像素合成模式下的PD像素的读取装置，包括：像素行确定模块，用于将图像传感器像素阵列中包含所述PD像素的像素行记为PD像素行，将除所述PD像素行之外的其他像素行记为非PD像素行，所述图像传感器像素阵列包含多个最小处理单元，每个最小处理单元包含2M×2N个相邻的像素，其中，每个最小处理单元包含一个或多个PD像素，m、n为正整数且m≥2，n≥2；分组模块，用于针对各个最小处理单元，将所述非PD像素行分为至少两个非PD像素行组，每个非PD像素行组包含一行或多行；第一合成读取模块，用于根据各个非PD像素行组中的非PD像素行，进行第一合成读取，以得到各个非PD像素行组的读取数据；第二合成读取模块，用于根据所述各个非PD像素行组的读取数据，进行第二合成读取。

为解决上述技术问题，本发明实施例提供一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述像素合成模式下的PD像素的读取方法的步骤。

为解决上述技术问题，本发明实施例提供一种图像采集设备，包括图像传感器像素阵列和控制器，所述控制器用于执行上述像素合成模式下的PD像素的读取方法，以对所述图像传感器像素阵列中的PD像素进行读取。

与现有技术相比，本发明实施例的技术方案具有以下有益效果：

在本发明实施例中，通过设置根据各个非PD像素行组中的非PD像素行，进行第一合成读取，以及根据所述各个非PD像素行组的读取数据，进行第二合成读取的步骤，可以对非PD像素行进行二次处理，相比于现有技术中，采用全尺寸读取方式读取全部像素，采用本发明实施例的方案，可以提高读取效率。进一步地，采用本发明实施例的方案，有机会对PD像素进行单独处理，从而使得读取数据携带更多PD像素的特性。

进一步，采用全尺寸读取方式，读取所述PD像素行中的各个PD像素，相比于现有技术中不区分PD像素以及非PD像素，均采用像素合成方式读取，采用本发明实施例的方案，可以有效保持PD像素的特性，提高读取的准确性以及聚焦效果。

进一步，通过确定二次合并行，并将所述二次合并行中的2M个像素，与所述PD像素行中同列的像素进行逐一合并，以得到2M个合并读取数据，可以仅将每个PD像素与单个非PD像素进行合并读取，相比于现有技术中要么采用全尺寸读取方式读取，要么采用至少四个像素合并读取，能够有效地实现准确性和效率之间的平衡。

附图说明

图1是现有技术中一种图像传感器像素阵列的读取顺序示意图；

图2是本发明实施例中一种PD像素的读取方法的流程图；

图3是本发明实施例中第一种图像传感器像素阵列的读取顺序示意图；

图4是本发明实施例中第二种图像传感器像素阵列的读取顺序示意图；

图5是本发明实施例中第三种图像传感器像素阵列的读取顺序示意图；

图6是本发明实施例中第四种图像传感器像素阵列的读取顺序示意图；

图7是本发明实施例中一种PD像素的读取装置的结构示意图。

具体实施方式

如前所述，在现有技术中，当采用像素合成(Binning)模式读取时，容易出现读取准确性以及聚焦效果较低的问题。

本发明的发明人经过研究发现，在现有的像素Binning模式中，需要将相同颜色的像素单元的电子导入同一个浮置扩散区(Floating Diffusion)，然后经过同一套读取电路读取，由于每个PD像素通常占据某种颜色的位置放置，则会将该PD像素作为该颜色的像素单元一起读取，导致失去或减少PD像素的特性，影响后续计算，提高后续算法准确性以达到好的聚焦效果。

具体而言，对于带有PDAF点的传感器(Sensor)，需要提取PD像素的读取数据，进而结合算法计算出焦距需要调整的量。如果采用全尺寸读取方式，PD像素的读取数据会被单独读出，从而可以直接用于计算。然而，如果采用合并读取方式(例如在行列方向或者行方向做binning操作)，则PD像素的值会与其他像素的值合并一起输出，导致失去或减少PD像素的特性，影响后续计算，提高后续算法准确性以达到好的聚焦效果。

在现有的一种像素合成模式下的PD像素的读取方法中，需要结合周围点数据，通过一定的算法，对与其他像素值混合读取的PD像素读取数据进行近似恢复出来，然而计算复杂度较高，并且对像素的数量和芯片面积具有较高的要求。

参照图1，图1是现有技术中一种图像传感器像素阵列的读取顺序示意图。

其中，所述图像传感器像素阵列可以为四像素单元(4-cell)阵列，每个最小处理单元包含至少两组同色的2×2像素组，如图中所示的1组2×2红色(R)像素组、1组2×2蓝色(B)像素组以及2组2×2绿色像素组(例如可以为2×2Gr像素组以及2×2Gb像素组)。

在图1所示的图像传感器像素阵列中，可以采用相邻的Gb4像素和B3像素作为PD像素。

在读取过程中，对于每个四像素(4-cell)进行合成读取，而不论该四像素中是否存在有PD像素。如对R1～R4合成读取为R像素，对Gr1～Gr4合成读取为Gr像素，对Gb1～Gb4合成读取为Gb像素，对B1～B4合成读取为B像素。PD像素的值会与其他Gb像素或B像素的值合并一起输出，导致失去或减少PD像素的特性，影响后续计算，影响后续算法准确性，难以达到好的聚焦效果。

在本发明实施例中，通过设置根据各个非PD像素行组中的非PD像素行，进行第一合成读取，以及根据所述各个非PD像素行组的读取数据，进行第二合成读取的步骤，可以对非PD像素行进行二次处理，相比于现有技术中，采用全尺寸读取方式读取全部像素，采用本发明实施例的方案，可以提高读取效率。进一步地，采用本发明实施例的方案，有机会对PD像素进行单独处理，从而使得读取数据携带更多PD像素的特性。

为使本发明的上述目的、特征和有益效果能够更为明显易懂，下面结合附图对本发明的具体实施例做详细的说明。

参照图2，图2是本发明实施例中一种PD像素的读取方法的流程图。所述PD像素的读取方法可以包括步骤S21至步骤S24：

步骤S21：将图像传感器像素阵列中包含所述PD像素的像素行记为PD像素行，将除所述PD像素行之外的其他像素行记为非PD像素行。

其中，所述图像传感器像素阵列包含多个最小处理单元，每个最小处理单元包含2M×2N个相邻的像素，其中，每个最小处理单元包含一个或多个PD像素，m、n为正整数且m≥2，n≥2；

步骤S22：将针对各个最小处理单元，将所述非PD像素行分为至少两个非PD像素行组，每个非PD像素行组包含一行或多行；

步骤S23：将根据各个非PD像素行组中的非PD像素行，进行第一合成读取，以得到各个非PD像素行组的读取数据；

步骤S24：将根据所述各个非PD像素行组的读取数据，进行第二合成读取。

在步骤S21的具体实施中，所述图像传感器像素阵列可以为四像素单元阵列，还可以为RGB拜耳阵列结构，还可以为其他适当的像素阵列。在步骤S22的具体实施中，针对各个最小处理单元，可以依据像素阵列的类型，将所述非PD像素行分为至少两个非PD像素行组，各个非PD像素行组中非PD像素的颜色可以为2种，从而使得前述分组方式更加适合合成读取。

需要指出的是，所述非PD像素行的行数可以多于或者远多于所述PD像素行，也即在所述最小处理单元中，可以仅设置单行包括PD像素，其余多行包括多个传统的像素阵列(例如四像素单元阵列、RGB拜耳阵列结构等)。其中，由于传统的像素阵列不包括PD像素，因此在合成读取时，可以采用现有的常规合成读取方式对传统的像素阵列进行读取，采用本申请实施例公开的合成读取方式对包含PD像素在内的一部分像素进行读取，从而有效地提高帧率。

在步骤S23的具体实施中，可以对非PD像素行进行第一合成读取，以得到第一合成读取后的读取数据。

在步骤S24的具体实施中，还可以进行第二合成读取。

在本发明实施例中，通过设置根据各个非PD像素行组中的非PD像素行，进行第一合成读取，以及根据所述各个非PD像素行组的读取数据，进行第二合成读取的步骤，可以对非PD像素行进行二次处理，相比于现有技术中，采用全尺寸读取方式读取全部像素，采用本发明实施例的方案，可以提高读取效率。进一步地，采用本发明实施例的方案，有机会对PD像素进行单独处理，从而使得读取数据携带更多PD像素的特性。

可以理解的是，在第二次合成读取中，既有PD像素行的数据参与，又有非PD像素行的数据参与。

进一步地，所述的PD像素的读取方法还可以包括：采用全尺寸读取方式，读取所述PD像素行中的各个PD像素以得到PD读取数据，以及读取所述PD像素行中的各个非PD像素以得到PD行非PD读取数据。

在本发明实施例中，通过采用全尺寸读取方式，读取所述PD像素行中的各个PD像素，相比于现有技术中不区分PD像素以及非PD像素，均采用像素合成方式读取，采用本发明实施例的方案，可以有效保持PD像素的特性，提高后续算法准确性以达到好的聚焦效果。

参照图3，图3是本发明实施例中第一种图像传感器像素阵列的读取顺序示意图。

具体地，所述第一种图像传感器像素阵列可以为四像素单元阵列，每个最小处理单元包含至少两组同色的2×2像素组。如图中所示的1组2×2红色(R)像素组、1组2×2蓝色(B)像素组以及2组2×2绿色像素组(例如可以为2×2Gr像素组以及2×2Gb像素组)。

在图3所示的图像传感器像素阵列中，可以采用相邻的Gb4像素和B3像素作为PD像素。

所述非PD像素行组包括第一非PD像素行组以及第二非PD像素行组；其中，所述第一非PD像素行组仅包含同色的2×2像素组，所述第二非PD像素行组包含与所述PD像素行相邻的非PD像素行。

也即在图3中，第一非PD像素行组包含R1～R4以及Gr1～Gr4，第二非PD像素行组包含Gb1～Gb2以及B1～B2，PD像素行包含Gb3～Gb4以及B3～B4。

在第一合成读取中，针对所述第一非PD像素行组，分别对每个同色的2×2像素组中的像素进行第一合成读取，以得到第一非PD像素行组的读取数据，也即分别对R1～R4以及Gr1～Gr4进行第一合成读取，以得到R像素以及Gr像素。

针对所述第二非PD像素行组，分别对同色的非PD像素进行第一合成读取，以得到第二非PD像素行组的读取数据，也即分别对Gb1～Gb2以及B1～B2进行第一合成读取，以得到Gb12像素以及B12像素。

由上可知，所述第一合成读取用于指示第一轮读取，以对应与第二合成读取用于指示第二轮读取，在所述第一合成读取中，可以包括针对所述第一非PD像素行组的读取(例如对图3示出的两行像素的读取)以及针对第二非PD像素行组的读取(例如对图3示出的单行像素的读取)。

针对PD像素行，采用全尺寸读取方式读取，以分别得到Gb3～Gb4以及B3～B4。

进一步地，可以采用模拟电路单元对待读取的像素进行第一合成读取，例如可以采用常规的模拟电路单元实现合成读取，然后还可以将读取数据存储于存储介质中，以备第二合成读取使用。

需要指出的是，由于对PD像素采用了全尺寸读取方式，有助于保持PD像素的特性，相比于现有技术中将每个PD像素与3个相邻像素合成读出，难以准确地确定PD像素的读出数据，采用本发明实施例的方案，有助于提高读取的准确性以及聚焦效果。

在第二合成读取中，可以在所述第二非PD像素行组的读取数据以及所述PD行非PD读取数据中，对同色非PD像素的读取数据进行第二合成读取。具体地，可以对Gb12与Gb3(以及B12与B4)进行第二合成读取，以得到仅包含非PD像素的读取数据，以及在第一合成读取步骤中获得的PD像素的读取数据。

需要指出的是，由于在第一合成读取步骤中已经获得的PD像素的读取数据，因此还可以直接对包含PD像素在内的四像素Gb1～Gb4以及B1～B4进行第二合成读取，以获得与现有技术中单次合成读取方式相同的读取数据，从而在后续利用该读取数据时获得更好的适配性和一致性。

进一步地，可以采用数字处理单元对待读取的读取数据进行第二合成读取，例如可以将第一合成读取的读取数据从存储介质中取出，并进行第二合成读取。

在本发明实施例中，采用数字处理单元对待读取的读取数据进行第二合成读取，相比于再次采用模拟电路单元进行第二合成读取，灵活性更高，有助于后续的数字处理。参照图4，图4是本发明实施例中第二种图像传感器像素阵列的读取顺序示意图。

具体地，所述第二种图像传感器像素阵列可以为RGB拜耳阵列结构，每个最小处理单元包含至少两组相邻的2×2拜耳像素组，每个2×2拜耳像素组包含第一行拜耳像素以及第二行拜耳像素。如图中所示的至少两组相邻的2×2拜耳像素组可以为1组红色(R)拜耳像素组(包含R1、R2、R3以及R4)以及2组绿色(G)拜耳像素组，例如第一组可以包含Gr1、Gr2、Gr3以及Gr4，第二组可以包含Gb1、Gb2、Gb3以及Gb4。

在图4所示的图像传感器像素阵列中，可以采用B3像素作为PD像素。

所述非PD像素行组包括第一非PD像素行组以及第二非PD像素行组；其中，所述第一非PD像素行组包含在行方向上相邻两组2×2拜耳像素组的第一行拜耳像素所在的像素行，以及与所述PD像素行相邻的非PD像素行；所述第二非PD像素行组包含相邻两组2×2拜耳像素组的第二行拜耳像素所在的像素行。

也即在图4中，第一非PD像素行组包含R1～R4以及Gr1～Gr4，第二非PD像素行组包含Gb1～Gb2以及B1～B2，PD像素行包含Gb3～Gb4以及B3～B4。

需要指出的是，在本发明实施例中，可以对PD像素的位置不做限制，例如可以为图3示出的横向相邻的PD像素，还可以为图4示出的单个PD像素，还可以为竖向相邻的PD像素，还可以为间隔预设数量个像素的不相邻的PD像素。

在第一合成读取中，针对所述第一非PD像素行组，在所述第一行拜耳像素所在的像素行以及非PD像素行中，选取同色的像素进行第一合成读取，以得到第一非PD像素行组的读取数据，也即分别对R1～R4以及Gr1～Gr4进行第一合成读取，以得到R像素以及Gr像素。

针对所述第二非PD像素行组，分别对同色的非PD像素进行第一合成读取，以得到第二非PD像素行组的读取数据，也即分别对Gb1～Gb2以及B1～B2进行第一合成读取，以得到Gb12像素以及B12像素。

针对PD像素行，采用全尺寸读取方式读取，以分别得到Gb3～Gb4以及B3～B4。

需要指出的是，由于对PD像素采用了全尺寸读取方式，有助于保持PD像素的特性，相比于现有技术中将每个PD像素与3个相邻像素合成读出，难以准确地确定PD像素的读出数据，采用本发明实施例的方案，有助于提高读取的准确性以及聚焦效果。

在第二合成读取中，可以在所述第二非PD像素行组的读取数据以及所述PD行非PD读取数据中，对同色非PD像素的读取数据进行第二合成读取。具体地，可以对Gb12、Gb3以及Gb4进行第二合成读取，以得到仅包含非PD像素的读取数据，以及在第一合成读取步骤中获得的PD像素的读取数据。

需要指出的是，由于在第一合成读取步骤中已经获得的PD像素的读取数据，因此还可以直接对包含PD像素在内的四像素Gb1～Gb4以及B1～B4进行第二合成读取，以获得与现有技术中单次合成读取方式相同的读取数据，从而在后续利用该读取数据时获得更好的适配性和一致性。

有关图4示出的第二种图像传感器像素阵列的读取顺序涉及的读取方法的其他步骤及原理，可以参照图3示出的第二种图像传感器像素阵列的读取顺序涉及的读取方法的相关描述，此处不再赘述。

进一步地，在根据所述各个非PD像素行组的读取数据，进行第二合成读取之前，所述的PD像素的读取方法还可以包括：确定一行非PD像素行，作为二次合并行；将所述二次合并行中的2M个像素，与所述PD像素行中同列的像素进行逐一合并，以得到2M个合并读取数据。

在本发明实施例中，通过确定二次合并行，并将所述二次合并行中的2M个像素，与所述PD像素行中同列的像素进行逐一合并，以得到2M个合并读取数据，可以仅将每个PD像素与单个非PD像素进行合并读取，相比于现有技术中要么采用全尺寸读取方式读取，要么采用至少四个像素合并读取，能够有效地实现准确性和效率之间的平衡。

参照图5，图5是本发明实施例中第三种图像传感器像素阵列的读取顺序示意图。

具体地，所述第一种图像传感器像素阵列可以为四像素单元阵列，每个最小处理单元包含至少两组同色的2×2像素组。如图中所示的1组2×2红色(R)像素组、1组2×2蓝色(B)像素组以及2组2×2绿色像素组(例如可以为2×2Gr像素组以及2×2Gb像素组)。

在图5所示的图像传感器像素阵列中，可以采用相邻的Gb4像素和B3像素作为PD像素。

所述非PD像素行组包括第一非PD像素行组；其中，所述第一非PD像素行组仅包含同色的2×2像素组。

也即在图5中，第一非PD像素行组包含R1～R4以及Gr1～Gr4，二次合并行包含Gb1～Gb2以及B1～B2，PD像素行包含Gb3～Gb4以及B3～B4。

将所述二次合并行中的2M个像素，与所述PD像素行中同列的像素进行逐一合并，以得到2M个合并读取数据，即为得到Gb13、Gb24、B13以及B24。其中，所述二次合并行与所述PD像素行相邻。

在第一合成读取中，针对所述第一非PD像素行组，分别对每个同色的2×2像素组中的每列像素进行第一合成读取，以得到第一非PD像素行组的读取数据，也即对R1、R3进行第一合成读取，以得到R13像素；对R2、R4进行第一合成读取，以得到R24像素；对Gr1、Gr3进行第一合成读取，以得到Gr13像素；对Gr2、Gr4进行第一合成读取，以得到Gr24像素。

在第二合成读取中，在所述第一非PD像素行组的读取数据以及所述2M个合并读取数据中，对同色像素的读取数据进行第二合成读取，也即对R13与R24进行合成读取，以得到R像素；对Gr13以及Gr24进行合成读取，以得到Gr像素；对Gb13以及Gb24进行合成读取，以得到Gb像素，对B13以及B24进行合成读取，以得到B像素。

需要指出的是，由于在第一合成读取步骤中已经获得含PD像素在内的Gb24像素以及B13像素的读取数据，相当于仅将每个PD像素与单个非PD像素进行合并读取，相比于现有技术中要么采用全尺寸读取方式读取，要么采用至少四个像素合并读取，能够有效地实现准确性和效率之间的平衡。

进一步地，可以采用数字处理单元对待读取的读取数据进行第二合成读取，例如可以将第一合成读取的读取数据从存储介质中取出，并进行第二合成读取。

在本发明实施例中，采用数字处理单元对待读取的读取数据进行第二合成读取，相比于再次采用模拟电路单元进行第二合成读取，灵活性更高，有助于后续的数字处理，例如有机会增加其他适当的算法进行处理。

参照图6，图6是本发明实施例中第四种图像传感器像素阵列的读取顺序示意图。

具体地，所述第四种图像传感器像素阵列可以为RGB拜耳阵列结构，每个最小处理单元包含至少两组相邻的2×2拜耳像素组，每个2×2拜耳像素组包含第一行拜耳像素以及第二行拜耳像素。如图中所示的至少两组相邻的2×2拜耳像素组可以为1组红色(R)拜耳像素组(包含R1、R2、R3以及R4)以及2组绿色(G)拜耳像素组，例如第一组可以包含Gr1、Gr2、Gr3以及Gr4，第二组可以包含Gb1、Gb2、Gb3以及Gb4。

在图6所示的图像传感器像素阵列中，可以采用B3像素作为PD像素。

所述非PD像素行组包括第一非PD像素行组；其中，所述第一非PD像素行组包含在行方向上相邻的两组2×2拜耳像素组所在的像素行。

也即在图6中，第一非PD像素行组包含R1～R4以及Gr1～Gr4，二次合并行包含Gb1～Gb2以及B1～B2，PD像素行包含Gb3～Gb4以及B3～B4。

将所述二次合并行中的2M个像素，与所述PD像素行中同列的像素进行逐一合并，以得到2M个合并读取数据，即为得到Gb13、B13、Gb24以及B24。其中，所述二次合并行与所述PD像素行间隔一行。

在第一合成读取中，针对所述第一非PD像素行组，在每个像素列中，选取同色的像素进行第一合成读取，以得到第一非PD像素行组的读取数据，也即对R1、R3进行第一合成读取，以得到R13像素；对R2、R4进行第一合成读取，以得到R24像素；对Gr1、Gr3进行第一合成读取，以得到Gr13像素；对Gr2、Gr4进行第一合成读取，以得到Gr24像素。

针对所述第二非PD像素行组，在所述第一非PD像素行组的读取数据以及所述2M个合并读取数据中，对同色像素的读取数据进行第二合成读取，也即对R13与R24进行合成读取，以得到R像素；对Gr13以及Gr24进行合成读取，以得到Gr像素；对Gb13以及Gb24进行合成读取，以得到Gb像素，对B13以及B24进行合成读取，以得到B像素。

需要指出的是，由于在第一合成读取步骤中已经获得含PD像素在内的Gb24像素以及B13像素的读取数据，相当于仅将每个PD像素与单个非PD像素进行合并读取，相比于现有技术中要么采用全尺寸读取方式读取，要么采用至少四个像素合并读取，能够有效地实现准确性和效率之间的平衡。

有关图6示出的第四种图像传感器像素阵列的读取顺序涉及的读取方法的其他步骤及原理，可以参照图5示出的第三种图像传感器像素阵列的读取顺序涉及的读取方法的相关描述，此处不再赘述。

参照图7，图7是本发明实施例中一种PD像素的读取装置的结构示意图。所述PD像素的读取装置可以包括：

像素行确定模块71，用于将图像传感器像素阵列中包含所述PD像素的像素行记为PD像素行，将除所述PD像素行之外的其他像素行记为非PD像素行，所述图像传感器像素阵列包含多个最小处理单元，每个最小处理单元包含2M×2N个相邻的像素，其中，每个最小处理单元包含一个或多个PD像素，m、n为正整数且m≥2，n≥2；

分组模块72，用于针对各个最小处理单元，将所述非PD像素行分为至少两个非PD像素行组，每个非PD像素行组包含一行或多行；

第一合成读取模块73，用于根据各个非PD像素行组中的非PD像素行，进行第一合成读取，以得到各个非PD像素行组的读取数据；

第二合成读取模块74，用于根据所述各个非PD像素行组的读取数据，进行第二合成读取。

关于该像素合成模式下的PD像素的读取装置的原理、具体实现和有益效果请参照前文及图2至图6示出的关于像素合成模式下的PD像素的读取方法的相关描述，此处不再赘述。

本发明实施例还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器运行时执行上述方法的步骤。所述存储介质可以是计算机可读存储介质，例如可以包括非挥发性存储器(non-volatile)或者非瞬态(non-transitory)存储器，还可以包括光盘、机械硬盘、固态硬盘等。

本发明实施例还提供了一种图像采集设备，包括图像传感器像素阵列和控制器，其特征在于，所述控制器用于执行上述方法，以对所述图像传感器像素阵列中的PD像素进行读取。

虽然本发明披露如上，但本发明并非限定于此。任何本领域技术人员，在不脱离本发明的精神和范围内，均可作各种更动与修改，因此本发明的保护范围应当以权利要求所限定的范围为准。

Claims (19)

1.一种像素合成模式下的PD像素的读取方法，其特征在于，包括以下步骤：

将图像传感器像素阵列中包含所述PD像素的像素行记为PD像素行，将除所述PD像素行之外的其他像素行记为非PD像素行，所述图像传感器像素阵列包含多个最小处理单元，每个最小处理单元包含2M×2N个相邻的像素，其中，每个最小处理单元包含一个或多个PD像素，m、n为正整数且

m≥2，n≥2；

针对各个最小处理单元，将所述非PD像素行分为至少两个非PD像素行组，每个非PD像素行组包含一行或多行；

根据各个非PD像素行组中的非PD像素行，进行第一合成读取，以得到各个非PD像素行组的读取数据；

根据所述各个非PD像素行组的读取数据，进行第二合成读取。

2.根据权利要求1所述的PD像素的读取方法，其特征在于，还包括：

采用全尺寸读取方式，读取所述PD像素行中的各个PD像素以得到PD读取数据，以及读取所述PD像素行中的各个非PD像素以得到PD行非PD读取数据。

3.根据权利要求2所述的PD像素的读取方法，其特征在于，所述图像传感器像素阵列为四像素单元阵列，每个最小处理单元包含至少两组同色的2×2像素组；

所述非PD像素行组包括第一非PD像素行组以及第二非PD像素行组；

其中，所述第一非PD像素行组仅包含同色的2×2像素组，所述第二非PD像素行组包含与所述PD像素行相邻的非PD像素行。

4.根据权利要求3所述的PD像素的读取方法，其特征在于，

所述根据各个非PD像素行组中的非PD像素行，进行第一合成读取包括：

针对所述第一非PD像素行组，分别对每个同色的2×2像素组中的像素进行第一合成读取，以得到第一非PD像素行组的读取数据；

针对所述第二非PD像素行组，分别对同色的非PD像素进行第一合成读取，以得到第二非PD像素行组的读取数据。

5.根据权利要求4所述的PD像素的读取方法，其特征在于，根据所述各个非PD像素行组的读取数据，进行第二合成读取包括：

在所述第二非PD像素行组的读取数据以及所述PD行非PD读取数据中，对同色非PD像素的读取数据进行第二合成读取。

6.根据权利要求2所述的PD像素的读取方法，其特征在于，所述图像传感器像素阵列为RGB拜耳阵列结构，每个最小处理单元包含至少两组相邻的2×2拜耳像素组，每个2×2拜耳像素组包含第一行拜耳像素以及第二行拜耳像素；

所述非PD像素行组包括第一非PD像素行组以及第二非PD像素行组；

其中，所述第一非PD像素行组包含在行方向上相邻两组2×2拜耳像素组的第一行拜耳像素所在的像素行，以及与所述PD像素行相邻的非PD像素行；

所述第二非PD像素行组包含相邻两组2×2拜耳像素组的第二行拜耳像素所在的像素行。

7.根据权利要求6所述的PD像素的读取方法，其特征在于，

所述根据各个非PD像素行组中的非PD像素行，进行第一合成读取包括：

针对所述第一非PD像素行组，在所述第一行拜耳像素所在的像素行以及非PD像素行中，选取同色的像素进行第一合成读取，以得到第一非PD像素行组的读取数据；

针对所述第二非PD像素行组，分别对同色的非PD像素进行第一合成读取，以得到第二非PD像素行组的读取数据。

8.根据权利要求7所述的PD像素的读取方法，其特征在于，根据所述各个非PD像素行组的读取数据，进行第二合成读取包括：

在所述第二非PD像素行组的读取数据以及所述PD行非PD读取数据中，对同色非PD像素的读取数据进行第二合成读取。

9.根据权利要求1所述的PD像素的读取方法，其特征在于，

采用模拟电路单元对待读取的像素进行第一合成读取；

采用数字处理单元对待读取的读取数据进行第二合成读取。

10.根据权利要求1所述的PD像素的读取方法，其特征在于，在根据所述各个非PD像素行组的读取数据，进行第二合成读取之前，还包括：

确定一行非PD像素行，作为二次合并行；

将所述二次合并行中的2M个像素，与所述PD像素行中同列的像素进行逐一合并，以得到2M个合并读取数据。

11.根据权利要求10所述的PD像素的读取方法，其特征在于，所述图像传感器像素阵列为四像素单元阵列，每个最小处理单元包含至少两组同色的2×2像素组；

所述非PD像素行组包括第一非PD像素行组；

其中，所述第一非PD像素行组仅包含同色的2×2像素组。

12.根据权利要求11所述的PD像素的读取方法，其特征在于，

所述根据各个非PD像素行组中的非PD像素行，进行第一合成读取包括：

针对所述第一非PD像素行组，分别对每个同色的2×2像素组中的每列像素进行第一合成读取，以得到第一非PD像素行组的读取数据。

13.根据权利要求12所述的PD像素的读取方法，其特征在于，所述二次合并行与所述PD像素行相邻；

根据所述各个非PD像素行组的读取数据，进行第二合成读取包括：

在所述第一非PD像素行组的读取数据以及所述2M个合并读取数据中，对同色像素的读取数据进行第二合成读取。

14.根据权利要求10所述的PD像素的读取方法，其特征在于，所述图像传感器像素阵列为RGB拜耳阵列结构，每个最小处理单元包含至少两组相邻的2×2拜耳像素组，每个2×2拜耳像素组包含第一列拜耳像素以及第二列拜耳像素；

所述非PD像素行组包括第一非PD像素行组；

其中，所述第一非PD像素行组包含在行方向上相邻的两组2×2拜耳像素组所在的像素行。

15.根据权利要求14所述的PD像素的读取方法，其特征在于，

所述根据各个非PD像素行组中的非PD像素行，进行第一合成读取包括：

针对所述第一非PD像素行组，在每个像素列中，选取同色的像素进行第一合成读取，以得到第一非PD像素行组的读取数据。

16.根据权利要求12所述的PD像素的读取方法，其特征在于，所述二次合并行与所述PD像素行间隔一行；

根据所述各个非PD像素行组的读取数据，进行第二合成读取包括：

在所述第一非PD像素行组的读取数据以及所述2M个合并读取数据中，对同色像素的读取数据进行第二合成读取。

17.一种像素合成模式下的PD像素的读取装置，其特征在于，包括：

像素行确定模块，用于将图像传感器像素阵列中包含所述PD像素的像素行记为PD像素行，将除所述PD像素行之外的其他像素行记为非PD像素行，所述图像传感器像素阵列包含多个最小处理单元，每个最小处理单元包含2M×2N个相邻的像素，其中，每个最小处理单元包含一个或多个PD像素，m、n为正整数且m≥2，n≥2；

分组模块，用于针对各个最小处理单元，将所述非PD像素行分为至少两个非PD像素行组，每个非PD像素行组包含一行或多行；

第一合成读取模块，用于根据各个非PD像素行组中的非PD像素行，进行

第一合成读取，以得到各个非PD像素行组的读取数据；

第二合成读取模块，用于根据所述各个非PD像素行组的读取数据，进行第二合成读取。

18.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行权利要求1至16任一项所述像素合成模式下的PD像素的读取方法的步骤。

19.一种图像采集设备，包括图像传感器像素阵列和控制器，其特征在于，所述控制器用于执行权利要求1至16任一项所述像素合成模式下的PD像素的读取方法，以对所述图像传感器像素阵列中的PD像素进行读取。