CN117278869A - 校正串扰的图像传感器、其操作方法和包括其的电子设备 - Google Patents

Abstract

提供了一种校正串扰的图像传感器、其操作方法和包括其的电子设备。所述图像传感器包括像素单元、数据转换器以及至少一个处理器，所述像素单元包括多个像素，并且被配置为使用所述多个像素生成模拟信号，所述数据转换器被配置为：接收所述模拟信号，并且将所述模拟信号转换为数字信号，所述至少一个处理器被配置为：通过对所述数字信号执行串扰校正和重排马赛克来生成图像数据，向外部设备输出所述图像数据，从所述外部设备接收图像数据信息，基于所述图像数据信息确定饱和度；并且基于所述饱和度来调整所述重排马赛克的设置。

Description

校正串扰的图像传感器、其操作方法和包括其的电子设备

相关申请的交叉引用

本申请基于并要求在韩国知识产权局于2022年6月20日提交的韩国专利申请No.10-2022-0075035和于2022年9月6日提交的韩国专利申请No.10-2022-0112541，所述韩国专利申请的公开内容通过引用整体并入本文。

技术领域

本公开的示例实施例涉及电子设备，更具体地，涉及校正串扰(crosstalk)的图像传感器、图像传感器的操作方法以及包括图像传感器的电子设备。

背景技术

图像传感器可以包括多个像素，并且可以使用多个像素生成图像数据。由图像传感器生成的图像数据可能包括各种噪声和失真。图像传感器可以执行用于从图像数据去除噪声和失真的校准，并且可以输出校准后的图像数据。

图像数据的噪声和失真可能包括串扰。当图像传感器的像素不规则地感测到入射光时或者当感测结果在像素之间泄漏时，会导致串扰。为了校正串扰，图像传感器可以执行各种校准。

本背景技术部分公开的信息在实现本申请实施例之前或实现过程中对于发明人已知或由发明人获取，或者本背景技术部分公开的信息是在实现实施例的过程中获得的技术信息。因此，它可以包含不构成公众已知的现有技术的信息。

发明内容

一个或更多个示例实施例提供一种即使当图像传感器的像素感测到的像素值饱和时也能够校正串扰的图像传感器、图像传感器的操作方法以及包括图像传感器的电子设备。

提供了一种按照重排马赛克(remosaic)校正背光环境中的串扰的方法。

其他方面将部分地在随后的描述中阐述，并且部分地根据描述将是明了的，或者可以通过所呈现的实施例的实践而获知。

根据示例实施例的一个方面，一种图像传感器可以包括像素单元、数据转换器以及至少一个处理器，所述像素单元包括多个像素，并且被配置为使用所述多个像素生成模拟信号，所述数据转换器被配置为：接收所述模拟信号，并且将所述模拟信号转换为数字信号，所述至少一个处理器被配置为：通过对所述数字信号执行串扰校正和重排马赛克来生成图像数据，向外部设备输出所述图像数据，从所述外部设备接收图像数据信息，基于所述图像数据信息确定饱和度；并且基于所述饱和度来调整所述重排马赛克的设置。

根据示例实施例的一个方面，一种包括多个像素的图像传感器的操作方法可以包括：在所述图像传感器处从外部设备接收图像数据信息；在所述图像传感器处，根据所述图像数据信息确定所述图像传感器获得的图像数据的饱和度；在所述图像传感器处，基于所述饱和度调整重排马赛克设置；以及在所述图像传感器处，基于所述重排马赛克设置对所述图像传感器获得的所述图像数据执行重排马赛克。

根据示例实施例的一个方面，一种电子设备可以包括图像传感器和至少一个处理器，所述图像传感器包括多个像素，所述至少一个处理器被配置为：基于所述图像传感器生成的图像数据生成图像数据信息，并且向所述图像传感器发送所述图像数据信息，其中，所述图像传感器可以被配置为：根据所述图像数据信息确定所述多个像素的饱和度；并且基于所述饱和度，在第一模式和第二模式中的一种模式下校正所述多个像素的串扰，其中，在所述第一模式下，基于增益和偏移校正所述串扰；并且其中，在所述第二模式下，基于所述增益和所述偏移并且通过调整重排马赛克设置来校正所述串扰。

附图说明

通过以下结合附图的描述，本公开的某些示例实施例的以上以及其他方面、特征和优点将更加明了，其中：

图1是示出根据本公开的示例实施例的电子设备的图；

图2是示出根据本公开的示例实施例的图1的电子设备的操作方法的示例的图；

图3是示出根据本公开的示例实施例的图像传感器的图；

图4是示出根据本公开的示例实施例的图像传感器的像素的排列示例的示图；

图5是根据本公开的示例实施例的像素阵列的像素的截面图；

图6是示出根据本公开的示例实施例的经历重排马赛克的像素值的示例的图；

图7是示出根据本公开示例实施例的图像传感器中的处理器的串扰校正模块校正串扰的方法的示例的流程图；

图8是示出根据本公开的示例实施例的应用处理器从图像数据生成图像数据信息的示例的图；

图9是示出根据本公开的示例实施例的应用处理器向图像传感器发送图像数据信息的过程的示例的流程图；

图10是示出根据本公开的示例实施例的图像传感器的处理器基于饱和度来抑制串扰的方法的示例的流程图；

图11是示出根据本公开的示例实施例的图像传感器的处理器计算饱和度的方法的示例的流程图；

图12是示出根据本公开的示例实施例的调整重排马赛克设置的方法的示例的流程图；

图13是示出根据本公开的示例实施例的图像传感器的处理器如何依据饱和度调整重排马赛克设置的示例的图；

图14是示出根据本公开的示例实施例的图像传感器的处理器基于重排马赛克设置执行重排马赛克的方法的示例的流程图；

图15是示出根据本公开的示例实施例的图像传感器的处理器计算饱和度的方法的示例的流程图；

图16是示出根据本公开的示例实施例的包括多相机模块的电子设备的图；

图17是示出根据本公开的示例实施例的图16的相机模块的图。

具体实施方式

在下文中，将对本公开的实施例进行详细和清楚的描述，使得本领域的普通技术人员能够容易地实施本公开。在下文中，术语“和/或”被解释为包括关于术语列出的项的任何一个、或者所列项中的一些的组合。

在下文中，将参考附图详细描述本公开的示例实施例。附图中相同的部件使用相同的参考标记，并且将省略对其的重复描述。本文描述的实施例是示例实施例，因此，本公开不限于此，并且可以以各种其他形式来实现本公开。

如本文所使用的，当诸如“至少一个”的表述在元素列表之后时，修饰整列元素而不是修饰列表中的单个元素。例如，表述“a、b和c中的至少一个”应该被理解为：仅包括a，仅包括b，仅包括c，包括a和b，包括a和c，包括b和c，或包括所有的a、b和c。

图1是示出根据本公开的示例实施例的电子设备10的图。参考图1，电子设备10可以包括图像传感器100和应用处理器200。在示例实施例中，电子设备10还可以包括各种***设备，诸如，显示设备、存储器、存储装置和用户接口。

图像传感器100可以包括像素单元(pixel unit)110、数据转换器120和处理器130。像素单元110可以包括多个像素。像素单元110可以使用多个像素生成模拟信号AS。模拟信号AS可以包括电平(例如，电压电平或电流电平)依据入射到像素单元110的像素上的光的强度而不同的多个信号。

数据转换器120可以将像素单元110生成的模拟信号AS转换为数字信号DS。数据转换器120可以将数字信号DS输出到处理器130。数字信号DS可以包括从模拟信号AS中的多个信号的电平转换的多个数字值。

处理器130可以从数据转换器120接收数字信号DS。处理器130可以执行校准以从数字信号DS去除噪声和/或失真，并且可以生成图像数据ID。处理器130可以将图像数据ID输出到应用处理器200。例如，处理器130可以基于移动行业处理器接口(MIPI)C-PHY或D-PHY将图像数据ID输出到应用处理器200。

例如，处理器130可以包括用于存储用于进行校准的数字信号DS的存储器(例如，静态随机存取存储器)。存储器可以存储与像素单元110的像素之中的属于一行或更多行的像素对应的数字信号DS。存储器的容量可以对应于执行校准所需的像素的单位。

处理器130可以从应用处理器200接收图像数据信息IDI。例如，处理器130可以通过MIPI C-PHY或D-PHY或内部集成电路(I2C)接口，从应用处理器200接收图像数据信息IDI。图像数据信息IDI可以包括关于先前帧的图像数据ID的信息。处理器130可以基于图像数据信息IDI来选择执行校准的模式或方案。

处理器130可以包括重排马赛克模块131、合并(binning)模块132、串扰校正模块133和饱和管理模块134。处理器130可以依据与数字信号DS的数字值对应的亮度(或照度)，选择性地激活重排马赛克模块131和合并模块132中的一者。

当与数字信号DS的数字值对应的亮度(或照度)大于或等于参考值时，处理器130可以激活重排马赛克模块131。重排马赛克模块131可以从与像素单元110的像素图案对应的数字信号DS，生成对应于拜耳(Bayer)图案的图像数据(例如，可以生成要被处理为图像数据ID的中间图像数据)。当与数字信号DS的数字值对应的亮度(或照度)小于参考值(例如，亮度参考值)时，处理器130可以激活合并模块132。合并模块132可以通过对与像素单元110的像素图案对应的数字信号DS的数字值之中属于相同通道(或相同颜色)的数字值求和，来生成具有拜耳图案的数据(例如，可以生成要被处理为图像数据ID的中间图像数据)。

当重排马赛克模块131被激活时，串扰校正模块133可以被激活。串扰校正模块133可以通过将增益和偏移应用于数字信号DS或由重排马赛克模块131进行了重排马赛克的图像数据的像素值，来执行串扰校正。例如，串扰校正模块133可以以表的形式存储增益和偏移，并且可以参考该表执行串扰校正。

当重排马赛克模块131被激活时，饱和管理模块134可以被激活。饱和管理模块134可以基于图像数据信息IDI，来计算指示像素单元110的像素的像素值(例如，数字信号DS的数字信号的值)饱和的程度的饱和度(saturation ratio)。饱和管理模块134可以基于饱和度调整重排马赛克模块131执行重排马赛克所需的设置。饱和管理模块134可以通过调整重排马赛克设置，来抑制在像素单元110的像素的像素值饱和的环境中引起的串扰。

图1中示出了图像传感器100和应用处理器200彼此直接通信的示例。然而，这是为了容易地传达本公开的示例实施例，并且可以提供仲裁(arbitrate)或辅助图像传感器100与应用处理器200之间的图像数据ID的传送的任何其他组件。

图2是示出根据本公开的示例实施例的图1的电子设备10的操作方法的示例的图。参考图1和图2，在操作S11中，图像传感器100可以向应用处理器200发送图像数据(例如，第一帧的图像数据ID)。在操作S12中，应用处理器200可以从接收到的图像数据生成图像数据信息IDI。在示例实施例中，应用处理器200可以通过显示设备显示接收到的图像数据，或者可以存储接收到的图像数据。

在操作S13中，应用处理器200可以向图像传感器100发送图像数据信息IDI。在操作S14中，图像传感器100中的处理器130可以基于图像数据信息IDI计算饱和度。在操作S15中，图像传感器100中的处理器130可以基于饱和度来确定串扰校正模式。在示例实施例中，图像数据信息IDI可以包括像素值的(一个或更多个)平均值、或者饱和像素的数量。

例如，当饱和度(例如，第一帧的图像数据ID的饱和度)小于参考值(例如，饱和度参考值)或者为“0”时，图像传感器100中的处理器130可以通过仅使用串扰校正模块133校正数字信号DS的串扰，来生成图像数据ID(例如，第一帧之后的第二帧的图像数据ID)。当饱和度大于或者等于参考值(例如，饱和度参考值)时，图像传感器100中的处理器130可以通过基于串扰校正模块133校正数字信号DS的串扰，并且通过调整重排马赛克模块131的重排马赛克设置额外地校正串扰，来生成图像数据ID(例如，第一帧之后的第二帧的图像数据)。

在示例实施例中，串扰校正模块133可以对不饱和像素的像素值执行串扰校正。重排马赛克模块131可以对数字信号DS的像素值的整个区域或部分区域执行串扰校正(或抑制)。重排马赛克模块131在与像素对应的数字信号上选择校正(或抑制)串扰的区域可以与饱和水平或饱和度无关地执行。

图3是示出根据本公开的示例实施例的图像传感器的图。在示例实施例中，装置300可以对应于图1的图像传感器100的像素单元110和数据转换器120。参考图1和图3，装置300可以包括像素阵列310、行驱动器320、斜坡信号发生器(RSG)330、模数转换电路340、存储器电路350、接口电路360(未示出)和定时发生器(TG)370。

在示例实施例中，像素阵列310可以对应于像素单元110。行驱动器320、RSG 330、模数转换电路340、存储器电路350、接口电路360(未示出)和TG 370可以对应于(或可以构成)数据转换器120。

像素阵列310可以包括以矩阵形式排列成行和列的多个像素PX。多个像素PX中的每一者可以包括光电检测器。例如，光电检测器可以包括光电二极管、光电晶体管、光电门、钉扎光电二极管等。多个像素均可以使用光电检测器感测光，并且可以将感测到的光量转换成电信号，例如，电压或电流。

滤色器阵列(CFA)和透镜可以堆叠在像素阵列310上。滤色器阵列可以包括红色(R)滤色器、绿色(G)滤色器和蓝色(B)滤色器。两个或更多个不同的滤色器可以设置在多个像素PX处。例如，至少一个蓝色滤色器、至少一个红色滤色器和至少两个绿色滤色器可以设置在多个像素PX处。

行驱动器320可以通过第一行线RL1至第m行线RLm(m是正整数)与像素阵列310的成行的像素PX连接。行驱动器320可以译码由TG 370生成的地址和/或控制信号。依据译码的结果，行驱动器320可以顺序地选择像素阵列310的第一行线RL1至第m行线RLm，并且可以用特定电压驱动选定行线。例如，行驱动器320可以用适于感测光的电压来驱动选定行线。

与成行的像素PX连接的第一行线RL1至第m行线RLm中的每一者可以包括两条或更多条线。两条或更多条线可以分别传送例如各种信号，包括用于选择(激活)像素的光电检测器的信号、用于重置浮置扩散节点的信号、用于选择列线的信号、用于调整转换增益的信号等。

RSG 330可以生成斜坡信号RS。RSG 330可以在TG 370的控制下操作。例如，RSG330可以响应于诸如斜坡使能信号和模式信号的控制信号来操作。响应于斜坡使能信号被激活，RSG 330可以生成具有基于模式信号设置的斜率的斜坡信号RS。例如，RSG 330可以生成从初始电平随时间连续减小或增大的斜坡信号RS。

模数转换电路340可以通过第一列线CL1至第n列线CLn(n是正整数)与像素阵列310的成列的像素PX连接。模数转换电路340可以包括分别与第一列线CL1至第n列线CLn连接的第一模数转换器AD1至第n模数转换器ADn。第一模数转换器AD1至第n模数转换器ADn可以共同接收来自RSG 330的斜坡信号RS。

第一模数转换器AD1至第n模数转换器ADn可以将第一列线CL1至第n列线CLn的电压(或电流)与斜坡信号RS进行比较。斜坡信号是指以给定速率减小(或增大)的信号。第一模数转换器AD1至第n模数转换器ADn可以锁存计数值直到斜坡信号RS小于第一列线CL1至第n列线CLn的像素电压(或像素电流)，并且可以将锁存的计数值转换为数字值并输出。即，第一模数转换器AD1至第n模数转换器ADn可以输出与从像素PX输出到第一列线CL1至第n列线CLn的电压(或电流)的大小(或量)对应的数字值。

第一模数转换器AD1至第n模数转换器ADn中的每一者可以包括至少两个子转换器。子转换器可以共同地与相应列线连接，并且可以共同地接收斜坡信号RS。子转换器的分辨率可以相同或不同。可以在不同的定时激活子转换器以将相应列线的电压(或电流)转换为数字值(或数字信号)。

存储器电路350可以包括分别与第一模数转换器AD1至第n模数转换器ADn对应的第一存储器M1至第n存储器Mn。第一存储器M1至第n存储器Mn可以存储从第一模数转换器AD1至第n模数转换器ADn接收到的数字值(或数字信号)，并且可以将存储的值(或信号)发送到图1的处理器130。

TG 370可以控制装置300操作的定时。TG 370可以控制行驱动器320顺序地选择第一行线RL1至第m行线RLm的定时，并且可以控制通过从第一行线RL1至第m行线RLm中选择的行线中包括的两条或更多条线传送信号的定时。

TG 370可以控制RSG 330生成斜坡信号RS的定时以及初始化斜坡信号RS的定时。TG 370可以控制第一模数转换器AD1至第n模数转换器ADn开始计数操作和比较操作的定时以及第一模数转换器AD1至第n模数转换器ADn被初始化的定时。

图4是示出根据本公开的示例实施例的像素单元110的像素的排列示例的图。参考图1、图3和图4，像素单元110可以具有第一像素PX1、第二像素PX2、第三像素PX3和第四像素PX4分别设置在左上、右上、左下和右下且以二维形式重复的图案。

第一像素PXl、第二像素PX2、第三像素PX3和第四像素PX4中的每一者可以包括多个子像素。示出了第一像素PX1、第二像素PX2、第三像素PX3和第四像素PX4中的每一者包括九个子像素的示例实施例，但是第一像素PX1、第二像素PX2、第三像素PX3和第四像素PX4中的每一者中包括的子像素的数量不限于此。

在示例实施例中，第一像素PXl的子像素可以共享红色(R)滤色器。第二像素PX2的子像素可以共享绿色(G)(例如，Gr)滤色器。第三像素PX3的子像素可以共享绿色(G)(例如，Gb)滤色器。第四像素PX4的子像素可以共享蓝色(B)滤色器。

图5是根据本公开的示例实施例的像素阵列400的像素的截面图。在示例实施例中，像素阵列400可以对应于装置300的像素阵列310。参考图3、图4和图5，像素阵列400可以包括微透镜410、滤色器区域420、抗反射膜425、光电转换区域430和感测电路400，微透镜410分别对应于子像素并且将入射光会聚到对应的子像素，滤色器区域420位于微透镜410下方，抗反射膜425位于滤色器区域420下方并且防止入射光的反射，光电转换区域430基于入射光生成电荷，感测电路440位于光电转换区域430下方并且感测光电转换区域430所生成的电荷。光电转换区域430可以彼此电绝缘。

在滤色器区域420中，第一滤色器CF1可以设置在第一像素PX1的子像素之上。第一滤色器CF1可以使频率对应于红色的光通过。在滤色器区域420中，第二滤色器CF2可以设置在第二像素PX2的子像素之上。第二滤色器CF2可以使频率对应于绿色的光通过。包括金属成分并且防止入射光的串扰的栅格GD可以设置在滤色器区域420的滤色器之间，例如，第一滤色器CF1与第二滤色器CF2之间。

类似于第一像素PXl和第二像素PX2，使频率对应于绿色的光通过的滤色器可以设置在第三像素PX3的子像素之上，并且使频率对应于蓝色的光通过的滤色器可以设置在第四像素PX4的子像素之上。

防止光泄漏到相邻子像素或像素的反射材料可以设置在第一像素PXl、第二像素PX2、第三像素PX3和第四像素PX4的光电转换区域430之间以及第一像素PX1、第二像素PX2、第三像素PX3和第四像素PX4的子像素的光电转换区域430之间。

感测电路440可以包括与第一列线CL1至第n列线CLn之中的对应列线以及第一行线RL1至第m行线RLm之中的对应行线连接的晶体管。

如图4所示，滤色器CF1或CF2的厚度可能不均匀。与第一像素PX1的中心部分的子像素对应的第一滤色器CF1的厚度可能大于与第一像素PX1的***部分的子像素对应的第一滤色器CF1的厚度。因此，即使相同亮度(或照度)的光沿相同方向(例如，垂直方向)入射，由第一像素PX1的中心部分的子像素感测到的像素值也可能小于由第一像素PX1的***部分的子像素感测到的像素值。此外，第一像素PX1的中心部分的子像素与相同滤色器(或相同颜色的滤色器)的子像素相邻。然而，第一像素PX1的***部分的子像素可以与相同滤色器的子像素和(一个或更多个)不同颜色的(一个或更多个)滤色器的子像素相邻。即，串扰的影响可能依据子像素的环境而变化。

当亮度(或照度)低于参考值(或照度参考值)时，处理器130的合并模块132(参见图1)可以执行合并。例如，合并模块132可以对第一像素PX1、第二像素PX2、第三像素PX3和第四像素PX4中的每一者的子像素的像素值求和(或计算其平均值)。即，处理器130可以生成包括第一像素PX1、第二像素PX2、第三像素PX3和第四像素PX4的子像素的像素值的图像数据ID。因为作为合并结果获得的图像数据ID基于拜耳图案，所以不需要单独的转换操作。

当亮度(或照度)大于或等于参考值(或照度参考值)时，处理器130的重排马赛克模块131(参见图1)可以执行重排马赛克。例如，重排马赛克模块131可以在保持子像素单元的像素值的状态下对模拟信号AS执行重排马赛克以将其转换为拜耳图案。

图6是示出根据本公开的示例实施例的经历重排马赛克的像素值的示例的图。参考图3、图4、图5和图6，分别对应于子像素的像素值可以被转换为基于拜耳图案。例如，与第一像素PX1的第一行第一列的子像素对应的像素值可以保持为对应于红色像素值。与第一像素PX1的第一行第二列的子像素对应的像素值可以被转换(例如，基于插值)为对应于绿色像素值。与第一像素PX1的第一行第三列的子像素对应的像素值可以保持为对应于红色像素值。

与第一像素PXl的第二行第一列的子像素对应的像素值可以被转换(例如，基于插值)为对应于绿色像素值。与第一像素PX1的第二行第二列的子像素对应的像素值可以被转换(例如，基于插值)为对应于蓝色像素值。与第一像素PX1的第二行第三列的子像素对应的像素值可以被转换(例如，基于插值)为对应于绿色像素值。

与第一像素PXl的第三行第一列的子像素对应的像素值可以保持对应于红色像素值。与第一像素PX1的第三行第二列的子像素对应的像素值可以保持(例如，基于插值)对应于绿色像素值。与第一像素PX1的第三行第三列的子像素对应的像素值可以保持对应于红色像素值。

与第二像素PX2的第一行第一列的子像素对应的像素值可以保持为对应于绿色像素值。与第二像素PX2的第一行第二列的子像素对应的像素值可以被转换(例如，基于插值)为对应于红色像素值。与第二像素PX2的第一行第三列的子像素对应的像素值可以保持为对应于绿色像素值。

与第二像素PX2的第二行第一列的子像素对应的像素值可以被转换(例如，基于插值)为对应于蓝色像素值。与第二像素PX2的第二行第二列的子像素对应的像素值可以保持为对应于绿色像素值。与第二像素PX2的第二行第三列的子像素对应的像素值可以被转换(例如，基于插值)为对应于蓝色像素值。

与第二像素PX2的第三行第一列的子像素对应的像素值可以保持为对应于绿色像素值。与第二像素PX2的第三行第二列的子像素对应的像素值可以被转换(例如，基于插值)为对应于红色像素值。与第二像素PX2的第三行第三列的子像素对应的像素值可以保持为对应于绿色像素值。

同样，第三像素PX3和第四像素PX4的子像素的像素值也可以基于拜耳图案进行转换。在示例实施例中，在图5和图6中，与被描绘为具有从右上到左下的对角线填充图案的子像素对应的像素值可以是对应于红色的像素值。与被描绘为具有从左上到右下的对角线填充图案的子像素对应的像素值可以是对应于蓝色的像素值。对应于被描绘为具有点填充图案(即，非对角线填充图案)的子像素的像素值可以是对应于绿色的像素值。

如参考图5所描述的，由第一像素PXl、第二像素PX2、第三像素PX3和第四像素PX4中的每一者的子像素之中位于中心部分的子像素感测的像素值可以小于由位于***部分的子像素感测的像素值。因此，在与图6的子像素对应的像素值中，可能会出现与中心部分的子像素对应的像素值小于与***部分的子像素对应的像素值的串扰。

图7是示出根据本公开的示例实施例的图像传感器100中的处理器130的串扰校正模块133校正串扰的方法的示例的流程图。参考图1、图6和图7，在操作S21中，串扰校正模块133可以将增益应用于第一像素PX1、第二像素PX2、第三像素PX3和第四像素PX4的子像素的像素值中的每一者。串扰校正模块133可以基于增益按比率调整分别对应于子像素的像素值。

在操作S22中，串扰校正模块133可以将偏移应用于第一像素PXl、第二像素PX2、第三像素PX3和第四像素PX4的子像素的像素值。串扰校正模块133可以将分别对应于子像素的像素值调整(例如，加或减)偏移值那么多。

当第一像素PXl、第二像素PX2、第三像素PX3和第四像素PX4的子像素能够感测到的最大亮度(或最大照度)的光入射时，子像素会饱和并且可以输出最大像素值。当串扰校正模块133对子像素输出的最大像素值执行串扰校正时，由于增益和偏移，可能在图像数据ID中出现伪影(artifact)。因此，串扰校正模块133可以被配置为跳过(或不执行)对饱和像素值的串扰校正。

此外，如参考图5所描述的，由于滤色器CF1或CF2的厚度不均匀，所以第一像素PX1、第二像素PX2、第三像素PX3和第四像素PX4中的每一者的***子像素可能饱和，而其中心子像素不会饱和。在这种情况下，可能由于串扰而在图像数据ID上出现伪影。

为了防止上述问题，本文提供了一种串扰校正算法，用于在一些子像素饱和的情况下对子像素的像素值执行串扰校正。根据本公开的示例实施例的图像传感器100中的处理器130可以通过根据图像数据信息IDI计算饱和度并且基于饱和度调整重排马赛克设置，来去除(或抑制)在一些子像素饱和的情况下由于串扰引起的伪影。

图8是示出根据本公开的示例实施例的应用处理器200从图像数据ID生成图像数据信息IDI的示例的图。参考图1和图8，应用处理器200可以将图像数据ID划分为块(patch)PT。每个块PT可以包括与成组的两个或更多个像素(或子像素)对应的像素值。可以通过以格子(lattice)的形式划分图像数据ID来获得块PT。应用处理器200可以基于块PT生成图像数据信息IDI。

例如，在图6的像素值中，对应于红色子像素的像素值可以被分类为对应于红色的通道的块PT。对应于蓝色子像素的像素值可以被分类为对应于蓝色的通道的块PT。对应于绿色子像素的像素值可以被分类为对应于绿色的通道的块PT。或者，对应于第一类绿色(例如，Gr)的子像素的像素值可以被分类为对应于第一类绿色的通道的块PT，并且对应于第二类绿色(例如，Gb)的子像素的像素值可以被分类为对应于第二类绿色的通道的块PT。

图9是示出根据本公开的示例实施例的应用处理器200向图像传感器100发送图像数据信息IDI的过程的示例的流程图。参考图1和图9，在操作S31中，应用处理器200可以从图像传感器100接收图像数据ID。在操作S32中，应用处理器200可以针对每个块PT生成图像数据信息IDI。在操作S33中，应用处理器200可以将由此生成的图像数据信息IDI输出到图像传感器100。

例如，图像数据信息IDI可以包括每个块PT的像素值的信息，例如，平均像素值。图像数据信息IDI可以包括每个块PT的多个通道(例如，红色(R)通道、绿色(G)通道(或者，Gr通道和Gb通道)以及蓝色(B)通道)的平均像素值。

作为另一示例，图像数据信息IDI可以包括每个块PT的饱和像素值的数量。图像数据信息IDI可以包括每个块PT的多个通道(例如，红色(R)通道、绿色(G)通道(或者，Gr通道和Gb通道)以及蓝色(B)通道)中的每一者的饱和像素值的数量。

图10是示出根据本公开的示例实施例的图像传感器100中的处理器130基于饱和度来抑制串扰的方法的示例的流程图。参考图1和图10，在操作S110中，处理器130中的饱和管理模块134可以接收图像数据信息IDI。

在操作S120中，处理器130中的饱和管理模块134可以基于图像数据信息IDI来计算作为先前帧传送的图像数据ID的饱和度。

在操作S130中，处理器130中的饱和管理模块134可以基于计算出的饱和度来调整重排马赛克模块131的重排马赛克设置。例如，饱和管理模块134可以调整重排马赛克设置，使得更多噪声连同串扰一起从当前帧的图像数据ID中去除。

图11是示出根据本公开的示例实施例的图像传感器100中的处理器130计算饱和度的方法的示例的流程图。参考图1、图8和图11，在操作S210中，处理器130中的饱和管理模块134可以从图像数据信息IDI检测N个通道的平均像素值。N个通道(N为正整数)可以对应于三个通道(例如，R、G和B)、四个通道(例如，R、Gr、Gb和B)或任意数量的通道。每个通道的平均像素值可以分别对应于块PT的平均像素值。例如，处理器130可以从图像数据信息IDI检测R通道块的平均像素值、G通道块的平均像素值和B通道块的平均像素值。或者，处理器130可以从图像数据信息IDI中检测R通道块的平均像素值、Gr通道块的平均像素值、Gb通道块的平均像素值和B通道块的平均像素值。

在操作S220中，处理器130中的饱和管理模块134可以使用每个通道的阈值TH来确定饱和块。例如，阈值TH可以被确定为与最大像素值具有给定比率(例如，90％或95％)，并且可以由应用处理器200设置或调整。平均像素值大于或等于阈值TH的块PT可以被确定为饱和块。平均像素值小于阈值TH的块PT可以被确定为不饱和块。N个通道的阈值TH可以设置为相同值或不同值。

在操作S230中，处理器130中的饱和管理模块134可以对每个通道的饱和块的数量进行计数。N个通道的饱和块的数量和位置可以相同或不同。

在操作S240中，处理器130中的饱和管理模块134可以基于与特定通道相关联的饱和块的最大数量来计算饱和度。例如，饱和管理模块134可以分别计算N个通道的饱和度，并且可以将N个通道的饱和度之中具有最大值的饱和度确定为最终饱和度。

在示例实施例中，N个通道可以对应于不同的频率。由像素单元110拍摄的对象的颜色可以是多种多样的，并且N个通道中可能只有一个通道是饱和的。例如，晴天的蓝天可能导致与蓝色滤色器对应的像素饱和，日落天空可能导致与红色滤色器对应的像素饱和。阳光明媚的白天森林可能导致与绿色滤色器对应的像素饱和。当任何一个通道的像素饱和时，由于串扰引起的伪影可能出现在图像数据ID中。根据本公开的示例实施例的图像传感器100可以使用N个通道的饱和度之中的最高饱和度，来有效地防止(或抑制)由于串扰引起的伪影。

图12是示出根据本公开的示例实施例的调整重排马赛克设置的方法的示例的流程图。参考图1和图12，在操作S310中，图像传感器100中的处理器130中的饱和管理模块134可以调整重排马赛克模块131的重排马赛克设置之中的平坦度(flatness)阈值。平坦度阈值可以是重排马赛克模块131用于确定数字信号DS是否平坦的标准。

在操作S320中，图像传感器100的处理器130中的饱和管理模块134可以调整重排马赛克模块131的重排马赛克设置之中的局部平坦度阈值。局部平坦度阈值可以用于重排马赛克模块131确定数字信号DS上的局部平坦的区域。

在操作S330中，图像传感器100的处理器130中的饱和管理模块134可以调整重排马赛克模块131的重排马赛克设置之中的平滑指数(smoothing power)。平滑指数可以对应于当重排马赛克模块131去除噪声时对数字信号DS的模糊(或低通滤波)水平。

图13是示出根据本公开的示例实施例的图像传感器100中的处理器130如何依据饱和度调整重排马赛克设置的示例的图。在图13中，横轴表示饱和度，纵轴表示平坦度阈值、局部平坦度阈值或平滑指数。

如图13所示，当饱和度增加时，处理器130中的饱和管理模块134可以增加平坦度阈值、局部平坦度阈值或平滑指数。在示例实施例中，饱和管理模块134可以一维地、二维地、三维地或指数地增加平坦度阈值、局部平坦度阈值或平滑指数。在示例实施例中，饱和管理模块134可以以相同的比率或以不同的比率增加平坦度阈值、局部平坦度阈值或平滑指数。

图14是示出根据本公开的示例实施例的图像传感器100中的处理器130基于重排马赛克设置执行重排马赛克的方法的示例的流程图。参考图1和图14，在操作S410中，处理器130的重排马赛克模块131可以使用重排马赛克设置之中的平坦度阈值来确定数字信号DS的平坦度。例如，当N个通道中的每个通道的像素值的差(例如，最大差)小于平坦度阈值时，重排马赛克模块131可以确定数字信号DS是平坦的。当N个通道中的每个通道的像素值的差(例如，最大差)大于或等于平坦度阈值时，重排马赛克模块131可以确定数字信号DS是不平坦的。

当在操作S420中确定数字信号DS是平坦的时，处理器130的重排马赛克模块131可以执行操作S430。在操作S430中，重排马赛克模块131可以使整个数字信号DS平滑。例如，重排马赛克模块131可以基于重排马赛克设置之中的平滑度对数字信号DS执行低通滤波。

当在操作S420中确定数字信号DS是不平坦的时，处理器130的重排马赛克模块131可以执行操作S440。在操作S440中，重排马赛克模块131可以使用重排马赛克设置之中的局部平坦度阈值来确定平坦区域和图案区域。例如，当数字信号DS上特定区域中的N个通道中的每个通道的像素值的差小于局部平坦度阈值时，重排马赛克模块131可以确定该特定区域是平坦区域。当数字信号DS上的特定区域中的N个通道中的每个通道的像素值的差大于或等于局部平坦度阈值时，重排马赛克模块131可以确定该特定区域是图案区域(例如，不规则区域)。

在操作S450中，重排马赛克模块131可以基于重排马赛克设置中的平滑度来使数字信号DS上的平坦区域平滑(例如，对数字信号DS上的平坦区域执行低通滤波)。

如上所述，根据本公开的示例实施例的图像传感器100可以随着饱和度增加而确定数字信号DS更平坦，并且可以更强地执行平坦。因此，可以通过平坦化去除(或抑制)由饱和像素的串扰引起的伪影。

图15是示出根据本公开的示例实施例的图像传感器100中的处理器130计算饱和度的方法的示例的流程图。参考图1和图15，在操作S510中，处理器130中的饱和管理模块134可以根据图像数据信息IDI检测饱和像素的数量。例如，应用处理器200可以对每个块PT(参考图8)的饱和像素值的数量进行计数，并且可以将每个块PT的饱和像素值的数量包括在图像数据信息IDI中。饱和管理模块134可以根据图像数据信息IDI从每个块PT的饱和像素值的数量中检测饱和像素的数量。

在操作S520中，饱和管理模块134可以基于饱和像素的数量来计算饱和度。例如，饱和管理模块134可以计算饱和像素的数量与像素单元110的像素总数量的比作为饱和度。

作为示例实施例，应用处理器200可以计算饱和像素值的数量与每个块PT的像素值的数量的比作为每个块PT的饱和度，并且可以将每个块PT的饱和度包括在图像数据信息IDI中。饱和管理模块134可以从图像数据信息IDI中检测每个块PT的饱和度，并且可以计算块PT的饱和度的平均值作为饱和度。

图16是示出根据本公开的示例实施例的包括多相机模块的电子设备的图。图17是示出根据本公开的示例实施例的图16的相机模块的图。

参考图16，电子设备1000可以包括相机模块组1100、应用处理器1200、电源管理集成电路(PMIC)1300和外部存储器1400。

相机模块组1100可以包括多个相机模块1100a、1100b和1100c。图16中示出了包括三个相机模块1100a、1100b和1100c的电子设备，但是本公开不限于此。在示例实施例中，相机模块组1100可以被修改为仅包括两个相机模块。此外，在示例实施例中，相机模块组1100可以被修改为包括“n”个相机模块(n是4或更大的自然数)。例如，相机模块组1100的多个相机模块1100a、1100b和1100c中的每一者可以包括图1的图像传感器100。应用处理器1200可以包括图1的应用处理器200。

下面，将参考图17更全面地描述相机模块1100b的详细配置，但是以下描述可以同等适用于其余相机模块1100a和1100c。

参考图17，相机模块1100b可以包括棱镜1105、光路折叠元件(OPFE)1110、致动器1130、图像感测装置1140和存储装置1150。

棱镜1105可以包括具有光反射材料的反射面1107，并且可以改变从外部入射的光“L”的路径。

在示例实施例中，棱镜1105可以将沿第一方向(X)入射的光“L”的路径改变为沿垂直于第一方向(X)的第二方向(Y)。此外，棱镜1105可以通过使具有光反射材料的反射面1107围绕中心轴1106沿方向“A”旋转，或者使中心轴1106沿方向“B”旋转，将沿第一方向(X)入射的光“L”的路径改变为沿垂直于第一(X轴)方向的第二方向(Y)。在这种情况下，OPFE1110可以在垂直于第一方向(X)和第二方向(Y)的第三方向(Z)上移动。

在示例实施例中，如图17所示，棱镜1105在方向“A”上的最大旋转角度在正A方向上可以等于或小于15度，并且在负A方向上可以大于15度，但是本公开不限于此。

在示例实施例中，在正B方向或负B方向上，棱镜1105可以移动大约20度以内、10度与20度之间、或者15度与20度之间；这里，棱镜1105可以在正B方向或负B方向上以相同角度移动，或者可以在大约1度以内以几乎相同的角度移动。

在示例实施例中，棱镜1105可以使具有光反射材料的反射面1107在平行于中心轴1106延伸的方向的第三方向(例如，Z方向)上移动。

OPFE 1110可以包括例如“j”个光学透镜(j是自然数)。“j”个透镜可以沿第二方向(Y)移动以改变相机模块1100b的光学变焦比。例如，当相机模块1100b的默认光学变焦比为“Z”时，可以通过移动OPFE 1110中包括的“j”个光学透镜，将相机模块1100b的光学变焦比改变为3Z、5Z或5Z或更大的光学变焦比。

致动器1130可以将OPFE 1110或光学透镜(以下称为“光学透镜”)移动到特定位置。例如，致动器1130可以调整光学透镜的位置，使得图像传感器1142位于光学透镜的焦距处以进行精确感测。

图像感测装置1140可以包括图像传感器1142、控制逻辑1144和存储器1146。图像传感器1142可以使用通过光学透镜提供的光“L”来感测感测目标的图像。

控制逻辑1144可以控制相机模块1100b的整体操作。例如，控制逻辑1144可以基于通过控制信号线CSLb提供的控制信号来控制相机模块1100b的操作。

存储器1146可以存储相机模块1100b的操作所需的信息，诸如，校准数据1147。校准数据1147可以包括相机模块1100b使用从外部提供的光“L”生成图像数据所需的信息。校准数据1147可以包括例如关于上述旋转度数的信息、关于焦距的信息、关于光轴的信息等。在相机模块1100b以焦距依据光学透镜的位置而改变的多态相机的形式实现的情况下，校准数据1147可以包括光学透镜的每个位置(或状态)的焦距值和关于自动对焦的信息。

存储装置1150可以存储通过图像传感器1142感测到的图像数据。存储装置1150可以设置在图像感测装置1140的外部，并且可以以存储装置1150与构成图像感测装置1140的传感器芯片堆叠的形状来实现。在示例实施例中，存储装置1150可以用电可擦除可编程只读存储器(EEPROM)来实现，但本公开不限于此。

参考图16和图17，在示例实施例中，多个相机模块1100a、1100b和1100c中的每一者可以包括致动器1130。因此，依据其中的致动器1130的操作，相同的校准数据1147或不同的校准数据1147可以被包括在多个相机模块1100a、1100b和1100c中。

在示例实施例中，多个相机模块1100a、1100b和1100c之中的一个相机模块(例如，1100b)可以是其中包括上述棱镜1105和OPFE 1110的折叠透镜形状的相机模块，其余相机模块(例如，1100a、1100c)可以是不包括上述棱镜1105和OPFE 1110的垂直形状的相机模块；然而，本公开不限于此。

在示例实施例中，多个相机模块1100a、1100b和1100c之中的一个相机模块(例如，1100c)可以是例如使用红外(IR)线提取深度信息的垂直形状的深度相机。在这种情况下，应用处理器1200可以将从深度相机提供的图像数据与从任意其他相机模块(例如，1100a或1100b)提供的图像数据合并，并且可以生成三维(3D)深度图像。

在示例实施例中，多个相机模块1100a、1100b和1100c之中的至少两个相机模块(例如，1100a和1100b)可以具有不同的视场。在这种情况下，多个相机模块1100a、1100b和1100c中的至少两个相机模块(例如，1100a和1100b)可以包括不同的光学透镜，但本公开不限于此。

此外，在示例实施例中，多个相机模块1100a、1100b和1100c的视场可以不同。在这种情况下，多个相机模块1100a、1100b和1100c可以包括不同的光学透镜，但不限于此。

在示例实施例中，多个相机模块1100a、1100b和1100c可以设置为彼此物理分离。也就是说，多个相机模块1100a、1100b和1100c可以不使用一个图像传感器1142的感测区域，而是多个相机模块1100a、1100b和1100c中可以分别包括独立的图像传感器1142。

参考图16，应用处理器1200可以包括图像处理装置1210、存储器控制器1220和内部存储器1230。应用处理器1200可以实现为与多个相机模块1100a、1100b和1100c分离。例如，应用处理器1200和多个相机模块1100a、1100b和1100c可以用单独的半导体芯片来实现。

图像处理装置1210可以包括多个子图像处理器(也称为子处理器)1212a、1212b和1212c、图像生成器1214和相机模块控制器1216。

图像处理装置1210可以包括数量与多个相机模块1100a、1100b和1100c的数量对应的多个子图像处理器1212a、1212b和1212c。

分别从相机模块1100a、1100b和1100c生成的图像数据可以通过分离的图像信号线ISLa、ISLb和ISLc分别提供给对应的子图像处理器1212a、1212b和1212c。例如，从相机模块1100a生成的图像数据可以通过图像信号线ISLa提供给子图像处理器1212a，从相机模块1100b生成的图像数据可以通过图像信号线ISLb提供给子图像处理器1212b，并且从相机模块1100c生成的图像数据可以通过图像信号线ISLc提供给子图像处理器1212c。例如，可以使用基于MIPI的相机串行接口来执行这种图像数据传输，但是本公开不限于此。

在示例实施例中，一个子图像处理器可以被设置为对应于多个相机模块。例如，子图像处理器1212a和子图像处理器1212c可以一体地实现，而不是如图16所示彼此分离；在这种情况下，可以通过选择元件(例如，多路选择器)选择分别从相机模块1100a和相机模块1100c提供的图像数据之一，并且可以将所选择的图像数据提供给集成为一体的子图像处理器。

可以将分别提供给子图像处理器1212a、1212b和1212c的图像数据提供给图像生成器1214。图像生成器1214可以依据图像生成信息1298或模式信号1299，使用分别从子图像处理器1212a、1212b、1212c提供的图像数据来生成输出图像。

详细地，图像生成器1214可以依据图像生成信息1298或模式信号1299，通过将分别从具有不同视场的相机模块1100a、1100b和1100c生成的图像数据的至少一部分进行合并，来生成输出图像。此外，图像生成器1214可以依据图像生成信息1298或模式信号1299，通过选择分别从具有不同视场的相机模块1100a、1100b和1100c生成的图像数据之一，来生成输出图像。

在示例实施例中，图像生成信息1298可以包括变焦信号或变焦因子。此外，在示例实施例中，模式信号1299可以是例如基于用户选择的模式的信号。

在图像生成信息1298是变焦信号(或变焦因子)并且相机模块1100a、1100b和1100c具有不同视场的情况下，图像生成器1214可以依据变焦信号的类型而执行不同的操作。例如，在变焦信号是第一信号的情况下，图像生成器1214可以将从相机模块1100a输出的图像数据和从相机模块1100c输出的图像数据合并，并且可以使用合并后的图像信号以及从相机模块1100b输出的未用于合并操作的图像数据，来生成输出图像。在变焦信号是不同于第一信号的第二信号的情况下，图像生成器1214可以在不进行图像数据合并操作的情况下，选择分别从相机模块1100a、1100b和1100c输出的图像数据之一，并且可以输出所选择的图像数据作为输出图像。然而，本公开不限于此，并且如果需要可以对处理图像数据的方式进行修改而没有限制。

在示例实施例中，图像生成器1214可以通过从多个子图像处理器1212a、1212b和1212c中的至少一者接收不同曝光时间的多个图像数据，并且对多个图像数据执行高动态范围(HDR)处理，来生成具有增加的动态范围的合并图像数据。

相机模块控制器1216可以向相机模块1100a、1100b和1100c分别提供控制信号。从相机模块控制器1216生成的控制信号可以通过彼此分离的控制信号线CSLa、CSLb和CSLc分别提供给相应的相机模块1100a、1100b和1100c。

依据包括变焦信号的图像生成信息1298或模式信号1299，多个相机模块1100a、1100b和1100c中的一者可以被指定为主相机(例如，1100b)，并且其余相机模块(例如，1100a和1100c)可以被指定为从相机。上述指定信息可以被包括在控制信号中，并且包括指定信息的控制信号可以通过彼此分离的控制信号线CSLa、CSLb和CSLc分别提供给相应的相机模块1100a、1100b和1100c。

可以依据变焦因子或操作模式信号来改变作为主设备和从设备操作的相机模块。例如，在相机模块1100a的视场比相机模块1100b的视场宽并且变焦因子指示低变焦比的情况下，相机模块1100b可以作为主设备操作，并且相机模块1100a可以作为从设备操作。相反，在变焦因子指示高变焦比的情况下，相机模块1100a可以作为主设备操作，而相机模块1100b可以作为从设备操作。

在示例实施例中，从相机模块控制器1216提供给相机模块1100a、1100b和1100c中的每一者的控制信号可以包括同步使能信号。例如，在相机模块1100b用作主相机并且相机模块1100a和1100c用作从相机的情况下，相机模块控制器1216可以将同步使能信号发送到相机模块1100b。被提供同步使能信号的相机模块1100b可以基于所提供的同步使能信号生成同步信号，并且可以通过同步信号线SSL将生所成的同步信号提供给相机模块1100a和1100c。相机模块1100b和相机模块1100a和1100c可以利用该同步信号同步，以向应用处理器1200发送图像数据。

在示例实施例中，从相机模块控制器1216提供给相机模块1100a、1100b和1100c中的每一者的控制信号可以包括根据模式信号的模式信息。基于模式信息，多个相机模块1100a、1100b和1100c可以在与感测速度相关的第一操作模式和第二操作模式下操作。

在第一操作模式下，多个相机模块1100a、1100b和1100c可以以第一速率生成图像信号(例如，可以以第一帧速率生成图像信号)，可以以第二速率对图像信号进行编码(例如，可以以高于第一帧速率的第二帧速率对图像信号进行编码)，并且将编码图像信号发送到应用处理器1200。在这种情况下，第二速率可以是第一速率的30倍或更小。

应用处理器1200可以将接收到的图像信号(即，编码图像信号)存储在设置在其中的内部存储器1230或放置在应用处理器1200外部的外部存储器1400中。之后，应用处理器1200可以读取和解码来自内部存储器1230或外部存储器1400的编码图像信号，并且可以显示基于解码图像信号生成的图像数据。例如，图像处理装置1210的子图像处理器1212a、1212b和1212c中的相应子图像处理器可以执行解码，还可以对解码图像信号执行图像处理。

在第二操作模式下，多个相机模块1100a、1100b和1100c可以以第三速率生成图像信号(例如，可以以低于第一帧速率的第三帧速率生成图像信号)，并且将图像信号发送给应用处理器1200。提供给应用处理器1200的图像信号可以是未编码的信号。应用处理器1200可以对接收到的图像信号执行图像处理，或者可以将图像信号存储在内部存储器1230或外部存储器1400中。

PMIC 1300可以分别向多个相机模块1100a、1100b和1100c提供电力，例如，电源电压。例如，在应用处理器1200的控制下，PMIC 1300可以通过电力信号线PSLa向相机模块1100a供应第一电力，可以通过电力信号线PSLb向相机模块1100b供应第二电力，并且可以通过电力信号线PSLc向相机模块1100c供应第三电力。

PMIC 1300可以响应于来自应用处理器1200的功率控制信号PCON，生成与多个相机模块1100a、1100b和1100c中的每一者对应的功率，并且可以调整功率的大小。功率控制信号PCON可以包括用于多个相机模块1100a、1100b和1100c的每个操作模式的功率调节信号。例如，操作模式可以包括低功率模式。在这种情况下，功率控制信号PCON可以包括关于在低功率模式下操作的相机模块的信息和设定功率大小。分别提供给多个相机模块1100a、1100b和1100c的功率大小可以彼此相同或可以彼此不同。此外，功率大小可以动态地改变。

在示例实施例中，参考图1至图15描述的图像传感器100可以对应于图17的图像传感器1142。图像传感器1142可以基于像素值的饱和水平调整重排马赛克设置。图像传感器1142可以基于重排马赛克设置执行重排马赛克，并且可以执行串扰校正。在示例实施例中，可以顺序地或反向地执行重排马赛克和串扰校正。当根据本公开的示例实施例实现图像传感器1142时，可以提高应用处理器1200获得的图像数据的质量。

在以上实施例中，使用术语“第一”、“第二”、“第三”等来描述根据本公开的组件。然而，术语“第一”、“第二”、“第三”等可以用于将组件彼此区分，但不限制本公开。例如，术语“第一”、“第二”、“第三”等不涉及顺序或任何形式的数字含义。

在上面的实施例中，根据本公开的示例实施例的组件使用例如图1、图16和图17中所示的块来引用。可以用各种硬件装置(诸如，集成电路、专用IC(ASIC)、现场可编程门阵列(FPGA)和复杂可编程逻辑器件(CPLD))、在硬件装置中驱动的固件、软件(诸如，应用)、或者硬件装置和软件的组合来实现这些块。此外，块可以包括用集成电路中的半导体元件实现的电路，或者注册为知识产权(IP)的电路。

根据本公开的实施例，当像素感测到的像素值饱和时，图像传感器可以调整重排马赛克设置。因此，提供了一种即使在像素值饱和时也能够校正串扰的图像传感器、图像传感器的操作方法以及包括图像传感器的电子设备。

以上描述中提供的每个实施例不排除与另一示例或另一实施例的一个或更多个特征相关联，该另一示例或另一实施例也提供在本文中或未在本文中提供但与本公开一致。

虽然已经参考本公开的实施例具体地示出和描述了本公开，但是将理解，在不脱离所附权利要求的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。

Claims (20)

1.一种图像传感器，包括：

像素单元，所述像素单元包括多个像素，并且被配置为使用所述多个像素生成模拟信号；

数据转换器，所述数据转换器被配置为：

接收所述模拟信号，并且

将所述模拟信号转换为数字信号；以及

至少一个处理器，所述至少一个处理器被配置为：

通过对所述数字信号执行串扰校正和重排马赛克来生成图像数据，

向外部设备输出所述图像数据，

从所述外部设备接收图像数据信息，

基于所述图像数据信息确定饱和度，并且

基于所述饱和度来调整所述重排马赛克的设置。

2.根据权利要求1所述的图像传感器，其中，所述至少一个处理器进一步被配置为：

从所述图像数据信息检测对应于所述多个像素的像素值组的多个平均像素值；以及

基于所述多个平均像素值确定所述饱和度。

3.根据权利要求2所述的图像传感器，其中，所述至少一个处理器进一步被配置为：

通过将所述多个平均像素值与阈值进行比较来确定所述饱和度。

4.根据权利要求3所述的图像传感器，其中，所述至少一个处理器进一步被配置为：

将所述多个平均像素值中大于所述阈值的平均像素值的数量与所述多个平均像素值的数量的比确定为所述饱和度。

5.根据权利要求1所述的图像传感器，其中，所述图像数据信息包括关于对应于所述多个像素的像素值之中的饱和像素值的数量的信息，

其中，所述至少一个处理器进一步被配置为：

基于所述图像数据信息中包括的关于饱和像素值的数量的信息来确定所述饱和度。

6.根据权利要求1所述的图像传感器，其中，所述图像数据包括分别对应于多个通道的多个通道数据，

其中，所述图像数据信息包括分别对应于所述多个通道的多个通道数据信息，

其中，所述至少一个处理器进一步被配置为：

确定分别对应于所述多个通道的多个第一饱和度。

7.根据权利要求6所述的图像传感器，其中，所述至少一个处理器进一步被配置为：

基于所述多个第一饱和度之中的最高饱和度来调整所述重排马赛克的设置。

8.根据权利要求1所述的图像传感器，其中，所述至少一个处理器进一步被配置为：

调整以下项中的至少一项：

用于确定所述图像数据是否为平坦图像数据的平坦度阈值，

用于确定所述图像数据的平坦区域的局部平坦度阈值，以及

用于使所述图像数据的所述平坦区域平滑的平滑指数。

9.根据权利要求8所述的图像传感器，其中，所述至少一个处理器进一步被配置为：

当所述饱和度增加时，增加所述平坦度阈值、所述局部平坦度阈值和所述平滑指数中的至少一者。

10.根据权利要求9所述的图像传感器，其中，所述至少一个处理器进一步被配置为：

当所述饱和度增加时，以相同比率增加所述平坦度阈值、所述局部平坦度阈值和所述平滑指数中的至少两者。

11.根据权利要求9所述的图像传感器，其中，所述至少一个处理器进一步被配置为：

当所述饱和度增加时，以不同比率增加所述平坦度阈值、所述局部平坦度阈值和所述平滑指数中的至少两者。

12.根据权利要求1所述的图像传感器，其中，所述至少一个处理器还被配置为：

通过调整所述重排马赛克的设置来校正所述多个像素之中的饱和像素的串扰。

13.根据权利要求12所述的图像传感器，其中，所述至少一个处理器还被配置为：

通过将增益和偏移应用于所述多个像素之中的不饱和像素的像素值，对所述不饱和像素执行所述串扰校正。

14.一种包括多个像素的图像传感器的操作方法，所述方法包括：

在所述图像传感器处从外部设备接收图像数据信息；

在所述图像传感器处，根据所述图像数据信息确定所述图像传感器获得的图像数据的饱和度；

在所述图像传感器处，基于所述饱和度调整重排马赛克设置；以及

在所述图像传感器处，基于所述重排马赛克设置，对所述图像传感器获得的所述图像数据执行重排马赛克。

15.根据权利要求14所述的方法，其中，所述图像数据信息包括由所述图像传感器向所述外部设备输出的先前帧的图像数据的信息。

16.根据权利要求14所述的方法，其中，基于所述重排马赛克设置对当前帧的图像数据执行所述重排马赛克。

17.根据权利要求14所述的方法，其中，所述的确定饱和度包括：

检测对应于所述多个像素的像素值组的多个平均像素值；

使用阈值确定所述像素值组之中的饱和组；

确定所述饱和组的数量；和

基于所确定的饱和组的数量来确定所述饱和度。

18.根据权利要求14所述的方法，其中，所述的确定饱和度包括：

确定所述多个像素之中与饱和像素值对应的饱和像素的数量；和

基于所确定的饱和像素的数量来确定所述饱和度。

19.一种电子设备，包括：

图像传感器，所述图像传感器包括多个像素；和

至少一个处理器，所述至少一个处理器被配置为：

基于所述图像传感器生成的图像数据生成图像数据信息；并且

向所述图像传感器发送所述图像数据信息，

其中，所述图像传感器被配置为：

根据所述图像数据信息确定所述多个像素的饱和度；并且

基于所述饱和度，在第一模式和第二模式中的一种模式下，校正所述多个像素的串扰，

其中，在所述第一模式下，基于增益和偏移校正所述串扰，并且

其中，在所述第二模式下，基于所述增益和所述偏移并且通过调整重排马赛克设置来校正所述串扰。

20.根据权利要求19所述的电子设备，其中，所述图像传感器进一步被配置为：

基于所述饱和度小于参考值进入所述第一模式；和

基于所述饱和度大于或等于所述参考值进入所述第二模式。