CN114390227A - 被配置为改善组合模式中的伪影的图像传感器 - Google Patents

Abstract

一种图像处理装置包括图像传感器，该图像传感器包括具有第一像素组的像素阵列以及相关双采样电路。第一像素组包括第一多个正常像素、第二多个正常像素和至少一个第一相位检测像素。相关双采样电路被配置为基于第一多个正常像素的电荷生成第一视频数据，基于第二多个正常像素的电荷生成第二视频数据，并且基于至少一个第一相位检测像素的输出生成第一相位检测数据。图像处理装置还包括图像信号处理器，其被配置为将第一权重应用于所生成的第一视频数据，并且将第二权重应用于所生成的第二视频数据。

Description

被配置为改善组合模式中的伪影的图像传感器

相关申请的交叉引用

本申请基于并要求于2020年10月19日在韩国知识产权局提交的韩国专利申请No.10-2020-0135299的优先权，其全部内容通过引用合并于此。

技术领域

本公开涉及一种图像传感器，更具体地，涉及一种改善与在组合(binning)模式中操作的图像传感器的相位检测像素相关联的像素组的图像质量的方法。

背景技术

图像传感器可以分类为电荷耦合器件(CCD)图像传感器、互补金属氧化物半导体(CMOS)图像传感器(CIS)等。CMOS图像传感器包括由CMOS晶体管形成的像素，并且通过使用每个像素中包括的光电转换元件来将光能转换为电信号。CMOS图像传感器通过使用在每个像素处产生的电信号来获得关于捕获的/拍摄的图像的信息。

随着像素数量的增加和像素尺寸的减小，正在开发各种像素阵列和各种处理技术以在高照度环境和低照度环境中最佳地操作图像传感器。例如，在高照度环境中，可以通过足够量的光向用户提供全尺寸的图像。然而，在低照度环境中，可以向用户提供由于诸如组合的方法而导致尺寸减小的图像。

图像传感器可获得用于对对象进行聚焦的相位检测自动聚焦(PDAF)的相位检测数据。然而，在与用于获得对象的相位信息的相位检测像素相邻的像素处，可能容易出现导致图像质量下降的伪影(或图像伪影)。因此，可能需要一种用于去除当图像传感器在组合模式下操作时出现在相位检测像素周围的伪影的技术。

发明内容

提供了一种图像传感器和改善在组合模式中操作的图像传感器的包括相位检测像素的像素组的伪影的方法。

根据实施例，一种图像处理装置包括图像传感器，所述图像传感器包括具有第一像素组的像素阵列和相关双采样电路。所述第一像素组包括第一多个正常像素、第二多个正常像素和至少一个第一相位检测像素。所述相关双采样电路被配置为：基于所述第一多个正常像素的电荷生成第一视频数据；基于所述第二多个正常像素的电荷生成第二视频数据；并且基于所述至少一个第一相位检测像素的输出来生成第一相位检测数据。所述图像处理装置还包括图像信号处理器，所述图像信号处理器被配置为：将第一权重应用于所生成的第一视频数据；将第二权重应用于所生成的第二视频数据；以及基于应用了所述第一权重的所述第一视频数据和应用了所述第二权重的所述第二视频数据，生成所述第一像素组的第一相位检测像素校正后的视频数据。

根据实施例，一种图像处理装置包括像素阵列，所述像素阵列包括第一像素组和第二像素组，所述第一像素组包括第一多个正常像素和至少一个第一相位检测像素，所述第二像素组包括第二多个正常像素和至少一个第二相位检测像素。所述图像处理装置还包括图像传感器，所述图像传感器被配置为：基于所述第一多个正常像素的电荷生成第一视频数据；基于所述第二多个正常像素的电荷生成第二视频数据；基于所述至少一个第一相位检测像素的输出来生成第一相位检测数据；并且基于所述至少一个第二相位检测像素的输出来生成第二相位检测数据。所述图像处理装置还包括图像信号处理器，所述图像信号处理器被配置为：选择所生成的第一视频数据作为所述第一像素组的第一相位检测像素校正后的视频数据；并且选择所生成的第二视频数据作为所述第二像素组的第二相位检测像素校正后的视频数据。

根据实施例，一种图像处理装置包括像素阵列，所述像素阵列包括第一像素组和第二像素组，所述第一像素组包括第一多个正常像素和第一相位检测像素，所述第二像素组包括第二多个正常像素和第二相位检测像素。所述图像处理装置还包括相关双采样电路，所述相关双采样电路被配置为：基于所述第一多个正常像素的电荷生成第一视频数据；基于所述第二多个正常像素的电荷生成第二视频数据；基于所述第一相位检测像素的输出来生成第一相位检测数据；并且基于所述第二相位检测像素的输出来生成第二相位检测数据。所述图像处理装置还包括图像信号处理器，所述图像信号处理器被配置为：选择所生成的第一视频数据作为所述第一像素组的第一相位检测像素校正后的视频数据；并且选择所生成的第二视频数据作为所述第二像素组的第二相位检测像素校正后的视频数据。

附图说明

根据下面结合附图的描述，本公开的实施例的以上和其它方面、特征和优点将变得更加明显。

图1示出了根据实施例的图像处理装置的图。

图2示出了图1的图像传感器的框图。

图3示出了图2的像素阵列的平面图。

图4示出了沿图3的线I-I'截取的像素阵列的截面图。

图5示出了图3的像素组中的一个像素组的电路图。

图6示出了基于从包括图3的像素阵列的图像传感器输出的图像数据的像素图。

图7示出了由图1的图像信号处理器处理的像素图。

图8示出了图1的图像信号处理器的框图。

图9示出了对包括图3至图5的像素阵列的图像传感器的输出执行的相位检测像素校正。

图10和图11是示出像素组中的单位像素组的位置与应用于该单位像素组的视频数据的权重之间的关系的曲线图。

图12是根据实施例的图2的像素阵列的平面图。

图13示出了图12的像素组中的一个像素组的电路图。

图14示出了基于从包括图13的像素阵列的图像传感器输出的图像数据的像素图。

图15示出了对包括图12至图13的像素阵列的图像传感器的输出执行的相位检测像素校正。

图16示出了根据实施例的图2的像素阵列的平面图。

图17是沿图16的线III-III'截取的像素阵列的截面图。

图18示出了沿图16的线Ⅳ-Ⅳ'截取的像素阵列的截面图。

图19示出了对包括图16的像素阵列的图像传感器的输出执行的相位检测像素校正。

图20示出了根据实施例的在组合模式中从图1的图像处理装置输出的全图像数据的示意性格式。

图21示出了包括相机模块的电子装置的图，在该相机模块中实施了根据实施例的图像处理装置。

图22示出了图21的相机模块的图。

具体实施方式

下面，可以将本公开的实施例详细地且清楚地描述到本领域技术人员容易地实施本公开的程度。

将用软件、硬件或它们的组合来实施在详细描述中参照术语“单元”、“模块”、“块”、“…器或…件”等描述的组件以及在附图中示出的功能块。例如，软件可以是机器代码、固件、嵌入式代码和应用软件。例如，硬件可以包括电气电路、电子电路、处理器、计算机、集成电路、集成电路核心、压力传感器、惯性传感器、微机电***(MEMS)、无源元件、或它们的组合。

图1示出了根据实施例的图像处理装置10的图。图像处理装置10可以被实施为诸如智能电话、数字相机、膝上型计算机和台式计算机的各种电子装置的一部分。图像处理装置10可包括透镜12、图像传感器100、图像信号处理器(ISP)前端块200和图像信号处理器300。

透镜12可以接收被作为拍摄目标的对象、风景等反射的光。透镜12可以是(例如，通过致动器)可移动的。当透镜12的位置根据透镜12的移动而改变时，透镜12的焦距可以改变。这样，可以调整对对象的聚焦。

图像传感器100可以包括用于获得关于对象的颜色信息的正常像素。图像传感器100的正常像素可以基于通过透镜12接收的光产生电信号。图像传感器100还可以包括用于获得关于对象的相位信息的相位检测像素。图像传感器100可以包括用于调整焦距的相位检测像素。图像传感器100的相位检测像素可以基于通过透镜12接收的光产生用于执行相位检测自动聚焦(PDAF)的电信号。图像传感器100可以输出包括关于对象的颜色信息和相位信息的图像数据IDAT。

图1中示出了一个透镜12和一个图像传感器100。然而，在另一示例中，图像处理装置10可以包括多个透镜、多个ISP前端块和多个图像传感器。多个图像传感器可被设置为具有不同的功能、不同的性能和/或不同的特性。在这种情况下，图像传感器可以包括分别具有不同视场(FOV)的透镜。

ISP前端块200可以对从图像传感器100输出的信号执行各种预处理。例如，ISP前端块200可将图像数据IDAT分割成与对象的颜色相关联的第一数据DAT1(例如，视频数据)和与对象的相位相关联的第二数据DAT2(例如，相位检测数据)，以容易地被图像信号处理器300处理。另外，ISP前端块200可以对从图像传感器100输出的信号执行串扰补偿、用于去除固定模式噪声(FPN)的自动暗电平补偿(ADLC)等。

图像信号处理器300可以对被ISP前端块200处理的数据执行各种处理。例如，在高照度环境中，主机装置(例如，应用处理器)可允许图像处理装置10在正常模式(或重新拼接(re-mosaic)模式)中操作，并且可单独地(individually)使用图像传感器100中的像素阵列的全部像素的输出。相反，在低照度环境中，主机装置可允许图像处理装置10在组合模式下操作。

当图像处理装置10在组合模式中操作时，图像信号处理器300可执行其中各种权重被应用于组合结果的相位检测像素校正操作，并且可基于相位检测像素校正结果来计算与包括相位检测像素的像素组的颜色相关联的值。这里，像素组可以表示共享至少一个浮置扩散区的一组像素，并且像素组可以包括正常像素和至少一个相位检测像素。另外，图像信号处理器300可以执行用于组织相位检测数据的相位检测处理。图像信号处理器300可以将组织好的相位检测数据与相位检测像素校正后的视频数据一起作为全图像数据传送到主机装置(例如，应用处理器)。

另外，图像信号处理器300可以对从ISP前端块200接收的第一数据DAT1执行以下处理：色彩内插、自动白平衡、伽马校正、颜色饱和度校正、格式化、坏像素校正和色调校正。

在组合模式中，参考从相位检测像素周围的相邻像素输出的值，计算与包括相位检测像素的像素组的颜色相关联的值，从而导致伪影。然而，图像处理装置10在计算与包括相位检测像素的像素组的颜色相关联的值时可以利用像素组自身的组合值，因此，可以抑制伪影的出现。

图2是图1的图像传感器100的框图。图像传感器100可包括像素阵列110、行驱动器120、斜坡信号发生器130、模数转换块(以下被称为“ADC块”)140、定时控制器150和缓冲器160。

像素阵列110可包括以行和列(即，以矩阵形式)布置的多个像素PX。多个像素PX中的每一个可以包括光电转换元件。多个像素PX中的每一个可通过使用光电转换元件来感测光，并且可将感测到的光转换为电信号(以下被称为“像素信号”)。例如，光电转换元件可以包括光电二极管、光电晶体管、光电门、钉扎光电二极管等。

像素阵列110的多个像素PX可被划分为多个像素组PG。每个像素组PG可以包括至少两个或更多个像素。在实施例中，像素组PG可包括布置成3行和3列的9个像素PX，或者可包括布置成2行和2列的4个像素PX。然而，构成像素组PG的像素的数量不限于此。

构成一个像素组PG的像素可以共享一个浮置扩散区或者两个或更多个浮置扩散区。例如，构成像素组PG的像素可以共享一个浮置扩散区。在这种情况下，每个像素组PG的像素可以共同连接到一条列线(例如，CL1)。可替换地，构成像素组PG的像素可共享多个浮置扩散区。详细地，属于像素组PG的像素中的第一列的像素可共享第一浮置扩散区，属于像素组PG的像素中的第二列的像素可共享第二浮置扩散区，属于像素组PG的像素中的第三列的像素可共享第三浮置扩散区。在这种情况下，在图中所示的像素组PG中，属于第一列的像素可共同地与列线CL1连接，属于第二列的像素可共同地与列线CL2连接，并且属于第三列的像素可共同地与列线CL3连接。

像素组PG可以包括用于输出关于相同颜色的信息的相同类型的像素。例如，像素组PG可包括用于将红色光谱的光转换为电信号的红色像素“R”、用于将绿色光谱的光转换为电信号的绿色像素Gr/Gb、或用于将蓝色光谱的光转换为电信号的蓝色像素“B”。为此，可以在像素组PG上形成多个滤色器，因此，可以实施多滤色器阵列(多CFA)。

行驱动器120可以选择并驱动像素阵列110的行。行驱动器120可以对由定时控制器150产生的地址和/或控制信号进行解码，并且可以产生用于选择和驱动像素阵列110的行的控制信号。例如，控制信号可以包括用于选择像素的信号、用于复位浮置扩散区的信号、用于选择列线的信号等。

斜坡信号发生器130可以产生斜坡信号。斜坡信号发生器130可以在定时控制器150的控制下操作。例如，斜坡信号发生器130可以响应于诸如斜坡使能信号和模式信号的控制信号而操作。当斜坡使能信号被激活时，斜坡信号发生器130可以产生具有基于模式信号设置的斜率的斜坡信号。

ADC块140可将从像素阵列110输出的模拟信号(即，像素信号)转换为数字信号。在实施例中，ADC块140可以包括多个ADC 140_1至140_n，并且ADC 140_1至140_n中的每一个可以包括比较器COMP和计数器CNT。比较器COMP可以将通过与比较器COMP连接的列线(即CL1至CLn之一)输出的像素信号与斜坡信号进行比较，并且可以输出比较结果。比较器COMP可以基于相关双采样(CDS)技术操作，相关双采样(CDS)技术用于从像素信号获得复位信号和图像信号并且提取复位信号和图像信号之间的差作为有效信号分量。

计数器CNT可以对比较器COMP的输出信号的脉冲进行计数。例如，计数器CNT可以响应于由定时控制器150产生的各种控制信号(例如，计数器时钟信号、用于控制计数器CNT的复位的计数器复位信号、以及用于使计数器CNT的内部位反相的反相信号)而操作。计数器CNT可根据计数器时钟信号对比较结果信号进行计数，并且可输出计数结果作为数字信号。

计数器CNT可以包括可逆计数器(up/down counter)、逐位反相计数器等。逐位反相计数器的操作可以类似于可逆计数器的操作。例如，逐位反相计数器可以执行以下功能：仅执行向上计数的功能、以及响应于信号的输入而转换计数器CNT的全部内部位使得获得1的补码的功能。逐位反相计数器可执行复位计数，并且然后可将复位计数的结果反相以转换为1的补码，即负值。

定时控制器150可以产生用于控制行驱动器120、斜坡信号发生器130和ADC块140的操作和/或定时的控制信号和/或时钟。

缓冲器160可以包括存储器MEM的集合162和感测放大器SA。存储器MEM可以分别对应于ADC 140_1至140_n。每个存储器MEM可以存储从相应ADC输出的数字信号。感测放大器SA可以感测并放大存储在存储器MEM中的数字信号。感测放大器SA可输出放大的数字信号作为图像数据IDAT。例如，图像数据IDAT可以包括关于对象的颜色的信息和关于对象的相位的信息。为了方便起见，ADC块140和缓冲器160被统称为“相关双采样电路”。

图3是图2的像素阵列110的平面图。像素阵列110可包括像素组PG1至PG4。像素组PG1至PG4可沿着X轴和Y轴重复地形成在图像传感器100的衬底上。像素组PG1至PG4中的每一个可以包括沿着X轴和Y轴布置的3×3个像素。每个像素可以包括光电转换元件PD(参照图5)。

将基于第一像素组PG1来描述单位像素组UPG1至UPG3的布置。单位像素组UPG1至UPG3中的每一个可以包括沿X轴和Y轴布置的3×1个像素。单位像素组可被定义为共享相同浮置扩散区的一组像素。换句话说，即使单位像素组属于同一像素组，由属于一个单位像素组的像素共享的浮置扩散区也可不被属于其余单位像素组的像素共享。单位像素组UPG1至UPG3可在X轴方向上彼此相邻。因此，如图所示，在一个像素组包括三个单位像素组的情况下，一个像素组可以包括沿X轴和Y轴布置的3×3个像素。

用于使一波长带的光通过的滤色器CF1至CF4可分别形成在像素组PG1至PG4上。例如，第一滤色器CF1和第四滤色器CF4可使绿光通过，第二滤色器CF2可使红光通过，并且第三滤色器CF3可使蓝光通过。实施例被示出为第三滤色器CF3未形成在形成于多个像素上的第二微透镜ML2下方。然而，在实施例中，与图3中所示的实施例不同，第三滤色器CF3可形成在被第二微透镜ML2覆盖的第三像素组PG3上方，并且第四滤色器CF4可形成在被第二微透镜ML2覆盖的第四像素组PG4上方。

微透镜ML可以形成在形成于每个像素上的滤色器上。在实施例中，第一微透镜ML1可形成在正常像素(例如，PX1至PX4和PX7)上方，并且第二微透镜ML2可形成在一对相位检测像素(例如，PX5和PX6)上方。例如，第二微透镜ML2可形成在与蓝光相关联的第三像素组PG3中的像素(例如，PX5)上方以及与绿光相关联的第四像素组PG4中的像素(例如，PX6)上方。

可重复地设置图3中所示的像素组PG1至PG4，但是重复地设置的像素组PG1至PG4的一部分可不包括相位检测像素。例如，相位检测像素的数量与全部像素的数量的比率可以是(但不限于)1:36。

图4示出了沿着图3的线I-I'截取的像素阵列110的截面图。

像素阵列110可以包括衬底SUB，衬底SUB包括彼此背对的第一表面1a和第二表面1b。衬底SUB可以包括单晶衬底或外延层。衬底SUB可以包括由第一导电类型(例如，P型)的杂质掺杂的第一掺杂区1和由第二导电类型(例如，N型)的杂质掺杂的第二掺杂区2。第一掺杂区1和第二掺杂区2可以形成每个像素的光电转换元件PD。当光通过微透镜ML1或ML2以及滤色器(例如，CF1至CF4中的一个)入射到光电转换元件PD时，可以产生与所吸收的光的强度相对应的电子空穴对EHP。

固定电荷层3可形成在衬底SUB的第一表面1a上。固定电荷层3可以包括各种金属氧化物和/或金属氟化物。例如，固定电荷层3可以包括Al₂O₃、HfO_X(X是自然数)、SiO₂和SiN中的至少一种或多种。层间绝缘层6可以形成在衬底SUB的第二面表1b上。例如，层间绝缘层6可以包括多个绝缘层。层间绝缘层6可以覆盖有钝化层8。例如，钝化层8可以包括氮化硅。

像素PX1至PX7中的每一个可包括浮置扩散区FD和转移晶体管TG。另外，像素PX1至PX7中的每一个还可包括复位晶体管、驱动晶体管和选择晶体管。像素PX1至PX7可通过深沟槽隔离器(DTI)彼此分离。当将转移信号施加到转移晶体管TG的栅电极时，转移晶体管TG可以导通，因此，在第一掺杂区1和第二掺杂区2中产生的电荷可以移动到浮置扩散区FD。浮置扩散区FD的电荷可通过内部导线7转移到外部。

分隔件4可以形成在固定电荷层3上。分隔件4可以包括钨、钛等。分隔件4可以防止相邻像素之间的串扰。也就是说，分隔件4可以防止穿过一滤色器的光影响另一滤色器。在平面图中，可以以栅格形状形成分隔件4。滤色器CF1至CF4可形成在固定电荷层3上并且形成在分隔件4之间。微透镜ML1和ML2可形成在滤色器CF1至CF4上。例如，第一滤色器CF1可形成在一个像素上方，并且第二滤色器CF2可形成在不同类型的两个像素上方。

入射到图像处理装置10(参见图1)上的光可被透镜12(参照图1)折射，然后可沿由光LS1和光LS2标记的路径入射到像素阵列110上。例如，光LS1可被第二微透镜ML2折射，然后可以入射到第六像素PX6上，并且光LS2可被第二微透镜ML2折射，然后可以入射到第五像素PX5上。这样，可以关于同一对象获得不同相位的图像，并且可以基于相位差对对象执行相位检测自动聚焦。

图5示出了图3的像素组PG1至PG4中的一个的电路图。在实施例中，将基于图3的第一像素组PG1的第三单位像素组UPG3给出描述。第三单位像素组UPG3可包括像素PX1至PX3。第三单位像素组UPG3可包括光电转换元件PD1至PD3、转移晶体管TG1至TG3、双转换晶体管DCT、复位晶体管RT、驱动晶体管DT和选择晶体管ST。

第一像素PX1可包括第一光电转换元件PD1和第一转移晶体管TG1。第二像素PX2可包括第二光电转换元件PD2和第二转移晶体管TG2，并且第三像素PX3可包括第三光电转换元件PD3和第三转移晶体管TG3。第一像素PX1至第三像素PX3可共享复位晶体管RT、驱动晶体管DT和选择晶体管ST。

转移晶体管TG1至TG3可将由光电转换元件PD1至PD3产生(或集成)的电荷转移到第一浮置扩散区FD1。例如，在通过从行驱动器120(参照图1)接收的转移信号VTG1导通转移晶体管TG1的时段期间，可将从光电转换元件PD1提供的电荷集成在第一浮置扩散区FD1中。如上所述，转移晶体管TG2至TG3中的每一个可将由相应的光电转换元件PD2或PD3产生(或集成)的电荷转移到第一浮置扩散区FD1。转移晶体管TG1至TG3的第一端可分别与光电转换元件PD1至PD3连接，并且转移晶体管TG1至TG3的第二端可共同地与第一浮置扩散区FD1连接。

第一浮置扩散区FD1可集成(integrate)由光电转换元件PD1至PD3中的任何一个或任何组合转换的电荷。在实施例中，第一浮置扩散区FD1的电容由第一电容CFD1标记。第一浮置扩散区FD1可以与作为源极跟随器放大器操作的驱动晶体管DT的栅极端子连接。这样，可以形成与集成在第一浮置扩散区FD1中的电荷量相对应的电压电位。

可通过复位信号VRST导通复位晶体管RT并且复位晶体管RT可将复位电压(例如，电源电压VDD)提供到第一浮置扩散区FD1。这样，集成在第一浮置扩散区FD1中的电荷可移动到被供应电源电压VDD的电力节点，并且可以复位第一浮置扩散区FD1的电压。

驱动晶体管DT可放大第一浮置扩散区FD1的电位的变化，并且可产生与放大的结果相对应的电压(即，像素信号PIX3)。可以通过选择信号VSEL驱动选择晶体管ST，并且可以以行为单位选择要读取的像素。当选择晶体管ST导通时，可通过列线CL输出像素信号PIX3。

在一般环境中，因为第一浮置扩散区FD1不容易饱和，所以可能不需要增加第一浮置扩散区FD1的电容(即，CFD1)。然而，在高照度环境中，第一浮置扩散区FD1可能容易饱和。因此，为了防止饱和，可以通过经由双转换信号VDC导通双转换晶体管DCT来电连接第一浮置扩散区FD1和第二浮置扩散区FD2，因此，可以将浮置扩散区FD1和FD2的电容扩展至第一电容CFD1与第二电容CFD2之和。

另外，第二浮置扩散区FD2可通过线IL1与相邻单位像素组的浮置扩散区电连接。在此情况下，可进一步扩展第一浮置扩散区FD1的电容。在此情况下，第三单位像素组UPG3还可以包括开关元件(例如，诸如双转换晶体管DCT的开关元件)，该开关元件用于将第二浮置扩散区FD2与相邻单位像素组的浮置扩散区电连接。

在实施例中，在图像处理装置10在正常模式中操作的情况下，可从第三单位像素组UPG3的像素PX1至PX3分别输出像素信号PIX3并且可单独地使用像素信号PIX3。即，定时控制器150(参照图2)可以控制转移信号VTG1至VTG3，使得转移晶体管TG1至TG3分别在不同的定时导通。因此，可以在不同的定时输出像素信号PIX3，像素信号PIX3中的每一个对应于由光电转换元件PD1至PD3中的每一个转换的电荷量。

在实施例中，在图像处理装置10在组合模式中操作的情况下，可以同时使用由第三单位像素组UPG3的像素PX1至PX3转换的电荷。例如，由于可同时或在不同时间导通转移晶体管TG1至TG3，因此由像素PX1至PX3转换的电荷可集成在第一浮置扩散区FD1中，并且可通过列线CL输出与由像素PX1至PX3转换的电荷的和相对应的像素信号PIX3。

图6示出了基于从包括图3的像素阵列110的图像传感器100(参照图2)输出的图像数据的像素图112。图6所示的像素图112可以是从在正常模式中操作的图像处理装置10输出的像素图。从图像传感器100输出的图像数据IDAT可以构成一帧的像素图。像素图112可包括以12行和12列设置的144个像素数据，并且作为图像传感器100的输出的每个像素数据可具有数字值。

像素数据可以是包括关于对象的颜色的信息的视频数据和包括关于对象的相位的信息的相位检测数据中的一个。例如，从140个正常像素输出的140个像素数据(即，视频数据)中的每一个可具有与红色相关联的值“R”、与绿色相关联的值Gr或Gb、以及与蓝色相关联的值“B”中的一个。从4个相位检测像素输出的4个像素数据(即，相位检测数据)可具有与相位相关联的值L00、L10、R00和R10。在实施例中，像素数据组PDG3和PDG4可基于从图3的像素组PG3和PG4的像素输出的像素信号，并且像素数据L00和R00可基于从图3和图4的像素PX5和PX6输出的像素信号。

图像信号处理器300可通过使用像素图112的像素数据(详细地，视频数据)来执行用于生成拜耳图案的图像的重新拼接。图像信号处理器300可通过使用像素数据L00、L10、R00和R10来执行相位检测自动聚焦(PDAF)。重新拼接和相位检测自动聚焦对于本领域技术人员是公知的，因此，为了避免冗余，将省略额外的描述。

图7示出了通过图1的图像信号处理器300处理的像素图114和116。图7中示出的像素图114和116可以与在组合模式中操作的图像处理装置相关联。为了更好地理解，将一起参考图1和图3给出描述。

在实施例中，在组合模式中，图像传感器100可针对每个单位像素组执行模拟组合，并且图像信号处理器300可对像素组的单位像素组的模拟组合结果执行数字组合以生成新的像素数据(即，视频数据)。参照图5详细地描述了输出由作为一个像素(例如，PIX3)的一个单位像素组(例如，图5的UPG3)中包括的光电转换元件(例如，PD1至PD3)转换的电荷的处理，因此，为了避免冗余，将省略额外的描述。

在生成组合模式中的像素图的情况下，不使用从包括相位检测像素的像素组(例如，PG3或PG4)的正常像素输出的像素数据(例如，像素数据组PDG3和PDG4的“B”和Gb)。即，仅对从包括相位检测像素的像素组输出的相位检测数据L00、L01、R00和R01执行组合。这样，可基于相位检测数据L00和L10的组合来生成像素图114的第二行和第三列处的相位检测数据L1，并且可基于相位检测数据R00和R10的组合来生成像素图114的第二行和第四列处的相位检测数据R1。

图像信号处理器300使用像素图114的***视频数据“B”来生成像素图114的第二行和第三列处的视频数据，并且使用像素图114的***视频数据Gb来生成像素图114的第二行和第四列处的视频数据。即，在包括相位检测像素的像素组的情况下，由于仅使用***视频数据而不使用相位检测像素的视频数据，因此出现伪影。

然而，图像信号处理器300在生成像素图114时使用包括相位检测像素的像素组的正常像素的组合结果。另外，在使用包括相位检测像素的像素组的正常像素的组合结果的情况下，图像信号处理器300可对每个组合结果应用权重。

例如，图像信号处理器300可以通过执行用于将不同的权重应用于从一个单位像素组输出的组合值BV1和从另一单位像素组输出的组合值BV2的相位检测像素校正，来生成像素图116的第二行和第三列处的视频数据B0。如上所述，图像信号处理器300可以通过执行用于将不同的权重应用于从一个单位像素组输出的组合值BV3和从另一单位像素组输出的组合值BV4的相位检测像素校正，来生成像素图116的第二行和第四列处的视频数据Gb0。

结果，可以获得基于从包括相位检测像素的像素组的正常像素输出的视频数据的视频图像，并且可以获得在ISP前端块200处预先分离的相位检测图像。可以将这样获得的视频图像和相位检测图像提供到主机(例如，应用处理器)，并且可以通过主机将执行了相位检测自动聚焦的完整图像提供给用户。

图8示出了图1的图像信号处理器300的框图。图9示出了对包括图3和图5的像素阵列110的图像传感器的输出执行的相位检测像素校正。参照图8，图像信号处理器300可以包括相位检测像素校正块310、视频输出缓冲器320、相位检测处理块330、相位检测输出缓冲器340和仲裁器350。为了更好的理解，ISP前端块200一起在图8中示出。将参考图1、图2、图3、图5、图8和图9来描述图像处理装置如何在组合模式中操作。

图9所示的像素数据组PDG3和PDG4可对应于图3的像素组PG3和PG4。图像传感器100可执行用于对由仅由正常像素组成的单位像素组的光电转换元件转换的电荷进行求和的模拟组合(即，竖直电荷求和)，并且可生成组合值BV1至BV4。图像传感器100可对组合值BV1和BV2执行各种处理(例如，相关双采样)，并且可输出第三像素组PG3的视频数据B1和B2。如上所述，图像传感器100可处理组合值BV3和BV4，并且可输出第四像素组PG4的视频数据G1和G2。

图像传感器100还可对每个像素组的单位像素组中的包括相位检测像素的单位像素组执行模拟组合。然而，在这种情况下，可不考虑正常像素的电荷。即，图像传感器100可执行用于对由第三像素组PG3的相位检测像素的光电转换元件转换的电荷进行求和的模拟组合。之后，图像传感器100可对模拟组合的结果执行各种处理(例如，相关双采样)，并且可输出第三像素组PG3的相位检测数据L1。如上所述，图像传感器100可基于第四像素组PG4的相位检测像素的电荷输出第四像素组PG4的相位检测数据R1。结果，可以从以3行和6列布置的物理像素获得包括6个像素数据的图像数据IDAT。

然而，获得包括6个像素数据的图像数据IDAT的处理不限于模拟组合。换句话说，与上述描述不同，图像传感器100的以3行和6列布置的物理像素可以分别输出像素数据，并且可以通过在图像传感器100内或在图像传感器100的下一级(例如，ISP前端块200或图像信号处理器300)处执行数字组合来获得包括6个像素数据的图像数据IDAT。

ISP前端块200可从图像传感器100接收图像数据IDAT，并且可将图像数据IDAT分割成视频数据DAT1和相位检测数据DAT2。ISP前端块200可以将视频数据DAT1传送到相位检测像素校正块310，并且可以将相位检测数据DAT2传送到相位检测处理块330。

相位检测像素校正块310可基于从ISP前端块200接收的视频数据DAT1和从外部(例如，诸如应用处理器的主机装置)接收的权重控制信号CTRL_WV，来对包括相位检测像素的像素组PG3和PG4的视频数据执行相位检测像素校正。

相位检测像素校正块310可通过对应用了权重α的视频数据B1与应用了权重β的视频数据B2进行求和来获得第三像素组PG3的视频数据的值。例如，在旨在增强减少伪影的程度的情况下，权重α和β的值可以相同或者可以基本上相同。例如，在旨在增强相位检测自动聚焦(PDAF)的性能的情况下，权重α的值可以小于权重β的值。例如，权重α和β的值可以由主机装置(例如，应用处理器)根据周围环境来调整，或者可以根据用户模式来选择。权重α和β之和可以是“1”。如上所述，相位检测像素校正块310可通过对应用了权重α的视频数据G1与应用了权重β的视频数据G2进行求和来获得第四像素组PG4的视频数据的值。

相位检测像素校正块310可将相位检测像素校正后的视频数据(αB1+βB2)和(αG1+βG2)传送到视频输出缓冲器320。视频输出缓冲器320可缓冲相位检测像素校正后的视频数据(αB1+βB2)和(αG1+βG2)，并可将相位检测像素校正后的视频数据(αB1+βB2)和(αG1+βG2)传送到仲裁器350。

相位检测处理块330可以收集并对准(al ign)位于同一行的多条相位检测数据，并且可以将经对准的相位检测数据传送到相位检测输出缓冲器340。相位检测输出缓冲器340可以缓冲经对准的相位检测数据，并且可以将经对准的相位检测数据传送到仲裁器350。

仲裁器350可从视频输出缓冲器320接收相位检测像素校正后的视频数据(αB1+βB2)和(αG1+βG2)，并且可从相位检测输出缓冲器340接收经对准的相位检测数据。仲裁器350可将相应的相位检测数据添加到视频数据，并且可以以交织或交错的方式将视频数据和相位检测数据传送到主机装置(例如，应用处理器)。

图10和图11是示出像素组中的单位像素组的位置与应用于该单位像素组的视频数据的权重之间的关系的曲线图。在上述实施例中，描述给出为一个像素组包括三个单位像素组。然而，在图10中，假设像素组PG3'和PG4'中的每一个包括“n”个单位像素组。如图3中示出的像素组PG3和PG4中所布置的，假设第三像素组PG3'的单位像素组中的包括相位检测像素的单位像素组与第四像素组PG4'的单位像素组中的包括相位检测像素的单位像素组彼此相邻。

首先，图10的曲线图可以与在旨在增强图像传感器的相位检测的性能的情况下应用的权重相关联。例如，应用于设置在像素组的中心的单位像素组的视频数据的权重可以是最大的。随着与中心的距离增加，应用于单位像素组的视频数据的权重可以减小。在实施例中，以高斯分布的形状描绘了图10的曲线图，但是曲线图的形状不限于此。例如，图10的权重可随着与单位像素组PG3'或PG4'的中心的距离增加而线性减小。

在实施例中，与第三像素组PG3'相关联的权重的曲线图和与第四像素组PG4'相关联的权重的曲线图可以相同。这可以被理解为，在图9的实施例中，类似于应用于视频数据B1和B2的权重α和β与应用于视频数据G1和G2的权重α和β相同的上下文。在图10中，由“X”标记的部分与包括相位检测像素的单位像素组相关联，并且象征性地指示权重未被应用于包括相位检测像素的单位像素组的像素数据(即，不是视频数据而是相位检测数据)。

接下来，图11的曲线图可以与在旨在改善图像传感器的伪影的情况下应用的权重相关联。例如，相同的权重可以应用于属于一像素组的所有单位像素组。同样地，在图11中，由“X”标记的部分与包括相位检测像素的单位像素组相关联，并且指示权重未被应用于包括相位检测像素的单位像素组的相位检测数据。

在实施例中，图10和图11中所示的权重可由主机装置(例如，应用处理器)根据诸如照度的周围环境来调整。可替换地，图10和图11中所示的权重可以由用户根据各种模式来选择。例如，在旨在获得清晰图像的情况下，相位检测自动聚焦功能可变得更加重要；在这种情况下，用户可以选择将图10所示的权重应用于视频数据的操作模式。例如，在旨在获得优异颜色的情况下，伪影改善功能可变得更加重要；在这种情况下，用户可以选择将图11所示的权重应用于视频数据的操作模式。

图12示出了根据实施例的图2的像素阵列110的平面图。像素阵列110可包括像素组PG1至PG4。像素组PG1至PG4中的每一个可以包括沿着X轴和Y轴布置的2×2个像素。每个像素可以包括光电转换元件PD。属于一个像素组的像素的光电转换元件可以共享一个浮置扩散区。像素组PG1至PG4可以沿着X轴和Y轴重复地形成在图像传感器的衬底上，因此，像素阵列110可以具有Tetra-拜耳图案。

滤色器CF1至CF4(它们中的每一个使一波长带的光通过)可分别形成在像素组PG1至PG4上。例如，第一滤色器CF1和第四滤色器CF4可使绿光通过，第二滤色器CF2可使红光通过，并且第三滤色器CF3可使蓝光通过。

微透镜ML可以形成在形成于每个像素上的滤色器上。在实施例中，第一微透镜ML1可形成在正常像素(例如，PX1和PX4)上方，并且第二微透镜ML2可形成在一对相位检测像素(例如，PX2和PX3)上方。例如，第二微透镜ML2可形成在与蓝光相关联的第三像素组PG3的像素(例如，PX2)上方以及与绿光相关联的第四像素组PG4的像素(例如，PX3)上方。

沿着线II-II'截取的像素阵列110的截面图与图4中示出的截面图基本上类似，并且因此，将省略额外描述以避免冗余。

图13示出了图12的像素组PG1至PG4中的一个像素组的电路图。在实施例中，第一像素组PG1可包括光电转换元件PD1至PD4、转移晶体管TG1至TG4、双转换晶体管DCT、复位晶体管RT、驱动晶体管DT和选择晶体管ST。第一像素Gr1可以包括第一光电转换元件PD1和第一转移晶体管TG1。第二像素Gr2可包括第二光电转换元件PD2和第二转移晶体管TG2，并且剩余的像素Gr3和Gr4中的每一个可包括与第一像素Gr1/第二像素Gr2的组件/元件相似的组件/元件。第一像素Gr1至第四像素Gr4可共享双转换晶体管DCT、复位晶体管RT、驱动晶体管DT、选择晶体管ST和浮置扩散区FD1。

通过双转换晶体管DCT扩展浮置扩散区FD1的电容以及转移晶体管TG1至TG4、复位晶体管RT、驱动晶体管DT和选择晶体管ST的操作与参考图5描述的那些基本上类似，因此，将省略额外描述以避免冗余。

图14是基于从包括图13的像素阵列110的图像传感器100(参照图2)输出的图像数据的像素图112。图14所示的像素图112可以是从在正常模式中操作的图像处理装置输出的像素图。从图像传感器100输出的图像数据IDAT可以构成一帧的像素图。像素图112可以包括以8行和8列设置的64个像素数据，并且作为图像传感器100的输出的每个像素数据可以具有数字值。

基于从正常像素输出的像素信号的像素数据(即，视频数据)可具有与对象的颜色相关联的值“R”、Gr、Gb和“B”中的一个。基于从相位检测像素输出的像素信号的像素数据(即，相位检测数据)可具有与对象的相位相关联的值L1和R1中的一个。图像信号处理器可通过使用像素图112的视频数据“R”、Gr、Gb和“B”来执行用于生成拜耳图案的图像的重新拼接，并且可通过使用相位检测数据L1和R1来执行相位检测自动聚焦(PDAF)。

图15示出了对包括图12至图13的像素阵列110的图像传感器100的输出执行的相位检测像素校正。

首先，将参照图1、图2、图8、图12和图13来描述图像处理装置如何在组合模式中操作。图15中示出的像素数据组PDG3和PDG4可对应于图12的像素组PG3和PG4。图像传感器100可通过执行用于对由仅包括像素组PG3和PG4中包括的像素中的正常像素的列的光电转换元件转换的电荷进行求和的模拟组合来生成组合值BV1和BV2。图像传感器100可对组合值BV1和BV2执行各种处理(例如，相关双采样)，并且可输出第三像素组PG3的视频数据B1和第四像素组PG4的视频数据G1。

然而，图像传感器100可不对像素组PG3和PG4(参照图12)中包括的像素中的属于包括相位检测像素的列的像素执行模拟组合。在图像传感器100的控制下，像素组的像素中的属于包括相位检测像素的列的正常像素的电荷可以不被应用于组合操作。在实施例中，不与模拟组合相关联的像素数据由“X”标记。

图像传感器100可对从相位检测像素输出的像素信号执行各种处理(例如，相关双取样)，并且可输出第三像素组PG3的相位检测数据L1和第四像素组PG4的相位检测数据R1。结果，可以从以2行和4列布置的物理像素获得包括4个像素数据的图像数据IDAT。

ISP前端块200可从图像传感器100接收图像数据IDAT，并且可将图像数据IDAT分割成视频数据DAT1和相位检测数据DAT2。ISP前端块200可以将视频数据DAT1传送到相位检测像素校正块310，并且可以将相位检测数据DAT2传送到相位检测处理块330。

相位检测像素校正块310可选择视频数据B1作为第三像素组PG3的视频数据，并且可选择视频数据G1作为第四像素组PG4的视频数据。在组合模式中，在生成包括相位检测像素的像素组的视频数据的情况下，不考虑从包括相位检测像素的像素组的正常像素输出的像素信号。然而，根据实施例，基于从正常像素输出的组合值BV1和BV2来生成包括相位检测像素的像素组的视频数据B1和G1，因此，可改善伪影。

相位检测像素校正块310可将视频数据B1和G1传送至视频输出缓冲器320，并且视频输出缓冲器320可缓冲视频数据B1和G1并可将视频数据B1和G1传送至仲裁器350。相位检测处理块330可以收集并对准位于同一行的多条相位检测数据，并且可以将经对准的相位检测数据传送到相位检测输出缓冲器340。相位检测输出缓冲器340可以缓冲经对准的相位检测数据，并且可以将经对准的相位检测数据传送到仲裁器350。

图16示出了根据实施例的图2的像素阵列110的平面图。像素阵列110可包括像素组PG1至PG4。像素组PG1至PG4可沿着X轴和Y轴重复地形成在图像传感器的衬底上。像素组PG1至PG4中的每一个可以包括沿着X轴和Y轴布置的3×3个像素。每个像素可以包括光电转换元件PD。

将通过使用第三像素组PG3作为示例来描述单位像素组UPG1至UPG3的布置。单位像素组UPG1至UPG3中的每一个可以包括沿X轴和Y轴布置的3×1个像素。单位像素组可以包括共享同一浮置扩散区的像素。也就是说，图16中所示的像素阵列110的像素的结构可以与图5中所示的像素阵列110的像素的结构基本上相同。

用于使一波长带的光通过的滤色器CF1至CF4可分别形成在像素组PG1至PG4上。例如，使绿光通过的第一滤色器CF1、使红光通过的第二滤色器CF2、使蓝光通过的第三滤色器CF3和使绿光通过的第四滤色器CF4可以分别形成在像素组PG1至PG4上方。然而，第四滤色器CF4可不形成在第三像素组PG3的相位检测像素PX2和PX6上方。

微透镜ML可以形成在形成于每个像素上的滤色器上。例如，与上述实施例不同，一个微透镜ML可以形成在一个像素上方，并且形成在每个像素上方的微透镜ML可以具有相同的形状(即，不是椭圆形而是圆形)。

属于一个像素组的像素可以具有相同的结构。然而，第三像素组PG3中的一些可包括相位检测像素PX2和PX6，并且相位检测像素PX2和PX6可在结构上与属于第三像素组PG3的其余像素(即，正常像素)不同。例如，第三像素组PG3的第二像素PX2可包括阻挡入射到像素上的光的一部分的第一金属屏蔽物MS1。第三像素组PG3的第六像素PX6可包括阻挡入射到像素上的光的一部分的第二金属屏蔽物MS2。结果，可基于从相位检测像素PX2和PX6输出的像素信号来获得关于对象的相位信息，并且可执行相位检测自动聚焦(PDAF)。

不同于图16中所示的实施例，第三像素组PG3的第三单位像素组UPG3可包括两个相位检测像素。在这种情况下，可以在列方向(即，正Y轴方向或负Y轴方向)上与相位检测像素PX2相邻的位置处提供相位检测像素而不是正常像素，并且如此提供的相位检测像素可以包括金属屏蔽物，该金属屏蔽物的类型与相位检测像素PX2的金属屏蔽物MS1的类型相同。此外，可以在列方向(即，正Y轴方向或负Y轴方向)上与相位检测像素PX6相邻的位置处提供相位检测像素而不是正常像素，并且如此提供的相位检测像素可以包括金属屏蔽物，该金属屏蔽物的类型与相位检测像素PX6的金属屏蔽物MS2的类型相同。

图17示出了沿图16的线III-III'截取的像素阵列110的截面图，并且图18示出了沿图16的线IV-IV'截取的像素阵列110的截面图。图17和图18所示的截面图与图4的截面图基本上相似。因此，将主要描述与微透镜ML以及金属屏蔽物MS1和MS2相关联的差异。

首先，参照图17，入射到第二像素PX2上的光LS1可被第一金属屏蔽物MS1限制。这里，由于参考图4描述了光LS1，光LS1可以被理解为被透镜12(参照图1)折射的光。接着，参照图18，入射到第六像素PX6上的光LS2可被第二金属屏蔽物MS2限制。从第二像素PX2输出的像素信号与从第六像素PX6输出的像素信号可成对，并且可包括关于对象的相位的信息。从第二像素PX2输出的像素信号和从第六像素PX6输出的像素信号可用于执行相位检测自动聚焦(PDAF)。

在实施例中，金属屏蔽物MS1和MS2可包括适于部分地阻挡入射光LS1和LS2的金属材料。可替换地，金属屏蔽物MS 1和MS2可以包括但不限于与分隔件4的材料相同的材料(例如，钨或钛)。

图19示出了对包括图16的像素阵列110的图像传感器100的输出执行的相位检测像素校正。将参考图1、图2、图8、图16和图19来描述图像处理装置如何在组合模式中操作。

图19所示的像素数据组PDG3和PDG4可对应于图16的像素组PG3和PG4。图像传感器100可以执行用于对仅由正常像素组成的单位像素组的光电转换元件所转换的电荷进行求和的模拟组合，并且可以生成组合值BV1至BV5。图像传感器100可对组合值BV1和BV2执行各种处理(例如，相关双采样)，并且可输出第三像素组PG3的视频数据B1和B2。如上所述，图像传感器100可处理组合值BV3、BV4和BV5，并且可输出第四像素组PG4的视频数据G1、G2和G3。

图像传感器100还可对每个像素组的单位像素组中的包括相位检测像素的单位像素组执行模拟组合。这里，可以不考虑正常像素的电荷，并且可以仅考虑相位检测像素的电荷。然而，在图19的实施例中，因为第三单位像素组UPG3包括一个相位检测像素(例如，PX2)，所以可以不执行用于对电荷进行求和的模拟组合，并且可以基于从第三单位像素组UPG3的相位检测像素PX2输出的像素信号来生成相位检测数据L1。当然，在一个单位像素组包括多个相位检测像素的情况下，可以对相位检测像素执行模拟组合。图像传感器100可以通过使用以3行和6列布置的物理像素来输出包括6个像素数据的图像数据IDAT。

ISP前端块200可以将从图像传感器100接收的图像数据IDAT分割成视频数据DAT1和相位检测数据DAT2，可以将视频数据DAT1传送到相位检测像素校正块310，并且可以将相位检测数据DAT2传送到相位检测处理块330。

相位检测像素校正块310、视频输出缓冲器320、相位检测处理块330、相位检测输出缓冲器340和仲裁器350的操作与上述实施例中描述的那些基本类似。然而，相位检测像素校正块310处理从图19的图像数据IDAT分割出的视频数据的方式可以与上述实施例中描述的方式稍微不同。

详细地，相位检测像素校正块310可通过对应用了权重α的视频数据B1和应用了权重β的视频数据B2进行求和来获得第三像素组PG3的视频数据的值。这与上述实施例中描述的相同。因此，在旨在增强减少伪影的程度的情况下，权重α和β的值可以相同或者可以基本上相同；在旨在增强相位检测自动聚焦(PDAF)的性能的情况下，权重α和β可以遵循图10的曲线图的趋势。

然而，相位检测像素校正块310可以以各种方式将权重应用于从第四像素组PG4输出的视频数据G1、G2和G3。例如，相位检测像素校正块310可以以与对不包括相位检测像素的像素组执行的组合相同的方式对视频数据G1、G2和G3执行组合。在这种情况下，权重γ、δ和ε可以相同，并且对应用了权重γ、δ和ε的视频数据G1、G2和G3执行的组合可以是数字组合。

可替换地，相位检测像素校正块310可以以与对包括相位检测像素的像素组执行的组合相同的方式对视频数据G1、G2和G3执行组合。在这种情况下，权重α和γ可以相同，权重β和δ可以相同，并且权重ε可以是“0”。然而，对不包括相位检测像素的像素组执行的组合不限于此。例如，应用于视频数据G1、G2和G3的权重可大致具有图10中所示的曲线图的趋势。

在图19的实施例中，描述给出为一个像素组包括以3行和3列布置的9个像素。然而，图19的实施例可以应用于如图12所示的一个像素组包括以2行和2列布置的4个像素的情况。与图19的实施例不同，在一个单位像素组包括两个相位检测像素的情况下，可以对来自于设置在同一列的两个相位检测像素的输出执行模拟组合。

图20示出了根据实施例的在组合模式中从图1的图像处理装置10输出的全图像数据的示意性格式。

在图像处理装置的组合模式中，可以通过对每个单位像素组执行模拟组合来获得视频数据。与单位像素组相关联的模拟组合被示意性地示出为像素阵列110的三行对应于一行视频数据。图像信号处理器可基于从图像传感器接收的图像数据生成相位检测像素校正后的视频数据和相位检测数据。

图像信号处理器可将数据包头PH和数据包尾PF添加到每个视频数据，并且还可将数据包头PH和数据包尾PF添加到每个相位检测数据。图像信号处理器可以将相位检测数据添加到相关视频数据的尾部，并且可以以交织方式或交错方式将数据包化的视频数据和数据包化的相位检测数据传送到主机(例如，应用处理器)。

图21示出了包括其中实施了根据实施例的图像处理装置的相机模块的电子装置的图。图22示出了图21的相机模块的图。

参照图21，电子装置1000可以包括相机模块组1100、应用处理器1200、电力管理集成电路(PMIC)1300和外部存储器1400。

相机模块组1100可以包括多个相机模块1100a、1100b和1100c。在图21中示出了包括三个相机模块1100a、1100b和1100c的电子装置，但是实施例不限于此。在实施例中，相机模块组1100可以被修改为仅包括两个相机模块。此外，在实施例中，相机模块组1100可以被修改为包括“n”个相机模块(n是4或更大的自然数)。

下面，将参照图22更全面地描述相机模块1100b的详细配置，但是下面的描述可以同样地应用于剩余的相机模块1100a和1100c。

参照图22，相机模块1100b可以包括棱镜1105、光路折叠元件(OPFE)1110、致动器1130、图像感测装置1140和储存器1150。

棱镜1105可以包括光反射材料的反射平面1107，并且可以改变从外部入射的光“L”的路径。

在实施例中，棱镜1105可以将在第一方向“X”上入射的光“L”的路径改变为垂直于第一方向“X”的第二方向“Y”。此外，棱镜1105可以通过围绕中心轴1106在方向“A”上旋转光反射材料的反射平面1107或者在方向“B”上旋转中心轴1106，将在第一方向“X”上入射的光“L”的路径改变为垂直于第一方向“X”的第二方向“Y”。在这种情况下，OPFE 1110可在垂直于第一方向“X”和第二方向“Y”的第三方向“Z”上移动。

在实施例中，如图所示，棱镜1105在方向“A”上的最大旋转角度可以在正A方向上等于或小于15度，并且可以在负A方向上大于15度，但是实施例不限于此。

在实施例中，棱镜1105可以在正B方向或负B方向上在大约20度内、在10度和20度之间或者在15度和20度之间移动；这里，棱镜1105可以在正B方向或负B方向上以相同的角度移动，或者可以在大约1度内以相似的角度移动。

在实施例中，棱镜1105可以在与中心轴1106延伸的方向平行的第三方向(例如，Z方向)上移动光反射材料的反射平面1107。

例如，OPFE 1110可包括由“m”组(m为自然数)组成的光学透镜。这里，“m”个透镜可以在第二方向“Y”上移动，以改变相机模块1100b的光学变焦比。例如，当相机模块1100b的默认光学变焦比是“Z”时，可以通过移动OPFE 1110中包括的“m”个光学透镜来将相机模块1100b的光学变焦比改变为3Z、5Z或更大。

致动器1130可以将OPFE 1110或光学透镜(以下被称为“光学透镜”)移动到一位置。例如，致动器1130可以调整光学透镜的位置，使得图像传感器1142被放置在光学透镜的焦距处，以用于准确感测。

图像感测装置1140可包括图像传感器1142、控制逻辑1144和存储器1146。图像传感器1142可以通过使用通过光学透镜提供的光“L”来感测感测目标的图像。控制逻辑1144可以控制相机模块1100b的整体操作，并且可以包括上述ISP前端块200和图像信号处理器300。例如，控制逻辑1144可以基于通过控制信号线CSLb提供的控制信号来控制相机模块1100b的操作。

存储器1146可以存储用于相机模块1100b的操作的信息，诸如校准数据1147。校准数据1147可以包括用于相机模块1100b的信息以通过使用从外部提供的光“L”来生成图像数据。校准数据1147可以包括例如关于上述旋转的程度的信息、关于焦距的信息、关于光轴的信息等。在以其中焦距根据光学透镜的位置而变化的多状态相机的形式实施相机模块1100b的情况下，校准数据1147可以包括用于光学透镜的每个位置(或状态)的焦距值和关于自动聚焦的信息。

储存器1150可以存储通过图像传感器1142感测到的图像数据。储存器1150可以设置在图像感测装置1140的外部，并且可以以其中储存器1150和构成图像感测装置1140的传感器芯片堆叠的形状来实施储存器1150。在实施例中，可以利用电可擦除可编程只读存储器(EEPROM)来实施储存器1150，但是实施例不限于此。

一起参照图20和图21，在实施例中，多个相机模块1100a、1100b和1100c中的每一个可以包括致动器1130。这样，相同的校准数据1147或不同的校准数据1147可以根据多个相机模块1100a、1100b和1100c中的致动器1130的操作而被包括在多个相机模块1100a、1100b和1100c中。

在实施例中，多个相机模块1100a、1100b和1100c中的一个相机模块(例如，1100b)可以是折叠透镜形状的相机模块，在该折叠透镜形状的相机模块中包括上述的棱镜1105和OPFE 1110，并且其余的相机模块(例如，1100a和1100c)可以是竖直形状的相机模块，在该竖直形状的相机模块中不包括上述的棱镜1105和OPFE 1110；然而，实施例不限于此。

在实施例中，多个相机模块1100a、1100b和1100c中的一个相机模块(例如，1100c)可以是例如通过使用红外线(IR)来提取深度信息的竖直形状的深度相机。在这种情况下，应用处理器1200可合并从深度相机提供的图像数据和从任何其它相机模块(例如，1100a或1100b)提供的图像数据，并且可生成三维(3D)深度图像。

在实施例中，多个相机模块1100a、1100b和1100c中的至少两个相机模块(例如，1100a和1100b)可以具有不同的视场。在此情况下，多个相机模块1100a、1100b和1100c中的至少两个相机模块(例如，1100a和1100b)可以包括不同的光学透镜，但不限于此。

此外，在实施例中，多个相机模块1100a、1100b和1100c的视场可以不同。在这种情况下，多个相机模块1100a、1100b和1100c可以包括不同的光学透镜，但不限于此。

在实施例中，多个相机模块1100a、1100b和1100c可以设置为彼此物理分离。也就是说，多个相机模块1100a、1100b和1100c可以不使用一个图像传感器1142的感测区域，但是多个相机模块1100a、1100b和1100c可分别在其中包括独立的图像传感器1142。

返回到图21，应用处理器1200可以包括图像处理装置1210、存储器控制器1220和内部存储器1230。应用处理器1200可以被实施为与多个相机模块1100a、1100b和1100c分离。例如，可以利用不同的半导体芯片来实施应用处理器1200与多个相机模块1100a、1100b和1100c。

图像处理装置1210可以包括多个子图像处理器1212a、1212b和1212c，图像生成器1214和相机模块控制器1216。图像处理装置1210可以包括多个子图像处理器1212a、1212b和1212c，多个子图像处理器的数量对应于多个相机模块1100a、1100b和1100c的数量。

分别从相机模块1100a、1100b和1100c生成的图像数据可通过分离的图像信号线ISLa、ISLb和ISLc分别被提供到相应的子图像处理器1212a、1212b和1212c。例如，从相机模块1100a生成的图像数据可以通过图像信号线Isla提供到子图像处理器1212a，从相机模块1100b生成的图像数据可以通过图像信号线ISLb提供到子图像处理器1212b，并且从相机模块1100c生成的图像数据可以通过图像信号线ISLc提供到子图像处理器1212c。可以例如通过使用基于MIPI(移动工业处理器接口)的相机串行接口(CSI)来执行该图像数据传输，但是实施例不限于此。

在实施例中，一个子图像处理器可以设置为与多个相机模块相对应。例如，子图像处理器1212a和子图像处理器1212c可以被集成地实施，而不是如图21所示的那样彼此分离；在这种情况下，可以通过选择元件(例如，多路复用器)来选择分别从相机模块1100a和相机模块1100c提供的多条图像数据中的一条，并且可以将所选择的图像数据提供到集成的子图像处理器。

分别被提供到子图像处理器1212a、1212b和1212c的图像数据可以被提供到图像生成器1214。图像生成器1214可以根据图像生成信息Generating Information或模式信号，通过使用分别从子图像处理器1212a、1212b和1212c提供的图像数据来生成输出图像。

详细地，图像生成器1214可以根据图像生成信息Generating Information或模式信号，通过合并分别从具有不同视场的相机模块1100a、1100b和1100c生成的图像数据的至少一部分来生成输出图像。此外，图像生成器1214可以根据图像生成信息GeneratingInformation或模式信号，通过选择分别从具有不同视场的相机模块1100a、1100b和1100c生成的图像数据中的一个来生成输出图像。

在实施例中，图像生成信息Generating Information可以包括变焦信号或变焦因子。此外，在实施例中，模式信号可以是例如基于从用户选择的模式的信号。

在图像生成信息Generating Information是变焦信号(或变焦因子)并且相机模块1100a、1100b和1100c具有不同的视场的情况下，图像生成器1214可以根据变焦信号的种类执行不同的操作。例如，在变焦信号是第一信号的情况下，图像生成器1214可以合并从相机模块1100a输出的图像数据和从相机模块1100c输出的图像数据，并且可以通过使用合并后的图像信号和在合并操作中未使用的从相机模块1100b输出的图像数据来生成输出图像。

在变焦信号是与第一信号不同的第二信号的情况下，在没有图像数据合并操作的情况下，图像生成器1214可以选择分别从相机模块1100a、1100b和1100c输出的图像数据中的一个，并且可以输出所选择的图像数据作为输出图像。然而，实施例不限于此，并且可以无限制地修改处理图像数据的方式。

在实施例中，图像生成器1214可以通过从多个子图像处理器1212a、1212b和1212c中的任何一个或任何组合接收不同曝光时间的多个图像数据并且对该多个图像数据执行高动态范围(HDR)处理来生成具有增加的动态范围的合并后的图像数据。

相机模块控制器1216可以分别向相机模块1100a、1100b和1100c提供控制信号。从相机模块控制器1216生成的控制信号可以通过彼此分离的控制信号线CSLa、CSLb和CSLc分别被提供到相应的相机模块1100a、1100b和1100c。

多个相机模块1100a、1100b和1100c中的一个可根据包括变焦信号的图像生成信息Generating Information或模式信号而被指定为主相机(例如，1100b)，并且其余的相机模块(例如，1100a和1100c)可被指定为从相机。上述指定信息可被包括在控制信号中，并且包括指定信息的控制信号可以通过彼此分离的控制信号线CSLa、CSLb和CSLc分别被提供到相应的相机模块1100a、1100b和1100c。

作为主相机和从相机操作的相机模块可以根据变焦因子或模式信号而改变。例如，在相机模块1100a的视场比相机模块1100b的视场宽并且变焦因子指示低变焦比的情况下，相机模块1100b可以作为主相机操作，并且相机模块1100a可以作为从相机操作。相反，在变焦因子指示高变焦比的情况下，相机模块1100a可以作为主相机操作，并且相机模块1100b可以作为从相机操作。

在实施例中，从相机模块控制器1216提供到相机模块1100a、1100b和1100c中的每一个的控制信号可以包括同步使能信号。例如，在相机模块1100b被用作主相机并且相机模块1100a和1100c被用作从相机的情况下，相机模块控制器1216可以将同步使能信号传输到相机模块1100b。被提供有同步使能信号的相机模块1100b可基于所提供的同步使能信号生成同步信号，并且可通过同步信号线SSL将所生成的同步信号提供到相机模块1100a和1100c。可以利用同步信号来同步相机模块1100b以及相机模块1100a和1100c以将图像数据传输到应用处理器1200。

在实施例中，从相机模块控制器1216提供到相机模块1100a、1100b和1100c中的每一个的控制信号可以包括根据模式信号的模式信息。基于模式信息，多个相机模块1100a、1100b和1100c可在关于感测速度的第一操作模式和第二操作模式中操作。

在第一操作模式中，多个相机模块1100a、1100b和1100c可以以第一速度生成图像信号(例如，可以生成第一帧率的图像信号)，可以以第二速度对图像信号进行编码(例如，可以对比第一帧率高的第二帧率的图像信号进行编码)，并且将经编码的图像信号传输到应用处理器1200。在这种情况下，第二速度可以是第一速度的30倍或更少。

应用处理器1200可以将接收到的图像信号(即，经编码的图像信号)存储在其中提供的内部存储器1230中或存储在位于应用处理器1200外部的外部存储器1400中。之后，应用处理器1200可以从内部存储器1230或外部存储器1400读取经编码的图像信号并对其进行解码，并且可以显示基于经解码的图像信号生成的图像数据。例如，图像处理装置1210的子图像处理器1212a、1212b和1212c中的相应的子图像处理器可以执行解码，并且还可以对经解码的图像信号执行图像处理。

在第二操作模式中，多个相机模块1100a、1100b和1100c可以以第三速度生成图像信号(例如，可以生成低于第一帧率的第三帧率的图像信号)，并且将图像信号传输到应用处理器1200。提供到应用处理器1200的图像信号可以是未被编码的信号。应用处理器1200可以对接收到的图像信号执行图像处理，或者可以将图像信号存储在内部存储器1230或外部存储器1400中。

PMIC 1300可分别向多个相机模块1100a、1100b和1100c供应电力(例如，电源电压)。例如，在应用处理器1200的控制下，PMIC1300可以通过电力信号线PSLa向相机模块1100a供应第一电力，可以通过电力信号线PSLb向相机模块1100b供应第二电力，并且可以通过电力信号线PSLc向相机模块1100c供应第三电力。

响应于来自应用处理器1200的电力控制信号PCON，PMIC 1300可产生对应于多个相机模块1100a、1100b和1100c中的每一个的电力，并且可调整电力的水平。电力控制信号PCON可以包括用于多个相机模块1100a、1100b和1100c的每个操作模式的电力调节信号。例如，操作模式可以包括低电力模式。在这种情况下，电力控制信号PCON可以包括关于在低电力模式中操作的相机模块的信息和经设置的电力水平。分别提供到多个相机模块1100a、1100b和1100c的电力的水平可以彼此相同或者可以彼此不同。而且，电力的水平可以动态地改变。

根据实施例，提供了一种改善在组合模式中操作的图像传感器的包括相位检测像素的像素组的伪影的方法。

详细地，可通过将各种权重添加到基于来自像素组的每个单位像素组的输出的像素数据来改善组合模式中的伪影。

尽管已经参考本公开的实施例描述了本公开，但是对于本领域普通技术人员来说显而易见的是，可以在不脱离如所附权利要求中所阐述的本公开的精神和范围的情况下，对本公开进行各种改变和修改。

Claims (20)

1.一种图像处理装置，包括：

图像传感器，其包括：包括第一像素组的像素阵列、和相关双采样电路，

其中，所述第一像素组包括第一多个正常像素、第二多个正常像素和至少一个第一相位检测像素，并且

其中，所述相关双采样电路被配置为：

基于所述第一多个正常像素的电荷生成第一视频数据；

基于所述第二多个正常像素的电荷生成第二视频数据；并且

基于所述至少一个第一相位检测像素的输出来生成第一相位检测数据；以及

图像信号处理器，其被配置为：

将第一权重应用于所述第一视频数据；

将第二权重应用于所述第二视频数据；以及

基于应用了所述第一权重的所述第一视频数据和应用了所述第二权重的所述第二视频数据，生成所述第一像素组的第一相位检测像素校正后的视频数据。

2.根据权利要求1所述的图像处理装置，其中，所述第一多个正常像素共享第一浮置扩散区，

其中，所述第二多个正常像素共享第二浮置扩散区，并且

其中，所述至少一个第一相位检测像素共享第三浮置扩散区。

3.根据权利要求1所述的图像处理装置，其中，所述像素阵列还包括第二像素组，所述第二像素组包括第三多个正常像素、第四多个正常像素和至少一个第二相位检测像素，并且

其中，所述相关双采样电路还被配置为：

基于所述第三多个正常像素生成第三视频数据；

基于所述第四多个正常像素生成第四视频数据；并且

基于所述至少一个第二相位检测像素的输出来生成第二相位检测数据。

4.根据权利要求3所述的图像处理装置，其中，所述图像信号处理器还被配置为：

将所述第一权重应用于所述第三视频数据；

将所述第二权重应用于所述第四视频数据；以及

基于应用了所述第一权重的所述第三视频数据和应用了所述第二权重的所述第四视频数据，生成所述第二像素组的第二相位检测像素校正后的视频数据。

5.根据权利要求1所述的图像处理装置，其中，所述图像传感器还包括设置在所述第一多个正常像素和所述第二多个正常像素上方的第一类型的滤色器。

6.根据权利要求1所述的图像处理装置，其中，所述图像传感器还包括：

分别设置在所述第一多个正常像素和所述第二多个正常像素上方的第一类型的微透镜；以及

设置在所述至少一个第一相位检测像素上方的第二类型的微透镜。

7.根据权利要求6所述的图像处理装置，其中，所述第二类型的微透镜大于所述第一类型的微透镜。

8.根据权利要求1所述的图像处理装置，还包括图像信号处理器前端块，所述图像信号处理器前端块被配置为将从所述图像传感器输出的图像数据分割成所述第一视频数据、所述第二视频数据和所述第一相位检测数据，

其中，所述图像信号处理器包括：

相位检测像素校正块，其被配置为对应用了所述第一权重的所述第一视频数据和应用了所述第二权重的所述第二视频数据执行求和操作，以生成所述第一相位检测像素校正后的视频数据；

视频输出缓冲器，其被配置为缓冲所生成的第一相位检测像素校正后的视频数据；

相位检测处理块，其被配置为从所述图像信号处理器前端块接收所述第一相位检测数据；

相位检测输出缓冲器，其被配置为缓冲所接收的第一相位检测数据；以及

仲裁器，其被配置为将所缓冲的第一相位检测像素校正后的视频数据与所缓冲的第一相位检测数据进行组合。

9.根据权利要求8所述的图像处理装置，其中，所述仲裁器还被配置为以交错方式输出与所述第一相位检测数据组合的所述第一相位检测像素校正后的视频数据。

10.根据权利要求1所述的图像处理装置，其中，在第一操作模式中，所述第一权重与所述第二权重相同，并且

其中，在第二操作模式中，所述第一权重不同于所述第二权重。

11.一种图像处理装置，包括：

像素阵列，其包括：

第一像素组，其包括第一多个正常像素和至少一个第一相位检测像素；以及

第二像素组，其包括第二多个正常像素和至少一个第二相位检测像素；以及

图像传感器，其被配置为：

基于所述第一多个正常像素的电荷生成第一视频数据；

基于所述第二多个正常像素的电荷生成第二视频数据；

基于所述至少一个第一相位检测像素的输出来生成第一相位检测数据；并且

基于所述至少一个第二相位检测像素的输出来生成第二相位检测数据；以及

图像信号处理器，其被配置为：

选择所述第一视频数据作为所述第一像素组的第一相位检测像素校正后的视频数据；并且

选择所述第二视频数据作为所述第二像素组的第二相位检测像素校正后的视频数据。

12.根据权利要求11所述的图像处理装置，其中，所述第一多个正常像素和所述至少一个第一相位检测像素共享第一浮置扩散区，并且

其中，所述第二多个正常像素和所述至少一个第二相位检测像素共享第二浮置扩散区。

13.根据权利要求11所述的图像处理装置，其中，所述图像传感器还包括：

设置在所述第一多个正常像素上方的第一类型的滤色器；以及

设置在所述第二多个正常像素上方的第二类型的滤色器。

14.根据权利要求11所述的图像处理装置，其中，所述图像传感器还包括：

分别设置在所述第一多个正常像素和所述第二多个正常像素上方的第一类型的微透镜；以及

设置在所述至少一个第一相位检测像素和所述至少一个第二相位检测像素上方的第二类型的微透镜。

15.根据权利要求11所述的图像处理装置，其中，所述图像信号处理器还被配置为提供所述第一相位检测数据和所述第二相位检测数据，以用于相位检测自动聚焦。

16.一种图像处理装置，包括：

像素阵列，其包括：

第一像素组，其包括第一多个正常像素和第一相位检测像素；以及

第二像素组，其包括第二多个正常像素和第二相位检测像素；

相关双采样电路，其被配置为：

基于所述第一多个正常像素的电荷生成第一视频数据；

基于所述第二多个正常像素的电荷生成第二视频数据；

基于所述第一相位检测像素的输出来生成第一相位检测数据；并且

基于所述第二相位检测像素的输出来生成第二相位检测数据；以及

图像信号处理器，其被配置为：

选择所述第一视频数据作为所述第一像素组的第一相位检测像素校正后的视频数据；并且

选择所述第二视频数据作为所述第二像素组的第二相位检测像素校正后的视频数据。

17.根据权利要求16所述的图像处理装置，其中，所述第一多个正常像素共享第一浮置扩散区，并且

其中，所述第二多个正常像素共享第二浮置扩散区。

18.根据权利要求16所述的图像处理装置，其中，所述第一多个正常像素和所述第二多个正常像素被配置为感测相同类型的颜色。

19.根据权利要求16所述的图像处理装置，其中，所述第一相位检测像素包括第一金属屏蔽物，所述第一金属屏蔽物被配置为阻挡入射到所述第一相位检测像素上的光的至少一部分，并且

其中，所述第二相位检测像素包括第二金属屏蔽物，所述第二金属屏蔽物被配置为阻挡入射到所述第二相位检测像素上的光的至少一部分。

20.根据权利要求17所述的图像处理装置，其中，所述第一像素组还包括共享第三浮置扩散区的第三多个正常像素，

其中，所述第二像素组还包括共享第四浮置扩散区的第四多个正常像素，

其中，所述相关双采样电路还被配置为：

基于所述第三多个正常像素的电荷生成第三视频数据；并且

基于所述第四多个正常像素的电荷生成第四视频数据，并且

其中，所述图像信号处理器被配置为：

将第一权重应用于所述第一视频数据；

将第三权重应用于所述第三视频数据；

基于应用了所述第一权重的所述第一视频数据和应用了所述第三权重的所述第三视频数据，生成所述第一像素组的所述第一相位检测像素校正后的视频数据；

将第二权重应用于所述第二视频数据；

将第四权重应用于所述第四视频数据；并且

基于应用了所述第二权重的所述第二视频数据和应用了所述第四权重的所述第四视频数据，生成所述第二像素组的所述第二相位检测像素校正后的视频数据。

Images