CN113852769A - 图像传感器及其合并方法 - Google Patents

图像传感器及其合并方法 Download PDF

Info

Publication number
CN113852769A
CN113852769A CN202110707634.0A CN202110707634A CN113852769A CN 113852769 A CN113852769 A CN 113852769A CN 202110707634 A CN202110707634 A CN 202110707634A CN 113852769 A CN113852769 A CN 113852769A
Authority
CN
China
Prior art keywords
pixel
regions
image data
pixels
sum
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110707634.0A
Other languages
English (en)
Inventor
张璨煐
姜熙
崔祐硕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113852769A publication Critical patent/CN113852769A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/46—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by combining or binning pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H04N25/633—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current by using optical black pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

一种图像传感器的合并方法，包括：一次从像素阵列的多个区域中的各个区域的至少两行读出多个像素信号，所述多个区域中的各个区域包括以2n×2n矩阵布置的多个像素，其中n是大于或等于2的整数；通过对所述多个像素信号执行模数转换而生成第一图像数据；基于所述第一图像数据，基于多个合并区域中的各个合并区域中的与相同颜色相对应的两个像素值生成所述多个合并区域中的各个合并区域的第一和值，所述多个合并区域与所述像素阵列的所述多个区域相对应；以及基于两个合并区域中的与相同颜色相对应的两个第一和值，生成所述两个合并区域中的各个合并区域的第二和值，所述两个合并区域在所述多个合并区域中在列方向上彼此相邻。

Description

图像传感器及其合并方法
相关申请的交叉引用
本申请基于2020年6月26日在韩国知识产权局提交的韩国专利申请No.10-2020-0078813并且要求其优先权，其公开内容通过引用整体并入本文。
技术领域
本公开的示例实施例涉及图像传感器，更具体地涉及图像传感器的合并方法和用于执行该方法的图像传感器。
背景技术
随着图像传感器的分辨率的提高，由图像传感器生成的图像数据的尺寸也增大了。然而，因为由图像传感器生成的图像数据的尺寸增大，所以难以在视频模式下保持高的帧速率，并且功耗增大。例如，帧速率可以是基于电路接口带宽和与避免当改变采样速率时的诸如Z字伪影或假色之类的伪影相关的计算带宽可达到的帧速率。当用于避免伪影所需的计算量高和/或电路接口带宽不高时，可达到的帧速率有限，因此这是个问题。合并(binning)技术被用于提高帧速率和保持图像质量。
发明内容
示例实施例提供了一种图像传感器的合并方法和用于执行该方法的图像传感器，通过其提高了帧速率、减小了数据尺寸并且保持了图像质量。
根据示例实施例的一个方面，提供了一种图像传感器的合并方法。所述合并方法包括：一次从像素阵列的多个区域中的各个区域的至少两行读出多个像素信号，所述多个区域中的各个区域包括以2n×2n矩阵布置的多个像素，其中n是大于或等于2的整数；通过对所述多个像素信号执行模数转换而生成第一图像数据；基于所述第一图像数据，基于多个合并区域中的各个合并区域中的与相同颜色相对应的两个像素值生成所述多个合并区域中的各个合并区域的第一和值，所述多个合并区域与所述像素阵列的所述多个区域相对应；以及基于两个合并区域中的与相同颜色相对应的两个第一和值，生成所述两个合并区域中的各个合并区域的第二和值，所述两个合并区域在所述多个合并区域中在列方向上彼此相邻。
根据示例实施例的一个方面，提供了一种图像传感器，包括：像素阵列，被划分为具有四边形形状的多个区域，所述多个区域中的各个区域包括以2nx2n矩阵布置的像素，其中n是大于或等于2的整数；模数转换电路，配置为读出多个像素信号和将所述多个像素信号转换为第一图像数据，所述第一图像数据包括多个像素值，并且所述多个像素信号是通过多个列线从所述像素阵列接收的；行驱动器，配置为通过连接到所述像素阵列的多个行线提供控制信号，所述控制信号配置为控制所述像素阵列的至少两行的像素信号同时输出；行缓冲器，配置为以特定的行单位存储所述第一图像数据；以及处理器，配置为对所述行缓冲器中所存储的所述第一图像数据执行合并。
根据示例实施例的一个方面，提供了一种图像处理***，包括：图像传感器，配置为感测光信号并且生成图像数据；以及，第一处理器，配置为接收和处理来自所述图像传感器的所述图像数据，其中所述图像传感器包括：像素阵列，被划分为具有四边形形状的多个区域，所述多个区域中的各个区域包括以4x4矩阵布置的像素；模数转换电路，配置为读出多个像素信号和将所述多个像素信号转换为第一图像数据，所述第一图像数据包括多个像素值，并且所述多个像素信号是通过多个列线从所述像素阵列接收的；行驱动器，配置为通过连接到所述像素阵列的多个行线提供控制信号，所述控制信号配置为控制所述像素阵列的至少两行的像素信号同时输出；行缓冲器，配置为以特定的行单位存储所述第一图像数据；以及第二处理器，配置为对所述行缓冲器中所存储的所述第一图像数据执行合并。
附图说明
根据以下结合附图进行的详细描述，将更清楚地理解实施例，在附图中：
图1是根据示例实施例的图像传感器的示意框图；
图2示出图1中的像素阵列的图案的示例；
图3A是示出根据示例实施例的图像传感器的竖直模拟求和以及插值的流程图；
图3B是根据示例实施例的图像传感器的合并方法的流程图；
图4A和图4B是用于描述根据示例实施例的读出方法的图；
图5A、图5B和图5C是由根据示例实施例的读出方法生成的第一图像数据的示意图；
图6示出根据示例实施例的合并方法中的基于各个合并区域中的像素值对第一图像数据的多个合并区域中的各个合并区域执行的第一合并；
图7示出根据示例实施例的合并方法中的基于两个相邻的合并区域的像素值执行的插值；
图8是根据示例实施例的图像传感器的合并方法的流程图；
图9是用于描述根据示例实施例的合并方法中的对绿色像素应用的第二合并的图；
图10示出根据示例实施例的像素的示例；
图11A示出具有四元图案的像素阵列；图11B示出根据示例实施例的将具有四元图案的像素阵列应用到图像传感器的示例；
图12示出根据示例实施例的像素的示例；
图13是包括使用根据示例实施例的图像传感器的多相机模块的电子设备的框图；以及
图14是图13中的相机模块的详细框图。
具体实施方式
在下文中，将参考附图来详细描述实施例。
图1是根据示例实施例的图像传感器的示意框图。
图像传感器100可以安装在具有图像或光学感测功能的电子设备上。例如，图像传感器100可以安装在诸如相机、智能电话、可穿戴设备、物联网(IoT)设备、家用电器、平板个人计算机(PC)、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航设备、无人机或高级驾驶员辅助***(ADAS)之类的电子设备上。图像传感器100还可以安装在用作车辆、家具、制造设施、门或各种测量设备的组件的电子设备上。
参考图1，图像传感器100可以包括像素阵列110、行驱动器120、模数转换器(ADC)电路130、斜坡信号生成器140、时序控制器150、行缓冲器160和处理器170。
像素阵列110可以包括矩阵中的多个像素PX以及连接到像素PX的多个行线RL和列线CL。
每个像素PX可以包括至少一个光电转换元件(或光敏器件)。光电转换元件可以感测光并且将光转换为光电荷。例如，光电转换元件可以包括光敏器件，例如，无机光电二极管、有机光电二极管、钙钛矿光电二极管、光电晶体管、光电门或钉扎光电二极管，其包括有机或无机材料。在实施例中，每个像素PX可以包括多个光电转换元件。多个光敏器件可以布置在相同的层中或在竖直方向上彼此堆叠。
用于光收集的微透镜可以设置在每个像素PX上方，或设置在包括相邻像素PX的像素组上方。每个像素PX可以从通过微透镜接收到的光感测特定光谱中的光。例如，像素阵列110可以包括将红色光谱中的光转换为电信号的红色像素、将绿色光谱中的光转换为电信号的绿色像素和将蓝色光谱中的光转换为电信号的蓝色像素。透射特定光谱中的光的滤色器可以设置在每个像素PX上方。然而，实施例不限于此，并且像素阵列110可以包括对除了红色、绿色和蓝色光谱以外的其他光谱中的光进行转换的像素。
在一个实施例中，像素PX可以具有多层结构。具有多层结构的每个像素PX可以包括堆叠的光敏器件，每个光敏器件都将不同光谱中的光转换为电信号，从而可以从光敏器件生成与不同颜色相对应的电信号。换言之，可以从单个像素PX输出与不同颜色相对应的电信号。
像素阵列110可以具有拜尔图案，其中第一像素、第二像素和第三像素感测不同颜色的信号并且在列方向和行方向上重复地布置。
图2示出图1中的像素阵列110的图案的示例。
参考图2，像素阵列110可以包括在行方向(例如，X轴方向)和列方向(例如，Y轴方向)上布置的多个像素PX，并且所述多个像素PX可以包括红色像素PX_R、绿色像素PX_Gr和PX_Gb、以及蓝色像素PX_B。在像素阵列110中，包括红色像素PX_R和绿色像素(例如，第一绿色像素PX_Gr)的行与包括另一个绿色像素(例如，第二绿色像素PX_Gb)和蓝色像素PX_B的行交替；并且绿色像素(例如，第一绿色像素PX_Gr和第二绿色像素PX_Gb)可以在斜线上。绿色像素(例如，第一绿色像素PX_Gr或第二绿色像素PX_Gb)与亮度密切相关，因此在每个行中布置；并且红色像素PX_R和蓝色像素PX_B在不同的行上交替地布置。
这个图案可以称为RGB拜尔图案。在下文中，假设像素阵列110具有RGB拜尔图案。然而，实施例不限于此。可以对像素阵列110应用具有以下结构的各种图案：其中至少三种颜色的像素重复地布置，并且第二像素(例如，与亮度相关的像素)在每个行中布置并且与相邻的行的另一个第二像素形成斜线。例如，包括一个红色像素、两个黄色像素和一个蓝色像素的RYYB图案可以应用到像素阵列110。
像素阵列110可以划分为多个区域AR。每个区域AR可以包括以2n×2n矩阵布置的像素PX，其中“n”是至少2的整数。例如，每个区域AR可以包括以4×4矩阵布置的像素PX。此时，根据实施例，每个区域AR是当图像传感器100以执行合并的第一模式操作时对其应用读出方法的基本单元。区域AR可以分别对应于基于读出信号所生成的图像数据的多个合并区域。根据示例实施例的读出方法，每个区域AR中的至少两行的多个像素信号可以一次读出。例如，至少两行的像素的多个像素信号可以在单个水平周期中读出。将参考图4A至图5B描述示例实施例的读出方法。
当图像传感器100以第二模式操作(例如，不执行合并的正常模式)时，像素阵列110可以逐行地依次地读出像素信号。
回去参考图1，每个行线RL可以在行方向上延伸并且可以连接到一行的像素PX。例如，每个行线RL可以将控制信号从行驱动器120发送到每个像素PX中所包括的多个元件(例如，晶体管)。
每个列线CL可以在列方向上延伸并且可以连接到一列的像素PX。每个列线CL可以将像素信号(例如，复位信号和感测信号)从像素阵列110的每个行的像素PX发送到ADC电路130。当图像传感器100以第一模式操作时，如上所述，列线CL中的一些可以一次发送至少两行的像素信号。
时序控制器150可以控制图像传感器100的其他元件(例如，行驱动器120、ADC电路130、斜坡信号生成器140、行缓冲器160和处理器170)的时序。时序控制器150可以将指示操作时序的时序信号提供给行驱动器120、ADC电路130、斜坡信号生成器140、行缓冲器160和处理器170中的每一个。
在时序控制器150的控制下，行驱动器120可以生成用于驱动像素阵列110的控制信号并且将所述控制信号通过行线RL提供给像素阵列110的像素PX。行驱动器120可以控制像素阵列110的多个像素以同时或逐行地感测入射光。行驱动器120可以选择一行或至少两行的像素PX，并且可以控制所选择的像素PX通过列线CL输出像素信号。
斜坡信号生成器140可以生成以特定的斜率增大或减小的斜坡信号RAMP，并且将斜坡信号RAMP提供给ADC电路130。
ADC电路130可以接收从由行驱动器120从像素阵列110的多个像素PX中所选择的行的像素PX读出的像素信号，并且将所述像素信号转换为与数字数据相对应的像素值。
ADC电路130可以通过基于来自斜坡信号生成器140的斜坡信号RAMP将通过列线CL从像素阵列110接收到的像素信号转换为数字数据，从而以行为单位生成并且输出第一图像数据IDT1(例如，原始图像数据)。
ADC电路130可以包括与列线CL分别相对应的多个ADC。每个ADC可以将通过对应的一个列线CL接收到的像素信号与斜坡信号RAMP进行比较，并且可以基于比较结果生成像素值。例如，ADC可以使用相关双采样(CDS)从感测信号中去除复位信号，并且生成指示由像素PX感测到的光的量的像素值。
行缓冲器160可以包括多个行存储器，并且以特定的行单位存储从ADC电路130输出的多个像素值。换言之，行缓冲器160可以以特定的行单位存储从ADC电路130输出的第一图像数据IDT1。例如，行缓冲器160可以包括分别对应于像素阵列110的三个行的三个行存储器，并且将与从ADC电路130输出的第一图像数据IDT1的三个行相对应的多个像素值存储在这三个行存储器中。
处理器170可以处理行缓冲器160中所存储的与第一图像数据IDT1的多个行相对应的多个像素值。处理器170可以对以特定的行单位存储在行缓冲器160中的第一图像数据IDT1执行图像质量补偿、合并、尺寸缩小等。因此，可以以特定的行单位生成并输出由图像处理所产生的输出图像数据OIDT。
在一个实施例中，处理器170可以按照颜色处理第一图像数据IDT1。例如，当第一图像数据IDT1包括红色像素值、绿色像素值和蓝色像素值时，处理器170可以并行地或串行地处理红色像素值、绿色像素值和蓝色像素值。在一个实施例中，处理器170可以包括用于并行地处理不同颜色的多个处理电路。然而，实施例不限于此，并且单个处理电路可以重复地使用。
处理器170可以通过执行根据下面描述的示例实施例的合并方法，来生成具有更小的数据尺寸的输出图像数据OIDT。
输出图像数据OIDT可以输出到外部处理器，例如，应用处理器。应用处理器可以对输出图像数据OIDT进行存储、执行图像处理或进行显示。参见图13和图14在后面进行描述。
根据示例实施例，当图像传感器100以第一操作模式操作时，至少两行的多个像素信号可以被同时读出并且可以经历竖直方向(例如，列方向)上的模拟求和。根据模拟竖直求和，在单个水平周期期间至少两行被同时读出，以使帧速率可以提高至少两倍。
第一图像数据IDT1可以根据模拟竖直求和生成，并且处理器170可以执行合并以生成输出图像数据OIDT。因此，输出图像数据OIDT的尺寸可以减小，并且由采样频率差造成的Z字噪声和假色的出现可以减小，从而提供好的图像质量和高的帧速率。
图3A是示出根据示例实施例的图像传感器的竖直模拟求和以及插值的流程图。图3A的合并方法可以由图1的图像传感器100执行。
在操作S010处，像素产生光电荷。另外的细节参见下面图12的讨论。
在操作S020处，在列导线上以模拟方式对光电荷求和。例如，可以在图1的列线CL上对光电荷求和。该结果在图3A中标记为IDT0。同样参见图12。
在操作S030处，由电荷求和所产生的电压被模数转换(“ADC”)转换为数字值。由例如图1的ADC电路130所产生的这些数字值形成图1的图像IDT1。参见例如图4B和后面的讨论。
在操作S040处，来自IDT1的像素使用权重进行插值。参见例如图6和后面的讨论。
在操作S050处，所产生的经插值的数字值例如作为图1的输出图像数据OIDT输出。
图3B是根据示例实施例的图像传感器的合并方法的流程图。图3B的合并方法可以由图1的图像传感器100执行。
参考图1至图3B，在操作S110中，图像传感器100可以同时读出像素阵列110的各个区域AR中的至少两行的多个像素信号。因此，如上所述，从一列中和至少两行中的至少两个像素输出的至少两个像素信号可以经历模拟求和。
在操作S120中，图像传感器100可以通过对所读出的像素信号执行模数转换而生成第一图像数据IDT1。例如，ADC电路130可以通过对通过列线CL接收到的像素信号执行模数转换而生成第一图像数据IDT1。然后，可以执行数字合并。
第一图像数据IDT1可以被划分成多个合并区域。在操作S130中，图像传感器100可以基于各个合并区域的像素值对第一图像数据IDT1的各个合并区域执行第一合并。图像传感器100可以对各个合并区域中具有相同颜色的像素值执行加权求和。在本公开中，加权求和指示可以将所设置的权重应用到每个像素值，并且可以对经加权的值进行求和(或求和以及平均)。
在操作S140中，图像传感器100可以基于在列方向上彼此相邻的两个合并区域的像素值执行插值。图像传感器100可以对两个合并区域中具有相同颜色的像素值执行加权求和。
因此，在操作S150中，可以输出具有比第一图像数据IDT1更小的尺寸的第二图像数据。例如，当各个合并区域包括以4x4矩阵布置的像素值时，第二图像数据的尺寸可以对应于像素阵列110的分辨率的1/4。
下面将参考图4A至图9详细描述根据示例实施例的合并方法。
图4A和图4B是用于描述根据示例实施例的读出方法的图。图5A至图5C是由根据示例实施例的读出方法生成的第一图像数据的示意图。
图4A和图4B示出对像素阵列110的区域AR进行读出。区域AR可以包括以4×4矩阵布置的多个像素PX。
参考图4A，第一行Row1和第三行Row3可以在第一水平周期期间被同时读出。第一列C1中的第一绿色像素Gr1和Gr3的像素信号可以通过第一列线CL1读出，并且第四列C4中的红色像素R2和R4的像素信号可以通过第四列线CL4输出。
当两个像素(例如，第一绿色像素Gr1和Gr3)的像素信号通过第一列线CL1被读出时，可以对所述像素信号求和。然而，当从像素PX输出像素信号时，像素PX可以作为源极跟随器操作。因为像素PX的寄生电阻，所以可以将第一绿色像素Gr1和Gr3的像素信号中具有更高的值的像素信号作为与第一绿色像素Gr1和Gr3相对应的和信号通过第一列线CL1提供给ADC电路130。
在第二列C2的红色像素R1和R3中，区域AR的外区中的红色像素R1的像素信号可以通过第二列线CL2被输出。在第三列C3中的第一绿色像素Gr2和Gr4中，区域AR的外区中的第一绿色像素Gr2的像素信号可以通过第三列线CL3被输出。换言之，在第二列C2和第三列C3中的每一列中，可以读出第一行Row1和第三行Row3中的具有相同颜色的像素之中的、较外的区域中的像素的像素信号。较内的区域中的像素的像素信号可以不被读出。
ADC电路130可以将像素信号转换为数字值，例如，像素值PGr13、PR1、PGr2和PR24。在一个实施例中，在第一水平周期期间生成的像素值PGr13、PR1、PGr2和PR24可以被存储在一个行存储器(例如，行缓冲器160的第一行存储器LM1)中，并且可以形成第一图像数据IDT1的一部分。然而，像素值PGr13、PR1、PGr2和PR24可以不对应于第一图像数据IDT1的同一行。
参考图4B，第二行Row2和第四行Row4可以在第一水平周期以后的第二水平周期期间被同时读出。第一列C1中的蓝色像素B1和B3的像素信号可以通过第一列线CL1被输出，并且第四列C4中的第二绿色像素Gb2和Gb4的像素信号可以通过第四列线CL4被输出。此时，如上面参考图4A所述，通过同一列线输出的两个像素信号可以求和，可以将和信号提供给ADC电路130。
在第二列C2中的第二绿色像素Gb1和Gb3中，区域AR的外区中的第二绿色像素Gb3的像素信号可以通过第二列线CL2被输出。在第三列C3中的蓝色像素B2和B4中，区域AR的外区中的蓝色像素B4的像素信号可以通过第三列线CL3被输出。
ADC电路130可以将像素信号转换为数字值，例如，像素值PB13、PGb3、PB4和PGb24。在一个实施例中，在第二水平周期期间所生成的像素值PB13、PGb3、PB4和PGb24可以被存储在一个行存储器(例如，行缓冲器160的第二行存储器LM2)中，并且可以形成第一图像数据IDT1的一部分。在一个实施例中，在第一水平周期期间生成的像素值PGr13、PR1、PGr2和PR24可以从第一行存储器LM1移动到第二行存储器LM2，并且在第二水平周期期间所生成的像素值PB13、PGb3、PB4和PGb24可以被存储在第一行存储器LM1中。行缓冲器160还可以包括第三行缓冲器LM3，其以与LM2和LM1连续的方式使用，类似于上面LM1和LM2的讨论。
参考图5A，第一行存储器LM1中所存储的像素值PGr13、PR1、PGr2和PR24可以形成第一图像数据IDT1的合并区域BA中的第一行Row1和第二行Row2。像素值PGr13和PR24中的每一个是分别在像素阵列110的区域AR的第一行Row1和第三行Row3中的两个像素(例如，图4A中的第一绿色像素Gr1和Gr3或红色像素R2和R4)的像素信号的和(或平均值)，因此可以表示与这两个像素之间的中点相对应的采样位置的像素值。像素值PR1和PGr2可以分别表示对应像素(即，图4A中的红色像素R1和第一绿色像素Gr2)的位置处的像素值。
参考图5B，第二行存储器LM2中所存储的像素值PB13、PGb3、PB4和PGb24可以形成第一图像数据IDT1的合并区域BA中的第三行Row3和第四行Row4。像素值PB13和PGb24中的每一个是分别在像素阵列110的区域AR的第二行Row2和第四行Row4中的两个像素(例如，图4B中的蓝色像素B1和B3或第二绿色像素Gb2和Gb4)的像素信号的和(或平均值)，因此可以表示与这两个像素之间的中点相对应的采样位置的像素值。像素值PGb3和PB4可以分别表示对应像素(即，图4B中的第二绿色像素Gb3和蓝色像素B4)的位置处的像素值。
当根据示例实施例对像素阵列110的区域AR执行读出时，可以如图5C所示地确定第一图像数据IDT1的合并区域BA的像素值。
图6示出根据示例实施例的合并方法中的基于各个合并区域中的像素值对第一图像数据的多个合并区域中的各个合并区域执行的第一合并。
参考图6，第一合并可以通过对合并区域BA中的与相同颜色相对应的像素值求和而执行。
例如，与采样位置S11相对应的像素值可以通过对与第一绿色颜色相对应的像素值PGr13和PGr2求和而计算。此时，可以将预设权重应用到像素值PGr13和PGr2中的每一个，并且可以对经加权的值进行求和。权重可以考虑采样位置而进行预设。换言之，权重可以被设置为使经加权的值的和位于采样位置S11处。例如，当由像素值PGr13和PGr2所表示的像素的中心之间的距离是10并且采样位置S11位于离像素值PGr13为3的距离处时，分别应用到像素值PGr13和PGr2的权重之比可以是7∶3。换言之，可以将更高的权重应用到像素值PGr13。
以相同的方式，可以将权重应用到与相同颜色相对应的像素值以使得该颜色位于采样位置S12、S13或S14处，并且可以对经加权的值进行求和。因此，可以计算分别与采样位置S11、S12、S13和S14相对应的像素值PGr_b、PR_b、PB_b和PGb_b。
图7示出根据示例实施例的合并方法中的基于两个相邻合并区域的像素值执行的插值。
参考图7，第一图像数据IDT1可以包括多个合并区域BAn-1、BAn和BAn+1。可以对合并区域BAn-1、BAn和BAn+1执行插值，从而可以生成分别与目标采样位置TS1、TS2、TS3和TS4相对应的像素值PGr_t、PR_t、PB_t和PGb_t。
将示例性地描述对与合并区域BAn中的目标采样位置相对应的像素值的生成。如参考图6所述，在合并区域BAn中计算与采样位置S11、S12、S13和S14相对应的像素值PGr_b、PR_b、PB_b和PGb_b，并且像素值PGr_b、PR_b、PB_b和PGb_b中的每一个可以与相邻合并区域BAn-1和BAn+1中的相同颜色的像素值之中的与最近的像素相对应的像素值相加。可以将权重应用到每个像素值。可以考虑每个像素值的位置和目标采样位置来设置权重。与像素值相对应的位置和目标采样位置之间的距离越小，权重可以越大。如上所述，分别与合并区域BAn中的目标采样位置TS1、TS2、TS3和TS4相对应的像素值PGr_t、PR_t、PB_t和PGb_t可以通过插值来计算。
通过来自以4×4矩阵布置的多个像素PX的读数的模拟竖直求和合并，可以生成包括以2×2矩阵布置的像素值的第二图像数据IDT2。参见图7的右边部分。
图8是根据示例实施例的图像传感器的合并方法的流程图。图8的合并方法可以由图1的图像传感器100执行。操作S210、S220、S230和S240与图3B中的操作S110、S120、S130和S140相同。因此将省略冗余的描述。
在操作S220中生成第一图像数据IDT1以后，图像传感器100可以在操作S250中对绿色像素执行第二合并。图像传感器100可以对第一图像数据IDT1的多个合并区域中的各个合并区域的至少两个绿色像素值和相邻的合并区域中的绿色像素值求和。例如，相邻的合并区域可以在列方向上与各个合并区域相邻。可以考虑采样位置将权重应用到每个像素值，并且可以对经加权的值进行求和。将参考图9详细描述第二合并。
图9是用于描述根据示例实施例的合并方法中的对绿色像素应用的第二合并的图。
参考图9，合并区域BAn和合并区域BAn-1可以在列方向上彼此最邻近。
合并区域BAn中的与第一绿色像素相对应的像素值PGr13和PGr2和合并区域BAn-1中的像素值PGb3可以进行求和，像素值PGb3对应于与合并区域BAn中的第一绿色像素最邻近的第二绿色像素。此时，可以将权重应用到像素值PGr13、PGr2和PGb3中的每一个，以使和值位于第一目标采样位置TS1处，并且可以对经加权的值进行求和。因此，可以生成与第一目标采样位置TS1相对应的绿色像素的像素值PGr_t’。以类似的方式，可以生成与第二目标采样位置TS2相对应的绿色像素的像素值PGb_t’。以这种方式，确定了在与合并区域BAn的绿色像素相对应的目标采样位置处的绿色像素的像素值，因此可以生成包括绿色像素的像素值的第三图像数据IDT3。
在操作S240中执行插值期间，要进行求和的像素值彼此远离，如图7所示。然而，根据第二合并，最靠近合并区域BAn的绿色像素的像素值和合并区域BAn中的绿色像素的像素值可以求和。因此，可以基于与相邻的像素相对应的像素值执行合并。
回去参考图8，在操作S270中，第二图像数据和第三图像数据可以基于第一绿色像素和第二绿色像素之间的像素值差彼此结合。如上所述，第三图像数据可以包括绿色像素的像素值。因此，第二图像数据的绿色像素的像素值可以与第三图像数据的绿色像素的像素值结合。在操作S280处，经结合的图像数据被输出。
此时，第二图像数据和第三图像数据可以基于第二合并期间所使用的第一绿色像素和第二绿色像素的像素值中的与两个最邻近的像素相对应的像素值之间的差彼此结合。
例如，当像素值之间的差小于第一参考值时，即，当像素值之间的差很小时，第三图像数据的绿色像素的像素值可以应用到输出图像数据。换言之，第二图像数据的红色像素和蓝色像素的像素值以及第三图像数据的绿色像素的像素值可以被包括在输出图像数据中。当像素值之间的差超过第二参考值时，即，当像素值之间的差很大时，第二图像数据可以被选择为输出图像数据。换言之，第三图像数据的绿色像素值可以不反映在输出图像数据中。
差与阈值的比较提供了非线性步长，其对于减少伪影(例如，Z字伪影和假色伪影)是有用的。
否则，当像素值之间的差大于或等于第一参考值并且小于第二参考值时，可以基于第一参考值和第二参考值将差转换为小于或等于1的值，可以基于转换所产生的值将权重应用到第二图像数据和第三图像数据中的每一个，并且可以对经加权的值进行求和。例如，当像素值之间的差被转换为0.6的值时，可以将0.4的权重应用到第二图像数据的绿色像素的像素值并且可以将0.6的权重应用到第三图像数据的绿色像素的像素值，并且可以对经加权的值进行求和。基于用于绿色像素的求和像素值以及第二图像数据的红色像素和蓝色像素的像素值，可以生成输出图像数据。
图10示出根据示例实施例的像素的示例。
参考图10，像素PX可以包括光电转换单元11和像素电路12。像素电路12可以包括多个晶体管，例如，由信号TS控制的传输晶体管TX、复位晶体管RX、驱动晶体管DX和选择晶体管SX。
光电转换单元11可以包括光电二极管。光电二极管可以生成随入射光的强度变化的光电荷。传输晶体管TX可以根据从(图1中的)行驱动器120提供的传输控制信号TS将光电荷传输到浮置扩散节点FD。驱动晶体管DX可以放大与浮置扩散节点FD中所累积的光电荷相对应的电压。驱动晶体管DX可以作为源极跟随器操作。当选择晶体管SX的漏极节点被连接到驱动晶体管DX的源极节点并且选择晶体管SX响应于从行驱动器120输出的选择信号SEL而导通时，与浮置扩散节点FD的电压电平相对应的像素信号APS可以输出到连接到像素PX的列线CL。复位晶体管RX可以响应于从行驱动器120提供的复位信号RS而基于电源电压VDD复位浮置扩散节点FD。
如上面参考图4A和图4B所述的，可以读出像素阵列110的至少两行。此时，像素阵列110的区域AR的中心部分的像素未被读出。因此，当两个行被同时读出时，可以不选择中心部分中的像素。要被读出的像素可以响应于有效电平下的第一选择信号SEL1而被连接到列线CL，并且不要被读出的像素可以响应于无效电平下的第二选择信号SEL2与列线CL断开。因此，即使像素在同一行中，每个像素的像素信号也可以选择性地输出或不输出。
图11A示出具有四元图案的像素阵列。图11B示出根据示例实施例的将具有四元图案的像素阵列应用到图像传感器的示例。
参考图11A，像素阵列110a具有四元图案。红色像素PX_R可以以2x2矩阵布置，第一绿色像素PX_Gr可以以2x2矩阵布置，第二绿色像素PX_Gb可以以2×2矩阵布置，并且蓝色像素PX_B可以以2x2矩阵布置。这个图案可以以矩阵形式重复。这样的图案可以被称为四元拜尔图案。
在示例中，2×2矩阵中的每个像素均可以包括光电转换元件并且可以彼此共享浮置扩散节点和像素电路，如图12所示。因此，2×2矩阵中的像素可以作为单个大像素操作，例如，如图11B所示的PX_R1、PX_Gr1、PX_Gb1或PX_B1。大像素可以形成拜尔图案。因此，如上所述，可以应用根据示例实施例的合并方法。第一行Row1和第三行Row3可以在第一水平周期期间被同时读出，并且第二行Row2和第四行Row4可以在第二水平周期期间被同时读出。
图12示出根据示例实施例的像素的示例。
参考图12，像素PXa可以包括多个光电转换元件22a、22b、22c和22d以及像素电路12。例如，像素PXa可以包括四个光电转换元件22a、22b、22c和22d。在一些实施例中，光电转换元件22a、22b、22c和22d可以分别包括光电二极管PD1A、PD1B、PD1C和PD1D。微透镜可以布置在每个光电转换元件22a、22b、22c和22d上方。因此，微透镜和光电转换元件的组合可以被称为单个像素，因此，图12的像素PXa可以被视为四个像素。
像素电路12可以包括：分别连接到光电转换元件22a、22b、22c和22d的四个传输晶体管TX1至TX4；复位晶体管RX1；驱动晶体管DX1；以及选择晶体管SX1。
浮置扩散节点FD1可以由四个光电转换元件22a、22b、22c和22d以及四个传输晶体管TX1至TX4共享。复位晶体管RX1可以响应于复位信号RS1而导通以利用电源电压VDD复位浮置扩散节点FD1。每个传输晶体管TX1至TX4可以根据传输门TG1、TG2、TG3和TG4中的对应的一个的电压将光电二极管PD1A、PD1B、PD1C和PD1D中的对应的一个连接到浮置扩散节点FD1或将它们断开。
入射到光电二极管PD1A、PD1B、PD1C和PD1D中的每一个的光可以通过光电转换在其中累积为电荷。当在光电二极管PD1A、PD1B、PD1C和PD1D中的每一个中累积的电荷被传输到浮置扩散节点FD1时，可以经由驱动晶体管DX1和选择晶体管SX1将电荷作为第一模拟电压V1out输出。与浮置扩散节点FD1中的电压改变相对应的第一模拟电压V1out可以被发送到外部读出电路(未示出)。
像素PXa可以应用到图11A的像素阵列110a。例如，像素PXa的四个光电转换元件22a、22b、22c和22d可以分别对应于2x2矩阵中的像素。换言之，2x2矩阵中的像素可以共享浮置扩散节点FD1，与图12的像素PXa相似。当传输晶体管TX1至TX4同时导通或截止时，2x2矩阵中的像素可以作为单个大像素操作，如图11B所示。在一个实施例中，当像素PXa作为大像素操作时，传输晶体管TX1至TX4中仅有一些可以导通或截止，同时传输晶体管TX1至TX4中的另一些保持截止。
图13是包括使用根据示例实施例的图像传感器的多相机模块的电子设备的框图。图14是图13中的相机模块的详细框图。
参考图13，电子设备1000可以包括相机模块组1100、应用处理器1200、电源管理集成电路(PMIC)1300和外部存储器1400。
相机模块组1100可以包括多个相机模块1100a、1100b和1100c。虽然图13中示出了三个相机模块1100a、1100b和1100c，但是示例实施例不限于此。在一些实施例中，相机模块组1100可以修改为仅包括两个相机模块。在一些实施例中，相机模块组1100可以修改为包括“n”个相机模块，其中“n”是至少4的自然数。
将在下面参考图14描述相机模块1100b的详细配置。下面的描述还可以应用到其他相机模块1100a和1100c。
参考图14，相机模块1100b可以包括棱镜1105、光学路径折叠元件(OPFE)1110、致动器1130、图像感测器件1140和储存器1150。
棱镜1105可以包括光反射材料的反射表面1107并且可以改变从外部入射的光L的路径。
在一些实施例中，棱镜1105可以将在第一方向X上入射的光L的路径改变为与第一方向X垂直的第二方向Y。棱镜1105可以绕着中心轴1106在方向A上或绕着中心轴1106在方向B上转动光反射材料的反射表面1107，以使在第一方向X上入射的光L的路径被改变为与第一方向X垂直的第二方向Y。此时，OPFE 1110可以在与第一方向X和第二方向Y垂直的第三方向Z上移动。
在一些实施例中，棱镜1105的A方向最大转动角度可以在正(+)A方向上小于或等于15度并且在负(-)A方向上大于15度，但是示例实施例不限于此。
在某个示例中，棱镜1105可以在正B方向或负B方向上移动约20度或在从约10度至约20度或从约15度至约20度的范围中的角度。此时，棱镜1105在正B方向上移动的角度可以在约1度的差之内与棱镜1105在负B方向上移动的角度相同或类似。
在一些实施例中，棱镜1105可以在与中心轴1106的延伸方向平行的第三方向Z上移动光反射材料的反射表面1107。
OPFE 1110可以包括例如“m”个光学透镜，其中“m”是自然数。“m”个透镜可以在第二方向Y上移动并且改变相机模块1100b的光学变焦比率。例如，当相机模块1100b的默认光学变焦比率是Z时，可以通过移动OPFE 1110中所包括的“m”个光学透镜将相机模块1100b的光学变焦比率改变为3Z、5Z或更大。
致动器1130可以将OPFE 1110或光学透镜移动到特定的位置。例如，致动器1130可以调整光学透镜的位置，以使图像传感器1142被定位在用于准确感测的光学透镜的焦距处。
图像感测器件1140可以包括图像传感器1142、控制逻辑部1144和存储器1146。图像传感器1142可以使用通过光学透镜提供的光L感测对象的图像。执行根据示例实施例的合并方法的图1的图像传感器100可以被用作图像传感器1142。因此，当图像感测器件1140在第一模式下操作时，帧速率和图像质量可以提高并且由图像感测器件1140生成的图像数据的尺寸可以减小。例如，帧速率可以是基于电路接口带宽和计算带宽可达到的帧速率。(提供图像传感器1142的示例细节的)图像传感器100允许该帧速率是高的帧速率。
控制逻辑部1144可以在总体上控制相机模块1100b的操作。例如，控制逻辑部1144可以根据通过控制信号线CSLb提供的控制信号控制相机模块1100b的操作。
存储器1146可以存储相机模块1100b的操作所需的诸如校准数据1147之类的信息。校准数据1147可以包括相机模块1100b所需的用于使用从外部提供的光L生成图像数据的信息。例如，校准数据1147可以包括与上述转动的角度有关的信息、与焦距有关的信息、与光轴有关的信息等。当相机模块1100b被实现为具有随光学透镜的位置变化的焦距的多状态相机时，校准数据1147可以包括用于光学透镜的每个位置(或状态)的焦距的值和与自动聚焦有关的信息。
储存器1150可以存储由图像传感器1142所感测的图像数据。储存器1150可以设置在图像感测器件1140的外部并且可以与图像感测器件1140的传感器芯片形成堆栈。在一些实施例中，储存器1150可以包括电可擦除可编程只读存储器(EEPROM)，但是实施例不限于此。
参考图13和图14，在一些实施例中，每个相机模块1100a、1100b和1100c可以包括致动器1130。因此，相机模块1100a、1100b和1100c可以包括校准数据1147，相机模块1100a、1100b和1100c中的校准数据1147根据每个相机模块1100a、1100b和1100c中所包括的致动器1130的操作而相同或不同。
在一些实施例中，相机模块1100a、1100b和1100c中的一个(例如，相机模块1100b)可以是包括棱镜1105和OPFE 1110的折叠透镜类型，而其他相机模块(例如，相机模块1100a和1100c)可以是不包括棱镜1105和OPFE 1110的竖直类型。然而，实施例不限于此。
在一些实施例中，相机模块1100a、1100b和1100c中的一个(例如，相机模块1100c)可以包括竖直深度相机，其使用红外线(IR)提取深度信息。在这种情况下，应用处理器1200可以通过将从深度相机提供的图像数据与从另一个相机模块(例如，相机模块1100a或1100b)提供的图像数据结合而生成三维(3D)深度图像。
在一些实施例中，相机模块1100a、1100b和1100c中的至少两个相机模块(例如，1100a和1100b)可以具有不同的视野。在这种情况下，相机模块1100a、1100b和1100c中的两个相机模块(例如，1100a和1100b)可以分别具有不同的光学透镜，但是实施例不限于此。
在一些实施例中，相机模块1100a、1100b和1100c可以具有彼此不同的视野。在这种情况下，相机模块1100a、1100b和1100c可以分别具有不同的光学透镜，但是实施例不限于此。
在一些实施例中，相机模块1100a、1100b和1100c可以在物理上彼此隔离。换言之，图像传感器1142的感测区域并不由相机模块1100a、1100b和1100c划分使用，而是图像传感器1142可以被独立地包括在每个相机模块1100a、1100b和1100c中。
回去参考图13，应用处理器1200可以包括图像处理单元1210、存储器控制器1220和内部存储器1230。应用处理器1200可以与相机模块1100a、1100b和1100c分离地实现。例如，应用处理器1200和相机模块1100a、1100b和1100c可以被实现在不同的半导体芯片中。
图像处理单元1210可以包括：多个子图像处理器1212a、1212b和1212c；图像生成器1214；以及，相机模块控制器1216。
图像处理单元1210可以包括与相机模块1100a、1100b和1100c一样多的子图像处理器1212a、1212b和1212c。
从每个相机模块1100a、1100b和1100c生成的图像数据可以通过彼此分离的图像信号线ISLa、ISLb和ISLc中的对应的一个被提供到子图像处理器1212a、1212b和1212c中的对应的一个。例如，从相机模块1100a生成的图像数据可以通过图像信号线ISLa被提供到子图像处理器1212a、从相机模块1100b生成的图像数据可以通过图像信号线ISLb被提供到子图像处理器1212b、并且从相机模块1100c生成的图像数据可以通过图像信号线ISLc被提供到子图像处理器1212c。这样的图像数据传输可以使用例如基于移动工业处理器接口(MIPI)的相机串行接口(CSI)执行，但是实施例不限于此。
在一些实施例中，可以为多个相机模块提供单个子图像处理器。例如，与图13不同，子图像处理器1212a和1212c可以不分离，而是可以集成到单个子图像处理器，并且从相机模块1100a或相机模块1100c提供的图像数据可以通过选择元件(例如，复用器)进行选择，然后提供给集成的子图像处理器。
提供给子图像处理器1212a、1212b和1212c中的每一个的图像数据可以被提供到图像生成器1214。图像生成器1214可以根据图像生成信息或模式信号，使用从子图像处理器1212a、1212b和1212c中的每一个提供的图像数据生成输出图像。
具体地，图像生成器1214可以通过根据图像生成信息或模式信号结合从具有不同视野的相机模块1100a、1100b和1100c分别生成的各个图像数据的至少一部分而生成输出图像。备选地，图像生成器1214可以通过根据图像生成信息或模式信号选择从具有不同视野的相机模块1100a、1100b和1100c分别生成的各个图像数据中的一个而生成输出图像。
在一些实施例中，图像生成信息可以包括变焦信号或变焦因子。在一些实施例中，模式信号可以基于由用户选择的模式。
当图像生成信息包括变焦信号或变焦因子并且相机模块1100a、1100b和1100c具有不同的视野时，图像生成器1214可以根据不同种类的变焦信号执行不同的操作。例如，当变焦信号是第一信号时，图像生成器1214可以将来自相机模块1100a的图像数据输出与来自相机模块1100c的图像数据输出结合，并且可以使用经结合的图像信号和从在结合期间未使用的相机模块1100b输出的图像数据生成输出图像。当变焦信号是与第一信号不同的第二信号时，图像生成器1214可以通过选择从相机模块1100a、1100b和1100c分别输出的各个图像数据中的一个(而不是执行结合)而生成输出图像。然而，实施例不限于此，并且处理图像数据的方法可以在需要时进行改变。
在一些实施例中，图像生成器1214可以从子图像处理器1212a、1212b和1212c中的至少一个接收具有不同的曝光时间的多个图像数据，并且对各个图像数据执行高动态范围(HDR)处理，由此生成具有更高的动态范围的经结合的图像数据。
相机模块控制器1216可以将控制信号提供给每个相机模块1100a、1100b和1100c。由相机模块控制器1216生成的控制信号可以通过彼此分离的控制信号线CSLa、CSLb和CSLc中的对应的一个被提供到相机模块1100a、1100b和1100c中的对应的一个。
相机模块1100a、1100b和1100c中的一个(例如，相机模块1100b)可以根据模式信号或包括变焦信号的图像生成信号被指定为主相机，并且其他相机模块(例如，1100a和1100c)可以被指定为从相机。这种指定信息可以被包括在控制信号中，并且通过彼此分离的控制信号线CSLa、CSLb和CSLc中的对应的一个被提供给相机模块1100a、1100b和1100c中的每一个。
作为主相机模块或从相机模块操作的相机模块可以根据变焦因子或操作模式信号而改变。例如，当相机模块1100a的视野大于相机模块1100b的视野并且变焦因子指示低变焦比率时，相机模块1100b可以作为主相机模块操作并且相机模块1100a可以作为从相机模块操作。相反，当变焦因子指示高变焦比率时，相机模块1100a可以作为主相机模块操作并且相机模块1100b可以作为从相机模块操作。
在一些实施例中，从相机模块控制器1216提供给每个相机模块1100a、1100b和1100c的控制信号可以包括同步使能信号。例如，当相机模块1100b是主相机模块并且相机模块1100a是从相机模块时，相机模块控制器1216可以将同步使能信号发送到相机模块1100b。被提供以同步使能信号的相机模块1100b可以基于同步使能信号生成同步信号，并且可以通过同步信号线SSL将同步信号提供给相机模块1100a和1100c。相机模块1100a、1100b和1100c可以利用同步信号同步并且可以将图像数据发送到应用处理器1200。
在一些实施例中，从相机模块控制器1216提供给每个相机模块1100a、1100b和1100c的控制信号可以包括与模式信号一致的模式信息。相机模块1100a、1100b和1100c可以基于模式信息以与感测速度相关的第一操作模式或第二操作模式操作。
在第一操作模式下，相机模块1100a、1100b和1100c可以以第一速度(例如，以第一帧速率)生成图像信号、以高于第一速度的第二速度(例如，以高于第一帧速率的第二帧速率)编码图像信号、以及将已编码的图像信号传送到应用处理器1200。此时，第二速度可以是第一速度的最多30倍。
应用处理器1200可以将接收到的图像信号(即，已编码的图像信号)存储在其内部存储器1230或应用处理器1200外部的外部存储器1400中。然后，应用处理器1200可以从内部存储器1230或外部存储器1400读取已编码的图像信号、解码已编码的图像信号、以及基于已解码的图像信号显示所生成的图像数据。例如，图像处理单元1210的子图像处理器1212a、1212b和1212c中的对应的一个可以执行解码并且还可以对已解码的图像信号执行图像处理。
在第二操作模式下，相机模块1100a、1100b和1100c可以以低于第一速度的第三速度(例如，以低于第一帧速率的第三帧速率)生成图像信号并且将图像信号发送到应用处理器1200。提供给应用处理器1200的图像信号可能还未被编码。应用处理器1200可以对图像信号执行图像处理，或将图像信号存储在内部存储器1230或外部存储器1400中。
PMIC 1300可以将电力(例如，电源电压)提供给每个相机模块1100a、1100b和1100c。例如，在应用处理器1200的控制下，PMIC 1300可以通过电力信号线PSLa将第一电力提供给相机模块1100a、通过电力信号线PSLb将第二电力提供给相机模块1100b、以及通过电力信号线PSLc将第三电力提供给相机模块1100c。
PMIC 1300可以生成与每个相机模块1100a、1100b和1100c相对应的电力，并且响应于来自应用处理器1200的电力控制信号PCON而调整电力的级别。电力控制信号PCON可以包括相机模块1100a、1100b和1100c的每个操作模式的电力调整信号。例如，操作模式可以包括低电力模式。此时，电力控制信号PCON可以包括与相机模块有关的用于在低电力模式下操作的信息和要设置的电力级别。可以将相同或不同的电力的级别分别提供给相机模块1100a、1100b和1100c。电力的级别可以动态地改变。
尽管已经具体示出和描述了示例实施例，但是将理解，在不脱离随附权利要求的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。

Claims (20)

1.一种图像传感器的合并方法，所述合并方法包括：
一次从像素阵列的多个区域中的各个区域的至少两行读出多个像素信号，所述多个区域中的各个区域包括以2n×2n矩阵布置的多个像素，其中n是大于或等于2的整数；
通过对所述多个像素信号执行模数转换而生成第一图像数据；
基于所述第一图像数据，基于多个合并区域中的各个合并区域中的与相同颜色相对应的两个像素值生成所述多个合并区域中的各个合并区域的第一和值，所述多个合并区域与所述像素阵列的所述多个区域相对应；以及
基于两个合并区域中的与相同颜色相对应的两个第一和值，生成所述两个合并区域中的各个合并区域的第二和值，所述两个合并区域在所述多个合并区域中在列方向上彼此相邻。
2.根据权利要求1所述的合并方法，其中读出所述多个像素信号包括：从具有第一颜色的至少两个第一像素同时读出像素信号，所述至少两个第一像素在所述像素阵列的第一列中；以及从具有第二颜色的至少两个第二像素中的一个第二像素读出像素信号，所述至少两个第二像素在所述像素阵列的第二列中。
3.根据权利要求2所述的合并方法，其中在所述至少两个第二像素中，所述一个第二像素在所述多个区域中的各个区域的外区中。
4.根据权利要求2所述的合并方法，其中生成所述第一图像数据包括：
由模数转换电路通过第一列线接收和信号，所述和信号与所述至少两个第一像素的像素信号的和相对应；以及
由所述模数转换电路通过对所述和信号执行模数转换而生成针对第一采样位置的像素值，所述第一采样位置与所述至少两个第一像素之间的中点相对应。
5.根据权利要求1所述的合并方法，其中生成所述第一和值包括：对所述两个像素值中的每一个应用权重并且对经加权的值求和。
6.根据权利要求5所述的合并方法，其中对所述两个像素值中的每一个应用的权重基于所述第一和值所在的第二采样位置设置。
7.根据权利要求1所述的合并方法，其中生成所述第二和值包括：
对所述两个第一和值中的每一个应用权重并且对经加权的值求和；以及
生成所述第二和值作为针对第三采样位置的像素值。
8.根据权利要求1所述的合并方法，还包括：
基于所述第一图像数据的所述多个合并区域中的各个合并区域的至少两个第一像素值和与所述多个合并区域中的各个合并区域相邻的相邻合并区域的第一像素值生成第三和值；以及
针对至少两个第一像素，将所述第二和值与所述第三和值结合。
9.根据权利要求8所述的合并方法，其中基于所述多个合并区域中的各个合并区域的第一像素值和所述相邻合并区域的第一像素值之间的差执行所述结合，
其中当所述差小于第一阈值时将所述第三和值包括在输出图像数据中，
当所述差超过第二阈值时将所述第二和值包括在所述输出图像数据中，以及
当所述差大于或等于所述第一阈值并且小于或等于所述第二阈值时：
基于所述差对所述第二和值和所述第三和值中的每一个应用权重，以及
将经加权的值的和包括在所述输出图像数据中。
10.一种图像传感器，包括：
像素阵列，被划分为具有四边形形状的多个区域，所述多个区域中的各个区域包括以2n×2n矩阵布置的像素，其中n是大于或等于2的整数；
模数转换电路，配置为：
读出多个像素信号，以及
将所述多个像素信号转换为第一图像数据，所述第一图像数据包括多个像素值，并且所述多个像素信号是通过多个列线从所述像素阵列接收的；
行驱动器，配置为通过连接到所述像素阵列的多个行线提供控制信号，所述控制信号被配置为控制所述像素阵列的至少两行的像素信号同时输出；
行缓冲器，配置为以特定的行单位存储所述第一图像数据；以及
处理器，配置为对所述行缓冲器中所存储的所述第一图像数据执行合并。
11.根据权利要求10所述的图像传感器，其中所述行驱动器还被配置为：控制至少两个第一像素同时输出像素信号，并控制至少两个第二像素中的一个第二像素输出像素信号，所述至少两个第一像素在所述像素阵列的所述至少两行的第一列中，并且所述至少两个第二像素在所述像素阵列的所述至少两行的第二列中。
12.根据权利要求11所述的图像传感器，其中所述模数转换电路还被配置为：
通过第一列线接收和信号，以及
通过对所述和信号执行模数转换而生成针对第一采样位置的像素值，所述和信号与所述至少两个第一像素的像素信号的和相对应，并且所述第一采样位置与所述至少两个第一像素之间的中点相对应。
13.根据权利要求10所述的图像传感器，其中所述处理器还被配置为：基于多个合并区域中的各个合并区域中的与相同颜色相对应的两个像素值生成所述多个合并区域中的各个合并区域的第一和值，所述多个合并区域被包括在所述第一图像数据中。
14.根据权利要求13所述的图像传感器，其中所述处理器还被配置为：
对所述两个像素值中的每一个应用权重；以及
对经加权的值求和，所述权重基于所述第一和值所在的第二采样位置设置。
15.根据权利要求13所述的图像传感器，其中所述处理器还被配置为：基于两个合并区域中的与相同颜色相对应的两个第一和值，生成所述两个合并区域中的各个合并区域的第二和值，所述两个合并区域在所述多个合并区域中在列方向上彼此相邻。
16.根据权利要求15所述的图像传感器，其中所述处理器还被配置为：基于所述第一图像数据的所述多个合并区域中的各个合并区域的至少两个第一像素值和与所述多个合并区域中的各个合并区域相邻的相邻合并区域的第一像素值计算第三和值；以及针对至少两个第一像素，将所述第二和值与所述第三和值结合。
17.根据权利要求10所述的图像传感器，其中所述多个区域中的各个区域包括拜尔图案，所述拜尔图案具有重复地布置的一个红色像素、两个绿色像素和一个蓝色像素。
18.一种图像处理***，包括：
图像传感器，配置为感测光信号并且生成图像数据；以及
第一处理器，配置为接收和处理来自所述图像传感器的所述图像数据，
其中所述图像传感器包括：
像素阵列，被划分为具有四边形形状的多个区域，所述多个区域中的各个区域包括以4x4矩阵布置的像素；
模数转换电路，配置为：
读出多个像素信号，以及
将所述多个像素信号转换为第一图像数据，所述第一图像数据包括多个像素值，所述多个像素信号是通过多个列线从所述像素阵列接收的；
行驱动器，配置为通过连接到所述像素阵列的多个行线提供控制信号，所述控制信号配置为控制所述像素阵列的至少两行的像素信号同时输出；
行缓冲器，配置为以特定的行单位存储第一图像数据；以及
第二处理器，配置为对所述行缓冲器中所存储的所述第一图像数据执行合并。
19.根据权利要求18所述的图像处理***，其中所述第二处理器还被配置为：
基于多个合并区域中的各个合并区域中的与相同颜色相对应的两个像素值生成所述多个合并区域中的各个合并区域的第一和值，所述多个合并区域被包括在所述第一图像数据中；以及
基于两个合并区域中的与相同颜色相对应的两个第一和值，生成所述两个合并区域中的各个合并区域的第二和值，所述两个合并区域在所述多个合并区域中在列方向上彼此相邻。
20.根据权利要求19所述的图像处理***，其中所述第二处理器还被配置为：
基于所述第一图像数据的所述多个合并区域中的各个合并区域的至少两个第一像素值和与所述多个合并区域中的各个合并区域相邻的另一个合并区域的第一像素值计算第三和值；
针对至少两个第一像素，将所述第二和值与所述第三和值结合。
CN202110707634.0A 2020-06-26 2021-06-24 图像传感器及其合并方法 Pending CN113852769A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200078813A KR20220000761A (ko) 2020-06-26 2020-06-26 이미지 센서 및 이미지 센서의 비닝 방법
KR10-2020-0078813 2020-06-26

Publications (1)

Publication Number Publication Date
CN113852769A true CN113852769A (zh) 2021-12-28

Family

ID=78827248

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110707634.0A Pending CN113852769A (zh) 2020-06-26 2021-06-24 图像传感器及其合并方法

Country Status (5)

Country Link
US (1) US11588988B2 (zh)
JP (1) JP2022008235A (zh)
KR (1) KR20220000761A (zh)
CN (1) CN113852769A (zh)
DE (1) DE102021114150A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022025812A1 (en) 2020-07-29 2022-02-03 Fingerprint Cards Anacatum Ip Ab Adaptive readout from an optical biometric sensor to a host device
WO2022025810A1 (en) * 2020-07-29 2022-02-03 Fingerprint Cards Anacatum Ip Ab Adaptive readout from a global shutter optical biometric sensor
JP2023010159A (ja) * 2021-07-09 2023-01-20 株式会社ソシオネクスト 画像処理装置および画像処理方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7091466B2 (en) 2003-12-19 2006-08-15 Micron Technology, Inc. Apparatus and method for pixel binning in an image sensor
US7929807B2 (en) 2007-02-27 2011-04-19 Phase One A/S Colour binning of a digital image to reduce the image resolution
US20080260291A1 (en) * 2007-04-17 2008-10-23 Nokia Corporation Image downscaling by binning
KR20110085768A (ko) 2010-01-21 2011-07-27 삼성전자주식회사 Ｃｍｏｓ 이미지 센서, 상기 이미지 센서의 데이터 리드아웃 방법, 및 상기 이미지 센서를 포함하는 전자 시스템
US8780238B2 (en) 2011-01-28 2014-07-15 Aptina Imaging Corporation Systems and methods for binning pixels
JP2012175600A (ja) * 2011-02-24 2012-09-10 Sony Corp 撮像装置、および撮像装置制御方法、並びにプログラム
KR101488074B1 (ko) 2013-02-04 2015-01-29 주식회사 동부하이텍 이미지 센서와 이를 이용한 비닝 이미지 생성 방법
KR102178335B1 (ko) 2014-01-02 2020-11-12 삼성전자주식회사 이미지 센서의 비닝 방법 및 이미지 센서
JP2015228544A (ja) * 2014-05-30 2015-12-17 株式会社東芝 固体撮像装置
US10109037B1 (en) 2015-06-02 2018-10-23 Marvell International Ltd. Systems and methods for Bayer image scaling based on edge detection
KR20200078813A (ko) 2018-12-22 2020-07-02 두배에프앤비 비빔면 전용 소스 및 그 제조방법
KR102600681B1 (ko) * 2019-03-26 2023-11-13 삼성전자주식회사 비닝을 수행하는 테트라셀 이미지 센서

Also Published As

Publication number Publication date
US20210409623A1 (en) 2021-12-30
US11588988B2 (en) 2023-02-21
KR20220000761A (ko) 2022-01-04
JP2022008235A (ja) 2022-01-13
DE102021114150A1 (de) 2021-12-30

Similar Documents

Publication Publication Date Title
CN113852769A (zh) 图像传感器及其合并方法
US11825216B2 (en) Image sensor
KR20210156458A (ko) 이미지 센싱 장치 및 이를 포함하는 전자 장치
US11425323B2 (en) Image sensor and operating method thereof
JP2023008830A (ja) イメージセンサ、イメージセンサを含むイメージ装置、及びイメージ装置の動作方法
US11700460B2 (en) Image sensing apparatus and image binning method thereof
KR20230078460A (ko) 이미지 센서 및 이미지 센서의 자동 초점 동작 방법
US20220116557A1 (en) Pixel array and image sensor including the same
KR20220145442A (ko) 이미지 센서
EP4187914A1 (en) Image sensor and autofocusing method of the same
US20230005980A1 (en) Image sensor
US12028634B2 (en) Image sensor
US20220399384A1 (en) Pixel array and image sensor including the same
EP4307703A1 (en) Image sensor and electronic device including the same
TW202420835A (zh) 影像感測器和電子裝置
KR20220077735A (ko) 이미지 센서 및 이미지 센서의 픽셀 어레이
KR20220047140A (ko) 픽셀 어레이 및 이를 포함하는 이미지 센서
KR20240010387A (ko) 이미지 센서 및 이를 포함하는 전자 장치
TW202226816A (zh) 影像感測器、包括所述影像感測器的影像感測裝置以及操作方法
JP2023001877A (ja) イメージセンシング装置
CN117412190A (zh) 图像传感器和包括该图像传感器的电子设备
TW202306140A (zh) 影像感測器
CN114390192A (zh) 用于提高图像分辨率的装置及其操作方法
CN115225835A (zh) 相机模块和相机模块的操作方法
CN118231423A (zh) 图像传感器

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination