CN116647769A

CN116647769A - 改进的cmos图像传感器

Info

Publication number: CN116647769A
Application number: CN202210132353.1A
Authority: CN
Inventors: 倪扬
Original assignee: Shanghai Honggan Microelectronics Technology Co ltd
Current assignee: Shanghai Honggan Microelectronics Technology Co ltd
Priority date: 2022-02-14
Filing date: 2022-02-14
Publication date: 2023-08-25
Also published as: WO2023151675A1

Abstract

本申请题为“改进的CMOS图像传感器”。一种CMOS图像传感器包括像素矩阵和像素控制电路(VS)，每个像素具有包括光电检测器(PD)和存储单元(MEM)的像素结构，该像素控制电路能够顺序写入代表曝光之后的光电检测值到所述像素的存储单元(MEM)。根据本发明，图像传感器进一步包括比较电路(DMU、RB、CE)，该比较电路用于：存储至少部分所述像素的顺序光电检测值；比较所述顺序光电检测值；根据所述像素的顺序光电检测值生成比较信号(NUL、POS、NEG)；生成从所述比较信号反映图像变化的比较矩阵。

Description

改进的CMOS图像传感器

技术领域

本发明大体上涉及CMOS图像传感器。

背景技术

近几十年来，CMOS图像传感器在空间分辨率和性能方面取得了非常显著的进步，这些进步主要由配备摄像头的智能手机市场推动。

如今，这些高分辨率传感器生成的图片质量极高，包含越来越多的数据。

如今，高质量的图像在图像压缩之前的大小约为2Mb至10Mb。

当用于计算机视觉时，此类图片需要增加处理量，这可能会产生问题。更具体地，很大一部分的计算资源用于处理图像中几乎没有意义或没有意义的部分。此外，高性能的计算资源潜在地需要昂贵硬件和高能耗。

如果可以关注图像中可能包含重要和有用信息的部分，则可以解决这些问题。

在许多应用中，场景中运动的存在构成了待处理的视觉事件。例如在视频监控***、人员计数***、手势控制***等中就是这种情况。

为了解决这些问题，已开发了所谓的动态视觉传感器(DVS)，其中传感器的每个像素包括亮度变化检测器。当检测到亮度变化时，就会生成对应的事件。该事件包括时间戳和图像矩阵中相关像素的X、Y坐标。

这种已知的传感器进一步包括冲突管理器，其通常位于图像阵列的边缘，以便在生成多个事件时解决事件之间的冲突。

文件US10567679B2公开了这种动态视觉传感器的示例。

这种已知传感器的基本原理是其允许重新创建场景中移动对象的时空轨迹。

然而，这种已知传感器具有与常规图像计算环境不兼容的复杂架构。

发明内容

本发明基于以下发现：对于许多计算机视觉应用，两个连续图像帧之间的简单图像变化检测产生的事件可以是有效的。

因此，本发明提供了一种新的传感器架构，其允许检测连续图像之间的变化并以简单的数据格式对变化进行编码。

根据本发明，对于每一张所捕获的图像，都会生成与图像大小相同的位元矩阵，其中每一位指示对应像素是否发生变化，优选地亮度是否发生变化。可选地，位矩阵还编码变化的性质，即亮度增加或亮度降低。

更具体地，本发明提供一种CMOS图像传感器，其包括像素矩阵和像素控制电路，每个像素具有包括光电检测器和存储单元的像素结构，该像素控制电路能够顺序写入代表曝光之后的光电检测值到所述像素的存储单元，该图像传感器进一步包括比较电路，该比较电路用于存储至少部分所述像素的顺序光电检测值、用于比较所述顺序光电检测值、用于根据所述像素的顺序光电检测值生成比较信号，并且用于生成从所述比较信号反映图像变化的比较矩阵。

本发明允许明显简化每个像素结构并且不需要提供冲突管理器。

此外，本发明能提供与现有图像处理环境兼容的输出。由于需要更少的电力，可以用于电池供电的视觉***，例如用于物联网(IoT)领域中。

图像传感器可以进一步包括以下单独的或以任何技术兼容的组合获得的可选特征：

-所述比较电路包括双存储单元，该双存储单元包括一组存储单元对，所述一组存储单元对在对应于与所述读取总线相关联的像素的两次连续曝光的不同时间选择性地连接到相应的读取总线，所述读取总线可选择性地能够连接到相关联的像素组的存储单元。

-所述比较电路包括双总线单元，该双总线单元用于选择性地将给定对的两个存储单元连接到能够生成所述比较信号的比较器的一对输入端。

-所述读取总线和存储单元对分别与像素矩阵的列或行相关联。

-图像传感器包括第一扫描单元，该第一扫描单元用于将所述双存储单元的所述像素存储单元对顺序连接到所述比较器。

-图像传感器包括用于将选定像素组的像素存储单元顺序连接到所述读取总线的第二扫描单元。

-所述顺序光电检测值之间的关系是具有死区的比较函数。

-所述具有死区的比较函数是通过具有偏置调整的CMOS差分对来执行的。

-比较电路能够仅针对所述一部分像素生成比较信号，每个比较信号与相应像素组相关联。

-比较电路能够仅针对所述一部分像素生成比较信号，并且图像传感器进一步包括用于内***较信号并且用于将内插的比较信号与相应像素相关联的内插电路。

-图像传感器进一步包括组合电路，该组合电路能够组合由像素矩阵生成的像素值并形成主像素图像和包含在所述比较矩阵中并且与相应像素或与相应像素组相关联的相应比较信号。

-图像传感器进一步包括用于从所述比较矩阵确定图像变化水平的检测电路，以及用于仅当所述图像变化水平高于阈值时存储至少一个主图像的存储电路。

附图说明

本发明的其他特征、目的和优点将从以下参考附图给出的本发明的优选实施例的描述中变得更加显而易见。

在附图中：

图1是根据本发明的实施例的CMOS图像传感器的总体图，

图2(A)至图2(D)图示了光电检测器在像素级的四个可能实施例，

图3(A)至图3(C)图示了光电检测器值读数在像素级的三个可能实施例，

图4是图1电路中涉及的信号的时序图，

图5是具有死区和三个输出值的比较器的示例性实施例，以及

图6示出了比较器响应的死区。

具体实施方式

A)通用架构

图1图示了根据本发明的图像传感器的总体架构。

该传感器包括五个主要部件：

-像素P的矩阵M，

-双存储单元DMU，

-读取总线RB，

-比较器-编码器单元CE，

-水平扫描单元HS和竖直扫描单元VS。

矩阵M的每个像素P包括光电检测器PD和经由读取开关RS连接到光电检测器的存储单元MEM。

选定列的像素P的存储单元MEM经由相应的存储器读取开关MRS连接到相应的列读取总线CRBj，每个所述总线CRBj经由相应的开关RD1、RD2可连接到双存储单元DMU的相应的存储单元对CMEM1、CMEM2。可以理解，双存储单元包括与列数相等的多个存储单元对CMEM1、CMEM2。

读取总线包括一对总线BS1、BS2，总线BS1、BS2可通过对应的开关RD3、RD4分别连接到每个存储单元CMEM1、CMEM2。

读取总线RB的两条总线BS1、BS2连接到比较器-编码器单元CE的相应输入端，该比较器-编码器单元CE被设置为分别输出POS和NEG输出信号，这将在下文中解释。

现在参考图1至图4，竖直扫描单元VS被配置为以特定方式依次施加到相应的矩阵行曝光脉冲TX1、……、TXn和相应的行选择脉冲SEL1、……、SELn的连续行L1、……、Ln的像素。

对于矩阵的每一列，水平扫描单元HS被配置为依次施加到双存储单元DMU的开关RD1、RD2：

-输入切换控制脉冲(图4中的行RD1、RD2)，该脉冲施加到开关RD1、RD2以选择性地将给定的列总线CRBj连接到存储单元CMEM1或存储单元CMEM2，这样的命令对所有列都是通用的，

-输出存储器控制脉冲CS1、CS2、……、CSm(列专用)，该脉冲施加到相应的开关RD3、RD4，以用于选择性地将给定列的存储单元CMEM1、CMEM2分别连接到总线BS1、BS2。

图像传感器的一般操作如下：

1)竖直扫描单元VS选择像素行，并且通过控制MRS开关的第一SEL脉冲将针对所述选定行存储在每个局部像素存储单元MEM中的当前像素值施加到列总线CRBij；

2)通过向开关RD1施加基本上与第一SEL脉冲叠加的控制脉冲，将施加到相应总线CRBj的像素值加载到相应存储单元CMEM1中；

3)曝光脉冲TX被施加到行像素的开关RS，以便将与光电检测器在曝光期间接收到的光子的剂量相对应的新像素值加载到像素存储单元MEM中；

4)控制信号SEL和RD2被激活，以将像素存储单元MEM连接到相应的列总线CRBj，并将新的像素值加载到双存储单元DMU的相应的存储单元CMEM2；

5)通过信号CS1、CS2、……、CSm依次读取存储器CMEM1、CMEM2的内容，信号CS1、CS2、……、CSm分别将存储在单元CMEM1、CMEM2中的每一列的像素值依次连接到读取总线BS1、BS2；

6)总线BS1、BS2将存在的存储器CMEM1、CMEM2的内容在比较器-编码器单元CE中依次比较，并且对应的输出(NEG、POS)被二进制编码，如下面将要解释的。

对像素矩阵的所有行重复上述过程。

由上可知，在给定时间，双存储单元中给定对的存储单元CMEM1、CMEM2包含当前选择的第i行和由在单元DMU中的所述给定对的位置定义的第j列中包含的像素P的两个顺序像素值。

比较器-编码器单元CE被配置为根据以下规则产生逐个像素的输出：

-如果给定像素的CMEM1和CMEM2中包含的像素值之间没有变化，则单元CE输出NULL值，其中POS和NEG输出均无效(例如二进制零的低状态)，

-如果有变化，则单元CE在像素值增加(亮度增加)的情况下激活其POS(正)输出，或在像素值减小(亮度降低)的情况下激活其NEG(负)输出，活动状态是例如高电平状态或二进制1。

因此，单元CE为矩阵M的所有像素P生成的输出构成比较矩阵，该比较矩阵反映图像传感器的两个顺序读数之间在像素级的比较结果。

B)实际实施例

图像传感器的每个像素P可以包括对曝光具有单调响应的光电检测器PD。可以理解，响应的线性或均匀性不是必需的，但优选高动态范围，以允许传感器检测黑暗环境和明亮环境中的亮度变化，从而尽可能避免强光条件下的饱和(具有中和像素值变化的效果)。

尽管高动态范围的线性光电检测器也可能是适用的，但具有对数响应的光电检测器是传感器的最优选择。

图2(A)至图2(D)图示了对数光电检测器的各种可能结构，每种结构都基于光电二极管D1。这些结构本身是专业技术人员所了解的。

像素存储单元MEM可以由选择性地能够连接到光电检测器的电容器组成，该电容器的电压将代表在曝光时间内由光电检测器接收到的光子数量。

存储单元MEM的电容器例如可以是MOS电容器或MIM(金属-绝缘体-金属)电容器。当需要良好的紧凑性时，MOS电容器将是优选的。

图3(A)至图3(C)示出了可以用于本发明的不同像素实施例。

上述实施例分别使用如图2(A)、图2(B)和图2(D)所示的光电检测结构。

本领域技术人员将理解图3(A)和图3(B)的实施例更紧凑，而图3(C)的实施例需要更多部件并因此需要更多衬底空间，虽然其不太紧凑但由于反馈放大器降低了光电二极管D1内部电容的不利影响，因此可以以更高速率操作。

在图3(A)至图3(C)的每个实施例中，开关单元T2/T3由选择信号SEL驱动。这种方法对于变化检测的准确性很重要。实际上，如果开关单元T2/T3由诸如在常规CMOS像素结构中的恒定电压控制，则信号晶体管T2的源极将在像素处于非选择状态时是浮动的。这会在将光电二极管电压VLOG写入存储器MEM时引发错误。

在选择信号SEL驱动跟随器T2/T3的情况下，当像素被选择时，晶体管T2处于电阻状态，使得栅极电容稳定。

竖直扫描和水平扫描由移位寄存器或地址解码器以本身已知的方式执行。

适当编程的定序器生成控制信号以施加到电路。如上所述，图4提供了图1电路的控制信号的示例性时序图。

CMEM1和CMEM2存储器由CMOS电容或MIM构成，就像常规的CMOS工艺一样。

如已经解释的，比较矩阵的每个像素的输出NUL/POS/NEG是通过比较由总线BS1、BS2所传输到比较器-编码器单元CE的CMEM1、CMEM2的值产生的。

可以理解，基本比较器将允许检测正方向或负方向的变化，从而生成POS信号和NEG信号。然而，这种基本比较器通常不能生成与像素值稳定的情况相对应的NUL信号，实际上比较器总是会在这种情况下以或多或少随机的方式从POS值切换到NEG值，从而在比较矩阵中生成明显的噪声。

为了解决这个潜在问题，根据本发明的优选比较器-编码器单元CE被设计成具有固定或可编程的死区工作区(DWZ)。

图5图示了这种比较器的示例性实施例。总线上存在的差分信号被施加到由晶体管TC1、TC2、TC3、TC4组成的差分对上。

生成的差分电流由晶体管TC9、TC10缓冲，以便与差分对TC7、TC8从偏置电流Ib生成的电流进行比较。

由差分对TC7、TC8生成的电流值由***在Vcc和晶体管TC7、TC8中的每一个的漏极之间的电阻器R的值确定。如此获得的电流的减小在输入端处存在的信号(总线BS1、BS2上的信号)之间的比较中生成了死区。换句话说，只要BS1、BS2上的输入信号之差低于阈值，输出POS和NEG都保持在低电平状态。

当该差超过定义死区的正或负阈值时，则对应的输出POS或NEG切换到高电平状态。

因此，通过合适的R值选择，只有高于给定的阈值d的亮度变化生成POS或NEG输出，从而避免在像素不变的情况下，产生不稳定的POS/NEG输出。

电阻R可以使用片外电阻或用诸如I2C标准接口可编程的片上电阻。另外，电阻R也可以是固定值的。

图6图示了具有上述死区的比较器-编码器电路CE的响应。

斜实线表示输入的可能值(BS2和BS1之间的差)。虚线表示比较器的响应，其中当BS2和BS1上的电压值之差超过正阈值+TV时，输出从NUL切换到POS，并且只有当BS2和BS1上的电压值之(负)差超过负阈值-TV时，输出从NUL切换到NEG。死区DWZ的宽度由+TV和-TV的值确定，它们本身电阻器R确定。

如上所述的本实施例所涉及的技术完全是模拟的，因此致使传感器具有非常低的功耗，对于标准视频帧速率(25/30Hz)，通常低于1mW。

在另类实施例中，读取级和比较级可以由数字电路***来实现用于每一列的适当模数转换器和用于生成比较矩阵的数字计算电路实现。

根据后续处理的性质，每个像素的电路输出可以是如图所示的双输出POS-NEG，或从这些输出中获得的两位字，例如以下编码：

00：无亮度变化(在死区内)

01：亮度增加

10：亮度降低

11：N/A

应当理解，由于根据本发明的传感器生成轻量级比较矩阵，因此无论任何应用(通常监控图像变化)，这种矩阵的后续处理都可以通过简单、低成本和低功耗的电路***进行。

本领域技术人员将理解，可以对以上描述进行多种变形和改变。

例如，可以通过不同于常规行和列扫描的扫描方案来构建比较矩阵。

另外，比较矩阵可以从矩阵传感器的一部分像素构建，例如每N个像素中有(N>1)1个像素，其中N在水平和竖直方向上可能不同，这样功耗和下游计算需求进一步降低。

另外，可以将像素矩阵中子矩阵的像素值累积在子矩阵级存储单元中，从而为每个子矩阵生成平均读数，并从那里产生子矩阵级的NUL、POS或NEG输出。

根据另一种变型，根据本发明的图像传感器可以在混合模式下操作，其中：

-使用比较矩阵实现低功耗的图像变化检测过程，以及

-一旦从比较矩阵的内容中检测到所捕获场景的某种程度的变化，就会生成并记录高分辨率和高质量的图像。

这可以通过生成混合图像来实现，该混合图像将标称(最高)分辨率的主图像与具有相同分辨率或更低分辨率的比较矩阵的像素组合。

在较低分辨率的情况下，与主图像的像素的相应子矩阵相关联的比较矩阵的像素值可以在分配给相应子矩阵的像素之前被内插。

Claims

1.一种CMOS图像传感器，其包括像素矩阵和像素控制电路(VS)，每个像素具有包括光电检测器(PD)和存储单元(MEM)的像素结构，所述像素控制电路能够顺序写入代表曝光之后的光电检测值到所述像素的存储单元(MEM)，所述图像传感器进一步包括比较电路(DMU、RB、CE)，所述比较电路用于存储至少部分所述像素的顺序光电检测值、用于比较所述顺序光电检测值、用于根据所述像素的顺序光电检测值生成比较信号(NUL、POS、NEG)，并且用于生成从所述比较信号反映图像变化的比较矩阵。

2.根据权利要求1所述的图像传感器，其中，所述比较电路包括双存储单元(DMU)和存储单元对相对应的读取总线(CRBj)，所述双存储单元(DMU)包括一组存储单元对(CMEM1、CMEM2)，所述读取总线可选择性地将相关的像素组(Li)的两次顺序曝光的光电检测值写入每个存储单元对中。

3.根据权利要求2所述的图像传感器，其中，所述比较电路包括双总线单元(RB)，所述双总线单元用于选择性地将给定对的两个存储单元(CMEM1、CMEM2)连接到能够生成所述比较信号的比较器(CE)的一对输入端。

4.根据权利要求2或3所述的图像传感器，其中，所述读取总线(CRBj)和存储单元对(CMEM1、CMEM2)分别与所述像素矩阵(M)的列或行相关联。

5.根据权利要求4所述的图像传感器，包括第一扫描单元(HS)，所述第一扫描单元用于将所述双存储单元的所述像素存储单元对顺序连接到所述比较器。

6.根据权利要求5所述的图像传感器，包括第二扫描单元(VS)，所述第二扫描单元用于将给定像素组(Li)的像素存储单元(MEM)顺序连接到所述读取总线(CRBj)。

7.根据权利要求1至6中的任一项所述的图像传感器，其中，所述顺序光电检测值之间的关系是具有死区的比较函数。

8.根据权利要求7所述的图像传感器，其中，所述具有死区的比较函数是通过具有偏置调整的CMOS差分对来执行的。

9.根据权利要求1至8中的任一项所述的图像传感器，其中，所述比较电路能够针对所述像素矩阵中仅一部分像素生成比较信号(NUL、POS、NEG)，每个比较信号与相应的像素组相关联。

10.根据权利要求1至8中的任一项所述的图像传感器，其中，所述比较电路能够对所述像素矩阵中仅一部分像素生成比较信号(NUL、POS、NEG)，并且进一步包括对比较信号进行内插并且用于将所内插的比较信号关联到各个像素的内插电路。

11.根据权利要求1至10中的任一项所述的图像传感器，进一步包括组合电路，所述组合电路能够组合由所述矩阵的所述像素生成的像素值并形成主像素图像和相应像素或像素组的比较矩阵中相应像素的比较信号。

12.根据权利要求11所述的图像传感器，进一步包括用于从所述比较矩阵确定图像变化水平的检测电路，以及仅当所述图像变化水平高于阈值时用于存储至少一个主图像的存储电路。