CN101431597B - 读取二维像素矩阵的方法及实施这种方法的设备 - Google Patents

读取二维像素矩阵的方法及实施这种方法的设备 Download PDF

Info

Publication number
CN101431597B
CN101431597B CN200810171783.4A CN200810171783A CN101431597B CN 101431597 B CN101431597 B CN 101431597B CN 200810171783 A CN200810171783 A CN 200810171783A CN 101431597 B CN101431597 B CN 101431597B
Authority
CN
China
Prior art keywords
pixel
grand
grand pixel
high resolution
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN200810171783.4A
Other languages
English (en)
Other versions
CN101431597A (zh
Inventor
阿诺·韦尔当
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Commissariat a lEnergie Atomique et aux Energies Alternatives CEA
US Atomic Energy Commission (AEC)
Original Assignee
US Atomic Energy Commission (AEC)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by US Atomic Energy Commission (AEC) filed Critical US Atomic Energy Commission (AEC)
Publication of CN101431597A publication Critical patent/CN101431597A/zh
Application granted granted Critical
Publication of CN101431597B publication Critical patent/CN101431597B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

本发明涉及读取二维像素矩阵的方法及实施这种方法的设备。所述方法包括：确定矩阵的哪些宏像素以高分辨率模式读取和矩阵的哪些宏像素仅以低分辨率模式读取；对于从仅低分辨率模式切换至高分辨率模式的每一个宏像素，存储以高分辨率模式读取的宏像素的单独像素值，由此形成宏像素的基准宏像素；通过评估以高分辨率模式读取的宏像素的每个单独像素值与基准宏像素的对应的单独像素值之间的差来校正以高分辨率模式读取的宏像素的每个单独像素值；以及存储和/或显示以高分辨率模式读取的宏像素的校正的像素值。

Description

读取二维像素矩阵的方法及实施这种方法的设备
技术领域
本发明总体上涉及次分辨率模式(subresolution mode)下的图像传感器读出领域，其中特别涉及对来自所述传感器的图像流中的目标进行检测和跟踪的情形。
更具体而言，本发明涉及用于读取图像传感器的二维像素矩阵的方法和设备，其中，像素矩阵以构成宏像素的像素块来组织，每一个宏像素可以在高分辨率模式和/或低分辨率模式下读取。
现有技术
在感测应用期间，或者对于用数字相机跟踪移动对象来说，通常使用一种被称之为“次分辨率”模式的模式来读取传感器。
在本发明的上下文中，移动意指图像的一部分的亮度的快速大幅变化，而所述变化主要是由真实世界的实际移动的对象，或者由像例如闪光灯的光源的亮度变化引起的。
这种类型的“次分辨率”读出在于，将相机光敏元件或像素的二维矩阵细分成块(称作“宏像素”)，并且在于读取包括移动对象的预定矩阵区域的宏像素的所有像素(称作高分辨率读出模式)。而其它宏像素则以低分辨率模式读取，该低分辨率模式在于例如只读取每个宏像素的一个像素。
这样，对所关心的宏像素进行高分辨率读出，而对其它宏像素进行低分辨率读出的这种组合读出模式，就具有充分减少待处理数据的量的效果。从而降低了功耗，并减少了对计算资源的需求。
这样一种读出模式在例如文件US-A-2004/0095492中有述。在该文件中，对目标对象使用高分辨率。例如，检测模式被用来在图像中找到光斑，以及确定以高分辨率或低分辨率来读取其单元。然后，通过基于以高分辨率模式所读取的像素来分析移动，确定对高分辨率区域的更新。
对移动对象的检测或跟踪在使用具有热辐射测量传感器的数字相机来进行红外观察的领域具有具体的应用。实际上，使用这种能感测红外线的相机，允许全天候监视诸如例如停车场一类的区域而不受时段的影响，这一点与要求现场有充足照明的可视检测器不同。
热辐射测量传感器是以矩阵形式设置的器件，并且能够在环境温度工作，从而不需要冷却到很低的温度。
在常规情况下，这些非冷却式传感器利用了适当材料的物理量随300K附近的温度的变化。在热辐射测量传感器的情况下，这个物理量是电阻率。
在常规情况下，用于红外成像的传感器以基本传感器或热辐射测量计的矩阵的形式制成，所述矩阵通过支撑臂悬置在通常由硅制成的基板上方。
用于对基本传感器和电激励装置进行按序寻址以及用于处理这些基本传感器所生成的电信号的装置通常设置在基板上。这个基板和这些集成装置通常称作“读出电路”。
观测发现，热辐射测量计的响应实际上显示出分散性(dispersion)，该分散性还随时间增强或变化。
这样，热辐射测量传感器所生成的均匀场景的图像通常并不是均匀的图像。这种情况被称作“偏移”分散性。同样，在热辐射测量计的增益中观测到了分散性，因为均匀变化的均匀场景的热辐射测量传感器图像是不均匀的。
这种分散性有多种原因，但可以特别提到的是如例如在对强辐射源(太阳、泛光灯等)的观测期间，传感器受到的高通量的照射，这种照射引起持久余辉现象，而这种现象对传感器所传送的热图像的品质是有害的。
还值得提到的是：在给定的一批成像热辐射测量计当中，它们的电阻存在着固有的分散性，取决于制造时所采用的方法和材料，该分散性或多或少是明显的。因此，从传感器的最初使用开始，它的检测特性就存在空间上的分散性。
实际上，成像热辐射测量计的电阻与基准电阻的1％的偏差使得通过该成像热辐射测量计所估计的场景温度产生大约10％到20％的误差。
此外，有用信号的值通常只占热辐射测量传感器的总动态范围的大约10％，因此容易理解，热辐射传感器的检测特性的分散性严重影响到检测质量。
一般说来，未校正的热辐射测量传感器的图像难以以视觉方式使用。
发明内容
本发明的目的是解决上述问题，提出一种用于对检测器矩阵进行次分辨率读出的方法，该方法基本上消除了所述传感器的检测特性的分散性的影响，从而使得能够容易地使用由这些传感器生成的图像，或者甚至以可视的方式使用这些图像。
为此，本发明涉及用于读取图像传感器的二维像素矩阵的方法，所述矩阵以形成宏像素的像素块来组织，每一个宏像素可以在高分辨率模式和/或低分辨率模式下以相互独立的方式读取。
根据本发明，本方法包括如下步骤：
在为宏像素选择高分辨率读出模式期间，读取并存储宏像素的像素的值，以便限定基准宏像素；
在随后对所述宏像素的高分辨率读出循环期间，形成宏像素的像素的读取值与所述基准宏像素的对应像素的值之间的差值。
在本发明的上下文中，像素意指构成检测矩阵的基本检测部件，例如，在热辐射测量传感器的情况下的热辐射测量计或者在可视传感器的情况下的光电二极管。
换言之，以高分辨率所获得的宏像素由在高分辨率读出模式激活时所获得的这些像素的值来校正。
如果我们考虑此时这个宏像素的像素的值P0的话，这个值是由有用信号p0和被看作噪声的无用值D0组成的。换言之，以表达式表示为：P0＝p0+D0。
在随后的读取循环期间，例如在时间n，这个像素的校正值
Figure GSB00000886603800031
则等于 P n c = P n - P 0 = ( p 0 + n + D 0 + n ) - ( p 0 + D 0 ) , 其中pn和Dn分别是时间n的有用信号和噪声。
噪声D的时间常数在本质上是像素响应的分散性的时间常数，其在热辐射测量传感器的情况下本质上是环境温度，所以说对于所观测的大多数场景(例如有行人或移动着的汽车的停车场)，噪声D的变化在对宏像素的高分辨率读出期间基本上可以忽略。因此说噪声在时间n的值Dn通常基本上等于高分辨率读出激活时的值D0。因此，校正的像素值基本上等于 P n c = p 0 + n - p 0 .
这样，以高分辨率所读取的宏像素的校正值基本上独立于形成这个宏像素的像素的检测特性的分散性。
根据本发明的一个具体实施例，以模拟的形式来实现对基准宏像素的存储以及所述差值的形成。所述方法优选地包括对宏像素的读取值进行模数转换的步骤，该步骤在形成所述差值的步骤之后执行。
换言之，所述校正是在对宏像素的值进行任何模数转换之前以模拟的方式完成的。这特别使得能够进行快速校正以及例如对适用于所述差值的模数转换的动态范围施加模数转换，从而对比适用于像素的未校正值的动态范围小的动态范围施加模数转换。这样能够节约能量。
根据本发明的一个优选实施例，当在宏像素中检测到移动，或者在邻近的宏像素中检测到移动时，选择对宏像素的高分辨率读出模式。
由于对其中检测到移动的宏像素的邻近宏像素进行高分辨率读出模式，从而避免了“叠影”对象和图像运动现象。
本发明还涉及用于读取图像传感器的二维像素矩阵的设备，所述矩阵以形成宏像素的像素块来组织，所述设备包括用于以高分辨率模式和/或以低分辨率模式来读取每一个宏像素的装置。
根据本发明，本设备包括：
用于当为宏像素选择了高分辨率读出模式时，存储所述宏像素的像素的值，以便限定基准宏像素的装置；以及
用于形成所述宏像素的像素的读取值与所述基准宏像素的对应像素的值之间的差值的装置。
这个设备适用于实施上述方法。
根据具体的实施例，用于存储和形成所述差值的装置以模拟的形式制成。所述设备优选地包括用于对所形成的差值进行模数转换的装置。
根据本发明的一个方面，提供了一种用于使用图像传感器的二维像素矩阵对移动对象进行检测和跟踪的方法，所述矩阵被组织为形成宏像素的像素块，所述传感器包括适用于以高分辨率模式和低分辨率模式来读取每一个宏像素的读取电路，其中，在所述低分辨率模式下针对宏像素的所有像素生成单个唯一值，并且在所述高分辨率模式下针对宏像素中的每个像素生成单独的值，其中，所述方法包括如下步骤：通过以下来确定所述矩阵的哪些宏像素以所述高分辨率模式读取和所述矩阵的哪些宏像素仅以所述低分辨率模式读取：以所述低分辨率模式读取所述矩阵的所有宏像素，基于以所述低分辨率模式读取的所述宏像素的值检测所述矩阵的其中发生移动的宏像素，对于其中发生移动的所述宏像素激活或保持所述高分辨率模式，对于其中没有发生移动且位于发生移动的所述宏像素的邻域中的宏像素激活所述高分辨率模式，对于所述矩阵的其他宏像素仅激活或保持所述低分辨率模式，以高分辨率模式读取激活到高分辨率模式的所述宏像素；对于从仅所述低分辨率模式切换至所述高分辨率模式的每一个宏像素，存储以高分辨率模式读取的宏像素的各单独像素值，由此形成所述宏像素的基准宏像素；通过评估以所述高分辨率模式读取的宏像素的每个单独像素值与所述基准宏像素的对应的单独像素值之间的差来校正以所述高分辨率模式读取的宏像素的每个单独像素值；以及存储和/或显示以所述高分辨率模式读取的宏像素的校正的像素值。
根据本发明的另一个方面，提供了一种用于使用图像传感器的二维像素矩阵对移动对象进行检测和跟踪的设备，所述矩阵被组织为形成宏像素的像素块，所述传感器包括适用于以高分辨率模式和以低分辨率模式来读取每一个宏像素的装置，其中，在所述低分辨率模式下针对宏像素的所有像素生成单个单一值，并且在所述高分辨率模式下针对宏像素中的每个像素生成单独的值，其中，所述设备包括：用于通过如下来确定所述矩阵的哪些宏像素以所述高分辨率模式读取和所述矩阵的哪些宏像素仅以所述低分辨率模式读取的装置：基于以所述低分辨率模式读取的所述宏像素的值检测所述矩阵的其中发生移动的宏像素，对于其中发生移动的所述宏像素激活或保持所述高分辨率模式，对于其中没有发生移动且位于发生移动的所述宏像素的邻域中的宏像素激活所述高分辨率模式，对于所述矩阵的其他宏像素仅激活或保持所述低分辨率模式；用于校正以所述高分辨率模式读取的每个宏像素的每个单独像素值的装置，包括：用于在从仅所述低分辨率模式切换至所述高分辨率模式以读取宏像素时、存储以高分辨率模式读取的所述宏像素的各单独像素值、由此形成所述宏像素的基准宏像素的装置，用于评估以所述高分辨率模式读取的所述单独像素值与所述基准宏像素的对应值之间的差的装置；以及用于存储和/或显示以所述高分辨率模式读取的宏像素的校正的像素值的装置。
附图说明
通过对以下描述的阅读可以更好地理解本发明，所述描述是专门为举例并且结合附图而提供的，在附图中：
图1是根据本发明的目标跟踪***的示意图；
图2是本发明的方法的流程图；以及，
图3和图4是根据本发明的方法的校正前和校正后的图像的实例。
具体实施方式
图1总体上示出了***10，该***用于跟踪和检测由热辐射测量计或者像素12的二维矩阵所传送的图像流中的移动对象。
像素12的矩阵包括n行m列像素14，并且被细分成N行M列相同的像素块16或者宏像素，其中n、m、N和M是预定的正整数。例如，每一个宏像素具有的尺度是3像素乘3像素或者是5像素乘5像素。
在以下的讨论中，将考虑例如9像素乘9像素的矩阵，而其宏像素是3像素乘3像素的。
***10包括寻址电路18，用于按照一个宏像素行接一个宏像素行的方式对矩阵12进行寻址。
***10还包括读取电路20，该电路适用于以高分辨率模式或低分辨率模式来读取电路18所寻址的宏像素行中的每一个宏像素。更具体而言，对于读取电路20，对宏像素的低分辨率模式读出在于读取该宏像素的像素的空间平均值。
为此，***10可包括分组电路(binning circuit)22，其受控于寻址电路18，并且在宏像素被以低分辨率模式读取之前对该宏像素的像素的原始值执行空间平均。例如，分组电路22遵循文件US-A2004/0095492中的教导。分组电路尤其适用于包括光电二极管的传感器，如用于检测可见光的光电二极管。
对于包括热辐射测量计的传感器，可以利用适用于读取通过多个热辐射测量计的电流的平均值的电路22，如Coulombe J所写的文章中所描述的电路，该文章题为“Variable resolution CMOS current mode active pixelsensor”，见Circuits and Systems，Proceedings.ISCAS 2000 Geneva，IEEE，Volume 2，28-31 May 2000，第293-296页，vol.2。
读取电路20也连接到寻址电路18，以便使这两个电路所进行的对宏像素行的寻址和读出实现同步。
分析和定时电路24也连接到寻址电路18和读出电路20。这个电路24通过将待读取的宏像素行的地址传送到电路18来控制寻址的时序。
电路24还针对每一个宏像素分析对该宏像素的低分辨率读出的结果，并由此控制寻址电路18和读出电路20，以便对所述宏像素进行低分辨率或高分辨率读出。
更具体而言，当宏像素的两个连续读出之间的空间平均值的变化大于或等于预定阈值时，分析和定时电路24激活对该宏像素的高分辨率读出，例如，所述阈值是等于像素的总动态范围的2％的阈值，或者通过自适应阈值确定技术计算得到的阈值。
同样，当所述同一个变化小于所述阈值时，分析和定时电路24根据需要来去激活(deactivate)对所述宏像素的高分辨率读出。
如上所述，当由于宏像素的空间平均值的变化大于所述阈值而激活了对这些宏像素的高分辨率模式读出时，分析和定时电路24还控制寻址电路18和读出电路20来激活对这些宏像素附近的宏像素的高分辨率模式读出。例如，对这些宏像素中的每一个宏像素来说，以高分辨率模式读取3乘3宏像素或5乘5宏像素的邻域。
***10还包括存储电路26，该电路连接到读出电路20并受控于分析电路24。在对宏像素的高分辨率读出激活期间，分析和定时电路24对存储电路26进行控制，以便使存储电路26存储在所述激活之后第一次由读出电路20所读取的宏像素的像素的值。
从而在以高分辨率模式对宏像素的最新激活期间，存储电路26对这些宏像素中的每一个宏像素的值进行存储，由此形成随后用来校正高分辨率读出的基准宏像素矩阵。
***10还包括模拟减法电路28，该电路连接到读出电路20并且连接到存储电路26。针对以高分辨率读取的每一个宏像素，减法电路28形成由读出电路20所读取的该宏像素的像素的值与存储在电路26中的对应值之间的差值。
针对以高分辨率模式读取的每一个宏像素，得到该宏像素的这样一个值：该值等于该宏像素的未校正值，即由读出电路20所读取的值，与存储在电路28中的该宏像素的基准值之间的差值。
电路26优选地由电容器阵列形成，例如，该阵列所具有的尺度等于矩阵12的尺度，而减法电路28优选地以模拟的形式制成。这样，以高分辨率模式读取的宏像素就完全是以模拟模式校正的。
***10还包括模数转换器30，其连接到减法电路28的输出，并且将由此形成的差值数字化，以便用于后续的例如图像处理的需要。
还可以提供***设备32(屏幕、存储器等)，用于对数字化的差值进行显示和/或存储。
图2示出了由上述***所实施的方法的流程图。这个流程图涉及对特定宏像素的读出，对其它宏像素的读出与之相同。
本发明的方法的第一个步骤是对宏像素的低分辨率读出的步骤50。
这个步骤50包括子步骤52，在子步骤52，以低分辨率模式读取所述宏像素，即，计算所述宏像素的像素的值的空间平均值，随后读出该宏像素的像素的值。
随后，在子步骤54执行检验，以便确定是否满足以高分辨率模式来读取这个宏像素的条件。特别地，如果刚刚读取的所述宏像素的低分辨率值与先前所存储的低分辨率值之差的绝对值大于所述阈值(在此情况下在所述宏像素中检测到移动)，则满足这个条件。如果所述宏像素属于其中已经检测到移动的宏像素的邻域，也满足这个条件。
否则，子步骤54就再循环到子步骤52，以便继续详细检查满足高分辨率读出模式激活条件的情况的出现。
如果在子步骤54所执行的检验结果是肯定的，则低分辨率步骤50前进到校正初始化步骤56。
这个初始化步骤56包括对所述宏像素进行高分辨率读出的子步骤，即读出该宏像素的全部像素，随后是对所读取的像素值进行存储的子步骤60，由此形成基准宏像素。
一旦完成了初始化步骤56，则启动一个这样的步骤，即以高分辨率模式读出所述宏像素并且对所述宏像素的噪声进行校正的步骤62。
这个步骤62包括以高分辨率模式读出所述宏像素的子步骤64。然后，子步骤64之后是子步骤66，在该子步骤66，形成刚刚读取的像素值与在60所存储的基准宏像素的对应像素的值之间的差值。
然后，带有校正的高分辨率模式读出步骤62前进到将由此所形成的差值转换成数字宏像素的子步骤68。
与此同时，在对所述宏像素的高分辨率读出模式的子步骤64之后，启动验证满足高分辨率读出模式激活条件的步骤70。
这个步骤70包括与子步骤62相同的以低分辨率模式读出所述宏像素的子步骤，以及检验是否仍然满足高分辨率读出条件的子步骤74，子步骤74与子步骤54是相同的。
如果在74所执行的检验的结果是肯定的，则子步骤74循环到步骤62，以便进行新的带有校正的高分辨率模式读出。
否则，子步骤74前进到子步骤76，在该子步骤76，执行检验来确定是否必须以低分辨率模式来读取所述宏像素。更具体而言，在76执行所述检验来确定所述宏像素的至少一个邻近宏像素是否处于在其中检测到移动之后的高分辨率读出的过程中。
如果是，则通过将子步骤76循环到步骤62来继续进行对所述宏像素的高分辨率模式读出。
否则，即在所述宏像素的邻域中没有检测到移动，则通过将子步骤76循环到步骤50来激活其低分辨率模式读出。
图3是一个场景的图像，该图像由传感器生成而未作任何校正。从中可以看到，这个图像是不可用的，至少不能以视觉的方式来使用。图4是应用了本发明的方法之后生成的同一个场景的图像，图像中的黑块对应于其中未检测到移动的宏像素。
如可以观察到的，根据本发明以带有校正的高分辨率模式自动读取了其中检测到移动的宏像素的邻域内的宏像素。
如果没有这样一种功能，作为基准而记录的宏像素包括移动目标的图像，该图像是随后从后续读取的原始图像中提取的图像。由此在连续校正的图像中出现“叠影”对象或者图像运动现象。
对紧邻其中检测到移动的宏像素的宏像素(例如3×3宏像素或者5×5宏像素的邻域)的高分辨率读出的激活，对于这个邻近的宏像素而言，具有存储不包括移动对象的基准宏像素的效果。这样，所存储的基准宏像素只对应于所述场景的背景。一旦所述目标进入该邻近的宏像素，则针对它所得到的校正图像因此基本上只对应于移动目标的图像。这样就不存在叠影对象或图像运动了。一步接一步地，由于总是将高分辨率窗口重新对准检测到的对象，并且由于对象移动的上游的宏像素转为高分辨率(由于“照亮，，邻近宏像素的原理)，所获得的基准不会使得在宏像素中出现所述对象，因此防止了叠影对象的产生。
在这里，目标自身的移动保证了对基准宏像素的更新。这个移动隐含了对高分辨率模式读出的足够均匀的激活，所以所存储的基准宏像素包括在实际高分辨率读出时的噪声。
作为一种替换，例如考虑到传感器的检测特性的分散性的很快的变化，还提供了以周期性的方式对基准宏像素进行更新。例如，当所观测的场景自身正在经历很快的温度变化(例如，比例如场景的背景的温度高很多的对象的突然进入)时，或者当传感器的制造技术隐含了分散性的这样一种快速变化时，就是以周期性的方式对基准宏像素进行更新。
以上描述了这样一个实施例，在该实施例中，基准宏像素以模拟的形式存储在例如由电容器阵列形成的电路中，并且，利用模数转换器来存储刚刚读取的宏像素与基准宏像素之间的模拟形式差值。
作为一种替换，将基准宏像素数字化并存储在数字存储器中。同样，将刚刚读取的宏像素数字化，并以数字的形式来计算刚刚读取的宏像素与基准宏像素之间的差值。这特别用来避免以模拟的形式来执行所述存储时通常所观测到的基准宏像素值的时间漂移(例如在用于模拟存储的电容器阵列中出现的泄漏)。当对象停滞在所观测的场景的一部分中的时候(在此情况下对基准宏像素的更新频率不高)，以数字的形式来存储基准宏像素是特别有用的。
尽管以上描述了通过使用热辐射测量传感器来将本发明应用于红外检测，本发明适用于所有类型的以次分辨率模式进行读取并显示出检测特性的分散性的传感器。
因此，本发明适用于例如利用光敏半导体传感器(光电二极管矩阵或光电晶体管矩阵)的可视范围内的检测。

Claims (7)

1.一种用于使用图像传感器的二维像素矩阵对移动对象进行检测和跟踪的方法，所述矩阵被组织为形成宏像素的像素块，所述传感器包括适用于以高分辨率模式和低分辨率模式来读取每一个宏像素的读取电路，其中，在所述低分辨率模式下针对宏像素的所有像素生成单个唯一值，并且在所述高分辨率模式下针对宏像素中的每个像素生成单独的值，其中，所述方法包括如下步骤：
通过以下来确定所述矩阵的哪些宏像素以所述高分辨率模式读取和所述矩阵的哪些宏像素仅以所述低分辨率模式读取：
以所述低分辨率模式读取所述矩阵的所有宏像素；
基于以所述低分辨率模式读取的所述宏像素的值检测所述矩阵的其中发生移动的宏像素；
对于其中发生移动的所述宏像素激活或保持所述高分辨率模式；
对于其中没有发生移动且位于发生移动的所述宏像素的邻域中的宏像素激活所述高分辨率模式；
对于所述矩阵的其他宏像素仅激活或保持所述低分辨率模式；
以高分辨率模式读取激活到高分辨率模式的所述宏像素；
对于从仅所述低分辨率模式切换至所述高分辨率模式的每一个宏像素，存储以高分辨率模式读取的宏像素的各单独像素值，由此形成所述宏像素的基准宏像素；
通过评估以所述高分辨率模式读取的宏像素的每个单独像素值与所述基准宏像素的对应的单独像素值之间的差来校正以所述高分辨率模式读取的宏像素的每个单独像素值；以及
存储和/或显示以所述高分辨率模式读取的宏像素的校正的像素值。
2.如权利要求1中所述的用于使用图像传感器的二维像素矩阵对移动对象进行检测和跟踪的方法，其中，当在以低分辨率模式对给定宏像素的两次连续读出中所记录的值显示出大于预定阈值的变化时，在该宏像素中检测到移动。
3.一种用于使用图像传感器的二维像素矩阵对移动对象进行检测和跟踪的设备，所述矩阵被组织为形成宏像素的像素块，所述传感器包括适用于以高分辨率模式和以低分辨率模式来读取每一个宏像素的装置，其中，在所述低分辨率模式下针对宏像素的所有像素生成单个单一值，并且在所述高分辨率模式下针对宏像素中的每个像素生成单独的值，其中，所述设备包括：
用于通过如下来确定所述矩阵的哪些宏像素以所述高分辨率模式读取和所述矩阵的哪些宏像素仅以所述低分辨率模式读取的装置：
基于以所述低分辨率模式读取的所述宏像素的值检测所述矩阵的其中发生移动的宏像素；
对于其中发生移动的所述宏像素激活或保持所述高分辨率模式；
对于其中没有发生移动且位于发生移动的所述宏像素的邻域中的宏像素激活所述高分辨率模式；
对于所述矩阵的其他宏像素仅激活或保持所述低分辨率模式；
用于校正以所述高分辨率模式读取的每个宏像素的每个单独像素值的装置，包括：
用于在从仅所述低分辨率模式切换至所述高分辨率模式以读取宏像素时，存储以高分辨率模式读取的所述宏像素的各单独像素值，由此形成所述宏像素的基准宏像素的装置；
用于评估以所述高分辨率模式读取的所述单独像素值与所述基准宏像素的对应值之间的差的装置；以及
用于存储和/或显示以所述高分辨率模式读取的宏像素的校正的像素值的装置。
4.如权利要求3所述的用于使用图像传感器的二维像素矩阵对移动对象进行检测和跟踪的设备，其中，用于评估以所述高分辨率模式读取的所述单独像素值与所述基准宏像素的对应值之间的差的装置以模拟的形式制成。
5.如权利要求4所述的用于使用图像传感器的二维像素矩阵对移动对象进行检测和跟踪的设备，其中，所述设备包括用于对所述差进行模数转换的装置。
6.如权利要求3所述的用于使用图像传感器的二维像素矩阵对移动对象进行检测和跟踪的设备，其中，所述设备包括用于对针对像素或者宏像素所读取的值进行模数转换的装置。
7.如权利要求6所述的用于使用图像传感器的二维像素矩阵对移动对象进行检测和跟踪的设备，其中，用于存储以所述高分辨率模式读取的所述宏像素的单独像素值的所述装置是数字存储器，并且，用于评估以所述高分辨率模式读取的所述单独像素值与所述基准宏像素的对应值之间的差的装置包括数字电路。
CN200810171783.4A 2007-11-05 2008-10-23 读取二维像素矩阵的方法及实施这种方法的设备 Expired - Fee Related CN101431597B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
FR0758792 2007-11-05
FR0758792A FR2923339B1 (fr) 2007-11-05 2007-11-05 Procede de lecture d'une matrice bidimensielle de pixels et dispositif pour la mise en oeuvre d'un tel procede

Publications (2)

Publication Number Publication Date
CN101431597A CN101431597A (zh) 2009-05-13
CN101431597B true CN101431597B (zh) 2013-06-26

Family

ID=39466084

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200810171783.4A Expired - Fee Related CN101431597B (zh) 2007-11-05 2008-10-23 读取二维像素矩阵的方法及实施这种方法的设备

Country Status (5)

Country Link
US (1) US8284281B2 (zh)
EP (1) EP2056590B1 (zh)
JP (1) JP5264407B2 (zh)
CN (1) CN101431597B (zh)
FR (1) FR2923339B1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9451183B2 (en) 2009-03-02 2016-09-20 Flir Systems, Inc. Time spaced infrared image enhancement
US10244190B2 (en) 2009-03-02 2019-03-26 Flir Systems, Inc. Compact multi-spectrum imaging with fusion
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
US10091439B2 (en) 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
KR101686079B1 (ko) * 2010-12-27 2016-12-13 삼성전자주식회사 깊이 영상 생성 장치 및 방법
US9143703B2 (en) 2011-06-10 2015-09-22 Flir Systems, Inc. Infrared camera calibration techniques
CA2838992C (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
US10051210B2 (en) 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
CN109618084B (zh) 2011-06-10 2021-03-05 菲力尔***公司 红外成像***和方法
WO2014105897A1 (en) * 2012-12-26 2014-07-03 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
JP5772272B2 (ja) * 2011-06-16 2015-09-02 富士通株式会社 情報処理装置、及び情報処理方法
JP6594493B2 (ja) * 2013-05-10 2019-10-23 キヤノン株式会社 固体撮像装置およびカメラ
EP2838268B1 (en) 2013-07-31 2019-02-20 Axis AB Method, device and system for producing a merged digital video sequence
KR102357965B1 (ko) 2015-01-12 2022-02-03 삼성전자주식회사 객체 인식 방법 및 장치
US9819913B2 (en) * 2015-08-26 2017-11-14 Stmicroelectronics International N.V. Image sensor device with macropixel processing and related devices and methods
CN111164670B (zh) * 2017-08-10 2023-06-02 罗伯特·博世有限公司 低功率和低数据速率成像仪

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1466374A (zh) * 2002-06-14 2004-01-07 株式会社日立制作所 图像输入装置
CN1639725A (zh) * 2002-03-11 2005-07-13 布拉科成像S.P.A.公司 图像像素编码方法、图像处理方法和针对一个或多个图像像素再现的对象进行定性识别的图像处理方法
CN1969534A (zh) * 2004-02-18 2007-05-23 St微电子公司 利用顺序抖动技术处理数字图像的方法
CN101018299A (zh) * 2006-02-07 2007-08-15 日本胜利株式会社 摄像方法以及摄像装置

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5257058A (en) * 1990-11-30 1993-10-26 Canon Kabushiki Kaisha Interchangeable lens system
US5703639A (en) * 1994-10-25 1997-12-30 Dalsa, Inc. Charge coupled device pulse discriminator
US6366317B1 (en) * 1998-03-27 2002-04-02 Intel Corporation Motion estimation using intrapixel logic
DE69834918T2 (de) * 1998-11-02 2007-02-01 Datalogic S.P.A., Lippo Di Calderara Di Reno Anordnung zur automatischen Erfassung und Verarbeitung von optischen Codes
US7106374B1 (en) * 1999-04-05 2006-09-12 Amherst Systems, Inc. Dynamically reconfigurable vision system
JP3611507B2 (ja) * 2000-05-30 2005-01-19 松下電器産業株式会社 動きベクトル検出装置
JP4564190B2 (ja) * 2001-03-06 2010-10-20 株式会社リコー テレビ会議システムにおける画像入力に適したデジタルカメラ
US6714241B2 (en) * 2001-04-25 2004-03-30 Hewlett-Packard Development Company, L.P. Efficient dark current subtraction in an image sensor
KR100792283B1 (ko) * 2001-08-07 2008-01-07 삼성전자주식회사 이동물체 자동 추적장치 및 방법
US8643788B2 (en) * 2002-04-25 2014-02-04 Sony Corporation Image processing apparatus, image processing method, and image processing program
JP2004007089A (ja) * 2002-05-30 2004-01-08 Nippon Advantage Corp 状態変化判定装置
US7408572B2 (en) * 2002-07-06 2008-08-05 Nova Research, Inc. Method and apparatus for an on-chip variable acuity imager array incorporating roll, pitch and yaw angle rates measurement
JP2004120341A (ja) * 2002-09-26 2004-04-15 Riosu Corp:Kk 映像監視システム
WO2004040581A1 (ja) * 2002-10-15 2004-05-13 Sony Corporation メモリ装置、動きベクトルの検出装置および検出方法
JP4084991B2 (ja) * 2002-11-29 2008-04-30 富士通株式会社 映像入力装置
US7486313B2 (en) * 2003-01-17 2009-02-03 Biomorphic Vlsi, Inc. System and method for automatic exposure control and white balancing for CMOS sensors
US7015960B2 (en) * 2003-03-18 2006-03-21 Candela Microsystems, Inc. Image sensor that uses a temperature sensor to compensate for dark current
US20050128327A1 (en) * 2003-12-10 2005-06-16 Bencuya Selim S. Device and method for image sensing
US7619669B2 (en) * 2003-12-29 2009-11-17 Micron Technologies, Inc. Power savings with multiple readout circuits
US7483059B2 (en) * 2004-04-30 2009-01-27 Hewlett-Packard Development Company, L.P. Systems and methods for sampling an image sensor
JP4230967B2 (ja) * 2004-07-02 2009-02-25 富士通マイクロエレクトロニクス株式会社 撮像装置、撮像装置の制御方法、ｃｍｏｓイメージセンサ
US7876980B2 (en) * 2004-11-11 2011-01-25 Panasonic Corporation Imaging apparatus and imaging method for outputting a specified number of pixels in a specified area
KR100660862B1 (ko) * 2005-02-23 2006-12-26 삼성전자주식회사 동일 색상의 화소 데이터를 가산하여 출력하는 컬러 촬상장치 및 그 화소 데이터 독출 방법
CA2599133C (en) * 2005-02-25 2013-12-03 Kevin Liddiard Microbolometer infrared security sensor
US7385171B2 (en) * 2005-05-09 2008-06-10 Sensors Unlimited, Inc. Method and apparatus for providing enhanced resolution in photodetectors
JP2009516476A (ja) * 2005-11-14 2009-04-16 サーノフ コーポレーション ハイブリッドのピクセル配列を有するｃｍｏｓイメージ・センサ

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1639725A (zh) * 2002-03-11 2005-07-13 布拉科成像S.P.A.公司 图像像素编码方法、图像处理方法和针对一个或多个图像像素再现的对象进行定性识别的图像处理方法
CN1466374A (zh) * 2002-06-14 2004-01-07 株式会社日立制作所 图像输入装置
CN1969534A (zh) * 2004-02-18 2007-05-23 St微电子公司 利用顺序抖动技术处理数字图像的方法
CN101018299A (zh) * 2006-02-07 2007-08-15 日本胜利株式会社 摄像方法以及摄像装置

Also Published As

Publication number Publication date
US8284281B2 (en) 2012-10-09
EP2056590A1 (fr) 2009-05-06
JP5264407B2 (ja) 2013-08-14
EP2056590B1 (fr) 2014-04-09
FR2923339B1 (fr) 2009-12-11
US20090115877A1 (en) 2009-05-07
FR2923339A1 (fr) 2009-05-08
CN101431597A (zh) 2009-05-13
JP2009118476A (ja) 2009-05-28

Similar Documents

Publication Publication Date Title
CN101431597B (zh) 读取二维像素矩阵的方法及实施这种方法的设备
US10598550B2 (en) Radiometric correction and alignment techniques for thermal imager with non-contact temperature sensor
US10412314B2 (en) Systems and methods for photometric normalization in array cameras
US10110833B2 (en) Hybrid infrared sensor array having heterogeneous infrared sensors
US10051210B2 (en) Infrared detector array with selectable pixel binning systems and methods
EP2696574B1 (en) Thermal imaging camera with intermittent image capture
JP4554615B2 (ja) 制御可能な感度を持つ赤外線センサ
JP4325703B2 (ja) 固体撮像装置、固体撮像装置の信号処理装置および信号処理方法、ならびに撮像装置
EP2923187B1 (en) Hybrid infrared sensor array having heterogeneous infrared sensors
JP6527574B2 (ja) 固定パターンノイズ低減のための方法およびこのような方法の使用
US9961277B2 (en) Infrared focal plane array heat spreaders
CN103162843A (zh) 一种基于VOx探测器的无快门红外热像仪及其使用方法
EP2764685A1 (en) Determination of an absolute radiometric value using blocked infrared sensors
CN103312983B (zh) 一种太赫兹成像仪镜头补偿方法
CN103581578A (zh) 图像拾取装置和图像拾取方法
WO2014105904A1 (en) Infrared focal plane array heat spreaders
JP2004530893A (ja) 複合マイクロボロメータアレイの読出し方法及び装置
JP2011044813A (ja) 撮像装置、補正値算出方法、及び撮像方法
TWI429282B (zh) 影像感測器
US11474030B2 (en) Dynamic determination of radiometric values using multiple band sensor array systems and methods
JP2016029759A (ja) 撮像装置の欠陥画素検出方法
CN114630060A (zh) 与红外成像相关的不确定度测量***和方法
WO2014105897A1 (en) Infrared detector array with selectable pixel binning systems and methods
US20240242315A1 (en) Anomalous pixel processing using adaptive decision-based filter systems and methods

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20130626

Termination date: 20151023

EXPY Termination of patent right or utility model