CN103392335B - 实时获取和显示图像的设备及方法 - Google Patents

实时获取和显示图像的设备及方法 Download PDF

Info

Publication number
CN103392335B
CN103392335B CN201180068502.2A CN201180068502A CN103392335B CN 103392335 B CN103392335 B CN 103392335B CN 201180068502 A CN201180068502 A CN 201180068502A CN 103392335 B CN103392335 B CN 103392335B
Authority
CN
China
Prior art keywords
image
another
pixel
reading
pixel subset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201180068502.2A
Other languages
English (en)
Other versions
CN103392335A (zh
Inventor
A·W·德格鲁特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Photonis Netherlands BV
Original Assignee
Photonis Netherlands BV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Photonis Netherlands BV filed Critical Photonis Netherlands BV
Publication of CN103392335A publication Critical patent/CN103392335A/zh
Application granted granted Critical
Publication of CN103392335B publication Critical patent/CN103392335B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B23/00—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices
    • G02B23/12—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices with means for image conversion or intensification
    • G02B23/125—Telescopes, e.g. binoculars; Periscopes; Instruments for viewing the inside of hollow bodies; Viewfinders; Optical aiming or sighting devices with means for image conversion or intensification head-mounted
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/20—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only
    • H04N23/23—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from infrared radiation only from thermal infrared radiation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/53—Control of the integration time
    • H04N25/531—Control of the integration time by controlling rolling shutters in CMOS SSIS
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Toxicology (AREA)
  • Health & Medical Sciences (AREA)
  • Optics & Photonics (AREA)
  • General Physics & Mathematics (AREA)
  • Astronomy & Astrophysics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Measurement Of Radiation (AREA)
  • Studio Devices (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

一种成像设备（100），用于实时获取和显示图像，所述成像设备包括：i）成像传感器（110），包括辐射敏感阵列（120），用于获取图像（142）；ii）读出电路（140），连接至所述辐射敏感阵列，用于读出所述图像；iii）信号处理器（160），用于处理所述图像，以获得经处理的图像（162）；以及iv）显示器（180），用于显示所述经处理的图像，所述辐射敏感阵列被布置为成行的传感器像素，并且所述显示器被布置为成行的显示器像素，并且其中所述读出电路是卷帘快门电路，用于依序读出所述成行的传感器像素，以依序提供一些像素子集；所述信号处理器被配置为用于在所述一些像素子集中的一个像素子集可得时，处理该像素子集，以提供经处理的像素子集；并且所述显示器被配置为用于在所述经处理的像素子集可得时，在相应的显示器像素子集上显示所述经处理的像素子集，以在所述成行的显示器像素上依序显示所述经处理的图像。

Description

实时获取和显示图像的设备及方法
技术领域
本发明涉及一种用于实时获取和显示图像的成像设备以及一种实时获取和显示图像的方法。本发明还涉及包括所阐述的成像设备的头盔、头戴式设备（head mount）、步枪瞄准器或手持设备。
直接观察***（direct view systems）是这样的成像设备，其中通过成像部件获取图像，然后通过显示部件将图像实时提供给用户。在这样的直接观察***中，在图像获取与图像显示之间可存在一个时间差。这个时间差通常被称为时延（latency）。直接观察***的实例有夜视设备和望远镜观察设备。
时延是最不期望的，尤其当该直接观察***旨在用于便携式使用时。一个原因是，当使用该直接观察***时，使用者可处于移动中。该时延可导致使用者通过该显示部件感知到的运动与通过使用者的其他运动感官（例如，使用者的前庭***）感知到的运动不同。如果该时延，从而感知到的运动与通过其他方式感受到的运动之间失配（mismatch）太大，则使用者可感受到恶心或晕动病。
许多直接观察***主要是基于光学或基于光电的。例如，夜视设备可包括作为成像部件的光学器件（optics）和图像增强管（image intensifier tube）以及作为显示部件的荧光屏。在运行期间，来自低光水平场景（low light level scene）的光子被转换成光电子，被该图像增强管倍增，最后被朝向荧光屏加速，以将它们转换回可见光。这样的直接观察***的时延通常是几毫秒，如由该荧光屏的延迟限定的，这足够低以避免使用者在便携式使用期间遭受晕动病。
背景技术
可期望具有一种直接观察***，其中图像以数字形式在中间可得（intermediately available），即被表现在数字信号域中。这可允许该直接观察***采用数字信号处理来改善该图像的品质，以在该图 像上叠加相关信息等等。这样的直接观察***可使用半导体传感器来获取图像，使用信号处理器来处理该图像，以及使用电子显示器来显示该图像。
发明内容
这样的基于数字信号域的直接观察***的总体时延可以是相对高的。不利的是，在这样的直接观察***的便携式使用期间，使用者可遭受晕动病。
本发明的一个目的是提供一种用于以减小的时延实时获取和显示图像的成像设备以及一种以减小的时延实时获取和显示图像的方法，其中该图像以数字形式在中间可得，用于允许信号处理。
根据本发明，该目的通过提供一种用于实时获取和显示图像的成像设备来实现，所述成像设备包括：i）一个成像传感器，包括一个辐射敏感阵列，用于获取一个图像；ii）一个读出电路，连接至所述辐射敏感阵列，用于读出所述图像；iii）一个信号处理器，用于处理所述图像，以获得一个经处理的图像；以及iv）一个显示器，用于显示所述经处理的图像，所述辐射敏感阵列被布置为成行的一些传感器像素，并且所述显示器被布置为成行的一些显示器像素，并且其中所述读出电路是一个卷帘快门电路，用于依序读出所述成行的一些传感器像素，以依序提供一些像素子集，所述信号处理器被配置为用于在所述一些像素子集中的一个像素子集可得时，处理该像素子集，以提供一个经处理的像素子集，并且所述显示器被配置为在所述经处理的像素子集可得时，在相应的显示器像素子集上显示所述经处理的像素子集，以在所述成行的一些显示器像素上依序显示所述经处理的图像。
在本发明的另一方面，提供了包括所阐述的成像设备的头盔、头戴式设备、步枪瞄准器或手持设备。
在本发明的另一方面，提供了用成像设备来实时获取和显示图像的方法，所述成像设备包括：i）一个成像传感器，包括一个辐射敏感阵列，用于获取一个图像；ii）一个读出电路，连接至所述辐射敏感阵列，用于读出所述图像；iii）一个信号处理器，用于处理所述图像，以获得一个经处理的图像；以及iv）一个显示器，用于显示所述经处 理的图像，所述辐射敏感阵列被布置为成行的一些传感器像素，并且所述显示器被布置为成行的一些显示器像素，并且其中所述方法包括：用所述读出电路依序读出所述成行的一些传感器像素，以依序提供一些像素子集，在所述一些像素子集中的一个像素子集可得时，用所述信号处理器处理该像素子集，以提供一个经处理的像素子集，并且在所述经处理的像素子集可得时，用所述显示器将所述经处理的像素子集显示在相应的显示器像素子集上，用于在所述成行的一些显示器像素上依序地显示所述经处理的图像。
在本发明的另一方面，提供了一种计算机程序，所述计算机程序存储在计算机可读介质上，所述计算机程序包括用于使处理器***执行所阐述的方法的指令。
根据本发明的措施提供了一种用于实时获取和显示图像的成像设备，即一种直接观察***，以及一种操作所述成像设备的方法。在此，实时指的是使用者使用所述成像设备来观察一个场景的图像，所述图像在时间上尽可能贴近地反映当前场景。所述成像设备包括成像传感器，例如半导体传感器，诸如互补金属氧化物半导体（CMOS）传感器。所述成像传感器被用来将从一个场景发射或反射的辐射转换成所述场景的数字表示，即图像。为此目的，所述成像传感器包括辐射敏感阵列，所述辐射敏感阵列被布置为成行的传感器像素。所述成像设备还包括读出电路，即通过寻址继而从所述成行的传感器像素读出图像来从所述辐射敏感阵列读出图像的电路***（circuitry）。所述成像设备还包括信号处理器，所述信号处理器被配置为用于使用数字信号处理来处理从所述成像传感器获取的图像。结果，经处理的图像被提供，然后被显示在显示器上。所述显示器被布置为成行的显示器像素。这样，所述成行的显示器像素被用来显示由所述辐射敏感阵列的相应的成行的传感器像素获取的图像。
所述成像设备被配置为用于减小图像的获取与经处理的图像的显示之间的时延。为此目的，所述读出电路是一个卷帘快门电路。卷帘快门（rolling shutter）也被称为线扫描（line scan），指的是所述辐射敏感阵列的一种读出方式，其中依序读出所述成行的传感器像素，即一行接着一行，或者一个多行子集接着一个多行子集。结果， 已被读出的行或多行子集相应于时间中的不同点。由于所述成行的传感器像素被读出，所述卷帘快门电路依序向所述信号处理器提供一些像素子集。进而，一旦所述信号处理器接收到一个像素子集，所述信号处理器就处理该像素子集，然后将该处理的结果，即一个经处理的像素子集，提供至所述显示器。然后，所述显示器将每个经处理的像素子集显示在相应的显示器像素子集上。因此，所述成行的传感器像素被依序读出，以提供一序列像素子集（a sequence ofsubsets of pixels），其中，一个像素子集在被所述信号处理器接收之后被处理，并且在被所述显示器接收之后被显示。
应意识到，本发明涉及读取、处理和显示成行的像素。一个原因是，传感器和显示器一般以基于行的方式被读出和写入。然而，应意识到，本发明同样适于读取、处理和显示成列的像素，例如，读取电路可被布置为用于依序读出成列的传感器像素。
本发明部分基于如下认识：在传统的直接观察***中，所谓的快照模式（snapshotmode）被用来从辐射敏感阵列读出图像。在此，首先整个图像被读出并且被存储在帧缓冲存储器中，仅当整个图像已被存储时，该图像才被处理继而被整体显示。不利的是，由在处理之前或期间将该图像存储在帧缓冲器中引入的时延可导致使用者在所述直接观察***的便携式使用期间遭受晕动病。
前述措施的效果是，所述成像设备被配置为用于在相应的传感器像素子集已被读出之后尽可能快地在一个显示器像素子集上显示一个像素子集。因此，所述成像设备被配置为用于将所述图像的已被读出的每一部分（即每一像素子集）直接提供至所述信号处理器，继而将每一经处理的部分提供至所述显示器。结果，减小了所述成像设备的总体时延。有利的是，所述成像设备的时延被充分减小到以避免使用者在所述成像设备的便携式使用期间遭受晕动病。
可选地，所述成像设备包括另一成像传感器和另一读出电路，所述另一成像传感器包括另一辐射敏感阵列，用于获取另一图像，所述另一读出电路被连接至所述另一辐射敏感阵列，用于读出所述另一图像，所述另一辐射敏感阵列被布置为成行的另一些传感器像素，所述另一读出电路是另一卷帘快门电路，用于依序读出所述成行的另一些 传感器像素，以依序提供另一些像素子集，并且其中所述成像设备被配置为用于通过所述卷帘快门电路和所述另一卷帘快门电路，来将所述图像和所述另一图像同步显示在所述显示器上，所述卷帘快门电路和所述另一卷帘快门电路被配置为用于通过基本上同步地读出所述图像和所述另一图像的相应部分，来同步提供该像素子集和所述另一些像素子集中的一个像素子集，并且所述信号处理器被配置为用于在该像素子集和该另一像素子集可得时，将该像素子集与该另一像素子集组合，以获得所述经处理的像素子集。
所述成像设备被配置为用于将所述图像和另一图像同步显示在所述显示器上。为了获取所述另一图像，所述成像设备包括另一成像传感器。为了将这两个图像的相应部分同步提供至所述信号处理器以处理继而显示，所述卷帘快门电路和所述另一卷帘快门电路被配置为用于基本同步读出所述图像和所述另一图像的相应部分。结果，同步提供了该像素子集和该另一像素子集。
前述措施的效果是，所述成像设备被配置为用于同时获取和显示两个图像，与此同时还减小了所述获取与显示之间的时延。有利的是，在所述成像设备中需要更少的缓冲存储器，因为较少需要或不需要补偿对于后续处理和显示可得的所述图像的部分和所述另一图像的部分在时序上的失配。结果，降低了所述成像设备的成本和/或复杂度。
可选地，所述成像传感器是可见光成像传感器，用于感测可见光，所述另一成像传感器是热成像传感器，用于感测红外辐射，以使得能够在所述显示器上同步显示一个可见光图像和一个热图像。有利的是，所述成像设备同步获取和显示一个场景的可见光和热辐射，同时提供减小的时延。
可选地，所述信号处理器被配置为用于通过将该像素子集与该另一像素子集融合，来将该像素子集与该另一像素子集组合，以获得所述图像与所述另一图像的图像融合（image fusion）作为所述经处理的图像。图像融合提供了组合两个图像（尤其是同一场景的两个相关图像）的一种直观方式。有利的是，一个场景的热辐射可被显现为叠加在一个场景的可见光上的颜色，以提供将一个场景的可见光和热辐射显示给使用者的一种直观方式。
可选地，所述辐射敏感阵列具有第一空间分辨率，所述另一辐射敏感阵列具有第二空间分辨率，所述第二空间分辨率低于所述第一空间分辨率，并且所述另一卷帘快门电路被配置为用于以低于所述卷帘快门电路的第一读出速度的第二读出速度读出所述另一图像，以使得能够同步提供该像素子集和该另一像素子集。
因此，所述另一卷帘快门电路使用较低的读出速度，以确保将所述图像和所述另一图像的相应部分同步提供至所述信号处理器。适配所述读出速度是补偿空间分辨率差别的一种有效率的方式，因为，例如，同一读出速度通常会要求读出的频繁中间暂停，以确保前述同步性。有利的是，较低的读出速度导致所述另一卷帘快门电路的较低的电力消耗，从而导致所述成像设备的较低的电力消耗。
可选地，所述卷帘快门电路被配置为用于在一个成像帧时间内以所述第一读出速度读出所述图像，并且所述另一卷帘快门电路被配置为用于在所述成像帧时间内以所述第二读出速度读出所述另一图像。因此，这些读出速度被适配为在所述同一成像帧时间内读取所述图像和所述另一图像。结果，所述第一读出速度与所述第二读出速度的比例等于所述第一空间分辨率与所述第二空间分辨率的比例。有利的是，不需要中间暂停读出来确保前述同步性。
可选地，所述卷帘快门电路被用第一像素时钟计时，以提供所述第一读出速度，并且所述另一卷帘快门电路被用第二像素时钟计时，以提供所述第二读出速度。因此，每一卷帘快门电路的像素时钟被适配至所需要的读出速度。有利的是，所述另一卷帘快门电路的较低的像素时钟导致较低的电力消耗。
可选地，所述成像设备包括定标器（scaler），用于对所述另一像素子集进行空间定标，以提供具有所述第一空间分辨率的经定标的图像作为所述另一图像。定标器提供了将所述另一图像的空间分辨率调整至所述图像的空间分辨率的一种有效率的方式。有利的是，通过将该另一像素子集提供至缓冲器，以及所述信号处理器从所述缓冲器重复读取相同的另一像素子集，所述另一卷帘快门电路可不需要补偿空间分辨率差别。有利的是，所述另一图像以更好的图像品质被显示，尤其以更好的边缘空间清晰度被显示。有利的是，所述另一图像可被 叠加在所述图像上，其中这两个图像的叠加部分与一个场景的同一部分关联。
可选地，所述定标器被配置为用于使用下组中的至少一个技术来执行所述空间定标：像素重复、一阶线性插值、高阶线性插值和非线性插值技术。前述插值技术尤其适于空间定标。
可选地，所述信号处理器包括图像处理流水线，用于获得所述一些像素子集的流水线处理。如从处理器设计和架构的技术领域已知的，以流水线方式执行图像处理提供了较高的处理吞吐量。有利的是，所述信号处理器可在每一时钟周期中接受新的一些像素子集，或者新的像素子集的个体像素。有利的是，需要较少的缓冲来处理所述信号处理器因被先前像素的处理占据而不能接受新的像素这一问题。
可选地，所述卷帘快门电路被配置为用于以第一读出速度读出所述图像，并且其中所述成像设备被配置为用于依据照射在所述辐射敏感阵列上的辐射的量来建立所述第一读出速度。通过依据照射在所述辐射敏感设备上的辐射的量来建立所述第一读出速度，可在所需要的辐射敏感阵列的曝光时间与获取所述图像的顶部和底部之差之间进行妥协，获取所述图像的顶部和底部之差导致所谓的斜交效应（skew effect）。有利的是，如果有足够的辐射照射在所述辐射敏感阵列上，则所述第一读出速度可增大，从而减小所述斜交效应。
可选地，所述成像设备包括图像增强器，用于将经增强的可见光提供至所述成像传感器。通过使用图像增强器，所述成像传感器能够在低光条件下获取具有改善的信噪比的图像。包括图像增强器的成像设备通常还被称为夜视设备或低光水平图像增强器。
附图说明
参考下文描述的实施方案，会明了并将阐述本发明的这些及其他方面。在附图中：
图1示出了一个直接观察***的时序图（timing diagram）；
图2示出了一个包括成像传感器的成像设备；
图3示出了所述成像传感器和一个显示器；
图4示出了所述成像设备的时序图；
图5示出了图4的时序图的替代表示；
图6示出了一个包括另一成像传感器的成像设备；
图7示出了一个成像传感器和所述另一成像传感器；
图8示出了所述成像设备的时序图；
图9示出了一个包括定标器的成像设备；
图10示出了一个读出电路的示意功能；
图11示出了一种用于实时获取和显示图像的方法；
图12示出了一种存储在计算机可读介质上的计算机程序。
具体实施方式
图1示出了一个包括帧缓冲存储器的直接观察***的时序图。在此，横轴指示时间，而纵轴用于对读取图像、处理该图像和显示该图像的时序进行视觉区分。在此，SS1指示用于从成像传感器读取图像的时间段。读取SS1包括将所读取的图像存储在帧缓冲存储器中。在这样的直接观察***中，仅当该图像被完全存储在该帧缓冲存储器中时才进行处理。因此，在读取SS1已完成之后，该直接观察***开始处理PP1该图像。通常，该图像的多个部分被从该帧缓冲存储器中读出、被处理、然后被写回至该帧缓冲存储器或写回至另一帧缓冲存储器。最后，在处理PP1已完成之后，该直接观察***开始显示DD1该图像。结果，读取SS1该图像的起点TT1与显示DD1该图像的起点TT2之间的时间段指示了使用者在场景变化与所显示的反映所述变化的图像之间感受到的最小延迟或时延LL。
为了增大该直接观察***的吞吐量，读取、处理和显示可以是流水线式的。这意味着，在进行该图像的处理PP1的同时，可进行下一图像的读取SS2。类似地，在进行该图像的显示DD1的同时，可进行下一图像的处理PP2，等等。注意，这样的流水线增大了该直接观察***的吞吐量，即，允许该***在给定的时间段中读取、处理和显示更多的图像。然而，所述流水线不影响该直接观察***的时延LL。
图2示出了用于实时获取和显示图像的成像设备100。成像设备100包括成像传感器110，成像传感器110包括辐射敏感阵列120，用于获取图像142。成像设备100还包括：读出电路140，连接至辐射敏 感阵列120，用于读出图像142；以及信号处理器160，用于处理图像142，以获得经处理的图像162。为此，读出电路140被示为连接至信号处理器160。成像设备100还包括显示器180，用于将经处理的图像162最终显示在显示器180上。
图3示出了包括辐射敏感阵列120的成像传感器110。还示出的是，辐射敏感阵列120被布置为成行的传感器像素122。注意，尽管在图3中未明确指示，但是辐射敏感阵列120因是阵列而也被布置为成列的传感器像素。在图3中还示出的是，作为显示器像素阵列的显示器180被布置为成行的显示器像素182。注意，尽管在图3中未明确指示，但显示器180因是阵列而也被布置为成列的显示器像素。
在成像设备100的运行期间，读出电路140依序读出成行的传感器像素122，用于依序提供像素子集124。此读取在图4和图5中所示的时序图中指示。在此，S1指示从成像传感器110读取图像142的时间段。图4以与图1类似的方式示出了该时间段，以允许与前述直接观察***进行比较。在图5中，横轴指示时间，而纵轴指示行号，其中Rn指示辐射敏感阵列120的顶行，并且R0指示底行。因此，图5示出了读出电路140在时间段S1的开始处读出行Rn，并且在其结束处读出行R0。结果，在读取S1期间，所有行Rn至R0被依序读出。
辐射敏感阵列120的上述读取S1通过读出电路140来实现，读出电路140是卷帘快门电路。卷帘快门电路140不同于被配置为用于使用快照快门（snapshot shutter）来读出辐射敏感阵列120的电路。卷帘快门电路的基础运行原理是，辐射敏感阵列120逐行地（row-by-row）被寻址，即在逐排（line-by-line）基础上被寻址，用于：i）对一行的曝光进行初始化；以及ii）在所述曝光之后读出该行的内容。这通常通过使用两个指针来实现，每一指针对辐射敏感阵列120中的对应行进行寻址。一个指针提供对当前已被寻址的行的重置（reset），用于对该行的曝光进行初始化，而另一指针对待被读出的行进行寻址。这两个指针之间的位置差别是有效曝光时间，即，如果“重置”指针仅落后于“读出”指针一行，则曝光时间被最大化。
相反，使用快照快门的电路通常同时曝光整个辐射敏感阵列，之后将整个图像从辐射敏感阵列读出到帧缓冲存储器中。在用于读出整 个图像所需要的时间期间，该辐射敏感阵列不再被配置为用于曝光。不利的是，由所述电路提供的曝光时间小于卷帘快门电路的曝光时间。较短的曝光时间通常导致图像具有较差的信噪比，即噪声较大。出版物“EBAPS:Next Generation,Low Power,Digital Night Vision”，Aebi等人，IntevacCorporation，OPTRO2005symposium，Paris，France描述了使用卷帘快门电路来将相机传感器的曝光时间最大化。
卷帘快门电路140的指针可通过成像传感器110本身中的内部状态机来增大，即，卷帘快门电路140可以是成像传感器110的一部分。外部逻辑，例如位于成像传感器110之外的现场可编程门阵列（FPGA），可被用来为该状态机计时并且编排这两个指针之间的距离，以确定曝光时间。
通过依序读出成行的传感器像素122，卷帘快门电路140依序提供像素子集124。像素子集124可包括一整行的像素或者一个多行子集的像素。该像素子集还可包括来自单个行的一个像素子集，例如单个像素或多个相邻像素。卷帘快门电路140向信号处理器160提供像素子集124，当像素子集124可得时，信号处理器160处理该像素子集，以提供经一个处理的像素子集。通过处理该依序提供的像素子集，信号处理器160有效地处理图像142，并且提供经处理的图像162。此处理在图4和图5中所示的时序图中被指示。在此，P1指示用于处理图像142的时间段。图5示出了读取电路140在时间段P1的开始处处理行Rn，并且在其结束处处理行R0。结果，在处理P1期间，所有的行Rn至R0被依序处理。
如图4和图5中所示，读取S1与处理P1之间的时间延迟依赖于像素子集124的规模及其他。例如，如果像素子集124包括一行传感器像素122的像素，则处理P1相对于读取S1至少延迟了读取像素子集124以及将像素子集124提供至信号处理器160所需要的时间段。然而，应意识到，由于像素子集124是依序提供的，所述时间延迟显著小于与整体读出图像142相应的时间延迟。
当经处理的像素子集可得时，显示器180将该经处理的像素子集显示在相应的显示器像素子集184上。通过显示该依序提供的经处理的像素子集，显示器180有效地显示了经处理的图像162。此显示在 图4和图5中所示的时序图中被指示。在此，D1指示用于显示经处理的图像162的时间段。图5示出了显示器180在时间段D1的开始处显示行Rn，在时间段D1的结束处显示行R0。应意识到，对于显示D1与处理P1之间的时间延迟，适用与对于读取S1与处理P1之间的时间延迟的考虑类似的考虑。因此，图2中所示的成像设备提供了时延L，它相应于读取S1与显示D1之间的时间延迟。此外，应意识到，在该图像的读取S1已完成之后可开始下一图像的读取S2。类似地，在处理P1已完成之后可开始处理P2，并且在显示D1已完成之后可开始显示D2。
图6示出了成像设备200。该成像设备在成像传感器110和读出电路140附近还包括另一成像传感器210和另一读出电路240。另一成像传感器210包括另一辐射敏感阵列220，用于获取另一图像242。为了读出另一图像242，另一读出电路240连接至另一辐射敏感阵列220。
图7示出了另一成像传感器210，它在前述成像传感器110和辐射敏感阵列110附近包括另一辐射敏感阵列220。还示出的是，另一辐射敏感阵列220被布置为成行的另一些传感器像素222。注意，尽管在图7中未明确指示，但另一辐射敏感阵列220因是阵列而也被布置为成列的传感器像素。图7还示出了辐射敏感阵列120具有第一空间分辨率的，另一辐射敏感阵列220具有第二空间分辨率，其中第二空间分辨率低于第一空间分辨率。结果，辐射敏感阵列120由n+1行（即行R0至行Rn）建立，而辐射敏感阵列220由m+1行（即行R0至行Rn）建立，其中m小于n。在图6的成像设备的其余描述中假设了该配置。然而，注意，第二空间分辨率还可等于或大于第一空间分辨率。此外，注意，空间分辨率可指的是图像的水平分辨率或竖直分辨率，例如具有1280个像素或1024排，或者指的是组合分辨率，例如1.3百万像素图像（megapixel image）。
再一次参考图6，读出电路140被配置为另一卷帘快门电路，用于依序读出成行的另一些传感器像素222。在成像设备200的运行期间，卷帘快门电路140和另一卷帘快门电路240通过基本同步读出图像142和另一图像242的相应部分，来同步提供像素子集124和另一像素子集224。在此，相应部分指的是具有关联图像内容的图像部分。 例如，当成像传感器110是用于感测可见光112的可见光成像传感器并且另一成像传感器210是用于感测红外辐射212的热成像传感器时，图像142可以是一个场景的可见光图像，并且另一图像242可以是同一场景的热图像。因此，相应部分可指的是，例如，图像142的顶行Rn相应于另一图像242的顶行Rm，图像142的底行R0相应于另一图像242的同一底行R0，等等。这使得信号处理器260能够，在像素子集124和另一像素子集224可得时，组合这两个像素子集，以获得经处理的像素子集，用于例如提供经处理的图像262，在经处理的图像262中热图像叠加在可见光图像的顶部。注意，所述相应部分还可指的是，例如当成像传感器110获取左侧视图并且另一成像传感器210获取右侧视图时，在任一图像中具有相同的竖直位置的部分。
为了补偿第二空间分辨率低于第一空间分辨率的事实，另一卷帘快门电路240被配置为用于以第二读出速度读出另一图像242，第二读出速度低于卷帘快门电路140的第一读出速度。这在图8中示出，其中示出了与图5中类似的时序图，额外指示了另一图像242的读取I1的时间段。应意识到，由于另一图像242的行Rm的数目小于图像142的行Rn的数目，第二读出速度需要更低，使得另一图像242的读取I1与图像142的读取S1处于同一时间间隔内。这反映在，与读取S1相比，读取I1相对于水平轴线具有更小的斜率。
图8示出了第一读出速度和第二读出速度，第一读出速度被选择为用于在成像帧时间Ti内读取S1图像142，第二读出速度被选择为用于在同一成像帧时间Ti内读取I1另一图像242。成像帧时间Ti直接联系到成像帧速率，例如，对于60Hz的成像帧速率，成像帧时间Ti为1/60s=0.0167ms。为了将辐射敏感阵列120的曝光最大化，第一读出速度被选择为用于基本在成像帧时间Ti内读取S1图像142。此外，第二读出速度被选择为用于基本在同一成像帧时间Ti内读取I1另一图像242。应意识到，所得到的第一读出速度与第二读出速度之间的比例固有地是根据用于同步读出图像142和另一图像242的相应部分的成像设备200的前述配置得出的。
此外，在图8描绘的实施例中，第一读出速度和第二读出速度被选择为用于提供覆盖整个成像帧时间Ti的图像142的读取S1和另一图 像242的读取I1。这可以是根据用于前述将辐射敏感阵列120和/或另一辐射敏感阵列220的曝光时间最大化的偏好得出的。然而，读取S1和读取I1还可更快，例如在成像帧时间Ti结束之前完成。这减小了读取S1图像142的顶部和底部之间的时间差，从而可减小或避免图像142中所谓的斜交赝象（skew artefact）。已知当所述时间差相对大时会出现此赝象。而且，成像设备200可被配置为用于依据照射在辐射敏感阵列120上的辐射112的量来建立第一读出速度。这样，成像设备200可动态地确定所需曝光时间与前述斜交效应之间的折衷。
卷帘快门电路140可被用第一像素时钟计时，用于提供第一读出速度，并且另一卷帘快门电路240可被用第二像素时钟计时，用于提供第二读出速度。由于第二读出速度低于第一读出速度，第二像素时钟还低于第一像素时钟。例如，当另一图像242的第二空间分辨率在水平方向和竖直方向上是图像142的第一空间分辨率的四分之一（例如320乘256像素相对于1280乘1024像素）时，第一读出电路140可被用***时钟（例如44MHz）计时，而第二读出电路240可被用这个***时钟的十六分之一（即2.75MHz像素时钟）计时。由于较低的时钟速率通常导致较低的电力消耗，所以可降低成像设备200的电力消耗。替代地，第二读出电路240也可被用44MHz计时，但可被配置为平均每十六个时钟周期仅提供一个像素。
由于第二空间分辨率低于第一空间分辨率，所以可需要将另一图像242定标至第一空间分辨率，或者定标至显示器180的空间分辨率。注意，这可并非在所有情形中都需要，例如，当另一图像242作为所谓的画中画（PiP）被***图像142中时。图9示出了成像设备300，成像设备300包括定标器250，用于提供具有第一空间分辨率的经定标的图像252作为另一图像242。在此，卷帘快门电路240被示为连接至定标器250，用于向定标器250提供另一图像242，并且定标器250被示为连接至信号处理器260，用于向信号处理器260提供经定标的图像252。定标器250可包括排缓冲存储器，用于使得能够实现竖直方向上的空间定标。该空间定标可包括执行零阶线性插值技术，即所谓的像素重复或最近邻插值（nearestneighbour interpolation），如从图像处理技术领域已知的。该空间定标还可包括诸如一阶线性插 值的技术，例如双线性插值、高阶线性插值和非线性插值技术。这样的技术通常引入较少的插值赝象。
注意，成像设备300不需要包括明确的定标器250。取而代之，可使用有效地用作定标器的缓冲器。例如，另一卷帘快门电路240可包括所谓的先进先出（FIFO）缓冲器，如从处理器设计和架构技术领域已知的。另一卷帘快门电路240则可从另一辐射敏感阵列220读取行Rm，如在图10中示意性示出的。该读取可使用2.75MHz像素时钟来执行。所读出的行Rm则可在FIFO中被缓冲，并以更高的像素时钟（例如44MHz像素时钟）读出，用于以与由卷帘快门电路140读出的行Rn相同的读出速度来重复提供行Rm。注意，这样使用FIFO缓冲器有效地执行了最近邻插值，尽管常规上可不认为FIFO缓冲器是定标器。此外，应意识到，这样的功能还可在信号处理器260本身中实施，即，信号处理器260可包括用于执行所述缓冲的FIFO。
图11示出了用成像设备实时获取和显示图像的方法300，该成像设备包括：i）成像传感器，包括辐射敏感阵列，用于获取图像；ii）读出电路，连接至所述辐射敏感阵列，用于读出所述图像；iii）信号处理器，用于处理所述图像，以获得经处理的图像；以及iv）显示器，用于显示所述经处理的图像，所述辐射敏感阵列被布置为成行的传感器像素，并且所述显示器被布置为成行的显示器像素，并且其中该方法包括：用所述读出电路依序读出340所述成行的传感器像素，用于依序提供像素子集，在该像素子集可得时，用该信号处理器处理360该像素子集，以提供经处理的像素子集，并且在该经处理的像素子集可得时，用该显示器在相应的显示器像素子集上显示380该经处理的像素子集，以在成行的显示器像素上依序显示该经处理的图像。
图12示出了包括计算机程序420的计算机可读介质400，计算机程序420包括用于使处理器***执行如图11中所示的方法300的指令。计算机程序420可作为物理标记或者借助计算机可读介质400的磁化而被实现在计算机可读介质400上。然而，也可设想任何其他合适的实施方案。此外，应意识到，尽管在图12中计算机可读介质400被示为光盘，但计算机可读介质400可以是任何合适的计算机可读介质，诸如只读存储器或随机存取存储器，例如固态存储器、闪存等等。
应意识到，本发明可用于各种类型的成像传感器，从而不限于例如可见光成像传感器或热传感器。此外，将图像142与另一图像242组合可包括，通过例如将另一图像242的特定元素叠加在图像142的顶部，来将图像142与另一图像242融合。然而，该组合还可包括创建经处理的图像262，经处理的图像262包括图像142和另一图像242的并排、画中画或类似的空间布置。
在前述的图像142与另一图像242的融合的组合之后，信号处理器160可采用各种类型的信号处理。例如，信号处理器160可执行各种类型的图像处理，如在图像处理技术领域中已知的，诸如非均匀校正、直方图均衡、噪声降低、锐化、颜色映射，等等。此外，为了增大信号处理器160的吞吐量，该信号处理可包括图像处理流水线，用于获得像素子集124的流水线处理。
显示器180可以是基于微型有机发光二极管（OLED）或液晶（LC）的显示器。成像传感器110可以是CMOS传感器。信号处理器160可被嵌入到FPGA中。成像传感器160可被配置为用于提供同步信息，例如所谓的水平和竖直SYNC信号。这些可被成像设备100用来对图像142的读取、处理和显示进行同步。该同步信息还可被用于使用另一读出电路240来同步读取另一图像242。
应意识到，上述说明为清楚起见参考了不同的功能单元来描述本发明的实施方案。然而，应明了，在不损害本发明的情况下，可在不同的功能单元或处理器之间使用任何合适的功能分配。例如，所示出的待由分立的处理器或控制器执行的功能可由同一处理器或控制器执行。因此，对具体功能单元的参考仅被看作对用于提供所描述的功能的合适装置的参考，而非指示严格的逻辑或物理结构或组织。
本发明可以任何合适的形式实施，包括硬件、软件、固件或这些的任何组合。本发明可以可选地至少局部被实施为在一个或多个数据处理器和/或数字信号处理器上运行的计算机软件。本发明的实施方案的元件和部件可以任何合适的方式物理地、功能地和逻辑地实施。其实，所述功能可在单个单元中、在多个单元中或作为其他功能单元的一部分来实施。这样，本发明可在单个单元中实施，或者可物理地及功能地分布在不同的单元和处理器之间。
尽管已联系一些实施方案描述了本发明，但并不旨在将本发明限于在此陈述的具体形式。而是，本发明的范围仅由随附的权利要求限制。另外，尽管一个特征可能表面上是联系具体实施方案描述的，但本领域普通技术人员应认识到，根据本发明，所描述的实施方案的各种特征可被组合。在权利要求中，术语“包括”不排除其他元件或步骤的存在。
此外，尽管被个体地列举，但可通过例如单个单元或处理器来实施多个装置、元件或方法步骤。另外，尽管个体特征可被包括在不同的权利要求中，但这些特征有可能被有利地组合，并且这些特征被包括在不同的权利要求中并不意味着这些特征的组合是不可行和/或不利的。而且，一个特征被包括在一类权利要求中并不意味着限于此类别，而是指示，如果适当，该特征同样适用于其他权利要求类别。此外，权利要求中的特征的次序并不意味着这些特征必须按任何具体次序工作，尤其，方法权利要求中的个体步骤的次序并不意味着这些步骤必须按此次序执行。而是，这些步骤可按任何合适的次序执行。另外，单数提及并不排除复数。因此，对“一个（a/an）”、“第一”、“第二”等等的提及并不排除多个。权利要求中的参考符号仅作为澄清实施例被提供，而不应被解释为以任何方式限制权利要求的范围。

Claims (11)

1.一种夜视设备(100,200,300)，被布置为用于实时获取和显示图像，所述夜视设备包括：
i)一个成像传感器(110)，包括一个辐射敏感阵列(120)，用于获取一个图像(142)；
ii)一个读出电路(140)，连接至所述辐射敏感阵列，用于读出所述图像；
iii)一个信号处理器(160,260)，用于处理所述图像，以获得一个经处理的图像(162,262)；以及
iv)一个显示器(180)，用于显示所述经处理的图像，
所述辐射敏感阵列被布置为成行的一些传感器像素(122)，并且所述显示器被布置为成行的一些显示器像素(182)，
并且其中：
-所述读出电路是一个卷帘快门电路，用于通过i)对一行的曝光进行初始化以及ii)在所述曝光之后读出该行的内容来依序读出所述成行的一些传感器像素，以依序提供一些像素子集(124)；
-所述信号处理器被配置为用于在所述一些像素子集中的一个像素子集可得时，处理该像素子集，以提供一个经处理的像素子集；并且
-所述显示器被配置为用于在所述经处理的像素子集可得时，在相应的显示器像素子集(184)上显示所述经处理的像素子集，以在所述成行的一些显示器像素上依序显示所述经处理的图像；
其中所述夜视设备包括另一成像传感器(210)和另一读出电路(240)，所述另一成像传感器包括另一辐射敏感阵列(220)，用于获取另一图像(242)，所述另一读出电路连接至所述另一辐射敏感阵列，用于读出所述另一图像，所述另一辐射敏感阵列被布置为成行的另一些传感器像素(222)，所述另一读出电路是另一卷帘快门电路，用于依序读出所述成行的另一些传感器像素，以依序提供另一些像素子集(224)，并且其中所述夜视设备被配置为用于通过如下方式在所述显示器(180)上同步显示所述图像(142)和所述另一图像：
-所述卷帘快门电路(140)和所述另一卷帘快门电路被配置为用于通过基本同步读出所述图像和所述另一图像的相应部分，来同步提供该像素子集(124)和所述另一些像素子集中的一个像素子集；并且
-所述信号处理器(260)被配置为用于在该像素子集和另一像素子集可得时，将该像素子集与该另一像素子集组合，以获得所述经处理的像素子集；
其中所述辐射敏感阵列(120)具有第一空间分辨率，所述另一辐射敏感阵列(220)具有第二空间分辨率，所述第二空间分辨率低于所述第一空间分辨率，并且所述另一卷帘快门电路(240)被配置为用于以低于所述卷帘快门电路(140)的第一读出速度的第二读出速度读出所述另一图像(242)，以使得能够同步提供该像素子集(124)和该另一像素子集(224)；其中所述卷帘快门电路(140)被用第一像素时钟计时，以提供所述第一读出速度，并且所述另一卷帘快门电路(240)被用第二像素时钟计时，以提供所述第二读出速度。
2.根据权利要求1所述的夜视设备(200,300)，其中所述成像传感器(110)是可见光成像传感器，用于感测可见光(112)，并且所述另一成像传感器(210)是热成像传感器，用于感测红外辐射(212)，以使得能够在所述显示器(180)上同步显示可见光图像(142)和热图像(242)。
3.根据权利要求1-2中任一权利要求所述的夜视设备(200,300)，其中所述信号处理器(260)被配置为用于通过将该像素子集与该另一像素子集融合，来将该像素子集(124)与该另一像素子集(224)组合，以获得所述图像(142)与所述另一图像(242)的图像融合体作为所述经处理的图像(262)。
4.根据权利要求1所述的夜视设备(200,300)，其中所述卷帘快门电路(140)被配置为用于在一个成像帧时间(Ti)内以所述第一读出速度读出所述图像(142)，并且所述另一卷帘快门电路(240)被配置为用于在所述成像帧时间(Ti)内以所述第二读出速度读出所述另一图像(242)。
5.根据权利要求1或2所述的夜视设备(200,300)，其中所述夜视设备包括定标器(250)，用于对该另一像素子集(224)进行空间定标，以提供具有所述第一空间分辨率的经定标的图像(252)作为所述另一图像(242)。
6.根据权利要求5所述的夜视设备(200,300)，其中所述定标器(250)被配置为用于使用下组中的至少一个技术来执行所述空间定标：像素重复、一阶线性插值、高阶线性插值和非线性插值技术。
7.根据权利要求1或2所述的夜视设备(100,200,300)，其中所述信号处理器(160,260)包括图像处理流水线，用于获得所述一些像素子集(124)的流水线处理。
8.根据权利要求1或2所述的夜视设备(100,200,300)，其中所述夜视设备被配置为用于依据照射在所述辐射敏感阵列(120)上的辐射(112)的量来建立所述第一读出速度。
9.根据权利要求1或2所述的夜视设备(100,200,300)，其中所述夜视设备包括图像增强器，用于将向所述成像传感器(110)提供经增强的可见光。
10.头盔、头戴式设备、步枪瞄准器或手持设备，包括根据上述任一权利要求所述的夜视设备(100,200,300)。
11.用夜视设备实时获取和显示图像的方法(300)，所述夜视设备包括：
i)一个成像传感器，包括一个辐射敏感阵列(120)，用于获取一个图像；
ii)一个读出电路，连接至所述辐射敏感阵列，用于读出所述图像；
iii)一个信号处理器，用于处理所述图像，以获得一个经处理的图像；以及
iv)一个显示器，用于显示所述经处理的图像，
所述辐射敏感阵列被布置为成行的一些传感器像素，并且所述显示器被布置为成行的一些显示器像素，
并且其中所述方法包括：
-用所述读出电路通过i)对一行的曝光进行初始化以及ii)在所述曝光之后读出该行的内容来依序读出(340)所述成行的一些传感器像素，以依序提供一些像素子集；
-在所述一些像素子集中的一个像素子集可得时，用所述信号处理器处理(360)该像素子集，以提供一个经处理的像素子集；以及
-在所述经处理的像素子集可得时，用所述显示器(380)将所述经处理的像素子集显示在相应的显示器像素子集上，以在所述成行的一些显示器像素上依序显示所述经处理的图像；
其中所述夜视设备包括另一成像传感器(210)和另一读出电路(240)，所述另一成像传感器包括另一辐射敏感阵列(220)，用于获取另一图像(242)，所述另一读出电路连接至所述另一辐射敏感阵列，用于读出所述另一图像，所述另一辐射敏感阵列被布置为成行的另一些传感器像素(222)，所述另一读出电路是另一卷帘快门电路，用于依序读出所述成行的另一些传感器像素，以依序提供另一些像素子集(224)，并且其中所述方法包括通过如下方式在所述显示器(180)上同步显示所述图像(142)和所述另一图像：
-通过基本同步读出所述图像和所述另一图像的相应部分，来同步提供该像素子集(124)和所述另一些像素子集中的一个像素子集；并且
-在该像素子集和另一像素子集可得时，将该像素子集与该另一像素子集组合，以获得所述经处理的像素子集；
其中所述辐射敏感阵列(120)具有第一空间分辨率，所述另一辐射敏感阵列(220)具有第二空间分辨率，所述第二空间分辨率低于所述第一空间分辨率，并且所述方法还以低于所述卷帘快门电路(140)的第一读出速度的第二读出速度读出所述另一图像(242)，以使得能够同步提供该像素子集(124)和该另一像素子集(224)；其中所述方法包括用第一像素时钟计时所述卷帘快门电路(140)，以提供所述第一读出速度，并且用第二像素时钟计时所述另一卷帘快门电路(240)，以提供所述第二读出速度。
CN201180068502.2A 2011-02-25 2011-02-25 实时获取和显示图像的设备及方法 Active CN103392335B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2011/052853 WO2012113459A1 (en) 2011-02-25 2011-02-25 Acquiring and displaying images in real-time

Publications (2)

Publication Number Publication Date
CN103392335A CN103392335A (zh) 2013-11-13
CN103392335B true CN103392335B (zh) 2017-06-13

Family

ID=44625386

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180068502.2A Active CN103392335B (zh) 2011-02-25 2011-02-25 实时获取和显示图像的设备及方法

Country Status (13)

Country Link
US (1) US9787918B2 (zh)
EP (1) EP2679000B1 (zh)
JP (1) JP5925812B2 (zh)
KR (1) KR101711097B1 (zh)
CN (1) CN103392335B (zh)
AU (1) AU2011359859B2 (zh)
BR (1) BR112013021410A2 (zh)
CA (1) CA2826675C (zh)
IL (1) IL227845A (zh)
MY (1) MY165813A (zh)
RU (1) RU2570354C2 (zh)
SG (1) SG192767A1 (zh)
WO (1) WO2012113459A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5929712B2 (ja) * 2012-11-06 2016-06-08 セイコーエプソン株式会社 撮影装置、撮影装置の制御方法
US9307161B2 (en) 2014-01-10 2016-04-05 Qualcomm Incorporated System and method for capturing digital images using multiple short exposures
FR3020735B1 (fr) * 2014-04-30 2017-09-15 Ulis Procede de traitement d'une image infrarouge pour une correction des non uniformites
US11024082B2 (en) * 2015-05-04 2021-06-01 Google Llc Pass-through display of captured imagery
JP2018121092A (ja) 2015-05-28 2018-08-02 株式会社ジャパンディスプレイ 撮像表示システム
US20170094190A1 (en) * 2015-09-30 2017-03-30 Microsoft Technology Licensing, Llc Processing display of digital camera readout with minimal latency
US10432840B2 (en) * 2015-10-08 2019-10-01 L-3 Communication-Insight Technology Division Fusion night vision system
KR102425895B1 (ko) * 2015-12-24 2022-07-27 삼성전자주식회사 전자장치의 데이터 동기 장치 및 방법
JP6645949B2 (ja) * 2016-11-01 2020-02-14 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理システム、および情報処理方法
CN106449716B (zh) 2016-11-11 2021-11-26 京东方科技集团股份有限公司 显示面板及其制作方法、显示设备
CN106653802B (zh) * 2016-11-11 2019-07-30 京东方科技集团股份有限公司 显示面板及其制作方法、显示设备
CN107800978B (zh) * 2017-10-26 2020-05-12 天津大学 异步复位同步读出的pwm像素架构
US10768047B2 (en) * 2018-02-15 2020-09-08 Viavi Solutions Inc. Sensor device and methods of use
CN111372038B (zh) * 2018-12-26 2021-06-18 厦门星宸科技有限公司 多串流影像处理装置及方法
CN110392149A (zh) 2019-07-23 2019-10-29 华为技术有限公司 图像摄取显示终端
KR102502153B1 (ko) * 2020-10-23 2023-02-20 조선대학교산학협력단 콘크리트 강도 측정시스템 및 측정방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6560029B1 (en) * 2001-12-21 2003-05-06 Itt Manufacturing Enterprises, Inc. Video enhanced night vision goggle
EP1906657A2 (en) * 2006-09-28 2008-04-02 Nikon Corporation Image-capturing device

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4797751A (en) 1985-06-19 1989-01-10 Yamaguchi Cinema Corporation Electronic camera apparatus for recording and reproducing moving object images
JPH09247519A (ja) * 1996-03-08 1997-09-19 Sony Corp 撮像装置
US6282462B1 (en) 1996-06-28 2001-08-28 Metrovideo Inc. Image acquisition system
US20030222987A1 (en) 2002-05-30 2003-12-04 Karazuba Paul M. Line scan image recording device with internal system for delaying signals from multiple photosensor arrays
JP4189252B2 (ja) * 2003-04-02 2008-12-03 パナソニック株式会社 画像処理装置及びカメラ
US7112774B2 (en) * 2003-10-09 2006-09-26 Avago Technologies Sensor Ip (Singapore) Pte. Ltd CMOS stereo imaging system and method
JP2005159596A (ja) * 2003-11-25 2005-06-16 Mega Chips Corp デジタルカメラ
KR100594236B1 (ko) * 2003-12-30 2006-06-30 삼성전자주식회사 프레임 메모리 버퍼 없이 영상신호처리를 가능하게 하는고체 촬상 소자 및 그 구동 방법
US7538326B2 (en) * 2004-12-03 2009-05-26 Fluke Corporation Visible light and IR combined image camera with a laser pointer
US7121036B1 (en) * 2004-12-23 2006-10-17 Raytheon Company Method and apparatus for safe operation of an electronic firearm sight depending upon the detection of a selected color
JP4561353B2 (ja) 2004-12-24 2010-10-13 日産自動車株式会社 映像信号処理装置とその方法及び車載カメラシステム
US7969462B2 (en) 2005-03-30 2011-06-28 L-3 Communications Corporation Digitally enhanced night vision device
US7428378B1 (en) * 2005-07-29 2008-09-23 Pure Digital Technologies, Inc. Controlling an exposure time for digital cameras
JP4795813B2 (ja) * 2006-02-23 2011-10-19 クラリオン株式会社 車両周囲監視装置
JP5105907B2 (ja) * 2007-03-06 2012-12-26 キヤノン株式会社 撮像システム
JP2008252331A (ja) 2007-03-29 2008-10-16 Victor Co Of Japan Ltd デジタル監視システム
KR101409769B1 (ko) 2007-08-01 2014-06-19 삼성전자주식회사 영상 데이터 처리 장치 및 그의 영상 데이터 처리 방법
RU2389154C1 (ru) * 2008-11-01 2010-05-10 Вячеслав Михайлович Смелков Устройство панорамного телевизионного наблюдения
JP2010134743A (ja) * 2008-12-05 2010-06-17 Panasonic Corp 画像処理装置
JP2010154171A (ja) * 2008-12-25 2010-07-08 Olympus Imaging Corp 撮像装置および撮像方法
CN101459829B (zh) 2008-12-25 2011-05-04 杭州恒生数字设备科技有限公司 一种低延迟的全数字监控***
US8994837B2 (en) * 2010-11-26 2015-03-31 Intel Mobile Communications GmbH Image processing devices and image processing methods of moving objects

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6560029B1 (en) * 2001-12-21 2003-05-06 Itt Manufacturing Enterprises, Inc. Video enhanced night vision goggle
EP1906657A2 (en) * 2006-09-28 2008-04-02 Nikon Corporation Image-capturing device

Also Published As

Publication number Publication date
CA2826675C (en) 2018-04-10
AU2011359859B2 (en) 2016-06-16
AU2011359859A1 (en) 2013-08-29
SG192767A1 (en) 2013-09-30
MY165813A (en) 2018-04-27
IL227845A0 (en) 2013-09-30
EP2679000A1 (en) 2014-01-01
CA2826675A1 (en) 2012-08-30
RU2013143314A (ru) 2015-03-27
JP5925812B2 (ja) 2016-05-25
JP2014511606A (ja) 2014-05-15
KR20140008415A (ko) 2014-01-21
KR101711097B1 (ko) 2017-02-28
WO2012113459A1 (en) 2012-08-30
EP2679000B1 (en) 2016-11-02
BR112013021410A2 (pt) 2016-10-25
RU2570354C2 (ru) 2015-12-10
IL227845A (en) 2017-03-30
CN103392335A (zh) 2013-11-13
US20130314546A1 (en) 2013-11-28
US9787918B2 (en) 2017-10-10

Similar Documents

Publication Publication Date Title
CN103392335B (zh) 实时获取和显示图像的设备及方法
US10057486B2 (en) Display control device
CN102256060B (zh) 摄影装置及显示定时控制电路
KR20080064719A (ko) 화상 표시 제어 장치
CN102256059A (zh) 摄影装置及显示控制电路
JP7278750B2 (ja) 撮像装置
CN109873954B (zh) 一种基于FPGA实现Bayer阵列彩色恢复方法
JP2017212533A (ja) 撮像表示システム及び撮像装置
JP5965173B2 (ja) 動画像処理システム、画像処理装置、および動画像処理システムの動作方法
JP4525382B2 (ja) 表示装置及び撮像装置
JP2002199257A (ja) 撮像装置
US20160035064A1 (en) Electronic endoscope
JP6125159B2 (ja) 内視鏡装置
JP3854455B2 (ja) ビューファインダ装置
JP2004064558A (ja) 撮像装置
JP2007166267A (ja) 画素信号処理回路及び撮像装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant