CN101287132A - 成像装置和成像方法 - Google Patents

Abstract

本发明提供了成像装置和成像方法。成像方法包括以下步骤：对从图像传感器获得的成像信号执行非线性校正，在图像传感器中成像光被转换成成像信号；将经过非线性校正的成像信号的预定数目的帧以帧为单位进行相加；执行控制以适当地设置下述两种校正特性中的每一种校正特性：不执行帧相加的情况下，所述非线性校正的校正特性，以及执行帧相加的情况下，所述非线性校正的校正特性；以及选择性地输出经过帧相加的成像信号或者没有经过帧相加的成像信号。

Description

成像装置和成像方法

技术领域

本发明涉及适用于能够以低帧速率来成像的摄像机的成像装置，并涉及适用于该成像装置的成像方法。

背景技术

获得符合电视广播格式等的视频信号的摄像机采用1/60秒、1/50秒等的指定帧速率，用于利用成像器来捕捉图像。例如，帧速率为1/60秒的摄像机针对每一帧用于蓄积成像器所接收的成像光的最大时间段(或者，快门时间段)为1/60秒。

当执行用于缩短在一个帧周期内接收成像光的时间段的处理(或者电子快门处理)时，可以以诸如1/100秒、1/1000秒等的高快门速度来捕捉图像。但是，在这种情况下，可能不会允许接收成像光的时间段长于一个帧周期(或者，低快门速度)。

为了实现低于1/60秒的快门速度，可以由成像器接收跨多个帧周期的较长时间段的成像光，随后从成像器读出与成像光相对应的信号。例如，当使用CCD(电荷耦合器件)图像传感器作为成像器时，可以延长通过接收光来在各个像素中蓄积电荷的时间段。例如，当用于每个像素的电子蓄积时间段相当于两个帧周期的和(1/30秒)时，可以读出在1/30秒内蓄积的信号。因此，可以实现蓄积时间段变为2倍的低速率成像。可以间歇地每隔1/30秒(通常帧周期的2倍)地改变这样获得的成像信号。由于延长了电荷蓄积时间段，所以可以实现更高灵敏度的成像。例如，即使在黑暗(例如，夜晚)中也可以捕捉图像。除了上述在帧周期的两倍的时间段内蓄积电荷的示例处理之外，还可以调节在成像器中蓄积电子的时间段，例如，允许延长成像达几十帧的时间段。

日本未审查专利申请公布No.2005-39710公开了这样一种成像装置的示例，该成像装置通过帧相加来执行改变帧速率的处理。

发明内容

但是，如果如上所述地延长在图像传感器的光接收元件中的电子蓄积的时间段，则会导致图像传感器的校正功能的动态范围不足。因此，得到的图像可能会显露图像传感器的固定模式的噪声，或者由于间歇图像(intermittent image)而使得诸如白平衡调节之类的自动控制***会不足以用于实际应用。其结果是，图像质量会恶化得更加厉害。

例如，来自图像传感器的输出可以在来自图像传感器的成像信号为线性信号的阶段中经历数字同步相加。这里，短语“来自图像传感器的成像信号为线性信号的阶段”指的是直接反映出在经历诸如白平衡调节和γ校正之类的各种图像信号处理之前的图像传感器的输出的信号的阶段。

为了在没有任何修改的情况下对图像传感器的输出进行相加，可能需要用于直接对图像传感器的输出进行相加的帧存储器。但是，从图像传感器输出的成像信号是在通过γ电路、拐点电路等处的非线性处理和增益控制来压缩幅度方向上的字长(word length)之前的信号。因此，可能需要具有大字长的昂贵的存储***。

在执行诸如γ校正之类的非线性转换之后再对各个帧的信号进行相加的情况下，这种简单的相加可能会导致各个帧的非线性处理参数的对准不佳。因此，很可能会导致恶化的视频信号。

在日本未审查专利申请公布No.2005-39710中描述的处理被配置成使得各个帧的信号在经历了诸如γ校正之类的非线性转换之后再被进行相加。但是，并没有关于在γ校正之后再执行相加的情况下的特性恶化的描述。

本发明解决了以上确定的问题以及与传统方法和装置相关联的其它问题。希望提供这样一种成像装置，即，可以以该成像装置的简化配置来执行高质量低帧速率的成像。

根据本发明的一个实施例，提供了一种成像装置，并且根据本发明的另一个实施例，提供了一种成像方法。从用于将成像光转换成成像信号的图像传感器获得的成像信号被进行非线性校正。经历过非线性校正的成像信号的预定数目的帧被以帧为单位地相加。对非线性校正的校正特性执行控制以适当地限定在执行帧相加的情况下的非线性校正的校正特性和在没有执行帧相加的情况下的非线性校正的校正特性。在这样的控制之下执行非线性校正之后，经过帧相加的成像信号或者没有经过帧相加的成像信号被选择性地输出或记录。

利用上述处理，可以获得在执行了帧相加的情况下和在没有执行帧相加的情况下的经历过诸如γ校正之类的适当非线性校正的成像信号。

根据本发明的上述实施例，可以在执行了帧相加的情况和没有执行帧相加的情况中的每一种情况下适当地控制对成像信号的诸如γ校正之类的非线性校正的特性。因此，可以利用成像装置的简化配置(例如，通过向背景技术的成像装置添加少量电路和控制处理***)来获得已经经历过γ校正等的高图像质量、低帧速率的成像信号。

附图说明

图1是图示出根据本发明一个实施例的成像装置的配置示例的框图；

图2是图示出根据本发明实施例的成像装置中的同步相加的示例的电路图；

图3A到3D是图示出根据本发明实施例的成像装置中的成像定时(三帧相加)的示例的时序图；

图4A和4B是图示出根据本发明实施例的成像装置中的处理的概况的时序图，其中，图4A表示理想的处理示例，而图4B表示本实施例的处理示例；

图5A和5B是图示出根据本发明的实施例、在成像装置中执行四帧相加的情况下的γ特性的示例的特性图，其中，图5A示出了整体特性，而图5B示出了图5A所示的特性图的一部分的放大示图；以及

图6是图示出根据本发明实施例、在成像装置中的处理的示例的流程图。

具体实施方式

下文中，将参考图1到6来描述本发明的一个实施例的示例。

图1是图示出作为本发明实施例的一个示例的成像装置的示例配置的框图。现在参考图1，将描述该成像装置的配置。通过透镜11来获得的成像光被棱镜12分成三原色。分离后的各个颜色的成像光线分别入射在蓝色、绿色和红色图像传感器13B、13G和13R的成像表面上。形成各个彩色图像传感器13B、13G和13R的成像表面上的图像的成像光线在各个图像传感器13B、13G和13R中被转换成电信号，之后分别读出转换所得的电信号。从图像传感器13B、13G和13R读出的电信号分别被称为成像信号。

为了简化描述，透镜11被表示为图1中的单个透镜。但是，实际上，透镜11可以包括多个透镜(透镜组)，并且可以用作变焦透镜。另外，在透镜11的光路中还配置了光圈(iris)，一种孔径机构。图像传感器13B、13G和13R例如可以是CCD图像传感器或者CMOS图像传感器。

从图像传感器13B、13G和13R读出的成像信号被提供给相机处理单元30。随后，成像信号在相机处理单元30中经历各种校正处理。校正过程包括利用线性信号处理和非线性信号处理的校正。

输入到相机处理单元30中的成像信号首先被提供给线性处理单元31，随后经历线性信号处理。线性信号处理例如可以是对蓝色、绿色和红色成像信号的平衡进行调节的白平衡调节的校正处理。经线性处理单元31处理之后的成像信号被提供给非线性处理单元32，从而经历非线性信号处理。

在非线性处理单元32中利用非线性信号处理的校正可以是γ(gamma)校正、拐点校正等。γ校正是基于γ校正曲线、使用非线性I/O特性来表示各个颜色的辉度值的校正处理。拐点校正是在非线性处理单元32中对图像中的明亮部分的亮度进行调节的非线性校正处理。在非线性处理单元32中的非线性校正处理按如下所述来设定。可以通过从稍后将描述的控制单元25提供的指令、利用不同的校正特性来分别限定执行常规成像时的非线性校正处理和执行帧相加时的非线性校正处理。此外，在帧相加时，根据相加的帧的数目，可以利用进一步校正来限定校正特性。

在非线性处理单元32中经过校正的成像信号被提供给YC转换单元33。这里，YC转换单元33将由蓝色、绿色和红色原色信号(下文中称为RGB信号)构成的成像信号转换成包括辉度信号(下文中称为Y信号)和色度信号(下文中称为C信号)的成像信号。经YC转换单元33转换之后的成像信号被从相机处理单元30输出。

从相机处理单元30输出的成像信号(Y信号和C信号)被提供给同步相加电路14。另外，同步相加电路14与由帧存储器形成的帧缓冲器24相连接。当以低帧速率来执行成像时，对所提供的成像信号进行以帧为单位的相加。被相加的帧的数目等可以由控制单元25来控制。在同步相加电路14中被相加的成像信号和没有相加的成像信号被提供给编解码单元15。

编解码单元15执行将所提供的成像信号转换成预定格式的视频信号的编解码处理。然后，转换得到的视频信号被提供给记录电路16，随后被记录在记录介质(存储介质)中。适合使用的记录介质可以是各种介质中的任意一种，例如，存储卡、光盘和磁带。

此外，从相机处理单元30输出的成像信号和从同步相加电路14输出的成像信号被提供给选择器21。因此，在控制单元25的控制之下，由选择器21来选择将被显示的成像信号。例如，当显示在低帧速率成像时以低帧速率来获得的成像信号的视频时，选择器21选择从同步相加电路14输出的成像信号。另一方面，当显示在低帧速率成像期间没有以帧为单元来相加的成像信号时，选择器21选择来自相机处理单元30的输出。在常规成像时，所选择的成像信号没有区别。

选择器21所选择的成像信号经历由帧速率转换单元22执行的用于显示或外部输出的帧速率的转换，之后被显示在显示器23上。或者，经帧速率转换单元22转换之后的视频信号可以从输出端子(未示出)输出。在帧速率转换单元22中的转换和在显示器23上的显示也是在控制单元25的控制之下执行的。当在帧速率转换单元22中执行帧速率转换时，使用帧缓冲器24作为临时存储设备来执行转换处理。

对成像装置的各个单元进行控制的控制单元25从具有操作开关等的操作单元26接收操作指令。因此，操作单元26的操作导致了对诸如成像的开始或终止之类的成像动作的控制。另外，还可以基于操作单元26的操作来执行成像模式的设定等。控制单元25还控制在帧缓冲器24中蓄积成像信号的动作。这里，帧缓冲器24是可以以Y信号和C信号的形式来存储成像信号的存储器。

现在参考图2，将描述在使用帧缓冲器24作为用于同步相加的存储电路时的同步相加电路的配置。输入到输入端子24a的成像信号通过切换开关24b而被提供给加法器24c。这里，在不对成像信号进行相加的时间段内，切换开关24b选择获得0(零)数据的端子，而不是相反侧的输入端子24a。加法器24c用于对存储单元24d的输出进行相加。然后加法器24c的输出被提供给存储单元24d并存储在其中。随后，存储在存储单元24d中的成像信号被从输出端子24e输出。在图2所图示的电路的配置中，存储单元24d存储一个帧的成像信号以及所存储的成像信号在加法器24c被与输入信号相加的处理针对每个帧被同步执行。因此，可以顺序地对每个帧的信号进行相加。随后，所需数目的帧被加到的成像信号被从输出端子24e输出。为了在帧缓冲器24中执行相加，对在各个帧中相加的像素的位置进行调整，从而使其与其它像素相一致。因此，这样的相加使得各个像素位置的辉度值为在与被相加的帧的数目相对应的时间段内相加所得的值。

图3A到3D是图示出在本示例的成像装置的同步相加电路14中执行相加处理时的成像操作的时序图。图3A到3D所示的示例是三个帧的成像信号被相加的示例。图3A图示了成像信号的帧周期。如图3B到3D所示，曝光期间的三个帧的成像信号被相加，并被提供作为一个帧的信号。具体而言，如图3D所示，在曝光时间段为1.1、1.2和1.3的三个帧时间段期间的图像传感器的输出被加在一起，从而得到在同步相加电路14中经历三帧相加的帧号为1的成像信号。帧号为1的成像信号在连续的三个帧时间段期间被从同步相加电路14输出。在随后的曝光时间段为2.1、2.2和2.3的三个帧时间段期间的图像传感器的输出被加在一起，从而得到在同步相加电路14中经历三帧相加的帧号为2的成像信号。帧号为2的成像信号也在连续的三个帧时间段期间被从同步相加电路14输出。

因此，通过三帧相加而得到的成像信号使得图像传感器13B、13G和13R中的曝光时间变为常规成像时的图像信号的曝光时间的三倍。因此，成像的帧速率是常规成像的三分之一，从而致使得到良好成像，即使在黑暗中也是如此。在这种情况下，图像变化的周期也降低到常规时的三分之一。作为三帧相加的示例已描述了图3所图示的示例。但是，可选地，被相加的帧的数目可以是2个或更多。例如，如果一个帧是1/60秒并且执行60帧相加，则可以按每一秒的低帧速率来执行成像。

现在参考图4A和4B以及随后的附图，将描述在本示例的成像装置中执行的γ校正处理。图4A是图示出在低帧速率模式下的理想γ校正的状态的框图。图4B是示出在本示例中在低帧速率模式下的γ校正的状态的框图。

首先，在图4A中图示了在低帧速率模式下(即，在利用帧相加来成像时)的典型γ校正状态。来自成像器1的输出成像信号在相加电路3中经历“k”帧相加(“k”是被相加的帧的数目)。相加输出在γ校正电路2a中经历非线性校正。如果直接将成像器1的输出周期设置成低帧速率，则相加电路3可以包括在成像器1中。在γ校正电路2a中执行的校正可以致使得到经适当γ校正之后的成像信号Ya。

相反，在本示例的低帧速率模式下的γ校正的状态下，如图4B所示，来自成像器1的输出成像信号在具有适合低帧速率模式下成像的特性的γ校正电路2b中经历γ校正，从而获得经γ校正后的成像信号Zb。γ校正后的成像信号Zb随后在相加电路3中经历“k”帧相加(“k”是被相加的帧的数目)，从而获得成像信号Yb。γ校正电路2b相当于在图1所示的成像装置的配置中的非线性处理单元32。

接下来，将参考图5A和5B所示的特性图来描述实际的γ特性。图5A的γ特性G11图示了在以4帧相加的低帧速率来成像时的成像信号的最佳γ特性。在图5A和5B中，横轴表示从图像传感器输出的成像信号的彩色辉度级别，而纵轴表示在γ校正之后的输出示例。在图5A中，如果特性G11的γ增益被定义为1(一)，则γ特性G12、G13和G14分别是在γ增益限制于2/3、1/3和0的情况下的示例的特性。在根本没有执行γ校正的特性G14的情况下，转换特性被用直线来表示。特性表示可以随着其变为适当的γ特性G11而弯曲。

图5B是图5A的特性曲线中的上升部分的附近的放大图。如图5B所示，特性G11在一点处与其它特性G12、G13和G14相交。图5A和5B所示的γ特性是用SMPTE标准来定义的γ特性。

应当注意，图5A和5B图示了4帧相加的示例。但是，校正特性可以依据被相加的帧的数目而变化。

这里，如图4A所示，例如在帧相加之后执行γ校正电路2a中的γ校正。成像信号Ya是通过对经历过帧相加的信号执行适当的γ校正而获得的。图4B所示的本示例的配置允许在帧相加之前获得经γ校正电路2b(非线性处理单元32)校正后的信号Zb。最后才获得γ校正后的成像信号Yb。在这种情况下，Ya＝Yb。因此，可以用下式来表示信号Zb，其中，K表示被相加的帧的数目，γ1表示γ校正电路2a的传输特性，而γ2表示γ校正电路2b的传输特性。

Zb＝γ2(X)...(1)

另一方面，用下式来表示信号Ya：

Ya＝γ1(KX)...(2)

Ya＝Yb，因此

Zb＝(1/K)Yb＝(1/K)·γ1(KX)...(3)

因此，根据式(1)和(3)，可以通过如下式所示地设置γ校正电路2b的传输特性来执行正确的γ校正：

γ2(X)＝(1/K)·γ1(KX)...(4)

式(4)指示出，在以低帧速率来成像时在γ校正电路2b(即，非线性处理单元32)中的γ校正的γ曲线可以通过改变在常规成像时的γ曲线的缩放比例(scale)来获得。换而言之，其可以通过在轴方向上扩大或缩小幅度传输特性而缩放得到，从而使得成像装置可以很容易应对常规成像和低速率成像中的每一个。

此外，图6是描述了通过控制单元25的控制操作来执行低速率成像时的处理示例的流程图。首先，控制单元25判断当前的成像模式是常规帧速率成像还是低帧速率成像(步骤S11)。这里，在以常规帧速率来成像时，非线性处理单元32定义了用于常规成像的γ校正曲线(步骤S12)，并且在不在同步相加电路14中执行相加处理的情况下执行记录、显示等(步骤S13)。

相反，在以低帧速率来成像时，非线性处理单元32定义了用于低帧速率成像的γ校正曲线(步骤S14)，然后在与被相加的帧的数目(K)相对应的相加之后获得成像信号(步骤S15)。

选择常规帧速率的视频或者经过帧相加处理的低帧速率视频(步骤S16)，用于在显示器23上显示视频。如果选择了常规帧速率的视频，则选择器21选择相机处理单元30的输出，然后在显示器23上显示基于所选择的成像信号的视频(步骤S17)。当需要显示常规帧速率的视频时，该视频是按常规帧速率(即，1/60秒等)来变化的视频。因此，得到了实际的成像状态，并且可以快速且正确地执行透镜的焦距调节、变焦透镜的场角调节等。但是，由于还没有执行帧相加，所以得到的视频可能较暗。

此外，如果选择经帧相加处理的低帧速率视频来用于显示，则选择器21选择相加之后的输出，然后在显示器23上显示基于所选择的成像信号的视频(步骤S18)。在显示以低帧速率来捕捉的图像时，可以对得到的视频的亮度进行检查，原因在于该视频实际上是以低帧速率来拍摄的。但是，由于低帧速率，使得跟随在视频中移动的物体的性能可能不足。

如上所述，根据本发明实施例的成像装置在以低帧速率来捕捉成像信号时，能够利用其简单的配置来获得经适当γ校正后的图像信号，原因在于γ校正是在帧相加之后执行的。换而言之，对于没有进行帧相加的常规成像以及在帧相加的情况下的成像中的每种，相机处理单元30能够对于将要γ校正的适当的一种通过改变γ曲线来应对相加相加，从而利用简单的配置来实现。特别地，在本实施例所应用的利用SMPTE标准来定义的γ特性的情况下，可以通过仅改变校正时的幅度特性来实现，从而利用简单配置来应付。

另外，同步相加电路14被配置成通过利用辉度信号和色度信号来进行处理而执行相加，因此可以共用成像装置中的用于各种图像处理的其它帧存储器，从而可以得到更加简单的配置。在图1所示的成像装置的配置中，同步相加电路14与用于帧速率转换的帧存储器一起共用，因此，可以更加简化成像装置的配置。

此外，成像装置被配置成使得在以低帧速率来执行成像时，选择器21可以选择常规帧速率的成像信号或者低帧速率的成像信号，以作为视频在显示器23上显示该图像信号。因此，即使以低帧速率来执行成像，也可以检查以常规帧速率来捕捉的视频。因此，例如，可以快速地确定聚焦透镜的聚焦状态等。另外，通过显示利用帧相加来进行处理的视频，可以简单地检查利用帧相加来进行比较的视频的亮度。

此外，在上述实施例中，已经描述了用于执行帧相加和以低帧速率来进行成像的γ校正处理。同样地，在以低帧速率来成像时，可以改变在成像装置中执行的任意其它非线性校正过程的校正特性。例如，在以常规帧速率来成像的情况下和以低帧速率来成像的情况下，在图1的相机处理单元30中的非线性处理单元32中执行的拐点校正的特性可以不同。

此外，在以上描述中已经说明了以帧为单位的处理示例。但是，可以以场为单位来执行相同的处理，并且可以获得相似的效果。

本领域技术人员应当了解，在所附权利要求或其等同物的范围内，根据设计要求和其它因素可以进行各种修改、组合、子组合和变更。

相关申请的交叉引用

本发明包含与2007年4月10日向日本专利局提交的日本专利申请JP2007-103241相关的主题，该申请的全部内容通过引用而结合于此。

Claims (6)

1.一种成像装置，包括：

图像传感器，用于将通过光学***而获得的成像光转换成成像信号；

成像信号处理单元，用于对从所述图像传感器获得的成像信号执行非线性校正；

帧相加单元，用于将经所述成像信号处理单元处理的成像信号的预定数目的帧以帧为单位进行相加；以及

控制单元，用于适当地设置下述两种校正特性中的每一种校正特性：不在所述帧相加单元中执行帧相加的情况下，所述成像信号处理单元中的所述非线性校正的校正特性；以及在所述帧相加单元中执行帧相加的情况下，依据被相加的帧的数目，所述成像信号处理单元中的所述非线性校正的校正特性，其中

在所述帧相加单元中经过帧相加的成像信号或者没有在所述帧相加单元中经过帧相加的成像信号被选择性地输出或记录。

2.如权利要求1所述的成像装置，其中

所述非线性校正是γ校正。

3.如权利要求2所述的成像装置，其中

表示在执行帧相加的情况下的γ校正特性的γ曲线是依据被相加帧的数目通过对表示在不执行帧相加的情况下的γ校正特性的γ曲线的幅度特性进行修改获得的。

4.如权利要求1所述的成像装置，还包括

转换处理单元，用于在所述成像装置中处理辉度信号和色度信号，其中

在所述帧相加单元中包括的帧存储器被所述转换处理单元共用。

5.如权利要求1所述的成像装置，还包括：

选择单元，用于选择从所述成像信号处理单元输出的成像信号或者通过在所述帧相加单元中对预定数目的帧进行相加而得到的成像信号，作为将被提供给用于显示所捕捉的图像的显示单元的成像信号。

6.一种成像方法，包括以下步骤：

对从图像传感器获得的成像信号执行非线性校正，其中，在所述图像传感器中成像光被转换成成像信号；

将经过所述非线性校正的成像信号的预定数目的帧以帧为单位进行相加；

执行控制以适当地设置下述两种校正特性中的每一种校正特性：不执行帧相加的情况下，所述非线性校正的校正特性；以及执行帧相加的情况下，所述非线性校正的校正特性；以及

选择性地输出经过所述帧相加的成像信号或者没有经过所述帧相加的成像信号。

Images