CN1761287A - 图像处理装置和电子照相机 - Google Patents

Abstract

本发明提供一种具有抖动校正等检测图像的移动量的功能的图像处理装置和电子照相机。在具有对通过摄像元件所摄像的图像的抖动(图像的移动)进行检测的检测部的电子照相机等图像处理装置中，为了使各种控制(AF、AE、AWB等)高速化，与图像的抖动检测并行地进行上述控制所需的解析/运算的一部分。在结束了图像的抖动检测之后，校正抖动的影响进行最终运算。在这种情况下，也可以限定运算对象的图像区域来提高处理效率。

Description

图像处理装置和电子照相机

技术领域

本发明涉及图像处理装置和电子照相机，特别涉及具有抖动校正等检测图像的移动量的功能的图像处理装置和电子照相机。

背景技术

提出了各种电子照相机，这些电子照相机具有利用作为数字数据得到的图像对因抖动导致的图像的抖动进行校正的所谓电子抖动校正功能。在电子抖动校正中，考虑到抖动引起的图像的移动而预先获取大范围的图像，在检测出抖动引起的图像的移动量之后，进行切出获取的大范围图像中的一部分而进行读取的控制。通过该控制得到抖动已校正的状态的图像。

此外，例如在专利第06-46311(特开平6-46311)号公报中提出了的照相机，其利用如上述的电子抖动校正功能的思考方法，进行抖动发生时的AF(AutoFocus：自动对焦)运算、AE(Auto Exposure：自动曝光)运算、AWB(Auto White Balance：自动白平衡)运算。

一般，在利用数字图像进行AF的情况下，对通过摄像元件得到的模拟摄像信号进行AD转换之后，抽取适合进行AF检测的规定频率成分的信号。并且，以数字形式对该抽取的信号进行累加运算以求出AF评价数据，基于该AF评价数据在CPU等运算部中进行规定的运算，进行公知的焦点检测和焦点控制。

在这里，在专利第06-46311号公报中，与电子抖动校正的情况相同，预先获取大范围的图像。如图15A-图15C所示，在发生抖动时，进行如下控制：根据抖动量来调整位置，仅从上述预先获取的大范围的图像的一部分中切出区域101来进行读取。并且，对所读取的区域101内的数据进行累加运算而得到AF评价数据。根据这种方法，可以基于抖动校正之后的数据进行AF。

此外，在图15A-图15C的例中，进行累加运算的区域为1个，但也可以对多个区域进行累加运算。在这种情况下，例如，如图16A-图16C所示，将区域101进一步分割成多个块101a，对每个所分割的块进行累加运算。

进而，在AE和AWB的情况下，根据图像的移动而变更图像的切出区域101的位置之后，对每个颜色成分进行累加运算。

然而，在上述专利第06-46311号公报的方法中，不进行任何关于AF控制、AE控制、AWB控制的处理，直到检测出图像的移动量为止。因此，在上述专利第06-46311号公报的方法中，发生抖动时的AF控制、AE控制、AWB控制的处理时间产生延迟，其延迟量是移动量检测的时间。

发明内容

本发明就是鉴于上述的问题而提出的，其目的在于，提供一种即使在发生了抖动的情况下，仍能更高速地进行AF控制、AE控制、AWB控制等各种控制的图像处理装置和装配了这种图像处理装置的电子照相机。

本发明的图像处理装置具有对通过摄像元件所摄像的图像的抖动(图像的移动)进行检测的检测部(检测单元、检测电路等)，与上述检测部的检测动作并列地对所摄像的图像的评价数据进行运算(简易运算：simplified calculation)直至中间值(简易评价数据：simplifiedanalysis data)，将其结果记录到存储器中。并且，在上述检测单元的检测结束之后，基于由上述检测部检测出的抖动，根据记录在上述存储器中的评价数据的中间值运算上述评价数据的最终值(最终运算：finalcalculation)。这样，在检测图像的抖动的前后将一系列运算分成2个部分，因此可以缩短图像的抖动检测之后的运算时间。

作为图像的评价数据，可举出用于AF控制、AE控制、AWB控制等的评价数据。例如，在最终运算中，校正抖动的影响从摄像图像中切出区域，且作为在该区域内用于上述各控制的评价数据，可以运算亮度和颜色信息。在这种情况下，可以基于由检测部检测出的抖动，决定从上述图像中切出的区域，仅将该切出区域当作运算对象。也可以对多个图像中的上述切出区域的上述评价数据的中间值进行累计，从而运算上述评价数据的最终值。进而，在该累计时，通过将规定数量的数据集中为1个数据，可以减少数据量。

此外，也可以在简易运算中，仅以由摄像装置所摄像的上述图像的一部分为对象来进行运算。由此，可以减少运算的数据量。继而在最终运算中还可以基于检测出的抖动进一步从上述图像的一部分中切出区域。由此，可以进一步减少运算对象的数据。

当然，也可以在简易运算中，通过将规定数量的数据集中为1个数据，来减少数据量。

例如，也可以将本发明理解为具有如下部分的图像处理装置或电子照相机：输入部，其输入进行摄像而得到的摄像数据；简易评价数据转换部，其将通过上述输入部输入的上述摄像数据转换成简易评价数据；存储部，其存储通过上述简易评价数据转换部转换的上述简易评价数据；移动检测部，其根据前一次摄像时通过上述输入部输入的摄像数据和此次摄像时通过上述输入部输入的摄像数据检测图像的移动；和最终评价数据转换部，其根据在上述移动检测部中检测出的上述图像的移动，将存储在上述存储部中的上述简易评价数据转换成最终评价数据。

根据本发明，通过将摄像数据暂时转换成简易评价数据，可使AF控制、AE控制、AWB控制等控制高速化。

根据本发明，可以提供即使在发生抖动的情况下也能更高速地进行AF控制、AE控制、AWB控制等控制的图像处理装置和装配了这种图像处理装置的电子照相机。

考虑下面的说明、附加的权利要求和附图，本发明的装置和方法的上述特征及其它特征、方面和优点将变得更易于理解。

附图说明

图1是装配了本发明的实施方式的图像处理装置的电子照相机的电路结构图；

图2是表示装配了本发明的实施方式的图像处理装置的电子照相机中的数据流程的第1图；

图3是表示装配了本发明的实施方式的图像处理装置的电子照相机中的数据流程的第2图；

图4是表示装配了本发明的实施方式的图像处理装置的电子照相机中的数据流程的第3图；

图5是电子抖动校正的说明图；

图6是表示装配了本发明的实施方式的图像处理装置的电子照相机中的数据流程的第4图；

图7是表示装配了本发明的实施方式的图像处理装置的电子照相机中的AF运算时的处理的流程图；

图8是AF时的累加运算处理的示意图；

图9是表示装配了本发明的实施方式的图像处理装置的电子照相机中的AE/AWB运算时的处理的流程图；

图10是用于详细地对累加运算处理进行说明的图的第1图；

图11是用于详细地对累加运算处理进行说明的图的第2图；

图12是用于详细地对累加运算处理进行说明的图的第3图；

图13A是现有的AF和AE运算时的时序图；

图13B是表示装配了本发明的一个实施方式的图像处理装置的电子照相机中的AF和AE运算时的时序图；

图14是用于对本发明的实施方式的变形例进行说明的图；

图15A-15C是表示现有例的AF运算的第1图；

图16A-16C是表示现有例的AF运算的第2图。

具体实施方式

下面参照附图对发明的优选实施方式进行说明。

图1是装配了本发明的实施方式的图像处理装置的电子照相机的电路结构图。即，图1的电子照相机具有：摄像元件(CCD：电荷耦合器件)1、第1AF运算器(auto focus arithmetic unit)2、第1AE运算器(auto exposure arithmetic unit)3、第1AWB运算器(auto whitebalance arithmetic unit)4、预处理电路(preprocess circuit)5、(传输图像数据的)图像总线(image bus)6、SDRAM(Synchronous DRAM：同步动态存储器)7和移动检测块8。电子照相机还具有：CPU总线9、第2AF运算器10、第2AE运算器11、第2AWB运算器12、图像处理块13、CPU 14、视频编码器15和TET(Thin Film Transistor：薄膜晶体管)显示器16。这些结构也可以采用单芯片来构成。

下面，按照处理数据的流程，对图1所示的结构的电子照相机的动作进行说明。

通过摄影光学***(未图示)入射的来自被摄体(未图示)的光束成像于作为输入部件和摄像部件的CCD 1上。CCD 1通过光电转换将被摄体光束转换成模拟的摄像信号，再通过AD转换器(未图示)将摄像信号转换成数字的摄像数据。

图2表示通过CCD 1得到的摄像数据的流程。摄像数据被输出到作为简易评价数据转换部(simplified analysis data conversionportion)的第1AF运算器2、第1AE运算器3、第1AWB运算器4，并且还被输出到预处理电路5中。

第1AF运算器2从输入的摄像数据中抽取亮度(Y)数据，对抽取的Y数据进行累加运算而求出简易AF评价数据。第1AE运算器3针对每个颜色成分对输入的摄像数据进行累加运算而求出简易AE评价数据。

第1AWB运算器4针对每个颜色成分对输入的摄像数据进行累加运算而求出简易AWB评价数据。这些简易评价数据如图2所示被发送到图像总线6，然后存储在作为存储部(存储器)的SDRAM 7中。

此外，预处理电路5在针对输入的摄像数据进行噪声去除和信号放大等预处理(preprocess)之后，将预处理后的摄像数据发送到图像总线6上。该预处理后的摄像数据被存储在SDRAM 7中。

图3表示关于图像的移动(抖动)检测的数据的流程。移动检测块8基于存储在SDRAM 7中的摄像数据进行图像的移动检测。检测出的图像的移动信息被发送到CPU总线9上。在这里，例如通过采用块匹配运算等方法来比较前一次摄像时得到的摄像数据(第n-1帧的摄像数据)与此次摄像时得到的摄像数据(第n帧的摄像数据)而进行移动检测。在进行这种比较的情况下，SDRAM 7需要具备至少能够存储2帧的摄像数据的容量。而且，也可以通过使用陀螺传感器和角速度传感器等直接检测电子照相机的抖动，来检测图像的移动。

图4表示发送到CPU总线9的移动信息的流程。如图4所示，移动信息被发送到作为最终评价数据转换部(final analysis dataconversion portion)的第2AF运算器10、第2AE运算器11和第2AWB运算器12中，并且还被发送到图像处理块13中。此外，存储在SDRAM 7中的简易评价数据分别被发送到第2AF运算器10、第2AE运算器11和第2AWB运算器12中。

第2AF运算器10基于输入的移动信息对简易AF评价数据进行累加运算而求出最终AF评价数据。第2AE运算器11基于输入的移动信息对简易AE评价数据进行累加运算而求出最终AE评价数据。第2AWB运算器12基于输入的移动信息对简易AWB评价数据进行累加运算而求出最终AWB评价数据。通过第2AF运算器10、第2AE运算器11、第2AWB运算器12转换而得到的最终评价数据通过CPU总线9被发送到CPU 14。而且，也可以将最终评价数据写入到SDRAM中。

CPU 14基于分别从第2AF运算器10、第2AE运算器11和第2AWB运算器12输入的最终评价数据，进行周知的焦点检测处理、测光处理和白平衡调整处理。

此外，如图5所示，图像处理块13基于移动信息，从存储在SDRAM7中的摄像数据30中读取例如区域31或区域32的摄像数据。然后针对读取的图像，进行gamma校正处理和颜色校正处理、亮度色差转换处理等周知的图像处理。即，通过考虑移动量来控制摄像数据的读取位置，可以得到校正了抖动的状态的图像。而且，通过作为读取控制部的CPU 14来进行如上述那样的摄像数据的读取位置控制。

在图像处理块13中得到的亮度色差数据(YC数据)通过图像总线6再次存储到SDRAM 7中。然后，存储在SDRAM 7中的YC数据如图6所示被发送到视频编码器15中。视频编码器15将YC数据转换成NTSC等视频信号，基于该视频信号在TFT显示器16上进行图像显示。

接着，更详细地对本实施方式中的AF、AE、AWB进行说明。

首先，对AF进行说明。图7是表示本实施方式的AF评价数据算出运算的程序的流程图。

当向第1AF运算器2输入摄像数据时，第1AF运算器2根据输入的摄像数据生成Y数据(步骤S1)。Y数据例如通过对摄像数据进行YC分离而获得。接着，利用低通滤波器和高通滤波器抽取在步骤S1中得到的Y数据的规定频率成分(步骤S2)。接着，对Y数据进行累加运算直至为规定数据大小，从而生成简易AF评价数据，将生成的简易AF评价数据存储到SDRAM 7中(步骤S3)。到此为止的处理与图像的移动检测并列地进行。

图像的移动检测之后，第2AF运算器10从SDRAM 7中读取简易AF评价数据，对读取的简易AF评价数据进行累加运算而得到最终AF评价数据(步骤S4)。在这里，通过进行读取控制以便根据图像的移动信息切出简易AF评价数据的规定区域的数据，仅对该区域内的数据进行累加运算而获得最终AF评价数据。而且，如上所述的摄像数据的读取位置控制通过CPU 14进行。

如图8所示，在本实施方式的AF中，与图像的移动检测并列地求出简易AF评价数据41，在图像的移动检测之后再对简易评价数据41进行累加运算，求出最终AF评价数据42。这样，根据本实施方式，可以与图像的移动检测并列地求出具有摄像数据40与最终评价数据42的中间的数据大小的简易AF评价数据41。由此，图像的移动检测之后的处理仅仅是根据简易AF评价数据41求出最终AF评价数据42。因此，检测出图像的移动之后，不必进行Y数据抽取等处理，且还减少了累加运算的处理量，因此可以缩短用于AF的时间。

图9是表示本实施方式的AE评价数据和AWB评价数据算出运算的步骤的流程图。在这里，AE评价数据算出运算和AWB评价数据算出运算按照同一流程进行，因此在这里，仅对AE评价数据的算出进行说明。

当向第1AE运算器3输入摄像数据时，第1AE运算器3针对每个颜色成分对所输入的摄像数据进行累计而生成简易AE评价数据(步骤S11)。该处理在第1AE运算器3中与图像的移动检测并列地进行。

图像的移动检测之后，第2AE运算器11从SDRAM 7中读取简易AE评价数据，针对每个颜色成分对读取的简易AE评价数据进行累加运算而得到最终AE评价数据(步骤S12)。进行读取控制以便根据图像的移动信息切出简易AE评价数据41的规定区域的数据，仅对该区域内的数据进行累加运算而求出该最终AE评价数据。在这里，在AE和AWB中最终评价数据算出时的数据大小不同。

通过这种方法，与AF的情况一样，对于AE和AWB也能缩短检测图像的移动之后的处理时间。

更详细地对本实施方式中所进行的累加运算进行说明。在CCD 1中读取图10所示的摄像数据40中的一部分区域，按照每规定数个数据对该一部分区域内所包含的摄像数据进行累加运算而集中为1个数据，由此得到图11所示的简易评价数据41。将该简易评价数据41存储到SDRAM7中。而且，在图11中作为例子，将5×5个数据累加运算成1个数据，但该数仅仅是一例而已，可以变更。

此外，在AF的情况下，可以简单地对相邻的规定数的数据进行累加运算，但在AE和AWB的情况下，针对每个颜色进行累加运算。例如，如果摄像元件的像素排列是[RGB]拜尔(Bayer)排列，则针对R、Gr、Gb、B的每个颜色进行累加运算。

第2次的第2AF运算器10基于在移动检测块8中检测出的图像移动决定简易评价数据41中的切出区域，再按照每规定数个数据对已决定的切出区域中的数据进行累计，得到最终评价数据42。而且，在图12中作为例子，以简易评价数据41的单位将3×3个数据累加运算成1个数据。

图13A表示现有的AF、AE处理的时序图，图13B表示本实施方式的AF、AE处理的时序图。而且，由于AWB是与AE相同的处理，因此在这里省略图示。如图13A和图13B所示，就图像的移动检测之后的数据处理量而言，从简易评价数据得到最终评价数据的方法的处理量比从摄像数据直接得到最终评价数据的方法的处理量少，因此在整体上缩短了AF和AE所需的处理时间。

基于以上的实施方式对本发明进行说明，但本发明不限定于上述的实施方式，而当然可以在本发明的要旨的范围内进行各种变形和应用。

例如，在图12中的例子中，只能以简易评价数据中的每个数据单位来变更移动检测之后的数据的切出区域。然而，图像的移动信息并非针对简易评价数据而算出，而是针对原来的摄像数据而算出的，因此在从简易评价数据切出图像时，还会有偏离简易评价数据的1个数据大小的情况。在这种情况下，也可以通过插值法求出偏离简易评价数据的数据大小的部分，并进行读取控制以便切出该求出的区域42的数据，转换成最终评价数据。通过这种方法，在第2次累加运算时，可以反映出更正确的移动信息。

虽然示出并描述了本发明的优选实施方式，但当然可以在不脱离本发明的精神的范围内在形式或细节上容易地进行各种变形和变化。因此这意味着本发明不仅限于所描述和例示的具体形式，而覆盖所有的可能落入所附的权利要求的范围的变形。

Claims (18)

1.一种图像处理装置，包括检测单元，所述检测单元检测通过摄像元件所摄像的图像的抖动，其特征在于，所述图像处理装置包括：

简易运算单元，其与所述检测部的检测动作并列地运算所摄像的图像的评价数据的中间值；

存储器，其记录所述简易运算单元的运算结果；和

最终运算单元，在所述检测单元的检测结束之后，基于由所述检测单元检测出的抖动，根据记录在所述存储器中的评价数据的中间值运算所述评价数据的最终值。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述最终运算单元具有基于由检测单元检测出的抖动来决定从所述图像中切出的区域的功能，仅将该切出的区域当作运算对象。

3.根据权利要求2所述的图像处理装置，其特征在于，

所述最终运算单元对多个图像中的所述切出区域的所述评价数据的中间值进行累计，运算所述评价数据的最终值。

4.根据权利要求3所述的图像处理装置，其特征在于，

所述最终运算单元通过将规定数的数据集中为1个数据来进行减少数据量的运算。

5.根据权利要求1所述的图像处理装置，其特征在于，

所述简易运算单元仅以摄像装置所摄像的所述图像的一部分为对象来进行运算。

6.根据权利要求1所述的图像处理装置，其特征在于，

所述最终运算单元具有基于由检测单元检测出的抖动来决定从所述图像中切出包含在被所述简易运算单元当作运算对象的区域中的、比该区域窄的区域的功能，所述最终运算单元仅将该切出的区域当作运算对象。

7.根据权利要求1所述的图像处理装置，其特征在于，

所述简易运算单元通过将规定数的数据集中为1个数据来进行减少数据量的运算。

8.根据权利要求1所述的图像处理装置，其特征在于，

所述评价数据是用于图像的AF控制、AE控制、AWB控制中的至少1个控制的数据。

9.一种图像处理装置，包括输入摄像得到的摄像数据的输入部，其特征在于，所述图像处理装置包括：

简易评价数据转换部，其将通过所述输入部输入的所述摄像数据转换成简易评价数据；

存储部，其存储通过所述简易评价数据转换部转换的所述简易评价数据；

移动检测部，其根据在前一次摄像时由所述输入部输入的摄像数据和此次摄像时由所述输入部输入的摄像数据来检测图像的移动；和

最终评价数据转换部，其根据在所述移动检测部中检测出的所述图像的移动，将存储在所述存储部中的所述简易评价数据转换成最终评价数据。

10.根据权利要求9所述的图像处理装置，其特征在于，还包括读取控制部，其根据在所述移动检测部中检测出的所述图像的移动，进行存储在所述存储部中的所述简易评价数据的读取控制。

11.根据权利要求9所述的图像处理装置，其特征在于，

在所述简易评价数据转换部中得到的所述简易评价数据是焦点检测的评价数据、测光的评价数据和白平衡调整的评价数据中的至少1个评价数据。

12.根据权利要求11所述的图像处理装置，其特征在于，

所述摄像数据是包含亮度信息的数据，

所述焦点检测的评价数据是对所述亮度信息的一部分进行累加运算而得到的评价数据。

13.根据权利要求11所述的图像处理装置，其特征在于，

所述摄像数据是包含多个颜色信息的数据，

所述测光的评价数据和所述白平衡调整的评价数据是针对每个颜色对所述摄像数据的一部分进行累加运算而得到的评价数据。

14.根据权利要求9所述的图像处理装置，其特征在于，

所述最终评价数据是对所述简易评价数据的一部分进行累加运算而得到的评价数据。

15.根据权利要求9所述的图像处理装置，其特征在于，

所述最终评价数据转换部基于在所述移动检测部中检测出的所述图像的移动，将对所述简易评价数据的数据大小进行了插值的位置的简易评价数据转换成所述最终评价数据。

16.根据权利要求9所述的图像处理装置，其特征在于，

所述移动检测部进行的所述图像的移动检测与所述简易评价数据转换部进行的向所述简易评价数据的转换并列地进行。

17.根据权利要求9所述的图像处理装置，其特征在于，

至少把所述输入部、所述简易评价数据转换部、所述存储部、所述移动检测部以及所述最终评价数据转换部形成在同一芯片上。

18.一种电子照相机，包括对被摄体进行摄像而获得摄像数据的摄像部，其特征在于，所述电子照相机包括：

简易评价数据转换部，其将通过所述摄像部摄像的所述摄像数据转换成简易评价数据；

存储部，其存储通过所述简易评价数据转换部转换的所述简易评价数据；

抖动检测部，其根据在前一次摄像时由所述摄像部摄像的摄像数据和此次摄像时由所述摄像部摄像的摄像数据来检测该电子照相机的抖动；和

最终评价数据转换部，其根据在所述抖动检测部中检测出的所述电子照相机的抖动，将存储在所述存储部中的所述简易评价数据转换成最终评价数据。

Images