CN115250334A - 电子装置、其控制方法及存储介质 - Google Patents

Abstract

本发明提供电子装置、其控制方法及存储介质。所述电子装置包括：图像传感器，其包括第一像素组和第二像素组，并且能够利用相同或不同的拍摄条件来驱动像素组；控制器，其在利用相同的拍摄条件来驱动所述第一像素组和所述第二像素组的第一驱动控制与利用不同的拍摄条件来驱动所述第一像素组和所述第二像素组的第二驱动控制之间切换；检测器，其基于从所述图像传感器读出的信号来检测闪烁；以及判断单元，其判断所述检测器是否能够基于通过所述第二驱动控制从所述图像传感器读出的信号来检测闪烁。如果所述判断单元判断为肯定，则所述控制器进行控制以在所述第二驱动控制中利用用于闪烁检测的拍摄条件来驱动所述第二像素组。

Description

电子装置、其控制方法及存储介质

技术领域

本发明涉及能够拍摄图像的电子装置、其控制方法及存储介质，尤其涉及用于检测闪烁的技术。

背景技术

当利用数字相机、移动电话、便携式摄像机等拍摄图像时，由于拍摄环境中光源的影响，亮度可能在一个图像内或在连续拍摄的图像之间发生变化。如果光源是使用商用电源的照明设备，则由于商用电源的频率的影响而发生闪烁，闪烁是一种照明光周期性波动的现象。当在产生这种闪烁的光源(以下称为“闪烁光源”)下拍摄时，在一个图像中可能发生曝光不均匀和/或颜色不均匀，或者在多个连续拍摄的图像之间曝光和色温可能发生变化。

对于在电源频率为50Hz的情况下发生的闪烁，闪烁光源以100Hz闪动(blink)，因此可以通过将电荷累积时段控制为N/100秒(N是自然数)来避免闪烁的影响。此外，对于在电源频率为60Hz的情况下发生的闪烁，闪烁光源以120Hz闪动，因此可以通过将电荷累积时段控制为N/120秒来避免闪烁的影响。因此，如果能够指定电源频率是50Hz还是60Hz，则可以降低闪烁对图像质量的影响。

此外，传统上，已知如下技术：分析连续拍摄的图像的亮度变化，并指定正在发生的闪烁的频率。日本特许第6225000号公报公开了如下技术：通过将诸如摄像装置的驱动周期和曝光条件等的拍摄条件从通常的拍摄条件切换到适合于闪烁检测的拍摄条件来检测闪烁，使得能够令人满意地检测闪烁。然而，由于通过从通常的拍摄条件切换到适合于闪烁检测的拍摄条件来进行检测，因此不能在拍摄运动图像期间检测闪烁或者在显示实时取景图像的同时检测闪烁。

日本特开2020-80512号公报公开了如下方法：在显示实时取景图像或拍摄运动图像的同时，检测在被摄体中发生的闪烁的频率。在该方法中，以与用于实时取景显示或运动图像拍摄的第一像素行不同的定时和周期读出第二像素行，并且第二像素行的图像信号用于分析光源的闪动。例如，可以通过将第二像素行的帧速率和曝光时段设置为便于闪烁检测的拍摄条件，来获得图像信号。

例如，在闪烁频率为120Hz的情况下，如果将运动图像的帧速率设置为60fps，则帧速率与120Hz的闪烁同步，并且闪动的影响不会在帧图像之间改变，因此无法从自第一像素行获得的图像信号中检测到闪烁。另一方面，由于可以将第二像素行设置为适合于检测闪烁的拍摄条件，因此通过以例如90fps(其不与100Hz闪烁或120Hz闪烁同步)读取图像信号，能够令人满意地检测任一频率的闪烁。

然而，近年来，图像传感器的性能已经提高，并且存在能够以非常高的速度读出图像信号的图像传感器。例如，可以在运动图像拍摄中以120fps或多于120fps的帧速率进行慢动作记录，并在实时取景显示中以120fps或240fps几乎没有延迟地拍摄和显示流畅图像。

利用这样的图像传感器，在以比100Hz或120Hz的闪烁频率更快的帧速率拍摄运动图像的情况下，无法将运动图像的各帧图像的电荷累积时段设置为N/100秒或N/120秒。因此，无法通过调整电荷累积时段来降低由光源的闪动而引起的闪烁的影响。结果，如日本特开2020-80512号公报所示，虽然可以通过分析从第二像素行获得的图像信号的变化来检测是否发生闪烁以及闪烁的频率，但是无法减少在从第一像素行获得的图像信号的图像中出现的闪烁。

此外，与日本特许第6225000号公报中的方法和传统进行的方法相比，日本特开2020-80512号公报中的用于检测闪烁的方法具有功耗大的问题。

发明内容

考虑以上情形做出本发明，并且本发明基于该目的进行闪烁检测。

根据本发明，提供了一种电子装置，其包括：图像传感器，其具有被划分为包括第一像素组和第二像素组的多个像素组的多个像素，并且能够利用针对各像素组独立设置的拍摄条件来驱动各像素组；控制器，其在第一驱动控制与第二驱动控制之间切换，在所述第一驱动控制中，利用相同的拍摄条件来驱动所述第一像素组和所述第二像素组，在所述第二驱动控制中，利用彼此不同的拍摄条件来驱动所述第一像素组和所述第二像素组；检测器，其基于从所述图像传感器读出的信号来检测闪烁；以及判断单元，其判断所述检测器是否能够基于通过所述第二驱动控制从所述图像传感器读出的信号来检测闪烁，其中，如果所述判断单元判断为能够基于通过所述第二驱动控制从所述图像传感器读出的信号来检测闪烁，则所述控制器进行控制以在所述第二驱动控制中利用用于闪烁检测的拍摄条件来驱动所述第二像素组，并且所述检测器基于从所述第二像素组读出的检测信号来检测闪烁。

此外，根据本发明，提供了一种电子装置的控制方法，所述电子装置配备有图像传感器，所述图像传感器具有被划分为包括第一像素组和第二像素组的多个像素组的多个像素，并且能够利用针对各像素组独立设置的拍摄条件来驱动各像素组，所述控制方法包括：进行控制以在第一驱动控制与第二驱动控制之间切换，在所述第一驱动控制中，利用相同的拍摄条件来驱动所述第一像素组和所述第二像素组，在所述第二驱动控制中，利用彼此不同的拍摄条件来驱动所述第一像素组和所述第二像素组；基于从所述图像传感器读出的信号来检测闪烁；以及判断是否能够基于通过所述第二驱动控制从所述图像传感器读出的信号来检测闪烁，其中，如果判断为能够基于通过所述第二驱动控制从所述图像传感器读出的信号来检测闪烁，则进行控制使得在所述第二驱动控制中利用用于闪烁检测的拍摄条件来驱动所述第二像素组，并且基于从所述第二像素组读出的检测信号来检测闪烁。

此外，根据本发明，提供了一种非暂时性计算机可读存储介质，所述存储介质存储能够由计算机执行的程序，其中，所述程序包括用于使所述计算机用作电子装置的程序代码，所述电子装置配备有图像传感器，所述图像传感器具有被划分为包括第一像素组和第二像素组的多个像素组的多个像素，并且能够利用针对各像素组独立设置的拍摄条件来驱动各像素组，并且所述电子装置包括：控制器，其在第一驱动控制与第二驱动控制之间切换，在所述第一驱动控制中，利用相同的拍摄条件来驱动所述第一像素组和所述第二像素组，在所述第二驱动控制中，利用彼此不同的拍摄条件来驱动所述第一像素组和所述第二像素组；检测器，其基于从所述图像传感器读出的信号来检测闪烁；以及判断单元，其判断所述检测器是否能够基于通过所述第二驱动控制从所述图像传感器读出的信号来检测闪烁，其中，如果所述判断单元判断为能够基于通过所述第二驱动控制从所述图像传感器读出的信号来检测闪烁，则所述控制器进行控制以在所述第二驱动控制中利用用于闪烁检测的拍摄条件来驱动所述第二像素组，并且所述检测器基于从所述第二像素组读出的检测信号来检测闪烁。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

包含在说明书中并构成说明书的一部分的附图例示了本发明的实施例，并且与文字说明一起用来解释本发明的原理。

图1是示出根据本发明的实施例的数字无反光镜相机的示意性构造的图。

图2是示出根据实施例的图像传感器中的像素布置的示例的图。

图3A和图3B是根据实施例的用于在图像传感器的像素布置方面说明运动图像和闪烁检测图像的生成的图。

图4是根据实施例的第二驱动控制中的运动图像扫描和闪烁检测扫描的时序图。

图5是示出根据实施例的使用运动图像的闪烁检测和使用闪烁检测图像的闪烁检测的特征的图。

图6是示出根据实施例的在通过卷帘快门方法驱动图像传感器的情况下降低闪烁影响的方法的概念图。

图7是示出根据实施例的在通过全局快门方法驱动图像传感器的情况下降低闪烁影响的方法的概念图。

图8是示出根据第一实施例的闪烁检测控制和闪烁应对方法的流程图。

图9是示出根据第二实施例的闪烁检测控制的流程图。

图10是总结图9所示的处理的图。

图11A和图11B是示出根据变型例的闪烁检测控制的流程图。

具体实施方式

下文中将参照附图详细描述实施例。注意，以下实施例并不意图限制本发明的范围，并且并不限于需要在实施例中描述的所有特征的组合的发明。可以适当组合在实施例中描述的多个特征中的两个或多于两个特征。此外，对相同或相似的构造赋予相同的附图标记，并且省略其冗余描述。

在本实施例中，将描述数字无反光镜相机作为示例。然而，本发明可以应用于各种电子设备，只要它们具有实时取景图像显示功能和运动图像拍摄功能即可，并且可以应用于例如智能电话、便携式摄像机、具有相机的游戏机等。

图1是示出根据本实施例的数字无反光镜相机的示意性构造的图，并且主要包括相机主体100和摄像镜头200。在相机主体100中，附图标记101表示包括红外截止滤光器、低通滤光器等的诸如CCD或CMOS传感器等的图像传感器，并且被摄体的光学图像通过摄像镜头200形成在图像传感器101的光接收面上。图像传感器101对被摄体的光学图像进行光电转换，并且基于获得的电信号的图像被显示为实时取景图像或被记录为拍摄图像。从图像传感器101获得的电信号还用于检测闪烁。稍后将详细描述使用该电信号检测闪烁的方法。在图像传感器101中，可以根据被设置为拍摄设置信息的快门速度来控制电荷累积时段。

显示单元102例如由TFT液晶面板等构成。在取景时，实时显示由图像传感器101获取的图像和各种拍摄设置信息以实现实时取景。另外，可以根据用户操作来显示拍摄的图像并由用户确认。此外，触摸面板可以设置在显示单元102上并用作操作构件，并且触摸面板检测用户对显示单元102上显示的图标等的触摸操作，从而可以执行与在触摸位置处显示单元102上的显示内容相关联的功能。

CPU 103控制相机主体100的各个部分。CPU 103还控制图像传感器101和显示单元102。

接下来，将说明摄像镜头200。

附图标记201表示包括聚焦透镜的透镜组，并且可以通过移动聚焦透镜来调整聚焦状态。尽管透镜组201在图1中由一个透镜表示，但它实际上由多个透镜构成。附图标记202表示光圈，其调整要传递到相机中的光量。附图标记203表示控制摄像镜头200的各部分的CPU。除了控制透镜组201和光圈202之外，CPU 203还与相机主体100中的CPU 103通信，以向相机主体100提供诸如聚焦透镜的位置和光圈等的信息。

接下来，将描述本实施例中的图像传感器101的驱动方法。

图2是示出图像传感器101的像素布置的图，作为示例，示出了拜耳布置的像素布置。此外，本实施例的图像传感器101具有能够以行为单位独立控制的构造。此外，可以通过第一驱动控制或第二驱动控制来选择性地驱动图像传感器101，在第一驱动控制中，在相同拍摄条件下驱动图像传感器101的所有像素，在第二驱动控制中，使用不同的拍摄条件来驱动第一像素行(第一区域)和第二像素行(第二区域)。在第一驱动控制中，可以通过常规上通常使用的读取方法来驱动图像传感器101，并且可以控制图像传感器101以使得从所有像素中读出信号，或者在进行稀疏化和/或相加的同时读出信号。具体地，可以根据读取信号的预期用途、用户设置的分辨率和拍摄模式、读取信号的目的地标准、相机主体100的电力状态等来改变读取方法。

接下来，将参照图3A和图3B描述第二驱动控制。

图3A示出了从如图2所示布置的像素的第一像素组中读出信号并生成用于记录或显示的运动图像的方法的概念。此外，图3B示出了从如图2所示布置的像素的第二像素组中读出信号并生成要用于检测闪烁的图像(以下称为“闪烁检测图像”(检测信号))的方法的概念。在本实施例中，以三个像素行作为一个控制单位重复相同的读出控制。首先，在前三行中，从第一行和第三行读出信号作为第一像素组，并从第二行读出信号作为第二像素组。然后，在接下来的三行中，从第四行和第六行读出信号作为第一像素组，并从第五行读出信号作为第二像素组。

当重复这样的控制时，通过2/3稀疏化从第一像素组读出信号。结果，如图3A的中心所示的像素布置中，两个连续行的读出信号的颜色布置是相同的。在下面的描述中，这种读出扫描被称为“运动图像扫描”。如图3A的右侧的像素布置中所示，如果将通过运动图像扫描读取的两个连续行的信号在垂直方向上相加，则根据垂直方向上两个连续像素的R信号生成R'信号，根据两个连续像素的G信号生成G'信号，并根据两个连续像素的B信号生成B'信号。由于由以这种方式生成的R'、G'和B'信号组成的运动图像具有拜耳布置，因此可以将用于通常图像的相同图像处理应用于所生成的运动图像。

此外，由于通过1/3稀疏化从第二像素组中读出信号，因此可以获得具有如图3B右侧所示的拜耳布置的闪烁检测图像。在以下描述中，该读出扫描被称为“闪烁检测扫描”。

尽管这里仅描述了对应于X-Y寻址方法的像素布置，但是本发明不限于此。只要能够以行为单位独立地控制图像传感器，就可以以通常适用于CCD传感器的全局快门方法或通常适用于CMOS传感器的卷帘快门方法进行第二驱动控制。

图4是示出进行运动图像扫描和闪烁检测扫描的定时的示例的图，其中横轴示出了时间，纵轴示出了图像传感器101的垂直位置(行)。另外，斜实线指示进行运动图像扫描的定时，斜虚线表示进行闪烁检测扫描的定时。在图4所示的示例中，在运动图像的一帧时段期间，首先进行一次运动图像扫描，然后进行多次闪烁检测扫描。闪烁检测扫描不一定必须在各帧中进行，并且可以例如每多个帧进行。可以在各帧中进行闪烁检测扫描的次数取决于拍摄条件、图像传感器101的性能等，但是在各帧时段中进行一次运动图像扫描。另外，运动图像扫描不一定要首先进行，并且可以例如在进行闪烁检测扫描之后进行。

接下来，将参照图5的表来描述使用通过闪烁检测扫描获得的闪烁检测图像的闪烁检测方法的特征和使用运动图像的传统闪烁检测方法的特征。

首先，关于“拍摄条件会影响图像质量吗？”，可以使用诸如与运动图像扫描不同的曝光时段等的拍摄条件来进行闪烁检测扫描，这有助于闪烁检测。运动图像扫描必须根据显示设备和记录方法的标准、相机设置、用户设置等进行，以便获得运动图像。相比之下，闪烁检测图像既不显示也不记录，因此可以在自由拍摄条件下进行闪烁检测扫描。

接下来，关于“是否可以指定50Hz或60Hz？”，如下所述。对于运动图像，有两种主要的视频标准，一种是NTSC(国家电视***委员会)的视频标准，另一种是PAL(逐行倒相)标准。NTSC的传输速率标准是每秒29.97帧(≈30fps)，PAL的传输速率标准是每秒25帧，二者分别与120Hz和100Hz的闪动同步。结果，在使用运动图像进行闪烁检测的情况下，不能检测到100Hz或120Hz的闪动。

另一方面，在闪烁检测扫描中，可以如上所述自由地确定拍摄条件。因此，通过以不与120Hz或100Hz的闪动同步的90fps、180fps等来驱动图像传感器101，可以使用获得的闪烁检测图像来检测100Hz闪烁和120Hz闪烁二者。

接下来，将描述闪烁减少方法。如上所述，已知通过将电荷累积时段设置为闪烁周期的整数倍，可以拍摄闪烁的影响得到抑制的图像。即，无论使用运动图像还是闪烁检测图像来检测闪烁，都可以通过根据检测到的闪烁频率将运动图像的电荷累积时段设置为检测到的闪烁周期的整数倍，来降低闪烁的影响。

然而，如果帧速率高，则可能无法将电荷累积时段设置为闪烁周期的整数倍。例如，当在以120fps拍摄运动图像时检测到100Hz的闪动时，1/100秒比120fps的时段长，因此无法将各帧的电荷累积时段控制为能够降低闪烁的影响的闪烁周期的整数倍。这也适用于诸如200fps和240fps等的高速摄影。在这种情况下，代替控制曝光时段，可以通过对运动图像应用消除闪烁的影响的图像校正(增益)，来校正闪烁的影响。应用于使用卷帘快门拍摄的图像的图像校正方法与应用于使用全局快门拍摄的图像的图像校正方法不同。

图6是示出通过对使用卷帘快门拍摄的图像进行图像处理的闪烁减少方法的概念图。对于卷帘快门，由于电荷累积定时逐行不同，因此接收的光量由于光源的闪动而逐行不同。结果，亮度在图像的垂直方向上波动，如601所示。通过分析该亮度变化(602)并进行将各行乘以数字增益(603)的图像处理，可以校正闪烁(604)，数字增益(603)是垂直方向上亮度变化的倒数。

图7示出了用于校正通过使用全局快门拍摄的运动图像的方法的概念图。在全局快门方法中，在各帧图像的所有行中，电荷累积在同一定时开始和结束，使得不会因各帧图像中的闪烁而导致亮度变化。然而，当分析在时间方向上连续拍摄的多个图像的亮度时，由于接收的光量根据光源的闪动而在帧图像之间不同(701)，因此帧图像之间的亮度不同(702)。因此，分析帧图像之间的亮度变化(703)，并且对各帧图像应用消除闪动影响的校正增益(704)，以使帧图像之间的亮度均匀(705)。通过这样做，可以在连续观看帧图像时校正闪烁。

这里，在通过使用闪烁检测图像检测闪烁的情况下，不能通过使用增益来降低闪烁的影响。这是因为闪烁检测图像是在与运动图像不同的拍摄条件下拍摄的，并且光源的闪动对闪烁检测图像的影响与对运动图像的影响不同。在使用卷帘快门的情况下，在闪烁检测图像与运动图像之间条纹的数量和密度不同，并且在使用全局快门的情况下，在闪烁检测图像与运动图像之间亮度变化时段和在图像中出现的幅值不同。因此，即使能够从闪烁检测图像中检测到是否发生100Hz或120Hz的闪动，也无法计算出应用于运动图像的增益(图像处理系数)。

最后，功耗如下。即，当比较有闪烁检测扫描和没有闪烁检测扫描时的功耗时，与不进行闪烁检测扫描的情况相比，当进行闪烁检测扫描时，图像传感器101的功耗增加。此外，当仅进行第一驱动控制或运动图像扫描时，与传统情况相比，功耗不会改变。因此，当进行闪烁检测扫描时，与不进行闪烁检测扫描的情况相比，电池的消耗速度增大并且可以拍摄的图像的数量减少。

考虑到如上所述的使用运动图像的闪烁检测和使用闪烁检测图像的闪烁检测的特征，在第一实施例中，基于闪烁减少的能力来进行图8所示的控制。图8是示出在静止图像实时取景模式或运动图像模式下的闪烁检测和闪烁应对的流程图。当指示静止图像实时取景模式或运动图像模式时，开始图8所示的控制。

首先，在步骤S100中，判断是否可以进行第二驱动控制。如已经参照图2至图4描述的第二驱动控制那样，不用于生成运动图像的第二像素组用于生成闪烁检测图像。然而，由于例如在读出所有像素的模式下(诸如在需要高分辨率的4K运动图像模式下)不能确保第二像素组，因此不能进行第二驱动控制。在这种情况下，在步骤S107中开始第一驱动控制，在步骤S108中使用所获得的运动图像检测闪烁，并且在步骤S109判断是否发生闪烁。这里，闪烁的不存在包括实际上不存在闪烁的情况和即使如上所述发生闪烁也不能检测到闪烁的情况。

如果检测到闪烁，则处理进行到步骤S110以通过改变电荷累积时段或通过应用增益来降低运动图像中的闪烁的影响。另一方面，如果没有检测到闪烁，则处理进行到步骤S112以判断是否结束拍摄。如果拍摄没有结束，则处理返回到步骤S108，对下一个输入图像重复上述处理，如果拍摄结束，则结束处理。

另一方面，如果在步骤S100中判断为可以进行第二驱动控制，则在步骤S101中开始第二驱动控制。然后，使用通过第二驱动控制获取的闪烁检测图像进行闪烁检测，并且在步骤S102中判断是否发生闪烁。如果没有检测到闪烁，则处理进行到步骤S111。

如果在步骤S102中检测到闪烁，则处理进行到步骤S103，并且判断是否可以通过控制电荷累积时段来降低闪烁的影响。基于运动图像扫描的帧速率和检测到的闪烁的频率，来判断是否可以通过控制电荷累积时段来降低闪烁的影响。例如，如果运动图像扫描的帧速率是120fps并且检测到120Hz的闪烁，则可以通过将电荷累积时段设置为1/120秒来降低闪烁的影响。另一方面，如果在运动图像扫描的帧速率为120fps的情况下检测到100Hz闪烁，则由于不能将电荷累积时段设置为1/100秒，因此判断为不能降低闪烁的影响。即，比较闪烁的周期和运动图像扫描的帧速率，如果闪烁的周期等于或小于帧速率，则判断为可以通过控制电荷累积时段来降低闪烁的影响。如果在步骤S103中为“是”，则在步骤S104中，将运动图像扫描的电荷累积时段设置为可以降低闪烁的影响的电荷累积时段(闪烁周期的整数倍)，并且处理进行到步骤S111。

另一方面，如果在步骤S103中判断为不能通过控制电荷累积时段来降低闪烁的影响，则在步骤S105中通过分析运动图像的亮度来进行闪烁检测，并且计算在图像处理中应用于运动图像的增益值。然后，在步骤S106中，通过使用计算出的增益值的图像处理来校正闪烁对运动图像的影响，并且处理进行到步骤S111。

在步骤S111中，判断是否结束拍摄。如果拍摄没有结束，则处理返回到步骤S102，并且使用下一个输入的闪烁检测图像进行闪烁检测。如果拍摄结束，则处理结束。

如上所述，根据第一实施例，当图像传感器具有能够从图像传感器的一部分像素区域获取闪烁检测图像的构造时，闪烁检测方法根据闪烁减少方法而改变。这使得可以在各种拍摄条件下获得受闪烁影响较小的运动图像。

<第二实施例>

接下来，将描述本发明的第二实施例。由于第二实施例中的装置的构造与第一实施例中的相同，因此将省略对其的描述。

在第二实施例中，将参照图9的流程图描述从参照图5描述的功耗的角度切换驱动控制方法的控制。

首先，在步骤S200中，判断是否能够进行第二驱动控制。例如，如果设置了与运动图像的读出操作有关的设置(诸如4K运动图像模式)，则不能进行包括闪烁检测扫描的第二驱动控制。此外，由于伴随闪烁检测扫描的第二驱动控制消耗大量电力，因此在第二实施例中，在设置了优先省电的相机设置(诸如省电优先设置)的情况下不进行第二驱动控制。

如果不能进行第二驱动控制，则处理进行到步骤S211以开始第一驱动控制。如上所述，在第一驱动控制中，在相同的拍摄条件下驱动图像传感器101的所有像素，但不需要从所有像素中读出信号，并且可以根据要求的分辨率进行稀疏化读取和相加读取。在接下来的步骤S212中，使用通过第一驱动控制获得的运动图像进行闪烁检测，并且处理进行到步骤S213。

另一方面，在可以进行第二驱动控制的情况下，在步骤S202和S203中检查相机的电力状态。如果经由电源线、USB线等从外部供电(在步骤S202中的“是”)，则不会发生由于第二驱动控制引起的功耗问题，因此处理进行到步骤S205以开始第二驱动控制。这里，例如，以0.2秒的间隔进行闪烁检测扫描。然后，处理进行到步骤S208。

另一方面，如果没有从外部供电并且剩余电池水平等于或小于预定阈值Tb1(例如，10％)(步骤S203中的“是”)，则认为剩余电力不多，并且处理进行到步骤S211，以开始第一驱动控制。然后，在步骤S212中，使用通过第一驱动控制获得的运动图像进行闪烁检测，并且处理进行到步骤S213。

在步骤S213中，判断是否结束拍摄。如果拍摄没有结束，则处理返回到步骤S212，为下一个输入图像检测闪烁，如果拍摄结束，则结束处理。

此外，在步骤S203中，即使没有从外部供电，如果剩余电池水平高于预定阈值Tb1(例如，10％)(在步骤S203中的“否”)，则并不意味着剩余电力很低，并且处理进行到步骤S204以进一步判断剩余电池水平。例如，如果剩余电池水平大于预定阈值Tb2(例如，50％)并且电力状态充足(在50％至100％之间的范围内)，则处理进行到步骤S206，并且开始第二驱动控制。这里，例如，以1秒的间隔进行闪烁检测扫描，并且处理进行到步骤S208。

在步骤S208中，仅使用闪烁检测图像来检测闪烁，并且处理进行到步骤S210。

另一方面，如果剩余电池水平等于或小于预定阈值Tb2(10％至50％的范围)(步骤S204中的“是”)，则电力状态不低，但期望抑制功耗，因此处理进行到步骤S207，并且开始第二驱动控制。这里，例如，以10秒的间隔进行闪烁检测扫描。然后，处理进行到步骤S209。在步骤S209中，在存在闪烁检测图像的定时使用闪烁检测图像、而在不存在闪烁检测图像的定时使用运动图像，来进行闪烁检测，并且处理进行到步骤S210。

在步骤S210中，判断是否结束拍摄。如果拍摄没有结束，则处理返回步骤S202，并重复上述处理。如果拍摄结束，则处理结束。

图10是上述图9的处理的概要。当正从外部供电时，无需担心剩余电池，因此进行第二驱动控制，并以高频率的第一间隔(例如，0.2秒的间隔)进行闪烁检测扫描。然后，仅使用闪烁检测图像进行闪烁检测。另一方面，即使没有从外部供电，当剩余电池充足时(例如，50％至100％)，也进行第二驱动控制并且以比从外部供电的状态的频率低的频率的第二间隔(例如，1秒的间隔)进行闪烁检测扫描。然后，仅使用闪烁检测图像进行闪烁检测。

另外，如果没有从外部供电并且剩余电池电力低(10％至50％)，则优先抑制功耗，并且在第二驱动控制中，将闪烁检测扫描的间隔进一步延长到第三间隔(例如，10秒的间隔)。然后，当生成闪烁检测图像时，使用闪烁检测图像进行闪烁检测，并且在没有生成闪烁检测图像时，使用运动图像进行闪烁检测。

如上面参照图5所描述的，使用运动图像只能检测50Hz或60Hz的闪烁。因此，在无法获取闪烁检测图像的情况下，总是存在具有无法检测到的频率的闪烁。考虑到上述情况，虽然间隔较长，但周期性地进行闪烁检测扫描，并且在闪烁检测扫描之间，使用运动图像不断检测闪烁，使得能够实现功耗被抑制并且检测精度未显著降低的良好平衡的闪烁检测。

此外，如果没有从外部供电并且剩余电池电量极低(10％或更少)，或者当无法进行第二驱动控制时，对降低功耗赋予最高优先级，不进行第二驱动控制，并且使用通过通常拍摄获得的运动图像进行闪烁检测。

在第二实施例中，示出了以规则的时间间隔周期性地进行闪烁检测扫描的示例，但是并不总是需要周期性地进行闪烁检测扫描。例如，可以进行控制，使得在运动图像中监视被摄体的变化，并且如果发生了被摄体的变化，则重新开始闪烁检测扫描，或者基于使用运动图像的闪烁检测结果监视闪烁水平的变化，并且如果检测到闪烁水平的变化，则重新开始闪烁检测扫描。通过在使用运动图像执行闪烁检测的同时根据条件持续地或有条件地进行闪烁检测扫描，可以在抑制功耗的同时实现基本上良好的闪烁检测性能。

此外，在本实施例中，作为用于切换闪烁检测控制的阈值的示例，给出了10％、50％等的剩余电池水平，但是可以使用其他百分比。此外，可以根据诸如运动图像模式和静止图像模式等的相机设置来改变百分比。

如上所述，根据第二实施例，闪烁检测方法根据供电状态而改变。这使得可以根据供电状态进行良好的闪烁检测。

需要注意的是，根据检测到的闪烁周期，可以如第一实施例的图8的步骤S103及后续步骤中所描述的那样降低闪烁的影响。

<变型例>

在第一和第二实施例中，已经描述了在运动图像拍摄期间进行闪烁检测扫描的处理，然而，可以在相机黑屏(black out)时进行闪烁检测。例如，可以在刚接通电源之后的黑屏期间，或者在响应于按下释放按钮而进行的静止图像拍摄期间的黑屏期间，进行闪烁检测。由于在黑屏期间的闪烁检测中，在显示单元102上不显示拍摄图像，因此可以使用运动图像或闪烁检测图像来进行闪烁检测，或者可以进行使用其他方法的闪烁检测。

在本变型例中，包括这种情况，将参照图11A和图11B所示的流程图来描述从接通电源到相机状态转变的整个闪烁检测控制的处理的流程。

首先，在步骤S300中，在接通电源时的黑屏期间进行闪烁检测。随后，在步骤S301中，判断接通电源时的模式是静止图像模式还是运动图像模式。在静止图像模式的情况下，在步骤S302中判断实时取景显示的帧速率，如果帧速率为120fps以上，则在步骤S305中进行以第三间隔进行上述闪烁检测扫描的第二驱动控制，并使用运动图像和闪烁检测图像二者进行闪烁检测，并且判断是否发生闪烁。

如果在步骤S302中实时取景显示的帧速率小于120fps，则在步骤S303中判断电力状态。如果从外部供电或者如果剩余电池充足，则处理进行到步骤S304，在步骤S304中，进行以第一间隔或第二间隔进行上述闪烁检测扫描的第二驱动控制，并且仅使用闪烁检测图像进行闪烁检测。此外，如果没有从外部供电但剩余电池足够，则在步骤S305中进行以第三间隔进行上述闪烁检测扫描的第二驱动控制，并且使用闪烁检测图像和运动图像二者来进行闪烁检测。如果没有从外部供电并且剩余电池不多，则在步骤S306中进行第一驱动控制，并且仅使用运动图像进行闪烁检测。

在步骤S307中在实时取景显示期间接收到静止图像拍摄指令的情况下，在步骤S308中在从实时取景显示切换到静止图像拍摄的定时进行闪烁检测，然后在步骤S309中进行静止图像拍摄。在完成静止图像拍摄之后，处理再次返回步骤S301以判断静止图像模式或运动图像模式。

接下来，将描述在步骤S301中判断为运动图像模式的情况。在运动图像模式下，在不能进行稀疏化读出的诸如4K运动图像的驱动模式下，不能进行闪烁检测扫描。因此，在步骤S310中判断是否可以进行闪烁检测扫描。如果无法进行闪烁检测扫描，则在步骤S315中进行第一驱动控制，并且仅使用运动图像进行闪烁检测。

在步骤S310中判断为可以进行闪烁检测扫描的情况下，则在步骤S311中，判断实时取景显示的帧速率是否小于120fps。如果判断为帧速率为120fps以上，则在步骤S314开始以第三间隔进行上述闪烁检测扫描的第二驱动控制，并且使用闪烁检测图像和运动图像二者进行闪烁检测。

如果帧速率小于120fps，则在步骤S312中判断电力状态。与静止图像实时取景显示的情况相同，如果从外部供电或剩余电池充足，则处理进行到步骤S313，进行以第一间隔或第二间隔进行上述闪烁检测扫描的第二驱动控制，并且仅使用闪烁检测图像进行闪烁检测。此外，如果没有从外部供电但剩余一定电池量，则在步骤S314开始以第三间隔进行上述闪烁检测扫描的第二驱动控制，并且使用闪烁检测图像和运动图像二者进行闪烁检测。如果没有从外部供电并且剩余电池量不多，则在步骤S315中进行第一驱动控制，并且仅使用运动图像进行闪烁检测。

在进行闪烁检测处理的同时，处理再次返回到步骤S301以检查静止图像模式或运动图像模式，并且继续闪烁检测处理。

<其他实施例>

可以将本发明应用于由多个设备构成的***或由一个设备构成的装置。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给***或装置，该***或装置的计算机或是中央处理单元(CPU)、微处理单元(MPU)读出并执行程序的方法。

尽管已经参照示例性实施例描述了本发明，但是应当理解，本发明不限于所公开的示例性实施例。所附权利要求的范围应被赋予最宽泛的解释，以涵盖所有这样的修改以及等同的结构和功能。

Claims (15)

1.一种电子装置，其包括：

图像传感器，其具有被划分为包括第一像素组和第二像素组的多个像素组的多个像素，并且能够利用针对各像素组独立设置的拍摄条件来驱动各像素组；

控制器，其在第一驱动控制与第二驱动控制之间切换，在所述第一驱动控制中，利用相同的拍摄条件来驱动所述第一像素组和所述第二像素组，在所述第二驱动控制中，利用彼此不同的拍摄条件来驱动所述第一像素组和所述第二像素组；

检测器，其基于从所述图像传感器读出的信号来检测闪烁；以及

判断单元，其判断所述检测器是否能够基于通过所述第二驱动控制从所述图像传感器读出的信号来检测闪烁，

其中，如果所述判断单元判断为能够基于通过所述第二驱动控制从所述图像传感器读出的信号来检测闪烁，则所述控制器进行控制以在所述第二驱动控制中利用用于闪烁检测的拍摄条件来驱动所述第二像素组，并且所述检测器基于从所述第二像素组读出的检测信号来检测闪烁。

2.根据权利要求1所述的电子装置，其中，如果所述判断单元判断为不能基于通过所述第二驱动控制从所述图像传感器读出的信号来检测闪烁，则所述控制器进行控制以进行所述第一驱动控制，并且

在进行所述第一驱动控制的情况下，所述检测器基于从所述图像传感器读出的图像来检测闪烁。

3.根据权利要求1所述的电子装置，其中，在从所述图像传感器读出的图像的分辨率高于预定阈值的情况下，所述判断单元判断为不能基于通过所述第二驱动控制从所述图像传感器读出的信号来检测闪烁。

4.根据权利要求1所述的电子装置，其中，在检测到闪烁并且闪烁的周期等于或小于从所述图像传感器读出的图像的帧速率的情况下，所述控制器设置所述第一像素组的拍摄条件，使得所述图像传感器的电荷累积时段为所述闪烁的周期的整数倍。

5.根据权利要求1所述的电子装置，其中，所述电子装置还包括校正器，该校正器校正从所述图像传感器读出的图像中的闪烁的影响，

其中，在检测到闪烁并且闪烁的周期比从所述图像传感器读出的图像的帧速率长的情况下，所述检测器基于通过所述第一驱动控制从所述图像传感器读出的图像、或通过所述第二驱动控制从所述第一像素组读出的信号，来检测图像内的亮度变化或图像之间的亮度变化，并且

其中，所述校正器将被设置为校正亮度变化的增益应用于图像。

6.根据权利要求1所述的电子装置，其中，所述控制器还根据电力状态在所述第一驱动控制与所述第二驱动控制之间切换。

7.根据权利要求6所述的电子装置，其中，在从所述图像传感器读出的图像的分辨率高于预定阈值的情况下，所述判断单元判断为不能基于通过所述第二驱动控制从所述图像传感器读出的信号来检测闪烁。

8.根据权利要求6所述的电子装置，其中，在设置了优先降低功耗的省电优先设置的情况下，所述判断单元判断为不能基于通过所述第二驱动控制从所述图像传感器读出的信号来检测闪烁。

9.根据权利要求6所述的电子装置，其中，在要进行所述第二驱动控制的情况下，如果电力状态为第一状态，则所述控制器使得驱动所述第二像素组的频率比电力状态为低于所述第一状态的第二状态的情况高。

10.根据权利要求9所述的电子装置，其中，所述控制器进行控制以：

在从外部供电的第一电力状态的情况下，在所述第二驱动控制中以第一频率驱动所述第二像素组；

在不从外部供电并且电力状态大于预定的第一阈值的第二电力状态的情况下，在所述第二驱动控制中，以低于所述第一频率的第二频率驱动所述第二像素组；

在不从外部供电并且电力状态等于或小于所述第一阈值且大于比所述第一阈值小的第二阈值的第三电力状态的情况下，在所述第二驱动控制中以低于所述第二频率的第三频率驱动所述第二像素组；以及

在不从外部供电并且电力状态等于或小于所述第二阈值的第四电力状态的情况下，进行所述第一驱动控制。

11.根据权利要求10所述的电子装置，其中，所述检测器：

在所述第一电力状态和所述第二电力状态的情况下，基于所述检测信号检测闪烁；

在所述第三电力状态的情况下，基于所述检测信号和从所述第一像素组读出的信号检测闪烁；并且

在所述第四电力状态的情况下，基于通过所述第一驱动控制获得的信号检测闪烁。

12.根据权利要求1所述的电子装置，其中，在自打开所述电子装置到准备进行摄像的时段期间，所述控制器通过所述第一驱动控制或所述第二驱动控制来控制所述图像传感器。

13.根据权利要求1所述的电子装置，其中，在指示静止图像拍摄的情况下，在开始所述静止图像拍摄之前，所述控制器通过所述第一驱动控制或所述第二驱动控制来控制所述图像传感器。

14.一种电子装置的控制方法，所述电子装置配备有图像传感器，所述图像传感器具有被划分为包括第一像素组和第二像素组的多个像素组的多个像素，并且能够利用针对各像素组独立设置的拍摄条件来驱动各像素组，所述控制方法包括：

进行控制以在第一驱动控制与第二驱动控制之间切换，在所述第一驱动控制中，利用相同的拍摄条件来驱动所述第一像素组和所述第二像素组，在所述第二驱动控制中，利用彼此不同的拍摄条件来驱动所述第一像素组和所述第二像素组；

基于从所述图像传感器读出的信号来检测闪烁；以及

判断是否能够基于通过所述第二驱动控制从所述图像传感器读出的信号来检测闪烁，

其中，如果判断为能够基于通过所述第二驱动控制从所述图像传感器读出的信号来检测闪烁，则进行控制使得在所述第二驱动控制中利用用于闪烁检测的拍摄条件来驱动所述第二像素组，并且基于从所述第二像素组读出的检测信号来检测闪烁。

15.一种非暂时性计算机可读存储介质，所述存储介质存储能够由计算机执行的程序，其中，所述程序包括用于使所述计算机用作电子装置的程序代码，所述电子装置配备有图像传感器，所述图像传感器具有被划分为包括第一像素组和第二像素组的多个像素组的多个像素，并且能够利用针对各像素组独立设置的拍摄条件来驱动各像素组，并且所述电子装置包括：

控制器，其在第一驱动控制与第二驱动控制之间切换，在所述第一驱动控制中，利用相同的拍摄条件来驱动所述第一像素组和所述第二像素组，在所述第二驱动控制中，利用彼此不同的拍摄条件来驱动所述第一像素组和所述第二像素组；

检测器，其基于从所述图像传感器读出的信号来检测闪烁；以及

判断单元，其判断所述检测器是否能够基于通过所述第二驱动控制从所述图像传感器读出的信号来检测闪烁，

其中，如果所述判断单元判断为能够基于通过所述第二驱动控制从所述图像传感器读出的信号来检测闪烁，则所述控制器进行控制以在所述第二驱动控制中利用用于闪烁检测的拍摄条件来驱动所述第二像素组，并且所述检测器基于从所述第二像素组读出的检测信号来检测闪烁。

Images