JP2008067132A - Imaging apparatus - Google Patents
Imaging apparatus Download PDFInfo
- Publication number
- JP2008067132A JP2008067132A JP2006243710A JP2006243710A JP2008067132A JP 2008067132 A JP2008067132 A JP 2008067132A JP 2006243710 A JP2006243710 A JP 2006243710A JP 2006243710 A JP2006243710 A JP 2006243710A JP 2008067132 A JP2008067132 A JP 2008067132A
- Authority
- JP
- Japan
- Prior art keywords
- frame rate
- image
- imaging device
- flicker
- correction value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、撮像装置に関し、詳しくは、明るさが周期的に変動する光源下で撮影する際のフリッカを抑制するようにした撮像装置に関する。 The present invention relates to an imaging apparatus, and more particularly, to an imaging apparatus that suppresses flicker when shooting under a light source whose brightness varies periodically.
人工光源を主光源または補助光源として、デジタルカメラやビデオカメラ等の撮像装置で被写体を撮影する場合、その人工光源と撮像デバイスの組み合わせによっては、撮影された画像中に横帯状の輝度変化縞(フリッカ)を生じることがある。 When a subject is photographed with an imaging device such as a digital camera or a video camera using an artificial light source as a main light source or an auxiliary light source, depending on the combination of the artificial light source and the imaging device, a horizontal band-like luminance change stripe ( Flicker).
フリッカを生じる典型的な人工光源と撮像デバイスの組み合わせは、非インバータ型の蛍光灯と、CMOSセンサ等のXYアドレス式の撮像デバイスの組み合わせである。XYアドレス式の撮像デバイスは、Xアドレス(列アドレス)とYアドレス(行アドレス)の指定により、その交点に位置する画素の情報を自由に読み出すことができる撮像デバイスである。CMOSセンサはその代表例である。 A typical combination of an artificial light source and an imaging device that generates flicker is a combination of a non-inverter type fluorescent lamp and an XY address type imaging device such as a CMOS sensor. An XY addressing imaging device is an imaging device that can freely read out information on a pixel located at the intersection point by specifying an X address (column address) and a Y address (row address). A CMOS sensor is a typical example.
図7(a)は、フリッカを生じる可能性がある撮影状態を示す図である。この図において、室内1の天井には非インバータ型の蛍光灯2が取り付けられており、その室内1で、撮影者3により、CMOSセンサ等のXYアドレス式の撮像デバイスが組み込まれた撮像装置4(デジタルカメラまたはデジタルビデオカメラ)を使用した、蛍光灯2を主光源とする被写体5の撮影が行われているものとする。
FIG. 7A illustrates a shooting state in which flicker may occur. In this figure, a non-inverter type
非インバータ型の蛍光灯2は、商用電源周波数の半サイクル毎に蛍光放電を繰り返すものであるから、たとえば、50Hzの商用電源とすれば、その半サイクルの周期(1/100秒=10ミリ秒、つまり、商用電源周波数の倍の周期)で明るさが変動する。なお、図ではミリ秒をmsと表記している。
Since the non-inverter type
図7(b)は、蛍光灯の光量変動とCMOSセンサ等のXYアドレス式の撮像デバイスの読み取り動作との対応関係図である。この図において、蛍光灯2の明るさ(光量)は、上記のとおり、商用電源周波数の倍の周期(10ミリ秒)で変動しているが、このような蛍光灯2の元で、CMOSセンサ等のXYアドレス式の撮像デバイスが組み込まれた撮像装置4を用いて被写体5の撮影を行った場合、その撮影画像中に横帯状の輝度変化縞(フリッカ)を生じる。
FIG. 7B is a correspondence diagram between the light quantity fluctuation of the fluorescent lamp and the reading operation of an XY address type imaging device such as a CMOS sensor. In this figure, the brightness (light quantity) of the
その理由を説明すると、CMOSセンサ等のXYアドレス式の撮像デバイスにおける通常の画素情報の読み出しは、CCDセンサのような全画素同時読み出しではなく、ローリングシャッターなどとも呼ばれる、ライン毎の線順次読み出しだからである。すなわち、図7(b)に示すように、撮像デバイスの第1ライン(L1)、第2ライン(L2)、第3ライン(L3)・・・・第nライン(Ln)の順番で少しずつ時間軸方向にズレながら画素情報が読み出されるからである。 The reason for this will be explained. Normal pixel information readout in an XY addressing imaging device such as a CMOS sensor is not a simultaneous readout of all pixels as in a CCD sensor, but a line-sequential readout for each line, also called a rolling shutter. It is. That is, as shown in FIG. 7B, the first line (L1), the second line (L2), the third line (L3),..., The nth line (Ln) of the imaging device little by little. This is because pixel information is read out while shifting in the time axis direction.
図7(b)において、ハッチングを付したL1〜Lnは、一つの画像(以下、フレームともいう)を構成する各ラインを示しており、これらのラインは少しずつ(通常は1画素クロックずつ)時間軸方向にずれている。したがって、L1〜Lnの明るさ(輝度値)は、それぞれ同時刻の蛍光灯2の明るさに対応するから、ライン毎の明るさが一様でなくなり、その結果、画像中に横帯状の輝度変化縞(フリッカ)を生じるのである。
In FIG. 7B, hatched L1 to Ln indicate each line constituting one image (hereinafter also referred to as a frame), and these lines are little by little (usually one pixel clock). It is shifted in the time axis direction. Therefore, since the brightness (luminance value) of L1 to Ln corresponds to the brightness of the
フリッカの抑制技術としては、たとえば、下記の特許文献1に記載のものが知られている。この技術では、CMOSセンサ等のXYアドレス式の撮像デバイスによって撮影された画像信号を、その1水平期間以上の時間にわたって積分し、隣接するフィールドにおける積分値の差分値を連続する3フィールドにおける積分値の平均値で正規化し、その正規化後の積分値を離散フーリエ変換してスペクトルを抽出し、そのスペクトルからフリッカ係数を推定し、そのフリッカ係数を用いて画像信号中のフリッカ成分の抑制を行っている。
As a flicker suppression technique, for example, a technique described in
しかしながら、上記の特許文献1に記載の技術は、以下の理由により、動きを伴う被写体の撮影画像に対するフリッカの抑制が不十分であるという問題がある。
However, the technique described in
すなわち、同文献においては、「隣接するフィールドにおける積分値の差分値を連続する3フィールドにおける積分値の平均値で正規化」するとしており、この“3フィールド”は、同文献の段落「0235」及び図28、図29の記載より、1フィールド周期が1/60秒であるから、3×(1/60秒)=0.05秒の時間にわたって連続的に取得される3つのフィールドであると認められる。 That is, in the document, “the difference value of the integral values in adjacent fields is normalized by the average value of the integral values in three consecutive fields”, and this “three fields” is a paragraph “0235” of the document. 28 and FIG. 29, since one field period is 1/60 second, 3 × (1/60 seconds) = three fields acquired continuously over a time of 0.05 seconds. Is recognized.
上記の時間(0.05秒)は、通常のカメラのシャッター速度に換算して「1/20(秒)」である。一般的にこの程度のシャッター速度は低速シャッターの範囲に入るので、とりわけ動きを伴う被写体を写し込む場合、3つのフィールドの各々における被写体の位置が微妙にずれてしまうことが避けられない。 The above time (0.05 seconds) is “1/20 (second)” in terms of the shutter speed of a normal camera. In general, such a shutter speed falls within the range of a low-speed shutter. Therefore, particularly when a subject with motion is photographed, it is inevitable that the subject position in each of the three fields is slightly shifted.
図8は、動きを伴う被写体を1/60秒周期で撮影した3つのフィールドを示す図である。この図において、第1〜第3のフィールドF1〜F3には、いずれも同一の被写体6(この図では右から左へと走行する自動車)が写っているが、各々のフィールドF1〜F3に写し込まれている被写体6の位置は異なっている。このため、これらの3つのフィールドF1〜F3を前記の特許文献1の技術に適用して、「隣接するフィールド“F1とF2、F2とF3”における積分値の差分値を連続する3フィールド“F1〜F3”における積分値の平均値で正規化」したとしても、これら3つのフィールドF1〜F3の被写体6の位置が異なっているのであるから、極端には、これら3つのフィールドF1〜F3は別々の画像であるともいえるから、とりわけ、動きを伴う被写体の撮影画像に対する特許文献1におけるフリッカ係数は不正確なものとならざるを得ず、結局、動きを伴う被写体の撮影画像に対するフリッカの抑制が不十分となってしまうという問題点が避けられない。
FIG. 8 is a diagram showing three fields in which a subject with motion is photographed at a 1/60 second period. In this figure, the same subject 6 (a car traveling from right to left in this figure) is shown in each of the first to third fields F1 to F3, but is shown in each field F1 to F3. The position of the inserted
そこで、本発明は、動きを伴う被写体の撮影画像に対するフリッカ抑制を充分に行うことができるようにした撮像装置を提供することを目的とする。 SUMMARY An advantage of some aspects of the invention is that it provides an image pickup apparatus that can sufficiently suppress flicker on a captured image of a subject with movement.
請求項1記載の発明は、ローリングシャッター式の撮像デバイスを具備する撮像装置において、前記撮像デバイスのフレームレートを高フレームレートと低フレームレートのいずれか一方に設定するフレームレート設定手段と、前記フレームレート設定手段によって、前記撮像デバイスのフレームレートが高フレームレートに設定されているときに、その撮像デバイスから周期的に出力される複数枚の高フレームレート画像に基づいて、フリッカ補正値を演算するフリッカ補正値演算手段と、前記フレームレート設定手段によって、前記撮像デバイスのフレームレートが低フレームレートに設定されているときに、その撮像デバイスから出力される低フレームレート画像を、前記フリッカ補正値を用いて補正するフリッカ補正手段とを備えたことを特徴とする撮像装置である。
請求項2記載の発明は、前記フリッカ補正値演算手段は、前記撮像デバイスから周期的に出力される複数枚の高フレームレート画像のフレーム内積算値を各画像毎に求め、各画像のフレーム内積算値の平均値をフリッカ補正値とすることを特徴とする請求項1記載の撮像装置である。
請求項3記載の発明は、さらに、前記撮像デバイスから出力される低フレームレート画像を縦方向に複数のブロックに等分割する画像分割手段を備え、前記フリッカ補正手段は、このブロック単位にフリッカ補正をするものであって、前記フリッカ補正値演算手段は、前記撮像デバイスから周期的に出力される複数枚の高フレームレート画像のフレーム内積算値を各画像毎に求め、且つ、前記複数のブロックの各々に対応したフレーム内積算値の平均値を、前記フリッカ補正値とすることを特徴とする請求項1記載の撮像装置である。
According to a first aspect of the present invention, there is provided an imaging apparatus including a rolling shutter type imaging device, frame rate setting means for setting a frame rate of the imaging device to one of a high frame rate and a low frame rate, and the frame When the frame rate of the imaging device is set to a high frame rate by the rate setting means, a flicker correction value is calculated based on a plurality of high frame rate images periodically output from the imaging device. When the frame rate of the imaging device is set to a low frame rate by the flicker correction value calculating means and the frame rate setting means, the low frame rate image output from the imaging device is converted to the flicker correction value. And flicker correction means for correcting by using Preparative an imaging apparatus according to claim.
According to a second aspect of the present invention, the flicker correction value calculating means obtains an intra-frame integrated value of a plurality of high frame rate images periodically output from the imaging device for each image, The imaging apparatus according to
The invention according to
本発明では、複数枚の高フレームレート画像によって、周期的な光量変動を正確に検出でき、かかる光量変動に起因して発生する、低フレームレート画像中の横帯状の輝度変化縞(フリッカ)を抑制することができる。 In the present invention, periodic light quantity fluctuations can be accurately detected from a plurality of high frame rate images, and horizontal band-like luminance change fringes (flicker) in a low frame rate image caused by such light quantity fluctuations are detected. Can be suppressed.
以下、本発明の実施形態を、図面を参照しながら説明する。なお、以下の説明における様々な細部の特定ないし実例および数値や文字列その他の記号の例示は、本発明の思想を明瞭にするための、あくまでも参考であって、それらのすべてまたは一部によって本発明の思想が限定されないことは明らかである。また、周知の手法、周知の手順、周知のアーキテクチャおよび周知の回路構成等(以下「周知事項」)についてはその細部にわたる説明を避けるが、これも説明を簡潔にするためであって、これら周知事項のすべてまたは一部を意図的に排除するものではない。かかる周知事項は本発明の出願時点で当業者の知り得るところであるので、以下の説明に当然含まれている。 Embodiments of the present invention will be described below with reference to the drawings. It should be noted that the specific details or examples in the following description and the illustrations of numerical values, character strings, and other symbols are only for reference in order to clarify the idea of the present invention, and the present invention may be used in whole or in part. Obviously, the idea of the invention is not limited. In addition, a well-known technique, a well-known procedure, a well-known architecture, a well-known circuit configuration, and the like (hereinafter, “well-known matter”) are not described in detail, but this is also to simplify the description. Not all or part of the matter is intentionally excluded. Such well-known matters are known to those skilled in the art at the time of filing of the present invention, and are naturally included in the following description.
図1は、撮像装置の構成図である。この図において、撮像装置9は、固定または可変の撮影画角αに存在する不図示の被写体の二次元画像を、すくなくとも高低二つのフレームレートのいずれかで出力することができる撮像部10を備える。この撮像部10は、撮影レンズや絞り機構、焦点合わせ機構(及び必要であればズーム機構)を含む光学系11と、XYアドレス式の撮像デバイス12(典型的にはCMOSセンサ)とで構成される。撮像部10の動作(絞りの大きさやズーム倍率、つまり撮影画角αの調整並びに焦点合わせ、及び、撮像デバイス12の露光並びに読み出し動作やフレームレート)は、制御部13からの制御信号によって適宜にコントロールされる。
FIG. 1 is a configuration diagram of an imaging apparatus. In this figure, an
上記のとおり、撮像部10(正確には、撮像デバイス12)のフレームレートは、制御部13からの制御信号に従って、すくなくとも高低二つのフレームレートのいずれかに設定される。ここで、低フレームレートとは通常の撮影に用いられる撮像デバイス12のフレームレートであり、高フレームレートとは、その低フレームレートのN倍のフレームレートのことをいう。たとえば、低フレームレートを300fps(fps:フレーム/秒)とし、N=4とすれば、高フレームレートは300×4=1200fpsになる。かかる高フレームレートは、原理上は、撮像デバイス12の動作周波数をN倍に高めることによって実現可能であるが、撮像デバイス12の種類によっては動作上の制限により、動作周波数をN倍に高めることができないことがある。このような場合、CMOSセンサ等のXYアドレス式の撮像デバイス12は、任意範囲の画素領域だけを部分読み出しできるため、動作周波数を高めずとも、上記のような高フレームレートを容易に達成することができる。たとえば、動作周波数をそのままにして、CMOSセンサ等のXYアドレス式の撮像デバイス12の1/Nの画素領域を部分読み出しすれば、読み出しに要する時間が単純計算で1/Nになるので、フレームレートをN倍に高めることができる。
As described above, the frame rate of the imaging unit 10 (more precisely, the imaging device 12) is set to at least one of two high and low frame rates according to the control signal from the
以下、説明の便宜上、低フレームレートを300fps、高フレームレートをそのN=4倍の1200fpsとする。 Hereinafter, for convenience of explanation, the low frame rate is set to 300 fps, and the high frame rate is set to 1200 fps that is N = 4 times.
詳細は後述するが、この撮像部10は、フリッカ抑制を必要とする画像撮影において、高フレームレート(1200fps)で動作する光量変動検出期間、低フレームレート(300fps)で動作する実撮影期間、及び、その間の所定長の切替期間の3つの期間で動作する。つまり、「光量変動検出期間」から「切替期間」を経て「実撮影期間」に至る3つの期間遷移を伴いながら、フリッカ抑制を必要とする画像撮影を行う。ここで、「光量変動検出期間」は、非インバータ型蛍光灯(図7の蛍光灯2参照)の光量変動に伴うフリッカ成分を検出するための期間であり、「実撮影期間」は、その蛍光灯を主光源または補助光源として任意の被写体を実際に撮影し、その撮影画像を取得・記録するための期間であり、「切替期間」は、それらの両期間の遷移に必要な期間である。
As will be described in detail later, the
このように、フリッカ抑制を必要とする画像撮影においては、撮像部10は、まず、「光量変動検出期間」で高フレームレート(1/1200秒周期=0.8ミリ秒周期)の画像を所定枚数Mだけ出力する。この画像枚数Mは、少なくとも、蛍光灯の光量変動の1周期を上回る数であって、たとえば、50Hz商用電源で動作する非インバータ型蛍光灯の光量変動1周期は1/100秒=10ミリ秒であるから、「0.8ミリ秒×M+1≧10ミリ秒」の条件を満たすときのMである。つまり、この場合、M=12とすれば、0.8×12+1=10.4ミリ秒となって、上記の条件を満たすので、以下、M=12として説明する。
As described above, in image capturing that requires flicker suppression, the
このようにして撮像部10から出力された所定枚数Mの高フレームレート画像は、制御部13のコントロールにより、アナログデジタル変換器14(ADC)を経て、フリッカ補正値算出部15に逐次に入力される。このフリッカ補正値算出部15は、R積算部16、G積算部17、B積算部18、R判定部19、G判定部20、B判定部21、R補正値算出部22、G補正値算出部23、及び、B補正値算出部24を備える。
The predetermined number M of high frame rate images output from the
なお、ここでは、RGBの各原色毎の積算部、判定部及び補正値算出部を備えているが、これは、撮像部10がRGBの各原色毎の画像信号を出力する「原色系」であるからである。撮像部10がYCMの各補色ごと画像信号を出力する「補色系」である場合には、YCMの各補色毎の積算部、判定部及び補正値算出部を備えることになる。すなわち、R積算部16、G積算部17、B積算部18、R判定部19、G判定部20、B判定部21、R補正値算出部22、G補正値算出部23及びB補正値算出部24を、それぞれY積算部16、C積算部17、M積算部18、Y判定部19、C判定部20、M判定部21、Y補正値算出部22、C補正値算出部23及びM補正値算出部24と読み替えればよい。以下、説明を簡単化するために、撮像部10がRGBの各原色毎の画像信号を出力する「原色系」であるものとする。
In addition, here, an integration unit, a determination unit, and a correction value calculation unit for each primary color of RGB are provided, but this is a “primary color system” in which the
アナログデジタル変換器14でデジタル信号に変換された所定枚数Mの高フレームレート画像は、その原色画像(R画像、G画像、B画像)毎に、R積算部16、G積算部17及びB積算部18に振り分けて入力される。
A predetermined number M of high frame rate images converted into digital signals by the analog-to-
これらのR積算部16、G積算部17及びB積算部18は、入力された高フレームレート画像の各々のフレーム内積算値(画像内各画素値の積算値)を演算する。すなわち、R積算部16は、第1〜第Mまでの高フレームレート画像の各R画像のフレーム内積算値を演算し、G積算部17は、第1〜第Mまでの高フレームレート画像の各G画像のフレーム内積算値を演算し、B積算部18は、第1〜第Mまでの高フレームレート画像の各B画像のフレーム内積算値を演算する。
The
以下、これらのフレーム内積算値を記号「K_#_&」で識別することにする。ここで、#は高フレームレート画像の番号(1、2、3・・・・M)であり、&はR画像、G画像、B画像の別(R、G、B)である。たとえば、K_1_Rは、1枚目の高フレームレート画像のR画像のフレーム内積算値であることを示す。 Hereinafter, these integrated values in the frame are identified by the symbol “K _ # _ &”. Here, # is the number (1, 2, 3,... M) of the high frame rate image, and & is the distinction of R image, G image, and B image (R, G, B). For example, K_1_R indicates an intra-frame integrated value of the R image of the first high frame rate image.
R判定部19、G判定部20及びB判定部21は、R積算部16、G積算部17及びB積算部18で演算されたK_#_&について、それぞれR画像、G画像、B画像の最大値(MAX_K_#_&)と最小値(MIN_K_#_&)を求め、さらに、それらの最大値と最小値との差が所定の閾値を超えているか否かを判定する。そして、それらの最大値と最小値との差が所定の閾値を超えている場合には、補正を必要とする程度のフリッカが発生しているものと判断し、そうでない場合には、フリッカの発生がない(または無視し得る程度の若干量のフリッカしか発生していない)ものと判断する。
The
R補正値算出部22、G補正値算出部23及びB補正値算出部24は、上記のR判定部19、G判定部20またはB判定部21において、補正を必要とする程度のフリッカが発生しているものと判断されたときに、該当する色画像のフリッカ補正値を算出する。たとえば、R判定部19、G判定部20またはB判定部21の全てで、補正を必要とする程度のフリッカが発生しているものと判断されたときには、R補正値算出部22、G補正値算出部23及びB補正値算出部24の各々で、各原色毎且つ後述の分割画像28のブロックB1〜B4毎にK_#_&の平均値(AVE_K_#_&)を演算し、それら各原色毎且つ後述の分割画像28(図3参照)のブロックB1〜B4毎の平均値(AVE_K_#_&)を後述の分割画像28のブロックB1〜B4毎のR画像、G画像及びB画像に対するフリッカ補正値として補正部25に出力する。
The R correction
または、上記のR判定部19、G判定部20またはB判定部21のいずれか一つ(たとえば、R判定部19)において、補正を必要とする程度のフリッカが発生しているものと判断されたときには、R補正値算出部22で、R画像のK_#_&の平均値(AVE_K_#_&)を後述の分割画像28のブロックB1〜B4毎に演算し、その平均値(AVE_K_#_&)を後述の分割画像28のブロックB1〜B4毎のR画像に対するフリッカ補正値として補正部25に出力する。
Alternatively, it is determined that any one of the
または、上記のR判定部19、G判定部20またはB判定部21のいずれか二つ(たとえば、R判定部19とG判定部20)において、補正を必要とする程度のフリッカが発生しているものと判断されたときには、R補正値算出部22とG補正値算出部23で、R画像及びG画像のK_#_&の平均値(AVE_K_#_&)を後述の分割画像28のブロックB1〜B4毎に演算し、それらの平均値(AVE_K_#_&)を後述の分割画像28のブロックB1〜B4毎のR画像とG画像に対するフリッカ補正値として補正部25に出力する。
Alternatively, any two of the
このように、本実施形態では、RGBの各原色毎(またはYCMの各補色毎)にフレーム内積算値(K_#_&)の算出、フリッカ判定、及び、フリッカ補正値の算出を行っているが、これは、次の理由によるものである。 As described above, in this embodiment, the calculation of the in-frame integrated value (K _ # _ &), the flicker determination, and the calculation of the flicker correction value are performed for each primary color of RGB (or for each complementary color of YCM). This is due to the following reason.
図2は、白色蛍光灯の光量変動図(ただし、RとBで代表する)である。一般的に白色光はRGBやYCMなどの色を所定の割合で含む混色であり、人間の目には、こうした蛍光灯の色は白色に見えるものの、微細な時間の流れでみた場合、必ずしも各色の割合は時間軸上で均一でなく、図示のように色毎の光量に若干のバラツキがある。これは、蛍光灯の発光特性に色毎のバラツキがあるからである。このため、RGB(またはCYM)を区別せずに、フレーム内積算値(K_#_&)の算出、フリッカ判定、及び、フリッカ補正値の算出を行った場合には、特定色のフリッカを抑制できなくなったり、または、特定色のフリッカを過剰に抑制してしまったりして、却って目立たせる結果になるからである。したがって、実用上は、図示のように、RGBの各原色毎(またはYCMの各補色毎)にフレーム内積算値(K_#_&)の算出、フリッカ判定、及び、フリッカ補正値の算出を行うことが望ましい。 FIG. 2 is a light amount fluctuation diagram (represented by R and B) of the white fluorescent lamp. In general, white light is a mixed color that includes RGB, YCM, and other colors at a predetermined ratio. Although the color of these fluorescent lamps appears to be white to the human eye, each color is not necessarily seen when viewed in a minute flow. Is not uniform on the time axis, and there is some variation in the amount of light for each color as shown. This is because there is a variation for each color in the light emission characteristics of the fluorescent lamp. For this reason, flickering of a specific color can be suppressed when calculating the in-frame integrated value (K _ # _ &), flicker determination, and flicker correction value without distinguishing RGB (or CYM). This is because it disappears or the flicker of a specific color is excessively suppressed, and the result is conspicuous. Therefore, in practice, as shown in the figure, the calculation of the in-frame integrated value (K _ # _ &), the flicker determination, and the calculation of the flicker correction value are performed for each primary color of RGB (or for each complementary color of YCM). Is desirable.
ただし、回路規模の削減を重視し、ある程度のフリッカ抑制効果で妥協しても構わない場合は、必ずしも、RGBの各原色毎(またはYCMの各補色毎)にフレーム内積算値(K_#_&)の算出、フリッカ判定、及び、フリッカ補正値の算出を行う必要はない。RGBの各原色の一つ(またはYCMの各補色の一つ)若しくは、画像の輝度情報について、代表的にフレーム内積算値(K_#_&)の算出、フリッカ判定、及び、フリッカ補正値の算出を行うようにしてもよい。 However, if the reduction in circuit scale is emphasized and there is no problem in compromising with a certain degree of flicker suppression effect, the integrated value (K _ # _ &) within the frame is not necessarily required for each primary color of RGB (or for each complementary color of YCM). It is not necessary to perform calculation of flicker, flicker determination, and calculation of flicker correction value. For each of the primary colors of RGB (or one of the complementary colors of YCM) or the luminance information of the image, the calculation of the integrated value (K _ # _ &) within the frame, the flicker determination, and the calculation of the flicker correction value are typically performed. May be performed.
次に、撮像部10は、上記の「光量変動検出期間」を完了すると、所定長の「切替期間」を経た後、「実撮影期間」に遷移する。この「実撮影期間」では、撮像部10は、低フレームレートで1枚または複数枚の画像を出力する。
Next, when the
このようにして撮像部10から出力された低フレームレート画像は、アナログデジタル変換器14を経た後、制御部13のコントロールにより、画像分割部26に入力される。
The low frame rate image output from the
この画像分割部26は、「実撮影期間」において撮像部10から出力された低フレームレート画像の1枚を縦方向にN個に等分割する。
The
図3は、画像分割の概念図である。この図において、画像27は、「実撮影期間」において撮像部10から低フレームレート(300fps)で出力された1枚の画像であり、撮像デバイス13の有効撮影画素数に相当する画像サイズを有している。たとえば、1024(列)×768(行)の大きさの画像である。一方、画像28は、画像分割部26によって画像分割されて画像であり、この画像28は、画像27を縦方向にN個に等分割したもの(以下、分割画像28という)である。すなわち、分割画像28は、N個のブロックB1〜B4からなり、各ブロックB1〜B4の横方向画素数は、画像27の横方向画素数(1024)と同一で、且つ、各ブロックB1〜B4の縦方向画素数は、画像27の縦方向画素数(768)を1/Nした値に一致する。
FIG. 3 is a conceptual diagram of image division. In this figure, an
補正部25は、分割画像28の各ブロックB1〜B4毎のR画像、G画像及びB画像の各々について、フリッカ補正値算出部15で算出されたフリッカ補正値を適用して補正する。すなわち、分割画像28のブロックB1のR画像については、第1〜第4までの高フレームレート画像のフレーム内積算値(K_1_R〜K_4_R)の平均値(AVE_K_#_&)を適用して補正し、分割画像28のブロックB2のR画像については、第5〜第8までの高フレームレート画像のフレーム内積算値(K_5_R〜K_8_R)の平均値(AVE_K_#_&)を適用して補正し、・・・・、分割画像28のブロックB4のR画像については、第M−3〜第Mまでの高フレームレート画像のフレーム内積算値(K_M−3_R〜K_M_R)の平均値(AVE_K_#_&)を適用して補正する。
The
同様に、分割画像28のブロックB1のG画像については、第1〜第4までの高フレームレート画像のフレーム内積算値(K_1_R〜K_4_G)の平均値(AVE_K_#_&)を適用して補正し、分割画像28のブロックB2のG画像については、第5〜第8までの高フレームレート画像のフレーム内積算値(K_5_R〜K_8_G)の平均値(AVE_K_#_&)を適用して補正し、・・・・、分割画像28のブロックB4のG画像については、第M−3〜第Mまでの高フレームレート画像のフレーム内積算値(K_M−3_R〜K_M_G)の平均値(AVE_K_#_&)を適用して補正する。
Similarly, the G image of the block B1 of the divided
同様に、分割画像28のブロックB1のB画像については、第1〜第4までの高フレームレート画像のフレーム内積算値(K_1_R〜K_4_B)の平均値(AVE_K_#_&)を適用して補正し、分割画像28のブロックB2のB画像については、第5〜第8までの高フレームレート画像のフレーム内積算値(K_5_R〜K_8_B)の平均値(AVE_K_#_&)を適用して補正し、・・・・、分割画像28のブロックB4のB画像については、第M−3〜第Mまでの高フレームレート画像のフレーム内積算値(K_M−3_R〜K_M_B)の平均値(AVE_K_#_&)を適用して補正する。
Similarly, the B image of the block B1 of the divided
以下、第2ブロックB2〜第4ブロックB4についても、上記と同様にして、それぞれのR画像、G画像及びB画像の補正が行われる。 Hereinafter, also for the second block B2 to the fourth block B4, the R image, the G image, and the B image are corrected in the same manner as described above.
画像合成部29は、補正後の各ブロックB1〜B4を合成して元の画像27の形に戻し、その画像27を、不図示の画像処理部(たとえば、デジタルカメラやデジタルビデオカメラの画像処理部等)に出力する。
The
図4は、光量変動検出期間及び切替期間並びに実撮影期間のタイミングチャートを示す図である。この図において、半波状の周期的な変化を示す波形30は非インバータ型蛍光灯の光量を表しており、その光量変動の1周期長は、商用電源周波数(ここでは50Hz)の1サイクルの半分の長さ(10ミリ秒)である。この値(10ミリ秒)は、商用電源周波数(50Hz)の2倍の周波数(100Hz)の1サイクル長に相当する。
FIG. 4 is a timing chart of the light amount variation detection period, the switching period, and the actual photographing period. In this figure, a
さて、図中の時間軸上には、1〜M(M=12であるから、1〜12)までの目盛りが刻まれている。この目盛りの間隔は、光量変動検出期間における高フレームレートの1周期長(1/1200秒=0.8ミリ秒)に相当し、したがって、この図は、光量変動の1周期長あたり、M=12個の高フレームレート画像を取得できることを表している。光量変動検出期間の1〜12の目盛りの下側に描かれているM=12個の菱形図形は、当該期間で取得される1〜12までの高フレームレート画像H1〜H12を模式的に表したものである。 On the time axis in the figure, scales 1 to M (1 to 12 since M = 12) are engraved. The interval between the scales corresponds to one cycle length (1/1200 seconds = 0.8 milliseconds) of the high frame rate in the light amount variation detection period. Therefore, in this figure, M = per cycle length of the light amount variation. This indicates that 12 high frame rate images can be acquired. M = 12 rhombus figures drawn on the lower side of the scale of 1 to 12 in the light quantity fluctuation detection period schematically represent the high frame rate images H1 to H12 from 1 to 12 acquired in the period. It is a thing.
光量変動検出期間を完了すると、所定長の切替期間を経て、実撮影期間が開始される。切替期間の長さ(SEL)は撮像デバイス13のフレームレートを低(300fps)から高(1200fps)に安定して切り替えることができる過不足のない長さであり、たとえば、低フレームレートの1フレーム時間(3.3ミリ秒)に所定のマージン時間βを加えた程度の時間である。ここで、マージン時間βは、高フレームレートの2フレーム程度の時間(0.8ミリ秒×2)とすることができる。したがって、この場合、SELは、3.3ミリ秒+(0.8ミリ秒×2)=4.9ミリ秒となる。
When the light amount fluctuation detection period is completed, an actual photographing period is started after a switching period of a predetermined length. The length of the switching period (SEL) is a length that does not cause excess or deficiency so that the frame rate of the
このように、切替期間の長さ(SEL)を「4.9ミリ秒」とした場合、実撮影期間は、光量変動検出期間の完了後の目盛り7以降で開始されることになる。
As described above, when the length of the switching period (SEL) is set to “4.9 milliseconds”, the actual photographing period is started after the
実撮影期間の下側に描かれている帯状の横長図形は、それぞれローリングシャッターによるライン毎の画素情報読み出し期間を表している。なお、L1(1)〜Ln(1)は実撮影期間で撮像部13から取り出された1枚目の低フレームレート画像の各ライン(L1〜Ln)を表し、L1(2)〜Ln(2)は実撮影期間で撮像部13から取り出された2枚目の低フレームレート画像の各ライン(L1〜Ln)を表し、L1(3)〜Ln(3)は実撮影期間で撮像部13から取り出された3枚目の低フレームレート画像の各ライン(L1〜Ln)を表している。
The band-like horizontal figure drawn below the actual photographing period represents the pixel information reading period for each line by the rolling shutter. Note that L1 (1) to Ln (1) represent the lines (L1 to Ln) of the first low frame rate image extracted from the
図5は、高フレームレート画像H1〜H12と低フレームレート画像及び分割画像28の対応関係図である。実撮影期間で取得される1枚目の低フレームレート画像の各ラインL1(1)〜Ln(1)と高フレームレート画像H1〜H12の各々は、図に示すような対応関係にある。なお、ここでは、n=768として説明する。つまり、低フレームレート画像の各ラインのうちの最初の768/NラインであるL1(1)からL192(1)までが高フレームレート画像のH7、H8、H9、H10、H11に対応し、低フレームレート画像の各ラインのうちの最後の768/NラインであるLn577(1)からL768(1)までが高フレームレート画像のH10、H11、H12、H1、H2に対応する。
FIG. 5 is a correspondence diagram of the high frame rate images H <b> 1 to H <b> 12, the low frame rate image, and the divided
また、図示は略すが、各ラインのうちのL193(1)からL384(1)までが高フレームレート画像のH8、H9、H10、H11、H12に対応し、低フレームレート画像の各ラインのうちのLn385(1)からL576(1)までが高フレームレート画像のH9、H10、H11、H12、H1に対応する。 Although not shown, L193 (1) to L384 (1) of each line corresponds to H8, H9, H10, H11, and H12 of the high frame rate image, and among the lines of the low frame rate image. Ln385 (1) to L576 (1) correspond to high frame rate images H9, H10, H11, H12, and H1.
図示のとおり、分割画像28のブロック1(B1)は、低フレームレート画像のL1(1)からL192までで構成されており、分割画像28のブロック2(B2)は、低フレームレート画像のL193(1)からL384までで構成されている。同様に、分割画像28のブロック3(B3)は、低フレームレート画像のL385(1)からL576までで構成されており、分割画像28のブロック4(B4)は、低フレームレート画像のL577(1)からL768までで構成されている。
As shown in the figure, block 1 (B1) of the divided
したがって、高フレームレート画像H1〜H12と分割画像28の各ブロックB1〜B4は、以下の対応関係にある。ただし、N=4、M=12の場合である。
B1:H7、H8、H9、H10、H11
B2:H8、H9、H10、H11、H12
B3:H9、H10、H11、H12、H1
B4:H10、H11、H12、H1、H2
Therefore, the high frame rate images H1 to H12 and the blocks B1 to B4 of the divided
B1: H7, H8, H9, H10, H11
B2: H8, H9, H10, H11, H12
B3: H9, H10, H11, H12, H1
B4: H10, H11, H12, H1, H2
フリッカ補正値算出部15におけるフリッカ補正値は、これらの対応関係を元にして算出される。つまり、B1に対するフリッカ補正値は、H7、H8、H9、H10、H11の平均値から算出され、B2に対するフリッカ補正値は、H8、H9、H10、H11、H12の平均値から算出される。同様に、B3に対するフリッカ補正値は、H9、H10、H11、H12、H1の平均値から算出され、B4に対するフリッカ補正値は、H10、H11、H12、H1、H2の平均値から算出される。ただし、前記のとおり、これらのフリッカ補正値は、分割画像28の各ブロックB1〜B4の各々のR画像、G画像及びB画像について個別に算出される。
The flicker correction value in the flicker correction value calculation unit 15 is calculated based on these correspondences. That is, the flicker correction value for B1 is calculated from the average value of H7, H8, H9, H10, and H11, and the flicker correction value for B2 is calculated from the average value of H8, H9, H10, H11, and H12. Similarly, the flicker correction value for B3 is calculated from the average value of H9, H10, H11, H12, and H1, and the flicker correction value for B4 is calculated from the average value of H10, H11, H12, H1, and H2. However, as described above, these flicker correction values are calculated individually for each of the R image, the G image, and the B image of each of the blocks B1 to B4 of the divided
図6は、撮像装置9におけるフリッカ抑制の動作フローを示す図である。この動作フローは、光量検出(ステップS1)とフリッカ抑制(ステップS2)の二つの処理に大別できる。まず、ステップS1の光量検出では、撮像デバイス13のフレームレートを高フレームレート(1200fps)に設定する(ステップS1a)。次いで、光量変動の1周期長(10ミリ秒)にわたってM個の高フレームレート画像H1〜H12を取得し(ステップS1b)、M個の高フレームレート画像H1〜H12のフレーム内積算値(K_#_&)を算出する(ステップS1c)。そして、それらM個のフレーム内積算値(K_#_&)の最大値(MAX_K_#_&)と最小値(MIN_K_#_&)の差を求める(ステップS1d)。
FIG. 6 is a diagram illustrating an operation flow of flicker suppression in the
次に、ステップS2のフリッカ抑制では、所定長(SEL)の切替期間を経て、撮像デバイス13のフレームレートを低フレームレート(300fps)に設定し(ステップS2a)、低フレームレート画像を取得する(ステップS2b)。次いで、その低フレームレート画像をN個に等分割し、N個(4個)のブロックB1〜B4からなる分割画像28を生成する(ステップS2c)。
Next, in the flicker suppression in step S2, the frame rate of the
次に、先のステップS1dで求めておいた「差」、つまり、M個のフレーム内積算値(K_#_&)の最大値(MAX_K_#_&)と最小値(MIN_K_#_&)の差が所定の閾値を超えているか否かを判定し(ステップS2d)、超えていれば、フリッカ抑制のための補正を必要としているものと判断して、以下の補正処理(ステップS2e及びステップS2f)と画像合成処理(ステップS2g)とを実行してフローを終了する一方、超えていなければ、フリッカ抑制のための補正を必要としないものと判断して、以下の補正処理(ステップS2e及びステップS2f)をパスし、画像合成処理(ステップS2g)実行してフローを終了する。 Next, the “difference” obtained in step S1d, that is, the difference between the maximum value (MAX_K _ # _ &) and the minimum value (MIN_K _ # _ &) of the M intra-frame integration values (K _ # _ &) is predetermined. Is determined (step S2d), and if it exceeds, it is determined that correction for flicker suppression is required, and the following correction processing (step S2e and step S2f) and image are performed. While the synthesis process (step S2g) is executed to end the flow, if not exceeded, it is determined that correction for flicker suppression is not required, and the following correction processes (step S2e and step S2f) are performed. Pass, execute image composition processing (step S2g), and end the flow.
すなわち、フリッカ抑制のための補正を必要としている場合にだけ、フレーム内積算値(K_#_&)の平均値(AVE_K_#_&)を前記の「高フレームレート画像H1〜H12と分割画像28の各ブロックB1〜B4との対応関係」に基づいて算出し(ステップS2e)、その平均値(AVE_K_#_&)を分割画像28の各ブロックB1〜B4に適用してフリッカを抑制(ステップS2f)した後、分割画像28を元の画像27の形に合成(ステップS2g)してフローを終了する。
That is, only when the correction for flicker suppression is necessary, the average value (AVE_K _ # _ &) of the integrated value in frame (K _ # _ &) is set to each of the “high frame rate images H1 to H12 and the divided
ここで、分割画像28の各ブロックB1〜B4のR画像、G画像及びB画像に適用されるフリッカ補正値は、以下のとおりである。ただし、N=4、M=12の場合である。
Here, the flicker correction values applied to the R image, G image, and B image of each of the blocks B1 to B4 of the divided
ブロックB1のR画像のフリッカ補正値:
K_7_R、
K_8_R、
K_9_R、
K_10_R及び
K_11_Rの平均値
ブロックB1のG画像のフリッカ補正値:
K_7_G、
K_8_G、
K_9_G、
K_10_G及び
K_11_Gの平均値
ブロックB1のB画像のフリッカ補正値:
K_7_B、
K_8_B、
K_9_B、
K_10_B及び
K_11_Bの平均値
ブロックB2のR画像のフリッカ補正値:
K_8_R、
K_9_R、
K_10_R、
K_11_R及び
K_12_Rの平均値
ブロックB2のG画像のフリッカ補正値:
K_8_G、
K_9_G、
K_10_G、
K_11_G及び
K_12_Gの平均値
ブロックB2のB画像のフリッカ補正値:
K_8_B、
K_9_B、
K_10_B、
K_11_B及び
K_12_Bの平均値
ブロックB3のR画像のフリッカ補正値:
K_9_R、
K_10_R、
K_11_R、
K_12_R及び
K_1_Rの平均値
ブロックB3のG画像のフリッカ補正値:
K_9_G、
K_10_G、
K_11_G、
K_12_G及び
K_1_Gの平均値
ブロックB3のB画像のフリッカ補正値:
K_9_B、
K_10_B、
K_11_B、
K_12_B及び
K_1_Bの平均値
ブロックB4のR画像のフリッカ補正値:
K_10_R、
K_11_R、
K_12_R、
K_1_R及び
K_2_Rの平均値
ブロックB4のG画像のフリッカ補正値:
K_10_G、
K_11_G、
K_12_G、
K_1_G及び
K_2_Gの平均値
ブロックB4のB画像のフリッカ補正値:
K_10_B、
K_11_B、
K_12_B、
K_1_B及び
K_2_Bの平均値
Flicker correction value of R image of block B1:
K_7_R,
K_8_R,
K_9_R,
Flicker correction value of G image of average value block B1 of K_10_R and K_11_R:
K_7_G,
K_8_G,
K_9_G,
Flicker correction value of B image of average value block B1 of K_10_G and K_11_G:
K_7_B,
K_8_B,
K_9_B,
Flicker correction value of R image of average value block B2 of K_10_B and K_11_B:
K_8_R,
K_9_R,
K_10_R,
Flicker correction value of G image of average value block B2 of K_11_R and K_12_R:
K_8_G,
K_9_G,
K_10_G,
Flicker correction value of B image of average value block B2 of K_11_G and K_12_G:
K_8_B,
K_9_B,
K_10_B,
Flicker correction value of R image of average value block B3 of K_11_B and K_12_B:
K_9_R,
K_10_R,
K_11_R,
Flicker correction value of G image of average value block B3 of K_12_R and K_1_R:
K_9_G,
K_10_G,
K_11_G,
Flicker correction value of B image of average value block B3 of K_12_G and K_1_G:
K_9_B,
K_10_B,
K_11_B,
Flicker correction value of R image of average value block B4 of K_12_B and K_1_B:
K_10_R,
K_11_R,
K_12_R,
Flicker correction value of G image of average value block B4 of K_1_R and K_2_R:
K_10_G,
K_11_G,
K_12_G,
Flicker correction value of B image of average value block B4 of K_1_G and K_2_G:
K_10_B,
K_11_B,
K_12_B,
Average value of K_1_B and K_2_B
以上説明したとおり、本実施形態においては、XYアドレス式の撮像デバイス12の部分読み出しを利用して、非インバータ型蛍光灯の光量変動の周期よりもM倍早い高フレームレート(1200fps)でM枚の画像H1〜H12を撮像デバイス12から取り出し、それらM枚の高フレームレート画像H1〜H12から、環境光(この場合は蛍光灯の光)の光量変動に伴うフリッカ補正値を算出すると共に、続けて、撮像デバイス12のフレームレートを低フレームレート(300fps)に切り替えて撮影した際の低フレームレート画像の各ブロックB1〜B4毎に、上記のフリッカ補正値を用いてフリッカを抑制するようにしたので、たとえば、動きを伴う被写体を撮影する場合であっても、フリッカの抑制を支障無く行うことができる。
As described above, in the present embodiment, using the partial reading of the XY address
高フレームレート(1200fps)の1フレーム時間は、1/1200秒=0.8ミリ秒である。この時間は、通常のカメラの高速シャッターに相当する。加えて、この高フレームレート画像をM枚(H1〜H12)続けて取得した場合は、その取得に要する時間が12×(1/1200)=1/100秒=10ミリ秒となり、結局、50Hz商用電源の倍の周期で光量が変動する非インバータ型蛍光灯の光量変動の1周期長(10ミリ秒)と一致する。それゆえ、M枚の高フレームレート画像H1〜H12により、環境光(この場合は蛍光灯の光)の光量変動の1周期相当分を精度良く検出することができ、その検出結果を用いてフリッカ補正値を正確に算出することができるようになる。 One frame time at a high frame rate (1200 fps) is 1/1200 seconds = 0.8 milliseconds. This time corresponds to a high-speed shutter of a normal camera. In addition, when M frames (H1 to H12) are continuously acquired, the time required for the acquisition is 12 × (1/1200) = 1/100 seconds = 10 milliseconds, and eventually 50 Hz This corresponds to one cycle length (10 milliseconds) of the light amount fluctuation of the non-inverter type fluorescent lamp whose light amount fluctuates at a cycle twice that of the commercial power source. Therefore, from the M high frame rate images H1 to H12, it is possible to accurately detect the amount corresponding to one period of the light amount fluctuation of the environmental light (in this case, the light from the fluorescent lamp), and use the detection result to flicker. The correction value can be calculated accurately.
このことは、前出の図4の記載から明らかである。この図において、H1〜H12までのM枚の高フレームレート画像の取得に要する時間と、蛍光灯の光量変動の1周期長(10ミリ秒)は一致している。このため、M枚の高フレームレート画像H1〜H12の各々により、光量変動の1周期の各部分(目盛り1〜12)の明るさを正確に検出することができるのである。
This is clear from the description of FIG. In this figure, the time required to acquire M high frame rate images from H1 to H12 coincides with one cycle length (10 milliseconds) of the light quantity fluctuation of the fluorescent lamp. For this reason, it is possible to accurately detect the brightness of each portion (
冒頭で説明した特許文献1に記載のものは、単に、1フィールド周期が1/60秒の3フィールドにおける積分値の平均値で正規化するものに過ぎず、3フィールドの画像取得に要する時間は、シャッター速度に換算して「1/20(秒)」にもなり、とりわけ動きを伴う被写体を写し込む場合、3つのフィールドの各々における被写体の位置が微妙にずれてしまうことが避けられないから、動きを伴う被写体の撮影画像に対するフリッカの抑制が不十分となってしまうという問題点を避けられなかった。
The one described in
これに対して、本実施形態では、光量変動の1周期分をM個の高フレームレート画像H1〜H12によって正確に検出できるので、かかる問題点を生じない。しかも、そのようにして、光量変動の1周期分を正確に検出した後は、それらのM個の高フレームレート画像H1〜H12のフレーム内積算値(K_#_&)を用いて、N個のブロックB1〜B4ごとのフリッカ補正値(AVE_K_#_&)を算出すると共に、そのフリッカ補正値により、低フレームレート画像の分割画像28の各ブロックB1〜B4毎にフリッカ抑制を行うので、高フレームレートから低フレームレートへのレート変更にもかかわらず、各ブロックB1〜B4毎のフリッカ補正を支障なく行うことができる。
On the other hand, in this embodiment, since one period of light quantity fluctuation can be accurately detected by the M high frame rate images H1 to H12, such a problem does not occur. In addition, after accurately detecting one cycle of the light amount variation in this way, N pieces of integrated values (K _ # _ &) of the M high frame rate images H1 to H12 are used to calculate N pieces. A flicker correction value (AVE_K _ # _ &) for each of the blocks B1 to B4 is calculated, and flicker suppression is performed for each of the blocks B1 to B4 of the divided
したがって、本実施形態によれば、光量変動を伴う光源(たとえば、非インバータ型の蛍光灯)の元で静止画撮影または動画撮影する際に、高フレームレートの「光量変動検出期間」を実行し、その後、所定長の「切替期間」を経て静止画撮影または動画撮影の「実撮影期間」を実行するだけで、上記光源の光量変動に起因するフリッカの影響を排除した良好な画質の静止画または動画を撮影することができる。 Therefore, according to the present embodiment, when taking a still image or a moving image under a light source (for example, a non-inverter type fluorescent lamp) with a light amount variation, a “light amount variation detection period” with a high frame rate is executed. After that, only by executing the “real shooting period” of still image shooting or movie shooting after a “switching period” of a predetermined length, a still image with good image quality that eliminates the influence of flicker due to the light amount fluctuation of the above light source Or a movie can be taken.
ちなみに、本実施形態では、「実撮影期間」の前に、「光量変動検出期間」と「切替期間」の二つの期間を必要とするので、これら二つの期間の長さに相当する遅れ(シャッターチャンスの遅れ)を伴うが、前記の実施形態の例示に従えば、「光量変動検出期間」の時間的な長さは光量変動の1周期長(10ミリ秒)で、且つ、「切替期間」の時間的な長さは光量変動の1周期長の約半分(SEL=4.9ミリ秒)であるから、これらを合わせても高々14.9ミリ秒程度の遅れを生じるに過ぎず、この程度の時間(14.9ミリ秒)は、通常の撮影シーンでは十二分に許容できる(大きな遅れとして体感しない)時間であるので、実用上差し支えない。 Incidentally, in the present embodiment, two periods of “light quantity fluctuation detection period” and “switching period” are required before the “actual shooting period”, so a delay corresponding to the length of these two periods (shutter) According to the example of the above embodiment, the time length of the “light quantity fluctuation detection period” is one cycle length (10 milliseconds) of the light quantity fluctuation and the “switching period”. The time length of is about half of one cycle length of light quantity fluctuation (SEL = 4.9 milliseconds). Therefore, even when these are combined, only a delay of about 14.9 milliseconds occurs. This time (14.9 milliseconds) is a time that is sufficiently permissible in a normal shooting scene (it is not experienced as a large delay), and thus may be practically used.
また、本実施形態におけるフリッカ補正値は、M個の高フレームレート画像H1〜H12の各々におけるフレーム内積算値に基づいて行っているので、一つのフレーム内で明るさの偏りがあっても何ら影響を受けることがない。つまり、フレーム(画像)の一部に光源が偏って写り込んでいる場合であっても、フレーム内積算値により、その光源の明るさを正確に検出することができる。 In addition, since the flicker correction value in the present embodiment is performed based on the intra-frame integrated value in each of the M high frame rate images H1 to H12, no matter what the brightness deviation is within one frame. Not affected. That is, even if the light source is reflected in a part of the frame (image), the brightness of the light source can be accurately detected by the integrated value in the frame.
また、本実施形態では、高フレームレートを1200fpsとすると共に、低フレームレートを300fpsとしているが、これは説明上の一例であり、これに限定されない。低フレームレートをAfpsとした場合、高フレームレートはそのN倍(N×Afps)であればよい。また、N=4に限らず、他の整数、たとえば、N=0以上4以下であってもよく、または、N=4以上であってもよい。Nを大きくするほどフリッカ抑制の精度が向上する反面、処理時間の増大を招くので、要求性能との兼ね合いからNの適正値を設定すればよい。また、Mの値も同様である。Mの値は、「光量変動検出期間」で出力される光源変動1周期あたりの高フレームレート画像の枚数を規定するから、Mを大きくするほどフリッカ抑制の精度が向上する反面、処理時間の増大を招くので、Nと同様に、要求性能との兼ね合いから適正値を設定すればよい。 In this embodiment, the high frame rate is set to 1200 fps and the low frame rate is set to 300 fps. However, this is an example for explanation, and the present invention is not limited to this. When the low frame rate is Afps, the high frame rate may be N times (N × Afps). Moreover, it is not limited to N = 4, but may be another integer, for example, N = 0 or more and 4 or less, or N = 4 or more. As N is increased, flicker suppression accuracy is improved, but the processing time is increased. Therefore, an appropriate value of N may be set in consideration of the required performance. The same applies to the value of M. Since the value of M defines the number of high frame rate images per light source fluctuation period output in the “light quantity fluctuation detection period”, the accuracy of flicker suppression improves as M increases, but the processing time increases. Therefore, like N, an appropriate value may be set in consideration of the required performance.
なお、以上の説明では、周期的に光量が変動する光源として、非インバータ型の蛍光灯を示しているが、これは、典型例を示しているに過ぎない。周期的に光量が変動する光源であればよく、たとえば、水銀灯やナトリウム灯などの放電灯であってもよい。あるいは、インバータ型の蛍光灯であっても、故障等によってインバータの動作が不完全となり、放電電圧が周期的に変動する(したがって、光量変動を伴う)ものは、上記の光源に該当する。 In the above description, a non-inverter type fluorescent lamp is shown as a light source whose light amount periodically changes, but this is merely a typical example. Any light source whose light quantity varies periodically may be used. For example, a discharge lamp such as a mercury lamp or a sodium lamp may be used. Or even if it is an inverter type | mold fluorescent lamp, the operation | movement of an inverter becomes incomplete by failure etc., and the discharge voltage fluctuates periodically (thus, accompanying light quantity fluctuation) corresponds to the above-mentioned light source.
9 撮像装置
12 撮像デバイス
13 制御部(フレームレート設定手段)
15 フリッカ補正値算出部(フリッカ補正値演算手段)
25 補正部(フリッカ補正手段)
26 画像分割部(画像分割手段)
9
15 Flicker correction value calculation unit (flicker correction value calculation means)
25 Correction unit (Flicker correction means)
26 Image segmentation unit (image segmentation means)
Claims (3)
前記撮像デバイスのフレームレートを高フレームレートと低フレームレートのいずれか一方に設定するフレームレート設定手段と、
前記フレームレート設定手段によって、前記撮像デバイスのフレームレートが高フレームレートに設定されているときに、その撮像デバイスから周期的に出力される複数枚の高フレームレート画像に基づいて、フリッカ補正値を演算するフリッカ補正値演算手段と、
前記フレームレート設定手段によって、前記撮像デバイスのフレームレートが低フレームレートに設定されているときに、その撮像デバイスから出力される低フレームレート画像を、前記フリッカ補正値を用いて補正するフリッカ補正手段と
を備えたことを特徴とする撮像装置。 In an imaging apparatus including a rolling shutter type imaging device,
Frame rate setting means for setting the frame rate of the imaging device to either one of a high frame rate and a low frame rate;
When the frame rate of the imaging device is set to a high frame rate by the frame rate setting means, a flicker correction value is calculated based on a plurality of high frame rate images periodically output from the imaging device. Flicker correction value calculating means for calculating;
Flicker correction means for correcting a low frame rate image output from the imaging device using the flicker correction value when the frame rate of the imaging device is set to a low frame rate by the frame rate setting means. An imaging apparatus comprising:
前記フリッカ補正手段は、このブロック単位にフリッカ補正をするものであって、
前記フリッカ補正値演算手段は、前記撮像デバイスから周期的に出力される複数枚の高フレームレート画像のフレーム内積算値を各画像毎に求め、且つ、前記複数のブロックの各々に対応したフレーム内積算値の平均値を、前記フリッカ補正値とすることを特徴とする請求項1記載の撮像装置。 Furthermore, image division means for equally dividing the low frame rate image output from the imaging device into a plurality of blocks in the vertical direction,
The flicker correction means performs flicker correction for each block, and
The flicker correction value calculating means obtains an intra-frame integrated value of a plurality of high frame rate images periodically output from the imaging device for each image, and includes an intra-frame corresponding to each of the plurality of blocks. The imaging apparatus according to claim 1, wherein an average value of integrated values is used as the flicker correction value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006243710A JP4687620B2 (en) | 2006-09-08 | 2006-09-08 | Imaging device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006243710A JP4687620B2 (en) | 2006-09-08 | 2006-09-08 | Imaging device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008067132A true JP2008067132A (en) | 2008-03-21 |
JP4687620B2 JP4687620B2 (en) | 2011-05-25 |
Family
ID=39289425
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006243710A Expired - Fee Related JP4687620B2 (en) | 2006-09-08 | 2006-09-08 | Imaging device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4687620B2 (en) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012039231A (en) * | 2010-08-04 | 2012-02-23 | Nikon Corp | Imaging apparatus |
JP2012094956A (en) * | 2010-10-25 | 2012-05-17 | Nikon Corp | Imaging device |
JP2012120132A (en) * | 2010-12-03 | 2012-06-21 | Nikon Corp | Imaging apparatus and program |
JP2015006007A (en) * | 2014-10-08 | 2015-01-08 | 株式会社ニコン | Imaging apparatus |
JP2016082510A (en) * | 2014-10-21 | 2016-05-16 | キヤノン株式会社 | Image processing apparatus and image processing method |
JP2016096551A (en) * | 2015-11-26 | 2016-05-26 | 株式会社ニコン | Imaging device |
JP2018050346A (en) * | 2017-12-19 | 2018-03-29 | 株式会社ニコン | Imaging apparatus |
JP2018093527A (en) * | 2018-02-21 | 2018-06-14 | キヤノン株式会社 | Imaging device, control method, program, and storage medium |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007235808A (en) * | 2006-03-03 | 2007-09-13 | Nec Saitama Ltd | Imaging apparatus, method, and program |
JP2008011226A (en) * | 2006-06-29 | 2008-01-17 | Kyocera Corp | Method and device for detecting flicker of imaging apparatus |
-
2006
- 2006-09-08 JP JP2006243710A patent/JP4687620B2/en not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007235808A (en) * | 2006-03-03 | 2007-09-13 | Nec Saitama Ltd | Imaging apparatus, method, and program |
JP2008011226A (en) * | 2006-06-29 | 2008-01-17 | Kyocera Corp | Method and device for detecting flicker of imaging apparatus |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012039231A (en) * | 2010-08-04 | 2012-02-23 | Nikon Corp | Imaging apparatus |
JP2012094956A (en) * | 2010-10-25 | 2012-05-17 | Nikon Corp | Imaging device |
JP2012120132A (en) * | 2010-12-03 | 2012-06-21 | Nikon Corp | Imaging apparatus and program |
JP2015006007A (en) * | 2014-10-08 | 2015-01-08 | 株式会社ニコン | Imaging apparatus |
JP2016082510A (en) * | 2014-10-21 | 2016-05-16 | キヤノン株式会社 | Image processing apparatus and image processing method |
JP2016096551A (en) * | 2015-11-26 | 2016-05-26 | 株式会社ニコン | Imaging device |
JP2018050346A (en) * | 2017-12-19 | 2018-03-29 | 株式会社ニコン | Imaging apparatus |
JP2018093527A (en) * | 2018-02-21 | 2018-06-14 | キヤノン株式会社 | Imaging device, control method, program, and storage medium |
Also Published As
Publication number | Publication date |
---|---|
JP4687620B2 (en) | 2011-05-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4687620B2 (en) | Imaging device | |
US7755664B2 (en) | Image pickup apparatus | |
JP4646655B2 (en) | Solid-state imaging device, driving method thereof, and imaging system | |
US8872937B2 (en) | Image capture apparatus and image capturing method | |
JP4285542B2 (en) | Flicker correction method, flicker correction circuit, and imaging apparatus using them | |
CN103685913A (en) | Image pickup apparatus that periodically changes exposure condition and a method of controlling image pickup apparatus | |
JP2013162291A (en) | Camera module | |
JP2014050042A (en) | Image processor and solid-state imaging device | |
KR20100060140A (en) | Apparatus and method for acquiring wide dynamic range video image in image processing apparatus | |
JP5199736B2 (en) | Imaging device | |
JP2018207413A (en) | Imaging apparatus | |
JPH11168659A (en) | Electronic camera | |
JP7190355B2 (en) | Image processing device and image processing method | |
JP2017225072A (en) | Imaging apparatus, control method thereof, and program | |
JP6517573B2 (en) | Image processing apparatus and endoscope apparatus | |
CN112714301B (en) | Bimodal image signal processor and image sensor | |
WO2012147337A1 (en) | Flicker detection device, flicker detection method, and flicker detection program | |
JP6652303B2 (en) | Flash band determination device, control method thereof, control program, and imaging device | |
US9922410B2 (en) | Image processing apparatus and image processing method | |
JP2006135381A (en) | Calibration method and calibration apparatus | |
JP2021097347A (en) | Imaging apparatus, control method of the same, and program | |
JP4777266B2 (en) | Imaging apparatus and control method thereof | |
JP6990988B2 (en) | Control method of image pickup device and image sensor | |
JP2011064859A (en) | Projection type image display device and focus control circuit | |
JP2009147806A (en) | Imaging apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090825 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110113 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110118 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110131 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4687620 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140225 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |