JP2005101793A - Imaging apparatus and imaging method - Google Patents

Imaging apparatus and imaging method Download PDF

Info

Publication number
JP2005101793A
JP2005101793A JP2003330959A JP2003330959A JP2005101793A JP 2005101793 A JP2005101793 A JP 2005101793A JP 2003330959 A JP2003330959 A JP 2003330959A JP 2003330959 A JP2003330959 A JP 2003330959A JP 2005101793 A JP2005101793 A JP 2005101793A
Authority
JP
Japan
Prior art keywords
frequency component
flicker
luminance
threshold value
absence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
JP2003330959A
Other languages
Japanese (ja)
Inventor
Katsuhiro Kondo
克博 近藤
Masatsugu Ishida
雅嗣 石田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003330959A priority Critical patent/JP2005101793A/en
Publication of JP2005101793A publication Critical patent/JP2005101793A/en
Abandoned legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To solve the problem wherein an imaging apparatus and method takes long time for discriminating the presence / absence of flickers, by observing an error from a control target for a long period of time and discriminating the existence of the flicker component so as to avoid misdiscrimination with respect to a luminance change other than luminance flickers. <P>SOLUTION: The average luminance of an object image is obtained from a luminance integral value, obtained from an optical detector 21 under the control of a system controller 20 and the presence/absence of the flicker component is discriminated, depending on whether frequency information obtained by applying discrete Fourier transformation to the average luminance includes high-frequency components. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

本発明は、撮像装置および撮像方法に関する。   The present invention relates to an imaging apparatus and an imaging method.

垂直同期信号の周波数が６０［Ｈｚ］（フィールド周期が１／６０［秒］）のＮＴＳＣ方式に準拠した撮像装置を用いて、５０［Ｈｚ］の商用電源で動作する蛍光灯の照明下で被写体を撮像し、この撮像した画像をディスプレイに表示した場合に再生画面がちらつくことがある。この画面のちらつきは、撮像装置のフィールド周期と蛍光灯の明るさの変動周期とが異なることに起因して発生するものであり、フリッカと呼ばれている。   Using an imaging device conforming to the NTSC system with a vertical synchronization signal frequency of 60 [Hz] (field period is 1/60 [second]), the subject is illuminated by a fluorescent lamp operating with a commercial power supply of 50 [Hz]. When the captured image is displayed and the captured image is displayed on the display, the playback screen may flicker. This flickering of the screen occurs due to a difference between the field cycle of the imaging device and the brightness fluctuation cycle of the fluorescent lamp, and is called flicker.

具体的には、蛍光灯の明るさの変動周期が１／１００［秒］、撮像装置のフィールド周期が１／６０［秒］であることから、撮像装置のフィールド周期と蛍光灯の明るさの変動周期の最小公倍数が１／２０［秒］となるため、３フィールド周期で両者のタイミングが一致することになる。そして、３フィールド周期のフィールド相互間で撮像信号レベルが異なることで、２０［Ｈｚ］のフリッカが発生する。このフリッカは、垂直同期信号の周波数が５０［Ｈｚ］（フィールド周期が１／５０［秒］）のＰＡＬ方式に準拠した撮像装置を用いて、６０［Ｈｚ］の電源で動作する蛍光灯の照明下で被写体を撮影した場合などにも発生する。   Specifically, since the fluctuation cycle of the brightness of the fluorescent lamp is 1/100 [second] and the field period of the imaging device is 1/60 [second], the field cycle of the imaging device and the brightness of the fluorescent lamp are Since the least common multiple of the fluctuation period is 1/20 [second], both timings coincide with each other in three field periods. Then, a 20 [Hz] flicker occurs due to the imaging signal level being different between fields of three field periods. This flicker is used to illuminate a fluorescent lamp that operates with a power source of 60 [Hz] using an imaging device that complies with the PAL system with a vertical synchronization signal frequency of 50 [Hz] (field period is 1/50 [second]). This also occurs when the subject is photographed below.

このフリッカの発生を抑える手法として、従来、種々の提案がなされている。いずれの手法を採る場合でも、当然のことながら、撮像した情報にフリッカ成分が含まれているか否かを判定する必要がある。このフリッカ成分の有無の判定を行うために、従来は、バンドバスフィルタを用いて、フリッカの周波数成分（ＮＴＳＣ方式に準拠した撮像装置を用いて、５０［Ｈｚ］の商用電源で動作する蛍光灯の照明下で被写体を撮像した場合は２０［Ｈｚ］）を抽出することによって行うようにしていた（例えば、特許文献１参照）。また、被写体の輝度信号をフィールドごとに積分し、その輝度積分値から蛍光灯の点滅周期（明るさの変動周期）によるフリッカ成分を検出するようにしていた（例えば、特許文献２参照）。   Conventionally, various proposals have been made as a technique for suppressing the occurrence of flicker. Regardless of which method is used, as a matter of course, it is necessary to determine whether or not the captured information includes a flicker component. In order to determine the presence / absence of this flicker component, conventionally, a band-pass filter is used, and a flicker frequency component (fluorescent lamp operating with a commercial power supply of 50 [Hz] using an imaging device compliant with the NTSC system). When the subject is imaged under illumination of 20 [Hz], it is performed by extracting (for example, refer to Patent Document 1). Further, the luminance signal of the subject is integrated for each field, and the flicker component due to the blinking cycle (brightness fluctuation cycle) of the fluorescent lamp is detected from the luminance integration value (see, for example, Patent Document 2).

特開平１１−２０５６５８号公報Japanese Patent Laid-Open No. 11-205658 特開２０００−３２３５２号公報JP 2000-32352 A

しかしながら、特許文献１記載の従来技術では、バンドパスフィルタから出力される信号が時間方向の周期信号となるため、フリッカ成分の有無の判定に時間がかかるという課題がある。また、特許文献２記載の従来技術でも、輝度フリッカ以外の輝度変化、例えば室内を撮像している状態から撮像装置を旋回して窓の外を撮像する場合などの連続的な輝度変化に対して誤判定を起こさないように、制御目標からの誤差を十分長い時間に亘って観測してから判定する必要があるため、フリッカ成分の有無の判定に時間がかかるという課題がある。   However, the conventional technique described in Patent Document 1 has a problem that it takes time to determine the presence or absence of a flicker component because the signal output from the bandpass filter is a periodic signal in the time direction. Also in the prior art described in Patent Document 2, brightness changes other than brightness flicker, for example, continuous brightness changes such as when the imaging device is turned from the state in which an image is taken indoors and the outside of the window is imaged. In order to prevent erroneous determination, it is necessary to determine after observing an error from the control target for a sufficiently long time, so that there is a problem that it takes time to determine the presence or absence of a flicker component.

本発明は、上記課題に鑑みてなされたものであって、その目的とするところは、フリッカの有無の判定を短時間で行うことが可能な撮像装置および撮像方法を提供することにある。   The present invention has been made in view of the above problems, and an object of the present invention is to provide an imaging apparatus and an imaging method capable of determining the presence or absence of flicker in a short time.

上記目的を達成するために、本発明では、固体撮像素子によって撮像された被写体像の輝度信号に含まれる所定の周波数成分を検出することにより、当該被写体像を撮像して得た情報にフリッカ成分が含まれているか否かを検出する。そして、フリッカ成分が含まれていることを検出したときに、フリッカの発生を抑える制御を行う。   In order to achieve the above object, in the present invention, a flicker component is added to information obtained by capturing a subject image by detecting a predetermined frequency component included in the luminance signal of the subject image captured by the solid-state imaging device. Whether or not is included is detected. Then, when it is detected that a flicker component is included, control for suppressing the occurrence of flicker is performed.

被写体像を撮像して得た情報にフリッカ成分が含まれているか否かの検出を、輝度信号に含まれる周波数成分そのものを観測して行うことにより、フリッカ成分の有無の判定を短時間で行うことができるとともに、比較的小さなフリッカ成分についても判別が可能となる。   By detecting whether or not the flicker component is included in the information obtained by capturing the subject image by observing the frequency component itself included in the luminance signal, the presence or absence of the flicker component is determined in a short time. In addition, a relatively small flicker component can be discriminated.

本発明によれば、被写体像を撮像して得た情報にフリッカ成分が含まれているか否かの検出を短時間で行うことができるとともに、比較的小さなフリッカ成分についても判別可能であるため、フリッカの発生を抑える制御をより確実に行うことができる。   According to the present invention, it is possible to detect whether or not a flicker component is included in information obtained by capturing a subject image in a short time, and it is also possible to determine a relatively small flicker component. Control that suppresses the occurrence of flicker can be performed more reliably.

以下、本発明の実施の形態について図面を参照して詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図１は、本発明の一実施形態に係る撮像装置の構成例を示すブロック図である。図１に示すように、本実施形態に係る撮像装置は、レンズ１１、固体撮像素子であるＣＣＤ(Charge Coupled Device)イメージセンサ１２、ＣＤＳ(Correlated Double Sampling;相関二重サンプリング)回路１３、ＡＧＣ(Automatic Gain Control)アンプ１４、Ａ／Ｄ変換器１５、信号処理部１６、Ｄ／Ａ変換器１７、タイミング発生器１８、ＣＣＤ駆動回路１９およびシステムコントローラ２０を有する構成となっている。   FIG. 1 is a block diagram illustrating a configuration example of an imaging apparatus according to an embodiment of the present invention. As shown in FIG. 1, the imaging apparatus according to the present embodiment includes a lens 11, a CCD (Charge Coupled Device) image sensor 12 that is a solid-state imaging device, a CDS (Correlated Double Sampling) circuit 13, an AGC (AGC ( An automatic gain control) amplifier 14, an A / D converter 15, a signal processing unit 16, a D / A converter 17, a timing generator 18, a CCD drive circuit 19, and a system controller 20 are included.

なお、固体撮像素子としては、ＣＣＤイメージセンサに限られるものではなく、ＣＣＤイメージセンサ以外の電荷転送型固体撮像素子や、ＣＭＯＳイメージセンサに代表されるＸ−Ｙアドレス型固体撮像素子などであっても良い。   The solid-state imaging device is not limited to a CCD image sensor, and is a charge transfer type solid-state imaging device other than a CCD image sensor, an XY address type solid-state imaging device represented by a CMOS image sensor, or the like. Also good.

レンズ１１は、撮像対象の被写体（図示せず）からの像光をＣＣＤイメージセンサ１２の撮像面上に結像する。ＣＣＤイメージセンサ１２は、光電変換素子を含む画素が行列状に配置されてなり、撮像面上に結像された像光を画素単位で光電変換し、また光電変換した信号電荷を電気信号に変換してアナログ映像信号として出力する。   The lens 11 forms image light from a subject (not shown) to be imaged on the imaging surface of the CCD image sensor 12. The CCD image sensor 12 includes pixels including photoelectric conversion elements arranged in a matrix, photoelectrically converts image light imaged on the imaging surface in units of pixels, and converts photoelectrically converted signal charges into electric signals. And output as an analog video signal.

ＣＤＳ回路１３は、ＣＣＤイメージセンサ１２の出力波形のリセット部とデータ部をサンプリングし、それらの位相を合わせた後減算処理することによってＣＣＤイメージセンサ１２から出力される映像信号に含まれるノイズ成分を除去する。ＡＧＣアンプ１４は、ＣＤＳ回路１３を経た映像信号のレベルを調整するレベル調整手段である。Ａ／Ｄ変換器１５は、ＡＧＣアンプ１４でレベル調整されたアナログ映像信号をデジタル映像信号に変換する。信号処理部１６は、デジタル映像信号に対して各種の信号処理を施す。Ｄ／Ａ変換器１７は、信号処理部１６で信号処理されたデジタル映像信号をアナログ映像信号に変換して出力する。   The CDS circuit 13 samples the reset part and the data part of the output waveform of the CCD image sensor 12, matches the phases thereof, and then performs a subtraction process to obtain a noise component contained in the video signal output from the CCD image sensor 12. Remove. The AGC amplifier 14 is level adjusting means for adjusting the level of the video signal that has passed through the CDS circuit 13. The A / D converter 15 converts the analog video signal whose level has been adjusted by the AGC amplifier 14 into a digital video signal. The signal processing unit 16 performs various types of signal processing on the digital video signal. The D / A converter 17 converts the digital video signal processed by the signal processing unit 16 into an analog video signal and outputs the analog video signal.

信号処理部１６には、積分回路を含むオプティカルディテクタ（ＯＰＤ）２１が内蔵されている。オプティカルディテクタ２１は、デジタル映像信号から得られる被写体像の輝度データを１フィールド（ＮＴＳＣ方式：１／６０［秒］、ＰＡＬ方式：１／５０［秒］）ごとに積分することによって輝度積分値を得る。この輝度積分値は、システムコントローラ２０に与えられる。タイミング発生器１８は、ＣＤＳ回路１３のサンプリングパルスやＣＣＤイメージセンサ１２の駆動の基準となる各種のタイミングパルスを発生する。   The signal processing unit 16 includes an optical detector (OPD) 21 including an integration circuit. The optical detector 21 integrates the luminance data of the subject image obtained from the digital video signal for each field (NTSC method: 1/60 [second], PAL method: 1/50 [second]) to obtain the luminance integrated value. obtain. This luminance integral value is given to the system controller 20. The timing generator 18 generates sampling pulses for the CDS circuit 13 and various timing pulses that serve as a reference for driving the CCD image sensor 12.

ＣＣＤ駆動回路１９は、タイミング発生器１９で発生される各種のタイミングパルスに基づいて、ＣＣＤイメージセンサ１２における各画素からの信号電荷の読み出し、信号電荷の垂直転送および水平転送などの駆動を行うとともに、画素単位で蓄積した電荷をシャッター速度に応じたタイミングで捨てる電子シャッター動作の制御を行う。電子シャッターの動作は、ＣＣＤイメージセンサ１２が作成された半導体基板に印加する基板電圧に対して、水平ブランキング期間中にシャッターパルスを与えることによって実現できる。この電子シャッターのシャッター速度により、ＣＣＤイメージセンサ１２の各画素において光電変換して電荷を蓄積する時間、即ち露光時間が決まる。   Based on various timing pulses generated by the timing generator 19, the CCD driving circuit 19 performs driving such as reading of signal charges from each pixel, vertical transfer and horizontal transfer of signal charges in the CCD image sensor 12. The electronic shutter operation is performed in which the electric charge accumulated in units of pixels is discarded at a timing according to the shutter speed. The operation of the electronic shutter can be realized by applying a shutter pulse during the horizontal blanking period to the substrate voltage applied to the semiconductor substrate on which the CCD image sensor 12 is created. Depending on the shutter speed of the electronic shutter, the time during which photoelectric conversion is performed in each pixel of the CCD image sensor 12 to accumulate charges, that is, the exposure time is determined.

システムコントローラ２０は、例えばマイクロコンピュータによって構成され、オプティカルディテクタ２１で検出された輝度積分値とＣＣＤイメージセンサ１２の画素数とから被写体全体の平均輝度を算出する。そして、システムコントローラ２０は、算出した平均輝度に基づいて、例えば、被写体像の輝度が所定の輝度よりも大きいときは電子シャッターのシャッター速度を制御し、被写体像の輝度が所定の輝度よりも小さいときはＡＧＣアンプ１４のゲイン（以下、ＡＧＣゲインと記す）を制御することによって自動露光制御やフリッカの発生を抑える制御を行う。システムコントローラ２０はさらに、フリッカの発生を抑える制御を行うに当たって、ＣＣＤイメージセンサ１２によって撮像する被写体像の輝度信号に含まれる所定の周波数成分を検出する検出手段としての機能をも持っている。   The system controller 20 is composed of, for example, a microcomputer, and calculates the average luminance of the entire subject from the luminance integrated value detected by the optical detector 21 and the number of pixels of the CCD image sensor 12. Then, the system controller 20 controls the shutter speed of the electronic shutter based on the calculated average luminance, for example, when the luminance of the subject image is larger than the predetermined luminance, and the luminance of the subject image is smaller than the predetermined luminance. In some cases, automatic exposure control and control for suppressing the occurrence of flicker are performed by controlling the gain of the AGC amplifier 14 (hereinafter referred to as AGC gain). The system controller 20 also has a function as a detecting means for detecting a predetermined frequency component included in the luminance signal of the subject image picked up by the CCD image sensor 12 in performing control for suppressing the occurrence of flicker.

続いて、システムコントローラ２０で行われる、輝度信号に含まれる所定の周波数成分を検出するための処理について具体的に説明する。   Next, the process for detecting a predetermined frequency component included in the luminance signal, which is performed by the system controller 20, will be specifically described.

システムコントローラ２０は、求めた被写体全体の平均輝度を離散フーリエ変換、例えばＰ（Ｐは２以上の整数）ポイント離散フーリエ変換し、この離散フーリエ変換によって得られた周波数情報に所定の周波数成分、例えば高周波成分が含まれているか否かを検出することにより、被写体を撮像した情報、即ちＣＣＤイメージセンサ１２から出力される映像信号中の輝度信号にフリッカ成分が含まれているか否かを判断する。ここで、離散フーリエ変換によって得られた周波数情報に含まれる高周波成分はフリッカ成分そのものである。   The system controller 20 performs a discrete Fourier transform, for example, P (P is an integer of 2 or more) point discrete Fourier transform, for the obtained average luminance of the entire subject, and a predetermined frequency component, for example, is added to the frequency information obtained by the discrete Fourier transform. By detecting whether or not a high frequency component is included, it is determined whether or not a flicker component is included in the information obtained by imaging the subject, that is, the luminance signal in the video signal output from the CCD image sensor 12. Here, the high frequency component contained in the frequency information obtained by the discrete Fourier transform is the flicker component itself.

また、フリッカ成分は、垂直同期信号の周波数が６０［Ｈｚ］（フィールド周期が１／６０［秒］）のＮＴＳＣ方式に準拠した撮像装置を用いて、５０［Ｈｚ］の商用電源で動作する蛍光灯の照明下で被写体像を撮像した場合は２０［Ｈｚ］（３フィールド周期）であり、垂直同期信号の周波数が５０［Ｈｚ］（フィールド周期が１／５０［秒］）のＰＡＬ方式に準拠した撮像装置を用いて、６０［Ｈｚ］の商用電源で動作する蛍光灯の照明下で被写体像を撮像した場合は１０［Ｈｚ］（５フィールド周期）である。   In addition, the flicker component is a fluorescence that operates with a commercial power supply of 50 [Hz] using an imaging device conforming to the NTSC system with a vertical synchronization signal frequency of 60 [Hz] (field period is 1/60 [second]). When the subject image is captured under the illumination of a lamp, it is 20 [Hz] (3 field period), and the vertical synchronization signal frequency is 50 [Hz] (field period is 1/50 [second]). When the subject image is captured under the illumination of a fluorescent lamp that operates with a commercial power supply of 60 [Hz] using the image pickup apparatus, the frequency is 10 [Hz] (5-field cycle).

Ｐポイント離散フーリエ変換は、下記式（１）に基づいて行われる。   The P-point discrete Fourier transform is performed based on the following formula (1).

Figure 2005101793
Figure 2005101793

上記式（１）において、Ｘ（ｍ）は輝度周波数成分を示し、ｍ＝０が低周波成分、ｍ＝１，２が高周波成分となる。また、ｘ（ｎ）は平均輝度を、Ｐは離散ポイント数をそれぞれ示している。ここでは、垂直同期信号の周波数が６０［Ｈｚ］（フィールド周期が１／６０［秒］）のＮＴＳＣ方式に準拠した撮像装置を用いて、５０［Ｈｚ］の商用電源で動作する蛍光灯の照明下で被写体を撮像した場合を例に採るものとすると、フリッカが３フィールド周期で発生することに合わせて、例えばＰ＝３とする。そして、上記式（１）をＰ＝３、ｍ＝１の場合について展開し、絶対値の自乗をとった下記式（２）の値を評価する。   In the above equation (1), X (m) represents a luminance frequency component, where m = 0 is a low frequency component and m = 1, 2 is a high frequency component. Further, x (n) represents the average luminance, and P represents the number of discrete points. Here, the illumination of a fluorescent lamp operating with a commercial power supply of 50 [Hz] using an imaging device compliant with the NTSC system whose vertical synchronization signal frequency is 60 [Hz] (field period is 1/60 [second]). If the case where the subject is imaged below is taken as an example, P = 3, for example, in accordance with the occurrence of flicker in a three-field cycle. Then, the above equation (1) is expanded for the case of P = 3 and m = 1, and the value of the following equation (2) obtained by taking the square of the absolute value is evaluated.

Figure 2005101793
Figure 2005101793

このように、被写体全体の平均輝度をＰポイント離散フーリエ変換し、Ｐ＝３、ｍ＝１の場合について展開し、絶対値の自乗をとった上記式（２）の値｜Ｘ(1)｜2 を評価することにより、輝度信号の高周波成分が存在するか否かをリアルタイムで検出することができる。そして、上記式（２）の値｜Ｘ(1)｜2 が、ある一定の判定閾値よりも大きくなればフリッカ成分が有ると判定し、当該判定閾値以下であればフリッカ成分が無いと判定する。 In this way, the average luminance of the entire subject is subjected to P-point discrete Fourier transform, developed for the case of P = 3 and m = 1, and the value | X (1) | By evaluating 2 , it is possible to detect in real time whether a high-frequency component of the luminance signal exists. If the value | X (1) | 2 of the above equation (2) is larger than a certain determination threshold, it is determined that there is a flicker component, and if it is equal to or less than the determination threshold, it is determined that there is no flicker component. .

特に、周波数成分そのものを観察してフリッカ成分の有無の判定を行っているため、比較的小さなフリッカ成分についてもその有無を判定することができる。また、離散ポイント数Ｐを少ない数値（ここでは、３）に設定することにより、輝度信号の高周波成分を検出するための一連の処理をソフトウエアで行う場合に、当該ソフトウエアの負担を軽減できる。   In particular, since the presence / absence of a flicker component is determined by observing the frequency component itself, the presence / absence of a relatively small flicker component can also be determined. In addition, by setting the number of discrete points P to a small number (here, 3), the burden on the software can be reduced when a series of processing for detecting the high frequency component of the luminance signal is performed by software. .

また、本実施形態に係る撮像装置においては、上記式（２）の値、即ち輝度高周波成分｜Ｘ(1)｜2 を判定閾値と比較することによってフリッカ成分の有無の判定を行うに当たり、図２に示すように、判定閾値にヒステリシスを設けるようにしている。具体的には、判定閾値としてフリッカ有り判定閾値とフリッカ無し判定閾値とを設けている。さらに、輝度高周波成分｜Ｘ(1)｜2 がフリッカ有り判定閾値を超えてからフリッカ有りの判定を行うまでに一定の閾値超え時間を、また輝度高周波成分｜Ｘ(1)｜2 がフリッカ無し判定閾値を超えてからフリッカ無しの判定を行うまでに一定の閾値超え時間をそれぞれ設けている。 In the imaging apparatus according to the present embodiment, the value of the above formula (2), i.e. the luminance high frequency component | X (1) | in performing the determination of the presence or absence of a flicker component by comparing two judgment threshold value, FIG. As shown in FIG. 2, hysteresis is provided for the determination threshold. Specifically, a flicker presence determination threshold and a flicker absence determination threshold are provided as determination thresholds. Further, the luminance high frequency component | X (1) | 2 is a constant threshold exceeded time before it is determined there is a flicker of exceeding the flicker there determination threshold, also the luminance high frequency component | X (1) | 2 is no flicker A certain threshold excess time is provided from the time when the determination threshold is exceeded until the determination of no flicker is made.

このように、フリッカ成分の有無の判定を行うに当たり、判定閾値にヒステリシスを設けることにより、判定閾値付近で判定結果が不安定にならないようにすることができる。換言すれば、フリッカ成分の有無の判定をより確実に行うことができる。なお、ＰＡＬ方式の場合に発生するフリッカは、先述したように、５フィールド周期の周波数成分であるため、ＰＡＬ方式の場合にも、３ポイント離散フーリエ変換を適用すると、離散フーリエ変換の結果にゆらぎが生じる。   As described above, when determining the presence or absence of the flicker component, it is possible to prevent the determination result from becoming unstable near the determination threshold by providing the determination threshold with hysteresis. In other words, the presence / absence of the flicker component can be more reliably determined. As described above, the flicker generated in the case of the PAL method is a frequency component of a five-field period. Therefore, even in the case of the PAL method, if the three-point discrete Fourier transform is applied, the result of the discrete Fourier transform fluctuates. Occurs.

そこで、ＰＡＬ方式に３ポイント離散フーリエ変換を適用する場合は、判定閾値のヒステリシス幅（フリッカ有り判定閾値とフリッカ無し判定閾値の間隔）を適当に選定することにより、離散フーリエ変換の結果に生じるゆらぎをヒステリシス幅の範囲内に収めることができるため、フリッカ成分の有無の判定を確実に行うことができる。ただし、ＰＡＬ方式の場合には、５ポイント離散フーリエ変換を適用すれば、離散ポイント数が多くなる分だけソフトウエアの負担が増すものの、離散フーリエ変換の結果にゆらぎが生じることはない。   Therefore, when 3-point discrete Fourier transform is applied to the PAL method, fluctuations that occur in the result of the discrete Fourier transform are selected by appropriately selecting the hysteresis width of the determination threshold (the interval between the determination threshold with flicker and the determination threshold without flicker). Therefore, it is possible to reliably determine whether or not there is a flicker component. However, in the case of the PAL method, if the 5-point discrete Fourier transform is applied, the software load increases as the number of discrete points increases, but the result of the discrete Fourier transform does not fluctuate.

ところで、フリッカ有りを判定し、シャッター速度、ＡＧＣゲイン等で露光調整しつつフリッカの発生を抑える制御を行った場合、オプティカルディテクタ２１から得られる輝度積分値からフリッカ成分が消える訳であるが、このままでは、フリッカの発生を抑える制御を行った結果フリッカ成分が消えた状態と、フリッカの発生ソースである蛍光灯が消灯した結果フリッカ成分が消えた状態とを識別することができないことになる。   By the way, when it is determined that there is flicker and control is performed to suppress flicker while adjusting exposure with the shutter speed, AGC gain, etc., the flicker component disappears from the integrated luminance value obtained from the optical detector 21. Thus, it is impossible to distinguish between the state in which the flicker component disappears as a result of the control for suppressing the occurrence of flicker and the state in which the flicker component disappears as a result of the fluorescent lamp that is the source of flicker being extinguished.

そこで、フリッカの発生を抑える制御中は、当該制御に使用した露光制御量を保存しておき、オプティカルディテクタ２１から得られる輝度積分値から、フリッカの発生を抑える制御がかからなかった場合の平均輝度を予測し、この予測した平均輝度を式（１）のｘ（ｎ）に入れて、式（２）の値｜Ｘ(1)｜2を評価する。このようにすることにより、フリッカの発生を抑える制御によって輝度積分値からフリッカ成分が消えた際に、蛍光灯が消灯した結果フリッカ成分が消えた場合と識別することができる。 Therefore, during the control for suppressing the occurrence of flicker, the exposure control amount used for the control is stored, and the average when the control for suppressing the occurrence of flicker is not applied from the luminance integrated value obtained from the optical detector 21. The brightness is predicted, and the predicted average brightness is put into x (n) of Expression (1), and the value | X (1) | 2 of Expression (2) is evaluated. In this way, when the flicker component disappears from the luminance integrated value by the control for suppressing the occurrence of flicker, it can be distinguished from the case where the flicker component disappears as a result of turning off the fluorescent lamp.

続いて、フリッカ成分の有無の判定およびフリッカの発生を抑える制御を行う際のシステムコントローラ２０の処理手順について、図３のフローチャートを用いて説明する。   Next, the processing procedure of the system controller 20 when performing the determination of the presence / absence of the flicker component and the control for suppressing the occurrence of flicker will be described with reference to the flowchart of FIG.

システムコントローラ２０は、先ず、現在フリッカの発生を抑える制御中であるか否かを判断し（ステップＳ１１）、制御中であれば、オプティカルディテクタ２１から得られる輝度積分値からフリッカ成分が消える訳であるから、当該制御がかからなかった場合の平均輝度を、オプティカルディテクタ２１から得られる輝度積分値から予測する（ステップＳ１２）。次いで、この予測した平均輝度を式（１）のｘ（ｎ）に入れ（ステップＳ１３）、離散フーリエ変換を実行する（ステップＳ１４）。次いで、離散フーリエ変換の結果がフリッカ無し判定閾値以下でかつ閾値超え判定時間が経過したか否かを判定し（ステップＳ１５）、その条件を満足していれば、フリッカ成分が無いと判定する（ステップＳ１６）。   First, the system controller 20 determines whether or not the control for suppressing the occurrence of flicker is currently being performed (step S11). If the control is being performed, the flicker component disappears from the integrated luminance value obtained from the optical detector 21. Therefore, the average brightness when the control is not applied is predicted from the brightness integrated value obtained from the optical detector 21 (step S12). Next, this predicted average luminance is put into x (n) of equation (1) (step S13), and discrete Fourier transform is executed (step S14). Next, it is determined whether or not the result of the discrete Fourier transform is equal to or less than the flicker-free determination threshold and the threshold excess determination time has elapsed (step S15). If the condition is satisfied, it is determined that there is no flicker component ( Step S16).

ステップＳ１１において、フリッカの発生を抑える制御中でないと判定した場合は、オプティカルディテクタ２１から得られる輝度積分値から算出した平均輝度を式（１）のｘ（ｎ）に入れ（ステップＳ１７）、離散フーリエ変換を実行する（ステップＳ１８）。次いで、離散フーリエ変換の結果が、フリッカ有り判定閾値以上でかつ閾値超え判定時間が経過したか否かを判定し（ステップＳ１９）、その条件を満足していれば、フリッカ成分が有ると判定し（ステップＳ２０）、フリッカの発生を抑える制御を行う（ステップＳ２１）。   If it is determined in step S11 that the control for suppressing the occurrence of flicker is not being performed, the average luminance calculated from the luminance integrated value obtained from the optical detector 21 is put into x (n) of the equation (1) (step S17), and discrete A Fourier transform is executed (step S18). Next, it is determined whether the result of the discrete Fourier transform is equal to or greater than the flicker presence determination threshold and the threshold excess determination time has elapsed (step S19). If the condition is satisfied, it is determined that there is a flicker component. (Step S20), control for suppressing the occurrence of flicker is performed (Step S21).

ステップＳ１５において、離散フーリエ変換の結果がフリッカ無し判定閾値よりも大きいと判定した場合、あるいは離散フーリエ変換の結果がフリッカ無し判定閾値以下であっても、閾値超え判定時間が経過していないと判定した場合はステップＳ２０の処理に移行する。また、ステップＳ１９において、離散フーリエ変換の結果がフリッカ有り判定閾値よりも小さいと判定した場合、あるいは離散フーリエ変換の結果がフリッカ有り判定閾値以上であっても、閾値超え判定時間が経過していないと判定した場合はステップＳ１６の処理に移行する。   If it is determined in step S15 that the result of the discrete Fourier transform is larger than the flicker-free determination threshold value, or if the result of the discrete Fourier transform is equal to or less than the flicker-free determination threshold value, it is determined that the threshold excess determination time has not elapsed. If so, the process proceeds to step S20. In step S19, when it is determined that the result of the discrete Fourier transform is smaller than the determination threshold value with flicker, or the result of the discrete Fourier transform is equal to or greater than the determination threshold value with flicker, the threshold excess determination time has not elapsed. If it is determined, the process proceeds to step S16.

なお、フリッカの発生を抑える制御を行う具体的な手法としては、自動露光制御に使用するシャッター速度やＡＧＣゲイン、あるいはシャッター速度およびＡＧＣゲインの双方を用いて、被写体像の輝度積分値に基づいて行う手法などを用いることができるが、本発明は、フリッカ成分の有無の判定を行う点を特徴としていることから、フリッカの発生を抑える制御を行う手法については問わない。   As a specific method for controlling the occurrence of flicker, the shutter speed and AGC gain used for the automatic exposure control, or both the shutter speed and the AGC gain are used, based on the integrated luminance value of the subject image. However, since the present invention is characterized in that the presence / absence of a flicker component is determined, there is no limitation on a method for performing control for suppressing the occurrence of flicker.

本発明の一実施形態に係る撮像装置の構成例を示すブロック図である。It is a block diagram showing an example of composition of an imaging device concerning one embodiment of the present invention. フリッカ有無の判定における判定閾値のヒステリシスの説明に供する図である。It is a figure where it uses for description of the hysteresis of the determination threshold value in determination of the presence or absence of flicker. フリッカ成分の有無の判定およびフリッカの発生を抑える制御を行う際の処理手順を示すフローチャートである。It is a flowchart which shows the process sequence at the time of performing determination which determines the presence or absence of a flicker component, and suppresses generation | occurrence | production of flicker.

符号の説明Explanation of symbols

１１…レンズ、１２…ＣＣＤイメージセンサ、１３…ＣＤＳ回路、１４…ＡＧＣアンプ、１５…Ａ／Ｄ変換器、１６…信号処理部、１７…Ｄ／Ａ変換器、１８…タイミング発生器、１９…ＣＣＤ駆動回路、２０…システムコントローラ、２１…オプティカルディテクタ   DESCRIPTION OF SYMBOLS 11 ... Lens, 12 ... CCD image sensor, 13 ... CDS circuit, 14 ... AGC amplifier, 15 ... A / D converter, 16 ... Signal processing part, 17 ... D / A converter, 18 ... Timing generator, 19 ... CCD drive circuit, 20 ... system controller, 21 ... optical detector

Claims (10)

固体撮像素子と、
前記固体撮像素子によって撮像された被写体像の輝度信号に含まれる所定の周波数成分を検出する検出手段と、
前記検出手段が前記周波数成分を検出したときに、フリッカの発生を抑えるフリッカ抑制手段と
を備えたことを特徴とする撮像装置。 A solid-state image sensor;
Detecting means for detecting a predetermined frequency component included in a luminance signal of a subject image imaged by the solid-state imaging device;
An image pickup apparatus comprising: flicker suppressing means for suppressing occurrence of flicker when the detecting means detects the frequency component. 前記検出手段は、前記被写体像の平均輝度を離散フーリエ変換して得られた周波数情報に前記周波数成分が含まれているか否かを検出する
ことを特徴とする請求項１記載の撮像装置。 The imaging device according to claim 1, wherein the detection unit detects whether or not the frequency component is included in frequency information obtained by performing discrete Fourier transform on average luminance of the subject image. 前記検出手段は、前記周波数情報を所定の閾値と比較することによって前記周波数成分の有無を判定する
ことを特徴とする請求項２記載の撮像装置。 The imaging device according to claim 2, wherein the detection unit determines the presence or absence of the frequency component by comparing the frequency information with a predetermined threshold value. 前記検出手段は、前記所定の閾値として前記周波数成分が有ることを判定するために用いる第１の閾値と、前記周波数成分が無いことを判定するために用いる第２の閾値とを有する
ことを特徴とする請求項３記載の撮像装置。 The detection means has a first threshold value used for determining that the frequency component is present as the predetermined threshold value, and a second threshold value used for determining that the frequency component is not present. The imaging apparatus according to claim 3. 前記検出手段は、前記周波数情報が前記第１、第２の閾値を超えてから一定時間が経過した後に前記周波数成分の有無を判定する
ことを特徴とする請求項４記載の撮像装置。 The imaging apparatus according to claim 4, wherein the detection unit determines the presence or absence of the frequency component after a predetermined time has elapsed after the frequency information exceeds the first and second thresholds. 固体撮像素子によって撮像された被写体像の輝度信号に含まれる所定の周波数成分を検出する検出ステップと、
前記検出ステップで前記周波数成分を検出したときに、フリッカの発生を抑えるフリッカ抑制ステップと
を含むことを特徴とする撮像方法。 A detection step of detecting a predetermined frequency component included in the luminance signal of the subject image captured by the solid-state imaging device;
And a flicker suppression step for suppressing flicker generation when the frequency component is detected in the detection step. 前記検出ステップでは、前記被写体像の平均輝度を離散フーリエ変換して得られた周波数情報に前記周波数成分が含まれているか否かを検出する
ことを特徴とする請求項６記載の撮像方法。 The imaging method according to claim 6, wherein in the detection step, it is detected whether or not the frequency component is included in frequency information obtained by performing discrete Fourier transform on average luminance of the subject image. 前記検出ステップでは、前記周波数情報を所定の閾値と比較することによって前記周波数成分の有無を判定する
ことを特徴とする請求項７記載の撮像方法。 The imaging method according to claim 7, wherein in the detecting step, the presence or absence of the frequency component is determined by comparing the frequency information with a predetermined threshold value. 前記検出ステップでは、前記周波数成分が有ることを判定するために用いる第１の閾値と、前記周波数成分が無いことを判定するために用いる第２の閾値とを前記所定の閾値とする
ことを特徴とする請求項８記載の撮像方法。 In the detection step, a first threshold value used for determining that the frequency component is present and a second threshold value used for determining that the frequency component is not present are set as the predetermined threshold value. The imaging method according to claim 8. 前記検出ステップでは、前記周波数情報が前記第１、第２の閾値を超えてから一定時間が経過した後に前記周波数成分の有無を判定する
ことを特徴とする請求項９記載の撮像方法。
The imaging method according to claim 9, wherein, in the detection step, the presence or absence of the frequency component is determined after a predetermined time has elapsed since the frequency information exceeds the first and second thresholds.
JP2003330959A 2003-09-24 2003-09-24 Imaging apparatus and imaging method Abandoned JP2005101793A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003330959A JP2005101793A (en) 2003-09-24 2003-09-24 Imaging apparatus and imaging method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003330959A JP2005101793A (en) 2003-09-24 2003-09-24 Imaging apparatus and imaging method

Publications (1)

Publication Number Publication Date
JP2005101793A true JP2005101793A (en) 2005-04-14

Family

ID=34459740

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003330959A Abandoned JP2005101793A (en) 2003-09-24 2003-09-24 Imaging apparatus and imaging method

Country Status (1)

Country Link
JP (1) JP2005101793A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112887629A (en) * 2021-01-27 2021-06-01 维沃移动通信有限公司 Frequency detection method, frequency detection device, electronic equipment and storage medium
US11792529B2 (en) 2020-09-10 2023-10-17 Canon Kabushiki Kaisha Imaging apparatus, method of driving imaging apparatus, imaging system and mobile body

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11792529B2 (en) 2020-09-10 2023-10-17 Canon Kabushiki Kaisha Imaging apparatus, method of driving imaging apparatus, imaging system and mobile body
CN112887629A (en) * 2021-01-27 2021-06-01 维沃移动通信有限公司 Frequency detection method, frequency detection device, electronic equipment and storage medium

Similar Documents

Publication Publication Date Title
JP4106554B2 (en) Imaging environment determination method and imaging apparatus
JP3823314B2 (en) Imaging signal processing apparatus and flicker detection method
JP4840578B2 (en) Flicker detection method and apparatus for imaging apparatus
KR100643830B1 (en) Flicker detecting device and image pickup device
RU2627933C2 (en) Image capturing device and device control method
JP4646655B2 (en) Solid-state imaging device, driving method thereof, and imaging system
EP1753226A1 (en) Imaging device and signal processing method
JP2011193065A (en) Imaging equipment
JP2007174537A (en) Imaging apparatus
JP2006345368A (en) Image processing apparatus and imaging apparatus
JP4539432B2 (en) Image processing apparatus and imaging apparatus
JP2004023605A (en) Image processing apparatus, camera apparatus, and automatic exposure control method therefor
JP2001119708A (en) Flicker detection and correction device, and flicker detection and correction method
JP5331766B2 (en) Imaging device
US20160065823A1 (en) Imaging device and scene determination method
US8169503B2 (en) Image pickup apparatus and control method for selecting a flicker control method
JP2005101793A (en) Imaging apparatus and imaging method
JP2007158964A (en) Image processing apparatus and imaging device
JP4026890B2 (en) Electronic camera and electronic shutter control method thereof
JPH07298130A (en) Image pickup device
JP2007329604A (en) Fluorescent light flicker detection circuit
JP2008113237A (en) Flicker detecting method and device in imaging apparatus
KR100867595B1 (en) Method for controlling wide dynamic range in camera
JP2010273147A (en) Imaging signal specific state detector, imaging apparatus, detection method for imaging signal specific state, program and integrated circuit
JP4958732B2 (en) Flicker correction device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060712

A762 Written abandonment of application

Free format text: JAPANESE INTERMEDIATE CODE: A762

Effective date: 20080228