JP4483744B2 - 撮像装置及び撮像制御方法 - Google Patents

撮像装置及び撮像制御方法 Download PDF

Info

Publication number
JP4483744B2
JP4483744B2 JP2005246746A JP2005246746A JP4483744B2 JP 4483744 B2 JP4483744 B2 JP 4483744B2 JP 2005246746 A JP2005246746 A JP 2005246746A JP 2005246746 A JP2005246746 A JP 2005246746A JP 4483744 B2 JP4483744 B2 JP 4483744B2
Authority
JP
Japan
Prior art keywords
flicker
phase
component
exposure
shutter speed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005246746A
Other languages
English (en)
Other versions
JP2007060585A (ja
Inventor
司 桐澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2005246746A priority Critical patent/JP4483744B2/ja
Priority to EP06254420A priority patent/EP1758374A3/en
Priority to KR1020060079819A priority patent/KR20070024381A/ko
Priority to US11/466,981 priority patent/US8031237B2/en
Priority to CN2006100640003A priority patent/CN101009760B/zh
Publication of JP2007060585A publication Critical patent/JP2007060585A/ja
Application granted granted Critical
Publication of JP4483744B2 publication Critical patent/JP4483744B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/73Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/71Circuitry for evaluating the brightness variation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

本発明は、蛍光灯の照明下でCMOS(相補型金属酸化物半導体)撮像素子などのXYアドレス走査型の撮像素子(イメージャ、イメージセンサ)を用いたビデオカメラやデジタルスチルカメラなどの撮像装置及び撮像制御方法に関する。
商用交流電源によって直接点灯される蛍光灯の照明下で、ビデオカメラによって被写体を撮影すると、蛍光灯の輝度変化(光量変化)の周波数(商用交流電源周波数の2倍)とカメラの垂直同期周波数との違いによって、撮影出力の映像信号に時間的な明暗の変化、いわゆる蛍光灯フリッカを生じる。
例えば、商用交流電源周波数が50Hzの地域において、非インバータ方式の蛍光灯の照明下で、NTSC方式(垂直同期周波数は60Hz)のCCDカメラによって被写体を撮影する場合、図32に示すように、1フィールド周期が1/60秒であるのに対して、蛍光灯の輝度変化の周期が1/100秒となるので、蛍光灯の輝度変化に対して各フィールドの露光タイミングがずれ、各画素の露光量がフィールドごとに変化する。
そのため、例えば、露光時間が1/60秒であるときには、期間a1,a2,a3では、同じ露光時間でも露光量が異なり、露光時間が1/60秒より短いとき(ただし、後述のように1/100秒ではないとき)には、期間b1,b2,b3では、同じ露光時間でも露光量が異なる。
蛍光灯の輝度変化に対する露光タイミングは、3フィールドごとに元のタイミングに戻るため、フリッカによる明暗変化は、3フィールドごとの繰り返しとなる。すなわち、各フィールドの輝度比(フリッカの見え方)は、露光期間によって変わるが、フリッカの周期は変わらない。
ただし、デジタルカメラなど、プログレッシブ方式のカメラで、垂直同期周波数が30Hzの場合には、3フレームごとに明暗変化が繰り返される。
さらに、蛍光灯は、白色光を発光するために、通常、複数の蛍光体、例えば、赤、緑、青の蛍光体が用いられている。しかし、これら蛍光体は、それぞれが固有の残光特性を有し、輝度変化の周期中に存在する放電停止から次の放電開始までの期間は、それぞれの残光特性で減衰発光する。そのため、この期間では、始めは白色であった光が、次第に色相を変えながら減衰することになるので、上記のように露光タイミングがずれると、明暗変化だけでなく、色相変化を生じる。また、蛍光灯は、特定の波長に強いピークが存在するという特有の分光特性を持っているため、色によって信号の変動成分が異なる。
そして、このような色相変化、および色ごとの変動成分の差によって、いわゆる色フリッカが発生する。
これに対して、図32の最下段に示すように、露光時間を蛍光灯の輝度変化の周期(1/100秒)の整数倍に設定すれば、露光タイミングにかかわらず露光量が一定となって、フリッカを生じない。
実際、ユーザの操作によって、またはカメラでの信号処理により蛍光灯照明下であることを検出することによって、蛍光灯照明下である場合には露光時間を1/100秒の整数倍に設定する方式が考えられている。この方式によれば、単純な方法で、フリッカの発生を完全に防止することができる。
しかし、この方式では、任意の露光時間に設定することができないため、適切な露出を得るための露光量調整手段の自由度が減ってしまう。
そのため、任意のシャッタ速度(露光時間)のもとで蛍光灯フリッカを低減することができる方法が要求される。
これについては、CCD撮像装置のように1画面内の全ての画素が同一の露光タイミングで露光される撮像装置の場合には、フリッカによる明暗変化および色変化がフィールド間でのみ現れるため、比較的容易に実現することができる。
例えば、図32の場合、露光時間が1/100秒の整数倍でなければ、フリッカは3フィールドの繰り返し周期となるので、各フィールドの映像信号の平均値が一定となるように3フィールド前の映像信号から現在の輝度および色の変化を予測し、その予測結果に応じて各フィールドの映像信号のゲインを調整することによって、フリッカを実用上問題のないレベルまで抑圧することができる。
しかしながら、CMOS撮像素子などのXYアドレス走査型の撮像素子では、画素ごとの露光タイミングが画面水平方向において読み出しクロック(画素クロック)の1周期分ずつ順次ずれ、全ての画素で露光タイミングが異なるため、上記の方法ではフリッカを十分抑圧することはできない。
図33に、その様子を示す。上記のように画面水平方向でも各画素の露光タイミングが順次ずれるが、蛍光灯の輝度変化の周期に比べて1水平周期は十分短いので、同一ライン上の画素は露光タイミングが同時であると仮定し、画面垂直方向における各ラインの露光タイミングを示す。実際上、このように仮定しても問題はない。
図33に示すように、XYアドレス走査型の撮像素子、例えばCMOS撮像素子では、ラインごとに露光タイミングが異なり(F1は、あるフィールドでの、その様子を示す)、各ラインで露光量に差を生じるため、フリッカによる明暗変化および色変化が、フィールド間だけでなくフィールド内でも生じ、画面上では縞模様(縞自体の方向は水平方向、縞の変化の方向は垂直方向)として現れる。
図34に、被写体が均一なパターンの場合の、この画面内フリッカの様子を示す。縞模様の1周期(1波長)が1/100秒であるので、1画面中には1.666周期分の縞模様が発生することになり、1フィールド当たりの読み出しライン数をMとすると、縞模様の1周期は読み出しライン数ではL=M*60/100に相当する。なお、明細書および図面では、アスタリスク(*)を乗算の記号として用いる。
図35に示すように、この縞模様は、3フィールド(3画面)で5周期(5波長)分となり、連続的に見ると垂直方向に流れるように見える。
図34および図35には、フリッカによる明暗変化のみを示すが、実際には上述した色変化も加わり、画質が著しく劣化する。特に色フリッカは、シャッタ速度が速くなると顕著になるとともに、XYアドレス走査型の撮像素子では、その影響が画面内に現れるため、画質劣化がより目立つようになる。
このようなXYアドレス走査型の撮像素子の場合にも、露光時間を蛍光灯の輝度変化の周期(1/100秒)の整数倍に設定することができれば、露光タイミングにかかわらず露光量が一定となって、画面内フリッカを含む蛍光灯フリッカを生じない。
しかしながら、CMOS撮像素子などで、電子シャッタ速度を可変にすると、撮像装置が複雑になる。しかも、電子シャッタを自由に切れる撮像装置であっても、フリッカ防止のために露光時間を1/100秒の整数倍にしか設定できないとすると、適切な露出を得るための露光量調整手段の自由度が減ってしまう。
そこで、CMOS撮像素子などのXYアドレス走査型の撮像素子に固有の蛍光灯フリッカを低減する方法が提案されている。
特許文献1(特開2000−350102公報)または特許文献2(特開2000−23040公報)には、受光素子や測光素子により蛍光灯の光量を測定することによってフリッカ成分を推定し、その推定結果に応じて撮像素子からの映像信号の利得を制御する方法が示されている。
特許文献3(特開2001−16508公報)には、現在の外光条件に適した第1の電子シャッタ値と蛍光灯の明滅周期に対して所定の関係を有する第2の電子シャッタ値との2条件で2種の画像を撮影し、両者の信号を比較することによってフリッカ成分を推定し、その推定結果に応じて撮像素子からの映像信号の利得を制御する方法が示されている。
特許文献4(特開平11−164192号公報)には、あらかじめ蛍光灯照明下での明暗変化の様子を補正係数としてメモリ内に記録しておく一方で、映像信号成分とフリッカ成分の周波数の違いを利用して撮像素子からの映像信号からフリッカ成分の位相を検出し、その検出結果に応じてメモリ内の補正係数によって映像信号を補正する方法が示されている。
特許文献5(特開2000−165752公報)には、フリッカの位相がちょうど180度反転するような時間差をもって露光された2つの映像信号から補正係数を算出し、その算出した補正係数によって映像信号を補正する方法が示されている。
しかしながら、特許文献1,2に記載のように、受光素子や測光素子により蛍光灯の光量を測定することによってフリッカ成分を推定する方法は、撮像装置に受光素子や測光素子を付加するので、撮像装置システムのサイズやコストが増大する。
また、特許文献3に記載のように、異なるシャッタ条件(露出条件)で2種の画像を撮影してフリッカ成分を推定する方法も、撮像装置のシステムが複雑化する欠点があり、しかも、この方法は、動画の撮影には適さない欠点がある。
また、特許文献4に記載のように、メモリ内に用意した係数を補正信号として用いる方法は、全ての種類の蛍光灯につき、補正係数を用意しておくことは不可能であるため、蛍光灯の種類によっては、フリッカ成分を正確に検出し、確実に低減することができない欠点がある。しかも、特許文献4に記載のように、映像信号成分とフリッカ成分の周波数の違いを利用して映像信号からフリッカ成分を抽出する方法では、フリッカ成分が微小な黒の背景部分や低照度の部分などでは、映像信号成分と区別してフリッカ成分を検出することが難しいとともに、画面中に動きのある物体が存在する場合には、フリッカ成分の検出性能が著しく低下する。
また、特許文献5に記載のように、異なるタイミング条件で2種の画像を撮影してフリッカ成分を推定する方法は、特許文献3に記載の方法と同様に、撮像装置のシステムが複雑化するとともに、動画の撮影には適さない欠点がある。
そこで、本件出願人は、 特許文献6(特開2004−222228号公報)に記載されているように、受光素子などを用いることなく、簡単な信号処理のみによって、CMOS撮像素子などのXYアドレス走査型の撮像素子に固有の蛍光灯フリッカを、被写体や映像信号レベルおよび蛍光灯の種類などにかかわらず、高精度で検出し、確実かつ十分に低減することができるようにしたフリッカ低減方法を先に提案している。
このフリッカ低減方法では、正規化後の積分値または差分値として、フリッカ成分以外の信号成分が除去されて、被写体にかかわらず、かつフリッカ成分が微小な黒の背景部分や低照度の部分などでも、フリッカ成分を容易に高精度で推定できる信号が得られ、その正規化後の積分値または差分値の適当な次数までのスペクトルを抽出することによって、蛍光灯の種類や輝度変化波形などにかかわらず、かつ被写体の影響によって信号成分が不連続となる領域でも、フリッカ成分を高精度で推定することができ、その推定したフリッカ成分と入力画像信号を演算することによって、入力画像信号からフリッカ成分を確実かつ十分に低減することができる。
特開2000−350102公報 特開2000−23040公報 特開2001−16508公報 特開平11−164192号公報 特開2000−165752公報 特開2004−222228号公報
ところでXYアドレス走査型の撮像装置で発生する横縞状の蛍光灯フリッカは電源周波数地域と放送方式の組み合わせによってその特徴が異なる。例えば1画面内に発生する縞の特徴を比較すると、各々で周波数・波長・波形・振幅などに違いがあるが、フィールド間の複数画面で比較するとその周期性にも違いがあることがわかる。図36の(a)〜(d)にこの様子を示す。例えばNTSCで50Hz地域の蛍光灯下で撮影した場合、図36の(a)に示すように撮像周期と電源周期の関係からちょうど3フィールド周期で元の位相関係に戻るため、フリッカ縞は3フィールド周期の繰り返しとなり、連続してみると垂直方向に横縞が流れていくように見える。PALで60Hz地域の蛍光灯下で撮影した場合も同様で、この場合は図36の(b)に示すようにフリッカ縞は5フィールド周期で垂直に流れていくように見える。このような問題に対し、特許文献6(特開2004−222228)で提案した手法はフィールド間で発生するフリッカ縞の周期性を利用して絵柄成分とフリッカ成分を分離し、さらにその周波数スペクトルからフリッカ成分の抽出し、抽出したフリッカ成分を使ってゲイン補正を行うというものであり、このような「フィールド間の周期性」を持つ蛍光灯フリッカ問題に対してはこの手法は非常に効果的なものといえる。
一方、NTSCで60Hz地域の蛍光灯下あるいはPALで50Hz地域の蛍光灯下で撮影した場合には通常シャッタ(NTSCは1/60s, PALは1/50s)であればフリッカ縞は現れない。しかしながらこの組み合わせで高速シャッタにすると、先ほどと同じメカニズムにより横縞状のフリッカが発生してくるのだが、図36の(c),(d)に示すようにこの組み合わせでは撮像周期と電源周期の相対的な関係は1フィールドで完結しているため、連続してみてもフリッカ縞は垂直方向に流れない。つまりフリッカ縞が常に同じ場所に現れるという点が先ほどの組み合わせで発生するフリッカ縞の特徴と大きく異なる。すなわち特許文献6(特開2004−222228)の手法のように「フィールド間の周期性」を利用しているアルゴリズムの場合、このような組み合わせにおいてはフリッカと被写体を区別することができず、もはやフリッカを除去・軽減することができない。これまでに提案されている多くのフリッカ補正の手法もこの「フィールド間の周期性」を利用しているが、この組み合わせにおいてはこれらのアルゴリズムは全て無効となってしまうという問題があった。
なお、シャッタスピードをうまく選択することによってこの問題を回避することができる。例えば図36の(a),(c)の場合にはシャッタスピードをN/100sに、図36の(b),(d)の場合にはN/120s固定にすれば、どんなタイミングでも露光量が一定となるのでフリッカ縞は発生しない。これらの関係をまとめて図37に示す。
しかしながらこの場合、n/100sあるいはn/120sという固定のシャッタスピードにしか設定できないため適切な露出を得るための露光量調整手段の自由度が減ってしまうという問題がある。フリッカ問題回避のためにこれを放棄することはできない。また、別途電源周波数を何らかの方法で推定する手段が必要ということも問題である。たとえばフリッカ縞の周期とフレームレートの関係から電源周波数を求めるという方法があるが、フリッカ縞が動かないという時点で、映像信号中に発生している縞が、フリッカによるものなのか、あるいは被写体によるものなのかの区別ができないため、簡単に判別することができない。この問題を回避するために外部センサを使う方式もあるが、この場合にはコスト・サイズ的な問題が浮上する。また「フィールド間の周期性」はあくまで撮像装置からの情報のためフレーミングなどで画角情報が変化している場合後検波する可能性がある。この場合やはり特許文献6(特開2004−222228)の手法よりもn/100sあるいはn/120sにいれることが理想的なフリッカ縞を発生させない手段である。
そこで、本発明は、このような問題に鑑み、特許文献6(特開2004−222228)の手法に適切なシャッタ制限を加えることで放送方式(NTSC/PAL)や地域(電源周波数50Hz/60Hz)全ての組み合わせを完全に網羅した形でフリッカ補正を精度良く行いつつ、適正露出が得られる幅を広く得る手法を提供するものである。
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
本発明は、撮像装置であって、XYアドレス走査型の撮像素子と、上記撮像素子により被写体を撮影することによって得られる動画の映像信号を入力画像信号として、その入力画像信号を1水平周期以上の所定時間に渡って積分し、その積分値、または隣接するフィールドまたはフレームにおける積分値の差分値を、連続するj(jは、3の2倍以上の整数倍の数)フィールドにおける積分値の平均値で除算することにより正規化し、その正規化後の積分値または差分値をフリッカスペクトルとして抽出し、抽出したフリッカスペクトルから上記撮像素子により得られる映像信号に含まれるフリッカ成分の有無を判定するフリッカ判定手段と、上記フリッカ判定手段により上記映像信号にフリッカ成分が含まれていると判定した場合には、適正露出が得られる範囲で電源周波数に対して位相差を持たないシャッタスピードとし、上記電源周波数に対して位相差を持たないシャッタスピードで適正露出が得られない場合には、適正露出が得られるシャッタスピードとするシャッタスピードを優先的に使うプログラム線図を使用して露光量を制御する露光量制御手段と、上記フリッカ判定手段により上記映像信号にフリッカ成分が含まれていると判定し、上記露光量制御手段により適正露出を得るためにシャッタスピードを上記電源周波数に対して位相差を持たないシャッタスピードに設定できない場合に、上記フリッカ判定手段において抽出したフリッカスペクトルからフリッカ成分を推定し、その推定したフリッカ成分を打ち消すように、推定したフリッカ成分と上記入力画像信号を演算する演算手段とを備えることを特徴とする。
また、本発明は、XYアドレス走査型の撮像素子を備える撮像装置における撮像制御方法であって、上記撮像素子により被写体を撮影することによって得られる動画の映像信号を入力画像信号として、その入力画像信号を1水平周期以上の所定時間に渡って積分し、その積分値、または隣接するフィールドまたはフレームにおける積分値の差分値を、連続するj(jは、3の2倍以上の整数倍の数)フィールドにおける積分値の平均値で除算することにより正規化し、その正規化後の積分値または差分値をフリッカスペクトルとして抽出し、抽出したフリッカスペクトルから上記撮像素子により得られる映像信号に含まれるフリッカ成分の有無を判定するフリッカ判定ステップと上記フリッカ判定ステップにおいて上記映像信号にフリッカ成分が含まれていると判定した場合には、適正露出が得られる範囲で電源周波数に対して位相差を持たないシャッタスピードとし、上記電源周波数に対して位相差を持たないシャッタスピードで適正露出が得られない場合には、適正露出が得られるシャッタスピードとするシャッタスピードを優先的に使うプログラム線図を使用して露光量を制御する露光量制御ステップと、上記露光量制御ステップにおいて上記電源周波数に対して位相差を持たないシャッタスピードで適正露出が得られない場合に、上記フリッカ判定ステップにおいて抽出したフリッカスペクトルからフリッカ成分を推定し、推定したフリッカ成分を打ち消すフリッカ補正を行うフリッカ補正処理ステップとを有することを特徴とする。
本発明によれば、XYアドレス走査型の撮像素子により被写体を撮影することによって得られる動画の映像信号を入力画像信号として、その入力画像信号を1水平周期以上の所定時間に渡って積分し、その積分値、または隣接するフィールドまたはフレームにおける積分値の差分値を、連続するj(jは、3の2倍以上の整数倍の数)フィールドにおける積分値の平均値で除算することにより正規化し、その正規化後の積分値または差分値をフリッカスペクトルとして抽出し、抽出したフリッカスペクトルから上記撮像素子により得られる映像信号に含まれるフリッカ成分の有無を判定し、上記映像信号にフリッカ成分が含まれていると判定した場合には、適正露出が得られる範囲で電源周波数に対して位相差を持たないシャッタスピードとし、上記電源周波数に対して位相差を持たないシャッタスピードで適正露出が得られない場合には、適正露出が得られるシャッタスピードとするシャッタスピードを優先的に使うプログラム線図を使用して露光量を制御し、上記電源周波数に対して位相差を持たないシャッタスピードで適正露出が得られない場合に、上記フリッカ判定ステップにおいて抽出したフリッカスペクトルからフリッカ成分を推定し、推定したフリッカ成分を打ち消すフリッカ補正を行うことによって、フリッカが出にくい状態で露光量制御を行うことができる。
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
本発明は、例えば図1に示すような構成のビデオカメラ100に適用される。
すなわち、図1は、この発明の撮像装置の一実施形態のシステム構成を示している。この実施形態は、XYアドレス走査型の撮像素子としてCMOS撮像素子12を用いたビデオカメラ100に本発明を適用したものである。
このビデオカメラ100では、被写体からの光が、撮像光学系11を介してCMOS撮像素子12に入射して、CMOS撮像素子12で光電変換され、CMOS撮像素子12からアナログ映像信号が得られる。
CMOS撮像素子12は、CMOS基板上に、フォトダイオード(フォトゲート)、転送ゲート(シャッタトランジスタ)、スイッチングトランジスタ(アドレストランジスタ)、増幅トランジスタ、リセットトランジスタ(リセットゲート)などを有する画素が複数、2次元状に配列されて形成されるとともに、垂直走査回路、水平走査回路および映像信号出力回路が形成されたものである。
CMOS撮像素子12は、後述のように原色系と補色系のいずれでもよく、CMOS撮像素子12から得られるアナログ映像信号は、RGB各色の原色信号または補色系の色信号である。
そのCMOS撮像素子12からのアナログ映像信号は、IC(集積回路)として構成されたアナログ信号処理部13において、色信号ごとに、サンプルホールドされ、AGC(自動利得制御)によってゲインが制御され、A/D変換によってデジタル信号に変換される。
そのアナログ信号処理部13からのデジタル映像信号は、ICとして構成されたデジタル信号処理部20において、後述のように処理され、デジタル信号処理部20内のフリッカ低減部25において、後述のように信号成分ごとに、この発明の方法によってフリッカ成分が低減された上で、最終的に輝度信号Yと赤、青の色差信号R−Y,B−Yに変換されて、デジタル信号処理部20から出力される。
システムコントローラ14は、マイクロコンピュータなどによって構成され、カメラ各部を制御する。
具体的に、システムコントローラ14から、ICによって構成されたレンズ駆動用ドライバ15に、レンズ駆動制御信号が供給され、レンズ駆動用ドライバ15によって、撮像光学系11のレンズが駆動される。
また、システムコントローラ14からタイミングジェネレータ16に、タイミング制御信号が供給され、タイミングジェネレータ16からCMOS撮像素子12に、各種タイミング信号が供給されて、CMOS撮像素子12が駆動される。
さらに、デジタル信号処理部20からシステムコントローラ14に、各信号成分の検波信号が取り込まれ、システムコントローラ14からのAGC信号によって、アナログ信号処理部13において、上記のように各色信号のゲインが制御されるとともに、システムコントローラ14によって、デジタル信号処理部20における信号処理が制御される。
また、システムコントローラ14には、手ぶれセンサ17が接続され、撮影者の動作によって被写体が短時間で大きく変化する場合には、そのことが、手ぶれセンサ17の出力から、システムコントローラ14によって検出され、後述のようにフリッカ低減部25が制御される。
また、システムコントローラ14には、マイクロコンピュータなどによって構成されたインタフェース19を介して、ユーザインターフェース18を構成する操作部18aおよび表示部18bが接続され、操作部18aでの設定操作や選択操作などが、システムコントローラ14によって検出されるとともに、カメラの設定状態や制御状態などが、システムコントローラ14によって表示部18bに表示される。
撮影者が操作部18aでズーム操作などのカメラ操作を行うことによって被写体が短時間で大きく変化する場合には、そのことが、システムコントローラ14によって検出され、後述のようにフリッカ低減部25が制御される。
また、後述のようなフリッカ低減処理が不要な場合には、そのことが、システムコントローラ14によって検出され、後述のようにフリッカ低減部25が制御される。
ここで、図2に、原色系システムの場合のデジタル信号処理部20の一例を示す。
原色系システムは、図1の撮像光学系11が被写体からの光をRGB各色の色光に分離する分解光学系を有し、CMOS撮像素子12としてRGB各色用のCMOS撮像素子を有する3板システム、または、CMOS撮像素子12として、光入射面にRGB各色の色フィルタが画面水平方向に1画素ごとに順次、繰り返し配列された一つのCMOS撮像素子を有する1板システムである。この場合、CMOS撮像素子12からは、RGB各色の原色信号がパラレルに読み出される。
図2のデジタル信号処理部20では、クランプ回路21で、入力のRGB原色信号の黒レベルが所定レベルにクランプされ、ゲイン調整回路22で、露出量に応じてクランプ後のRGB原色信号のゲインが調整され、フリッカ低減部25R,25G,25Bで、この発明の方法によって、ゲイン調整後のRGB原色信号中のフリッカ成分が低減される。
さらに、図2のデジタル信号処理部20では、ホワイトバランス調整回路27で、フリッカ低減後のRGB原色信号のホワイトバランスが調整され、ガンマ補正回路28で、ホワイトバランス調整後のRGB原色信号の階調が変換され、合成マトリクス回路29で、ガンマ補正後のRGB原色信号から、出力の輝度信号Yおよび色差信号R−Y,B−Yが生成される。
原色系システムでは、一般に図2のようにRGB原色信号の処理が全て終了した後に輝度信号Yが生成されるので、図2のようにRGB原色信号の処理過程でRGB原色信号中のフリッカ成分を低減することによって、各色成分および輝度成分のフリッカ成分を共に十分に低減することができる。
なお、フリッカ低減部25R,25G,25Bは、図2のように配置することが望ましいが、必ずしも、これに限定されるものではない。
次に、図3に、補色系システムの場合のデジタル信号処理部20の一例を示す。
補色系システムは、図1のCMOS撮像素子12として、光入射面に補色系の色フィルタが形成された一つのCMOS撮像素子を有する1板システムである。補色系の色フィルタは、例えば、図3に色フィルタ1として示すように、ある一つおきの水平ライン位置Loでは、緑の色フィルタ部1Gとマゼンタの色フィルタ部1Mgが水平方向に1画素ごとに順次、繰り返し配列され、他の一つおきの水平ライン位置Leでは、シアンの色フィルタ部1Cyとイエローの色フィルタ部1Yeが水平方向に1画素ごとに順次、繰り返し配列されたものである。
この場合、図1のCMOS撮像素子12からは、隣接する2水平ライン位置の映像信号が合成されて読み出される。したがって、CMOS撮像素子12からは、各水平期間において、図3の例では、緑の色信号とシアンの色信号との合成信号と、マゼンタの色信号とイエローの色信号との合成信号とが、1画素クロックごとに交互に得られる。
図3のデジタル信号処理部20では、クランプ回路21で、その補色信号の黒レベルが所定レベルにクランプされ、ゲイン調整回路22で、露出量に応じてクランプ後の補色信号のゲインが調整され、輝度合成回路23で、ゲイン調整後の補色信号から輝度信号Yが生成されるとともに、原色分離回路24で、ゲイン調整後の補色信号からRGB原色信号が生成される。
さらに、図3のデジタル信号処理部20では、フリッカ低減部25Yで、この発明の方法によって、輝度合成回路23からの輝度信号Y中のフリッカ成分が低減されるとともに、フリッカ低減部25R,25G,25Bで、この発明の方法によって、原色分離回路24からのRGB原色信号中のフリッカ成分が低減される。
さらに、図3のデジタル信号処理部20では、ガンマ補正回路26で、フリッカ低減後の輝度信号の階調が補正されて、出力の輝度信号Yが得られ、ホワイトバランス調整回路27で、フリッカ低減後のRGB原色信号のホワイトバランスが調整され、ガンマ補正回路28で、ホワイトバランス調整後のRGB原色信号の階調が変換され、合成マトリクス回路29で、ガンマ補正後のRGB原色信号から色差信号R−Y,B−Yが生成される。
補色系システムでは、図3のようにデジタル信号処理部20の比較的前段で輝度信号およびRGB原色信号が生成される。これは、輝度信号は、上記の合成信号から単純な加算処理によって容易に生成できるとともに、上記の合成信号から差分処理によってRGB原色信号を生成し、そのRGB原色信号から輝度信号を生成すると、輝度信号のS/Nが劣化するからである。
しかし、このように輝度信号と色信号の処理系統を別にする場合には、各色成分のフリッカ成分を低減するだけでは、輝度成分のフリッカ成分を低減するのに十分でなく、図3のように別に輝度成分のフリッカ成分を低減することによって初めて、各色成分および輝度成分のフリッカ成分を共に十分に低減することができる。
なお、フリッカ低減部25Yおよび25R,25G,25Bは、図3のように配置することが望ましいが、必ずしも、これに限定されるものではない。
図2のフリッカ低減部25R,25G,25Bおよび図3のフリッカ低減部25Y,25R,25G,25Bは、それぞれ、以下の例のように構成される。したがって、以下では、フリッカ低減部25R,25G,25B,25Yを、フリッカ低減部25と総称する。
また、以下において、入力画像信号とは、それぞれ、フリッカ低減部25に入力されるフリッカ低減前のRGB原色信号または輝度信号であり、出力画像信号とは、それぞれ、フリッカ低減部25から出力されるフリッカ低減後のRGB原色信号または輝度信号である。
また、以下の例は、商用交流電源周波数が50Hzの地域において、蛍光灯の照明下で、NTSC方式(垂直同期周波数は60Hz)のCMOSカメラによって被写体を撮影する場合、したがって、蛍光灯フリッカを低減しないときには、図33〜図35に示したように、フリッカによる明暗変化および色変化が、フィールド間だけでなくフィールド内でも生じ、画面上では3フィールド(3画面)で5周期(5波長)分の縞模様として現れる場合である。
蛍光灯が非インバータ方式の場合は勿論、インバータ方式の場合も、整流が十分でない場合にはフリッカを生じるので、蛍光灯が非インバータ方式の場合に限らない。
図4は、フリッカ低減部25の第1の例を示す。
図34および図35は、被写体が一様な場合であるが、一般にフリッカ成分は被写体の信号強度に比例する。
そこで、一般の被写体についての任意のフィールドnおよび任意の画素(x,y)における入力画像信号(フリッカ低減前のRGB原色信号または輝度信号)をIn’(x,y)とすると、In’(x,y)は、フリッカ成分を含まない信号成分と、これに比例したフリッカ成分との和として、図17の式(1)で表される。
In(x,y)は、信号成分であり、Γn(y)*In(x,y)は、フリッカ成分であり、Γn(y)は、フリッカ係数である。蛍光灯の発光周期(1/100秒)に比べて1水平周期は十分短く、同一フィールドの同一ラインではフリッカ係数は一定と見なすことができるので、フリッカ係数はΓn(y)で表す。
Γn(y)を一般化するために、図17の式(2)に示すように、フーリエ級数に展開した形式で記述する。これによって、蛍光灯の種類によって異なる発光特性および残光特性を全て網羅した形式でフリッカ係数を表現することができる。
式(2)中のλoは、図34に示した画面内フリッカの波長であり、1フィールド当たりの読み出しライン数をMとすると、L(=M*60/100)ラインに相当する。ωoは、λoで正規化された規格化角周波数である。
γmは、各次(m=1,2,3‥)のフリッカ成分の振幅である。Φmnは、各次のフリッカ成分の初期位相を示し、蛍光灯の発光周期(1/100秒)と露光タイミングによって決まる。ただし、Φmnは3フィールドごとに同じ値になるので、直前のフィールドとの間のΦmnの差は、図17の式(3)で表される。
図4の例では、まず、入力画像信号In’(x,y)が、フリッカ検出用に絵柄の影響を少なくするために、積分ブロック31で、図17の式(4)に示すように、画面水平方向に1ライン分に渡って積分され、積分値Fn(y)が算出される。式(4)中のαn(y)は、図17の式(5)で表されるように、信号成分In(x,y)の1ライン分に渡る積分値である。
算出された積分値Fn(y)は、以後のフィールドでのフリッカ検出用に、積分値保持ブロック32に記憶保持される。積分値保持ブロック32は、少なくとも2フィールド分の積分値を保持できる構成とされる。
被写体が一様であれば、信号成分In(x,y)の積分値αn(y)が一定値となるので、入力画像信号In’(x,y)の積分値Fn(y)からフリッカ成分αn(y)*Γn(y)を抽出することは容易である。
しかし、一般的な被写体では、αn(y)にもm*ωo成分が含まれるため、フリッカ成分としての輝度成分および色成分と、被写体自身の信号成分としての輝度成分および色成分とを分離することができず、純粋にフリッカ成分のみを抽出することはできない。さらに、式(4)の第1項の信号成分に対して第2項のフリッカ成分は非常に小さいので、フリッカ成分は信号成分中にほとんど埋もれてしまう。
参考として、図23に示す被写体(実際はカラー画像)についての、連続する3フィールドにおける積分値Fn(y)を、図24に示す。これは、赤色信号についてのもので、Field:N+0(実線)、Field:N+1(破線)、Field:N+2(点線)は、連続する3フィールドにおける第1、第2、第3フィールドである。図24からも分かるように、積分値Fn(y)から直接、フリッカ成分を抽出するのは不可能と言える。
そこで、図4の例では、積分値Fn(y)からαn(y)の影響を取り除くために、連続する3フィールドにおける積分値を用いる。
すなわち、この例では、積分値Fn(y)の算出時、積分値保持ブロック32から、1フィールド前の同じラインの積分値Fn_1(y)、および2フィールド前の同じラインの積分値Fn_2(y)が読み出され、平均値計算ブロック33で、3つの積分値Fn(y),Fn_1(y),Fn_2(y)の平均値AVE[Fn(y)]が算出される。
連続する3フィールドの期間中の被写体をほぼ同一と見なすことができれば、αn(y)は同じ値と見なすことができる。被写体の動きが3フィールドの間で十分小さければ、実用上、この仮定は問題ない。さらに、連続する3フィールドにおける積分値の平均値を演算することは、式(3)の関係から、フリッカ成分の位相が(−2π/3)*mずつ順次ずれた信号を加え合わせることになるので、結果的にフリッカ成分が打ち消されることになる。したがって、平均値AVE[Fn(y)]は、図18の式(6)で表される。
ただし、以上は、図18の式(7)の近似が成り立つものとして、連続する3フィールドにおける積分値の平均値を算出する場合であるが、被写体の動きが大きい場合には、式(7)の近似が成り立たなくなる。
そのため、被写体の動きが大きい場合を想定したフリッカ低減部25としては、積分値保持ブロック32に3フィールド以上に渡る積分値を保持し、当該のフィールドの積分値Fn(y)を合わせて4フィールド以上に渡る積分値の平均値を算出すればよい。これによって、時間軸方向のローパスフィルタ作用により、被写体が動いたことによる影響が小さくなる。
ただし、フリッカは3フィールドごとの繰り返しとなるので、フリッカ成分を打ち消すには、連続するj(3の、2倍以上の整数倍、すなわち、6,9‥)フィールドにおける積分値の平均値を算出する必要があり、積分値保持ブロック32は、少なくとも(j−1)フィールド分の積分値を保持できる構成とする。
図4の例は、図18の式(7)の近似が成り立つものとした場合である。この例では、さらに、差分計算ブロック34で、積分ブロック31からの当該フィールドの積分値Fn(y)と、積分値保持ブロック32からの1フィールド前の積分値Fn_1(y)との差分が計算され、図18の式(8)で表される差分値Fn(y)−Fn_1(y)が算出される。式(8)も、式(7)の近似が成り立つことを前提としている。
図25に、図23に示した被写体についての、連続する3フィールドにおける差分値Fn(y)−Fn_1(y)を示す。これから分かるように、差分値Fn(y)−Fn_1(y)では、被写体の影響が十分除去されるため、図24に示した積分値Fn(y)に比べてフリッカ成分(フリッカ係数)の様子が明確に現れる。
図4の例では、さらに、正規化ブロック35で、差分計算ブロック34からの差分値Fn(y)−Fn_1(y)が、平均値計算ブロック33からの平均値AVE[Fn(y)]で除算されることによって正規化され、正規化後の差分値gn(y)が算出される。
正規化後の差分値gn(y)は、図18の式(6)(8)および三角関数の和積公式によって、図19の式(9)のように展開され、さらに図17の式(3)の関係から、図19の式(10)で表される。式(10)中の|Am|,θmは、式(11a)(11b)で表される。
差分値Fn(y)−Fn_1(y)は、被写体の信号強度の影響が残るため、領域によってフリッカによる輝度変化および色変化のレベルが異なってしまうが、上記のように正規化することによって、全領域に渡ってフリッカによる輝度変化および色変化を同一レベルに合わせることができる。
図26に、図23に示した被写体についての、連続する3フィールドにおける正規化後の差分値gn(y)を示す。
図19の式(11a)(11b)で表される|Am|,θmは、正規化後の差分値gn(y)の、各次のスペクトルの振幅および初期位相であり、正規化後の差分値gn(y)をフーリエ変換して、各次のスペクトルの振幅|Am|および初期位相θmを検出すれば、図20の式(12a)(12b)によって、図17の式(2)に示した各次のフリッカ成分の振幅γmおよび初期位相Φmnを求めることができる。
そこで、図4の例では、DFTブロック51において、正規化ブロック35からの正規化後の差分値gn(y)の、フリッカの1波長分(Lライン分)に相当するデータを、離散フーリエ変換する。
DFT演算をDFT[gn(y)]とし、次数mのDFT結果をGn(m)とすれば、DFT演算は、図20の式(13)で表される。式(13)中のWは、式(14)で表される。また、DFTの定義によって、式(11a)(11b)と式(13)との関係は、図2020の式(15a)(15b)で表される。
したがって、式(12a)(12b)(15a)(15b)から、図20の式(16a)(16b)によって、各次のフリッカ成分の振幅γmおよび初期位相Φmnを求めることができる。
DFT演算のデータ長を、フリッカの1波長分(Lライン分)とするのは、これによって、ちょうどωoの整数倍の離散スペクトル群を直接、得ることができるからである。
一般に、デジタル信号処理のフーリエ変換としては、FFT(高速フーリエ変換)が用いられるが、この発明の実施形態では、あえてDFTを用いる。その理由は、フーリエ変換のデータ長が2のべき乗になっていないので、FFTよりDFTの方が都合よいためである。ただし、入出力データを加工してFFTを用いることもできる。
実際の蛍光灯照明下では、次数mを数次までに限定しても、フリッカ成分を十分近似できるので、DFT演算もデータを全て出力する必要はなく、この発明の用途ではFFTに比べて演算効率の点でデメリットはない。
DFTブロック51では、まず、式(13)で定義されるDFT演算によって、スペクトルが抽出され、その後、式(16a)(16b)の演算によって、各次のフリッカ成分の振幅γmおよび初期位相Φmnが推定される。
図4の例では、さらに、フリッカ生成ブロック53で、DFTブロック51からのγm,Φmnの推定値から、図17の式(2)で表されるフリッカ係数Γn(y)が算出される。
ただし、上述したように、実際の蛍光灯照明下では、次数mを数次までに限定しても、フリッカ成分を十分近似できるので、式(2)によるフリッカ係数Γn(y)の算出に当たっては、総和次数を無限大ではなく、あらかじめ定められた次数、例えば2次までに限定することができる。
図27に、図23に示した被写体についての、連続する3フィールドにおけるフリッカ係数Γn(y)を示す。
上記の方法によれば、積分値Fn(y)ではフリッカ成分が信号成分中に完全に埋もれてしまう、フリッカ成分が微小な黒の背景部分や低照度の部分などの領域でも、差分値Fn(y)−Fn_1(y)を算出し、これを平均値AVE[Fn(y)]で正規化することによって、フリッカ成分を高精度で検出することができる。
また、適当な次数までのスペクトルからフリッカ成分を推定することは、正規化後の差分値gn(y)を完全に再現しないで近似することになるが、これによって、かえって、被写体の状態によって正規化後の差分値gn(y)に不連続な部分を生じても、その部分のフリッカ成分を精度良く推定できることになる。
図17の式(1)から、フリッカ成分を含まない信号成分In(x,y)は、図20の式(17)で表される。
そこで、図4の例では、演算ブロック40で、フリッカ生成ブロック53からのフリッカ係数Γn(y)に1が加えられ、その和[1+Γn(y)]で入力画像信号In’(x,y)が除算される。
これによって、入力画像信号In’(x,y)に含まれるフリッカ成分がほぼ完全に除去され、演算ブロック40からは、出力画像信号(フリッカ低減後のRGB原色信号または輝度信号)として、実質的にフリッカ成分を含まない信号成分In(x,y)が得られる。
なお、システムが有する演算能力の制約から、上記の全ての処理を1フィールドの時間内で完結できない場合には、フリッカが3フィールドごとの繰り返しとなることを利用して、演算ブロック40内にフリッカ係数Γn(y)を3フィールドに渡って保持する機能を設け、3フィールド後の入力画像信号In’(x,y)に対して、その保持したフリッカ係数Γn(y)を演算する構成とすればよい。
図4の例で、入力画像信号In’(x,y)のレベルが飽和領域にある場合、演算ブロック40で式(17)の演算を行うと、逆に信号成分(色成分または輝度成分)が変化してしまう。そこで、演算ブロック40は、図5の例のように構成することが望ましい。
図5の例の演算ブロック40は、フリッカ生成ブロック53からのフリッカ係数Γn(y)に1を加える加算回路41、その和[1+Γn(y)]で入力画像信号In’(x,y)を除算する除算回路42、入力側のスイッチ43,出力側のスイッチ44、および飽和レベル判定回路45によって構成され、飽和レベル判定回路45で、入力画像信号In’(x,y)のレベルが飽和領域の閾値レベル以上であるか否かが、画素ごとに判断される。
そして、入力画像信号In’(x,y)のレベルが飽和領域の閾値レベルに満たないときには、その画素では、飽和レベル判定回路45によってスイッチ43および44が除算回路42側に切り替えられて、上述したように、式(17)の演算結果が出力画像信号として、演算ブロック40から出力される。
これに対して、入力画像信号In’(x,y)のレベルが飽和領域の閾値レベル以上であるときには、その画素では、飽和レベル判定回路45によってスイッチ43および44が反対側に切り替えられて、入力画像信号In’(x,y)が、そのまま出力画像信号として、演算ブロック40から出力される。
したがって、入力画像信号In’(x,y)のレベルが飽和領域にある場合に、信号成分(色成分または輝度成分)が変化してしまうことがなく、高画質の出力画像信号が得られる。
図4の例のように、差分値Fn(y)−Fn_1(y)を平均値AVE[Fn(y)]で正規化すれば、有限の計算精度を効果的に確保することができる。しかし、要求される計算精度を満足できる場合には、積分値Fn(y)を直接、平均値AVE[Fn(y)]で正規化してもよい。
図6は、この場合の例を示し、正規化ブロック35で、積分ブロック31からの積分値Fn(y)が、平均値計算ブロック33からの平均値AVE[Fn(y)]で除算されることによって正規化され、正規化後の差分値gn(y)が算出される。
ただし、この場合の正規化後の差分値gn(y)は、図21の式(18)で表されるものとなるので、後段の処理を図4の例と同様にするため、減算回路36で、図21の式(19)に示すように、式(18)で表される正規化後の差分値gn(y)から1を減算し、その結果をDFTブロック51に送出する。
この場合、|Am|=γm,θm=Φmnであるので、図20の式(15a)(15b)から、γm,Φmnは、図21の式(20a)(20b)によって求めることができる。
したがって、DFTブロック51では、図4の例では、式(13)で定義されるDFT演算によってスペクトルを抽出した後、式(16a)(16b)の演算によって各次のフリッカ成分の振幅γmおよび初期位相Φmnを推定するのに対して、図6の例では、式(13)で定義されるDFT演算によってスペクトルを抽出した後、式(20a)(20b)の演算によって各次のフリッカ成分の振幅γmおよび初期位相Φmnを推定する。以後の処理は、図4の例と同じである。
図6の例では、差分計算ブロック34が不要となるので、その分、フリッカ低減部25を簡略化することができる。
この例でも、演算ブロック40は、図5の例のように構成することが望ましい。
図4の例で正規化に用いる平均値AVE[Fn(y)]は、図18の式(7)の近似が成り立つ場合には、式(6)で表されるようにαn(y)に等しいとともに、図17の式(4)の第2項[αn(y)*Γn(y)]は、第1項のαn(y)に比べて十分小さいので、正規化に及ぼす第2項の影響は非常に小さい。
したがって、正規化については、平均値AVE[Fn(y)]の代わりに積分値Fn(y)を用いても、ほとんど問題がなく、平均値AVE[Fn(y)]を用いる場合と同様に、効果的にフリッカ成分を検出することができる。
そこで、図7の例では、正規化ブロック35で、差分計算ブロック34からの差分値Fn(y)−Fn_1(y)を、積分ブロック31からの積分値Fn(y)で除算することによって正規化する。以後の処理は、図4の例と同じである。
図7の例では、積分値保持ブロック32は1フィールド分の積分値を保持できればよいとともに、平均値計算ブロック33を必要としないので、フリッカ低減部25を簡略化することができる。
この例でも、演算ブロック40は、図5の例のように構成することが望ましい。
非蛍光灯照明下(蛍光灯ではない照明環境)で撮影する場合、上述したフリッカ低減処理を行っても、特別の不具合を生じないが、この場合、本来不要な処理を行うことになるので、たとえフリッカ成分が十分小さくても、画質への影響が懸念される。
そのため、非蛍光灯照明下で撮影する場合には、フリッカ低減処理が実行されず、入力画像信号In’(x,y)が、そのまま出力画像信号としてフリッカ低減部25から出力されるように、フリッカ低減部25を構成することが望ましい。
図8は、そのようにフリッカ低減部25を構成した場合の一例を示す。正規化積分値算出ブロック30は、図4、図6または図7の例のように構成される。図4および図7の例では、積分値Fn(y)ではなく、差分値Fn(y)−Fn_1(y)が正規化されるが、便宜上、正規化積分値算出ブロックと称する。
図8の例では、DFTブロック51とフリッカ生成ブロック53との間に、蛍光灯照明下判定ブロック52が設けられる。
DFTブロック51で推定され、算出される各次の成分のレベル(振幅)γmは、蛍光灯照明下では、図22(A)に示すように、m=1の成分のレベルが、ある閾値Thより十分大きく、mが大きくなるにつれて急激にレベルが小さくなるのに対して、非蛍光灯照明下では、図22(B)に示すように、各次の成分のレベルが閾値Th以下となる。
非蛍光灯照明下では、スペクトルがゼロになるのが理想であるが、実際上は、被写体が動くために、連続する複数フィールドの信号から生成される正規化後の差分値gn(y)または積分値gn(y)−1に、周波数成分を僅かに含むことは避けられない。
そこで、蛍光灯照明下判定ブロック52では、例えば、m=1の成分のレベルが閾値Thを超えるか否かを判断し、閾値Thを超える場合には、蛍光灯照明下であると判定して、DFTブロック51からのγm,Φmnの推定値を、そのままフリッカ生成ブロック53に出力する。したがって、この場合には、上述したようにフリッカ低減処理が実行される。
一方、m=1の成分のレベルが閾値Th以下である場合には、蛍光灯照明下判定ブロック52は、非蛍光灯照明下であると判定して、次数mの全てにつき、γmの推定値をゼロにする。したがって、この場合には、フリッカ係数Γn(y)もゼロとなり、入力画像信号In’(x,y)が、そのまま出力画像信号として演算ブロック40から出力される。
図9は別の例を示す。この例では、蛍光灯照明下判定ブロック52は、図8の例と同様に蛍光灯照明下であるか否かを判定するが、非蛍光灯照明下であると判定した場合には、検出フラグCOMP_OFFをセットして、フリッカ生成ブロック53および演算ブロック40での処理を停止させ、入力画像信号In’(x,y)を、そのまま出力画像信号として演算ブロック40から出力させる。蛍光灯照明下である場合には、検出フラグCOMP_OFFがリセットされ、上述したようにフリッカ低減処理が実行される。
図9の例では、非蛍光灯照明下で撮影する場合、画質への影響を無くすことができるだけでなく、消費電力を削減することができる。
ズーミング、パンニング、チルティングなどのカメラ操作によって、または撮影者の手ぶれによって、被写体が短時間で大きく変化する場合が多々ある。この場合、図18の式(7)の仮定が成り立たなくなるので、結果的にフリッカ検出精度が悪化する。
そこで、このように撮影者の操作または動作によって被写体が短時間で大きく変化する場合を考慮して、撮像装置は、例えば、図10の例のように構成する。
図10の例では、フリッカ低減部25としては、図4、図6または図7の例において、フリッカ生成ブロック53と演算ブロック40との間に、スイッチ55,56およびフリッカ保持ブロック57が設けられ、システムコントローラ14から出力される後述の検出フラグDET_OFFが、スイッチ55および56に切り替え信号として供給される。
フリッカ保持ブロック57は、3フィールド分のフリッカ係数Γn(y)を保持できるものとされ、1フィールド分の処理が終了するごとにフリッカ係数Γn(y)を次のフィールド用に格納するとともに、3フィールドごとの繰り返しで読み出し出力が切り替えられるようにされる。
撮影者の操作または動作によって被写体が短時間で大きく変化する場合には、これがシステムコントローラ14によって検出される。
例えば、撮影者が操作部18aのズームキーを押すと、それがインタフェース19を介してシステムコントローラ14によって検知される。システムコントローラ14は、これによって、望遠や広角の操作など、撮影者のズーム操作に応じて、レンズの駆動を制御する。また、撮影者の手ぶれは、手ぶれセンサ17によって検知され、システムコントローラ14に手ぶれ情報が送られる。システムコントローラ14は、その手ぶれ情報をもとに、手ぶれ補正を制御する。パンニングやチルティングも、システムコントローラ14によって検知され、システムコントローラ14は、パンニング中は手ぶれ補正を弱めるなどの制御を行う。このような検出制御は、一般にカメラで行われていることと変わらない。
さらに、図10の例では、システムコントローラ14は、被写体が短時間で大きく変化するような撮影者の操作または動作を検出した場合には、検出フラグDET_OFFをセットし、そのような操作または動作がなされない場合には、検出フラグDET_OFFをリセットする。
そして、被写体が短時間で大きく変化しない通常の状態では、検出フラグDET_OFFがリセットされることによって、フリッカ低減部25では、スイッチ55がフリッカ生成ブロック53側に切り替えられて、フリッカ生成ブロック53からの、そのときのフリッカ係数Γn(y)が演算ブロック40に供給され、フリッカ低減処理が実行されるとともに、スイッチ56がオンにされて、そのときのフリッカ係数Γn(y)がフリッカ保持ブロック57に格納される。
一方、撮影者の操作または動作によって被写体が短時間で大きく変化する場合には、検出フラグDET_OFFがセットされることによって、フリッカ低減部25では、スイッチ55がフリッカ保持ブロック57側に切り替えられ、フリッカ生成ブロック53からの、そのときの検出精度の悪いフリッカ係数Γn(y)に代えて、フリッカ保持ブロック57から読み出された、被写体が短時間で大きく変化する操作または動作がなされる直前の、検出精度の良いフリッカ係数Γn(y)が、演算ブロック40に供給され、フリッカ低減処理が実行されるとともに、スイッチ56がオフにされて、そのときの検出精度の悪いフリッカ係数Γn(y)がフリッカ保持ブロック57に格納されるのが防止される。
したがって、この例では、撮影者の操作または動作によって被写体が短時間で大きく変化する場合にも、フリッカ検出精度が良くなり、フリッカが確実かつ十分に低減される。
さらに、この例では、検出フラグDET_OFFが、正規化積分値算出ブロック30、DFTブロック51およびフリッカ生成ブロック53にも送出され、撮影者の操作または動作によって被写体が短時間で大きく変化する場合には、検出フラグDET_OFFがセットされることによって、正規化積分値算出ブロック30、DFTブロック51およびフリッカ生成ブロック53での処理が停止される。したがって、この例では、消費電力を削減することもできる。
なお、この例は、フリッカ係数Γn(y)を直前の信号にすげ替える場合であるが、より前段の信号、例えば積分値Fn(y)を、直前の信号にすげ替えるように構成してもよい。
以下に示すように、撮影状況によってはフリッカ低減処理が不要となる場合がある。この場合、画質への影響を考慮すると、上述した非蛍光灯照明下で撮影する場合と同様に、本来不要なフリッカ低減処理は行わない方が望ましい。
フリッカ低減処理が不要な撮影状況としては、第1に、動画と静止画の両方を撮影できるビデオカメラやデジタルスチルカメラで静止画を撮影する場合が挙げられる。
この場合、CMOS撮像素子などのXYアドレス走査型の撮像素子を用いたカメラでも、1画面内の全ての画素の露光タイミング(露光開始および露光終了のタイミング)を同一にすることができ、蛍光灯フリッカの発生を回避することができる。撮像素子からの読み出しは、動画を撮影する場合のようなフレームレートの制約がないので、機械的なシャッタを閉じて遮光した状態で、ゆっくり行うことができる。
そして、このように1画面内の全ての画素の露光タイミングを同一にして静止画を撮影する場合であるか否かについては、図1の実施形態では、操作部18aでのカメラ操作に基づいて、システムコントローラ14において検出することができる。
フリッカ低減処理が不要な撮影状況としては、第2に、屋外の太陽光のもとなどで撮影する場合や、露光量の調整などによって露光時間(電子シャッタ時間)を蛍光灯の輝度変化の周期(1/100秒)の整数倍に設定する場合が挙げられる。
蛍光灯照明下であるか否かは、図8および図9の例に示したように、DFTブロック51で抽出されたスペクトルのレベルから検出することができるが、ここで、屋外の太陽光のもとなどで撮影する場合というのは、同じ非蛍光灯照明下でも、被写体の光量などからシステムコントローラ14において、非蛍光灯照明下であることを直接検出できる場合である。
また、上述したように、CMOS撮像素子などのXYアドレス走査型の撮像素子を用いたカメラでも、露光時間を蛍光灯の輝度変化の周期(1/100秒)の整数倍に設定したときには、画面内フリッカを含む蛍光灯フリッカを生じない。そして、露光量の調整などによって露光時間が蛍光灯の輝度変化の周期の整数倍に設定されたか否かは、システムコントローラ14において直接検出することができる。
そこで、このようにシステムコントローラ14によってフリッカ低減処理が不要な撮影状況であると判断された場合には、フリッカ低減処理が実行されず、入力画像信号In’(x,y)が、そのまま出力画像信号としてフリッカ低減部25から出力されるように、システムを構成する。
図11は、そのようにシステムを構成した場合の一例を示す。この例では、フリッカ低減部25において、DFTブロック51とフリッカ生成ブロック53との間にゼロ化ブロック59が設けられ、システムコントローラ14からのフリッカ低減オンオフ制御信号によって、ゼロ化ブロック59が制御される。
そして、システムコントローラ14においてフリッカ低減処理が必要と判断された場合には、フリッカ低減オンオフ制御信号がオン状態とされ、ゼロ化ブロック59は、DFTブロック51からのγm,Φmnの推定値を、そのままフリッカ生成ブロック53に出力する。したがって、この場合には、上述したようにフリッカ低減処理が実行される。
一方、システムコントローラ14においてフリッカ低減処理が不要と判断された場合には、フリッカ低減オンオフ制御信号がオフ状態とされ、ゼロ化ブロック59は、次数mの全てにつき、γmの推定値をゼロにする。したがって、この場合には、フリッカ係数Γn(y)もゼロとなり、入力画像信号In’(x,y)が、そのまま出力画像信号として演算ブロック40から出力される。
図12は別の例を示す。この例では、フリッカ低減部25の演算ブロック40が、図5の例に示した加算回路41、除算回路42およびスイッチ43,44を有し、飽和レベル判定回路45を有しないものとして構成され、システムコントローラ14からのフリッカ低減オンオフ制御信号によって、スイッチ43および44が切り替えられる。
そして、システムコントローラ14においてフリッカ低減処理が必要と判断された場合には、スイッチ43および44が除算回路42側に切り替えられて、上述したように、式(17)の演算結果が出力画像信号として、演算ブロック40から出力される。
一方、システムコントローラ14においてフリッカ低減処理が不要と判断された場合には、スイッチ43および44が反対側に切り替えられて、入力画像信号In’(x,y)が、そのまま出力画像信号として、演算ブロック40から出力される。
さらに、図12の例では、フリッカ低減オンオフ制御信号が、正規化積分値算出ブロック30、DFTブロック51およびフリッカ生成ブロック53にも送出され、システムコントローラ14においてフリッカ低減処理が不要と判断された場合には、正規化積分値算出ブロック30、DFTブロック51およびフリッカ生成ブロック53での処理が停止される。したがって、この例では、消費電力を削減することもできる。
上述した各例の方法によれば、蛍光灯フリッカが定常的・安定的に発生している状態では、入力画像信号からフリッカ成分を確実かつ効果的に低減することができる。
しかし、上述した各例の方法では、フリッカ成分の検出に当たって、複数フィールド間の平均演算または差分演算を行うため、蛍光灯のスイッチをオンまたはオフにした瞬間や、蛍光灯照明下の部屋に入室し、または蛍光灯照明下の部屋から退出した時など、遷移的な非安定状態では、フリッカ成分を正確に検出することができない。そのため、このような状態のときに得られたフリッカ成分によってフリッカ低減処理を実行すると、入力画像信号に対して望ましくない補正が行われてしまうことがある。
また、上述した各例の方法では、水平方向の被写体移動、またはパンニングやズーミングなどのカメラ操作や撮影者の手ぶれによって発生する水平方向の画角変化については、確実かつ安定的にフリッカを低減することができるが、垂直方向の被写体移動、またはチルティングやズーミングなどのカメラ操作や撮影者の手ぶれによって発生する垂直方向の画角変化については、フリッカ低減性能が若干低くなる。
この問題は、図10に示した方法によって解決することができる。しかし、この方法では、被写体が短時間で大きく変化しない通常の安定状態と、撮影者の操作または動作によって被写体が短時間で大きく変化する場合との間で、フリッカ係数Γn(y)が切り替えられるので、撮影者は違和感を抱くことがある。
また、通常の安定状態でも、外乱を抑えることはできないが、図10に示した方法では、追従性が速いため、外乱に直接反応し、かえってフリッカ低減の誤差を生じてしまうことがある。
外乱の影響を少なくするには、フリッカ成分を推定する処理の過程で、LPF(ローパスフィルタ)によるフィルタリングを行い、かつ、その時定数を長くして、フリッカ推定の追従性を遅くすればよい。
しかし、このように追従性を遅くすると、上述した状態遷移時の追従性まで遅くなってしまい、蛍光灯のスイッチをオンにした瞬間や、蛍光灯照明下の部屋に入室した時のように、フリッカ低減処理が必要であるにもかかわらず、なかなか処理が実行されないという問題や、蛍光灯のスイッチをオフにした瞬間や、蛍光灯照明下の部屋から退出した時のように、フリッカ低減処理が不要であるにもかかわらず、処理が続行されてしまうという問題を生じる。
そのほか、検出されたフリッカ成分を、そのまま入力映像信号と演算する代わりに、必要に応じて、検出されたフリッカ成分を、その振幅や位相を調整した上で、入力映像信号と演算することによって、様々な場面で、よりフレキシブルかつ適切なフリッカ低減を行うことができる。
そこで、以下の例は、フリッカ低減に係るパラメータである、推定されたフリッカ成分の振幅および位相を調整する場合である。
図13に、この例の基本的な構成を示す。この例では、上述したフリッカ低減部25のDFTブロック51から得られる、推定されたフリッカ成分の振幅γmおよび初期位相Φmnのデータを、システムコントローラ14に取り込んで、システムコントローラ14内のパラメータ制御部14aで、後述のように調整し、その調整後の振幅γm’および初期位相Φmn’のデータを、フリッカ低減部25のフリッカ生成ブロック53に入力する。
フリッカ生成ブロック53では、DFTブロック51から得られる振幅γmおよび初期位相Φmnに代えて、この調整後の振幅γm’および初期位相Φmn’から、図17の式(2)で表されるフリッカ係数Γn(y)が算出される。すなわち、この例では、図17の式(2)中のγmおよびΦmnは、γm’およびΦmn’で置き換えられる。
なお、図13は、フリッカ低減部25の正規化積分値算出ブロック30を、図4に示した構成とする場合であるが、正規化積分値算出ブロック30は、図6または図7に示した構成としてもよい。
図14は、この場合の第1の具体例を示す。
パラメータ制御部14aの入力信号となる振幅γmおよび初期位相Φmnのデータは、実際上は1フィールド当たりm系統あるが、ここでは1系統にまとめて示す。パラメータ制御部14aの出力信号となる振幅γm’および初期位相Φmn’のデータについても、同様である。
この例では、DFTブロック51からの振幅γmおよび初期位相Φmnのデータが、それぞれデジタルLPF(ローパスフィルタ)61および62に供給され、デジタルLPF61の出力データが、ゲイン調整回路(乗算回路)63に供給され、ゲイン調整回路63の出力データが、調整後の振幅γm’のデータとして、フリッカ生成ブロック53に入力されるとともに、デジタルLPF62の出力データが、調整後の初期位相Φmn’のデータとして、フリッカ生成ブロック53に入力される。
デジタルLPF61の時定数Ta、およびデジタルLPF62の時定数Tpは、時定数設定ブロック65によって設定される。ゲイン調整回路63でのゲイン(乗算係数)Kaは、ゲイン設定ブロック66によって設定される。
デジタルLPF61および62としては、時定数を一定範囲内で任意かつ連続的に変えることができるものが望ましいが、目的の時定数を設定できない場合には、それに近い時定数を設定できるものとすればよい。また、一つのLPFで時定数を連続的に変えることができない場合には、内部に別個の時定数を有する複数のLPFを用意し、これに時定数Ta,Tpとして制御コードを与えることによって、その複数のLPFから一つのLPFが選択されるように構成することができる。
また、フリッカ発生時の初期位相Φmnは、周期的に変動する。例えば、商用交流電源周波数が50Hz、カメラの垂直同期周波数が60Hzの場合には、初期位相Φmnは、3フィールドごとに同じ値になり、直前のフィールドとの間では、図17の式(3)で表される差(違い)を生じる。
そのため、デジタルLPF62は、この初期位相Φmnの変動を考慮して、同じ位相のデータに対して一つのLPFを構成する必要がある。すなわち、上記の例のように初期位相Φmnの変動の周期が3フィールドである場合には、デジタルLPF62として3つのLPFを設け、初期位相Φmnのデータを、これら3つのLPFに振り分けて入力する。
さらに、振幅γmおよび初期位相Φmnのデータと、システムコントローラ14内で得られるAE(自動露出)制御情報およびAWB(オートホワイトバランス)制御情報とが、状態検出ブロック68に入力される。AE制御情報は、具体的には、画面の明るさの情報であり、AWB制御情報は、具体的には、色温度や蛍光灯照明下であるか否かを示す情報である。
そして、状態検出ブロック68において、これら入力情報から、後述のように、現在の撮影環境が蛍光灯照明下であるか否か、あるいは、蛍光灯のスイッチがオンまたはオフにされるなど、非蛍光灯照明下から蛍光灯照明下への遷移状態、または蛍光灯照明下から非蛍光灯照明下への遷移状態にあるか否かなどの、蛍光灯フリッカの発生に影響する撮影状況が検出され、その検出結果に応じて制御モードが決定される。
その決定された制御モードが、制御モード呈示信号によって、時定数設定ブロック65およびゲイン設定ブロック66に呈示され、これを受けて、時定数設定ブロック65は、デジタルLPF61および62の時定数TaおよびTpを設定し、ゲイン設定ブロック66は、ゲイン調整回路63でのゲインKaを設定する。
図16に、状態検出ブロック68での上述した状態検出の判断基準の例を示す。まず、蛍光灯照明下でフリッカが定常的・安定的に発生している場合には、推定されたフリッカ成分の振幅γmは、ほぼ一定値となり、初期位相Φmnは、一定周期(商用交流電源周波数が50Hz、カメラの垂直同期周波数が60Hzの場合には、3フィールド)ごとにほぼ同じ値になる。
したがって、これら情報から、蛍光灯照明下でフリッカが定常的・安定的に発生している状態であることを十分判断することができる。
そのほか、蛍光灯照明下では、画面の明るさがほぼ一定周期で変動するので、そのことを示すAE制御の明るさ情報から、蛍光灯照明下であることを十分判断することができる。
また、通常、AWB制御では、検波された色情報から光源を推定し、光源が蛍光灯であるか否かを判断しているので、そのAWB制御の光源推定情報から、蛍光灯照明下であることを判断することもできる。
この例では、過去の複数フィールドに渡る以上の情報を総合的に判断することによって、検出の精度を高める。
そして、状態検出ブロック68は、このように蛍光灯照明下でフリッカが定常的・安定的に発生している状態と判断した場合には、制御モードを後述のモードAに設定する。
一方、非蛍光灯照明下で定常的にフリッカが発生していない場合には、推定されたフリッカ成分の振幅γmは、ノイズ成分のみで、ゼロ付近でランダムに変動し、初期位相Φmnは、ノイズによってランダムに変動する。
したがって、これら情報から、非蛍光灯照明下でフリッカ低減処理が不要な状態であることを十分判断することができる。
そのほか、非蛍光灯照明下では、画面の明るさの変動に周期性がないので、そのことを示すAE制御の明るさ情報から、非蛍光灯照明下であることを十分判断することができる。また、上述したAWB制御の光源推定情報から、非蛍光灯照明下であることを判断することもできる。
この例では、過去の複数フィールドに渡る以上の情報を総合的に判断することによって、検出の精度を高める。
そして、状態検出ブロック68は、このように非蛍光灯照明下で定常的にフリッカが発生していない(フリッカ低減処理が不要な)状態と判断した場合には、制御モードを後述のモードBに設定する。
状態検出ブロック68で決定された制御モードに応じて、具体的に、時定数設定ブロック65およびゲイン設定ブロック66で、デジタルLPF61,62の時定数Ta,Tpおよびゲイン調整回路63でのゲインKaとして、いかなる値を設定すべきかについては、システムの構成やシステムに対する要求に応じて、以下のように決定する。
まず、デジタルLPF61の時定数Taについては、上述したように、推定されたフリッカ成分の振幅γmは、ゼロ付近か否かの違いはあるものの、モードA(蛍光灯照明下でフリッカが定常的・安定的に発生している状態)でも、モードB(非蛍光灯照明下で定常的にフリッカが発生していない状態)でも、ほぼ一定値となる。ほぼ一定値とならないのは、外乱がある場合である。
そこで、外乱に対して強い、よりロバストなシステムとするには、デジタルLPF61の時定数Taを長く設定するのが望ましい。しかし、制御モードが、モードAからモードBに、またはモードBからモードAに、遷移する場合を考えると、遷移時には追従性が速い方が良く、デジタルLPF61の時定数Taは短めに設定すべきである。
すなわち、振幅γmについては、2つの相反する要求を同時に満足する必要がある。しかし、図4、図6または図7に示したような、この発明の方法の基本的な方法は、もともと外乱に対して強いアルゴリズムである。
したがって、実際には、後者の追従性を重視して、時定数Taを短めに設定する。もちろん、モードAまたはモードBのような定常状態では時定数Taが長くなり、モードAからモードBへの遷移時またはモードBからモードAへの遷移時には時定数Taが短くなるように、時定数Taを動的に制御できれば、最も好適である。
一方、デジタルLPF62の時定数Tpについては、モードA(蛍光灯照明下でフリッカが定常的・安定的に発生している状態)では、図16に示したように、フリッカ発生の原理によって、初期位相Φmnは一定周期ごとにほぼ同じ値となるので、外乱に対して強くなるように、時定数Tpを十分長く設定すべきである。
これに対して、モードB(非蛍光灯照明下で定常的にフリッカが発生していない状態)では、初期位相Φmnはランダムな値を取り続けるので、時定数Tpを長く設定することによる効果は特に無い。具体的に、モードBでは、後述のゲイン調整の効果によって、時定数Tpは任意の値に設定することができる。
なお、モードAとモードBの間で時定数TaまたはTpを切り替えるように構成してもよい。
ゲイン調整回路63でのゲインKaについては、モードA(蛍光灯照明下でフリッカが定常的・安定的に発生している状態)では、図16に示すように振幅γmがほぼ一定値となるので、基本的にゲインKaを1に設定すればよい。
ただし、ゲインKaは、振幅γmの補正率を決定するものであり(Ka=1に設定すると、入力の100%を出力し、補正率はゼロ)、ゲインKaを変えることによって、振幅γmの補正率を直接制御することができる。
そして、実際の撮影環境では、あえて振幅を大きくしたい場合や、小さくしたい場合があるので、ゲインKaは、1に限らず、1より大きい値、または1より小さい値に設定できるように、システムを構成してもよい。
一方、モードB(非蛍光灯照明下で定常的にフリッカが発生していない状態)では、振幅γmはノイズによってゼロ付近のランダムな値となる。そして本来、モードBではフリッカ低減処理を行う必要がないので、モードBでは、ゲインKaをゼロに設定して、不必要な処理がなされないようにする。
以上は、モードAまたはモードBという安定状態(フリッカが定常的に発生している状態、または定常的に発生していない状態)の場合であるが、状態検出ブロック68で検出されるモードがモードAからモードBに変化したときには、撮影環境が蛍光灯照明下から非蛍光灯照明下に遷移した可能性が高く、状態検出ブロック68で検出されるモードがモードBからモードAに変化したときには、撮影環境が非蛍光灯照明下から蛍光灯照明下に遷移した可能性が高い。
そして、図4、図6または図7に示したような、この発明の方法の基本的な方法では、複数フィールド間の平均演算または差分演算によってフリッカ成分を抽出するので、このような遷移時には、平均演算または差分演算に用いられる各信号列の一部にはフリッカ成分を含み、他の一部にはフリッカ成分を含まない状態となる。
その結果、平均演算または差分演算によって得られるフリッカ成分に誤差を生じ、検出される振幅γmおよび初期位相Φmnにも誤差が発生する。そして、このような誤差を含む振幅γmおよび初期位相Φmnからフリッカ係数Γn(y)を算出すると、当然ながら、出力画像信号に悪影響を及ぼす。
この問題を軽減するため、ゲイン設定ブロック66では、制御モードの遷移状態を検出し、遷移状態に応じてゲインKaの値を制御する。
具体的に、制御モードがモードAからモードBに遷移した場合、遷移開始時点で既に振幅γmおよび初期位相Φmnの信頼性が落ちているので、遷移後、直ちにゲインKaを1からゼロに切り替えて、フリッカ生成ブロック53および演算ブロック40でのフリッカ低減処理を停止し、またはゲインKaを徐々に小さくして、フリッカ生成ブロック53および演算ブロック40でのフリッカ低減処理をスムーズに停止する。
逆に制御モードがモードBからモードAに遷移した場合、遷移開始時点では未だ振幅γmおよび初期位相Φmnの信頼性が低いので、振幅γmおよび初期位相Φmnの信頼性が十分高くなるまで待ってから、ゲインKaをゼロから1に切り替えて、フリッカ生成ブロック53および演算ブロック40でのフリッカ低減処理を実行し、またはゲインKaを徐々に大きくして、フリッカ生成ブロック53および演算ブロック40でのフリッカ低減処理をスムーズに実行する。
図15は、第2の具体例を示す。
この例は、図14に示した例に対して、記憶部71〜74、スイッチ75〜78および状態検出ブロック69を付加したものである。
記憶部71は、振幅γmのデータを記憶し、記憶部72は、初期位相Φmnのデータを記憶し、記憶部73は、ゲイン調整回路63の出力データを記憶し、記憶部74は、デジタルLPF62の出力データを記憶するものであり、スイッチ75〜78は、それぞれ、状態検出ブロック69の検出結果に応じて、記憶部71〜74の入力データと出力データのいずれかを選択するものであり、スイッチ75の出力データが、デジタルLPF61に供給され、スイッチ76の出力データが、デジタルLPF62に供給され、スイッチ77の出力データが、振幅γm’のデータとしてフリッカ生成ブロック53に入力され、スイッチ78の出力データが、初期位相Φmn’のデータとしてフリッカ生成ブロック53に入力される。
状態検出ブロック69には、ズーミング情報および手ぶれ情報が入力される。状態検出ブロック69は、ズーミング情報からは、ズーミングによって大きな画角変化を生じているか否かを判断し、手ぶれ情報からは、パンニングやチルティング、または大振幅の手ぶれなどによって大きな画角変化を生じているか否かを判断する。
そして、大きな画角変化を生じていないと判断した場合には、状態検出ブロック69は、スイッチ75〜78を、それぞれ記憶部71〜74ではない側に切り替える。すなわち、通常は、図14の例と同様に、フリッカ低減処理が実行される。
一方、大きな画角変化を生じていると判断した場合には、状態検出ブロック69は、スイッチ75〜78を、それぞれ記憶部71〜74側に切り替える。
すなわち、大きな画角変化を生じている状態では、振幅γmおよび初期位相Φmnの信頼性が落ちるので、過去に求められて記憶部73および74に記憶されている振幅データおよび初期位相データが、振幅γm’および初期位相Φmn’としてフリッカ生成ブロック53に入力される。
図16に示すように、モードA(蛍光灯照明下でフリッカが定常的・安定的に発生している状態)では、振幅γmおよび初期位相Φmnが安定しているので、過去の値を用いても何ら問題はなく、むしろ過去の値を積極的に利用すべきである。
ただし、画角変化中にデジタルLPF61および62に信頼性の低いデータが入力され続けると、次にスイッチ77および78が記憶部73および74ではない側に切り替えられた直後の振幅γm’および初期位相Φmn’は、誤差を含んだものとなる。
これを防止するため、大きな画角変化を生じている状態では、状態検出ブロック69は、スイッチ77および78を記憶部73および74側に切り替えるだけでなく、スイッチ75および76を記憶部71および72側に切り替えて、そのときの信頼性の低いデータが、デジタルLPF61および62に入力されずに、記憶部71および72に記憶されている、大きな画角変化を生じる前の信頼性の高いデータが、デジタルLPF61および62に入力されるように制御する。
なお、ズーミング情報や手ぶれ情報に限らず、別途、振幅γmおよび初期位相Φmnの信頼性を判定して、その判定結果の信頼性レベル情報を、状態検出ブロック69の入力情報とし、信頼性レベル情報が振幅γmおよび初期位相Φmnの信頼性が低いことを示す場合には、上記のようにスイッチ75〜78が記憶部71〜74側に切り替えられることによって、過去の信頼性の高いデータが用いられるように構成することもできる。
以上の例によれば、蛍光灯照明下や非蛍光灯照明下の定常状態では外乱の影響をより受けにくく、それでいて遷移時の応答性・追従性の良い処理を実現することができる。また、状態遷移時や画角変化時、またはフリッカ検出パラメータの信頼性が低い場合などにも、スムーズに、かつ違和感なく、適切な処理を行うことができる。
このようにフィールド間で発生するフリッカ縞の周期性を利用して絵柄成分とフリッカ成分を分離し、さらにその周波数スペクトルからフリッカ成分の抽出し、抽出したフリッカ成分を使ってゲイン補正を行うことにより、「フィールド間の周期性」を持つ蛍光灯フリッカを効果的に低減することができる。
そして、この実施形態におけるビデオカメラ100では、システムコントローラ14にフリッカの有無判断、シャッタスピード選択の機能を設け、上記手法によりフリッカの位相を算出し、位相からフリッカの有無を判断しシャッタスピードの選択することによって、シャッタを制限せずに放送方式・電源周波数地域の組み合わせを全て網羅する形での効果的なフリッカ問題を回避するようにしている。
すなわち、このビデオカメラ100に備えられたシステムコントローラ14は、図28に示すフローチャートの手順に従った制御動作を行う。
初期状態としては図36の(a)や(b)のような画面間で流れるフリッカが検出できるシャッタを優先するプログラム線図を選択しておく。60,30fpsならn/120s、50fpsならn/100sを優先的に使うプログラム線図を設定しておく。ここで、nは、任意の正の整数である。
ステップS1では、この状態で上述の手法に従ってフリッカ位相を算出してフリッカ成分の抽出を行う。
周期性があるフリッカが存在する場合(図36の(a)や(b)の類)は現在検波している部分のフリッカの位相を算出することできる。画面の任意のラインに関して位相情報を抽出して次のステップS2に進む。
ステップS2では、図29のフローチャーチに示す手順に従ってフリッカ有無の判断を行う。このフリッカ有無の判断では、先ずシャッタスピードがn/100sでないか否かを判定する(ステップS20)。なお、60fps、30fpsでは1/100s、50fpsではn/120sとなっている。
そして、このステップS20における判定結果がYESすなわちシャッタスピードがn/100sでない場合には、上述のステップS1で得られた位相と、1画周期前のフリッカ位相の差を算出し、位相差がαであるか否かを判定する(ステップS21)。
このステップS21における判定結果がYESすなわち位相差がαである場合に、フリッカがあると判断して、フリッカ光源下であるとの光源判断結果を保持して(ステップS22)、フリッカ有無の判断処理を終了する。
また、上記ステップS20における判定結果がNOすなわちシャッタスピードがn/100sである場合には、前回の光源判断結果を保持して(ステップS23)、フリッカ有無の判断処理を終了する。
さらに、上記ステップS21における判定結果がNOすなわち算出した位相差がαでない場合には、そのままフリッカ有無の判断処理を終了する。
ここで、位相差αは電源周波数÷画周期×2π(0≦α<2π)で求めることができる。例を挙げると図30の(a),(b),(c)のようになり、まとめると下記の通りに
なる。
(a)60fps(NTSC方式):電源周波数50Hz → 4/3π
(b)50fps(PAL方式:電源周波数60Hz → 12/5π
(c)30fps(DSC等):電源周波数50Hz → 2/3π
画角の変化などもあるので若干の位相誤差は認める。
そして、次のステップS3では、上述のステップS2のフリッカ有無の判断処理の結果を用いて、フリッカ光源下であるか否かを判定する。
このステップS3における判定結果がYESすなわちフリッカ光源下であった場合は次のステップ4に進み、画面間で流れるフリッカが生じないシャッタスピードすなわちn/100sを優先的に使用するプログラム線図を選ぶ。これにより、60fps、30fpsならn/100s、50fpsならn/120sを優先的に使用する線図となる。
ここで、n/100sを優先的に使用するプログラム線図及びn/120sを優先的に使用するプログラム線図の各例を図31の(a),(b)に示す。
次のステップS5では、n/100sのシャッタスピードで適正露出が得られるか否かを判定する。
このステップS5における判定結果がYESすなわちフリッカが発生しないシャッタスピードで適正露出が得られる場合、フリッカも発生しないのでそのまま終了となる。この際シャッタスピードのnはフリッカ影響が少ないと思われる任意のnでよい。
また、上述のステップS5における判定結果がNOすなわち任意のnでフリッカが発生しないシャッタスピードで適正露出を得られない場合は次のステップS6に進む。
ステップS6では、フリッカが出なくなるシャッタスピードよりも高速のシャッタスピードで適正露出が得られるか否かを判定する。
このステップS6における判定結果がYESすなわち高速シャッタで適正露出が得られる場合には、上述の手法を用いてフリッカ補正し、フリッカ軽減を行う。
また、上述のステップS3における判定結果がNOすなわちフリッカ光源下でない場合には、次のステップS8に進む。
ステップS8では、フリッカ検出をしやすいように、画面間で流れるフリッカが発生するシャッタスピード(n/120s)を優先的に使う線図を選択して、処理を終了する。
また、上述のステップS6における判定結果がNOすなわち高速シャッタで適正露出が得られない場合には、そのまま処理を終了する。
以上の制御動作により、60fps、30fpsならn/120s、50fpsならn/100sを優先的に使用する線図となる。
このような制御動作を行うことによりシャッタによる制限をつけないので適正露出に対する自由度が増え、周期性を持つフリッカ組み合わせについてはその特徴がそのまま残るために特許文献5(特開2004−222228)の手法により適切にフリッカの除去・軽減が施され、周期性がないフリッカに関してもフリッカが発生しないシャッタ追従可能範囲においてはフリッカによる横縞が取り除くことができる。
このように、XYアドレス走査型の撮像素子により被写体を撮影することによって得られる映像信号を入力画像信号として、その入力画像信号を1水平周期以上の時間に渡って積分し、その積分値、または隣接するフィールドまたはフレームにおける積分値の差分値を正規化し、その正規化後の積分値または差分値をフリッカスペクトルとして抽出し、抽出したフリッカスペクトルから上記撮像素子により得られる映像信号に含まれるフリッカ成分の有無を判定し、上記映像信号にフリッカ成分が含まれていると判定した場合にはフリッカが出にくいシャッタスピードを優先的に使うプログラム線図を使用して露光量を制御することによって、フリッカが出にくい状態で露光量制御を行うことができる。
また、垂直方向に流れるフリッカがでる放送方式と電源周波数の組み合わせにおいてフリッカの有無を判断できる。
フリッカ有無情報から適正露出が得られる範囲ではn/100sあるいはn/120sを優先的に使用することでフリッカを発生させないようにすることができる。
垂直方向に流れるフリッカで適正露出が得るためにシャッタスピードをn/100sあるいはn/120sから変えても、抽出したフリッカスペクトルからフリッカ成分を推定し、その推定したフリッカ成分を打ち消すように、推定したフリッカ成分と上記入力画像信号を演算するフリッカ軽減ができ、適正露出が得られる。
シャッタスピードをn/100sあるいはn/120sで適正露出が得られなくなった場合、プログラム線図を初期化することにより画角が変更されても電源を落とさずに再度フリッカの検出を行うことができる。
また、特許文献5(特開2004−222228)によるフリッカ検出・補正においてもフリッカ検波した結果、周期性がみられないときは誤補正になる可能性があるので、補正係数を抑圧することで、誤補正を抑制できる。
さらに、垂直方向に流れるフリッカが発生するかどうか判断きることで必要のないときフリッカ補正係数演算を行う必要がなくなる。
なお、この発明は、CMOS撮像素子以外のXYアドレス走査型の撮像素子を用いる場合にも適用することができる。
この発明の撮像装置の一実施形態のシステム構成を示す図である。 原色系システムのデジタル信号処理部の一例を示す図である。 補色系システムのデジタル信号処理部の一例を示す図である。 フリッカ低減部の第1の例を示す図である。 飽和領域を考慮した場合の演算ブロックの一例を示す図である。 フリッカ低減部の第2の例を示す図である。 フリッカ低減部の第3の例を示す図である。 非蛍光灯照明下を考慮した場合のフリッカ低減部の一例を示す図である。 非蛍光灯照明下を考慮した場合のフリッカ低減部の他の例を示す図である。 撮影者の操作または動作によって被写体が短時間で大きく変化する場合を考慮した場合の撮像装置の例を示す図である。 撮影状況によってフリッカ低減処理が不要となる場合を考慮した場合の撮像装置の一例を示す図である。 撮影状況によってフリッカ低減処理が不要となる場合を考慮した場合の撮像装置の他の例を示す図である。 推定されたフリッカ成分を調整する場合の例の基本的な構成を示す図である。 推定されたフリッカ成分を調整する場合の第1の具体例を示す図である。 推定されたフリッカ成分を調整する場合の第2の具体例を示す図である。 図14および図15の例の説明に供する図である。 各例の説明に供する式を示す図である。 各例の説明に供する式を示す図である。 各例の説明に供する式を示す図である。 各例の説明に供する式を示す図である。 各例の説明に供する式を示す図である。 図8および図9の例の説明に供する図である。 試験で用いた被写体を示す図である。 図23の被写体の場合の積分値を示す図である。 図23の被写体の場合の差分値を示す図である。 図23の被写体の場合の正規化後の差分値を示す図である。 図23の被写体の場合の推定されたフリッカ係数を示す図である。 システムコントローラにより実行される制御動作の手順を示すフローチャートである。 システムコントローラにより実行されるフリッカ有無の判断制御動作の手順を示すフローチャートである。 各シャッタスピードにおけるフレーム間のフリッカ位相の差を示す図である。 n/100sを優先的に使用するプログラム線図及びn/120sを優先的に使用するプログラム線図の各例を示す図である。
CCD撮像素子の場合の蛍光灯フリッカの説明に供する図である。 XYアドレス走査型の撮像素子の場合の蛍光灯フリッカの説明に供する図である。 XYアドレス走査型の撮像素子の場合の蛍光灯フリッカの1画面内の縞模様を示す図である。 XYアドレス走査型の撮像素子の場合の蛍光灯フリッカの連続する3画面に渡る縞模様を示す図である。 蛍光灯フリッカにおけるフィールド間の複数画面での周期性の違いを示す図である。 蛍光灯フリッカにおけるフィールド間の複数画面での周期性の関係を示す図である。
符号の説明
11 撮像光学系、12 CMOS撮像素子、13 アナログ信号処理部、14 システムコントローラ、15 レンズ駆動用ドライバ、16 タイミングジェネレータ、17 手ぶれセンサ、18 ユーザインターフェース、19 インタフェース、20 デジタル信号処理部、25 フリッカ低減部、30 正規化積分値算出ブロック、40 演算ブロック、51 DFTブロック、52 フリッカ生成ブロック

Claims (10)

  1. XYアドレス走査型の撮像素子と、
    上記撮像素子により被写体を撮影することによって得られる動画の映像信号を入力画像信号として、その入力画像信号を1水平周期以上の所定時間に渡って積分し、その積分値、または隣接するフィールドまたはフレームにおける積分値の差分値を、連続するj(jは、3の2倍以上の整数倍の数)フィールドにおける積分値の平均値で除算することにより正規化し、その正規化後の積分値または差分値をフリッカスペクトルとして抽出し、抽出したフリッカスペクトルから上記撮像素子により得られる映像信号に含まれるフリッカ成分の有無を判定するフリッカ判定手段と、
    上記フリッカ判定手段により上記映像信号にフリッカ成分が含まれていると判定した場合には、適正露出が得られる範囲で電源周波数に対して位相差を持たないシャッタスピードとし、上記電源周波数に対して位相差を持たないシャッタスピードで適正露出が得られない場合には、適正露出が得られるシャッタスピードとするシャッタスピードを優先的に使うプログラム線図を使用して露光量を制御する露光量制御手段と、
    上記フリッカ判定手段により上記映像信号にフリッカ成分が含まれていると判定し、上記露光量制御手段により適正露出を得るためにシャッタスピードを上記電源周波数に対して位相差を持たないシャッタスピードに設定できない場合に、上記フリッカ判定手段において抽出したフリッカスペクトルからフリッカ成分を推定し、その推定したフリッカ成分を打ち消すように、推定したフリッカ成分と上記入力画像信号を演算する演算手段と
    を備える撮像装置。
  2. 上記フリッカ判定手段は、1フレーム前と現在得られたフリッカスペクトルから画面の任意のあるラインのフリッカ位相を算出し、1画周期前のフリッカ位相に対する位相差が放送方式と電源周波数の組み合わせによる位相差である場合に、フリッカがあると判断することを特徴とする請求項1記載の撮像装置。
  3. 上記フリッカ判定手段は、算出したフリッカ位相を記憶する記憶手段を備え、フリッカ位相を算出する際に、算出されるフリッカ位相の信頼性を判定して、信頼性の高いフリッカ位相を上記記憶手段に記憶しておき、算出されるフリッカ位相の信頼性が低い場合には、上記記憶手段に記憶した信頼性の高いフリッカ位相を用いることを特徴とする請求項2記載の撮像装置。
  4. 上記露光量制御手段は、適正露出が得られる範囲では、送出する映像信号のフレームレートに応じて、任意の正の整数をnとし、60fpsではn/120s、50fpsではn/100s、30fpsではn/120sのシャッタスピードを優先的に使うプログラム線図を初期設定することを特徴とする請求項1記載の撮像装置。
  5. 上記露光量制御手段は、上記フリッカ判定手段により上記映像信号にフリッカ成分が含まれていると判定した場合に、60fpsではn/100s、50fpsではn/120s、30fpsではn/100sのシャッタスピードを優先的に使うプログラム線図を設定し、適正露出を得られる範囲ではフリッカが存在しない状態にすることを特徴とする請求項1記載の撮像装置。
  6. XYアドレス走査型の撮像素子を備える撮像装置における撮像制御方法であって、
    上記撮像素子により被写体を撮影することによって得られる動画の映像信号を入力画像信号として、その入力画像信号を1水平周期以上の所定時間に渡って積分し、その積分値、または隣接するフィールドまたはフレームにおける積分値の差分値を、連続するj(jは、3の2倍以上の整数倍の数)フィールドにおける積分値の平均値で除算することにより正規化し、その正規化後の積分値または差分値をフリッカスペクトルとして抽出し、抽出したフリッカスペクトルから上記撮像素子により得られる映像信号に含まれるフリッカ成分の有無を判定するフリッカ判定ステップと、
    上記フリッカ判定ステップにおいて上記映像信号にフリッカ成分が含まれていると判定した場合には、適正露出が得られる範囲で電源周波数に対して位相差を持たないシャッタスピードとし、上記電源周波数に対して位相差を持たないシャッタスピードで適正露出が得られない場合には、適正露出が得られるシャッタスピードとするシャッタスピードを優先的に使うプログラム線図を使用して露光量を制御する露光量制御ステップと、
    上記露光量制御ステップにおいて上記電源周波数に対して位相差を持たないシャッタスピードで適正露出が得られない場合に、上記フリッカ判定ステップにおいて抽出したフリッカスペクトルからフリッカ成分を推定し、推定したフリッカ成分を打ち消すフリッカ補正を行うフリッカ補正処理ステップと
    を有する撮像制御方法。
  7. 上記フリッカ判定ステップでは、1フレーム前と現在得られたフリッカスペクトルから画面の任意のあるラインのフリッカ位相を算出し、1画周期前のフリッカ位相に対する位相差が放送方式と電源周波数の組み合わせによる位相差である場合に、フリッカがあると判断することを特徴とする請求項6記載の撮像制御方法。
  8. 上記フリッカ判定ステップでは、フリッカ位相を算出する際に、算出されるフリッカ位相の信頼性を判定して、信頼性の高いフリッカ位相を記憶しておき、算出されるフリッカ位相の信頼性が低い場合には、先に記憶した信頼性の高いフリッカ位相を用いることを特徴とする請求項7記載の撮像制御方法。
  9. 上記露光量制御ステップにおいて、適正露出が得られる範囲では、上記撮像装置のフレームレートに応じて、任意の正の整数をnとし、60fpsではn/120s、50fpsではn/100s、30fpsではn/120sのシャッタスピードを優先的に使うプログラム線図を初期設定することを特徴とする請求項6記載の撮像制御方法。
  10. 上記フリッカ判定ステップにおいて上記映像信号にフリッカ成分が含まれていると判定した場合には、上記露光量制御ステップにおいて、60fpsではn/100s、50fpsではn/120s、30fpsではn/100sのシャッタスピードを優先的に使うプログラム線図を設定し、適正露出を得られる範囲ではフリッカが存在しない状態にすることを特徴とする請求項6記載の撮像制御方法。
JP2005246746A 2005-08-26 2005-08-26 撮像装置及び撮像制御方法 Expired - Fee Related JP4483744B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2005246746A JP4483744B2 (ja) 2005-08-26 2005-08-26 撮像装置及び撮像制御方法
EP06254420A EP1758374A3 (en) 2005-08-26 2006-08-23 Exposure control method, exposure control apparatus and image pickup apparatus
KR1020060079819A KR20070024381A (ko) 2005-08-26 2006-08-23 노출 제어 방법, 노출 제어 장치 및 촬상 장치
US11/466,981 US8031237B2 (en) 2005-08-26 2006-08-24 Exposure control method, exposure control apparatus and image pickup apparatus
CN2006100640003A CN101009760B (zh) 2005-08-26 2006-08-28 曝光控制方法,曝光控制装置和图像拾取装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005246746A JP4483744B2 (ja) 2005-08-26 2005-08-26 撮像装置及び撮像制御方法

Publications (2)

Publication Number Publication Date
JP2007060585A JP2007060585A (ja) 2007-03-08
JP4483744B2 true JP4483744B2 (ja) 2010-06-16

Family

ID=37499623

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005246746A Expired - Fee Related JP4483744B2 (ja) 2005-08-26 2005-08-26 撮像装置及び撮像制御方法

Country Status (5)

Country Link
US (1) US8031237B2 (ja)
EP (1) EP1758374A3 (ja)
JP (1) JP4483744B2 (ja)
KR (1) KR20070024381A (ja)
CN (1) CN101009760B (ja)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5175441B2 (ja) * 2006-03-03 2013-04-03 日本電気株式会社 撮影装置及び方法並びにプログラム
US20080288992A1 (en) * 2007-04-11 2008-11-20 Mohammad Usman Systems and Methods for Improving Image Responsivity in a Multimedia Transmission System
JP4867822B2 (ja) * 2007-07-04 2012-02-01 ソニー株式会社 画像処理装置及び画像処理方法、並びに撮像装置
JP4836896B2 (ja) * 2007-08-27 2011-12-14 三洋電機株式会社 ビデオカメラ
JP4958732B2 (ja) * 2007-10-29 2012-06-20 キヤノン株式会社 フリッカ補正装置
JP5106055B2 (ja) * 2007-11-12 2012-12-26 キヤノン株式会社 撮像装置及びそのフリッカ検出方法
JP5106056B2 (ja) * 2007-11-12 2012-12-26 キヤノン株式会社 撮像装置及びそのフリッカ検出方法
JP5111100B2 (ja) * 2007-12-28 2012-12-26 キヤノン株式会社 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP5035025B2 (ja) * 2008-03-03 2012-09-26 ソニー株式会社 画像処理装置、フリッカ低減方法、撮像装置及びフリッカ低減プログラム
JP4525812B2 (ja) * 2008-08-08 2010-08-18 株式会社デンソー 露出設定装置、露出設定プログラム、および画像処理装置
JP5396862B2 (ja) * 2009-01-07 2014-01-22 リコーイメージング株式会社 撮像装置
EP2262228A1 (en) 2009-06-09 2010-12-15 Global IP Solutions (GIPS) AB Detection and supression of flicker in a sequence of images
JP2011030093A (ja) * 2009-07-28 2011-02-10 Sanyo Electric Co Ltd ビデオカメラ
JP5460180B2 (ja) * 2009-08-25 2014-04-02 キヤノン株式会社 撮像装置及びその制御方法
JP5523124B2 (ja) 2010-01-26 2014-06-18 キヤノン株式会社 撮像装置
JP5625371B2 (ja) * 2010-01-29 2014-11-19 ソニー株式会社 画像処理装置、および信号処理方法、並びにプログラム
JP2011193065A (ja) * 2010-03-12 2011-09-29 Hitachi Ltd 撮像装置
US8390701B2 (en) * 2010-04-29 2013-03-05 Robert Bosch Gmbh Method for processing an image signal for double or multiple exposure cameras
US9106916B1 (en) * 2010-10-29 2015-08-11 Qualcomm Technologies, Inc. Saturation insensitive H.264 weighted prediction coefficients estimation
TWI433534B (zh) 2011-02-15 2014-04-01 Ability Entpr Co Ltd 感光度校正方法及成像裝置
JP5655626B2 (ja) * 2011-02-24 2015-01-21 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
WO2012147337A1 (ja) * 2011-04-28 2012-11-01 オリンパス株式会社 フリッカ検出装置、フリッカ検出方法およびフリッカ検出プログラム
JP5784435B2 (ja) * 2011-09-20 2015-09-24 オリンパス株式会社 画像処理装置、蛍光顕微鏡装置および画像処理プログラム
JP5945395B2 (ja) * 2011-10-13 2016-07-05 オリンパス株式会社 撮像装置
US8988574B2 (en) 2012-12-27 2015-03-24 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information using bright line image
SG11201505027UA (en) 2012-12-27 2015-07-30 Panasonic Ip Corp America Information communication method
WO2014103157A1 (ja) 2012-12-27 2014-07-03 パナソニック株式会社 映像表示方法
SG11201400255RA (en) * 2012-12-27 2014-10-30 Panasonic Ip Corp America Information communication method
US10530486B2 (en) 2012-12-27 2020-01-07 Panasonic Intellectual Property Corporation Of America Transmitting method, transmitting apparatus, and program
CN104885381B (zh) 2012-12-27 2017-12-19 松下电器(美国)知识产权公司 信息通信方法
US9560284B2 (en) * 2012-12-27 2017-01-31 Panasonic Intellectual Property Corporation Of America Information communication method for obtaining information specified by striped pattern of bright lines
US9608725B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Information processing program, reception program, and information processing apparatus
US10523876B2 (en) 2012-12-27 2019-12-31 Panasonic Intellectual Property Corporation Of America Information communication method
US8922666B2 (en) 2012-12-27 2014-12-30 Panasonic Intellectual Property Corporation Of America Information communication method
US9608727B2 (en) 2012-12-27 2017-03-28 Panasonic Intellectual Property Corporation Of America Switched pixel visible light transmitting method, apparatus and program
US10303945B2 (en) 2012-12-27 2019-05-28 Panasonic Intellectual Property Corporation Of America Display method and display apparatus
US10951310B2 (en) 2012-12-27 2021-03-16 Panasonic Intellectual Property Corporation Of America Communication method, communication device, and transmitter
US9088360B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
US9087349B2 (en) 2012-12-27 2015-07-21 Panasonic Intellectual Property Corporation Of America Information communication method
EP2940901B1 (en) 2012-12-27 2019-08-07 Panasonic Intellectual Property Corporation of America Display method
JP5790949B2 (ja) * 2013-02-14 2015-10-07 カシオ計算機株式会社 カメラ、撮影制御プログラム及び撮影制御方法、並びにカメラシステム
CN104541499B (zh) * 2013-06-14 2018-05-18 松下电器(美国)知识产权公司 摄像装置、集成电路以及闪烁减少方法
JP6060824B2 (ja) * 2013-06-20 2017-01-18 株式会社Jvcケンウッド 撮像装置、及びフリッカ低減方法
US8982238B2 (en) 2013-07-02 2015-03-17 Omnivision Technologies, Inc. Multi-target automatic exposure and gain control based on pixel intensity distribution
JP6220225B2 (ja) * 2013-10-30 2017-10-25 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム、及び記録媒体
WO2015075937A1 (ja) 2013-11-22 2015-05-28 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 情報処理プログラム、受信プログラムおよび情報処理装置
US10178329B2 (en) 2014-05-27 2019-01-08 Rambus Inc. Oversampled high dynamic-range image sensor
JP6370134B2 (ja) 2014-07-02 2018-08-08 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
CN104125401B (zh) * 2014-07-22 2017-08-25 广州三星通信技术研究有限公司 控制图像传感器工作的方法和拍摄装置
WO2016075948A1 (ja) 2014-11-14 2016-05-19 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 再生方法、再生装置およびプログラム
JP6614853B2 (ja) 2015-08-07 2019-12-04 キヤノン株式会社 撮像装置、その制御方法、および制御プログラム
JP6597960B2 (ja) * 2015-10-30 2019-10-30 カシオ計算機株式会社 撮像装置、フリッカ検出方法及びプログラム
KR20180080124A (ko) 2015-11-06 2018-07-11 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 가시광 신호의 생성 방법, 신호 생성 장치 및 프로그램
EP3376772B1 (en) 2015-11-12 2023-01-25 Panasonic Intellectual Property Corporation of America Display method, program and display device
CN107343392B (zh) 2015-12-17 2020-10-30 松下电器(美国)知识产权公司 显示方法以及显示装置
JP2019161499A (ja) * 2018-03-14 2019-09-19 オリンパス株式会社 撮像装置
WO2020066187A1 (ja) * 2018-09-27 2020-04-02 富士フイルム株式会社 撮像素子、撮像装置、画像データ処理方法、及びプログラム
CN109274984B (zh) * 2018-10-16 2021-07-16 深圳开阳电子股份有限公司 检测视频序列中光源闪烁的方法、装置及图像处理设备
JP7222745B2 (ja) * 2019-02-08 2023-02-15 ローム株式会社 フリッカ検出装置
CN110445952B (zh) * 2019-07-15 2021-12-21 浙江大华技术股份有限公司 摄像头的画面闪烁处理方法、装置、设备和存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0614257A (ja) 1992-06-26 1994-01-21 Canon Inc 電子カメラ
JPH11164192A (ja) 1997-11-27 1999-06-18 Toshiba Corp 撮像方法及び装置
JP2000023040A (ja) 1998-06-30 2000-01-21 Toshiba Corp 固体撮像装置及びシステムオンチップ型固体撮像素子
JP2000165752A (ja) 1998-11-30 2000-06-16 Toshiba Corp 固体撮像装置の信号処理方法及び固体撮像装置
JP2000350102A (ja) 1999-06-02 2000-12-15 Sharp Corp 撮像装置のフリッカ補正回路および撮像素子
JP3749038B2 (ja) 1999-06-30 2006-02-22 株式会社東芝 固体撮像装置
JP2003198932A (ja) * 2001-12-27 2003-07-11 Sharp Corp フリッカ補正装置およびフリッカ補正方法、並びにフリッカ補正プログラムを記録した記録媒体
US7245320B2 (en) * 2002-06-04 2007-07-17 Micron Technology, Inc. Method and apparatus for automatic gain and exposure control for maintaining target image brightness in video imager systems
JP4423889B2 (ja) * 2002-11-18 2010-03-03 ソニー株式会社 フリッカ低減方法、撮像装置およびフリッカ低減回路
JP3826904B2 (ja) * 2003-07-08 2006-09-27 ソニー株式会社 撮像装置およびフリッカ低減方法
JP4106554B2 (ja) 2003-09-08 2008-06-25 ソニー株式会社 撮影環境判定方法および撮像装置
JP4314387B2 (ja) 2004-03-03 2009-08-12 独立行政法人 国立印刷局 画像形成体

Also Published As

Publication number Publication date
JP2007060585A (ja) 2007-03-08
CN101009760A (zh) 2007-08-01
US8031237B2 (en) 2011-10-04
US20070046789A1 (en) 2007-03-01
KR20070024381A (ko) 2007-03-02
CN101009760B (zh) 2010-09-01
EP1758374A3 (en) 2011-05-18
EP1758374A2 (en) 2007-02-28

Similar Documents

Publication Publication Date Title
JP4483744B2 (ja) 撮像装置及び撮像制御方法
JP4423889B2 (ja) フリッカ低減方法、撮像装置およびフリッカ低減回路
JP5035025B2 (ja) 画像処理装置、フリッカ低減方法、撮像装置及びフリッカ低減プログラム
JP3826904B2 (ja) 撮像装置およびフリッカ低減方法
JP4106554B2 (ja) 撮影環境判定方法および撮像装置
JP4487640B2 (ja) 撮像装置
JP4904749B2 (ja) フリッカ低減方法、フリッカ低減回路及び撮像装置
KR101407849B1 (ko) 화상 처리 장치, 화상 처리 방법 및 고체 촬상 장치
WO2017090300A1 (ja) 画像処理装置、および画像処理方法、ならびにプログラム
JP6184290B2 (ja) 画像処理装置および画像処理方法
US10412356B2 (en) Image processing apparatus and image processing method
JP2011193065A (ja) 撮像装置
KR20060128649A (ko) 화상 처리 장치 및 촬상 장치
US9338368B2 (en) Imaging apparatus, method of detecting flicker, and information processing unit
EP3304892A1 (en) Dynamic frame skip for auto white balance
KR101964228B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP2010050740A (ja) 撮像装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090728

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090918

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100302

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100315

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130402

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140402

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees