JP2005033616A - 撮像装置およびフリッカ低減方法 - Google Patents

撮像装置およびフリッカ低減方法 Download PDF

Info

Publication number
JP2005033616A
JP2005033616A JP2003272015A JP2003272015A JP2005033616A JP 2005033616 A JP2005033616 A JP 2005033616A JP 2003272015 A JP2003272015 A JP 2003272015A JP 2003272015 A JP2003272015 A JP 2003272015A JP 2005033616 A JP2005033616 A JP 2005033616A
Authority
JP
Japan
Prior art keywords
flicker
case
shutter
seconds
exposure time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003272015A
Other languages
English (en)
Other versions
JP3826904B2 (ja
Inventor
Masaya Kinoshita
雅也 木下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2003272015A priority Critical patent/JP3826904B2/ja
Priority to TW093118368A priority patent/TWI239212B/zh
Priority to KR1020040052235A priority patent/KR101007427B1/ko
Priority to US10/885,364 priority patent/US7705893B2/en
Priority to EP04254041A priority patent/EP1496690A3/en
Priority to CNB2004100633975A priority patent/CN100423555C/zh
Publication of JP2005033616A publication Critical patent/JP2005033616A/ja
Application granted granted Critical
Publication of JP3826904B2 publication Critical patent/JP3826904B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/745Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/76Circuitry for compensating brightness variation in the scene by influencing the image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/57Control of the dynamic range

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)

Abstract

【課題】 CMOS撮像装置などのXYアドレス走査型の撮像装置で、蛍光灯を駆動する電源の周波数を検出することなく、電源周波数と撮像装置の垂直同期周波数との組み合わせの如何にかかわらず、蛍光灯フリッカ成分を低減できるとともに、電子式の手ぶれ補正に不可欠な高速シャッタを実現できるようにする。
【解決手段】 垂直同期周波数をfv(Hz)とし、Nを正の整数とするとき、120/fvが整数の場合には、シャッタ速度をN/120(秒)とし、100/fvが整数の場合には、シャッタ速度をN/100(秒)とする。NTSC方式の場合には、手ぶれ補正ON時にはシャッタ速度を1/120秒とし、手ぶれ補正OFF時にはシャッタ速度を1/60秒とする。PAL方式の場合には、手ぶれ補正ON時にはシャッタ速度を1/100秒とし、手ぶれ補正OFF時にはシャッタ速度を1/50秒とする。プログレッシブ方式の場合も、同様とする。
【選択図】 図9

Description

この発明は、CMOS(相補型金属酸化物半導体)撮像素子などのXYアドレス走査型の撮像素子(イメージャ、イメージセンサ)を用いたビデオカメラやデジタルスチルカメラなどの撮像装置、および、その撮像装置によって蛍光灯の照明下で被写体を撮影した場合に撮像素子から得られる映像信号に生じる蛍光灯フリッカを低減する方法に関する。
商用交流電源によって点灯される蛍光灯の照明下で、ビデオカメラによって被写体を撮影すると、蛍光灯の輝度変化(光量変化)の周波数(商用交流電源周波数の2倍)とカメラの垂直同期周波数(撮像周波数)との違いによって、撮影出力の映像信号に時間的な明暗の変化、いわゆる蛍光灯フリッカを生じる。
例えば、商用交流電源周波数が50Hzの地域において、非インバータ方式の蛍光灯の照明下で(インバータ方式の蛍光灯の場合にも、整流が十分でない場合にはフリッカを生じるので、非インバータ方式の蛍光灯の場合に限らないが)、NTSC方式(垂直同期周波数(この場合はフィールド周波数)は60Hz)のCCDカメラによって被写体を撮影する場合、図16に示すように、1フィールドが1/60秒であるのに対して、蛍光灯の輝度変化の周期が1/100秒となるので、蛍光灯の輝度変化に対して各フィールドの露光タイミングがずれ、各画素の露光量がフィールドごとに変化する。
そのため、例えば、露光時間が1/60秒であるときには、期間a1,a2,a3では、同じ露光時間でも露光量が異なり、露光時間が1/60秒より短いとき(ただし、後述のように1/100秒ではないとき)には、期間b1,b2,b3では、同じ露光時間でも露光量が異なる。
蛍光灯の輝度変化に対する露光タイミングは、3フィールドごとに元のタイミングに戻るため、フリッカによる明暗変化は、3フィールドごとの繰り返しとなる。すなわち、各フィールドの輝度比(フリッカの見え方)は、露光期間によって変わるが、フリッカの周期は変わらない。
ただし、デジタルスチルカメラなど、プログレッシブ方式のカメラで、垂直同期周波数(この場合はフレーム周波数)が30Hzの場合には、3フレームごとに明暗変化が繰り返される。
さらに、蛍光灯は、白色光を発光するために、通常、複数の蛍光体、例えば、赤、緑、青の蛍光体が用いられている。しかし、これら蛍光体は、それぞれが固有の残光特性を有し、輝度変化の周期中に存在する放電停止から次の放電開始までの期間は、それぞれの残光特性で減衰発光する。そのため、この期間では、始めは白色であった光が、次第に色相を変えながら減衰することになるので、上記のように露光タイミングがずれると、明暗変化だけでなく、色相変化を生じる。また、蛍光灯は、特定の波長に強いピークが存在するという特有の分光特性を持っているため、色によって信号の変動成分が異なる。
そして、このような色相変化、および色ごとの変動成分の差によって、いわゆる色フリッカが発生する。
これに対して、図16のように電源周波数が50Hz、撮像装置の垂直同期周波数が60Hzの場合、同図の最下段に示すように、露光時間を蛍光灯の輝度変化の周期である1/100秒に設定すれば、露光タイミングにかかわらず露光量が一定となって、フリッカを生じない。
また、このようにシャッタ速度を規定することなく、蛍光灯フリッカを低減する方法も考えられている。CCD撮像装置のように1画面内の全ての画素が同一の露光タイミングで露光される撮像装置の場合には、フリッカによる明暗変化および色変化がフィールド間でのみ現れるため、フリッカを低減することは比較的容易に実現することができる。
例えば、図16の場合、露光時間が1/100秒でなければ、フリッカは3フィールドの繰り返し周期となるので、各フィールドの映像信号の平均値が一定となるように3フィールド前の映像信号から現在の輝度および色の変化を予測し、その予測結果に応じて各フィールドの映像信号のゲインを調整することによって、フリッカを実用上問題のないレベルまで抑圧することができる。
しかしながら、CMOS撮像素子などのXYアドレス走査型の撮像素子では、画素ごとの露光タイミングが画面水平方向において読み出しクロック(画素クロック)の1周期分ずつ順次ずれ、全ての画素で露光タイミングが異なるため、上記の方法ではフリッカを十分抑圧することはできない。
図17に、その様子を示す。上記のように画面水平方向でも各画素の露光タイミングが順次ずれるが、蛍光灯の輝度変化の周期に比べて1水平周期は十分短いので、同一ライン上の画素は露光タイミングが同時であると仮定し、画面垂直方向における各ラインの露光タイミングを示す。実際上、このように仮定しても問題はない。
図17に示すように、XYアドレス走査型の撮像装置、例えばCMOS撮像装置では、ラインごとに露光タイミングが異なり(F0は、あるフィールドでの、その様子を示す)、各ラインで露光量に差を生じるため、フリッカによる明暗変化および色変化が、フィールド間だけでなくフィールド内でも生じ、画面上では縞模様(縞自体の方向は水平方向、縞の変化の方向は垂直方向)として現れる。
図18に、被写体が均一なパターンの場合の、この面内(画面内)フリッカの様子を示す。縞模様の1周期(1波長)が1/100秒であるので、1画面中には1.666周期分の縞模様が発生することになり、1フィールド当たりの読み出しライン数をMとすると、縞模様の1周期は読み出しライン数ではL=M*60/100に相当する。なお、明細書および図面では、アスタリスク(*)を乗算の記号として用いる。
図19に示すように、この縞模様は、3フィールド(3画面)で5周期(5波長)分となり、連続的に見ると垂直方向に流れるように見える。
図18および図19には、フリッカによる明暗変化のみを示すが、実際には上述した色変化も加わり、画質が著しく劣化する。特に色フリッカは、シャッタ速度が速くなる(露光時間が短くなる)と顕著になるとともに、XYアドレス走査型の撮像装置では、その影響が画面内に現れるため、画質劣化がより目立つようになる。
このようなXYアドレス走査型の撮像装置の場合にも、図17のように電源周波数が50Hz、撮像装置の垂直同期周波数が60Hzの場合、露光時間を蛍光灯の輝度変化の周期である1/100秒に設定すれば、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含む蛍光灯フリッカを生じない。
また、このようにシャッタ速度を規定することなく、CMOS撮像装置などのXYアドレス走査型の撮像装置に固有の蛍光灯フリッカを低減する方法が提案されている。
具体的に、特許文献1(特開2000−350102号公報)または特許文献2(特開2000−23040号公報)には、受光素子や測光素子により蛍光灯の光量を測定することによってフリッカ成分を推定し、その推定結果に応じて撮像素子からの映像信号の利得を制御する方法が示されている。
特開2000−350102号公報。 特開2000−23040号公報。
しかしながら、CMOS撮像装置などのXYアドレス走査型の撮像装置によって蛍光灯照明下で被写体を撮影した場合に、撮像素子からの映像信号に生じるフリッカの態様は、撮像装置の映像方式(具体的には垂直同期周波数)、蛍光灯を駆動する商用交流電源の周波数、および電子シャッタのシャッタ速度(露光時間)の組み合わせによって、大きく変化する。
具体的に、撮像装置の映像方式としては、放送方式に対応して、NTSC方式(垂直同期周波数は60Hz)とPAL方式(垂直同期周波数は50Hz)とがある。さらに、最近のビデオカメラは、NTSC方式とPAL方式の両方に対応したものがほとんどであり、工場から出荷する際に、出荷仕向けによって電気的にNTSC方式とPAL方式のいずれかに設定されるのが一般的である。
また、商用交流電源周波数は、日本の一部地域および世界の一部の国または地域では50Hzとされ、日本のその他の地域および世界のその他の国または地域では60Hzとされている。
図20(A)のケース1は、NTSC方式のCMOS撮像装置によって、電源周波数が50Hzの地域において、蛍光灯照明下で被写体を撮影する場合である。
この場合には、1フィールドが1/60秒であるのに対して、蛍光灯の輝度変化の周期が1/100秒となるので、図17〜図19に示したように、露光時間が1/60秒の通常シャッタ時にも、露光時間が1/60秒より短い高速シャッタ時にも、3フィールド(3画面)を繰り返し周期とする時間軸上で連続性を持った(連続的に見ると垂直方向に流れるように見える)フリッカを生じる。
ただし、図22にケース1として示すように、露光時間が1/100秒の高速シャッタとするときには、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じない。
図20(B)のケース2は、PAL方式のCMOS撮像装置によって、電源周波数が60Hzの地域において、蛍光灯照明下で被写体を撮影する場合である。
この場合には、1フィールドが1/50秒であるのに対して、蛍光灯の輝度変化の周期が1/120秒となるので、露光時間が1/50秒の通常シャッタ時にも、露光時間が1/50秒より短い高速シャッタ時にも、5フィールド(5画面)を繰り返し周期とする時間軸上で連続性を持った(連続的に見ると垂直方向に流れるように見える)フリッカを生じる。
ただし、図22にケース2として示すように、露光時間が1/120秒または1/60秒の高速シャッタとするときには、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じない。
そして、以上のケース1またはケース2のように、複数垂直周期(複数画面)を繰り返し周期とする時間軸上で連続性を持ったフリッカを生じる場合には、上述したような従来の、または後述する先願(特願2003−173642)の発明の、フリッカの連続性を利用してフリッカ成分を推定し、その推定結果に応じて撮像素子からの映像信号を補正して、フリッカ成分を低減する方法によって、フリッカ成分を低減することができる。
これに対して、図21(A)のケース3は、NTSC方式のCMOS撮像装置によって、電源周波数が60Hzの地域において、蛍光灯照明下で被写体を撮影する場合である。
この場合には、1フィールドが1/60秒であるのに対して、蛍光灯の輝度変化の周期が1/120秒となるので、露光時間が1/60秒の通常シャッタ時には、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じないが、露光時間が1/60秒より短い高速シャッタ時には、図21(A)の右側に示すように、各フィールド(各画面)でフリッカの縞模様が同一となる1フィールド(1画面)で完結するフリッカを生じる。
ただし、図22にケース3として示すように、露光時間が1/120秒の高速シャッタとするときには、露光時間が1/60秒の通常シャッタ時と同様に、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じない。
また、図21(B)のケース4は、PAL方式のCMOS撮像装置によって、電源周波数が50Hzの地域において、蛍光灯照明下で被写体を撮影する場合である。
この場合には、1フィールドが1/50秒であるのに対して、蛍光灯の輝度変化の周期が1/100秒となるので、露光時間が1/50秒の通常シャッタ時には、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じないが、露光時間が1/50秒より短い高速シャッタ時には、図21(B)の右側に示すように、各フィールド(各画面)でフリッカの縞模様が同一となる1フィールド(1画面)で完結するフリッカを生じる。
ただし、図22にケース4として示すように、露光時間が1/100秒の高速シャッタとするときには、露光時間が1/50秒の通常シャッタ時と同様に、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じない。
そして、ケース3またはケース4で、かつ高速シャッタとする場合のように、1フィールド(1画面)で完結する時間軸上で不連続なフリッカを生じる場合には、そもそも、撮像素子からの映像信号中の、被写体による絵柄成分と蛍光灯フリッカ成分とを区別することができないため、上述したフリッカの連続性を利用したフリッカ低減方法によってフリッカ成分を低減することはできない。
図22に、以上をまとめて示す。ケース1の、垂直同期周波数が60Hz、電源周波数が50Hzの場合、ケース2の、垂直同期周波数が50Hz、電源周波数が60Hzの場合、ケース3の、垂直同期周波数が60Hz、電源周波数が60Hzの場合、および、ケース4の、垂直同期周波数が50Hz、電源周波数が50Hzの場合については、上述したとおりである。
さらに、図22には、デジタルスチルカメラなど、プログレッシブ方式のCMOS撮像装置で、垂直同期周波数(この場合はフレーム周波数)が30Hzの場合も示す。
図22にケース5として示すように、この垂直同期周波数が30HzのCMOS撮像装置によって、電源周波数が50Hzの地域において、蛍光灯照明下で被写体を撮影する場合には、1垂直周期が1/30秒であるのに対して、蛍光灯の輝度変化の周期が1/100秒となるので、露光時間が1/30秒の通常シャッタ時にも、露光時間が1/30秒より短い高速シャッタ時にも、3垂直周期(3画面)を繰り返し周期とする時間軸上で連続性を持った(連続的に見ると垂直方向に流れるように見える)フリッカを生じる。
ただし、露光時間が蛍光灯の輝度変化の周期の整数倍の1/100秒、1/50秒または3/100秒の高速シャッタとするときには、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じない。
また、図22にケース6として示すように、この垂直同期周波数が30HzのCMOS撮像装置によって、電源周波数が60Hzの地域において、蛍光灯照明下で被写体を撮影する場合には、1垂直周期が1/30秒であるのに対して、蛍光灯の輝度変化の周期が1/120秒となるので、露光時間が1/30秒の通常シャッタ時には、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じないが、露光時間が1/30秒より短い高速シャッタ時には、ケース3またはケース4の高速シャッタ時と同様に、各垂直周期(この場合は各フレーム)でフリッカの縞模様が同一となる1垂直周期(この場合は1フレーム)で完結するフリッカを生じる。
ただし、露光時間が蛍光灯の輝度変化の周期の整数倍の1/120秒、1/60秒または1/40秒の高速シャッタとするときには、露光時間が1/30秒の通常シャッタ時と同様に、露光タイミングにかかわらず露光量が一定となって、面内フリッカを含むフリッカを生じない。
以上のように、ケース3、ケース4またはケース6で、かつ高速シャッタとする場合には、シャッタ速度を特定の速度にする場合を除いて、各垂直周期(各画面)でフリッカの縞模様が同一となる1垂直周期(1画面)で完結するフリッカを生じ、撮像素子からの映像信号中の絵柄成分とフリッカ成分とを区別することができないので、上述したフリッカの連続性を利用したフリッカ低減方法によってフリッカ成分を低減することはできない。
そのため、これらの場合には、高速シャッタのシャッタ速度(露光時間)を、フリッカを生じない速度、すなわち、ケース3では1/120秒、ケース4では1/100秒、ケース6では1/120秒、1/60秒または1/40秒にし、または、高速シャッタにしないで、フリッカを生じない通常シャッタにし、すなわちシャッタ速度(露光時間)を、ケース3では1/60秒、ケース4では1/50秒、ケース6では1/30秒にすればよい。
しかしながら、このようにするには、別途、何らかの方法によって電源周波数を検出する必要がある。
例えば、フリッカの縞模様の周期(波長)と撮像装置の垂直周期(垂直同期周波数の逆数)との関係から、電源周波数を検出する方法が考えられている。しかし、上記のように1垂直周期(1画面)で完結する時間軸上で不連続なフリッカを生じる場合には、そもそも、撮像素子からの映像信号中の絵柄成分とフリッカ成分とを区別することができないため、電源周波数を検出することができない。
また、外部センサによって電源周波数を検出する方法もあるが、この方法では撮像装置システムのサイズやコストが増大する。
さらに、高速シャッタにしないで、通常シャッタにする場合には、以下のように電子式の手ぶれ補正の点で問題がある。
最近の撮像装置は、電子的な画枠切り出し型の手ぶれ補正機能を有するものが多い。この手ぶれ補正方式は、カメラに取り付けた手ぶれセンサ、または画像中に生じる動きベクトルなどによって、手ぶれを検出し、その検出された手ぶれ量に基づいて、入力画像から適当な位置およびサイズの領域を切り出して出力することによって、常に出力画像が静止して見えるように画像信号を補正するものである。
しかし、このような電子式の手ぶれ補正では、画面間(フィールド間またはフレーム間)の手ぶれは、補正することができるが、露光期間中に生じた手ぶれによる、いわゆる残像ボケは、原理的に補正することができない。すなわち、手ぶれ補正によって、画面間の手ぶれは軽減することができるが、残像ボケはそのまま残るため、そのアンバランスによって画質が劣化する。
そして、この残像ボケを軽減するには、高速シャッタにして、露光時間を短くするとよい。ただし、あまりシャッタ速度を速くすると、動画像のパラパラ感が目立つようになるため、通常は、これらの関係がちょうど良くなるような1/100秒程度のシャッタ速度に設定される。
以上のように、電子式の手ぶれ補正機能を有する撮像装置は、手ぶれ補正ON時には自動的に高速シャッタとなるように設定される。すなわち、電子式の手ぶれ補正としては高速シャッタが不可欠であり、蛍光灯フリッカの問題を解決するために高速シャッタを放棄することはできない。
そこで、この発明は、蛍光灯を駆動する電源の周波数を検出することなく、電源周波数と撮像装置の垂直同期周波数との組み合わせの如何にかかわらず、蛍光灯フリッカ成分を低減することができるとともに、電子式の手ぶれ補正に不可欠な高速シャッタを実現することができるようにしたものである。
この発明の撮像装置は、
XYアドレス走査型の撮像素子を備える撮像装置であって、
当該の撮像装置の設定された垂直同期周波数をfv(Hz)とし、Nを正の整数とするとき、120/fvが整数の場合には、露光時間がN/120(秒)となる電子シャッタ速度に設定され、100/fvが整数の場合には、露光時間がN/100(秒)となる電子シャッタ速度に設定されるものである。
図22に示した各ケースで、垂直同期周波数をfv、電源周波数をfpとすると、ケース1(fv=60Hz,fp=50Hz)、ケース2(fv=50Hz,fp=60Hz)またはケース5(fv=30Hz,fp=50Hz)のように、垂直周期1/fv(秒)が蛍光灯の輝度変化の周期1/2fp(秒)の整数倍でなければ、すなわち2fpがfvの整数倍でなければ、シャッタ速度の如何にかかわらず、複数垂直周期(複数画面)を繰り返し周期とする時間軸上で連続性を持った(連続的に見ると垂直方向に流れるように見える)フリッカを生じ、フリッカの連続性を利用したフリッカ低減方法によってフリッカ成分を低減することができる。
しかし、ケース3(fv=60Hz,fp=60Hz)、ケース4(fv=50Hz,fp=50Hz)またはケース6(fv=30Hz,fp=60Hz)のように、垂直周期1/fv(秒)が蛍光灯の輝度変化の周期1/2fp(秒)の整数倍である場合、すなわち2fpがfvの整数倍である場合には、通常シャッタ時には、そもそもフリッカを生じないが、高速シャッタ時には、各垂直周期(各画面)でフリッカの縞模様が同一となる1垂直周期(1画面)で完結するフリッカを生じ、フリッカの連続性を利用したフリッカ低減方法によってフリッカ成分を低減することはできない。
これに対して、上記の構成の、この発明の撮像装置では、上記のケース1、ケース3、ケース5またはケース6のように120/fvが整数となる場合には、露光時間が垂直周期1/fv(秒)を超えない範囲内でN/120(秒)のシャッタ速度に設定され、上記のケース2またはケース4のように100/fvが整数となる場合には、露光時間が垂直周期1/fv(秒)を超えない範囲内でN/100(秒)のシャッタ速度に設定される。
すなわち、ケース1またはケース3のようにfv=60Hzの場合には、シャッタ速度が1/120秒または1/60秒に設定され、ケース2またはケース4のようにfv=50Hzの場合には、シャッタ速度が1/100秒または1/50秒に設定され、ケース5またはケース6のようにfv=30Hzの場合には、シャッタ速度が1/120秒、1/60秒、1/40秒または1/30秒に設定される。
したがって、ケース1、ケース2またはケース5の場合には、それぞれ3フィールド、5フィールドまたは3フレームを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じ、フリッカの連続性を利用したフリッカ低減方法によってフリッカ成分を低減することができるようになるとともに、ケース3、ケース4またはケース6の場合には、そもそもフリッカが発生せず、フリッカ低減処理が不要となる。
しかも、そのために、電源周波数fpを検出する必要がなく、撮像装置のシャッタ制御手段は、撮像装置の設定された垂直同期周波数fv(映像方式)を判断するだけでよいとともに、電子式の手ぶれ補正の実行時には、N=1にするなど、露光時間が垂直周期1/fv(秒)より短い高速シャッタを実現することができ、高速シャッタによる画質向上を図ることができる。
以上のように、この発明によれば、蛍光灯を駆動する電源の周波数を検出することなく、電源周波数と撮像装置の垂直同期周波数との組み合わせの如何にかかわらず、蛍光灯フリッカ成分を低減することができるとともに、電子式の手ぶれ補正に不可欠な高速シャッタを実現することができる。
〔撮像装置の実施形態:図1および図2〕
(システム構成:図1)
図1は、この発明の撮像装置の一実施形態のシステム構成を示し、XYアドレス走査型の撮像素子としてCMOS撮像素子を用いた、NTSC方式(fv=60Hz)とPAL方式(fv=50Hz)のいずれかに選択的に設定されるビデオカメラの場合である。
この実施形態の撮像装置、すなわちビデオカメラでは、被写体からの光が、撮像光学系11を介してCMOS撮像素子12に入射して、CMOS撮像素子12で光電変換され、CMOS撮像素子12からアナログ映像信号が得られる。
CMOS撮像素子12は、CMOS基板上に、フォトダイオード(フォトゲート)、転送ゲート(シャッタトランジスタ)、スイッチングトランジスタ(アドレストランジスタ)、増幅トランジスタ、リセットトランジスタ(リセットゲート)などを有する画素が複数、2次元状に配列されて形成されるとともに、垂直走査回路、水平走査回路および映像信号出力回路が形成されたものである。
CMOS撮像素子12は、後述のように原色系と補色系のいずれでもよく、CMOS撮像素子12から得られるアナログ映像信号は、RGB各色の原色信号または補色系の色信号である。
そのCMOS撮像素子12からのアナログ映像信号は、IC(集積回路)として構成されたアナログ信号処理部13において、色信号ごとに、サンプルホールドされ、AGC(自動利得制御)によってゲインが制御され、A/D変換によってデジタル信号に変換される。
そのアナログ信号処理部13からのデジタル映像信号は、ICとして構成されたデジタル信号処理部20において、後述のように処理され、デジタル信号処理部20内のフリッカ低減部25において、後述のように信号成分ごとにフリッカ成分が低減された上で、最終的に輝度信号Yと赤、青の色差信号R−Y,B−Yに変換されて、デジタル信号処理部20から出力される。
システムコントローラ14は、マイクロコンピュータなどによって構成され、カメラ各部を制御する。
具体的に、システムコントローラ14から、ICによって構成されたレンズ駆動用ドライバ15に、レンズ駆動制御信号が供給され、レンズ駆動用ドライバ15によって、撮像光学系11のレンズやアイリスが駆動される。
また、システムコントローラ14からタイミングジェネレータ16に、タイミング制御信号が供給され、タイミングジェネレータ16からCMOS撮像素子12に、各種タイミング信号が供給されて、CMOS撮像素子12が駆動される。
このとき、CMOS撮像素子12のシャッタ速度も、システムコントローラ14からのタイミング制御信号によって制御される。具体的に、システムコントローラ14内のシャッタ制御部14cによって、後述のようにシャッタ速度が設定される。
さらに、デジタル信号処理部20からシステムコントローラ14に、各信号成分の検波信号が取り込まれ、システムコントローラ14からのAGC信号によって、アナログ信号処理部13において、上記のように各色信号のゲインが制御されるとともに、システムコントローラ14によって、デジタル信号処理部20における信号処理が制御される。
また、システムコントローラ14には、手ぶれセンサ17が接続され、これから得られる手ぶれ情報が、手ぶれ補正に利用される。
また、システムコントローラ14には、マイクロコンピュータなどによって構成されたインタフェース19を介して、ユーザインタフェース18を構成する操作部18aおよび表示部18bが接続され、操作部18aでの設定操作や選択操作などが、システムコントローラ14によって検出されるとともに、カメラの設定状態や制御状態などが、システムコントローラ14によって表示部18bに表示される。
上述したNTSC方式とPAL方式のいずれかの設定状態は、設定フラグとしてシステムコントローラ14内に保持され、シャッタ制御部14cによる後述のシャッタ制御に供される。
(デジタル信号処理部の構成例:図2)
図2に、原色系システムの場合のデジタル信号処理部20の一例を示す。
原色系システムは、図1の撮像光学系11が被写体からの光をRGB各色の色光に分離する分解光学系を有し、CMOS撮像素子12としてRGB各色用のCMOS撮像素子を有する3板システム、または、CMOS撮像素子12として、光入射面にRGB各色の色フィルタが画面水平方向に1画素ごとに順次、繰り返し配列された一つのCMOS撮像素子を有する1板システムである。この場合、CMOS撮像素子12からは、RGB各色の原色信号がパラレルに読み出される。
図2のデジタル信号処理部20では、クランプ回路21で、入力のRGB原色信号の黒レベルが所定レベルにクランプされ、ゲイン調整回路22で、露出量に応じてクランプ後のRGB原色信号のゲインが調整され、フリッカ低減部25R,25G,25Bで、後述の方法によって、ゲイン調整後のRGB原色信号中のフリッカ成分が低減される。
さらに、図2のデジタル信号処理部20では、ホワイトバランス調整回路27で、フリッカ低減後のRGB原色信号のホワイトバランスが調整され、ガンマ補正回路28で、ホワイトバランス調整後のRGB原色信号の階調が変換され、合成マトリクス回路29で、ガンマ補正後のRGB原色信号から、出力の輝度信号Yおよび色差信号R−Y,B−Yが生成される。
原色系システムでは、一般に図2のようにRGB原色信号の処理が全て終了した後に輝度信号Yが生成されるので、図2のようにRGB原色信号の処理過程でRGB原色信号中のフリッカ成分を低減することによって、各色成分および輝度成分のフリッカ成分を共に十分に低減することができる。
ただし、図2のようにフリッカ低減部25R,25G,25BによってRGB各色の原色信号ごとにフリッカ成分を検出し、低減する代わりに、例えば、合成マトリクス回路29の輝度信号Yの出力側にフリッカ低減部25を設けて、輝度信号Y中のフリッカ成分を検出し、低減するように構成してもよい。
一方、補色系システムは、図1のCMOS撮像素子12として、光入射面に補色系の色フィルタが形成された一つのCMOS撮像素子を有する1板システムである。
補色系システムでは、CMOS撮像素子12からは、隣接する2水平ライン位置の映像信号が合成されて読み出され、デジタル信号処理部20では、その補色信号(合成信号)の黒レベルが所定レベルにクランプされ、クランプ後の補色信号のゲインが露出量に応じて調整され、さらにゲイン調整後の補色信号から輝度信号およびRGB原色信号が生成される。
そして、フリッカ低減部25で、その輝度信号中のフリッカ成分およびRGB原色信号中のフリッカ成分が低減され、さらに、フリッカ低減後の輝度信号の階調が補正されて、出力の輝度信号Yが得られるとともに、フリッカ低減後のRGB原色信号のホワイトバランスが調整され、ホワイトバランス調整後のRGB原色信号の階調が変換され、そのガンマ補正後のRGB原色信号から色差信号R−Y,B−Yが生成される。
〔シャッタ制御(シャッタ速度の設定)の実施形態:図3〜図9〕
この発明では、以下のような方法によって、シャッタ制御され、シャッタ速度が設定される。
(NTSC方式またはPAL方式の場合:図3〜図7および図9)
上記のようにNTSC方式とPAL方式のいずれかに選択的に設定されるビデオカメラの場合には、システムコントローラ14のシャッタ制御部14cは、フィールドごとに以下のようなシャッタ制御処理を実行し、シャッタ速度を設定する。
図3〜図5に、そのシャッタ制御部14cが実行するシャッタ制御処理ルーチンの一例を示す。この例のシャッタ制御処理ルーチン100では、まずステップ101で、撮影環境が屋内であるか否かを判断する。
屋内であるか否かの判断には、通常のカメラ制御に用いられるAE(自動露出)制御の明るさ情報やホワイトバランス制御の色温度情報などを利用することができる。
そして、屋外での撮影である場合には、そもそもフリッカ低減処理は必要ないので、ステップ101からステップ102に進んで、通常のシャッタ制御を実行して、すなわち通常の露光制御モードで電子シャッタを設定して、シャッタ制御処理を終了する。
一方、屋内での撮影である場合には、蛍光灯照明下の可能性があるので、ステップ101からステップ103に進んで、蛍光灯照明下検出モードがONであるか否かを判断する。
蛍光灯照明下検出モードは、システムコントローラ14自身によってON/OFFが設定され、撮像装置の電源ON時、または被写体情報(被写体の明るさや色温度)が大きく変化したときには、検出モードがONとなり、定常状態では、検出モードがOFFとなるように制御される。
そして、蛍光灯照明下検出モードがONであるときには、ステップ103からステップ104に進んで、その検出モードの処理を実行した上で、ステップ105に進んで、その処理結果から、蛍光灯照明下であるか否かを判断する。
蛍光灯照明下であるか否かを検出する方法としては、ホワイトバランス制御の色温度情報を用いる方法などがあるが、図6および図7に示す方法によれば、より高精度に検出することができる。
図6の方法では、図6(A)に示すように、デジタル信号処理部20で得られる映像信号(各色信号または輝度信号)を画面水平方向に積分して、各フィールドごとに積分値を取得し(ただし、図6(B)の波形はフリッカ成分を示す)、図6(C)に示すように、隣接するフィールド間の積分値の差分(Fn−Fn_1)を算出する。
このとき、図20(A)に示したケース1(fv=60Hz,fp=50Hz)または図20(B)に示したケース2(fv=50Hz,fp=60Hz)のように、複数フィールド(複数画面)を繰り返し周期とする時間軸上で連続性を持ったフリッカを生じる場合には、差分(Fn−Fn_1)中で、絵柄成分が除去されて、フリッカ成分だけが残るので、そのフリッカ成分の存在から、蛍光灯照明下であることを検出することができる。
ただし、このとき、図21(A)に示したケース3(fv=60Hz,fp=60Hz)または図21(B)に示したケース4(fv=50Hz,fp=50Hz)のように、高速シャッタ時、各フィールド(各画面)でフリッカの縞模様が同一となる1フィールド(1画面)で完結するフリッカを生じる場合には、差分(Fn−Fn_1)中で、絵柄成分だけでなく、フリッカ成分まで除去されてしまい、蛍光灯照明下であることを検出することができない。
そこで、この例の方法では、システムコントローラ14は、検出モードのときだけ、垂直周期の一定性をわずかに崩して撮像装置を駆動する。
すなわち、図7(A)は、ケース3(fv=60Hz,fp=60Hz)の場合であり、図7(B)は、ケース4(fv=50Hz,fp=50Hz)の場合であるが、検出モード時には、それぞれ、右側(矢印の方向)に示すように、垂直周期(ある垂直同期信号VDから次の垂直同期信号VDまでの時間)を、α(秒)だけ1垂直周期ごとに交互に増減させる。
ケース1またはケース2の場合も同じで、すなわち、撮像装置の設定された垂直同期周波数fvが60Hzであるか50Hzであるかを問わず、かつ電源周波数fpが50Hzであるか60Hzであるかを検出することなく、検出モード時には、このように垂直周期の一定性をわずかに崩す。
これによって、ケース3またはケース4の場合にも、蛍光灯照明下であるときには差分(Fn−Fn_1)中にフリッカ成分が現れ、蛍光灯照明下であることを検出することができる。
なお、フリッカ低減方法として、後述の実施形態のように先願(特願2003−173642)の発明の方法を用いる場合には、そのフリッカ低減方法で用いる回路ブロックを、図6に示した積分および差分演算に流用することができる。
ステップ103で、蛍光灯照明下検出モードがOFFの定常状態であると判断したときには、ステップ106に進んで、直前または過去の検出モードでの処理結果(判断結果)を取り込んで、ステップ105に進む。
そして、ステップ105で蛍光灯照明下ではないと判断したときには、そもそもフリッカ低減処理は必要ないので、屋外での撮影の場合と同様に、ステップ102に進んで、通常のシャッタ制御を実行して、シャッタ制御処理を終了する。
一方、ステップ105で蛍光灯照明下であると判断したときには、ステップ107に進んで、手ぶれ補正がONか否かを判断する。
そして、手ぶれ補正がONのとき、すなわち手ぶれ補正の実行時には、ステップ107からステップ111に進んで、上述した設定フラグから、設定された垂直同期周波数fvが60Hzか50Hzかを判断し、その判断結果に応じたシャッタ速度の高速シャッタに設定する。
この場合、手ぶれ補正ON時には、常に高速シャッタにしてもよいが、被写体の輝度(明るさ)が非常に低く(暗く)、手ぶれ補正実行時の高速シャッタによる画質向上より、最適露光の方が優先されるべき場合には、例外的に通常シャッタとしてもよい。以下の例は、このように手ぶれ補正ON時、原則的には高速シャッタとし、例外的に通常シャッタとする場合である。
すなわち、ステップ111で、fv=60Hz(NTSC方式)であると判断した場合には、ステップ112に進んで、被写体の輝度が閾値より低いか否かを判断し、被写体の輝度が閾値以上であると判断したときには、ステップ113に進んで、上記のN/120(秒)においてN=1として、シャッタ速度(露光時間)1/120秒の高速シャッタに設定する。
また、ステップ112で、被写体の輝度が閾値より低いと判断したときには、ステップ114に進んで、上記のN/120(秒)においてN=2として、シャッタ速度1/60秒の通常シャッタに設定する。
一方、ステップ111で、fv=50Hz(PAL方式)であると判断した場合には、ステップ115に進んで、被写体の輝度が閾値より低いか否かを判断し、被写体の輝度が閾値以上であると判断したときには、ステップ116に進んで、上記のN/100(秒)においてN=1として、シャッタ速度1/100秒の高速シャッタに設定する。
また、ステップ115で、被写体の輝度が閾値より低いと判断したときには、ステップ117に進んで、上記のN/100(秒)においてN=2として、シャッタ速度1/50秒の通常シャッタに設定する。
すなわち、ケース1またはケース3のようにfv=60Hzの場合には、手ぶれ補正ON時、原則として、シャッタ速度1/120秒の高速シャッタに設定され、ケース2またはケース4のようにfv=50Hzの場合には、手ぶれ補正ON時、原則として、シャッタ速度1/100秒の高速シャッタに設定される。
したがって、ケース1またはケース2の場合には、それぞれ3フィールドまたは5フィールドを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じて、フリッカの連続性を利用したフリッカ低減方法によってフリッカ成分を低減することができるようになるとともに、ケース3またはケース4の場合には、そもそもフリッカが発生せず、フリッカ低減処理が不要となる。
しかも、そのために電源周波数fpを検出する必要がなく、シャッタ制御部14cは、設定された映像方式がNTSC方式とPAL方式のいずれであるか(垂直同期周波数fvが60Hzと50Hzのいずれであるか)を判断するだけでよいとともに、手ぶれ補正ON時には、原則として高速シャッタを実現することができ、高速シャッタによる画質向上を図ることができる。
ステップ113,114,116または117でシャッタ速度を設定したら、ステップ108に進んで、シャッタ速度の設定と合わせて最適な露光となるように、設定したシャッタ速度に応じてアイリス調整およびAGCを実行して、シャッタ制御処理を終了する。
高速シャッタとしては、一般には、上述したように1/100秒程度のシャッタ速度に設定されるのに対して、fv=60Hzの場合のステップ113では、1/100秒より若干高速(短時間)の1/120秒に設定され、シャッタ速度1/100秒の場合と比べて露光量が若干少なくなる。
しかし、その差は0.8dB程度で、ステップ108でのアイリス調整およびAGCによって十分補償できる範囲であり、露光量の低下によって画質が劣化することはない。しかも、1/120秒のシャッタ速度であれば、動画像のパラパラ感が目立つようになることもない。
一方、手ぶれ補正がOFFのとき、すなわち手ぶれ補正の非実行時には、ステップ107からステップ121に進んで、上述した設定フラグから、設定された垂直同期周波数fvが60Hzか50Hzかを判断し、その判断結果に応じたシャッタ速度の通常シャッタに設定する。
この場合、手ぶれ補正OFF時には、最適露光のために常に通常シャッタにしてもよいが、被写体の輝度(明るさ)が非常に高い(明るい)場合には、例外的に高速シャッタとしてもよい。以下の例は、このように手ぶれ補正OFF時、原則的には通常シャッタとし、例外的に高速シャッタとする場合である。
すなわち、ステップ121で、fv=60Hz(NTSC方式)であると判断した場合には、ステップ122に進んで、被写体の輝度が閾値より高いか否かを判断し、被写体の輝度が閾値以下であると判断したときには、ステップ123に進んで、上記のN/120(秒)においてN=2として、シャッタ速度(露光時間)1/60秒の通常シャッタに設定する。
また、ステップ122で、被写体の輝度が閾値より高いと判断したときには、ステップ124に進んで、上記のN/120(秒)においてN=1として、シャッタ速度1/120秒の高速シャッタに設定する。
一方、ステップ121で、fv=50Hz(PAL方式)であると判断した場合には、ステップ125に進んで、被写体の輝度が閾値より高いか否かを判断し、被写体の輝度が閾値以下であると判断したときには、ステップ126に進んで、上記のN/100(秒)においてN=2として、シャッタ速度1/50秒の通常シャッタに設定する。
また、ステップ125で、被写体の輝度が閾値より高いと判断したときには、ステップ127に進んで、上記のN/100(秒)においてN=1として、シャッタ速度1/100秒の高速シャッタに設定する。
ステップ123,124,126または127でシャッタ速度を設定したら、ステップ108に進んで、シャッタ速度の設定と合わせて最適な露光となるように、設定したシャッタ速度に応じてアイリス調整およびAGCを実行して、シャッタ制御処理を終了する。
以上のシャッタ制御処理を、図9の垂直同期周波数が60Hzまたは50Hzの欄に示す。手ぶれ補正ON時および手ぶれ補正OFF時の、括弧内に示したシャッタ速度が、ステップ114,117,124,127で設定される例外的なシャッタ速度であり、その上の括弧外に示したシャッタ速度が、ステップ113,116,123,126で設定される原則的なシャッタ速度である。
(プログレッシブ方式の場合:図8および図9)
この発明のシャッタ制御は、デジタルスチルカメラなど、プログレッシブ方式のCMOS撮像装置で、垂直同期周波数(この場合はフレーム周波数)fvが、例えば30Hzの場合にも、適用することができる。
この場合の撮像装置も、基本的に図1のように構成され、システムコントローラ14のシャッタ制御部14cは、フレームごとに以下のようなシャッタ制御処理を実行し、シャッタ速度を設定する。
図8に、そのシャッタ制御部14cが実行するシャッタ制御処理ルーチンの一例を示す。この例のシャッタ制御処理ルーチン130は、シャッタ制御処理開始からステップ107までは、上述したシャッタ制御処理ルーチン100のシャッタ制御処理開始からステップ107までと同じである。
そして、この例のシャッタ制御処理ルーチン130では、蛍光灯照明下であるときには、ステップ107で、手ぶれ補正がONか否かを判断し、手ぶれ補正がONのとき、すなわち手ぶれ補正の実行時には、高速シャッタに設定し、手ぶれ補正がOFFのとき、すなわち手ぶれ補正の非実行時には、通常シャッタに設定する。
この場合も、手ぶれ補正ON時には常に高速シャッタにし、手ぶれ補正OFF時には常に通常シャッタにしてもよいが、以下の例は、手ぶれ補正ON時には、原則的に高速シャッタ、例外的に通常シャッタとし、手ぶれ補正OFF時には、原則的に通常シャッタ、例外的に高速シャッタとする場合である。
すなわち、ステップ107で、手ぶれ補正がONと判断した場合には、ステップ132に進んで、被写体の輝度が閾値V2より低いか否かを判断し、被写体の輝度が閾値V2以上であると判断したときには、ステップ133に進んで、上記のN/120(秒)においてN=1またはN=2として、シャッタ速度(露光時間)を1/120秒または1/60秒に設定する。
具体的に、手ぶれ補正用に、より高速のシャッタ速度とする場合には、シャッタ速度を1/120秒に設定する。また、被写体の輝度に応じてシャッタ速度を細分する場合には、被写体の輝度が閾値V2以上の範囲内で所定値V1(>V2)以上であるときには、シャッタ速度を1/120秒に設定し、被写体の輝度が閾値V2以上の範囲内で所定値V1より低いときには、シャッタ速度を1/60秒に設定する。
また、ステップ132で、被写体の輝度が閾値V2より低いと判断したときには、ステップ134に進んで、上記のN/120(秒)においてN=3またはN=4として、シャッタ速度(露光時間)を1/40秒または1/30秒に設定する。
具体的に、最適露光用に、より低速のシャッタ速度とする場合には、シャッタ速度を1/30秒に設定する。また、被写体の輝度に応じてシャッタ速度を細分する場合には、被写体の輝度が閾値V2より低い範囲内で所定値V3(<V2)より低いときには、シャッタ速度を1/30秒に設定し、被写体の輝度が閾値V2より低い範囲内で所定値V3以上であるときには、シャッタ速度を1/40秒に設定する。
一方、ステップ107で、手ぶれ補正がOFFと判断した場合には、ステップ135に進んで、被写体の輝度が閾値V4より高いか否かを判断し、被写体の輝度が閾値V4以下であると判断したときには、ステップ136に進んで、上記のN/120(秒)においてN=4またはN=3として、シャッタ速度(露光時間)を1/30秒または1/40秒に設定する。
また、ステップ135で、被写体の輝度が閾値V4より高いと判断したときには、ステップ137に進んで、上記のN/120(秒)においてN=2またはN=1として、シャッタ速度(露光時間)を1/60秒または1/120秒に設定する。
ステップ133,134,136または137でシャッタ速度を設定したら、ステップ108に進んで、アイリス調整およびAGCを実行して、シャッタ制御処理を終了する。
以上のシャッタ制御処理を、図9の垂直同期周波数が30Hzの欄に示す。以上のように、上記のケース5またはケース6の場合には、シャッタ速度が1/120秒、1/60秒、1/40秒または1/30秒に設定されるので、ケース5のfp=50Hzの場合には、3フレームを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じて、フリッカの連続性を利用したフリッカ低減方法によってフリッカ成分を低減することができるようになるとともに、ケース6のfp=60Hzの場合には、そもそもフリッカが発生せず、フリッカ低減処理が不要となる。
しかも、そのために電源周波数fpを検出する必要がないとともに、手ぶれ補正ON時には、原則として高速シャッタを実現することができ、高速シャッタによる画質向上を図ることができる。
〔フリッカ低減方法の実施形態:図10〜図15〕
蛍光灯照明下である場合には、上述したようにシャッタ制御部14cによってシャッタ制御された後、さらに、システムコントローラ14の制御によって、デジタル信号処理部20内のフリッカ低減部25でフリッカ低減処理が実行される。
図9に示したように、ケース3(fv=60Hz,fp=60Hz)、ケース4(fv=50Hz,fp=50Hz)、またはケース6(fv=30Hz,fp=60Hz)では、上述したようにシャッタ速度が設定されることによって、フリッカが発生せず、フリッカ低減処理は不要となるが、そもそも電源周波数fpは検出されないので、これらの場合にも、ケース1(fv=60Hz,fp=50Hz)、ケース2(fv=50Hz,fp=60Hz)、またはケース5(fv=30Hz,fp=50Hz)の場合と同様に、以下のようなフリッカ低減処理が実行される。
この場合のフリッカ低減方法としては、上述したように、撮像素子からの映像信号から、フリッカの連続性を利用してフリッカ成分を推定し、その推定結果に応じて撮像素子からの映像信号を補正して、フリッカ成分を低減する方法であれば、いかなる方法でもよいが、特に先願(特願2003−173642)の発明のフリッカ低減方法によれば、簡単な信号処理によって、CMOS撮像素子などのXYアドレス走査型の撮像素子に固有のフリッカ成分を、被写体や映像信号レベルおよび蛍光灯の種類などにかかわらず、高精度で検出し、確実かつ十分に低減することができる。
この先願の発明のフリッカ低減方法は、(a)撮像素子からの映像信号(各色の色信号または輝度信号)を入力画像信号として、その入力画像信号を1水平周期以上の時間に渡って積分する工程と、(b)その積分値、または隣接するフィールドまたはフレームにおける積分値の差分値を、正規化する工程と、(c)その正規化後の積分値または差分値のスペクトルを抽出する工程と、(d)その抽出したスペクトルからフリッカ成分を推定する工程と、(e)その推定したフリッカ成分を打ち消すように、推定したフリッカ成分と上記の入力画像信号を演算する工程とを備えるものである。
この場合、(b)の正規化工程では、後述のように、(b1)差分値を連続する複数フィールドまたは複数フレームにおける積分値の平均値で除算し、または(b2)積分値を連続する複数フィールドまたは複数フレームにおける積分値の平均値で除算し、その除算結果から所定値を減算し、または(b3)差分値を積分値で除算する。また、(c)のスペクトル抽出工程では、正規化後の積分値または差分値をフーリエ変換するなどの方法を用いる。
(フリッカ低減方法の一例:図10〜図15)
先願の発明のフリッカ低減方法を用いる場合には、図2に示した原色系システムのRGB原色信号についてのフリッカ低減部25R,25G,25Bや、図では省略した補色系システムの上述したRGB原色信号および輝度信号についてのフリッカ低減部25は、それぞれ、例えば、図10にフリッカ低減部25として示すように構成する。
ただし、以下の例は、NTSC方式(fv=60Hz)のCMOSビデオカメラの場合(上述したように、蛍光灯照明下では、fp=50Hzのときには、3フィールドを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じ、fp=60Hzのときには、そもそもフリッカが発生しない)であり、PAL方式(fv=50Hz)のCMOSビデオカメラの場合、NTSC方式とPAL方式のいずれかに選択的に設定されるCMOSビデオカメラの場合、またはfv=30Hzのプログレッシブ方式のCMOSカメラの場合については、後述する。
なお、以下において、入力画像信号とは、それぞれ、フリッカ低減部25に入力されるフリッカ低減処理前のRGB原色信号または輝度信号であり、出力画像信号とは、それぞれ、フリッカ低減部25から出力されるフリッカ低減処理後のRGB原色信号または輝度信号である。
図18および図19は、被写体が一様な場合であるが、一般にフリッカ成分は被写体の信号強度に比例する。
そこで、一般の被写体についての任意のフィールドnおよび任意の画素(x,y)における入力画像信号(フリッカ低減処理前のRGB原色信号または輝度信号)をIn’(x,y)とすると、In’(x,y)は、フリッカ成分を含まない信号成分と、これに比例したフリッカ成分との和として、図11の式(1)で表される。
In(x,y)は、信号成分であり、Γn(y)*In(x,y)は、フリッカ成分であり、Γn(y)は、フリッカ係数である。蛍光灯の発光周期(fp=50Hzのときには1/100秒、fp=60Hzのときには1/120秒)に比べて1水平周期は十分短く、同一フィールドの同一ラインではフリッカ係数は一定と見なすことができるので、フリッカ係数はΓn(y)で表す。
Γn(y)を一般化するために、図11の式(2)に示すように、フーリエ級数に展開した形式で記述する。これによって、蛍光灯の種類によって異なる発光特性および残光特性を全て網羅した形式でフリッカ係数を表現することができる。
式(2)中のλoは、図18に示したような面内フリッカの波長であり、1フィールド当たりの読み出しライン数をMとすると、fp=50Hzの場合には、L(=M*60/100)ラインに相当する。ωoは、λoで正規化された規格化角周波数である。
γmは、各次(m=1,2,3‥)のフリッカ成分の振幅である。Φmnは、各次のフリッカ成分の初期位相を示し、蛍光灯の発光周期と露光タイミングによって決まる。ただし、fv=60Hzの場合には、Φmnは3フィールドごとに同じ値になるので、直前のフィールドとの間のΦmnの差は、図11の式(3)で表される。
図10の例では、まず、入力画像信号In’(x,y)が、フリッカ検出用に絵柄の影響を少なくするために、積分ブロック31で、図11の式(4)に示すように、画面水平方向に1ライン分に渡って積分され、積分値Fn(y)が算出される。式(4)中のαn(y)は、図11の式(5)で表されるように、信号成分In(x,y)の1ライン分に渡る積分値である。
算出された積分値Fn(y)は、以後のフィールドでのフリッカ検出用に、積分値保持ブロック32に記憶保持される。fv=60Hzの場合には、積分値保持ブロック32は、少なくとも2フィールド分の積分値を保持できる構成とされる。
被写体が一様であれば、信号成分In(x,y)の積分値αn(y)が一定値となるので、入力画像信号In’(x,y)の積分値Fn(y)からフリッカ成分αn(y)*Γn(y)を抽出することは容易である。
しかし、一般的な被写体では、αn(y)にもm*ωo成分が含まれるため、フリッカ成分としての輝度成分および色成分と、被写体自身の信号成分としての輝度成分および色成分とを分離することができず、純粋にフリッカ成分のみを抽出することはできない。さらに、式(4)の第1項の信号成分に対して第2項のフリッカ成分は非常に小さいので、フリッカ成分は信号成分中にほとんど埋もれてしまい、積分値Fn(y)から直接、フリッカ成分を抽出するのは不可能と言える。
そこで、図10の例では、積分値Fn(y)からαn(y)の影響を取り除くために、連続する3フィールドにおける積分値を用いる。
すなわち、この例では、積分値Fn(y)の算出時、積分値保持ブロック32から、1フィールド前の同じラインの積分値Fn_1(y)、および2フィールド前の同じラインの積分値Fn_2(y)が読み出され、平均値計算ブロック33で、3つの積分値Fn(y),Fn_1(y),Fn_2(y)の平均値AVE[Fn(y)]が算出される。
連続する3フィールドの期間中の被写体をほぼ同一と見なすことができれば、αn(y)は同じ値と見なすことができる。被写体の動きが3フィールドの間で十分小さければ、実用上、この仮定は問題ない。さらに、連続する3フィールドにおける積分値の平均値を演算することは、式(3)の関係から、フリッカ成分の位相が(−2π/3)*mずつ順次ずれた信号を加え合わせることになるので、結果的にフリッカ成分が打ち消されることになる。したがって、平均値AVE[Fn(y)]は、図12の式(6)で表される。
ただし、以上は、図12の式(7)の近似が成り立つものとして、連続する3フィールドにおける積分値の平均値を算出する場合であるが、被写体の動きが大きい場合には、式(7)の近似が成り立たなくなる。
そのため、被写体の動きが大きい場合を想定したフリッカ低減部25としては、積分値保持ブロック32に3フィールド以上に渡る積分値を保持し、当該のフィールドの積分値Fn(y)を合わせて4フィールド以上に渡る積分値の平均値を算出すればよい。これによって、時間軸方向のローパスフィルタ作用により、被写体が動いたことによる影響が小さくなる。
ただし、フリッカは3フィールドごとの繰り返しとなるので、フリッカ成分を打ち消すには、連続するj(3の、2倍以上の整数倍、すなわち、6,9‥)フィールドにおける積分値の平均値を算出する必要があり、積分値保持ブロック32は、少なくとも(j−1)フィールド分の積分値を保持できる構成とする。
図10の例は、図12の式(7)の近似が成り立つものとした場合である。この例では、さらに、差分計算ブロック34で、積分ブロック31からの当該フィールドの積分値Fn(y)と、積分値保持ブロック32からの1フィールド前の積分値Fn_1(y)との差分が計算され、図12の式(8)で表される差分値Fn(y)−Fn_1(y)が算出される。式(8)も、式(7)の近似が成り立つことを前提としている。
差分値Fn(y)−Fn_1(y)では、被写体の影響が十分除去されるため、積分値Fn(y)に比べてフリッカ成分(フリッカ係数)の様子が明確に現れる。
図10の例では、さらに、正規化ブロック35で、差分計算ブロック34からの差分値Fn(y)−Fn_1(y)が、平均値計算ブロック33からの平均値AVE[Fn(y)]で除算されることによって正規化され、正規化後の差分値gn(y)が算出される。
正規化後の差分値gn(y)は、図12の式(6)(8)および三角関数の和積公式によって、図13の式(9)のように展開され、さらに図11の式(3)の関係から、図13の式(10)で表される。式(10)中の|Am|,θmは、式(11a)(11b)で表される。
差分値Fn(y)−Fn_1(y)は、被写体の信号強度の影響が残るため、領域によってフリッカによる輝度変化および色変化のレベルが異なってしまうが、上記のように正規化することによって、全領域に渡ってフリッカによる輝度変化および色変化を同一レベルに合わせることができる。
図13の式(11a)(11b)で表される|Am|,θmは、正規化後の差分値gn(y)の、各次のスペクトルの振幅および初期位相であり、正規化後の差分値gn(y)をフーリエ変換して、各次のスペクトルの振幅|Am|および初期位相θmを検出すれば、図14の式(12a)(12b)によって、図11の式(2)に示した各次のフリッカ成分の振幅γmおよび初期位相Φmnを求めることができる。
そこで、図10の例では、DFTブロック51において、正規化ブロック35からの正規化後の差分値gn(y)の、フリッカの1波長分(Lライン分)に相当するデータを、離散フーリエ変換する。
DFT演算をDFT[gn(y)]とし、次数mのDFT結果をGn(m)とすれば、DFT演算は、図14の式(13)で表される。式(13)中のWは、式(14)で表される。また、DFTの定義によって、式(11a)(11b)と式(13)との関係は、図14の式(15a)(15b)で表される。
したがって、式(12a)(12b)(15a)(15b)から、図14の式(16a)(16b)によって、各次のフリッカ成分の振幅γmおよび初期位相Φmnを求めることができる。
DFT演算のデータ長を、フリッカの1波長分(Lライン分)とするのは、これによって、ちょうどωoの整数倍の離散スペクトル群を直接、得ることができるからである。
一般に、デジタル信号処理のフーリエ変換としては、FFT(高速フーリエ変換)が用いられるが、この例では、あえてDFTを用いる。その理由は、フーリエ変換のデータ長が2のべき乗になっていないので、FFTよりDFTの方が都合よいためである。ただし、入出力データを加工してFFTを用いることもできる。
実際の蛍光灯照明下では、次数mを数次までに限定しても、フリッカ成分を十分近似できるので、DFT演算もデータを全て出力する必要はなく、FFTに比べて演算効率の点でデメリットはない。
DFTブロック51では、まず、式(13)で定義されるDFT演算によって、スペクトルが抽出され、その後、式(16a)(16b)の演算によって、各次のフリッカ成分の振幅γmおよび初期位相Φmnが推定される。
図10の例では、さらに、フリッカ生成ブロック53で、DFTブロック51からのγm,Φmnの推定値から、図11の式(2)で表されるフリッカ係数Γn(y)が算出される。
ただし、上述したように、実際の蛍光灯照明下では、次数mを数次までに限定しても、フリッカ成分を十分近似できるので、式(2)によるフリッカ係数Γn(y)の算出に当たっては、総和次数を無限大ではなく、あらかじめ定められた次数、例えば2次までに限定することができる。
上述した方法によれば、積分値Fn(y)ではフリッカ成分が信号成分中に完全に埋もれてしまう、フリッカ成分が微小な黒の背景部分や低照度の部分などの領域でも、差分値Fn(y)−Fn_1(y)を算出し、これを平均値AVE[Fn(y)]で正規化することによって、フリッカ成分を高精度で検出することができる。
また、適当な次数までのスペクトルからフリッカ成分を推定することは、正規化後の差分値gn(y)を完全に再現しないで近似することになるが、これによって、かえって、被写体の状態によって正規化後の差分値gn(y)に不連続な部分を生じても、その部分のフリッカ成分を精度良く推定できることになる。
図11の式(1)から、フリッカ成分を含まない信号成分In(x,y)は、図14の式(17)で表される。
そこで、図10の例では、演算ブロック40で、フリッカ生成ブロック53からのフリッカ係数Γn(y)に1が加えられ、その和[1+Γn(y)]で入力画像信号In’(x,y)が除算される。
これによって、入力画像信号In’(x,y)に含まれるフリッカ成分がほぼ完全に除去され、演算ブロック40からは、出力画像信号(フリッカ低減処理後のRGB原色信号または輝度信号)として、実質的にフリッカ成分を含まない信号成分In(x,y)が得られる。
なお、システムが有する演算能力の制約から、上記の全ての処理を1フィールドの時間内で完結できない場合には、フリッカが3フィールドごとの繰り返しとなることを利用して、演算ブロック40内にフリッカ係数Γn(y)を3フィールドに渡って保持する機能を設け、3フィールド後の入力画像信号In’(x,y)に対して、その保持したフリッカ係数Γn(y)を演算する構成とすればよい。
なお、図10の例は、後述する他の構成例のように積分値Fn(y)ではなく、差分値Fn(y)−Fn_1(y)を、平均値AVE[Fn(y)]で正規化する場合であるが、便宜上、フリッカ低減部25中のDFTブロック51の前段部分を正規化積分値算出ブロック30と称する。
(フリッカ低減部の他の構成例)
図10の例のように、差分値Fn(y)−Fn_1(y)を平均値AVE[Fn(y)]で正規化すれば、有限の計算精度を効果的に確保することができる。しかし、要求される計算精度を満足できる場合には、積分ブロック31からの積分値Fn(y)を直接、平均値AVE[Fn(y)]で正規化してもよい。
ただし、この場合の正規化後の差分値gn(y)は、図15の式(18)で表されるものとなるので、後段の処理を図10の例と同様にするため、図15の式(19)に示すように、式(18)で表される正規化後の差分値gn(y)から1を減算し、その結果をDFTブロック51に送出する。
この場合、|Am|=γm,θm=Φmnであるので、図14の式(15a)(15b)から、γm,Φmnは、図15の式(20a)(20b)によって求めることができる。
したがって、DFTブロック51では、図10の例では、式(13)で定義されるDFT演算によってスペクトルを抽出した後、式(16a)(16b)の演算によって各次のフリッカ成分の振幅γmおよび初期位相Φmnを推定するのに対して、この場合には、式(13)で定義されるDFT演算によってスペクトルを抽出した後、式(20a)(20b)の演算によって各次のフリッカ成分の振幅γmおよび初期位相Φmnを推定する。以後の処理は、図10の例と同じである。
この場合には、差分計算ブロック34が不要となるので、その分、フリッカ低減部25を簡略化することができる。
図10の例で、差分値Fn(y)−Fn_1(y)の正規化に用いる平均値AVE[Fn(y)]は、図12の式(7)の近似が成り立つ場合には、式(6)で表されるようにαn(y)に等しいとともに、図11の式(4)の第2項[αn(y)*Γn(y)]は、第1項のαn(y)に比べて十分小さいので、正規化に及ぼす第2項の影響は非常に小さい。
したがって、差分値Fn(y)−Fn_1(y)の正規化については、平均値AVE[Fn(y)]の代わりに積分ブロック31からの積分値Fn(y)を用いても、ほとんど問題がなく、平均値AVE[Fn(y)]を用いる場合と同様に、効果的にフリッカ成分を検出することができる。
この場合には、積分値保持ブロック32は1フィールド分の積分値を保持できればよいとともに、平均値計算ブロック33を必要としないので、フリッカ低減部25を簡略化することができる。
上述した各例は、入力画像信号In’(x,y)を1ライン分に渡って積分する場合であるが、入力画像信号In’(x,y)の積分は、絵柄の影響を少なくしてフリッカ成分のサンプリング値を得るためであるので、1ラインに限らず、複数ラインの時間に渡って行ってもよい。
fv=60Hz,fp=50Hzの場合、上述したように画面上では縞模様として現れる蛍光灯フリッカの1周期はL(=M*60/100)ラインに相当するので、その1周期、すなわちLラインで、少なくとも2つのサンプリング値を得るようにすれば、いわゆるサンプリングの定理から、フリッカ成分を検出することができる。
実際上は、フリッカの1周期で数個以上ないし10個以上のサンプリング値を得ることが望ましいが、その場合でも、入力画像信号In’(x,y)を水平周期の数倍以上ないし10倍以上の時間に渡って積分することができる。また、積分時間は、2.5水平周期などというように、水平周期のちょうど整数倍でなくてもよい。
そして、このように積分時間を長くし、単位時間当たりのサンプリング数を減らす場合には、DFTブロック51におけるDFT演算の負担を軽くすることができるとともに、被写体が画面垂直方向に動いた場合に、その影響を少なくすることができる。
上述した各例で、入力画像信号In’(x,y)のレベルが飽和領域にある場合、演算ブロック40で式(17)の演算を行うと、逆に信号成分(色成分または輝度成分)が変化してしまう。
そこで、演算ブロック40は、入力画像信号In’(x,y)のレベルが飽和領域の閾値レベル以上であるか否かを画素ごとに判断し、入力画像信号In’(x,y)のレベルが飽和領域の閾値レベルに満たない画素では、上述したように式(17)の演算結果を出力画像信号In(x,y)として出力し、入力画像信号In’(x,y)のレベルが飽和領域の閾値レベル以上である画素では、入力画像信号In’(x,y)をそのまま出力画像信号In(x,y)として出力するように構成することが望ましい。
これによれば、入力画像信号In’(x,y)のレベルが飽和領域にある場合に、信号成分(色成分または輝度成分)が変化してしまうことがなく、高画質の出力画像信号が得られる。
(屋外や非蛍光灯照明下などでの撮影の場合)
屋外での撮影や、非蛍光灯照明下での撮影では、そもそもフリッカ低減処理は不要である。
また、動画と静止画の両方を撮影できるビデオカメラで静止画を撮影する場合には、CMOS撮像装置でも、1画面内の全ての画素の露光タイミング(露光開始および露光終了のタイミング)を同一にすることができ、蛍光灯フリッカの発生を回避することができるので、フリッカ低減処理は不要となる。この場合、CMOS撮像素子からの映像信号の読み出しは、動画を撮影する場合のような電子シャッタ速度の制約がないので、機械的なシャッタを閉じて遮光した状態で、ゆっくり行うことができる。
これらの場合のようにフリッカ低減処理が不要な場合には、フリッカ低減部25ではフリッカ低減処理が実行されず、入力画像信号In’(x,y)がそのまま出力画像信号In(x,y)として出力されるように、システムコントローラ14によってフリッカ低減部25を制御する。
(PAL方式やプログレッシブ方式の場合)
以上の例は、NTSC方式(fv=60Hz)のCMOSビデオカメラの場合であるが、PAL方式(fv=50Hz)のCMOSビデオカメラの場合には、図9に示したように、蛍光灯照明下で、fp=60Hzのとき、5フィールドを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じるので、フリッカ低減部25としては、それに対応した構成(NTSC方式の場合の「3フィールド」を「5フィールド」に置き換えた構成)とすればよい。
また、図1の実施形態のようにNTSC方式とPAL方式のいずれかに選択的に設定されるCMOSビデオカメラの場合には、カメラがNTSC方式に設定されたときには、フリッカ低減部25もNTSC方式用に切り替えられ、カメラがPAL方式に設定されたときには、フリッカ低減部25もPAL方式用に切り替えられるように、フリッカ低減部25を構成すればよい。
さらに、fv=30Hzのプログレッシブ方式のCMOSカメラの場合には、図9に示したように、蛍光灯照明下で、fp=50Hzのとき、3フレームを繰り返し周期とする時間軸上で連続性を持ったフリッカを生じるので、フリッカ低減部25としては、それに対応した構成(NTSC方式の場合の「フィールド」を「フレーム」に置き換え、「3フィールド」を「3フレーム」に置き換えた構成)とすればよい。
〔他の実施形態〕
プログレッシブ方式のCMOS撮像装置の場合、垂直同期周波数fvが30Hzではなく、例えば40Hzや25Hzである場合にも、この発明を適用することができる。この場合、fv=40Hzの場合には、120/fvが整数であるので、蛍光灯照明下では露光時間がN/120(秒)となるシャッタ速度とし、fv=25Hzの場合には、100/fvが整数であるので、蛍光灯照明下では露光時間がN/100(秒)となるシャッタ速度とすればよい。
また、上述した実施形態は、フリッカ低減部25を含むデジタル信号処理部20をハードウェアによって構成する場合であるが、フリッカ低減部25またはデジタル信号処理部20の一部または全部をソフトウェアによって構成してもよい。
さらに、この発明は、CMOS撮像素子以外のXYアドレス走査型の撮像素子を用いた撮像装置にも適用することができる。
この発明の撮像装置の一実施形態のシステム構成を示す図である。 原色系システムのデジタル信号処理部の一例を示す図である。 シャッタ制御部が実行するシャッタ制御処理の一例の一部を示す図である。 シャッタ制御部が実行するシャッタ制御処理の一例の一部を示す図である。 シャッタ制御部が実行するシャッタ制御処理の一例の一部を示す図である。 蛍光灯照明下であるか否かを検出する方法の一例の説明に供する図である。 蛍光灯照明下であるか否かを検出する方法の一例の説明に供する図である。 シャッタ制御部が実行するシャッタ制御処理の他の例の一部を示す図である。 この発明の方法におけるシャッタ速度設定態様を示す図である。 フリッカ低減部の一例を示す図である。 具体例のフリッカ低減方法の説明に供する式を示す図である。 具体例のフリッカ低減方法の説明に供する式を示す図である。 具体例のフリッカ低減方法の説明に供する式を示す図である。 具体例のフリッカ低減方法の説明に供する式を示す図である。 具体例のフリッカ低減方法の説明に供する式を示す図である。 CCD撮像装置における蛍光灯フリッカの説明に供する図である。 CMOS撮像装置における蛍光灯フリッカの説明に供する図である。 CMOS撮像装置における蛍光灯フリッカの1画面内の縞模様を示す図である。 CMOS撮像装置における蛍光灯フリッカの連続する3画面に渡る縞模様を示す図である。 時間軸上で連続性を持ったフリッカを生じる場合の説明に供する図である。 高速シャッタ時に1画面で完結するフリッカを生じる場合の説明に供する図である。 垂直同期周波数と電源周波数の組み合わせの各場合についての従来の方法によるフリッカ発生態様を示す図である。
符号の説明
主要部については図中に全て記述したので、ここでは省略する。

Claims (6)

  1. XYアドレス走査型の撮像素子を備える撮像装置であって、
    当該の撮像装置の設定された垂直同期周波数をfv(Hz)とし、Nを正の整数とするとき、120/fvが整数の場合には、露光時間がN/120(秒)となる電子シャッタ速度に設定され、100/fvが整数の場合には、露光時間がN/100(秒)となる電子シャッタ速度に設定される撮像装置。
  2. 請求項1の撮像装置において、
    電子式の手ぶれ補正の実行時、Nは露光時間が1/fv(秒)より短くなる範囲内の値に設定される撮像装置。
  3. 請求項1の撮像装置において、
    電子式の手ぶれ補正の実行時、被写体の輝度が閾値以上であるときには、Nは露光時間が1/fv(秒)より短くなる範囲内の値に設定され、被写体の輝度が閾値より低いときには、Nは露光時間が1/fv(秒)となる値に設定される撮像装置。
  4. 蛍光灯照明下でXYアドレス走査型の撮像素子により被写体を撮影することによって得られる映像信号に含まれる蛍光灯フリッカ成分を低減する方法であって、
    前記撮像素子を備える撮像装置の設定された垂直同期周波数をfv(Hz)とし、Nを正の整数とするとき、120/fvが整数の場合には、露光時間がN/120(秒)となる電子シャッタ速度に設定し、100/fvが整数の場合には、露光時間がN/100(秒)となる電子シャッタ速度に設定するシャッタ制御工程と、
    このシャッタ制御工程で電子シャッタ速度が設定された状態で、前記映像信号からフリッカ成分を推定し、その推定結果に応じて前記映像信号を補正して、フリッカ成分を低減するフリッカ低減処理工程と、
    を備えるフリッカ低減方法。
  5. 請求項4のフリッカ低減方法において、
    前記シャッタ制御工程では、電子式の手ぶれ補正の実行時、Nを露光時間が1/fv(秒)より短くなる範囲内の値に設定するフリッカ低減方法。
  6. 請求項4のフリッカ低減方法において、
    前記シャッタ制御工程では、電子式の手ぶれ補正の実行時、被写体の輝度が閾値以上であるときには、Nを露光時間が1/fv(秒)より短くなる範囲内の値に設定し、被写体の輝度が閾値より低いときには、Nを露光時間が1/fv(秒)となる値に設定するフリッカ低減方法。
JP2003272015A 2003-07-08 2003-07-08 撮像装置およびフリッカ低減方法 Expired - Fee Related JP3826904B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2003272015A JP3826904B2 (ja) 2003-07-08 2003-07-08 撮像装置およびフリッカ低減方法
TW093118368A TWI239212B (en) 2003-07-08 2004-06-24 Photographing apparatus and method for reducing twinkle
KR1020040052235A KR101007427B1 (ko) 2003-07-08 2004-07-06 촬상 장치 및 플리커 저감 방법
US10/885,364 US7705893B2 (en) 2003-07-08 2004-07-06 Imaging apparatus and flicker reduction method
EP04254041A EP1496690A3 (en) 2003-07-08 2004-07-06 Imaging apparatus and flicker reduction method
CNB2004100633975A CN100423555C (zh) 2003-07-08 2004-07-08 成像设备和闪烁减少方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003272015A JP3826904B2 (ja) 2003-07-08 2003-07-08 撮像装置およびフリッカ低減方法

Publications (2)

Publication Number Publication Date
JP2005033616A true JP2005033616A (ja) 2005-02-03
JP3826904B2 JP3826904B2 (ja) 2006-09-27

Family

ID=33448045

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003272015A Expired - Fee Related JP3826904B2 (ja) 2003-07-08 2003-07-08 撮像装置およびフリッカ低減方法

Country Status (6)

Country Link
US (1) US7705893B2 (ja)
EP (1) EP1496690A3 (ja)
JP (1) JP3826904B2 (ja)
KR (1) KR101007427B1 (ja)
CN (1) CN100423555C (ja)
TW (1) TWI239212B (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006310974A (ja) * 2005-04-26 2006-11-09 Mitsubishi Electric Corp 撮像装置
JP2006319831A (ja) * 2005-05-16 2006-11-24 Sony Corp 画像処理装置および撮像装置
JP2006345368A (ja) * 2005-06-10 2006-12-21 Sony Corp 画像処理装置および撮像装置
JP2007019973A (ja) * 2005-07-08 2007-01-25 Fujifilm Holdings Corp 撮像装置及び撮像方法
JP2011049685A (ja) * 2009-08-25 2011-03-10 Canon Inc 撮像装置及びその制御方法
US8031237B2 (en) 2005-08-26 2011-10-04 Sony Corporation Exposure control method, exposure control apparatus and image pickup apparatus
US8730345B2 (en) 2008-06-06 2014-05-20 Canon Kabushiki Kaisha Solid-state imaging apparatus, driving method thereof and imaging system
US10057501B2 (en) 2015-03-02 2018-08-21 Fujifilm Corporation Imaging apparatus, flicker detection method, and flicker detection program
US10104309B2 (en) 2015-03-02 2018-10-16 Fujifilm Corporation Imaging apparatus, flicker detection method, and flicker detection program

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8471852B1 (en) 2003-05-30 2013-06-25 Nvidia Corporation Method and system for tessellation of subdivision surfaces
JP3826904B2 (ja) * 2003-07-08 2006-09-27 ソニー株式会社 撮像装置およびフリッカ低減方法
JP4285542B2 (ja) * 2004-11-15 2009-06-24 ソニー株式会社 フリッカ補正方法及びフリッカ補正回路並びにそれらを用いた撮像装置
US7538799B2 (en) * 2005-01-14 2009-05-26 Freescale Semiconductor, Inc. System and method for flicker detection in digital imaging
JP2006243381A (ja) * 2005-03-03 2006-09-14 Fuji Photo Film Co Ltd 撮影装置
US7683948B2 (en) * 2005-03-31 2010-03-23 Freescale Semiconductor, Inc. System and method for bad pixel replacement in image processing
JP2006287362A (ja) * 2005-03-31 2006-10-19 Eastman Kodak Co デジタルカメラおよびホワイトバランス調整方法
JP4377840B2 (ja) * 2005-03-31 2009-12-02 イーストマン コダック カンパニー デジタルカメラ
JP4207923B2 (ja) * 2005-04-19 2009-01-14 ソニー株式会社 フリッカ補正方法、フリッカ補正装置及び撮像装置
JP4453648B2 (ja) * 2005-06-13 2010-04-21 ソニー株式会社 画像処理装置および撮像装置
CN1882047B (zh) * 2005-06-13 2011-06-15 索尼株式会社 图像处理设备和图像拾取设备
US7710458B2 (en) * 2005-06-17 2010-05-04 Casio Computer Co., Ltd. Image pick-up apparatus with a shake reducing function
JP4904749B2 (ja) * 2005-09-08 2012-03-28 ソニー株式会社 フリッカ低減方法、フリッカ低減回路及び撮像装置
CN100337471C (zh) * 2005-10-21 2007-09-12 北京中星微电子有限公司 一种行曝光模式下闪烁的简单判断和消除方法
US8571346B2 (en) 2005-10-26 2013-10-29 Nvidia Corporation Methods and devices for defective pixel detection
US7750956B2 (en) 2005-11-09 2010-07-06 Nvidia Corporation Using a graphics processing unit to correct video and audio data
US7598987B2 (en) * 2005-11-29 2009-10-06 Stmicroelectronics Asia Pacific Pte. Ltd. Flicker detection gain control circuit, digital imaging system, and method
US8588542B1 (en) 2005-12-13 2013-11-19 Nvidia Corporation Configurable and compact pixel processing apparatus
US8737832B1 (en) 2006-02-10 2014-05-27 Nvidia Corporation Flicker band automated detection system and method
JP2007336470A (ja) * 2006-06-19 2007-12-27 Sony Corp 撮像装置及び撮像方法
JP4948090B2 (ja) * 2006-08-25 2012-06-06 キヤノン株式会社 撮像装置及び駆動制御方法
US8594441B1 (en) 2006-09-12 2013-11-26 Nvidia Corporation Compressing image-based data using luminance
US8498695B2 (en) 2006-12-22 2013-07-30 Novadaq Technologies Inc. Imaging system with a single color image sensor for simultaneous fluorescence and color video endoscopy
US8723969B2 (en) 2007-03-20 2014-05-13 Nvidia Corporation Compensating for undesirable camera shakes during video capture
TWI366391B (en) * 2007-06-28 2012-06-11 Novatek Microelectronics Corp Method and circuit for correcting signals and image correcting method and circuit using the same
US8724895B2 (en) 2007-07-23 2014-05-13 Nvidia Corporation Techniques for reducing color artifacts in digital images
US8570634B2 (en) 2007-10-11 2013-10-29 Nvidia Corporation Image processing of an incoming light field using a spatial light modulator
US9177368B2 (en) 2007-12-17 2015-11-03 Nvidia Corporation Image distortion correction
US8780128B2 (en) 2007-12-17 2014-07-15 Nvidia Corporation Contiguously packed data
US8217887B2 (en) * 2008-01-23 2012-07-10 Atmel Corporation System and method for backlight control for an electronic display
US8698908B2 (en) 2008-02-11 2014-04-15 Nvidia Corporation Efficient method for reducing noise and blur in a composite still image from a rolling shutter camera
US9379156B2 (en) 2008-04-10 2016-06-28 Nvidia Corporation Per-channel image intensity correction
CN101582992B (zh) * 2008-05-15 2012-12-19 鸿富锦精密工业(深圳)有限公司 闪烁消除***及消除闪烁的方法
JP4907611B2 (ja) * 2008-07-29 2012-04-04 京セラ株式会社 撮像装置、フリッカー抑制方法、及びフリッカー抑制プログラム
US7911505B2 (en) * 2008-08-20 2011-03-22 Eastman Kodak Company Detecting illuminant flicker
US8194152B2 (en) 2008-09-05 2012-06-05 CSR Technology, Inc. Image processing under flickering lighting conditions using estimated illumination parameters
US8373718B2 (en) 2008-12-10 2013-02-12 Nvidia Corporation Method and system for color enhancement with color volume adjustment and variable shift along luminance axis
KR20100091845A (ko) * 2009-02-11 2010-08-19 삼성전자주식회사 플리커 발생을 방지하는 디지털 촬영 장치, 이의 제어 방법및 상기 제어 방법을 기록한 기록 매체
US8749662B2 (en) 2009-04-16 2014-06-10 Nvidia Corporation System and method for lens shading image correction
US8698918B2 (en) 2009-10-27 2014-04-15 Nvidia Corporation Automatic white balancing for photography
US8624999B2 (en) * 2009-12-01 2014-01-07 Ricoh Company, Ltd. Imaging apparatus
US8462229B2 (en) * 2010-09-30 2013-06-11 Hewlett-Packard Development Company, L.P. Detection of flicker within captured imaged frames
US8836772B2 (en) * 2010-11-17 2014-09-16 Sony Computer Entertainment, Inc. 3D shutter glasses with frame rate detector
CN102025920B (zh) * 2010-11-17 2012-08-29 无锡中星微电子有限公司 曝光时间调整方法和装置以及应用此装置的摄像头
JP5343995B2 (ja) * 2010-11-25 2013-11-13 カシオ計算機株式会社 撮像装置、撮像制御方法及びプログラム
US9418270B2 (en) 2011-01-31 2016-08-16 Hand Held Products, Inc. Terminal with flicker-corrected aimer and alternating illumination
CN202190327U (zh) * 2011-04-13 2012-04-11 北京瑞澜联合通信技术有限公司 低照度摄像机成像控制装置及摄像***
CN102427509A (zh) * 2011-09-16 2012-04-25 杭州海康威视数字技术股份有限公司 一种控制补光灯同步摄像机的装置及方法
TWI469632B (zh) * 2011-11-09 2015-01-11 Silicon Motion Inc 抗閃爍攝錄裝置與攝錄方法
CN103220476B (zh) * 2012-01-20 2016-03-16 联咏科技股份有限公司 图像处理装置及方法
KR101357404B1 (ko) * 2012-05-08 2014-02-12 (주) 넥스트칩 다중 노출 영상 분석을 이용하여 색상 보정 및 플리커 제거를 수행하는 시스템 및 방법
US9798698B2 (en) 2012-08-13 2017-10-24 Nvidia Corporation System and method for multi-color dilu preconditioner
US9508318B2 (en) 2012-09-13 2016-11-29 Nvidia Corporation Dynamic color profile management for electronic devices
US9307213B2 (en) 2012-11-05 2016-04-05 Nvidia Corporation Robust selection and weighting for gray patch automatic white balancing
US9367907B2 (en) * 2013-04-12 2016-06-14 Panasonic Intellectual Property Corporation Of America Flicker reducing device, imaging device, and flicker reducing method
CN103327239A (zh) * 2013-05-31 2013-09-25 Tcl通讯(宁波)有限公司 一种基于移动终端的摄像头数据处理方法及移动终端
JP6104060B2 (ja) * 2013-06-06 2017-03-29 オリンパス株式会社 撮像装置、撮像方法
US9826208B2 (en) 2013-06-26 2017-11-21 Nvidia Corporation Method and system for generating weights for use in white balancing an image
US9756222B2 (en) 2013-06-26 2017-09-05 Nvidia Corporation Method and system for performing white balancing operations on captured images
CN104301617B (zh) * 2013-07-19 2017-09-22 富士通株式会社 闪烁检测方法和闪烁检测设备
CN104301618B (zh) 2013-07-19 2017-11-14 富士通株式会社 闪烁检测方法和闪烁检测设备
KR101591172B1 (ko) * 2014-04-23 2016-02-03 주식회사 듀얼어퍼처인터네셔널 이미지 센서와 피사체 사이의 거리를 결정하는 방법 및 장치
CA2998920A1 (en) 2015-11-13 2017-05-18 Novadaq Technologies ULC Systems and methods for illumination and imaging of a target
CN108353130A (zh) * 2015-11-24 2018-07-31 索尼公司 图像处理器、图像处理方法和程序
CN105430290B (zh) * 2015-11-24 2019-04-16 青岛海信移动通信技术股份有限公司 一种水波纹的预消除方法及拍照设备
US10980420B2 (en) 2016-01-26 2021-04-20 Stryker European Operations Limited Configurable platform
CA3027592A1 (en) 2016-06-14 2017-12-21 John Josef Paul FENGLER Methods and systems for adaptive imaging for low light signal enhancement in medical visualization
EP3474544B1 (en) * 2016-06-15 2023-06-28 Sony Group Corporation Image processing device, image processing method, and program
EP3580609B1 (en) 2017-02-10 2023-05-24 Stryker European Operations Limited Open-field handheld fluorescence imaging systems and methods
WO2019071543A1 (en) * 2017-10-12 2019-04-18 SZ DJI Technology Co., Ltd. SYSTEMS AND METHODS FOR AUTOMATIC DETECTION AND CORRECTION OF LUMINANCE VARIATIONS ON IMAGES
CN108462837B (zh) * 2018-03-13 2022-06-21 中兴通讯股份有限公司 拍摄方法及装置
CN110035234A (zh) * 2019-04-16 2019-07-19 深圳市道通智能航空技术有限公司 一种飞行器的拍摄控制方法、飞行器及飞行***
CN112565595B (zh) * 2020-11-25 2022-07-01 西安闻泰电子科技有限公司 图像抖动消除方法、装置、电子设备和存储介质

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2687670B2 (ja) * 1990-04-19 1997-12-08 松下電器産業株式会社 動き検出回路および手ぶれ補正装置
KR0148450B1 (ko) * 1994-04-08 1998-11-16 가나이 쯔또무 촬상장치 및 그 제어방법
EP0835585B1 (en) * 1995-06-26 1998-10-28 Phase One Denmark A/S Digital camera image recording method and system
JP3829363B2 (ja) * 1996-06-14 2006-10-04 コニカミノルタホールディングス株式会社 電子カメラ
US6501518B2 (en) * 1998-07-28 2002-12-31 Intel Corporation Method and apparatus for reducing flicker effects from discharge lamps during pipelined digital video capture
JP3749038B2 (ja) * 1999-06-30 2006-02-22 株式会社東芝 固体撮像装置
EP1091571B1 (en) * 1999-10-08 2012-05-30 Panasonic Corporation Apparatus and methods for detection and compensation of illumination flicker, detection and measurement of AC line frequency
JP3522674B2 (ja) * 2000-09-08 2004-04-26 三菱電機株式会社 撮像装置および自動レベル調整方法
JP2003018458A (ja) * 2001-04-23 2003-01-17 Hitachi Ltd Cmos型固体撮像素子を用いた撮像システム
JP4416959B2 (ja) * 2001-04-26 2010-02-17 富士通マイクロエレクトロニクス株式会社 Xyアドレス型固体撮像装置のフリッカノイズ低減方法
US7187405B2 (en) * 2001-10-02 2007-03-06 Avago Technologies General Ip (Singapore) Pte. Ltd. Automatic flicker frequency detection device and method
JP4028358B2 (ja) * 2002-02-05 2007-12-26 株式会社リコー 撮像装置、表示制御方法、プログラム及び記録媒体
JP3826904B2 (ja) * 2003-07-08 2006-09-27 ソニー株式会社 撮像装置およびフリッカ低減方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006310974A (ja) * 2005-04-26 2006-11-09 Mitsubishi Electric Corp 撮像装置
US8416337B2 (en) 2005-05-16 2013-04-09 Sony Corporation Image process apparatus and method for processing a color image signal
JP2006319831A (ja) * 2005-05-16 2006-11-24 Sony Corp 画像処理装置および撮像装置
JP4539432B2 (ja) * 2005-05-16 2010-09-08 ソニー株式会社 画像処理装置および撮像装置
JP2006345368A (ja) * 2005-06-10 2006-12-21 Sony Corp 画像処理装置および撮像装置
JP4539449B2 (ja) * 2005-06-10 2010-09-08 ソニー株式会社 画像処理装置および撮像装置
JP2007019973A (ja) * 2005-07-08 2007-01-25 Fujifilm Holdings Corp 撮像装置及び撮像方法
US8031237B2 (en) 2005-08-26 2011-10-04 Sony Corporation Exposure control method, exposure control apparatus and image pickup apparatus
US8730345B2 (en) 2008-06-06 2014-05-20 Canon Kabushiki Kaisha Solid-state imaging apparatus, driving method thereof and imaging system
JP2011049685A (ja) * 2009-08-25 2011-03-10 Canon Inc 撮像装置及びその制御方法
US8848070B2 (en) 2009-08-25 2014-09-30 Canon Kabushiki Kaisha Image capturing apparatus and method of controlling the apparatus
US10057501B2 (en) 2015-03-02 2018-08-21 Fujifilm Corporation Imaging apparatus, flicker detection method, and flicker detection program
US10104309B2 (en) 2015-03-02 2018-10-16 Fujifilm Corporation Imaging apparatus, flicker detection method, and flicker detection program

Also Published As

Publication number Publication date
US20050046704A1 (en) 2005-03-03
US7705893B2 (en) 2010-04-27
EP1496690A3 (en) 2005-02-09
TWI239212B (en) 2005-09-01
TW200509690A (en) 2005-03-01
KR20050006045A (ko) 2005-01-15
EP1496690A2 (en) 2005-01-12
CN100423555C (zh) 2008-10-01
KR101007427B1 (ko) 2011-01-12
CN1577040A (zh) 2005-02-09
JP3826904B2 (ja) 2006-09-27

Similar Documents

Publication Publication Date Title
JP3826904B2 (ja) 撮像装置およびフリッカ低減方法
JP4106554B2 (ja) 撮影環境判定方法および撮像装置
JP4487640B2 (ja) 撮像装置
JP4423889B2 (ja) フリッカ低減方法、撮像装置およびフリッカ低減回路
JP5035025B2 (ja) 画像処理装置、フリッカ低減方法、撮像装置及びフリッカ低減プログラム
JP4483744B2 (ja) 撮像装置及び撮像制御方法
WO2017090300A1 (ja) 画像処理装置、および画像処理方法、ならびにプログラム
KR20060128649A (ko) 화상 처리 장치 및 촬상 장치
JP2007074555A (ja) フリッカ低減方法、フリッカ低減回路及び撮像装置
JP2011193065A (ja) 撮像装置
JP2007174537A (ja) 撮像装置
KR101964228B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP5440245B2 (ja) 撮像装置
JP2007329604A (ja) 蛍光灯フリッカ検出回路
JP2005064973A (ja) 撮影環境判定方法および撮像装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060605

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060613

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060626

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090714

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100714

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100714

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110714

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120714

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130714

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees