JP5039588B2 - 撮像装置及び撮像装置の制御方法 - Google Patents

撮像装置及び撮像装置の制御方法 Download PDF

Info

Publication number
JP5039588B2
JP5039588B2 JP2008023315A JP2008023315A JP5039588B2 JP 5039588 B2 JP5039588 B2 JP 5039588B2 JP 2008023315 A JP2008023315 A JP 2008023315A JP 2008023315 A JP2008023315 A JP 2008023315A JP 5039588 B2 JP5039588 B2 JP 5039588B2
Authority
JP
Japan
Prior art keywords
smear
image data
region
correction
original image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008023315A
Other languages
English (en)
Other versions
JP2009188463A5 (ja
JP2009188463A (ja
Inventor
信也 平井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2008023315A priority Critical patent/JP5039588B2/ja
Priority to US12/447,622 priority patent/US8040407B2/en
Priority to PCT/JP2009/051292 priority patent/WO2009096396A1/en
Priority to CN2009801038751A priority patent/CN101933323B/zh
Priority to EP09705561A priority patent/EP2218250A4/en
Publication of JP2009188463A publication Critical patent/JP2009188463A/ja
Publication of JP2009188463A5 publication Critical patent/JP2009188463A5/ja
Application granted granted Critical
Publication of JP5039588B2 publication Critical patent/JP5039588B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/625Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of smear
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/673Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Exposure Control For Cameras (AREA)

Description

本発明は、撮像装置及び撮像装置の制御方法に関する。
従来より、複数の画素(フォトダイオード)が行方向及び列方向に配列された画素配列で高輝度の被写体を撮像し、撮像して得られた信号をCCD(電荷結合素子)により転送した場合に、スミア現象が発生することが知られている。すなわち、高輝度の被写体に応じた光が画素で光電変換されることにより生成された余分な信号が、すでに光電変換され垂直転送路で転送されている画像信号に混入する。この画像信号により得られる画像には、画素配列の列方向に対応した縦方向に白いすじ、すなわちスミア領域が含まれるようになる(図7)。そのスミア領域に含まれる画素の輝度レベルは、実際の輝度レベルよりも高くなる。
測光する対象に高輝度の被写体が含まれスミア領域を含む画像が得られた場合、その画像を用いて露出値を求めると、本撮影の際に露出不足となる可能性がある。それに対して、特許文献1に示された技術では、測光する前に、フォトダイオードから信号を読み出さずに空走査(測光前走査)を行って得られた信号により、スミア領域に含まれる画素のスミア量を検出している。その後、測光走査を行って画像信号を取得し、その画像信号からスミア量を減算して、スミア領域が補正された画像信号を得る。その補正された画像信号を用いて露出値を求めている。これにより、本撮影の際に露出不足となることを防ぐことができる。
特開平5−007335号公報 特開平6−268922号公報
特許文献1に示された技術では、測光前走査を行うための期間を余分に設ける必要があるので、1フレームの画像を撮像するためのフレーム期間が長くなる可能性がある。これにより、表示部にEVF表示するための動画を撮像すると、動作の連続性が失われた画像が得られる可能性がある。
それに対して、図7に示すように、画素配列の周辺下方に設けたOB(Optical Black)部でスミア量を検出すれば、測光前走査を行うための期間を余分に設けなくてもスミア量を検出することができる。なお、図7は、画素配列及びOB部と、それらにより得られる画像とを重ねて示している。OB部は、画素配列の行方向に延びている。
ここで、仮に、高輝度の被写体が静止していたとする。この場合、画素配列の行方向に検出されたスミア成分の信号を列方向に拡張することにより補正領域CR1をスミア領域と推定し、画素配列で撮像されて生成された画像データから補正領域CR1のスミア量を補正量として減算することにより、スミア補正を行う。このとき、補正領域CR1は、実際のスミア領域SR1に一致している。
また、高輝度の被写体が行方向(横方向)に移動したとする。この場合、特許文献2に示されるように、被写体を撮像して得られた画像においてスミア領域は斜めに延びた領域となる(図8参照)。そして、画素配列の行方向に検出されたスミア成分の信号を列方向に拡張することにより補正領域CR2をスミア領域と推定し、画素配列で撮像されて生成された画像データから補正領域CR2のスミア量を補正量として減算することにより、スミア補正を行う。このとき、補正領域CR2は、実際のスミア領域SR2とずれている。これにより、補正領域CR2とスミア領域SR2とでは、重なっている領域SR2a,CR2aのみが適切に補正され、誤補正された領域CR2bと未補正の領域SR2bとが生成されてしまう。この誤補正された領域CR2bの輝度レベルは、補正量に相当する分だけ周辺の画素の輝度レベルより低い。
このように、移動する高輝度の被写体を撮像して生成された画像データをスミア補正することにより、縦方向に黒いすじが含まれた画像が得られる。この黒いすじは、周辺の画素に対するコントラストが大きいので、閲覧するための画像の画質を劣化させる。
ここで、補正領域CR2のスミア量の100%未満(例えば50%)を補正量とすれば、この黒いすじが画像において目立たないようにすることができる。しかし、スミア成分が残存しているので、この画像の画像データを用いて露出制御、焦点調節、及びホワイトバランス制御などの制御動作を行うと、それらの画像データを用いた制御動作の精度が低下する可能性がある。
例えば、スミア成分が残存した画像データを用いて露出値を求めると、本撮影の際に露出不足となる可能性がある。
あるいは、例えば、スミア成分が残存した画像データを用いて焦点状態を検出すると、被写体でなくスミア領域のエッジ(端部)のコントラストが最大になった位置に焦点調節されてしまう可能性がある。
本発明の目的は、移動する高輝度の被写体を撮像した場合でも、閲覧するための画像の画質の劣化を抑制するとともに、画像データを用いた制御動作の精度の低下を抑制することにある。
本発明の第1側面に係る撮像装置は、被写体を含む原画像データを取得する取得手段と、前記原画像データから、スミアが発生したスミア領域を検出するとともに、前記スミア領域に含まれる画素のスミア量を検出するスミア検出手段と、前記原画像データにおいて前記スミア領域に含まれる画素の輝度レベルを、前記スミア量に第1の係数をかけた第1の補正量で補正することにより、第1の画像データを生成するとともに、前記原画像データにおいて前記スミア領域に含まれる画素の輝度レベルを、前記スミア量に第2の係数をかけた第2の補正量で補正することにより、第2の画像データを生成するスミア補正手段とを備え、前記第1の画像データは、画像表示用及び画像記録用の少なくとも一方のために用いられ、前記第2の画像データは、露出制御用及び焦点調節用の少なくとも一方のために用いられ、前記第1の係数は、前記第2の係数より小さいことを特徴とする。
本発明の第2側面に係る撮像装置の制御方法は、取得手段が、被写体を含む原画像データを取得する取得ステップと、スミア検出手段が、前記原画像データから、スミアが発生したスミア領域を検出するとともに、前記スミア領域に含まれる画素のスミア量を検出するスミア検出ステップと、スミア補正手段が、前記原画像データにおいて前記スミア領域に含まれる画素の輝度レベルを、前記スミア量に第1の係数をかけた第1の補正量で補正することにより、第1の画像データを生成するとともに、前記原画像データにおいて前記スミア領域に含まれる画素の輝度レベルを、前記スミア量に第2の係数をかけた第2の補正量で補正することにより、第2の画像データを生成するスミア補正ステップとを備え、前記第1の画像データは、画像表示用及び画像記録用の少なくとも一方のために用いられ、前記第2の画像データは、露出制御用及び焦点調節用の少なくとも一方のために用いられ、前記第1の係数は、前記第2の係数より小さいことを特徴とする。
本発明によれば、移動する高輝度の被写体を撮像した場合でも、閲覧するための画像の画質の劣化を抑制するとともに、画像データを用いた制御動作の精度の低下を抑制することができる。
本発明の実施形態に係る撮像装置100を、図1を用いて説明する。図1は、本発明の実施形態に係る撮像装置100の概略構成を示す図である。
撮像装置100は、例えば、デジタルカメラである。撮像装置100は、シャッター1、フォーカスレンズ(撮影光学系)2、絞り17、取得部20、スミア補正回路6、画像処理回路7、表示部9、及び記録媒体インターフェース8を備える。フォーカスレンズ2は不図示のレンズ群を構成するレンズの1つであり、シャッター1、フォーカスレンズ2、および、絞り17にて撮影光学系を構成する。また、撮像装置100は、制御部10、第1スイッチ(SW1)11、第2スイッチ(SW2)12、露出制御回路14、ホワイトバランス制御回路15、焦点調節制御回路16、及びフォーカスレンズ駆動回路13を備える。
シャッター1は、光路上においてフォーカスレンズ2の手前に設けられ、露出を制御する。
フォーカスレンズ2を含むレンズ群は、入射した光を屈折させて、撮像素子3の撮像面に被写体の像を形成する。
絞り17は、光路上においてフォーカスレンズ2と撮像素子3との間の前に設けられ、フォーカスレンズ2を通過後に撮像素子3へ導かれる光の量を調節する。
取得部20は、被写体を含む原画像データを取得する。取得部20は、撮像素子3、前置処理回路4、及びA/D変換器5を含む。
撮像素子3は、撮像面(画素配列)に形成された被写体の像を画像信号(アナログ信号)に変換する。画素配列では、複数の画素が行方向及び列方向に配列されている。また、画素配列の周辺下方には、遮光されており黒レベルの基準信号を取得するためのOB部が設けられている。撮像素子3は、画素配列及びOB部から画像信号を読み出して出力する。
前置処理回路4は、撮像素子3装置86に接続されており、撮像素子3装置86から出力された画像信号を処理する。例えば、画像信号をCDS処理してノイズ成分を除去したり、画像信号にゲインをかけたりする。
A/D変換器5は、前置処理回路4に接続されており、前置処理回路4から出力された処理後の画像信号(アナログ信号)を原画像データ(デジタル信号)へ変換する。
スミア補正回路6は、A/D変換器5に接続されており、A/D変換器5から出力された原画像データに対してスミア検出処理及びスミア補正処理を行う。スミア補正回路6は、スミア検出部6aとスミア補正部6bとを含む。
スミア検出部6aは、原画像データから、スミアが発生したスミア領域を検出するとともに、スミア領域に含まれる画素のスミア量を検出する。
スミア補正部6bは、原画像データにおいてスミア領域に含まれる画素のレベルを、スミア量に第1の係数をかけた第1の補正量で補正することにより、第1の画像データを生成する。第1の画像データは、画像表示用及び画像記録用の少なくとも一方のために用いられるためのデータである。
また、スミア補正部6bは、原画像データにおいてスミア領域に含まれる画素のレベルを、スミア量に第2の係数をかけた第2の補正量で補正することにより、第2の画像データを生成する。第2の画像データは、露出制御用、焦点調節用、及びホワイトバランス制御用の少なくとも1つのために用いられるルためのデータである。第1の係数は、第2の係数より小さい。
スミア補正部6bは、第1の画像データを画像処理回路7へ供給し、第2の画像データを制御部10へ供給する。このように、スミア補正部6bは、第1の画像データを生成する処理と第2の画像データを生成する処理とを並行して行う。
なお、本実施形態では補正回路を2つ持つ構成で説明したが、露出制御用、焦点調節用、ホワイトバランス制御用とそれぞれ別に補正回路を用意しても良い。あるいは、1つの補正回路で時系列的に補正対象の信号を切り換えて、表示用のスミア補正と制御用のスミア補正を交互に行うように構成しても良い。すなわち、スミア補正回路6のスミア補正部は、第1の画像データを生成する処理と第2の画像データを生成する処理とを異なるタイミングで順次に行ってもよい。
画像処理回路7は、スミア補正回路6に接続されており、スミア補正回路6から出力された第1の画像データを画像表示用又は画像記録用の信号へ変換する処理を行う。すなわち、画像処理回路7は、第1の画像データ(デジタル信号)を画像表示用のアナログ信号へ変換し、変換後のアナログ信号を表示部9へ供給する。画像処理回路7は、第1の画像データを符号化等により圧縮画像データに変換し、変換後の圧縮画像データを記録媒体インターフェース8へ供給する。
表示部9は、画像処理回路7に接続されており、画像処理回路7から出力された画像表示用のアナログ信号に応じた画像を表示する。
記録媒体インターフェース8には、記録媒体18が取り外し可能に接続されている。これにより、画像処理回路7から出力された圧縮画像データを、記録媒体インターフェース8を介して記録媒体18へ記録する。
制御部10は、撮像装置100を全体的に制御する。例えば、制御部10は、第2の画像データをスミア補正回路6から受け取る。制御部10は、第1シャッタースイッチ11がON状態であることに応じて、その第2の画像データを露出制御回路14、ホワイトバランス制御回路15、焦点調節制御回路16へ供給する。これにより、露出制御回路14、ホワイトバランス制御回路15、焦点調節制御回路16は、それぞれ、第2の画像データを用いて制御部10と協働しながら制御動作を行う。
シャッターボタン(図示せず)は、静止画撮影するための指示(撮影指示)などをユーザから受け付ける。例えば、シャッターボタンは、半押しされることにより、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等するための第1の指示を受け付ける。例えば、シャッターボタン61は、全押しされることにより、静止画撮影等するための第2の指示を受け付ける。
第1シャッタースイッチ(SW1)11は、第1の指示をシャッターボタンから受け取るとON状態になり、ON状態である旨の情報を制御部10へ供給する。制御部10は、第1シャッタースイッチ11がON状態であることに応じて、AF(オートフォーカス)処理、AE(自動露出)処理、AWB(オートホワイトバランス)処理、EF(フラッシュプリ発光)処理等の動作開始を各部へ指示する。
第2シャッタースイッチ(SW2)12は、第2の指示をシャッターボタンから受け取るとON状態になり、ON状態である旨の情報を制御部10へ供給する。これにより、制御部10は、一連の撮影処理の動作開始を指示する。一連の撮影処理では、撮像素子3から読み出した信号をA/D変換器5、スミア補正回路6を介してメモリ(図示せず)に画像データを書き込む露光処理、画像処理回路7での演算を用いた現像処理を行う。そして、一連の撮影処理では、メモリ(図示せず)から画像データを読み出し、記録媒体インターフェース8で圧縮を行い記録媒体18へ画像データを書き込む記録処理を行う。
露出制御回路14は、AE処理の指示及び第2の画像データを制御部10から受け取り、制御部10と協働しながらAE処理の制御動作を行う。露出制御回路14は、輝度検出部と露出制御部とを含む。輝度検出部は、第2の画像データにより示される画像の一部である輝度検出領域BDA(図3参照)の輝度を検出する。露出制御部は、輝度検出部により検出された輝度に基づいて、撮像素子3の適正な露出値を求める。すなわち、露出制御部は、適正な露出値が得られるように、制御部10経由でシャッター1及び絞り17を制御する。これにより、露出制御回路14は、撮像素子3の露出値を制御する。
なお、露出制御回路14の輝度検出部は、図3に示すように、第2の画像データにより示される画像において補正領域CR3及びスミア領域SR3に交差する輝度検出領域BDAの輝度を検出する。すなわち、露出値算出用の輝度レベルを積分するためのエリア(輝度検出領域)のサイズをスミアの発生領域(スミア領域)と誤補正領域とがともに含まれるように設定しておく。スミアの発生している面積とスミア成分を補正する面積とが等しいことから、積分結果としては適切にスミア成分が減算された輝度レベルを得ることが可能となる。
ホワイトバランス制御回路15は、AWB処理の指示及び第2の画像データを制御部10から受け取り、制御部10と協働しながらAWB処理の制御動作を行う。
なお、ホワイトバランス係数を検出するために用いる画像のスミア補正についても、スミア成分を完全に除去してから求める方がより正確にホワイトバランス係数が求められるため、露光量を求めるのに使用する画像の場合と同様に100%補正してよい。ホワイトバランス係数を求める方法は公知の方法を用いればよい。
焦点調節制御回路16は、AF処理の指示及び第2の画像データを制御部10から受け取り、制御部10と協働しながらAF処理の制御動作を行う。焦点調節制御回路16は、焦点検出部と合焦部とを含む。焦点検出部は、第2の画像データにより示される画像の一部である焦点検出領域(例えば、図4に示すAF枠FDA1)において被写体の合焦状態を検出する。合焦部は、焦点検出部により検出された被写体の合焦状態に応じて、制御部10及びフォーカスレンズ駆動回路13経由でフォーカスレンズ2を制御する。
すなわち、フォーカスレンズ駆動回路13は、焦点調節制御回路16の合焦部に制御されて、焦点検出領域における被写体のエッジのコントラストが最大となった位置に、フォーカスレンズ2を制御する。
次に、スミア補正回路6の詳細構成を、図2を用いて説明する。図2は、スミア補正回路6の詳細構成を示す図である。
スミア補正回路6は、上述のように、スミア検出部6aとスミア補正部6bとを含む。スミア検出部6aは、スミア量検出回路20を含む。スミア補正部6bは、第1補正量決定回路21、第2補正量決定回路22、第1補正回路(減算処理手段)23、及び第2補正回路(減算処理手段)24を含む。
スミア量検出回路20は、A/D変換器5から出力される原画像データから、スミア領域を検出するとともに、スミア領域のスミア量を検出する。
具体的には、図3に示すように、スミア量検出回路20は、撮像装置3のOB部で取得された原画像データの輝度レベルを列毎に検出する。スミア量検出回路20は、所定以上の輝度レベルの画素が所定数以上の列だけ連続していた場合、その領域をスミア領域の列として検出する。すなわち、スミア量検出回路20は、画素配列の行方向に延びたOB部でスミア量を検出する。そして、スミア量検出回路20は、画素配列の行方向に検出されたスミア成分の信号を列方向に拡張することにより、補正領域CR3をスミア領域SR3と推定する。スミア量検出回路20は、補正領域CR3に含まれる画素の信号量と補正領域CR3の周辺の画素の信号量との差分を演算することにより、補正領域CR3に含まれる画素のスミア量を検出する。移動する高輝度の被写体を撮像した場合、補正領域CR3は、スミア領域SR3とずれている。
第1補正量決定回路21は、スミア量検出回路20に接続され、スミア量検出回路20から原画像データとスミア量とを受け取る。第1補正量決定回路21は、スミア量に第1の係数をかけて第1の補正量を求める。
例えば、スミア量検出回路20から出力されたスミア量をS(i)(iは水平方向の座標位置)とする。第1補正量決定回路21は、スミア量に第1の係数k1を乗算して、
S1(i) = k1 × S(i)・・・数式1
のように第1の補正量S1(i)を決定する。k1=0.5(すなわち50%)とした場合には、補正量は検出したスミア量の半分となる。
第2補正量決定回路22は、スミア量検出回路20に接続され、スミア量検出回路20から原画像データとスミア量とを受け取る。第1補正量決定回路21は、スミア量に第2の係数をかけて第2の補正量を求める。
例えば、スミア量検出回路20から出力されたスミア量をS(i)(iは水平方向の座標位置)とする。第2補正量決定回路22は、スミア量に第2の係数k2を乗算して、
S2(i) = k2 × S(i)・・・数式2
のように第2の補正量S2(i)を決定する。k2=1.0(すなわち100%)とした場合には、補正量は検出したスミア量の全部となる。
第1補正回路23は、原画像データと第1の補正量とを第1補正量決定回路21から受け取る。第1補正回路23は、原画像データにおいてスミア領域に含まれる画素のレベルを第1の補正量で補正することにより、第1の画像データを生成する。すなわち、第1補正回路23は、原画像データにおいてスミア領域から第1の補正量を減算して第1の画像データを生成する。第1補正回路23は、第1の画像データを画像処理回路7へ供給する。
例えば、第1補正回路23は、S1(i)(数式1参照)を用いて、各列の画素値より第1の補正量を減算する。画素値をA(i,j)(jは垂直方向の座標位置)とすると、第1の画像データである補正後の画素値B1(i,j)は、
B1(i,j) = A(i,j)−S1(i)・・・数式3
となる。
第2補正回路24は、原画像データと第2の補正量とを第2補正量決定回路22から受け取る。第2補正回路24は、原画像データにおいてスミア領域に含まれる画素のレベルを第2の補正量で補正することにより、第2の画像データを生成する。すなわち、第2補正回路24は、原画像データにおいてスミア領域から第2の補正量を減算して第2の画像データを生成する。第2補正回路24は、第2の画像データを制御部10へ供給する。
例えば、第2補正回路24は、S2(i)(数式2参照)を用いて、各列の画素値より補正量を減算する。画素値をA(i,j)(jは垂直方向の座標位置)とすると、第2の画像データである補正後の画素値B2(i,j)は、
B2(i,j) = A(i,j)−S2(i)・・・数式4
となる。
このように、移動する高輝度の被写体O1を撮像して取得された画像データに対してスミア補正を行うと、図3に示すように、誤補正された領域CR3bが生成される。この場合でも、第1の画像データを画像表示用又は画像記録用のための信号とするので、誤補正された領域CR3bのコントラストを周辺の画素のコントラストに対して低減できる。これにより、表示用又は記録用の画像において誤補正された領域CR3bが目立たないようにすることができるので、閲覧するための画像の画質の劣化を抑制できる。また、第2の画像データを露出制御用、焦点調節用、及びホワイトバランス制御用のための信号とする、すなわち第2の画像データを用いて制御動作を行うので、スミア成分が除去された画像データを用いて、制御動作を行うことができる。これにより、画像データを用いた制御動作の制度の低下を抑制できる。
以上により、移動する高輝度の被写体を撮像した場合でも、閲覧するための画像の画質の劣化を抑制するとともに、画像データを用いた制御動作の精度の低下を抑制することができる。
なお、露出制御回路14の輝度検出部は、スミア補正回路6のスミア検出部によりスミア領域SR3が検出された場合、輝度検出領域BDAの大きさを大きめに変更するようにしてもよい。さらに、露出制御回路14の輝度検出部は、スミア領域SR3(補正領域CR3)の面積に応じて、輝度検出領域BDAの大きさを変更するようにしてもよい。
また、撮像装置100は、スミア領域の端部(エッジ)と焦点検出領域(例えば、図4に示すAF枠FDA1)との位置関係に応じて、第2の画像データを生成する処理を代えても良い。すなわち、撮像装置100は、図4に示す処理を行っても良い。図4は、撮像装置100の動作の一例を示すフローチャートである。
ステップS1では、スミア補正回路6のスミア検出部6aが、バンドパスフィルタ等により、被写体の画像におけるスミア領域の端部(エッジ)を検出する。スミア検出部6aは、スミア領域の端部に関する情報をスミア補正部へ供給する。
ステップS2では、スミア補正回路6のスミア補正部6bが、スミア領域の端部の情報をスミア検出部6aから受け取る。また、スミア補正部6bは、焦点検出領域の画素位置に関する情報を制御部10経由で焦点調節制御回路16の焦点検出部から受け取る。そして、スミア補正部6bは、スミア領域の端部が焦点検出領域に含まれるか否かを判断する。
例えば、被写体の画像において、スミア領域SR4と焦点検出領域(AF枠)FDA1とが図5に示すような位置関係にある場合、スミア補正部6bは、スミア領域の端部が焦点検出領域に含まれると判断する。仮に、焦点調節制御回路16の焦点検出部が焦点検出領域FDA1において被写体の合焦状態を検出すると、被写体でなくスミア領域の端部のコントラストが最大になった位置FP1に焦点調節されてしまう可能性がある。
例えば、被写体の画像において、スミア領域SR5と焦点検出領域(AF枠)FDA2とが図6に示すような位置関係にある場合、スミア補正部6bは、スミア領域の端部が焦点検出領域に含まれないと判断する。仮に、焦点調節制御回路16の焦点検出部が焦点検出領域FDA2において被写体の合焦状態を検出したとしても、被写体でなくスミア領域の端部のコントラストが最大になった位置に焦点調節されてしまうおそれがない。また、画像からスミアを減算すると画像のS/Nが劣化するという問題もあるため、このような場合にはスミアの補正を行わない方が望ましい。
スミア補正部6bは、スミア領域の端部が焦点検出領域に含まれると判断する場合、処理をステップS3へ進め、スミア領域の端部が焦点検出領域に含まれないと判断する場合、処理をステップS4へ進める。
ステップS3では、スミア補正回路6のスミア補正部6bが、原画像データにおいてスミア領域に含まれる画素のレベルを第2の補正量で補正することにより第2の画像データを生成する。すなわち、スミア補正部6bは、焦点調節に用いる第2の画像データにスミア補正を実施する。スミア補正部6bは、第2の画像データを制御部10へ供給する。
ステップS4では、スミア補正回路6のスミア補正部6bが、原画像データにおいてスミア領域に含まれる画素のレベルを第2の補正量で補正せずに、原画像データを第2の画像データとする。すなわち、スミア補正部6bは、焦点調節に用いる第2の画像データにスミア補正を実施しない。スミア補正部6bは、第2の画像データを制御部10へ供給する。
ステップS5では、焦点調節制御回路16の焦点検出部が、第2の画像データにより示される画像の一部である焦点検出領域(例えば、図4に示す焦点検出領域FDA1又は図5に示す焦点検出領域FDA2)において被写体の合焦状態を検出する。焦点検出部は、過去の検出履歴を参照しながら、被写体の端部(エッジ)のコントラストが最大になる位置、すなわち合焦位置にフォーカスレンズ2の位置が調節されているか否かを判断する。焦点検出部は、合焦位置にフォーカスレンズ2の位置が調節されていると判断する場合、処理を終了し、合焦位置にフォーカスレンズ2の位置が調節されていないと判断する場合、処理をステップS6へ進める。
ステップS6では、焦点調節制御回路16の合焦部が、焦点検出部により検出された被写体の合焦状態に応じて、制御部10及びフォーカスレンズ駆動回路13経由でフォーカスレンズ2を駆動制御する。
また、撮像装置100のスミア補正回路6は、動き検出部をさらに含んでも良い。この場合、取得部20は、被写体を含む複数の原画像データを取得する。動き検出部は、複数の原画像データを取得部20から受け取る。動き検出部は、複数の原画像データを比較することにより、被写体の動きを検出する。スミア補正部6bは、動き検出部から検出した結果の情報を受け取る。
スミア補正部6bは、動き検出部により被写体の動きが検出された場合、原画像データにおいてスミア領域に含まれる画素のレベルを、スミア量に第1の係数をかけた第1の補正量で補正することにより、第1の画像データを生成する。また、スミア補正部6bは、原画像データにおいてスミア領域に含まれる画素のレベルを、スミア量に第2の係数をかけた第2の補正量で補正することにより、第2の画像データを生成する。
スミア補正部6bは、動き検出部により被写体の動きが検出されなかった場合、原画像データにおいてスミア領域に含まれる画素のレベルを第2の補正量で補正することにより、第1の画像データと第2の画像データとを生成する。
具体的には、スミア補正部6bは、動き検出部により被写体の動きが検出された場合、原画像データにおいてスミア領域から第1の補正量を減算して第1の画像データを生成する。スミア補正部6bは、原画像データにおいてスミア領域から第2の補正量を減算して第2の画像データを生成する。
スミア補正部6bは、動き検出部により被写体の動きが検出されなかった場合、原画像データにおいてスミア領域から第2の補正量を減算して第1の画像データ及び第2の画像データをそれぞれ生成する。
このように、高輝度の被写体が静止しており誤補正された領域CR3bが発生するおそれがない場合に、スミア成分が除去された画像データを画像表示用又は画像記録用のための画像データとするので、閲覧するための画像の画質を向上できる。
さらに、露出制御回路14の輝度検出部は、動き検出部により検出された被写体の移動量に応じて、輝度検出領域BDAの大きさを変更するようにしてもよい。例えば、移動前後の高輝度の被写体の位置がともに含まれるように輝度検出領域BDAを決定しても良い。
また、露出制御回路14の輝度検出部は、動き検出部により被写体の動きが検出された場合、被写体の動き量に応じて、輝度検出領域BDAの大きさを大きめに変更するようにしてもよい。例えば、輝度検出部は、動き検出部から被写体の動き量の情報を受け取り、被写体の動き量に対応した大きさだけ、あるいはその大きさ以上だけ輝度検出領域BDAの各辺を大きくする。これにより、露出値算出用の輝度レベルを積分するためのエリア(輝度検出領域)のサイズをスミアの発生領域(スミア領域)と誤補正領域とがともに含まれるようにすることが容易になる。
本発明の実施形態に係る撮像装置100の概略構成を示す図。 スミア補正回路6の詳細構成を示す図。 輝度検出領域を示す図である。 撮像装置100の動作の一例を示すフローチャート。 焦点検出領域を示す図である。 焦点検出領域を示す図である。 本発明の課題を説明する図。 本発明の課題を説明する図。
符号の説明
6a スミア検出部
6b スミア補正部
20 取得部
100 撮像装置

Claims (8)

  1. 被写体を含む原画像データを取得する取得手段と、
    前記原画像データから、スミアが発生したスミア領域を検出するとともに、前記スミア領域に含まれる画素のスミア量を検出するスミア検出手段と、
    前記原画像データにおいて前記スミア領域に含まれる画素の輝度レベルを、前記スミア量に第1の係数をかけた第1の補正量で補正することにより、第1の画像データを生成するとともに、前記原画像データにおいて前記スミア領域に含まれる画素の輝度レベルを、前記スミア量に第2の係数をかけた第2の補正量で補正することにより、第2の画像データを生成するスミア補正手段と、
    を備え、
    前記第1の画像データは、画像表示用及び画像記録用の少なくとも一方のために用いられ、
    前記第2の画像データは、露出制御用及び焦点調節用の少なくとも一方のために用いられ、
    前記第1の係数は、前記第2の係数より小さい
    ことを特徴とする撮像装置。
  2. 前記スミア補正手段は、前記取得手段により取得された前記原画像データから補正量を減算することにより、画素の輝度レベルを補正する減算処理手段を含み、
    前記減算処理手段は、前記原画像データにおいて前記スミア領域から前記第1の補正量を減算して前記第1の画像データを生成するとともに、前記原画像データにおいて前記スミア領域から前記第2の補正量を減算して前記第2の画像データを生成する
    ことを特徴とする請求項1に記載の撮像装置。
  3. 前記第2の画像データにより示される画像の一部である輝度検出領域の輝度を検出する輝度検出手段と、
    前記輝度検出手段により検出された輝度に基づいて、前記取得手段の露出値を制御する露出制御手段と、
    をさらに備え、
    前記輝度検出手段は、前記スミア検出手段により前記スミア領域が検出された場合、前記第2の画像データにより示される画像において前記スミア領域に交差する輝度検出領域の輝度を検出する
    ことを特徴とする請求項1又は2に記載の撮像装置。
  4. 前記取得手段の撮像面に像を形成するための撮影光学系と、
    前記第2の画像データにより示される画像の一部である焦点検出領域において前記被写体の合焦状態を検出する焦点検出手段と、
    前記焦点検出手段により検出された前記被写体の合焦状態に応じて、前記撮影光学系を制御する合焦手段と、
    をさらに備え、
    前記スミア検出手段は、前記被写体の画像における前記スミア領域の端部を検出し、
    前記スミア補正手段は、前記スミア検出手段により検出された前記スミア領域の端部が前記焦点検出領域に含まれる場合、前記原画像データにおいて前記スミア領域に含まれる画素の輝度レベルを前記第2の補正量で補正することにより前記第2の画像データを生成し、前記スミア検出手段により検出された前記スミア領域の端部が前記焦点検出領域に含まれない場合、前記原画像データにおいて前記スミア領域に含まれる画素の輝度レベルを前記第2の補正量で補正せずに、前記原画像データを前記第2の画像データとする
    ことを特徴とする請求項1から3のいずれか1項に記載の撮像装置。
  5. 前記被写体の動きを検出する動き検出手段をさらに備え、
    前記取得手段は、前記被写体を含む複数の原画像データを取得し、
    前記動き検出手段は、前記複数の原画像データを比較することにより、前記被写体の動きを検出し、
    前記スミア補正手段は、
    前記動き検出手段により前記被写体の動きが検出された場合、前記原画像データにおいて前記スミア領域に含まれる画素の輝度レベルを、前記第1の補正量で補正することにより、前記第1の画像データを生成するとともに、前記原画像データにおいて前記スミア領域に含まれる画素の輝度レベルを、前記第2の補正量で補正することにより、前記第2の画像データを生成し、
    前記動き検出手段により前記被写体の動きが検出されなかった場合、前記原画像データにおいて前記スミア領域に含まれる画素の輝度レベルを前記第2の補正量で補正することにより、前記第1の画像データ及び前記第2の画像データをそれぞれ生成する
    ことを特徴とする請求項1から4のいずれか1項に記載の撮像装置。
  6. 前記スミア補正手段は、前記取得手段により取得された前記原画像データから補正量を減算することにより、画素の輝度レベルを補正する減算処理手段を含み、
    前記減算処理手段は、
    前記動き検出手段により前記被写体の動きが検出された場合、前記原画像データにおいて前記スミア領域から前記第1の補正量を減算して前記第1の画像データを生成するとともに、前記原画像データにおいて前記スミア領域から前記第2の補正量を減算して前記第2の画像データを生成し、
    前記動き検出手段により前記被写体の動きが検出されなかった場合、前記原画像データにおいて前記スミア領域から前記第2の補正量を減算して前記第1の画像データ及び前記第2の画像データをそれぞれ生成する
    ことを特徴とする請求項5に記載の撮像装置。
  7. 前記第2の画像データにより示される画像の一部である輝度検出領域の輝度を検出する輝度検出手段と、
    前記輝度検出手段により検出された輝度に基づいて、前記取得手段の露出値を制御する露出制御手段と、
    をさらに備え、
    前記輝度検出手段は、前記スミア検出手段により前記スミア領域が検出され、かつ、前記動き検出手段により前記被写体の動きが検出された場合、前記第2の画像データにより示される画像において、前記減算処理手段により補正量が減算された領域と前記スミア領域とに交差する輝度検出領域の輝度を検出する
    ことを特徴とする請求項6に記載の撮像装置。
  8. 取得手段が、被写体を含む原画像データを取得する取得ステップと、
    スミア検出手段が、前記原画像データから、スミアが発生したスミア領域を検出するとともに、前記スミア領域に含まれる画素のスミア量を検出するスミア検出ステップと、
    スミア補正手段が、前記原画像データにおいて前記スミア領域に含まれる画素の輝度レベルを、前記スミア量に第1の係数をかけた第1の補正量で補正することにより、第1の画像データを生成するとともに、前記原画像データにおいて前記スミア領域に含まれる画素の輝度レベルを、前記スミア量に第2の係数をかけた第2の補正量で補正することにより、第2の画像データを生成するスミア補正ステップと、
    を備え、
    前記第1の画像データは、画像表示用及び画像記録用の少なくとも一方のために用いられ、
    前記第2の画像データは、露出制御用及び焦点調節用の少なくとも一方のために用いられ、
    前記第1の係数は、前記第2の係数より小さい
    ことを特徴とする撮像装置の制御方法。
JP2008023315A 2008-02-01 2008-02-01 撮像装置及び撮像装置の制御方法 Expired - Fee Related JP5039588B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2008023315A JP5039588B2 (ja) 2008-02-01 2008-02-01 撮像装置及び撮像装置の制御方法
US12/447,622 US8040407B2 (en) 2008-02-01 2009-01-21 Image capturing apparatus and image capturing apparatus control method
PCT/JP2009/051292 WO2009096396A1 (en) 2008-02-01 2009-01-21 Image capturing apparatus and image capturing apparatus control method
CN2009801038751A CN101933323B (zh) 2008-02-01 2009-01-21 摄像设备和摄像设备控制方法
EP09705561A EP2218250A4 (en) 2008-02-01 2009-01-21 IMAGE CAPTURE APPARATUS AND METHOD FOR CONTROLLING IMAGE CAPTURE APPARATUS

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008023315A JP5039588B2 (ja) 2008-02-01 2008-02-01 撮像装置及び撮像装置の制御方法

Publications (3)

Publication Number Publication Date
JP2009188463A JP2009188463A (ja) 2009-08-20
JP2009188463A5 JP2009188463A5 (ja) 2011-01-20
JP5039588B2 true JP5039588B2 (ja) 2012-10-03

Family

ID=40912749

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008023315A Expired - Fee Related JP5039588B2 (ja) 2008-02-01 2008-02-01 撮像装置及び撮像装置の制御方法

Country Status (5)

Country Link
US (1) US8040407B2 (ja)
EP (1) EP2218250A4 (ja)
JP (1) JP5039588B2 (ja)
CN (1) CN101933323B (ja)
WO (1) WO2009096396A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101552907B1 (ko) * 2009-02-27 2015-09-14 삼성전자주식회사 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체
JP5656561B2 (ja) * 2010-10-28 2015-01-21 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム
US8934010B2 (en) * 2011-11-21 2015-01-13 Shenzhen China Star Optoelectronics Technology Co., Ltd. Method for smear measurement of display device and device for smear measurement of display device
CN102752607B (zh) * 2011-11-30 2016-06-22 新奥特(北京)视频技术有限公司 一种实现图像移动时拖尾特效的方法和装置
CN107669289B (zh) * 2017-11-07 2020-09-11 上海联影医疗科技有限公司 焦点拖尾校正装置、方法、成像方法及计算机可读媒质
CN108573664B (zh) * 2018-04-02 2021-05-07 广州视源电子科技股份有限公司 量化拖尾测试方法、装置、存储介质及***
CN112330544B (zh) * 2019-08-05 2024-02-09 浙江宇视科技有限公司 图像拖影的处理方法、装置、设备及介质
US11704777B2 (en) 2021-08-27 2023-07-18 Raytheon Company Arbitrary motion smear modeling and removal

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH057335A (ja) 1991-06-21 1993-01-14 Canon Inc 電子スチルカメラ
JPH06268922A (ja) 1993-03-11 1994-09-22 Toshiba Corp スミア補正装置
JPH09181955A (ja) * 1995-12-25 1997-07-11 Canon Inc 撮像装置および固体撮像素子の制御方法
JP3819631B2 (ja) * 1999-03-18 2006-09-13 三洋電機株式会社 固体撮像装置
JP4328115B2 (ja) * 2003-03-24 2009-09-09 パナソニック株式会社 固体撮像装置
JP4529563B2 (ja) 2004-07-06 2010-08-25 ソニー株式会社 偽信号抑制処理方法および偽信号抑制処理回路並びに撮像装置
JP2006157341A (ja) * 2004-11-29 2006-06-15 Sony Corp 固体撮像素子のスミア補正方法、固体撮像素子の信号処理装置および撮像装置
JP4742359B2 (ja) * 2005-05-19 2011-08-10 カシオ計算機株式会社 動画撮像装置及びそのプログラム
JP4948303B2 (ja) * 2007-07-20 2012-06-06 キヤノン株式会社 撮像装置及び信号処理方法
JP5003348B2 (ja) * 2007-08-22 2012-08-15 株式会社ニコン 電子カメラ

Also Published As

Publication number Publication date
CN101933323B (zh) 2012-11-21
CN101933323A (zh) 2010-12-29
US8040407B2 (en) 2011-10-18
EP2218250A4 (en) 2012-10-10
JP2009188463A (ja) 2009-08-20
US20100245621A1 (en) 2010-09-30
WO2009096396A1 (en) 2009-08-06
EP2218250A1 (en) 2010-08-18

Similar Documents

Publication Publication Date Title
JP5322783B2 (ja) 撮像装置及び該撮像装置の制御方法
JP6220225B2 (ja) 撮像装置、撮像装置の制御方法、プログラム、及び記録媒体
JP5039588B2 (ja) 撮像装置及び撮像装置の制御方法
JP4501994B2 (ja) 撮像装置
US10397502B2 (en) Method and apparatus for imaging an object
KR20150067900A (ko) 초점검출 가능한 이미지 센서 제어장치 및 방법.
JP5657184B2 (ja) 撮像装置及び信号処理方法
US9525813B2 (en) Imaging apparatus and method for controlling same
JP6238578B2 (ja) 撮像装置およびその制御方法
JP6652303B2 (ja) フラッシュバンド判定装置、その制御方法、および制御プログラム、並びに撮像装置
JP2018081224A (ja) 撮像装置およびその制御方法
JP6602954B2 (ja) 合焦位置検出装置及び合焦位置検出方法
US10536621B2 (en) Image capturing apparatus, storage medium and controlling method for correcting a second image by correcting a pixel value of the second image corresponding to a detected defective pixel
JP2006121165A (ja) 撮像装置、画像形成方法
JP6659163B2 (ja) フラッシュバンド判定装置、その制御方法、およびプログラム
JP2008283477A (ja) 画像処理装置及び画像処理方法
JP2012257043A (ja) 撮像装置および撮像方法
JP2012124800A (ja) 撮像装置
WO2015182021A1 (ja) 撮像制御装置、撮像装置および撮像制御方法
JP2006165937A (ja) 撮像装置
JP2006148645A (ja) 撮像装置
JP2006157535A (ja) 撮像装置
JP2012230260A (ja) 撮像装置及び制御方法
JP2006157341A (ja) 固体撮像素子のスミア補正方法、固体撮像素子の信号処理装置および撮像装置
JP2020048135A (ja) 撮像装置及びその制御方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101201

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120608

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120709

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 5039588

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150713

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees