JP3700207B2 - 自動露出制御装置、自動露出制御方法、及び撮像装置 - Google Patents
自動露出制御装置、自動露出制御方法、及び撮像装置 Download PDFInfo
- Publication number
- JP3700207B2 JP3700207B2 JP21977795A JP21977795A JP3700207B2 JP 3700207 B2 JP3700207 B2 JP 3700207B2 JP 21977795 A JP21977795 A JP 21977795A JP 21977795 A JP21977795 A JP 21977795A JP 3700207 B2 JP3700207 B2 JP 3700207B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- luminance
- brightness
- screen
- histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像装置における自動露出制御装置及び自動露出制御方法に関し、より詳細には、被写体の状況を考慮した逆光及び過順光判定をすることができ、また、自動被写体追尾システムやハンズフリー撮影などに有効な自動露出制御装置及び自動露出制御方法に関する。
【０００２】
【従来の技術】
ある種のビデオカメラ及びスチルカメラにおいては、ファインダーを覗く視線から画面内の被写体を特定し、その被写体付近の領域の輝度値を積分し、一定値になるように自動露出制御を行なっている。
【０００３】
また、その他の一般的なビデオカメラやスチルカメラでは被写体を特定せず、画面内の輝度ヒストグラムのみから逆光、過順光を判定し、露出の自動制御を行なっている。
【０００４】
【発明が解決しようとする課題】
従来の一般的なビデオカメラにおいては、被写体を特定し、その抽出を行なうことができない。したがって、例えば逆光状態で被写体を撮影しようとすると、画面内で白く光っているのが被写体なのか、黒く潰れているのが被写体なのかわからないため、適切な逆光判定ができなかった。この結果、大面積の明背景の中の暗い被写体の場合は、輝度ヒストグラムの形による若干の逆光補正が働いても被写体が黒く潰れてしまうという問題点があった。
【０００５】
また、過順光状態においても同様で、被写体がどれかを特定できないため過順光判定が満足にできず、若干の過順光補正がかかっていても、夜景を背景にした場合など、画面内で大面積を占める暗い領域により露出が開き、被写体が白く飛んでしまうという問題点があった。
【０００６】
本発明はこのような問題点に鑑みてなされたものであって、被写体を特定し、抽出を行なうことにより適切な逆光及び過順光の判定を行なえるようにした自動露出制御装置、自動露出制御方法、及び撮像装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記問題点を解決するために、本発明に係る自動露出制御装置は、撮像素子からの画像信号を周期的に記憶する画像記憶手段と、上記画像記憶手段に記憶された画像情報から設定枠内の画像情報を取得し、取得した設定枠内の画像情報に基づいて、輝度・色差空間における被写体モデルを作成する被写体モデル作成手段と、上記被写体モデルを用いて、上記画像記憶手段に記憶された画像情報から被写体を抽出する被写体抽出手段と、上記画像記憶手段に記憶された画像情報から画面の輝度に関するヒストグラムを作成する輝度ヒストグラム作成手段と、上記被写体の画像情報から被写体の平均輝度値を算出する被写体輝度算出手段と、上記ヒストグラムと上記平均輝度値とから逆光状態にあるか又は過順光状態にあるかを判定する判定手段と、上記判定手段の出力を基に露出を制御する露出制御手段とを備え、上記判定手段は、上記被写体抽出手段により被写体が画面内に存在すると判定され、上記被写体輝度算出手段により算出された被写体輝度が所定の閾値よりも小さく、上記輝度ヒストグラム作成手段により作成された画面の輝度ヒストグラムの第１の輝度以下でのピーク値近傍の頻度と上記第１の輝度よりも大きい第２の輝度以上でのピーク値近傍の頻度の和が所定の閾値を越えた場合、逆光状態と判定し、また、上記被写体抽出手段により被写体が画面内に存在しないと判定され、上記輝度ヒストグラム作成手段により作成された画面の輝度ヒストグラムの第１の輝度以下でのピーク値近傍の頻度と上記第１の輝度よりも大きい第２の輝度以上でのピーク値近傍の頻度の和が所定の閾値を越え、画面中央部に所定の閾値以下の輝度の画素が所定の閾値数以上である場合、逆光状態と判定することを特徴とする。
【０００８】
また、本発明に係る自動露出制御方法は、撮像素子からの画像信号を周期的に画像記憶手段に記憶し、上記画像記憶手段に記憶された画像情報を用いて自動露出制御を行なう方法であって、上記画像記憶手段に記憶された画像情報から設定枠内の画像情報を取得して輝度・色差空間における被写体モデルを作成する被写体モデル作成ステップと、上記被写体モデルを用いて、上記画像記憶手段に記憶された画像情報から被写体を抽出する被写体抽出ステップと、上記画像記憶手段に記憶された画像情報から画面の輝度に関するヒストグラムを作成する輝度ヒストグラム作成ステップと、上記被写体の画像情報から被写体の平均輝度値を算出する被写体輝度算出ステップと、上記ヒストグラムと上記平均輝度値とから逆光状態にあるか又は過順光状態にあるかを判定する判定ステップと、上記判定手段の出力を基に露出を制御する露出制御ステップとを有し、上記判定ステップにおいて、上記被写体抽出ステップで被写体が画面内に存在すると判定され、上記被写体輝度算出で算出された被写体輝度が所定の閾値よりも小さく、上記輝度ヒストグラム作成手段により作成された画面の輝度ヒストグラムの第１の輝度以下でのピーク値近傍の頻度と上記第１の輝度よりも大きい第２の輝度以上でのピーク値近傍の頻度の和が所定の閾値を越えた場合、逆光状態と判定し、また、上記被写体抽出手段により被写体が画面内に存在しないと判定され、上記輝度ヒストグラム作成ステップで作成された画面の輝度ヒストグラムの第１の輝度以下でのピーク値近傍の頻度と上記第１の輝度よりも大きい第２の輝度以上でのピーク値近傍の頻度の和が所定の閾値を越え、画面中央部に所定の閾値以下の輝度の画素が所定の閾値数以上である場合、逆光状態と判定することを特徴とする。
【０００９】
そして、本発明に係る撮像装置は、上記本発明に係る自動露出制御装置と、この自動露出制御装置に画像信号を出力する撮像素子とを備えることを特徴とするものである。
【００１０】
本発明によれば、被写体を特定することができるため、大面積の明背景の中の暗い被写体を撮影する場合には、通常の画面全積分による露出よりも露出を開くことにより逆光補正を行ない暗い被写体を明確にとらえ、逆に大面積の明るい被写体の場合には露出を絞り、明るい被写体を適正な露出で捕らえることができる。
【００１１】
過順光判定も同様にして、大面積の暗背景の中の明るい被写体を撮影する場合には、通常の画面全積分による露出よりも露出を絞ることにより過順光補正を行ない明るい被写体を明確に捕らえ、逆に大面積の暗い被写体の場合には露出を開き、暗い被写体を適正な露出で捕らえることができる。
【００１２】
画面より被写体を抽出するために、被写体追尾システムとしてその有効性が確認されている輝度・色差空間における被写体モデルを用いており、これは設定枠内の被写体情報から被写体を表現するモデルを輝度、色差の３次元空間に展開し、画面内の各画素についてそのモデルに当てはまる画素を被写体を構成する画素として抽出するものである。
【００１３】
【発明の実施の形態】
以下本発明の実施の形態について図面を参照しながら
〔１〕本発明を適用した撮像装置
〔２〕追尾信号処理回路における処理
〔３〕追尾信号処理の具体的構成例
の順序で詳細に説明する。
【００１４】
〔１〕本発明を適用した撮像装置
図１は本発明を適用した撮像装置の構成を示すブロック図である。なお、以下の説明において、コンポーネントビデオの輝度をＹ、Ｒ−ＹをＲ、Ｂ−ＹをＢとし、後述する画像メモリ１１内の画像で垂直方向にｉ番目、水平方向にｊ番目の画素の値をＹについてはＹｉｊ、ＲについてはＲｉｊ、ＢについてはＢｉｊとする。
【００１５】
図１に示すように、本発明を適用した撮像装置は、レンズ２、アイリス３、及び例えばＣＣＤで構成された撮像素子４を備えたレンズブロック部１と、レンズブロック部１で作成された撮像信号Ｓ１に対してサンプル・ホールド及び自動利得調整を施す信号分離／自動利得調整回路５と、信号分離／自動利得調整回路５の出力信号Ｓ２をデジタル化するアナログ／ディジタル変換回路６と、アナログ／ディジタル変換回路６の出力に対して所定のカメラ信号処理を施すディジタルカメラ処理回路７と、ディジタルカメラ処理回路７で形成されたＹ信号及びＣ信号をアナログ化するディジタル／アナログ変換回路８とを備えている。
【００１６】
また、本発明を適用した撮像装置は、ディジタルカメラ処理回路７で形成されたＹ、Ｒ、Ｂ信号を基にアイリスモータ１２を制御するためのアイリス制御信号Ｓ９を作成するアイリス制御回路９と、アイリス制御信号Ｓ９により回転制御され、アイリス３の絞り度合いを調整するアイリスモータ１２とを備えている。ここで、アイリス制御回路９は、例えばフレームメモリで構成された画像メモリ１０とマイクロプロセッサで構成された追尾信号処理回路１１とから構成されている。
【００１７】
次に、図１に示した撮像装置の動作を説明する。この撮像装置において、被写体から到来する撮像光をレンズブロック部１のレンズ２、アイリス３を通って、撮像素子４で受け、被写体像を表す撮像出力信号Ｓ１を信号分離／自動利得調整回路５に与える。
【００１８】
信号分離／自動利得調整回路５は撮像出力信号Ｓ１をサンプルホールドすると共に、オートアイリス（ＡＥ）システム（図示せず）からの制御信号によって撮像出力信号Ｓ２が所定のゲインを持つように利得制御される。そして、この撮像出力信号Ｓ２をアナログ／ディジタル変換回路６を介してディジタルカメラ処理回路７に供給する。
【００１９】
ディジタルカメラ処理回路７は撮像出力信号Ｓ２にもとづいてＹ、Ｃ並びにＲおよびＢを形成し、ＹおよびＣをディジタル／アナログ変換回路８を介してビデオ信号Ｓ３として送出する。
【００２０】
さらに、ディジタルカメラ処理回路７は被写体追尾検出画像信号Ｓ４としてＹ、ＲおよびＢをアイリス制御回路９に供給し、アイリス制御回路９はこの被写体追尾検出信号画像Ｓ４を用いて作成したアイリス制御信号Ｓ９によりアイリスモーター１２を制御し、レンズブロック部１に設けられたアイリス３に対する制御信号Ｓ１０を発生する。
【００２１】
アイリス制御回路９はＲ、Ｂ及びＹを被写体追尾検出画像信号Ｓ４として、画像メモリ１０に書き込む。この書き込みは追尾信号処理回路１１から送出される書き込み許可信号Ｓ５を受けた後、Ｙ、Ｒ、Ｂ独立して各画素単位で行なう。
【００２２】
画像メモリ１０に例えば１フレーム分の被写体追尾検出画像信号Ｓ４の格納が終了すると、画像メモリ１０は追尾信号処理回路１１に対して読み出し許可信号Ｓ６を送出する。追尾信号処理回路１１は読み出し許可信号Ｓ６を確認した後、所定のメモリアドレスＳ７を画像メモリ１０に与えることにより、画像メモリ１０内の所定の位置のＹ、Ｒ、Ｂの各データＳ８を読み出し、内部に取り込む。追尾信号処理回路１１内は、取り込んだデータＳ８を用いて被写***置の算出処理を行ない（詳細は後述）、それが終了した後、再び書き込み許可信号Ｓ５を画像メモリ１０に与える。画像メモリ１０はこの書き込み許可信号Ｓ５を確認した後、次の１フレーム分の被写体追尾検出画像信号Ｓ４の書き込みを行なう。
【００２３】
追尾信号処理回路１１は、被写体の抽出、及び被写体輝度の算出と画面の輝度ヒストグラムの作成を行ない、これらの情報から適正な露出制御値を算出し、アイリス制御信号Ｓ９をアイリスモータ１２へ供給する。
【００２４】
アイリスモータ１２はアイリス制御信号Ｓ９により回転方向と回転量が制御され、アイリス３の絞り度合を調整する。
【００２５】
〔２〕追尾信号処理回路における処理
次に図２を参照しながら、追尾信号処理回路１１の内部で行なわれる処理の概要について説明する。
【００２６】
まず、被写体を特定するために枠重点測光処理Ｐ０を実行する。この処理は画面上に表示されている枠の中の輝度が設定値αになるように露出を自動制御するものである。この処理Ｐ０により、被写体が適切な輝度を持った状態に設定できる。
【００２７】
次に、被写体情報取得処理Ｐ１を実行する。この処理は最初に被写体は画面の中央部にあるという条件から、画面中央の領域Ｄ０（例えば５×５ピクセルのブロック）の被写体情報を取得するものである。
【００２８】
次に、モデル決定処理Ｐ２を実行する。この処理は処理Ｐ１で得られた被写体情報を基にＹとＲ、ＹとＢに関する２次近似曲線に許容誤差を含めた被写体モデルを決定するものである。
【００２９】
次いで、各画素判定処理Ｐ３を実行する。この処理は処理Ｐ２で求められた被写体モデルを用いて、画面内の各画素に対して被写体の候補点かどうかを決定するものである。
【００３０】
次に、被写体が枠内に存在するかしないかを判定する処理Ｐ４を実行する。この処理は処理Ｐ３で被写体の候補点であると判定された画素数がある閾値βを越えているかどうかを判定することにより、被写体が枠内にあるかないかを判定するものであり、閾値β以下であった場合は被写体は画面内に存在しないと判定し、βを越えた場合には存在すると判定する。
【００３１】
次に、被写体輝度算出処理Ｐ５を実行する。この処理は処理Ｐ３で抽出された被写体候補画素に関して輝度平均値を求め、被写体輝度を算出するものである。
次いで、輝度ヒストグラム作成処理Ｐ６を実行する。この処理は画面全体の画素の輝度についてヒストグラムを作成するものである。
【００３２】
次に、逆光判定処理Ｐ７を実行する。この処理は処理Ｐ５で算出された被写体輝度と処理Ｐ６で作成された輝度ヒストグラムとにより、逆光かどうか、また、逆光でなくなったかどうかの判定をするものである。
【００３３】
そして、処理Ｐ７で逆光と判定された場合、被写体モデル変更処理Ｐ７ａを実行する。この処理は処理Ｐ２で作成された被写体モデルを変更するものである。一方、直前まで逆光と判定されていて、今回の処理Ｐ７で逆光でないと判定された場合、処理Ｐ７ｂを実行する。この処理Ｐ７ｂは処理Ｐ７ａで変更されていた被写体モデルを被写体設定時のモデルに戻すものである。
【００３４】
処理Ｐ７ｂで被写体モデルを被写体設定時のモデルに戻した後、過順光判定処理Ｐ８を実行する。この処理は処理Ｐ５で算出された被写体輝度と処理Ｐ６で作成された輝度ヒストグラムにより、過順光かどうか、また、過順光でなくなったかどうかの判定をするものである。
【００３５】
次に、露出制御量決定処理Ｐ９を実行する。この処理はこれまでの処理で判定された状態により最終的な露出制御量を決定するものである。
【００３６】
〔３〕追尾信号処理の具体的構成例
以下に図２の各処理の中で特徴的なものに関する具体的構成の一例を説明する。
【００３７】
処理Ｐ０は、撮影者がリモートコマンダー等を操作し、枠を画面内で移動させ被写体に合わせた後に行なわれる。図３は自動露出制御系の機能ブロック図を示す。この図において、アイリスは図１のアイリス３に、光学処理系は図１の撮像素子４からＡ／Ｄ変換回路６までに、信号処理部はディジタルカメラ処理回路７と画像メモリ１０に、画面輝度積分部、特定領域輝度積分部、掛算器、及び比較器は、追尾信号処理回路１１とアイリスモータ１２に、それぞれ対応する。
【００３８】
図３において、従来から既知の通常の露出制御は、細線の流れで示すように、画面輝度の重み付き積分値Ｙｉｔｇと、あらかじめ設定されている基準値Ｙｒｅｆとの比較によりアイリスが制御される。ここでＹｉｔｇは、図４に示すように画面を３つに分割し、それぞれの領域に重みを与えた輝度の積分値であり、以下の式［１］で表すことができる。
【００３９】
Ｙｉｔｇ＝（Ｗ１×Ｙ１＋Ｗ２×Ｙ２＋Ｗ３×Ｙ３）／Ｎ …［１］
ただし、この式［１］において、Ｗ１は領域１での重み、Ｗ２は領域２での重み、Ｗ３は領域３での重み、Ｙ１は領域１での輝度積分値、Ｙ２は領域２での輝度積分値、Ｙ３は領域３での輝度積分値、そしてＮは画面全体の画素数である。
【００４０】
これに対して、本実施形態における枠重点測光の際は、太線の流れで示すように、基準値Ｙｒｅｆに利得Ｇ＝Ｙｒｅｆ／Ｙｆｒｍをかけ、基準値を上下させる。ここでＹｆｒｍは枠内の輝度平均値である。つまりこの場合、露出は画面全体の輝度にも影響するが、枠内の輝度に重みがおかれていることになる。
【００４１】
処理Ｐ１においては、領域Ｄ０内の（Ｙｉｊ，Ｒｉｊ，Ｂｉｊ）の組はノイズをもっているということと、被写体の代表点に過ぎないということから被写体情報にある程度の幅を持たせるために（Ｙｉｊ，ＨＲｉｊ，ＨＢｉｊ）、（Ｙｉｊ、ＬＲｉｊ，ＬＢｉｊ）を被写体情報とする。
【００４２】
ここで、
ＨＲｉｊ＝Ｒｉｊ×１．１
ＨＢｉｊ＝Ｂｉｊ×１．１
ＬＲｉｊ＝Ｒｉｊ×０．９
ＬＢｉｊ＝Ｂｉｊ×０．９
である。すなわち、許容誤差１０％としている。
【００４３】
処理Ｐ２では、処理Ｐ１で得られた（Ｙｉｊ，ＨＲｉｊ，ＨＢｉｊ）、（Ｙｉｊ，ＬＲｉｊ，ＬＢｉｊ）の組よりＹに関するＲとＢの２次近似関数による被写体モデルを決定する。このとき、任意の被写体に対して２次近似した被写体モデルがある程度一定の形を持つように、Ｙ軸上の切片Ｒｌｏｗ，Ｒｈｉｇｈ，Ｂｌｏｗ，Ｂｈｉｇｈを定数として持っておき、最小自乗法により以下のＡ０〜Ａ４を決定し、以下の式［２］〜［４］に示されている、Ｙに関するＲとＢの被写体モデルＨＦｒ（Ｙ），ＨＦｂ（Ｙ），ＬＦｒ（Ｙ），ＬＦｂ（Ｙ）を決定する。
【００４４】
ＨＦｒ（Ｙ）＝Ａ０×（Ｙ−Ｒｌｏｗ）×（Ｙ−Ｒｈｉｇｈ） …［２］
ＨＦｂ（Ｙ）＝Ａ１×（Ｙ−Ｂｌｏｗ）×（Ｙ−Ｂｈｉｇｈ） …［３］
ＬＦｒ（Ｙ）＝Ａ２×（Ｙ−Ｒｌｏｗ）×（Ｙ−Ｒｈｉｇｈ） …［４］
ＬＦｂ（Ｙ）＝Ａ３×（Ｙ−Ｂｌｏｗ）×（Ｙ−Ｂｈｉｇｈ） …［５］
このようにして決定された被写体モデルを図５に示す。
【００４５】
処理Ｐ３は、各画素に関して処理Ｐ２で求められた被写体モデルにあてはまるかどうか、つまりＲ、Ｂ共に図５（ａ），（ｂ）の２本の曲線の間に入るかどうかを判断する。つまり、
【００４６】
ＬＦｒ（Ｙｉｊ）＜Ｒｉｊ＜ＨＦｒ（Ｙｉｊ）
かつ
ＬＦｂ（Ｙｉｊ）＜Ｂｉｊ＜ＨＦｂ（Ｙｉｊ）
ならばその画素は被写体の一部と判断する。そして、被写体の一部と判断された複数の画素の水平、垂直方向の重心を求めることにより、被写体の座標（Ｘ，Ｙ）として決定する。
【００４７】
処理Ｐ６においてＨ画面全体の各画素の輝度について１６段階に量子化して輝度ヒストグラムを作成する。
【００４８】
処理Ｐ７において逆光と判定する条件を以下の（１）、（２）に示す。
（１）処理Ｐ４で被写体は画面内に存在すると判定され、処理Ｐ５で算出された被写体輝度がある閾値Ｔ１以下で、処理Ｐ６で作成された輝度ヒストグラムの設定値Ｋ１以下での低輝度側のピーク値近傍と設定値Ｋ２以上の高輝度側のピーク値近傍の和Ｐ１がある閾値Ｔ２以上の場合。
【００４９】
ここで、Ｐ１の算出方法を図６に示す例を用いて説明する。
ｎ番目の階調における輝度の頻度をＥ（ｎ）とすると、Ｋ１以下での輝度のピークはｎ＝１となり、ピーク値近傍として±１ずつとると、低輝度側ピーク値近傍の頻度和ＰＬ１は
ＰＬ１＝Ｅ（０）＋Ｅ（１）＋Ｅ（２）
となる。
【００５０】
同様にＫ２以上での輝度のピークはｎ＝１１となり、ピーク値近傍として±１ずつとると、高輝度側ピーク値近傍の頻度和ＰＨ１は
ＰＨ１＝Ｅ（１０）＋Ｅ（１１）＋Ｅ（１２）
となる。
【００５１】
Ｐ１はこのＰＬ１とＰＨ１の和であるから
Ｐ１＝ＰＬ１＋ＰＨ１＝Ｅ（０）＋Ｅ（１）＋Ｅ（２）＋Ｅ（１０）＋Ｅ（１１）＋Ｅ（１２） …［６］
である。
【００５２】
（２）処理Ｐ４で被写体は画面内に存在しないと判定され、上記Ｐ１が閾値Ｔ２以上で、画面中央部に設定した枠内に、ある閾値Ｔ３以下の輝度の画素数が閾値Ｔ４以上あった場合。
【００５３】
（３）また、処理Ｐ７においては逆光状態から抜ける条件処理は以下の通りである。すなわち、直前の状態が逆光であったときに限り、上記Ｐ１がある閾値Ｔ５以下であったときに、逆光状態から通常状態に戻ったと判定する。
【００５４】
前述したように、処理Ｐ７において逆光と判定された場合、処理Ｐ７ａで被写体モデルの変更を行なう。図８にこの様子を示す。この図に示すように、逆光時には処理Ｐ２で決定された被写体モデルの幅を±方向にそれぞれγだけ増やし、さらに、逆光状態では被写体が明るくなることはないから、モデルの高輝度側を潰す。図８の例では、ほぼ１８０より高輝度側を潰している。
【００５５】
次に、処理Ｐ８において過順光と判定する条件を以下の（４）、（５）に示す。
（４）処理Ｐ４で被写体は画面内に存在すると判定され、処理Ｐ５で算出された被写体輝度がある閾値Ｔ６以上で、処理Ｐ６で設定された輝度ヒストグラムの設定値Ｋ３以下の輝度の頻度和ＰＬ２と設定値Ｋ４以上での高輝度側ピーク値近傍の頻度和ＰＨ２がある閾値Ｔ７以上の場合。
【００５６】
図７の例では、
ＰＬ２＝Ｅ（０）＋Ｅ（１）
ＰＨ２＝Ｅ（１２）＋Ｅ（１３）＋Ｅ（１４）
となり、
【００５７】
Ｐ２＝ＰＬ２＋ＰＨ２＝Ｅ（０）＋Ｅ（１）＋Ｅ（１２）＋Ｅ（１３）＋Ｅ（１４） …［７］
である。
【００５８】
（５）処理Ｐ４で被写体は画面内に存在しないと判定され、上記Ｐ２が閾値Ｔ７以上で、画面中央部に設定した枠内に、ある閾値Ｔ８以下の輝度の画素が閾値Ｔ９以上あった場合。
【００５９】
また、処理Ｐ８においては過順光状態から抜ける条件処理も行なっている。過順光から抜ける条件を以下の（６）、（７）に示す。
（６）輝度が設定値Ｋ５以上、Ｋ６以下の中間輝度を示す階調の頻度の和Ｐ３が閾値Ｔ１１以上あった場合。
【００６０】
図７の例では
Ｐ３＝Ｅ（３）＋Ｅ（４）＋Ｅ（５）＋Ｅ（６）＋Ｅ（７）
である。
【００６１】
（７）輝度が設定値Ｋ７以上の高輝度を示す階調の頻度の和Ｐ４が閾値Ｔ１２以上あった場合。
図７の例ではＰ４＝Ｅ（１１）＋Ｅ（１２）＋Ｅ（１３）＋Ｅ（１４）＋Ｅ（１５）
である。
【００６２】
以上説明した処理Ｐ７及びＰ８における一連の状態遷移の様子を図９に、その遷移条件を図１０に示す。
【００６３】
処理Ｐ９では、処理Ｐ７、処理Ｐ８で決定された状態により図３での基準値Ｙｒｅｆに掛ける利得Ｇ（＝Ｙｒｅｆ／Ｙｆｒｍ）を決定する。
【００６４】
まず、処理Ｐ７、処理Ｐ８で逆光でも過順光でもない通常状態と判定された場合は、Ｇ＝１となり、自動露出制御系は通常の画面の重み付き全積分により行なわれる。
【００６５】
処理Ｐ７で逆光状態、もしくは処理Ｐ８で過順光状態と判定された場合は、被写体の有無により下記（８）、（９）のようになる。
（８）被写体が存在する場合処理Ｐ５で算出された被写体平均輝度をＹｆｒｍに代入し、Ｇ＝Ｙｒｅｆ／Ｙｆｒｍを基準値Ｙｒｅｆに掛ける。つまり、被写体測光型の露出制御を行なう。
【００６６】
（９）被写体が存在しない場合画面中央部に設定された枠内の平均輝度をＹｆｒｍに代入し、Ｇ＝Ｙｒｅｆ／Ｙｆｒｍを基準値Ｙｒｅｆに掛ける。つまり、画面中央重点測光型の露出制御を行なう。
【００６７】
以上のようにして露出制御量が決定された後、処理Ｐ３に戻り、一連の処理を繰り返す。
【００６８】
【発明の効果】
以上詳細に説明したように、本発明によれば、被写体の特定をすることにより逆光及び過順光の判定を的確に行なうことが可能となり、逆光、過順光の状態においても被写体に対して適正な露出を行なうことが可能となる。このため、従来からの自動露出制御機能の性能向上に大きな効果を発揮することができる。
【図面の簡単な説明】
【図１】本発明を適用した撮像装置の構成を示すブロック図である。
【図２】追尾信号処理回路の内部で行なわれる処理を示すフローチャートである。
【図３】自動露出制御系の機能ブロックを示す図である。
【図４】自動露出制御における画面分割を示す図である。
【図５】被写体モデルの設定例を示す図である。
【図６】逆光状態のヒストグラムの例を示す図である。
【図７】過順光状態のヒストグラムの例を示す図である。
【図８】逆光判定時の被写体モデルの変更例を示す図である。
【図９】状態遷移を示す図である。
【図１０】状態遷移の条件を示す図である。
【符号の説明】
３…アイリス、４…撮像素子、９…アイリス制御回路、１０…画像メモリ、１１…追尾信号処理回路、１２…アイリスモータ
【発明の属する技術分野】
本発明は、撮像装置における自動露出制御装置及び自動露出制御方法に関し、より詳細には、被写体の状況を考慮した逆光及び過順光判定をすることができ、また、自動被写体追尾システムやハンズフリー撮影などに有効な自動露出制御装置及び自動露出制御方法に関する。
【０００２】
【従来の技術】
ある種のビデオカメラ及びスチルカメラにおいては、ファインダーを覗く視線から画面内の被写体を特定し、その被写体付近の領域の輝度値を積分し、一定値になるように自動露出制御を行なっている。
【０００３】
また、その他の一般的なビデオカメラやスチルカメラでは被写体を特定せず、画面内の輝度ヒストグラムのみから逆光、過順光を判定し、露出の自動制御を行なっている。
【０００４】
【発明が解決しようとする課題】
従来の一般的なビデオカメラにおいては、被写体を特定し、その抽出を行なうことができない。したがって、例えば逆光状態で被写体を撮影しようとすると、画面内で白く光っているのが被写体なのか、黒く潰れているのが被写体なのかわからないため、適切な逆光判定ができなかった。この結果、大面積の明背景の中の暗い被写体の場合は、輝度ヒストグラムの形による若干の逆光補正が働いても被写体が黒く潰れてしまうという問題点があった。
【０００５】
また、過順光状態においても同様で、被写体がどれかを特定できないため過順光判定が満足にできず、若干の過順光補正がかかっていても、夜景を背景にした場合など、画面内で大面積を占める暗い領域により露出が開き、被写体が白く飛んでしまうという問題点があった。
【０００６】
本発明はこのような問題点に鑑みてなされたものであって、被写体を特定し、抽出を行なうことにより適切な逆光及び過順光の判定を行なえるようにした自動露出制御装置、自動露出制御方法、及び撮像装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記問題点を解決するために、本発明に係る自動露出制御装置は、撮像素子からの画像信号を周期的に記憶する画像記憶手段と、上記画像記憶手段に記憶された画像情報から設定枠内の画像情報を取得し、取得した設定枠内の画像情報に基づいて、輝度・色差空間における被写体モデルを作成する被写体モデル作成手段と、上記被写体モデルを用いて、上記画像記憶手段に記憶された画像情報から被写体を抽出する被写体抽出手段と、上記画像記憶手段に記憶された画像情報から画面の輝度に関するヒストグラムを作成する輝度ヒストグラム作成手段と、上記被写体の画像情報から被写体の平均輝度値を算出する被写体輝度算出手段と、上記ヒストグラムと上記平均輝度値とから逆光状態にあるか又は過順光状態にあるかを判定する判定手段と、上記判定手段の出力を基に露出を制御する露出制御手段とを備え、上記判定手段は、上記被写体抽出手段により被写体が画面内に存在すると判定され、上記被写体輝度算出手段により算出された被写体輝度が所定の閾値よりも小さく、上記輝度ヒストグラム作成手段により作成された画面の輝度ヒストグラムの第１の輝度以下でのピーク値近傍の頻度と上記第１の輝度よりも大きい第２の輝度以上でのピーク値近傍の頻度の和が所定の閾値を越えた場合、逆光状態と判定し、また、上記被写体抽出手段により被写体が画面内に存在しないと判定され、上記輝度ヒストグラム作成手段により作成された画面の輝度ヒストグラムの第１の輝度以下でのピーク値近傍の頻度と上記第１の輝度よりも大きい第２の輝度以上でのピーク値近傍の頻度の和が所定の閾値を越え、画面中央部に所定の閾値以下の輝度の画素が所定の閾値数以上である場合、逆光状態と判定することを特徴とする。
【０００８】
また、本発明に係る自動露出制御方法は、撮像素子からの画像信号を周期的に画像記憶手段に記憶し、上記画像記憶手段に記憶された画像情報を用いて自動露出制御を行なう方法であって、上記画像記憶手段に記憶された画像情報から設定枠内の画像情報を取得して輝度・色差空間における被写体モデルを作成する被写体モデル作成ステップと、上記被写体モデルを用いて、上記画像記憶手段に記憶された画像情報から被写体を抽出する被写体抽出ステップと、上記画像記憶手段に記憶された画像情報から画面の輝度に関するヒストグラムを作成する輝度ヒストグラム作成ステップと、上記被写体の画像情報から被写体の平均輝度値を算出する被写体輝度算出ステップと、上記ヒストグラムと上記平均輝度値とから逆光状態にあるか又は過順光状態にあるかを判定する判定ステップと、上記判定手段の出力を基に露出を制御する露出制御ステップとを有し、上記判定ステップにおいて、上記被写体抽出ステップで被写体が画面内に存在すると判定され、上記被写体輝度算出で算出された被写体輝度が所定の閾値よりも小さく、上記輝度ヒストグラム作成手段により作成された画面の輝度ヒストグラムの第１の輝度以下でのピーク値近傍の頻度と上記第１の輝度よりも大きい第２の輝度以上でのピーク値近傍の頻度の和が所定の閾値を越えた場合、逆光状態と判定し、また、上記被写体抽出手段により被写体が画面内に存在しないと判定され、上記輝度ヒストグラム作成ステップで作成された画面の輝度ヒストグラムの第１の輝度以下でのピーク値近傍の頻度と上記第１の輝度よりも大きい第２の輝度以上でのピーク値近傍の頻度の和が所定の閾値を越え、画面中央部に所定の閾値以下の輝度の画素が所定の閾値数以上である場合、逆光状態と判定することを特徴とする。
【０００９】
そして、本発明に係る撮像装置は、上記本発明に係る自動露出制御装置と、この自動露出制御装置に画像信号を出力する撮像素子とを備えることを特徴とするものである。
【００１０】
本発明によれば、被写体を特定することができるため、大面積の明背景の中の暗い被写体を撮影する場合には、通常の画面全積分による露出よりも露出を開くことにより逆光補正を行ない暗い被写体を明確にとらえ、逆に大面積の明るい被写体の場合には露出を絞り、明るい被写体を適正な露出で捕らえることができる。
【００１１】
過順光判定も同様にして、大面積の暗背景の中の明るい被写体を撮影する場合には、通常の画面全積分による露出よりも露出を絞ることにより過順光補正を行ない明るい被写体を明確に捕らえ、逆に大面積の暗い被写体の場合には露出を開き、暗い被写体を適正な露出で捕らえることができる。
【００１２】
画面より被写体を抽出するために、被写体追尾システムとしてその有効性が確認されている輝度・色差空間における被写体モデルを用いており、これは設定枠内の被写体情報から被写体を表現するモデルを輝度、色差の３次元空間に展開し、画面内の各画素についてそのモデルに当てはまる画素を被写体を構成する画素として抽出するものである。
【００１３】
【発明の実施の形態】
以下本発明の実施の形態について図面を参照しながら
〔１〕本発明を適用した撮像装置
〔２〕追尾信号処理回路における処理
〔３〕追尾信号処理の具体的構成例
の順序で詳細に説明する。
【００１４】
〔１〕本発明を適用した撮像装置
図１は本発明を適用した撮像装置の構成を示すブロック図である。なお、以下の説明において、コンポーネントビデオの輝度をＹ、Ｒ−ＹをＲ、Ｂ−ＹをＢとし、後述する画像メモリ１１内の画像で垂直方向にｉ番目、水平方向にｊ番目の画素の値をＹについてはＹｉｊ、ＲについてはＲｉｊ、ＢについてはＢｉｊとする。
【００１５】
図１に示すように、本発明を適用した撮像装置は、レンズ２、アイリス３、及び例えばＣＣＤで構成された撮像素子４を備えたレンズブロック部１と、レンズブロック部１で作成された撮像信号Ｓ１に対してサンプル・ホールド及び自動利得調整を施す信号分離／自動利得調整回路５と、信号分離／自動利得調整回路５の出力信号Ｓ２をデジタル化するアナログ／ディジタル変換回路６と、アナログ／ディジタル変換回路６の出力に対して所定のカメラ信号処理を施すディジタルカメラ処理回路７と、ディジタルカメラ処理回路７で形成されたＹ信号及びＣ信号をアナログ化するディジタル／アナログ変換回路８とを備えている。
【００１６】
また、本発明を適用した撮像装置は、ディジタルカメラ処理回路７で形成されたＹ、Ｒ、Ｂ信号を基にアイリスモータ１２を制御するためのアイリス制御信号Ｓ９を作成するアイリス制御回路９と、アイリス制御信号Ｓ９により回転制御され、アイリス３の絞り度合いを調整するアイリスモータ１２とを備えている。ここで、アイリス制御回路９は、例えばフレームメモリで構成された画像メモリ１０とマイクロプロセッサで構成された追尾信号処理回路１１とから構成されている。
【００１７】
次に、図１に示した撮像装置の動作を説明する。この撮像装置において、被写体から到来する撮像光をレンズブロック部１のレンズ２、アイリス３を通って、撮像素子４で受け、被写体像を表す撮像出力信号Ｓ１を信号分離／自動利得調整回路５に与える。
【００１８】
信号分離／自動利得調整回路５は撮像出力信号Ｓ１をサンプルホールドすると共に、オートアイリス（ＡＥ）システム（図示せず）からの制御信号によって撮像出力信号Ｓ２が所定のゲインを持つように利得制御される。そして、この撮像出力信号Ｓ２をアナログ／ディジタル変換回路６を介してディジタルカメラ処理回路７に供給する。
【００１９】
ディジタルカメラ処理回路７は撮像出力信号Ｓ２にもとづいてＹ、Ｃ並びにＲおよびＢを形成し、ＹおよびＣをディジタル／アナログ変換回路８を介してビデオ信号Ｓ３として送出する。
【００２０】
さらに、ディジタルカメラ処理回路７は被写体追尾検出画像信号Ｓ４としてＹ、ＲおよびＢをアイリス制御回路９に供給し、アイリス制御回路９はこの被写体追尾検出信号画像Ｓ４を用いて作成したアイリス制御信号Ｓ９によりアイリスモーター１２を制御し、レンズブロック部１に設けられたアイリス３に対する制御信号Ｓ１０を発生する。
【００２１】
アイリス制御回路９はＲ、Ｂ及びＹを被写体追尾検出画像信号Ｓ４として、画像メモリ１０に書き込む。この書き込みは追尾信号処理回路１１から送出される書き込み許可信号Ｓ５を受けた後、Ｙ、Ｒ、Ｂ独立して各画素単位で行なう。
【００２２】
画像メモリ１０に例えば１フレーム分の被写体追尾検出画像信号Ｓ４の格納が終了すると、画像メモリ１０は追尾信号処理回路１１に対して読み出し許可信号Ｓ６を送出する。追尾信号処理回路１１は読み出し許可信号Ｓ６を確認した後、所定のメモリアドレスＳ７を画像メモリ１０に与えることにより、画像メモリ１０内の所定の位置のＹ、Ｒ、Ｂの各データＳ８を読み出し、内部に取り込む。追尾信号処理回路１１内は、取り込んだデータＳ８を用いて被写***置の算出処理を行ない（詳細は後述）、それが終了した後、再び書き込み許可信号Ｓ５を画像メモリ１０に与える。画像メモリ１０はこの書き込み許可信号Ｓ５を確認した後、次の１フレーム分の被写体追尾検出画像信号Ｓ４の書き込みを行なう。
【００２３】
追尾信号処理回路１１は、被写体の抽出、及び被写体輝度の算出と画面の輝度ヒストグラムの作成を行ない、これらの情報から適正な露出制御値を算出し、アイリス制御信号Ｓ９をアイリスモータ１２へ供給する。
【００２４】
アイリスモータ１２はアイリス制御信号Ｓ９により回転方向と回転量が制御され、アイリス３の絞り度合を調整する。
【００２５】
〔２〕追尾信号処理回路における処理
次に図２を参照しながら、追尾信号処理回路１１の内部で行なわれる処理の概要について説明する。
【００２６】
まず、被写体を特定するために枠重点測光処理Ｐ０を実行する。この処理は画面上に表示されている枠の中の輝度が設定値αになるように露出を自動制御するものである。この処理Ｐ０により、被写体が適切な輝度を持った状態に設定できる。
【００２７】
次に、被写体情報取得処理Ｐ１を実行する。この処理は最初に被写体は画面の中央部にあるという条件から、画面中央の領域Ｄ０（例えば５×５ピクセルのブロック）の被写体情報を取得するものである。
【００２８】
次に、モデル決定処理Ｐ２を実行する。この処理は処理Ｐ１で得られた被写体情報を基にＹとＲ、ＹとＢに関する２次近似曲線に許容誤差を含めた被写体モデルを決定するものである。
【００２９】
次いで、各画素判定処理Ｐ３を実行する。この処理は処理Ｐ２で求められた被写体モデルを用いて、画面内の各画素に対して被写体の候補点かどうかを決定するものである。
【００３０】
次に、被写体が枠内に存在するかしないかを判定する処理Ｐ４を実行する。この処理は処理Ｐ３で被写体の候補点であると判定された画素数がある閾値βを越えているかどうかを判定することにより、被写体が枠内にあるかないかを判定するものであり、閾値β以下であった場合は被写体は画面内に存在しないと判定し、βを越えた場合には存在すると判定する。
【００３１】
次に、被写体輝度算出処理Ｐ５を実行する。この処理は処理Ｐ３で抽出された被写体候補画素に関して輝度平均値を求め、被写体輝度を算出するものである。
次いで、輝度ヒストグラム作成処理Ｐ６を実行する。この処理は画面全体の画素の輝度についてヒストグラムを作成するものである。
【００３２】
次に、逆光判定処理Ｐ７を実行する。この処理は処理Ｐ５で算出された被写体輝度と処理Ｐ６で作成された輝度ヒストグラムとにより、逆光かどうか、また、逆光でなくなったかどうかの判定をするものである。
【００３３】
そして、処理Ｐ７で逆光と判定された場合、被写体モデル変更処理Ｐ７ａを実行する。この処理は処理Ｐ２で作成された被写体モデルを変更するものである。一方、直前まで逆光と判定されていて、今回の処理Ｐ７で逆光でないと判定された場合、処理Ｐ７ｂを実行する。この処理Ｐ７ｂは処理Ｐ７ａで変更されていた被写体モデルを被写体設定時のモデルに戻すものである。
【００３４】
処理Ｐ７ｂで被写体モデルを被写体設定時のモデルに戻した後、過順光判定処理Ｐ８を実行する。この処理は処理Ｐ５で算出された被写体輝度と処理Ｐ６で作成された輝度ヒストグラムにより、過順光かどうか、また、過順光でなくなったかどうかの判定をするものである。
【００３５】
次に、露出制御量決定処理Ｐ９を実行する。この処理はこれまでの処理で判定された状態により最終的な露出制御量を決定するものである。
【００３６】
〔３〕追尾信号処理の具体的構成例
以下に図２の各処理の中で特徴的なものに関する具体的構成の一例を説明する。
【００３７】
処理Ｐ０は、撮影者がリモートコマンダー等を操作し、枠を画面内で移動させ被写体に合わせた後に行なわれる。図３は自動露出制御系の機能ブロック図を示す。この図において、アイリスは図１のアイリス３に、光学処理系は図１の撮像素子４からＡ／Ｄ変換回路６までに、信号処理部はディジタルカメラ処理回路７と画像メモリ１０に、画面輝度積分部、特定領域輝度積分部、掛算器、及び比較器は、追尾信号処理回路１１とアイリスモータ１２に、それぞれ対応する。
【００３８】
図３において、従来から既知の通常の露出制御は、細線の流れで示すように、画面輝度の重み付き積分値Ｙｉｔｇと、あらかじめ設定されている基準値Ｙｒｅｆとの比較によりアイリスが制御される。ここでＹｉｔｇは、図４に示すように画面を３つに分割し、それぞれの領域に重みを与えた輝度の積分値であり、以下の式［１］で表すことができる。
【００３９】
Ｙｉｔｇ＝（Ｗ１×Ｙ１＋Ｗ２×Ｙ２＋Ｗ３×Ｙ３）／Ｎ …［１］
ただし、この式［１］において、Ｗ１は領域１での重み、Ｗ２は領域２での重み、Ｗ３は領域３での重み、Ｙ１は領域１での輝度積分値、Ｙ２は領域２での輝度積分値、Ｙ３は領域３での輝度積分値、そしてＮは画面全体の画素数である。
【００４０】
これに対して、本実施形態における枠重点測光の際は、太線の流れで示すように、基準値Ｙｒｅｆに利得Ｇ＝Ｙｒｅｆ／Ｙｆｒｍをかけ、基準値を上下させる。ここでＹｆｒｍは枠内の輝度平均値である。つまりこの場合、露出は画面全体の輝度にも影響するが、枠内の輝度に重みがおかれていることになる。
【００４１】
処理Ｐ１においては、領域Ｄ０内の（Ｙｉｊ，Ｒｉｊ，Ｂｉｊ）の組はノイズをもっているということと、被写体の代表点に過ぎないということから被写体情報にある程度の幅を持たせるために（Ｙｉｊ，ＨＲｉｊ，ＨＢｉｊ）、（Ｙｉｊ、ＬＲｉｊ，ＬＢｉｊ）を被写体情報とする。
【００４２】
ここで、
ＨＲｉｊ＝Ｒｉｊ×１．１
ＨＢｉｊ＝Ｂｉｊ×１．１
ＬＲｉｊ＝Ｒｉｊ×０．９
ＬＢｉｊ＝Ｂｉｊ×０．９
である。すなわち、許容誤差１０％としている。
【００４３】
処理Ｐ２では、処理Ｐ１で得られた（Ｙｉｊ，ＨＲｉｊ，ＨＢｉｊ）、（Ｙｉｊ，ＬＲｉｊ，ＬＢｉｊ）の組よりＹに関するＲとＢの２次近似関数による被写体モデルを決定する。このとき、任意の被写体に対して２次近似した被写体モデルがある程度一定の形を持つように、Ｙ軸上の切片Ｒｌｏｗ，Ｒｈｉｇｈ，Ｂｌｏｗ，Ｂｈｉｇｈを定数として持っておき、最小自乗法により以下のＡ０〜Ａ４を決定し、以下の式［２］〜［４］に示されている、Ｙに関するＲとＢの被写体モデルＨＦｒ（Ｙ），ＨＦｂ（Ｙ），ＬＦｒ（Ｙ），ＬＦｂ（Ｙ）を決定する。
【００４４】
ＨＦｒ（Ｙ）＝Ａ０×（Ｙ−Ｒｌｏｗ）×（Ｙ−Ｒｈｉｇｈ） …［２］
ＨＦｂ（Ｙ）＝Ａ１×（Ｙ−Ｂｌｏｗ）×（Ｙ−Ｂｈｉｇｈ） …［３］
ＬＦｒ（Ｙ）＝Ａ２×（Ｙ−Ｒｌｏｗ）×（Ｙ−Ｒｈｉｇｈ） …［４］
ＬＦｂ（Ｙ）＝Ａ３×（Ｙ−Ｂｌｏｗ）×（Ｙ−Ｂｈｉｇｈ） …［５］
このようにして決定された被写体モデルを図５に示す。
【００４５】
処理Ｐ３は、各画素に関して処理Ｐ２で求められた被写体モデルにあてはまるかどうか、つまりＲ、Ｂ共に図５（ａ），（ｂ）の２本の曲線の間に入るかどうかを判断する。つまり、
【００４６】
ＬＦｒ（Ｙｉｊ）＜Ｒｉｊ＜ＨＦｒ（Ｙｉｊ）
かつ
ＬＦｂ（Ｙｉｊ）＜Ｂｉｊ＜ＨＦｂ（Ｙｉｊ）
ならばその画素は被写体の一部と判断する。そして、被写体の一部と判断された複数の画素の水平、垂直方向の重心を求めることにより、被写体の座標（Ｘ，Ｙ）として決定する。
【００４７】
処理Ｐ６においてＨ画面全体の各画素の輝度について１６段階に量子化して輝度ヒストグラムを作成する。
【００４８】
処理Ｐ７において逆光と判定する条件を以下の（１）、（２）に示す。
（１）処理Ｐ４で被写体は画面内に存在すると判定され、処理Ｐ５で算出された被写体輝度がある閾値Ｔ１以下で、処理Ｐ６で作成された輝度ヒストグラムの設定値Ｋ１以下での低輝度側のピーク値近傍と設定値Ｋ２以上の高輝度側のピーク値近傍の和Ｐ１がある閾値Ｔ２以上の場合。
【００４９】
ここで、Ｐ１の算出方法を図６に示す例を用いて説明する。
ｎ番目の階調における輝度の頻度をＥ（ｎ）とすると、Ｋ１以下での輝度のピークはｎ＝１となり、ピーク値近傍として±１ずつとると、低輝度側ピーク値近傍の頻度和ＰＬ１は
ＰＬ１＝Ｅ（０）＋Ｅ（１）＋Ｅ（２）
となる。
【００５０】
同様にＫ２以上での輝度のピークはｎ＝１１となり、ピーク値近傍として±１ずつとると、高輝度側ピーク値近傍の頻度和ＰＨ１は
ＰＨ１＝Ｅ（１０）＋Ｅ（１１）＋Ｅ（１２）
となる。
【００５１】
Ｐ１はこのＰＬ１とＰＨ１の和であるから
Ｐ１＝ＰＬ１＋ＰＨ１＝Ｅ（０）＋Ｅ（１）＋Ｅ（２）＋Ｅ（１０）＋Ｅ（１１）＋Ｅ（１２） …［６］
である。
【００５２】
（２）処理Ｐ４で被写体は画面内に存在しないと判定され、上記Ｐ１が閾値Ｔ２以上で、画面中央部に設定した枠内に、ある閾値Ｔ３以下の輝度の画素数が閾値Ｔ４以上あった場合。
【００５３】
（３）また、処理Ｐ７においては逆光状態から抜ける条件処理は以下の通りである。すなわち、直前の状態が逆光であったときに限り、上記Ｐ１がある閾値Ｔ５以下であったときに、逆光状態から通常状態に戻ったと判定する。
【００５４】
前述したように、処理Ｐ７において逆光と判定された場合、処理Ｐ７ａで被写体モデルの変更を行なう。図８にこの様子を示す。この図に示すように、逆光時には処理Ｐ２で決定された被写体モデルの幅を±方向にそれぞれγだけ増やし、さらに、逆光状態では被写体が明るくなることはないから、モデルの高輝度側を潰す。図８の例では、ほぼ１８０より高輝度側を潰している。
【００５５】
次に、処理Ｐ８において過順光と判定する条件を以下の（４）、（５）に示す。
（４）処理Ｐ４で被写体は画面内に存在すると判定され、処理Ｐ５で算出された被写体輝度がある閾値Ｔ６以上で、処理Ｐ６で設定された輝度ヒストグラムの設定値Ｋ３以下の輝度の頻度和ＰＬ２と設定値Ｋ４以上での高輝度側ピーク値近傍の頻度和ＰＨ２がある閾値Ｔ７以上の場合。
【００５６】
図７の例では、
ＰＬ２＝Ｅ（０）＋Ｅ（１）
ＰＨ２＝Ｅ（１２）＋Ｅ（１３）＋Ｅ（１４）
となり、
【００５７】
Ｐ２＝ＰＬ２＋ＰＨ２＝Ｅ（０）＋Ｅ（１）＋Ｅ（１２）＋Ｅ（１３）＋Ｅ（１４） …［７］
である。
【００５８】
（５）処理Ｐ４で被写体は画面内に存在しないと判定され、上記Ｐ２が閾値Ｔ７以上で、画面中央部に設定した枠内に、ある閾値Ｔ８以下の輝度の画素が閾値Ｔ９以上あった場合。
【００５９】
また、処理Ｐ８においては過順光状態から抜ける条件処理も行なっている。過順光から抜ける条件を以下の（６）、（７）に示す。
（６）輝度が設定値Ｋ５以上、Ｋ６以下の中間輝度を示す階調の頻度の和Ｐ３が閾値Ｔ１１以上あった場合。
【００６０】
図７の例では
Ｐ３＝Ｅ（３）＋Ｅ（４）＋Ｅ（５）＋Ｅ（６）＋Ｅ（７）
である。
【００６１】
（７）輝度が設定値Ｋ７以上の高輝度を示す階調の頻度の和Ｐ４が閾値Ｔ１２以上あった場合。
図７の例ではＰ４＝Ｅ（１１）＋Ｅ（１２）＋Ｅ（１３）＋Ｅ（１４）＋Ｅ（１５）
である。
【００６２】
以上説明した処理Ｐ７及びＰ８における一連の状態遷移の様子を図９に、その遷移条件を図１０に示す。
【００６３】
処理Ｐ９では、処理Ｐ７、処理Ｐ８で決定された状態により図３での基準値Ｙｒｅｆに掛ける利得Ｇ（＝Ｙｒｅｆ／Ｙｆｒｍ）を決定する。
【００６４】
まず、処理Ｐ７、処理Ｐ８で逆光でも過順光でもない通常状態と判定された場合は、Ｇ＝１となり、自動露出制御系は通常の画面の重み付き全積分により行なわれる。
【００６５】
処理Ｐ７で逆光状態、もしくは処理Ｐ８で過順光状態と判定された場合は、被写体の有無により下記（８）、（９）のようになる。
（８）被写体が存在する場合処理Ｐ５で算出された被写体平均輝度をＹｆｒｍに代入し、Ｇ＝Ｙｒｅｆ／Ｙｆｒｍを基準値Ｙｒｅｆに掛ける。つまり、被写体測光型の露出制御を行なう。
【００６６】
（９）被写体が存在しない場合画面中央部に設定された枠内の平均輝度をＹｆｒｍに代入し、Ｇ＝Ｙｒｅｆ／Ｙｆｒｍを基準値Ｙｒｅｆに掛ける。つまり、画面中央重点測光型の露出制御を行なう。
【００６７】
以上のようにして露出制御量が決定された後、処理Ｐ３に戻り、一連の処理を繰り返す。
【００６８】
【発明の効果】
以上詳細に説明したように、本発明によれば、被写体の特定をすることにより逆光及び過順光の判定を的確に行なうことが可能となり、逆光、過順光の状態においても被写体に対して適正な露出を行なうことが可能となる。このため、従来からの自動露出制御機能の性能向上に大きな効果を発揮することができる。
【図面の簡単な説明】
【図１】本発明を適用した撮像装置の構成を示すブロック図である。
【図２】追尾信号処理回路の内部で行なわれる処理を示すフローチャートである。
【図３】自動露出制御系の機能ブロックを示す図である。
【図４】自動露出制御における画面分割を示す図である。
【図５】被写体モデルの設定例を示す図である。
【図６】逆光状態のヒストグラムの例を示す図である。
【図７】過順光状態のヒストグラムの例を示す図である。
【図８】逆光判定時の被写体モデルの変更例を示す図である。
【図９】状態遷移を示す図である。
【図１０】状態遷移の条件を示す図である。
【符号の説明】
３…アイリス、４…撮像素子、９…アイリス制御回路、１０…画像メモリ、１１…追尾信号処理回路、１２…アイリスモータ
Claims (9)
- 撮像素子からの画像信号を周期的に記憶する画像記憶手段と、
上記画像記憶手段に記憶された画像情報から設定枠内の画像情報を取得し、取得した設定枠内の画像情報に基づいて、輝度・色差空間における被写体モデルを作成する被写体モデル作成手段と、
上記被写体モデルを用いて、上記画像記憶手段に記憶された画像情報から被写体を抽出する被写体抽出手段と、
上記画像記憶手段に記憶された画像情報から画面の輝度に関するヒストグラムを作成する輝度ヒストグラム作成手段と、
上記被写体の画像情報から被写体の平均輝度値を算出する被写体輝度算出手段と、
上記ヒストグラムと上記平均輝度値とから逆光状態にあるか又は過順光状態にあるかを判定する判定手段と、
上記判定手段の出力を基に露出を制御する露出制御手段とを備え、
上記判定手段は、上記被写体抽出手段により被写体が画面内に存在すると判定され、上記被写体輝度算出手段により算出された被写体輝度が所定の閾値よりも小さく、上記輝度ヒストグラム作成手段により作成された画面の輝度ヒストグラムの第１の輝度以下でのピーク値近傍の頻度と上記第１の輝度よりも大きい第２の輝度以上でのピーク値近傍の頻度の和が所定の閾値を越えた場合、逆光状態と判定し、また、上記被写体抽出手段により被写体が画面内に存在しないと判定され、上記輝度ヒストグラム作成手段により作成された画面の輝度ヒストグラムの第１の輝度以下でのピーク値近傍の頻度と上記第１の輝度よりも大きい第２の輝度以上でのピーク値近傍の頻度の和が所定の閾値を越え、画面中央部に所定の閾値以下の輝度の画素が所定の閾値数以上である場合、逆光状態と判定することを特徴とする自動露出制御装置。 - 上記設定枠は画面内の任意の位置に配置できるように構成されており、上記設定枠内の被写体の画像情報を取得する際、上記設定枠内の輝度をあらかじめ決められた値になるように制御することを特徴とする請求項１に記載の自動露出制御装置。
- 上記露出制御手段は、画面内の輝度の積分値を算出する輝度積分値算出手段と、あらかじめ設定されている輝度基準値と上記輝度積分値とを比較する比較手段と、上記判定手段が逆光状態又は過順光状態と判定した際に、被写体の輝度が一定値になるように上記輝度基準値を上下させる手段と、上記比較手段の出力に応じて露出を制御する手段とを備えることを特徴とする請求項１に記載の自動露出制御装置。
- 上記判定手段により逆光状態と判定されている状態において、上記輝度ヒストグラム作成手段により作成された輝度ヒストグラムの第１の輝度以下でのピーク値近傍の頻度と上記第１の輝度よりも大きい第２の輝度以上でのピーク値近傍の頻度の和が所定の閾値以下の場合、逆光状態でなくなったと判定し、通常の露出制御に切り替わることを特徴とする請求項１に記載の自動露出制御装置。
- 上記判定手段は、上記被写体抽出手段により被写体が画面内に存在すると判定され、上記被写体輝度算出手段により算出された被写体輝度が所定の閾値よりも大きく、上記輝度ヒストグラム作成手段により作成された画面の輝度ヒストグラムの所定の設定値以下の輝度の頻度和と、所定の輝度以上の高輝度側ピーク値近傍の輝度の頻度和との和が所定の閾値を越えていた場合、過順光状態と判定し、また、上記被写体抽出手段により被写体が画面内に存在しないと判定され、上記輝度ヒストグラム作成手段により作成された画面の輝度ヒストグラムの所定の設定値以下の輝度の頻度和と、所定の輝度以上の高輝度側ピーク値近傍の輝度の頻度和との和が所定の閾値を越えており、所定の閾値以下の輝度の画素が画面中央部に所定の閾値数以上ある場合、過順光状態と判定することを特徴とする請求項１に記載の自動露出制御装置。
- 上記判定手段により過順光状態と判定されている状態において、上記輝度ヒストグラム作成手段により作られた輝度ヒストグラムの中間輝度の画素数が所定の閾値以上ある場合、過順光状態でなくなったと判定し、通常の露出制御に切り替わることを特徴とする請求項１に記載の自動露出制御装置。
- 上記判定手段により過順光状態と判定されている状態において、上記輝度ヒストグラム作成手段により作成された輝度ヒストグラムの高輝度の画素数が所定の閾値以上ある場合、過順光状態でなくなったと判定し、通常の露出制御に切り替わることを特徴とする請求項１に記載の自動露出制御装置。
- 撮像素子からの画像信号を周期的に画像記憶手段に記憶し、上記画像記憶手段に記憶された画像情報を用いて自動露出制御を行なう方法であって、
上記画像記憶手段に記憶された画像情報から設定枠内の画像情報を取得し、取得した設定枠内の画像情報に基づいて、輝度・色差空間における被写体モデルを作成する被写体モデル作成ステップと、
上記被写体モデルを用いて、上記画像記憶手段に記憶された画像情報から被写体を抽出する被写体抽出ステップと、
上記画像記憶手段に記憶された画像情報から画面の輝度に関するヒストグラムを作成する輝度ヒストグラム作成ステップと、
上記被写体の画像情報から被写体の平均輝度値を算出する被写体輝度算出ステップと、
上記ヒストグラムと上記平均輝度値とから逆光状態にあるか又は過順光状態にあるかを判定する判定ステップと、
上記判定手段の出力を基に露出を制御する露出制御ステップとを有し、
上記判定ステップにおいて、上記被写体抽出ステップで被写体が画面内に存在すると判定され、上記被写体輝度算出で算出された被写体輝度が所定の閾値よりも小さく、上記輝度ヒストグラム作成手段により作成された画面の輝度ヒストグラムの第１の輝度以下でのピーク値近傍の頻度と上記第１の輝度よりも大きい第２の輝度以上でのピーク値近傍の頻度の和が所定の閾値を越えた場合、逆光状態と判定し、また、上記被写体抽出手段により被写体が画面内に存在しないと判定され、上記輝度ヒストグラム作成ステップで作成された画面の輝度ヒストグラムの第１の輝度以下でのピーク値近傍の頻度と上記第１の輝度よりも大きい第２の輝度以上でのピーク値近傍の頻度の和が所定の閾値を越え、画面中央部に所定の閾値以下の輝度の画素が所定の閾値数以上である場合、逆光状態と判定することを特徴とする自動露出制御方法。 - 撮像素子と、
上記撮像素子からの画像信号を周期的に記憶する画像記憶手段と、
上記画像記憶手段に記憶された画像情報から設定枠内の画像情報を取得し、取得した設定枠内の画像情報に基づいて、輝度・色差空間における被写体モデルを作成する被写体モデル作成手段と、
上記被写体モデルを用いて、上記画像記憶手段に記憶された画像情報から被写体を抽出する被写体抽出手段と、
上記画像記憶手段に記憶された画像情報から画面の輝度に関するヒストグラムを作成する輝度ヒストグラム作成手段と、
上記被写体の画像情報から被写体の平均輝度値を算出する被写体輝度算出手段と、
上記ヒストグラムと上記平均輝度値とから逆光状態にあるか又は過順光状態にあるかを判定する判定手段と、
上記判定手段の出力を基に露出を制御する露出制御手段とを備え、
上記判定手段は、上記被写体抽出手段により被写体が画面内に存在すると判定され、上 記被写体輝度算出手段により算出された被写体輝度が所定の閾値よりも小さく、上記輝度ヒストグラム作成手段により作成された画面の輝度ヒストグラムの第１の輝度以下でのピーク値近傍の頻度と上記第１の輝度よりも大きい第２の輝度以上でのピーク値近傍の頻度の和が所定の閾値を越えた場合、逆光状態と判定し、また、上記被写体抽出手段により被写体が画面内に存在しないと判定され、上記輝度ヒストグラム作成手段により作成された画面の輝度ヒストグラムの第１の輝度以下でのピーク値近傍の頻度と上記第１の輝度よりも大きい第２の輝度以上でのピーク値近傍の頻度の和が所定の閾値を越え、画面中央部に所定の閾値以下の輝度の画素が所定の閾値数以上である場合、逆光状態と判定することを特徴とする撮像装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21977795A JP3700207B2 (ja) | 1995-08-04 | 1995-08-04 | 自動露出制御装置、自動露出制御方法、及び撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP21977795A JP3700207B2 (ja) | 1995-08-04 | 1995-08-04 | 自動露出制御装置、自動露出制御方法、及び撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0951472A JPH0951472A (ja) | 1997-02-18 |
| JP3700207B2 true JP3700207B2 (ja) | 2005-09-28 |
Family
ID=16740846
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP21977795A Expired - Fee Related JP3700207B2 (ja) | 1995-08-04 | 1995-08-04 | 自動露出制御装置、自動露出制御方法、及び撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3700207B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100601312B1 (ko) * | 1999-10-19 | 2006-07-13 | 삼성테크윈 주식회사 | 디지털 스틸 카메라의 자동 노출 보정 장치 및 방법 |
| JP2003046848A (ja) * | 2001-07-27 | 2003-02-14 | Olympus Optical Co Ltd | 撮像システムおよび撮像プログラム |
| JP3928704B2 (ja) | 2002-02-26 | 2007-06-13 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体および画像処理プログラム |
| JP4915272B2 (ja) * | 2007-04-25 | 2012-04-11 | カシオ計算機株式会社 | 撮像装置及びそのプログラム |
| JP5387645B2 (ja) * | 2011-10-06 | 2014-01-15 | カシオ計算機株式会社 | 撮像装置及びそのプログラム |
-
1995
- 1995-08-04 JP JP21977795A patent/JP3700207B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH0951472A (ja) | 1997-02-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108419023B (zh) | 一种生成高动态范围图像的方法以及相关设备 | |
| JP4826028B2 (ja) | 電子カメラ | |
| KR100698483B1 (ko) | 촬상장치 및 그 제어방법 | |
| CN107948538B (zh) | 成像方法、装置、移动终端和存储介质 | |
| CN101365070B (zh) | 摄像装置 | |
| US8937677B2 (en) | Digital photographing apparatus, method of controlling the same, and computer-readable medium | |
| US20100103194A1 (en) | Method and system for fusing images | |
| US20080044170A1 (en) | Image Capturing System And Method Of Operating The Same | |
| CN101848327B (zh) | 摄像装置及图像处理方法 | |
| JPH04274405A (ja) | 合焦検出装置 | |
| JP4269699B2 (ja) | 電子カメラ | |
| US6859618B1 (en) | Exposure compensation method and system employing meter matrix and flash | |
| CN102300049A (zh) | 图像信号处理装置 | |
| CN102413280A (zh) | 摄像设备及其控制方法 | |
| CN102523386A (zh) | 基于直方图均衡化的自动曝光方法 | |
| JP3700207B2 (ja) | 自動露出制御装置、自動露出制御方法、及び撮像装置 | |
| JP2006127489A (ja) | 撮像装置、画像処理装置、撮像装置の制御方法、およびこの制御方法をコンピュータに実行させるためのプログラム | |
| KR101615381B1 (ko) | 이미지 획득 방법 및 디지털 카메라 시스템 | |
| US7881595B2 (en) | Image stabilization device and method | |
| JP4304610B2 (ja) | カメラ式車両感知器における画面の輝度調整方法及び装置 | |
| JP3767571B2 (ja) | カメラ式車両感知器の露光制御方法及び装置 | |
| JP4077217B2 (ja) | 自動露出制御装置及びそのプログラム | |
| JP4231599B2 (ja) | 撮像装置 | |
| JP2568161B2 (ja) | 自動露光制御装置 | |
| JP4938989B2 (ja) | 電子カメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20040601 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040615 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040816 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050105 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050307 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050621 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050704 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080722 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090722 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |