JP3820497B2

JP3820497B2 - 撮像装置及び自動露出制御の補正処理方法

Info

Publication number: JP3820497B2
Application number: JP01537399A
Authority: JP
Inventors: 哲郎芦田
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 1999-01-25
Filing date: 1999-01-25
Publication date: 2006-09-13
Anticipated expiration: 2019-01-25
Also published as: US7129980B1; JP2000217033A

Description

【０００１】
【発明の属する技術分野】
本発明は撮像装置及び自動露出制御の補正処理方法に係り、特にデジタルカメラやビデオカメラなど撮像素子を用いて光学像を電子画像信号に変換する撮像装置の自動露出（ＡＥ）機能を補完して適正露出を得るための自動露出制御の補正処理方法及びその方法を用いる撮像装置に関する。
【０００２】
【従来の技術】
ＣＣＤイメージセンサなどの撮像素子を用いて光学像を電子画像信号に変換し得るカメラ（撮像装置）の場合、測光値に基づいて絞りとシャッターとを自動調整したり、ＣＣＤイメージセンサの電荷蓄積時間を自動制御するなどの自動露出調整機能（ＡＥ機能）を有している。
【０００３】
かかるＡＥ機能によって適正露光で撮影されたはずの画像も、銀塩写真と比較すると画質が劣ることが多く、撮影条件によっては背景部分のみならず主要被写体までも黒つぶれや白飛びを生じる場合もある。これは撮像素子のダイナミックレンジが銀塩系のそれと比較して非常に狭いため、ＡＥのずれが非常にシビアに効いてしまうことに起因する。
【０００４】
ＡＥ能力を高める方法として、従来から画面を複数のエリアに分割し、中央部とその近傍部との輝度差からシーンの判別を行い、その判別に基づいてＡＥを決定する方法が知られている。
【０００５】
【発明が解決しようとする課題】
しかし、いかに優れたＡＥを駆使したとしても、ＡＥのパターンから外れた被写体に対しては適正露出を得ることが困難である。このような技術背景のもと、撮影前に決定されるＡＥ能力の向上とは別のアプローチとして、ＡＥをより実時間で制御できる対策も考案されている。例えば、特開平７−３８８０１号公報には、撮影時に画素の輝度レベルの分布状況をヒストグラム化して電子ビューファインダーに撮影画像とともに表示することにより、露出の適否を簡単に確認できるようにした撮像装置が開示されている。しかしながら、上記従来の撮像装置において電子ビューファインダーに表示されるヒストグラムを参照して輝度分布全体から露出の適否を決定したとしても、必ずしも主要被写体が適正露出とはならないという問題がある。
【０００６】
なお、特開平１−１９３７０８号公報には、撮像素子の捉えた映像を液晶表示部に表示させ、液晶の画面で触れたところを中心に拡大表示して焦点を合わせて撮影するオートフォーカス装置が開示されているが、この公報にはＡＥに関する記載はない。
また、本件出願に係る発明の発明者の実験によれば、従来のＡＥ機能は、様々なシーンを撮影すると±１．５ＥＶ程度のＡＥズレを生じてしまうことが確認されており、カメラのＡＥ能力には限界がある。
【０００７】
本発明はこのような事情に鑑みてなされたもので、カメラに備わるＡＥ機能を補完して主要被写体を常に適正露出で撮影することができ、高品質の画像を得ることができる撮像装置及びそのＡＥ補正処理方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
前記目的を達成するために本発明に係る撮像装置は、撮像素子と、前記撮像素子の受光面に被写体像を結像させるレンズと、前記撮像素子を介して取得した信号に基づいて画像を表示する画像表示装置と、被写体輝度を検出する測光手段と、前記測光手段の検出に基づいて前記撮像素子を含む撮像系の露出を自動的に調整する自動露出制御手段と、前記撮像素子から読み出される信号を処理する手段であって、撮像によって得られた画像を所定の輝度閾値毎に分割し、撮像時の階調よりも粗い複数段階の階調領域毎に区分けする輝度域分割処理手段と、前記輝度域分割処理手段で区分けされた各領域を視覚的に区別できるように、同じ輝度域に属する領域に対して共通の色彩を与えて表示用の輝度域分割画像を示す画像信号を生成する色彩付与手段と、前記色彩付与手段で生成された画像信号の供給を受けて前記画像表示装置に表示されている輝度域分割画像の画面中から特定の輝度領域を指定する指定手段と、前記指定手段で指定された領域が適正露出となるように前記自動露出制御手段の露出制御又はその露出制御の結果得られた画像データに対して補正を与える補正処理手段と、前記補正処理手段の処理の結果得られる画像データを記録する記録手段と、を備えたことを特徴としている。
【０００９】
本発明によれば、自動露出制御手段のＡＥ機能を働かせて撮像した画像を所定の輝度閾値毎に区分けして複数段階の輝度範囲に分割し、各領域を他と区別可能に色分けする。かかる色分け表示を見ながらユーザが主被写体に相当する部分を指定すると、その指定に係る領域が適正露出になるように画像補正処理が施される。または、当該指定に係る領域が適正露出になるようにＡＥ機能に補正がかけられ、補正後のＡＥ値にしたがって画像の取り込みが行われる。こうして、毎回確実に主要被写体が適正露出で撮影された高画質の画像を得ることができ、その画像は記録手段により記録保存される。
【００１０】
また、前記目的を達成するために本発明に係る自動露出制御の補正処理方法は、測光結果に基づいて撮像素子を含む撮像系を自動的に露出制御して撮像を行い、撮像によって得られた画像を所定の輝度閾値毎に分割し、撮像時の階調よりも粗い複数段階の階調領域毎に区分けし、これら区分けされた各領域を視覚的に区別できるように、同じ輝度域に属する領域に対して共通の色彩を与えた輝度域分割画像を画像表示装置に表示し、前記画像表示装置に表示されている輝度域分割画像の画面中から特定の輝度領域を選択し、この選択に係る領域が適正露出となるように自動露出制御手段の露出制御又はその露出制御の結果得られた画像データに対して補正を与え、補正の結果得られる画像データを記録保存することを特徴としている。
【００１１】
【発明の実施の形態】
以下添付図面に従って本発明に係る撮像装置及び自動露出制御の補正処理方法の好ましい実施の形態について説明する。
図１は本発明の実施の形態に係る撮像装置の構成を示すブロック図である。この撮像装置１０は、主に撮影レンズ１２、シャッター装置１４、光学ローパスフィルター１６、ＣＣＤ固体撮像素子（以下、ＣＣＤと略記する。）１８、Ａ／Ｄ変換器２０、信号処理部２２、フレームメモリ２４、２６、色分け処理回路２８、表示処理回路３０、液晶モニター（ＬＣＤ）３２、中央演算処理装置（ＣＰＵ）３４、露光制御部３６、記録部３８及び各種操作スイッチ４０から構成される。
【００１２】
撮影レンズ１２を介してＣＣＤ１８の受光面に結像された被写体像は、各センサで光の入射光量に応じた量の信号電荷に変換される。こうして蓄積された信号電荷は露光制御部３６のＣＣＤ駆動回路から加えられるリードゲートパルスによってシフトレジスタに読み出され、レジスタ転送パルスによって信号電荷に応じた電圧信号（アナログ画像信号）として順次読み出される。ＣＣＤ１８にはシャッターゲートを介してシャッタードレインが設けられており、シャッターゲートをシャッターゲートパルスによって制御することにより、前記各センサで蓄積した信号電荷をシャッタードレインに掃き出すことができる。すなわち、このＣＣＤ１８は電荷の蓄積時間（シャッタースピード）をシャッターゲートパルスによって制御する、いわゆる電子シャッタ機能を有している。
【００１３】
ＣＣＤ１８から読み出される信号は、色分離やゲイン調整など所定の処理が施された後、Ａ／Ｄ変換器２０によってデジタル信号に変換され、信号処理部２２に供給される。信号処理部２２は輝度信号及び色差信号の生成回路（Ｙ／Ｃ処理回路）やガンマ補正回路等の画像信号処理回路を含み、ここで公知の画像信号処理技術に従って電子画像データに変換されて得られた画像データはフレームメモリ２４（第１フレームメモリという。）に格納される。
【００１４】
ＣＰＵ３４はメモリコントローラ機能を有するとともに、後述するＡＥ補正処理部としての機能を兼ねている。第１フレームメモリ２４に格納された画像データはＣＰＵ３４の制御に基づいて色分け処理回路２８に送られ、この色分け処理回路２８において所定の輝度閾値毎に複数段階（例えば３〜２０段階、より好ましくは５〜１０段階）に分割され、各階調域ごとに所定の色彩が付与される。こうして、撮影時の階調よりも粗い階調で色分け処理された結果得られた画像データはフレームメモリ２６（第２フレームメモリという。）に格納される。
【００１５】
第１フレームメモリ２４に格納された画像データと第２フレームメモリ２６に格納された色分け画像データは、切替スイッチ４２を介して選択的に表示処理回路３０に送られる。切替スイッチ４２はＣＰＵ３４から発せられる制御信号によって接続先（接点）の切り替えが行われるが、ＣＰＵ３４が制御プログラムに従って自動的に切替制御を行ってもよいし、所定の操作スイッチ４０の操作に応じて切り替えることも可能である。
【００１６】
表示処理回路３０は第１フレームメモリ２４又は第２フレームメモリ２６から受入する画像データを所定の方式の映像信号に変換し、液晶モニター３２へ出力する。こうして液晶モニター３２には撮像によって得られた画像（撮像画像）又は輝度閾値毎に数段階に色分けされた画像が表示される。もちろん、更に別の表示用メモリを設けることにより、双方の画像を一画面中に同時に表示することも可能であり、一方の画像の表示エリアを他方の画像よりも大きくするなどの優先表示も可能である。
【００１７】
液晶モニター３２には前述した画像が表示されるのみならず、情報入力用のメニューや選択キー（ボタン）なども表示され、ユーザは設定したい項目や選択しようとするキーにポインタ（カーソル）を合わせて実行キーを押す等の操作により各種情報を入力することができる。この場合、ポインタを移動させるための手段として、アップ／ダウンキーや上下左右の４方向の指示を入力できる十字キーなどの操作スイッチが撮像装置１０本体、又はリモコン装置等の操作ユニットに設けられる。
【００１８】
撮像動作の詳しい手順は後述するが、通常のＡＥ機能を利用して被写体を撮像し、その画像データを一時的に第１フレームメモリ２４に格納し、これを最終的に記録部３８に書き込む前に、当該画像の輝度分布を示す色分け画像を液晶モニター３２に表示させる。そして、この画面において、ユーザが主要被写体に当たる部分の色を選択すると、ＣＰＵ３４はその色部分の輝度領域を適正な輝度域になるように、相対反射率（入力電圧）とＱＬ値（デジタル出力レベル）との関係である全階調を調整し、これを決定する。これにより、ユーザが意図する主要被写体を常に適正露出に合わせることができる。
【００１９】
ＣＰＵ３４は操作スイッチ４０等から入力される信号に基づいて各回路を制御するもので、ＣＣＤ１８の駆動制御や記録部３８の読み書き制御を行う他、所定のアルゴリズムに従って露出値、フォーカス位置等の各種演算を行い、自動露光制御（ＡＥ）、オートフォーカス（ＡＦ）、オートストロボ、オートホワイトバランス等の制御を行う。
【００２０】
すなわち、ＣＰＵ３４は信号処理部２２から出力される画像信号の積算平均値や、現在の絞り値及び電子シャッタースピードに基づいて被写体の明るさ（被写体輝度）並びに輝度分布を求める。そして、求めた被写体の明るさに基づいて、絞り値やＣＣＤ１８の電荷蓄積時間（電子シャッタースピード）を決定し、決定した絞り値に基づいて絞り機構を制御すると共に、電子シャッタースピードに基づいてＣＣＤ駆動回路を制御する。
【００２１】
このように、ＣＣＤ１８からの出力信号を信号処理部２２で処理することによって被写体の明るさを検出し、その検出結果に基づいて露光制御部３６を制御する。なお、ＡＥ機能における被写体の明るさを検出する手段は、ＣＣＤ１８を兼用する以外に、専用の測光素子を設けてもよい。
オートフォーカス手段は種々の形態が可能であるが、例えば、画像信号から被写体像の鮮鋭度を示す焦点評価値を演算し、その焦点評価値を利用して基づいてフォーカス位置を算出する。そして、算出したフォーカス位置に従ってフォーカス駆動回路（不図示）を介して撮影レンズ１２を制御し、フォーカス位置を設定する。その他、ＡＦセンサなど公知の測距手段を用いてもよい。
【００２２】
例えば、操作スイッチ４０に含まれるシャッターボタンが押されるとＣＰＵ３４がこれを検知し、露光制御部３６にコマンドを送る。露光制御部３６は図示せぬレンズ駆動部を介してフォーカス制御を行うとともに、絞り兼用シャッター装置１４やＣＣＤ１８での電荷蓄積時間を制御することにより露出制御を行う。
このようにＡＥ機能を働かせて撮影された画像に対して、これを保存する前に必要に応じて後述するＡＥ補正処理を施し、又は、撮影時のＡＥ機能に対して直接ＡＥ補正処理が加えられ、最終的に得られた画像データはＣＰＵ３４を介して記録部３８に記録される。記録部３８は内蔵メモリでもよいし、メモリカードなどの着脱自在な外部記憶媒体でもよい。なお、内蔵メモリの場合には、保存したデータを外部に取り出すための外部出力端子や通信手段が設けられる。
【００２３】
次に、上記構成の撮像装置１０におけるＡＥ補正処理の方法について説明する。
図２は当該撮像装置１０の動作の流れの一例を示すフローチャートであり、撮影後にＡＥズレを補正する処理手順が示されている。
撮像装置１０の電源がＯＮされ（ステップＳ２１０）、シャッターボタンが半押しされると（ステップＳ２１２）、通常の制御プログラムにしたがってＡＥが働き、ＡＥ演算に基づいて適正露光時間ｔが決定される（ステップＳ２１４）。そして、シャッターボタンが全押しされると（ステップＳ２１６）、画像の取込処理が行われる（ステップＳ２１８）。すなわち、露光時間ｔで撮影が行われ、その撮影に係る画像がフレームメモリ２４に記憶される。同時に、色分け処理回路２８において当該撮影画像は輝度閾値毎に色分け処理され、その色分けされた画像が液晶モニター３２に表示される（ステップＳ２２０）。
【００２４】
図３に液晶モニター３２の表示例を示す。モニター画面４６には被写体の輪郭４８が表示されるとともに、輝度閾値領域毎に区分けされた領域のうち、ある特定の輝度範囲にある一又は二以上の領域５０が一色で表示される。そして、モニター画面の右端には各階調域毎に定められた色彩の見本５２が縦一列に配列されてなる色パネル５４が表示される。図３では６色の色パネル５４を示してあるが、モニターの表示形態は様々な態様が可能であり、その表示形態をユーザが選択できるように構成してもよい。表示形態を特定するパラメータとしては、輝度閾値領域毎に区分けされた輝度域分割画像について表示する色数、色パネル５４の表示色数、色パネル５４の表示位置と各色彩見本５２の形、及び色パネル５４の選択操作方法などがある。
【００２５】
輝度閾値領域毎に色分けされた画像（輝度域分割画像）について表示する色数の設定としては、全色、数色、一色のみと輪郭表示の組み合わせ、一色点滅表示と輪郭表示の組み合わせ、のうちから自由に選択できるように構成される。なお、表示すべき色が一色の場合、画像を絵として認識することが困難なため、図３のように撮影画像の輪郭抽出処理によって被写体の輪郭４８も同時に表示することが望ましい。また、一色表示の場合、その領域を点滅表示させることによって、対象領域を一層認識し易くなる。
【００２６】
色パネル５４の表示色数の設定は、全色、数色、一色、又は表示無し、のうちから何れか一つを選択できるように構成される。なお、画像の一色表示の場合には色パネルの表示が必要無いこともあるので、「表示無し」という選択も可能になっている。
色パネル５４の表示位置とその形については、画面右一列の一覧表示、画面右一列のスクロール表示、画面の上下左右の四隅への分割表示、又は表示無し、などの設定が可能である。
【００２７】
色パネル５４の選択操作方法としては、十字キーによるカーソル５６の移動と実行ボタンによる選択操作、又はタッチパネルを利用した画面タッチによる選択操作などがある。図３においてカーソル５６を移動させると、その色に定義付けられている輝度範囲にある一又は二以上の領域が当該色によって表示される。
ユーザはこの色分け表示画像を見て主要被写体に当たる部分の色（または、適正露出に仕上げたい位置の色）を選択する（図２中ステップＳ２２２）。例えば、主要被写体のなかで一番明るい部分の色を選択するとよい。
【００２８】
撮影者が主要被写体に当たる位置の色を選択すると、当該選択色の領域が適正な輝度域になるように画像のダイナミックレンジ、ガンマ特性などが決定され、その決定に基づいて補正処理が行われる（ステップＳ２２４）。具体的には例えば、主要被写体部分の明るさが主要被写体として望ましい値（２５６段階の場合ＱＬ値で２００くらい）に補正される。なお、広ダイナミックレンジのＣＣＤを用いる場合には、出力の切り出し範囲を調整してもよい。
【００２９】
こうして、補正処理が施されて得られた画像のデータは記録部３８に保存される（ステップＳ２２６）。これにより、常に、撮影者が意図する主要被写体が適正露出で撮影された画像が得られる。また、上記方法を通常のＡＥにフィードバックすることによって、より精度の高いＡＥが得られる。
図４は撮像装置１０における動作の流れの他の例を示すフローチャートであり、撮影前にＡＥにフィードバックする処理手順が示されている。
【００３０】
撮像装置１０の電源がＯＮされ（ステップＳ４１０）、シャッターボタンが半押しされると（ステップＳ４１２）、通常の制御プログラムにしたがってＡＥが働き、ＡＥ演算に基づいて適正露光時間ｔが決定される（ステップＳ４１４）。そして、プレビュー画像の取込処理が行われる（ステップＳ４１６）。この時、色分け処理回路２８において当該プレビュー画像は輝度閾値領域毎に色分け処理され、その色分けされた画像が液晶モニター３２に表示される（ステップＳ４１８）。
【００３１】
かかるモニター表示は図２で説明したものと同様の表示であり、ユーザはこの色分け表示画像を見て主要被写体に当たる部分の色（または、適正露出に仕上げたい位置の色）を選択する（ステップＳ４２０）。
この選択操作に基づいて、当該選択色の領域が適正露出となるように、撮影条件（ＡＥ値）が変更される（ステップＳ４２２）。その後、シャッターボタンが全押しされると（ステップＳ４２４）、当該変更後のＡＥ値に基づいて実際に撮影画像の取込処理が行われ（ステップＳ４２６）、画像データが記録部３８に記録される（ステップＳ４２８）。
【００３２】
なお、図４のフローチャートで示した処理方法の場合、フレームメモリ２４をフレームメモリ２６と兼用することができ、一方のフレームメモリ２６を省略できる。
また、図１において記録部３８の記録メディアの空き領域をフレームメモリ２４、２６として代用することも可能である。この場合、記録メディアの空き容量はＣＰＵ３４が監視する。
【００３３】
上記説明では本発明を静止画記録用の撮像装置に適用したが、本発明は動画記録用の撮像装置に適用することもできる。
【００３４】
【発明の効果】
以上説明したように本発明に係る撮像装置及び自動露出制御の補正処理方法によれば、撮像した画像のデータを記録保存する前に、撮像した画像の輝度分布を示す色分け画像を表示し、ユーザが主要被写体に相当する部分を指定することによって、その指定に係る領域が適正な露出となるように補正するようにしたので、撮影者が意図する主要被写体を常に適正露出で撮影することができる。
【００３５】
また、色分け表示によって所望の領域と的確に選択することができると同時に、画像表示装置の明るさに左右されずに露出補正することができるという利点がある。
また、かかる補正処理方法をＡＥ制御にフィードバックすることにより、ＡＥの精度を高めることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る撮像装置の構成を示すブロック図
【図２】撮像装置の動作の流れの一例を示すフローチャート
【図３】液晶モニターの表示例を示す説明図
【図４】撮像装置の動作の流れの他の例を示すフローチャート
【符号の説明】
１０…撮像装置
１２…撮影レンズ
１８…ＣＣＤ固体撮像素子
２２…信号処理部
２８…色分け処理回路（色彩付与手段）
３２…液晶モニター（画像表示装置）
３４…ＣＰＵ（輝度領域分割手段、補正処理手段、輪郭抽出手段）
３６…露光制御部
３８…記録部（記録手段）
４０…操作スイッチ（指定手段）

Claims

撮像素子と、
前記撮像素子の受光面に被写体像を結像させるレンズと、
前記撮像素子を介して取得した信号に基づいて画像を表示する画像表示装置と、
被写体輝度を検出する測光手段と、
前記測光手段の検出に基づいて前記撮像素子を含む撮像系の露出を自動的に調整する自動露出制御手段と、
前記撮像素子から読み出される信号を処理する手段であって、撮像によって得られた画像を所定の輝度閾値毎に分割し、撮像時の階調よりも粗い複数段階の階調領域毎に区分けする輝度域分割処理手段と、
前記輝度域分割処理手段で区分けされた各領域を視覚的に区別できるように、同じ輝度域に属する領域に対して共通の色彩を与えて表示用の輝度域分割画像を示す画像信号を生成する色彩付与手段と、
前記色彩付与手段で生成された画像信号の供給を受けて前記画像表示装置に表示されている輝度域分割画像の画面中から特定の輝度領域を指定する指定手段と、
前記指定手段で指定された領域が適正露出となるように前記自動露出制御手段の露出制御又はその露出制御の結果得られた画像データに対して補正を与える補正処理手段と、
前記補正処理手段の処理の結果得られる画像データを記録する記録手段と、
を備えたことを特徴とする撮像装置。
前記色彩付与手段は、前記輝度域分割処理手段で区分けされた各領域に対して、それぞれ異なる色彩を与えることを特徴とする請求項１記載の撮像装置。
前記撮像素子を用いて撮像された画像から被写体の輪郭を抽出する輪郭抽出手段を有し、
前記画像表示装置には、前記色彩付与手段で色彩が与えられた輝度領域の表示とともに前記被写体の輪郭が表示されるように構成されていることを特徴とする請求項１記載の撮像装置。
前記指定手段は、前記画像表示装置の画面上に表示される色彩見本のなかから一つの色彩を選択させるように構成されていることを特徴とする請求項１又は２記載の撮像装置。
測光結果に基づいて撮像素子を含む撮像系を自動的に露出制御して撮像を行い、
撮像によって得られた画像を所定の輝度閾値毎に分割し、撮像時の階調よりも粗い複数段階の階調領域毎に区分けし、
これら区分けされた各領域を視覚的に区別できるように、同じ輝度域に属する領域に対して共通の色彩を与えた輝度域分割画像を画像表示装置に表示し、
前記画像表示装置に表示されている輝度域分割画像の画面中から特定の輝度領域を選択し、
この選択に係る領域が適正露出となるように自動露出制御手段の露出制御又はその露出制御の結果得られた画像データに対して補正を与え、
補正の結果得られる画像データを記録保存することを特徴とする自動露出制御の補正処理方法。