JP4393299B2 - 画像処理装置及びその制御方法 - Google Patents

Description

本発明は、例えばディジタルカメラ等の露出制御機能を備えた画像処理装置及びその制方法に関するものである。

従来のデジタルカメラの自動露出制御（以下、ＡＥと称す）は、被写体の輝度を測光して適正輝度との差を検出し、輝度差が無くなるように露出を変化させ、再び測光して適正輝度になっているか確認し、さらに輝度差が認められた場合は再び露出変化と測光の処理を繰り返すことで、適正な露出になるように制御を行っている。また、被写体にピントが合うようフォーカス調整用レンズを駆動する自動焦点検出制御（以下、ＡＦと称す）も行われている。

撮影者によりレリーズ釦等によって静止画撮影が指示された際は、撮影準備動作においてＡＥ処理とＡＦ処理が行われ、適正な露出が得られたのちに撮影が行われる。近年の表示装置搭載型のデジタルカメラでは、被写体の画像を表示装置にスルー画像として映し出して構図を調整する電子ビューファインダ（以下、ＥＶＦと称す）モードを備えているが、このようなＥＶＦモードにおいては、ＡＥ処理とＡＦ処理は一定時間毎に繰り返し行われる。

特開２００３−０１８４５６号公報

しかしながら、このような従来のデジタルカメラは、適正な露出が得られるまで、フィードバックループによる追い込み制御が実行されるため、完了までに時間を要するという問題があった。

また、静止画撮影時の撮影準備動作において適正な露出が得られるまでの時間を短縮するために、ＥＶＦモードにおけるＡＥ処理が実行された場合は、撮影準備動作でのＡＥ処理を省略する方法も行われているが、この制御方法ではＥＶＦモードでのＡＥ処理の制御周期は一定の間隔を伴うため、制御周期の谷間では適正な露出が得られていない状態が存在するという問題があった。

一方、ＥＶＦモード中のＡＥ処理を高速化するために、ＡＦ処理よりＡＥ処理に多くの制御時間を割り当てるという方法が一般に行われているが、ＡＥ処理の制御時間が延びることで適正露出を得るまでの時間は短縮される一方、ＡＦ処理の制御時間が短くなるために、被写体にピントが合うまでの時間が延びてしまうという問題があった。

そこで、本発明の目的は、露出制御（ＡＥ）処理の高速化と自動焦点検出制御（ＡＦ）処理に要する時間の短縮化を図ることにある。

本発明の画像処理装置は、撮像素子に入射した被写体像に基づく画像データを出力する撮像手段と、前記撮像手段から出力される画像データに対して測光演算を行う測光手段と、前記測光手段により測光演算された画像データの輝度が、前記撮像手段における入射光の輝度と出力レベルとの関係の線形性が保たれる輝度領域に属さない場合、前記撮像手段の出力特性に基づいて前記測光演算された画像データの輝度を補正する補正手段と、前記測光演算された画像データの輝度が前記線形性が保たれる輝度領域に属さない場合、前記補正手段によって補正された画像データの輝度に基づいて露出制御を行う露出制御手段と、を有し、前記補正手段は、前記測光演算された画像データの輝度が前記線形性が保たれる輝度領域に属さない場合、該測光演算された画像データの輝度に前記測光演算された画像データの輝度が前記線形性が保たれていた場合に得られる輝度となるような係数を乗算して補正することを特徴とする。
本発明の画像処理装置の制御方法は、撮像素子に入射した被写体像に基づく画像データを出力する撮像手段を有する画像処理装置の制御方法であって、前記撮像手段から出力される画像データに対して測光演算を行う測光ステップと、前記測光ステップで測光演算された画像データの輝度が、前記撮像手段における入射光の輝度と出力レベルとの関係の線形性が保たれる輝度領域に属さない場合、前記撮像手段の出力特性に基づいて前記測光演算された画像データの輝度を補正する補正ステップと、前記測光演算された画像データの輝度が前記線形性が保たれる輝度領域に属さない場合、前記補正ステップで補正された画像データの輝度に基づいて露出制御を行う露出制御ステップと、を有し、前記補正ステップは、前記測光演算された画像データの輝度が前記線形性が保たれる輝度領域に属さない場合、該測光演算された画像データの輝度に前記測光演算された画像データの輝度が前記線形性が保たれていた場合に得られる輝度となるような係数を乗算して補正することを特徴とする。

本発明によれば、撮像手段の線形性を基に測光演算結果を補正し、露出制御を行うように構成したので、フィードバックによる複数回の測定と制御を行うことなく、適正露出を１回の処理で得ることが可能となり、その結果、露出制御（ＡＥ）処理が高速化され、それに伴い自動焦点検出制御（ＡＦ）処理に要する時間も短縮される。

以下、本発明を適用した好適な実施形態を、添付図面を参照しながら詳細に説明する。

図１は、本発明の一実施形態に係る画像処理装置の構成を示す図である。図１において、１００は画像処理装置である。１０は撮影レンズ、１２は絞り機能を備えるシャッタ、１４は光学像を電気信号に変換する撮像素子、１６は撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器である。

１８は、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。

２０は画像処理回路であり、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。

また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。

さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

２２はメモリ制御回路であり、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮・伸長回路３２を制御する。

Ａ／Ｄ変換器１６のデータが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

２４は画像表示メモリ、２６はＤ／Ａ変換器、２８はＴＦＴ ＬＣＤ等から成る画像表示部であり、画像表示メモリ２４に書き込まれた表示用の画像データはＤ／Ａ変換器２６を介して画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。

また、画像表示部２８は、システム制御回路５０の指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には画像処理装置１００の電力消費を大幅に低減することが出来る。

３０は撮影した静止画像や動画像を格納するためのメモリであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

３２は適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮・伸長回路であり、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

４０は絞り機能を備えるシャッタ１２を制御する露光制御手段であり、フラッシュ４８と連携することによりフラッシュ調光機能も有するものである。

４２は撮影レンズ１０のフォーカシングを制御する測距制御手段、４４は撮影レンズ１０のズーミングを制御するズーム制御手段、４６はバリアである保護手段１０２の動作を制御するバリア制御手段である。

４８はフラッシュであり、ＡＦ補助光の投光機能、フラッシュ調光機能も有する。露光制御手段４０、測距制御手段４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御手段４０、測距制御手段４２に対して制御を行う。

５０は画像処理装置１００全体を制御するシステム制御回路、５２はシステム制御回路５０の動作用の定数、変数、プログラム等を記憶するメモリである。５２はまた、ＡＥで用いるプログラム線図も格納している。プログラム線図は、露出値に対する絞り開口径とシャッタ速度の制御値の関係を定義したテーブルである。

５４はシステム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示装置、スピーカ等の表示部であり、画像処理装置１００の操作部近辺の視認し易い位置に単数或いは複数個所設置され、例えばＬＣＤやＬＥＤ、発音素子等の組み合わせにより構成されている。

また、表示部５４は、その一部の機能が光学ファインダ１０４内に設置されている。表示部５４の表示内容のうち、ＬＣＤ等に表示するものとしては、シングルショット／連写撮影表示、セルフタイマ表示、圧縮率表示、記録画素数表示、記録枚数表示、残撮影可能枚数表示、シャッタスピード表示、絞り値表示、露出補正表示、フラッシュ表示、赤目緩和表示、マクロ撮影表示、ブザー設定表示、時計用電池残量表示、電池残量表示、エラー表示、複数桁の数字による情報表示、記録媒体２００及び２１０の着脱状態表示、通信Ｉ／Ｆ動作表示、日付け・時刻表示、等がある。

また、表示部５４の表示内容のうち、光学ファインダ１０４内に表示するものとしては、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタスピード表示、絞り値表示、露出補正表示、等がある。

５６は電気的に消去・記録可能な不揮発性メモリであり、例えばＥＥＰＲＯＭ等が用いられる。

６０、６２、６４、６６及び７０は、システム制御回路５０の各種の動作指示を入力するための操作手段であり、スイッチやダイアル、タッチパネル、視線検知によるポインティング、音声認識装置等の単数或いは複数の組み合わせで構成される。ここで、これらの操作手段の具体的な説明を行う。

６０はモードダイアルスイッチで、電源オフ、自動撮影モード、撮影モード、パノラマ撮影モード、再生モード、マルチ画面再生・消去モード、ＰＣ接続モード等の各機能モードを切り替え設定することが出来る。

６２はシャッタスイッチＳＷ１で、不図示のシャッタボタンの操作途中でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（フラッシュプリ発光）処理等の動作開始を指示する。

６４はシャッタスイッチＳＷ２で、不図示のシャッタボタンの操作完了でＯＮとなり、撮像素子１２から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む露光処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮を行い、記録媒体２００或いは２１０に画像データを書き込む記録処理という一連の処理の動作開始を指示する。

６６は画像表示ＯＮ／ＯＦＦスイッチで、画像表示部２８のＯＮ／ＯＦＦを設定することが出来る。この機能により、光学ファインダ１０４を用いて撮影を行う際に、ＴＦＴ ＬＣＤ等から成る画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。

７０は各種ボタンやタッチパネル等からなる操作部で、メニューボタン、セットボタン、マクロボタン、マルチ画面再生改ページボタン、フラッシュ設定ボタン、単写／連写／セルフタイマ切り替えボタン、メニュー移動＋（プラス）ボタン、メニュー移動−（マイナス）ボタン、再生画像移動＋（プラス）ボタン、再生画像−（マイナス）ボタン、撮影画質選択ボタン、露出補正ボタン、日付／時間設定ボタン等がある。

８０は電源制御手段で、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成されており、電池の装着の有無、電池の種類、電池残量の検出を行い、検出結果及びシステム制御回路５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体を含む各部へ供給する。

８２はコネクタ、８４はコネクタ、８６はアルカリ電池やリチウム電池等の一次電池やＢＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプタ等からなる電源手段である。

９０及び９４はメモリカードやハードディスク等の記録媒体とのインタフェース、９２及び９６はメモリカードやハードディスク等の記録媒体と接続を行うコネクタ、９８はコネクタ９２及び或いは９６に記録媒体２００或いは２１０が装着されているか否かを検知する記録媒体着脱検知手段である。

なお、本実施形態では記録媒体を取り付けるインタフェース及びコネクタを２系統持つものとして説明している。もちろん、記録媒体を取り付けるインタフェース及びコネクタは、単数或いは複数、いずれの系統数を備える構成としても構わない。また、異なる規格のインタフェース及びコネクタを組み合わせて備える構成としても構わない。

インタフェース及びコネクタとしては、ＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成して構わない。

さらに、インタフェース９０及び９４、そしてコネクタ９２及び９６をＰＣＭＣＩＡカードやＣＦ（コンパクトフラッシュ（登録商標））カード等の規格に準拠したものを用いて構成した場合、ＬＡＮカードやモデムカード、ＵＳＢカード、ＩＥＥＥ１３９４カード、Ｐ１２８４カード、ＳＣＳＩカード、ＰＨＳ等の通信カード、等の各種通信カードを接続することにより、他のコンピュータやプリンタ等の周辺機器との間で画像データや画像データに付属した管理情報を転送し合うことが出来る。

１０２は、画像処理装置１００のレンズ１０を含む撮像部を覆う事により、撮像部の汚れや破損を防止するバリアである保護手段である。

１０４は光学ファインダであり、画像表示部２８による電子ファインダ機能を使用すること無しに、光学ファインダのみを用いて撮影を行うことが可能である。また、光学ファインダ１０４内には、表示部５４の一部の機能、例えば、合焦表示、手振れ警告表示、フラッシュ充電表示、シャッタスピード表示、絞り値表示、露出補正表示などが設置されている。

１１０は通信手段で、ＲＳ２３２ＣやＵＳＢ、ＩＥＥＥ１３９４、Ｐ１２８４、ＳＣＳＩ、モデム、ＬＡＮ、無線通信、等の各種通信機能を有する。１１２は通信手段１１０により画像処理装置１００を他の機器と接続するコネクタ或いは無線通信の場合はアンテナである。

２００はメモリカードやハードディスク等の記録媒体である。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、画像処理装置１００とのインタフェース２０４、画像処理装置１００と接続を行うコネクタ２０６を備えている。２１０はメモリカードやハードディスク等の記録媒体である。

記録媒体２１０は、半導体メモリや磁気ディスク等から構成される記録部２１２、画像処理装置１００とのインタフェース２１４、画像処理装置１００と接続を行うコネクタ２１６を備えている。

図２及び図３は、本実施形態における画像処理装置１００の主ルーチンを示すフローチャートである。図２及び図３を用いて、画像処理装置１００の主動作を説明する。

電池交換等の電源投入により、システム制御回路５０はフラグや制御変数等を初期化し（Ｓ２０１）、画像表示部２８の画像表示をＯＦＦ状態に初期設定する（Ｓ２０２）。

システム制御回路５０は、モードダイアル６０の設定位置を判断し、モードダイアル６０が電源ＯＦＦに設定されていたならば（Ｓ２０３）、各表示部の表示を終了状態に変更し、保護手段１０２のバリアを閉じて撮像部を保護し、フラグや制御変数等を含む必要なパラメータや設定値、設定モードを不揮発性メモリ５６に記録し、電源制御手段８０により画像表示部２８を含む画像処理装置１００各部の不要な電源を遮断する等の所定の終了処理を行った後（Ｓ２０５）、Ｓ２０３に戻る。

モードダイアル６０が撮影モードに設定されていたならば（Ｓ２０３）、Ｓ２０６に進む。モードダイアル６０がその他のモードに設定されていたならば（Ｓ２０３）、システム制御回路５０は選択されたモードに応じた処理を実行し（Ｓ２０４）、処理を終えたならばＳ２０３に戻る。

システム制御回路５０は、電源制御手段８０により電池等により構成される電源８６の残容量や動作情況が画像処理装置１００の動作に問題があるか否かを判断し（Ｓ２０６）、問題があるならば表示部５４を用いて画像や音声により所定の警告表示を行った後に（Ｓ２０８）、Ｓ２０３に戻る。

電源８６等に問題が無いならば（Ｓ２０６）、システム制御回路５０は記録媒体２００或いは２１０の動作状態が画像処理装置１００の動作、特に記録媒体に対する画像データの記録再生動作に問題があるか否かを判断し（Ｓ２０７）、問題があるならば表示部５４を用いて画像や音声により所定の警告表示を行った後に（Ｓ２０８）、Ｓ２０３に戻る。記録媒体２００或いは２１０の動作状態に問題が無いならば（Ｓ２０７）、Ｓ２０９に進む。

その後、スルー画像（静止画を撮影する前後にファインダ機能として表示させるための撮像素子１４によって撮像された動画像）を画像表示部２８に表示するための撮影準備の初期化を行い（Ｓ２０９）、準備が完了したらスルー画像を画像表示部２８に表示開始する（Ｓ２１０）。

スルー表示状態に於いては、撮像素子１２、Ａ／Ｄ変換器１６、画像処理回路２０、メモリ制御回路２２を介して、画像表示メモリ２４に逐次書き込まれたデータを、メモリ制御回路２２、Ｄ／Ａ変換器２６を介して画像表示部２８により逐次表示することにより、電子ファインダ機能を実現している。

次にスルー画像表示状態における静止画撮影時のカメラ動作について図３を参照しながら説明する。

モードダイアル６０が変更されていたら（Ｓ３０１）、Ｓ２０３に戻りダイアル状態をチェックする。変更されていなければ、Ｓ３０２に進む。

シャッタスイッチＳＷ１が押されていないならば（Ｓ３０２）、ステップＳ３０３のスルー画表示を継続して行うための処理を行う。画像処理回路２０が撮像素子１４から得られた信号に対して所定の測光演算を行いその演算結果をメモリ３０に格納する。システム制御回路５０はこの演算結果を基に露光制御手段４０を用いてスルー画像に対するＡＥ処理を行う（Ｓ３０４）。その後Ｓ３０１に戻る。Ｓ３０２においてシャッタスイッチＳＷ１が押されたならば、Ｓ３０５に進む。

ステップＳ３０５では、画像処理回路２０が撮像素子１４から得られた信号に対して測光演算を行い、測光演算結果をメモリ３０に格納する。

ステップＳ３０６では、ステップＳ３０５の測光演算結果に基づいてリニアリティ補正を行う。このリニアリティ補正処理Ｓ３０６の詳細は図７を用いて後述する。

ステップＳ３０７においては、ステップＳ３０５で行った測光演算結果が撮像素子１４のリニアリティの保たれている領域であるかの判定を行った結果である線形領域判定フラグをメモリ３０から取り出す。線形領域判定フラグがＴＲＵＥである場合はステップＳ３０５の測光演算結果が線形領域であったことを表し、ステップＳ３０９に進む。一方、線形領域判定フラグがＦＡＬＳＥであるときはステップＳ３０５の測光演算結果が線形領域では無いため、ステップＳ３０８に進む。

ステップＳ３０８では、ステップＳ３０６によって撮像素子１４のリニアリティに基づいた測光演算結果の補正が成された上で、撮像素子１４のリニアリティから外れた領域での補正であることから、さらにリニアリティ補正後のＡＥ処理を行って適正露出を確実に得られるように制御する。ステップＳ３０８の詳細は図８を用いて後述する。

ステップＳ３０８によるリニアリティ補正後ＡＥ処理が終わると、再びステップＳ３０６に戻る。後述する図８のステップＳ８０５によって得られた測光演算結果を使って再び撮像素子１４のリニアリティの領域であるか判定を行い、前記ステップＳ３０６、Ｓ３０８の処理を線形領域判定フラグがＴＲＵＥとなるまで繰り返すが、メモリ３０に繰り返し回数のカウンタを設けて繰り返し回数を１回あるいは所定の複数回に制限を設けても良い。

次に、画像処理回路２０が撮像素子１４から得られた信号に対して所定の測距演算を行いその演算結果をメモリ３０に格納する。システム制御回路５０はこの測距演算結果を基に測距制御手段４４を用いてＡＦ処理を行い、撮影レンズ１０の焦点を被写体に合わせる（Ｓ３０９）。

そして、撮影用のＡＥ処理Ｓ３１０を行って、撮影準備処理を完了する。撮影用ＡＥ処理Ｓ３１０の詳細は図５を用いて後述する。

図４は、ステップＳ３０４におけるＥＶＦ用ＡＥ処理の詳細を示す動作処理フローチャートである。

システム制御回路５０はタイミング発生回路１８を制御し、タイミング発生回路１８から供給された信号に同期して撮像素子１４から出力されたアナログ映像信号をＡ／Ｄ変換器１６を用いてデジタル信号に変換し、メモリ３０に格納する（Ｓ４０１）。

メモリ３０に格納されたデジタル映像信号に対し、画像処理回路２０を用いて測光積分を行い、測光積分結果をメモリ３０に格納する（Ｓ４０２）。

システム制御回路５０はメモリ３０に格納された測光積分結果を用いて、１画面全体の平均輝度を計算し、測光演算結果としてメモリ３０に格納する（Ｓ４０３）。メモリ３０に測光演算結果が既に保存されている場合は、ここで得られた測光演算結果で上書きする。

続いて、システム制御回路５０は平均輝度値が適正な明るさであるか判別し（Ｓ４０４）、適正な明るさでは無い場合はステップＳ４０５に進む。ステップＳ４０５からは現在得られている測光演算結果を基にフィードバック制御を行う。

ステップＳ４０５ではステップＳ４０３の測光演算結果に基づいてリニアリティ補正を行う。このリニアリティ補正処理Ｓ４０５の詳細は図７を用いて後述する。

次に、システム制御回路５０はメモリ５２に格納された測光用のプログラム線図を取得し、Ｓ４０５でリニアリティ補正された測光補正段数と測光用プログラム線図から、次に設定するべき絞り開口径とシャッタ速度を得る（Ｓ４０６）。

Ｓ４０６で得られた絞り開口径とシャッタ速度を露光制御手段４０を用いて設定し（Ｓ４０７）、Ｓ４０１に戻る。Ｓ４０４で適正輝度が得られるまで上記動作を繰り返す。Ｓ４０４で適正輝度が得られた場合、ＥＶＦ用ＡＥ処理は完了する。

図５は、ステップＳ３１０における撮影用ＡＥ処理の詳細を示す動作処理フローチャートである。

システム制御回路５０は、後述の図７のステップＳ７０４により得られる測光補正段数をメモリ３０から取り出し、また、メモリ５２から撮影用のプログラム線図を取得する。得られた測光補正段数と撮影用プログラム線図を用いて、撮影に用いる絞り開口径とシャッタ速度を取得する（Ｓ５０１）。

続いて、Ｓ５０１で得られた絞り開口径とシャッタ速度を露光制御手段４０を用いて設定する（Ｓ５０２）。

システム制御回路５０はタイミング発生回路１８を制御し、タイミング発生回路１８から供給された信号に同期して撮像素子１４から出力されたアナログ映像信号をＡ／Ｄ変換器１６を用いてデジタル信号に変換し、メモリ３０に格納する（Ｓ５０３）。

メモリ３０に格納されたデジタル映像信号に対し、画像処理回路２０を用いて測光積分を行い、測光積分結果をメモリ３０に格納する（Ｓ５０４）。

システム制御回路５０はメモリ３０に格納された測光積分結果を用いて、１画面全体の平均輝度を計算し、メモリ３０に格納する（Ｓ５０５）。

Ｓ５０５で得られた測光結果と、メモリ３０に格納された測光結果の差を求め、輝度レベル差をシャッタ速度に換算する。さらにＳ５０１で得られたシャッタ速度に対し、輝度レベル補正分のシャッタ速度を加えて、撮影に使用する露出制御値を決定し（Ｓ５０６）、撮影用のＡＥシーケンス処理を終了する。

図６はＣＣＤ特性であり、図３のステップＳ３０６、図４のステップＳ４０５におけるリニアリティ補正を行う際の撮像素子１４のリニアリティを説明する図である。

図６はＣＣＤ（ｃｈａｒｇｅ ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ：電荷結合素子）などの光電変換によって光画像を電荷像に変換する撮像デバイスにおける、入射光の輝度と出力レベルの対応を示したものである。ここで横軸は撮像素子の入射光の輝度であり、右方向がより高輝度である。縦軸は撮像素子によって光電変換された後の出力レベルであり、上方向がより高い出力である。６０１は一般的な撮像素子の特性を示しており、低輝度側では暗電流や熱雑音の影響により出力レベルが完全にゼロにはならず、Ｓ／Ｎ比が低下することで、輝度と出力レベルの関係において線形性が崩れる領域である。一方、高輝度側では撮像素子の備えるホトダイオードの蓄積容量を越えて飽和してしまう他、スミアやブルーミングの影響によって、やはり輝度と出力レベルの関係において線形性が崩れる領域である。

６０２は前述の低輝度側と高輝度側の線形特性が理想的であると仮定した場合の直線であり、低輝度、高輝度に依らず入射光量と出力レベルの関係において線形性が常に保たれている様子を示す。

ＹＲｅｆは撮像素子の出力レベルにおけるダイナミックレンジの中央を指しており、撮像素子から最も良好な信号を得ることができる位置を示している。Ｙ１とＹ２はそれぞれ高輝度側と低輝度側における線形性が保たれる限界地点を指している。

図７は、ステップＳ３０６、ステップＳ４０５におけるリニアリティ補正処理の詳細を示す動作処理フローチャートである。

ステップＳ７０１は、図３のステップＳ３０５、図４のステップＳ４０３における測光演算結果である輝度値をメモリ３０から取り出す。続いてステップＳ７０２は取得した測光演算結果と図６に示したＣＣＤ特性から、測光演算結果が撮像素子１４の線形性が保たれている領域であるか判断する。測光演算結果が図６で示すＹ１からＹ２に対応する輝度範囲内であるときは撮像素子１４の線形性が保たれている領域であると判断し、Ｙ１以上あるいはＹ２以下に対応する輝度範囲であるときは、撮像素子１４の線形性が保たれていない領域であると判断する。ここで判定した結果は線形領域判定フラグとしてメモリ３０に格納する。

ステップＳ７０２において、測光演算結果が撮像素子１４の線形性が保たれていない領域であると判断した場合はステップＳ７０３に進む。撮像素子１４の線形性から外れた領域では、線形性に沿った理想的な測光結果が得られていない。そこでステップＳ７０３はＣＣＤ出力レベルを図６で示したＹＲｅｆに収束させるために、測光演算結果を図６の６０２で示した理想的な線形性を示す直線に乗せるためのリニアリティ補正係数を求める。Ｙ１よりも上側の高輝度側の場合は得られた測光演算結果は飽和しているため、理想的なＣＣＤ特性である６０２の直線よりもＣＣＤ出力レベルが下回っているとして、測光演算結果に対して等倍以上の所定の係数を掛けて補正を行う。例えば「測光演算結果＝測光演算結果×１．３」等であるが、補正係数は等倍以上の任意の値で良い。一方、Ｙ２よりも下側の低輝度側の場合は得られた測光演算結果はオフセットを持ったところで浮いているため、理想的なＣＣＤ特性である６０２の直線よりもＣＣＤ出力レベルが上回っているとして、測光演算結果に対して等倍以下の所定の係数を掛けて補正を行う。例えば「測光演算結果＝測光演算結果×０．６」等であるが、補正係数は等倍以下の任意の値で良い。このようにして決定したリニアリティ補正係数を測光演算結果に対して適用し、リニアリティ補正係数適用後の測光演算結果をメモリ３０に格納し、ステップＳ７０４に進む。

ステップＳ７０４では、ＣＣＤ出力レベルが図６で示したＹＲｅｆに収束するよう、測光演算結果に対する補正係数を求める。ここでは既に測光演算結果は図６の６０２で示した理想的なＣＣＤ特性に従った値であるため、６０２の直線の傾きに沿って測光演算結果とＹＲｅｆに対応する輝度値との差分から測光演算結果の補正値を算出する。６０２の直線を使って測光演算結果とＹＲｅｆの差分輝度を算出し、さらに差分輝度を段数に変換する。求めた測光補正段数をメモリ３０に格納してリニアリティ補正シーケンスを終了する。

図８は、ステップＳ３０８におけるリニアリティ補正後のＡＥ処理の詳細を示す動作処理フローチャートである。

ステップＳ８０１は図７のステップＳ７０４で求めた測光補正段数を基に測光線図を用いてＣＣＤ出力レベルを適正輝度ＹＲｅｆに収束させるための新たな露出条件を得る。続いて、Ｓ８０１で得られた絞り開口径とシャッタ速度を露光制御手段４０を用いて設定し（Ｓ８０２）、Ｓ８０３に進む。

システム制御回路５０はタイミング発生回路１８を制御し、タイミング発生回路１８から供給された信号に同期して撮像素子１４から出力されたアナログ映像信号をＡ／Ｄ変換器１６を用いてデジタル信号に変換し、メモリ３０に格納する（Ｓ８０３）。

メモリ３０に格納されたデジタル映像信号に対し、画像処理回路２０を用いて測光積分を行い、測光積分結果をメモリ３０に格納する（Ｓ８０４）。

システム制御回路５０はメモリ３０に格納された測光積分結果を用いて、１画面全体の平均輝度を測光演算結果として計算し、メモリ３０に格納する（Ｓ８０５）。メモリ３０に測光演算結果が既に保存されている場合は、ここで得られた測光演算結果で上書きして、リニアリティ補正後のＡＥ処理は完了する。

このように本実施形態によれば、撮像素子１４の特性に合わせて、線形性のある領域においては撮像素子１４の線形特性に合わせた測光結果補正段数を求めることで、フィードバックループによる複数回の測定と制御を行うことなく、１回の測定と制御によって適正輝度に収束させることを可能とし、一方、線形領域外である場合は理想的な線形特性に沿って測光結果を補正した上で、撮像素子の特性に合わせた測光補正段数を求めることで、やはり１回の測定と制御によって適正輝度に収束させることが可能となる。

従って、ＥＶＦモードや撮影準備中などの状態に依らずあらゆる状況において、自動露出制御の精度は維持し且つ、適正露出を得るまでの時間を短縮することが可能となる。ＥＶＦモード中のＡＥ処理が高速化されることで、ＡＦ処理により多くの制御時間を割り当てることが可能となるため、ＡＦ処理の高速化が可能となる。また、撮影準備動作におけるＡＥ処理が高速化されることで、撮影準備動作に要する時間が短縮されるため、レリーズタイムラグの短縮が可能となる。

また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ(基本システム或いはオペレーティングシステム)などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明の一実施形態に係る画像処理装置の構成を示す図である。 画像処理装置の主ルーチンを示すフローチャートである。 画像処理装置の主ルーチンを示すフローチャートである。 図３のステップＳ３０４におけるＥＶＦ用ＡＥ処理の詳細を示すフローチャートである。 図３のステップＳ３１０における撮影用ＡＥ処理の詳細を示すフローチャートである。 リニアリティ補正を行う際の撮像素子のリニアリティを説明するための図である。 図３のステップＳ３０６、図４のステップＳ４０５におけるリニアリティ補正処理の詳細を示すフローチャートである。 図３のステップＳ３０８におけるリニアリティ補正後のＡＥ処理の詳細を示すフローチャートである。

符号の説明

１０：撮影レンズ、１２：シャッタ、１４：撮像素子、１６：Ａ／Ｄ変換器、１８：タイミング発生回路、２０：画像処理回路、２２：メモリ制御回路、２４：画像表示メモリ、２６：Ｄ／Ａ変換器、２８：画像表示部、３０：メモリ、３２：画像圧縮・伸長回路、４０：露光制御手段、４２：測距制御手段、４４：ズーム制御手段、４６：バリア制御手段、４８：フラッシュ、５０：システム制御回路、５２：メモリ、５４：表示部、５６：不揮発性メモリ、６０：モードダイアルスイッチ、６２：シャッタスイッチＳＷ１、６４：シャッタスイッチＳＷ２、６６：画像表示ＯＮ／ＯＦＦスイッチ、７０：操作部、８０：電源制御手段、８２：コネクタ、８４：コネクタ、８６：電源手段、９０：インタフェース、９２：コネクタ、９４：インタフェース、９６：コネクタ、９８：記録媒体着脱検知手段、１００：画像処理装置、１０２：保護手段、１０４：光学ファインダ、１１０：通信手段、１１２：コネクタ（またはアンテナ）、２００：記録媒体、２０２：記録部、２０４：インタフェース、２０６：コネクタ、２１０：記録媒体、２１２：記録部、２１４：インタフェース、２１６：コネクタ

Claims (2)

1. 撮像素子に入射した被写体像に基づく画像データを出力する撮像手段と、
   前記撮像手段から出力される画像データに対して測光演算を行う測光手段と、
   前記測光手段により測光演算された画像データの輝度が、前記撮像手段における入射光の輝度と出力レベルとの関係の線形性が保たれる輝度領域に属さない場合、前記撮像手段の出力特性に基づいて前記測光演算された画像データの輝度を補正する補正手段と、
   前記測光演算された画像データの輝度が前記線形性が保たれる輝度領域に属さない場合、前記補正手段によって補正された画像データの輝度に基づいて露出制御を行う露出制御手段と、を有し、
   前記補正手段は、前記測光演算された画像データの輝度が前記線形性が保たれる輝度領域に属さない場合、該測光演算された画像データの輝度に前記測光演算された画像データの輝度が前記線形性が保たれていた場合に得られる輝度となるような係数を乗算して補正することを特徴とする画像処理装置。
2. 撮像素子に入射した被写体像に基づく画像データを出力する撮像手段を有する画像処理装置の制御方法であって、
   前記撮像手段から出力される画像データに対して測光演算を行う測光ステップと、
   前記測光ステップで測光演算された画像データの輝度が、前記撮像手段における入射光の輝度と出力レベルとの関係の線形性が保たれる輝度領域に属さない場合、前記撮像手段の出力特性に基づいて前記測光演算された画像データの輝度を補正する補正ステップと、
   前記測光演算された画像データの輝度が前記線形性が保たれる輝度領域に属さない場合、前記補正ステップで補正された画像データの輝度に基づいて露出制御を行う露出制御ステップと、を有し、
   前記補正ステップは、前記測光演算された画像データの輝度が前記線形性が保たれる輝度領域に属さない場合、該測光演算された画像データの輝度に前記測光演算された画像データの輝度が前記線形性が保たれていた場合に得られる輝度となるような係数を乗算して補正することを特徴とする画像処理装置の制御方法。

Images