JP4024284B1 - 撮像装置及び撮像方法 - Google Patents

Abstract

【課題】簡単な構成で、入力画像のダイナミックレンジを適切な改善を可能にする。
【解決手段】第１の撮像信号（Ｘａ）に、補正利得（Ｇ_ｋ）を乗算して画素毎に補正された第２の撮像信号（Ｘｂ）を出力する利得補正手段（２）と、第１の撮像信号（Ｘａ）の平均値（ＡＰＬ）を所定の目標値に一致させるための第１の露出値（Ｅ１）を定め、さらにこの第１の露出値（Ｅ１）を、補正利得の最大値（Ｇｍａｘ）に基づく利得補正値（Ｋｄ）を用いて補正して第２の露出値（Ｅ２）を求め、この第２の露出値で露出を制御する露出制御手段（１０）と、第１の撮像信号（Ｘａ）の輝度成分に対してフィルタリングを行った結果と補正利得の最大値（Ｇｍａｘ）に基づいて画素ごとに補正利得（Ｇ_ｋ）を決定する補正利得決定手段（１５）とを備える。
【選択図】図１

Description

本発明は、入力画像のダイナミックレンジを適切に改善する撮像装置及び撮像方法に関するものである。

従来、画像の階調特性を改善する方法として、１画面の入力画像から同一輝度の画素の画素数を累積することによって得られる累積頻度（ヒストグラム）が、均等に分布するように階調変換を行う、ヒストグラムイコライゼーションが提案されている（例えば、特許文献１参照）。

また、入力画像から空間的な輝度変化の加重平均を求め、求められた加重平均の対数変換値と、入力画像の対数変換値とから、改善された輝度信号を算出することで、画像のダイナミックレンジを改善させるＲＥＴＩＮＥＸと呼ばれる方法が提案されている（例えば、非特許文献１及び特許文献２参照）。

特開２００２−２７２８５号公報（段落００２９−００４１、図１） 特開２００５−３８１１９号公報（段落００２８−００３１、図１） Ｚ．Ｒａｈｍａｎ ｅｔ ａｌ．， "Ａ Ｍｕｌｔｉｓｃａｌｅ Ｒｅｔｉｎｅｘ Ｆｏｒ Ｃｏｌｏｒ Ｒｅｎｄｉｔｉｏｎ ａｎｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｃｏｍｐｒｅｓｓｉｏｎ"， ＸＩＸ Ｐｒｏｃ． ＳＰＩＥ Ｖｏｌ．２８４７， ｐｐ．１８３−１９１， Ｎｏｖ．１９９６

しかしながら、前述のヒストグラムイコライゼーションでは、少なくとも１画面分の画像のヒストグラムデータを記録し、記録されたヒストグラムデータからヒストグラムの偏りを解析し、この解析結果をもとに階調特性を決める。このため、解析に使用した画像と解析結果を反映する画像との間には、１画面以上のタイミングずれが生じるので、入力画像のダイナミックレンジが適切に改善されない場合があった。例えば、動画像において、上記のような１画面以上のタイミングずれがある場合は、解析に使用した画像と解析結果を反映する画像との違いによって、解析結果を反映する画像に対して最適な階調特性を決めることができないという問題があった。

また、ＲＥＴＩＮＥＸを用いる方法では、加重平均を用いるための畳み込み積分及び加重平均と入力信号の対数計算などの計算処理が複雑であるので、ハードウェア（例えば、ＡＳＩＣ（特定用途向け集積回路）やＦＰＧＡ（フィールド プログラマブル ゲート アレイ））や組込みマイコンによってＲＥＴＩＮＥＸを実行する場合に、処理時間が長くなる、実装容量（ゲート規模、メモリ容量）が大きくなるという問題があった。

そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、簡単な構成で、入力画像のダイナミックレンジを適切に改善することができる撮像装置及び撮像方法を提供することにある。

本発明は、
被写体からの光を受けて、該光に応じた第１の撮像信号を出力する撮像信号生成手段と、
前記第１の撮像信号を画素毎に補正して、補正された第２の撮像信号を出力する利得補正手段と、
前記第１の撮像信号の平均値を所定の目標値に一致させるための前記撮像信号生成手段の第１の露出値を定め、さらにこの第１の露出値を、補正利得の最大値に基づいて補正して第２の露出値を求め、この第２の露出値で前記撮像信号生成手段の露出を制御する露出制御手段と、
前記第１の撮像信号の輝度成分の各画素の値とその周辺の画素の値に対してフィルタリングを行い、そのフィルタリング出力と前記補正利得の最大値とに基づいて画素ごとに補正利得を決定する補正利得決定手段とを備え、
前記利得補正手段は、前記補正利得決定手段で決定された補正利得と前記第１の撮像信号との乗算を含む演算により、前記補正を行う
ことを特徴とする撮像装置を提供する。

本発明によれば、撮像信号の輝度成分の各画素とその周辺の画素の値に対するフィルタリングを行い、そのフィルタリング出力に基づいて画素ごとに補正利得を求め、この補正利得を用いて撮像信号に対する画素毎の補正を行うので、撮像信号の階調特性を適切に改善することができる。

また、本発明によれば、補正利得の最大値に応じて、露出値を補正し、補正された露出で露出を制御することで、撮像信号の明部の白つぶれや、コントラスト低下を抑えた上、暗部のコントラストを向上させることができ、これにより、暗部の視認性が図れる。

また、本発明によれば、複雑な演算を行う必要が無く、計算や処理を簡素化することができるので、構成の簡素化、及びそれに伴うコスト低減を図ることができる。

実施の形態１．
図１は、本発明の実施の形態１に係わる撮像装置（実施の形態１の係わる撮像方法を実施する装置）の構成を示すブロック図である。
図１に示されるように実施の形態１に係わる撮像装置は、撮像素子５と、アナログ信号処理手段６と、Ａ／Ｄ変換手段７と、カメラ信号処理手段８と、タイミング生成手段９と、積算手段１１と、露出補正手段１０と、利得補正手段２と、輝度フィルタリング手段３と、補正利得算出手段４と、最大利得決定手段１３とを有する。なお、カメラ信号処理手段８、積算手段１１、露出補正手段１０、利得補正手段２、輝度フィルタリング手段３、補正利得算出手段４、及び最大利得決定手段１３は、電気回路などのハードウェア、プログラムにより動作するソフトウェア、又はハードウェアとソフトウェアの組み合わせのいずれで構成してもよい。

撮像素子５は例えば、被写体からの光信号を受光し、光電変換するフォトダイオードアレイと、垂直転送ＣＣＤ及び水平転送ＣＣＤを含み、フォトダイオードアレイの信号を外部に取り出すための手段とを有するＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサーである。

撮像素子５は、一フレーム期間ごとにフォトダイオードアレイに蓄積した電荷を、タイミング生成手段９からの電荷読出しパルスを印加することで、垂直転送ＣＣＤ及び水平転送ＣＣＤを介して外部に読み出すことができる。

また、タイミング生成手段９からの電荷掃き出しパルスにより、フォトダイオードアレイ内の蓄積電荷を撮像素子５の基板電位へ掃き出すことができる。この電荷掃き出しパルスの印加を止めてから、電荷読出しパルスで垂直転送ＣＣＤに蓄積電荷を読み出すまでの時間が電荷蓄積時間Ｓである。電荷蓄積時間Ｓの逆数がシャッタ速度に対応する。電荷蓄積時間Ｓは、露出制御手段１０からの制御信号により制御される。

アナログ信号処理手段６は、撮像素子５の撮像信号を入力、ＣＤＳ(相関二重サンプリング)処理を行い、利得Ｇによる増幅を行い、アナログ信号を出力する。増幅利得Ｇは、露出制御手段１０からの制御信号により制御される。

Ａ／Ｄ変換手段７は、アナログ信号処理手段６からのアナログ信号を入力し、デジタル信号に変換して出力する。

タイミング生成手段９は、撮像素子５の駆動タイミングパルスを生成する。駆動タイミングパルスは、例えば撮像素子５がＣＣＤセンサーである場合には、水平ＣＣＤの電荷転送を行う水平転送パルス、垂直ＣＣＤの電荷転送を行う垂直転送パルス、蓄積された電荷をＣＣＤ基板電位へ掃き出し、電子シャッタ動作を行うための電荷掃き出しパルス、水平ＣＣＤの水平転送された電荷を画素ごとにリセットするリセットパルスなどのパルスである。

タイミング生成手段９はまた、アナログ信号処理手段６のサンプリングパルスと、Ａ／Ｄ変換手段７のＡ／Ｄクロックをも生成する。

なお、撮像素子５は、ＣＣＤセンサーに限定されず、例えばＣＭＯＳセンサーであっても良い。ＣＭＯＳセンサーなど画素電荷のリセットや、電荷を読み出す駆動方法が、異なるセンサーにおいても、露出制御ができるものであれば、使用可能である。

また、上記の例では、センサが電子シャッタ機能を有するものとしているが、絞りによる光量調整やメカニカルシャッタによる露光時間調整が可能な撮像装置に対しても、本発明を適用することができる。

カメラ信号処理手段８は、Ａ／Ｄ変換手段７のから出力されるデジタル信号を入力し、ホワイトバランス処理、補間処理によるＲＧＢ信号の生成、ＹＣｂＣｒ変換、カラーマトリクス変換、階調変換等の処理を行って、撮像信号Ｘａを出力する。

撮像素子５と、アナログ信号処理手段６と、Ａ／Ｄ変換手段７と、カメラ信号処理手段８とで、被写体からの光を受けて、該光に応じた撮像信号（第１の撮像信号）Ｘａを出力する撮像信号生成手段１４が構成されている。

撮像信号Ｘａは、例えば、８ビット階調で、水平６４０×垂直４８０画素に２次元配列された赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３色の撮像信号（以下「ＲＧＢ信号」と言う。）である。撮像信号ＸａのＲ信号レベルをＲ（Ｍ，Ｎ）、撮像信号ＸａのＧ信号レベルをＧ（Ｍ，Ｎ）、撮像信号ＸａのＢ信号レベルをＢ（Ｍ，Ｎ）と表記する。ここで、Ｍは水平画素位置、Ｎは垂直画素位置を示す。

撮像信号Ｘａは、ＲＧＢ信号に限らず、ＹＣｂＣｒ信号、Ｌ＊ａ＊ｂ＊信号、又はＨＳＶ（Ｈｕｅ、Ｓａｔｕｒａｔｉｏｎ、Ｖａｌｕｅ）信号などであってもよい。撮像信号ＸａとしてＹＣｂＣｒ信号、Ｌ＊ａ＊ｂ＊信号、又はＨＳＶ信号を用いる場合には、各色空間の信号をＲＧＢ信号に色変換処理する色変換手段（図示せず）を輝度フィルタリング手段３の内部に（入力段に）備える。
また、撮像信号Ｘａの階調数は、上記８ビットに限定されず、静止画ファイルで用いられる１０ビット又は１２ビットなどの他の階調数であってもよい。さらに、撮像信号Ｘａの画素数は、上記値に限定されず、水平１０２４×垂直９６０画素などの他の画素数であってもよい。

積算手段１１は、Ａ／Ｄ変換手段７のデジタル信号出力をそれぞれ画面の一部をなす複数の測光窓の各々で、積算値Ａｓを求める。例えば、各測光窓の大きさを、１０画素×１０画素とし、画面の有効画素領域内を分割する。１０画素×１０画素の測光窓サイズを用いると、有効画素数６４０×４８０では、６４×４８の測光窓数が得られる。なお、測光窓のサイズや数、さらにはそれらの位置は任意に定めることができる。

露出制御手段１０は、積算手段１１の測光窓ごとの積算値Ａｓを用いて、撮像装置の露出条件を求め、露出を制御する。
図１の構成においては、タイミング生成手段９による電荷蓄積時間（露光時間）Ｓの制御及びアナログ信号処理手段６における増幅利得Ｇの制御により、露出の制御を行っている。即ち、電荷蓄積時間Ｓと増幅利得Ｇの積に比例する「露出値」の制御を行う。

図２は、露出制御手段１０の一例を示す。図示の露出制御手段１０は、第１の露出値生成手段１６と、第２の露出値生成手段１７とを有する。

第１の露出値生成手段１６は、測光窓の積算値Ａｓから、経験的に或いは統計的に得られたアルゴリズムに従い、有効な測光窓を選択し、選択した測光窓の積算値Ａｓから得られるＡＰＬ（Ａｖｅｒａｇｅ Ｐｉｃｔｕｒｅ Ｌｅｖｅｌ）が所定の目標値（例えば最大値の５０％）Ｔｇｔになるようにするための露出値（第１の露出値）Ｅ１を生成する。目標値Ｔｇｔは例えば、図示しない制御手段から供給される。
第２の露出値生成手段１７は、補正利得の最大値Ｇｍａｘを入力し、第１の露出値Ｅ１を、後に図１２、図１３、図１４、図１８、及び図１９を参照して説明するようにして、補正利得の最大値Ｇｍａｘに基づいて得られる露出補正値Ｋｄを用いて補正した露出値（以下、「第２の露出値」）Ｅ２を生成する。
第１の露出値Ｅ１は例えば電荷蓄積時間Ｓと利得Ｇとを規定するものであり、
Ｅ１＝Ｋｆ×Ｓ×Ｇ
（但し、Ｋｆは定数）の関係を有し、第２の露出値Ｅ２も例えば電荷蓄積時間Ｓと利得Ｇとを規定するものであり、
Ｅ２＝Ｋｆ×Ｓ×Ｇ
（但し、Ｓ，Ｇの値は、Ｅ１の場合とは異なる）
の関係を有する。

図３に、露光制御の制御特性の一例を示す両対数グラフである。横軸は、被写体の照度Ｌを示し、縦軸は、電荷蓄積時間Ｓの逆数１／Ｓ及び利得Ｇを示す。第１の所定の照度Ｌｂ以上の明るい環境下では、利得Ｇを一定の値（Ｇ＝２）とし、照度の上昇とともに、電荷蓄積時間Ｓをより短く（シャッタ速度Ｓをより速く）している。一方、上記の第１の所定値Ｌｂ未満では、電荷蓄積時間Ｓを固定とし、利得Ｇを照度の低下とともに、増加させている。さらに、第２の所定値Ｌａ（Ｌａ＜Ｌｂ）未満では、利得Ｇも最大値Ｘｇで固定させている。さらに第３の所定値Ｌｃ以上でも、利得Ｇ及び電荷蓄積時間Ｓを固定している。図３の特性は、照度Ｌが第２の所定値Ｌａ以上で第３の所定値Ｌｃ未満の範囲において、ＡＰＬが所定値例えば最大値の５０％になるようにするためのものである。

図３の制御特性を用いて電荷蓄積時間Ｓ及び利得Ｇを決定する場合、電荷蓄積時間Ｓ，利得Ｇをある値、例えば所定の初期値Ｓ０、Ｇ０に設定し、その時の積算値Ａｓから、被写体の照度Ｌを、
Ｌ＝Ｋａ×Ａｓ／（Ｓ０×Ｇ０）
（Ｋａは所定の定数）により、算出し、被写体の照度Ｌに基づき、図３の特性に用いて、電荷蓄積時間Ｓ及び利得Ｇを定めるこのようにして得られた電荷蓄積時間Ｓ及び利得Ｇと所定の定数Ｋｆの積が第１の露出値Ｅ１に一致する。第１の露出値Ｅ１が決定された後に、補正係数Ｋｄが与えられ、補正係数Ｋｄにより第２の露出値Ｅ２が算出されると、電荷蓄積時間Ｓと、利得Ｇと、上記の定数Ｋｆとの積が第２の露出値Ｅ２に一致するように、電荷蓄積時間Ｓ及び利得Ｇの一方または双方を変更する。例えば、図３において、電荷蓄積時間Ｓが固定された範囲（第１の所定値Ｌｂ未満の範囲）では、利得Ｇを変更し、利得Ｇが固定された範囲（第１の所定値Ｌｂ以上の範囲）では、電荷蓄積時間Ｓを変更する。なお、電荷蓄積時間Ｓ及び利得Ｇの双方が固定された範囲（第３の所定値Ｌｃ以上）では、電荷蓄積時間Ｓも利得Ｇも変更しない。

なお、以上は、露出制御の一例を示しているのみで、その他の露出制御を用いても良い。例えば、上記の説明では、一つのフレームから得られる積算値Ａｓに基づいて第１の露出値Ｅ１が定められるものとしているが、一つのフレーム（１番目のフレーム）から得られた第１の露出値Ｅ１に対応する電荷蓄積時間Ｓ及び利得Ｇで次のフレーム（２番目のフレーム）の撮像を行い、その２番目のフレームから得られた積算値に基づいて再度第１の露出値Ｅ１を求めると言った処理を繰り返すことで、第１の露出値Ｅ１をより適切なものに収束させた上で、第２の露出値Ｅ２を生成することとしても良い。
この場合、第１の露出値Ｅ１に対応する電荷蓄積時間Ｓ及び利得Ｇ（を示す制御信号）を第２の露出値Ｅ２に対応する電荷蓄積時間Ｓ及び利得Ｇ（を示す制御信号）の代わりに、撮像素子５及びアナログ信号処理手段６に供給するため切り替え手段を露出制御手段１０内に設ければ良い。

輝度フィルタリング手段３は、カメラ信号処理手段８から出力される撮像信号Ｘａの輝度成分（撮像信号Ｘａに含まれる輝度信号又は撮像信号Ｘａから生成される輝度信号）の各画素及びその周辺の画素の値に対してフィルタリングを行う。
補正利得算出手段４は、輝度フィルタリング手段３からのフィルタリング出力と、補正利得の最大値Ｇｍａｘとに基づいて画素ごとの補正利得Ｇ_ｋを算出する。
輝度フィルタリング手段３と補正利得算出手段４とで、撮像信号Ｘａの輝度成分の各画素及びその周辺の画素の値に対するフィルタリングを行い、そのフィルタリング出力と補正利得の最大値Ｇｍａｘとに基づいて画素ごとに補正利得Ｇ_ｋを決定する補正利得決定手段１５が構成されている。

図４は、輝度フィルタリング手段３の一例を示すブロック図である。図示の輝度フィルタリング手段３は、輝度検出手段３１と、フィルタ手段３２とを有し、カメラ信号処理手段８から出力される撮像信号Ｘａから、輝度信号Ｙを生成し、輝度信号の連続する複数の画素にわたるフィルタリング出力、例えば平均輝度信号Ｙａｖｇを求めて出力する。

輝度検出手段３１は、撮像信号Ｘａから輝度信号成分を求めて出力する。ＩＴＵ−Ｒ ＢＴ．７０９規定の場合、輝度信号Ｙは、ＲＧＢ信号から、次式（１）で求めることができる。
Ｙ＝０．２９９×Ｒ（Ｍ，Ｎ）＋０．５８７×Ｇ（Ｍ，Ｎ）＋０．１１４×Ｂ（Ｍ，Ｎ）
…（１）
なお、ＲＧＢ信号から輝度信号Ｙを求めるための変換式は、上記式（１）に限定されず、画像処理を行うシステムが採用する色空間の規格によって規定される。また、撮像信号Ｘａに輝度信号Ｙが含まれる場合は、輝度検出手段３１は、輝度信号Ｙを求めるための計算を行わずに、撮像信号Ｘａの輝度信号Ｙをフィルタ手段３２に出力する。

フィルタ手段３２は、１次元ｎタップの非巡回型デジタルフィルタであり、ディレイ手段３３と、係数手段３４と、加算手段３５とを有する。ディレイ手段３３は、撮像信号Ｘａの輝度信号を遅延させる遅延素子ＤＬ（−１）、遅延素子ＤＬ（−１）の出力を遅延させる遅延素子ＤＬ（０）、及び遅延素子ＤＬ（０）の出力を遅延させる遅延素子ＤＬ（１）を有する。係数手段３４は、遅延素子ＤＬ（−１）の出力に係数ａ_ｋ（−１）を乗算する乗算器３４ａ、遅延素子ＤＬ（０）の出力に係数ａ_ｋ（０）を乗算する乗算器３４ｂ、及び遅延素子ＤＬ（１）の出力に係数ａ_ｋ（１）を乗算する乗算器３４ｃを有する。なお、タップ数ｎは、ｎ＝２×ｋ＋１（ｋは正の整数）を満たす。
また、遅延素子ＤＬ（−１）を設けず、輝度演算手段３１の出力を直接遅延素子ＤＬ（０）及び乗算器３４ａに入力するようにしても良い。

フィルタ手段３２は、輝度検出手段３１から出力された輝度信号Ｙにフィルタ処理を施して、フィルタ処理後のフィルタ信号を出力する。図４は、タップ数ｎが３タップである場合を示す。なお、フィルタ手段３２から出力されるフィルタ信号は、例えば、平均輝度Ｙａｖｇであり、次式（２）で求めることができる。

式（２）において、Ｙ（−１）、Ｙ（０）、及びＹ（１）はそれぞれ、補正を行う画素の１画素後の画素の輝度信号、補正を行う画素の輝度信号、及び補正を行う画素の１画素前の画素の輝度信号を示す。ここで、係数ａ_ｋ（−１）＝ａ_ｋ（０）＝ａ_ｋ（１）＝１とすると、式（２）の分母は、次式のようになり、式（２）は単純平均を求める演算を表すものとなる。

したがって、式（２）により、補正を行う画素と、補正を行う画素の周辺画素の平均輝度を求めることができる。なお、「補正を行う画素の周辺画素」とは、ｉを所定の整数としたときに、補正を行う画素のｉ画素前の画素から補正を行う画素の１画素前の画素まで、及び補正を行う画素の１画素後の画素から補正を行う画素のｉ画素後の画素までである。所定の整数ｉが１であるときには、「補正を行う画素の周辺画素」は、補正を行う画素の１画素前の画素、及び補正を行う画素の１画素後の画素である。

このように１次元の非巡回型デジタルフィルタの構成を用いることで、輝度検出手段３１の輝度信号Ｙの１次元方向のフィルタ出力を求めることができる。求められたフィルタ出力は、輝度信号Ｙと補正を行う画素の周辺画素の平均値を求めるように構成することで、１次元方向の明るさの分布の変化を求めることができる。よって、明るさの分布の変化に対応した補正利得を検出することができ、明るさの分布の変化を考慮した、信号のコントラストを補正することができる。また、デジタル信号処理回路としては、一般的な構成であり、回路規模の簡素化が図れ、ゲート規模削減、コスト低下の効果がある。

タップ数ｎは、３タップに限らず、任意のタップ数とすることができる。タップ数を増やすことで、カットオフ周波数の特性を細かく設定することができ、また、広い範囲に及ぶ緩やかな輝度変化を検出することができる。このように、タップ数ｎを切替えることで、入力画像内の異なる照明条件による輝度分布の変化に応じて最適なフィルタ手段３２を構成することができる。

以上の説明においては、フィルタ手段３２が１次元の非巡回型デジタルフィルタである場合を説明したが、フィルタ手段３２は２次元の非巡回型デジタルフィルタであってもよい。２次元の非巡回型デジタルフィルタを用いることによって、入力画像の輝度の領域的な変化を検出することができる。

また、フィルタ手段３２は、上記式（２）に基づく平均輝度Ｙａｖｇを算出する処理を行う構成に限定されず、明るさの分布の変化を求めることができる構成であれば良く、加重平均を出力する構成、ローパスフィルタを用いた構成、又はバンドパスフィルタを用いた構成等のような他の構成とすることができる。

次に、補正利得算出手段４は、輝度フィルタリング手段３から出力された平均輝度信号Ｙａｖｇに基づいて、補正利得Ｇ_ｋを算出して出力する。
例えば、次式（３）により補正利得Ｇ_ｋを求める。

式（３）において、Ｙａｖｇは、フィルタ手段３２から出力され補正利得算出手段４に入力される平均輝度を示し、Ｇｍａｘは、補正利得の最大値（最大利得）を示し、Ｙｍａｘは、フィルタ手段３２の最大出力である最大輝度（撮像信号Ｘａが取り得る値の範囲内の最大値）を示す。

最大輝度Ｙｍａｘは、撮像信号のデジタル分解能（階調数）により一義的に決まる。例えば、８ビット階調の場合は、最大輝度Ｙｍａｘは２５５であり、１０ビット階調の場合は、最大輝度Ｙｍａｘは１０２３である。

式（３）で補正利得Ｇ_ｋを演算する場合、最大値Ｇｍａｘを画像の画質に応じて決めることができ、きめ細かい、最適な画質改善が行える。例えば、画面の照明光による輝度分布など、比較的広い領域の輝度変化（空間周波数が低い輝度変化）を用いて、照明光の輝度成分を補正し、コントラスト、視感特性の改善を図ることができる。

例えば、利得補正手段２から出力される補正された撮像信号Ｘｂを最大補正利得算出手段１３で画像解析し、撮影画面中、暗い信号量が領域的分布を検出することで、最大補正利得Ｇｍａｘを算出乃至決定することができる。例えば、撮像画面中の暗い画素(例えば、Ｙｍａｘの１０％以下の輝度信号の画素)が連続する領域の面積と、全画面に対する面積の割合を算出し、規定値（例えば、５％）以上存在した場合は、（予め定めた値の代わりに用いるべき）Ｇｍａｘを求める。Ｇｍａｘは、例えば
Ｇｍａｘ＝Ｙｔｇ／Ｙｄｋ
により求めることができる。上記の式で、Ｙｔｇは、規定の信号レベルであり、例えばＹｍａｘの５０％の値に設定される。また、Ｙｄｋは、暗部、即ち輝度信号がＹｍａｘの１０％以下の領域の平均輝度である。
撮像画面中の暗い画素（例えば、Ｙｍａｘの１０％以下の輝度信号の画素）が連続する領域の面積が、全画面に対して上記の規定値（例えば、５％）未満しか存在しない場合には、上記の式による演算を行わず、予め定めた値のＧｍａｘを用いる。

なお、ここで、用いた数値（上記の暗い領域を定義する「１０％」、規定値を表す「５％」、規定の信号レベルＴｇである「５０％」）は、実験的、経験的、統計的に導出した数値であり、表示装置の特性、画像処理回路などの構成に応じて、変更することができる。

また、Ｇｍａｘを上記のように演算により定める代りに、撮像装置の後段に設けられ、撮像結果を表示手段で表示し、表示された画像を確認し、感覚的判断によりＧｍａｘを定めることもできる。

さらに、補正された撮像信号Ｘｂに基づいて、輝度分布のヒストグラム解析、画像の領域的な輝度分布解析、空や、人物の肌などの色情報解析、形状等のパターン解析等高度な情報解析を行うことで、さらに高精度なＧｍａｘの決定を行っても良い。

最大利得Ｇｍａｘとしては、前述のように撮像装置内で画像解析を行うことで、撮像装置により算出し、撮像装置内に保持されたものを用いることもできるが、撮像装置を含む、上位のシステムから、最大利得Ｇｍａｘを制御するインターフェースを構成し、上位のシステムからＧｍａｘを切替えることとしても良い。

上記した「上位のシステム」の一例として、撮像信号Ｘｂに基づいて、撮像装置の画像を解析する画像解析装置、撮像装置の画像から、物・人等の特徴点を抽出・検出する特徴点検出装置などがある。この場合例えば、画像解析装置では、風景などの撮像画像から、窓から臨む野外の風景や、空などの明部の信号と、室内風景や、山の影などの暗部の信号などを解析し、撮像画像の画質が向上するようＧｍａｘを設定する。

また、特徴点検出装置などでは、被写体の特徴点が最適に検出できるようにＧｍａｘを設定する。

このように上位のシステムを用いることで、精度が高く、上位システムに最適な画質改善を行うシステムを構成することができる。

図６は、補正利得算出手段４から出力される補正利得Ｇ_ｋを示すグラフであり、図７は、補正利得算出手段４から出力される補正利得Ｇ_ｋを示す表である。図６において、横軸は、最大輝度で規格化された平均輝度Ｙａｖｇ／Ｙｍａｘを示し、縦軸は、補正利得Ｇ_ｋを示す。

図６及び図７に示されるように、最大利得Ｇｍａｘが１より大きい場合には、最大輝度で規格化された平均輝度Ｙａｖｇ／Ｙｍａｘが増加するにつれて（すなわち、平均輝度Ｙａｖｇが増加するにつれて）、補正利得Ｇ_ｋは最大利得Ｇｍａｘから減少し、平均輝度Ｙａｖｇが最大輝度Ｙｍａｘに等しくなると（すなわち、Ｙａｖｇ／Ｙｍａｘ＝１になると）、補正利得Ｇ_ｋは１倍になる。また、最大利得Ｇｍａｘが１である場合には、補正利得Ｇ_ｋは１倍になる。

なお、補正利得算出手段４として、式（３）による演算を実行して補正利得Ｇ_ｋを得る構成を説明したが、予め平均輝度Ｙａｖｇに対応する補正利得Ｇ_ｋをルックアップテーブル(ＬＵＴ）として保持しておくこともできる。このようなＬＵＴを用いた場合には、割り算処理を行う必要が無くなるので、補正利得算出手段４における計算処理の簡素化を図ることができる。

図５にＬＵＴを用いた場合のブロック図を示す。それぞれＧｍａｘの異なる値に対応した複数個のＬＵＴ４１ａ、４１ｂ、４１ｃと、複数個のＬＵＴ４１ａ、４１ｂ、４１ｃのうち、Ｇｍａｘに適したＬＵＴを選択する選択手段４２と、選択手段４２により選択されたＬＵＴの内容が書き込まれ、該書き込まれたＬＵＴの内容を保持するＬＵＴ４３を搭載している。ＬＵＴ４３は、入力される平均輝度Ｙａｖｇに応じて、補正利得Ｇ_ｋを出力する。

このように、図５の補正利得算出手段４では、ＬＵＴ４１ａ、４１ｂ、４１ｃは、Ｇｍａｘの異なる値ごとに平均輝度Ｙａｖｇに対する補正利得Ｇ_ｋを保持した構成をしている。また、ＬＵＴ４３は、平均輝度Ｙａｖｇを入力し、対応する補正利得Ｇ_ｋを出力する構成をしている。

補正利得算出手段４をＬＵＴで構成することで、乗算手段、除算手段が不要になり、ゲート規模の削減、処理時間の短縮等の効果がある。

図１の利得補正手段２の一例を図８に示す。図８に示される利得補正手段２は、乗算手段２１から成り、補正利得算出手段４から出力された補正利得Ｇ_ｋが入力され、カメラ信号処理手段８からの撮像信号Ｘａに補正利得Ｇ_ｋを乗算して、撮像信号Ｘｂを出力する。すなわち、下記の式により、撮像信号Ｘｂを求める。
Ｘｂ＝Ｇ_ｋ×Ｘａ

補正利得Ｇ_ｋは、撮像信号Ｘｂが撮像信号Ｘａの単調増加関数になるように設定してあり、隣接画素間で信号値の大小関係が反転することなく、階調反転が発生せず、画質の劣化を防いでいる。

図９は、実施の形態１において用いる補正利得を、最大輝度で規格化した平均輝度に乗算した値を示すグラフである。図９において、横軸は、最大輝度で規格化された平均輝度Ｙａｖｇ／Ｙｍａｘを示し、縦軸は、最大輝度で規格化された平均輝度Ｙａｖｇ／Ｙｍａｘに補正利得Ｇ_ｋを乗算した値Ｇ_ｋ×Ｙａｖｇ／Ｙｍａｘを示す。

ここで、補正利得Ｇ_ｋは、補正輝度Ｇ_ｋ×Ｙａｖｇ／Ｙｍａｘが単調増加関数になるように求めた値である。図９には、最大利得Ｇｍａｘが１倍、３倍、５倍の場合の補正輝度Ｇ_ｋ×Ｙａｖｇ／Ｙｍａｘを示している。補正輝度は、Ｇ_ｋ×Ｙａｖｇ／Ｙｍａｘ以外の計算に基づく補正輝度を用いてもよい。図９から分かるように、最大利得Ｇｍａｘが１倍の場合は、撮像信号Ｘａがそのまま出力される。図９から分かるように、最大利得Ｇｍａｘが大きくなるにつれて、低輝度側の傾きが大きく、高輝度側の傾きが小さくなる。低輝度側の傾きを大きくすることで、黒つぶれしやすい低域の信号成分を増幅して出力することができ、低輝度部のコントラストが改善できる。また、高輝度側の傾きを低輝度側に比べて１．０倍程度に小さくすることで、高輝度側の輝度信号やコントラストの信号が維持される。これにより、高輝度側が白つぶれする問題を防ぐことができ、高輝度や低輝度の信号においてもコントラスの高い信号を取り出せ、視認性の向上が図れる。

以下に、図１０と図１１を用いて、処理手順を説明する。図１０は、撮像装置の全体的な処理手順を示す。図１１は、図１０の利得補正処理（ＳＴ５）の詳細を示す。

図１０に示されるように、実施の形態１の撮像装置は、Ｇｍａｘ判定処理（ＳＴ１）、Ｇｍａｘ変更処理（ＳＴ２）、露出処理（ＳＴ３）、撮像処理（ＳＴ４）、利得補正処理（ＳＴ５）、終了判定処理（ＳＴ６）を行う。
ステップＳＴ１では、Ｇｍａｘを変更する必要があるか判定する。電源投入時は、変更の必要がないものとして、所定の初期値を出力する。電源投入後、Ｇｍａｘの変更要求が発生した場合、Ｇｍａｘを変更する。Ｇｍａｘの変更要求としては、画像解析結果による、Ｇｍａｘ変更要求や、上位システムからのＧｍａｘ変更要求などがある。

ステップＳＴ１において、Ｇｍａｘ変更が必要と判断された場合は、ステップＳＴ２のＧｍａｘ変更処理を行う。Ｇｍａｘ変更処理は、初期値、又は現在保持されているＧｍａｘ値を、新しいＧｍａｘ値に置き換える。ステップＳＴ１にて、Ｇｍａｘ変更要求が無い場合は、ステップＳＴ２の処理を行わずにステップＳＴ３に進む。

なお、図１０に示す例では、Ｇｍａｘ判定処理（ＳＴ１）及びＧｍａｘ変更処理（ＳＴ２）を含むが、スチル撮影や、Ｇｍａｘが初期値のままで良い場合などは、これらの処理（ステップＳＴ１，ＳＴ２の処理）を行わない構成でも良い。

ステップＳＴ３の露出処理においては、撮像画像から被写体の露出状態を検出し、第１の露出値Ｅ１を求め、さらに、Ｇｍａｘと、第１の露出値Ｅ１から第２の露出値Ｅ２を求める。
さらに、第１の露出値Ｅ１、又は第２の露出値Ｅ２をもとに、撮像素子５の電荷蓄積時間Ｓ及び利得Ｇの調整を行う。

ここで、第１の露出値Ｅ１と第２の露出値Ｅ２の切替えは、撮像装置内の図示しない制御手段或いは外部システムにあるシステムを制御する制御手段によって制御する。制御手段は例えばマイコンで構成される。
一例として、静止画撮影などにおいて、最適な露出補正を設定する場合には、第１の露出値Ｅ１で設定し、補正利得の最大値Ｇｍａｘの変更処理（ＳＴ２）や後述の利得補正処理（ＳＴ５）を実施せずに撮影を行い、得られた撮像結果より、補正利得の最大値Ｇｍａｘと露出補正値Ｋｄを求め、これらを用いて第２の露出値Ｅ２を求め、後のフレームにおける撮像に反映することとしても良い。

ステップＳＴ４の撮像処理では、露出処理（ＳＴ３）で得た、露出値（第１の露出値Ｅ１又は第２の露出値Ｅ２）に基づいて、露出制御を行い、撮像を行い、撮像信号を出力する。

利得補正処理（ＳＴ５）では、撮像処理（ＳＴ４）で得た撮像信号の補正利得Ｇ_ｋを画素毎に求め、補正利得Ｇ_ｋを撮像信号Ｘａ（各画素の信号）に乗算して補正された撮像信号Ｘｂを求める処理を行う。
ステップＳＴ６の終了判定処理では、撮像を終了するか否かの判定を行い、継続する場合は、ステップＳＴ１に戻る。

図１０の利得補正処理（ＳＴ５）の詳細の一例が図１１に示されている。図１１に示されるステップのうち、ステップＳＴ１０、ステップＳＴ１４、ステップＳＴ１５、ステップＳＴ１６、及びステップＳＴ１７は、１フレーム分の処理を時系列で行うための処理であり、ステップＳＴ１０、ＳＴ１４、ＳＴ１５の「ｉ」は、処理対象画素の各ライン中の番号、ステップＳＴ１０、ＳＴ１６、ＳＴ１７の「ｊ」は、処理対象画素が属するラインの番号を示している。ステップＳＴ１５のＸＰｉｘｅｌは、１ライン中の画素数、ステップＳＴ１７のＹＬｉｎｅは、画面中のライン数を表す。
なお、画像データをメモリに蓄積した場合などは、これらの処理を時系列で行う必要はなく、ステップＳＴ１１から、ステップＳＴ１３までの処理のみでよい。

ステップＳＴ１０では、画素番号ｉ及びライン番号ｊを初期値（０）に設定する。
輝度フィルタリングステップＳＴ１１は、輝度フィルタリング手段３と同一の処理を行うステップであり、画素と周辺画素の、平均輝度Ｙａｖｇを求める。

補正利得算出ステップＳＴ１２は、補正利得算出手段４と同一の処理を行うステップであり、輝度フィルタリング処理ステップＳＴ１１で求められた平均輝度Ｙａｖｇをもとに補正利得Ｇ_ｋを求める。

利得補正演算ステップＳＴ１３は、補正利得算出ステップＳＴ１２で求めた補正利得Ｇ_ｋと、撮像信号（各画素のデータ）Ｘａを乗算して、補正された撮像信号（各画素のデータ）Ｘｂを求める。

ステップＳＴ１４では、画素番号ｉを１だけ増加させる。ステップＳＴ１５で、ｉがＸＰｉｅｘｌより小さければ、ステップＳＴ１１に戻る。ステップＳＴ１５で、ｉがＸＰｉｅｘｌより小さくなければ、ステップＳＴ１６に進む。
ステップＳＴ１６では、ライン番号ｊを１だけ増加させる。ステップＳＴ１７で、ｊがＹＬｉｎｅより小さければ、ステップＳＴ１１に戻る。ステップＳＴ１７で、ｊがＹＬｉｎｅより小さくなければ、処理を終了する。

図１２は、第２の露出値Ｅ２を求める際に用いられる露出補正値ＫｄのＧｍａｘに対する関係の一例を示している。
図示の例では、Ｇｍａｘが所定の閾値Ｇｔａ（図示の例ではＧｔａ＝２）未満ではＫｄ＝０、閾値Ｇｔａ（＝２）以上ではＫｄ＝Ｋｄ１（所定の正の実数）である。
第２の露出値Ｅ２は、第１の露出値Ｅ１と露出補正値Ｋｄとから下記の式（４）により求められる。
Ｅ２＝Ｋｅ×Ｅ１×（１／２）＾Ｋｄ …（４）
（なお、上記の式において、Ｋｅは、補正係数であり、正の実数ある。「＾」はそれに続く符号「Ｋｄ」がべき指数を表すものであることを意味する。以下、同様である。）
上記の式で求められる第２の露出値Ｅ２は、Ｋｄが大きいほど、より小さな値となる。

ここで、補正係数Ｋｅは、通常１でよいが、撮像装置の構成により、実験的に得られた定数を用いる。また、撮像状態の画像解析を行い、画像の輝度レベルの状態で、補正係数Ｋｅの値を切替えてもよい。

図１２では、上記のように、最大利得Ｇｍａｘが所定の閾値Ｇｔａ（＝２）以上のときは、Ｋｄ＝Ｋｄ１であり、Ｇｍａｘが閾値Ｇｔａ（＝２）より小さい場合は、Ｋｄ＝０としている。
Ｋｄ＝０とすることで、第１の露出値と第２の露出値は、比例関数となる。
Ｋｄ＝２以上の場合は、
Ｅ２＝Ｋｅ×Ｅ１×（１／２）＾Ｋｄ１
で求められる第２の露出値Ｅ２が用いられる。これにより、露出が絞られ、露出状態が暗くなる。
ここで、露出補正値Ｋｄを切り換える閾値Ｇｔａを「２」に設定しているが、「１」以上の数であれば良く、Ｇｍａｘが閾値Ｇｔａ未満の場合には、Ｋｄ＝0となるように設定すれば良い。また、Ｇｍａｘが閾値Ｇｔａ以上の場合には、Ｋｄが正の実数に設定されることで、露出を絞る方向に制御する。このようにＧｍａｘに応じて、露出補正値Ｋｄを制御することで、明部の白つぶれや、明部のコントラスト低下を改善したうえで、暗部の視認性を向上することが出来る。

図１２に示される関係により露出補正値Ｋｄを求める代りに、図１３又は図１４に示される関係により露出補正値Ｋｄを求めることとしても良い。
図１３に示される例では、Ｇｍａｘが閾値Ｇｔａ以上の範囲において、Ｇｍａｘの増加に伴い、露出補正値Ｋｄが段階的に増加する。
図１４に示される例では、Ｇｍａｘが閾値Ｇｔａ以上の範囲において、Ｇｍａｘの増加に伴い、露出補正値Ｋｄが連続的に増加する。

さらに、図１２に示される関係、図１３に示される関係、及び図１４に示される関係など、互いに異なる関係を動的に切り替えて使用する構成を採用することもできる。図１３、図１４に示されるように露出補正値が変化する構成を採用したり、図１２、図１３、図１４のように互いに異なる関係を動的に切り替え可能な構成を採用することで、撮像画像に最適な露出補正値Ｋｄを決定することができ、補正後の画像の品位を向上させることができ、視認性も向上させることができる。

図１２に示されるＧｍａｘとＫｄの関係においては、Ｇｔａ以上の範囲におけるＫｄの値をＫｄ１に固定しているが、撮像信号Ｘａの信号レベルのヒストグラムに基づき、Ｋｄの値を変えるようにしても良い。

この場合に用いられる露出制御手段１０を図１５に示す。図示の露出制御手段１０は、図２の露出制御手段１０と概して同じであるが、ヒストグラム生成解析手段１９を備える。ヒストグラム生成解析手段１９は、撮像信号Ｘａを受けてヒストグラムを生成して解析し、解析結果Ｈａを出力する。第２の露出値生成手段１７は、第１の露出値Ｅ１と、補正利得の最大値Ｇｍａｘと、ヒストグラム生成解析手段１９におけるヒストグラムの解析結果Ｈａとに基づいて第２の露出値Ｅ２を生成する。

図１６及び図１７は、ヒストグラムの互いに異なる二つの例を示す。図１６に示される例では、撮像信号Ｘａが中心付近に多く分布している。この場合には、露出補正値Ｋｄを低めに設定し、例えば、式（４）で与えられる第２の露出値Ｅ２がより大きな値となるようにする。露出補正値Ｋｄを低めに設定する例が図１８に示されている。図示の例では、図１２に示されるのと同じＫｄ１（破線で示す）に対して、より低いＫｄ４（実線）が用いられる。このように、露出補正値Ｋｄをより小さくすることにより、より高い露出値を用いることで、高輝度の信号が多少圧縮されるが、情報量の多い中間調と、暗部の輝度補正を行うことができる。

図１７に示されるように、高輝度信号が多い場合には、露出補正値Ｋｄを高めに設定し、例えば、式（４）で与えられる第２の露出値Ｅ２がより小さな値となるようにする。露出補正値Ｋｄを高めに設定する例が図１９に示されている。図示の例では、図１２に示されるのと同じＫｄ１（破線で示す）に対して、より高いＫｄ５（実線）が用いられる。このように、露出補正値Ｋｄをより大きくすることにより、より低い露出値を用いることで、高輝度部の圧縮による高輝度部の情報量低下を回避することができる。

このように、ヒストグラム解析結果Ｈａに基づいて露出補正値Ｋｄを切り換えることで、露出値設定の精度を向上させることができ、視認性の向上を図ることができる。なお、ヒストグラム解析以外の画像解析結果を用いて露出補正値を切り換えることとしても良い。

また、ヒストグラムやそれ以外の画像解析の結果に基づいて、露出補正値のみならず、補正利得を制御するようにしても良い。

図２０は、実施の形態１に係る撮像装置による補正処理前の画像の一例を示す図であり、図２１は、実施の形態１に係る撮像装置による補正処理後の画像の一例を示す図である。

図２０は、明るい領域、すなわち、窓の外の景色（符号ＤＳ１で示される部分）が鮮明に再現されているが、暗い領域、すなわち、室内の人物ＨＤ１などは、黒潰れに近い状態になっていることを示している。

図２２（ａ）及び（ｂ）は、実施の形態１に係る撮像装置において、撮像画像の明るい領域（すなわち、図２０において窓を通して部屋の外が見える領域ＤＳ１）の処理に関し、図２２（ａ）は、画素位置ｐ０から画素位置ｐ６までにおける規格化された利得補正前の撮像信号Ｘａの輝度信号（以下単に「入力輝度信号」と言うことがある）Ｘｉｎ／Ｙｍａｘと規格化された平均輝度Ｙａｖｇ／Ｙｍａｘを示す図であり、図２２（ｂ）は、図２２（ａ）と同じ画素位置ｐ０から画素位置ｐ６までにおける規格化された入力輝度信号Ｘｉｎ／Ｙｍａｘと規格化された利得補正後の撮像信号Ｘｂの輝度信号（以下単に「出力輝度信号」と言うことがある）Ｘｏｕｔ／Ｙｍａｘを示す図である。

図２２（ａ）に破線で示されるように、規格化された入力輝度信号Ｘｉｎ／Ｙｍａｘは、画素位置ｐ１において０．６、画素位置ｐ２において０．７、画素位置ｐ３において０．８、画素位置ｐ４において０．７、画素位置ｐ５において０．８、画素位置ｐ６において０．６である。

よって、図２２（ａ）に実線で示されるように、タップ数ｎが３であるときには、規格化された平均輝度Ｙａｖｇ／Ｙｍａｘは、画素位置ｐ１において０．６６、画素位置ｐ２において０．７０、画素位置ｐ３において０．７３、画素位置ｐ４において０．７６、画素位置ｐ５において０．７０、画素位置ｐ６において０．７０となる。

最大利得Ｇｍａｘが３倍であるとき、求めた平均輝度Ｙａｖｇと式（３）より、補正利得Ｇ_ｋは、画素位置ｐ１において１．２９倍、画素位置ｐ２において１．２５倍、画素位置ｐ３において１．２２倍、画素位置ｐ４において１．１９倍、画素位置ｐ５において１．２５倍、画素位置ｐ６において１．２５倍となる。このように、各画素の平均輝度Ｙａｖｇを求めることで、各画素の補正利得Ｇ_ｋを求めることができる。

図２２（ｂ）は、図２２（ａ）と同じ画素位置ｐ０から画素位置Ｐ６までにおける規格化された入力輝度信号Ｘｉｎ／Ｙｍａｘと、規格化された出力輝度信号Ｘｏｕｔ／Ｙｍａｘを示す図である。図２２（ｂ）に破線で示されるように、規格化された入力輝度信号Ｘｉｎ／Ｙｍａｘは、画素位置ｐ１において０．６、画素位置ｐ２において０．７、画素位置ｐ３において０．８、画素位置ｐ４において０．７、画素位置ｐ５において０．８、画素位置ｐ６において０．６である。

座標（Ｍ，Ｎ）の画素の利得補正した出力輝度信号Ｘｏｕｔ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の入力輝度信号Ｘｉｎ（Ｍ，Ｎ）と利得Ｇ_ｋを用いて、次式（５）で求めることができる。
Ｘｏｕｔ（Ｍ，Ｎ）＝Ｇ_ｋ×Ｘｉｎ（Ｍ，Ｎ） …（５）

図２２（ｂ）に実線で示されるように、規格化された出力輝度信号Ｘｏｕｔ／Ｙｍａｘは、画素位置ｐ１において０．７７、画素位置ｐ２において０．８８、画素位置ｐ３において０．９８、画素位置ｐ４において０．８３、画素位置ｐ５において１．００、画素位置ｐ６において０．７５となる。

なお、一般に、入力画像がＲＧＢ信号の場合は、次式（６ａ）、（６ｂ）、（６ｃ）が成り立つ。
Ｒｂ（Ｍ，Ｎ）＝Ｇ_ｋ×Ｒａ（Ｍ，Ｎ） …（６ａ）
Ｇｂ（Ｍ，Ｎ）＝Ｇ_ｋ×Ｇａ（Ｍ，Ｎ） …（６ｂ）
Ｂｂ（Ｍ，Ｎ）＝Ｇ_ｋ×Ｂａ（Ｍ，Ｎ） …（６ｃ）
ここで、Ｒｂ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の利得補正したＲ信号（出力Ｒ信号）であり、Ｒａ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の利得補正前のＲ信号（入力Ｒ信号）であり、Ｇｂ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の利得補正したＧ信号（出力Ｇ信号）であり、Ｇａ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の利得補正前のＧ信号（入力Ｇ信号）であり、Ｂｂ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の利得補正したＢ信号（出力Ｂ信号）であり、Ｂａ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の利得補正前のＢ信号（入力Ｂ信号）である。

また、一般に、入力画像が、ＹＣｂＣｒ信号の場合は、次式（７ａ）、（７ｂ）、（７ｃ）が成り立つ。
Ｙｂ（Ｍ，Ｎ）＝Ｇ_ｋ×Ｙａ（Ｍ，Ｎ） …（７ａ）
Ｃｂｂ（Ｍ，Ｎ）＝Ｇ_ｋ×（Ｃｂａ（Ｍ，Ｎ）−Ｃｂｏｆ）＋Ｃｂｏｆ
…（７ｂ）
Ｃｒｂ（Ｍ，Ｎ）＝Ｇ_ｋ×（Ｃｒａ（Ｍ，Ｎ）−Ｃｒｏｆ）＋Ｃｒｏｆ
…（７ｃ）
ここで、Ｙｂ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の利得補正した輝度信号（出力輝度信号）であり、Ｙａ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の利得補正前の輝度信号（入力輝度信号）であり、Ｃｂｂ（Ｍ，Ｎ）及びＣｒｂ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の利得補正した色差信号であり、Ｃｂａ（Ｍ，Ｎ）及びＣｒａ（Ｍ，Ｎ）は、座標（Ｍ，Ｎ）の画素の補正前の色差信号（入力色差信号）であり、Ｃｂｏｆ及びＣｒｏｆは、色差信号を信号処理する際のオフセット量である。

また、式（６ａ）、（６ｂ）、（６ｃ）に示すように、ＲＧＢ信号一律に同じ補正利得Ｇ_ｋを乗算することにより、局所領域でのホワイトバランスが、ずれることなく、ダイナミックレンジを改善することができる。

図２３（ａ）及び（ｂ）は、実施の形態１に係る撮像装置において、撮像画像の暗い領域（輝度が低い領域）ＨＤ１の処理に関し、図２３（ａ）は、画素位置ｑ０から画素位置ｑ６までにおける規格化された入力輝度信号Ｘｉｎ／Ｙｍａｘと規格化された平均輝度Ｙａｖｇ／Ｙｍａｘを示す図であり、図２３（ｂ）は、図２３（ａ）と同じ画素位置ｑ０から画素位置ｑ６までにおける規格化された入力輝度信号Ｘｉｎ／Ｙｍａｘと規格化された出力輝度信号Ｘｏｕｔ／Ｙｍａｘを示す図である。

図２３（ａ）に破線で示されるように、規格化された入力輝度信号Ｘｉｎ／Ｙｍａｘは、輝度が低い領域ＨＤ１内の画素位置ｑ１において０．１、画素位置ｑ２において０．２、画素位置ｑ３において０．３、画素位置ｑ４において０．２、画素位置ｑ５において０．３、画素位置ｑ６において０．１である。また、図２３（ａ）に実線で示されるように、規格化された平均輝度Ｙａｖｇ／Ｙｍａｘは、画素位置ｑ１において０．１６、画素位置ｑ２において０．２０、画素位置ｑ３において０．２３、画素位置ｑ４において０．２６、画素位置ｑ５において０．２０、画素位置ｑ６において０．２０となる。また、補正利得Ｇ_ｋは、画素位置ｑ１において２．２５倍、画素位置ｑ２において２．１４倍、画素位置ｑ３において２．０５倍、画素位置ｑ４において１．９７倍、画素位置ｑ５において２．１４倍、画素位置ｑ６において２．１４倍である。

図２３（ｂ）に実線で示されるように、各画素の利得補正した出力輝度信号Ｘｏｕｔは、画素位置ｑ１において０．２３、画素位置ｑ２において０．４３、画素位置ｑ３において０．６２、画素位置ｑ４において０．３９、画素位置ｑ５において０．６４、画素位置ｑ６において０．２１となる。

図２２（ｂ）から分かるように、明るい領域ＤＳ１では、補正利得が約１．２倍と出力輝度信号は入力輝度信号とあまり違わない。これにより、明るい領域の画素単位のコントラストは、保持される。これに対し、図２３（ｂ）から分かるように、暗い領域ＨＤ１では、補正利得が約２倍となる。このことは、黒レベルで圧縮されていた信号レベルが、明るくなった上、暗い領域の画素単位のコントラストも増幅されていることを示している。

以上に説明したように、平均輝度Ｙａｖｇにより画素ごとに補正利得Ｇ_ｋを求め、補正利得Ｇ_ｋを撮像信号に画素ごとに乗算する処理を施すことにより、暗い領域ＨＤ１は鮮明に（図２１のＨＤ２）、明るい領域ＤＳ１は、そのままのコントラストを維持する（図２１のＤＳ２）のように、ダイナミックレンジを改善できる。

図２４は、利得補正前の撮像信号の各輝度レベルにおける発生頻度（度数）をヒストグラムにより示す図であり、図２５は、利得補正後の撮像信号の各輝度レベルにおける発生頻度（度数）をヒストグラムにより示す図である。図２４及び図２５は、図２０、図２１、図２２（ａ）及び（ｂ）、並びに図２３（ａ）及び（ｂ）のダイナミックレンジ改善の効果をヒストグラムにより示している。

図２４及び図２５に示されるように、補正前の撮像信号で表される画像（入力画像）の明るい領域（図２０のＤＳ１）は、高輝度領域であるため、撮像画像は、高い輝度レベルに分布する。また、補正前の撮像信号で表される画像（出力画像）の暗い領域ＨＤ１は、低輝度領域であるため、撮像画像は、低い輝度レベルに分布する。

図２４及び図２５に示されるように、撮像信号の補正を行うと、明るい領域ＤＳ１では、補正利得が小さいため、領域ＤＳ２の高い輝度レベルに分布していた２点鎖線で示される信号は、領域ＤＳ２の実線で示される信号になるが、変化は小さい。これに対し、領域ＨＤ１の低輝度レベルに分布した２点鎖線で示される信号は、領域ＨＤ２の実線で示される信号になり、変化が大きい。

このことは、式（３）を用いた補正を行うことで、低輝度においても、高輝度においても、コントラストが改善され、低輝度側の黒つぶれが解消されること、及び、低輝度の信号が大きく高輝度側に移動することで、視認性のよい、メリハリのあるダイナミックレンジが改善された画像が得られることを示している。さらに、補正を行うことで、平均輝度が中央付近に分布することになり、ダイナミックレンジの狭い表示装置（例えば、液晶ディスプレイ）においても、表示品位の向上が図れる。

また、実施の形態１に係る撮像装置によれば、補正を行う画素の周辺画素の輝度分布に基づいて、補正を行う画素のダイナミックレンジを補正するので、解析結果の反映タイミングを極力短くするができ、入力画像のダイナミックレンジを適切に改善することができる。

さらに、実施の形態１に係る撮像装置によれば、外付けフレームメモリを用いることなく画素単位でダイナミックレンジ拡大を実現でき、また、複雑な演算を行う必要が無く、計算や処理を簡素化することができるので、構成の簡素化、その結果、コスト低減を図ることができる。

以上のように、本実施の形態においては、露出制御手段１０は、補正利得Ｇ_ｋの最大値（補正最大利得Ｇｍａｘ）に応じて露出値を補正（第１の露出値から第２の露出値を生成）し、補正された露出値（第２の露出値）を用いたときのカメラ信号処理手段８から出力される撮像信号Ｘａの輝度成分の各画素と周辺の画素の平均輝度Ｙａｖｇに基づいて画素ごとに補正利得Ｇ_ｋを算出し、補正利得Ｇ_ｋを撮像信号Ｘａに乗算することで補正後の撮像信号Ｘｂを生成している。補正最大利得Ｇｍａｘは、上記のように撮像画面中の暗部の平均輝度に基づいて定められたものであっても良く、予め決められた値であっても良い。

図２６は、露出補正（第１の露出値Ｅ１の代わりに第２の露出値Ｅ２を使用すること）及び利得補正による効果を示した図である。
第１の露出値Ｅ１で撮像したときにカメラ信号処理手段８から出力される撮像信号Ｘａが符号Ｘａ（１）で示され、撮像信号Ｘａ（１）に対応する、利得補正後の撮像信号（利得補正手段２の出力）Ｘｂが符号Ｘｂ（１）で示されている。
また、上記の第１の露出値を１／２に絞った第２の露出値で撮像したときにカメラ信号処理手段８から出力される撮像信号Ｘａが符号Ｘａ（２）で示され、撮像信号Ｘａ（２）に対応する、利得補正後の撮像信号（利得補正手段２の出力）Ｘｂが符号Ｘｂ（２）で示されている。
この場合、第２の露出値Ｅ２は、第１の露出値Ｅ１の１／２である場合を想定している。
第１の露出値Ｅ１で得られた信号Ｘａ（１）に利得補正を行った場合、補正利得が約１．２倍であるが、第２の露出値Ｅ２を用いた場合、補正利得Ｇ_ｋを２倍にすることで、コントラストが向上する。
また、画素位置（ｐ５）などで見られるように、第１の露出値Ｅ１を用いた場合、明部が白つぶれし、明部のコントラスト感が低下することがあるが、第２の露出値Ｅ２を用いることで、白つぶれを回避することができる。

このように、第２の露出値Ｅ２を用いて撮像し、利得補正を行うことで、従来白つぶれしていた画像について白つぶれを抑制するように露出制御がなされる。また、露出制御にて、黒側に移った信号を利得補正で増幅することができる。明部の明るい信号と、暗部の暗い信号の双方についてコントラスト、画質、視認性を改善することができる。

実施の形態２．
図２７は、本発明の実施の形態２に係る撮像装置（実施の形態２に係る撮像方法を実施する装置）の利得補正手段２の構成を概略的に示すブロック図である。実施の形態２に係る利得補正手段２は、オフセット検出手段２２と、オフセット減算手段２３と、乗算手段２１と、オフセット加算手段２４とを有する。実施の形態２の撮像装置の、利得補正手段２以外の構成は、図１に示される実施の形態１と同様である。

実施の形態２に係る利得補正手段２は、利得補正前の撮像信号Ｘａの輝度信号（入力輝度信号）Ｘｉｎのオフセットを調整する手段を有している。
オフセットは、撮像素子５による撮像が逆光状態で行われたり、撮像装置のレンズ（図示しない）のフレアーが画像に影響を及ぼしたり、被写体の撮像環境・条件により、信号レベルが黒浮きした場合の対策として、これらの影響を打ち消すために加えられる量(或いは上記のような影響による標準状態からのズレ量)である。

以下に、オフセット調整を行った場合の詳細な補正の動作を説明する。オフセット検出手段２２は、補正前の撮像信号Ｘａの最小信号を検出することで、入力画像の黒浮きの程度を示すオフセット量を求める。オフセット量Ｏｆｆｓｅｔは、次式（８）で求めることができる。
Ｏｆｆｓｅｔ＝Ｐ×ＭＩＮ（Ｒ，Ｇ，Ｂ） …（８）
ここで、ＭＩＮ（Ｒ，Ｇ，Ｂ）は、入力画像ＲＧＢ信号の最小値を示しており、Ｐは、０≦Ｐ≦１を満たす正の実数である。オフセット量Ｏｆｆｓｅｔは、１フレーム以上前の補正を行うために有効な１画面分の画像のＲ，Ｇ，Ｂ信号の最小値ＭＩＮ（Ｒ，Ｇ，Ｂ）を検出し、記憶することで、自動検出することができる。

図２７では、オフセット検出手段２２によってオフセット量Ｏｆｆｓｅｔを撮像信号Ｘａから自動検出する場合の構成を示しているが、オフセット量Ｏｆｆｓｅｔを外部装置から入力する構成を採用することもできる。外部装置において、補正を行いたい対象の信号に対して、補正利得を向上することで、外部装置の性能改善が行える。具体的には、外部装置では、指紋、静脈、顔などのバイオメトリック認証や、形状認証、文字認識などの高度な画像処理を行い、被写体の特徴点（顔認証の場合は、顔）を検出し、特徴点の検出結果をもとに認証を行う機能を有している。外部装置においては、撮像装置の画像より、特徴点を有する領域と、領域内の信号レベルを検出した結果より、オフセット量Ｏｆｆｓｅｔを求め、設定することで、特徴点の信号を強調することが可能となる。また、特徴点の信号レベルが増大することで、外部装置の検出精度、認証率などの性能を向上させることができる。

オフセット減算手段２３は、オフセット検出手段２２で求めたオフセット量Ｏｆｆｓｅｔを、座標（Ｍ，Ｎ）の入力Ｒ信号Ｒａ（Ｍ，Ｎ）、座標（Ｍ，Ｎ）の入力Ｇ信号Ｇａ（Ｍ，Ｎ）、座標（Ｍ，Ｎ）の入力Ｂ信号Ｂａ（Ｍ，Ｎ）のそれぞれから減算して、
Ｒａ（Ｍ，Ｎ）−Ｏｆｆｓｅｔと、
Ｇａ（Ｍ，Ｎ）−Ｏｆｆｓｅｔと、
Ｂａ（Ｍ，Ｎ）−Ｏｆｆｓｅｔと
を出力する。

乗算手段２１は、オフセット減算手段２３からのオフセット量Ｏｆｆｓｅｔを減算した信号に、補正利得算出手段４で得た補正利得Ｇ_ｋを乗算して、
Ｇ_ｋ×（Ｒａ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）と、
Ｇ_ｋ×（Ｇａ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）と、
Ｇ_ｋ×（Ｂａ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）と
を出力する。

オフセット加算手段２４は、乗算手段２１からの乗算信号が入力され、オフセット減算手段２３と同じオフセット量Ｏｆｆｓｅｔを加算して、
Ｇ_ｋ×（Ｒａ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔと、
Ｇ_ｋ×（Ｇａ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔと、
Ｇ_ｋ×（Ｂａ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔと
を出力する。

オフセット減算手段２３、乗算手段２１、及びオフセット加算手段２４の処理をまとめると、次式（９ａ）、（９ｂ）、（９ｃ）のようになる。
Ｒｂ（Ｍ，Ｎ）＝Ｇ_ｋ×（Ｒａ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔ
…（９ａ）
Ｇｂ（Ｍ，Ｎ）＝Ｇ_ｋ×（Ｇａ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔ
…（９ｂ）
Ｂｂ（Ｍ，Ｎ）＝Ｇ_ｋ×（Ｂａ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔ
…（９ｃ）

オフセット補正を行わない場合、補正利得Ｇ_ｋがオフセット量Ｏｆｆｓｅｔを増幅してしまい、コントラストを向上させたい信号への補正利得が減少し、全体的にコントラストの無い信号へ変換してしまう。オフセット補正を行うことで、コントラストを向上させたい信号への補正利得を増大させることができ、コントラストの高い処理が実現できる。

なお、オフセット加算手段２４で加算するオフセット（第２のオフセット）をオフセット減算手段２３で減算するオフセット（第１のオフセット）よりも小さな値としても良い。例えば、オフセット加算手段２４で加算するオフセットをＯｆｆｓｅｔ１が
Ｏｆｆｓｅｔ１＝Ｑ×Ｏｆｆｓｅｔ
（但し、０≦Ｑ＜１）
で与えられるものであっても良い。
オフセット加算手段１１のオフセット補正量Ｏｆｆｓｅｔ１をオフセット減算手段１０のオフセット量Ｏｆｆｓｅｔに比べ小さくすることで、黒浮きが軽減される効果を有する。つまり、オフセット補正後の信号は、オフセット量Ｏｆｆｓｅｔ１により、画像の黒つぶれを防いだ上で、オフセット補正前の黒浮き分が補正され、メリハリの無い、黒信号のしまりのない画質を改善できる。つまり、黒レベルのしまった画像が得られる。オフセット加算手段２４のオフセット補正量Ｏｆｆｓｅｔ１をオフセット減算手段１０のオフセット量Ｏｆｆｓｅｔに比べ小さくする処理は、次式（１０ａ）、（１０ｂ）、（１０ｃ）、（１０ｄ）のようになる。
Ｒｂ（Ｍ，Ｎ）＝Ｇ_ｋ×（Ｒａ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔ１
…（１０ａ）
Ｇｂ（Ｍ，Ｎ）＝Ｇ_ｋ×（Ｇａ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔ１
…（１０ｂ）
Ｂｂ（Ｍ，Ｎ）＝Ｇ_ｋ×（Ｂａ（Ｍ，Ｎ）−Ｏｆｆｓｅｔ）＋Ｏｆｆｓｅｔ１
…（１０ｃ）
Ｏｆｆｓｅｔ１＝Ｑ×Ｏｆｆｓｅｔ …（１０ｄ）

なお、実施の形態２において、上記以外の点は、上記実施の形態１の場合と同じである。

実施の形態２に係る撮像装置１２によれば、画像のオフセット量を検出することができ、検出したオフセット量に基づいてオフセット補正することで、低い輝度に分布した信号のコントラストの改善による画質の向上を図れる。

また、実施の形態２に係る撮像装置においては、補正利得乗算処理前のオフセット量の減算量と補正利得乗算処理後のオフセット量の加算量を異ならせることが可能であり、オフセット補正後の黒信号のしまりを向上させることができ、画質の向上を図れる。

実施の形態３．
実施の形態３に係る撮像装置は、補正利得算出手段４による補正利得算出の計算式が、上記実施の形態１において示した式（３）と異なる。具体的には、補正利得Ｇ_ｋは、最大利得Ｇｍａｘと、最小利得Ｇｍｉｎと、平均輝度Ｙａｖｇと、最大輝度Ｙｍａｘを用いて、次式（１１）により得る。

ここで、Ｇｍｉｎは、補正前の撮像信号Ｘａがその最大値であるときに乗算される最小利得を示している。

図２８は、式（１１）の演算を行う補正利得算出手段４から出力される補正利得Ｇ_ｋを示すグラフであり、図２９は、実施の形態３において用いる補正利得を、最大輝度で規格化した平均輝度に乗算した値を示すグラフである。図２９において、横軸は、最大輝度で規格化された平均輝度Ｙａｖｇ／Ｙｍａｘを示し、縦軸は、最大輝度で規格化された平均輝度Ｙａｖｇ／Ｙｍａｘに補正利得Ｇ_ｋを乗算した値Ｇ_ｋ×Ｙａｖｇ／Ｙｍａｘを示す。

Ｇｍｉｎは、実験的、或いは統計的な処理で得られた補正利得Ｇ_ｋの最小値であり、式（３）で得られる補正利得Ｇ_ｋに比べ、Ｙａｖｇ／Ｙｍａｘが大きい（１に近い）範囲で、式（１１）で得られる補正利得Ｇ_ｋは、１未満の値を持つ点で異なる。平均輝度が高い領域では、平均輝度を中心に画素ごとの信号レベルはばらついている。この画素ごとの信号のバラツキに対して補正利得を式（３）で得られるものに比べて、小さくすることができ、高輝度部の白つぶれを防止することができる。高輝度部のコントラスト信号を白つぶれにて無くすことを防ぎ、補正利得Ｇｍｉｎにより、圧縮してコントラスト信号を保存することができる。

なお、補正利得の特性（補正利得を、最大輝度で規格化した平均輝度と乗算することで得られる値の特性）は、図２９に示されるような特性に限らず、例えば、図３０又は図３１に示されるような特性を持つ補正利得を実現することもできる。このような補正利得を用いることによって、表示装置（図示せず）や撮像装置の階調特性を考慮した、表示装置や撮像装置に最適なダイナミックレンジ改良を行うことができる。

また、実施の形態３において、上記以外の点は、上記実施の形態１又は２の場合と同じである。

実施の形態３の撮像装置によれば、明るさが明るい分布の高輝度信号のコントラスト情報を維持することができ、白つぶれすることを防ぐことができる。

実施の形態４．
本発明の実施の形態４に係る撮像装置は、フィルタ手段３２によるフィルタ処理の内容が、上記実施の形態１乃至３の場合と相違する。実施の形態４においては、フィルタ手段は、例えば、非線形フィルタであるイプシロンフィルタ（εフィルタ）を有している。

図３２は、実施の形態４におけるフィルタ手段３２を非線形フィルタであるεフィルタで構成する場合の区間線形関数を示す図である。また、図３３は、フィルタ手段３２として線形フィルタを用いた比較例の補正後の輝度信号レベルを示す図である。また、図３４は、実施の形態４の非線形フィルタを用いた場合の補正後の輝度信号レベルを示す図である。

図３３に示されるように、フィルタ手段として線形フィルタを用いた比較例の場合には、補正前の信号（撮像信号Ｘａ）は平滑化されるため、領域輝度が急激に変化する領域（例えば、図３３の補正前の輝度レベルは画素位置５と６の間で急激に変化している）が補正前の信号中に存在した場合、平均輝度Ｙａｖｇは、急激な輝度変化の影響を受ける。なお、図３３に示される平均輝度（フィルタ出力）は、タップ数ｎ＝５で求めた値である。

画素位置５では、画素位置６以降の高い輝度信号の影響を受け、画素位置１から画素位置４までの平均輝度（フィルタ出力）に比べ、平均輝度が高いレベルで出力される。平均輝度が高くなることで、補正利得は小さくなり、画素位置５の補正後の信号（撮像信号Ｘｂ）（図３３における太い実線）の信号レベルは小さくなっていることが分かる。

また、画素位置６においては、平均輝度が、画素位置５以前の輝度信号の影響を受け、小さな値となる。このため、補正利得は大きくなり、補正後の出力レベル（図３３における太い実線）は大きな値となる。画素間の輝度変化が激しい領域（エッジ領域）において、補正利得が大きくなることで、エッジ部の信号が強調される、アパーチャ効果によりコントラスト感を強調できる。アパーチャ効果を持つことにより、写真、ディスプレイなどの観賞を目的とした画像処理や、エッジが強調された画像を用いて認識処理を行う認識装置において、エッジ部が強調され、メリハリのある、視感度の高い、表示品位の高い画像を生成することができる。

一方、微少のコントラスト差から特徴点を検出する認証装置においては、前処理において、エッジ強調をかけずに、忠実な信号を出力する必要がある。したがって、このように、輝度の変化が激しい領域が存在する場合、平均輝度において、輝度の変化を考慮する必要がある。

そこで、実施の形態４においては、フィルタ手段３２に非線形のフィルタ特性を持たせることで、輝度の変化が激しい場合においても、前述の問題を除くことが可能となる。例えば、フィルタ手段３２に非線形のεフィルタを用いる。一般に、一次のεフィルタは、次式（１２）及び（１３）で定義される。

このとき、関数ｆ（ｘ）は、ｘを変数とする区間線形関数であり、次式（１４）で与えられる。ｙ（ｎ）は、Ｙ信号のεフィルタの出力の平均輝度を、ｘ（ｎ）は、ｎ画素の輝度を示している。式（１４）は、画素（ｎ）と、平均を求める画素（±ｋ画素）間の差分値を求める。差分値が、ε以内であれば平均値を求めるために差分値を用い、差分値がεを超える場合はα（ここでは、０）を用いる。このような処理を行うことで、急激な輝度変化を伴うエッジやノイズによる特異的に輝度が変化する場合など、輝度の急激な変化量に対して平均値が引きずられることが無く補正利得を求めることができる。

ここで、α＝０とした関数が、図３２に示される区間線形関数である。

フィルタ手段３２に非線形のεフィルタを用いた場合の平均輝度を図３４に示す。画素位置５や画素位置６においても補正前の信号の輝度の変化（傾向）を再現している。また、補正後の信号レベルにおいても、図３３の特性とは異なり、補正前の信号の輝度の変化（傾向）を再現できている。

このように、εフィルタを用いることで、補正前の信号において、急峻な輝度変化が存在する場合おいてもエッジ情報を保持したうえで、最適なダイナミックレンジ変換処理を実現することができる。

εフィルタは、コンパレータとラインメモリで構成でき、ハードウェアの実装面積の縮小、ソフトウェア処理時間の短縮化などの効果がある。

なお、εフィルタに限らず、領域の輝度レベルを検出することが可能な手段であれば、メジアンフィルタ、スタックフィルタなどの非線形フィルタを用いた構成でもよい。

また、実施の形態４において、上記以外の点は、上記実施の形態１乃至３の場合のいずれかと同じである。

実施の形態４の撮像装置によれば、フィルタ手段の出力が、エッジ情報を保持することができ、急激な輝度変化の場合のマッハ効果を抑制することができる。

本発明の実施の形態１に係る撮像装置（実施の形態１に係る画像処理方法を実施する装置）の構成を概略的に示すブロック図である。 実施の形態１で用いられる露出制御手段の一例を示すブロック図である。 実施の形態１における被写体の明るさと電荷蓄積時間と信号処理手段における利得との関係を示す図である。 実施の形態１で用いられる輝度フィルタリング手段の一例を示すブロック図である。 実施の形態１で用いられる補正利得算出手段の一例を示すブロック図である。 実施の形態１に係る撮像装置において用いる補正利得を示すグラフである。 実施の形態１に係る撮像装置において用いる補正利得を示す表である。 実施の形態１で用いられる利得補正手段の一例を示すブロック図である。 実施の形態１に係る撮像装置において用いる補正利得を、規格化した平均輝度に乗算した値を示すグラフである。 実施の形態１に係る撮像装置の動作を示すフローチャートである。 図１０の利得補正処理（ＳＴ５）の詳細を示すフローチャートである。 実施の形態１の露出補正手段１０において用いられる、露出補正値の、最大補正利得に対する関係の一例を示す図である。 実施の形態１の露出補正手段１０において用いられる、露出補正値の、最大補正利得に対する関係の他の例を示す図である。 実施の形態１の露出補正手段１０において用いられる、露出補正値の、最大補正利得に対する関係のさらに他の例を示す図である。 実施の形態１で用いられる露出制御手段の他の例を示すブロック図である。 撮像信号のヒストグラムの一例を示す図である。 撮像信号のヒストグラムの他の例を示す図である。 実施の形態１の露出補正手段１０において用いられる、露出補正値の、最大補正利得に対する関係のさらに他の例を示す図である。 実施の形態１の露出補正手段１０において用いられる、露出補正値の、最大補正利得に対する関係のさらに他の例を示す図である。 実施の形態１に係る撮像装置による補正処理前の画像の一例を示す図である。 実施の形態１に係る撮像装置による補正処理後の画像の一例を示す図である。 （ａ）は、図２０に示される輝度の高い領域における、規格化された利得補正前の撮像信号の輝度信号（破線）及び規格化された平均輝度（実線）を示す図であり、（ｂ）は、図２０に示される輝度の高い領域における、規格化された利得補正前の撮像信号の輝度信号（破線）及び規格化された利得補正後の撮像信号の輝度信号（実線）を示す図である。 （ａ）は、図２０に示される輝度の低い領域における規格化された利得補正前の撮像信号の輝度信号（破線）及び規格化された平均輝度（実線）を示す図であり、（ｂ）は、図２０に示される輝度の低い領域における規格化された利得補正前の撮像信号の輝度信号（破線）及び規格化された利得補正後の撮像信号の輝度信号（実線）を示す図である。 利得補正前の撮像信号の各輝度の発生頻度（度数）をヒストグラムにより示す図である。 利得補正後の撮像信号の各輝度の発生頻度（度数）をヒストグラムにより示す図である。 実施の形態１において、第１の露出値を用いたときに得られる撮像信号と、第２の露出値を用いたときに得られる撮像信号を示す図である。 本発明の実施の形態２に係る撮像装置（実施の形態２に係る画像処理方法を実施する装置）で用いられる利得補正手段の一例を示すブロック図である。 実施の形態３に係る撮像装置において用いる補正利得を示すグラフである。 実施の形態３に係る撮像装置において用いる補正利得を、規格化した平均輝度に乗算した値を示すグラフである。 実施の形態３に係る他の撮像装置において用いる補正利得を、規格化した平均輝度に乗算した値を示すグラフである。 実施の形態３に係る他の撮像装置において用いる補正利得を、規格化した平均輝度に乗算した値を示すグラフである。 本発明の実施の形態４に係る撮像装置のフィルタ手段をεフィルタで構成する場合の区間線形関数を示す図である。 フィルタ手段として線形フィルタを用いた比較例の撮像装置の補正後の輝度信号レベルを示す図である。 実施の形態４に係る撮像装置のフィルタ手段として非線形フィルタを用いた場合の補正後の輝度信号レベルを示す図である。

符号の説明

２ 利得補正手段、 ３ 輝度フィルタリング手段、 ４ 補正利得算出手段、 ５ 撮像素子、 ６ アナログ信号処理手段、 ７ Ａ／Ｄ変換手段、 ８ カメラ信号処理手段、 ９ タイミング生成手段、 １０ 露出制御手段、 １１ 積算手段、 １３ 最大利得決定手段、 １４ 撮像信号生成手段、 １５ 補正利得決定手段、 ３１ 輝度検出手段、 ３２ フィルタ手段。

Claims (13)

1. 被写体からの光を受けて、該光に応じた第１の撮像信号を出力する撮像信号生成手段と、
   前記第１の撮像信号を画素毎に補正して、補正された第２の撮像信号を出力する利得補正手段と、
   前記第１の撮像信号の平均値を所定の目標値に一致させるための前記撮像信号生成手段の第１の露出値を定め、さらにこの第１の露出値を、補正利得の最大値に基づいて補正して第２の露出値を求め、この第２の露出値で前記撮像信号生成手段の露出を制御する露出制御手段と、
   前記第１の撮像信号の輝度成分の各画素の値とその周辺の画素の値に対してフィルタリングを行い、そのフィルタリング出力と前記補正利得の最大値とに基づいて画素ごとに補正利得を決定する補正利得決定手段とを備え、
   前記利得補正手段は、前記補正利得決定手段で決定された補正利得と前記第１の撮像信号との乗算を含む演算により、前記補正を行う
   ことを特徴とする撮像装置。
2. 前記撮像信号生成手段が、
   電荷蓄積時間が可変の撮像素子と、
   前記撮像素子から出力される信号を増幅する増幅利得可変の信号処理手段とを含み、
   前記第２の露出値により前記電荷蓄積時間及び前記増幅利得の少なくとも一方が調整される
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記補正利得の最大値が、前記第２の撮像信号に基づいて定められるものであることを特徴とする請求項１に記載の撮像装置。
4. 前記補正利得決定手段は、前記第２の撮像信号が前記第１の撮像信号に対して、単調増加関数となるように、前記補正利得を決定することを特徴とする請求項１に記載の撮像装置。
5. 前記補正利得決定手段におけるフィルタリングが、前記第１の撮像信号の輝度成分の各画素の値と、その周辺の画素の値の平均値を求める演算により行われることを特徴とする請求項１に記載の撮像装置。
6. 前記補正利得決定手段が、下記の式
   

   

   （但し、Ｇｋは、前記補正利得、
   Ｇｍａｘは、前記補正利得の最大値、
   Ｙａｖｇは、前記第１の撮像信号の輝度成分のフィルタリング出力、
   Ｙｍａｘは、前記第１の撮像信号が取り得る値の範囲内の最大値である。）
   により、前記補正利得を定めることを特徴とする請求項１に記載の撮像装置。
7. 前記補正利得決定手段が、下記の式
   

   

   （但し、Ｇｋは、前記補正利得、
   Ｇｍａｘは、前記補正利得の最大値、
   Ｇｍｉｎは、前記第１の撮像信号がその最大値であるときに乗算される最小利得、
   Ｙａｖｇは、前記第１の撮像信号の輝度成分のフィルタリング出力、
   Ｙｍａｘは、前記第１の撮像信号が取り得る値の範囲内の最大値である。）
   により、前記補正利得を定めることを特徴とする請求項１に記載の撮像装置。
8. 前記露出制御手段が、前記補正利得の最大値に基づいて、露出補正値を求め、
   前記露出補正値に基づいて、下記の式
   Ｅ２＝Ｋｅ×Ｅ１×（１／２）^Ｋｄ
   （但し、
   Ｅ２は前記第２の露出値、
   Ｋｅは所定の定数、
   Ｅ１は前記第１の露出値、
   Ｋｄは前記露出補正値である）
   により、第２の露出値を求める
   ことを特徴とする請求項１に記載の撮像装置。
9. 前記露出補正値は、前記補正利得の最大値が大きいほど大きな値となるものであることを特徴とする請求項８に記載の撮像装置。
10. 前記露出制御手段は、前記補正利得の最大値が１より大きい場合にのみ前記第２の露出値を用い、前記補正利得の最大値が１以下の場合には、前記第２の露出値の代わりに前記第１の露出値を用いて前記撮像信号生成手段の露出を制御することを特徴とする請求項１乃至９のいずれかに記載の撮像装置。
11. 前記露出制御手段は、前記第１の撮像信号の画像解析結果に応じて、前記露出補正値を調整することを特徴とする請求項１乃至１０のいずれかに記載の撮像装置。
12. 前記利得補正手段は、
    前記第１の撮像信号から第１のオフセット値を減算するオフセット減算手段と、
    前記オフセット減算手段の出力に前記補正利得を乗算する乗算手段と、
    前記乗算手段の出力に第２のオフセット値を加算するオフセット加算手段とを
    有し、
    前記第２のオフセット値は前記第１のオフセット値と同じかそれより小さいことを特徴とする請求項１乃至１１のいずれかに記載の撮像装置。
13. 被写体からの光を受けて、該光に応じた第１の撮像信号を出力する撮像信号生成手段を備えた撮像装置を用いる撮像方法において、
    前記第１の撮像信号を画素毎に補正して、補正された第２の撮像信号を出力する利得補正ステップと、
    前記第１の撮像信号の平均値を所定の目標値に一致させるための前記撮像信号生成手段の第１の露出値を定め、さらにこの第１の露出値を、補正利得の最大値に基づいて補正して第２の露出値を求め、この第２の露出値で前記撮像信号生成手段の露出を制御する露出制御ステップと、
    前記第１の撮像信号の輝度成分の各画素の値とその周辺の画素の値に対してフィルタリングを行い、そのフィルタリング出力と前記補正利得の最大値とに基づいて画素ごとに補正利得を決定する補正利得決定ステップとを備え、
    前記利得補正ステップは、前記補正利得決定ステップで決定された補正利得と前記第１の撮像信号との乗算を含む演算により、前記補正を行う
    ことを特徴とする撮像方法。

Images