JP4550350B2

JP4550350B2 - 電子カメラ

Info

Publication number: JP4550350B2
Application number: JP2002025713A
Authority: JP
Inventors: 佑子服部; 秀雄宝珠山
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2002-02-01
Filing date: 2002-02-01
Publication date: 2010-09-22
Anticipated expiration: 2022-02-01
Also published as: EP1333665A2; EP1333665B1; DE60319760D1; US7151566B2; ATE390017T1; DE60319760T2; JP2003230051A; US20030146989A1; EP1333665A3

Description

【０００１】
【発明の属する技術分野】
本発明は、電子カメラ、特に、画像の種類に応じて階調変換特性を自動的に設定する機能を有した電子カメラに関する。
【０００２】
【従来の技術】
従来、電子カメラでは、撮像素子の取得した画像を、その撮像素子の固有の特性を補正したり、モニタの階調表示特性に適合させたり、主観的に好ましい表現にするなどの目的から、階調変換している。
【０００３】
【発明が解決しようとする課題】
ところで、被写体の輝度域は撮影シーンによって様々であるので、仮に電子カメラ内の階調変換特性が固定されていると、被写体によっては不適当な階調変換が施される可能性がある。例えば、被写体内の輝度差が大きいときには、階調変換後の画像は黒潰れや白飛びが生じたり被写体の主要部の階調が不足したりする。また、被写体の輝度差が小さいときには、階調変換後の画像はメリハリが無くなり所謂「眠い画像」となる。
【０００４】
特開２００１−５４０１４に開示された技術は、分割測光センサの出力から被写体の種類を判別し、その種類に応じて階調変換特性を最適なものに自動設定するものである。
しかし依然として、一部の被写体（具体的には、輝点や黒点が存在する被写体）についてはユーザが満足できるような画像が得られないことがあった。
【０００５】
そこで本発明は、被写体の種類をより的確に評価して最適な階調変換を画像に施すことのできる電子カメラを提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明の電子カメラは、撮像素子が取得した画像の全域の輝度ヒストグラムを、その画像内の位置に応じた重み付けを頻度に施しながら作成する輝度ヒストグラム作成手段と、複数種類の階調変換特性を予め記憶した記憶部と、前記作成された輝度ヒストグラムの輝度範囲及びピーク高さの双方によって表されるコントラスト評価値に基づいて、前記記憶部が記憶した前記複数種類の階調変換特性の中から前記画像に施すべき階調変換の階調変換特性を選択設定する設定手段とを備える。
【０００７】
また、前記設定手段は、前記輝度ヒストグラムのうち、高輝度側の所定頻度分の輝度範囲、及び／又は低輝側の所定頻度分の輝度範囲を除外してなる主要部のみに基づいて、前記選択設定を行ってもよい。
【０００８】
また、前記ヒストグラム作成手段は、前記作成に当たり、前記画像の輝度評価の分割単位を、複数画素からなる各小領域毎としてもよい。
【０００９】
また、前記輝度ヒストグラム作成手段は、前記作成に当たり、前記輝度を対数変換してもよい。
また、前記輝度ヒストグラム作成手段は、対数変換用ルックアップテーブルを複数段階の各輝度レベルに合わせて予め複数種保持すると共に、前記対数変換では、被変換輝度の輝度レベルに応じてそれら対数変換用ルックアップテーブルを選択使用してもよい。
【００１０】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。
図１は、本実施形態の電子カメラの概略構成を示す図である。
電子カメラ本体１には、撮像素子１１、Ａ／Ｄ変換器１２、ホワイトバランス処理回路１４、補間回路１５、階調変換処理回路１６、階調変換特性設定回路１３などが備えられる。
【００１１】
撮像素子１１上に、撮影レンズ２による被写体の像が形成される。撮像素子１１の出力信号は、不図示のアナログゲイン回路を介してＡ／Ｄ変換器１２に入力され、ディジタル信号に変換される。ディジタル信号には、ホワイトバランス処理回路１４においてホワイトバランス処理が施され、補間回路１５において画素補間の処理が施され、階調変換処理回路１６において階調変換処理が施される。
【００１２】
ここで、階調変換処理回路１６の階調変換特性は、階調変換特性設定回路１３によって設定される。この階調変換特性設定回路１３が、本発明の特徴部分に対応する。
図２、図３は、階調変換特性設定回路１３の動作フローチャートである。
図２は、階調変換特性設定回路１３の全体の動作フローチャート、図３は、図２のステップＳ１３における動作フローチャートである。
【００１３】
図２のステップＳ１において、階調変換特性設定回路１３は、撮像素子１１の取得した画像の輝度ヒストグラムを作成し、ステップＳ２において、その輝度ヒストグラムに基づいて階調変換特性を階調変換処理回路１６に設定する。
なお、図１の階調変換特性設定回路１３内に示す輝度ヒストグラム作成回路１３ａ、階調変換特性カーブ設定回路１３ｂは、それぞれ、階調変換特性設定回路１３においてステップＳ１を実行する部分、階調変換特性設定回路１３においてステップＳ２を実行する部分を視覚化したものである。
【００１４】
また、符号１３ｃは、階調変換処理回路１６に設定すべき階調変換特性カーブ（テーブル）を格納するＲＯＭである。ＲＯＭ１３ｃには、複数種のテーブルが格納されており、そのうち、階調変換特性カーブ設定回路１３ｂにより選択されたものが階調変換処理回路１６に送られ、設定される。
先ず、図２のステップＳ１内を参照して輝度ヒストグラム作成の手順について説明する。
【００１５】
階調変換特性設定回路１３は、輝度ヒストグラム作成用のデータとして、Ａ／Ｄ変換器１２の出力から、画像の各位置ｉ（ｉ＝１〜ｎ）の輝度レベルＬｉ（ｉ＝１〜ｎ）をそれぞれ求め（図２ステップＳ１２）、それを対数変換する（図３ステップＳ１３）。
ここで、ステップＳ１２では、画像の各輝度レベルＬｉを、図４に示すような各小領域Ｅｉ毎に求めることとする。各小領域Ｅｉ（１〜ｎ）は、それぞれ複数画素からなる。よって、輝度レベルＬｉは、小領域Ｅｉ内の複数画素の例えば平均輝度レベル（又は合計輝度レベル）とされる。
【００１６】
なお、このように画像の輝度評価の分割単位を、各画素ではなく、各小領域としておけば、後続して行われる対数変換に必要な時間、及び作成した輝度ヒストグラムを格納するのに必要なメモリサイズの膨大化を防げる。
【００１７】
次に、各輝度レベルＬｉ（ｉ＝１〜ｎ）が対数変換される（図２ステップＳ１３）が、対数変換する理由は、対数で表された輝度の乗算除算は加算減算により実施されることにある。乗算除算よりも加算減算の方が簡便に実施できるので、輝度ヒストグラムの解析（評価値の算出、後述）は、簡便化する。
さらに、本実施形態の対数変換（図２ステップＳ１３、図３）には、ルックアップテーブル（対数変換用ルックアップテーブル）が使用される。対数変換は、算術演算によって行うことも原理的には可能であるが、詳細な輝度ヒストグラムを作成するために小領域Ｅｉの数ｎを十分に多くすると、変換に膨大な時間がかかり実用的ではなくなるからである。
【００１８】
また、本実施形態の対数変換（図２ステップＳ１３、図３）では、単一のルックアップテーブルではなく、例えば、図５に示すような複数のルックアップテーブル（複数段階の各輝度レベルに合わせた複数種のルックアップテーブル）が使用される。
仮に、単一のルックアップテーブルしか使用しないならば、入力レンジを膨大にするか、そうでなければ入力すべきデータを間引きして変換精度の低下を許容せざるを得ない。因みに、入力レンジが膨大になると、変換処理の時間が膨大化する。また、対数変換の変換カーブは指数関数なので、たとえ補間が行われても間引きによる変換精度の低下は顕著である。
【００１９】
つまり、複数のルックアップテーブルが使用されるのは、高速性と変換精度との双方を保つためである。
具体的に、図５に示す３つのルックアップテーブルATC_LOG2_1、ATC_LOG2_2、ATC_LOG2_3は、それぞれ低レベル（〜２５６）、中レベル（２５６〜４０９６）、高レベル（４０９６〜）の３段階の各輝度レベルに合わせてそれぞれ用意されたものである（以下、これらのルックアップテーブルATC_LOG2_1、ATC_LOG2_2、ATC_LOG2_3が使用されるとする。）。
【００２０】
但し、中レベル用のルックアップテーブルATC_LOG2_2、高レベル用のルックアップテーブルATC_LOG2_3の使用時には、被変換輝度レベルＬｉがそれらの入力レンジに合わせ込まれる。
すなわち、図３に示すように、被変換輝度レベルＬｉが中レベル（２５６〜４０９６）であるとき（ステップＳ１３１NO、かつステップＳ１３２YES）には、輝度レベルＬｉの位が１段階下げられ（ここでは3bit右シフトされ）た上で（ステップＳ１３４）、ルックアップテーブルATC_LOG2_2による対数変換がなされる（ステップＳ１３６）。
【００２１】
また、被変換輝度レベルＬｉが高レベル（４０９６〜）であるとき（ステップＳ１３１YES）には、輝度レベルＬｉの位が２段階下げられ（ここでは７bit右シフトされ）た上で（ステップＳ１３３）、ルックアップテーブルATC_LOG2_3による対数変換がなされる（ステップＳ１３５）。
一方、被変換輝度レベルＬｉが低レベル（０〜２５６）であるとき（ステップＳ１３１NO、かつステップＳ１３２NO）には、そのままの状態でルックアップテーブルATC_LOG2_1による対数変換がなされる（ステップＳ１３７）。
【００２２】
このように、ルックアップテーブルATC_LOG2_1、ATC_LOG2_2、ATC_LOG2_3を選択使用すれば、同じサイズのルックアップテーブルを１つだけ使用した場合と比較すると、変換処理の時間を殆ど増やすことなく入力レンジを６００００倍に拡大することができる。つまり、高速かつ高精度な対数変換が可能となる（以上、図２ステップＳ１３、図３）。
【００２３】
なお、図５にも明かなように、ルックアップテーブルATC_LOG2_1、ATC_LOG2_2、ATC_LOG2_3の各出力値は、互いの大小関係が保たれたまま出力レンジの全域に割り振られている。
さらに、本実施形態では、図２に示すように、対数変換された輝度レベルＬｉは、画像内で小領域Ｅｉの位置するエリア（図４参照）に応じて荷重が付加される（図２ステップＳ１４）。
【００２４】
例えば、被写体の主要部は画像の中央に位置することが多いので、小領域Ｅｉが中央のエリア（図４ではエリア１）に位置するときには、大きな荷重、それ以外のエリア（図４ではエリア２、３）に位置するときには、小さな荷重を付加する。因みに、ここでの輝度レベルＬｉは既に対数表現されているので、荷重の付加は、所望する荷重率に相当する値を加算するだけでよい。
【００２５】
このように輝度レベルＬｉに重み付けがなされれば、輝度ヒストグラムに対し被写体の種類をより強く反映させることができる。
以上のステップＳ１２、Ｓ１３、Ｓ１４が画像の全ての位置ｉ（ｉ＝１〜ｎ）について行われると（ステップＳ１６YES）、輝度ヒストグラムが完成する（図２ステップＳ１の終了）。
【００２６】
図６は、本実施形態で作成された輝度ヒストグラムの例を示す図である。
作成された輝度ヒストグラムからは、評価値が抽出される（図２ステップＳ２１）。
ここで、従来の技術における評価値は、画像の輝度範囲に基づくものの、輝度の頻度には何ら基づいていなかったので、被写体の種類を的確に反映しているとは限らなかった。その点、本実施形態の評価値は、輝度ヒストグラム（つまり輝度とその頻度）から抽出されるので、被写体の種類が的確に反映される。
【００２７】
ところで、仮に、画像内に輝点（又は黒点）が存在するときには、輝度ヒストグラムのうち輝点に相当する部分は、図６に示すように最高輝度Lmaxの近傍で斜線で示した比較的頻度の少ない部分であって、黒点に相当する部分は、図６に示すように最低輝度Lminの近傍で斜線で示した比較的頻度の少ない部分である。
もし、評価値にこれら輝点や黒点の輝度が反映されてしまうと、被写体の主要部が暗いのに明るいと評価されたり、被写体の主要部が明るいのに暗いと評価されたりして、被写体の種類が誤って認識されてしまう可能性がある。
【００２８】
そこで、本実施形態では、評価の対象から、輝度ヒストグラムのうち、高輝度側の所定頻度分の輝度範囲（Lmax〜LHiPoint2）、及び低輝側の所定頻度分の輝度範囲（Ｌmin〜LLoPoint2）が除外される（なお、輝点と黒点との何れか一方のみの影響を抑えたいのであれば、除外するのも一方のみでよい。）。
つまり、画像内に輝点又は黒点があるときにのみ、その輝点又は黒点に相当する部分だけが評価対象から除外される。したがって、評価は、被写体の主要部の輝度ヒストグラムにのみ基づくこととなる。
【００２９】
そこで、除外後の輝度範囲をLLopoint2〜LHiPoint2、輝度ヒストグラムのピークをLpeakとすると、評価値は、例えば、ck×（LHiPoint2−LLopoint2）／Lpeakとすればよい（但しckは定数）。因みに、これは被写体の主要部のコントラストを示している。コントラストは、輝度範囲だけでなく輝度の大きさをも加味しているので、被写体（の主要部）の種類を的確に表す。
【００３０】
そして、階調変換特性設定回路１３は、その評価値に応じてＲＯＭ１３ｃに格納された複数の階調変換特性カーブ（テーブル）の中の何れかを選択し（図２ステップＳ２２）、階調変換処理回路１６に設定する（図２ステップＳ２３）。
以上、本実施形態の階調変換特性設定回路１３は、画像の輝度ヒストグラムに基づくことにより（図２ステップＳ１、Ｓ２）、被写体の種類をより的確に評価し、最適な階調変換を画像に施す。
【００３１】
また、輝度ヒストグラム作成に当たり、頻度に重み付けがなされるので（図２ステップＳ１４）、その輝度ヒストグラムには、被写体の種類がより強く反映される。
また、評価値は、輝度ヒストグラムの全体ではなく、高輝度側の所定頻度分の輝度範囲、及び／又は低輝側の所定頻度分の輝度範囲を除外してなる主要部のみに基づいて抽出されるので、被写体の主要部に応じた最適な階調変換が画像に施される。
【００３２】
なお、以上の説明では、階調変換特性の設定に当たり、下記の技術（１）〜（６）の全てが適用されるとしたが、技術（２）〜（６）のうち全部又は一部を適用しない電子カメラを構成してもよい。但し、より多くの技術が適用された電子カメラほど、性能が高くなることは言うまでもない。
（１）階調変換が画像の輝度ヒストグラムに基づいて設定される、（２）輝度ヒストグラム作成に当たり、前記画像内の位置により頻度に重み付けがなされる、（３）輝度ヒストグラムから高輝度側の所定頻度分の輝度範囲、及び／又は低輝側の所定頻度分の輝度範囲を除外してなる主要部のみに基づいて設定される、（４）輝度ヒストグラムが示す前記画像のコントラストに応じて設定される、（５）画像の輝度評価の分割単位が、複数画素からなる各小領域毎とされる、（６）輝度ヒストグラム作成に当たり、輝度が対数変換される。
【００３３】
例えば、上記説明では、輝度ヒストグラムから輝点や黒点に相当する輝度範囲が除外されているが、その除外する処理を省略し、その輝度ヒストグラムから直接評価値を求める電子カメラを構成してもよい（輝点や黒点の影響を許容した電子カメラ）。この電子カメラも、輝度ヒストグラムに基づいているので、従来の電子カメラよりは前記評価の精度が高くなる。
【００３４】
【発明の効果】
以上、本発明の電子カメラは、画像内の位置に応じた重み付けを頻度に施しながら輝度ヒストグラムを作成する。このような輝度ヒストグラムは、被写体の種類を強く反映する。
そして、本発明の電子カメラは、作成したその輝度ヒストグラムに基づき、予め用意された複数種類の階調変換特性の中から画像に施すべき階調変換の階調変換特性を選択する。
したがって、本発明の電子カメラは、階調変換特性を画像毎に算出しないにも拘わらず、被写体の種類に適した良好な階調変換特性を得ることができる。
【図面の簡単な説明】
【図１】本実施形態の電子カメラの概略構成を示す図である。
【図２】階調変換特性設定回路１３の全体の動作フローチャートである。
【図３】図２のステップＳ１３における動作フローチャートである。
【図４】画像内の各小領域Ｅｉ、及び各エリアを説明する図である。
【図５】本実施形態で使用される複数のルックアップテーブルの例を示す図である。
【図６】本実施形態で作成された輝度ヒストグラムの例を示す図である。
【符号の説明】
１電子カメラ本体
２撮影レンズ
１１撮像素子
１２Ａ／Ｄ変換器
１３階調変換特性設定回路
１３ａ輝度ヒストグラム作成回路
１３ｂ階調変換特性カーブ設定回路
１３ｃＲＯＭ
１４ホワイトバランス処理回路
１５補間回路
１６階調変換処理回路

Claims

撮像素子が取得した画像の全域の輝度ヒストグラムを、その画像内の位置に応じた重み付けを頻度に施しながら作成する輝度ヒストグラム作成手段と、
複数種類の階調変換特性を予め記憶した記憶部と、
前記作成された輝度ヒストグラムの輝度範囲及びピーク高さの双方によって表されるコントラスト評価値に基づいて、前記記憶部が記憶した前記複数種類の階調変換特性の中から前記画像に施すべき階調変換の階調変換特性を選択設定する設定手段とを備えた
ことを特徴とする電子カメラ。
請求項１に記載の電子カメラにおいて、
前記設定手段は、
前記輝度ヒストグラムのうち、高輝度側の所定頻度分の輝度範囲、及び／又は低輝側の所定頻度分の輝度範囲を除外してなる主要部のみに基づいて、前記選択設定を行う
ことを特徴とする電子カメラ。
請求項１又は請求項２に記載の電子カメラにおいて、
前記ヒストグラム作成手段は、
前記作成に当たり、前記画像の輝度評価の分割単位を、複数画素からなる各小領域毎とする
ことを特徴とする電子カメラ。
請求項１〜請求項３の何れか一項に記載の電子カメラにおいて、
前記輝度ヒストグラム作成手段は、
前記作成に当たり、前記輝度を対数変換する
ことを特徴とする電子カメラ。
請求項４に記載の電子カメラにおいて、
前記輝度ヒストグラム作成手段は、
対数変換用ルックアップテーブルを複数段階の各輝度レベルに合わせて予め複数種保持すると共に、前記対数変換では、被変換輝度の輝度レベルに応じてそれら対数変換用ルックアップテーブルを選択使用する
ことを特徴とする電子カメラ。