JP2002290707A - 画像処理装置 - Google Patents

Abstract

(57)【要約】 【課題】 画像内における面積や位置に関わらず主要被
写体に適切な階調幅を付与してより高品位な階調変換を
行うことができる画像処理装置を提供する。 【解決手段】 露光の異なる複数画像の各々に対して合
成画像に占める階調範囲を設定する輝度計算回路７と、
各画像のエッジ検出を行うエッジ検出回路８と、エッジ
検出された画素のそれぞれに許容範囲を設定する閾値設
定回路１０と、上記許容範囲に入る画素の集合からなる
領域を抽出する閾値処理回路１１と、抽出された領域の
輝度ヒストグラムを生成するヒストグラム計算回路１２
と、この輝度ヒストグラムに基づき各画像を上記階調範
囲へ階調圧縮する階調補正回路１３と、階調補正された
各画像を合成して一の広ダイナミックレンジ画像を生成
するＳＬ合成回路１４と、を備えた撮像装置１等でなる
画像処理装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置、よ
り詳しくは、異なる露光条件で撮像された複数の画像を
合成して一の広ダイナミックレンジ画像を生成する画像
処理装置に関する。

【０００２】

【従来の技術】被写体を電子的に撮像する撮像装置とし
ては、テレビカメラ、ビデオカメラ、電子カメラ等の種
々の装置が知られている。

【０００３】このような撮像装置に用いられている一般
的なＣＣＤ等の撮像素子は、階調に関するダイナミック
レンジが、従来の銀塩カメラに使用されている銀塩フィ
ルムに比べて狭いという特性があるために、明暗差の大
きい被写体を撮像した場合、例えば炎天下における日向
と日陰を同時に撮像した場合に、何れか一方が適切な露
光となるように撮像すると、他方は黒つぶれするかまた
は白つぶれ（白飛び）した画像となってしまうことがあ
る。

【０００４】このような明暗差の大きい撮影シーンで
も、明部と暗部の何れもが適切に再現されるように、露
光量の異なる複数の画像を合成して、一の広ダイナミッ
クレンジ画像を生成する、いわゆるＳＬ（ＳＬ：Super
Latitude「スーパーラチチュード」）処理を行う撮像装
置が、従来より提案されている。

【０００５】ただし、このようにして得られた広ダイナ
ミックレンジ画像は、通常のモニタやプリンタなどの表
示出力系ではそのまま扱うことができないために、階調
圧縮を行う必要がある。

【０００６】このような階調圧縮を、階調幅全体に対し
て平均的に行う技術が知られているが、画像中に大きな
割合で存在する輝度部分と、ほとんど存在しないような
小さな輝度部分とを同じ割合で固定的に圧縮すると、全
体としてコントラスト感に欠ける平坦な画像となる傾向
があり、必ずしも適切な圧縮手段であるとはいえない。

【０００７】そこで、画像から例えば輝度ヒストグラム
を求めて、さらに累積ヒストグラムを求め、この累積ヒ
ストグラムから階調変換曲線を作成して、該階調変換曲
線に基づき階調を圧縮する手段が従来より提案されてい
る。

【０００８】しかし、この手段は、ヒストグラムに基づ
くものであるために、面積の大きい被写体に、より多く
の階調が付与される傾向がある。このために、例えば空
や壁といったような背景の中に、人物などの主要被写体
が小さく撮影されている場合には、面積の大きな背景部
分に不必要に階調が割り当てられるとともに、主要被写
体の階調はつぶれ気味となり、最適な画像を得ることが
できないという課題があることが知られている。

【０００９】こうした課題を改善するために、主要被写
体にはエッジ部分が多いと仮定して、エッジ部のヒスト
グラムを用いる手段が提案されており、例えば特開２０
００−２２８７４７号公報には、画像の輝度信号にエッ
ジ検出オペレータをかけ、その結果を所定の閾値と比較
することによりエッジ領域を抽出し、このエッジ領域の
近傍画素をヒストグラム算出領域として抽出し、抽出し
た領域から累積ヒストグラムを算出してさらに階調変換
曲線を作成し、この階調変換曲線に基づき階調変換を行
う技術が記載されている。

【００１０】このような技術を用いると、例えば空など
の背景はグラディエーションとなっていてエッジが少な
いために面積が広くても不要な階調が与えられることは
なく、一方、空に比してエッジの多い人物に対しては階
調が割り当てられるために、上述したような課題を緩和
することが可能となっている。

【００１１】

【発明が解決しようとする課題】しかしながら、ヒスト
グラムを算出する対象となる画素を、エッジ近傍の画素
に限定してしまうと、主要被写体にエッジが少ない場合
には、階調が割り当てられなくなってしまう。例えば、
主要被写体が人物の顔である場合には、上記仮定に反し
てエッジとなる要素が少ないために、上記従来の技術で
は、あまり顕著な改善効果を得ることはできていない。

【００１２】こうして、特に人物などの主要被写体の階
調がより適切となるように、階調変換を行うことができ
る技術が望まれている。

【００１３】本発明は上記事情に鑑みてなされたもので
あり、画像内における主要被写体のの面積や位置に関わ
らず該主要被写体に適切な階調幅を付与してより高品位
な階調変換を行うことができる画像処理装置を提供する
ことを目的としている。

【００１４】

【課題を解決するための手段】上記の目的を達成するた
めに、第１の発明による画像処理装置は、同一の被写体
に対して異なる露光条件で撮像された複数の画像からな
る画像群を合成して一の広ダイナミックレンジ画像を生
成する画像処理装置であって、上記画像群に含まれる画
像の各々に対して合成画像に占める階調の範囲を設定す
る階調範囲設定手段と、上記画像群に含まれる画像の各
々に対してフィルタリングを行うフィルタリング手段
と、上記フィルタリング手段によりフィルタリングされ
た画像の各々に対して画素毎に許容範囲の境界を示す上
限の閾値と下限の閾値との少なくとも一方を設定する許
容範囲設定手段と、上記フィルタリング手段によりフィ
ルタリングされた画像の各々に対して上記許容範囲設定
手段により設定された許容範囲に入る画素の集合からな
る領域を抽出する領域抽出手段と、上記画像群に含まれ
る画像の各々に対して上記領域抽出手段により抽出され
た領域の輝度ヒストグラムを生成するヒストグラム生成
手段と、上記画像群に含まれる画像の各々に対して上記
輝度ヒストグラムに基づき上記階調範囲設定手段により
設定された階調範囲への階調圧縮を行う階調補正手段
と、上記階調補正手段による階調補正結果を合成して一
の広ダイナミックレンジ画像を生成する合成処理手段
と、を備えたものである。

【００１５】また、第２の発明による画像処理装置は、
上記第１の発明による画像処理装置において、上記許容
範囲設定手段が、各画素の色と特定色との類似度を計算
する色比較手段と、上記色比較手段により計算された類
似度を変数とする関数によって上記許容範囲の境界を示
す上限の閾値と下限の閾値との少なくとも一方を計算す
る色関数評価手段と、を有してなるものである。

【００１６】さらに、第３の発明による画像処理装置
は、上記第１の発明による画像処理装置において、上記
許容範囲設定手段が、画像を部分領域に分割する分割手
段と、上記分割手段により分割された各部分領域におけ
る局所的な輝度の分散を算出する局所階調評価手段と、
上記局所階調評価手段により算出された輝度の分散を変
数とする関数によって上記許容範囲の境界を示す上限の
閾値と下限の閾値との少なくとも一方を計算する階調関
数評価手段と、を有してなるものである。

【００１７】第４の発明による画像処理装置は、上記第
１の発明による画像処理装置において、上記許容範囲設
定手段が、各画素の近傍領域における上記フィルタリン
グ結果の分散を算出する局所テクスチャ評価手段と、上
記局所テクスチャ評価手段により算出されたフィルタリ
ング結果の分散を変数とする関数によって上記許容範囲
の境界を示す上限の閾値と下限の閾値との少なくとも一
方を計算するテクスチャ関数評価手段と、を有してなる
ものである。

【００１８】第５の発明による画像処理装置は、上記第
１の発明による画像処理装置において、上記領域抽出手
段が、抽出された領域の面積が所定の値より小さいか否
かを判断する面積評価手段を有してなるとともに、上記
許容範囲設定手段は、上記面積評価手段により面積が小
さいと判断された場合に許容範囲を拡張する許容範囲拡
張手段を有してなり、上記領域抽出手段は、上記許容範
囲拡張手段により拡張された許容範囲に入る画素の集合
からなる領域を抽出する再領域抽出手段をさらに有して
なるものである。

【００１９】第６の発明による画像処理装置は、上記第
１の発明による画像処理装置において、上記領域抽出手
段が、抽出された領域の面積が所定の値より小さいか否
かを判断する面積評価手段を有してなり、上記合成処理
手段は、上記異なる露光条件で撮像された複数の画像か
ら標準の露光量で撮像された画像を選択する画像選択手
段と、上記面積評価手段の評価に基づいて出力する画像
として上記異なる露光条件で撮像された複数の画像を合
成処理した画像と上記画像選択手段により選択された画
像とを切り替える切替手段と、を有してなるものであ
る。

【００２０】第７の発明による画像処理装置は、上記第
１の発明による画像処理装置において、処理結果の画像
を表示する表示手段をさらに具備し、上記許容範囲設定
手段は、上記表示手段に表示された画像上の領域を選択
する領域選択手段を有してなり、この領域選択手段によ
り選択された領域内での下限の閾値を、選択された領域
以外の画素における下限の閾値より小さい所定の値に設
定するものである。

【００２１】第８の発明による画像処理装置は、同一の
被写体に対して異なる露光条件で撮像された複数の画像
からなる画像群を合成して一の広ダイナミックレンジ画
像を生成する画像処理装置であって、上記画像群に含ま
れる画像の各々に対してフィルタリングを行うフィルタ
リング手段と、上記フィルタリング手段によりフィルタ
リングされた画像の各々に対して該フィルタリング結果
が所定の値の範囲に入る画素の集合からなる領域を抽出
する領域抽出手段と、上記画像群に含まれる画像の各々
に対して上記領域抽出手段により抽出された領域の輝度
ヒストグラムを生成するヒストグラム生成手段と、上記
画像群に含まれる画像の各々に対して所定の色範囲に含
まれる色を有する画素の集合からなる領域を抽出する特
定色領域抽出手段と、上記画像群に含まれる画像の各々
に対して上記特定色領域抽出手段により抽出された領域
の占める輝度範囲において上記輝度ヒストグラムを修正
するヒストグラム修正手段と、上記ヒストグラム修正手
段により修正された輝度ヒストグラムに基づいて階調補
正を行う階調補正手段と、上記階調補正手段による階調
補正結果を合成して一の広ダイナミックレンジ画像を生
成する合成処理手段と、を備えたものである。

【００２２】第９の発明による画像処理装置は、上記第
８の発明による画像処理装置において、上記特定色領域
抽出手段が、上記所定の色範囲を、肌色の色相との差が
所定の閾値以内となる範囲とするものである。

【００２３】第１０の発明による画像処理装置は、上記
第８の発明による画像処理装置において、上記ヒストグ
ラム修正手段が、上記ヒストグラム生成手段により生成
されたヒストグラムを上記特定色領域抽出手段により抽
出された領域の占める輝度範囲の上限値と下限値から、
下限値以下、上限値以上、上限値と下限値の間、の３つ
の部分ヒストグラムに分割するヒストグラム分割手段
と、上記ヒストグラム分割手段により分割された各部分
ヒストグラムの値を所定の倍率でスケーリングするヒス
トグラムスケーリング手段と、上記ヒストグラムスケー
リング手段によりスケーリングした部分ヒストグラムを
重み付けした後に加算するヒストグラム合成手段と、を
有してなるものである。

【００２４】第１１の発明による画像処理装置は、上記
第８の発明による画像処理装置において、上記ヒストグ
ラム修正手段が、上記ヒストグラム生成手段により生成
されたヒストグラムを上記特定色領域抽出手段により抽
出された領域の占める輝度範囲の上限値と下限値から、
下限値以下、上限値以上、上限値と下限値の間、の３つ
の部分ヒストグラムに分割するヒストグラム分割手段
と、上記ヒストグラム分割手段により分割された部分ヒ
ストグラムの内の上限値と下限値の間に対応する部分ヒ
ストグラムを所定形状の部分ヒストグラムに置き換える
ヒストグラム置換手段と、上記ヒストグラム置換手段に
より置き換えられた部分ヒストグラムを含む各部分ヒス
トグラムの値を所定の倍率でスケーリングするヒストグ
ラムスケーリング手段と、上記ヒストグラムスケーリン
グ手段によりスケーリングした部分ヒストグラムを重み
付けした後に加算するヒストグラム合成手段と、を有し
てなるものである。

【００２５】第１２の発明による画像処理装置は、同一
の被写体に対して異なる露光条件で撮像された複数の画
像からなる画像群を合成して一の広ダイナミックレンジ
画像を生成する画像処理装置であって、上記画像群に含
まれる画像の各々に対してフィルタリングを行うフィル
タリング手段と、上記フィルタリング手段によりフィル
タリングされた画像の各々に対して該フィルタリング結
果が所定の値の範囲に入る画素の集合からなる領域を抽
出する領域抽出手段と、上記画像群に含まれる画像の各
々に対して所定の色範囲に含まれる色を有する画素の集
合からなる領域を抽出する特定色領域抽出手段と、上記
画像群に含まれる画像の各々に対して上記領域抽出手段
により抽出された領域と上記特定色領域抽出手段により
抽出された領域との両方に基づいて輝度ヒストグラムを
生成するヒストグラム生成手段と、上記画像群に含まれ
る画像の各々に対して上記ヒストグラム生成手段により
生成された輝度ヒストグラムに基づいて階調補正を行う
階調補正手段と、上記階調補正手段による階調補正結果
を合成して一の広ダイナミックレンジ画像を生成する合
成処理手段と、を備えたものである。

【００２６】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１から図５は本発明の第１の実
施形態を示したものであり、図１は撮像装置の構成を示
すブロック図、図２は２ｎｄレリーズスイッチがオンさ
れたときの処理を示すフローチャート、図３は上記図２
のＳ３またはＳ６において行われる階調補正の処理を示
すフローチャート、図４は肌色からの乖離度Ｄとエッジ
強度に対する下限値Ｔとの関係を示す線図、図５はヒス
トグラムの正規化と階調曲線の生成法を示す線図であ
る。

【００２７】この第１の実施形態は、本発明の画像処理
装置を例えばデジタルカメラ等の撮像装置に適用したも
のである。

【００２８】この撮像装置１は、例えば電子カメラとし
て構成されたものであり、１回の露光により１枚の画像
を記録する通常撮影を行い得るとともに、広ダイナミッ
クレンジ撮影も行い得るようになっている。この広ダイ
ナミックレンジ撮影は、同一の被写体に対してほぼ同時
刻（短い時間差をもって連続して行う）に露出の異なる
複数枚の画像を露光して、これらの画像を合成（ＳＬ処
理）することにより一の広ダイナミックレンジ画像を得
るものであり、ここでは例えば長時間露光（ＬＥ）に係
る画像と短時間露光（ＳＥ）に係る画像とを撮像して、
これらを合成するようになっている。

【００２９】この撮像装置１は、図１に示すように、電
子シャッタ機能を有し被写体像を光電変換して画像信号
として出力する撮像手段たるＣＣＤ３と、このＣＣＤ３
上に被写体像を結像するための光学系２と、を有してな
る撮像系と、この撮像系による撮像動作を制御するため
の撮像制御回路４と、上記ＣＣＤ３から出力された後に
図示しない相関二重サンプリング回路等でノイズ成分の
除去が行われさらに増幅されたアナログ信号をデジタル
信号に変換するためのＡ／Ｄ変換器５と、このＡ／Ｄ変
換器５によりデジタル化された長時間露光（ＬＥ）に係
る画像データおよび短時間露光（ＳＥ）に係る画像デー
タを記憶するＬＥ，ＳＥバッファ６と、上記ＬＥ，ＳＥ
バッファ６から出力される画像信号の内の輝度信号を抽
出する階調範囲設定手段たる輝度計算回路７と、この輝
度計算回路７から出力される輝度信号に基づいてエッジ
を検出するフィルタリング手段たるエッジ検出回路８
と、上記ＬＥ，ＳＥバッファ６から出力される画像信号
に基づき画像中において特定色である肌色成分を有する
領域を検出する色比較手段であり特定色領域抽出手段た
る肌色検出回路９と、この肌色検出回路９の出力に基づ
き肌色が検出された領域についてのエッジ検出用の閾値
がその他の領域についてのエッジ検出用の閾値よりも低
くなるように閾値を設定する許容範囲設定手段、色関数
評価手段、階調関数評価手段、テクスチャ関数評価手
段、許容範囲拡張手段を兼ねた閾値設定回路１０と、上
記エッジ検出回路８により検出されたエッジ成分を上記
閾値設定回路１０により設定された閾値と比較すること
によりエッジの抽出を行う領域抽出手段、面積評価手
段、再領域抽出手段を兼ねた閾値処理回路１１と、上記
輝度計算回路７から出力される輝度信号と上記閾値処理
回路１１により抽出されたエッジとに基づきヒストグラ
ムを計算しさらに累積ヒストグラムを算出するヒストグ
ラム生成手段たるヒストグラム計算回路１２と、このヒ
ストグラム計算回路１２により計算された累積ヒストグ
ラムに基づき階調変換曲線を算出して輝度信号および色
信号についての階調補正を長時間露光（ＬＥ）画像およ
び短時間露光（ＳＥ）画像についてそれぞれ行う階調補
正手段たる階調補正回路１３と、この階調補正回路１３
により階調補正された長時間露光（ＬＥ）画像と短時間
露光（ＳＥ）画像を処理して一の広ダイナミックレンジ
画像を生成するものであって、必要に応じて上記ＬＥ，
ＳＥバッファ６に記憶された長時間露光（ＬＥ）画像デ
ータまたは短時間露光（ＳＥ）画像データを出力する合
成処理手段、画像選択手段、切替手段を兼ねたＳＬ合成
回路１４と、このＳＬ合成回路１４により作成された広
ダイナミックレンジ画像または該ＳＬ合成回路１４を介
して出力される階調補正前の長時間露光（ＬＥ）画像ま
たは短時間露光（ＳＥ）画像を選択的に記録媒体等に記
録するための記録回路１５と、を有して構成されてい
る。

【００３０】次に、図２を参照して、２ｎｄレリーズス
イッチがオンされたときの処理について説明する。

【００３１】図示しないレリーズボタンの深押しにより
２ｎｄレリーズスイッチがオンされると、この処理が開
始されて、１ｓｔレリーズスイッチがオンされたときに
測光された標準の露出値に基づきまず長時間露光（Ｌ
Ｅ）が行われ、続いてこれよりも露出値の小さい短時間
露光（ＳＥ）が行われて、これらの画像がＡ／Ｄ変換器
５によりデジタル信号に変換された後に上記ＬＥ，ＳＥ
バッファ６に記憶される（ステップＳ１）。

【００３２】次に、上記輝度計算回路７により算出され
た輝度信号に基づいて、長時間露光（ＬＥ）画像と短時
間露光（ＳＥ）画像の各適正露光域が算出される（ステ
ップＳ２）。すなわち、ここでは、長時間露光（ＬＥ）
画像については所定の輝度以下の領域を適正露光域とし
て白つぶれ部分をカットするとともに、短時間露光（Ｓ
Ｅ）画像については所定の輝度以上の領域を適正露光域
として黒つぶれ部分をカットして、これらの適正露光域
を後段の階調補正や画像合成に用いるようになってい
る。

【００３３】そして、まず長時間露光（ＬＥ）画像の適
正露光域について、後述するように階調補正を行い（ス
テップＳ３）、階調補正が失敗したか否かを判断する
（ステップＳ４）。

【００３４】ここで、階調補正が失敗したと判断された
場合には、ＳＬ合成回路１４が上記ＬＥ，ＳＥバッファ
６に記憶されている標準露光画像、つまり補正前の長時
間露光（ＬＥ）画像を読み出して上記記録回路１５に出
力し、該記録回路１５により記録媒体等に記録させてか
ら（ステップＳ５）終了する。

【００３５】また、上記ステップＳ４において、長時間
露光（ＬＥ）画像の階調補正が成功したと判断された場
合には、次に、短時間露光（ＳＥ）画像の階調補正を行
う（ステップＳ６）。

【００３６】そして、同様に階調補正が失敗したか否か
を判断し（ステップＳ７）、失敗したと判断された場合
には、上記ステップＳ５の処理を行ってから終了する。

【００３７】また、短時間露光（ＳＥ）画像の階調補正
も成功したと判断された場合には、上記ＳＬ合成回路１
４が、これら階調補正後の長時間露光（ＬＥ）画像と階
調補正後の短時間露光（ＳＥ）画像とを合成して、合成
された広ダイナミックレンジの画像を上記記録回路１５
に出力し、該記録回路１５により記録媒体等に記録させ
てから（ステップＳ８）終了する。

【００３８】次に、上記ステップＳ３またはステップＳ
６において行われる階調補正の処理について、図３を参
照して説明する。

【００３９】この処理が開始されると、上記輝度計算回
路７により輝度信号が抽出されて（ステップＳ１１）、
上記エッジ検出回路８により抽出された輝度信号にエッ
ジ成分の抽出処理を行い、輝度エッジの強度分布を算出
する（ステップＳ１２）。

【００４０】そして、閾値処理回路１１が、算出された
輝度エッジの強度分布から、エッジとする閾値の下限で
ある下限値Ｔ１を決定する（ステップＳ１３）。具体的
には、例えば強度分布の平均値の４０％等として計算さ
れる。

【００４１】上記ステップＳ１１からステップＳ１３を
行うとともに、一方では、肌色検出回路９が、各画素Ｐ
における色相Ｈと彩度Ｓを算出して（ステップＳ１
４）、各画素Ｐの肌色との乖離度Ｄ（Ｐ）を、予め記憶
されている肌色の色相ＨS と肌色の彩度ＳS に基づき、 Ｄ（Ｐ）←｜Ｈ−ＨS ｜＋｜Ｓ−ＳS ｜ として算出する（ステップＳ１５）。

【００４２】そして、上記ステップＳ１３で算出した下
限値Ｔ１と、上記ステップＳ１５で算出した各画素Ｐの
肌色との乖離度Ｄ（Ｐ）とに基づき、各画素Ｐにおける
下限値Ｔ（Ｐ）を決定する（ステップＳ１６）。

【００４３】この下限値Ｔ（Ｐ）は、具体的には、図４
に示すようにして決定される。

【００４４】すなわち、乖離度Ｄが小さく肌色に近いと
判断される画素ほどエッジ強度に対する下限値Ｔを下げ
るようになっており、これによって、画面中の肌色を呈
している領域、すなわち人物の顔等の部分において、エ
ッジを検出する割合を高め、人物の顔等に重点的に階調
が配分されるようにしたものである。

【００４５】そして、肌色からの乖離度Ｄが所定値Ｄ１
を越えた領域については、主要被写体ではないとして、
上記ステップＳ１３により設定された下限値Ｔ１を用い
るようになっている。

【００４６】輝度エッジの強度が、このようにして決定
された下限値Ｔ（Ｐ）以上となる画素Ｐの集合をＲとし
て設定して（ステップＳ１７）、このＲの面積が閾値以
下であるか否かを判断する（ステップＳ１８）。この閾
値は、後段で輝度ヒストグラムを作成するに足るだけの
画素数が、エッジとして検出されたか否かを判断するた
めのものである。

【００４７】ここで閾値以下である場合には、階調補正
が失敗したとしてその旨をエラーとして設定してから
（ステップＳ１９）、終了する。ここで設定されたエラ
ーにより、上記ステップＳ４またはステップＳ７におい
て、階調補正が失敗したか否かを判断するようになって
いる。

【００４８】また、上記ステップＳ１８において、Ｒの
面積が閾値を越えていると判断された場合には、Ｒ上の
輝度ヒストグラムを計算して（ステップＳ２０）、輝度
ヒストグラムの累積ヒストグラムを生成するとともにそ
の正規化を行うことにより階調変換曲線Ｍを生成し（ス
テップＳ２１）、この階調変換曲線Ｍに基づいて階調変
換を行い（ステップＳ２２）、終了する。

【００４９】ここで、図５を参照して、この正規化処理
と合成後の階調特性について説明する。この図５の各グ
ラフにおいて、横軸は補正前の階調値、縦軸は補正後の
階調値をそれぞれ表している。

【００５０】上述したように、上記ステップＳ２におい
て長時間露光（ＬＥ）画像の飽和部分と短時間露光（Ｓ
Ｅ）画像の黒つぶれ部分が検出され、それらは階調補正
対象として除外されている。その結果、階調補正対象
は、長時間露光（ＬＥ）画像においては図５（Ａ）に示
すようなＬＥ画像階調設定範囲、短時間露光（ＳＥ）画
像においては図５（Ｂ）に示すようなＳＥ画像階調設定
範囲となっている。これらの階調範囲において、長時間
露光（ＬＥ）画像と短時間露光（ＳＥ）画像のそれぞれ
に対して累積ヒストグラムを計算したものが図５
（Ｃ）、図５（Ｄ）である。

【００５１】正規化は、これらの累積ヒストグラムの縦
軸と横軸を調整し、合成処理に適した階調変換曲線を長
時間露光（ＬＥ）画像と短時間露光（ＳＥ）画像のそれ
ぞれに対して決定する処理である。

【００５２】まず、横軸については、長時間露光（Ｌ
Ｅ）画像と短時間露光（ＳＥ）画像の露光比の違いを反
映するために、図５（Ｄ）の横軸をＬＥ画像の露光レベ
ルに合わせてスケーリングする。また、縦軸について
は、合成後の画像において長時間露光（ＬＥ）画像と短
時間露光（ＳＥ）画像の各々が占める階調範囲が予め定
められており、この範囲に各々の縦軸の範囲が入るよう
にスケーリングとオフセット加算が行われる。そして、
これらのスケーリングの結果得られるグラフを階調変換
曲線Ｍとする。

【００５３】合成後の画像において長時間露光（ＬＥ）
画像の階調範囲が０〜１００、短時間露光（ＳＥ）画像
の階調範囲が１００〜２５５、長時間露光（ＬＥ）画像
と短時間露光（ＳＥ）画像の露光比が８：１である場合
の正規化結果の例を示すのが図５（Ｅ）、図５（Ｆ）で
ある。それぞれの階調変換曲線は、図５（Ｇ）に示すよ
うに滑らかに接続することができ、合成後のトータルな
階調変換特性を形成する。

【００５４】階調変換曲線Ｍによる階調補正では、長時
間露光（ＬＥ）画像については曲線Ｍを直接当てはめ、
短時間露光（ＳＥ）画像については露光比（図５に示す
例の場合には８倍）で画素値をスケーリングした後に階
調変換曲線Ｍを適用する。

【００５５】このような第１の実施形態によれば、画像
中の肌色成分を検出して、肌色部分におけるエッジ検出
の閾値を下げることにより、肌色を呈する領域に重点的
に階調が配分されるようにしたために、エッジ成分の少
ない人物の顔などにも階調が適切に配分されるようにな
り、主観的に好ましい画像となる。

【００５６】図６から図８は本発明の第２の実施形態を
示したものであり、図６は撮像装置の構成を示すブロッ
ク図、図７は輝度分散とエッジ強度分散による被写体の
分類とエッジ強度に対する下限値の等高線とを示す図、
図８は撮像装置における階調補正の処理を示すフローチ
ャートである。

【００５７】この第２の実施形態において、上述の第１
の実施形態と同様である部分については説明を省略し、
主として異なる点についてのみ説明する。

【００５８】本発明の画像処理装置が適用されたこの第
２の実施形態の撮像装置は、上述した第１の実施形態の
図１に示した撮像装置とほぼ同様に構成されているが、
肌色検出を行うことにより主要被写体を推定する代わり
に、輝度分散とエッジ強度分散とに基づき被写体の分類
を行って主要被写体を推定するようにしたものである。

【００５９】すなわち、この撮像装置は、図６に示すよ
うに、上記ＬＥ，ＳＥバッファ６に記憶された画像デー
タを読み出して領域の抽出を行う許容範囲設定手段であ
り分割手段たる領域抽出回路２１と、抽出された領域の
輝度分散を計算する許容範囲設定手段であり局所階調評
価手段たる輝度分散計算回路２２と、上記エッジ検出回
路８により検出されたエッジの強度分散を計算する許容
範囲設定手段であり局所テクスチャ評価手段たるエッジ
強度分散計算回路２３と、を有しており、上記輝度分散
計算回路２２により計算された輝度分散と上記エッジ強
度分散計算回路２３により計算されたエッジ強度分散と
に基づいて、閾値設定回路１０がエッジとみなす閾値の
下限を設定するようになっている。

【００６０】また、これに伴って、上記第１の実施形態
の肌色検出回路９は設けられていない。

【００６１】このように構成された撮像装置における２
ｎｄレリーズスイッチがオンされたときの動作は、上述
した第１の実施形態の図２に示したものと同様である。

【００６２】次に撮像装置における階調補正の処理につ
いて、図８を参照して説明する。

【００６３】この処理が開始されると、上記輝度計算回
路７により輝度信号が抽出されて（ステップＳ２１）、
抽出された輝度信号にエッジ成分の抽出処理を行って、
輝度エッジの強度分布を算出する（ステップＳ２２）。

【００６４】そして、算出された輝度エッジの強度分布
から、エッジとする閾値の下限である下限値Ｔ１を決定
する（ステップＳ２３）。

【００６５】上記ステップＳ２２、ステップＳ２３を行
うとともに、一方では、上記ステップＳ２１で抽出され
た輝度信号に基づき、上記領域抽出回路２１が、画像を
部分領域であるブロック領域に分割して（ステップＳ２
４）、上記輝度分散計算回路２２が、抽出したブロック
領域内の輝度分散Ｖｙを算出する（ステップＳ２５）。

【００６６】さらに、上記ステップＳ２３を行う他方
で、上記ステップＳ２２で計算された輝度エッジに基づ
き、上記領域抽出回路２１が、画像を部分領域であるブ
ロック領域に分割して（ステップＳ２６）、上記エッジ
強度分散計算回路２３が、抽出したブロック領域内の輝
度エッジ強度の分散Ｖｅを計算する（ステップＳ２
７）。

【００６７】そして、上記ステップＳ２３で算出した下
限値Ｔ１と、上記ステップＳ２５で算出したブロック内
の輝度分散Ｖｙと、上記ステップＳ２７で算出したブロ
ック内の輝度エッジ強度の分散Ｖｅとに基づき、ブロッ
ク毎の下限値Ｔ（Ｂ）を決定する（ステップＳ２８）。

【００６８】この下限値Ｔ（Ｂ）は、具体的には、図７
に示すようにして決定される。

【００６９】この図７に示すような、輝度分散とエッジ
強度分散とを独立変数として張った平面内においては、
輝度の分散が小さくかつエッジの強度分散も小さい場合
には平坦部、また、輝度の分散が小さくかつエッジの強
度分散が大きい場合にはテクスチャ（texture：いわゆ
る模様部分）、さらに、輝度の分散が大きくかつエッジ
の強度分散が小さい場合にはグラデーション、そして、
輝度の分散が大きくかつエッジの強度分散も大きい場合
にはエッジであるとそれぞれ分類することができる。

【００７０】このような線図において、エッジ強度に対
する閾値の下限Ｔの等高線を、図示のように設定する。
すなわち、主要被写体は、テクスチャ、グラデーショ
ン、エッジの何れかにあるとして、該当部分ほど閾値の
下限が低くなるように設定し、周辺部に行くに従って閾
値を次第に高くして、図示のような等高線Ｔ１で示す部
分の外側は、主要被写体ではないとして、上記ステップ
Ｓ２３により設定された下限値Ｔ１を用いるようになっ
ている。

【００７１】輝度エッジの強度が、このようにして決定
された下限値Ｔ（Ｂ）以上となる画素Ｐの集合をＲとし
て設定して（ステップＳ２９）、このＲの面積が閾値以
下であるか否かを判断する（ステップＳ３０）。

【００７２】ここで閾値以下である場合には、上記ステ
ップＳ２３で設定したＴ１の範囲が適正であるか否かを
判断し（ステップＳ３１）、適正である場合にはＴ１を
所定値だけ減少させてから（ステップＳ３２）、上記ス
テップＳ２８に戻って上述したような処理を繰り返し、
一方、Ｔ１の範囲が適正でない場合には、階調補正が失
敗したとしてその旨をエラーとして設定してから（ステ
ップＳ３３）、終了する。

【００７３】また、上記ステップＳ３０においては、第
１の実施形態と同様に、Ｒの面積が閾値を越えていると
判断された場合には、Ｒ上の輝度ヒストグラムを計算し
て（ステップＳ３４）、輝度ヒストグラムの累積ヒスト
グラムを生成するとともにその正規化を行うことにより
階調変換曲線Ｍを生成し（ステップＳ３５）、この階調
変換曲線Ｍに基づいて階調変換を行い（ステップＳ３
６）、終了する。

【００７４】このような第２の実施形態によれば、輝度
分散とエッジ強度分散とに基づいて主要被写体を推定す
ることにより、上述した第１の実施形態とほぼ同様の効
果を奏することができる。さらに、輝度エッジが検出さ
れる画素数が足りない場合でも、下限の閾値を適応的に
減少させることにより、階調補正を行うことが可能にな
る。

【００７５】図９から図１４は本発明の第３の実施形態
を示したものであり、図９は撮像装置の構成を示すブロ
ック図、図１０は撮像装置における階調補正の処理を示
すフローチャート、図１１は忠実ヒストグラム補正によ
る処理の様子を示す線図、図１２は上記図１０のステッ
プＳ５３において行われる忠実ヒストグラム補正の処理
を示すフローチャート、図１３は強調ヒストグラム補正
による処理の様子を示す線図、図１４は上記図１０のス
テップＳ５４において行われる強調ヒストグラム補正の
処理を示すフローチャートである。

【００７６】この第３の実施形態において、上述の第
１，第２の実施形態と同様である部分については説明を
省略し、主として異なる点についてのみ説明する。

【００７７】本発明の画像処理装置が適用されたこの第
３の実施形態の撮像装置は、上述した第１の実施形態の
図１に示した撮像装置とほぼ同様に構成されていて、肌
色検出を行うのは同様であるが、その結果に基づき閾値
を設定する代わりに、ヒストグラムを補正するようにし
たものである。

【００７８】すなわち、この撮像装置は、図９に示すよ
うに、ヒストグラム計算回路１２によって算出されたヒ
ストグラムを補正するヒストグラム修正手段、ヒストグ
ラム分割手段、ヒストグラムスケーリング手段、ヒスト
グラム合成手段、ヒストグラム置換手段を兼ねたヒスト
グラム補正回路３１が新たに設けられており、このヒス
トグラム補正回路３１によって補正されたヒストグラム
が階調補正回路１３に入力されるようになっている。

【００７９】また、上記肌色検出回路９により検出され
た結果は、このヒストグラム補正回路３１に出力される
ようになっており、該ヒストグラム補正回路３１は、検
出された肌色領域に基づきヒストグラムの補正を行うよ
うになっている。なお、これに伴って、上記第１の実施
形態の閾値設定回路１０は設けられていない。

【００８０】さらに、この実施形態の撮像装置は、後述
するように、階調補正モードとして、忠実モードまたは
強調モードを選択的に設定することができるようになっ
ている。

【００８１】このように構成された撮像装置における、
２ｎｄレリーズスイッチがオンされたときの動作は、上
述した第１の実施形態における図２に示したものと同様
である。

【００８２】次に撮像装置における階調補正の処理につ
いて、図１０を参照して説明する。

【００８３】この処理が開始されると、上記輝度計算回
路７により輝度信号が抽出されて（ステップＳ４１）、
抽出された輝度信号にエッジ成分の抽出処理を行って、
輝度エッジの強度分布を算出する（ステップＳ４２）。

【００８４】そして、算出された輝度エッジの強度分布
から、エッジとする閾値の下限である下限値Ｔ１を決定
し（ステップＳ４３）、輝度エッジの強度が、この下限
値Ｔ１以上となる画素Ｐの集合をＲとして設定する（ス
テップＳ４４）。

【００８５】上記ステップＳ４１からステップＳ４４を
行うとともに、一方では、各画素Ｐにおける色相Ｈを算
出して（ステップＳ４５）、各画素Ｐの肌色との乖離度
Ｄ（Ｐ）を、予め記憶されている肌色の色相ＨS に基づ
き、 Ｄ（Ｐ）←｜Ｈ−ＨS ｜ として算出する（ステップＳ４６）。

【００８６】こうして算出した肌色との乖離度Ｄ（Ｐ）
が閾値ＴS 以下となる画素の集合をＳに設定して（ステ
ップＳ４７）、このＳにおける輝度の最大値をｍａｘＹ
に、輝度の最小値をｍｉｎＹにそれぞれ設定する（ステ
ップＳ４８）。

【００８７】上記ステップＳ４４およびステップＳ４８
が終了したところで、上記Ｒの面積が閾値以下であるか
否かを判断して（ステップＳ４９）、閾値以下である場
合には、階調補正が失敗したとしてその旨をエラーとし
て設定してから（ステップＳ５０）、終了する。

【００８８】また、Ｒの面積が閾値を越えていると判断
された場合には、Ｒ上の輝度ヒストグラムを計算して
（ステップＳ５１）、さらに階調補正モードが忠実モー
ドに設定されているかまたは強調モードに設定されてい
るかを判断する（ステップＳ５２）。

【００８９】ここで、忠実モードに設定されている場合
には、後述するような忠実ヒストグラム補正を行い（ス
テップＳ５３）、一方、強調モードに設定されている場
合には、後述するような強調ヒストグラム補正を行う
（ステップＳ５４）。

【００９０】上記ステップＳ５３またはステップＳ５４
によるヒストグラム補正が終了したら、補正された輝度
ヒストグラムの累積ヒストグラムを生成するとともにそ
の正規化を行うことにより階調変換曲線Ｍを生成し（ス
テップＳ５５）、この階調変換曲線Ｍに基づいて階調変
換を行い（ステップＳ５６）、終了する。

【００９１】次に、上記図１０のステップＳ５３におい
て行われる忠実ヒストグラム補正の処理について、図１
１を参照しながら図１２に沿って説明する。

【００９２】ある撮影シーンについての輝度ヒストグラ
ムを算出すると、例えば図１１（Ａ）に示すようになっ
たとする。図示のように、輝度はここでは０〜２５５ま
での２５６階調の値をとるものとなっている。

【００９３】そして、このような輝度ヒストグラムにお
ける、上記ステップＳ４８で算出したｍａｘＹとｍｉｎ
Ｙ、すなわち、肌色を呈する主要被写体領域における最
大輝度と最小輝度は、それぞれ図示のようになっている
ものとする。

【００９４】このような状態において、この忠実ヒスト
グラム補正の処理が開始されると、まず、ｍｉｎＹまで
のヒストグラム面積をＡｍｉｎに設定するとともに、ｍ
ａｘＹから２５５までのヒストグラム面積をＡｍａｘに
設定する（ステップＳ６１）。

【００９５】次に、所定のスケーリング係数をαに設定
するとともに、このαと上記ステップＳ６１で設定した
ＡｍａｘおよびＡｍｉｎと上記ｍａｘＹおよびｍｉｎＹ
と後述する傾きｃとを用いて、Ｖを、 Ｖ←ｃ×(αＡｍｉｎ＋Ａｍａｘ)／(２５５−ｃ×(ｍａ
ｘＹ−ｍｉｎＹ)) のように設定する（ステップＳ６２）。

【００９６】そして、ｍｉｎＹまでのヒストグラムをα
倍して（ステップＳ６３）、ｍｉｎＹからｍａｘＹの範
囲を、図１１（Ｂ）に示すように、上記ステップＳ６２
で算出した大きさＶの平坦ヒストグラムで置き換える
（ステップＳ６４）。

【００９７】続いて、合成の準備を行う。ここでは、ヒ
ストグラムのｍｉｎＹ以下の部分をＨｍｉｎに設定し、
ヒストグラムのｍａｘＹ以上の部分をＨｍａｘに設定
し、図１１（Ｅ）に示すような所定の重み関数をｗとす
る。さらに、ＨｍｉｎのｍｉｎＹでの値をＣｍｉｎに設
定し、ＨｍａｘのｍａｘＹでの値をＣｍａｘに設定し、
ｍｉｎＹとｍａｘＹでの平均値をｍｉｄＹに設定する
（ステップＳ６５）。

【００９８】そして、これらに基づき合成ヒストグラム
Ｈを作成する。すなわち、ｍｉｎＹ以下で、 Ｈ←Ｈｍｉｎ×（１−ｗ）＋Ｖ×ｗ ｍｉｎＹ〜ｍｉｄＹの間で、 Ｈ←Ｖ×ｗ＋（１−ｗ）×Ｃｍｉｎ ｍｉｄＹ〜ｍａｘＹの間で、 Ｈ←Ｖ×ｗ＋（１−ｗ）×Ｃｍａｘ ｍａｘＹ以上で、 Ｈ←Ｈｍａｘ×（１−ｗ）＋Ｖ×ｗ とすることにより図１１（Ｃ）に示すような滑らかに接
続された合成ヒストグラムを生成して（ステップＳ６
６）、終了する。

【００９９】また、このような忠実ヒストグラム補正の
処理により生成された合成ヒストグラムに基づき、上記
ステップＳ５５において生成される階調変換曲線Ｍは、
図１１（Ｄ）に示すようになる。図示のように、輝度が
ｍｉｎＹとｍａｘＹの間となる領域、つまり肌色を呈す
る主要被写体領域については、線形の階調補正を行って
おり、忠実に階調を再現するようになっている。そし
て、このときの線形部分の傾きが、上記ステップＳ６２
において用いたｃとなっている。

【０１００】続いて、上記図１０のステップＳ５４にお
いて行われる強調ヒストグラム補正の処理について、図
１３を参照しながら図１４に沿って説明する。

【０１０１】ある撮影シーンについての輝度ヒストグラ
ムが、上記図１１（Ａ）と同様に、例えば図１３（Ａ）
に示したもののようになったとする。

【０１０２】このような状態において、この強調ヒスト
グラム補正の処理が開始されると、まず、ｍｉｎＹまで
のヒストグラム面積をＡｍｉｎに設定するとともに、ｍ
ｉｎＹからｍａｘＹまでのヒストグラム面積をＡｓｋｉ
ｎに設定し、さらに、ｍａｘＹから２５５までのヒスト
グラム面積をＡｍａｘに設定する（ステップＳ７１）。

【０１０３】次に、所定のスケーリング係数をα，βに
それぞれ設定するとともに、さらに他のスケーリング係
数γを、これらα，βと上記ステップＳ７１で設定した
Ａｍａｘ，Ａｍｉｎ，およびＡｓｋｉｎとを用いて、 γ←((１−α)×Ａｍｉｎ＋(１−β)×Ａｓｋｉｎ＋Ａ
ｍａｘ)／Ａｍａｘ のように設定する。そして、図１３（Ｂ）に示すよう
に、ｍｉｎＹ以下の部分をα倍、ｍｉｎＹからｍａｘＹ
の間の部分をβ倍、ｍａｘＹ以上の部分をγ倍にスケー
リングする（ステップＳ７２）。

【０１０４】続いて、合成の準備を行う。ここでは、ヒ
ストグラムのｍｉｎＹ以下の部分をＨｍｉｎに設定し、
ヒストグラムのｍｉｎＹからｍａｘＹの部分をＨｍｉｄ
に設定し、ヒストグラムのｍａｘＹ以上の部分をＨｍａ
ｘに設定し、図１３（Ｅ）に示すような、上記図１１
（Ｅ）に示したものよりもより滑らかに接続する形状の
所定の重み関数をｗとする。加えて、Ｈｍｉｎのｍｉｎ
Ｙでの値をＣｍｉｎに設定し、ＨｍｉｄのｍｉｎＹでの
値をＣｍｉｄＬに設定し、ＨｍｉｄのｍａｘＹでの値を
ＣｍｉｄＲに設定し、ＨｍａｘのｍａｘＹでの値をＣｍ
ａｘに設定し、ｍｉｎＹとｍａｘＹの平均値をｍｉｄＹ
に設定する（ステップＳ７３）。

【０１０５】そして、これらに基づき合成ヒストグラム
Ｈを作成する。すなわち、ｍｉｎＹ以下で、 Ｈ←Ｈｍｉｎ×（１−ｗ）＋ＣｍｉｄＬ×ｗ ｍｉｎＹ〜ｍｉｄＹの間で、 Ｈ←Ｈｍｉｄ×ｗ＋（１−ｗ）×Ｃｍｉｎ ｍｉｄＹ〜ｍａｘＹの間で、 Ｈ←Ｈｍｉｄ×ｗ＋（１−ｗ）×Ｃｍａｘ ｍａｘＹ以上で、 Ｈ←Ｈｍａｘ×（１−ｗ）＋ＣｍｉｄＲ×ｗ とすることにより図１３（Ｃ）に示すような滑らかに接
続された合成ヒストグラムを生成して（ステップＳ７
４）、終了する。

【０１０６】また、このような強調ヒストグラム補正の
処理により生成された合成ヒストグラムに基づき、上記
ステップＳ５５において生成される階調変換曲線Ｍは、
図１３（Ｄ）に示すようになる。図示のように、輝度が
ｍｉｎＹとｍａｘＹの間となる領域、つまり肌色を呈す
る主要被写体領域については、階調幅がβ倍されるため
に、階調を強調するようになっている。

【０１０７】このような第３の実施形態によれば、上述
した第１，第２の実施形態とほぼ同様の効果を奏すると
ともに、忠実ヒストグラムと強調ヒストグラムを選択可
能にして、何れが選択されているかに応じて、ｍｉｎＹ
からｍａｘＹの間を忠実に再現させる階調とするか、ｍ
ｉｎＹとｍａｘＹの間を強調して再現させる階調とする
かを処理するようにしたために、撮影者が撮影シーンや
好みに応じて所望に選択することができる。

【０１０８】図１５、図１６は本発明の第４の実施形態
を示したものであり、図１５は撮像装置の構成を示すブ
ロック図、図１６は撮像装置における階調補正の処理を
示すフローチャートである。

【０１０９】この第４の実施形態において、上述の第１
から第３の実施形態と同様である部分については説明を
省略し、主として異なる点についてのみ説明する。

【０１１０】本発明の画像処理装置が適用されたこの第
４の実施形態の撮像装置は、図１５に示すように、上述
した第１の実施形態の図１に示した撮像装置とほぼ同様
に構成されていて、肌色検出を行うのは同様であるが、
閾値設定回路１０は設けられておらず、肌色検出の結果
は、閾値設定回路１０に入力される代わりに、ヒストグ
ラム計算回路１２に入力されるようになっている。

【０１１１】このように構成された撮像装置における、
２ｎｄレリーズスイッチがオンされたときの動作は、上
述した第１の実施形態における図２に示したものと同様
である。

【０１１２】次に、撮像装置における階調補正の処理に
ついて、図１６を参照して説明する。

【０１１３】この処理が開始されると、上記輝度計算回
路７により輝度信号が抽出されて（ステップＳ８１）、
抽出された輝度信号にエッジ成分の抽出処理を行って、
輝度エッジの強度分布を算出する（ステップＳ８２）。

【０１１４】そして、算出された輝度エッジの強度分布
から、エッジとする閾値の下限である下限値Ｔ１を決定
し（ステップＳ８３）、輝度エッジの強度が、この下限
値Ｔ１以上となる画素Ｐの集合をＲｅとして設定する
（ステップＳ８４）。

【０１１５】上記ステップＳ８１からステップＳ８４を
行うとともに、一方では、各画素Ｐにおける色相Ｈと彩
度Ｓを算出して（ステップＳ８５）、各画素Ｐの肌色と
の乖離度Ｄ（Ｐ）を、予め記憶されている肌色の色相Ｈ
S と肌色の彩度ＳS に基づき、 Ｄ（Ｐ）←｜Ｈ−ＨS ｜＋｜Ｓ−ＳS ｜ として算出する（ステップＳ８６）。

【０１１６】こうして算出した肌色との乖離度Ｄ（Ｐ）
が所定の閾値Ｔc 以下となる画素の集合をＲc に設定す
る（ステップＳ８７）。

【０１１７】そして、上記ステップＳ８４で算出したＲ
e と上記ステップＳ８７で算出したＲc との和集合をＲ
に設定し（ステップＳ８８）、このＲの面積が閾値以下
であるか否かを判断して（ステップＳ８９）、閾値以下
である場合には、階調補正が失敗したとしてその旨をエ
ラーとして設定してから（ステップＳ９０）、終了す
る。

【０１１８】また、Ｒの面積が閾値を越えていると判断
された場合には、Ｒ上の輝度ヒストグラムを計算して
（ステップＳ９１）、輝度ヒストグラムの累積ヒストグ
ラムを生成するとともにその正規化を行うことにより階
調変換曲線Ｍを生成し（ステップＳ９２）、この階調変
換曲線Ｍに基づいて階調変換を行い（ステップＳ９
３）、終了する。

【０１１９】このような第４の実施形態によれば、輝度
エッジが検出された画素と肌色が検出された画素との和
集合に基づき階調変換曲線を生成することによっても、
上述した第１から第３の実施形態とほぼ同様の効果を奏
することができる。

【０１２０】図１７から図２１は本発明の第５の実施形
態を示したものであり、図１７は撮像装置およびパーソ
ナルコンピュータの構成を示すブロック図、図１８はパ
ーソナルコンピュータにおいてソフトＳＬ処理を行うと
きの操作画面の様子を示す図、図１９はパーソナルコン
ピュータにおけるソフトＳＬ処理を示すフローチャー
ト、図２０はソフトＳＬ処理における階調補正の処理を
示すフローチャート、図２１はソフトＳＬ処理における
統合階調特性と明度およびコントラストの調整曲線の様
子をそれぞれ示す線図である。

【０１２１】この第５の実施形態において、上述の第１
から第４の実施形態と同様である部分については説明を
省略し、主として異なる点についてのみ説明する。

【０１２２】この第５の実施形態は、例えばデジタルカ
メラ等の撮像装置により撮像した画像を、パーソナルコ
ンピュータ等の外部装置により処理する構成に対して、
本発明の画像処理装置を適用したものである。

【０１２３】まず、撮像装置１は、図１７に示すよう
に、少なくとも上記光学系２、ＣＣＤ３、撮像制御回路
４と、Ａ／Ｄ変換器５と、ＬＥ，ＳＥバッファ６、記録
回路１５を有して構成されていて、この記録回路１５
は、記録媒体として例えばメモリカード４６に記録を行
うようになっている。

【０１２４】一方、パーソナルコンピュータ４１は、上
記メモリカード４６を挿入してデータを読み書き可能な
カードスロット４２ａを備えた本体４２と、処理結果の
画像を表示する表示手段たるモニタ４３と、入力装置で
あるキーボード４４および領域選択手段たるマウス４５
と、を有して構成されている。

【０１２５】上述したような撮像装置１により画像を撮
像して、外部装置である上記パーソナルコンピュータ４
１等によりスーパーラチチュード（ＳＬ）処理を行おう
とする場合には、メモリカード４６に、長時間露光（Ｌ
Ｅ）画像および短時間露光（ＳＥ）画像と各種のパラメ
ータ等とを、例えばファイル形式で記録するようになっ
ている。

【０１２６】そして、これらのデータが記録されたメモ
リカード４６を、上記カードスロット４２ａに挿入し、
データをパーソナルコンピュータ４１が読み込むことに
より、該パーソナルコンピュータ４１がＳＬ処理をソフ
ト的に行うことができるように構成されている。

【０１２７】このパーソナルコンピュータ４１において
行われるソフトＳＬ処理について、図１９を参照して説
明する。

【０１２８】該パーソナルコンピュータ４１上におい
て、ソフトＳＬ処理を行うためのプログラムを実行させ
ると、この処理が開始される。

【０１２９】まず、上記カードスロット４２ａに挿入さ
れたメモリカード４６から、処理を行う対象となるファ
イルを選択する（ステップＳ１０１）。

【０１３０】次に、選択されたファイルに記録されてい
る長時間露光（ＬＥ）画像データおよび短時間露光（Ｓ
Ｅ）画像データを読み込んで（ステップＳ１０２）、輝
度信号に基づいて、各画像データの各適正露光域が算出
される（ステップＳ１０３）。

【０１３１】そして、長時間露光（ＬＥ）画像の適正露
光域について、後述するように階調補正処理を行い（ス
テップＳ１０４）、階調補正が失敗したか否かを判断す
る（ステップＳ１０５）。

【０１３２】ここで、階調補正が失敗したと判断された
場合には、長時間露光（ＬＥ）画像を線形階調で階調圧
縮する（ステップＳ１０６）。

【０１３３】一方、上記ステップＳ１０５において、長
時間露光（ＬＥ）画像の階調補正が成功したと判断され
るか、または上記ステップＳ１０６の処理が終了した場
合には、次に、短時間露光（ＳＥ）画像の階調補正処理
を行う（ステップＳ１０７）。

【０１３４】そして、同様に階調補正が失敗したか否か
を判断し（ステップＳ１０８）、失敗したと判断された
場合には、短時間露光（ＳＥ）画像を線形階調で階調圧
縮する（ステップＳ１０９）。

【０１３５】上記ステップＳ１０８において、長時間露
光（ＬＥ）画像の階調補正が成功したと判断されるか、
または上記ステップＳ１０９の処理が終了した場合に
は、階調補正後の長時間露光（ＬＥ）画像と短時間露光
（ＳＥ）画像を合成して、合成された広ダイナミックレ
ンジの画像を、図１８に示すように、上記モニタ４３に
表示させる（ステップＳ１１０）。

【０１３６】ここで、図１８に示す画面について説明す
る。

【０１３７】モニタ４３の画面４３ａには、ソフトＳＬ
処理を行うためのプログラムのウィンドウ５１が表示さ
れており、このウィンドウ５１内には処理対処の画像を
表示する画像表示領域５２と、各種の操作を行うための
ツールボタン等が配置された操作領域５３とが表示され
ている。

【０１３８】このプログラムは、上記マウス４５によっ
てポイントされるマウスカーソル４５ａの位置で、クリ
ック等を行うことにより操作可能となっており、さら
に、上記キーボード４４によるキー操作等によっても操
作することが可能となっている。

【０１３９】上記画像表示領域５２には、窓から空や山
などの外の風景が見える室内に、人物が窓を背にしてい
る状態の画像が表示されており、この逆光シーンにおけ
る人物の頭部が、後述するステップＳ１１３において選
択される基準領域Ｓとして、選択範囲表示マーク５４に
より示されている。

【０１４０】また、上記操作領域５３には、上部に選択
ツール５５が操作可能に表示されており、色を選択する
ためのボタン５５ａ、模様を選択するためのボタン５５
ｂ、輪郭を選択するためのボタン５５ｃにより構成され
ている。

【０１４１】上記選択ツール５５の下部には、コントラ
ストをハードとソフトの間で調整するためのコントラス
ト調整スライダ５６と、明度を明と暗の間で調整するた
めの明度調整スライダ５７とが表示されている。

【０１４２】さらにその下部には、設定した調整値での
階調補正を実行するための実行ボタン５８ａと、表示さ
れる画像の結果が良好であることを示すためのＯＫボタ
ン５８ｂと、画像の処理を中止するためのキャンセルボ
タン５８ｃとが操作可能に表示されている。

【０１４３】上記図１９に戻って、上記明度調整スライ
ダ５７やコントラスト調整スライダ５６を操作すること
により、明度やコントラストの調整を行い（ステップＳ
１１１）、その結果が良好であるか否かを上記ＯＫボタ
ン５８ｂが操作されたか否かにより判断する（ステップ
Ｓ１１２）。

【０１４４】ここで良好でない場合には、階調補正のた
めの基準領域Ｓの選択、すなわち階調を重点的に配分す
る主要被写体などの領域を操作者がマウス４５等を操作
することにより上記選択範囲表示マーク５４に示したよ
うに選択する（ステップＳ１１３）。

【０１４５】領域選択の基準は、マウス４５のクリック
の以前に、選択ツール５５においてそのボタンが最後に
押されていたかにより決定する。

【０１４６】ボタン５５ａが押されていた場合、マウス
４５がクリックされた時点の座標Ｐの近傍の合成画像の
平均的な色相Ｈと彩度Ｓが計算され、色相、彩度のＨお
よびＳとの差が所定の範囲内でありかつＰと連結な領域
が選択領域Ｓとして選択される。

【０１４７】ボタン５５ｂが押されていた場合、マウス
４５がクリックされた時点の座標Ｐの近傍で同時共起行
列などの公知のテクスチャ解析手法によりテクスチャ解
析がなされ、解析結果と類似のテクスチャ特性を有する
画像領域が選択領域Ｓとして選択される。

【０１４８】ボタン５５ｃが押されていた場合、合成画
像の輝度成分のエッジ強度に基づいて、画像が平坦部分
とエッジ部分に二値化される。この処理は種々の公知手
法により実現可能である。そして、二値化の後、平坦部
分が連結性に基づいて領域分割され、マウス４５がクリ
ックされた時点の座標Ｐを含む領域が選択領域Ｓとして
選択される。

【０１４９】そして、これらの処理の結果得られた選択
結果に基づいて、長時間露光（ＬＥ）画像の適正露光域
について階調補正処理を行うとともに（ステップＳ１１
４）、短時間露光（ＳＥ）画像の適正露光域について階
調補正処理を行い（ステップＳ１１５）、上記ステップ
Ｓ１１０に戻って上述したような処理を繰り返す。

【０１５０】一方、上記ステップＳ１１２において、結
果が良好であると判断された場合には、階調変換の結果
を上記メモリカード４６やあるいは該パーソナルコンピ
ュータ４１内のハードディスク等に保存して（ステップ
Ｓ１１６）、さらに他のファイルを処理するか否かを判
断し（ステップＳ１１７）、他のファイルを処理する場
合には上記ステップＳ１０１へ戻って上述したような処
理を繰り返し、また、他のファイルの処理を行わない場
合には、終了する。

【０１５１】次に、図２０を参照して、上記ソフトＳＬ
処理のステップＳ１０４、ステップＳ１０７、ステップ
Ｓ１１４、ステップＳ１１５において行われる階調補正
の処理について説明する。

【０１５２】この処理が開始されると、メモリカード４
６から読み込んだ長時間露光（ＬＥ）画像と短時間露光
（ＳＥ）画像の輝度信号成分を抽出し（ステップＳ１２
１）、抽出した輝度信号にエッジ成分の抽出処理を行っ
て、輝度エッジの強度分布を算出する（ステップＳ１２
２）。

【０１５３】そして、算出された輝度エッジの強度分布
から、エッジとする閾値の下限である下限値Ｔ１を決定
する（ステップＳ１２３）。

【０１５４】そして、輝度エッジの強度が、この下限値
Ｔ１以上となる画素Ｐの集合をＲとして設定して（ステ
ップＳ１２４）、このＲと上記ステップＳ１１３で選択
された基準領域Ｓとの和集合を新たにＲとして設定する
（ステップＳ１２５）。

【０１５５】つまり、この階調補正の処理が上記ステッ
プＳ１０４またはステップＳ１０７でコールされた場合
には、基準領域Ｓはまだ設定されていないために、Ｒは
上記ステップＳ１２４で設定されたＲと同一となり、一
方、上記ステップＳ１１４またはステップＳ１１５でコ
ールされた場合には、上記ステップＳ１２４で設定され
たＲと、上記ステップＳ１１３において上記図１８の選
択範囲表示マーク５４で示されるような範囲として設定
されたＳと、の和集合が、新たにＲとして設定されるこ
とになる。

【０１５６】そして、このＲ上の輝度ヒストグラムを計
算して（ステップＳ１２６）、輝度ヒストグラムの累積
ヒストグラムを生成するとともにその正規化を行うこと
により階調変換曲線Ｍを生成し（ステップＳ１２７）、
この階調変換曲線Ｍに基づいて階調変換を行い（ステッ
プＳ１２８）、終了する。

【０１５７】最後に、図２１を参照して、図１９のステ
ップＳ１１１で行われる調整の具体的な方法について述
べる。

【０１５８】上記図１８に表示されている合成画像の階
調変換特性が、例えば、図２１（Ａ）に示すようになっ
ていて、さらに、図２１（Ａ）における符号Ｙp 〜Ｙq
の範囲、階調変換後においては符号Ｖp 〜Ｖq の範囲
が、該選択範囲表示マーク５４に示すように選択された
領域の輝度範囲となっているとする。

【０１５９】上記コントラスト調整スライダ５６と明度
調整スライダ５７は、図２１（Ｂ）に示すように、この
ような合成後の画像の輝度範囲Ｖp 〜Ｖq について、コ
ントラストと明度とをそれぞれ以下のように調整する。

【０１６０】まず、コントラストは、輝度範囲Ｖp 〜Ｖ
q における調整曲線の傾きを変更することにより調整さ
れ、具体的には、傾きを急峻にすることによりコントラ
ストがハード側に近づき、傾きを緩やかにすることによ
りコントラストがソフト側に近づく。

【０１６１】また、明度は、輝度範囲Ｖp 〜Ｖq におけ
る調整曲線を、その傾きを保ったまま上下にシフトさせ
ることにより調整され、具体的には、上方にシフトさせ
ることにより明度が明側に近づき、下方にシフトさせる
ことにより明度が暗側に近づく。

【０１６２】なお、コントラスト調整および明度調整に
おいて、Ｖp 以下の輝度範囲となる部分、およびＶq 以
上の輝度範囲となる部分については、調整後の輝度範囲
Ｖp〜Ｖq の両端に接続するように傾きが適宜変更され
ることになる。

【０１６３】このような第５の実施形態によれば、撮像
装置以外の例えばパーソナルコンピュータ等の外部装置
において、ソフトウェア的にＳＬ処理を行うことによっ
ても、上述した第１から第４の実施形態とほぼ同様の効
果を奏することができる。そして、パーソナルコンピュ
ータ等の外部装置は、撮像装置１よりもメモリ容量や演
算処理能力が大きく、さらに大画面で高精細なモニタも
備えているために、より高度で複雑な処理を行うことが
可能となり、撮像装置１自体では困難なＳＬ処理も容易
に行うことができる。

【０１６４】なお、本発明は上述した実施形態に限定さ
れるものではなく、発明の主旨を逸脱しない範囲内にお
いて種々の変形や応用が可能であることは勿論である。

【０１６５】

【発明の効果】以上説明したように本発明の画像処理装
置によれば、画像内における主要被写体の面積や位置に
関わらず該主要被写体に適切な階調幅を付与してより高
品位な階調変換を行うことが可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態の撮像装置の構成を示
すブロック図。

【図２】上記第１の実施形態において、２ｎｄレリーズ
スイッチがオンされたときの処理を示すフローチャー
ト。

【図３】上記図２のステップＳ３またはステップＳ６に
おいて行われる階調補正の処理を示すフローチャート。

【図４】上記第１の実施形態において、肌色からの乖離
度Ｄとエッジ強度に対する下限値Ｔとの関係を示す線
図。

【図５】上記第１の実施形態において、ヒストグラムの
正規化と階調曲線の生成法を示す線図。

【図６】本発明の第２の実施形態の撮像装置の構成を示
すブロック図。

【図７】上記第２の実施形態において、輝度分散とエッ
ジ強度分散による被写体の分類とエッジ強度に対する下
限値の等高線とを示す図。

【図８】上記第２の実施形態の撮像装置における階調補
正の処理を示すフローチャート。

【図９】本発明の第３の実施形態の撮像装置の構成を示
すブロック図。

【図１０】上記第３の実施形態の撮像装置における階調
補正の処理を示すフローチャート。

【図１１】上記第３の実施形態において、忠実ヒストグ
ラム補正による処理の様子を示す線図。

【図１２】上記図９のステップＳ５３において行われる
忠実ヒストグラム補正の処理を示すフローチャート。

【図１３】上記第３の実施形態において、強調ヒストグ
ラム補正による処理の様子を示す線図。

【図１４】上記図９のステップＳ５４において行われる
強調ヒストグラム補正の処理を示すフローチャート。

【図１５】本発明の第４の実施形態の撮像装置の構成を
示すブロック図。

【図１６】上記第４の実施形態の撮像装置における階調
補正の処理を示すフローチャート。

【図１７】本発明の第５の実施形態の撮像装置およびパ
ーソナルコンピュータの構成を示すブロック図。

【図１８】上記第５の実施形態のパーソナルコンピュー
タにおいてソフトＳＬ処理を行うときの操作画面の様子
を示す図。

【図１９】上記第５の実施形態のパーソナルコンピュー
タにおけるソフトＳＬ処理を示すフローチャート。

【図２０】上記第５の実施形態のソフトＳＬ処理におけ
る階調補正の処理を示すフローチャート。

【図２１】上記第５の実施形態のソフトＳＬ処理におけ
る統合階調特性と明度およびコントラストの調整曲線の
様子をそれぞれ示す線図。

【符号の説明】

１…撮像装置（画像処理装置） ２…光学系 ３…ＣＣＤ ４…撮像制御回路 ５…Ａ／Ｄ変換器 ６…ＬＥ，ＳＥバッファ ７…輝度計算回路（階調範囲設定手段） ８…エッジ検出回路（フィルタリング手段） ９…肌色検出回路（色比較手段、特定色領域抽出手段） １０…閾値設定回路（許容範囲設定手段、色関数評価手
段、階調関数評価手段、テクスチャ関数評価手段、許容
範囲拡張手段） １１…閾値処理回路（領域抽出手段、面積評価手段、再
領域抽出手段） １２…ヒストグラム計算回路（ヒストグラム生成手段） １３…階調補正回路（階調補正手段） １４…ＳＬ合成回路（合成処理手段、画像選択手段、切
替手段） １５…記録回路 ２１…領域抽出回路（許容範囲設定手段、分割手段） ２２…輝度分散計算回路（許容範囲設定手段、局所階調
評価手段） ２３…エッジ強度分散計算回路（許容範囲設定手段、局
所テクスチャ評価手段） ３１…ヒストグラム補正回路（ヒストグラム修正手段、
ヒストグラム分割手段、ヒストグラムスケーリング手
段、ヒストグラム合成手段、ヒストグラム置換手段） ４１…パーソナルコンピュータ（画像処理装置） ４２…本体 ４３…モニタ（表示手段） ４４…キーボード ４５…マウス（領域選択手段） ４６…メモリカード ５４…選択範囲表示マーク（領域選択手段により選択さ
れた領域） ５５…選択ツール ５６…コントラスト調整スライダ ５７…明度調整スライダ

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｈ０４Ｎ 1/407 Ｈ０４Ｎ 5/243 5/243 101:00 // Ｈ０４Ｎ 101:00 1/40 １０１Ｅ Ｆターム(参考） 2H054 AA01 BB11 5B057 BA02 CA01 CA08 CA12 CA16 CB01 CB08 CB12 CB16 CE06 CE08 CE11 CH09 DA08 DB02 DB06 DB09 DC04 DC22 DC23 5C022 AA13 AB01 AB68 AC42 AC69 5C076 AA11 AA13 AA19 AA27 AA40 BA01 BA06 CA10 CA11 5C077 LL19 MP08 PP15 PP23 PP27 PP28 PP47 PQ08 PQ12 PQ19 PQ20 SS05 TT09

Claims (12)

【特許請求の範囲】
1. 【請求項１】 同一の被写体に対して異なる露光条件で
   撮像された複数の画像からなる画像群を合成して一の広
   ダイナミックレンジ画像を生成する画像処理装置であっ
   て、 上記画像群に含まれる画像の各々に対して、合成画像に
   占める階調の範囲を設定する階調範囲設定手段と、 上記画像群に含まれる画像の各々に対して、フィルタリ
   ングを行うフィルタリング手段と、 上記フィルタリング手段によりフィルタリングされた画
   像の各々に対して、画素毎に、許容範囲の境界を示す上
   限の閾値と下限の閾値との少なくとも一方を設定する許
   容範囲設定手段と、 上記フィルタリング手段によりフィルタリングされた画
   像の各々に対して、上記許容範囲設定手段により設定さ
   れた許容範囲に入る画素の集合からなる領域を抽出する
   領域抽出手段と、 上記画像群に含まれる画像の各々に対して、上記領域抽
   出手段により抽出された領域の輝度ヒストグラムを生成
   するヒストグラム生成手段と、 上記画像群に含まれる画像の各々に対して、上記輝度ヒ
   ストグラムに基づき、上記階調範囲設定手段により設定
   された階調範囲への階調圧縮を行う階調補正手段と、 上記階調補正手段による階調補正結果を合成して一の広
   ダイナミックレンジ画像を生成する合成処理手段と、 を具備したことを特徴とする画像処理装置。
2. 【請求項２】 上記許容範囲設定手段は、 各画素の色と特定色との類似度を計算する色比較手段
   と、 上記色比較手段により計算された類似度を変数とする関
   数によって、上記許容範囲の境界を示す上限の閾値と下
   限の閾値との少なくとも一方を計算する色関数評価手段
   と、 を有してなるものであることを特徴とする請求項１に記
   載の画像処理装置。
3. 【請求項３】 上記許容範囲設定手段は、 画像を部分領域に分割する分割手段と、 上記分割手段により分割された各部分領域における局所
   的な輝度の分散を算出する局所階調評価手段と、 上記局所階調評価手段により算出された輝度の分散を変
   数とする関数によって、上記許容範囲の境界を示す上限
   の閾値と下限の閾値との少なくとも一方を計算する階調
   関数評価手段と、 を有してなるものであることを特徴とする請求項１に記
   載の画像処理装置。
4. 【請求項４】 上記許容範囲設定手段は、 各画素の近傍領域における上記フィルタリング結果の分
   散を算出する局所テクスチャ評価手段と、 上記局所テクスチャ評価手段により算出されたフィルタ
   リング結果の分散を変数とする関数によって、上記許容
   範囲の境界を示す上限の閾値と下限の閾値との少なくと
   も一方を計算するテクスチャ関数評価手段と、 を有してなるものであることを特徴とする請求項１に記
   載の画像処理装置。
5. 【請求項５】 上記領域抽出手段は、抽出された領域の
   面積が所定の値より小さいか否かを判断する面積評価手
   段を有してなるとともに、 上記許容範囲設定手段は、上記面積評価手段により面積
   が小さいと判断された場合に許容範囲を拡張する許容範
   囲拡張手段を有してなり、 上記領域抽出手段は、上記許容範囲拡張手段により拡張
   された許容範囲に入る画素の集合からなる領域を抽出す
   る再領域抽出手段をさらに有してなるものであることを
   特徴とする請求項１に記載の画像処理装置。
6. 【請求項６】 上記領域抽出手段は、 抽出された領域の面積が所定の値より小さいか否かを判
   断する面積評価手段を有してなり、 上記合成処理手段は、 上記異なる露光条件で撮像された複数の画像から標準の
   露光量で撮像された画像を選択する画像選択手段と、 上記面積評価手段の評価に基づいて、出力する画像とし
   て、上記異なる露光条件で撮像された複数の画像を合成
   処理した画像と、上記画像選択手段により選択された画
   像とを切り替える切替手段と、 を有してなるものであることを特徴とする請求項１に記
   載の画像処理装置。
7. 【請求項７】 処理結果の画像を表示する表示手段をさ
   らに具備し、 上記許容範囲設定手段は、上記表示手段に表示された画
   像上の領域を選択する領域選択手段を有してなり、この
   領域選択手段により選択された領域内での下限の閾値
   を、選択された領域以外の画素における下限の閾値より
   小さい所定の値に設定するものであることを特徴とする
   請求項１に記載の画像処理装置。
8. 【請求項８】 同一の被写体に対して異なる露光条件で
   撮像された複数の画像からなる画像群を合成して一の広
   ダイナミックレンジ画像を生成する画像処理装置であっ
   て、 上記画像群に含まれる画像の各々に対して、フィルタリ
   ングを行うフィルタリング手段と、 上記フィルタリング手段によりフィルタリングされた画
   像の各々に対して、該フィルタリング結果が所定の値の
   範囲に入る画素の集合からなる領域を抽出する領域抽出
   手段と、 上記画像群に含まれる画像の各々に対して、上記領域抽
   出手段により抽出された領域の輝度ヒストグラムを生成
   するヒストグラム生成手段と、 上記画像群に含まれる画像の各々に対して、所定の色範
   囲に含まれる色を有する画素の集合からなる領域を抽出
   する特定色領域抽出手段と、 上記画像群に含まれる画像の各々に対して、上記特定色
   領域抽出手段により抽出された領域の占める輝度範囲に
   おいて、上記輝度ヒストグラムを修正するヒストグラム
   修正手段と、 上記ヒストグラム修正手段により修正された輝度ヒスト
   グラムに基づいて階調補正を行う階調補正手段と、 上記階調補正手段による階調補正結果を合成して一の広
   ダイナミックレンジ画像を生成する合成処理手段と、 を具備したことを特徴とする画像処理装置。
9. 【請求項９】 上記特定色領域抽出手段は、上記所定の
   色範囲を、肌色の色相との差が所定の閾値以内となる範
   囲とするものであることを特徴とする請求項８に記載の
   画像処理装置。
10. 【請求項１０】 上記ヒストグラム修正手段は、 上記ヒストグラム生成手段により生成されたヒストグラ
    ムを、上記特定色領域抽出手段により抽出された領域の
    占める輝度範囲の上限値と下限値から、下限値以下、上
    限値以上、上限値と下限値の間、の３つの部分ヒストグ
    ラムに分割するヒストグラム分割手段と、 上記ヒストグラム分割手段により分割された各部分ヒス
    トグラムの値を、所定の倍率でスケーリングするヒスト
    グラムスケーリング手段と、 上記ヒストグラムスケーリング手段によりスケーリング
    した部分ヒストグラムを、重み付けした後に加算するヒ
    ストグラム合成手段と、 を有してなるものであることを特徴とする請求項８に記
    載の画像処理装置。
11. 【請求項１１】 上記ヒストグラム修正手段は、 上記ヒストグラム生成手段により生成されたヒストグラ
    ムを、上記特定色領域抽出手段により抽出された領域の
    占める輝度範囲の上限値と下限値から、下限値以下、上
    限値以上、上限値と下限値の間、の３つの部分ヒストグ
    ラムに分割するヒストグラム分割手段と、 上記ヒストグラム分割手段により分割された部分ヒスト
    グラムの内の上限値と下限値の間に対応する部分ヒスト
    グラムを、所定形状の部分ヒストグラムに置き換えるヒ
    ストグラム置換手段と、 上記ヒストグラム置換手段により置き換えられた部分ヒ
    ストグラムを含む各部分ヒストグラムの値を、所定の倍
    率でスケーリングするヒストグラムスケーリング手段
    と、 上記ヒストグラムスケーリング手段によりスケーリング
    した部分ヒストグラムを、重み付けした後に加算するヒ
    ストグラム合成手段と、 を有してなるものであることを特徴とする請求項８に記
    載の画像処理装置。
12. 【請求項１２】 同一の被写体に対して異なる露光条件
    で撮像された複数の画像からなる画像群を合成して一の
    広ダイナミックレンジ画像を生成する画像処理装置であ
    って、 上記画像群に含まれる画像の各々に対して、フィルタリ
    ングを行うフィルタリング手段と、 上記フィルタリング手段によりフィルタリングされた画
    像の各々に対して、該フィルタリング結果が所定の値の
    範囲に入る画素の集合からなる領域を抽出する領域抽出
    手段と、 上記画像群に含まれる画像の各々に対して、所定の色範
    囲に含まれる色を有する画素の集合からなる領域を抽出
    する特定色領域抽出手段と、 上記画像群に含まれる画像の各々に対して、上記領域抽
    出手段により抽出された領域と、上記特定色領域抽出手
    段により抽出された領域と、の両方に基づいて、輝度ヒ
    ストグラムを生成するヒストグラム生成手段と、 上記画像群に含まれる画像の各々に対して、上記ヒスト
    グラム生成手段により生成された輝度ヒストグラムに基
    づいて階調補正を行う階調補正手段と、 上記階調補正手段による階調補正結果を合成して一の広
    ダイナミックレンジ画像を生成する合成処理手段と、 を具備したことを特徴とする画像処理装置。