JP2000228747A

JP2000228747A - 画像処理装置

Info

Publication number: JP2000228747A
Application number: JP11338551A
Authority: JP
Inventors: Kazuhito Horiuchi; 一仁堀内
Original assignee: Olympus Optical Co Ltd
Current assignee: Olympus Corp
Priority date: 1998-12-03
Filing date: 1999-11-29
Publication date: 2000-08-15
Anticipated expiration: 2019-11-29
Also published as: JP4163353B2

Abstract

(57)【要約】【課題】濃度レンジの狭い表示系に表示しても低輝度
域から高輝度域までコントラストを保持し得る広ダイナ
ミックレンジ画像を生成する画像処理装置を提供する。【解決手段】短時間露光画像データを蓄積しておく画
像データバッファ３６と、長時間露光画像データを適正
露光領域と不適正露光領域に分別する画像領域分割回路
３７と、その分別情報に基づき、長時間露光画像データ
の適正露光領域を分割するとともに不適正露光領域につ
いては短時間露光画像データを適用して適正露光領域と
して分割する分割領域画像情報抽出回路３８と、この分
割領域画像情報抽出回路３８により分割された長時間露
光と短時間露光の適正露光領域の画像データをそれぞれ
階調補正する階調補正回路３９，４０と、階調補正後の
各適正露光領域を合成して広ダイナミックレンジ画像を
生成する画像合成処理回路４１と、を備えた画像処理装
置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像処理装置、よ
り詳しくは、異なる露光条件で撮像された複数の画像か
ら一の広ダイナミックレンジ画像を生成する画像処理装
置に関する。

【０００２】

【従来の技術】異なる露光条件で撮像された複数の画像
を合成してダイナミックレンジの広い画像を生成する画
像処理装置は、従来より種々のものが提案されていて、
こうした画像処理装置により合成したダイナミックレン
ジの広い画像を、モニタやプリンタ等の濃度レンジが比
較的狭い表示系によって表示する際には、ダイナミック
レンジを圧縮することにより対応していた。

【０００３】このダイナミックレンジの圧縮は、通常の
γ特性に準じた特性（対数特性に類似している）により
行われるのが一般的であり、なるべく主要被写体や背景
のコントラストを損なうことのないようにしたものとな
っている。

【０００４】このような技術の一例としては、特開平５
−３１４２５３号公報に、高輝度域については輝度の対
数に比例した特性で圧縮を行い、低輝度域については輝
度にほぼ比例した特性で圧縮するものが記載されてい
る。

【０００５】こうした従来のダイナミックレンジの圧縮
手段の例を、図１６を参照して説明する。

【０００６】例えば、露光量比１：８の短時間露光信号
ＳＩＧＳＥと長時間露光信号ＳＩＧＬＥに基づいて、広
ダイナミックレンジ画像を作成し、それを圧縮する場合
について説明する。

【０００７】この場合には、長時間露光信号ＳＩＧＬＥ
の出力レベルが飽和（１００％）に達する入射光量をα
とすると、露光量比が１：８となる場合を例にとってい
るために、短時間露光信号ＳＩＧＳＥの出力レベルが飽
和に達する入射光量は８αとなる。

【０００８】まず、短時間露光信号ＳＩＧＳＥの出力レ
ベルを８倍して、さらにそれを上記長時間露光信号ＳＩ
ＧＬＥと合成することにより、広ダイナミックレンジ信
号ＳＩＧＷＤＲを作成する。

【０００９】次に、この広ダイナミックレンジ信号ＳＩ
ＧＷＤＲを、濃度レンジの狭いモニタやプリンタ等に合
わせるために、出力レベルが小さい部分では入射光量に
比例するように、出力レベルが大きい部分では入射光量
に対して対数的となるように出力レベルを圧縮して、最
終的に補正された信号ＳＩＧＬＳＴを得るようにしてい
る。

【００１０】

【発明が解決しようとする課題】しかしながら、上述し
たような従来の技術手段による圧縮特性では、低輝度域
については広ダイナミックレンジ画像のコントラストは
ほぼ撮影時の状態に保たれるが、高輝度域になるほど入
射光量の変化量に対する出力レベルの変化量が小さくな
るために、コントラストが低下してしまうことになる。

【００１１】実際の撮影においては、主要被写体が必ず
しも低輝度域に存在するとは限らず、例えば暗いシーン
にいる人物をストロボを使用して撮影すると、人物はシ
ーンの中では比較的高輝度域に存在することになるため
に、上記従来の圧縮を適用すると、人物のコントラスト
が損なわれてしまって、いわゆるねむい画像といわれる
のっぺりした感じの画像になってしまうことになる。

【００１２】また、上述した従来の技術では、エッジや
輝度分布などの画像の特徴を考慮することなく常に同一
の圧縮特性を取っているために、画像によってはあまり
見栄えが良くない広ダイナミックレンジ画像が生成され
ることもある。

【００１３】本発明は上記事情に鑑みてなされたもので
あり、濃度レンジの狭い表示系に表示しても低輝度域か
ら高輝度域までコントラストを保持し得る広ダイナミッ
クレンジ画像を生成することができる画像処理装置を提
供することを目的としている。

【００１４】

【課題を解決するための手段】上記の目的を達成するた
めに、第１の発明による画像処理装置は、同一被写体に
対して異なる露光条件で撮像された複数の画像からなる
画像群を処理して一の広ダイナミックレンジ画像を生成
する画像処理装置であって、上記画像群中の各画像毎に
階調補正を行う画像補正手段と、この画像補正手段によ
り階調補正された各画像を合成して一の広ダイナミック
レンジ画像を生成する画像合成手段とを備えたものであ
る。

【００１５】また、第２の発明による画像処理装置は、
同一被写体に対して異なる露光条件で撮像された複数の
画像からなる画像群を処理して一の広ダイナミックレン
ジ画像を生成する画像処理装置であって、上記画像群中
の各画像について所定の画像信号レベルに基づき適正露
光領域と不適正露光領域に分割する分割手段と、この分
割手段により分割された適正露光領域の階調補正を上記
各画像毎に行う画像補正手段と、この画像補正手段によ
り階調補正された各画像毎の適正露光領域を合成して一
の広ダイナミックレンジ画像を生成する画像合成手段と
を備えたものである。

【００１６】さらに、第３の発明による画像処理装置
は、上記第１または第２の発明による画像処理装置にお
いて、上記画像補正手段が、上記画像合成手段により生
成しようとする広ダイナミックレンジ画像の濃度レンジ
の中央部付近で画像合成を行うことができるように、上
記各画像の階調を補正するものである。

【００１７】第４の発明による画像処理装置は、上記第
１または第２の発明による画像処理装置において、上記
画像補正手段が、上記画像群中の各画像毎に該画像信号
からフィルタリングにより特徴成分を抽出する特徴抽出
手段と、この特徴抽出手段により抽出された特徴成分の
近傍画素からヒストグラムを生成するヒストグラム生成
手段と、このヒストグラム生成手段により生成されたヒ
ストグラムに基づいて階調補正特性を生成する階調補正
特性生成手段と、この階調補正特性生成手段により生成
された階調補正特性を用いて該画像信号の階調補正を行
う階調補正手段とを有してなるものである。

【００１８】第５の発明による画像処理装置は、上記第
４の発明による画像処理装置において、上記ヒストグラ
ム生成手段が、ヒストグラムを生成する際の重み付けを
画像中の画素位置に応じて変化させるものである。

【００１９】第６の発明による画像処理装置は、上記第
１または第２の発明による画像処理装置において、上記
画像補正手段が、上記画像群中の各画像毎に該画像信号
からフィルタリングにより特徴成分を抽出する特徴抽出
手段と、この特徴抽出手段により抽出された特徴成分に
関するヒストグラムを生成する特徴成分ヒストグラム生
成手段と、この特徴成分ヒストグラム生成手段により生
成された特徴成分ヒストグラムの分布状態から対象画素
を選択するための閾値を算出する閾値算出手段と、この
閾値算出手段により算出された閾値に基づいて該画像信
号から対象画素を選択する対象画素選択手段と、この対
象画素選択手段により選択された対象画素からヒストグ
ラムを生成するヒストグラム生成手段と、このヒストグ
ラム生成手段により生成された対象画素のヒストグラム
を所定の分布にモデル化する分布モデル化手段と、上記
ヒストグラム生成手段により生成された対象画素のヒス
トグラムと上記分布モデル化手段によりモデル化された
ヒストグラムとに基づいて階調補正特性を生成する階調
補正特性生成手段と、この階調補正特性生成手段により
生成された階調補正特性を用いて該画像信号の階調補正
を行う階調補正手段とを有してなるものである。

【００２０】第７の発明による画像処理装置は、上記第
１または第２の発明による画像処理装置において、上記
画像合成手段が、上記画像補正手段により階調補正され
た画像信号が同一画素位置について複数存在する場合に
これらの加算平均を計算する加算平均手段と、この加算
平均手段により処理された画素に対して平滑化処理を施
す平滑化手段とを有してなるものである。

【００２１】第８の発明による画像処理装置は、上記第
１の発明による画像処理装置において、上記画像合成手
段が、上記画像補正手段により階調補正された上記画像
群中の各画像に対して、同一画素位置の画素群中の適正
露光に近い画素を広ダイナミックレンジ画像を構成する
画素として各画素位置毎に選択する適正露光画素選択手
段を有してなるものである。

【００２２】第９の発明による画像処理装置は、上記第
１または第２の発明による画像処理装置において、上記
画像合成手段が、複数の適正露光領域を合成して一の広
ダイナミックレンジ画像を生成する際に、上記画像群中
の各画像の全てにおいて不適正露光領域となる欠落領域
が存在する場合には、該欠落領域が露光オーバーである
ときには上記画像群中の最小露光画像の該当領域を用
い、一方、該欠落領域が露光アンダーであるときには上
記画像群中の最大露光画像の該当領域を用いることによ
り、上記欠落領域を補填する領域調整手段を有してなる
ものである。

【００２３】第１０の発明による画像処理装置は、上記
第２の発明による画像処理装置において、上記分割手段
が、上記画像群中の各画像について該画像信号を構成す
る複数の色信号の内の最大値を検出する最大色信号検出
手段と、この最大色信号検出手段により検出された色信
号中の最大値を上記所定の画像信号レベルと比較するこ
とにより上記適正露光領域と不適正露光領域の分別を可
能とさせる最大色信号比較手段とを有してなるものであ
る。

【００２４】

【発明の実施の形態】以下、図面を参照して本発明の実
施の形態を説明する。図１から図９は本発明の第１の実
施形態を示したものであり、図１は電子カメラの基本的
な構成を示すブロック図である。

【００２５】この電子カメラは、電子シャッタ機能を有
する単板式のカラーＣＣＤ等でなり、被写体像を光電変
換して画像信号として出力するための撮像素子１と、こ
の撮像素子１上に被写体像を結像するためのレンズ２
と、このレンズ２を通過した光束の通過範囲や通過時間
を制御するための絞り・シャッタ機構３と、上記撮像素
子１から出力された後に図示しない相関二重サンプリン
グ回路等でノイズ成分の除去が行われた画像信号を増幅
するアンプ４と、このアンプ４により増幅されたアナロ
グ信号をデジタル信号に変換するためのＡ／Ｄ変換器５
と、このＡ／Ｄ変換器５によりデジタル化された信号に
後述するような各種の処理を施す画像処理装置たるカメ
ラ信号処理回路６と、上記Ａ／Ｄ変換器５からのデジタ
ル出力を受けて、ＡＦ（オートフォーカス）情報，ＡＥ
（オートエクスポージャー）情報，ＡＷＢ（オートホワ
イトバランス）情報を検出するためのＡＦ，ＡＥ，ＡＷ
Ｂ検波回路７と、上記カメラ信号処理回路６からの画像
データを圧縮処理する圧縮回路（ＪＰＥＧ）９と、この
圧縮回路９により圧縮された画像データを後述するメモ
リカード１５に記録するための制御を行うメモリカード
Ｉ／Ｆ１４と、このメモリカードＩ／Ｆ１４の制御によ
り画像データを記録するメモリカード１５と、画像デー
タの色処理等を行う際に作業用メモリとして用いられる
ＤＲＡＭ１１と、このＤＲＡＭ１１の制御を行うメモリ
コントローラ１０と、上記メモリカード１５に記録され
ている画像データをパーソナルコンピュータ（ＰＣ）１
７等へ転送するためのインターフェースであるＰＣＩ／
Ｆ１６と、後述するＬＣＤ１３の制御を行う表示回路１
２と、この表示回路１２の制御により上記メモリカード
１５に記録された画像データを再生して表示したり、こ
の電子カメラに係る各種の撮影状態等を表示したりする
ＬＣＤ１３と、被写体を照明するための照明光を発光す
るストロボ１９と、上記ＣＣＤ１を駆動するためのタイ
ミングパルスを発生するタイミングジェネレータ（Ｔ
Ｇ）１８と、各種の撮影モードを設定するためのスイッ
チや撮影動作を指示入力するためのトリガスイッチ等を
有してなる入力キー２０と、上記カメラ信号処理回路
６，圧縮回路９，メモリコントローラ１０，表示回路１
２，メモリカードＩ／Ｆ１４，ＰＣＩ／Ｆ１６とバスラ
インを介して接続されていて、上記ＡＦ，ＡＥ，ＡＷＢ
検波回路７の検出結果や上記入力キー２０による入力、
あるいは上記ストロボ１９による発光情報等を受け取る
とともに、上記レンズ２，絞り・シャッタ機構３，タイ
ミングジェネレータ１８，カメラ信号処理回路６，スト
ロボ１９，入力キー２０や上記バスラインに接続された
各回路を含むこの電子カメラ全体の制御を行うＣＰＵ８
と、を有して構成されている。

【００２６】この電子カメラでは、一画像を撮影してそ
れを画像データとする通常撮影モードと、露光の異なる
複数画像の撮影を時間的に近接して行い、これらの画像
を合成して一の広ダイナミックレンジ画像を得る広ダイ
ナミックレンジ撮影モードと、を上記入力キー２０の操
作により手動的に選択するか、あるいは上記撮像素子１
からの画像信号の白飛びを検出するなどしてＣＰＵ８が
自動的に判断を行って撮影モードの選択を行うようにす
るかし、その選択した撮影モードに応じてＣＰＵ８によ
り撮影動作を制御するようになっている。

【００２７】すなわち、通常撮影モードが選択された場
合には、撮影動作によって一回の撮影で上記撮像素子１
から１画面分の画像信号を取得し、一方、広ダイナミッ
クレンジ撮影モードが選択された場合には、撮像素子１
の電子シャッタ機能、あるいはこの電子シャッタ機能と
絞り・シャッタ機構３との組み合わせによる公知の手段
によって一被写体に対する撮影で撮像素子１からの露光
量の異なる複数画面分（例えば２画面分）の画像信号を
得て、上記カメラ信号処理回路６において撮影モードに
応じた画像データの処理を行うようになっている。

【００２８】次に、図２は上記カメラ信号処理回路６の
構成を示すブロック図である。この図２に示す構成は、
一例として短時間露光ＳＥによる画像と長時間露光ＬＥ
による画像とに基づいて一の画像を合成するための回路
を示しており、さらに、撮影順序としては、まず短時間
露光ＳＥを行い、その後に長時間露光ＬＥを行う場合を
想定した例となっている。

【００２９】このカメラ信号処理回路６は、上記ＣＰＵ
８から出力されるＡＷＢ情報等を受けて、上記Ａ／Ｄ変
換器５から出力される映像信号ａａに種々の処理を施し
て画像信号の生成を行うカメラ信号処理プロセス回路３
１と、このカメラ信号処理プロセス回路３１から出力さ
れる画像信号ｂｂの出力先を撮影モードが通常撮影モー
ドであるか広ダイナミックレンジ撮影モードであるかを
示すＣＰＵ８からの信号ｊｊに基づいて切り換えるスイ
ッチ３２と、このスイッチ３２により広ダイナミックレ
ンジ撮影モード側に切り換えられた際に、さらにその画
像信号が短時間露光ＳＥに係るものであるかあるいは長
時間露光ＬＥに係るものであるかに応じてその出力先を
切り換えるスイッチ３４と、上記ＣＰＵ８からの画像切
換制御信号ｋｋに基づいてこのスイッチ３４の切り換え
動作を制御する切り換え制御回路３５と、上記スイッチ
３４からの出力が短時間露光ＳＥに係るもの（ｂｂ−Ｓ
Ｅ）である場合に、その１画面分の短時間露光ＳＥに係
る画像データを蓄積しておく画像データバッファ３６
と、上記スイッチ３４からの出力が長時間露光ＬＥに係
るもの（ｂｂ−ＬＥ）である場合に、該データから後述
するように画像領域分割データを演算する分割手段たる
画像領域分割回路３７と、上記画像データバッファ３６
から読み出した短時間露光ＳＥに係る画像データと、上
記スイッチ３４からの長時間露光ＬＥに係る画像データ
とを入力して、上記画像領域分割回路３７により演算し
た分割領域情報ｃｃに基づいて各画像データの分割を行
い分割画像情報を抽出する同分割手段たる分割領域画像
情報抽出回路３８と、この分割領域画像情報抽出回路３
８により分割された短時間露光ＳＥに係る分割画像情報
ｄｄを階調補正する画像補正手段たる階調補正回路３９
と、上記分割領域画像情報抽出回路３８により分割され
た長時間露光ＬＥに係る分割画像情報ｅｅを階調補正す
る同画像補正手段たる階調補正回路４０と、上記階調補
正回路３９から出力される階調補正後の短時間露光ＳＥ
に係る分割画像情報ｆｆと上記階調補正回路４０から出
力される階調補正後の長時間露光ＬＥに係る分割画像情
報ｇｇとを合成して一の広ダイナミックレンジ画像を生
成する画像合成手段たる画像合成処理回路４１と、一入
力端子がこの画像合成処理回路４１に接続され他の入力
端子が上記スイッチ３２に接続されていて上記ＣＰＵ８
からの信号ｊｊに基づいて該スイッチ３２に連動して切
り換えられることにより通常撮影モードの画像信号また
は広ダイナミックレンジ撮影モードの画像情報を示す信
号ｈｈを出力信号ｉｉとして出力するスイッチ３３と、
を有して構成されている。

【００３０】図３は、広ダイナミックレンジ撮影モード
時のカメラ信号処理回路６における処理信号の様子を示
す図である。

【００３１】例えば明るい背景の下で逆光になっている
人物を撮影する場合について考える。

【００３２】まず、短時間露光ＳＥを行うと、明るい背
景については比較的適正な露出で撮影されるが、人物は
暗くなり黒くつぶれたような画像が得られる（ｂｂ−Ｓ
Ｅ参照）。

【００３３】一方、長時間露光ＬＥを行うと、明るい背
景については白飛びしてしまうが、人物については比較
的適正な露出となる（ｂｂ−ＬＥ参照）。

【００３４】これらｂｂ−ＳＥとｂｂ−ＬＥの少なくと
も一方、ここでは人物を主体とした撮影であるために、
ｂｂ−ＬＥを参照して、該長時間露光画像中の適正な露
出となる領域と、不適切な露出となる領域とに分割する
ための分割領域情報ｃｃを上記画像領域分割回路３７に
おいて作成する。

【００３５】この分割領域情報ｃｃは、後述するよう
に、画面全体を構成する各画素について、その画素が、
適切な露出であるか、不適切な露出であるか、これらの
中間の露出であるかを判別する情報を含むものである。

【００３６】そして、この分割領域情報ｃｃを参照しな
がら、上記分割領域画像情報抽出回路３８は、上記短時
間露光画像ｂｂ−ＳＥから短時間露光ＳＥに係る分割画
像情報ｄｄを作成し、一方で、該分割領域情報ｃｃを参
照しながら上記長時間露光画像ｂｂ−ＬＥから長時間露
光ＬＥに係る分割画像情報ｅｅを作成する。

【００３７】このとき、図示の例においては、短時間露
光ＳＥに係る分割画像情報ｄｄは背景部分の画像情報が
取り出され、一方、長時間露光ＬＥに係る分割画像情報
ｅｅは人物部分の画像情報が取り出されている。

【００３８】さらに、これらの各分割画像情報ｄｄ，ｅ
ｅを、画像の合成を行う前に、各階調補正回路３９，４
０によりそれぞれ別個に階調補正して、補正後の分割画
像情報ｆｆ，ｇｇを出力し、上記画像合成処理回路４１
において背景も人物も共に適正露出となっている広ダイ
ナミックレンジ（ＤＲ）画像情報ｈｈを作成する。

【００３９】次に、図４は上記画像領域分割回路３７に
おける処理を示すフローチャートである。

【００４０】この図４においては、長時間露光ＬＥに係
る画像情報に基づいて分割領域情報ｃｃを生成する例に
ついて説明するが、短時間露光ＳＥに係る画像情報に基
づいて生成しても良いし、長時間露光ＬＥと短時間露光
ＳＥの双方の画像情報に基づいて生成しても構わない
し、さらに、３つ以上の画像により広ダイナミックレン
ジ画像を生成する場合には、それらの内の一以上の画像
情報に基づいて分割領域情報ｃｃを生成すれば良い。

【００４１】この処理が開始されると、まず、上記撮像
素子１により撮像され上記各回路を経て入力された長時
間露光ＬＥに係る画像の全色信号ＬＥ（ｘ，ｙ）を読み
込む（ステップＳ１）。

【００４２】この全色信号ＬＥ（ｘ，ｙ）は、例えばｒ
（赤），ｇ（緑），ｂ（青）の各色の信号ＬＥｒ（ｘ，
ｙ），ＬＥｇ（ｘ，ｙ），ＬＥｂ（ｘ，ｙ）として出力
されるようになっていて、ここに、ｘ，ｙは２次元状を
なして配列されている各画素の、配列に係る座標を示し
ており、整数値をとるようになっている。以下では、
（ｘ，ｙ）座標の特定位置を指し示すのに、整数ｉ，ｊ
を用いて（ｉ，ｊ）などと記載する。

【００４３】次に、分割領域情報を格納するための２次
元配列Ｓｅｇ（ｘ，ｙ）を初期化する（ステップＳ
２）。

【００４４】そして、ＬＥ画像の走査を行う（ステップ
Ｓ３）。具体的には、上記ｉ，ｊをインクリメントしな
がら上記画像信号ＬＥ（ｉ，ｊ）を順次読み込んで行く
ことになる。

【００４５】読み込んだ参照画素ＬＥ（ｉ，ｊ）の各色
信号ＬＥｒ（ｉ，ｊ），ＬＥｇ（ｉ，ｊ），ＬＥｂ
（ｉ，ｊ）の内の最大値を検出して、その値を変数ＣＳ
に格納する（ステップＳ４）。このステップＳ４によ
り、当該画像領域分割回路３７が最大色信号検出手段と
しての機能を果たしている。

【００４６】この変数ＣＳに格納された値が適正露出の
上限を示す所定の閾値Ｔｈ１以上であるか否かを判断し
て（ステップＳ５）、閾値Ｔｈ１に達していない場合に
は、座標（ｉ，ｊ）の画素のデータとして長時間露光Ｌ
Ｅのデータを使用する旨の情報を示す値ＬＥＤａｔａを
分割領域情報Ｓｅｇ（ｉ，ｊ）に格納する（ステップＳ
７）。

【００４７】また、上記変数ＣＳの値が閾値Ｔｈ１以上
である場合には、さらに、不適正露出の下限を示す所定
の閾値Ｔｈ２（ここに、Ｔｈ１＜Ｔｈ２である。）未満
であるか否かを判断し（ステップＳ６）、この閾値Ｔｈ
２以上である場合には、座標（ｉ，ｊ）の画素のデータ
として短時間露光ＳＥのデータを使用する旨の情報を示
す値ＳＥＤａｔａを分割領域情報Ｓｅｇ（ｉ，ｊ）に格
納する（ステップＳ９）。

【００４８】一方、上記ステップＳ６において、変数Ｃ
Ｓの値が閾値Ｔｈ２に達していない場合には、適正露出
と不適正露出の中間であるとして、座標（ｉ，ｊ）の画
素のデータとして長時間露光ＬＥのデータと短時間露光
ＳＥのデータとの両方を使用する旨の情報を示す値ＭＩ
ＸＤａｔａを分割領域情報Ｓｅｇ（ｉ，ｊ）に格納する
（ステップＳ８）。

【００４９】これらステップＳ５からステップＳ９によ
り、画像領域分割回路３７が最大色信号比較手段として
の機能を果たしている。

【００５０】上記ステップＳ７，Ｓ８，Ｓ９の何れかが
終了したら、画面全体の走査が終了したか否かを判断し
（ステップＳ１０）、終了していない場合には、上記ス
テップＳ３に戻って次の画素の走査を行い、一方、終了
した場合には、分割領域情報Ｓｅｇ（ｘ，ｙ）を出力し
て（ステップＳ１１）、終了する。なお、出力される分
割領域情報Ｓｅｇ（ｘ，ｙ）は、ブロック図（図２）中
でｃｃと記載された信号になる。

【００５１】続いて、図５は上記分割領域画像情報抽出
回路３８における処理を示すフローチャートである。

【００５２】この処理が開始されると、上記画像データ
バッファ３６から読み出した短時間露光ＳＥの全色の画
像信号ＳＥ（ｘ，ｙ）と、上記スイッチ３４を介して送
られる長時間露光ＬＥの全色の画像信号ＬＥ（ｘ，ｙ）
と、上記画像領域分割回路３７から出力される上記分割
領域情報Ｓｅｇ（ｘ，ｙ）とを読み込む（ステップＳ２
１）。

【００５３】そして、分割画像情報を格納する領域Ｓｅ
ｇＳＥ（ｘ，ｙ）とＳｅｇＬＥ（ｘ，ｙ）とを初期化す
る（ステップＳ２２）。

【００５４】次に、上記ステップＳ２１で読み込んだ分
割領域情報の走査を行い（ステップＳ２３）、まず、分
割領域情報Ｓｅｇ（ｉ，ｊ）がＬＥＤａｔａであるか否
かを判断する（ステップＳ２４）。

【００５５】ここで、ＬＥＤａｔａである場合には、
ｒ，ｇ，ｂの各色について、ＳｅｇＬＥ（ｉ，ｊ）にＬ
Ｅ（ｉ，ｊ）の値を格納する（ステップＳ２６）。

【００５６】また、上記ステップＳ２４において、ＬＥ
Ｄａｔａでない場合には、次に分割領域情報Ｓｅｇ
（ｉ，ｊ）がＳＥＤａｔａであるか否かを判断し（ステ
ップＳ２５）、ＳＥＤａｔａである場合には、ｒ，ｇ，
ｂの各色について、ＳｅｇＳＥ（ｉ，ｊ）にＳＥ（ｉ，
ｊ）の値を格納する（ステップＳ２７）。

【００５７】さらに、上記ステップＳ２５において、Ｓ
ＥＤａｔａでない場合には、上記ＭＩＸＤａｔａである
ことになるために、ｒ，ｇ，ｂの各色について、Ｓｅｇ
ＬＥ（ｉ，ｊ）にＬＥ（ｉ，ｊ）の値を格納するととも
に、ＳｅｇＳＥ（ｉ，ｊ）にＳＥ（ｉ，ｊ）の値を格納
する（ステップＳ２８）。

【００５８】こうして、上記ステップＳ２６，Ｓ２７，
Ｓ２８の何れかが終了したら、分割領域情報全体の走査
が終了したか否かを判断し（ステップＳ２９）、終了し
ていない場合には、上記ステップＳ２３に戻って次の分
割領域情報の走査を行い、一方、終了した場合には、分
割画像情報ＳｅｇＳＥ（ｘ，ｙ）およびＳｅｇＬＥ
（ｘ，ｙ）を出力して（ステップＳ３０）、終了する。

【００５９】なお、上記ステップＳ３０において出力さ
れる分割画像情報ＳｅｇＳＥ（ｘ，ｙ）はブロック図
（図２）中でｄｄと記載された信号に、分割画像情報Ｓ
ｅｇＬＥ（ｘ，ｙ）はブロック図（図２）中でｅｅと記
載された信号にそれぞれなる。

【００６０】次に、図６は上記階調補正回路３９，４０
の構成を示すブロック図である。

【００６１】この階調補正回路３９，４０は、上記分割
領域画像情報抽出回路３８から出力される分割画像情報
ｄｄ，ｅｅから輝度信号（Ｙ信号）を検出するＹ信号検
出回路５１と、このＹ信号検出回路５１から出力される
輝度信号ｍｍから画像内の各画素について該画素がエッ
ジを構成する画素であるか否かを検出する特徴抽出手段
たるエッジ検出回路５２と、このエッジ検出回路５２の
エッジ検出信号ｎｎと上記輝度信号ｍｍとに基づいて、
エッジを構成する画素やその近傍画素について、輝度レ
ベルに対する出現頻度を示すエッジヒストグラムを算出
するヒストグラム生成手段たるエッジヒストグラム計算
回路５３と、このエッジヒストグラム計算回路５３から
出力される累積エッジヒストグラム信号ｏｏに基づいて
階調補正特性となるトーンカーブを算出する階調補正特
性生成手段たるトーンカーブ設定回路５４と、このトー
ンカーブ設定回路５４から出力されるトーンカーブ特性
信号ｐｐと上記輝度信号ｍｍと上記分割領域情報ｃｃと
に基づいて上記分割画像情報ｄｄ，ｅｅの階調補正を行
い補正後の分割画像情報ｆｆ，ｇｇを出力する階調補正
手段たる分割領域画像信号補正回路５５とを有して構成
されている。

【００６２】なお、上記エッジ検出回路５２は、例えば
Ｓｏｂｅｌ等の一般的なエッジ検出オペレータによりフ
ィルタリングを行う回路でなり、このエッジオペレータ
による強度が所定の閾値（例えば上記Ａ／Ｄ変換器５の
レンジにおける最大値）以上であれば、参照位置にはエ
ッジが存在するとして、エッジ情報を「ＥＧ」とし、そ
うでなければエッジ情報を「０」とする２値情報を出力
するものである。

【００６３】こうして図６に示したような回路により階
調補正を行うことで、ヒストグラムの平坦化がなされる
ために、特に原画像のヒストグラムが特定の値域に集中
するものである場合などには、画像のコントラストを改
善することができる。このような階調補正は、後で画像
合成処理回路４１により生成しようとする広ダイナミッ
クレンジ画像の濃度レンジの中央部付近で画像合成を行
うことができるようにする階調補正となっている。

【００６４】また、図７は上記エッジヒストグラム計算
回路５３において、累積エッジヒストグラムを計算する
際に、画像中の画素位置に応じて重みを変化させる例を
示す図である。

【００６５】まず、図７（Ａ）は、中央部だけを考慮し
た重み付けを行う例であり、例えば周辺部分にエッジが
存在する場合には該画素を１としてカウントするのに対
して、中央部分にエッジが存在する場合には該画素を例
えば１６としてカウントするようになっている。

【００６６】一方、図７（Ｂ）は、中央部分を中心とし
て周辺部に向かってなだらかな重み付けを行う例であ
り、例えば四辺の角部の画素がエッジである場合に該画
素を１とカウントするのに対して、中央部分の画素がエ
ッジである場合には該画素を例えば６４としてカウント
し、それらの中間の画素については中央部に近いほど高
いカウントを行い、周辺部に行くに従ってカウント数を
減らすようになっている。

【００６７】なお、これら図７（Ａ），図７（Ｂ）の何
れの例においても、演算を容易にするために、２のべき
乗の重み付けが行われているが、もちろん、これに限定
されるものではない。

【００６８】ここで、図８を参照して、上記画像合成処
理回路４１により生成しようとする広ダイナミックレン
ジ画像の濃度レンジの中央部付近で画像合成できるよう
に階調補正を行う例について説明する。

【００６９】図８（Ａ）は、被写体の輝度が比較的明る
い輝度と比較的暗い輝度に分かれて集中するときの輝度
信号のヒストグラムである。

【００７０】例えば、窓のある比較的暗い室内に主要被
写体が存在し、窓の外には晴天等の比較的明るい外景が
広がっているときに、室内の被写体と窓の外の背景の両
方を画像として再現したい場合を考える。

【００７１】このときには、それぞれの画像における輝
度信号のヒストグラムは、例えばこの図８（Ａ）に示す
ようになり、被写体の部分（ＬＥ−Ｉｍａｇｅ）は比較
的暗い方に偏って幅の狭いピークを形成し、背景の部分
（ＳＥ−Ｉｍａｇｅ）は比較的明るい方に偏って同様に
幅の狭いピークを形成している。

【００７２】そこで、上記図６に示したような階調補正
回路３９，４０において、生成しようとする広ダイナミ
ックレンジ画像の濃度レンジの中央部（ＹＭＡＸ／２）
付近で画像合成できるように階調補正の処理を行う。

【００７３】図８（Ｂ）は、上記図８（Ａ）の被写体を
濃度レンジの中央部付近で画像合成ができるように階調
補正を行ったときの輝度信号のヒストグラムであり、合
成画像のダイナミックレンジが実質的に拡大して、明る
いところから暗いところまでそれぞれの画像情報を適切
に再現することができるようになっている。

【００７４】こうして、限られたダイナミックレンジの
中で多くの画像情報を再現することができ、結果的に、
濃度レンジを有効に用いて見易い広ダイナミックレンジ
画像を生成することができる。

【００７５】次に、図９は、上記画像合成処理回路４１
における処理を示すフローチャートである。

【００７６】この処理が開始されると、まず、上記階調
補正回路３９，４０から出力される階調補正された分割
画像情報ＳｅｇＳＥ（ｘ，ｙ），ＳｅｇＬＥ（ｘ，ｙ）
と、上記画像領域分割回路３７から出力される分割領域
情報Ｓｅｇ（ｘ，ｙ）を読み込む（ステップＳ４１）。

【００７７】その後、広ダイナミックレンジ画像情報を
格納する領域ＷＤＲ（ｘ，ｙ）の初期化を行って（ステ
ップＳ４２）、分割領域情報を走査する（ステップＳ４
３）。

【００７８】そして、分割領域情報Ｓｅｇ（ｉ，ｊ）が
ＬＥＤａｔａであるか否かを判断し（ステップＳ４
４）、ＬＥＤａｔａである場合には、各ｒ，ｇ，ｂに関
してＳｅｇＬＥ（ｉ，ｊ）のデータを上記領域ＷＤＲ
（ｉ，ｊ）に格納する（ステップＳ４９）。

【００７９】一方、上記ステップＳ４４において、ＬＥ
Ｄａｔａでない場合には、次に、分割領域情報Ｓｅｇ
（ｉ，ｊ）がＳＥＤａｔａであるか否かを判断し（ステ
ップＳ４５）、ＳＥＤａｔａである場合には、各ｒ，
ｇ，ｂに関してＳｅｇＳＥ（ｉ，ｊ）のデータを上記領
域ＷＤＲ（ｉ，ｊ）に格納する（ステップＳ５０）。

【００８０】また、上記ステップＳ４５において、ＳＥ
Ｄａｔａでない場合には、ＳｅｇＬＥ（ｉ，ｊ）の各色
成分、ＳｅｇＬＥｒ，ＳｅｇＬＥｇ，ＳｅｇＬＥｂの内
の最大値ＣＳを検出して（ステップＳ４６）、次に乱数
Ｒを発生させて取得し、その乱数ＲおよびＣＳの大きさ
に応じて、選択特性値ＳＴを０または１に設定する（ス
テップＳ４７）。

【００８１】ここに、この選択特性値ＳＴの設定方法と
しては、例えば色信号最大値ＣＳについて、分割領域情
報がＭＩＸＤａｔａとなり得る範囲（図４における閾値
Ｔｈ１および閾値Ｔｈ２の範囲）において、ＣＳがどの
程度の大きさであるかを示す関数Ｃｓｔ（ＣＳ）を数式
１のように定義する。

【００８２】

【数１】

【００８３】この関数Ｃｓｔ（ＣＳ）は、定義域（Ｔｈ
１≦ＣＳ＜Ｔｈ２）内において０から１に単調増加する
ために、ＣＳの大きさに合わせて分割画像情報（Ｓｅｇ
ＬＥ（ｉ，ｊ），ＳｅｇＳＥ（ｉ，ｊ））を選択する割
合を変化させることができる。

【００８４】次に、乱数Ｒを取得したところで、上記関
数Ｃｓｔ（ＣＳ）に乱数Ｒの最大値ＲＭＡＸを乗じるこ
とで、ＣＳの大きさを考慮しながら、どちらの分割画像
情報を選択するかの判断をランダムに行うことができ
る。この判断によって選択特性値ＳＴを決定する。こう
して選択特性値ＳＴは、数式２のように表される。

【００８５】

【数２】

【００８６】この数式２では、色信号最大値ＣＳの大き
さに依存した形で、選択特性値ＳＴの設定を行う。すな
わち、関数Ｃｓｔ（ＣＳ）が小さい（参照している分割
画像情報ＳｅｇＬＥ（ｉ，ｊ）に関して白飛びの度合い
が比較的弱く、長時間露光ＬＥ画像の特性が残ってい
る）場合にはＳＴは１となる傾向が強くなり、反対に関
数Ｃｓｔ（ＣＳ）が大きい（参照している分割画像情報
ＳｅｇＬＥ（ｉ，ｊ）に関して白飛びの度合いが比較的
強く、長時間露光ＬＥ画像の特性が残っていない）場合
にはＳＴは０となる傾向が強くなる。

【００８７】そして、その選択特性値ＳＴが１であるか
否かを判断し（ステップＳ４８）、１である場合には上
記ステップＳ４９へ行って、各ｒ，ｇ，ｂに関してＳｅ
ｇＬＥ（ｉ，ｊ）のデータを上記領域ＷＤＲ（ｉ，ｊ）
に格納し、一方、０である場合には上記ステップＳ５０
へ行って、ＳｅｇＳＥ（ｉ，ｊ）のデータを上記領域Ｗ
ＤＲ（ｉ，ｊ）に格納する。

【００８８】上述したようなステップＳ４４からステッ
プＳ５０の処理により、画像合成処理回路４１が画像合
成手段としての機能を果たしている。

【００８９】上記ステップＳ４９またはステップＳ５０
が終了したら、分割領域情報全体の走査が終了したか否
かを判断し（ステップＳ５１）、終了していない場合に
は、上記ステップＳ４３に戻って次の分割領域情報の走
査を行い、一方、終了した場合には、広ダイナミックレ
ンジ画像情報ＷＤＲ（ｘ，ｙ）を出力して（ステップＳ
５２）、終了する。

【００９０】このように色信号最大値の大きさを考慮し
て分割画像情報を選択することにより、分割領域情報が
ＭＩＸＤａｔａである領域は、ディザ処理を施した状態
と同様に表示される効果があり、長時間露光ＬＥおよび
短時間露光ＳＥに対する違和感を抑制することができ
る。

【００９１】なお、上述では長時間露光画像と短時間露
光画像の２つの画像でなる画像群を用いて広ダイナミッ
クレンジ画像を得る場合について説明したが、より多数
の異なる露光条件の画像を用いても、同様に広ダイナミ
ックレンジ画像を得ることができるのはいうまでもな
い。

【００９２】また、ここでは画像処理装置を電子カメラ
に適用した例、より詳しくは電子カメラのカメラ信号処
理回路に適用した例について説明したが、もちろんこれ
に限るものではなく、画像処理を行う各種の装置に広く
適用することができる。

【００９３】このような第１の実施形態によれば、同一
被写体に対して異なる露光条件で撮像した画像群の各画
像について、画像信号に基づいて適正露光領域と不適正
露光領域に分割し、適正露光領域のみに関して階調補正
を行うために、適正露光領域のコントラストを改善する
ことができる。

【００９４】また、階調補正後の各画像の適正露光領域
を合成することにより、暗い部分から明るい部分まで広
範囲に渡ってコントラストが保持された状態で広ダイナ
ミックレンジ画像を得ることができる。

【００９５】さらに、生成しようとする広ダイナミック
レンジ画像の濃度レンジの中央部付近で画像合成を行う
ことができるように階調補正を行っているために、濃度
レンジを有効に用いて見易い画像とすることが可能とな
る。

【００９６】そして、階調補正回路において、フィルタ
リングにより抽出したエッジ成分の近傍画素からヒスト
グラムを生成することにより、画像の特徴を考慮したヒ
ストグラムが生成される。

【００９７】また、このヒストグラムに基づいて階調補
正特性を生成し、これを画像信号の階調補正に用いるこ
とにより、画像の特徴を考慮した階調補正を行うことが
できる。従って、特徴成分の近傍画素に関するコントラ
ストを改善することができる。さらに、ヒストグラムと
いう簡単な処理を利用することによって、処理全体の構
成を簡単にすることができる。

【００９８】加えて、画像中の画素位置に応じてヒスト
グラムを生成する際の重み付けを変化させるようにした
ために、主要被写体の位置などを考慮したより適切な階
調補正を行うことが可能となる。

【００９９】また、画像領域分割回路において、画像群
中の各画像について画像信号を構成する複数の色信号の
内の最大値を検出し、この色信号の最大値を所定の画像
信号レベルと比較することにより、適正露光領域（中間
露光領域を含む）と不適正露光領域の分別を行って、全
ての色信号のレベルが適正である領域を適正露光領域と
することができる。これにより、画像領域分割回路によ
って分割される適正露光領域の精度を向上することがで
きる。

【０１００】図１０から図１５は本発明の第２の実施形
態を示したものである。この第２の実施形態において、
上述の第１の実施形態と同様である部分については同一
の符号を付して説明を省略し、主として異なる点につい
てのみ説明する。

【０１０１】この第２の実施形態の電子カメラの構成
は、上述した第１の実施形態の図１に示したものとほぼ
同様である。

【０１０２】次に、図１０はカメラ信号処理回路の構成
を示すブロック図である。

【０１０３】この実施形態のカメラ信号処理回路におい
ては、上記スイッチ３４からの画像信号は、短時間露光
ＳＥに係る画像信号がＹ／Ｃ分離回路６１に入力され、
一方の長時間露光ＬＥに係る画像信号がＹ／Ｃ分離回路
６２に入力されるようになっている。

【０１０４】これらのＹ／Ｃ分離回路６１，６２では、
入力画像信号のｒ，ｇ，ｂ成分（Ｒ，Ｇ，Ｂ）に基づい
て、輝度信号Ｙ（図１２（Ａ）参照）と色差信号Ｃｂ，
Ｃｒとに数式３に示すように分離する。

【０１０５】

【数３】Ｙ＝０．２９９００Ｒ＋０．５８７００Ｇ
＋０．１４４００ＢＣｂ＝−０．１６８７４Ｒ−０．３３１２６Ｇ＋０．５
００００ＢＣｒ＝０．５００００Ｒ−０．４１８６９Ｇ−０．０
８１３１Ｂ

【０１０６】こうして分離された内の短時間露光ＳＥに
係る輝度信号ｍｍ−ＳＥが画像補正手段の一部である特
徴抽出手段たるエッジ検出回路６３に、長時間露光ＬＥ
に係る輝度信号ｍｍ−ＬＥが同特徴抽出手段たるエッジ
検出回路６４に、それぞれ入力されてラプラシアン等の
公知の２次微分フィルタによりエッジ成分が抽出される
（図１２（Ｂ）参照）。なお、ここでは、２次微分フィ
ルタを用いているために、正の検出結果と負の検出結果
（後述する図１２（Ｃ）参照）とが出力されることにな
る。

【０１０７】こうして検出されたエッジ情報信号ｎｎ−
ＳＥ，ｎｎ−ＬＥと、上記Ｙ／Ｃ分離回路６１，６２か
らの輝度信号ｍｍ−ＳＥ，ｍｍ−ＬＥおよび色差信号ｑ
ｑ−ＳＥ，ｑｑ−ＬＥとに基づいて、画像補正手段たる
階調補正回路６５，６６では短時間露光ＳＥに係る画像
と長時間露光ＬＥに係る画像とにそれぞれ階調補正を施
す。

【０１０８】図１１は、この階調補正回路６５，６６の
構成を示すブロック図である。なお、この図１１におい
ては、説明を簡単にするために、主として長時間露光Ｌ
Ｅに係る階調補正回路６６についての説明を行う。

【０１０９】階調補正回路６６においては、輝度信号に
基づくエッジ情報信号ｎｎ−ＬＥが特徴成分ヒストグラ
ム生成手段たるエッジヒストグラム作成部７１に入力さ
れて、エッジ情報信号ｎｎ−ＬＥのレベルに対する出現
頻度を示すエッジヒストグラムが作成される。なお、こ
こで作成されるエッジヒストグラムは、上記第１の実施
形態におけるエッジヒストグラムと異なり、輝度信号の
エッジ成分そのもののヒストグラムである。

【０１１０】一般的な自然画像においては、上記エッジ
ヒストグラムはガウシアン分布でモデル化できることが
知られており、例えば図１２（Ｃ）に示すようなエッジ
ヒストグラムが作成される。

【０１１１】こうしてエッジヒストグラム作成部７１で
作成したエッジヒストグラムは、閾値算出手段たる閾値
算出部７２に入力されて、そこでエッジヒストグラムの
標準偏差σが算出され、例えばこの標準偏差σの２倍を
閾値とすることにより、±２σの２つの閾値が設定され
る。

【０１１２】この閾値算出部７２から出力される閾値と
上記輝度信号のエッジ情報信号ｎｎ−ＬＥ、および輝度
信号ｍｍ−ＬＥに基づいて、対象画素選択手段たる輝度
信号選択部７３は、輝度信号のエッジ成分の内で上記閾
値＋２σよりも大きいエッジ成分または閾値−２σより
も小さいエッジ成分に該当する画素の輝度信号を抽出す
る。

【０１１３】このようにエッジヒストグラムの標準偏差
σに基づいて閾値を定めることにより、露光条件に依存
することなく安定的に有効なエッジ成分のみを抽出する
ことができる。

【０１１４】こうして抽出された有効なエッジ成分の輝
度信号に基づいて、ヒストグラム生成手段たる輝度ヒス
トグラム作成部７４では、例えば図１２（Ｄ）に示すよ
うな輝度ヒストグラムを作成する。

【０１１５】この輝度ヒストグラム作成部７４で作成さ
れた輝度ヒストグラムに基づいて、分布モデル化手段た
る目標ヒストグラム作成部７５では、高コントラスト画
像を生成するために、上記輝度ヒストグラムをガウシア
ン状に変換する処理を行う。

【０１１６】つまり、上述した第１の実施形態において
は、ヒストグラムを平坦化することにより高コントラス
ト画像を生成する方法を用いたが、本実施形態ではガウ
シアン状に変換することで、より高コントラストな画像
を得るようにしたものである。

【０１１７】ただし、どの程度のガウシアン状のヒスト
グラムを設定するかは画像毎に異なるために、最適な設
定は適応的に行う必要がある。

【０１１８】ここでは、輝度ヒストグラムをガウシアン
カーネルを用いてコンボリューションすることにより、
目標となるヒストグラムを適用的に得る手段を用いる。

【０１１９】すなわち、輝度ヒストグラムをＯ（Ｌ）、
これをガウシアン状に変換したヒストグラムをＴ（Ｌ）
とすると、Ｏ（Ｌ）からＴ（Ｌ）に変換するための演算
は、数式４に示すようになる。

【０１２０】

【数４】

【０１２１】ここに、記号「＊」はコンボリューション
を表し、Ｌは輝度信号のレベルを意味している。また、
ｋはどの程度までガウシアン状に変換するかの調整用パ
ラメータとなり、この実施形態においては、例えば輝度
ヒストグラムＯ（Ｌ）の標準偏差の１〜２倍程度を用い
る。

【０１２２】こうして、この例では、図１２（Ｅ）に示
すような目標ヒストグラムが作成される。

【０１２３】このように、入力される画像毎に、目標と
なるヒストグラムを適用的に生成するために、多様な画
像に対しても柔軟に対応することができる。

【０１２４】こうして得られた目標ヒストグラムと上記
輝度ヒストグラムとにより、階調補正特性生成手段たる
変換曲線作成部７６において、輝度ヒストグラムを目標
ヒストグラムに変換する階調変換曲線を図１２（Ｆ）に
示すように生成し、この階調変換曲線に基づいて階調補
正手段たる輝度信号変換部７７により、輝度信号の変換
を行う。

【０１２５】そして、上記輝度信号変換部７７からの変
換後の輝度信号と色差信号ｑｑ−ＬＥとに基づき、輝度
色差合成部７９において次の数式５に示すようにＲＧＢ
信号に変換して画像合成手段たる画像合成処理回路６７
へ出力する。

【０１２６】

【数５】Ｒ＝Ｙ＋１．４０２００ＣｒＧ＝Ｙ−０．３４４１４Ｃｂ−０．７１４１７ＣｒＢ＝Ｙ＋１．７７２００Ｃｂ

【０１２７】一方で、上記輝度信号変換部７７からの変
換後の輝度信号の最大値（ＬＥ−ＹＭＡＸ）および最小
値（ＬＥ−ＹＭＩＮ）の検出を、最大最小値検出部７８
において行い、その検出結果（図１０におけるｒｒ−Ｌ
Ｅとなる。また、短時間露光の場合には、図１０におけ
るｒｒ−ＳＥである。）を上記画像合成処理回路６７へ
出力する。

【０１２８】次に、図１３および図１４は上記画像合成
処理回路６７における処理を示すフローチャートであ
る。なお、これら図１３および図１４は、画像合成処理
回路６７による一連の動作を、記載の都合上２つの図面
に分割したものである。

【０１２９】この処理が開始されると、まず、上記階調
補正回路６５，６６から出力される階調補正された各画
像情報ＳＥ（ｘ，ｙ），ＬＥ（ｘ，ｙ）および上記輝度
信号選択部７３にて選択され階調変換された輝度信号か
らなる適正露光領域輝度の最大値および最小値情報（Ｓ
Ｅ−ＹＭＡＸ，ＳＥ−ＹＭＩＮ），（ＬＥ−ＹＭＡＸ，
ＬＥ−ＹＭＩＮ）を読み込む（ステップＳ６１）。

【０１３０】その後、広ダイナミックレンジ画像情報を
格納する領域ＷＤＲ（ｘ，ｙ）および後段で平滑化処理
を行うか否かを判別するための平滑化領域情報を格納す
る領域ＳＡ（ｘ，ｙ）の初期化を行い（ステップＳ６
２）、ＬＥ画像情報を走査する（ステップＳ６３）。

【０１３１】そして、読み出したｒ，ｇ，ｂに係るＬＥ
ｒ（ｉ，ｊ），ＬＥｇ（ｉ，ｊ），ＬＥｂ（ｉ，ｊ）に
基づいて、数式６に示すように輝度信号を作成する（ス
テップＳ６４）。

【数６】ＬＥy＝０．３ＬＥr(i,j)＋０．５９ＬＥg(i,
j)＋０．１１ＬＥb(i,j)

【０１３２】そして、このＬＥｙがＬＥ−ＹＭＡＸ以下
であり、かつＳＥ−ＹＭＩＮよりも小さいか否かを判断
し（ステップＳ６５）、双方の条件が満たされている場
合には、各ｒ，ｇ，ｂに関してＬＥ（ｉ，ｊ）のデータ
を上記領域ＷＤＲ（ｉ，ｊ）に格納する（ステップＳ６
７）。

【０１３３】一方、上記ステップＳ６５において、少な
くとも一方の条件が満たされていない場合には、次に、
ＬＥｙがＬＥ−ＹＭＡＸよりも大きく、かつＳＥ−ＹＭ
ＩＮ以上であるか否かを判断し（ステップＳ６６）、双
方の条件が満たされている場合には、各ｒ，ｇ，ｂに関
してＳＥ（ｉ，ｊ）のデータを上記領域ＷＤＲ（ｉ，
ｊ）に格納する（ステップＳ６８）。

【０１３４】これらステップＳ６５からステップＳ６８
において、画像合成処理回路６７が適正露光画素選択手
段としての機能を果たしている。

【０１３５】また、上記ステップＳ６６において、少な
くとも一方の条件が満たされていない場合には、各ｒ，
ｇ，ｂに関してＬＥ（ｉ，ｊ）のデータとＳＥ（ｉ，
ｊ）のデータとの平均値を上記領域ＷＤＲ（ｉ，ｊ）に
格納するとともに、後述するローパスフィルタ処理を行
うか否かを判定する平滑化領域情報ＳＡ（ｉ，ｊ）に１
を格納する（ステップＳ６９）。このステップＳ６９に
おいて、画像合成処理回路６７が加算平均手段としての
機能を果たしている。

【０１３６】そして、画面全体の走査が終了したか否か
を判断し（ステップＳ７０）、終了していない場合に
は、上記ステップＳ６３に戻って次の画素の走査を行
い、一方、終了した場合には、各画素についての平滑化
領域情報を走査する（ステップＳ７１）。

【０１３７】そして、平滑化領域情報ＳＡ（ｉ，ｊ）が
１であるか否かを判断して（ステップＳ７２）、１であ
る場合には、ＷＤＲ（ｉ，ｊ）を中心とした例えば５×
５画素について輝度信号と色差信号別にローパスフィル
タ処理を行う（ステップＳ７３）。このステップＳ７３
において、該画像合成処理回路６７が平滑化手段として
の機能を果たしている。

【０１３８】一方、上記ステップＳ７２において、平滑
化領域情報ＳＡ（ｉ，ｊ）が１でないと判断された場合
には、このステップＳ７３の動作をスキップする。

【０１３９】そして、全画素についての走査が終了した
か否かを判断して（ステップＳ７４）、終了していない
場合には、上記ステップＳ７１に戻って再び走査を行
い、終了している場合には、広ダイナミックレンジ画像
情報ＷＤＲ（ｘ，ｙ）を出力して（ステップＳ７５）、
終了する。

【０１４０】このような処理を行うことにより、図１５
に示すように、画素輝度値がＳＥ−ＹＭＩＮとＬＥ−Ｙ
ＭＡＸに挟まれた領域（図１５（Ａ）のように両方の適
正露光領域に属する中輝度域や図１５（Ｂ）のようにど
ちらの適正露光領域にも属さない中輝度域など）につい
ては長時間露光ＬＥのデータと短時間露光ＳＥのデータ
との平均値を用いる情報の混合（Ｍｉｘｔｕｒｅ）を行
うことになり、ＳＥ−ＹＭＩＮとＬＥ−ＹＭＡＸの何れ
か輝度が低い方よりも暗い画素については長時間露光の
イメージ（ＬＥ−ｉｍａｇｅ）を用い、ＳＥ−ＹＭＩＮ
とＬＥ−ＹＭＡＸの何れか輝度が高い方よりも明るい画
素については短時間露光のイメージ（ＳＥ−ｉｍａｇ
ｅ）を用いることになる。

【０１４１】この場合には、ＬＥ−ＹＭＩＮよりも暗い
画素については長時間露光のイメージ（ＬＥ−ｉｍａｇ
ｅ）を用いることになり、ＳＥ−ＹＭＡＸよりも明るい
画素については短時間露光のイメージ（ＳＥ−ｉｍａｇ
ｅ）を用いることになるために、画素が適正露光範囲内
にない場合には、より適切に近いものが選択されること
になる。

【０１４２】こうして、複数の適正露光領域を合成して
一の広ダイナミックレンジ画像を生成する際に、長時間
露光画像と短時間露光画像とでなる画像群中の各画像の
全てにおいて不適正露光領域となる欠落領域が存在する
場合には、該欠落領域が露光オーバーであるときには上
記画像群中の最小露光画像の該当領域を用い、一方、該
欠落領域が露光アンダーであるときには上記画像群中の
最大露光画像の該当領域を用いることになり、上記欠落
領域を補填する領域調整手段の役割を果たしている。

【０１４３】図１０に再び戻って、画像合成処理回路６
７において上述したような合成処理が行われた後は、合
成された広ダイナミックレンジ画像のデータがスイッチ
３３を介して出力されるのは上述した第１の実施形態と
同様である。

【０１４４】このような第２の実施形態によれば、上述
した第１の実施形態とほぼ同様の効果を奏するととも
に、同一被写体に対して異なる露光条件で撮像した画像
群の各画像について階調補正を行うことにより、各画像
のコントラストを改善することができる。

【０１４５】また、広ダイナミックレンジ画像を生成す
るために階調補正された各画像を合成することにより、
暗い部分から明るい部分まで広範囲に渡ってコントラス
トが保持された状態で広ダイナミックレンジ画像を得る
ことができる。

【０１４６】さらに、階調補正回路において、フィルタ
リングによるエッジ成分に関するヒストグラムを生成
し、その分布状態から階調補正特性の生成に利用する対
象画素を選択することにより、特徴成分ヒストグラムの
分布から適正露光である特徴が顕著な画素を選択するこ
とができる。

【０１４７】そして、対象画素のヒストグラムを生成し
てこれを所定の分布にモデル化するための変換を階調補
正特性とすることにより、各画像において重要な部分の
コントラストを改善することができる。

【０１４８】加えて、画像合成処理回路において、同一
画素について階調補正された画像信号が複数存在する場
合は、各画像信号の加算平均をとることにより、それぞ
れの画像信号を均等に取り扱うことができる。さらに、
加算平均された画素に平滑化を施すことにより、加算平
均していない画像信号との間に生じる違和感を最小限に
抑制することができる。

【０１４９】また、画像合成処理回路において、階調補
正を行った各画像を画素位置毎に調べて画素群中の適正
露光に近い画素を選択することにより、不適正露光の信
号を排除してより適正露光に近い信号のみを広ダイナミ
ックレンジ画像に利用することができる。

【０１５０】さらに、画像合成処理回路において、適正
露光領域を合成して広ダイナミックレンジ画像を生成す
る際に欠落領域が存在する場合には、欠落領域が露光オ
ーバーであるときには画像群中の最小露光画像の該当領
域を、欠落領域が露光アンダーであるときには画像群中
の最大露光画像の該当領域を、用いて欠落領域を補填す
ることにより、欠落領域を画像群中の最適な情報で補正
することができるために、欠落領域における違和感を最
小限に抑制することができる。

【０１５１】なお、本発明は上述した実施形態に限定さ
れるものではなく、発明の主旨を逸脱しない範囲内にお
いて種々の変形や応用が可能であることは勿論である。

【０１５２】

【発明の効果】以上説明したように請求項１による本発
明の画像処理装置によれば、画像毎の階調補正を行った
後にこれらを合成して一の広ダイナミックレンジ画像を
生成するために、低輝度域から高輝度域までコントラス
トが保持された広ダイナミックレンジ画像を得ることが
できる。

【０１５３】また、請求項２による本発明の画像処理装
置によれば、分割された適正露光領域の階調補正を画像
毎に行った後にこれらを合成して一の広ダイナミックレ
ンジ画像を生成するために、低輝度域から高輝度域まで
コントラストが保持された広ダイナミックレンジ画像を
得ることができる。

【０１５４】さらに、請求項３による本発明の画像処理
装置によれば、請求項１または請求項２に記載の発明と
同様の効果を奏するとともに、生成しようとする広ダイ
ナミックレンジ画像の濃度レンジの中央部付近で画像合
成を行うことができるように階調補正を行うために、濃
度レンジを有効に用いて見易い画像とすることが可能と
なる。

【０１５５】請求項４による本発明の画像処理装置によ
れば、請求項１または請求項２に記載の発明と同様の効
果を奏するとともに、画像補正手段において、フィルタ
リングによる特徴成分の近傍画素からヒストグラムを生
成することにより、画像の特徴を考慮したヒストグラム
を生成することができる。また、ヒストグラムに基づい
て階調補正特性を生成し、これを画像信号の階調補正に
用いることにより、画像の特徴を考慮した階調補正を行
うことができる。従って、特徴成分の近傍画素に関する
コントラストを改善することが可能となる。さらに、ヒ
ストグラムという簡単な処理を利用することによって、
処理全体の構成を簡単にすることができる。

【０１５６】請求項５による本発明の画像処理装置によ
れば、請求項４に記載の発明と同様の効果を奏するとと
もに、画像中の画素位置に応じてヒストグラムを生成す
る際の重み付けを変化させるようにしたために、主要被
写体の位置などを考慮したより適切な階調補正を行うこ
とが可能となる。

【０１５７】請求項６による本発明の画像処理装置によ
れば、請求項１または請求項２に記載の発明と同様の効
果を奏するとともに、画像補正手段において、フィルタ
リングによる特徴成分に関するヒストグラムを生成し、
その分布状態から階調補正特性の生成に利用する対象画
素を選択することにより、適正露光領域が存在する場合
にはその中で特徴が顕著な画素を選択することができ、
一方、適正露光領域が存在しない場合には特徴成分ヒス
トグラムの分布から適正露光である特徴が顕著な画素を
選択することができる。また、対象画素のヒストグラム
を生成してこれを所定の分布にモデル化するための変換
を階調補正特性とすることにより、各画像において重要
な部分のコントラストを改善することが可能となる。さ
らに、ヒストグラムという簡単な処理を利用することに
よって、処理全体の構成を簡単にすることができる。

【０１５８】請求項７による本発明の画像処理装置によ
れば、請求項１または請求項２に記載の発明と同様の効
果を奏するとともに、画像合成手段において、同一画素
位置について階調補正された画像信号が複数存在する場
合は、各画像信号の加算平均をとることにより、それぞ
れの画像信号を均等に取り扱うことができる。また、加
算平均された画素に平滑化を施すことにより、加算平均
していない画像信号との間に生じる違和感を最小限に抑
制することができる。

【０１５９】請求項８による本発明の画像処理装置によ
れば、請求項１に記載の発明と同様の効果を奏するとと
もに、画像合成手段において、階調補正を行った各画像
を画素位置毎に調べて画素群中の適正露光に近い画素を
選択することにより、不適正露光の信号を排除してより
適正露光に近い信号のみを広ダイナミックレンジ画像に
利用することができる。

【０１６０】請求項９による本発明の画像処理装置によ
れば、請求項１または請求項２に記載の発明と同様の効
果を奏するとともに、画像合成手段において、適正露光
領域を合成して広ダイナミックレンジ画像を生成する際
に欠落領域が存在する場合には、欠落領域が露光オーバ
ーであるときには画像群中の最小露光画像の該当領域
を、欠落領域が露光アンダーであるときには画像群中の
最大露光画像の該当領域を、用いて欠落領域を補填する
ことにより、欠落領域を画像群中の最適な情報で補正す
ることができるために、欠落領域における違和感を最小
限に抑制することができる。

【０１６１】請求項１０による本発明の画像処理装置に
よれば、請求項２に記載の発明と同様の効果を奏すると
ともに、分割手段において、画像群中の各画像について
最大色信号検出手段により複数の色信号の内の最大値を
検出し、この色信号の最大値を所定の画像信号レベルと
比較することにより、適正露光領域と不適正露光領域の
分別を行って、全ての色信号のレベルが適正である領域
を適正露光領域とすることができる。これにより、分割
手段によって分割される適正露光領域の精度を向上する
ことが可能となる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態の電子カメラの基本的
な構成を示すブロック図。

【図２】上記第１の実施形態におけるカメラ信号処理回
路の構成を示すブロック図。

【図３】上記第１の実施形態のカメラ信号処理回路にお
ける処理信号の様子を示す図。

【図４】上記第１の実施形態の画像領域分割回路におけ
る処理を示すフローチャート。

【図５】上記第１の実施形態の分割領域画像情報抽出回
路における処理を示すフローチャート。

【図６】上記第１の実施形態における階調補正回路の構
成を示すブロック図。

【図７】上記第１の実施形態のエッジヒストグラム計算
回路において、累積エッジヒストグラムを計算する際
に、画像中の画素位置に応じて重みを変化させる例を示
す図。

【図８】上記第１の実施形態において、被写体の輝度が
比較的明るい輝度と比較的暗い輝度に分かれて集中する
ときの輝度信号のヒストグラムと、その被写体を濃度レ
ンジの中央部付近で画像合成ができるように階調補正を
行ったときの輝度信号のヒストグラム。

【図９】上記第１の実施形態の画像合成処理回路におけ
る処理を示すフローチャート。

【図１０】本発明の第２の実施形態におけるカメラ信号
処理回路の構成を示すブロック図。

【図１１】上記第２の実施形態における階調補正回路の
構成を示すブロック図。

【図１２】上記第２の実施形態において、輝度信号のエ
ッジから輝度ヒストグラムや目標ヒストグラム、変換曲
線を作成するときの過程におけるグラフ等を示す図。

【図１３】上記第２の実施形態の画像合成処理回路にお
ける処理の一部を示すフローチャート。

【図１４】上記第２の実施形態の画像合成処理回路にお
ける処理の他の一部を示すフローチャート。

【図１５】上記第２の実施形態において、中輝度域が両
方の適正露光領域に属する場合とどちらの適正露光領域
にも属さない場合の画像合成モデルの様子を示す図。

【図１６】従来の、広ダイナミックレンジ画像信号を作
成してそれを圧縮する処理の様子を示す線図。

【符号の説明】

６…カメラ信号処理回路（画像処理装置）３７…画像領域分割回路（分割手段、最大色信号検出手
段、最大色信号比較手段）３８…分割領域画像情報抽出回路（分割手段）３９，４０，６５，６６…階調補正回路（画像補正手
段）４１，６７…画像合成処理回路（画像合成手段、加算平
均手段、平滑化手段、適正露光画素選択手段、領域調整
手段）５１…Ｙ信号検出回路５２，６３，６４…エッジ検出回路（特徴抽出手段）５３…エッジヒストグラム計算回路（ヒストグラム生成
手段）５４…トーンカーブ設定回路（階調補正特性生成手段）５５…分割領域画像信号補正回路（階調補正手段）６１，６２…Ｙ／Ｃ分離回路７１…エッジヒストグラム作成部（特徴成分ヒストグラ
ム生成手段）７２…閾値算出部（閾値算出手段）７３…輝度信号選択部（対象画素選択手段）７４…輝度ヒストグラム作成部（ヒストグラム生成手
段）７５…目標ヒストグラム作成部（分布モデル化手段）７６…変換曲線作成部（階調補正特性生成手段）７７…輝度信号変換部（階調補正手段）７８…最大最小値検出部７９…輝度色差合成部

Claims

【特許請求の範囲】

【請求項１】同一被写体に対して異なる露光条件で撮
像された複数の画像からなる画像群を処理して一の広ダ
イナミックレンジ画像を生成する画像処理装置であっ
て、上記画像群中の各画像毎に階調補正を行う画像補正手段
と、この画像補正手段により階調補正された各画像を合成し
て一の広ダイナミックレンジ画像を生成する画像合成手
段と、を具備したことを特徴とする画像処理装置。
【請求項２】同一被写体に対して異なる露光条件で撮
像された複数の画像からなる画像群を処理して一の広ダ
イナミックレンジ画像を生成する画像処理装置であっ
て、上記画像群中の各画像について所定の画像信号レベルに
基づき適正露光領域と不適正露光領域に分割する分割手
段と、この分割手段により分割された適正露光領域の階調補正
を上記各画像毎に行う画像補正手段と、この画像補正手段により階調補正された各画像毎の適正
露光領域を合成して一の広ダイナミックレンジ画像を生
成する画像合成手段と、を具備したことを特徴とする画像処理装置。
【請求項３】上記画像補正手段は、上記画像合成手段
により生成しようとする広ダイナミックレンジ画像の濃
度レンジの中央部付近で画像合成を行うことができるよ
うに、上記各画像の階調を補正するものであることを特
徴とする請求項１または請求項２に記載の画像処理装
置。
【請求項４】上記画像補正手段は、上記画像群中の各画像毎に該画像信号からフィルタリン
グにより特徴成分を抽出する特徴抽出手段と、この特徴抽出手段により抽出された特徴成分の近傍画素
からヒストグラムを生成するヒストグラム生成手段と、このヒストグラム生成手段により生成されたヒストグラ
ムに基づいて階調補正特性を生成する階調補正特性生成
手段と、この階調補正特性生成手段により生成された階調補正特
性を用いて該画像信号の階調補正を行う階調補正手段
と、を有してなることを特徴とする請求項１または請求項２
に記載の画像処理装置。
【請求項５】上記ヒストグラム生成手段は、ヒストグ
ラムを生成する際の重み付けを画像中の画素位置に応じ
て変化させるものであることを特徴とする請求項４に記
載の画像処理装置。
【請求項６】上記画像補正手段は、上記画像群中の各画像毎に該画像信号からフィルタリン
グにより特徴成分を抽出する特徴抽出手段と、この特徴抽出手段により抽出された特徴成分に関するヒ
ストグラムを生成する特徴成分ヒストグラム生成手段
と、この特徴成分ヒストグラム生成手段により生成された特
徴成分ヒストグラムの分布状態から対象画素を選択する
ための閾値を算出する閾値算出手段と、この閾値算出手段により算出された閾値に基づいて該画
像信号から対象画素を選択する対象画素選択手段と、この対象画素選択手段により選択された対象画素からヒ
ストグラムを生成するヒストグラム生成手段と、このヒストグラム生成手段により生成された対象画素の
ヒストグラムを所定の分布にモデル化する分布モデル化
手段と、上記ヒストグラム生成手段により生成された対象画素の
ヒストグラムと上記分布モデル化手段によりモデル化さ
れたヒストグラムとに基づいて階調補正特性を生成する
階調補正特性生成手段と、この階調補正特性生成手段により生成された階調補正特
性を用いて該画像信号の階調補正を行う階調補正手段
と、を有してなることを特徴とする請求項１または請求項２
に記載の画像処理装置。
【請求項７】上記画像合成手段は、上記画像補正手段により階調補正された画像信号が同一
画素位置について複数存在する場合に、これらの加算平
均を計算する加算平均手段と、この加算平均手段により処理された画素に対して平滑化
処理を施す平滑化手段と、を有してなることを特徴とする請求項１または請求項２
に記載の画像処理装置。
【請求項８】上記画像合成手段は、上記画像補正手段
により階調補正された上記画像群中の各画像に対して、
同一画素位置の画素群中の適正露光に近い画素を広ダイ
ナミックレンジ画像を構成する画素として各画素位置毎
に選択する適正露光画素選択手段を有してなることを特
徴とする請求項１に記載の画像処理装置。
【請求項９】上記画像合成手段は、複数の適正露光領
域を合成して一の広ダイナミックレンジ画像を生成する
際に、上記画像群中の各画像の全てにおいて不適正露光
領域となる欠落領域が存在する場合には、該欠落領域が
露光オーバーであるときには上記画像群中の最小露光画
像の該当領域を用い、一方、該欠落領域が露光アンダー
であるときには上記画像群中の最大露光画像の該当領域
を用いることにより、上記欠落領域を補填する領域調整
手段を有してなることを特徴とする請求項１または請求
項２に記載の画像処理装置。
【請求項１０】上記分割手段は、上記画像群中の各画像について該画像信号を構成する複
数の色信号の内の最大値を検出する最大色信号検出手段
と、この最大色信号検出手段により検出された色信号中の最
大値を上記所定の画像信号レベルと比較することによ
り、上記適正露光領域と不適正露光領域の分別を可能と
させる最大色信号比較手段と、を有してなることを特徴とする請求項２に記載の画像処
理装置。