JP3817635B2 - カラ−画像処理装置および処理方法 - Google Patents
カラ−画像処理装置および処理方法 Download PDFInfo
- Publication number
- JP3817635B2 JP3817635B2 JP2003053772A JP2003053772A JP3817635B2 JP 3817635 B2 JP3817635 B2 JP 3817635B2 JP 2003053772 A JP2003053772 A JP 2003053772A JP 2003053772 A JP2003053772 A JP 2003053772A JP 3817635 B2 JP3817635 B2 JP 3817635B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- brightness
- color
- determination table
- ratio determination
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 50
- 238000003672 processing method Methods 0.000 title claims description 6
- 239000000203 mixture Substances 0.000 claims description 144
- 238000003384 imaging method Methods 0.000 claims description 39
- 230000015572 biosynthetic process Effects 0.000 claims description 34
- 238000003786 synthesis reaction Methods 0.000 claims description 34
- 230000002194 synthesizing effect Effects 0.000 claims description 24
- 239000002131 composite material Substances 0.000 claims description 21
- 238000006243 chemical reaction Methods 0.000 description 32
- 238000000034 method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 11
- 230000002123 temporal effect Effects 0.000 description 10
- 238000004364 calculation method Methods 0.000 description 4
- 238000002156 mixing Methods 0.000 description 4
- 238000013139 quantization Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 229920006395 saturated elastomer Polymers 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Exposure Control For Cameras (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、カラー静止画像およびカラー動画像を高画質で撮像する装置に関し、特に、撮像素子のダイナミックレンジが狭いために発生する潰れおよび白とびの抑制が可能なカラー画像処理装置および処理方法に関するものである。
【０００２】
【従来の技術】
逆光下において、明るい景色をバックに記念撮影を行うと、人物が黒く潰れて撮影されてしまうことが多い。近年、デジタルスチルカメラやデジタルビデオカメラには逆光防止機能が備わっているが、それを用いて撮影すると、人物は鮮明に写すことが出来ても、バックの景色が飽和して白くとんで撮影されてしまう。
【０００３】
このように、明暗の混在する状況において、潰れや白とびを起こすことなく、撮影対象全体を鮮明に撮影することは困難であった。その原因は、撮像装置のダイナミックレンジの狭さにある。一般に実際の撮影対象に比べて、撮像装置のダイナミックレンジは狭いため、撮影対象の非常に明るい部分や暗い部分の微細な明度差は圧縮され、細部情報が失われる。そのため、潰れや白とびが発生する。近年広く普及しているデジタルスチルカメラやデジタルビデオカメラにおいては撮像素子の小型化に伴い、さらにこの問題が深刻である。
【０００４】
従来、上記のような細部情報の消失を低減するために、種々の技術が提案されている。特許文献１には、１つのＣＣＤ撮像素子からの画像データを用いて、補正が必要な領域の判別および適切な補正度合を算出し、局所的な画質改善を全自動で行うことを可能にしたカラー画像処理方法および処理装置が開示されている。また、特許文献２または３には、それぞれ複数枚または１枚のＣＣＤ撮像素子を用いて１回の撮像で露光状態の異なる複数の画像データを取得し、それらの画像データを合成することにより、ダイナミックレンジの広い画像を得ることを可能にしたデジタルスチルカメラが記載されている。さらに、印刷業界では、多重露光によって印刷物の品質を高める技術が以前から採用されている。
【０００５】
【特許文献１】
特開2002-140700号公報
【特許文献２】
特開平9-275527号公報
【特許文献３】
特開平11-317905号公報
【０００６】
【発明が解決しようとする課題】
特許文献１に記載されているような１つのＣＣＤ撮像素子からの画像データを用いて画質を改善する手法に関しては、撮像後に画質改善処理を加えるため、撮像時に黒く潰れきっている部分や飽和を起こしている部分の画質を改善することはできない。また、特許文献２および３に記載されているようなＣＣＤ撮像素子からの露光状態の異なる入力画像データを合成する手法に関しては、すべてのデータに関して、各濃度に対して一定の合成比率で複数の入力画像データを合成しているため、各部分において最適な合成が行えない場合がある。
【０００７】
本発明は、このような問題点を解決するためになされたもので、画像の潰れおよび白とびを抑制し、かつ各部分が最適な明度を有する画像を得ることの出来るカラー画像処理装置および処理方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明に係るカラー画像処理装置は、被写体を撮像して生成した露出オーバーの第１のカラー原色静止画像データから第１の明度画像データを生成する手段と、前記被写体と実質的に同一の被写体を撮像して生成した露出アンダーの第２のカラー原色静止画像データから第２の明度画像データを生成する手段と、前記第１の明度画像データを複数の領域にブロック単位で量子化して分割する手段と、前記第２の明度画像データを複数の領域にブロック単位で量子化して分割する手段と、前記第１の明度画像データの分割された領域毎に濃度ヒストグラムのエントロピー値を算出する手段と、前記第２の明度画像データの分割された領域毎に濃度ヒストグラムのエントロピー値を算出する手段と、前記第１の明度画像データと前記第２の明度画像データとを合成するための合成比率決定テーブルであって、明度が相対的に低い程前記第１の明度画像データの比率が相対的に高くなり、明度が相対的に高い程前記第２の明度画像データの比率が相対的に高くなり、かつ明度の最低値では前記第２の明度画像データの分割された領域毎の濃度ヒストグラムのエントロピー値で持ち上げ、明度の最高値では前記第１の明度画像データの分割された領域毎の濃度ヒストグラムのエントロピー値で持ち上げた合成比率決定テーブルを作成する手段と、前記合成比率決定テーブルを用いて前記第１の明度画像データと前記第２の明度画像データとを合成する手段とを具備することを特徴とする。このように構成したことにより、画像の視認性の指標となる前記領域毎の濃度ヒストグラムのエントロピー値を基に露出オーバーの画像データと露出アンダーの画像データとの合成比率を変えることで、画像内の部分部分に応じて露光状態の異なる２つの入力画像データの合成比率を最適な値に設定し、画像内のどの部分も犠牲にせず、最適な合成結果が得られる。
【０００９】
また、本発明に係るカラー画像処理装置は、被写体を撮像して生成した露出オーバーの第１のカラー原色動画像データから第１の明度画像データを生成する手段と、前記被写体と実質的に同一の被写体を撮像して生成した露出アンダーの第２のカラー原色動画像データから第２の明度画像データを生成する手段と、予め定められたフレーム毎の前記第１の明度画像データを複数の領域にブロック単位で量子化して分割する手段と、予め定められたフレーム毎の前記第２の明度画像データを複数の領域にブロック単位で量子化して分割する手段と、前記第１の明度画像データの分割された領域毎に濃度ヒストグラムのエントロピー値を算出する手段と、前記第２の明度画像データの分割された領域毎に濃度ヒストグラムのエントロピー値を算出する手段と、前記第１の明度画像データと前記第２の明度画像データとを合成するための合成比率決定テーブルであって、明度が相対的に低い程前記第１の明度画像データの比率が相対的に高くなり、明度が相対的に高い程前記第２の明度画像データの比率が相対的に高くなり、かつ明度の最低値では前記第２の明度画像データの分割された領域毎の濃度ヒストグラムのエントロピー値で持ち上げ、明度の最高値では前記第１の明度画像データの分割された領域毎の濃度ヒストグラムのエントロピー値で持ち上げた合成比率決定テーブルを作成する手段と、前記作成された合成比率決定テーブルを過去の合成比率決定テーブルと時間的に内挿する手段と、前記時間的に内挿された合成比率決定テーブルを用いて前記第１の明度画像データと前記第２の明度画像データとを合成する手段とを具備することを特徴とする。このように構成したことにより、画像の視認性の指標となる前記領域毎の濃度ヒストグラムのエントロピー値を基に露出オーバーの画像データと露出アンダーの画像データとの合成比率を変えることで、画像の部分部分に応じて露光状態の異なる２つの入力画像データの合成比率を最適な値に設定し、画像のどの部分も犠牲にせず、最適な合成結果が得られ、さらに過去の合成比率と内挿することで、動画像のフレーム間で合成比率が大きく変化することを抑制し、フリッカの発生を抑えることが出来る。
【００１０】
さらに、本発明のカラー画像処理装置は、前記合成比率決定テーブルにおける隣接するブロックの合成比率を内挿する手段を具備することを特徴とする。このように構成したことにより、局所的に明度が大きく異なる部分の発生を防止することが出来る。
【００１１】
そして、本発明のカラー画像処理装置は、予め定められたフレームの内、隣り合うフレームの前記合成比率決定テーブルにおける合成比率を内挿する手段を具備することを特徴とする。このように構成したことにより、動画像データの全てのフレームに対して領域分割およびエントロピー値算出を行わずに、全てのフレームの合成比率決定テーブルを作成することが出来る。
【００１２】
また、本発明のカラー画像処理装置は、領域の境界のブロックの合成比率決定テーブルにおける合成比率を内挿する手段を具備することを特徴とする。このように構成したことにより、領域の境界に近づくにつれて互いの合成比率を近づけ、ブロックノイズの発生を抑制することが出来る。
【００１３】
さらに、本発明のカラー画像処理装置は、前記第１のカラー原色静止画像データから第１の色画像データを生成する手段と、前記第２のカラー原色静止画像データから第２の色画像データを生成する手段と、前記合成比率決定テーブルを用いて前記第１の色画像データと前記第２の色画像データとを合成する手段とを具備することを特徴とする。このように構成したことにより、色画像データに対する専用の合成比率決定テーブルを作成する場合に比較して、カラー静止画像を処理対象とするカラー画像処理装置の構成を簡単にすることが出来る。
【００１４】
そして、本発明のカラー画像処理装置は、前記第１のカラー原色動画像データから第１の色画像データを生成する手段と、前記第２のカラー原色動画像データから第２の色画像データを生成する手段と、前記合成比率決定テーブルを用いて前記第１の色画像データと前記第２の色画像データとを合成する手段とを具備することを特徴とする。このように構成したことにより、色画像データに対する専用の合成比率決定テーブルを作成する場合に比較して、カラー動画像を処理対象とするカラー画像処理装置の構成を簡単にすることが出来る。
【００１５】
また、本発明のカラー画像処理装置は、前記第１のカラー原色静止画像データから第１の色画像データを生成する手段と、前記第２のカラー原色静止画像データから第２の色画像データを生成する手段と、前記合成比率決定テーブルの合成比率を前記第１の色画像データの彩度および前記第２の色画像データの彩度を考慮して変更した合成比率により、前記第１の色画像データと前記第２の色画像データとを合成する手段とを具備することを特徴とする。このように構成したことにより、露出アンダーの画像データと露出オーバーの画像データとが画像の視認性および色の鮮やかさを考慮した最適な比率で合成されたカラー静止画像を得ることが出来る。
【００１６】
さらに、本発明のカラー画像処理装置は、前記第１のカラー原色動画像データから第１の色画像データを生成する手段と、前記第２のカラー原色動画像データから第２の色画像データを生成する手段と、前記合成比率決定テーブルの合成比率を前記第１の色画像データの彩度および前記第２の色画像データの彩度を考慮して変更した合成比率により、前記第１の色画像データと前記第２の色画像データとを合成する手段とを具備することを特徴とする。このように構成したことにより、露出アンダーの画像データと露出オーバーの画像データとが画像の視認性および色の鮮やかさを考慮した最適な比率で合成されたカラー動画像を得ることが出来る。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
（第１の実施の形態）
図１は本発明の第１の実施の形態のカラー画像処理装置の構成を示すブロック図であり、図２はその装置における処理の流れの概要を示すフロー図である。本実施の形態のカラー画像処理装置はカラー静止画像を処理対象とする。
【００１８】
図１に示すように、本実施の形態のカラー画像処理装置は、第１の撮像手段11、第１の色形式変換手段12、第１の領域分割手段13、第１のエントロピー値算出手段14、第２の撮像手段15、第２の色形式変換手段16、第２の領域分割手段17、第２のエントロピー値算出手段18、合成比率決定テーブル作成手段19、合成比率空間的内挿手段２０、Ｙ合成手段21、Ｃｒ合成手段22、Ｃｂ合成手段23、および第３の色形式変換手段24を具備している。なお、このカラー画像処理装置において、第１の撮像手段11および第２の撮像手段15以外の部分はコンピュータのアプリケーションソフトとして構成しても良いし、ハードウェアとして構成しても良い。
【００１９】
第１の撮像手段11および第２の撮像手段15は、ＣＣＤなどの撮像素子を備えており、実質的に同一の被写体を同時に撮像することが出来るように、カラー画像処理装置の筐体（図示せず）に位置決めされ固定されている。また、第１の撮像手段11および第２の撮像手段15の光路の前方には、ハーフミラー（図示せず）が配置され、さらにその前方にはレンズが配置されている。そして、レンズを透過した被写体からの光線はハーフミラーで二分され、第１の撮像手段11および第２の撮像手段15に同時に入力される。第１の撮像手段11および第２の撮像手段15は、図２のステップＳ１に示されているように、ＲＧＢ静止画像データを取得する。ここで、第１の撮像手段11は露出オーバーの画像データを取得し、第２の撮像手段15は露出アンダーの画像データを取得する。
【００２０】
第１の色形式変換手段12は、第１の撮像手段11で取得されたＲＧＢ静止画像データ（Ｒ１，Ｇ１，Ｂ１）をＹＣｒＣｂ静止画像データ（Ｙ１，Ｃｒ１，Ｃｂ１）に変換する。すなわち、三原色（Ｒ，Ｇ，Ｂ）成分からなるカラー原色画像データを１つの明度画像データ成分（Ｙ）および二つの色画像データ成分（Ｃｒ，Ｃｂ）からなる明度および色成分画像データに変換する。同様に、第２の色形式変換手段16は第２の撮像手段15で取得されたＲＧＢ静止画像データ（Ｒ２，Ｇ２，Ｂ２）をＹＣｒＣｂ静止画像データ（Ｙ２，Ｃｒ２，Ｃｂ２）に変換する。ここで、第１の色形式変換手段12および第２の色形式変換手段16における変換アルゴリズムを下記式［１］〜［３］に示す。式［１］により、図２のステップＳ２に示されている明度画像データ作成が行われる。
Ｙ＝0.29900×Ｒ＋0.58700×Ｇ＋0.11400×Ｂ …式［１］
Ｃｂ＝−0.16874×Ｒ−0.33126×Ｇ＋0.50000×Ｂ …式［２］
Ｃｒ＝0.50000×Ｒ−0.41869×Ｇ−0.08131×Ｂ …式［３］
【００２１】
第１の領域分割手段13は、ステップＳ３に示されているように、入力された露出オーバーの明度画像データＹ１に対して領域分割と、分割された領域の境界の空間的量子化とを行う。まず、入力明度画像データＹ１のテクスチャを解析し、この解析結果に基づいて入力画像を複数の領域に分割する。本実施の形態では、下記の式［４］に示すＬＯＧ(Laplacian Of Gaussian)フィルタを入力画像デー タに演算するフィルタリング処理により領域を決定している。図３（ａ）に示す入力画像を領域分割した結果を図３（ｃ）に示す。なお、式［４］において、ｒ2＝ｘ2＋ｙ2である。ＬＯＧフィルタは画像処理の基本アルゴリズムとして周知である（例えば、土屋裕、深田陽司著「画像処理」、pp.68-74（特にpp.73-74）、1990-1-25、（株）コロナ社）から、ここでは詳細な説明は省略する。
【００２２】
【数１】
【００２３】
ここで、テクスチャ解析による領域分割の結果と、人間が同一の画像を見て手動で領域分割した結果とは異なることが多い。よって、上記テクスチャ解析による領域分割の結果をそのまま用いると、両者の結果の異なる部分が人間の目には不自然に感じられる。
【００２４】
そこで、本実施の形態では、画素単位で解析された上記領域分割の結果を、多少の解像度を下げ、量子化している。具体的には、入力画像を正方形ブロックに分割して、図３（ｃ）に示した領域分割の結果と重ね合わせ、領域の境界に該当する正方形ブロックについては、領域の占有率に応じていずれの領域に属するかを決定する。これにより、図３（ｃ）に示した領域分割の結果が同図（ｅ）に示すように量子化される。ここで、例えばアスペクト比が４：３、画素数が１６００×１２００ピクセルの静止画像の横を１６分割、縦を１２分割した場合、正方形ブロックのサイズは１００×１００ピクセルとなる。なお、後述する第２の実施の形態の場合、画素数が７２０×４８０ピクセルの動画像の横を１８分割、縦を１２分割した場合、正方形ブロックのサイズは４０×４０ピクセルとなる。なお、以下の説明では、この正方形ブロックを最小ブロックと呼ぶ。
【００２５】
第２の領域分割手段17は、第１の領域分割手段13と同様に、入力された露出アンダーの明度画像データＹ２に対して領域分割と、分割された領域の境界の空間的量子化とを行う。領域分割および空間的量子化の処理内容は第１の領域分割手段13と同様である。図３（ｂ）に示す入力画像を領域分割した結果を図３（ｄ）に示し、図３（ｄ）に示す領域分割の結果を量子化した結果を同図（ｆ）に示す。
【００２６】
第１の領域分割手段13で空間的に量子化された明度画像データは第１のエントロピー値作成手段14に入力される。第１のエントロピー値作成手段14は、第１の領域分割手段13で分割され量子化された領域毎に濃度ヒストグラムのエントロピー値を下記の式［５］により算出する（ステップＳ４）。同様に、第２の領域分割手段17で空間的に量子化された明度画像データは第２のエントロピー値作成手段18に入力される。第２のエントロピー値作成手段18は、第２の領域分割手段17で分割され量子化された領域毎に濃度ヒストグラムのエントロピー値を下記の式［５］により算出する。
【００２７】
【数２】
【００２８】
式［５］により算出される濃度ヒストグラムのエントロピー値は画像の視認性の良さを表す指標となる。この値は濃度ヒストグラムのばらつき具合を反映している。そして、視認性の良い領域は広範囲にわたって濃度値が存在し、エントロピー値は高くなる。逆に、視認性の悪い領域は狭い範囲に濃度値が集中し、エントロピー値は低くなる。
【００２９】
図３（ｅ）、（ｆ）に示した画像における各領域の濃度ヒストグラムのエントロピー値を正規化し、グレースケールで表したものを図４（ａ）、（ｂ）に示す。この図において、エントロピー値が高い程濃度が低くなっている。図３と図４とを比較すると、視認性の良さが濃度ヒストグラムのエントロピー値に反映されていることが確認出来る。
【００３０】
第１のエントロピー値作成手段14の出力および第２のエントロピー値作成手段18の出力は、合成比率決定テーブル作成手段19に入力される。合成比率決定テーブル作成手段19は、これら２つの入力を用いて合成比率決定テーブルを作成する（ステップＳ５）。合成比率決定テーブルとは、露出アンダーの明度画像データと露出オーバーの明度画像データの各濃度値において、２つの画像データをどのような比率で合成するかを示すテーブルである。ここで、２つの入力画像データの領域分割結果が異なるので、最小ブロックごとに合成比率決定テーブルを持つことになる。
【００３１】
合成比率決定テーブルの作成方法について説明する。まず、画像データの特徴として、露出アンダーの画像データは高輝度付近の表現力が高く、露出オーバーの画像データは低輝度付近の表現力が豊かである。そこで、最も簡単な合成比率決定テーブルとして図５（ａ）に示すものが考えられる。しかし、このままでは画像データ全体に一様な合成処理を加えるだけで、局所性がなく、従来の高画質化手法と大きな違いは見られない。また、全てのデータに対して、最適の合成比率を算出できていないので、合成結果もあまり良いものは得られない。
【００３２】
そこで、本実施の形態では、最小ブロック毎に露出アンダーの画像データのエントロピー値と露出オーバーの画像データのエントロピー値とを用い、各ブロック毎の合成比率決定テーブルを作成する。具体的には、低輝度域での露出アンダーの画像データの合成割合を増加させるために、明度値０の部分を矢印のように露出アンダーの画像データのエントロピー値分だけ持ち上げる。また、高輝度域での露出オーバーの画像データの合成割合を増やすために、明度値２５５の部分を露出オーバーの画像データのエントロピー値分だけ矢印のように持ち上げる （図では押し下げられているが、比率は持ち上げられている）。このように処理した合成比率決定テーブルの例を図５（ｂ）に示す。このような処理を加えることによって、低輝度域でも高輝度域でも適度に両方の画像データを合成出来るようになり、結果的に画像のコントラストを上げることが出来る。そして、この処理を各最小ブロック毎に行うため、部分部分での最適な合成比率決定テーブルを自動的に作成でき、局所性のある処理が行える。
【００３３】
合成比率決定テーブル作成手段19により最小ブロックの合成比率決定テーブルが算出されたが、このままでは、隣り合うテーブルが異なるために、ブロック間の境界部分で不連続性（ブロックノイズ）が生じてしまう。このブロックノイズを除去するために、合成比率空間的内挿手段20により、合成比率決定テーブルの空間的内挿を行う（ステップＳ６）。この空間的内挿は次の２段階の処理からなる。まず、注目ブロックの合成比率決定テーブルを近傍の４つのブロックの合成比率決定テーブルを用いて平均する。画像中の左からＫ番目、上からＬ番目のブロックにおける合成比率決定テーブルをh(K,L)とおき、４つの近傍ブロックの合成比率決定テーブルと平均した合成比率決定テーブルをh'(K,L)とおくと、平均 後の合成比率決定テーブルは次の式［６］で求めることが出来る。
【００３４】
【数３】
【００３５】
次に、h'(K,L)を算出した後、図６に示すように、注目画素の合成比率を、こ の画素が属するブロックＢ１および近傍の三つのブロックＢ２、Ｂ３、Ｂ４のそれぞれの合成比率決定テーブルの合成比率ｈ１、ｈ２、ｈ３、ｈ４を用い、下記の式［７］に基づいて、内挿後の合成比率ｆ（ｘ，ｙ）を算出する。この式［７］において、（ｘ，ｙ）は注目画素のｘ−ｙ直交座標における位置である。つまり、前記合成比率ｈ１、ｈ２、ｈ３、ｈ４を、四つのブロックＢ１、Ｂ２、Ｂ３、Ｂ４の中心から注目画素までの距離に応じて重み付けする。この内挿処理により、領域の境界に近づくにつれて互いの合成比率を近づけ、ブロックノイズの発生を抑制することが出来る。
【００３６】
【数４】
【００３７】
このようにして合成比率空間的内挿手段20で内挿された合成比率決定テーブルを用いて、露出オーバーおよび露出アンダーの入力画像データを合成する。この段階では、各ピクセルレベルで合成比率決定テーブルを持っていることになる。ここで、合成を行う前に、露出アンダーの画像データの明度値または露出オーバーの画像データの明度値のどちらを合成比率決定テーブルに使用するかが問題になる。露出アンダーの画像データの明度値を用いれば、低輝度の部分は良く見えるが、高輝度の部分はあまり良くない。逆に、露出オーバーの画像データの明度値を用いれば、逆の現象が起きてしまう。
【００３８】
そこで、まず、露出アンダーの画像データの明度値を用いて露出アンダーの画像データの合成割合を求める。次に、露出オーバーの画像データの明度値を用いて露出オーバーの画像データの合成割合を求める。その様子を図７に示す。図７において、下側の台形は露出アンダーの画像データの合成比率を示し、上側の台形は露出オーバーの画像データの合成比率を示す。その２つの合成比率を１００％に正規化し、２つの入力画像データの合成比率を決定する。そして、決定した合成比率を用いて２つの入力画像データを合成する。例えば図７において、合成しようとする画素の露出アンダーの画像データの明度値がｕ１、合成比率がｐ％であり、露出オーバーの画像データの明度値がｕ２、合成比率がｑ％であったとすると、このままではｐ＋ｑが１００％にならないので、露出アンダーの画像データの合成比率をｐ／（ｐ＋ｑ）×１００％とし、露出オーバーの画像データの合成比率をｑ／（ｐ＋ｑ）×１００％とする。この合成比率を用いて、Ｙ合成手段21、Ｃｒ合成手段22、およびＣｂ合成手段23において、それぞれの露出アンダーの画像データであるＹ１、Ｃｒ１、およびＣｂ１と、それぞれの露出オーバーの画像データであるＹ２、Ｃｒ２、およびＣｂ２とを合成し、明度画像データＹ３、コンポーネントカラー画像データＣｒ３およびＣｂ３を得る。このようにして、Ｙ合成手段21により、ステップＳ７の明度値合成が行われる。
【００３９】
Ｙ合成手段21、Ｃｒ合成手段22、およびＣｂ合成手段23の出力は、第３の色形式変換手段24に入力され、ＲＧＢ画像データ（Ｒ３，Ｇ３，Ｂ３）に戻される （ステップＳ８）。ここで、第２の色形式変換手段24における変換アルゴリズムを下記式［８］〜［１０］に示す。
Ｒ３＝1.00000×Ｙ３＋1.40200×Ｃｒ３ …式［８］
Ｇ３＝1.00000×Ｙ３−0.34414×Ｃｂ３−0.71414×Ｃｒ３ …式［９］
Ｂ３＝1.00000×Ｙ３＋1.77200×Ｃｂ３ …式［１０］
【００４０】
また、以上の説明では、第１の色形式変換手段12および第２の色形式変換手段16は、ＲＧＢ原色カラー画像データをＹ／Ｃｂ／Ｃｒに変換したが、他の変換アルゴリズム、例えば円筒座標系で規格化されたＨ（Hue:色相）／Ｓ（Saturation:彩度）／Ｉ（Intensity:明度）に変換しても良い。
【００４１】
さらに、以上の説明では、明度画像データＹから作成した合成比率決定テーブルを用いてＣｒ合成手段22およびＣｂ合成手段23の合成比率を決定する例を説明した。このように、明度画像データＹから作成した合成比率決定テーブルを色画像データであるＣrおよびＣｂについて共用することにより、ＣrおよびＣｂに対しても合成比率決定テーブルを作成する場合に比較して装置の構成を簡単にすることが出来るという利点がある。
【００４２】
しかし、明度画像データＹから作成した合成比率決定テーブルは画像の視認性を考慮して決定したものであるため、色画像データであるＣrおよびＣｂについては、色の鮮やかさを示す彩度も考慮して合成比率を決定したほうが良好な合成結果が得られる。以下、具体例を説明する。まず彩度Ｓａは下記の式［１１］より算出する。
【００４３】
【数５】
【００４４】
ある画素のＣrおよびＣｂの合成処理を行う場合、この画素のＹに対する合成比と彩度Ｓａとを用いて、ＣrおよびＣｂに対する露出アンダーの画像データと露出オーバーの画像データとの合成比を定める。Ｙに対する露出アンダーの画像データと露出オーバーの画像データとの合成比をＧu：Ｇoとすると、ＣrおよびＣｂに対する露出アンダーの画像データと露出オーバーの画像データとの合成比は、下記の式［１２］となる。
【００４５】
Ｇu×Ｓau：Ｇo×Ｓao …式［１２］
【００４６】
この式［１２］において、Ｓauは露出アンダーの画像データの彩度であり、Ｓaoは露出オーバーの画像データの彩度である。図７を参照しながら説明したように、Ｇu：Ｇoはｐ：ｑであるから、式［１２］は下記の式［１２］のように書き換えることが出来る。
【００４７】
ｐ×Ｓau：ｑ×Ｓao …式［１３］
【００４８】
この式［１３］から、ＣrおよびＣｂに対する合成比は、Ｙに対する合成比に彩度を乗算した値であることが分かる。このように処理することで、視認性および色の鮮やかさを考慮した合成が行われる。回路構成の一例は、図１において合成比率空間的内挿手段20からＣｒ合成手段22およびＣｂ合成手段23に入力されるデータであるＹに対する露出アンダーの画像データの合成比率にＳauを乗算し、露出オーバーの画像データの合成比率にＳaoを乗算するように構成することで実現出来る。なお、式［１２］または［１３］のアルゴリズムではなく、露出オーバーの画像データと露出アンダーの画像データの内、彩度の高い方のＣｂおよびＣｒを用いるように構成してもかまわない。また、▲１▼露出オーバーの画像データまたは露出アンダーの画像データのどちらかのＣｂおよびＣｒを用いる、▲２▼露出オーバーの画像データと露出アンダーの画像データのＣｂの平均値およびＣｒの平均値を用いる、などの変形を行ってもかまわない。
【００４９】
（第２の実施の形態）
図８は本発明の第２の実施の形態のカラー画像処理装置の構成を示すブロック図である。本実施の形態のカラー画像処理装置はカラー動画像を処理対象とする。この図において、図１と同一または対応する構成要素には図１で使用した名称を付した。
【００５０】
図８に示すように、本実施の形態のカラー画像処理装置は、第１の撮像手段31、第１の色形式変換手段32、第１の領域分割手段33、第１のエントロピー値算出手段34、第２の撮像手段35、第２の色形式変換手段36、第２の領域分割手段37、第２のエントロピー値算出手段38、合成比率決定テーブル作成手段39、合成比率ブレンド・時間的内挿手段40、合成比率空間的内挿手段41、Ｙ合成手段42、Ｃｒ合成手段43、Ｃｂ合成手段44、および第３の色形式変換手段45を具備している。
【００５１】
図８において、第１の撮像手段31および第２の撮像手段35は、ＣＣＤなどの撮像素子を備えており、実質的に同一の被写体を同時に撮像することが出来るように、カラー画像処理装置の筐体（図示せず）に位置決めされ固定されている。そして、図９のステップＳ11に示されているように、ＲＧＢ動画像データを取得する。ここで、第１の撮像手段31は露出オーバーの画像データを取得し、第２の撮像手段35は露出アンダーの画像データを取得する。さらに、第１の撮像手段31および第２の撮像手段35は、図９のステップＳ12に示されているように、取得した動画像データをフレーム単位の静止画データに分割して、それぞれ第１の色形式変換手段32および第２の色形式変換手段36へ出力する。
【００５２】
第１の色形式変換手段32は、第１の撮像手段31で取得されたＲＧＢ動画像データ（Ｒ５，Ｇ５，Ｂ５）をＹＣｒＣｂ動画像データ（Ｙ５，Ｃｒ５，Ｃｂ５）に変換する。同様に、第２の色形式変換手段36は第２の撮像手段35で取得されたＲＧＢ動画像データ（Ｒ６，Ｇ６，Ｂ６）をＹＣｒＣｂ動画像データ（Ｙ６，Ｃｒ６，Ｃｂ６）に変換する。第１の色形式変換手段32および第２の色形式変換手段36における変換アルゴリズムは式［１］〜［３］である。式［１］により、図９のステップＳ13に示されている明度画像データ作成が行われる。さらに、第１の色形式変換手段32は、複数フレーム毎の１フレームの明度画像データＹ５ｉを抽出して第１の領域分割手段33に出力する。以下、抽出されたフレームを代表フレームと呼ぶ。同様に、第２の色形式変換手段36は、代表フレームの明度画像データＹ６ｉを第２の領域分割手段37に出力する。
【００５３】
第１の領域分割手段33、第１のエントロピー値算出手段34、第２の領域分割手段37、第２のエントロピー値算出手段38、および合成比率決定テーブル作成手段39の各々における処理は、図９のステップＳ14〜Ｓ16に示されているものである。そして、これらの処理は、第１の実施の形態における対応する処理が静止画の明度画像データＹ１，Ｙ２を対象とするのに対し、第２の実施の形態は代表フレームの明度画像データＹ５ｉ，Ｙ６ｉを対象とするものである点以外は、基本的に同じであるため、説明を省略する。
【００５４】
合成比率決定テーブル作成手段39で作成される合成比率決定テーブルは、合成比率ブレンド・時間的内挿手段40に入力される。合成比率ブレンド・時間的内挿手段40は、入力される合成比率決定テーブルを過去の代表フレームの合成比率決定テーブルとブレンドし、さらに時間的内挿を行う（ステップＳ17）。
【００５５】
合成比率ブレンド・時間的内挿手段40は、まず合成比率決定テーブル作成手段39で作成された合成比率決定テーブルに対して、過去の代表フレームについて合成比率決定テーブル作成手段39で作成された合成比率決定テーブルを所定の割合でブレンドして、新たな合成比率決定テーブルを作成する。ここで、ｎ番目（ただし、ｎは２以上の整数）の代表フレームについて合成比率ブレンド・時間的内挿手段40に入力される合成比率決定テーブルをＨ(n)、ブレンドされた合成比率決定テーブルをＨ'(n)とすると、下記の式［１４］および［１５］の関係が成立する。
【００５６】
Ｈ'(n)＝p・Ｈ'(n-1)+(1-p)・Ｈ(n) …式［１４］
【００５７】
Ｈ'(1)＝Ｈ(1) …式［１５］
【００５８】
この式［１４］において、ｐ（０≦ｐ≦１）は、過去の濃度変換曲線の重み付け係数である。図１０は代表フレームを４フレーム毎にした場合を例示している。なお、図１０では便宜上、Ｈ'(n)を作成する処理のみ示したが、Ｈ'(n+1)についても同様に処理されることは言うまでもない。
【００５９】
Ｈ'(n)の導入により、代表フレーム間において合成比率決定テーブルが大きく変化することが抑制され、結果としてフリッカの発生を防ぐことが出来る。なお、ここでは、Ｈ'(n)を生成する際に、一つ前の代表フレームの合成比率決定テーブルＨ'(n-1)のみをブレンドしているが、さらに二つ前の代表フレームＨ'(n-2)や、それ以前の代表フレームをブレンドしても良い。
【００６０】
次に、合成比率ブレンド・時間的内挿手段40は、ブレンドされた合成比率決定テーブルをＨ'(n)を時間軸方向に内挿する。時間軸方向の内挿とは、代表フレームにおける合成比率決定テーブルを基に代表フレーム以外のフレームの合成比率決定テーブルを生成する処理である。ここで、代表フレーム間隔をｒ枚とし、ｎ番目の代表フレームからｘ枚（ｘ＜ｒ）後のフレームの合成比率決定テーブルをＨ'(n,x)とすると、Ｈ'(n,x)は下記の式［１６］で表される。
【００６１】
Ｈ'(n,x)＝｛(r-x)/r｝・Ｈ'(n)+(x/r)・Ｈ'(n+1) …式［１６］
【００６２】
つまり、隣り合う２つの代表フレームからのフレーム枚数に応じて、それら２つの代表フレームの合成比率決定テーブルの加重平均をとることで、それら２つの代表フレームの合成比率決定テーブルを内挿し、各フレームの合成比率決定テーブルを決定する。そして、このようにして得られたＨ'(n,x)をｎ番目の代表フレームと（ｎ＋１）番目の代表フレームの間のフレームに適用される合成比率決定テーブルとして採用する。図１１は代表フレームを４フレーム毎にした場合を例示している。
【００６３】
Ｈ'(n,x)を採用することにより、全てのフレームについて合成比率決定テーブルＨ'(n)を作成することなく、全てのフレームについてフリッカの発生を防ぐことが可能な画像合成を行うことが出来る。
【００６４】
合成比率ブレンド・時間的内挿手段40の出力は合成比率空間的内挿手段41に入力される。合成比率空間的内挿手段41は、第１の実施の形態における合成比率空間的内挿手段20と同様、ブロックノイズを除去するために、合成比率決定テーブルの空間的内挿を行う（ステップＳ18）。
【００６５】
このようにして合成比率空間的内挿手段41で内挿された合成比率決定テーブルを用いて、Ｙ合成手段42、Ｃｒ合成手段43、およびＣｂ合成手段44において露出オーバーおよび露出アンダーの入力画像データを合成し、合成出力Ｙ７、Ｃｒ７、およびＣｂ７を得る。これらの手段における合成処理は第１の実施の形態と同様であるから、説明を省略する。Ｃｒ合成手段43およびＣｂ合成手段44においては、合成比率空間的内挿手段41で内挿された合成比率決定テーブルを用いる代わりに、視認性および色の鮮やかさを考慮した合成を行うように構成しても良いことは言うまでもない。このようにして、Ｙ合成手段42により、ステップＳ19の明度値合成が行われる。
【００６６】
Ｙ合成手段42、Ｃｒ合成手段43、およびＣｂ合成手段44の合成出力Ｙ７、Ｃｒ７、およびＣｂ７は、第３の色形式変換手段45に入力され、ＲＧＢ画像データ （Ｒ７，Ｇ７，Ｂ７）に戻される（ステップＳ20）。第３の色形式変換手段45における変換アルゴリズムは式［８］〜［１０］である。第３の色形式変換手段45は、さらにＲＧＢ画像データ（Ｒ７，Ｇ７，Ｂ７）を動画像フレームに合成し、出力する（ステップＳ21）。
【００６７】
なお、以上の第１の実施の形態および第２の実施の形態の説明では、露出オーバーの画像データを第１の撮像手段11により取得し、露出アンダーの画像データを第２の撮像手段15により取得するものとしたが、第１の実施の形態および第２の実施の形態において露出オーバーの画像データおよび露出アンダーの画像データを共通の１つの撮像手段により取得するように変形することも可能である。このような変形例としては、全画素読み出しＣＣＤを用いる例と、高速シャッターを用いる例と、各画素毎にダイナミックレンジの異なる受光素子を配置したＣＣＤを用いる例等がある。以下、全画素読み出しＣＣＤを用いる例および高速シャッターを用いる例について簡単に説明する。
【００６８】
通常、動画像の場合、１／３０秒で１フレームの画像データを取得している。その場合、最初の１／６０秒で奇数フィールドを撮像し、残りの１／６０秒で偶数フィールドを撮像し、２つのフィールドを合わせて１フレームとしている。全画素読み出しＣＣＤでは、奇数フィールドの画像データおよび偶数フィールドの画像データを同時に取得することができる。そこで、露出オーバーの奇数フィールドおよび偶数フィールドの画像データを最初の１／６０秒で取得し、露出オーバーの奇数フィールドおよび偶数フィールドの画像データを残りの１／６０秒で取得することにより、１枚のＣＣＤで露出オーバーの画像データおよび露出アンダーの画像データを取得することができる。
【００６９】
高速シャッターを用いる場合、例えば１／３０秒間に４回シャッターを切るようにし、１／１２０秒毎に順次、露出アンダーの奇数フィールド、露出アンダーの偶数フィールド、露出オーバーの奇数フィールド、露出オーバーの偶数フィールドを撮像することにより、１枚のＣＣＤで露出オーバーの画像データおよび露出アンダーの画像データ取得することができる。
【００７０】
また、露出オーバーの画像データおよび露出アンダーの画像データを共通の１つの撮像手段により取得し、さらに色形式変換手段からエントロピー値算出手段までを各々１つずつ設け、露出オーバーの画像データおよび露出アンダーの画像データについて時分割処理を行うように構成しても良い。
【００７１】
【発明の効果】
以上詳細に説明したように、本発明のカラー画像処理装置および処理方法によれば、露出アンダーの画像データと露出オーバーの画像データの各々の部分部分の視認性を自動的に判断し、局所的に異なる合成比率を自動的に決定して２つの入力画像データを全自動で最適に合成することにより、画像の潰れおよび白とびを抑制し、かつ各部分が最適な明度を有するカラー静止画像およびカラー動画像を得ることが出来る。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態のカラー画像処理装置の構成を示すブロック図、
【図２】本発明の第１の実施の形態におけるカラー画像処理の流れの概要を示すフロー図、
【図３】本発明の第１の実施の形態における領域分割手段の動作を説明するための図、
【図４】本発明の第１の実施の形態におけるエントロピー算出手段の動作を説明するための図、
【図５】本発明の第１の実施の形態における合成比率決定テーブルを示す図、
【図６】本発明の第１の実施の形態における合成比率決定テーブルの空間的内挿を説明するための図、
【図７】本発明の第１の実施の形態における画像合成比率を説明するための図、
【図８】本発明の第２の実施の形態のカラー画像処理装置の構成を示すブロック図、
【図９】本発明の第２の実施の形態におけるカラー画像処理の流れの概要を示すフロー図、
【図１０】本発明の第２の実施の形態における合成比率決定テーブルのブレンドを説明するための図、
【図１１】本発明の第２の実施の形態における合成比率決定テーブルの時間的内挿を説明するための図である。
【符号の説明】
11、31 第１の撮像手段
12、32 第１の色形式変換手段
13、33 第１の領域分割手段
14、44 第１のエントロピー値算出手段
15、35 第２の撮像手段
16、36 第２の色形式変換手段
17、37 第２の領域分割手段
18、38 第２のエントロピー値算出手段
19、39 合成比率決定テーブル作成手段
20、41 合成比率空間的内挿手段
21、42 Ｙ合成手段
22、43 Ｃｒ合成手段
23、44 Ｃｂ合成手段
24、45 第３の色形式変換手段
40 合成比率ブレンド・時間的内挿手段
【発明の属する技術分野】
本発明は、カラー静止画像およびカラー動画像を高画質で撮像する装置に関し、特に、撮像素子のダイナミックレンジが狭いために発生する潰れおよび白とびの抑制が可能なカラー画像処理装置および処理方法に関するものである。
【０００２】
【従来の技術】
逆光下において、明るい景色をバックに記念撮影を行うと、人物が黒く潰れて撮影されてしまうことが多い。近年、デジタルスチルカメラやデジタルビデオカメラには逆光防止機能が備わっているが、それを用いて撮影すると、人物は鮮明に写すことが出来ても、バックの景色が飽和して白くとんで撮影されてしまう。
【０００３】
このように、明暗の混在する状況において、潰れや白とびを起こすことなく、撮影対象全体を鮮明に撮影することは困難であった。その原因は、撮像装置のダイナミックレンジの狭さにある。一般に実際の撮影対象に比べて、撮像装置のダイナミックレンジは狭いため、撮影対象の非常に明るい部分や暗い部分の微細な明度差は圧縮され、細部情報が失われる。そのため、潰れや白とびが発生する。近年広く普及しているデジタルスチルカメラやデジタルビデオカメラにおいては撮像素子の小型化に伴い、さらにこの問題が深刻である。
【０００４】
従来、上記のような細部情報の消失を低減するために、種々の技術が提案されている。特許文献１には、１つのＣＣＤ撮像素子からの画像データを用いて、補正が必要な領域の判別および適切な補正度合を算出し、局所的な画質改善を全自動で行うことを可能にしたカラー画像処理方法および処理装置が開示されている。また、特許文献２または３には、それぞれ複数枚または１枚のＣＣＤ撮像素子を用いて１回の撮像で露光状態の異なる複数の画像データを取得し、それらの画像データを合成することにより、ダイナミックレンジの広い画像を得ることを可能にしたデジタルスチルカメラが記載されている。さらに、印刷業界では、多重露光によって印刷物の品質を高める技術が以前から採用されている。
【０００５】
【特許文献１】
特開2002-140700号公報
【特許文献２】
特開平9-275527号公報
【特許文献３】
特開平11-317905号公報
【０００６】
【発明が解決しようとする課題】
特許文献１に記載されているような１つのＣＣＤ撮像素子からの画像データを用いて画質を改善する手法に関しては、撮像後に画質改善処理を加えるため、撮像時に黒く潰れきっている部分や飽和を起こしている部分の画質を改善することはできない。また、特許文献２および３に記載されているようなＣＣＤ撮像素子からの露光状態の異なる入力画像データを合成する手法に関しては、すべてのデータに関して、各濃度に対して一定の合成比率で複数の入力画像データを合成しているため、各部分において最適な合成が行えない場合がある。
【０００７】
本発明は、このような問題点を解決するためになされたもので、画像の潰れおよび白とびを抑制し、かつ各部分が最適な明度を有する画像を得ることの出来るカラー画像処理装置および処理方法を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明に係るカラー画像処理装置は、被写体を撮像して生成した露出オーバーの第１のカラー原色静止画像データから第１の明度画像データを生成する手段と、前記被写体と実質的に同一の被写体を撮像して生成した露出アンダーの第２のカラー原色静止画像データから第２の明度画像データを生成する手段と、前記第１の明度画像データを複数の領域にブロック単位で量子化して分割する手段と、前記第２の明度画像データを複数の領域にブロック単位で量子化して分割する手段と、前記第１の明度画像データの分割された領域毎に濃度ヒストグラムのエントロピー値を算出する手段と、前記第２の明度画像データの分割された領域毎に濃度ヒストグラムのエントロピー値を算出する手段と、前記第１の明度画像データと前記第２の明度画像データとを合成するための合成比率決定テーブルであって、明度が相対的に低い程前記第１の明度画像データの比率が相対的に高くなり、明度が相対的に高い程前記第２の明度画像データの比率が相対的に高くなり、かつ明度の最低値では前記第２の明度画像データの分割された領域毎の濃度ヒストグラムのエントロピー値で持ち上げ、明度の最高値では前記第１の明度画像データの分割された領域毎の濃度ヒストグラムのエントロピー値で持ち上げた合成比率決定テーブルを作成する手段と、前記合成比率決定テーブルを用いて前記第１の明度画像データと前記第２の明度画像データとを合成する手段とを具備することを特徴とする。このように構成したことにより、画像の視認性の指標となる前記領域毎の濃度ヒストグラムのエントロピー値を基に露出オーバーの画像データと露出アンダーの画像データとの合成比率を変えることで、画像内の部分部分に応じて露光状態の異なる２つの入力画像データの合成比率を最適な値に設定し、画像内のどの部分も犠牲にせず、最適な合成結果が得られる。
【０００９】
また、本発明に係るカラー画像処理装置は、被写体を撮像して生成した露出オーバーの第１のカラー原色動画像データから第１の明度画像データを生成する手段と、前記被写体と実質的に同一の被写体を撮像して生成した露出アンダーの第２のカラー原色動画像データから第２の明度画像データを生成する手段と、予め定められたフレーム毎の前記第１の明度画像データを複数の領域にブロック単位で量子化して分割する手段と、予め定められたフレーム毎の前記第２の明度画像データを複数の領域にブロック単位で量子化して分割する手段と、前記第１の明度画像データの分割された領域毎に濃度ヒストグラムのエントロピー値を算出する手段と、前記第２の明度画像データの分割された領域毎に濃度ヒストグラムのエントロピー値を算出する手段と、前記第１の明度画像データと前記第２の明度画像データとを合成するための合成比率決定テーブルであって、明度が相対的に低い程前記第１の明度画像データの比率が相対的に高くなり、明度が相対的に高い程前記第２の明度画像データの比率が相対的に高くなり、かつ明度の最低値では前記第２の明度画像データの分割された領域毎の濃度ヒストグラムのエントロピー値で持ち上げ、明度の最高値では前記第１の明度画像データの分割された領域毎の濃度ヒストグラムのエントロピー値で持ち上げた合成比率決定テーブルを作成する手段と、前記作成された合成比率決定テーブルを過去の合成比率決定テーブルと時間的に内挿する手段と、前記時間的に内挿された合成比率決定テーブルを用いて前記第１の明度画像データと前記第２の明度画像データとを合成する手段とを具備することを特徴とする。このように構成したことにより、画像の視認性の指標となる前記領域毎の濃度ヒストグラムのエントロピー値を基に露出オーバーの画像データと露出アンダーの画像データとの合成比率を変えることで、画像の部分部分に応じて露光状態の異なる２つの入力画像データの合成比率を最適な値に設定し、画像のどの部分も犠牲にせず、最適な合成結果が得られ、さらに過去の合成比率と内挿することで、動画像のフレーム間で合成比率が大きく変化することを抑制し、フリッカの発生を抑えることが出来る。
【００１０】
さらに、本発明のカラー画像処理装置は、前記合成比率決定テーブルにおける隣接するブロックの合成比率を内挿する手段を具備することを特徴とする。このように構成したことにより、局所的に明度が大きく異なる部分の発生を防止することが出来る。
【００１１】
そして、本発明のカラー画像処理装置は、予め定められたフレームの内、隣り合うフレームの前記合成比率決定テーブルにおける合成比率を内挿する手段を具備することを特徴とする。このように構成したことにより、動画像データの全てのフレームに対して領域分割およびエントロピー値算出を行わずに、全てのフレームの合成比率決定テーブルを作成することが出来る。
【００１２】
また、本発明のカラー画像処理装置は、領域の境界のブロックの合成比率決定テーブルにおける合成比率を内挿する手段を具備することを特徴とする。このように構成したことにより、領域の境界に近づくにつれて互いの合成比率を近づけ、ブロックノイズの発生を抑制することが出来る。
【００１３】
さらに、本発明のカラー画像処理装置は、前記第１のカラー原色静止画像データから第１の色画像データを生成する手段と、前記第２のカラー原色静止画像データから第２の色画像データを生成する手段と、前記合成比率決定テーブルを用いて前記第１の色画像データと前記第２の色画像データとを合成する手段とを具備することを特徴とする。このように構成したことにより、色画像データに対する専用の合成比率決定テーブルを作成する場合に比較して、カラー静止画像を処理対象とするカラー画像処理装置の構成を簡単にすることが出来る。
【００１４】
そして、本発明のカラー画像処理装置は、前記第１のカラー原色動画像データから第１の色画像データを生成する手段と、前記第２のカラー原色動画像データから第２の色画像データを生成する手段と、前記合成比率決定テーブルを用いて前記第１の色画像データと前記第２の色画像データとを合成する手段とを具備することを特徴とする。このように構成したことにより、色画像データに対する専用の合成比率決定テーブルを作成する場合に比較して、カラー動画像を処理対象とするカラー画像処理装置の構成を簡単にすることが出来る。
【００１５】
また、本発明のカラー画像処理装置は、前記第１のカラー原色静止画像データから第１の色画像データを生成する手段と、前記第２のカラー原色静止画像データから第２の色画像データを生成する手段と、前記合成比率決定テーブルの合成比率を前記第１の色画像データの彩度および前記第２の色画像データの彩度を考慮して変更した合成比率により、前記第１の色画像データと前記第２の色画像データとを合成する手段とを具備することを特徴とする。このように構成したことにより、露出アンダーの画像データと露出オーバーの画像データとが画像の視認性および色の鮮やかさを考慮した最適な比率で合成されたカラー静止画像を得ることが出来る。
【００１６】
さらに、本発明のカラー画像処理装置は、前記第１のカラー原色動画像データから第１の色画像データを生成する手段と、前記第２のカラー原色動画像データから第２の色画像データを生成する手段と、前記合成比率決定テーブルの合成比率を前記第１の色画像データの彩度および前記第２の色画像データの彩度を考慮して変更した合成比率により、前記第１の色画像データと前記第２の色画像データとを合成する手段とを具備することを特徴とする。このように構成したことにより、露出アンダーの画像データと露出オーバーの画像データとが画像の視認性および色の鮮やかさを考慮した最適な比率で合成されたカラー動画像を得ることが出来る。
【００１７】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。
（第１の実施の形態）
図１は本発明の第１の実施の形態のカラー画像処理装置の構成を示すブロック図であり、図２はその装置における処理の流れの概要を示すフロー図である。本実施の形態のカラー画像処理装置はカラー静止画像を処理対象とする。
【００１８】
図１に示すように、本実施の形態のカラー画像処理装置は、第１の撮像手段11、第１の色形式変換手段12、第１の領域分割手段13、第１のエントロピー値算出手段14、第２の撮像手段15、第２の色形式変換手段16、第２の領域分割手段17、第２のエントロピー値算出手段18、合成比率決定テーブル作成手段19、合成比率空間的内挿手段２０、Ｙ合成手段21、Ｃｒ合成手段22、Ｃｂ合成手段23、および第３の色形式変換手段24を具備している。なお、このカラー画像処理装置において、第１の撮像手段11および第２の撮像手段15以外の部分はコンピュータのアプリケーションソフトとして構成しても良いし、ハードウェアとして構成しても良い。
【００１９】
第１の撮像手段11および第２の撮像手段15は、ＣＣＤなどの撮像素子を備えており、実質的に同一の被写体を同時に撮像することが出来るように、カラー画像処理装置の筐体（図示せず）に位置決めされ固定されている。また、第１の撮像手段11および第２の撮像手段15の光路の前方には、ハーフミラー（図示せず）が配置され、さらにその前方にはレンズが配置されている。そして、レンズを透過した被写体からの光線はハーフミラーで二分され、第１の撮像手段11および第２の撮像手段15に同時に入力される。第１の撮像手段11および第２の撮像手段15は、図２のステップＳ１に示されているように、ＲＧＢ静止画像データを取得する。ここで、第１の撮像手段11は露出オーバーの画像データを取得し、第２の撮像手段15は露出アンダーの画像データを取得する。
【００２０】
第１の色形式変換手段12は、第１の撮像手段11で取得されたＲＧＢ静止画像データ（Ｒ１，Ｇ１，Ｂ１）をＹＣｒＣｂ静止画像データ（Ｙ１，Ｃｒ１，Ｃｂ１）に変換する。すなわち、三原色（Ｒ，Ｇ，Ｂ）成分からなるカラー原色画像データを１つの明度画像データ成分（Ｙ）および二つの色画像データ成分（Ｃｒ，Ｃｂ）からなる明度および色成分画像データに変換する。同様に、第２の色形式変換手段16は第２の撮像手段15で取得されたＲＧＢ静止画像データ（Ｒ２，Ｇ２，Ｂ２）をＹＣｒＣｂ静止画像データ（Ｙ２，Ｃｒ２，Ｃｂ２）に変換する。ここで、第１の色形式変換手段12および第２の色形式変換手段16における変換アルゴリズムを下記式［１］〜［３］に示す。式［１］により、図２のステップＳ２に示されている明度画像データ作成が行われる。
Ｙ＝0.29900×Ｒ＋0.58700×Ｇ＋0.11400×Ｂ …式［１］
Ｃｂ＝−0.16874×Ｒ−0.33126×Ｇ＋0.50000×Ｂ …式［２］
Ｃｒ＝0.50000×Ｒ−0.41869×Ｇ−0.08131×Ｂ …式［３］
【００２１】
第１の領域分割手段13は、ステップＳ３に示されているように、入力された露出オーバーの明度画像データＹ１に対して領域分割と、分割された領域の境界の空間的量子化とを行う。まず、入力明度画像データＹ１のテクスチャを解析し、この解析結果に基づいて入力画像を複数の領域に分割する。本実施の形態では、下記の式［４］に示すＬＯＧ(Laplacian Of Gaussian)フィルタを入力画像デー タに演算するフィルタリング処理により領域を決定している。図３（ａ）に示す入力画像を領域分割した結果を図３（ｃ）に示す。なお、式［４］において、ｒ2＝ｘ2＋ｙ2である。ＬＯＧフィルタは画像処理の基本アルゴリズムとして周知である（例えば、土屋裕、深田陽司著「画像処理」、pp.68-74（特にpp.73-74）、1990-1-25、（株）コロナ社）から、ここでは詳細な説明は省略する。
【００２２】
【数１】
ここで、テクスチャ解析による領域分割の結果と、人間が同一の画像を見て手動で領域分割した結果とは異なることが多い。よって、上記テクスチャ解析による領域分割の結果をそのまま用いると、両者の結果の異なる部分が人間の目には不自然に感じられる。
【００２４】
そこで、本実施の形態では、画素単位で解析された上記領域分割の結果を、多少の解像度を下げ、量子化している。具体的には、入力画像を正方形ブロックに分割して、図３（ｃ）に示した領域分割の結果と重ね合わせ、領域の境界に該当する正方形ブロックについては、領域の占有率に応じていずれの領域に属するかを決定する。これにより、図３（ｃ）に示した領域分割の結果が同図（ｅ）に示すように量子化される。ここで、例えばアスペクト比が４：３、画素数が１６００×１２００ピクセルの静止画像の横を１６分割、縦を１２分割した場合、正方形ブロックのサイズは１００×１００ピクセルとなる。なお、後述する第２の実施の形態の場合、画素数が７２０×４８０ピクセルの動画像の横を１８分割、縦を１２分割した場合、正方形ブロックのサイズは４０×４０ピクセルとなる。なお、以下の説明では、この正方形ブロックを最小ブロックと呼ぶ。
【００２５】
第２の領域分割手段17は、第１の領域分割手段13と同様に、入力された露出アンダーの明度画像データＹ２に対して領域分割と、分割された領域の境界の空間的量子化とを行う。領域分割および空間的量子化の処理内容は第１の領域分割手段13と同様である。図３（ｂ）に示す入力画像を領域分割した結果を図３（ｄ）に示し、図３（ｄ）に示す領域分割の結果を量子化した結果を同図（ｆ）に示す。
【００２６】
第１の領域分割手段13で空間的に量子化された明度画像データは第１のエントロピー値作成手段14に入力される。第１のエントロピー値作成手段14は、第１の領域分割手段13で分割され量子化された領域毎に濃度ヒストグラムのエントロピー値を下記の式［５］により算出する（ステップＳ４）。同様に、第２の領域分割手段17で空間的に量子化された明度画像データは第２のエントロピー値作成手段18に入力される。第２のエントロピー値作成手段18は、第２の領域分割手段17で分割され量子化された領域毎に濃度ヒストグラムのエントロピー値を下記の式［５］により算出する。
【００２７】
【数２】
式［５］により算出される濃度ヒストグラムのエントロピー値は画像の視認性の良さを表す指標となる。この値は濃度ヒストグラムのばらつき具合を反映している。そして、視認性の良い領域は広範囲にわたって濃度値が存在し、エントロピー値は高くなる。逆に、視認性の悪い領域は狭い範囲に濃度値が集中し、エントロピー値は低くなる。
【００２９】
図３（ｅ）、（ｆ）に示した画像における各領域の濃度ヒストグラムのエントロピー値を正規化し、グレースケールで表したものを図４（ａ）、（ｂ）に示す。この図において、エントロピー値が高い程濃度が低くなっている。図３と図４とを比較すると、視認性の良さが濃度ヒストグラムのエントロピー値に反映されていることが確認出来る。
【００３０】
第１のエントロピー値作成手段14の出力および第２のエントロピー値作成手段18の出力は、合成比率決定テーブル作成手段19に入力される。合成比率決定テーブル作成手段19は、これら２つの入力を用いて合成比率決定テーブルを作成する（ステップＳ５）。合成比率決定テーブルとは、露出アンダーの明度画像データと露出オーバーの明度画像データの各濃度値において、２つの画像データをどのような比率で合成するかを示すテーブルである。ここで、２つの入力画像データの領域分割結果が異なるので、最小ブロックごとに合成比率決定テーブルを持つことになる。
【００３１】
合成比率決定テーブルの作成方法について説明する。まず、画像データの特徴として、露出アンダーの画像データは高輝度付近の表現力が高く、露出オーバーの画像データは低輝度付近の表現力が豊かである。そこで、最も簡単な合成比率決定テーブルとして図５（ａ）に示すものが考えられる。しかし、このままでは画像データ全体に一様な合成処理を加えるだけで、局所性がなく、従来の高画質化手法と大きな違いは見られない。また、全てのデータに対して、最適の合成比率を算出できていないので、合成結果もあまり良いものは得られない。
【００３２】
そこで、本実施の形態では、最小ブロック毎に露出アンダーの画像データのエントロピー値と露出オーバーの画像データのエントロピー値とを用い、各ブロック毎の合成比率決定テーブルを作成する。具体的には、低輝度域での露出アンダーの画像データの合成割合を増加させるために、明度値０の部分を矢印のように露出アンダーの画像データのエントロピー値分だけ持ち上げる。また、高輝度域での露出オーバーの画像データの合成割合を増やすために、明度値２５５の部分を露出オーバーの画像データのエントロピー値分だけ矢印のように持ち上げる （図では押し下げられているが、比率は持ち上げられている）。このように処理した合成比率決定テーブルの例を図５（ｂ）に示す。このような処理を加えることによって、低輝度域でも高輝度域でも適度に両方の画像データを合成出来るようになり、結果的に画像のコントラストを上げることが出来る。そして、この処理を各最小ブロック毎に行うため、部分部分での最適な合成比率決定テーブルを自動的に作成でき、局所性のある処理が行える。
【００３３】
合成比率決定テーブル作成手段19により最小ブロックの合成比率決定テーブルが算出されたが、このままでは、隣り合うテーブルが異なるために、ブロック間の境界部分で不連続性（ブロックノイズ）が生じてしまう。このブロックノイズを除去するために、合成比率空間的内挿手段20により、合成比率決定テーブルの空間的内挿を行う（ステップＳ６）。この空間的内挿は次の２段階の処理からなる。まず、注目ブロックの合成比率決定テーブルを近傍の４つのブロックの合成比率決定テーブルを用いて平均する。画像中の左からＫ番目、上からＬ番目のブロックにおける合成比率決定テーブルをh(K,L)とおき、４つの近傍ブロックの合成比率決定テーブルと平均した合成比率決定テーブルをh'(K,L)とおくと、平均 後の合成比率決定テーブルは次の式［６］で求めることが出来る。
【００３４】
【数３】
次に、h'(K,L)を算出した後、図６に示すように、注目画素の合成比率を、こ の画素が属するブロックＢ１および近傍の三つのブロックＢ２、Ｂ３、Ｂ４のそれぞれの合成比率決定テーブルの合成比率ｈ１、ｈ２、ｈ３、ｈ４を用い、下記の式［７］に基づいて、内挿後の合成比率ｆ（ｘ，ｙ）を算出する。この式［７］において、（ｘ，ｙ）は注目画素のｘ−ｙ直交座標における位置である。つまり、前記合成比率ｈ１、ｈ２、ｈ３、ｈ４を、四つのブロックＢ１、Ｂ２、Ｂ３、Ｂ４の中心から注目画素までの距離に応じて重み付けする。この内挿処理により、領域の境界に近づくにつれて互いの合成比率を近づけ、ブロックノイズの発生を抑制することが出来る。
【００３６】
【数４】
このようにして合成比率空間的内挿手段20で内挿された合成比率決定テーブルを用いて、露出オーバーおよび露出アンダーの入力画像データを合成する。この段階では、各ピクセルレベルで合成比率決定テーブルを持っていることになる。ここで、合成を行う前に、露出アンダーの画像データの明度値または露出オーバーの画像データの明度値のどちらを合成比率決定テーブルに使用するかが問題になる。露出アンダーの画像データの明度値を用いれば、低輝度の部分は良く見えるが、高輝度の部分はあまり良くない。逆に、露出オーバーの画像データの明度値を用いれば、逆の現象が起きてしまう。
【００３８】
そこで、まず、露出アンダーの画像データの明度値を用いて露出アンダーの画像データの合成割合を求める。次に、露出オーバーの画像データの明度値を用いて露出オーバーの画像データの合成割合を求める。その様子を図７に示す。図７において、下側の台形は露出アンダーの画像データの合成比率を示し、上側の台形は露出オーバーの画像データの合成比率を示す。その２つの合成比率を１００％に正規化し、２つの入力画像データの合成比率を決定する。そして、決定した合成比率を用いて２つの入力画像データを合成する。例えば図７において、合成しようとする画素の露出アンダーの画像データの明度値がｕ１、合成比率がｐ％であり、露出オーバーの画像データの明度値がｕ２、合成比率がｑ％であったとすると、このままではｐ＋ｑが１００％にならないので、露出アンダーの画像データの合成比率をｐ／（ｐ＋ｑ）×１００％とし、露出オーバーの画像データの合成比率をｑ／（ｐ＋ｑ）×１００％とする。この合成比率を用いて、Ｙ合成手段21、Ｃｒ合成手段22、およびＣｂ合成手段23において、それぞれの露出アンダーの画像データであるＹ１、Ｃｒ１、およびＣｂ１と、それぞれの露出オーバーの画像データであるＹ２、Ｃｒ２、およびＣｂ２とを合成し、明度画像データＹ３、コンポーネントカラー画像データＣｒ３およびＣｂ３を得る。このようにして、Ｙ合成手段21により、ステップＳ７の明度値合成が行われる。
【００３９】
Ｙ合成手段21、Ｃｒ合成手段22、およびＣｂ合成手段23の出力は、第３の色形式変換手段24に入力され、ＲＧＢ画像データ（Ｒ３，Ｇ３，Ｂ３）に戻される （ステップＳ８）。ここで、第２の色形式変換手段24における変換アルゴリズムを下記式［８］〜［１０］に示す。
Ｒ３＝1.00000×Ｙ３＋1.40200×Ｃｒ３ …式［８］
Ｇ３＝1.00000×Ｙ３−0.34414×Ｃｂ３−0.71414×Ｃｒ３ …式［９］
Ｂ３＝1.00000×Ｙ３＋1.77200×Ｃｂ３ …式［１０］
【００４０】
また、以上の説明では、第１の色形式変換手段12および第２の色形式変換手段16は、ＲＧＢ原色カラー画像データをＹ／Ｃｂ／Ｃｒに変換したが、他の変換アルゴリズム、例えば円筒座標系で規格化されたＨ（Hue:色相）／Ｓ（Saturation:彩度）／Ｉ（Intensity:明度）に変換しても良い。
【００４１】
さらに、以上の説明では、明度画像データＹから作成した合成比率決定テーブルを用いてＣｒ合成手段22およびＣｂ合成手段23の合成比率を決定する例を説明した。このように、明度画像データＹから作成した合成比率決定テーブルを色画像データであるＣrおよびＣｂについて共用することにより、ＣrおよびＣｂに対しても合成比率決定テーブルを作成する場合に比較して装置の構成を簡単にすることが出来るという利点がある。
【００４２】
しかし、明度画像データＹから作成した合成比率決定テーブルは画像の視認性を考慮して決定したものであるため、色画像データであるＣrおよびＣｂについては、色の鮮やかさを示す彩度も考慮して合成比率を決定したほうが良好な合成結果が得られる。以下、具体例を説明する。まず彩度Ｓａは下記の式［１１］より算出する。
【００４３】
【数５】
ある画素のＣrおよびＣｂの合成処理を行う場合、この画素のＹに対する合成比と彩度Ｓａとを用いて、ＣrおよびＣｂに対する露出アンダーの画像データと露出オーバーの画像データとの合成比を定める。Ｙに対する露出アンダーの画像データと露出オーバーの画像データとの合成比をＧu：Ｇoとすると、ＣrおよびＣｂに対する露出アンダーの画像データと露出オーバーの画像データとの合成比は、下記の式［１２］となる。
【００４５】
Ｇu×Ｓau：Ｇo×Ｓao …式［１２］
【００４６】
この式［１２］において、Ｓauは露出アンダーの画像データの彩度であり、Ｓaoは露出オーバーの画像データの彩度である。図７を参照しながら説明したように、Ｇu：Ｇoはｐ：ｑであるから、式［１２］は下記の式［１２］のように書き換えることが出来る。
【００４７】
ｐ×Ｓau：ｑ×Ｓao …式［１３］
【００４８】
この式［１３］から、ＣrおよびＣｂに対する合成比は、Ｙに対する合成比に彩度を乗算した値であることが分かる。このように処理することで、視認性および色の鮮やかさを考慮した合成が行われる。回路構成の一例は、図１において合成比率空間的内挿手段20からＣｒ合成手段22およびＣｂ合成手段23に入力されるデータであるＹに対する露出アンダーの画像データの合成比率にＳauを乗算し、露出オーバーの画像データの合成比率にＳaoを乗算するように構成することで実現出来る。なお、式［１２］または［１３］のアルゴリズムではなく、露出オーバーの画像データと露出アンダーの画像データの内、彩度の高い方のＣｂおよびＣｒを用いるように構成してもかまわない。また、▲１▼露出オーバーの画像データまたは露出アンダーの画像データのどちらかのＣｂおよびＣｒを用いる、▲２▼露出オーバーの画像データと露出アンダーの画像データのＣｂの平均値およびＣｒの平均値を用いる、などの変形を行ってもかまわない。
【００４９】
（第２の実施の形態）
図８は本発明の第２の実施の形態のカラー画像処理装置の構成を示すブロック図である。本実施の形態のカラー画像処理装置はカラー動画像を処理対象とする。この図において、図１と同一または対応する構成要素には図１で使用した名称を付した。
【００５０】
図８に示すように、本実施の形態のカラー画像処理装置は、第１の撮像手段31、第１の色形式変換手段32、第１の領域分割手段33、第１のエントロピー値算出手段34、第２の撮像手段35、第２の色形式変換手段36、第２の領域分割手段37、第２のエントロピー値算出手段38、合成比率決定テーブル作成手段39、合成比率ブレンド・時間的内挿手段40、合成比率空間的内挿手段41、Ｙ合成手段42、Ｃｒ合成手段43、Ｃｂ合成手段44、および第３の色形式変換手段45を具備している。
【００５１】
図８において、第１の撮像手段31および第２の撮像手段35は、ＣＣＤなどの撮像素子を備えており、実質的に同一の被写体を同時に撮像することが出来るように、カラー画像処理装置の筐体（図示せず）に位置決めされ固定されている。そして、図９のステップＳ11に示されているように、ＲＧＢ動画像データを取得する。ここで、第１の撮像手段31は露出オーバーの画像データを取得し、第２の撮像手段35は露出アンダーの画像データを取得する。さらに、第１の撮像手段31および第２の撮像手段35は、図９のステップＳ12に示されているように、取得した動画像データをフレーム単位の静止画データに分割して、それぞれ第１の色形式変換手段32および第２の色形式変換手段36へ出力する。
【００５２】
第１の色形式変換手段32は、第１の撮像手段31で取得されたＲＧＢ動画像データ（Ｒ５，Ｇ５，Ｂ５）をＹＣｒＣｂ動画像データ（Ｙ５，Ｃｒ５，Ｃｂ５）に変換する。同様に、第２の色形式変換手段36は第２の撮像手段35で取得されたＲＧＢ動画像データ（Ｒ６，Ｇ６，Ｂ６）をＹＣｒＣｂ動画像データ（Ｙ６，Ｃｒ６，Ｃｂ６）に変換する。第１の色形式変換手段32および第２の色形式変換手段36における変換アルゴリズムは式［１］〜［３］である。式［１］により、図９のステップＳ13に示されている明度画像データ作成が行われる。さらに、第１の色形式変換手段32は、複数フレーム毎の１フレームの明度画像データＹ５ｉを抽出して第１の領域分割手段33に出力する。以下、抽出されたフレームを代表フレームと呼ぶ。同様に、第２の色形式変換手段36は、代表フレームの明度画像データＹ６ｉを第２の領域分割手段37に出力する。
【００５３】
第１の領域分割手段33、第１のエントロピー値算出手段34、第２の領域分割手段37、第２のエントロピー値算出手段38、および合成比率決定テーブル作成手段39の各々における処理は、図９のステップＳ14〜Ｓ16に示されているものである。そして、これらの処理は、第１の実施の形態における対応する処理が静止画の明度画像データＹ１，Ｙ２を対象とするのに対し、第２の実施の形態は代表フレームの明度画像データＹ５ｉ，Ｙ６ｉを対象とするものである点以外は、基本的に同じであるため、説明を省略する。
【００５４】
合成比率決定テーブル作成手段39で作成される合成比率決定テーブルは、合成比率ブレンド・時間的内挿手段40に入力される。合成比率ブレンド・時間的内挿手段40は、入力される合成比率決定テーブルを過去の代表フレームの合成比率決定テーブルとブレンドし、さらに時間的内挿を行う（ステップＳ17）。
【００５５】
合成比率ブレンド・時間的内挿手段40は、まず合成比率決定テーブル作成手段39で作成された合成比率決定テーブルに対して、過去の代表フレームについて合成比率決定テーブル作成手段39で作成された合成比率決定テーブルを所定の割合でブレンドして、新たな合成比率決定テーブルを作成する。ここで、ｎ番目（ただし、ｎは２以上の整数）の代表フレームについて合成比率ブレンド・時間的内挿手段40に入力される合成比率決定テーブルをＨ(n)、ブレンドされた合成比率決定テーブルをＨ'(n)とすると、下記の式［１４］および［１５］の関係が成立する。
【００５６】
Ｈ'(n)＝p・Ｈ'(n-1)+(1-p)・Ｈ(n) …式［１４］
【００５７】
Ｈ'(1)＝Ｈ(1) …式［１５］
【００５８】
この式［１４］において、ｐ（０≦ｐ≦１）は、過去の濃度変換曲線の重み付け係数である。図１０は代表フレームを４フレーム毎にした場合を例示している。なお、図１０では便宜上、Ｈ'(n)を作成する処理のみ示したが、Ｈ'(n+1)についても同様に処理されることは言うまでもない。
【００５９】
Ｈ'(n)の導入により、代表フレーム間において合成比率決定テーブルが大きく変化することが抑制され、結果としてフリッカの発生を防ぐことが出来る。なお、ここでは、Ｈ'(n)を生成する際に、一つ前の代表フレームの合成比率決定テーブルＨ'(n-1)のみをブレンドしているが、さらに二つ前の代表フレームＨ'(n-2)や、それ以前の代表フレームをブレンドしても良い。
【００６０】
次に、合成比率ブレンド・時間的内挿手段40は、ブレンドされた合成比率決定テーブルをＨ'(n)を時間軸方向に内挿する。時間軸方向の内挿とは、代表フレームにおける合成比率決定テーブルを基に代表フレーム以外のフレームの合成比率決定テーブルを生成する処理である。ここで、代表フレーム間隔をｒ枚とし、ｎ番目の代表フレームからｘ枚（ｘ＜ｒ）後のフレームの合成比率決定テーブルをＨ'(n,x)とすると、Ｈ'(n,x)は下記の式［１６］で表される。
【００６１】
Ｈ'(n,x)＝｛(r-x)/r｝・Ｈ'(n)+(x/r)・Ｈ'(n+1) …式［１６］
【００６２】
つまり、隣り合う２つの代表フレームからのフレーム枚数に応じて、それら２つの代表フレームの合成比率決定テーブルの加重平均をとることで、それら２つの代表フレームの合成比率決定テーブルを内挿し、各フレームの合成比率決定テーブルを決定する。そして、このようにして得られたＨ'(n,x)をｎ番目の代表フレームと（ｎ＋１）番目の代表フレームの間のフレームに適用される合成比率決定テーブルとして採用する。図１１は代表フレームを４フレーム毎にした場合を例示している。
【００６３】
Ｈ'(n,x)を採用することにより、全てのフレームについて合成比率決定テーブルＨ'(n)を作成することなく、全てのフレームについてフリッカの発生を防ぐことが可能な画像合成を行うことが出来る。
【００６４】
合成比率ブレンド・時間的内挿手段40の出力は合成比率空間的内挿手段41に入力される。合成比率空間的内挿手段41は、第１の実施の形態における合成比率空間的内挿手段20と同様、ブロックノイズを除去するために、合成比率決定テーブルの空間的内挿を行う（ステップＳ18）。
【００６５】
このようにして合成比率空間的内挿手段41で内挿された合成比率決定テーブルを用いて、Ｙ合成手段42、Ｃｒ合成手段43、およびＣｂ合成手段44において露出オーバーおよび露出アンダーの入力画像データを合成し、合成出力Ｙ７、Ｃｒ７、およびＣｂ７を得る。これらの手段における合成処理は第１の実施の形態と同様であるから、説明を省略する。Ｃｒ合成手段43およびＣｂ合成手段44においては、合成比率空間的内挿手段41で内挿された合成比率決定テーブルを用いる代わりに、視認性および色の鮮やかさを考慮した合成を行うように構成しても良いことは言うまでもない。このようにして、Ｙ合成手段42により、ステップＳ19の明度値合成が行われる。
【００６６】
Ｙ合成手段42、Ｃｒ合成手段43、およびＣｂ合成手段44の合成出力Ｙ７、Ｃｒ７、およびＣｂ７は、第３の色形式変換手段45に入力され、ＲＧＢ画像データ （Ｒ７，Ｇ７，Ｂ７）に戻される（ステップＳ20）。第３の色形式変換手段45における変換アルゴリズムは式［８］〜［１０］である。第３の色形式変換手段45は、さらにＲＧＢ画像データ（Ｒ７，Ｇ７，Ｂ７）を動画像フレームに合成し、出力する（ステップＳ21）。
【００６７】
なお、以上の第１の実施の形態および第２の実施の形態の説明では、露出オーバーの画像データを第１の撮像手段11により取得し、露出アンダーの画像データを第２の撮像手段15により取得するものとしたが、第１の実施の形態および第２の実施の形態において露出オーバーの画像データおよび露出アンダーの画像データを共通の１つの撮像手段により取得するように変形することも可能である。このような変形例としては、全画素読み出しＣＣＤを用いる例と、高速シャッターを用いる例と、各画素毎にダイナミックレンジの異なる受光素子を配置したＣＣＤを用いる例等がある。以下、全画素読み出しＣＣＤを用いる例および高速シャッターを用いる例について簡単に説明する。
【００６８】
通常、動画像の場合、１／３０秒で１フレームの画像データを取得している。その場合、最初の１／６０秒で奇数フィールドを撮像し、残りの１／６０秒で偶数フィールドを撮像し、２つのフィールドを合わせて１フレームとしている。全画素読み出しＣＣＤでは、奇数フィールドの画像データおよび偶数フィールドの画像データを同時に取得することができる。そこで、露出オーバーの奇数フィールドおよび偶数フィールドの画像データを最初の１／６０秒で取得し、露出オーバーの奇数フィールドおよび偶数フィールドの画像データを残りの１／６０秒で取得することにより、１枚のＣＣＤで露出オーバーの画像データおよび露出アンダーの画像データを取得することができる。
【００６９】
高速シャッターを用いる場合、例えば１／３０秒間に４回シャッターを切るようにし、１／１２０秒毎に順次、露出アンダーの奇数フィールド、露出アンダーの偶数フィールド、露出オーバーの奇数フィールド、露出オーバーの偶数フィールドを撮像することにより、１枚のＣＣＤで露出オーバーの画像データおよび露出アンダーの画像データ取得することができる。
【００７０】
また、露出オーバーの画像データおよび露出アンダーの画像データを共通の１つの撮像手段により取得し、さらに色形式変換手段からエントロピー値算出手段までを各々１つずつ設け、露出オーバーの画像データおよび露出アンダーの画像データについて時分割処理を行うように構成しても良い。
【００７１】
【発明の効果】
以上詳細に説明したように、本発明のカラー画像処理装置および処理方法によれば、露出アンダーの画像データと露出オーバーの画像データの各々の部分部分の視認性を自動的に判断し、局所的に異なる合成比率を自動的に決定して２つの入力画像データを全自動で最適に合成することにより、画像の潰れおよび白とびを抑制し、かつ各部分が最適な明度を有するカラー静止画像およびカラー動画像を得ることが出来る。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態のカラー画像処理装置の構成を示すブロック図、
【図２】本発明の第１の実施の形態におけるカラー画像処理の流れの概要を示すフロー図、
【図３】本発明の第１の実施の形態における領域分割手段の動作を説明するための図、
【図４】本発明の第１の実施の形態におけるエントロピー算出手段の動作を説明するための図、
【図５】本発明の第１の実施の形態における合成比率決定テーブルを示す図、
【図６】本発明の第１の実施の形態における合成比率決定テーブルの空間的内挿を説明するための図、
【図７】本発明の第１の実施の形態における画像合成比率を説明するための図、
【図８】本発明の第２の実施の形態のカラー画像処理装置の構成を示すブロック図、
【図９】本発明の第２の実施の形態におけるカラー画像処理の流れの概要を示すフロー図、
【図１０】本発明の第２の実施の形態における合成比率決定テーブルのブレンドを説明するための図、
【図１１】本発明の第２の実施の形態における合成比率決定テーブルの時間的内挿を説明するための図である。
【符号の説明】
11、31 第１の撮像手段
12、32 第１の色形式変換手段
13、33 第１の領域分割手段
14、44 第１のエントロピー値算出手段
15、35 第２の撮像手段
16、36 第２の色形式変換手段
17、37 第２の領域分割手段
18、38 第２のエントロピー値算出手段
19、39 合成比率決定テーブル作成手段
20、41 合成比率空間的内挿手段
21、42 Ｙ合成手段
22、43 Ｃｒ合成手段
23、44 Ｃｂ合成手段
24、45 第３の色形式変換手段
40 合成比率ブレンド・時間的内挿手段
Claims (11)
- 被写体を撮像して生成した露出オーバーの第１のカラー原色静止画像データから第１の明度画像データを生成する手段と、
前記被写体と実質的に同一の被写体を撮像して生成した露出アンダーの第２のカラー原色静止画像データから第２の明度画像データを生成する手段と、
前記第１の明度画像データを複数の領域にブロック単位で量子化して分割する手段と、
前記第２の明度画像データを複数の領域にブロック単位で量子化して分割する手段と、
前記第１の明度画像データの分割された領域毎に濃度ヒストグラムのエントロピー値を算出する手段と、
前記第２の明度画像データの分割された領域毎に濃度ヒストグラムのエントロピー値を算出する手段と、
前記第１の明度画像データと前記第２の明度画像データとを合成するための合成比率決定テーブルであって、明度が相対的に低い程前記第１の明度画像データの比率が相対的に高くなり、明度が相対的に高い程前記第２の明度画像データの比率が相対的に高くなり、かつ明度の最低値では前記第２の明度画像データの分割された領域毎の濃度ヒストグラムのエントロピー値で持ち上げ、明度の最高値では前記第１の明度画像データの分割された領域毎の濃度ヒストグラムのエントロピー値で持ち上げた合成比率決定テーブルを作成する手段と、
前記合成比率決定テーブルを用いて前記第１の明度画像データと前記第２の明度画像データとを合成する手段と
を具備することを特徴とするカラー画像処理装置。 - 被写体を撮像して生成した露出オーバーの第１のカラー原色動画像データから第１の明度画像データを生成する手段と、
前記被写体と実質的に同一の被写体を撮像して生成した露出アンダーの第２のカラー原色動画像データから第２の明度画像データを生成する手段と、
予め定められたフレーム毎の前記第１の明度画像データを複数の領域にブロック単位で量子化して分割する手段と、
予め定められたフレーム毎の前記第２の明度画像データを複数の領域にブロック単位で量子化して分割する手段と、
前記第１の明度画像データの分割された領域毎に濃度ヒストグラムのエントロピー値を算出する手段と、
前記第２の明度画像データの分割された領域毎に濃度ヒストグラムのエントロピー値を算出する手段と、
前記第１の明度画像データと前記第２の明度動画像データとを合成するための合成比率決定テーブルであって、明度が相対的に低い程前記第１の明度画像データの比率が相対的に高くなり、明度が相対的に高い程前記第２の明度画像データの比率が相対的に高くなり、かつ明度の最低値では前記第２の明度画像データの分割された領域毎の濃度ヒストグラムのエントロピー値で持ち上げ、明度の最高値では前記第１の明度画像データの分割された領域毎の濃度ヒストグラムのエントロピー値で持ち上げた合成比率決定テーブルを作成する手段と、
前記作成された合成比率決定テーブルを過去の合成比率決定テーブルと時間的に内挿する手段と、
前記時間的に内挿された合成比率決定テーブルを用いて前記第１の明度画像データと前記第２の明度画像データとを合成する手段と
を具備することを特徴とするカラ−画像処理装置。 - 前記合成比率決定テーブルにおける隣接するブロックの合成比率を内挿する手段を具備することを特徴とする請求項１または２記載のカラ−画像処理装置。
- 前記予め定められたフレームの内、隣り合うフレームの前記合成比率決定テーブルにおける合成比率を内挿する手段を具備することを特徴とする請求項２記載のカラ−画像処理装置。
- 前記領域の境界のブロックの前記合成比率決定テーブルにおける合成比率を内挿する手段を具備することを特徴とする請求項３記載のカラ−画像処理装置。
- 前記第１のカラー原色静止画像データから第１の色画像データを生成する手段と、
前記第２のカラー原色静止画像データから第２の色画像データを生成する手段と、
前記合成比率決定テーブルを用いて前記第１の色画像データと前記第２の色画像データとを合成する手段と
を具備することを特徴とする請求項１記載のカラ−画像処理装置。 - 前記第１のカラー原色動画像データから第１の色画像データを生成する手段と、
前記第２のカラー原色動画像データから第２の色画像データを生成する手段と、
前記合成比率決定テーブルを用いて前記第１の色画像データと前記第２の色画像データとを合成する手段と
を具備することを特徴とする請求項２記載のカラ−画像処理装置。 - 前記第１のカラー原色静止画像データから第１の色画像データを生成する手段と、
前記第２のカラー原色静止画像データから第２の色画像データを生成する手段と、
前記合成比率決定テーブルの合成比率を前記第１の色画像データの彩度および前記第２の色画像データの彩度を考慮して変更した合成比率により、前記第１の色画像データと前記第２の色画像データとを合成する手段と
を具備することを特徴とする請求項１記載のカラ−画像処理装置。 - 前記第１のカラー原色動画像データから第１の色画像データを生成する手段と、
前記第２のカラー原色動画像データから第２の色画像データを生成する手段と、
前記合成比率決定テーブルの合成比率を前記第１の色画像データの彩度および前記第２の色画像データの彩度を考慮して変更した合成比率により、前記第１の色画像データと前記第２の色画像データとを合成する手段と
を具備することを特徴とする請求項２記載のカラ−画像処理装置。 - 被写体を撮像して生成した露出オーバーの第１のカラー原色静止画像データから第１の明度画像データを生成するステップと、
前記被写体と実質的に同一の被写体を撮像して生成した露出アンダーの第２のカラー原色静止画像データから第２の明度画像データを生成するステップと、
前記第１の明度画像データを複数の領域にブロック単位で量子化して分割するステップと、
前記第２の明度画像データを複数の領域にブロック単位で量子化して分割するステップと、
前記第１の明度画像データの分割された領域毎に濃度ヒストグラムのエントロピー値を算出するステップと、
前記第２の明度画像データの分割された領域毎に濃度ヒストグラムのエントロピー値を算出するステップと、
前記第１の明度画像データと前記第２の明度画像データとを合成するための合成比率決定テーブルであって、明度が相対的に低い程前記第１の明度画像データの比率が相対的に高くなり、明度が相対的に高い程前記第２の明度画像データの比率が相対的に高くなり、かつ明度の最低値では前記第２の明度画像データの分割された領域毎の濃度ヒストグラムのエントロピー値で持ち上げ、明度の最高値では前記第１の明度画像データの分割された領域毎の濃度ヒストグラムのエントロピー値で持ち上げた合成比率決定テーブルを作成するステップと、
前記合成比率決定テーブルを用いて前記第１の明度画像データと前記第２の明度画像データとを合成するステップと
を具備することを特徴とするカラ−画像処理方法。 - 被写体を撮像して生成した露出オーバーの第１のカラー原色動画像データから第１の明度画像データを生成するステップと、
前記被写体と実質的に同一の被写体を撮像して生成した露出アンダーの第２のカラー原色動画像データから第２の明度画像データを生成するステップと、
予め定められたフレーム毎の前記第１の明度画像データを複数の領域にブロック単位で量子化して分割するステップと、
予め定められたフレーム毎の前記第２の明度画像データを複数の領域にブロック単位で量子化して分割するステップと、
前記第１の明度画像データの分割された領域毎に濃度ヒストグラムのエントロピー値を算出するステップと、
前記第２の明度画像データの分割された領域毎に濃度ヒストグラムのエントロピー値を算出するステップと、
前記第１の明度画像データと前記第２の明度画像データとを合成するための合成比率決定テーブルであって、明度が相対的に低い程前記第１の明度画像データの比率が相対的に高くなり、明度が相対的に高い程前記第２の明度画像データの比率が相対的に高くなり、かつ明度の最低値では前記第２の明度画像データの分割された領域毎の濃度ヒストグラムのエントロピー値で持ち上げ、明度の最高値では前記第１の明度画像データの分割された領域毎の濃度ヒストグラムのエントロピー値で持ち上げた合成比率決定テーブルを作成するステップと、
前記作成された合成比率決定テーブルを過去の合成比率決定テーブルと時間的に内挿するステップと、
前記時間的に内挿された合成比率決定テーブルを用いて前記第１の明度画像データと前記第２の明度画像データとを合成するステップと
を具備することを特徴とするカラ−画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003053772A JP3817635B2 (ja) | 2002-11-26 | 2003-02-28 | カラ−画像処理装置および処理方法 |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002342269 | 2002-11-26 | ||
| JP2003053772A JP3817635B2 (ja) | 2002-11-26 | 2003-02-28 | カラ−画像処理装置および処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004229259A JP2004229259A (ja) | 2004-08-12 |
| JP3817635B2 true JP3817635B2 (ja) | 2006-09-06 |
Family
ID=32910864
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003053772A Expired - Fee Related JP3817635B2 (ja) | 2002-11-26 | 2003-02-28 | カラ−画像処理装置および処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3817635B2 (ja) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5050141B2 (ja) * | 2004-12-01 | 2012-10-17 | 国立大学法人徳島大学 | カラー画像の露出評価方法 |
| JP4987355B2 (ja) | 2005-10-14 | 2012-07-25 | 京セラ株式会社 | 撮像装置および撮像方法 |
| WO2007077719A1 (ja) * | 2005-12-27 | 2007-07-12 | Kyocera Corporation | 撮像装置およびその画像処理方法 |
| JP5411786B2 (ja) * | 2010-04-08 | 2014-02-12 | 日本放送協会 | 撮影装置および画像統合プログラム |
| JP5136664B2 (ja) | 2010-07-09 | 2013-02-06 | カシオ計算機株式会社 | 画像処理装置、及びプログラム |
| JP5136665B2 (ja) | 2010-07-21 | 2013-02-06 | カシオ計算機株式会社 | 画像処理装置、及びプログラム |
| US9544505B2 (en) * | 2014-04-11 | 2017-01-10 | Hanwha Techwin Co., Ltd. | Image processing apparatus for synthesizing images based on a plurality of exposure time periods and image processing method thereof |
| JP2015204489A (ja) * | 2014-04-11 | 2015-11-16 | ハンファテクウィン株式会社Ｈａｎｗｈａ Ｔｅｃｈｗｉｎ Ｃｏ．，Ｌｔｄ． | 画像処理装置および画像処理方法 |
| CN106464815B (zh) | 2014-11-21 | 2020-01-14 | 深圳市大疆创新科技有限公司 | 高动态范围成像的快速自适应混合的***以及方法 |
| WO2022158010A1 (ja) * | 2021-01-22 | 2022-07-28 | 株式会社ロジック・アンド・デザイン | 画像処理方法 |
-
2003
- 2003-02-28 JP JP2003053772A patent/JP3817635B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004229259A (ja) | 2004-08-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9094648B2 (en) | Tone mapping for low-light video frame enhancement | |
| JP4163353B2 (ja) | 画像処理装置 | |
| US9307212B2 (en) | Tone mapping for low-light video frame enhancement | |
| KR101442153B1 (ko) | 저조도 영상 처리 방법 및 시스템 | |
| KR100745386B1 (ko) | 화상 신호 처리 장치, 화상 신호 처리 방법, 학습 장치,학습 방법 및 기록 매체 | |
| JP5574792B2 (ja) | 撮影装置 | |
| JP2005229198A (ja) | 画像処理装置および方法、並びに、プログラム | |
| JP2014143702A (ja) | ブロックベースの画像安定化 | |
| JP2011109638A (ja) | 画像処理装置、画像処理方法 | |
| JP5468930B2 (ja) | 画像処理装置及び画像処理プログラム | |
| JP2021114696A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
| WO2010118658A1 (zh) | 一种视频处理方法及装置 | |
| JP3817635B2 (ja) | カラ−画像処理装置および処理方法 | |
| JP5882702B2 (ja) | 撮像装置 | |
| JP2018182376A (ja) | 画像処理装置 | |
| JP4272443B2 (ja) | 画像処理装置および画像処理方法 | |
| JP2011171842A (ja) | 画像処理装置及び画像処理プログラム | |
| JP2004246644A (ja) | 画像処理装置、画像処理方法および画像処理プログラム | |
| Lukac | Single-sensor digital color imaging fundamentals | |
| KR102199472B1 (ko) | 화상 처리 장치 및 화상 처리 방법 | |
| JP2002288650A (ja) | 画像処理装置及びデジタルカメラ、画像処理方法、記録媒体 | |
| JP3731741B2 (ja) | カラー動画像処理方法および処理装置 | |
| JP2008219230A (ja) | 撮像装置及び画像処理方法 | |
| JP2009022044A (ja) | 画像処理装置及び画像処理プログラム | |
| JP2020149589A (ja) | 画像処理装置、撮像装置、画像処理方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051213 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20051213 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20060210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060512 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060523 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060524 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090623 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100623 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110623 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120623 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |