JP2009284269A - 画像処理装置、撮像装置、画像処理方法、およびプログラム - Google Patents

Abstract

【課題】画素ごとの信号レベルのバランスの崩れによる色相の変換を抑止することが可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供する。
【解決手段】撮影条件の異なる複数の画像を合成する合成部３０と、合成部３０による合成画像データのダイナミックレンジを圧縮する圧縮部４０と、を有し、圧縮部４０は、合成画像データのダイナミックレンジを圧縮するに際し、所定画素に対して周辺画素から輝度信号（Ｙ）を生成して、この輝度信号を非線形圧縮して輝度信号の圧縮率を求め、求めた圧縮率によって画像データを圧縮する。
【選択図】図１

Description

本発明は、撮影条件の異なる複数の画像を合成し圧縮する画像処理装置、撮像装置、画像処理方法、およびプログラムに関するものである。

逆光のシーンや明暗の輝度差が大きいシーンを撮影する際には、被写体の照度に露光時間を合わせた標準画像だけでは白潰れや黒潰れが生じる。

そこで、露光時間の異なる非標準画像を複数枚撮影し、標準画像で明るすぎる領域や暗すぎる領域を非標準画像に合成ゲインをかけた画像に置き換えることによってダイナミックレンジの拡大を行い、出力ビットに合わせて圧縮が行われる。

たとえば、ワイドダイナミックレンジ（ＷＤ）と呼ばれる処理では、複数回露光によってダイナミックレンジ（ＤＲ）の広い画像を取得して、複数画像の合成とダイナミックレンジ（ＤＲ）の圧縮が行われる。

複数枚の画像の撮影を行い、ダイナミックレンジを拡大した画像を合成する方法は種々提案されている（たとえば特許文献１，２，３参照）

特許文献１には、露光条件を変えた複数枚の撮影画像から撮影に使うイメージセンサのダイナミックレンジを拡大する写真フィルムプレーヤが提案されている。
この写真フィルムプレーヤにおいては、１組の撮像素子に対して露光量が異なるように複数回の露光を行い、その操作によって得た画像を合成し、広ダイナミックレンジ画像を得ている。

特許文献２には、所定の露光時間に対応する単位画像データ群を読み出して合成し、合成画像を生成する撮像装置が提案されている。

特許文献３には、異なる露光感度条件で複数枚の画像を撮影させ、撮像された複数枚の画像データを一時的にＤＲＡＭに格納し、複数枚の画像データの中から適正な明るさの一枚の画像データを選択するカメラ装置が提案されている。

非特許文献１には、露光時間が長くて暗部まで諧調があるが画像のブレが大きい画像と、露光時間が短く画像のブレが少ないが露光不足で暗部がつぶれた画像を組み合わせて最適な画像を合成する技術が提案されている。
特開平１−３１９３７０号公報 特開２００７−２８１５４８号公報 特開平１０−１５０６２０号公報

ところで、撮像素子（センサ）の出力の生（ＲＡＷ）画像データをダイナミックレンジ圧縮する時、階調再現性を良くするため非線形変換を行う。

通常、センサには画素ごとに異なるカラーフィルタが付けられているため、出力されるＲＡＷデータは同じ色を撮影していても画素ごとにことなる信号レベルになっている。
このとき、ＲＡＷ画像データの値そのままを画素単位で非線形変換を行うと画素ごとに信号レベルが異なるので当然圧縮率もまちまちになる。
その結果、画素ごとの信号レベルのバランスが崩れて、結果として色相が変わるという不利益があった。

本発明は、画素ごとの信号レベルのバランスの崩れによる色相の変換を抑止することが可能な画像処理装置、撮像装置、画像処理方法、およびプログラムを提供することにある。

本発明の第１の観点の画像処理装置は、撮影条件の異なる複数の画像を合成する合成部と、上記合成部による合成画像データのダイナミックレンジを圧縮する圧縮部と、を有し、上記圧縮部は、上記合成画像データのダイナミックレンジを圧縮するに際し、所定画素に対して周辺画素から輝度信号（Ｙ）を生成して、当該輝度信号を非線形圧縮して輝度信号の圧縮率を求め、当該圧縮率によって画像データを圧縮する。

好適には、上記圧縮部は、輝度信号を、圧縮対象の画素と空間位相をあわせて生成する。

好適には、上記圧縮部は、上記合成画像データに対応するＹ画像を生成するＹ生成部と、上記Ｙ生成部によるＹ画像を圧縮するＹ圧縮部と、上記Ｙ生成部によるＹ画像と上記Ｙ圧縮部による圧縮Ｙ画像を基に画素ごとの圧縮率を算出する圧縮率算出部と、上記圧縮率算出部で算出された圧縮率で上記合成部による合成画像データを圧縮する画像データ圧縮部と、を含む。

上記圧縮部は、上記合成画像データに対応するＹ画像を生成するＹ生成部と、上記Ｙ生成部によるＹ画像を基に画素ごとの圧縮率を算出する圧縮率算出部と、上記圧縮率算出部で算出された圧縮率で上記合成部による合成画像データを圧縮する画像データ圧縮部と、を含む。

好適には、上記圧縮部は、上記合成画像データに対応する代表像を生成する代表画像生成部と、上記代表画像生成部による代表画像を圧縮する代表画像圧縮部と、上記代表画像生成部による代表画像と上記代表画像圧縮部による圧縮代表画像を基に画素ごとの圧縮率を算出する圧縮率算出部と、上記圧縮率算出部で算出された圧縮率で上記合成部による合成画像データを圧縮する画像データ圧縮部と、を含む。

好適には、上記圧縮部は、上記合成画像データに対応する代表像を生成する代表画像生成部と、上記代表画像生成部による代表画像を基に画素ごとの圧縮率を算出する圧縮率算出部と、上記圧縮率算出部で算出された圧縮率で上記合成部による合成画像データを圧縮する画像データ圧縮部と、を含む。

好適には、上記Ｙ生成部または上記代表画像生成部は、上記合成画像データの画素ごとに空間位相のあったＹ画像または代表画像を生成する。

本発明の第２の観点に係る撮像装置は、露光時間の異なる複数の画像を連続して撮影する撮像部と、上記撮像部で撮影された複数の画像を合成する画像合成部と、上記合成部による合成画像データのダイナミックレンジを圧縮する圧縮部と、を有し、上記圧縮部は、上記合成画像データのダイナミックレンジを圧縮するに際し、所定画素に対して周辺画素から輝度信号（Ｙ）を生成して、当該輝度信号を非線形圧縮して輝度信号の圧縮率を求め、当該圧縮率によって画像データを圧縮する。

本発明の第３の観点の画像処理方法は、撮影条件の異なる複数の画像を合成する第１ステップと、上記合成画像データのダイナミックレンジを圧縮するに際し、所定画素に対して周辺画素から輝度信号（Ｙ）を生成する第２ステップと、上記当該輝度信号を非線形圧縮して輝度信号の圧縮率を求める第３ステップと、上記圧縮率によって画像データを圧縮し、上記合成画像データのダイナミックレンジを圧縮する第４ステップとを有する。

本発明の第４の観点は、撮影条件の異なる複数の画像を合成する第１処理と、上記合成画像データのダイナミックレンジを圧縮するに際し、所定画素に対して周辺画素から輝度信号（Ｙ）を生成する第２処理と、上記当該輝度信号を非線形圧縮して輝度信号の圧縮率を求める第３処理と、上記圧縮率によって画像データを圧縮し、上記合成画像データのダイナミックレンジを圧縮する第４処理とを含む画像処理をコンピュータに実行させるプログラムである。

本発明によれば、圧縮部において、合成画像データのダイナミックレンジを圧縮するに際し、所定画素に対して周辺画素から輝度信号（Ｙ）が生成される。
圧縮部においては、生成された輝度信号が非線形圧縮され輝度信号の圧縮率が求められる。そして、圧縮部において、求められた圧縮率によって画像データが圧縮される。

本発明によれば、画素ごとの信号レベルのバランスの崩れによる色相の変換を抑止することができる。

以下、本発明の実施形態を図面に関連付けて説明する。

図１は、本発明の実施形態に係る画像処理装置を適用した撮像装置の構成例を示す図である。

本実施形態に係る撮像装置１０では、露光時間の異なる複数の画像信号を合成し、ＲＡＷデータのダイナミックレンジを圧縮する時に、ある画素（Ｐ)に対して周辺画素とから輝度信号（Ｙ）を生成して、その輝度信号を非線形圧縮して、輝度信号の圧縮率を求め、その圧縮率によってＲＡＷデータを圧縮する機能を有する。
また、撮像装置１０は、輝度信号は圧縮対象の画素と空間位相をあわせて生成することでエッジ部の偽色発生をなくす機能を含む。

本撮像装置１０は、撮像部（センサ部）２０、合成部３０、圧縮部４０、およびＹＣ処理部５０を有している。

撮像部２０は、光学系、ＣＣＤやＣＭＯＳセンサにより形成される撮像素子、アナログ・デジタル（Ａ／Ｄ）変換器等を含んで構成される。
撮像部２０は、一回の撮影動作時に露光時間（量）の異なる複数枚の画像を撮影するように撮像素子を制御するように構成されている。
たとえば、撮像部２０は、適正露光で撮影された白潰れのある標準画像信号と、短時間で撮影された黒潰れのある非標準画像信号の２枚の画像信号を撮影する。
撮影された画像信号はそれぞれＡ／Ｄ変換器にてデジタル信号に変換され、合成部３０に出力される。
撮像部２０は、長時間露光のＲＡＷ画像データＩＭＬおよび短時間露光のＲＡＷ画像データＩＭＳを合成部３０に交互に出力する。

合成部３０は、撮像部２０から出力された露光時間の異なる複数枚のＲＡＷ画像データＩＭＬ，ＩＭＳを１枚のＲＡＷ画像データＬＳに合成する。
合成部３０は、ＲＡＷ画像データＩＭＬで白とびしている領域をピクセル単位でＲＡＷ画像データＩＭＳを元に置き換える。置き換えは、ＲＡＷ画像データＩＭＳに合成ゲインをかけたデータで行う。ここでゲインとはＲＡＷ画像データＩＭＬとＲＡＷ画像データＩＭＳとの露光時間の比率とする。

図２は、合成部の処理を説明するための図である。
合成部３０は、ピクセル単位にＲＡＷ画像データを合成する。
合成方法は、長時間露光のＲＡＷ画像データＩＭＬが閾値ＴＨより小さい場合には、ＲＡＷ画像データＩＭＬを合成画像データＬＳとして出力する。
ＲＡＷ画像データＩＭＬが閾値ＴＨを含む閾値ＴＨ以上の場合には、短時間露光のＲＡＷ画像データＩＭＳに合成ゲインを乗算した画像を合成画像データＬＳとして出力する。
合成部３０は、合成ＲＡＷ画像データＬＳを圧縮部４０に出力する。

圧縮部４０は、合成部３０から出力された合成ＲＡＷ画像データＬＳのダイナミックレンジ（ＤＲ）を圧縮する。
圧縮部４０は、合成部３０の合成で拡大されたダイナミックレンジ（ＤＲ）をＹＣ処理部５０で処理可能なダイナミックレンジ（ＤＲ）まで圧縮する。
圧縮部４０は、ＲＡＷデータのダイナミックレンジを圧縮するときに、ある画素（Ｐ)に対して周辺画素とから輝度信号Ｙを生成して、その輝度信号を非線形圧縮して、輝度信号の圧縮率を求め、その圧縮率によってＲＡＷデータを圧縮する。
圧縮部４０は、圧縮した圧縮ＲＡＷ画像データＬＳｃｏｍｐをＹＣ処理部５０に出力する。

図３は、本実施形態に係る圧縮部の構成例を示すブロック図である。

図３の圧縮部４０は、Ｙ生成部４１、Ｙ圧縮部４２、圧縮率算出部４３、およびＲＡＷ画像データ圧縮部４４を有する。

Ｙ生成部４１は、合成部３０から出力された合成ＲＡＷ画像データＬＳに対応するＹ画像ＹＩＭを生成する。
Ｙ圧縮部４２は、Ｙ生成部４１から出力されたＹ画像ＹＩＭを圧縮して圧縮Ｙ画像Ｙｃｏｍｐを生成する。
圧縮率算出部４３は、Ｙ生成部４１によるＹ画像ＹＩＭとＹ圧縮部４２による圧縮Ｙ画像Ｙｃｏｍｐとからピクセル毎の圧縮率ｃｏｍｐを算出する。
ＲＡＷ画像データ圧縮部４４は、圧縮率算出部４３で算出された圧縮率ｃｏｍｐを基にして合成部３０で合成された合成ＲＡＷ画像データＬＳを圧縮して圧縮ＲＡＷ画像データＬＳｃｏｍｐを生成する。

圧縮部４０の処理については、後でさらに詳述する。

ＹＣ処理部５０は、圧縮部４０から出力された圧縮ＲＡＷ画像データＬＳｃｏｍｐから輝度信号、クロマ信号を生成、映像信号として出力する。
ＹＣ処理部５０で生成された輝度信号Ｙ、クロマ信号Ｃを基に図示しない表示部に映像として表示される。

次に、図１〜図３の構成を有する撮像装置の動作を説明する。

撮像部２０のダイナミックレンジ(ＤＲ)よりもダイナミックレンジの広い被写体を撮影するために、撮像部２０では露光時間の異なる複数枚の画像ＩＭＬ，ＩＭＳを撮影して合成部３０に出力する。
ここでは２枚撮影する場合の説明をする。
撮像部２０からは、露光時間の異なる２枚の画像をそれぞれ長時間露光のＲＡＷ画像データＩＭＬ、短時間露光のＲＡＷ画像データＩＭＳが交互に出力される。

撮像部２０から出力されたＲＡＷ画像データＬＩＭとＲＡＷ画像データＩＭＳは合成部３０に入力される。
合成部３０では、ＲＡＷ画像データＩＭＬで白とびしている領域を画素（ピクセル）単位でＲＡＷ画像データＩＭＳを基に置き換える。
置き換えはＲＡＷ画像データＩＭＳにゲインをかけたデータで行う。ここでゲインとは、前述したように、ＲＡＷ画像データＩＭＬとＲＡＷ画像データＩＭＳとの露光時間の比率とする。

つまり、ＲＡＷ画像データＩＭＳにゲインをかけることでＲＡＷ画像データＩＭＬの露光時間で撮影するはずだったが実際には白とびしてしまった領域の画像を求めている。
白とびしているかどうかの判断は、ＲＡＷ画像データＩＭＬの信号レベルが閾値ＴＨよりも大きいか小さいかで判断する。
合成部３０は、閾値ＴＨよりも大きい時に白とびしていると判断する。このようにして合成部３０でＲＡＷ画像データＬＳが生成され、圧縮部４０に出力される。

合成部３０から出力された合成ＲＡＷ画像データＬＳは圧縮部４０に入力される。
圧縮部４０では、合成処理で拡大されたダイナミックレンジ（ＤＲ）をＹＣ処理部５０で処理可能なダイナミックレンジ（ＤＲ）まで圧縮する。

圧縮部４０ではまず、Ｙ生成部４１に合成ＲＡＷ画像データＬＳが入力されてＹ画像ＹＩＭが生成される。
Ｙ生成部４１においては、このＹ画像ＹＩＭを生成するときに合成ＲＡＷ画像データＬＳのピクセル毎に空間位相の合ったＹ画像ＹＩＭを生成する。

ここでは撮像部２０から出力されるＲＡＷ画像データＩＭＬ，ＩＭＳを補色のインターレス画像として説明する。
補色インターレスで出力されるＲＡＷ画像データＩＭＬ，ＩＭＳでは、各ピクセルは信号ｓ１もしくは信号ｓ２を出力する。信号ｓ１、ｓ２は、加算すると輝度信号Ｙになり差分をとるとクロマ信号Ｃになる信号である。
Ｙ生成部４１において合成ＲＡＷ画像データＬＳの空間位相に合ったＹ画像ＹＩＭを生成するには、たとえば図４に示すような、{1,2,1}のローパスフィルタ（ＬＰＦ）を用いる。

Ｙ画像ＹＩＭの生成の対象となる合成ＲＡＷ画像データＬＳのピクセルをＰ_n、隣接ピクセルをそれぞれＰ_n-1、Ｐ_n+1、生成される輝度信号をＹ_nとすると、輝度信号Ｙ_nは以下の式で求められる。

［数１］
Ｙ_n＝（Ｐ_n-1＋２×Ｐ_n＋Ｐ_n+1）／４

なお、フィルタは、空間位相の合ったＹ画像ＹＩＭが生成されるのであればどのようなフィルタでもかまわない。
また、撮像部２０から出力されるＲＡＷ画像データＩＭＬ，ＩＭＳはカラー配列、インターレス・プログレッシブの種別を問わない。それぞれに応じたＹ画像の生成を行えばよい。

Ｙ生成部４１から出力されたＹ画像ＹＩＭはＹ圧縮部４２に入力される。
Ｙ圧縮部４２では、低輝度部が必要以上に圧縮されないように一般的に非線形変換で圧縮される。
たとえば、図５に示すように、スプライン補間によって生成されるスプラインカーブＳＣに基づいた変換が行われる。
このようにして、Ｙ圧縮部４２では、ピクセル毎に圧縮された圧縮Ｙ画像Ｙｃｏｍｐが生成されて出力される。

Ｙ圧縮部４２から出力された圧縮Ｙ画像データＹｃｏｍｐは圧縮率算出部４３に入力される。
圧縮率算出部４３では、Ｙ生成部４１で生成されたＹ画像ＹＩＭと圧縮Ｙ画像Ｙｃｏｍｐとから圧縮率ｃｏｍｐが以下の式によって求められる。圧縮率ｃｏｍｐはピクセル毎に算出される。

［数２］
ｃｏｍｐ_n＝Ｙｃｏｍｐ_n／Ｙ_n

ＲＡＷ画像データ圧縮部４４では、合成部３０で生成された合成ＲＡＷ画像データＬＳと圧縮率算出部４３で生成された圧縮率ｃｏｍｐとを基にして合成ＲＡＷ画像データＬＳが圧縮される。
圧縮はピクセル毎に以下の式によって行われる。圧縮された圧縮ＲＡＷ画像データは圧縮ＲＡＷ画像データＬＳｃｏｍｐとして出力される。

［数３］
ＲＡＷ ＬＳｃｏｍｐ_n＝ＲＡＷ ＬＳ_n×ｃｏｍｐ_n

圧縮ＲＡＷ画像データＬＳｃｏｍｐは圧縮部４０の出力として、その後ＹＣ処理部５０に入力される。
ＹＣ処理部５０では、圧縮ＲＡＷ画像データＬＳｃｏｍｐから輝度信号Ｙ、クロマ信号Ｃの生成を行う。
どのように輝度信号、クロマ信号を生成するかは問わないが、たとえば、補色のインターレス画像の場合であれば、輝度信号はｓ１、ｓ２信号の加算によって求められ、クロマ信号はｓ１、ｓ２の差分によって求められる。
ＹＣ処理部５０で求められた輝度信号Ｙ、クロマ信号Ｃが映像信号Ｓ５０として出力される。

映像信号がＲＧＢ形式の場合はＹＣ処理部の代わりにＲＧＢ処理部によってＲＡＷ画像データからＲＧＢ信号を求めて出力される。
これ以外の映像信号の形式でもそれに応じた処理部によってＲＡＷ画像を変換すればいいので形式を問わない。

なお、図２に、圧縮部の基本構成を示した。
以下、本実施形態に係る圧縮部の変形例について説明する。

図６は、本実施形態に係る圧縮部の第１の変形例を示す図である。

図６の圧縮部４０Ａが図３の圧縮部４０と異なる点は、Ｙ圧縮部を設けず、Ｙ生成部４１で生成された合成ＲＡＷ画像データＬＳに対応するＹ画像を圧縮率算出部４３Ａに直接入力するように構成されていることにある。

圧縮率算出部４３Ａは、Ｙ生成部４１で生成されたＹ画像ＹＩＭからピクセル毎の圧縮率ｃｏｍｐを算出する。
ＲＡＷ画像データ圧縮部４４は、圧縮率算出部４３Ａで算出された圧縮率ｃｏｍｐを基にして合成ＲＡＷ画像データＬＳを圧縮して圧縮ＲＡＷ画像データＬＳｃｏｍｐを生成する。

図６の圧縮部４０Ａにおいて、Ｙ生成部４１のＹ画像生成処理、並びに、ＲＡＷ画像データ圧縮部４４における圧縮ＲＡＷ画像データＬＳｃｏｍｐの生成処理は、既に説明した図３の圧縮部４０と同様に行われる。

図６の圧縮部４０Ａにおいて、Ｙ生成部４１から出力されたＹ画像ＹＩＭは圧縮率算出部４３Ａに入力される。
圧縮率算出部４３Ａでは、低輝度部が必要以上に圧縮されないように一般的に非線形変換で圧縮される。たとえば、図７に示すように、スプライン補間によって生成されるスプラインカーブＳＣ−Ａに基づいた変換が行われる。
このようにして、圧縮率算出部４３Ａでは、ピクセル毎に圧縮率ｃｏｍｐが算出される。

図８は、本実施形態に係る圧縮部の第２の変形例を示す図である。

図８の圧縮部４０Ｂが図３の圧縮部４０と異なる点は、Ｙ生成部４１の代わりに代表画像生成部４５を設け、Ｙ圧縮部４２の代わりに代表画像圧縮部４６を設けたことにある。

代表画像生成部４５は、合成部３０から出力された合成ＲＡＷ画像データＬＳに対応する代表画像ＴＩＭを生成する。
代表画像圧縮部４６ＨＡ，代表画像生成部４５から出力された代表画像ＴＩＭを圧縮して圧縮代表画像Ｔｃｏｍｐを生成する。
圧縮率算出部４３Ｂは、代表画像生成部４５で生成された代表画像ＴＩＭと代表画像圧縮部４６で生成された圧縮代表画像Ｔｃｏｍｐとからピクセル毎の圧縮率ｃｏｍｐを算出する。
ＲＡＷ画像データ圧縮部４４は、圧縮率算出部４３Ｂで算出された圧縮率ｃｏｍｐを基にして合成ＲＡＷ画像データＬＳを圧縮して圧縮ＲＡＷ画像データＬＳｃｏｍｐを生成する。

図８の圧縮部４０Ｂにおいて、合成部３０から出力された合成ＲＡＷ画像データＬＳは圧縮部４０Ｂに入力される。
圧縮部４０Ｂでは、合成部３０から出力された合成ＲＡＷ画像データＬＳのダイナミックレンジ（ＤＲ）をＹＣ処理部５０で処理可能なダイナミックレンジ（ＤＲ）まで圧縮する。

圧縮部４０Ｂでは、まず代表画像生成部４５に合成ＲＡＷ画像データＬＳが入力されて代表画像ＴＩＭが生成される。
代表画像生成部４５において、この代表画像ＴＩＭを生成するときに、合成ＲＡＷ画像データＬＳのピクセル毎に空間位相の合った代表画像ＴＩＭを生成する。

ここでは撮像部２０から出力されるＲＡＷ画像データＩＭＬ，ＩＭＳをＲＧＢベイヤのプログレッシブ画像として説明する。
ＲＧＢベイヤで出力されるＲＡＷ画像データＩＭＬ，ＩＭＳでは，各ピクセルはＲ，ＧもしくはＢのいずれかを出力する。
Ｇを代表画像として合成ＲＡＷ画像データＬＳの空間位相に合った代表画像ＴＩＭを生成するには、たとえば、図９（Ａ）に示しように、対象となるピクセルがＧであったらそのままＧを代表画像ＴＩＭとする。
また、図９（Ｂ）に示すように、Ｇが無い場合は周辺のＧ０，Ｇ１，Ｇ２，Ｇ３から以下の式で代表画像ＴＩＭを求める。すなわち、注目画素がＧではなく、たとえばＲでそのＲ画素の周辺（上下左右）の画素がＧ０，Ｇ１，Ｇ２，Ｇ３である場合、以下の式で代表画像ＴＩＭを求める。

［数４］
ＧＴ＝（Ｇ０＋Ｇ１＋Ｇ２＋Ｇ３）／４

なお、図９（Ａ），（Ｂ）には、代表画像生成フィルタの例を示しているが、空間位相の合った代表画像ＴＩＭが生成されるのであればどのようなフィルタでもかまわない。
また、撮像部２０から出力されるＲＡＷ画像データＩＭＬ，ＩＭＳはカラー配列、インターレス・プログレッシブの種別を問わない。それぞれに応じた代表画像生成を行えばよい。

圧縮部４０Ｂにおける圧縮率算出部４３Ｂの圧縮率の算出処理、並びに、ＲＡＷ画像データ圧縮部４４の処理は図３の場合と同様に行われる。

図１０は、本実施形態に係る圧縮部の第３の変形例を示す図である。

図１０の圧縮部４０Ｃが図８の圧縮部４０Ｂと異なる点は、代表画像圧縮部を設けず、代表画像生成部４５で生成された合成ＲＡＷ画像データＬＳに対応する代表画像ＴＩＭを圧縮率算出部４３Ｃに直接入力するように構成されていることにある。

図１０の圧縮部４０Ｃにおいて、代表画像生成部４５の代表画像生成処理、並びに、ＲＡＷ画像データ圧縮部４４における圧縮ＲＡＷ画像データＬＳｃｏｍｐの生成処理は、既に説明した図１０の圧縮部４０Ｂと同様に行われる。

図１０の圧縮部４０Ｃにおいて、代表画像生成部４５から出力された代表画像ＴＩＭは圧縮率算出部４３Ｃに入力される。
圧縮率算出部４３Ｃでは、低輝度部が必要以上に圧縮されないように一般的に非線形変換で圧縮される。たとえば、図７に示すように、スプライン補間によって生成されるスプラインカーブＳＣ−Ａに基づいた変換が行われる。
このようにして、圧縮率算出部４３Ｃでは、ピクセル毎に圧縮率ｃｏｍｐが算出される。

以上説明した本実施形態によれば、以下の効果を得ることができる。
ＲＡＷ画像データをダイナミックレンジ（ＤＲ）圧縮するときに、圧縮対象画素と空間位相を合わせたＬＰＦを用いて輝度信号を生成し、輝度信号の圧縮率を用いる。
その結果、空間周波数の低い箇所では、色を構成する複数のピクセルに同じ様な圧縮率が適用されるので色回りを防ぐことができる。
これと同時にエッジ部(空間周波数の高い箇所)では、エッジの形状に応じた圧縮をするので偽色の発生を防ぐことができる。

ここで、色回りについて考察する。
図１１は、色回りの原因について説明するための図である。
図１２は、色回りの対策について説明するための図である。
なお、図１１および図１２においては、簡略化のための直線を用いて表している。

図１１および図１２においてｓ１，ｓ２を結んだ直線が原点を通れば、乗算のみなので比率は変わらず色は回らない。
これに対して、原点を通らなければ、オフセットが加算されて比率が変わり、色が回る。
したがって、圧縮部における圧縮のときには原点を通すようにすれば良い。
前述したように、補色インターレスで出力されるＲＡＷ画像データＩＭＬ，ＩＭＳでは、各ピクセルは信号ｓ１もしくは信号ｓ２を出力する。信号ｓ１、ｓ２は、加算すると輝度信号Ｙになり差分をとるとクロマ信号Ｃになる信号である。
すなわち、信号ｓ１，ｓ２からＹを作って、Ｙを通る直線上でｓ１，ｓ２を変換する。
本実施形態においては、Ｙ（ｓ１，ｓ２を一組）単位に、図５や図７に示すような圧縮カーブを適用してダイナミックレンジ（ＤＲ）を圧縮する。

また、色温度は１５００Ｋや１５０００Ｋといったスペクトルの分布が偏っている方が色回り大きく、露光比は大きい方が色回り大きい。
本実施形態においては、Ｙを基に圧縮していることから、色回りを防ぐことができる。
色温度、露光比をふっても問題ない。
なお、彩度、輝度は、上述したダイナミックレンジ（ＤＲ）圧縮カーブによって変化する。ダイナミックレンジ（ＤＲ）圧縮カーブが傾き１の直線よりも上なら彩度、輝度ともに上がり、下なら下がる。

次に、エッジの偽色について考察する。

図１３は、ＲＡＷＧ画像データをそのまま圧縮した結果の一例を示す図である。
図１４は、ＲＡＷＧ画像データを単に図１２の原理に基づくＹの圧縮率で圧縮した結果の一例を示す図である。
図１５は、ＲＡＷＧ画像データを本実施形態に係る数１に基づくＹの圧縮率で圧縮した結果の一例を示す図である。
図１６は、図１３〜図１５のエッジ領域を拡大し比較して示す図である。

図１３に示すように、ＲＡＷＧ画像データをそのまま圧縮した場合には自然な画像となる。
これに対して、ＲＡＷＧ画像データを単に図１２の原理に基づくＹの圧縮率で圧縮した場合、図１４に示すように、不自然な画像となってしまう。
この場合は、ｓ１，ｓ２に対して、{1,1}フィルタでＹを生成している。
カラーパッチのような一様な色のところ（DC的・低周波なところ)では、色回りを防ぎたいが、それによってエッジ(高周波)では、ブツブツや偽色が派手になってしまうおそれがある。

そこで、本実施形態においては、前述したように、Ｙ生成の方法として、ｓ１，ｓ２に対して、{1,2,1}フィルタでＹを生成するようなエッジ対策を施している。
エッジ対策には、Ｙの空間位相をピクセルに合わせた {1,2,1}フィルタが最も効果があった。
このエッジ対策によって、図１５に示すように、エッジ付近では、その変化に追従して偽色やブツブツの発生を抑えている。
また、カラーパッチのような平坦なところでは、色回り対策により色が回ったり、薄く見える現象を防止することができる。
すなわち、本実施形態においては、ｓ１，ｓ２に対して、{1,2,1}フィルタでＹを生成するようなエッジ対策を施すことにより。エッジと平坦な領域で色周りと、偽色の発生を防止することができる。

なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。

本発明の実施形態に係る画像処理装置を適用した撮像装置の構成例を示す図である。 合成部の処理を説明するための図である。 本実施形態に係る圧縮部の構成例を示すブロック図である。 図３の圧縮部においてＹ画像生成で用いられるＬＰＦの例を示す図である。 図３の圧縮部におけるスプライン補間によって生成されるスプラインカーブに基づいた非線形変換圧縮を説明するための図である。 本実施形態に係る圧縮部の第１の変形例を示す図である。 図６の圧縮部におけるスプライン補間によって生成されるスプラインカーブに基づいた非線形変換圧縮を説明するための図である。 本実施形態に係る圧縮部の第２の変形例を示す図である。 代表画像生成フィルタの例を示す図である。 本実施形態に係る圧縮部の第３の変形例を示す図である。 色回りの原因について説明するための図である。 色回りの対策について説明するための図である。 ＲＡＷＧ画像データをそのまま圧縮した結果の一例を示す図である。 ＲＡＷＧ画像データを単に図１２の原理に基づくＹの圧縮率で圧縮した結果の一例を示す図である。 ＲＡＷＧ画像データを本実施形態に係る数１に基づくＹの圧縮率で圧縮した結果の一例を示す図である。 図１３〜図１５のエッジ領域を拡大し比較して示す図である。

符号の説明

１０・・・撮像装置、２０・・・撮像部（センサ部）、３０・・・合成部、４０，４０Ａ，４０Ｂ，４０Ｃ・・・圧縮部、４１・・・Ｙ生成部、４２・・・Ｙ圧縮部、４３，４３Ａ，４３Ｃ・・・圧縮率算出部、４４・・・ＲＡＷ画像データ圧縮部、４５・・・代表画像生成部、４６・・・代表画像圧縮部、５０・・・ＹＣ処理部。

Claims (14)

1. 撮影条件の異なる複数の画像を合成する合成部と、
   上記合成部による合成画像データのダイナミックレンジを圧縮する圧縮部と、を有し、
   上記圧縮部は、
   上記合成画像データのダイナミックレンジを圧縮するに際し、所定画素に対して周辺画素から輝度信号（Ｙ）を生成して、当該輝度信号を非線形圧縮して輝度信号の圧縮率を求め、当該圧縮率によって画像データを圧縮する
   画像処理装置。
2. 上記圧縮部は、
   輝度信号を、圧縮対象の画素と空間位相をあわせて生成する
   請求項１記載の画像処理装置。
3. 上記圧縮部は、
   上記合成画像データに対応するＹ画像を生成するＹ生成部と、
   上記Ｙ生成部によるＹ画像を圧縮するＹ圧縮部と、
   上記Ｙ生成部によるＹ画像と上記Ｙ圧縮部による圧縮Ｙ画像を基に画素ごとの圧縮率を算出する圧縮率算出部と、
   上記圧縮率算出部で算出された圧縮率で上記合成部による合成画像データを圧縮する画像データ圧縮部と、を含む
   請求項１または２記載の画像処理装置。
4. 上記Ｙ生成部は、
   上記合成画像データの画素ごとに空間位相のあったＹ画像を生成する
   請求項３記載の画像処理装置。
5. 上記圧縮部は、
   上記合成画像データに対応するＹ画像を生成するＹ生成部と、
   上記Ｙ生成部によるＹ画像を基に画素ごとの圧縮率を算出する圧縮率算出部と、
   上記圧縮率算出部で算出された圧縮率で上記合成部による合成画像データを圧縮する画像データ圧縮部と、を含む
   請求項１または２記載の画像処理装置。
6. 上記Ｙ生成部は、
   上記合成画像データの画素ごとに空間位相のあったＹ画像を生成する
   請求項５記載の画像処理装置。
7. 上記圧縮部は、
   上記合成画像データに対応する代表像を生成する代表画像生成部と、
   上記代表画像生成部による代表画像を圧縮する代表画像圧縮部と、
   上記代表画像生成部による代表画像と上記代表画像圧縮部による圧縮代表画像を基に画素ごとの圧縮率を算出する圧縮率算出部と、
   上記圧縮率算出部で算出された圧縮率で上記合成部による合成画像データを圧縮する画像データ圧縮部と、を含む
   請求項１または２記載の画像処理装置。
8. 上記代表画像生成部は、
   上記合成画像データの画素ごとに空間位相のあった代表画像を生成する
   請求項７記載の画像処理装置。
9. 上記圧縮部は、
   上記合成画像データに対応する代表像を生成する代表画像生成部と、
   上記代表画像生成部による代表画像を基に画素ごとの圧縮率を算出する圧縮率算出部と、
   上記圧縮率算出部で算出された圧縮率で上記合成部による合成画像データを圧縮する画像データ圧縮部と、を含む
   請求項１または２記載の画像処理装置。
10. 上記代表画像生成部は、
    上記合成画像データの画素ごとに空間位相のあった代表画像を生成する
    請求項９記載の画像処理装置。
11. 露光時間の異なる複数の画像を連続して撮影する撮像部と、
    上記撮像部で撮影された複数の画像を合成する画像合成部と、
    上記合成部による合成画像データのダイナミックレンジを圧縮する圧縮部と、を有し、
    上記圧縮部は、
    上記合成画像データのダイナミックレンジを圧縮するに際し、所定画素に対して周辺画素から輝度信号（Ｙ）を生成して、当該輝度信号を非線形圧縮して輝度信号の圧縮率を求め、当該圧縮率によって画像データを圧縮する
    撮像装置。
12. 上記圧縮部は、
    輝度信号を、圧縮対象の画素と空間位相をあわせて生成する
    請求項１１記載の撮像装置。
13. 撮影条件の異なる複数の画像を合成する第１ステップと、
    上記合成画像データのダイナミックレンジを圧縮するに際し、所定画素に対して周辺画素から輝度信号（Ｙ）を生成する第２ステップと、
    上記当該輝度信号を非線形圧縮して輝度信号の圧縮率を求める第３ステップと、
    上記圧縮率によって画像データを圧縮し、上記合成画像データのダイナミックレンジを圧縮する第４ステップと
    を有する画像処理方法。
14. 撮影条件の異なる複数の画像を合成する第１処理と、
    上記合成画像データのダイナミックレンジを圧縮するに際し、所定画素に対して周辺画素から輝度信号（Ｙ）を生成する第２処理と、
    上記当該輝度信号を非線形圧縮して輝度信号の圧縮率を求める第３処理と、
    上記圧縮率によって画像データを圧縮し、上記合成画像データのダイナミックレンジを圧縮する第４処理と
    を含む画像処理をコンピュータに実行させるプログラム。