JP2011199787A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】輝度に依存したノイズを考慮し、特定の輝度においてノイズ量が不連続に変化することを抑制することにより、より自然な画像を出力することを目的とする。
【解決手段】階調変換処理における基準となる基準階調変換特性を設定する基準階調変換特性設定手段５０と、基準階調変換特性に基づいて、輝度値に対するコントラスト増幅率を算出するコントラスト増幅率算出手段５１と、コントラスト増幅率に基づいて、輝度値に応じた画像の合成枚数を決定する合成枚数決定手段５２と、合成枚数が変化する輝度値を含む所定の輝度値の範囲において、合成比率が連続的に変化するように合成比率を決定する合成比率決定手段５３と、を備える。
【選択図】図５

Description

本発明は、画像処理装置及び画像処理方法に関し、特に、画像信号に対して階調変換処理を行う画像処理装置及び画像処理方法に関するものである。

一般に、実際の撮影シーンや視察者である人間の視覚特性におけるダイナミックレンジに比して、デジタルカメラに適用されるＣＣＤセンサやＣＭＯＳセンサなどの撮像デバイスにおけるダイナミックレンジが狭いことが知られている。このため、この差異を補間するために種々の技術が提案されている。また、監視カメラの様に、観察者の視覚の受容とは関係なく、被写体を検出・認識を行うために、広ダイナミックレンジ画像をより低いダイナミックレンジのデータに変換するトーンマッピングにかかる技術が開発されている。さらに、副次的な問題として、広ダイナミックレンジの画像をそのまま転送するとより多くのｂｉｔ数の演算器やデータバスを必要とすることから、これらを節約するための技術についても開示されている。

上述した技術の具体例として、特許文献１（特開平８−１２５９２４号公報）には、多重露光回数とダイナミックレンジを連動させて、Ａ／Ｄ変換後の信号強度が所定ｂｉｔ数を超えた場合に、ダイナミックレンジの広い被写体の撮影のため画素毎にＡ／Ｄ変換のビット数と撮影の露光時間を変更して出力する技術が開示されている。また、特許文献２（特開２００３−２５９２００号公報）には、異なる露光により複数の画像を撮影し、合成することでダイナミックレンジを拡大する技術が開示されている。さらに、特許文献３（特表２００４−５３０３６８号公報）には、局所的なヒストグラム平均化処理を行い、非局所的なガンマ変換による階調補正に比べ見た目のダイナミックレンジを拡大する技術が開示されている。さらにまた、特許文献４（特許第４１１１９８０号公報）には、非局所的な階調変換として、入力画像を画素毎に補正して、補正後の画像信号を生成し、その際に当該画素とその周りの画素の情報を用いて、平均輝度を求めて、利得を計算する技術が開示されている。

ところで、このようなダイナミックレンジを拡大させた画像を生成する画像処理装置においては、ノイズと階調飛びを抑制すると共に、輝度に応じたノイズ量の変動を滑らかにし、かつ演算途中での桁数を抑制することも課題となる。
演算器及び演算器間において使用可能なデータの桁数が充分な場合、例えば、２０ｂｉｔの画像データを伝送又は演算可能なデータバス及び演算器においては、１６ｂｉｔのデータは何れの領域を１６枚使用しても桁あふれはおこらない。画像データにおいて、高輝度領域は相対的にノイズ量が少ないことから所定以上のデータの加算平均を必要としない。一方、低輝度領域は相対的にノイズ量が多いことに加え、通常は、階調変換によって階調増幅を大きくさせる。階調変換の増幅率が大きいことに起因する階調飛び等の不自然な画像が得られるのを防止するためには、低輝度領域ほど輝度に対して精度の要求が高くなり、より多くの画像の重畳によるデータ、より大きい露光時間のデータを必要とする。
しかし、高速処理を低消費電力で行おうとする場合には、むやみにデータバスを広げることは得策でなく、既存のデータバスを有効に利用して十分な階調再現性を得ることが望まれる。
また、上記のデータ深度の観点に加えて、複数枚の位置あわせおよび加算処理において、複数枚の位置あわせ処理の不整合による鮮鋭感の劣化の影響を考慮すると、相対的にノイズ量が少ない高輝度領域に関しては、位置あわせ処理を必要以上に行わない方が好ましい。

そこで、特許文献５（特開２００８−６０８５５号公報）には、複数枚の入力画像を対象として、所定の画像の階調変換特性に合わせて、階調変換時に用いる画像の枚数を適応的に選択する技術が開示されている。具体的には、図１９（ａ）に示すような、入力階調（輝度）Ｉに対して、出力階調（輝度）Ｑ（Ｉ）の階調変換特性に基づく処理を行う場合、この階調変換特性Ｑ（Ｉ）から、入力階調のレベルがどの程度引き延ばされたかを示すコントラスト増幅率Ｒ（Ｉ）が、以下の数１のように求められる（図１９（ｂ）参照）。

また、コントラスト増幅率Ｒ（Ｉ）に対して、階調変換時に用いる画像の枚数Ｆ（Ｉ）を以下の数２のように定義する（図１９（ｃ）参照）。

ここで、Ｎ１、Ｎ２は定数である。

この階調変換時に用いる画像の枚数Ｆ（Ｉ）に対して、補正係数Ｇ（Ｉ）が以下の数３で与えられる（図１９（ｄ）参照）。

このとき、以下の数４のような全体的に滑らかに変動する階調変換特性Ｑ“（Ｉ）が得られる。

特開平８−１２５９２４号公報 特開２００３−２５９２００号公報 特表２００４−５３０３６８号公報 特許第４１１１９８０号公報 特開２００８−６０８５５号公報

しかしながら、上記した特許文献５に開示された発明では、画像の合成枚数を増幅率に対応させているため、補正係数Ｇ（Ｉ）によって、全体的に滑らかに変動する階調変換特性が得られるが、これはノイズが考慮されていないという問題がある。すなわち、ノイズを考慮し、画像の加算枚数をＮとした場合の画像１枚のノイズ分散σに対する加算画像信号のノイズ分散σ（Ｎ）は以下の数５で表される。

従って、画像のうち特定の輝度を有する領域においてはＮが切り替わる前後となりノイズ分散すなわちノイズ量の段差が目立つこととなる。具体的には、例えば、図１９（ｄ）に示す画像の加算枚数が変化する輝度Ａ（Ｉ＝７０付近）においては、２枚の画像をそれぞれ０．５の合成比率で加算するが、この輝度よりも低い輝度の領域では、３枚の画像をそれぞれ０．３３の合成比率で加算することとなる。このため、画像においてグラデーションの如く、連続的に輝度が変化する領域においては、画像の加算枚数が変化数領域の前後でノイズ分散がσ／√２からσ／√３と大きな段差が生じ、不自然な画像となってしまうという問題があった。

本発明は、上記問題を解決するためになされたもので、輝度に依存したノイズを考慮し、特定の輝度においてノイズ量が不連続に変化することを抑制することにより、より自然な画像を出力することのできる画像処理装置及び画像処理方法を提供することを目的とする。

上記課題を解決するために、本発明は以下の手段を採用する。
本発明は、階調変換処理を行うと共に複数枚の画像を合成して１枚の合成画像を生成する画像処理装置において、前記階調変換処理における基準となる基準階調変換特性を設定する基準階調変換特性設定手段と、前記基準階調変換特性に基づいて、輝度値に対するコントラスト増幅率を算出するコントラスト増幅率算出手段と、前記コントラスト増幅率に基づいて、輝度値に応じた画像の合成枚数を決定する合成枚数決定手段と、前記合成枚数が変化する輝度値を含む所定の輝度値の範囲において、合成比率が連続的に変化するように該合成比率を決定する合成比率決定手段と、を備えたことを特徴とする画像処理装置を提供する。

また、本発明は、階調変換処理を行うと共に複数枚の画像を合成して１枚の合成画像を生成する画像処理方法において、前記階調変換処理における基準となる基準階調変換特性を設定する基準階調変換特性設定ステップと、前記基準階調変換特性に基づいて、輝度値に対するコントラスト増幅率を算出するコントラスト増幅率算出ステップと、前記コントラスト増幅率に基づいて、輝度値に応じた画像の合成枚数を決定する合成枚数決定ステップと、前記合成枚数が変化する輝度値を含む所定の輝度値の範囲において、合成比率が連続的に変化するように該合成比率を決定する合成比率決定ステップと、を備えたことを特徴とする画像処理方法を提供する。

本発明によれば、輝度に依存したノイズを考慮し、特定の輝度においてノイズ量が不連続に変化することを抑制して、より自然な画像を出力する。

本発明の第１の実施形態における画像処理装置を適用した撮像装置の概略構成を示すブロック図である。 本発明の第１の実施形態における信号処理回路の概略構成を示すブロック図である。 階調変換特性曲線の一例を示す参考図である。 複数枚の画像を用いた階調変換補正の概念を示す参考図である。 本発明の階調変換特性決定部の概略構成を示すブロック図である。 本発明の第１の実施形態において、階調変換特性を演算する過程を示すフローチャートである。 図６のフローチャートに従った演算結果を示す説明図である。 各画像の階調変換曲線を示す図である。 図７の詳細を示す説明図である。 本発明の第１の実施形態における階調補正合成回路の概略構成を示すブロック図である。 本発明の第１の実施形態の変形例における階調補正合成回路の概略構成を示すブロック図である。 信号レベルに対するノイズ量の関係を示す参考図である。 本発明の第２の実施形態における画像処理装置を適用した撮像装置の概略構成を示すブロック図である。 本発明の第２の実施形態において、階調変換特性を演算する過程を示すフローチャートである。 図１２のフローチャートに従った演算結果を示す説明図である。 各画像の階調変換曲線を示す図である。 本発明の第３の実施形態における階調変換特性決定部の概略構成を示すブロック図である。 本発明の第３の実施形態において演算される階調変換特性曲線を示す説明図である。 従来の階調変換特性を演算する場合の説明図である。

以下に、本発明に係る画像処理装置の実施形態について、図面を参照して説明する。

〔第１の実施形態〕
図１は、本発明の第１の実施形態に係る画像処理装置を適用した例として、所謂デジタルカメラ、すなわち、撮像装置の概略構成を示したブロック図である。

図１に示すように、撮像装置１０１は、表示素子２００１、被写体の撮像を行うレリーススイッチ３００１、撮像装置１０１のメニュー画面を表示素子２００１に表示可能なメニュースイッチ３００２、該メニュー画面における操作を実現する操作キー３００３、及び決定位置に合わせられた内容の設定が可能な撮影モード選択ダイヤル３００４を備えている。

また、撮像装置１０１は、撮像装置１０１の各部の制御を行うシステムコントローラ１００、被写体の像を集光及び結像するレンズ１００１、レンズ１００１の結像位置に配置され、該被写体の像を撮像する固体撮像素子１００２、固体撮像素子１００２において結像される被写体の像に応じた撮像信号を出力すると共に輝度補正機能を有し、アナログフロントエンドプロセッサ等により構成される撮像回路１００３、撮像回路１００３から出力されるアナログの撮像信号をデジタルの画像データに変換して出力するＡ／Ｄ変換回路１００４、画像データのブレを検出するブレ検出回路４０００、複数枚の画像データの相対的な位置を補正するブレ補正機構４００２を備えている。

ブレ検出回路４０００は、固体撮像素子１００２のシフト量を計算し、固体撮像素子１００２を機械的にシフトさせる、又は、ＭＯＳイメージャのようなＸ−Ｙアドレス方式である場合には、読み出し開始位置のシフトを行う等により画像データのブレを検出する。ブレ補正機構４００２は、ブレ検出回路４０００の検出結果に基づいて、画像データに対してブレ補正処理を行うことにより、複数枚の画像データの相対的な位置を補正する。なお、ブレを検出する手段としては、ジャイロの如く画像データそのものを使用しない構成とすることも、フレーム間の動きベクトルの如く、画像データから計算によって検出するものでもよい。

また、撮像装置１０１は、Ａ／Ｄ変換回路１００４出力される画像データに対して、階調変換処理を含む所定の信号処理を行う信号処理回路１００５、信号処理回路から出力された画像データを蓄積するメモリ１００６，１００８、メモリ１００６に蓄積された画像データを表示する表示素子２００１、メモリ１００６に蓄積された画像データに対して画像圧縮処理を行い、該画像圧縮処理後の画像データを、可搬性を有する記録メディア２００２に対して出力する圧縮回路１００７を備えている。

以下、このように構成された撮像装置１０１のうち、本発明の画像処理装置として機能する信号処理回路１００５について説明する。図２は、信号処理回路１００５の概略構成を示すブロック図である。図２に示すように、信号処理回路１００５は、メモリ１００８に記録された画像データに対してデモザイキング処理を行うデモザイキング回路１０５１、デモザイキング処理を施した画像データに対して階調変換処理及び画像合成処理を行う階調補正合成回路１０５２、画像データに対して所定の色信号処理を施す色信号処理回路１０５３、及び階調補正合成回路１０５２における階調変換処理の際の階調変換特性を定める階調変換特性決定部１０５４を備えている。

図３は、階調変換特性、すなわち、階調変換曲線の一例を示す参考図であり、図４は、階調補正合成回路１０５２においてなされる階調変換処理及び画像合成処理を模式的に示した説明図である。階調補正合成回路１０５２では、画像データに対して、階調変換処理及び画像合成処理が行われるが、この際、コントラストの増幅が生じる。これは、処理前の画像データの階調が、例えば、８ｂｉｔで１ＬＳＢ（全階調を２５６階調としたときの１階調）の変化を、出力階調で２階調といったように階調差を増幅することを示している。ここで、コントラストの増幅は、階調変換曲線を階調で微分することにより得られる。従って、図３において、階調変換特性では、相対的に輝度値の低い領域のコントラストが増幅することとなり、このトラストの増幅による階調飛びを抑制するためには、輝度の低い領域に対してより多くの画像を用いて階調変換処理を行うことが必要となる。

具体的には、図４に示すように、階調補正合成回路１０５２は、例えば、画像上の各位置のうち、相対的に輝度値が低い位置Ａに存在する画素に対し、この輝度値の増幅率が相対的に高くなるように、相対的に多くの枚数の画像を用いつつ階調補正処理を行う必要がある。また、図４に示すように、階調補正合成回路１０５２は、例えば、画像上の各位置のうち、相対的に輝度値が高い位置Ｂに存在する画素に対しては、この輝度値の増幅率が相対的に低くなるように、相対的に少ない枚数の画像を用いつつ階調補正処理を行うことができる。

このため、階調変換特性決定部１０５４は、画像上の相対的に輝度が低い位置に対してはその輝度値の増幅率が相対的に高くなるように相対的に多くの枚数の画像を用いるように、かつ、相対的に輝度値が高い位置に対してはその輝度値の増幅率が相対的に低くなるように相対的に少ない枚数の画像を用いるように、階調変換特性メモリ１００８に格納された複数の画像のそれぞれに対する固有の階調変換特性を設定する。

具体的には、階調変換特性決定部１０５４は、図５に示すように、階調変換処理における基準となる基準階調変換特性を設定する基準階調変換特性設定部５０、基準階調変換特性に基づいて、輝度値に対するコントラスト増幅率を算出するコントラスト増幅率算出部５１、コントラスト増幅率に基づいて、輝度値に応じた画像の合成枚数を決定する合成枚数決定部５２、合成枚数が変化する輝度値を含む所定の輝度値の範囲において、合成比率が連続的に変化するように合成比率を決定する合成比率決定部５３、基準階調変換特性及び合成比率に基づいて、複数枚の画像それぞれに対して、階調変換特性を画像毎に設定する階調変換特性設定部５４を備えている。

そして、階調変換特性決定部１０５４では、図６に示すフローチャートに従って、階調変換特性メモリ１００８に格納された複数の画像のそれぞれに対する固有の階調変換特性を設定される。すなわち、ステップＳ１では、基準階調変換特性設定部５０により、画像処理装置において階調変換処理を施した上で合成画像を生成する際に基準となる基準階調変換特性として、図７（ａ）に示す階調変換曲線を設定する。図７（ａ）は、入力輝度値Ｉをｘ軸とし、これに対して出力輝度値Ｑ（Ｉ）をｙ軸に示している。この階調変換曲線の設定は、得られた画像の輝度階調に対して都度演算することもできるが、例えば、ルックアップテーブルを使用するなど予め記憶しておくこともできる。

続いて、ステップＳ２で、コントラスト増幅率算出部５１により、ステップＳ１で設定された階調変換曲線から、図７（ｂ）に示すように、輝度値に対するコントラスト増幅率を算出し、ステップＳ３で、コントラスト増幅率を離散化することで、図７（ｃ）に示すような輝度値に対する量子化されたコントラスト増幅率を算出する。合成画像を生成する際に、必要な画像の枚数を推定する方法は図４に示したようにコントラストの増幅から入力輝度の１階調が何倍になるかを計算するが、図７（ｃ）で示す量子化コントラスト増幅率から必要な枚数を推定することが出来る。すなわち、例えば、以下の数６のような切り上げを行って離散化することで枚数の推定が可能となる。

ここで、Ｎは１以上の整数である。

図７（ｃ）のグラフは、コントラスト増幅率Ｒ（Ｉ）から、階調変換を行い１枚の合成画像を生成するのに必要な枚数を示している。すなわち、Ｒ’（Ｉ）＝１の領域では、階調変換は１枚の画像だけを使い、Ｒ’（Ｉ）＝２の領域では階調変換は２枚の画像を使用することを示している。

次に、ステップＳ４で、合成枚数決定部５２により、合成枚数を算出する。図７（ｄ）は図７（ｃ）から複数枚の加算比率を算出したものである。すなわち、図７（ｃ）で量子化した結果が「１」であれば１枚の画像を使用し、「２」であれば２枚の画像を使用して階調変換と加算後に１／２にすることを意味する。すなわち、図７（ｄ）において、例えばＩ＝０．２６付近画像の合成枚数が１枚から２枚へ変化している。同じ明るさに対して、画像合成の際に、１枚使用した場合と２枚使用した場合では、画像のショットノイズ（明るさに依存するノイズ成分）は√２倍異なるため、Ｉ＝０．２６付近で明るさがほぼ同じ状態であるにもかかわらず、ノイズの振幅だけが√２倍異なることになり、不自然な画像が得られることとなる。そこで、ステップＳ５で、合成比率決定部５３により、階調変換後の合成比率を連続的に変化させる為に、図７（ｄ）の輝度値を変数として平滑化処理を行って、輝度に依存する各画像の合成比率Ｗ（Ｉ，ｋ）を算出する（図７（ｅ）参照）。なお、この平滑化としては、輝度値に対して、ルックアップテーブルのなどにより数値限定する方法や、輝度値の関数として数式的に指定する方法が考えられる。

図９（ａ）に図７（ｄ）の詳細を、図９（ｂ）に図７（ｅ）の詳細を示した。輝度値が高い範囲においては１枚の画像を使用し、図９中、画像の合成枚数が１枚から２枚へ変化する輝度値を含む範囲である中間領域Ｉと示した範囲では、１枚目の画像と２枚目の画像の合成比率を連続的に変化させるようにしている。また、画像の合成枚数が２枚である範囲は１枚目及び２枚目の画像は同じ合成比率になっている。画像の合成枚数が２枚から３枚へ変化する輝度値を含む範囲である中間領域ＩＩでは、３枚目の画像の合成比率が連続的に、徐々に大きくなるようにしている。以下、複数枚の合成比率を輝度に依存して変化させ、合成比率が連続的に変化する範囲（中間領域）を設けている。

ステップＳ６では、図７（ａ）の基準階調変換曲線とステップＳ５で求めた合成比率Ｗ（Ｉ，ｋ）に基づいて、数７に従って、各画像に対する階調変換特性Ｑ（Ｉ，ｋ）をそれぞれ算出する。

図８に各画像の階調変換特性を示した。

ところで、図１０に示すように、階調補正合成回路１０５２は、各画像それぞれに対して階調変換処理を行う階調変換処理部５７を取得する画像と同数備えており、さらに、この階調変換処理部５７により階調変換処理がなされた画像から合成画像を生成する階調合成処理部５８を備えている。各画像に対応する階調変換処理の前に、各画像の撮像時の露光データ（シャッタ速度、絞り、感度）に対応した輝度補正処理が行われる。従って、各画像に対する階調変換特性Ｑ（Ｉ，ｋ）に基づいて、階調変換処理部５７により、複数の画像がそれぞれ階調変換処理され、階調変換処理後の複数枚の画像が階調合成処理部５８により加算されることで、１枚の合成画像が生成される。生成された画像は、メモリ１００６に一旦記憶され、表示素子２００１に表示される、又は圧縮回路１００７により圧縮されて記憶メディア２００２に記憶される。

このように、本実施の形態によれば、複数の画像に対応する階調変換曲線を算出し、これに基づいてそれぞれの画像に対して階調変換処理を施している。この各画像に対する階調変換曲線は、入力階調に応じて、各画像の寄与が連続的に変化しながら階調変換出力をする様に設定されているため、特定の入力階調において、使用する画像の枚数が切り替わり、各画像の寄与が不連続に変化することがなく、特定の階調でノイズ量が不連続に変化することを抑制でき、より自然な画像を得ることができる。
また、複数の画像がそれぞれ階調変換されることで、各画像のデータ量が小さくなりバスラインの節約も可能となる。

〔第１の実施形態の変形例〕
上記した本発明の第１の実施形態において、階調補正合成回路１０５２は、複数の階調変換処理部５７を備え、各階調変換処理部５７において階調変換処理がなされた画像を短銃加算することにより１枚の合成画像を得ていた。本変形例では、図１０に示すように階調補正合成回路１０５２が一つの階調変換処理部５９を備えるのみである点が相違する。以下、本変形例について第１の実施形態と共通する点については説明を省略し、異なる点について説明する。

図１１に示すように、階調補正合成回路１０５２は、一つの階調変換処理部５９と、複数の画像に対応した複数の合成比率乗算部６０と、階調合成処理部５８とを備えている。各画像に対応する階調変換処理の前に、各画像の撮像時の露光データ（シャッタ速度、絞り、感度）に対応した輝度補正処理が行われる。階調変換処理部５９では、メモリ１００８に格納されている全ての画像に対して基準階調変換特性に基づいて階調変換処理を行い、各画像をそれぞれの合成比率乗算部６０に出力する。各合成比率乗算部６０において、階調変換処理後の画像にそれぞれ合成比率Ｗ（Ｉ，ｋ）が乗じられることで、上述した第１の実施形態における階調変換特性Ｑ（Ｉ，ｋ）に基づいて、複数の画像それぞれに階調変換処理を施したのと同様の効果が得られる。

そして階調変換処理がなされ、さらに合成比率が乗じられた複数枚の画像が、階調合成処理部５８により加算されることで、１枚の合成画像が生成される。生成された画像は、メモリ１００６に一旦記憶され、表示素子２００１に表示される、又は圧縮回路１００７により圧縮されて記憶メディア２００２に記憶される。

〔第２の実施形態〕
本実施形態においては、上記した実施形態の構成に加えて輝度値に依存するノイズ量を予測し、このノイズ量を考慮して合成枚数及び合成比率を決定するものである。
すなわち、ノイズ量Ｎをガウスノイズとすると、ノイズの分散は、２次関数でモデル化した以下の数８で表される。

ここで、α、β、γは定数項である。この数８から、ノイズＮはイメージャ出力の輝度信号Ｌ_０に対して２次曲線的に増加していることがわかる。
しかしながら、ノイズ量は信号レベルだけではなく、素子の温度やゲインによっても変化する。図１２に、一例として、ある温度ｔにおけるゲインに関連する３種類のＩＳＯ感度１００，２００，４００に対するノイズ量をプロットした図を示す。図１１の個々の曲線は数８に示される形態となっているが、その係数はゲインに関連するＩＳＯ感度により異なる。そこで、温度をｔ、ゲインをｇとし、これらを考慮した形でモデルの定式化を行うと、以下の数９となる。

ここで、α_ｇｔ, β_ｇｔ,γ_ｇｔはゲイン、温度で決まる定数項である。このノイズモデルは、ＲＧＢ独立で適用させることもできる。

デジタル信号処理の入力信号を１２ｂｉｔ出力信号を８ｂｉｔとした処理系でのＫｎｅｅ（ニー）処理、又はγ変換は、８ｂｉｔにおいて、輝度が高い領域に対しての階調を圧縮する変換で、撮像機器の信号処理では一般に良く用いられる。従って、式（１５），（１６）の様な、Ａ／Ｄ変換直後の輝度値−ノイズの分散値の特性とＫｎｅｅ（ニー）処理を考慮すると、８ｂｉｔ変換後の輝度階調とノイズの分散値を対応させると、単峰の曲線となる。
図１３は、本実施形態における構成を示した図であり、ノイズ量推定部４００３を備え、ノイズ量推定部は信号処理部１００５に含まれる階調変換特性決定部にノイズ推定量を与える。

図１４に本実施形態において階調変換特性を設定する演算の過程を示す場合のフローチャートを、図１５に本実施形態において階調変換特性を設定する演算の過程をグラフで示した。

ステップＳ１１及びステップＳ１２では、上記した第１の実施形態と同様に、基準階調変換特性としての基準の階調変換曲線を設定し、その後コントラスト増幅率を算出する（図１５（ａ）参照）。ステップＳ１３は、ノイズ量推定部４００３から与えられたデータで図１５（ｂ）に示すように、上記した数９に基づいたノイズ量を設定する。ステップＳ１４では、図１５（ａ）及び図１５（ｂ）から、コントラスト増幅を考慮したノイズモデルを算出する。図１５（ｃ）はコントラスト増幅率を考慮したノイズモデルを示している。ステップＳ１５では、第１の実施形態と同様に、画像の合成枚数を計算するために、前記のコントラスト増幅率を考慮したノイズモデルを量子化し（図１５（ｄ）参照）、次のステップＳ１６では、画像の合成枚数と合成比率を計算すると共に、図１５（ｄ）に平滑化処理を施すことにより、滑らかな合成比率変化になるように平滑化を行う。ステップＳ１７では、各画像の合成比率曲線（Ｗ（Ｉ，ｋ））を計算する。図１５（ｅ）は、ノイズモデルの対応した合成比率Ｗ（Ｉ，ｋ）を示している。そして、ステップＳ１８において、以下の数１０に基づいて、図１６に示す、各画像に対する階調変換特性Ｑ（Ｉ，ｋ）を算出する。

このように、コントラスト増幅率と輝度に依存するノイズの振幅を考慮して、複数枚画像の合成枚数及び合成比率を算出するため、コントラスト増幅率とノイズ振幅の相対量が大きいところでは、より多くの枚数の画像の合成を行うようにすることによって、階調変化後のノイズの増幅を抑制することが出来る。

〔第３の実施形態〕
上記した実施形態において、基準階調変換特性とは異なる基準階調変換特性（第１の基準階調変換特性）が与えられる場合、基準階調変換特性及び合成比率に基づいて定められる複数の画像それぞれに対する階調変換特性Ｑ（Ｉ）と、第１の基準階調変換特性とに基づいて、前記複数枚の画像それぞれに対して、前記第１の基準階調変換特性に応じた第１の階調変換特性Ｑ_２（Ｉ）を演算することができる。より具体的には、上記した実施形態において、各画像に対する階調変換特性Ｑ（Ｉ）が既に得られており、この階調変換特性Ｑ（Ｉ）の逆変数Ｑ^−１（Ｉ）が定義でき、更に、写像の交換則が成り立つ場合には、階調変換特性Ｑ（Ｉ）から他の階調変換特性Ｑ_２（Ｉ）を演算することができる（図１７参照）。すなわち、上記した条件を満たす場合には、輝度Ｉを以下の数１１で定義することができる。

従って、階調変換特性Ｑ_２（Ｉ，ｋ）は、数１２で表される。

そして、交換則を適用すると、数１３が得られる。

階調変換特性Ｑ（Ｉ）及びＱ_２（Ｉ）が、複数枚の階調変換を想定している場合に、階調変換特性Ｑ（Ｉ，ｋ）及びＱ_２（Ｉ，ｋ）が数１４で定義できるとき、

Ｑ_２（Ｉ，ｋ）は、数１５及び数１６となる。

従って、上述の実施形態の様に合成比率Ｗ（Ｉ，ｋ）を求めるためにコントラスト増幅率とそれに必要な画像の枚数を計算せずに、基準の階調変換特性Ｑ（Ｉ）に対する各画像の階調変換特性Ｑ（Ｉ，ｋ）を用いて異なる階調変換特性Ｑ_２（Ｉ）を出力する各画像の階調変換特性Ｑ_２（Ｉ，ｋ）を得ることができる。尚、階調変換の演算はルックアップテーブルを使用しても良い。図１７では、階調変換特性を演算するための演算器としての階調変換特性決定部１０５４の概略構成を示すブロック図であり、７０１は基準の階調変換曲線を示しており、７０５では上述した実施形態と同様に基準の階調変換曲線に対する各画像の階調変換曲線を演算している。逆関数計算手段７０２は、基準の階調変換曲線に対する逆関数の特性を演算している。階調変換演算手段７０４は、目的とする階調変換特性の引数に逆関数演算手段７０２で演算された逆関数特性を与え、上記の数１３の右辺の括弧内Ｑ_２（Ｑ^−１（Ｉ））を計算している。代入演算手段７０６は、各画像の階調変換特性設定手段７０５で取得した基準階調変換特性に対応した各画像の階調変換特性の引数としてＱ_２（Ｑ^−１（Ｉ））を与え、数１５の計算を行っている。

参考例として、図１８に基準の階調変換曲線Ａ（図１８（ａ））と目的とする階調変換特性Ｂ（図１８（ｂ）)と基準の階調変換特性に対応する各画像の階調変換特性（図１８（ｃ））と上記の方法で取得した、階調変換特性Ｂに対応する各画像の階調変換特性（図１８（ｄ））を示した。また、上記した数１６に代えて、数１７を用いることができる。

数１７により、合成比率Ｗ（Ｉ，ｋ）を演算して、図１１に示す構成に適用することもできる、すなわち、基準となる階調変換特性に基づいて複数の画像全ての階調変換処理を施し、階調変換処理後の画像に合成比率Ｗ（Ｉ，ｋ）を乗じる構成とすることもできる。

このようにすることで、コントラスト増幅率を求めるステップと、コントラスト増幅率から画像の合成枚数や合成比率を演算する必要がなく、演算を高速化することが出来る。

なお、上述した実施形態では、画像処理装置としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、ＣＰＵ（中央演算装置）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等を備えた汎用又は専用のコンピュータが、ＣＰＵ等により、上記処理の全て或いは一部を実現させるためのプログラムが記録されたコンピュータ読み取り可能な記録媒体に記録されているプログラムを読み出して、プログラムをＲＯＭやＲＡＭなどに展開し、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。

ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
以上、本発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。

５０ 基準階調変換特性設定部（基準階調変換特性設定手段）
５１ コントラスト増幅率算出部（コントラスト増幅率算出手段）
５２ 合成枚数決定部（合成枚数決定手段）
５３ 合成比率決定部（合成比率決定手段）
５４ 階調変換特性設定部
５７，５９ 階調変換処理部
５８ 階調合成処理部
１０５４ 階調変換特性決定部

Claims (8)

1. 階調変換処理を行うと共に複数枚の画像を合成して１枚の合成画像を生成する画像処理装置において、
   前記階調変換処理における基準となる基準階調変換特性を設定する基準階調変換特性設定手段と、
   前記基準階調変換特性に基づいて、輝度値に対するコントラスト増幅率を算出するコントラスト増幅率算出手段と、
   前記コントラスト増幅率に基づいて、輝度値に応じた画像の合成枚数を決定する合成枚数決定手段と、
   前記合成枚数が変化する輝度値を含む所定の輝度値の範囲において、合成比率が連続的に変化するように該合成比率を決定する合成比率決定手段と、
   を備えたことを特徴とする画像処理装置。
2. 輝度値に依存するノイズ量を予測するノイズ量予測手段を更に備え、
   前記合成枚数決定手段は、前記ノイズ量と前記コントラスト増幅率に基づいて、輝度値に応じた合成枚数を決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記基準階調変換特性及び前記合成比率に基づいて、前記複数枚の画像それぞれに対して、階調変換特性を前記画像毎に設定する階調変換特性設定手段を更に備えたこと、を特徴とする請求項１又は請求項２に記載の画像処理装置。
4. 前記複数の画像に対して階調変換処理を行う階調変換処理手段と、
   前記前記複数枚の画像を合成して合成画像を生成する合成画像生成手段を更に備え、
   前記階調変換処理手段は、前記複数の画像に対して基準階調変換特性に基づいて階調変換処理を行うと共に、前記合成画像生成手段は、階調変換処理がなされた前記複数枚の画像を前記合成枚数及び前記合成比率に従って合成することにより合成画像を生成する、請求項１又は請求項２に記載の画像処理装置。
5. 前記複数の画像に対して階調変換処理を行う階調変換処理手段と、
   前記前記複数枚の画像を合成して合成画像を生成する合成画像生成手段を更に備え、
   前記階調変換処理手段は、前記複数の画像に対して前記各階調変換特性に基づいてそれぞれ階調変換処理を行うと共に、前記合成画像生成手段は、前記階調変換処理がなされた前記複数枚の画像を加算することにより合成画像を生成する、請求項３に記載の画像処理装置。
6. 前記合成画像生成手段による合成画像生成に際して、前記複数の画像間の輝度差を補正する輝度補正手段を更に備えたことを特徴とする請求項４又は請求項５に記載の画像処理装置。
7. 前記基準階調変換特性と異なる第１の基準階調変換特性、前記基準階調変換特性及び前記合成比率に基づいて、前記複数枚の画像それぞれに対して、前記第１の基準階調変換特性に応じた第１の階調変換特性を演算する演算手段を更に設けたことを特徴とする請求項１乃至請求項６の何れか１項に記載の画像処理装置。
8. 階調変換処理を行うと共に複数枚の画像を合成して１枚の合成画像を生成する画像処理方法において、
   前記階調変換処理における基準となる基準階調変換特性を設定する基準階調変換特性設定ステップと、
   前記基準階調変換特性に基づいて、輝度値に対するコントラスト増幅率を算出するコントラスト増幅率算出ステップと、
   前記コントラスト増幅率に基づいて、輝度値に応じた画像の合成枚数を決定する合成枚数決定ステップと、
   前記合成枚数が変化する輝度値を含む所定の輝度値の範囲において、合成比率が連続的に変化するように該合成比率を決定する合成比率決定ステップと、
   を備えたことを特徴とする画像処理方法。

Images