JP2015095880A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】画像回復処理された画像をＨＤＲ合成処理する際、合成処理により回復効果が低減されるのを抑制できるようにする。【解決手段】複数枚の画像のうちのいずれかを基準画像とし、複数枚の画像のうちの基準画像とは別の画像について予め定めた条件を満たす領域を抽出する領域抽出手段と、撮像装置の撮像光学系の光学特性によって生じた画質劣化を補正するための回復処理を行う画像回復処理手段と、回復処理された別の画像のうち、予め定めた条件を満たす領域の画像を基準画像の同じ位置の領域の画像を用いて修正し、修正された別の画像を含む複数枚の画像の全てまたは一部を合成する合成処理手段とを有する。【選択図】図１

Description

本発明は画像処理装置及び画像処理方法に関し、特に、撮像レンズを含む撮像光学系の特性に起因する画像劣化を補正するための回復処理を行う画像処理装置及び画像処理方法に用いて好適な技術に関する。

屋外などにおいて撮影を行うとき、撮影シーンの輝度レンジがデジタルカメラで撮影可能なダイナミックレンジより広い場合がある。このとき、カメラの撮影可能なダイナミックレンジ外の被写体については、その階調情報を記録することができないため、白とび、黒つぶれが発生する。

例えば、晴天時に屋外で人物を撮影する場合、人物に露出を合わせると背景の空や雲が白飛びしたり、木陰が黒潰れしたりするケースがある。しかし、人間の視覚には、見ている領域の明るさや色に応じて順応状態を切り替える、「局所順応」と呼ばれる特性があり、明るい場所／暗い場所ともに階調を知覚することができる。このため、シーンを見た際の印象と撮影画像を見た際の印象とが異なっている場合があり、この点がデジタルカメラユーザの不満となっている。

図７は、同一被写体を異なる露出条件で撮影した２枚の画像を例示する図である。図７（ａ）は、被写体の暗部に露出条件を合わせて撮影された画像で、撮影シーン手前の人物及び建物７０２の階調が適切に表現されているが、撮影シーン背景の晴天の空及び雲７０１は白とびを起こしている。

図７（ｂ）は、被写体の明部に露出条件を合わせて撮影された画像で、撮影シーン背景の晴天の空及び雲７０１の階調が適切に表現されているが、撮影シーン手前の人物及び建物７０２は黒つぶれを起こしている。

このように、露光量の多い画像は白とび、露光量の少ない画像は黒つぶれが起きやすい。ＨＤＲ合成処理では、この白とび、黒つぶれ領域を除外するために重み関数を用いる。この重み関数の一例を図２に示す。図２で、画素値は［０、１］に正規化されているものとする。

図２に示すように、重み関数は飽和する０、１で最小となり、中間値で最大となり、値が飽和値に近づくほど画素値の信頼性がなくなるように設定している。前述した２枚の画像は、画像間の露出差を加味した上で、それぞれの階調情報の信頼度に基づく重み付線形和で画像合成することで、暗部から明部までの階調情報を良好に表現した合成画像が生成される。

このような問題を解決するため、暗部と明部を有する同一の被写体を異なる露出条件で撮影して得られた複数の撮影画像を各画像の露出、階調表現を考慮して合成することが行われている。このように合成することで、白とび、黒つぶれが発生していた領域の階調情報が記録された合成画像を生成可能とするＨｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｉｍａｇｉｎｇ合成（ＨＤＲ合成）と称する技術が知られている（例えば、特許文献１参照）。

また、撮像装置においては、被写体を撮影した場合、レンズ等の収差の影響により、実際の被写体よりも画像データに劣化が生じることが知られている。この劣化を回復する技術として、光学系の点広がり関数（ＰＳＦ：Point Spread Function）から算出した回復フィルタを用いる画像回復処理技術が知られている（例えば、特許文献２参照）。

具体的には、回復フィルタをＲ、劣化した画像データをＯ、回復後の画像データをＳとすると、式１のように表すことができる。
Ｓ＝Ｏ＊Ｒ・・・（式１）
ここで、＊は畳み込み積分である。劣化した画像データを回復するための回復フィルタは、画像入力装置において予め保持されている。

特開２００３−３１９２４０号公報 特開２００１−１９７３５４号公報

従来、一般的には、ＨＤＲ合成など、撮影画像に対して所定の画像処理をする前に、撮像画像について、撮像光学系の特性に起因する画像劣化補正を行うようにする。このため、ＨＤＲ合成の場合、重ね合わせてＨＤＲ合成処理を行うために取り込む複数枚の撮影画像の各画像について、それぞれ前述した画像回復処理を施す必要がある。撮像光学系の特性に起因する画像劣化を、画像回復フィルタを用いて高精度に補正するためには、畳み込みの対象（ぼけ画像）の真の画素値を得る必要がある。

しかしながら、前述したように、ＨＤＲ合成に用いる画像では、明部と暗部についてそれぞれの階調情報を得るために露出条件を振った画像が入力されることが前提である。特に、暗部に露出条件を合わせて撮影された画像では、画像内で輝度飽和を起こしている可能性が高い。輝度飽和部では、対象画像の真の画素値が得られないため、画像回復処理において、そのまま回復フィルタを適用すると飽和した画素の影響を受けて飽和部付近が黒沈みを起こしてしまい、画質が劣化してしまう。

図３、図４を用いて、輝度飽和による黒沈みが発生する原因と現象を説明する。
図３（ａ）は、画面内の輝度飽和部に対して回復フィルタを適用した場合に生じる黒沈みの原因を説明するために、点光源を含む被写体を撮影した画像のうち点光源の部分を拡大した図である。図３（ａ）において、３０１は回復フィルタを表しており、３０２は回復フィルタの現在の注目画素を表している。

図３（ｂ）は、図３（ａ）のうち回復フィルタを適用している画素付近の画素値をグラフ化した図である。図３（ｂ）において、３０３は、非飽和画素の画素値を表しており、３０４は飽和画素の画素値を表している。図３（ｂ）のうち３０４で表している飽和画素については、撮像装置の輝度レンジを超える輝度のため、画像からは被写体の真の画素値が得られず、実際の画素値よりも大幅に小さな画素値となってしまっている。次に、飽和画素付近の非飽和領域画素が回復フィルタ適用前後でどのように変化するか、図４を用いて説明する。

図４（ａ）は、飽和画素と周辺の非飽和画素について、回復フィルタを適用する前の画素値を表す図である。図４（ａ）に対して、回復フィルタを適用した結果が図４（ｂ）である。図４（ｂ）において、飽和画素の影響を受けて、飽和画素と非飽和画素の境界にあたる部分が黒沈みを起こしていることが確認できる。

このような、飽和画素を含む領域について、撮影シーンの明部に露出条件を合わせて撮影された露光量の少ない画像では、輝度飽和が起こりにくい。このため、正しい回復結果が得られるが、ＨＤＲ合成処理によって各画像の画素値が統合されるため、入力画像に対して適用した画像回復処理の回復効果が低減してしまうという問題点があった。
本発明は前述の問題点に鑑み、ＨＤＲ合成処理により回復効果が低減されるのを抑制できるようにすることを目的とする。

本発明の画像処理装置は、同露出を変化させながら撮影された複数枚の画像を読み込む撮影画像読込手段と、前記撮影画像読込手段から読み出した複数枚の画像のうちのいずれかを基準画像とし、前記複数枚の画像のうちの前記基準画像とは別の画像について予め定めた条件を満たす領域を抽出する領域抽出手段と、前記複数枚の画像に対し、前記複数枚の画像を撮影した撮像装置の撮像光学系の光学特性によって生じた画質劣化を補正するための回復処理を行う画像回復処理手段と、前記画像回復処理手段で回復処理された前記別の画像のうち、前記予め定めた条件を満たす領域における画像を前記基準画像の同じ位置の領域の画像を用いて修正し、修正された前記別の画像を含む前記複数枚の画像の全てまたは一部を合成する合成処理手段を有することを特徴とする。

本発明によれば、ＨＤＲ合成処理により回復効果が低減されるのを抑制することが可能となる。

第１の実施形態に係る画像処理装置の構成例を示すブロック図である。 ＨＤＲ合成処理に用いる重み関数の一例を示す図である。 画像回復処理で輝度飽和部に発生する黒沈みの原因を説明する図である。 画像回復処理で輝度飽和部に発生する黒沈みの現象を説明する図である。 第１の実施形態に係る画像処理の流れを示すフローチャートである。 第１の実施形態に係るＨＤＲ合成処理の流れを示すフローチャートである。 被写体の暗部・明部に露出条件を合わせて撮影された撮影画像の一例を示す図である。

以下、本発明の実施形態について、図面を参照して説明する。なお、以下の実施形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。

（第１の実施形態）
図１は、第1の実施形態に係るＨＤＲ合成処理の前段にて処理した画像回復処理の効果を合成処理によって低減することなく合成する画像処理装置の構成例を示すブロック図である。本実施形態における画像処理装置１０１は、記憶装置１０２、撮影画像読込部１０３、基準画像選択部１０４、輝度飽和領域抽出部１０５、回復フィルタ読込部１０６、画像回復処理部１０７、ＨＤＲ合成処理部１０８、画素置換処理部１０９を有する。

図５は、第１の実施形態に係る画像処理装置の処理手順を示すフローチャートである。
図５において、まず、Ｓ５０１で撮影画像読込部１０３は、同一被写体について明部から暗部までの階調情報を得るために露出条件を変化させながら少なくとも２枚以上撮影して得た複数枚（Ｎ枚）の撮影画像を記憶装置１０２から読み込む。

Ｓ５０２では、Ｓ５０１で読み込んだ全ての画像に対して、撮像光学系の特性に起因する画像劣化を補正する画像回復処理（Ｓ５０３〜Ｓ５０５）を行う準備として、ループ変数ｎに初期値１を設定する。
Ｓ５０３で回復フィルタ読込部１０６は、ｎ番目の画像について、合焦距離、絞り値、等の撮影光学情報を取得し、Ｓ５０４でこれらの情報に基づいて適切な回復フィルタを読み込む。

なお、撮影時光学情報は、画像が撮影された際のレンズを識別する識別情報、ズーム位置を特定するための撮影時焦点距離情報、Ｆ値等を含む。この撮影時光学情報は、付加情報として画像（画像ファイル）に付加され、例えばＥｘｉｆ（Exchangeable image file format）規格で定められたＭａｋｅｒＮｏｔｅタグに格納されているものとする。

Ｓ５０５で、画像回復処理部１０７は、Ｓ５０４で読み込んだ回復フィルタをｎ番目の画像の全域に適応して、撮像装置の撮像光学系の光学特性によって生じた画質劣化を補正するための回復処理を行う。
Ｓ５０６では、読み込んだ全ての画像に対して画像回復処理が行われたか否かの判定を行う。画像回復が未処理の画像が残っている場合には、Ｓ５０７で撮影画像の参照インデックスを１増やし、Ｓ５０３に戻って次の画像に対して画像回復処理を行う。これを全ての画像に対して繰り返す。画像回復が未処理の画像が残っていない場合には、Ｓ５０８に進む。

Ｓ５０８では、前述したＳ５０３〜Ｓ５０５の画像回復処理で正しい回復効果が得られない輝度飽和領域に含まれる画素をＨＤＲ合成時に統合されないようにするための処理を行う。すなわち、ここでは、最も回復効果が高いと考えられる１枚の画像の画素で置き換えるための基準となる画像を基準画像選択部１０４で選択する。基準画像選択部１０４は、読み込まれたすべての画像の、絞り、シャッタースピード、ＩＳＯ感度設定を比較し、入力画像のなかで最も露出時間が短く撮影された撮影画像を基準画像として選択し、入力画像の配列の先頭（１番目）に配置する。これは、最も露出時間が短く撮影された撮影画像が最も白とびしている領域が発生しにくく、回復フィルタを適用した後の画像において黒沈みが発生している可能性が最も低いためである。

Ｓ５０９では、Ｓ５０８で基準画像として選択した画像以外の画像を処理するための準備として、ループ変数ｎに初期値２を設定する。
Ｓ５１０で、ｎ番目の画像について、輝度飽和領域を抽出する。輝度飽和領域は、全ての画素について画像の量子化ビット精度の最大値と同値が記録されている画素を０、それ以外の画素を１とすることで検出することができる。

そして検出した輝度飽和画素に回復フィルタのタップの大きさだけ領域拡張処理を繰り返すことで輝度飽和画素に対して回復フィルタを適用した際に黒沈みが生じる領域も含めた領域が抽出できる。この領域拡張処理は、ある画素に注目したときに、近傍の定義を変換し、近傍に黒（０）画素がある白（１）画素を黒（０）画素に変換する一般的な画像処理であるため、説明は割愛する。

Ｓ５１１は、基準画像を除く全ての撮影画像の輝度飽和領域が抽出できたか否かの判定を行う。輝度飽和領域が抽出できていない画像が残っている場合には、Ｓ５１２で撮影画像の参照インデックスを１増やし、Ｓ５１０の抽出処理を次の画像に対して行う。これを、基準画像を除く全ての画像に対して繰り返す。基準画像を除く全ての撮影画像の輝度飽和領域が抽出できた場合には、Ｓ５１３に進む。なお、ここでは、画像回復処理を行った画像から輝度飽和領域を抽出する例を説明したが、画像回復処理が行われる前の画像から輝度飽和領域を抽出することもできる。画像回復処理が行われる前の、画像内の白とびが発生している領域の位置から、回復フィルタのタップの大きさに基づいて、画像回復処理後に黒沈みが生じる領域を予想すればよい。

Ｓ５１３では、ＨＤＲ合成処理部１０８は、Ｓ５１０で抽出した輝度飽和領域を加味し、回復効果が正しく得られなかった飽和画素を合成対象から除外することで、合成によって回復効果が低下してしまうことを抑制するＨＤＲ合成処理を行う。図６を用いて、回復効果の低下を抑制するＨＤＲ合成処理の流れについて説明する。

図６は、回復効果の低下を抑制するＨＤＲ合成処理の流れについて説明するフローチャートである。
Ｓ６０１は、ＨＤＲ合成処理の出力画像の全画素について処理を行う準備として、ループ変数ｍに初期値１を設定する。
Ｓ６０２は、全ての入力画像を参照して各画素を合成するための準備として、ループ変数ｎに２を設定する。

Ｓ６０３では、ｎ番目の画像のｍ画素を取得する。Ｓ６０４〜Ｓ６０６では、基準画像以外の画像について、注目画素ｍが輝度飽和領域抽出部１０５で抽出した画像内の輝度飽和領域に属するか否かを判定する。そして、輝度飽和領域に属する場合には、Ｓ６０５にて画素置換処理部１０９がｎ番目の画像の注目画素ｍを基準画像で同じ配置の画素と置換する。

この置換を行う際、ｎ番目の撮影画像と基準画像との画像間の露出差を考慮して露出差分のゲインをかけた上で画素を置き換える。基準画像は、他の画像に比べて白とびが発生している可能性が低いため、画像回復処理を行ったあとに黒沈みが生じている可能性が低い。よって、Ｓ６０３の処理を行うことによって、黒沈みが生じている領域の画素の値が、黒沈みが生じていない可能性が高い基準画像の画素の値を用いて修正されることになる。
Ｓ６０６で「ｎ＜Ｎ」を判定し、「Ｙｅｓ」の場合にはＳ６０７において、ループ変数ｎを１つ増やし、その後、Ｓ６０３に戻り、Ｓ６０３〜Ｓ６０５までの処理を基準画像を除く全ての画像に対して行っていく。
Ｓ６０８では、すべての入力画像の注目画素ｍを露出で正規化した上で、前述した図２で例示したような重み関数を用いて画像を統合する。

Ｓ６０９では、前述した合成処理を出力画像の全画素について行うための判定処理で、全ての画素を処理するまでは、Ｓ６１０にて注目画素の参照インデックスを１増やし、Ｓ６０２〜Ｓ６０８までの合成処理を繰り返す。なお、着目画素が輝度飽和領域に含まれる場合に、基準画像の同じ位置の画素の値で置換するという一連の処理を全ての画素について行ってから、Ｓ６０８の画像の統合を最後に行うようにしてもよい。また、本実施形態では、基準画像を含む複数枚の画像を全て用いてＨＤＲ合成処理を行う例をあげたが、基準画像を除く一部の画像のみを用いてＨＤＲ合成処理を行うようにしてもよい。こうすることで、基準画像の露出条件のみを他の画像に対して極端に変えることで、白とびが生じない画像をより高い確率で生成することができるようになる。

以上、説明したように、本実施形態によれば、各画像の階調情報の信頼度を表す重み関数に基づく重み付線形和で合成するＨＤＲ合成処理の前段にて行われる画像回復処理において、正しい回復結果が得られない輝度飽和領域。もしくは、黒沈みなどによる画質が低下してしまう輝度飽和領域の画素については、入力画像の中で最も輝度飽和が少ない基準画像の画素値と置き換えて合成対象から除外することで、ＨＤＲ合成処理により回復効果が低減されることを抑制することができる。
なお、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

（その他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（コンピュータプログラム）を、ネットワーク又は各種のコンピュータ読み取り可能な記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して制御する処理である。

１０１ 画像処理装置
１０２ 記憶装置
１０３ 撮影画像読込部
１０４ 基準画像選択部
１０５ 輝度飽和領域抽出部
１０６ 回復フィルタ読込部
１０７ 画像回復処理部
１０８ ＨＤＲ合成処理部
１０９ 画素置換処理部

Claims (10)

1. 露出を変化させながら撮影された複数枚の画像を読み込む撮影画像読込手段と、
   前記撮影画像読込手段から読み出した複数枚の画像のうちのいずれかを基準画像とし、前記複数枚の画像のうちの前記基準画像とは別の画像について予め定めた条件を満たす領域を抽出する領域抽出手段と、
   前記複数枚の画像に対し、前記複数枚の画像を撮影した撮像装置の撮像光学系の光学特性によって生じた画質劣化を補正するための回復処理を行う画像回復処理手段と、
   前記画像回復処理手段で回復処理された前記別の画像のうち、前記予め定めた条件を満たす領域における画像を前記基準画像の同じ位置の領域の画像を用いて修正し、修正された前記別の画像を含む前記複数枚の画像の全てまたは一部を合成する合成処理手段を有することを特徴とする画像処理装置。
2. 前記領域抽出手段は、前記別の画像において、飽和している領域に基づいて前記予め定めた条件を満たす領域を抽出することを特徴とする請求項１に記載の画像処理装置。
3. 前記領域抽出手段は、前記別の画像において、前記飽和している領域および前記回復処理で用いるフィルタのタップの大きさに基づいて前記予め定めた条件を満たす領域を抽出することを特徴とする請求項２に記載の画像処理装置。
4. 前記合成処理手段は、前記別の画像の前記予め定めた条件を満たす領域の画像を、前記基準画像の同じ位置の領域の画像を処理したもので置換することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記合成処理手段は、前記別の画像の前記予め定めた条件を満たす領域の画像を、前記基準画像の同じ位置の領域の画像に対して、前記別の画像と前記基準画像の露出条件に差に応じたゲインをかけたもので置換することを特徴とする請求項４に記載の画像処理装置。
6. 前記合成処理手段は、前記複数枚の画像の全てまたは一部を、画素ごとにそれぞれの画素の値に基づいて合成することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記基準画像は、前記の複数枚の画像のうち、最も露出時間が短く撮影された画像であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 露出を変化させながら撮影された複数枚の画像を読み込む撮影画像読込工程と、
   前記撮影画像読込工程において読み出した複数枚の画像のうちのいずれかを基準画像とし、前記複数枚の画像のうちの前記基準画像とは別の画像について予め定めた条件を満たす領域を抽出する領域抽出工程と、
   前記複数枚の画像に対し、前記複数枚の画像を撮影した撮像装置の撮像光学系の光学特性によって生じた画質劣化を補正するための回復処理を行う画像回復処理工程と、
   前記画像回復処理工程で回復処理された前記別の画像のうち、前記予め定めた条件を満たす領域における画像を前記基準画像の同じ位置の領域の画像を用いて修正し、修正された前記別の画像を含む前記複数枚の画像の全てまたは一部を合成する合成処理工程とを有することを特徴とする画像処理方法。
9. 露出を変化させながら撮影された複数枚の画像を読み込む撮影画像読込工程と、
   前記撮影画像読込工程において読み出した複数枚の画像のうちのいずれかを基準画像とし、前記複数枚の画像のうちの前記基準画像とは別の画像について予め定めた条件を満たす領域を抽出する領域抽出工程と、
   前記複数枚の画像に対し、前記複数枚の画像を撮影した撮像装置の撮像光学系の光学特性によって生じた画質劣化を補正するための回復処理を行う画像回復処理工程と、
   前記画像回復処理工程で回復処理された前記別の画像のうち、前記予め定めた条件を満たす領域における画像を前記基準画像の同じ位置の領域の画像を用いて修正し、修正された前記別の画像を含む前記複数枚の画像の全てまたは一部を合成する合成処理工程とをコンピュータに実行させるようコンピュータを制御することを特徴とするプログラム。
10. 請求項９に記載のプログラムを記憶したことを特徴とするコンピュータ読み取り可能な記憶媒体。

Images