JP2011044825A - 画像処理装置、画像処理方法、及びコンピュータプログラム - Google Patents

Abstract

【課題】撮像光学系に起因する画像のぼけを少ない計算量で小さくできるようにする。
【解決手段】撮像レンズと被写体との距離である被写体距離を取得し、被写体距離に応じて画像の領域を分割し、距離画像を生成する。また、ピントの合っている領域から、主要被写体の領域である主要被写体領域を抽出する。この主要被写体領域と主要被写体領域とピントが同じ被写体領域の被写体距離に対応する補正係数を予め登録されているデータベースから取得する。そして、取得した補正係数を用いて生成した回復フィルタを用いて、主要被写体と主要被写体とピントが同じ被写体における、ぼけが発生している領域の画像回復処理を行う。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、及びコンピュータプログラムに関し、特に、撮像光学系で発生した画質の劣化を補正するために用いて好適なものである。

撮影画像の画質は撮像光学系の影響を受ける。例えば、高性能なレンズを使用した場合には、ぼけの小さい、くっきりとした画像を得ることが出来る。逆に、安価な性能の悪いレンズを使用した場合に得られる画像はぼけている。
そこで、撮像光学系に起因する画像のぼけを補正する方法として、撮影画像に画像処理を施すことで、撮像光学系に起因する画像のぼけを補正する方法が従来から知られている。この方法では、撮像光学系に起因する画像のぼけの特性を予めデータ化しておき、このぼけ特性データに基づいて画像のぼけを補正する。

撮像光学系に起因する画像のぼけの特性をデータ化する方法として、点像分布関数（ＰＳＦ）によってぼけの特性を表す方法がある。ＰＳＦは被写体の一点がどの様にぼけるかを表すものである。例えば、暗黒下で体積が非常に小さい発光体を撮影した場合のセンサ面上での光の２次元的分布が、その撮影を行った撮像光学系のＰＳＦにあたる。ぼけの小さい理想的な撮像光学系ではＰＳＦはほぼ一点であり、ぼけの大きい撮像光学系ではＰＳＦは一点ではなく、ある程度の広がりを持っている。実際に撮像光学系のＰＳＦをデータとして取得する際には、必ずしも点光源のような被写体を撮影する必要はない。例えば、白黒のエッジを有するチャートを撮影し、撮影した画像からチャートに対応した計算方法によってＰＳＦを求める方法等が知られている。また、撮像光学系の設計データから計算によってＰＳＦを得る事も可能である。

ＰＳＦデータを用いてぼけを補正する方法として、逆フィルタによる方法が良く知られている。説明のため、ここでは、暗黒下で点光源を撮影した場合を想定する。ぼけのある撮像光学系では、点光源から出た光はセンサ面上において、ある程度の広がりを有する光の分布を形成する。光は撮像素子によってサンプリングされ、電気信号となる。この電気信号を画像化すると、点光源を撮影したデジタル画像が得られる。ぼけのある撮像光学系において、撮影画像中の点光源は一画素だけ０でない画素値を有するのではなく、周囲の画素もある程度の０でない画素値を有する。この画像を略一点で０でない画像に変換する画像処理が逆フィルタであり、逆フィルタによってあたかもぼけの少ない撮像光学系で撮影したかのような画像が得られる。尚、ここでは説明のため、点光源を例に挙げて説明したが、被写体からの光も多数の点光源の集まりと考えれば、被写体の各部分から放たれる光の各々がぼけなくなることで、一般の被写体でもぼけの少ない画像が得られる。

次に、具体的な逆フィルタの構成方法を、数式を用いて説明する。ぼけのない理想的な撮像光学系を用いて撮影した撮影画像をｆ（ｘ，ｙ）とする。ｘ，ｙは画像の二次元上の位置を示し、ｆ（ｘ，ｙ）は位置ｘ，ｙでの画素値を表している。一方、ぼけのある撮像光学系で撮影した撮影画像をｇ（ｘ，ｙ）とする。また、ぼけのある撮像光学系のＰＳＦをｈ（ｘ、ｙ）で表す。するとｆ，ｇ，ｈには、次の（１）式の関係が成り立つ。
ｇ（ｘ，ｙ）＝ｈ（ｘ，ｙ）＊ｆ（ｘ，ｙ） ・・・（１）
尚、（１）式において、＊はコンボリューションを意味している。ぼけを補正することは、ぼけのある撮像光学系で撮影した画像ｇと、その撮像光学系のＰＳＦであるｈとから、ぼけのない撮像光学系で取得した撮像画像の画素値ｆを推定する事と言い換えることもできる。また、これをフーリエ変換して空間周波数面での表示形式に変換すると、以下の（２）式のように周波数ごとの積の形式になる。
Ｇ（ｕ，ｖ）＝Ｈ（ｕ，ｖ）・Ｆ（ｕ，ｖ） ・・・（２）

Ｈは、ＰＳＦをフーリエ変換したものであり、光学伝達関数（ＯＴＦ）と呼ばれている。ｕ，ｖは、２次元周波数面での座標、即ち周波数を示す。Ｇは、ぼけのある撮像光学系で撮影した撮影画像ｇのフーリエ変換であり、Ｆはｆのフーリエ変換である。
撮影されたぼけのある画像から、ぼけのない画像を得るためには、以下の（３）式のように、（２）式の両辺をＨで除算すればよい。
Ｇ（ｕ，ｖ）／Ｈ（ｕ，ｖ）＝Ｆ（ｕ，ｖ） ・・・（３）
このＦ（ｕ，ｖ）を逆フーリエ変換して実面に戻すことで、ぼけのない画像ｆ（ｘ，ｙ）が回復像として得られる。
ここで、Ｈ^-1を逆フーリエ変換したものをＲとすると、以下の（４）式のように実面での画像に対するコンボリューションを行うことでぼけのない画像ｆ（ｘ，ｙ）が得られる。
ｇ（ｘ，ｙ）＊Ｒ（ｘ，ｙ）＝ｆ（ｘ，ｙ） ・・・（４）
このＲ（ｘ，ｙ）を逆フィルタと呼ぶ。実際には、Ｈ（ｕ，ｖ）が０になる周波数（ｕ，ｖ）では０での除算が発生するため、逆フィルタＲ（ｘ，ｙ）は多少の変形がなされる。

また、通常ＯＴＦは、高周波であるほど値が小さくなるため、その逆数である逆フィルタＲ（ｘ，ｙ）は高周波であるほど値が大きくなる。したがって、逆フィルタを用いてぼけのある撮影画像ｇにコンボリューション処理を行うと、撮影画像の高周波成分が強調される。しかし、実際の画像ではノイズも含まれており、ノイズは一般的に高周波であるため、逆フィルタではノイズを強調してしまう。このため、逆フィルタＲ（ｘ，ｙ）を式変形し、逆フィルタＲ（ｘ，ｙ）に高周波を強調しない特性を持たせる方法が知られている。ノイズを考慮して高周波をあまり強調しないフィルタとしてウィナーフィルタが有名である。以上のように現実的には、撮影画像にノイズが混入したり、ＯＴＦが０になる周波数があったりする場合等の理想条件との乖離により、ぼけを完全に取り除くことはできないが、このような処理により画像のぼけを低減することができる。以降では、逆フィルタやウィナーフィルタ等のぼけ補正で用いるフィルタをまとめて回復フィルタと呼ぶ。回復フィルタは、撮像光学系のＰＳＦを用いて計算することに特徴がある。

被写体に適したピント状態においても、レンズの収差による画像劣化が存在する。最適な回復フィルタは、画像平面内の位置や、撮像レンズから被写体までの距離により異なっている。当然のことながら画像全体に一様に回復フィルタをかけると、距離や位置が合わず回復特性が合わない領域には偽色等の弊害が発生する。このため、劣化した画像をよりボケの少ない画像に回復するためには、領域毎に最適な回復フィルタを与える必要がある。

特開２００８−６７０９３号公報

Image and Depth from a Conventional Camera with a Coded Aperture, Levin et al, ACM Transactions on Graphics, Vol. 26, No. 3, Article 70, Publication date: July 2007

しかしながら、領域毎に最適なフィルタを生成することは、計算量が増大し、レンズ交換式のカメラシステムにおいては、レンズ−ボディ間の通信量が増大すること等により、撮影速度が低下する等、カメラのパフォーマンス（連写や動画撮影等）に影響を与える。
また、被写体までの距離に応じて画像データの画像各部における画像処理を行う技術として特許文献１に記載の技術がある。この技術では、被写界の３次元計測データから得られる被写界の奥行き別に画像を領域分解し、奥行別に画像の回復のための処理を行うようにしている。
しかしながら、この特許文献１に記載の技術では、外部の３次元測距装置が必要である。また、この特許文献１に記載の技術は、ブレ補正等が対象であり、レンズ収差による画像の劣化に対する画像回復処理には考慮されていない。
本発明は、このような問題点に鑑みてなされたものであり、撮像光学系に起因する画像のぼけを少ない計算量で小さくできるようにすることを目的とする。

本発明の画像処理装置は、撮像装置が備える光学レンズ系に起因する撮像画像の劣化を補正する画像処理装置であって、前記撮像装置から撮像する対象の被写体までの距離を取得する取得手段と、前記被写体のうち、主要な被写体を特定する特定手段と、前記主要な被写体と同じピントの領域を抽出する抽出手段と、前記撮像画像に対して、光学レンズ系に起因する撮像画像の劣化を補正する補正手段と、を有し、前記補正手段は、前記主要な被写体と同じピントの領域に対しては、前記撮像装置から当該領域までの距離に応じた回復フィルタを用いて、光学レンズ系に起因する撮像画像の劣化を補正することを特徴とする。

本発明によれば、主要な被写体と同じピントの領域に対しては、撮像装置から当該領域までの距離に応じた回復フィルタを用いて、光学レンズ系に起因する撮像画像の劣化を補正するようにした。したがって、撮像光学系に起因する画像のぼけを少ない計算量で小さくすることができる。

撮像装置の基本構成を示す図である。 画像処理部等の処理を説明するフローチャートである。 撮像装置の構成を示す図である。 絞りの開口形状を示す図である。 パワースペクトルの第１の例を示す図である。 パワースペクトルの第２の例を示す図である。 距離画像を得る際の処理を説明するフローチャートである。 元画像と、距離画像を示す図である。 ぼけ補正処理を説明するフローチャートである。

以下、図面を参照しながら、本発明の一実施形態を説明する。
図１は、撮像装置の基本構成の一例を示す図である。
不図示の被写体からの光を撮像光学系１００（光学レンズ系）で撮像素子１０２に結像する。結像された光は撮像素子１０２で電気信号に変換され、その電気信号がＡ／Ｄコンバータ１０３でデジタル信号に変換され、画像処理部１０４に入力される。尚、撮像素子１０２は、受光面上に結像された像による光信号を、対応する位置の受光画素毎に電気信号に変換する光電変換素子である。

システムコントローラ１１０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備えており、ＲＯＭに記憶されたコンピュータプログラムを実行すること等により撮像装置を制御する。
画像処理部１０４は、状態検知部１０７から撮像装置の撮像状態の情報を得る。状態検知部１０７は、システムコントローラ１１０から、撮像装置の撮像状態の情報を得てもよいし、システムコントローラ１１０以外から、撮像装置の撮像状態の情報を得てもよい。例えば、状態検知部１０７は、撮像光学系１００に関する撮像状態情報を、撮像光学系制御部１０６から得ることができる。距離取得部１１１は、撮影した画像の距離情報（撮像レンズから被写体までの被写体距離の情報）を得る。画像処理部１０４は、距離取得部１１１で得られた距離情報に基づいて、被写体距離に応じた領域分割を行う。

被写体判定部１１２は、例えば、状態検知部１０７が検知しているレンズ位置を示す距離情報に従って、撮像した画像のピントの合っている領域から、主要な被写体の領域である主要被写体領域や、主要被写体領域と同じピントの被写体領域を抽出する。画像処理部１０４は、距離取得部１１１で得た距離情報と、被写体判定部１１２で抽出した主要被写体領域の情報と、主要被写体と同じピントの被写体領域の情報を用いて、最適な回復フィルタを生成するために必要な補正係数を記憶部１０８から取得する。具体的に本実施形態では、回復フィルタを生成するために必要な補正係数が距離情報毎に登録されたデータベースが記憶部１０８にある。画像処理部１０４は、主要被写体領域の距離情報と、主要被写体と同じピントの被写体領域の距離情報に対応する補正係数をデータベースから読み出す。そして、画像処理部１０４は、その補正係数に基づく回復フィルタを用いて、画像処理部１０４に入力された画像データ（主要被写体領域、主要被写体と同じピントの被写体領域）に対してぼけ補正処理（撮像光学系１００の収差の補正処理）を行う。画像処理部１０４により撮像光学系１００に起因するぼけ（劣化）が補正された画像データは画像記録媒体１０９に保存されたり、表示部１０５により表示されたりする。ここで、画像回復処理に用いる回復フィルタは、背景技術での記述の通り、撮像光学系１００の設計データを用いて作成されるものである。また、回復フィルタは、設計データのみならず、交差データも用いて作成されてもよい。

＜画像処理部１０４の処理＞
図２は、画像処理部１０４等の処理の一例を説明するフローチャートである。
まず、ステップＳ１０１において、画像処理部１０４は、撮像画像のデータ（撮像画像でーた）を取得する。
次に、ステップＳ１０２において、被写体判定部１１２は、撮像画像データのピントの合っている領域から主要被写体領域を選択する。
次に、ステップＳ１０３において、画像処理部１０４は、主要被写体領域の情報を取得する。
次に、ステップＳ１０４において、画像処理部１０４は、主要被写体領域の距離情報と、主要被写体と同じピントの被写体領域の距離情報を取得する。尚、本実施形態では、距離情報は、後述する距離画像である（図７、図８を参照）。
次に、ステップＳ１０５において、画像処理部１０４は、主要被写体領域の距離情報に対応する補正係数と、主要被写体と同じピントの被写体領域に対応する補正係数とを記憶部１０８から取得する。この際、必要に応じて、ぼけ補正に先立つ前処理が画像データに対してなされてもよい。例えば、撮像素子１０２の欠陥を補償するような処理等がぼけ補正に先立ち行われてもよい。
次に、ステップＳ１０６において、画像処理部１０４は、取得した補正係数を適用した回復フィルタを用いて、撮影画像の特定の画像成分に対して撮像光学系１００に起因するぼけ（劣化）を補正する。本実施形態では、撮影画像の特定の画像成分は、例えば、主要被写体領域のぼけが発生している領域と、主要被写体と同じピントの被写体領域のぼけが発生している領域の画像成分である。ここで、本実施形態では、撮像光学系１００であるレンズユニットは交換可能となっている。レンズによってＰＳＦの特性は異なるため、撮像装置に装着されている撮像光学系１００によって回復フィルタを変更するようにする。このため、システムコントローラ１１０は、例えば、ＰＳＦ毎に回復フィルタを記憶しており、装着されている撮像光学系１００に対応するＰＳＦの回復フィルタを取得する。

＜被写体判定部１１２の処理＞
被写体判定部１１２は、ピントの合っている領域に対し主要被写体領域の判定、抽出を行う。判定に用いる情報としては、例えば、フォーカスを合わせた画像の位置情報や、カメラ機能として撮像装置が有している顔検出や人物検出機能、画像から得られる顔検出・人物検出・肌色検出等の画像処理によって得られる情報がある。また、撮影時にユーザインターフェースを操作することによって、主要被写体領域をユーザが予め設定するようにしてもよい。

＜距離取得部１１１の構成＞
図３は、撮像装置の構成の一例を示す図である。図３では、撮像装置がデジタル１眼レフカメラである場合を例に挙げて示している。尚、本構成はデジタル１眼レフカメラに限るものではなく、コンパクトデジタルカメラ、デジタルビデオカメラ等の撮像装置にも適用することができる。
図３において、１３０はカメラ本体、１００は撮像光学系であり、交換可能なレンズユニットである。
撮像光学系１００において、１０１ｂ〜１０１ｄはレンズエレメントである。１０１ｂは、光軸上を前後に移動することで撮影画面のピント位置を調整するフォーカシングレンズ群である。１０１ｃは、光軸上を前後に移動することで撮像光学系１００の焦点距離を変更し、撮影画面の変倍を行う変倍レンズ群である。１０１ｄは、テレセントリック性等のレンズ性能を向上させるための固定レンズである。１０１ａは絞りである。

１５３は、測距エンコーダであり、フォーカシングレンズ群１０１ｂの位置を読み取り、フォーカシングレンズ群１０１ｂの位置情報、即ち被写体距離に相当する信号を発生する。１０６は、撮像光学系制御部であり、カメラ本体１３０から送られた信号に基づいて、絞り１０１ａの開口径を変化させ、測距エンコーダ１５３から送られた信号に基づきフォーカシングレンズ群１０１ａの移動制御を行う。また、撮像光学系制御部１０６は、測距エンコーダ１５３が発生した信号に基づく被写体距離と、変倍レンズ群１０１ｃの位置情報に基づく焦点距離と、絞り１０１ａの開口径に基づくＦナンバとを含むレンズ情報をカメラ本体１３０に送信する。１４６は、撮像光学系１００とカメラ本体１３０との通信インターフェイスとなるマウント接点群である。

次に、カメラ本体１３０の構成の一例について説明する。
１３１は、主ミラーであり、ファインダー観察状態では撮影光路内に斜設され、撮影状態では撮影光路外に退避する。また、主ミラー１３１は、ハーフミラーとなっており、撮影光路内に斜設されているときは、後述する測距センサ１３３へ被写体からの光線の約半分を透過させる。１３４は、レンズ１０１ｂ〜１０１ｄの予定結像面に配置されたファインダースクリーンであり、撮影者はアイピース１３７を通してこのファインダースクリーン１３４を観察することで撮影画面を確認する。ここで、１３６は、ペンタプリズムであり、ファインダースクリーン１３４からの光線をアイピース１３７へ導くための光路変更を行う。

１３３は、測距センサであり、主ミラー１３１の裏側に退避可能に設けられたサブミラー１３２を介して撮像光学系１００からの光束を取り込む。測距センサ１３３は、取り込んだ光束の状態をシステムコントローラ１１０に送る。システムコントローラ１１０は、その光束の状態に基づき、撮像光学系１００の被写体に対するピント状態を判定する。続けてシステムコントローラ１１０は、判定されたピント状態と、撮像光学系制御部１０６から送られるフォーカシングレンズ群１０１ｂの位置情報に基づき、フォーカシングレンズ群１０１ｂの動作方向と動作量とを算出する。

１３８は、測光センサであり、ファインダースクリーン１３４上に映された画面上の所定領域における輝度信号を発生し、システムコントローラ１１０に送信する。システムコントローラ１１０は、この測光センサ１３８から送信された輝度信号の値に基づき、撮像素子１０２への適切な露光量を決定する。更に、システムコントローラ１１０は、撮影モード切替部１４４によって選択される撮影モードに応じて、前記適切な露光量となるように設定されたシャッタースピードに応じた絞り１０１ａの制御を行う。また、システムコントローラ１１０は、設定された絞り値、もしくは、レンズ情報と共に送信される絞り板１５１の情報に応じて、シャッター１３９のシャッター速度の制御を行う。また、場合によっては、システムコントローラ１１０は、それらの組み合わせた制御を行う。

シャッタースピード優先モードの場合、システムコントローラ１１０は、パラメータ設定変更部１４５により設定されたシャッター速度に対して、前記適切な露光量を得る絞り１０１ａの開口径を算出する。システムコントローラ１１０は、この算出値に基づき、撮像光学系制御部１０６に命令を送ることで絞り１０１ａの開口径を調整する。一方、絞り優先モードもしくは絞り板使用撮影モードの場合、システムコントローラ１１０は、設定された絞り値、もしくは、絞り板１５１の選択状態に対して適切な露光量を得るシャッター秒時を算出する。絞り板１５１が選択されている場合、撮像光学系制御部１０６は、絞り形状の情報と、露出に関するパラメータを、前述した通信時にカメラ本体１３０に与える。さらに、プログラムモードでは、システムコントローラ１１０は、前記適切な露光量に対して予め決まったシャッター速度と、絞り値もしくは絞り板１５１の使用との組み合わせに従い、シャッター速度と絞り値とを決定する。

以上の処理は、シャッターＳＷ１４３の半押しによりスタートする。このとき、撮像光学系制御部１０６は、システムコントローラ１１０が決定したフォーカシングレンズ群１０１ｂの動作方向と動作量とに従い、測距エンコーダ１５３の示す位置情報が目標動作量と一致するまでフォーカシングレンズ群１０１ｂを駆動する。
次に、シャッターＳＷ１４３が全押しされる事で撮影シーケンスがスタートする。撮影シーケンスがスタートすると、まず、主ミラー１３１とサブミラー１３２とが折りたたまれ、撮影光路外に退避する。続いて、システムコントローラ１１０の算出値に従い、撮像光学系制御部１０６が絞り１０１ａを絞り込む、あるいは、絞り板駆動装置１５２により絞り板１５１を光路中に設置する。続いて、シャッター１３９がシステムコントローラ１１０の算出したシャッター速度に従い開放閉鎖する。この後、絞り１０１ａが開放され、あるいは、絞り板１５１が退避され、続いて主ミラー１３１、サブミラー１３２が元の位置に復帰する。

１０２は撮像素子であり、シャッター１３９の開放中に蓄積された各ピクセルの輝度信号をシステムコントローラ１１０に転送する。システムコントローラ１１０は、輝度信号を適当な色空間にマッピングし、適切な形式のファイルを作成する。１０５は、カメラ本体１３０の背面に設けられた表示部で、撮影モード切替部１４４及びパラメータ設定変更部１４５の設定動作に基づき設定状況を表示すると共に、撮影後、システムコントローラ１１０の作成したサムネール画像を表示する。
１０８は、取り外し可能なメモリーカードの記録再生部であり、撮影後、システムコントローラ１１０が作成したファイルをメモリーカードに記録する。また、作成されたファイルを、出力部１４７を介して、外部のコンピュータ等にケーブル等を介して出力することもできる。

図４は、通常の絞り１０１ａの開口形状の一例（図４（ａ））と、特殊絞りを形成する絞り板１５１の開口形状の一例（図４（ｂ））とを示す図である。
図４（ａ）において、本実施形態では、絞り１０１ａは、５枚の絞り羽根からなる虹彩絞りを構成しているため、その開口形状は丸みを帯びた五角形状となっている。５０１は、絞り開放時の絞り形状を示す。５０２は、円形開口時の開放絞りを与える円（開放口径）である。

図４（ｂ）において、絞り板１５１は、後述する目的のために多数の開口を持った形状となっている。６０１は、円形開口時の開放絞りを与える円（開放口径）である。６０２は、変形絞りの各開口であり、各開口は、紙面に垂直な光軸に対して対称であるので、図４（ｂ）では、図中の光軸を原点として絞り面内に与えた直交２軸の第一象限内の開口のみを符号で指し示している。
図４（ｂ）に示すように、絞り板１５１は、開放絞りを通過する光束の一部のみを通過させるため、レンズの透過光量を低下させる。この低下後と同等の透過光量を与える口径比を表すＦナンバの値をＴナンバと呼ぶ。Ｔナンバは、口径比（Ｆナンバ）だけでは表すことのできない、レンズの真の明るさを表示する指数である。したがって、撮像光学系制御部１０６は、絞り板１５１を使用している時には、カメラ本体１３０に対してレンズの明るさの情報として、このＴナンバの情報を送信する。
また、図４（ｂ）では、例えば、１３×１３画素から構成される、開口部を"1"、遮光部を"0"とした２値画像情報として表現されるが、各画素の物理的サイズは、開放口径６０２に対してどのような比率であるかの情報によって表すことができる。もちろん、各画素のサイズそのものを各画素の物理的サイズとして表しても良い。

＜絞り情報の利用による距離取得の方法＞
図４（ｂ）に示すような絞り開口を持つ撮像光学系１００では、小開口が多数存在する。このため、そのＰＳＦ(Point Spread Function)をフーリエ変換して得られるパワースペクトルはいくつかの空間周波数で"0"となり、さらに、その"0"を与える空間周波数の値は、被写体距離に応じて変化する（非特許文献１を参照）。この現象を用いて、被写体の距離画像を得ることができる。

図５は、特定の撮影距離におけるパワースペクトルを、当該撮影距離と同じ撮影距離における撮像光学系１００のＰＳＦのパワースペクトルで除算する過程の一例を概念的に示す図である。
図５の最上段には、ある特定の撮影距離である時の撮影画像のパワースペクトルの一例を示す。図５の中段には、図５の最上段に示すパワースペクトルと等しい撮影距離である時の被写体の撮像光学系１００のＰＳＦから得られるパワースペクトルの一例を示す。これらは同じ絞り開口形状によって生じるので、パワースペクトルが"0"となる空間周波数が一致している。そのため、図５の最下段に示すように、図５の最上段のパワースペクトルを図５の中段のパワースペクトルで割って得られるパワースペクトルには、光学系パワースペクトルの"0"点の空間周波数にスパイク状の形状は現れるが、その幅は極めて小さい。

図６は、特定の撮影距離におけるパワースペクトルを、当該撮影距離と異なる撮影距離における撮像光学系１００のＰＳＦのパワースペクトルで除算する過程の一例を概念的に示す図である。
図６の最上段には、図５の最上段に示したものと等しい撮影画像のパワースペクトルを示す。図６の中段には、図６の最上段に示すパワースペクトルとは異なる撮影距離である時の撮像光学系１００のＰＳＦから得られるパワースペクトルの一例を示す。撮像光学系１００のＰＳＦの"0"を与える空間周波数は被写体距離によって変化するため、これらの二つのパワースペクトルの"0"を与える空間周波数は一致しない。そのため、図６の最下段に示すように、図６の最上段のパワースペクトルを図６の中段のパワースペクトルで割って得られるパワースペクトルには、光学系パワースペクトルの"0"点の空間周波数を中心として、幅の大きなピークが存在する。

図５と図６とを比較すると、次のことがわかる。図４（ｂ）に示す絞りを用いて撮影し、画像中のある部分のパワースペクトルを、特定の被写体距離に対応した光学系のパワースペクトル（これは既知である）で除算する。その商として得られるパワースペクトルは、その二者の距離が一致しない場合には、幅を持った大きなピークを有し、二者の距離が一致する場合は幅を持ったピークを有さない。したがって、予め区分けをしたい数の被写体距離領域に対応した光学系パワースペクトルを準備し、それらのそれぞれを、撮影画像の各部分のパワースペクトルで除算する。このとき、その商が一定以下の幅のピークしか持たないときの被写体領域が、撮影画像のその部分の被写体距離を示す事になる。
以上の処理により、撮影画像の各部分の被写体距離により画像を領域分割し、距離画像を得ることができる。その処理はシステムコントローラ１１０で行っても良いし、メモリーカードに記録した、あるいは直接ＰＣに出力した画像ファイルを、ＰＣにおいて処理しても良い。

＜距離情報取得時の処理＞
次に、図７のフローチャートを参照しながら、被写体距離の情報を取得し、距離画像を得る際の処理の一例を説明する。尚、ここでは、システムコントローラ１１０が処理する場合を例に挙げて説明する。
まず、ステップＳ３０１において、システムコントローラ１１０は、フォーカシング終了後のフォーカシングレンズ群１０１ｂの位置情報により、レンズの距離情報（撮影距離）を得る。
次に、ステップＳ３０２において、システムコントローラ１１０は、レンズの距離情報に基づき、被写体距離をｐ（ｐは２以上の整数）段階に分けた場合のそれぞれの撮像光学系１００のＰＳＦとそのパワースペクトル（フーリエ変換の結果）とを算出する。これは、絞り形状情報と、レンズ情報とを用いて算出しても良いし、予めデータベース化した撮像光学系１００のＰＳＦとそのパワースペクトルを利用し、絞り形状情報との組み合わせで算出しても良い。

次に、ステップＳ３０３において、システムコントローラ１１０は、画像の特定の小領域（例えば作成したい距離領域の最大のボケ量をカバーする領域サイズ）を抽出する。次に、ステップＳ３０４において、システムコントローラ１１０は、これをフーリエ変換し、パワースペクトルを得る。次に、ステップＳ３０５において、システムコントローラ１１０は、これと比較する距離領域を第一の距離領域から開始するために、距離領域インデックスｎの値を１とする。

次に、ステップＳ３０６において、システムコントローラ１１０は、ステップＳ３０４で得られた、画像の小領域のパワースペクトルを、ステップＳ３０２で得られた、距離領域インデックスｎの光学系パワースペクトルで除算する。
次に、ステップＳ３０７において、システムコントローラ１１０は、ステップＳ３０６で得られたパワースペクトルについて、１を越えたパワースペクトル値Ｐ０を与える部分の幅を所定値Ｗ０と比較し、その部分の幅が所定値Ｗ０未満であるか否かを判定する。この判定の結果、ステップＳ３０６で得られたパワースペクトルについて、１を越えたパワースペクトル値を与える部分の幅が所定値未満である場合、対象となる画像の小領域の被写体距離はそのときの距離領域インデックスｎに対応する被写体距離となる。したがって、ステップＳ３０８に進み、システムコントローラ１１０は、その領域に距離領域インデックスｎを与える。

一方、ステップＳ３０６で得られたパワースペクトルについて、１を越えたパワースペクトル値を与える部分の幅が所定値以上の場合、対象となる画像の小領域の被写体距離とそのときの距離領域インデックスｎに対応する被写体距離とは一致しない。したがって、ステップＳ３０９に進む。ステップＳ３０９に進むと、システムコントローラ１１０は、全ての被写体距離領域に対して処理が終了したか否かを判定する。具体的にシステムコントローラ１１０は、距離領域インデックスｎがｐと等しいか否かを判定する。この判定の結果、距離領域インデックスｎがｐと等しい場合は、ステップＳ３１４に進み、システムコントローラ１１０は、対象となる画像の小領域には該当する被写体距離領域がないと判定し、ステップＳ３１２に進む。ステップＳ３１２に進むと、対象となる画像の小領域（画素領域）を、例えば現在の領域に隣接する画像小領域に移す。そして、ステップＳ３０３に戻る。

一方、距離領域インデックスｎがｐと等しくない場合は、ステップＳ３１０に進み、システムコントローラ１１０は、距離領域インデックスｎに１を加えステップＳ３０６に戻る。
ステップＳ３０８で、対象となる画像の小領域に距離領域インデックスｎを与えた場合は、ステップＳ３１１に進む。ステップＳ３１１に進むと、システムコントローラ１１０は、全画素の処理が終了したか否かを判定する。この判定の結果、全画素の処理が終了していない場合は、ステップＳ３１２に進み、システムコントローラ１１０は、対象となる画像の小領域（画素領域）を、例えば現在の領域に隣接する画像小領域に移す。
一方、全画素の処理が終了した場合は、ステップＳ３１３に進み、同一の被写体距離の画素領域を合体して、距離画像を完成し、図７のフローチャートによる処理を終了する。
図８（ａ）は元画像を示し、図８（ｂ）は、このような処理を行うことにより得られた距離画像の一例を示す図である。
被写体距離を得る方法は、本実施形態で説明した手段に限定されるものではない。例えば、視差画像等用いて撮影画像から画像処理で被写体距離を求める方法がある。また、距離測定装置を撮像装置に内蔵又は撮像装置の外側に接続し、距離測定装置により被写体距離を求めてもよい。また、手動等により距離情報を与える仕組みがあっても良い。

＜ぼけ補正処理＞
次に、ぼけ補正処理の一例を詳細に説明する。本実施形態では、背景技術で説明した通り、レンズセンサーから得られるチャンネル毎に回復フィルタを用いて、ぼけ補正を行うが、チャンネル毎にフィルタを生成し、フィルタ処理を行うことが必要となる。本実施形態においては、多チャネルの色成分から輝度成分に変換することにより更なるフィルタの計算量の削減を図るようにしている。
図９のフローチャートを参照しながら、ぼけ補正処理の一例を説明する。尚、ここでは、システムコントローラ１１０が処理する場合を例に挙げて説明する。
まず、ステップＳ２０１において、システムコントローラ１１０は、撮影画像であるＲＧＢ画像を色度成分と輝度成分とに変換する。例えば、撮影画像がＲＧＢの３プレーンからなる場合、次の（５）〜（７）式により、画像中の各画素を輝度成分Ｙ、色度成分Ｃａ、Ｃｂに分ける。
Ｙ＝Ｗｒ・Ｒ＋Ｗｇ・Ｇ＋Ｗｂ・Ｂ ・・・（５）
Ｃａ＝Ｒ/Ｇ ・・・（６）
Ｃｂ＝Ｂ/Ｇ ・・・（７）
ここでＷｒ、Ｗｇ、ＷｂはＲＧＢの各画素値を輝度成分Ｙに変換するための重み付けの係数である。最も単純な重み付けとしてＷｒ＝Ｗｇ＝Ｗｂ＝１/３等とすることが考えられる。また、Ｃａ及びＣｂは、それぞれＲとＧの比、ＢとＧの比を表す。ここに示した例はあくまで一例であり、要は輝度を表す信号と色度を表す信号とに各画素値を分離する事が重要である。したがって、ＬａｂやＹｕｖ等様々提案されている色空間に画像を変換し、輝度に対応する成分と色度に対応する成分とに分離してもよい。ただし、ここでは、簡単のため、前述の（５）〜（７）式で表現されるＹ、Ｃａ、Ｃｂを用いた場合を例に挙げて説明を進める。

次に、ステップＳ２０２において、システムコントローラ１１０は、輝度プレーンの画像に対し、回復フィルタを適用する。回復フィルタの構成方法は後述する。
次に、ステップＳ２０３において、システムコントローラ１１０は、ぼけ補正後の輝度を表す輝度プレーンと色度を表すＣａ、Ｃｂプレーンを再びＲＧＢ画像へ変換する。

＜輝度プレーンでの回復フィルタの構成法＞
本実施形態では、輝度プレーンでぼけ補正を行う。仮にＲＧＢプレーンで各色に対応するＰＳＦが、レンズ設計値を元に計算してある場合を考えると、輝度プレーンに関するＰＳＦは次の（８）式で表される。
ＰＳＦｙ＝Ｗｒ・ＰＳＦｒ＋Ｗｇ・ＰＳＦｇ＋Ｗｂ・ＰＳＦｂ ・・・（８）
つまり前述した重み付けの係数でＰＳＦを合成したものが輝度プレーンに関するＰＳＦである。このＰＳＦを元に輝度に関するＰＳＦから前述した回復フィルタを構成する。
尚、前述したように、レンズによってＰＳＦが異なるので、レンズに応じて回復フィルタを異ならせるのが好ましい。

以上のように本実施形態では、撮像レンズと被写体との距離である被写体距離を取得し、被写体距離に応じて画像の領域を分割し、距離画像を生成する。また、ピントの合っている領域から、主要被写体の領域である主要被写体領域を抽出する。この主要被写体領域と主要被写体領域とピントが同じ被写体領域の被写体距離に対応する補正係数を予め登録されているデータベースから取得する。そして、取得した補正係数を用いて生成した回復フィルタを用いて、主要被写体と主要被写体とピントが同じ被写体における、ぼけが発生している領域の画像回復処理を行う。このように、主要被写体とピントが同じ領域に応じた補正係数に基づく回復フィルタを用いて、当該領域におけるぼけ補正を行うので、撮像光学系に起因する画像のぼけを従来よりも少ない計算量で小さくすることができる。

尚、本実施形態においては、輝度のみの回復処理を例に挙げて説明したが、回復処理はこれに制限されない。例えば、レンズから出される各色のバンドのまま、又は、異なるバンド数へ変換したプレーンにおいて回復処理を行うことによってもよい。
また、画像内のピントが合っている領域を他の領域に比べ、優先的に画像回復処理を行う方式であっても良い。すなわち、ピントが合っている領域、又は主要被写体領域に対してだけ画像回復処理を行うようにしてもよい。
また、ピントが合っている領域を中心に距離が離れる毎に回復フィルタの強度を変更してもよい。すなわち、ピントが合っている領域、又は主要被写体領域のフィルタ強度を最も大きくし、その領域に近い画素であるほど、フィルタ強度を大きく（その領域から遠い画素であるほど、フィルタ強度を小さく）する画像回復処理を行ってもよい。

（その他の実施例）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

また、前述した各実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ 撮像光学系、１１０ システムコントローラ

Claims (11)

1. 撮像装置が備える光学レンズ系に起因する撮像画像の劣化を補正する画像処理装置であって、
   前記撮像装置から撮像する対象の被写体までの距離を取得する取得手段と、
   前記被写体のうち、主要な被写体を特定する特定手段と、
   前記主要な被写体と同じピントの領域を抽出する抽出手段と、
   前記撮像画像に対して、光学レンズ系に起因する撮像画像の劣化を補正する補正手段と、を有し、
   前記補正手段は、前記主要な被写体と同じピントの領域に対しては、前記撮像装置から当該領域までの距離に応じた回復フィルタを用いて、光学レンズ系に起因する撮像画像の劣化を補正することを特徴とする画像処理装置。
2. 前記取得手段は、前記撮像画像を用いて、前記光学レンズ系から、撮像する対象の被写体までの距離を取得することを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像画像の画素の値を、当該画素における前記距離の値にした距離画像を作成する作成手段を有し、
   前記補正手段は、前記距離画像に基づいて、前記主要な被写体と同じピントの領域における前記距離を抽出し、抽出した距離に応じた回復フィルタを用いて、当該主要な被写体と同じピントの領域に対して、光学レンズ系に起因する撮像画像の劣化を補正することを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記特定手段は、前記撮像画像、又はユーザによる操作に基づいて、前記主要な被写体を特定することを特徴とする請求項１〜３の何れか１項に記載の画像処理装置。
5. 前記光学レンズ系に含まれるレンズにより前記回復フィルタを変更する変更手段を有することを特徴とする請求項１〜４の何れか１項に記載の画像処理装置。
6. 前記特定手段は、ピントの合っている領域から、前記主要な被写体を特定することを特徴とする請求項１〜５の何れか１項に記載の画像処理装置。
7. 前記補正手段は、前記ピントの合っている領域だけに対して、光学レンズ系に起因する撮像画像の劣化を補正することを特徴とする請求項６に記載の画像処理装置。
8. 前記補正手段は、前記ピントの合っている領域から近い位置であるほど、前記回復フィルタの強度を大きくすることを特徴とする請求項６に記載の画像処理装置。
9. 前記補正手段は、前記撮像画像の輝度の情報に対してだけ、前記回復フィルタを用いて、光学レンズ系に起因する撮像画像の劣化を補正することを特徴とする請求項１〜８の何れか１項に記載の画像処理装置。
10. 撮像装置が備える光学レンズ系に起因する撮像画像の劣化を補正する画像処理方法であって、
    前記撮像装置から撮像する対象の被写体までの距離を取得する取得ステップと、
    前記被写体のうち、主要な被写体を特定する特定ステップと、
    前記主要な被写体と同じピントの領域を抽出する抽出ステップと、
    前記撮像画像に対して、光学レンズ系に起因する撮像画像の劣化を補正する補正ステップと、を有し、
    前記補正ステップは、前記主要な被写体と同じピントの領域に対しては、前記撮像装置から当該領域までの距離に応じた回復フィルタを用いて、光学レンズ系に起因する撮像画像の劣化を補正することを特徴とする画像処理方法。
11. 撮像装置が備える光学レンズ系に起因する撮像画像の劣化を補正することをコンピュータに実行させるためのコンピュータプログラムであって、
    前記撮像装置から撮像する対象の被写体までの距離を取得する取得ステップと、
    前記被写体のうち、主要な被写体を特定する特定ステップと、
    前記主要な被写体と同じピントの領域を抽出する抽出ステップと、
    前記撮像画像に対して、光学レンズ系に起因する撮像画像の劣化を補正する補正ステップと、をコンピュータに実行させ、
    前記補正ステップは、前記主要な被写体と同じピントの領域に対しては、前記撮像装置から当該領域までの距離に応じた回復フィルタを用いて、光学レンズ系に起因する撮像画像の劣化を補正することを特徴とするコンピュータプログラム。

Images