JP2009153005A - 画像処理装置、画像処理方法、プログラム、および学習装置 - Google Patents

Abstract

【課題】画像内で焦点距離の異なる被写体が複数含まれることによって生じているぼけを最適に除去することができるようにする。
【解決手段】特徴量算出部１５は、特徴量算出画素抽出部１４から供給された画素を用いて、注目画素の特徴量を算出する。係数生成部１６は、演算用係数ベクトルＷ₀乃至Ｗ_kを係数ROM１７から取得し、特徴量と演算用係数ベクトルＷ₀乃至Ｗ_kを用いた演算により、処理係数ベクトルＷを生成する。積和演算部１３は、予測画素抽出部１２から供給される画素の画素値と処理係数ベクトルＷとの演算により、入力画像のぼけを除去した出力画像を生成する。本発明は、例えば、画像のぼけ除去を行う画像処理装置に適用できる。
【選択図】図１

Description

本発明は、画像処理装置、画像処理方法、プログラム、および学習装置に関し、特に、画像内で焦点距離の異なる被写体が複数含まれることによって生じているぼけを最適に除去することができるようにする画像処理装置、画像処理方法、プログラム、および学習装置に関する。

本出願人は、例えば、ピンボケや動きボケのある画像や低解像度の画像データを、所定の処理係数を用いてマッピング（写像）することにより、ボケのない、または高解像度の画像データに変換する画像変換処理において、ユーザにより調整されたパラメータによって生成される処理係数を異なるものとして、画像変換を行う方法を提案している（例えば、特許文献１参照）。

しかしながら、特許文献１で提案される方法は、パラメータを全画面一様に与えるものであり、例えば、画像内で焦点距離の異なる被写体が複数含まれることによって、一画面中にピントの合った領域とそうでない領域が存在する画像のぼけを除去するような場合には、ピントの合っていない領域の画素に対して最適なパラメータに設定すると、ピントの合っている領域に対しても同様のぼけ除去処理を行うために、ピントの合っている領域ではかえってぼけが生じてしまうことになる。即ち、画素ごとには最適な処理係数を生成することはできず、画面全体でぼけを除去した画像を生成することができない場合がある。

また、本出願人は、上述の画像変換処理において、予め特徴量に応じて、解像度、ノイズ感といった係数生成パラメータに変換される変換テーブルを用意しておき、その係数生成パラメータに基づいて処理係数を生成することも提案している（例えば、特許文献２参照））。
特開２００２−２１８４１４号公報 特開２００５−１４２７４３号公報

しかしながら、特許文献２では、特徴量と係数生成パラメータの対応が主観に基づくものであるため、変換後の画像が必ずしも最適化されている保証はない。

本発明は、このような状況に鑑みてなされたものであり、画像内で焦点距離の異なる被写体が複数含まれることによって生じているぼけを最適に除去することができるようにするものである。

本発明の第１の側面の画像処理装置は、入力画像を、よりボケが軽減された出力画像に変換する画像処理装置において、前記出力画像内の注目する画素である注目画素に対応する前記入力画像の画素とその周辺の所定の画素からなる複数の画素を抽出する第１の画素抽出手段と、前記第１の画素抽出手段により抽出された前記複数の画素から第１の特徴量を算出する第１の特徴量算出手段と、前記第１の特徴量と第１の処理係数との演算により第２の処理係数を求め、その第２の処理係数と生徒画像としての複数種類のボケ量のボケが付加されたボケ画像との演算によりボケが付加されていない教師画像を生成する関係式に基づく正規方程式より予め学習された前記第１の処理係数と、前記第１の特徴量との演算により、前記第２の処理係数を生成する処理係数生成手段と、前記注目画素に対応する画素とその周辺の所定の画素からなる複数の画素を前記入力画像から抽出する第２の画素抽出手段と、前記第２の画素抽出手段により抽出された前記複数の画素と前記第２の処理係数との演算により、前記注目画素の画素値を生成する予測手段とを備える。

前記第１の特徴量は、非線形特徴量とさせることができる。

前記生徒画像に複数種類のボケ量のボケを付加して、前記複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像を生成するボケ除去処理手段と、前記複数種類のボケ除去結果画像から第２の特徴量を算出する第２の特徴量算出手段と、前記複数種類のボケ除去結果画像それぞれの前記第２の特徴量を用いて、前記第１の特徴量としての非線形特徴量を決定する非線形特徴量決定手段とをさらに設けるようにすることができる。

前記注目画素に対応する前記入力画像の画素およびその周辺の所定の画素の画素値に応じて前記注目画素を所定のクラスに分類するクラス分類手段をさらに設け、前記係数生成手段には、クラス毎に、前記正規方程式を生成させることができる。

本発明の第１の側面の画像処理方法は、入力画像を、よりボケが軽減された出力画像に変換する画像処理方法において、前記出力画像内の注目する画素である注目画素に対応する前記入力画像の画素とその周辺の所定の画素からなる複数の画素を抽出し、抽出された前記複数の画素から特徴量を算出し、前記特徴量と第１の処理係数との演算により第２の処理係数を求め、その第２の処理係数と生徒画像としての複数種類のボケ量のボケが付加されたボケ画像との演算によりボケが付加されていない教師画像を生成する関係式に基づく正規方程式より予め学習された前記第１の処理係数と、前記特徴量との演算により、前記第２の処理係数を生成し、前記注目画素に対応する画素とその周辺の所定の画素からなる複数の画素を前記入力画像からさらに抽出し、さらに抽出された前記複数の画素と前記第２の処理係数との演算により、前記注目画素の画素値を生成するステップを含む。

本発明の第１の側面のプログラムは、入力画像を、よりボケが軽減された出力画像に変換する画像処理を、コンピュータに実行させるプログラムにおいて、前記出力画像内の注目する画素である注目画素に対応する前記入力画像の画素とその周辺の所定の画素からなる複数の画素を抽出し、抽出された前記複数の画素から特徴量を算出し、前記特徴量と第１の処理係数との演算により第２の処理係数を求め、その第２の処理係数と生徒画像としての複数種類のボケ量のボケが付加されたボケ画像との演算によりボケが付加されていない教師画像を生成する関係式に基づく正規方程式より予め学習された前記第１の処理係数と、前記特徴量との演算により、前記第２の処理係数を生成し、前記注目画素に対応する画素とその周辺の所定の画素からなる複数の画素を前記入力画像からさらに抽出し、さらに抽出された前記複数の画素と前記第２の処理係数との演算により、前記注目画素の画素値を生成するステップを含む画像処理をコンピュータに実行させる。

本発明の第１の側面においては、出力画像内の注目する画素である注目画素に対応する入力画像の画素とその周辺の所定の画素からなる複数の画素が抽出されて、特徴量が算出され、特徴量と第１の処理係数との演算により第２の処理係数を求め、その第２の処理係数と生徒画像としての複数種類のボケ量のボケが付加されたボケ画像との演算によりボケが付加されていない教師画像を生成する関係式に基づく正規方程式より予め学習された第１の処理係数と、算出された特徴量との演算により、第２の処理係数が生成され、注目画素に対応する画素とその周辺の所定の画素からなる複数の画素が入力画像からさらに抽出され、さらに抽出された複数の画素と第２の処理係数との演算により、注目画素の画素値が生成される。

本発明の第２の側面の学習装置は、入力画像に複数種類のボケ量のボケが付加された生徒画像としての複数種類のボケ画像より求められる特徴量と第１の処理係数との演算により第２の処理係数を求め、その第２の処理係数と前記生徒画像との演算によりボケが付加されていない教師画像としての前記入力画像を生成する関係式を解法するために、前記生徒画像としてのボケ画像の画素値と前記教師画像としての入力画像の画素値を用いて正規方程式を生成する正規方程式生成手段と、前記正規方程式を解法することにより、前記第１の処理係数を生成する係数生成手段とを備える。

前記特徴量は、非線形特徴量とさせることができる。

前記生徒画像に複数種類のボケ量のボケを付加して、前記複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像を生成するボケ除去処理手段と、前記複数種類のボケ除去結果画像から特徴量を検出する特徴量検出手段と、前記複数種類のボケ除去結果画像それぞれの前記特徴量を用いて前記非線形特徴量を決定する非線形特徴量決定手段とをさらに設けるようにすることができる。

前記注目画素に対応する前記生徒画像の画素およびその周辺の所定の画素の画素値に応じて前記注目画素を所定のクラスに分類するクラス分類手段をさらに設け、前記係数生成手段には、クラス毎に、前記正規方程式を生成させることができる。

本発明の第２の側面においては、入力画像に複数種類のボケ量のボケが付加された生徒画像としての複数種類のボケ画像より求められる特徴量と第１の処理係数との演算により第２の処理係数を求め、その第２の処理係数と生徒画像との演算によりボケが付加されていない教師画像としての入力画像を生成する関係式を解法するために、生徒画像としてのボケ画像の画素値と教師画像としての入力画像の画素値を用いて正規方程式が生成され、正規方程式を解法することにより、第１の処理係数が生成される。

本発明の第１の側面によれば、画像内で焦点距離の異なる被写体が複数含まれることによって生じているぼけを最適に除去することができる。

本発明の第２の側面によれば、画像内で焦点距離の異なる被写体が複数含まれることによって生じているぼけを最適に除去する画像処理装置に使用するための第１の処理係数を求めることができる。

図１は、本発明を適用した画像処理装置の第１の実施の形態の構成例を示している。

図１の画像処理装置１は、注目画素設定部１１、予測画素抽出部１２、積和演算部１３、特徴量算出画素抽出部１４、特徴量算出部１５、係数生成部１６、および係数ROM１７により構成されている。

画像処理装置１には、被写体とカメラの距離に応じてぼけ量の異なるオブジェクト領域が複数存在する画像が入力画像として供給され、画像処理装置１は、その入力画像に対して、ぼけた箇所と、ぼけていない箇所の処理をそれぞれ適切に行うことにより、全体として入力画像のぼけ（ボケ）を除去した画像を出力画像として出力する。

注目画素設定部１１は、出力画像を構成する各画素を順に注目画素に設定する。

予測画素抽出部１２は、注目画素を予測するのに用いる画素として、入力画像の所定の領域内の画素（の画素値）を抽出する。ここで抽出される画素を、以下では、予測タップと称する。予測タップの最適な形状（抽出する範囲）は、動きぼけやピンぼけなど、想定される入力画像の劣化の状態（劣化モデル）によって異なるが、本実施の形態のように、レンズの焦点ずれによるピンぼけを想定する場合には、例えば、図２に示されるような、入力画像の、注目画素に対応する画素を中心として円状の領域内の画素を予測タップとして抽出する。

積和演算部１３は、予測画素抽出部１２から供給される予測タップの画素値と、係数生成部１６から供給される予測タップに対応する処理係数との積和演算により、注目画素の画素値を求め、出力する。

ここで、予測タップを構成する画素の画素値をｘ₁乃至ｘ_Nとし、画素値ｘ₁乃至ｘ_Nに対応する処理係数をｗ₁乃至ｗ_Nとすると、注目画素の画素値ｚを求める積和演算は、次式（１）で表すことができる。

式（１）は、画素値ｘ₁乃至ｘ_Nを成分とする画素値ベクトルＸと、処理係数ｗ₁乃至ｗ_Nを成分とする処理係数ベクトルＷで表すと、式（２）と書くことができる。

特徴量算出画素抽出部１４は、注目画素の特徴量を算出するための画素を入力画像から抽出し、特徴量算出部１５に供給する。具体的には、特徴量算出画素抽出部１４は、注目画素に対応する入力画像の画素と、その周辺の所定の画素を、注目画素の特徴量を算出するための画素として抽出し、特徴量算出部１５に供給する。

特徴量算出部１５は、特徴量算出画素抽出部１４から供給された画素（の画素値）を用いて、注目画素の特徴量を算出する。ここで、注目画素の座標値を（ｘ，ｙ）、その特徴量をｐ（ｘ，ｙ）とすると、注目画素（ｘ，ｙ）の特徴量ｐ（ｘ，ｙ）としては、例えば、注目画素と、そこから水平方向（ｘ方向）、垂直方向（ｙ方向）、または斜め方向にｉ_d画素離れた画素との式（３），（４）、または（５）で表される１次微分特徴量や、式（６），（７）、または（８）で表される２次微分特徴量を採用することができる。

ｐ（ｘ，ｙ）＝｜Ｘ（ｘ，ｙ）−Ｘ（ｘ＋ｉ_d，ｙ）｜ ・・・・・（３）
ｐ（ｘ，ｙ）＝｜Ｘ（ｘ，ｙ）−Ｘ（ｘ，ｙ＋ｉ_d）｜ ・・・・・（４）
ｐ（ｘ，ｙ）＝｜Ｘ（ｘ，ｙ）−Ｘ（ｘ＋ｉ_d，ｙ＋ｉ_d）｜・・・・・（５）
ｐ（ｘ，ｙ）＝｜２×Ｘ（ｘ，ｙ）−Ｘ（ｘ＋ｉ_d，ｙ）−Ｘ（ｘ−ｉ_d，ｙ）｜
・・・・・（６）
ｐ（ｘ，ｙ）＝｜２×Ｘ（ｘ，ｙ）−Ｘ（ｘ，ｙ＋ｉ_d）−Ｘ（ｘ，ｙ−ｉ_d）｜
・・・・・（７）
ｐ（ｘ，ｙ）＝｜２×Ｘ（ｘ，ｙ）−Ｘ（ｘ＋ｉ_d，ｙ＋ｉ_d）−Ｘ（ｘ−ｉ_d，ｙ−ｉ_d）｜
・・・・・（８）

また、例えば、図３に示されるように、注目画素（ｘ，ｙ）を中心として水平方向にＭ画素、垂直方向にＮ画素からなる基準ブロックを重ねたときの自己相関値Corr(０)と、基準ブロックを水平方向または垂直方向にｉ_d画素ずらしたときの自己相関値Corr(ｉ_d)を算出し、Corr(０)とCorr(ｉ_d)の差分（Corr(０)−Corr(ｉ_d)）を、特徴量ｐ（ｘ，ｙ）とすることもできる。

注目画素（ｘ，ｙ）を中心として水平方向にＭ画素、垂直方向にＮ画素からなる基準ブロックを水平方向にｉ_d画素ずらしたときの自己相関値Corr(ｉ_d)は、次式（９）で表すことができる。

式（９）において、ｇ（ｕ，ｖ）は、基準ブロック内の各画素の画素値を表し、Ｍ₁は、式（１０）で表され、基準ブロック内の画素値の平均値を表す。また、ｇ（ｕ＋ｉ_d，ｖ）は、基準ブロックをｘ方向にｉ_d画素ずらしたブロック内の各画素の画素値を表し、Ｍ₂は、式（１１）で表され、そのブロック内の画素値の平均値を表す。

また、Ｖ₁およびＶ₂は、それぞれ、式（１２）および式（１３）で表される値である。

注目画素（ｘ，ｙ）を中心とする基準ブロックを、垂直方向に、ｉ_d画素ずらしたときの自己相関値Corr(ｉ_d)は、次式（１４）で表すことができる。

そして、このときの、Ｍ₁，Ｍ₂，Ｖ₁，およびＶ₂は、それぞれ、式（１５），（１６），（１７）、および（１８）で求められる。

図１に戻り、係数生成部１６は、各予測タップに対応する処理係数を成分とする処理係数ベクトルＷを生成し、積和演算部１３に供給する。即ち、係数生成部１６は、式（２）の処理係数ベクトルＷを生成する。より具体的には、係数生成部１６は、処理係数ベクトルＷを、各予測タップ（画素）における特徴量を成分とする特徴量ベクトルｐと演算用係数ベクトルＷをｋ次の次数まで展開した式（１９）により生成する。

なお、式（１９）は、初期値である演算用係数ベクトルＷ₀を分離すると、式（２０）のように書くことができる。

いま、式（１９）の処理係数ベクトルＷのうち、予測タップのうちの１つである予測タップ（ｉ，ｊ）に着目すると、予測タップ（ｉ，ｊ）の処理係数Ｗ（ｉ，ｊ）は、式（２１）で表すことができる。

したがって、係数生成部１６は、予測タップ（ｉ，ｊ）のｋ個の演算用係数Ｗ₀（ｉ，ｊ），Ｗ₁（ｉ，ｊ），・・・，Ｗ_k（ｉ，ｊ）を係数ROM１７から取得し、特徴量算出部１５から供給される特徴量ｐ（ｘ，ｙ）を用いた式（２１）の積和演算をすることにより、予測タップ（ｉ，ｊ）の処理係数Ｗ（ｉ，ｊ）を求める。そして、すべての予測タップについての処理係数が求められると、係数生成部１６は、注目画素（ｘ，ｙ）の処理係数ベクトルＷを積和演算部１３に供給する。

係数ROM１７は、係数生成部１６に供給する、ｋ個の演算用係数ベクトルＷ₀乃至Ｗ_kを記憶する。予測タップ（ｉ，ｊ）について言えば、係数ROM１７は、ｋ個の演算用係数Ｗ₀（ｉ，ｊ），Ｗ₁（ｉ，ｊ），・・・，Ｗ_k（ｉ，ｊ）を記憶する。ここに記憶される演算用係数ベクトルＷ₀乃至Ｗ_kは、図５を参照して後述する学習装置５１で求められたものである。

次に、図４のフローチャートを参照して、図１の画像処理装置１によるぼけ除去処理について説明する。

初めに、ステップＳ１において、注目画素設定部１１は、出力画像の所定の画素を注目画素に設定する。

ステップＳ２において、予測画素抽出部１２は、予測タップを抽出する。例えば、入力画像の図２に示される円状の領域内の各画素が予測タップとして抽出される。

ステップＳ３において、特徴量算出画素抽出部１４は、注目画素の特徴量を算出するための画素を入力画像から抽出し、特徴量算出部１５に供給する。

ステップＳ４において、特徴量算出部１５は、特徴量算出画素抽出部１４から供給された画素（の画素値）を用いて、注目画素の特徴量を算出する。算出された特徴量は、係数生成部１６に供給される。

ステップＳ５において、係数生成部１６は、処理係数ベクトルＷを生成し、積和演算部１３に供給する。例えば、予測タップ（ｉ，ｊ）については、係数生成部１６は、ｋ個の演算用係数Ｗ₀（ｉ，ｊ），Ｗ₁（ｉ，ｊ），・・・，Ｗ_k（ｉ，ｊ）を係数ROM１７から取得し、式（２１）の積和演算により、処理係数Ｗ（ｉ，ｊ）を求めることができる。

ステップＳ６において、積和演算部１３は、式（２）により、注目画素の画素値を算出し、出力する。すなわち、積和演算部１３は、予測画素抽出部１２から供給される予測タップの画素値と、係数生成部１６から供給される予測タップに対応する処理係数との積和演算により、注目画素の画素値を求め、出力する。

ステップＳ７において、注目画素設定部１１は、出力画像の全画素について画素値を求めたかを判定する。ステップＳ７で、出力画像の全画素について出力画素値を求めていないと判定された場合、処理はステップＳ１に戻り、それ以降の処理が再度実行される。即ち、まだ画素値が求められていない出力画像の画素が注目画素に設定され、画素値が求められる。

一方、ステップＳ７で、出力画像の全画素について画素値を求めたと判定された場合、処理は終了する。

以上のように、画像処理装置１は、入力画像の各画素のぼけ量を特徴量として算出し、特徴量と演算用係数との積和演算により最適な処理係数を算出することで、特徴量に応じた最適な処理を行ってぼけを除去する。これにより、画像内で焦点距離の異なる被写体が複数含まれる場合であっても、画面全体において焦点があった画像を出力することができる。

次に、画像処理装置１の係数ROM１７に記憶される演算用係数を求める学習について説明する。

図５は、図１の係数ROM１７に記憶される演算用係数を求める学習装置の構成例を示すブロック図である。

図５の学習装置５１は、注目画素設定部６０、３種類の異なるぼけ量のぼけ画像を生成するぼけ画像生成部６１−１乃至６１−３、正規方程式加算部６２、および行列演算部６３により構成されている。

学習装置５１には、ぼけのない画像が教師画像として入力される。注目画素設定部６０は、教師画像として入力された入力画像の所定の画素を注目画素に設定する。

ぼけ画像生成部６１−１は、ぼけ付加部７１−１、特徴量算出画素抽出部７２−１、特徴量抽出部７３−１、および予測画素抽出部７４−１により構成されている。

ぼけ付加部７１−１は、入力画像に対して擬似的にぼけを付加してぼけ画像を生成し、特徴量算出画素抽出部７２−１および予測画素抽出部７４−１に供給する。具体的には、ほけ付加部７１−１は、次式（２２）に従って、注目画素（ｘ，ｙ）に対してぼけ画像を生成する。

式（２２）におけるＸ_in（x＋i_d，y＋j_d）は、ぼけが発生していない入力画像（教師画像）の座標（x＋i_d，y＋j_d）の画素値を表し、これに重み付け係数Ｗ_g（i_d，j_d）を乗算した値をたたみ込むことで、ぼけが発生した生徒画像の画素（x，y）の画素値ｚ_g（x，y）が発生するものとされる。ここで、重み付け係数Ｗ_g（i_d，j_d）としては、例えば、次式に示されるような、レンズの焦点ずれによるぼけを表したガウス関数が採用される。

図６は、式（２３）で表される劣化モデルの例を表しており、ぼけに対応するパラメータであるパラメータσの値が大きくなるほど、ぼけも大きくなる。逆に、パラメータσの値が小さいと、ぼけも小さくなる。

式（２２）と式（２３）によれば、ｘ座標がx＋i_dで、ｙ座標がy＋j_dの位置にある画素から、ｘ座標がｘで、ｙ座標がｙの位置にある注目画素に拡散される画素値を積算することにより、注目画素に対応する画素のぼけ付加後の画素値が求められる。

特徴量算出画素抽出部７２−１は、図１の特徴量算出画素抽出部１４と同様に、特徴量を算出するための画素をぼけ画像（生徒画像）から抽出し、特徴量算出部７３−１に供給する。

特徴量抽出部７３−１は、図１の特徴量算出部１５と同様に、特徴量算出画素抽出部７２−１から供給された画素（の画素値）を用いて、注目画素の特徴量を算出する。ここで採用される特徴量は、特徴量算出部１５と同一のものである。

予測画素抽出部７４−１は、図１の予測画素抽出部１２と同様に、注目画素に対して、ぼけ画像の所定の領域内の画素（の画素値）を予測タップとして抽出する。

特徴量抽出部７３−１により抽出された注目画素の特徴量と、予測画素抽出部７４−１により抽出された予測タップは、正規方程式加算部６２に供給される。

ぼけ画像生成部６１−２は、ぼけ付加部７１−２、特徴量算出画素抽出部７２−２、特徴量抽出部７３−２、および予測画素抽出部７４−２により構成され、ぼけ画像生成部６１−３は、ぼけ付加部７１−３、特徴量算出画素抽出部７２−３、特徴量抽出部７３−３、および予測画素抽出部７４−３により構成されている。

ぼけ画像生成部６１−２と６１−３内の各部は、ぼけ付加部７１−２および７１−３が生成するぼけ画像のぼけ量が、ぼけ付加部７１−１が生成するぼけ画像のものと異なる以外は同様であるので、その説明を省略する。

なお、本実施の形態では、ぼけ画像生成部６１−１乃至６１−３を設けることにより、３種類の異なるぼけ量のぼけ画像を生成し、その特徴量や予測タップ（の画素値）を正規方程式加算部６２に供給するものとするが、３種類以外の種類数の異なるぼけ量のぼけ画像を生成し、その特徴量や予測タップ（の画素値）を正規方程式加算部６２に供給するようにしてもよいことは勿論である。種類が多い方が、より様々なぼけ量に対応できる。

正規方程式加算部６２は、教師画像としての入力画像と、ぼけ画像生成部６１−１乃至６１−３から供給される各ぼけ画像およびその特徴量を用いて、正規方程式を立てる。

演算用係数ベクトルＷ₀乃至Ｗ_kを求めるために、演算用係数ベクトルＷ₀乃至Ｗ_kが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、式（２４）で表される関数Ｑを最小にする演算用係数ベクトルＷ₀乃至Ｗ_kを求めることで、最適な演算用係数ベクトルＷ₀乃至Ｗ_kを求めることができる。

式（２４）において、Ｎは学習に用いるサンプル数であり、Ｔは行列（ベクトル）の転置を表す。また、式（２４）のＸ_m＝｛ｘ_m1，ｘ_m2，・・・，ｘ_mN｝は生徒画像（ぼけ画像）の予測タップの画素値、ｚ_mは、その際の教師画像（入力画像）の画素値である。

式（２４）を、すべての変数に対して偏微分をとり、その値が０となるように足し込み行列を構築すると、図７のようになる。

正規方程式加算部６２は、教師画像としての入力画像と、ぼけ画像生成部６１−１乃至６１−３から供給される各ぼけ画像およびその特徴量を用いて、図７の足し込み行列を計算し、正規方程式を完成させる。

行列演算部６３は、正規方程式加算部６２で完成された正規方程式を解くことにより、演算用係数ベクトルＷ₀乃至Ｗ_kを求める。

図８は、学習装置５１による学習処理のフローチャートである。

初めに、ステップＳ２１において、ぼけ画像生成部６１−１のぼけ付加部７１−１は、入力画像に所定のぼけ量を付加した生徒画像としてのぼけ画像を生成する。ぼけ付加部７１−２と７１−３も同様に、入力画像からぼけ画像を生成する。なお、ぼけ付加部７１−１乃至７１−３が生成するぼけ画像のぼけ量は異なる。

ステップＳ２２において、注目画素設定部６０は、教師画像（入力画像）の所定の画素を注目画素に設定する。

ステップＳ２３において、特徴量算出画素抽出部７２−１は、特徴量を算出するための画素をぼけ画像（生徒画像）から抽出し、特徴量算出部７３−１に供給する。特徴量算出画素抽出部７２−２と７２−３も同様に、特徴量を算出するための画素をぼけ画像（生徒画像）から抽出する。

ステップＳ２４において、特徴量抽出部７３−１は、特徴量算出画素抽出部７２−１から供給された画素（の画素値）を用いて、注目画素の特徴量を算出する。特徴量抽出部７３−２と７３−３も同様に、注目画素の特徴量を算出する。

ステップＳ２５において、予測画素抽出部７４−１は、ぼけ付加部７１−１から供給されたぼけ画像から、予測タップを抽出する。予測画素抽出部７４−２と７４−３も同様に、ぼけ付加部７１−２と７１−３からそれぞれ供給されたぼけ画像から、予測タップを抽出する。

ステップＳ２６において、正規方程式加算部６２は、足し込みを行う。即ち、正規方程式加算部６２は、ぼけ画像生成部６１−１乃至６１−３から供給される各ぼけ画像における予測タップの画素値と、注目画素の画素値および特徴量を、図７の足し込み行列に足し込む。

ステップＳ２７において、注目画素設定部６０は、教師画像の全画素を注目画素としたかを判定する。ステップＳ２７で、教師画像の全画素をまだ注目画素としていないと判定された場合、処理は、ステップＳ２２に戻り、それ以降の処理が繰り返される。

一方、ステップＳ２７で、教師画像の全画素を注目画素としたと判定された場合、処理はステップＳ２８に進む。なお、上述したステップＳ２１乃至Ｓ２７の説明では、１枚の教師画像に対する処理として説明したが、実際には、学習に用いるサンプル数分のすべての教師画像に対してステップＳ２１乃至Ｓ２７の処理が終了した後に、処理がステップＳ２８に進められる。

ステップＳ２８において、行列演算部６３は、正規方程式加算部６２で完成された正規方程式を解くことにより、演算用係数ベクトルＷ₀乃至Ｗ_kを求めて、処理を終了する。

以上のように、学習装置５１による学習処理では、入力画像に複数種類のボケ量のボケが付加された生徒画像としての複数種類のボケ画像より求められる特徴量ベクトルｐと演算用係数ベクトルＷ₀乃至Ｗ_k（第１の処理係数）との演算により処理係数ベクトルＷ（第２の処理係数）を求め、その処理係数ベクトルＷと生徒画像との演算によりボケが付加されていない教師画像としての入力画像を生成する関係式を解法するために、生徒画像としてのボケ画像の画素値と教師画像としての入力画像の画素値を用いて正規方程式が生成され、その正規方程式を解法することにより、演算用係数ベクトルＷ₀乃至Ｗ_kが生成される。そして、求められた演算用係数ベクトルＷ₀乃至Ｗ_kが、画像処理装置１の係数ROM１７に記憶される。

次に、画像処理装置のその他の実施の形態について説明する。

図９は、本発明を適用した画像処理装置の第２の実施の形態の構成例を示すブロック図である。

図９において、図１の画像処理装置１と対応する部分については同一の符号を付してあり、その説明は適宜省略する。

画像処理装置１００では、クラス分類画素抽出部１０１とクラス分類部１０２が新たに設けられており、さらに、係数生成部１６と係数ROM１７に代えて、係数生成部１０３と係数ROM１０４が設けられている。

クラス分類画素抽出部１０１は、注目画素を、幾つかのクラスのうちのいずれかにクラス分けするクラス分類を行うのに用いる画素として、入力画像の画素の幾つかを抽出する。クラス分類画素抽出部１０１により抽出される画素をクラスタップと称する。クラスタップは、予測画素抽出部１２が抽出する予測タップと同一のものでもよいし、異なっていてもよい。

クラス分類部１０２は、クラス分類画素抽出部１０１からのクラスタップに基づき、注目画素をクラス分類し、その結果得られるクラスに対応するクラスコードを、係数生成部１０３に供給する。

ここで、クラス分類を行う方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。

ADRCを用いる方法では、クラスタップを構成する画素（の画素値）が、ADRC処理され、その結果得られるADRCコードにしたがって、注目画素のクラスが決定される。

なお、KビットADRCにおいては、例えば、クラスタップを構成する画素の画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、クラスタップを構成する各画素の画素値がKビットに再量子化される。即ち、クラスタップを構成する各画素の画素値から、最小値MINが減算され、その減算値がDR/2^Kで除算（再量子化）される。そして、以上のようにして得られる、クラスタップを構成するKビットの各画素の画素値を、所定の順番で並べたビット列が、ADRCコードとして出力される。従って、クラスタップが、例えば、１ビットADRC処理された場合には、そのクラスタップを構成する各画素の画素値は、最大値MAXと最小値MINとの平均値で除算され（小数点以下切り捨て）、これにより、各画素の画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとして出力される。

なお、クラス分類部１０２には、例えば、クラスタップを構成する画素の画素値のレベル分布のパターンを、そのままクラスコードとして出力させることも可能である。しかしながら、この場合、クラスタップが、Ｎ個の画素の画素値で構成され、各画素の画素値に、Kビットが割り当てられているとすると、クラス分類部１０２が出力するクラスコードの場合の数は、（２^N）^K通りとなり、画素の画素値のビット数Kに指数的に比例した膨大な数となる。

従って、クラス分類部１０２においては、クラスタップの情報量を、上述のADRC処理や、あるいはベクトル量子化等によって圧縮することにより、クラス分類を行うのが好ましい。

係数ROM１０４は、演算用係数ベクトルＷ₀乃至Ｗ_kをクラスごとに記憶しており、係数生成部１０３は、クラス分類部１０２から供給されるクラスの演算用係数ベクトルＷ₀乃至Ｗ_kを係数ROM１０４から取得し、式（１９）にしたがって処理係数ベクトルＷを求め、積和演算部１３に供給する。

係数ROM１０４に記憶される演算用係数ベクトルを学習する学習装置は、クラス分類画素抽出部１０１とクラス分類部１０２と同様のクラス分類画素抽出部とクラス分類部を設け、入力画像（教師画像）をクラス分類し、クラスごとに演算用係数ベクトルを求める以外は、図５の学習装置５１と同様である。

図１０は、本発明を適用した画像処理装置の第３の実施の形態の構成例を示すブロック図である。

図１０において、図１の画像処理装置１と対応する部分については同一の符号を付してあり、その説明は適宜省略する。

即ち、図１０の画像処理装置１２０では、図１の特徴量抽出部１４と特徴量算出部１５に代えて、特徴量抽出部１２１が設けられている。

図１１は、特徴量抽出部１２１の詳細な構成例を示すブロック図である。

特徴量抽出部１２１は、ぼけ除去処理部１４０ａ乃至１４０ｆ、特徴量算出部１４１ａ乃至１４１ｆ、縮退部１４２ａ乃至１４２ｆ、連結部１４３、確率分布DB（Data Base）１４４、および、ぼけ量判定部１４５により構成されている。

ぼけ除去処理部１４０ａ乃至１４０ｆは、入力画像に対してぼけ除去処理を施し、ぼけ除去結果画像を生成する。ぼけ除去処理部１４０ａ乃至１４０ｆが除去する画像のぼけ量はそれぞれ異なり、例えば、ぼけ除去処理部１４０ａ乃至１４０ｆの順に除去するぼけ量が大となる。ぼけ除去処理部１４０ａ乃至１４０ｆでは、注目画素を基準に特定された入力画像の所定の範囲の画素の画素値と、それに対応する予め学習により得られたぼけ除去係数との積和演算によって、注目画素のぼけ除去後の画素値（即ち、ぼけ除去結果画像の画素値）が求められるようになされている。

特徴量算出部１４１ａ乃至１４１ｆそれぞれは、注目画素に対して設定される入力画像の所定の領域内の各画素について特徴量を算出し、縮退部１４２ａ乃至１４２ｆに供給する。例えば、特徴量算出部１４１ａ乃至１４１ｆは、上述した式（３）乃至（８）で表されるいずれかの微分系特徴量を算出し、縮退部１４２ａ乃至１４２ｆに供給する。

縮退部１４２ａ乃至１４２ｆは、それぞれ、特徴量算出部１４１ａ乃至１４１ｆから供給される特徴量に対して、ビットの縮退処理を行う。例えば、特徴量算出部１４１ａ乃至１４１ｆから供給される特徴量が８ビットである場合に、LSB (Least Significant Bit)の３ビットを削除し、５ビットに縮退して出力する。なお、縮退部１４２ａ乃至１４２ｆでは、連結部１４３がぼけ量判定部１４５に供給する特徴量コードの分類数が適切な数となるように、実験などによって予め縮退量が決定されている。

連結部１４３は、縮退部１４２ａ乃至１４２ｆから供給される縮退後の特徴量を所定の順序で連結した特徴量コードをぼけ量判定部１４５に供給する。

確率分布DB１４４は、図示せぬDB生成装置で生成された情報に基づく、各特徴量コードについての、ぼけパラメータσごとの確率を記憶する。

DB生成装置では、式（２３）のぼけパラメータσを様々な値に設定して、それにより生成された様々なぼけ量のぼけ画像に対して、ぼけ除去処理部１４０ａ乃至１４０ｆ、特徴量算出部１４１ａ乃至１４１ｆ、縮退部１４２ａ乃至１４２ｆ、および連結部１４３と同様の構成によって特徴量コードが決定され、決定された特徴量コードの情報をぼけパラメータσの情報とともに蓄積することで、各特徴量コードの度数（特徴量コードの総発生回数）とともに、特徴量コードのそれぞれにおける、各ぼけパラメータσの度数（発生回数）の情報が蓄積される。確率分布DB１４４には、そのようにしてDB生成装置で蓄積された情報に基づいて、各ぼけパラメータの度数（発生回数）を、その特徴量コードの度数（特徴量コードの総発生回数）で除算した値であるぼけパラメータσごとの確率を、すべての特徴量コードについて記憶している。

ぼけ量判定部１４５は、確率分布DB１４４を参照して、連結部１４３から供給された特徴量コードに対応するぼけ量を特徴量として出力する。より詳しくは、ぼけ量判定部１４５は、連結部１４３から供給された特徴量コードと同一の特徴量コードの、ぼけパラメータσごとの確率を確率分布DB１４４において特定し、特定したぼけパラメータσごとの確率のうち、最も確率の高いぼけパラメータσを、注目画素（ｘ，ｙ）の特徴量ｐ（ｘ，ｙ）として出力する。

以上のように、係数生成部１６に供給される特徴量を、第１および第２の実施の形態で使用した式（３）乃至（８）で表される微分系特徴量のような線形特徴量の他、第３の実施の形態のように線形和では求められない非線形特徴量とすることも可能である。

図１０の画像処理装置１２０の係数ROM１７に記憶される演算用係数ベクトルを学習する学習装置は、特徴量の算出が、図１１の特徴量抽出部１２１と同様のものに変更される以外は、図５の学習装置５１と同様である。

なお、図１１の特徴量抽出部１２１については、さらなる変形が可能である。例えば、上述したように注目画素のみで最も確率の高いぼけパラメータσを特徴量として出力するのではなく、注目画素周辺の複数の画素それぞれで最も確率の高いぼけパラメータσを求め、同一のぼけパラメータσどうしを加算した加算確率の最も高いぼけパラメータσを特徴量として出力するようにしてもよい。

また例えば、画像中の平坦な箇所にノイズがのった場合の、ぼけ量の誤検出の対策として、ノイズを判別するDBを備え、ノイズであると判別されたぼけパラメータσは採用しないようにした上で、最も確率（または加算確率）の高いぼけパラメータσを出力するなども可能である。

本発明の画像処理装置（画像処理装置１、画像処理装置１００、および画像処理装置１２０）においては、各画素の特徴量に応じて最適な処理係数を用いて出力画像を生成するので、画像内で焦点距離の異なる被写体が複数含まれることによって生じているぼけを最適に除去することができる。

演算用係数ベクトルＷ₀乃至Ｗ_kは、学習装置の最小自乗法を用いた処理によって最適化されているため、特徴量ごとに処理係数を切替える場合の選択ミスを回避でき、画像に破綻が生じにくいという効果を奏する。また、本発明の画像処理装置では、特徴量ごとに処理係数ベクトルＷを保持する場合と比べると、保持する情報量を削減することもできる。

なお、上述した例では、算出される特徴量が１種類の例について説明したが、２種類以上の特徴量を用いて、演算用係数ベクトルＷ₀乃至Ｗ_kを決定することも可能である。

例えば、特徴量ベクトルｐとｑの２種類の特徴量によって処理係数ベクトルＷが決定される場合、上述した式（１９）に対応する、処理係数ベクトルＷを生成するときの式は、式（２５）で表すことができる。

上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１２は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。

バス２０４には、さらに、入出力インタフェース２０５が接続されている。入出力インタフェース２０５には、キーボード、マウス、マイクロホンなどよりなる入力部２０６、ディスプレイ、スピーカなどよりなる出力部２０７、ハードディスクや不揮発性のメモリなどよりなる記憶部２０８、ネットワークインタフェースなどよりなる通信部２０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア２１１を駆動するドライブ２１０が接続されている。

以上のように構成されるコンピュータでは、CPU２０１が、例えば、記憶部２０８に記憶されているプログラムを、入出力インタフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU２０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア２１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インタフェース２０５を介して、記憶部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記憶部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記憶部２０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

本発明を適用した画像処理装置の第１の実施の形態の構成例を示すブロック図である。 予測タップの例を示す図である。 自己相関値を説明する図である。 図１の画像処理装置によるぼけ除去処理について説明するフローチャートである。 本発明を適用した学習装置の実施の形態の構成例を示すブロック図である。 ぼけモデルの例を示す図である。 足し込み行列を説明する図である。 学習処理を説明するフローチャートである。 本発明を適用した画像処理装置の第２の実施の形態の構成例を示すブロック図である。 本発明を適用した画像処理装置の第３の実施の形態の構成例を示すブロック図である。 図１０の特徴量抽出部の詳細な構成例を示すブロック図である。 本発明を適用したコンピュータの一実施の形態の構成例を示すブロック図である。

符号の説明

１ 画像処理装置， １２ 予測画素抽出部， １３ 積和演算部， １４ 特徴量算出画素抽出部， １５ 特徴量算出部， １６ 係数生成部， １７ 係数ROM， ５１ 学習装置， ６２ 正規方程式加算部， ６３ 行列演算部， １００ 画像処理装置， １０１ クラス分類画素抽出部， １０２ クラス分類部， １０３ 係数生成部， １０４ 係数ROM， １２０ 画像処理装置， １２１ 特徴量抽出部， １４０ａ乃至１４０ｆ ぼけ除去処理部， １４１ａ乃至１４１ｆ 特徴量算出部， １４４ 確率分布DB， １４５ ぼけ量判定部

Claims (10)

1. 入力画像を、よりボケが軽減された出力画像に変換する画像処理装置において、
   前記出力画像内の注目する画素である注目画素に対応する前記入力画像の画素とその周辺の所定の画素からなる複数の画素を抽出する第１の画素抽出手段と、
   前記第１の画素抽出手段により抽出された前記複数の画素から第１の特徴量を算出する第１の特徴量算出手段と、
   前記第１の特徴量と第１の処理係数との演算により第２の処理係数を求め、その第２の処理係数と生徒画像としての複数種類のボケ量のボケが付加されたボケ画像との演算によりボケが付加されていない教師画像を生成する関係式に基づく正規方程式より予め学習された前記第１の処理係数と、前記第１の特徴量との演算により、前記第２の処理係数を生成する処理係数生成手段と、
   前記注目画素に対応する画素とその周辺の所定の画素からなる複数の画素を前記入力画像から抽出する第２の画素抽出手段と、
   前記第２の画素抽出手段により抽出された前記複数の画素と前記第２の処理係数との演算により、前記注目画素の画素値を生成する予測手段と
   を備える画像処理装置。
2. 前記第１の特徴量は、非線形特徴量である
   請求項１に記載の画像処理装置。
3. 前記生徒画像に複数種類のボケ量のボケを付加して、前記複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像を生成するボケ除去処理手段と、
   前記複数種類のボケ除去結果画像から第２の特徴量を算出する第２の特徴量算出手段と、
   前記複数種類のボケ除去結果画像それぞれの前記第２の特徴量を用いて、前記第１の特徴量としての非線形特徴量を決定する非線形特徴量決定手段と
   をさらに備える
   請求項２に記載の画像処理装置。
4. 前記注目画素に対応する前記入力画像の画素およびその周辺の所定の画素の画素値に応じて前記注目画素を所定のクラスに分類するクラス分類手段をさらに備え、
   前記係数生成手段は、クラス毎に、前記正規方程式を生成する
   請求項１に記載の画像処理装置。
5. 入力画像を、よりボケが軽減された出力画像に変換する画像処理方法において、
   前記出力画像内の注目する画素である注目画素に対応する前記入力画像の画素とその周辺の所定の画素からなる複数の画素を抽出し、
   抽出された前記複数の画素から特徴量を算出し、
   前記特徴量と第１の処理係数との演算により第２の処理係数を求め、その第２の処理係数と生徒画像としての複数種類のボケ量のボケが付加されたボケ画像との演算によりボケが付加されていない教師画像を生成する関係式に基づく正規方程式より予め学習された前記第１の処理係数と、前記特徴量との演算により、前記第２の処理係数を生成し、
   前記注目画素に対応する画素とその周辺の所定の画素からなる複数の画素を前記入力画像からさらに抽出し、
   さらに抽出された前記複数の画素と前記第２の処理係数との演算により、前記注目画素の画素値を生成する
   ステップを含む画像処理方法。
6. 入力画像を、よりボケが軽減された出力画像に変換する画像処理を、コンピュータに実行させるプログラムにおいて、
   前記出力画像内の注目する画素である注目画素に対応する前記入力画像の画素とその周辺の所定の画素からなる複数の画素を抽出し、
   抽出された前記複数の画素から特徴量を算出し、
   前記特徴量と第１の処理係数との演算により第２の処理係数を求め、その第２の処理係数と生徒画像としての複数種類のボケ量のボケが付加されたボケ画像との演算によりボケが付加されていない教師画像を生成する関係式に基づく正規方程式より予め学習された前記第１の処理係数と、前記特徴量との演算により、前記第２の処理係数を生成し、
   前記注目画素に対応する画素とその周辺の所定の画素からなる複数の画素を前記入力画像からさらに抽出し、
   さらに抽出された前記複数の画素と前記第２の処理係数との演算により、前記注目画素の画素値を生成する
   ステップを含む画像処理をコンピュータに実行させるプログラム。
7. 入力画像に複数種類のボケ量のボケが付加された生徒画像としての複数種類のボケ画像より求められる特徴量と第１の処理係数との演算により第２の処理係数を求め、その第２の処理係数と前記生徒画像との演算によりボケが付加されていない教師画像としての前記入力画像を生成する関係式を解法するために、前記生徒画像としてのボケ画像の画素値と前記教師画像としての入力画像の画素値を用いて正規方程式を生成する正規方程式生成手段と、
   前記正規方程式を解法することにより、前記第１の処理係数を生成する係数生成手段と
   を備える学習装置。
8. 前記特徴量は、非線形特徴量である
   請求項７に記載の学習装置。
9. 前記生徒画像に複数種類のボケ量のボケを付加して、前記複数種類のボケ量のボケを除去するための複数のボケ除去係数によりそれぞれボケ除去処理することにより、複数種類のボケ除去結果画像を生成するボケ除去処理手段と、
   前記複数種類のボケ除去結果画像から特徴量を検出する特徴量検出手段と、
   前記複数種類のボケ除去結果画像それぞれの前記特徴量を用いて前記非線形特徴量を決定する非線形特徴量決定手段と
   をさらに備える
   請求項８に記載の学習装置。
10. 前記注目画素に対応する前記生徒画像の画素およびその周辺の所定の画素の画素値に応じて前記注目画素を所定のクラスに分類するクラス分類手段をさらに備え、
    前記係数生成手段は、クラス毎に、前記正規方程式を生成する
    請求項７に記載の学習装置。

Images