JP2015041200A - 画像処理装置、画像形成装置およびプログラム - Google Patents

Abstract

【課題】画像内で不均一なぼけが生じている場合であっても、画像のぼけを補正するのに要する処理時間を短縮することを目的とする。
【解決手段】画像処理装置１は、外部から入力された入力画像データを受け付ける画像受け付け部１１と、入力画像データに基づく入力画像を複数の小領域に分割する画像分割部１２と、入力画像の複数の小領域のうち、パラメータ推定部１４がパラメータの値を推定するための１または複数の小領域を選択する小領域選択部１３と、画像で生じているぼけについて定義された関数が有するパラメータの値を推定するパラメータ推定部１４と、推定されたパラメータの値と入力画像データとに基づいて、入力画像で生じているぼけを補正したぼけ補正画像データを生成するぼけ補正部１５と、ぼけ補正画像データを外部に出力する画像出力部１６とを備える。
【選択図】図１

Description

本発明は、画像処理装置、画像形成装置およびプログラムに関する。

画像のぼけを補正する技術として、ＰＳＦ（Point Spread Function）を用いた技術が存在する。この技術は、ぼけた画像が、元の鮮鋭な画像にＰＳＦを畳み込むことで表すことができることを利用し、ぼけた画像に対してＰＳＦの逆畳み込み演算を施すことで元の鮮鋭な画像を復元する技術である。ＰＳＦを用いた画像復元技術として、例えば、ＰＳＦが既知である場合に、画像内で同一のぼけが生じていることを前提に元の画像を復元するＷｉｅｎｅｒ ｆｉｌｔｅｒが存在する（非特許文献１参照）。また、ＰＳＦが既知である場合に元の画像を復元する技術として、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ ｄｅｃｏｎｖｏｌｕｔｉｏｎが存在する（非特許文献２参照）。

また、公報記載の従来技術として、入力画像に対して、シェーディング補正処理、ガンマ補正処理、階調処理、直行する２つの方向に対してフィルタ強度を選択する処理を行う画像処理装置であって、原稿の領域に応じてフィルタリング処理の内容を切り替えることにより、入力画像が絵柄、文字、線画、写真、網点画像などのいずれであっても、画像の鮮鋭化度合いを調整する画像処理装置が存在する（特許文献１参照）。

さらに、他の公報記載の従来技術として、入力画像を複数の小領域画像に分割し、小領域画像毎にＰＳＦを推定し、推定されたＰＳＦの形状を識別して、類似性の高いＰＳＦ形状の小領域画像を同一グループに分類し、同一グループに分類された隣接する小領域画像をグループ毎に統合することにより、似通ったぼけ方をしている被写体画像を分離する被写体分離装置が存在する。また、被写体分離装置により分離された似通ったぼけ方をしている被写体画像をもとに、さらにＰＳＦを求め、復元画像を得る画像復元装置が存在する（特許文献２参照）。

また、ぼけのない自然画像では、画像内での画素値の変化の度合いを表すグラディエントのヒストグラムが、特定の値に集中するような分布（スパースな分布）を持つことが知られている（非特許文献３、４参照）。非特許文献４には、そのような画像の事前分布の一例が式（６）、式（７）として示されている。

さらに、統計学において、尤もらしさを表す度合いである尤度を最大化するパラメータを反復計算により求める手法として、ＥＭアルゴリズムが知られている（非特許文献４、５参照）。非特許文献５には、パラメータを求める手法として、サンプリング法、変分法、一般化ＥＭアルゴリズム等の他の手法も記載されている。

特開平９−２４７４６０号公報 特開２０１２−１５５４５６号公報

手塚慶一、北橋忠弘、小川秀夫著、「ディジタル画像処理工学」、初版1刷、株式会社日刊工業新聞社、1985年6月15日、p.54-57 W.Richardson, "Bayesian-based iterative method of image restoration", Journal of the Optical Society of America, Vol.62, 1972, p.55-59 R.Fergus, et.al, 「Removing camera shake from a single photograph」, SIGGRAPH 2006 Papers, ACM, 2006, p.787-794 A.Levin, et.al, 「Efficient marginal likelihood optimization in blind deconvolution」, Proceeding of CVPR 2011, 2011, p.2657-2664 C.M.ビショップ（C.M.Bishop）著、「パターン認識と機械学習 下 ベイズ理論による統計的予測」、初版3刷、シュプリンガー・ジャパン株式会社、2009年6月21日、p.139-171

本発明は、画像内で不均一なぼけが生じている場合であっても、画像のぼけを補正するのに要する処理時間を短縮することを目的とする。

請求項１に記載の発明は、入力された画像データを受け付ける受け付け手段と、前記受け付け手段により受け付けられた前記画像データを複数の領域に分割する分割手段と、画像に生じているぼけが画像内の位置に応じて表されるように定義された関数であり、複数の変数を有する当該関数を取得する取得手段と、前記分割手段により分割された前記複数の領域から、前記取得手段により取得された前記関数が有する変数の値を算出するための１または複数の領域を選択する選択手段と、前記選択手段により選択された前記１または複数の領域を用いて、前記取得手段により取得された前記関数が有する変数の値を算出する算出手段と、前記算出手段により算出された前記変数の値と前記受け付け手段により受け付けられた前記画像データとに基づいて、当該画像データにおける画像のぼけを補正する補正手段とを備えた画像処理装置である。
請求項２に記載の発明は、前記関数はガウス分布を表す関数で定義されることを特徴とする請求項１に記載の画像処理装置である。
請求項３に記載の発明は、前記選択手段は、前記分割手段により分割された前記複数の領域のうち、当該領域内の画素値の分布が不均一な当該領域を選択することを特徴とする請求項１または２に記載の画像処理装置である。
請求項４に記載の発明は、入力された画像データである入力画像データを受け付ける受け付け手段と、前記受け付け手段により受け付けられた前記入力画像データを複数の領域に分割する分割手段と、画像に生じているぼけが画像内の位置に応じて表されるように定義された関数であり、複数の変数を有する当該関数を取得する取得手段と、前記分割手段により分割された前記複数の領域から、前記取得手段により取得された前記関数が有する変数の値を算出するための１または複数の領域を選択する選択手段と、前記選択手段により選択された前記１または複数の領域を用いて、前記取得手段により取得された前記関数が有する変数の値を算出する算出手段と、前記算出手段により算出された前記変数の値と前記受け付け手段により受け付けられた前記入力画像データとに基づいて、当該入力画像データにおける画像のぼけを補正したぼけ補正画像データを生成する生成手段と、前記生成手段により生成された前記ぼけ補正画像データに基づいて記録材に画像を形成する画像形成手段とを備えた画像形成装置である。
請求項５に記載の発明は、コンピュータに、入力された画像データを受け付ける機能と、受け付けられた前記画像データを複数の領域に分割する機能と、画像に生じているぼけが画像内の位置に応じて表されるように定義された関数であり、複数の変数を有する当該関数を取得する機能と、分割された前記複数の領域から、取得された前記関数が有する変数の値を算出するための１または複数の領域を選択する機能と、選択された前記１または複数の領域を用いて、取得された前記関数が有する変数の値を算出する機能と、算出された前記変数の値と受け付けられた前記画像データとに基づいて、当該画像データにおける画像のぼけを補正する機能とを実現させるためのプログラムである。

請求項１記載の発明によれば、本構成を有していない場合と比較して、画像内で不均一なぼけが生じている場合であっても、画像のぼけを補正するのに要する処理時間が短縮される。
請求項２記載の発明によれば、本構成を有していない場合と比較して、中心部から周辺部に向かうにつれてぼけの度合いが大きくなる場合に、画像のぼけを補正するのが容易になる。
請求項３記載の発明によれば、本構成を有していない場合と比較して、画像のぼけを補正する精度を向上させることができる。
請求項４記載の発明によれば、本構成を有していない場合と比較して、画像内で不均一なぼけが生じている場合であっても、画像のぼけを補正するのに要する処理時間を短縮して画像形成を行うことができる。
請求項５記載の発明によれば、本構成を有していない場合と比較して、画像内で不均一なぼけが生じている場合であっても、画像のぼけを補正するのに要する処理時間を短縮する機能をコンピュータにより実現できる。

本実施の形態に係る画像処理装置の機能構成例を示したブロック図である。 本実施の形態に係る入力画像内の小領域の一例を示した図である。 本実施の形態に係るぼけた入力画像の生成モデルの一例を示した図である。 （ａ）（ｂ）（ｃ）は、ガウシアンフィルタによるぼけの一例を示した図である。 本実施の形態に係る画像処理装置が元画像を推定する手順の一例を示したフローチャートである。 本実施の形態に係る画像処理装置の機能を実現する画像形成装置の一例を示した図である。 本実施の形態に係る画像処理装置のハードウェア構成の一例を示した図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。
＜画像処理装置の構成の説明＞
図１は、本実施の形態に係る画像処理装置１の機能構成例を示したブロック図である。
本実施の形態に係る画像処理装置１は、外部から入力された画像データ（以下、入力画像データと称する）を受け付ける画像受け付け部１１と、入力画像データに基づく画像（以下、入力画像と称する）を複数の領域（以下、この領域を小領域と称する）に分割する画像分割部１２と、入力画像の複数の小領域のうち、後述するパラメータ推定部１４がパラメータの値を推定するための１または複数の小領域を選択する小領域選択部１３とを備える。また、画像処理装置１は、画像で生じているぼけについて定義された関数が有するパラメータの値を推定するパラメータ推定部１４と、推定されたパラメータの値と入力画像データとに基づいて、入力画像で生じているぼけを補正した画像データ（以下、ぼけ補正画像データと称する）を生成するぼけ補正部１５と、ぼけ補正画像データを外部に出力する画像出力部１６とを備える。

受け付け手段の一例としての画像受け付け部１１は、外部から入力画像データを受け付ける。本実施の形態において、入力画像データに基づく入力画像は、画像のぼけを補正する対象となるものである。そして、画像受け付け部１１は、受け付けた入力画像データを画像分割部１２およびぼけ補正部１５に送信する。

分割手段の一例としての画像分割部１２は、画像受け付け部１１から送信された入力画像データに基づく入力画像を複数の小領域に分割する。ここで、画像分割部１２は、入力画像を縦横にｍ×ｎ個の小領域に分割する。そして、画像分割部１２は、入力画像を複数の小領域に分割した後、その入力画像データを小領域選択部１３に送信する。

選択手段の一例としての小領域選択部１３は、画像分割部１２により分割された入力画像の複数の小領域のうち、パラメータ推定部１４によるパラメータの推定に適した１または複数の小領域を選択する。パラメータの推定に適した小領域としては、例えば、小領域内の画素値の分布が不均一なものが該当する。画素値の分布が均一な画像については、画像内でぼけが発生したとしても、画像値の分布が均一であるためにぼけの発生の有無が判断できない場合がある。そのため、小領域選択部１３は、画像内でのぼけの有無が判断し易い画像として、画素値の分布が不均一な画像を選択する。そして、小領域選択部１３は、選択した１または複数の小領域をパラメータ推定部１４に送信する。

図２は、本実施の形態に係る入力画像内の小領域の一例を示した図である。図２に示す入力画像は、画像分割部１２により縦横にｍ×ｎ個（図２に示す入力画像では、ｍ＝９、ｎ＝８）の小領域に分割されている。この小領域は、小領域選択部１３に選択された後にパラメータ推定部によるパラメータの推定に用いられるものであり、小領域の大きさは、例えば、小領域内でのぼけの変化の度合いに応じて定めれば良い。例えば、小領域内でのぼけの変化が大きければ小領域を小さくし、小領域内でのぼけの変化が小さければ小領域を大きくすることが考えられる。

また、小領域選択部１３は、例えば、画素値の分布が不均一な小領域を選択するために、各小領域について画素値の分布の度合いを示すエントロピーを計算し、エントロピーの大きい小領域から順番に選択する。図２に示す例では、小領域選択部１３は、エントロピーの大きい上位３個の小領域（斜線で示したｒ１〜ｒ３）を選択している。また、例えば、小領域選択部１３は、エントロピーが予め定められた閾値よりも大きい小領域を選択することとしても良い。さらに、例えば、小領域選択部１３は、各小領域における最大画素値と最小画素値との差や、各小領域におけるグラディエントの絶対値の平均等をもとに、小領域を選択しても良い。

取得手段、算出手段の一例としてのパラメータ推定部１４は、画像に生じているぼけが画像内の位置に応じて表されるように定義された関数であり、複数のパラメータを有する関数について、小領域選択部１３により選択された１または複数の小領域を用いて、関数が有するパラメータの値を推定する。関数の詳細については後述する。

補正手段の一例としてのぼけ補正部１５は、パラメータ推定部１４により推定されたパラメータの値と、画像受け付け部１１から送信された入力画像データとに基づいて、ぼけ補正画像データを生成する。このぼけ補正画像データに基づく画像は、入力画像のぼけを補正したものであり、ぼけが生じる前の元の画像（以下、元画像と称する）として推定されるものである。そして、ぼけ補正部１５は、生成したぼけ補正画像データを画像出力部１６に送信する。

画像出力部１６は、ぼけ補正部１５から送信されたぼけ補正画像データを外部に出力する。

＜ぼけた画像の生成モデルの説明＞
次に、ぼけた入力画像が生成されるモデルについて説明する。図３は、本実施の形態に係るぼけた入力画像の生成モデルの一例を示した図である。図３に図示するように、ぼけが生じる前の元画像を元画像ｘ、ぼけが生じた後の入力画像をｙで表す。また、一般に、ぼけの特性はＰＳＦで表すことができ、ＰＳＦをｋとして表すと、ぼけの生成は、ＰＳＦの離散的表現であるフィルタカーネルｋと元画像ｘとの畳み込み演算として定式化される。また、ぼけた画像が生成されるモデルとしては、ノイズｎも考慮するのが現実的である。そのため、入力画像ｙは数１式のように表される。

ただし、ｋ＊ｘは、ｋとｘとの畳み込み演算を表す。

本実施の形態においては、図３に示す生成モデルに対して、ＰＳＦ（ｋ）、ノイズｎを定義し、ぼけた入力画像がこの生成モデルにより生じたものと仮定し、ぼけた入力画像ｙから元画像ｘが推定される。

まず、ノイズｎとしては、例えば、平均を０、分散をγとしたガウス分布に従うノイズが、各画素に独立に加えられているものとする。

また、例えば、携帯情報端末のカメラのような高品質ではない機器で撮影した場合、光軸付近のピントは合っているが、周辺部に向かうにつれてぼけの度合いが大きくなることが多い。そこで、ＰＳＦとしては、画像上で生じるぼけを固定のＰＳＦで表すのではなく、画像上の位置に応じて特性が変化するＰＳＦで表すこととする。そして、画像のぼけを局所的にほぼ均一のぼけと捉え、例えば、画像上の位置ｐに生じるぼけを、数２式、数３式のようなガウス分布を表す関数であるガウシアンフィルタのＰＳＦにより求められるものとして定義する。ここで、位置ｐはガウシアンフィルタにおける中心位置であるものとする。

ただし、数２式および数３式において、ｋはＰＳＦのフィルタカーネル、λはフィルタカーネルの総和を１とするための正規化係数、ｚはカーネル中心（即ち、中心である位置ｐ）からフィルタカーネルの各要素までの距離、ｖはぼけの分散、即ちぼけの度合いの大きさを表す。分散ｖは固定値ではなく画像上の位置ｐに応じて変化するため、ぼけの度合いは画像上の位置に応じて変化することとなる。

また、分散ｖは、画像上の位置ｐと光軸位置ｃとの関数として表され、光軸位置ｃからの距離が遠くなるほど分散が大きい、即ち、画像のぼけが大きくなるように表される。また、||ｐ−ｃ||はｐとｃとのユークリッド距離であり、ａはぼけの大きさの勾配を制御するための係数である。さらに、δは、光軸位置上の分散ｖが０になると数２式が計算できないために設けられた値であり、０よりは大きいが非常に小さい値として適当に設定する。例えば、画像上の位置ｐが光軸位置ｃの場合には、分散はδのみとなり、ｋはほとんどぼけがない場合のフィルタとして表される。

数２式、数３式で示したガウシアンフィルタによるぼけの定義により、様々なぼけが統一的に記述される。図４（ａ）〜（ｃ）は、ガウシアンフィルタによるぼけの一例を示した図である。

図４（ａ）に示す画像は、ぼけが生じた一般的な画像であり、光軸位置ｃが画像の中心にあり、光軸位置ｃからの距離が遠くなる程ぼけが大きくなる画像の例である。係数ａは、ぼけの度合いに応じた値が設定される。図４（ｂ）に示す画像は、フラットベッドスキャナ等で読み込まれた画像の例である。この場合、光軸位置ｃは画像の中心にあり、ほとんどぼけが生じないため係数ａは０に近い値が設定される。図４（ｃ）に示す画像は、ぼけのある画像の一部を切り取った画像の例である。光軸位置は画像の左下にあり、係数ａは、ぼけの度合いに応じた値が設定される。以上の図４（ａ）〜（ｃ）に示す画像のぼけについては、数２式、数３式のガウシアンフィルタによるぼけとして表される。

また、元画像ｘについては、元画像ｘが持つ性質として画像の事前分布ｐ（ｘ）を定め、元画像ｘは事前分布ｐ（ｘ）に従うものとする。例えば、ぼけのない自然画像では、グラディエントのヒストグラムが、特定の値に集中するような分布（スパースな分布）を持つとされる。このような性質を利用して、事前分布ｐ（ｘ）が定められる。

以上のように、ＰＳＦ（ｋ）、ノイズｎを定義し、元画像ｘの事前分布を定めることで、数１式のパラメータのうち、係数ａおよび光軸位置ｃ、ノイズｎにおける分散γが未知のパラメータとなる。これらの未知パラメータは、入力画像ｙから確率的に推定されるものであり、公知の手順を用いることにより推定される。そして、推定された未知パラメータをもとに、公知の手順を用いることで、入力画像のぼけが補正され、元画像の推定が行なわれる。

＜未知パラメータの推定手順の説明＞
次に、パラメータ推定部１４が未知パラメータである係数ａ、光軸位置ｃ、ノイズｎの分散γを推定する手順について説明する。この推定手順は公知のものを用いれば良く、ここではその概要を説明する。

まず、パラメータ推定部１４は、図２に示すような小領域選択部１３が選択した小領域について、ｉ番目の小領域ｒｉの中心座標をｐｉとし、小領域ｒｉの元画像をｘｉとする。この場合、入力画像ｙを表す数１式、およびノイズｎが平均を０、分散をγとしたガウス分布に従うことに基づき、小領域ｒｉにおける入力画像ｙｉの分布は、数４式のような条件付き分布で表される。

ただし、記号∝は比例関係を表す記号であり、θは数５式のように、未知パラメータａ、ｃ、γを表すものである。

ここで、元画像ｘの事前分布は、画像上の位置によらずｐ（ｘ）で一定であるものとする。このとき、公知であるベイズの定理から、ｘｉとｙｉとの同時分布が数６式のように表される。

なお、ｐ（ｘ）として、上記のように、グラディエントのヒストグラムが特定の値に集中するような分布を持つという性質を利用する場合には、ｘｉおよびｙｉは画像そのものではなく、そのグラディエントで表した方が、計算処理が軽減される。ただし、式の表現自体は数４式や数５式と同一になるため、ここではｘｉおよびｙｉをグラディエントで表す場合も含めて、同一の式表現を用いるものとする。

次に、小領域選択部１３により選択された小領域が全部でＲ個（図２の例では３個）あるものとして、それぞれの小領域が独立していると仮定し、数４式および数６式を用いると、ｙ＝｛ｙｉ、ｙ２、・・、ｙＲ｝、ｘ＝｛ｘ１、ｘ２、・・、ｘＲ｝の同時分布は数７式のように表される。ただし、ｐ＝｛ｐ１、ｐ２、・・、ｐＲ｝とする。

次に、パラメータ推定部１４は、未知パラメータθを求める。本実施の形態では、一例として、公知の手順であるＥＭアルゴリズムを用いる手順について説明する。ＥＭアルゴリズムは尤度を最大化する未知パラメータを反復計算により求める手法である。本実施の形態において、尤度は図３のぼけた入力画像の生成モデルにより観測された入力画像ｙが生成される確率のθに関する関数であり、条件付き分布Ｐ（ｙ｜θ）で表される。即ち、図３の生成モデルによって、実際に観測された入力画像ｙが生成される確率が最も高くなるような未知パラメータθを求めることとなる。

以下、ＥＭアルゴリズムの各ステップについて説明する。まず、ＥＭアルゴリズムにおける初期化が行われる。ここでは、パラメータ推定部１４は、未知パラメータを予想される値で初期化し、これを数８式のようにθ^OLDとする。ＥＭアルゴリズムでは、最終的に求められる値（本実施の形態では未知パラメータθ）が、初期化で定めた値に依存する場合がある。そのため、初期化で定める値は予想される値とした方が良いが、予想できない場合にはどのような値を定めても良いものとする。

次に、ＥＭアルゴリズムにおけるＥステップが行われる。ここでは、パラメータ推定部１４は、元画像ｘを未知の潜在変数として、現在の未知パラメータθ^OLDに対するｘの事後分布ｑ（ｘ）を求める。事後分布ｑ（ｘ）は数９式のように表される。

次に、パラメータ推定部１４は、完全データ対数尤度log p(x, y | p, θ)の、ｑに関する期待値を求め、これを数１０式のようにＱ（θ、θ^OLD）とする。完全データ対数尤度内のθは現在値θ^OLD（固定値）ではなく、変数である。

次に、ＥＭアルゴリズムにおけるＭステップが行われる。ここでは、パラメータ推定部１４は、Ｅステップで求めた数１０式のＱ（θ、θ^OLD）が最大となるθを求め、これを更新後の未知パラメータθ^newとする。θ^newは数１１式のように表される。

パラメータ推定部１４は、数１１式で表されるθ^newを求めると、求めたθ^newが収束した値であるか否かを判定する。θ^newが収束した値ではない場合、パラメータ推定部１４は、θ^newを数９式のθ^OLDに代入して、再びＥステップから繰り返す。θの収束の判定手法としては、例えば、θの各要素の変化率が予め定められた値を下回るか否かを確認するという手法がある。収束後のθ^newをθ^＊とすると、θ^＊は数１２式のように表される。

以上のようにして、パラメータ推定部１４は、未知パラメータθ、即ち、係数ａ、光軸位置ｃ、ノイズｎの分散γを推定する。また、ＥステップおよびＭステップにおいて、例えば、元画像ｘの事前分布ｐ（ｘ）がガウス分布の場合には、未知パラメータθは算出されるが、ｑ（ｘ）やＱ（θ、θ^OLD）が複雑な式になるとθが算出されない場合もある。このような場合には、パラメータ推定部１４は、例えば、公知のサンプリング法、変分法、一般化ＥＭアルゴリズム等を利用して、未知パラメータθを求めても良い。

＜元画像の推定手順の説明＞
次に、ぼけ補正部１５が元画像ｘを推定する手順について説明する。この推定手順は公知のものを用いれば良く、ここではその概要を説明する。
まず、数９式に示されるｘの事後分布に関するｘの期待値が求まる場合や、事後分布を最大化するｘが求まる場合には、ぼけ補正部１５は、それぞれ数１３式、数１４式のように、これらの値をもって元画像の推定値ｘ^＊としても良い。

また、本実施の形態では、上記のＥＭアルゴリズムによって、ぼけのＰＳＦのパラメータ（ａ^＊、ｃ^＊）も、ノイズｎの分散γ^＊も推定される。そのため、ぼけ補正部１５は、公知のＷｉｅｎｅｒ ｆｉｌｔｅｒにより元画像を推定しても良い。

同様に、ＥＭアルゴリズムによってぼけのＰＳＦのパラメータ（ａ^＊、ｃ^＊）は推定されるため、ぼけ補正部１５は、ＰＳＦが既知の場合の一般的なｄｅｃｏｎｖｏｌｕｔｉｏｎ（逆畳み込み）アルゴリズムである、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ ｄｅｃｏｎｖｏｌｕｔｉｏｎを用いて、元画像を推定しても良い。

＜元画像を推定するフローチャートの説明＞
次に、画像処理装置１が元画像を推定するフローについて説明する。図５は、本実施の形態に係る画像処理装置１が元画像を推定する手順の一例を示したフローチャートである。

まず、画像受け付け部１１は、外部から入力画像データを受け付ける（ステップ１０１）。そして、画像受け付け部１１は、入力画像データを画像分割部１２およびぼけ補正部１５に送信する。画像分割部１２は、画像受け付け部１１から送信された入力画像データに基づく入力画像を縦横にｍ×ｎ個の小領域に分割する（ステップ１０２）。そして、画像分割部１２は、入力画像を複数の小領域に分割した後、その入力画像データを小領域選択部１３に送信する。

小領域選択部１３は、画像分割部１２により分割された入力画像の各小領域について、画素値の分布の度合いを示すエントロピーを計算する（ステップ１０３）。次に、小領域選択部１３は、計算したエントロピーをもとに、エントロピーの大きい上位Ｋ個の小領域を選択する（ステップ１０４）。そして、小領域選択部１３は、選択したＫ個の小領域をパラメータ推定部１４に送信する。

パラメータ推定部１４は、ぼけた入力画像の生成モデルにおけるＰＳＦ（ｋ）、ノイズｎに関して定義された関数、元画像ｘの事前分布に対して、小領域選択部１３から送信されたＫ個の小領域を用いて、未知パラメータ（ａ^＊、ｃ^＊、γ^＊）を推定する（ステップ１０５）。ここで、パラメータ推定部１４は、ｉ番目の小領域ｒｉの中心座標をｐｉ、小領域ｒｉの元画像をｘｉとし、入力画像ｙｉの分布を条件付き分布で表す。また、パラメータ推定部１４は、ベイズの定理を用いて、ｘｉとｙｉとの同時分布を求める。さらに、パラメータ推定部１４は、ＥＭアルゴリズムを用いて、尤度を最大化する未知パラメータ（ａ^＊、ｃ^＊、γ^＊）を推定する。

ぼけ補正部１５は、パラメータ推定部１４により推定された未知パラメータ（ａ^＊、ｃ^＊、γ^＊）を用いて、画像受け付け部１１から送信された入力画像データからぼけ補正画像データを生成し、元画像を推定する（ステップ１０６）。ここで、ぼけ補正部１５は、元画像の推定において、小領域選択部１３から送信されたＫ個の小領域を用いても良い。その後、画像出力部１６はぼけ補正画像データを外部に出力し、本処理フローは終了する。

以上のように、本実施の形態に係る画像処理装置１は、画像で生じているぼけについて定義された関数のパラメータを推定することにより、ぼけた入力画像の情報からＰＳＦや元画像の推定を行う。画像処理装置１は、ＰＳＦや元画像の推定に際し、入力画像を分割した小領域のうち選択した小領域を用いて、係数ａ、光軸位置ｃのように数少ないパラメータを推定すれば良い。また、画像処理装置１が選択する小領域については、パラメータを推定するのに足りる数であれば良い。そのため、例えば、入力画像の全ての小領域に対してＰＳＦを推定する構成と比較して、入力画像のぼけを補正して元画像を推定するための処理時間が短縮される。また、画像処理装置１は、入力画像で生じているぼけに対して、固定のＰＳＦを用いるのではなく、画像上の位置に応じて変化するＰＳＦを表した関数を用いる。そのため、画像内で不均一なぼけが生じている場合であっても、元画像を推定する処理時間が短縮される。

また、画像処理装置１は、ＰＳＦが既知でなくても、入力画像の情報から元画像の推定を行う。そのため、画像処理装置１は、例えば、画像処理装置へ画像を入力する機器が特定できない画像共有サービス等に対しても適用される。さらに、画像処理装置１は、関数によりＰＳＦをモデル化することで、例えば、ＰＳＦの形状を任意として元画像を推定する構成と比較して、ＰＳＦや元画像の推定を精度良く高速に行う。また、画像処理装置１は、例えば、原稿の領域に応じてエッジ強調のような画像強調処理を行う構成と比較して、ＰＳＦを用いた高精度なぼけの補正を行う。

また、本実施の形態において、ぼけを定義するガウシアンフィルタを大きくすれば、ぼけ補正の精度が向上する。ただし、ガウシアンフィルタを大きくする程、未知パラメータや元画像を推定するための処理時間が増加する。そのため、ガウシアンフィルタの大きさは、必要とする補正の精度や処理時間に基づいて決定されるものとする。

また、本実施の形態において、画像のぼけを定義するガウシアンフィルタの分散を数３式のように表したが、これに限られるものではない。分散を数３式のように表せば、画像のぼけは、例えば、レンズにより生じるぼけのように、光軸位置ｃからの距離が等しい箇所では同じぼけが発生するような等方性のぼけとして表される。一方、例えば、ガウシアンフィルタの分散を数１５式のように表せば、画像のぼけは、光軸位置ｃからの距離が等しい箇所であっても異なるぼけが発生するような非等方性のぼけとして表される。

ただし、数１５式において、ｐは画像上の位置、ｃは光軸位置、ｂはぼけの大きさの勾配を制御するための係数である。また、δは数３式と同様に０よりは大きいが非常に小さい値が設定される。さらに、Σは分散共分散行列であり、ｔは転置、Σ^-１はΣの逆行列であることを表す。

また、本実施の形態において、画像のぼけのＰＳＦをガウシアンフィルタで定義したが、これに限られるものではなく、例えば、平均化フィルタ等の別の関数によりぼけのＰＳＦを定義しても良い。

＜適用可能な画像形成装置の説明＞
本発明の実施の形態に係る画像処理装置１の機能は、画像処理装置１を備えた画像形成装置において実現してもよい。そこで、画像処理装置１の処理を画像形成装置２０で実現するものとして、画像形成装置２０の構成例について説明する。図６は、本実施の形態に係る画像処理装置１の機能を実現する画像形成装置２０の一例を示した図である。

図６に示す画像形成装置２０は、例えば複写機能やスキャナ機能、プリント機能、ファクシミリ機能等を複合的に備えた多機能機であって、各色の画像データに基づき用紙に画像を形成する画像形成手段の一例としての画像形成部２１と、画像形成装置２０全体の動作を制御する制御部２２と、パーソナルコンピュータ(ＰＣ)やスキャナ等と通信を行い、画像データを受信する通信部２３と、公衆回線を通じて画像の送受信を行うファクシミリ（ＦＡＸ）部２４とを備える。また、画像形成装置２０は、通信部２３やＦＡＸ部２４から転送された画像データに対して、画像処理装置１におけるぼけ補正の処理を施してぼけ補正画像データを生成する生成手段の一例としての画像処理部２５を備えている。

画像形成装置２０では、制御部２２による動作制御の下で、次のようなプロセスによる画像形成処理が行われる。まず、転送された画像データに対して画像処理部２５によりぼけ補正画像データが生成された後、生成されたぼけ補正画像データは画像形成部２１に送られる。画像形成部２１では、ぼけ補正画像データに基づいて、電子写真方式やインクジェット方式により用紙上に画像を形成して出力する。

＜適用可能なコンピュータの説明＞
ところで、本発明の実施の形態における画像処理装置１の処理は、汎用のコンピュータにおいて実現してもよい。そこで、この処理をコンピュータで実現するものとして、そのハードウェア構成について説明する。

図７は、本実施の形態に係る画像処理装置１のハードウェア構成の一例を示した図である。図示するように、画像処理装置１は、演算手段であるＣＰＵ（Central Processing Unit）３１と、記憶手段であるメインメモリ３２及び磁気ディスク装置（ＨＤＤ：Hard Disk Drive）３３とを備える。ここで、ＣＰＵ３１は、ＯＳ（Operating System）やアプリケーション等の各種ソフトウェアを実行し、画像処理装置１の各機能を実現する。また、メインメモリ３２は、各種ソフトウェアやその実行に用いるデータ等を記憶する記憶領域であり、磁気ディスク装置３３は、本実施の形態に係る画像処理装置１の各機能を実現するためのプログラムを格納している。そして、このプログラムがメインメモリ３２にロードされ、このプログラムに基づく処理がＣＰＵ３１により実行されることで、各機能が実現される。さらに、画像処理装置１は、外部との通信を行うための通信Ｉ／Ｆ３４を備える。

具体的には、画像処理装置１において、ＣＰＵ３１が行う指示により、入力画像の分割や、小領域の選択、未知パラメータの推定、元画像の推定等が行われる。また、入力画像データの受け付けやぼけ補正画像データの出力は、通信Ｉ／Ｆ３４を介して行われる。

＜プログラムの説明＞
以上説明を行った本実施の形態における画像処理装置１が行う処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。

よって、画像処理装置１が行う処理は、コンピュータに、入力された画像データを受け付ける機能と、受け付けられた画像データを複数の領域に分割する機能と、画像に生じているぼけが画像内の位置に応じて表されるように定義された関数であり、複数の変数を有する関数を取得する機能と、分割された複数の領域から、取得された関数が有する変数の値を算出するための１または複数の領域を選択する機能と、選択された１または複数の領域を用いて、取得された関数が有する変数の値を算出する機能と、算出された変数の値と受け付けられた画像データとに基づいて、画像データにおける画像のぼけを補正する機能とを実現させるためのプログラムとして捉えることもできる。

なお、本発明の実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ−ＲＯＭ等の記録媒体に格納して提供することも可能である。

１…画像処理装置、１１…画像受け付け部、１２…画像分割部、１３…小領域選択部、１４…パラメータ推定部、１５…ぼけ補正部、１６…画像出力部

Claims (5)

1. 入力された画像データを受け付ける受け付け手段と、
   前記受け付け手段により受け付けられた前記画像データを複数の領域に分割する分割手段と、
   画像に生じているぼけが画像内の位置に応じて表されるように定義された関数であり、複数の変数を有する当該関数を取得する取得手段と、
   前記分割手段により分割された前記複数の領域から、前記取得手段により取得された前記関数が有する変数の値を算出するための１または複数の領域を選択する選択手段と、
   前記選択手段により選択された前記１または複数の領域を用いて、前記取得手段により取得された前記関数が有する変数の値を算出する算出手段と、
   前記算出手段により算出された前記変数の値と前記受け付け手段により受け付けられた前記画像データとに基づいて、当該画像データにおける画像のぼけを補正する補正手段と
   を備えた画像処理装置。
2. 前記関数はガウス分布を表す関数で定義されることを特徴とする請求項１に記載の画像処理装置。
3. 前記選択手段は、前記分割手段により分割された前記複数の領域のうち、当該領域内の画素値の分布が不均一な当該領域を選択することを特徴とする請求項１または２に記載の画像処理装置。
4. 入力された画像データである入力画像データを受け付ける受け付け手段と、
   前記受け付け手段により受け付けられた前記入力画像データを複数の領域に分割する分割手段と、
   画像に生じているぼけが画像内の位置に応じて表されるように定義された関数であり、複数の変数を有する当該関数を取得する取得手段と、
   前記分割手段により分割された前記複数の領域から、前記取得手段により取得された前記関数が有する変数の値を算出するための１または複数の領域を選択する選択手段と、
   前記選択手段により選択された前記１または複数の領域を用いて、前記取得手段により取得された前記関数が有する変数の値を算出する算出手段と、
   前記算出手段により算出された前記変数の値と前記受け付け手段により受け付けられた前記入力画像データとに基づいて、当該入力画像データにおける画像のぼけを補正したぼけ補正画像データを生成する生成手段と、
   前記生成手段により生成された前記ぼけ補正画像データに基づいて記録材に画像を形成する画像形成手段と
   を備えた画像形成装置。
5. コンピュータに、
   入力された画像データを受け付ける機能と、
   受け付けられた前記画像データを複数の領域に分割する機能と、
   画像に生じているぼけが画像内の位置に応じて表されるように定義された関数であり、複数の変数を有する当該関数を取得する機能と、
   分割された前記複数の領域から、取得された前記関数が有する変数の値を算出するための１または複数の領域を選択する機能と、
   選択された前記１または複数の領域を用いて、取得された前記関数が有する変数の値を算出する機能と、
   算出された前記変数の値と受け付けられた前記画像データとに基づいて、当該画像データにおける画像のぼけを補正する機能と
   を実現させるためのプログラム。

Images