JP4872862B2 - 画像データ演算装置および方法、プログラム、並びに記録媒体 - Google Patents

画像データ演算装置および方法、プログラム、並びに記録媒体 Download PDF

Info

Publication number
JP4872862B2
JP4872862B2 JP2007242558A JP2007242558A JP4872862B2 JP 4872862 B2 JP4872862 B2 JP 4872862B2 JP 2007242558 A JP2007242558 A JP 2007242558A JP 2007242558 A JP2007242558 A JP 2007242558A JP 4872862 B2 JP4872862 B2 JP 4872862B2
Authority
JP
Japan
Prior art keywords
image
pixel
prediction
blur
class
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007242558A
Other languages
English (en)
Other versions
JP2008109640A5 (ja
JP2008109640A (ja
Inventor
哲二郎 近藤
勉 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2007242558A priority Critical patent/JP4872862B2/ja
Priority to PCT/JP2007/068924 priority patent/WO2008038748A1/ja
Priority to US12/441,404 priority patent/US20100061642A1/en
Publication of JP2008109640A publication Critical patent/JP2008109640A/ja
Publication of JP2008109640A5 publication Critical patent/JP2008109640A5/ja
Application granted granted Critical
Publication of JP4872862B2 publication Critical patent/JP4872862B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

本発明は画像データ演算装置および方法、プログラム、並びに記録媒体に関し、特に、より正確に画像のぼけを修正することができるようにした画像データ演算装置および方法、プログラム、並びに記録媒体に関する。
また、本発明は、自然に揺らぐ画像を生成し、またはその予測係数を演算することができるようにした画像データ演算装置および方法、プログラム、並びに記録媒体に関する。
デジタルスチルカメラにおいてオートフォーカス機能により撮像すると、本来撮像したい前景としての被写体ではなく、背景にフォーカスされてしまい、結果的に、本来の被写体の画像がぼけてしまうことがある。例えば、図１は、このような画像の例を表しており、背景にピントが合っているため、本来の被写体である前景の花の画像はピントぼけの状態になっている。
本出願人は、このようなぼけを補正することを先に提案した（例えば、特許文献１）。先の提案においては、画像の特徴が検出され、その画像の特徴に応じて、ぼけを補正した画像を演算するためのモデル式が変更される。これにより、エッジ部やディテール部において忠実な補正が可能となる。
また、多くの画像を学習し、クラス分類適応処理により予測係数を演算し、その予測係数を用いてぼけを補正することも考えられる。
さらに、ぼけではないが、特許文献２には、水面に移るオブジェクトの像を水面の揺れにあわせて揺らせるようにした画像を生成することが開示されている。
特開２００５−６３０９７号公報 特開２００６−３１８３８８号公報
しかしながら、特許文献１の提案においては、画素毎に正確に画像のぼけを修正することは困難であった。
また、クラス分類適応処理により正確に画像のぼけを修正するには、ピントが合っている画素と、ピントが合っていない画素とを異なるクラスに分類する等して、画像を正確にクラス分離することが必要となる。しかしながら、通常の画像だけから、ピントが合っている画素と、ピントが合っていない画素とを異なるクラスに分類するクラス分類を実現することは困難である。すなわち、図２は、ピントが合っている背景（花と葉以外の景色）を構成する画素の多くが分類されている１つのクラスの画素を１とし、その他のクラスに分類されている画素を０として表した図であるが、同図に示されるように、ピントが合っていない前景（花と葉）を構成する多数の画素が、ピントが合っている背景を構成する画素の多くが分類されているクラスに分類されている。このことは、通常の画像だけからクラス分類により求めた予測係数を用いてピントを補正しても、正確なぼけの補正は困難であることを意味する。
また、特許文献２の技術は、水面に映る画像を生成するものであるため、それにより生成される画像は歪んだ画像であった。従って、例えば、人が空気中の物を遠くから見たような場合に観察されるような、比較的詳細な元の状態をそのまま確認することができる画像であって、周囲の空気の温度、湿度の変化などに起因して自然に揺らぐ画像を生成することは困難であった。
本発明は、このような状況に鑑みてなされたものであり、正確に画像のぼけを修正することができるようにするものである。
また、本発明は、自然に揺らぐ画像を生成することができるようにするものである。
本発明の一側面は、ぼけ修正画像を構成する画素を、順次、注目画素とし、ぼけ画像を構成する各画素の画素値であるぼけ画像データから、前記注目画素をクラスに分類するために用いる画像クラスタップを構築する画像クラスタップ構築手段と、前記ぼけ画像を構成する各画素に対応する奥行きデータから、前記注目画素をクラスに分類するために用いる奥行きクラスタップを構築する奥行きクラスタップ構築手段と、前記画像クラスタップおよび前記奥行きクラスタップに基づいて、前記注目画素のクラスを分類するクラス分類手段と、ユーザにより指定されたパラメータであって、画像データのぼけに関するパラメータに対応し、分類された前記クラスに対応する予測係数を提供する予測係数提供手段と、前記ぼけ画像データから、注目画素の画素値を予測するための画像予測タップを構築する画像予測タップ構築手段と、前記画像予測タップと、提供された前記予測係数とを予測演算式に適用して、前記ぼけ画像のぼけを修正したぼけ修正画像を構成する画素である画像データを前記注目画素ごとに演算する画像データ演算手段とを備える画像データ演算装置である。
前記予測係数提供手段は、ぼけの特性を規定するぼけパラメータ、前記画像データに含まれるノイズに基づくクラスを規定するパラメータ、前記奥行きデータに含まれるノイズに基づくクラスを規定するパラメータ、または動き情報に基づいて、前記予測係数を提供することができる。
前記予測係数提供手段は、さらにユーザにより指定されたパラメータであって、前記画像データまたは前記奥行きデータのスケーリングに基づくクラスを規定するパラメータに基づいて、前記予測係数を提供することができる。
前記奥行きデータは、前記奥行きデータから前記奥行きデータ予測タップを構築する前記奥行きデータ予測タップ構築手段をさらに備え、前記画像データ演算手段は、前記画像予測タップ、前記奥行きデータ予測タップ、並びに提供された前記予測係数を前記予測演算式に適用してぼけを修正した画像データを演算することができる。
本発明の一側面はまた、画像データを演算する画像データ演算装置の画像データ演算方法において、画像クラスタップ構築手段が、ぼけ修正画像を構成する画素を、順次、注目画素とし、ぼけ画像を構成する各画素の画素値であるぼけ画像データから、前記注目画素をクラスに分類するために用いる画像クラスタップを構築し、クラスタップ構築手段が、前記ぼけ画像を構成する各画素に対応する奥行きデータから、前記注目画素をクラスに分類するために用いる奥行きクラスタップを構築し、クラス分類手段が、前記画像クラスタップおよび前記奥行きクラスタップに基づいて、前記注目画素のクラスを分類し、予測係数提供手段が、ユーザにより指定されたパラメータであって、前記画像データのぼけに関するパラメータに対応し、分類された前記クラスに対応する予測係数を提供し、画像予測タップ構築手段が、前記ぼけ画像データから、注目画素の画素値を予測するための画像予測タップを構築し、画像データ演算手段が、前記画像予測タップと、提供された前記予測係数とを予測演算式に適用して、前記ぼけ画像のぼけを修正したぼけ修正画像を構成する画素である画像データを前記注目画素ごとに演算する画像データ演算方法である。
さらに本発明の一側面は、ぼけ修正画像を構成する画素を、順次、注目画素とし、ぼけ画像を構成する各画素の画素値であるぼけ画像データから、前記注目画素をクラスに分類するために用いる画像クラスタップを構築する画像クラスタップ構築ステップと、前記ぼけ画像を構成する各画素に対応する奥行きデータから、前記注目画素をクラスに分類するために用いる奥行きクラスタップを構築する奥行きクラスタップ構築ステップと、前記画像クラスタップおよび前記奥行きクラスタップに基づいて、前記注目画素のクラスを分類するクラス分類ステップと、ユーザにより指定されたパラメータであって、画像データのぼけに関するパラメータに対応し、分類された前記クラスに対応する予測係数を提供する予測係数提供ステップと、前記ぼけ画像データから、注目画素の画素値を予測するための画像予測タップを構築する画像予測タップ構築ステップと、前記画像予測タップと、提供された前記予測係数とを予測演算式に適用して、前記ぼけ画像のぼけを修正したぼけ修正画像を構成する画素である画像データを前記注目画素ごとに演算する画像データ演算ステップとを含む処理をコンピュータに実行させるプログラムである。
このプログラムは記録媒体に記録することができる。
前記画像データ演算手段は、ぼけの点広がり関数にノイズを付加して画像データを演算することができる。
前記ノイズ演算手段は、奥行きデータにノイズを付加した奥行きデータを演算し、前記画像データ演算手段は、ノイズを付加した奥行きデータに基づいてぼけの点広がり関数にノイズを付加することができる。
前記ノイズ演算手段は、前記ぼけの点広がり関数の偏差、位相、先鋭度、またはそれらを複合したノイズを演算することができる。
前記ノイズ演算手段は、動き量、動きの方向、またはそれらを複合したノイズを演算することができる。
前記ノイズ演算手段は、前記動きの方向にノイズを付加する場合、前記動きの方向の補間画素の画素値を演算するときの前記補間画素の位置にノイズを付加することができる。
処理領域を設定する設定手段をさらに備え、前記画像データ演算手段は、設定された前記処理領域の画像データについてノイズを付加することができる。
さらに本発明の他の側面は、パラメータを取得するパラメータ取得ステップと、取得された前記パラメータに基づいて、ぼけモデルのぼけのノイズを演算するノイズ演算ステップと、前記ぼけモデルのノイズを付加した画像データを演算する画像データ演算ステップとを含む処理をコンピュータに実行させるプログラムである。
このプログラムは記録媒体に記録することができる。
本発明の一側面においては、ぼけ修正画像を構成する画素を、順次、注目画素とし、ぼけ画像を構成する各画素の画素値であるぼけ画像データから、注目画素をクラスに分類するために用いる画像クラスタップが構築され、ぼけ画像を構成する各画素に対応する奥行きデータから、注目画素をクラスに分類するために用いる奥行きクラスタップが構築され、画像クラスタップおよび奥行きクラスタップに基づいて、注目画素のクラスが分類される。そして、予測係数提供手段が、ユーザにより指定されたパラメータであって、画像データのぼけに関するパラメータに対応し、分類された前記クラスに対応する予測係数を提供し、画像予測タップ構築手段が、ぼけ画像データから、注目画素の画素値を予測するための画像予測タップを構築し、画像データ演算手段が、前記画像予測タップと、提供された前記予測係数とを予測演算式に適用して、ぼけ画像のぼけを修正したぼけ修正画像を構成する画素である画像データを注目画素ごとに演算する。
以上のように、本発明の一側面によれば、正確に画像のぼけを修正することができる。
特に、クラス分類処理において、ぼけている画像とぼけていない画像が同じクラスに分類され、画像のぼけを正確に修正することが困難になることが抑制される。
また、本発明の他の側面によれば、自然に揺らぐ画像を生成することができる。
以下、図を参照して本発明の実施の形態について説明する。
図３は、本発明を適用した学習装置１の一実施の形態の構成を示すブロック図である。
図３の予測係数演算装置としての学習装置１は、ぼけ付加部１１、ノイズ付加部１２、ノイズ付加部１３、タップ構築部１４、タップ構築部１５、クラス分類部１６、タップ構築部１７、予測係数演算部１８、および係数メモリ１９により構成され、ぼけのある画像であるぼけ画像から、それと同一のサイズの、ぼけを修正した画像であるぼけ修正画像をクラス分類適応処理により予測する予測処理を行うときに用いられる予測係数を学習する。
ぼけ付加部１１には、図示せぬ装置から、予測処理後のぼけ修正画像に相当する親画像の各画素の画素値である親画像データが入力される。ぼけ付加部１１は、ユーザにより指定されたぼけパラメータＰを取得し、ノイズ付加部１２から供給されるノイズ付加後の奥行きデータｚに基づいて、ぼけパラメータＰに従った特性で、親画像データにぼけを付加する。
奥行きデータｚは、画像に対応する実世界オブジェクトの３次元位置データであり、複数カメラにより撮像された複数の画像によるステレオ視やレーザ計測等により算出される。例えば、親画像データが図示せぬカメラにより取得されたときの、そのカメラから被写体までの画素毎の距離のデータである。各画素に対応する画素毎の距離のデータは、例えば、特開２００５-７００１４号公報に開示された方法で得ることができる。
ぼけ付加部１１は、ぼけ付加後の親画像データを、予測処理前のぼけ画像に相当する生徒画像の各画素の画素値である生徒画像データとして、ノイズ付加部１３に供給する。
ノイズ付加部１２には、図示せぬ装置から奥行きデータｚが入力される。また、ノイズ付加部１２は、ユーザにより指定された奥行きデータｚに付加するノイズのパラメータであるノイズパラメータＮｚを取得し、ノイズパラメータＮｚに従った特性で、奥行きデータｚにノイズを付加する。そして、ノイズ付加部１２は、ノイズ付加後の奥行きデータｚをぼけ付加部１１とタップ構築部１５に供給する。
ノイズ付加部１３は、ユーザにより指定された、生徒画像データに付加するノイズのパラメータであるノイズパラメータＮｉを取得する。ノイズ付加部１３は、ノイズパラメータＮｉに従った特性で、ぼけ付加部１１から供給される生徒画像データにノイズを付加する。そして、ノイズ付加部１３は、ノイズ付加後の生徒画像データをタップ構築部１４とタップ構築部１７に供給する。
なお、ノイズ付加部１２とノイズ付加部１３は、それらを設けることで、ぼけ画像のノイズの除去を考慮した予測係数を求めることができるが、その考慮をしない場合には省略することができる。
タップ構築部１４は、親画像を構成する画素を、順次、注目画素とし、その注目画素をクラスに分類するために用いる、生徒画像を構成する画素値の幾つかを抽出することで、画像クラスタップを生徒画像データから構築する。タップ構築部１４は、画像クラスタップをクラス分類部１６に供給する。
タップ構築部１５は、注目画素をクラスに分類するために用いる、幾つかの画素の奥行きデータｚを抽出することで、奥行きクラスタップを奥行きデータｚから構築する。タップ構築部１５は、奥行きクラスタップをクラス分類部１６に供給する。
クラス分類部１６は、タップ構築部１４から供給される画像クラスタップと、タップ構築部１５から供給される奥行きクラスタップとに基づいて、注目画素をクラスに分類する。
クラス分類は、クラスタップを構成する複数のデータから算出される特徴量を分類コードとすることにより実現される。
ここで、クラスに分類する方法としては、例えば、ADRC(Adaptive Dynamic Range Coding)等を採用することができる。ADRC以外にも様々なデータ圧縮処理などを用いることができる。
ADRCを用いる方法では、画像クラスタップを構成する画素値と、奥行きクラスタップを構成する奥行きデータｚそれぞれが、ADRC処理され、その結果得られる２つのADRCコードに従って、注目画素のクラスが決定される。
なお、KビットADRCにおいては、例えば、画像クラスタップを構成する画素値の最大値MAXと最小値MINが検出され、DR=MAX-MINを、画像クラスタップとしての複数の画素値の集合の局所的なダイナミックレンジとし、このダイナミックレンジDRに基づいて、画像クラスタップとしての複数の画素値それぞれがKビットに再量子化される。すなわち、画像クラスタップとしての各画素値から、最小値MINが減算され、その減算値がDR/2Kで除算（量子化）される。そして、以上のようにして得られる、画像クラスタップとしてのKビットの各画素値を、所定の順番で並べたビット列が、ADRCコードとされる。
従って、画像クラスタップが、例えば、１ビットADRC処理される場合には、その画像クラスタップとしての各画素値は、最小値MINが減算された後に、最大値MAXと最小値MINとの差の１／２で除算され（小数点以下切り捨て）、これにより、各画素値が１ビットとされる（２値化される）。そして、その１ビットの画素値を所定の順番で並べたビット列が、ADRCコードとされる。また、奥行きクラスタップについても同様に、奥行きクラスタップとしてのKビットの各画素の奥行きデータｚを、所定の順番で並べたビット列が、ADRCコードとされる。
なお、画像クラスタップに基づいて分類する方法と、奥行きクラスタップに基づいて分類する方法は、異なっていてもよい。例えば、画像クラスタップに基づいて分類する方法としては、上述したADRCを採用し、奥行きクラスタップに基づいて分類する方法としては、ADRCではなく、奥行きクラスタップを構成する奥行きデータｚを平滑化してクラスに分類する方法、奥行きクラスタップを構成する奥行きデータｚに対応する画素におけるエッジによりクラスに分類する方法等を採用してもよい。
奥行きデータｚを平滑化してクラスに分類する方法では、奥行きクラスタップを構成するすべての奥行きデータｚを積算したものを、奥行きクラスタップを構成する奥行きデータｚに対応する画素の数で除算し、所定の定数を乗算した値がクラスコードとされ、そのクラスコードに従って、クラスが決定される。
また、奥行きデータｚに対応する画素におけるエッジによりクラスに分類する方法では、奥行きクラスタップを構成する奥行きデータｚから隣接画素同士の奥行きデータｚの差分が算出され、その差分に基づいてエッジの位置が認識される。そして、そのエッジの位置を示すテンプレートが、予め用意されたテンプレートから選択され、そのテンプレートの番号がクラスコードとされ、そのクラスコードに従って、クラスが決定される。
クラス分類部１６は、注目画素が分類されたクラスを予測係数演算部１８に供給する。
以上のように、クラス分類部１６は、画像クラスタップだけでなく、奥行きクラスタップにも基づいて、注目画素のクラスを分類するので、ぼけている画像とぼけていない画像が同じクラスに分類されることを抑制することができる。
タップ構築部１７は、注目画素の画素値を予測するために用いる、生徒画像を構成する画素値の幾つかを抽出することで、画像予測タップを生徒画像データから構築する。タップ構築部１７は、画像予測タップを予測係数演算部１８に供給する。
なお、画像予測タップ、画像クラスタップ、または奥行きクラスタップとしては、任意の画素値が選択可能であるが、注目画素および／または注目画素の周辺の所定の画素の画素値を選択することができる。
予測係数演算部１８は、ユーザにより指定された、ノイズ付加部１２に供給されるノイズパラメータＮｚ、ノイズ付加部１３に供給されるノイズパラメータＮｉ、およびぼけ付加部１１に供給されるぼけパラメータＰを取得する。予測係数演算部１８は、図示せぬ装置から供給される親画像データとタップ構築部１７から供給される画像予測タップに基づいて、クラス分類部１６から供給されるクラス、並びにノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰ毎に、予測係数を演算し、係数メモリ１９に供給して、記憶させる。
ここで、予測係数演算部１８による予測係数の演算について説明する。
例えば、いま、予測処理として、ぼけ画像から画像予測タップを抽出し、その画像予測タップと予測係数を用いて、ぼけ修正画像の画素値を、所定の予測演算によって求める（予測する）ことを考える。
所定の予測演算として、例えば、線形１次予測演算を採用することとすると、ぼけ修正画像の画素（以下、適宜、ぼけ修正画素という）の画素値ｙは、次の線形１次式によって求められることになる。
Figure 0004872862
但し、式（１）において、ｘnは、ぼけ修正画素ｙについての画像予測タップを構成する、ｎ番目のぼけ画像の画素（以下、適宜、ぼけ画素という）の画素値を表し、ｗnは、ｎ番目のぼけ画素の画素値と乗算されるｎ番目の予測係数を表す。なお、式（１）では、画像予測タップが、複数であるＮ個のぼけ画素の画素値ｘ1，ｘ2，・・・，ｘNで構成されるものとしてある。この場合、予測係数は、１クラスにつき、Ｎ個存在する。
ぼけ修正画素の画素値ｙは、式（１）に示した線形１次式ではなく、２次以上の高次の式によって求めるようにすることも可能である。すなわち、推定式としては、線形関数、非線形関数に拘わらず、任意の関数を用いることができる。
いま、第ｋサンプルのぼけ修正画素の画素値の真値をｙkと表すとともに、式（１）によって得られるその真値ｙkの予測値をｙk'と表すと、その予測誤差ｅkは、次式で表される。
Figure 0004872862
いま、式（２）の予測値ｙk'は、式（１）に従って求められるため、式（２）のｙk'を、式（１）に従って置き換えると、次式が得られる。
Figure 0004872862
但し、式（３）において、ｘn,kは、第ｋサンプルのぼけ修正画素についての画像予測タップを構成するｎ番目のぼけ画素の画素値を表す。
式（３）（または式（２））の予測誤差ｅkを０とするタップ係数ｗnが、ぼけ修正画素の画素値を予測するのに最適なものとなるが、すべてのぼけ修正画素について、そのような予測係数ｗnを求めることは、一般には困難である。
そこで、予測係数ｗnが最適なものであることを表す規範として、例えば、最小自乗法を採用することとすると、最適な予測係数ｗnは、次式で表される自乗誤差の総和Ｅを最小にすることで求めることができる。
Figure 0004872862
但し、式（４）において、Ｋは、ぼけ修正画素の画素値ｙkと、そのぼけ修正画素についての画像予測タップを構成するぼけ画素の画素値ｘ1,k，ｘ2,k，・・・，ｘN,kとのセットのサンプル数（学習用のサンプルの数）を表す。すなわち、親画像の画素の画素値と、生徒画像の画素の画素値とのセットのサンプル数を表す。
式（４）の自乗誤差の総和Ｅの最小値（極小値）は、式（５）に示すように、総和Ｅを予測係数ｗnで偏微分したものを０とするｗnによって与えられる。
Figure 0004872862
一方、上述の式（３）を予測係数ｗnで偏微分すると、次式が得られる。
Figure 0004872862
式（５）と式（６）から、次式が得られる。
Figure 0004872862
式（７）のｅkに、式（３）を代入することにより、式（７）は、式（８）に示す正規方程式で表すことができる。
Figure 0004872862
式（８）の正規方程式は、例えば、掃き出し法（Gauss-Jordanの消去法）などを用いることにより、予測係数ｗnについて解くことができる。
予測係数演算部１８は、式（８）の正規方程式を、クラス、ノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰ毎にたてて解くことにより、最適な予測係数（ここでは、自乗誤差の総和Ｅを最小にする予測係数）ｗnを、クラス、ノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰ毎に求めることができる。
また、予測処理によれば、以上のようにして求められるクラス、ノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰ毎の予測係数ｗnを用いて、式（１）の演算を行うことにより、ぼけ画像が、ぼけ修正画像に変換される。
係数メモリ１９は、予測係数演算部１８から供給される予測係数ｗnを記憶する。
以上のように、図３の学習装置１では、ぼけている画像とぼけていない画像が同じクラスに分類されることを抑制することができるので、図９を参照して後述する予測装置８１において、分類されたクラス毎に学習された予測係数ｗnを用いて予測処理を行うことにより、ぼけ画像のぼけを正確に修正し、高品質なぼけ修正画像に変換することできる。
次に、図４乃至図６を参照して、図３のぼけ付加部１１による、親画像データへのぼけの付加について説明する。
まず最初に、図４と図５を参照して、ぼけの付加の特性として、ぼけの拡がりの大きさσを求める式について説明する。
図４に示すように、物体５１からの光がレンズ５２を介してセンサ５３に入射される場合、レンズの結合公式は、以下の式（９）で表される。
1/f=1/v+1/L
・・・（９）
なお、式（９）において、fは、レンズ５２の焦点距離を表し、ｖはレンズ５２とセンサ５３の距離を表し、Lは、物体５１とレンズ５２の距離を表す。
また、オブジェクトを撮像する撮像系の構造や方式を考慮することにより定式化される、ぼけのないオブジェクト画像にぼけを付加するモデルである画像のぼけモデルとして、単位体積を持つ２次元のガウス関数を用いると、ぼけの拡がりの大きさσは以下の式（１０）で表されることが知られている。
σ=rv（1/f-1/v-1/L）
・・・（１０）
図５に示すように、ぼけが生じないとき、すなわち合焦するときの距離Lを奥行きデータｚ０とし、ぼけが生じるとき、すなわち合焦しないときの距離Lを奥行きデータｚ１とすると、ぼけが生じるときの大きさσ１と、ぼけが生じないときの大きさσ０の差分は、以下の式（１１）で表される。
σ1-σ0=(fv/F)×（z1-z0）/(z1×z0)
・・・（１１）
なお、式（１１）において、Fは、Fナンバー、すなわちf/rを表す。
式（１１）において、ぼけが生じないときの大きさσ０を０とすると、物体５１が合焦位置から、距離ｄ離れた位置に物体５１がある場合の大きさσdは、以下の式（１２）で表される。
σd=(fv/F)×(z1-z0)/(z1×z0)
・・・（１２）
ここで、fv/Fをｋとおくと、式（１２）は以下の式（１３）で表される。
σd=ｋ×(z1-z0)/(z1×z0)
・・・（１３）
さらに、d=z1-z0とおくと、式（１３）は以下の式（１４）で表される。
σd=（ｋ/z0）×d/(d+z0)
・・・（１４）
式（１４）によれば、大きさσdは、距離dの関数となっており、その関数をf(d)とおくと、関数f(d)は、ぼけの付加の特性を表す関数であり、以下の式（１５）で表される。
f(d)=（ｋ/z0）×d/(d+z0)
・・・（１５）
式（１５）によれば、関数f(d)は、距離dが大きくなるにつれて定数k/z0に収束していく。
なお、ぼけの付加の特性を表す関数として、関数ｆ（d）だけでなく、大きさσを直線で近似した関数ｇ（d）や、大きさσを平方根で近似した関数ｈ（d）を用いることもできる。関数ｇ（d）と関数ｈ（d）は以下の式（１６）と式（１７）で表される。
Figure 0004872862
なお、式（１６）におけるａと、式（１７）におけるｂは、予め設定された定数を表す。
図６は、関数ｆ（d）、関数ｇ（d）、および関数ｈ（d）を示すグラフである。図６に示すように、関数ｆ（d）は、距離dが大きくなるにつれて、ある値に収束していく。また、関数ｇ（d）は、直線で表され、関数ｈ（d）は、平方根を示す曲線で表される。
なお、図６では、関数ｆ（d）において、ｋが1.0となっており、関数ｇ（d）においてａが0.05となっている。また、関数ｈ（d）において、ｂが0.05となっている。
ぼけ付加部１１は、ユーザにより指定された、ぼけの付加の特性を表す関数を選択するためのパラメータであるぼけパラメータＰに従って、関数ｆ（d）、関数ｇ（d）、および関数ｈ（d）のうちのいずれか１つを選択し、その選択した関数が表す特性で、親画像データにぼけを付加し、生徒画像データを生成する。
具体的には、ぼけ付加部１１は、以下の式（１８）に従って、生徒画像データを画素毎に生成する。
Figure 0004872862
なお、式（１８）において、Y(x,y)は、生徒画像を構成する画素のうち、ｘ座標がｘで、ｙ座標がｙの位置の画素の画素値を表しており、X(x+k,y+l)は、親画像を構成する画素のうち、ｘ座標がx+kで、ｙ座標がy+lの位置（注目画素の位置(x,y)から座標(k,l)だけ離れた位置）の画素の画素値を表している。また、式（１８）において、WT(k,l)は、ぼけの点広がり関数（ガウスPSF（Point Spread Function)）であり、以下の式（１９）で表される。
Figure 0004872862
なお、式（１９）において、S(x+k,y+l)は、距離dが、ｘ座標がx+kで、ｙ座標がy+lの位置の画素の奥行きデータｚから、奥行きデータｚ０を減算した値である場合の、関数ｆ（d）、関数ｇ（d）、および関数ｈ（d）のうちの選択された関数を表している。
式（１８）と式（１９）によれば、ｘ座標がx+kで、ｙ座標がy+lの位置にある画素から、ｘ座標がｘで、ｙ座標がｙの位置にある注目画素に拡散される画素値を積算することにより、ぼけ付加後の注目画素の画素値が求められる。
次に、図７Ａと図７Ｂを参照して、図３のノイズ付加部１３によるノイズの付加の方法について説明する。
ノイズを付加する方法としては、例えば、ノイズパラメータＮｉに従って振幅レベルを段階的に変化させたノイズを付加する第１の方法、ノイズパラメータＮｉに従った割合でノイズを付加したものと付加しないものを生成する第２の方法などがある。
まず最初に、図７Ａを参照して第１の方法について説明する。
なお、図７Ａでは、ノイズパラメータＮｉが０からｊまでの値であるものとする。このことは、後述する図７Ｂにおいても同様である。なお、ここにおけるノイズパラメータＮｉは、ノイズの振幅レベルを指定するパラメータである。
図７Ａに示すように、第１の方法では、ノイズパラメータＮｉの値が大きくなるにつれて、生徒画像に付加するノイズの振幅レベルが大きくなるように、段階的に変化された振幅レベルのノイズが付加される。すなわち、図７Ａに示すように、第１の方法では、ノイズパラメータＮｉの値が０である場合、生徒画像にノイズが付加されず、ノイズパラメータＮｉの値が大きくなるにつれて生徒画像に付加されるノイズの振幅レベルが大きくなり、ノイズパラメータＮｉの値がｊである場合、振幅レベルが最大のノイズが生徒画像に付加される。
この場合、例えば後述する式（２３）に示されるように、係数Ｒと、疑似乱数を発生する関数mseq[m]との積で表されるRΣmseq[m]の式でノイズを規定するようにし、係数ＲをノイズパラメータＮｉの値に応じて制御することで、ノイズパラメータＮｉの値に応じてノイズの振幅レベルが大きくなるように制御することができる。
次に、図７Ｂを参照して第２の方法について説明する。
なお、図７Ｂの例では、１枚の生徒画像に対して１００枚のノイズ付加後の生徒画像を生成するものとする。
図７Ｂに示すように、第２の方法では、ノイズパラメータＮｉに従った割合で、ノイズが付加されない生徒画像と、所定の振幅レベルのノイズが付加された生徒画像とが、ノイズ付加後の生徒画像として合計１００枚生成される。すなわち、図７Ｂに示すように、ノイズパラメータＮｉの値が０である場合、ノイズが付加されない１００枚の生徒画像が１００枚のノイズ付加後の生徒画像として生成され、ノイズパラメータＮｉの値が１である場合、ノイズが付加されない９９枚の生徒画像とノイズが付加された１枚の生徒画像とが１００枚のノイズ付加後の生徒画像として生成される。なお、ここにおけるノイズパラメータＮｉは、ノイズの混入割合を指定するパラメータである。
以下も同様にして、ノイズパラメータＮｉの値が大きくなるにつれて、１００枚のノイズ付加後の生徒画像を構成する、ノイズが付加されない生徒画像の枚数が減少して、ノイズが付加された生徒画像の枚数が増加し、ノイズパラメータＮｉの値がｊである場合、ノイズが付加されない３０枚の生徒画像と、ノイズが付加された７０枚の生徒画像とが、１００枚のノイズ付加後の生徒画像として生成される。
この場合、図３の予測係数演算部１８は、１枚の親画像と、１００枚の生徒画像を１サンプルとして用いて、式（８）に従って予測係数の演算を行う。すなわち、予測係数演算部１８は、以下の式（２０）の正規方程式を、クラス、ノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰ毎にたてて解くことにより、最適な予測係数ｗnを、クラス、ノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰ毎に求める。
Figure 0004872862
なお、式（２０）において、ｘn,qkは、第ｋサンプルのぼけ修正画像の画素についての画像予測タップを構成する、ｑ枚目の生徒画像のｎ番目の画素の画素値を表す。また、Ｑは、１つのサンプルに対する生徒画像の枚数であり、図７Ｂの例では１００である。
ノイズ付加部１３は、上述した第１の方法または第２の方法で、生徒画像にノイズを付加する。なお、説明は省略するが、ノイズ付加部１２におけるノイズの付加も同様に行われる。この場合、例えば、撮像装置に起因するランダムノイズ、外来光の影響、物体表面の反射率の相違、測定誤差等によるランダムノイズが、奥行きデータｚに付加される。
なお、図７Ａと図７Ｂで説明したノイズの付加の方法は一例であり、その他の方法であってもよい。例えば、ノイズ付加部１２は、反射による錯乱の影響、測定精度による平滑化等によって生じる錯乱ノイズを、ぼけの付加の特性を表す関数と同様の関数を用いて、奥行きデータｚに付加するようにしてもよい。
次に、図８を参照して、図３の学習装置１が予測係数ｗnを学習する学習処理について説明する。この学習処理は、例えば、図３の学習装置１に親画像データと奥行きデータｚが入力されたとき、開始される。
ステップＳ１において、ノイズ付加部１２は、ユーザにより指定されたノイズパラメータＮｚを取得する。ステップＳ２において、ノイズ付加部１２は、図７で説明した第１の方法、第２の方法などにより、ノイズパラメータＮｚに従った特性で、奥行きデータｚにノイズを付加する。
ステップＳ３において、ぼけ付加部１１は、ユーザにより指定されたぼけパラメータＰを取得する。ステップＳ４において、ぼけ付加部１１は、ノイズ付加部１２から供給されるノイズ付加後の奥行きデータｚに基づいて、ぼけパラメータＰに従った特性で、図示せぬ装置から入力される親画像データにぼけを付加する。
具体的には、ぼけ付加部１１は、ぼけパラメータＰに従って関数ｆ（ｄ）、関数ｇ（ｄ）、または関数ｈ（ｄ）を選択する。次に、ぼけ付加部１１は、選択した関数をＳに適用した式（１８）と式（１９）に従って、奥行きデータｚに基づいて注目画素の画素値Y(x,y)、すなわち生徒画像を構成する画素の画素値を求める。そして、ぼけ付加部１１は、生徒画像を構成する各画素の画素値を、生徒画像データとしてノイズ付加部１３に供給する。
ステップＳ５において、ノイズ付加部１３は、ユーザにより指定されたノイズパラメータＮｉを取得する。ステップＳ６において、ノイズ付加部１３は、図７で説明した第１の方法、第２の方法などにより、ノイズパラメータＮｉに従った特性で、ぼけ付加部１１から供給される生徒画像データにノイズを付加し、ノイズ付加後の生徒画像データをタップ構築部１４とタップ構築部１７に供給する。
ステップＳ７において、タップ構築部１４は、生徒画像データから所定のものを抽出することで画像クラスタップを構築し、その画像クラスタップをクラス分類部１６に供給する。ステップＳ８において、タップ構築部１５は、奥行きデータｚから所定のものを抽出することで奥行きクラスタップを構築し、その奥行きクラスタップをクラス分類部１６に供給する。
ステップＳ９において、クラス分類部１６は、タップ構築部１４から供給される画像クラスタップと、タップ構築部１５から供給される奥行きクラスタップとに基づいて、注目画素をクラスに分類する。ステップＳ１０において、タップ構築部１７は、生徒画像データから所定のものを抽出することで画像予測タップを構築し、その画像予測タップを予測係数演算部１８に供給する。
ステップＳ１１において、予測係数演算部１８は、図示せぬ装置から供給される親画像データと、タップ構築部１７から供給される画像予測タップとに基づいて、クラス分類部１６から供給されるクラス、並びにノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰ毎に、上述した式（８）または式（２０）に従って予測係数ｗnを演算し、係数メモリ１９に供給する。
ステップＳ１２において、係数メモリ１９は、予測係数演算部１８から供給される予測係数ｗnを記憶し、処理は終了する。
図９は、図３の学習装置１で学習された予測係数ｗnを用いて予測処理を行う予測係数演算装置としての予測装置８１の構成を示すブロック図である。
図９の予測装置８１は、タップ構築部９１、タップ構築部９２、クラス分類部９３、係数メモリ９４、タップ構築部９５、および予測演算部９６により構成される。
図９の予測装置８１には、図示せぬ装置から、ぼけ画像を構成する各画素の画素値であるぼけ画像データと、それに対応する奥行きデータｚが入力される。このぼけ画像データは、タップ構築部９１とタップ構築部９５に供給され、奥行きデータｚは、タップ構築部９２に供給される。
タップ構築部９１は、図３のタップ構築部１４と同様に、ぼけ修正画像を構成する画素を、順次、注目画素とし、その注目画素をクラスに分類するために用いる、ぼけ画像を構成する画素値の幾つかを抽出することで、画像クラスタップを、ぼけ画像データから構築する。タップ構築部９１は、画像クラスタップをクラス分類部９３に供給する。
タップ構築部９２は、タップ構築部１５と同様に、注目画素をクラスに分類するために用いる、幾つかの奥行きデータｚを抽出することで、奥行きクラスタップを、奥行きデータｚから構築する。タップ構築部９２は、奥行きクラスタップをクラス分類部９３に供給する。
クラス分類部９３は、クラス分類部１６と同様に、タップ構築部９１から供給される画像クラスタップと、タップ構築部９２から供給される奥行きクラスタップとに基づいて、注目画素をクラスに分類し、そのクラスを係数メモリ９４に供給する。
係数メモリ９４には、図３の係数メモリ１９に記憶された、クラス、ノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰ毎の予測係数ｗnが記憶されている。係数メモリ９４は、ユーザにより指定されたノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰを取得する。
係数メモリ９４は、クラス分類部９３から供給されるクラス、並びに、ユーザにより指定されたノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰに基づいて、そのクラス、ノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰに対応する予測係数ｗnを、既に記憶している予測係数ｗnの中から読み出し、その予測係数ｗnを予測演算部９６に提供する。
タップ構築部９５は、タップ構築部１７と同様に、注目画素の画素値を予測するために用いる、ぼけ画像を構成する画素値の幾つかを抽出することで、画像予測タップをぼけ画像データから構築する。タップ構築部９５は、画像予測タップを予測演算部９６に供給する。
予測演算部９６は、タップ構築部９５から供給される画像予測タップと、係数メモリ９４から提供される予測係数ｗnとを用いて、注目画素の画素値の予測値を求める予測演算を行う。具体的には、予測演算部９６は、上述した式（１）の線形一次式の演算である予測演算を行う。これにより、予測演算部９６は、注目画素の画素値の予測値、すなわち、ぼけ修正画像を構成する画素の画素値を求める。そして、予測演算部９６は、ぼけ修正画像を構成する各画素の画素値を、ぼけ修正画像データとして出力する。
次に、図１０を参照して、図９の予測装置８１がぼけ修正画像データを予測する予測処理について説明する。この予測処理は、例えば、予測装置８１にぼけ画像データと奥行きデータｚが入力されたとき、開始される。
ステップＳ３１において、タップ構築部９１は、ぼけ画像データから画像クラスタップを構築し、その画像クラスタップをクラス分類部９３に供給する。ステップＳ３２において、タップ構築部９２は、奥行きデータｚから奥行きクラスタップを構築し、その奥行きクラスタップをクラス分類部９３に供給する。
ステップＳ３３において、クラス分類部９３は、タップ構築部９１から供給される画像クラスタップと、タップ構築部９２から供給される奥行きクラスタップとに基づいて、注目画素をクラスに分類し、そのクラスを係数メモリ９４に供給する。ステップＳ３４において、係数メモリ９４は、ユーザにより指定されたノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰを取得する。
ステップＳ３５において、係数メモリ９４は、クラス分類部９３から供給されるクラス、並びに、ユーザにより指定されたノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰに基づいて、そのクラス、ノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰに対応する予測係数ｗnを、既に記憶している予測係数ｗnの中から読み出し、その予測係数ｗnを予測演算部９６に提供する。
ステップＳ３６において、タップ構築部９５は、ぼけ画像データから画像予測タップを構築し、その画像予測タップを予測演算部９６に供給する。
ステップＳ３７において、予測演算部９６は、タップ構築部９５から供給される画像予測タップと、係数メモリ９４から供給される予測係数ｗnとを用いて、上述した式（１）の線形一次式の演算である予測演算を行い、ぼけ修正画像を構成する各画素の画素値を求め、ぼけ修正画像データとして出力する。そして、処理は終了する。
図１１は、学習装置１の他の実施の形態の構成を示すブロック図である。
図１１の学習装置１は、ぼけ付加部１１、ノイズ付加部１２、ノイズ付加部１３、タップ構築部１４、タップ構築部１５、クラス分類部１６、タップ構築部１７、係数メモリ１９、ダウンスケーリング部１０１、および予測係数演算部１０２により構成され、図示せぬ装置から入力される奥行きデータｚに対応する親画像のサイズが、それとともに入力される親画像データに対応する親画像のサイズに比べて大きい場合においても、入力される親画像データに対応する親画像と同一のサイズのぼけ画像と、対応する奥行きデータｚとを用いて、ぼけ画像から、それと同一のサイズのぼけ修正画像を予測する予測処理を行うときに用いられる予測係数ｗnを学習する。
なお、図１１において、図３の学習装置１と同一のものには同一の符号を付してある。
すなわち、図１１の学習装置１は、図３の学習装置１にダウンスケーリング部１０１がさらに設けられ、予測係数演算部１８の代わりに予測係数演算部１０２が設けられたものである。
ダウンスケーリング部１０１には、図示せぬ装置から奥行きデータｚが入力される。ダウンスケーリング部１０１は、ユーザにより指定された、ダウンスケーリング後の奥行きデータｚに対応する親画像の水平方向のサイズを表す水平スケーリングパラメータHと、垂直方向のサイズを表す垂直スケーリングパラメータVとから構成されるスケーリングパラメータ(H,V)を取得する。
ダウンスケーリング部１０１は、スケーリングパラメータ(H,V)に基づいて、例えば、奥行きデータｚに対応する親画像のサイズが、ぼけ付加部１１に入力される親画像データに対応する親画像のサイズと同一となるように、奥行きデータｚをダウンスケーリングし、ダウンスケーリングした奥行きデータｚをノイズ付加部１２に供給する。
予測係数演算部１０２は、ユーザにより指定されたノイズパラメータＮｚ、ノイズパラメータＮｉ、ぼけパラメータＰ、およびスケーリングパラメータ(H,V)を取得する。予測係数演算部１０２は、図示せぬ装置から供給される親画像データと、タップ構築部１７から供給される画像予測タップとに基づいて、画像クラスタップと、ダウンスケーリング後の奥行きデータｚから構築された奥行きクラスタップとに基づいて分類されたクラス、並びにノイズパラメータＮｚ、ノイズパラメータＮｉ、ぼけパラメータＰ、およびスケーリングパラメータ(H,V)毎に、予測係数ｗnを演算し、係数メモリ１９に供給する。
以上のように、図１１の学習装置１は、入力される奥行きデータｚをダウンスケーリングするので、ダウンスケーリング部１０１に入力される奥行きデータｚに対応する親画像のサイズが、それとともにぼけ付加部１１に入力される親画像データに対応する親画像のサイズに比べて大きい場合においても、ダウンスケーリング後の奥行きデータｚを用いて、ぼけ付加部１１に入力される親画像データに対応する親画像と同一のサイズのぼけ画像と、対応する奥行きデータｚとを用いた予測処理を行うときに用いられる予測係数ｗnを学習することができる。
即ち、例えば、図１１の学習装置１は、標準より大きいサイズの撮像画像を縮小した画像を親画像として用いて、標準のサイズのぼけ画像からぼけ修正画像を予測する予測処理に用いられる予測係数ｗnを学習することができる。
次に、図１２を参照して、図１１の学習装置１が予測係数ｗnを学習する学習処理について説明する。この学習処理は、例えば、図１１の学習装置に親画像データと奥行きデータｚが入力されたとき、開始される。
ステップＳ６１において、ダウンスケーリング部１０１は、スケーリングパラメータ(H,V)を取得する。ステップＳ６２において、ダウンスケーリング部１０１は、ぼけ付加部１１に入力される親画像データに対応する親画像のサイズと一致するように、スケーリングパラメータ(H,V)に基づいて、奥行きデータｚをダウンスケーリングし、ダウンスケーリングした奥行きデータｚをノイズ付加部１２に供給する。
ステップＳ６３乃至ステップＳ７２の処理は、図８のステップＳ１乃至ステップＳ１０の処理と同様であるので、その説明は省略する。
ステップＳ７３において、予測係数演算部１０２は、図示せぬ装置から供給される親画像データ、タップ構築部１７から供給される画像予測タップに基づいて、クラス分類部１６から供給されるクラス、並びにノイズパラメータＮｚ、ノイズパラメータＮｉ、ぼけパラメータＰ、およびスケーリングパラメータ(H,V)毎に、予測係数ｗnを演算し、係数メモリ１９に供給する。
ステップＳ７４において、係数メモリ１９は、ステップＳ１２と同様に、予測係数演算部１０２から供給される予測係数ｗnを記憶し、処理は終了する。
図１３は、図１１の学習装置１で学習された予測係数ｗnを用いて予測処理を行う予測装置８１の構成を示すブロック図である。
図１３の予測装置８１は、タップ構築部９１、タップ構築部９２、クラス分類部９３、タップ構築部９５、予測演算部９６、および係数メモリ１１１により構成される。
なお、図１３において、図９の予測装置８１と同一のものには、同一の符号を付してある。すなわち、図１３の予測装置８１には、図９の予測装置８１の係数メモリ９４の代わりに、係数メモリ１１１が設けられている。
係数メモリ１１１には、図１１の係数メモリ１９に記憶された、クラス、ノイズパラメータＮｚ、ノイズパラメータＮｉ、ぼけパラメータＰ、およびスケーリングパラメータ(H,V)毎の予測係数ｗnが記憶されている。係数メモリ１１１は、ユーザにより指定されたノイズパラメータＮｚ、ノイズパラメータＮｉ、ぼけパラメータＰ、およびスケーリングパラメータ(H,V)を取得する。
係数メモリ１１１は、クラス分類部９３から供給されるクラス、並びに、ユーザにより指定されたノイズパラメータＮｚ、ノイズパラメータＮｉ、ぼけパラメータＰ、およびスケーリングパラメータ(H,V)に基づいて、そのクラス、ノイズパラメータＮｚ、ノイズパラメータＮｉ、ぼけパラメータＰ、およびスケーリングパラメータ(H,V)に対応する予測係数ｗnを、既に記憶している予測係数ｗnの中から読み出し、その予測係数ｗnを予測演算部９６に提供する。
なお、図１３の予測装置８１は、図１０の予測処理と同様の予測処理を行うので、その説明は省略する。但し、この場合、図１０のステップＳ３５では、係数メモリ１１１は、クラス分類部９３から供給されるクラス、並びに、ユーザにより指定されたノイズパラメータＮｚ、ノイズパラメータＮｉ、ぼけパラメータＰ、およびスケーリングパラメータ(H,V)に基づいて、そのクラス、ノイズパラメータＮｚ、ノイズパラメータＮｉ、ぼけパラメータＰ、およびスケーリングパラメータ(H,V)に対応する予測係数ｗnを、既に記憶している予測係数ｗnの中から読み出し、その予測係数ｗnを予測演算部９６に提供する。
図１４は、学習装置１のさらに他の実施の形態の構成を示すブロック図である。
図１４の学習装置１は、ぼけ付加部１１、ノイズ付加部１２、ノイズ付加部１３、タップ構築部１４、タップ構築部１５、クラス分類部１６、タップ構築部１７、係数メモリ１９、ダウンスケーリング部１０１、予測係数演算部１０２、およびダウンスケーリング部１２１により構成され、ぼけ画像から、ぼけ画像に比べて高解像度のぼけ修正画像をクラス分類適応処理により予測する予測処理を行うときに用いられる予測係数ｗnを学習する。
なお、図１４において、図１１の学習装置１と同一のものには同一の符号を付してある。すなわち、図１４の学習装置１は、図１１の学習装置１にダウンスケーリング部１２１がさらに設けられたものである。
ダウンスケーリング部１２１は、ユーザにより指定されたスケーリングパラメータ（H,V）に基づいて、例えば、生徒画像のサイズが、予測処理対象のぼけ画像のサイズと同一となるように、ぼけ付加部１１から供給される生徒画像データをダウンスケーリングし、ダウンスケーリングした生徒画像データをノイズ付加部１３に供給する。
図１４のダウンスケーリング部１０１では、ダウンスケーリング部１０１は、スケーリングパラメータ(H,V)に基づいて、例えば、奥行きデータｚに対応する、ぼけ画像に比べて高解像度のぼけ修正画像に相当する親画像のサイズが、ぼけ画像のサイズと同一となるように、奥行きデータｚをダウンスケーリングする。
また、予測係数演算部１０２は、図示せぬ装置から供給される親画像データと、タップ構築部１７から供給されるダウンスケーリング後の生徒画像データから構築された画像予測タップとに基づいて、ダウンスケーリング後の生徒画像データから構築されたクラスタップと、ダウンスケーリング後の奥行きデータｚから構築された奥行きクラスタップとに基づいて分類されたクラス、並びにノイズパラメータＮｚ、ノイズパラメータＮｉ、ぼけパラメータＰ、およびスケーリングパラメータ(H,V)毎に、予測係数ｗnを演算し、係数メモリ１９に供給する。
以上のように、図１４の学習装置１は、生徒画像データと奥行きデータｚに対してダウンスケーリングを行うので、生徒画像と、奥行きデータｚに対応する親画像の解像度を、図１４の学習装置１に入力される親画像データに対応する親画像に対して低解像度に変換することができる。その結果、図１４の学習装置１は、変換後の生徒画像と奥行きデータｚ、並びに親画像データを用いることにより、ぼけ画像から、ぼけ画像に比べて高解像度のぼけ修正画像を予測する予測処理に用いられる予測係数ｗnを学習することができる。
即ち、例えば、図１４の学習装置１は、ＳＤ（Standard Definition）画像であるぼけ画像から、ＨＤ（High Definition）画像であるぼけ修正画像を予測する予測処理に用いられる予測係数ｗnを学習することができる。
次に、図１５を参照して、図１４の学習装置１が予測係数ｗnを学習する学習処理について説明する。この学習処理は、例えば、図１４の学習装置１に親画像データと奥行きデータｚが入力されたとき、開始される。
ステップＳ１０１乃至ステップＳ１０６の処理は、図１２のステップＳ６１乃至ステップＳ６６の処理と同様であるので、その説明は省略する。
ステップＳ１０７において、ダウンスケーリング部１２１は、スケーリングパラメータ(H,V)を取得する。ステップＳ１０８において、ダウンスケーリング部１２１は、スケーリングパラメータ(H,V)に基づいて、ぼけ付加部１１から供給される生徒画像データをダウンスケーリングし、ダウンスケーリングされた生徒画像データをノイズ付加部１３に供給する。
ステップＳ１０９乃至ステップＳ１１６の処理は、ステップＳ６７乃至ステップＳ７４の処理と同様であるので、その説明は省略する。
なお、図１４の学習装置１で学習された予測係数ｗnを用いて予測処理を行う予測装置８１は、図１３の予測装置８１と同一であるので、その説明は省略する。
また、予測係数ｗnの演算には、画素だけでなく、画素以外のデータも用いることができる。予測係数ｗnの演算に、ぼけ画素だけでなく、奥行きデータｚも用いる場合の学習装置１の構成を、図１６に示す。
図１６の学習装置１は、ぼけ付加部１１、ノイズ付加部１２、ノイズ付加部１３、タップ構築部１４、タップ構築部１５、クラス分類部１６、タップ構築部１７、係数メモリ１９、タップ構築部１３１、および予測係数演算部１３２により構成され、親画像データと生徒画像データのほかに、奥行きデータｚも用いて、ぼけ画像と、対応する奥行きデータｚとから、同一のサイズのぼけ修正画像をクラス分類適応処理により予測する予測処理を行うときに用いられる予測係数ｗnを学習する。
なお、図１６において、図３の学習装置１と同一のものには同一の符号を付してある。
すなわち、図１６の学習装置１は、図３の学習装置１に、さらに、タップ構築部１３１が設けられ、予測係数演算部１８の代わりに、予測係数演算部１３２が設けられたものである。
タップ構築部１３１には、ノイズ付加部１２からノイズ付加後の奥行きデータｚが供給される。タップ構築部１３１は、その奥行きデータｚから、注目画素の画素値を予測するために用いる奥行きデータｚの幾つかを抽出することで、奥行き予測タップを構築する。
タップ構築部１３１は、奥行き予測タップを予測係数演算部１３２に供給する。
予測係数演算部１３２は、予測係数演算部１８と同様に、ユーザにより指定されたノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰを取得する。また、予測係数演算部１３２は、図示せぬ装置から供給される親画像データ、タップ構築部１７から供給される画像予測タップ、および、タップ構築部１３１から供給される奥行き予測タップに基づいて、クラス分類部１６から供給されるクラス、並びにノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰ毎に、予測係数ｗnを演算する。
具体的には、予測係数演算部１３２は、クラス、ノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰ毎にたてられる上述した式（８）の正規方程式のｘn,kとして、第ｋサンプルのぼけ画素だけでなく、奥行き予測タップを構成する奥行きデータｚも用いることにより、クラス、ノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰ毎に、画像予測タップと奥行き予測タップに対応する画素の数分の予測係数ｗnを演算する。予測係数演算部１３２は、演算の結果得られる、クラス、ノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰ毎の予測係数ｗnを、係数メモリ１９に供給して記憶させる。
以上のように、図１６の学習装置１は、奥行きデータｚから構築された奥行き予測タップも用いて、奥行きデータｚを考慮した、画像予測タップと奥行き予測タップに対応する画素の数分の予測係数ｗnを演算するので、この予測係数ｗnを用いることにより、後述する図１８の予測装置８１は、より正確にぼけ修正画像を予測することができる。
次に、図１７を参照して、図１６の学習装置１が予測係数ｗnを学習する学習処理について説明する。この学習処理は、例えば、図１６の学習装置１に親画像データと奥行きデータｚが入力されたとき、開始される。
ステップＳ１２１乃至ステップＳ１３０の処理は、図８のステップＳ１乃至ステップＳ１０の処理と同様であるので、その説明は省略する。
ステップＳ１３１において、タップ構築部１３１は、ノイズ付加部１２から供給されるノイズ付加後の奥行きデータｚから所定のものを抽出することで奥行き予測タップを構築し、その奥行き予測タップを予測係数演算部１３２に供給する。
ステップＳ１３２において、予測係数演算部１３２は、図示せぬ装置から供給される親画像データ、タップ構築部１７から供給される画像予測タップ、および、タップ構築部１３１から供給される奥行き予測タップに基づいて、クラス分類部１６から供給されるクラス、並びにノイズパラメータＮｚ、ノイズパラメータＮｉ、およびぼけパラメータＰ毎に、予測係数ｗnを演算し、係数メモリ１９に供給する。
ステップＳ１３３において、係数メモリ１９は、図８のステップＳ１２と同様に、予測係数演算部１３２から供給される予測係数ｗnを記憶し、処理は終了する。
図１８は、図１６の学習装置１で学習された予測係数ｗnを用いて予測処理を行う予測装置８１の構成を示すブロック図である。
図１８の予測装置８１は、タップ構築部９１、タップ構築部９２、クラス分類部９３、係数メモリ９４、タップ構築部９５、タップ構築部１４１、および予測演算部１４２により構成される。
なお、図１８において、図９の予測装置８１と同一のものには、同一の符号を付してある。すなわち、図１８の予測装置８１には、タップ構築部１４１が新たに設けられ、図９の予測装置８１の予測演算部９６の代わりに、予測演算部１４２が設けられている。
タップ構築部１４１は、図１６のタップ構築部１３１と同様に、注目画素の画素値を予測するために用いる、奥行きデータｚの幾つかを抽出することで、奥行き予測タップを奥行きデータｚから構築する。タップ構築部１４１は、奥行き予測タップを予測演算部１４２に供給する。
予測演算部１４２は、タップ構築部９５から供給される画像予測タップ、タップ構築部１４１から供給される奥行き予測タップ、および係数メモリ９４から提供される予測係数ｗnを用いて、注目画素の画素値の予測値を求める予測演算を行う。
具体的には、予測演算部１４２は、上述した式（１）の線形一次式のｘnとして、画像予測タップを構成するぼけ画素だけでなく、奥行き予測タップを構成する奥行きデータｚも適用し、ｗnとして、図１６の学習装置１により学習された画像予測タップと奥行き予測タップに対応する画素の数分の予測係数を適用することにより、ぼけ修正画像を構成する画素の画素値を求める。
予測演算部１４２は、ぼけ修正画像を構成する各画素の画素値を、ぼけ修正画像データとして出力する。
次に、図１９を参照して、図１８の予測装置８１がぼけ修正画像データを予測する予測処理について説明する。この予測処理は、例えば、予測装置８１にぼけ画像データと奥行きデータｚが入力されたとき、開始される。
ステップＳ１４１乃至ステップＳ１４６の処理は、図１０のステップＳ３１乃至ステップＳ３６の処理と同様であるので、その説明は省略する。
ステップＳ１４７において、タップ構築部１４１は、奥行きデータｚから奥行き予測タップを構築し、その奥行き予測タップを予測演算部１４２に供給する。ステップＳ１４８において、予測演算部１４２は、タップ構築部９５から供給される画像予測タップ、タップ構築部１４１から供給される奥行き予測タップ、および係数メモリ９４から提供される予測係数ｗnを用いて、注目画素の画素値の予測値を求める予測演算を行い、ぼけ修正画像を構成する各画素の画素値を求め、ぼけ修正画像データとして出力する。そして、処理は終了する。
以上に説明したノイズは、パラメータに付加される揺らぎを含めて考えることができる。ここで揺らぎとは、エネルギー、密度、電圧などの、広がりまたは強度を持つ量の空間的または時間的な平均値からの変動を含む。揺らぎを与える関数は任意であるが、パワーが周波数ｆに反比例する１／ｆ揺らぎとすることで、より自然に変化するエフェクトを付加した画像を生成することができる。
１／ｆ揺らぎは、ノイズSWNをフーリエ変換し、周波数領域でパワースペクトラムを１／ｆに加工し、逆フーリエ変換することで生成することができる。パラメータに付加するノイズ振幅の時間方向の変動に関するパワースペクトラムを１／ｆにし、各画素のパラメータごとに個別の１／ｆ揺らぎを付加する。フレームに関しても、時間方向の変動に関するパワースペクトラムを１／ｆにする。
次に、このような意味での揺らぎとしてのノイズを付加した画像を生成する処理について説明する。本発明の実施の形態においては、予め設定されたぼけモデルのぼけデータにノイズを与えることで、ノイズを付加した画像が生成される。
図２０はノイズを付加した画像の画像データを生成する画像生成装置の一実施の形態の構成を示すブロック図である。この画像生成装置３０１の基本的な構成は図３の学習装置１と同様であり、ぼけ付加部３１１、ノイズ付加部３１２、ノイズ付加部３１３、タップ構築部３１４、タップ構築部３１５、クラス分類部３１６、タップ構築部３１７、予測係数演算部３１８、および係数メモリ３１９は、図３のぼけ付加部１１、ノイズ付加部１２、ノイズ付加部１３、タップ構築部１４、タップ構築部１５、クラス分類部１６、タップ構築部１７、予測係数演算部１８、および係数メモリ１９と同様の機能を有している。従って、その説明は省略する。
ただし、この実施の形態においては、ノイズ付加部３１２に奥行きデータｚだけでなく、動き情報と親画像データが供給されている他、ノイズパラメータＮｚに代えて、ノイズパラメータＮが供給されている。また予測係数演算部３１８にはノイズパラメータＮｉとぼけパラメータＰの他、ノイズパラメータＮと動き情報が供給されている。
この画像生成装置３０１は、ノイズを付加した画像の画像データを生成する機能を有する他、ノイズが付加された画像からノイズを修正する処理を行う場合の予測係数を学習する機能を有する。すなわち画像生成装置３０１は、画像データ生成装置としての機能と、予測係数演算装置としての機能を有する。このため、ノイズ付加部３１３で生成された画像データは、ノイズが付加された画像の画像データとして他の装置に出力される他、生徒画像データとしてタップ構築部３１４とタップ構築部３１７に供給される。
ノイズを付加した画像は、画像の合焦状態または動きにノイズ成分を付加することで、ぼけ画像として生成される。
なお、ノイズを付加した画像の画像データを生成する画像生成装置は、図１４に示した学習装置に対応した構成も考えられる。この場合の実施の形態が図２１に示されている。この画像生成装置４００の基本的な構成は図１４の学習装置１と同様である。すなわち、図２１のぼけ付加部３１１、ノイズ付加部３１２、ノイズ付加部３１３、タップ構築部３１４、タップ構築部３１５、クラス分類部３１６、タップ構築部３１７、予測係数演算部４０２、係数メモリ３１９、ダウンスケーリング部４０１、予測係数演算部４０２、およびダウンスケーリング部４２１は、図１４のぼけ付加部１１、ノイズ付加部１２、ノイズ付加部１３、タップ構築部１４、タップ構築部１５、クラス分類部１６、タップ構築部１７、係数メモリ１９、ダウンスケーリング部１０１、予測係数演算部１０２、およびダウンスケーリング部１２１と同様の機能を有している。従って、その説明は省略する。
ただし、ダウンスケーリング部４０１には奥行きデータｚとスケーリングパラメータ（Ｈ,Ｖ）の他、動き情報と親画像データが供給されている。ノイズ付加部３１２にはノイズパラメータＮｚに代えて、ノイズパラメータＮが供給されている。また予測係数演算部４０２にはノイズパラメータＮｉ、ぼけパラメータＰ、スケーリングパラメータ（Ｈ，Ｖ）に加えて、動き情報が供給されているとともに、ノイズパラメータＮｚに代えてノイズパラメータＮが供給されている。
合焦状態のノイズ（ピントぼけノイズ）の付加は、距離情報、ぼけのガウス関数の偏差σ、ぼけのガウス関数の位相、もしくはぼけのガウス関数の先鋭度にノイズを付加するか、またはそれらのうちの所定のものの複合により行われる。
距離情報に基づいて合焦状態にノイズを与える場合、ぼけデータとしての奥行きデータｚにノイズが付加される。すなわち、ノイズ付加後の奥行きデータをＺswnとし、付加するノイズをSWNdとした場合、次式に示すように、ノイズ付加前の奥行きデータｚに対してノイズSWNdを加算することでノイズ付加後の奥行きデータＺswnが演算される。
Ｚswn＝ｚ＋SWNd （２１）
ノイズSWNdは、次式に示されるように、フレーム単位で変化される成分SWNd(frame)と、画素単位で変化される成分SWNd(pixel)の和で表される。
SWNd ＝SWNd(frame)＋SWNd(pixel) （２２）
そして、ノイズSWNdは、例えば次式で表すことができる。この関数mseqは、疑似乱数を発生する。
RΣmseq[m] （２３）
ｍ＝０，１，２，・・・ｎ
それぞれのフレーム単位で変化する成分をRΣmseq[m](frame)、画素単位で変化する成分をRΣmseq[m](pixel)とすると、ノイズSWNdは次式で表される。なお、次式の右辺の添字のdは、係数Rや関数mseqが、距離に関するものであることを表わす。
SWNd＝RdΣmseqd[m](frame)＋RdΣmseqd[m](pixel) （２４）
そしてノイズSWNdを決定するパラメータとしての係数ＲdがノイズパラメータＮに対応して設定される。
ノイズ付加部３１２は、以上の処理を実行するために図２２に示されるように、設定部３３１、取得部３３２、決定部３３３、および演算部３３４の機能的構成を有している。
設定部３３１はユーザの指示に基づいて処理領域を設定する。取得部３３２はノイズパラメータＮと動き情報を取得する。決定部３３３はノイズの式の係数を決定する。演算部３３４はノイズを含む各種の演算を行う。
また、ぼけ付加部３１１は、図２３に示されるように、取得部３５１、選択部３５２、および演算部３５３の機能的構成を有している。
取得部３５１はぼけパラメータＰを取得する。選択部３５２は重みｗiを選択する。演算部３５３は各種の演算を行う。
距離情報に基づいてピントぼけノイズの画像を生成する処理について、図２４のフローチャートを参照して説明する。
ステップＳ２０１において、設定部３３１はユーザの指示に基づいて、処理領域を設定する。この場合、ユーザは、画像の一部、若しくは全部を処理領域として設定することができる。常に画像の全体を処理する場合には、この処理を省略することもできる。ステップＳ２０２において、取得部３３２はユーザにより指定されたノイズパラメータＮを取得する。ステップＳ２０３において、決定部３３３は、ノイズパラメータＮに対応して、式（２４）のノイズSWNdの係数Ｒdを決定する。
ステップＳ２０４において、演算部３３４はノイズSWNdを演算する。すなわち、式（２４）に従って、ノイズSWNdが演算される。
ステップＳ２０５において、演算部３３４は設定された処理領域に関し、ノイズSWNdを付加した奥行きデータを演算する。具体的には、式（２１）に従って、取得された奥行きデータｚに対して、ステップＳ２０４で演算されたノイズSWNdが加算されて、ノイズSWNd付加後の奥行きデータＺswnが演算される。このノイズSWNdが付加された奥行きデータＺswnはぼけモデルにノイズを与えるパラメータとしてボケ付加部３１１に出力される。
ステップＳ２０６において、ボケ付加部３１１の演算部３５３はノイズを付加した画素データを演算する。すなわち、ぼけ付加部３１１では上述したように、ぼけモデルとしての式（１９）のぼけの点広がり関数WT(k,l)が、ノイズが付加された奥行きデータＺswnに基づいて演算され、式（１８）に基づいて親画像データにぼけが付加され、合焦状態が揺らいだ静止画が生成される。このノイズはフレーム毎に異なり、また画素毎に異なっている。
従って、１枚の静止画に対して、フレーム単位かつ画素単位のノイズ成分を変化させて複数枚のフレームの画像を生成すると、１枚の画像が揺れて見える一種の動画を生成することができる。これにより、例えば、人が空気中の物を遠くから見たような場合に観察されるような、比較的詳細な元の状態をそのまま確認することができる画像であって、周囲の空気の温度、湿度の変化などに起因して自然に揺らぐエフェクトを有する画像を生成することができる。
すなわち、以上の処理を行うことで、例えば図２５に示されるように、１枚の静止画を、それぞれ異なるノイズSWNdi（ｉ＝１，２，３）を付加した奥行きデータＺswn１、Ｚswn２、Ｚswn３に基づいて処理することで、元の静止画と若干異なるフレーム１乃至フレーム３の画像を生成することができる。
ぼけ関数としてのガウス関数の偏差σに基づいて合焦状態のノイズを与えることもできる。この場合、ぼけモデルとしての式（１９）のうちのぼけデータとしての偏差σに対応する関数S(x+k,y+l)の、ｘ方向の成分Sx(x+k,y+l)とｙ方向の成分Sy(x+k,y+l)を独立とすることで、式（１９）は次式のように書き換えられる。
Figure 0004872862
このぼけデータとしての関数Sx(x+k,y+l)、Sy(x+k,y+l)に独立にノイズが与えられる。すなわち、ノイズSWNsのｘ成分とｙ成分をそれぞれSWNsx、SWNsyとして、ノイズ付加後の関数Sxswn(x+k,y+l)、Syswn(x+k,y+l)は、次式で演算される。
Sxswn(x+k,y+l)＝Sx(x+k,y+l)＋SWNsx
Syswn(x+k,y+l)＝Sy(x+k,y+l)＋SWNsy （２６）
関数Sx(x+k,y+l)、Sy(x+k,y+l)が独立しているということは、図２６に示されるように両関数を図示した場合、関数の一方を他方の関数の軸に沿うように回転した場合、両関数の形状が一致しないことを意味する。
この場合においても、フレーム単位で変化されるｘ成分とｙ成分をSWNsx (frame)、SWNsy (frame)、画素単位で変化されるｘ成分とｙ成分をSWNsx (pixel)、SWNsy (pixel)とすると、ノイズSWNsのｘ成分SWNsxとｙ成分SWNsyは次式で表される。
SWNsx＝SWNsx (frame)＋SWNsx (pixel)
SWNsy＝SWNsy (frame)＋SWNsy (pixel)
（２７）
そして、式（２５）の関数Sx(x+k,y+l)、Sy(x+k,y+l)を、それにノイズSWNsのｘ成分SWNsxとｙ成分SWNsyを付加した関数Sxswn(x+k,y+l)、Syswn(x+k,y+l)で置き換えた次の式によってぼけの点広がり関数WT(k,l)swnが演算され、このぼけの点広がり関数WT(k,l)swnを用いて、式（１８）に従って画像データY(x,y)が演算される。
Figure 0004872862
例えば、ノイズSWNsを上述した式（２３）で表すとする。そして、それぞれのフレーム単位で変化する成分をRΣmseq[m](frame)、画素単位で変化する成分をRΣmseq[m](pixel)とすると、ノイズSWNsのｘ成分SWNsxとｙ成分SWNsyは次式で表される。
SWNsx＝RSxΣmseqSx[m](frame)＋RSxΣmseqSx[m](pixel)
SWNsy＝RSyΣmseqSy[m](frame)＋RSyΣmseqSy[m](pixel)
（２９）
そして係数RSx，RSyをノイズパラメータＮに応じて決定することで、ノイズSWNsx、SWNsyの値が決定される。ノイズSWNsx、SWNsyが付加された関数Sxswn(x+k,y+l)、Syswn(x+k,y+l)が、ぼけモデルでノイズを与えるパラメータとしてぼけ付加部３１１に供給される。
偏差によるピントぼけノイズの画像生成処理の手順を、図２７のフローチャートを参照して説明する。
ステップＳ２３１において、設定部３３１はユーザの指示に基づいて処理領域を設定する。この場合、ユーザは画像の一部、若しくは全部を処理領域として設定することができる。常に画像の全体を処理する場合には、この処理を省略することもできる。ステップＳ２３２において、取得部３３２はユーザにより指定されたノイズパラメータＮを取得する。ステップＳ２３３において、決定部３３３はノイズパラメータＮに基づいて式（２９）の係数RSx，RSyを決定する。
ステップＳ２３４において、演算部３３４はノイズSWNsx、SWNsyを演算する。すなわち、ステップＳ２３２において取得されたノイズパラメータＮに対応する係数RSx，RSyに基づいて、式（２９）からノイズSWNsx、SWNsyが演算される。
ステップＳ２３５において、演算部３３４はノイズSWNsx、SWNsyを付加したぼけの点広がり関数WT(k,l)swnを演算する。すなわち、ステップＳ２３４で演算されたノイズSWNsx、SWNsyが付加されたぼけの点広がり関数WT(k,l)swnが、式（２８）に従って演算される。このノイズSWNsx、SWNsyが付加されたぼけの点広がり関数WT(k,l)swnは、ぼけモデルにノイズを与えるパラメータとしてぼけ付加部３１１に出力される。
ステップＳ２３６において、ぼけ付加部３１１の演算部３５３は設定された処理領域に関し、ノイズSWNsx、SWNsyを付加した画素データを演算する。具体的には、親画像データX(x+k,y+l)が取得され、取得された親画像データX(x+k,y+l)に対して、ステップＳ２３５で演算されたノイズSWNsx、SWNsyが付加されたぼけの点広がり関数WT(k,l)swnを用いて画素データY(x,y)が、式（１８）に従って演算される。
このようにして生成された画像データの画像の各画素には、フレーム毎に異なり、また画素毎に異なるノイズ成分が付加されている。従って、１枚の静止画に対して、フレーム単位かつ画素単位のノイズ成分を変化させて複数枚のフレームの画像を生成すると、１枚の画像が揺れて見える一種の動画を生成することができる。
すなわち、この場合においても、上述した場合と同様に、人が空気中の物を遠くから見たような場合に観察されるような、比較的詳細な元の状態をそのまま確認することができる画像であって、周囲の空気の温度、湿度の変化などに起因して自然に揺らぐエフェクトを有する画像を生成することができる。
ぼけモデルを規定するぼけの点広がり関数WT(k,l)の位相にノイズを付加することで、画像に合焦状態のノイズを付加することができる。この場合、ぼけの点広がり関数WT(k,l)のぼけデータとしてのｘ成分ｋとｙ成分ｌにノイズSWNk(x,y)、SWNl(x,y)が付加され、ノイズ付加後のｘ成分kswnとｙ成分lswnは、次式で示すようになる。
kswn＝ｋ＋SWNk(x,y)
lswn＝ｌ＋SWNl(x,y)
（３０）
式（３０）を代入することで式（１９）が次式のように書き換えられる。
Figure 0004872862
ノイズSWNk(x,y)、SWNl(x,y)も、次式で表されるように、フレーム単位でのノイズ成分SWNk(x,y) (frame)、SWNl (frame)と、画素単位でのノイズ成分SWNk(x,y) (pixel)、SWNl (pixel)の和で構成される。
SWNk(x,y)＝SWNk(x,y) (frame)＋SWNk(x,y) (pixel)
SWNl(x,y)＝SWNl(x,y) (frame)＋SWNl(x,y) (pixel)
（３２）
ノイズSWNk(x,y)、SWNl(x,y)を上述した式（２３）で表すものとする。そして、それぞれのフレーム単位で変化される成分をRkΣmseqk[m](frame)、RlΣmseql[m](frame)、画素単位で変化される成分をRkΣmseqk[m](pixel)、RlΣmseql[m](pixel)とすると、ノイズSWNk(x,y)、SWNl(x,y)は次式で表される。
SWNk(x,y)＝RkΣmseqk[m](frame)＋RkΣmseqk[m](pixel)
SWNl(x,y)＝RlΣmseql[m](frame)＋RlΣmseql[m](pixel)
（３３）
そしてノイズSWNk(x,y)、SWNl(x,y)の係数Rk、RlがノイズパラメータＮに対応して決定される。
位相によるピントぼけノイズの画像生成処理の手順を、図２８のフローチャートを参照して説明する。
ステップＳ２６１において、設定部３３１はユーザの指示に基づいて処理領域を設定する。この場合、ユーザは画像の一部、若しくは全部を処理領域として設定することができる。常に画像の全体を処理する場合には、この処理を省略することもできる。ステップＳ２６２において、取得部３３２はユーザにより指定されたノイズパラメータＮを取得する。ステップＳ２６３において、決定部３３３はノイズパラメータＮに基づいて、式（３３）のノイズSWNk(x,y)、SWNl(x,y)の係数Rk、Rlを決定する。
ステップＳ２６４において、演算部３３４はノイズSWNk(x,y)、SWNl(x,y)を演算する。すなわち、ステップＳ２６２において取得されたノイズパラメータＮに対応する係数Rk、Rlに基づいて、式（３３）からノイズSWNk(x,y)、SWNl(x,y)が演算される。
ステップＳ２６５において、演算部３３４はノイズSWNk(x,y)、SWNl(x,y)を付加したぼけの点広がり関数WT(k,l)swnを演算する。すなわち、ステップＳ２６４で演算されたノイズSWNk(x,y)、SWNl(x,y)が付加されたぼけの点広がり関数WT(k,l)swnが、式（３１）に従って演算される。このノイズSWNk(x,y)、SWNl(x,y)が付加されたぼけの点広がり関数WT(k,l)swnは、ぼけモデルでノイズを与えるパラメータとして、ぼけ付加部３１１に出力される。
ステップＳ２６６において、ぼけ付加部３１１の演算部３５３は設定された処理領域に関し、ノイズSWNk(x,y)、SWNl(x,y)を付加した画素データを演算する。具体的には、入力された親画像データX(x+k,y+l)から、ステップＳ２６５で演算されたノイズSWNk(x,y)、SWNl(x,y)が付加されたぼけの点広がり関数WT(k,l)swnを用いて式（１８）に従って、画素データY(x,y)が演算される。
以上のように位相にノイズを与えることは、図２９に示されるように、例えばｘ座標で表されるぼけの点広がり関数WT1のピーク値を与えるｘ座標の値がμ1である場合、そのピーク値を与えるｘ座標がμ2またはμ3である位相の関数WT2、WT3にシフトすることを意味する。
このようにした場合においても、上述した場合と同様に、自然に揺らぐエフェクトを有する画像を生成することができる。
ぼけモデルとしてのぼけの点広がり関数WT(k,l)の先鋭度にノイズを付加することで、画像に合焦状態のノイズを付加することができる。図３０には最も先鋭度が高い関数WT11、中程度の関数WT12、最も低い関数WT13が示されている。式（１９）のサンプリングポイントの間隔を密にすることで先鋭度を低くし、粗にすることで高くすることができる。
係数値の合計が１．０にならない場合、各係数値を係数の総和で除算することで、正規化が行われる。
すなわち、異なる偏差σで算出した複数の正規分布を結合して、レベルを正規化することで、先鋭度を変えた特性（すなわち式）を得ることができる。注目画素に対して異なる偏差σの足し込み特性を算出し、それらを積分後、レベル正規化が行われる。先鋭度が変化する状態は、１画素内で、奥行き方向（すなわち距離方向）にノイズが生じている状態（すなわち、１画素の積分時間内に前後に動きが生じた状態）と等価と考えることができる。この場合、ぼけの点広がり関数は、次の混合正規分布の式で表される。
Figure 0004872862
上記式のぼけデータとしての係数Ｋｐを、ノイズを与えた係数Ｋｐswnに変更すると、上記式は次のように書き換えられる。
Figure 0004872862
ノイズをSWNｐとすると、ノイズを与えた係数Ｋｐswnは次式で表される。
Figure 0004872862
ノイズSWNｐを式（２３）で表すとし、それぞれのフレーム単位で変化される成分をRpΣmseqp[m](frame)、画素単位で変化される成分をRpΣmseqp[m](pixel)とすると、ノイズSWNp(x,y)は次式で表される。
SWNp(x,y)＝RpΣmseqp[m](frame)＋RpΣmseqp[m](pixel)
（３８）
そしてノイズSWNp(x,y)の係数RpがノイズパラメータＮに対応して設定される。
尖鋭度によるピントぼけノイズの画像生成処理の手順を、図３１のフローチャートを参照して説明する。
ステップＳ２７１において、設定部３３１はユーザの指示に基づいて処理領域を設定する。この場合、ユーザは画像の一部、若しくは全部を処理領域として設定することができる。常に画像の全体を処理する場合には、この処理を省略することもできる。ステップＳ２７２において、取得部３３２はユーザにより指定されたノイズパラメータＮを取得する。ステップＳ２７３において、決定部３３３はノイズパラメータＮに基づいて、式（３８）のノイズSWNp(x,y)の係数Rpを決定する。
ステップＳ２７４において、演算部３３４はノイズSWNp(x,y)を演算する。すなわち、ステップＳ２７２において取得されたノイズパラメータＮに対応する係数Rpに基づいて、式（３８）からノイズSWNp(x,y)が演算される。
ステップＳ２７５において、演算部３３４はノイズSWNp(x,y)を付加したぼけの点広がり関数WT(k,l)swnを演算する。すなわち、ステップＳ２７４で演算されたノイズSWNp(x,y)が付加されたぼけの点広がり関数WT(k,l)swnが、式（３５）に従って演算される。このノイズSWNp(x,y)が付加されたぼけの点広がり関数WT(k,l)swnは、ぼけモデルでノイズを与えるパラメータとして、ぼけ付加部３１１に出力される。
ステップＳ２７６において、ぼけ付加部３１１の演算部３５３は設定された処理領域に関し、ノイズSWNp(x,y)を付加した画素データを演算する。具体的には、入力された親画像データX(x+k,y+l)から、ステップＳ２７５で演算されたノイズSWNp(x,y)が付加されたぼけの点広がり関数WT(k,l)swnを用いて式（１８）に従って、画素データY(x,y)が演算される。
以上のように尖鋭度にノイズを与えた場合においても、上述した場合と同様に、自然に揺らぐエフェクトを有する画像を生成することができる。
さらに図３２に示されるように、ぼけモデルとしての式（１９）のぼけの点広がり関数WT(k,l)を、ガウス関数WT21から歪ませた関数WT22、WT23と変化させることでも画像に合焦状態のノイズを付加することができる。
次に動きぼけのノイズを付加した画像を生成する場合について説明する。
静止した状態の背景の前を所定の物体の前景が移動する場合、これをセンサにより撮像すると、背景のみを撮像する画素、前景のみを撮像する画素、そして前景と背景を混合して撮像する画素が出現する。以下このことを詳述する。
図３３は、センサによる撮像を説明する図である。センサ３９１は、例えば、固体撮像素子であるCCD（Charge-Coupled Device）エリアセンサを備えたCCDビデオカメラなどで構成される。現実世界における、前景に対応するオブジェクトは、現実世界における、背景に対応するオブジェクトと、センサ３９１との間を、例えば、図中の左側から右側に水平に移動する。
例えばビデオカメラなどにより構成されるセンサ３９１は、前景に対応するオブジェクトを、背景に対応するオブジェクトと共に撮像する。センサ３９１は、撮像した画像を１フレーム単位で出力する。例えば、センサ３９１は、１秒間に３０フレームから成る画像を出力する。センサ３９１の露光時間は、１／３０秒とすることができる。露光時間は、センサ３９１が入力された光の電荷への変換を開始してから、入力された光の電荷への変換を終了するまでの期間である。以下、露光時間をシャッタ時間とも称する。
図３４は、画素の配置を説明する図である。図３４において、Ａ乃至Ｉは、個々の画素を示す。画素は、画像に対応する平面上に配置されている。１つの画素に対応する１つの検出素子は、センサ３９１上に配置されている。センサ３９１が画像を撮像するとき、１つの検出素子は、画像を構成する１つの画素に対応する画素値を出力する。例えば、検出素子のＸ方向の位置は、画像上の横方向の位置に対応し、検出素子のＹ方向の位置は、画像上の縦方向の位置に対応する。
図３５に示すように、例えば、CCDである検出素子は、シャッタ時間に対応する期間、入力された光を電荷に変換して、変換された電荷を蓄積する。電荷の量は、入力された光の強さと、光が入力されている時間にほぼ比例する。検出素子は、シャッタ時間に対応する期間において、入力された光から変換された電荷を、既に蓄積されている電荷に加えていく。すなわち、検出素子は、シャッタ時間に対応する期間、入力される光を積分して、積分された光に対応する量の電荷を蓄積する。検出素子は、時間に対して、積分効果があるとも言える。
検出素子に蓄積された電荷は、図示せぬ回路により、電圧値に変換され、電圧値は更にデジタルデータなどの画素値に変換されて出力される。従って、センサ３９１から出力される個々の画素値は、前景または背景に対応するオブジェクトの空間的に広がりを有するある部分を、シャッタ時間について積分した結果である、１次元の空間に射影された値を有する。
図３６は、静止している前景に対応するオブジェクトおよび静止している背景に対応するオブジェクトを撮像した画像における、隣接して１列に並んでいる画素の画素値を時間方向に展開したモデル図である。例えば、隣接して１列に並んでいる画素として、画面の１つのライン上に並んでいる画素を選択することができる。
図３６に示すF01乃至F04の画素値は、静止している前景のオブジェクトに対応する画素の画素値である。図３６に示すB01乃至B04の画素値は、静止している背景のオブジェクトに対応する画素の画素値である。
図３６における縦方向は、図中の上から下に向かって時間が経過する。図３６中の矩形の上辺の位置は、センサ３９１が入力された光の電荷への変換を開始する時刻に対応し、図３６中の矩形の下辺の位置は、センサ３９１が入力された光の電荷への変換を終了する時刻に対応する。すなわち、図３６中の矩形の上辺から下辺までの距離は、シャッタ時間に対応する。
以下において、シャッタ時間とフレーム間隔とが同一である場合を例に説明する。
図３６における横方向は、空間方向Xに対応する。より具体的には、図３６に示す例において、図３６中の”F01”と記載された矩形の左辺から”B04”と記載された矩形の右辺までの距離は、画素のピッチの８倍、すなわち、連続している８つの画素の間隔に対応する。
前景のオブジェクトおよび背景のオブジェクトが静止している場合、シャッタ時間に対応する期間において、センサ３９１に入力される光は変化しない。
ここで、シャッタ時間に対応する期間を２つ以上の同じ長さの期間に分割する。例えば、仮想分割数を４とすると、図３６に示すモデル図は、図３７に示すモデルとして表すことができる。仮想分割数は、前景に対応するオブジェクトのシャッタ時間内での動き量ｖなどに対応して設定される。例えば、４である動き量ｖに対応して、仮想分割数は、４とされ、シャッタ時間に対応する期間は４つに分割される。
図中の最も上の行は、シャッタが開いて最初の、分割された期間に対応する。図中の上から２番目の行は、シャッタが開いて２番目の、分割された期間に対応する。図中の上から３番目の行は、シャッタが開いて３番目の、分割された期間に対応する。図中の上から４番目の行は、シャッタが開いて４番目の、分割された期間に対応する。
以下、動き量ｖに対応して分割されたシャッタ時間をシャッタ時間／ｖとも称する。
前景に対応するオブジェクトが静止しているとき、センサ３９１に入力される光は変化しないので、前景の成分F01/vは、画素値F01を仮想分割数で除した値に等しい。同様に、前景に対応するオブジェクトが静止しているとき、前景の成分F02/vは、画素値F02を仮想分割数で除した値に等しく、前景の成分F03/vは、画素値F03を仮想分割数で除した値に等しく、前景の成分F04/vは、画素値F04を仮想分割数で除した値に等しい。
背景に対応するオブジェクトが静止しているとき、センサ３９１に入力される光は変化しないので、背景の成分B01/vは、画素値B01を仮想分割数で除した値に等しい。同様に、背景に対応するオブジェクトが静止しているとき、背景の成分B02/vは、画素値B02を仮想分割数で除した値に等しく、B03/vは、画素値B03を仮想分割数で除した値に等しく、B04/vは、画素値B04を仮想分割数で除した値に等しい。
すなわち、前景に対応するオブジェクトが静止している場合、シャッタ時間に対応する期間において、センサ３９１に入力される前景のオブジェクトに対応する光が変化しないので、シャッタが開いて最初の、シャッタ時間／ｖに対応する前景の成分F01/vと、シャッタが開いて２番目の、シャッタ時間／ｖに対応する前景の成分F01/vと、シャッタが開いて３番目の、シャッタ時間／ｖに対応する前景の成分F01/vと、シャッタが開いて４番目の、シャッタ時間／ｖに対応する前景の成分F01/vとは、同じ値となる。F02/v乃至F04/vも、F01/vと同様の関係を有する。
背景に対応するオブジェクトが静止している場合、シャッタ時間に対応する期間において、センサ３９１に入力される背景のオブジェクトに対応する光は変化しないので、シャッタが開いて最初の、シャッタ時間／ｖに対応する背景の成分B01/vと、シャッタが開いて２番目の、シャッタ時間／ｖに対応する背景の成分B01/vと、シャッタが開いて３番目の、シャッタ時間／ｖに対応する背景の成分B01/vと、シャッタが開いて４番目の、シャッタ時間／ｖに対応する背景の成分B01/vとは、同じ値となる。B02/v乃至B04/vも、同様の関係を有する。
次に、前景に対応するオブジェクトが移動し、背景に対応するオブジェクトが静止している場合について説明する。
図３８は、前景に対応するオブジェクトが図中の右側に向かって移動する場合の、カバードバックグラウンド領域（前景領域に対して、前景のオブジェクトの進行方向の前端部に対応する位置の、前景成分と背景成分の混合領域であり、時間の経過に対応して背景成分が前景に覆い隠される領域）を含む、１つのライン上の画素の画素値を時間方向に展開したモデル図である。図３８において、前景の動き量ｖは、４である。１フレームは短い時間なので、前景に対応するオブジェクトが剛体であり、等速で移動していると仮定することができる。図３８において、前景に対応するオブジェクトの画像は、あるフレームを基準として次のフレームにおいて４画素分右側に表示されるように移動する。
図３８において、最も左側の画素乃至左から４番目の画素は、前景領域に属する。図３８において、左から５番目乃至左から７番目の画素は、カバードバックグラウンド領域である混合領域に属する。図３８において、最も右側の画素は、背景領域に属する。
前景に対応するオブジェクトが時間の経過と共に背景に対応するオブジェクトを覆い隠すように移動しているので、カバードバックグラウンド領域に属する画素の画素値に含まれる成分は、シャッタ時間に対応する期間のある時点で、背景の成分から、前景の成分に替わる。
例えば、図３８中に太線枠を付した画素値Mは、式（３９）で表される。
M=B02/v+B02/v+F07/v+F06/v （３９）
例えば、左から５番目の画素は、１つのシャッタ時間／ｖに対応する背景の成分を含み、３つのシャッタ時間／ｖに対応する前景の成分を含むので、左から５番目の画素の混合比α（前景成分と背景成分の和である１画素の値において前景成分が占める割合）は、1/4である。左から６番目の画素は、２つのシャッタ時間／ｖに対応する背景の成分を含み、２つのシャッタ時間／ｖに対応する前景の成分を含むので、左から６番目の画素の混合比αは、1/2である。左から７番目の画素は、３つのシャッタ時間／ｖに対応する背景の成分を含み、１つのシャッタ時間／ｖに対応する前景の成分を含むので、左から７番目の画素の混合比αは、3/4である。
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図３８中の左から４番目の画素の、シャッタが開いて最初の、シャッタ時間／ｖの前景の成分F07/vは、図３８中の左から５番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖに対応する前景の成分に等しい。同様に、前景の成分F07/vは、図３８中の左から６番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖに対応する前景の成分と、図３８中の左から７番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖに対応する前景の成分とに、それぞれ等しい。
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図３８中の左から３番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分F06/vは、図３８中の左から４番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖに対応する前景の成分に等しい。同様に、前景の成分F06/vは図３８中の左から５番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖに対応する前景の成分と、図３８中の左から６番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖに対応する前景の成分とに、それぞれ等しい。
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図３８中の左から２番目の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分F05/vは、図３８中の左から３番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖのに対応する前景の成分に等しい。同様に、前景の成分F05/vは、図３８中の左から４番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖに対応する前景の成分と、図３８中の左から５番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖに対応する前景の成分とに、それぞれ等しい。
前景に対応するオブジェクトが、剛体であり、前景の画像が次のフレームにおいて４画素右側に表示されるように等速で移動すると仮定できるので、例えば、図３８中の最も左側の画素の、シャッタが開いて最初のシャッタ時間／ｖの前景の成分F04/vは、図３８中の左から２番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖに対応する前景の成分に等しい。同様に、前景の成分F04/vは、図３８中の左から３番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖに対応する前景の成分と、図３８中の左から４番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖに対応する前景の成分とに、それぞれ等しい。
動いているオブジェクトに対応する前景の領域は、このように動きぼけを含むので、歪み領域とも言える。
図３９は、前景が図中の右側に向かって移動する場合の、アンカバードバックグラウンド領域（前景に対して、前景のオブジェクトの進行方向の後端部に対応する位置の、前景成分と背景成分の混合領域であり、時間の経過に対応して背景成分が現れる領域）を含む、１つのライン上の画素の画素値を時間方向に展開したモデル図である。図３９において、前景の動き量ｖは、４である。１フレームは短い時間なので、前景に対応するオブジェクトが剛体であり、等速で移動していると仮定することができる。図３９において、前景に対応するオブジェクトの画像は、あるフレームを基準として次のフレームにおいて４画素分右側に移動する。
図３９において、最も左側の画素乃至左から４番目の画素は、背景領域に属する。図３９において、左から５番目乃至左から７番目の画素は、アンカバードバックグラウンドである混合領域に属する。図３９において、最も右側の画素は、前景領域に属する。
背景に対応するオブジェクトを覆っていた前景に対応するオブジェクトが時間の経過と共に背景に対応するオブジェクトの前から取り除かれるように移動しているので、アンカバードバックグラウンド領域に属する画素の画素値に含まれる成分は、シャッタ時間に対応する期間のある時点で、前景の成分から、背景の成分に替わる。
例えば、図３９中に太線枠を付した画素値M'は、式（４０）で表される。
M'=F02/v+F01/v+B26/v+B26/v （４０）
例えば、左から５番目の画素は、３つのシャッタ時間／ｖに対応する背景の成分を含み、１つのシャッタ時間／ｖに対応する前景の成分を含むので、左から５番目の画素の混合比αは、3/4である。左から６番目の画素は、２つのシャッタ時間／ｖに対応する背景の成分を含み、２つのシャッタ時間／ｖに対応する前景の成分を含むので、左から６番目の画素の混合比αは、1/2である。左から７番目の画素は、１つのシャッタ時間／ｖに対応する背景の成分を含み、３つのシャッタ時間／ｖに対応する前景の成分を含むので、左から７番目の画素の混合比αは、1/4である。
式（３９）および式（４０）をより一般化すると、画素値Mは、式（４１）で表される。
Figure 0004872862
ここで、αは、混合比である。Ｂは、背景の画素値であり、Fi/vは、前景の成分である。
前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、動き量ｖが４であるので、例えば、図３９中の左から５番目の画素の、シャッタが開いて最初の、シャッタ時間／ｖの前景の成分F01/vは、図３９中の左から６番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖに対応する前景の成分に等しい。同様に、F01/vは、図３９中の左から７番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖに対応する前景の成分と、図３９中の左から８番目の画素の、シャッタが開いて４番目のシャッタ時間／ｖに対応する前景の成分とに、それぞれ等しい。
前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、仮想分割数が４であるので、例えば、図３９中の左から６番目の画素の、シャッタが開いて最初の、シャッタ時間／ｖの前景の成分F02/vは、図３９中の左から７番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖに対応する前景の成分に等しい。同様に、前景の成分F02/vは、図３９中の左から８番目の画素の、シャッタが開いて３番目のシャッタ時間／ｖに対応する前景の成分に等しい。
前景に対応するオブジェクトが剛体であり、等速で動くと仮定でき、かつ、動き量ｖが４であるので、例えば、図３９中の左から７番目の画素の、シャッタが開いて最初の、シャッタ時間／ｖの前景の成分F03/vは、図３９中の左から８番目の画素の、シャッタが開いて２番目のシャッタ時間／ｖに対応する前景の成分に等しい。
図３７乃至図３９の説明において、仮想分割数は、４であるとして説明したが、仮想分割数は、動き量ｖに対応する。動き量ｖは、一般に、前景に対応するオブジェクトの移動速度に対応する。例えば、前景に対応するオブジェクトが、あるフレームを基準として次のフレームにおいて４画素分右側に表示されるように移動しているとき、動き量ｖは、４とされる。動き量ｖに対応し、仮想分割数は、４とされる。同様に、例えば、前景に対応するオブジェクトが、あるフレームを基準として次のフレームにおいて６画素分左側に表示されるように移動しているとき、動き量ｖは、６とされ、仮想分割数は、６とされる。
動きぼけのノイズを付加した画像を生成する場合、以上に説明した式（４１）の動き量ｖにノイズを付加することができる。すなわちノイズSWNvを付加した動き量ｖswnは、次の式で表される。
ｖswn＝ｖ＋SWNv （４２）
そして、式（４１）は次のように書き換えられ、各画素値Mは、次式に基づいて演算される。
Figure 0004872862
ここでもノイズSWNVは、次式で表されるように、フレーム単位で変化する成分SWNV(frame)と、画素単位で変化する成分SWNV(pixel)との和とされる。
SWNV＝SWNV(frame)＋SWNV(pixel) （４４）
ノイズSWNvを上述した式（２３）で表すものとする。そして、それぞれのフレーム単位で変化される成分をRVΣmseqV [m](frame)、画素単位で変化される成分をRVΣmseqV[m](pixel)とすると、ノイズSWNVは次式で表される。
SWNV＝RVΣmseqV[m](frame)＋RVΣmseqV[m](pixel) （４５）
そして式（４５）の係数RVがノイズパラメータＮに応じて決定される。
動き量の動きぼけノイズの画像生成処理の手順は、図４０のフローチャートに示されるようになる。
ステップＳ２９１において、設定部３３１はユーザにより指定された領域を処理領域として設定する。この場合、画像の一部、若しくは全部を処理領域として設定することができる。常に画像の全体を処理する場合には、この処理を省略することもできる。ステップＳ２９２において、取得部３３２はステップＳ２９１で設定された処理領域の各画素の動き情報を取得する。この動き情報には動き量ｖが含まれている。
ステップＳ２９３において、取得部３３２はユーザにより指定されたノイズパラメータＮを取得する。ステップＳ２９４において、決定部３３３は取得されたノイズパラメータＮに基づいて、式（４５）の係数Ｒｖを決定する。ステップＳ２９５において、演算部３３４はノイズSWNVを演算する。すなわち、ステップＳ２９４において決定された係数Ｒｖに基づいて、式（４５）に従って、ノイズSWNVが演算される。
ステップＳ２９６において、演算部３３４はノイズSWNVを付加した動き量ｖswnを演算する。すなわち、ステップＳ２９５で演算されたノイズSWNVが付加された動き量ｖswnが、式（４２）に従って演算される。このノイズSWNVが付加された動き量ｖswnは、ぼけモデルでノイズを与えるパラメータとして、ぼけ付加部３１１に出力される。
ステップＳ２９７において、ぼけ付加部３１１の演算部３５３は設定された処理領域において、ノイズSWNVを付加した画素データを演算する。具体的には、親画像データとともに供給された混合比α、背景の画素値Ｂ、および前景の画素値Fi、並びに演算されたノイズSWNVが付加された動き量ｖswnを用いて、式（４３）に基づき画素値Ｍswnが演算される。
このようにした場合においても、上述した場合と同様に、自然に揺らぐエフェクトを有する画像を生成することができる。
次に、動きの方向（すなわち角度）にノイズを付加して、画像を生成する場合について説明する。
図４１Ａに示されるように、動きの方向が水平方向である場合、対象とされる注目画素が位置するライン上の処理領域ＷＡ内の他の画素の画素値に所定の係数で重み付けして積和された値がぼけ成分として注目画素の画素値に加算される。動きの方向が垂直方向である場合、対象とされる注目画素が位置する垂直方向のライン上の処理領域ＷＡ内の他の画素の画素値に所定の係数で重み付けして積和された値がぼけ成分として注目画素の画素値に加算される。
図４１Ｂに示されるように、動きの方向が斜め方向である場合、対象とされる注目画素が位置するその動きの方向のラインＬを中心として所定の幅の範囲が処理領域ＷＡとされる。そして、斜めのラインＬ上に、画素の水平および垂直方向のピッチと同じ距離だけ離れた位置の補間画素が演算される。
図４２は補間画素の演算の原理を表している。同図に示されるように、補間位置Ｐwaの画素値ＤＰwaは、位置Ｐwaに最も近い周囲の４個の位置Ｐw1乃至Pw4の画素値ＤＰw1乃至ＤＰw4から、次式に基づいて演算される。
ＤＰwa＝｛（１−βｈ）（１−βｖ）／ｖ｝ＤＰw1
＋｛（βｈ）（１−βｖ）／ｖ｝ＤＰw2
＋｛（１−βｈ）（βｖ）／ｖ｝ＤＰw3
＋｛（βｈ）（βｖ）／ｖ｝ＤＰw4
（４６）
式（４６）において、θを動きの方向のラインＬのｘ軸に対する角度とするとき、βｈはcosθ、βｖはsinθを、それぞれ表している。
ぼけデータとしての角度θ（動きの方向）に対するノイズは、βｈ、βｖに対して分解して付加される。すなわち、ぼけデータとしてのβｈ、βｖに対するノイズをそれぞれSWNβh、SWNβvとすると、ノイズ付加後のβｈ、βｖであるβｈswn、βｖswnは、それぞれ次式で表される。
βｈswn ＝βｈ＋SWNβh
βｖswn ＝βｖ＋SWNβv
（４７）
ノイズSWNβh、SWNβvを上述した式（２３）で表すものとする。そして、それぞれのフレーム単位で変化される成分をRβhΣmseqβh[m](frame)、RβvΣmseqβv[m](frame)、画素単位で変化される成分をRβhΣmseqβh[m](pixel)、RβvΣmseqβv[m](pixel)とすると、ノイズSWNβh、SWNβvは次式で表される。
SWNβh＝RβhΣmseqβh[m](frame)＋RβhΣmseqβh[m](pixel)
SWNβv＝RβvΣmseqβv[m](frame)＋RβvΣmseqβv[m](pixel)
（４８）
従って、ノイズSWNβh、SWNβvを付加した補間位置Ｐwaの画素値ＤＰwaswnは、次式で表される。この式は、補間位置Ｐwaの画素値ＤＰwaを演算する場合の補間画素の位置にノイズを付加することを意味する。
ＤＰwaswn＝｛（１−βｈswn）（１−βｖswn）／ｖ｝ＤＰw1
＋｛（βｈswn）（１−βｖswn）／ｖ｝ＤＰw2
＋｛（１−βｈswn）（βｖswn）／ｖ｝ＤＰw3
＋｛（βｈswn）（βｖswn）／ｖ｝ＤＰw4
（４９）
注目画素の画素値ＤＰw1にノイズを付加した注目画素の画素値ＤＰwswnは、次式で演算される。ｗiは各補間画素の重み付け係数であり、ぼけパラメータＰに基づいて選択、決定される。
Figure 0004872862
次に、図４３のフローチャートを参照して、動きの方向、すなわち角度による動きぼけノイズの画像生成処理について説明する。
ステップＳ３６１において、設定部３３１はユーザからの指示に基づいて処理領域を設定する。この場合、画像の一部、若しくは全部を処理領域として設定することができる。常に画像の全体を処理する場合には、この処理を省略することもできる。ステップＳ３６２において、取得部３３２は処理領域の各画素の動き情報を取得する。この動き情報には、動き量ｖの他、動きの方向を表す情報が含まれている。
ステップＳ３６３において、演算部３３４は動きの方向に沿った補間画素を演算する。すなわち、式（４６）に基づいて、画素値ＤＰwaが演算される。ステップＳ３６４において、取得部３３２はユーザからの入力に基づいてノイズパラメータＮを取得する。ステップＳ３６５において、決定部３３３は式（４８）のノイズSWNβh、SWNβvの係数Rβh,Rβvを決定する。
ステップＳ３６６において、演算部３３４はノイズSWNβh、SWNβvを式（４８）に基づいて演算する。ステップＳ３６７において、演算部３３４はノイズSWNβh、SWNβvを付加した角度成分βｈswn、βｖswnを式（４７）に基づいて演算する。このノイズSWNβh、SWNβvを付加した角度成分βｈswn、βｖswnは、ぼけモデルでノイズを与えるパラメータとして、ぼけ付加部３１１に出力される。
ステップＳ３６８において、ぼけ付加部３１１の取得部３５１はユーザからの入力に基づいてぼけパラメータＰを取得する。ステップＳ３６９において、選択部３５２は取得されたぼけパラメータＰに基づいて、予め記憶されている重みｗiの中から対応する重みｗiを選択する。ステップＳ３７０において、演算部３５３はノイズSWNβh、SWNβvを付加した角度成分βｈswn、βｖswnに基づいて画素データを演算する。すなわち、式（５０）に基づいて、画素値ＤＰwswnが演算される。
このようにした場合においても、上述した場合と同様に、自然に揺らぐエフェクトを有する画像を生成することができる。
なお、ぼけの画像を生成する場合、上記した複数の方法のうちの２個以上を適宜組み合わせることもできる。
また、上記した各ノイズSWN（ノイズSWNd、SWNsx、SWNsy、SWNk(x,y)、SWNl(x,y)、SWNp、SWNv、SWNβh、SWNβv）は、式（２３）の他、次の式で表すこともできる。
SWN＝ａ＋ｂ・rand （５１）
−１．０≦rand≦１．０
ａはオフセット、ｂはゲインである。randは疑似乱数を発生する関数である。
またはノイズSWNは、次の式で表すこともできる。
SWN＝ａ（ｄ）＋ｂ（ｄ）・rand （５２）
この式は、式（５１）のオフセットａとゲインｂを、ｄの関数としたものである。
ぼけ付加部３１１でノイズが付加された画像データは、ノイズ付加部３１３で必要に応じてさらにノイズが付加された後、エフェクトを付加した画像データとして図示せぬ装置に供給される。
この画像データはタップ構築部３１４に供給され、学習処理に用いられる。また、ノイズ付加部３１２からタップ構築部３１５にも学習に必要な情報（ぼけ付加部３１１に供給される情報と同じ情報）が供給される。
ぼけ付加部３１１とノイズ付加部３１２，３１３に供給された情報のうち必要な情報は、予測係数演算部３１８にも供給される。すなわち、予測係数演算部３１８には、ノイズパラメータＮ、ノイズパラメータＮｉ、ぼけパラメータＰ、および動き情報（動き量と方向）が供給される。
図２０の画像生成装置３０１や図２１の画像生成措置４００で行われる学習処理は、図３の学習装置１や図１４の学習装置１における場合と同様であり、その説明は繰り返しになるので省略するが、これにより、揺れが付加された画像から、揺れを修正した画像を生成するための予測係数が求められる。
予測係数を演算するに当たり、使用するクラスは任意であるが、例えば、ぼけパラメータＰに対応するクラスＤを次式に基づいて決定することができる。
Ｄ＝（ａ＋Ａ）×Ｎmax＋（ｎ＋Ｎ） ・・・（５３）
上記式（５３）におけるａは、指定された領域における動きベクトルのｘ座標成分を表し、ｎは、ｙ座標成分を表す。また、Ａは、ユーザより入力されたオフセット値のｘ座標成分を表し、Ｎは、ｙ座標成分を表す。Ｎmaxは、ｙ座標成分のクラス総数を意味する。画像データに対応して保存されているぼけパラメータは、式（５３）における（（ａ＋Ａ）,（ｎ＋Ｎ））の値である。従って、このぼけパラメータ（（ａ＋Ａ）,（ｎ＋Ｎ））の値を上記式（５３）に適用して、クラスＤを演算することができる。
そこで、最終的なクラスtotal_classを、例えば波形パターンのクラスＷとぼけパラメータのクラスＤとを総合して、クラス分類部３１６により、次式で表されるように決定することができる。なお、size_wはclassＷのクラス数を表す。
total_class＝classＷ ＋ classＤ×size_w ・・・ （５４）
動き量ｖや動きの方向（角度θ）に基づいてクラス分類することもできる。その場合、動き量と角度の大きさに応じて画像からクラスタップを抽出し、それを１ビットADRCすることでクラス分類したり、動き量と角度そのものに基づいて、クラス分類することもできる。
また、例えば、動き量ｖの整数をそのまま用いたクラスclassVcと、注目画素とその周囲の隣接する８個の画素との差分値を、正、負、同値の３クラスに分類したクラスclassVdiffとを、次式で示されるように統合することができる。なお、ｉは各隣接画素に対応する。
total_class＝classVc ＋ classVdiff×size_Vc
classVdiff＝Σi｛classVdiff_i×３i｝
（５５）
１動きから３０動きを対象とする場合、式（５５）のsize_Vcは３０となる。
図４４は、図２０の画像生成装置３０１の学習により生成された予測係数を用いて、ぼけが含まれる画像を修正する予測装置の一実施の形態の構成を示すブロック図である。この予測装置６８１は図９の予測装置８１と基本的に同様の構成とされている。
すなわち、図４４の予測装置６８１が有するタップ構築部６９１、タップ構築部６９２、クラス分類部６９３、係数メモリ６９４、タップ構築部６９５、および予測演算部６９６は、図９の予測装置８１が有するタップ構築部９１、タップ構築部９２、クラス分類部９３、係数メモリ９４、タップ構築部９５、および予測演算部９６と基本的に同様の機能を有している。
ただし、タップ構築部６９２には奥行きデータｚだけでなく、動き情報が入力されている。係数メモリ６９４にも、ノイズパラメータＮｉ、ぼけパラメータＰ以外に、動き情報が入力されている。またノイズパラメータＮｚに代えて、ノイズパラメータＮが入力されている。
この予測装置６８１の予測処理は、処理に使用される情報が異なるだけで、図１０に示した場合と同様であり、その説明は省略する。但し、この場合、図１０のステップＳ３２では、タップ構築部６９２において奥行きデータｚまたは動き情報からクラスタップが構築される。
ステップＳ３５では、係数メモリ７０１は、クラス分類部６９３から供給されるクラス、並びに、動き情報、ユーザにより指定されたノイズパラメータＮ、ノイズパラメータＮｉ、およびぼけパラメータＰに基づいて、そのクラス、動き情報、ノイズパラメータＮ、ノイズパラメータＮｉ、およびぼけパラメータＰに対応する予測係数ｗnを、既に記憶している予測係数ｗnの中から読み出し、その予測係数ｗnを予測演算部６９６に提供する。
図４５は、図２１の画像生成装置４００の学習により生成された予測係数を用いて、ぼけが含まれる画像を修正する予測装置の一実施の形態の構成を示すブロック図である。この予測装置６８１は図１３の予測装置８１と基本的に同様の構成とされている。
すなわち、図４５の予測装置６８１が有するタップ構築部６９１、タップ構築部６９２、クラス分類部６９３、係数メモリ７０１、タップ構築部６９５、および予測演算部６９６は、図１３の予測装置８１が有するタップ構築部９１、タップ構築部９２、クラス分類部９３、係数メモリ１１１、タップ構築部９５、および予測演算部９６と基本的に同様の機能を有している。
ただし、タップ構築部６９２には奥行きデータｚだけでなく、動き情報が入力されている。係数メモリ７０１にも、ノイズパラメータＮｉ、ぼけパラメータＰ、およびスケーリングパラメータ（Ｈ,Ｖ）以外に、動き情報が入力されている。またノイズパラメータＮｚに代えて、ノイズパラメータＮが入力されている。
この予測装置６８１の予測処理は、処理に使用される情報が異なるだけで、図１０に示した場合と同様であり、その説明は省略する。但し、この場合、図１０のステップＳ３２では、タップ構築部６９２において奥行きデータｚまたは動き情報からクラスタップが構築される。
ステップＳ３５では、係数メモリ７０１は、クラス分類部６９３から供給されるクラス、並びに、動き情報、ユーザにより指定されたノイズパラメータＮ、ノイズパラメータＮｉ、ぼけパラメータＰ、およびスケーリングパラメータ(H,V)に基づいて、そのクラス、動き情報、ノイズパラメータＮ、ノイズパラメータＮｉ、ぼけパラメータＰ、およびスケーリングパラメータ(H,V)に対応する予測係数ｗnを、既に記憶している予測係数ｗnの中から読み出し、その予測係数ｗnを予測演算部６９６に提供する。
図４６は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）５２１は、ROM（Read Only Memory）５２２、または記憶部５２８に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）５２３には、CPU５２１が実行するプログラムやデータなどが適宜記憶される。これらのCPU５２１、ROM５２２、およびRAM５２３は、バス５２４により相互に接続されている。
CPU５２１にはまた、バス５２４を介して入出力インターフェース５２５が接続されている。入出力インターフェース５２５には、キーボード、マウス、マイクロホンなどよりなる入力部５２６、ディスプレイ、スピーカなどよりなる出力部５２７が接続されている。CPU５２１は、入力部５２６から入力される指令に対応して各種の処理を実行する。そして、CPU５２１は、処理の結果を出力部５２７に出力する。
入出力インターフェース５２５に接続されている記憶部５２８は、例えばハードディスクからなり、CPU５２１が実行するプログラムや各種のデータを記憶する。通信部５２９は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。また、通信部５２９は、プログラムを取得し、記憶部５２８に記憶させるようにしてもよい。
入出力インターフェース５２５に接続されているドライブ５３０は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア５３１が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部５２８に転送され、記憶される。
なお、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
撮像された画像の例を示す図である。 図１の画像のクラス分類結果を表す図である。 本発明を適用した学習装置の一実施の形態の構成を示すブロック図である。 ぼけの付加について説明する図である。 ぼけの付加について説明する他の図である。 ぼけの特性の関数を表すグラフである。 ノイズの付加方法について説明する図である。 図３の学習装置の学習処理を説明するフローチャートである。 本発明を適用した予測装置の一実施の形態の構成を示すブロック図である。 図９の予測装置の予測処理を説明するフローチャートである。 学習装置の他の実施の形態の構成を示すブロック図である。 図１１の学習装置の学習処理を説明するフローチャートである。 予測装置の他の実施の形態の構成を示すブロック図である。 学習装置のさらに他の実施の形態の構成を示すブロック図である。 図１４の学習装置の学習処理を説明するフローチャートである。 学習装置のさらに他の実施の形態の構成を示すブロック図である。 図１６の学習装置の学習処理を説明するフローチャートである。 予測装置のさらに他の実施の形態の構成を示すブロック図である。 図１８の予測処理について説明するフローチャートである。 画像生成装置の一実施の形態の構成を示すブロック図である。 画像生成装置の他の実施の形態の構成を示すブロック図である。 図２０のノイズ付加部の一実施の形態の機能的構成を示すブロック図である。 図２０のぼけ付加部の一実施の形態の機能的構成を示すブロック図である。 距離によるピントぼけノイズの画像生成処理を説明するフローチャートである。 画像の生成処理を説明する図である。 関数を示す図である。 偏差によるピントぼけノイズの画像生成処理を説明するフローチャートである。 位相によるピントぼけノイズの画像生成処理を説明するフローチャートである。 関数の位相シフトを説明する図である。 関数を示す図である。 先鋭度によるピントぼけノイズの画像生成処理を説明するフローチャートである。 関数を示す図である。 センサによる撮像を説明する図である。 画素の配置を説明する図である。 検出素子の動作を説明する図である。 隣接して１列に並んでいる画素の画素値を時間方向に展開したモデルの図である。 画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデルの図である。 画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデルの図である。 画素値を時間方向に展開し、シャッタ時間に対応する期間を分割したモデルの図である。 動き量による動きぼけノイズの画像生成処理を説明するフローチャートである。 補間画素について説明する図である。 補間画素の演算方法について説明する図である。 角度による動きぼけノイズの画像生成処理を説明するフローチャートである。 予測装置の他の実施の形態の構成を示すブロック図である。 予測装置のさらに他の実施の形態の構成を示すブロック図である。 本発明を適用したコンピュータの一実施の形態の構成を示すブロック図である。
符号の説明
１ 学習装置， １１ ぼけ付加部， １２，１３ ノイズ付加部， １４，１５ タップ構築部， １６ クラス分類部， １７ タップ構築部， １８ 予測係数演算部， １９ 係数メモリ， ８１ 予測装置， ９１，９２ タップ構築部， ９３ クラス分類部， ９４ 係数メモリ， ９５ タップ構築部， ９６ 予測演算部， １０１ ダウンスケーリング部， １０２ 予測係数演算部， １１１ 係数メモリ， １２１ ダウンスケーリング部， １３１ タップ構築部， １３２ 予測係数演算部， １４１ タップ構築部， １４２ 予測演算部， ３０１ 画像生成装置， ３１１ ぼけ付加部， ３１２，３１３ ノイズ付加部， ３１４，３１５ タップ構築部， ３１６ クラス分類部， ３１７ タップ構築部， ３１８ 予測係数演算部， ３１９ 係数メモリ

Claims (7)

  1. ぼけ修正画像を構成する画素を、順次、注目画素とし、ぼけ画像を構成する各画素の画素値であるぼけ画像データから、前記注目画素をクラスに分類するために用いる画像クラスタップを構築する画像クラスタップ構築手段と、
    前記ぼけ画像を構成する各画素に対応する奥行きデータから、前記注目画素をクラスに分類するために用いる奥行きクラスタップを構築する奥行きクラスタップ構築手段と、
    前記画像クラスタップおよび前記奥行きクラスタップに基づいて、前記注目画素のクラスを分類するクラス分類手段と、
    ユーザにより指定されたパラメータであって、画像データのぼけに関するパラメータに対応し、分類された前記クラスに対応する予測係数を提供する予測係数提供手段と、
    前記ぼけ画像データから、注目画素の画素値を予測するための画像予測タップを構築する画像予測タップ構築手段と、
    前記画像予測タップと、提供された前記予測係数とを予測演算式に適用して、前記ぼけ画像のぼけを修正したぼけ修正画像を構成する画素である画像データを前記注目画素ごとに演算する画像データ演算手段と
    を備える画像データ演算装置。
  2. 前記予測係数提供手段は、ぼけの特性を規定するぼけパラメータ、前記画像データに含まれるノイズに基づくクラスを規定するパラメータ、前記奥行きデータに含まれるノイズに基づくクラスを規定するパラメータ、または動き情報に基づいて、前記予測係数を提供する
    請求項１に記載の画像データ演算装置。
  3. 前記予測係数提供手段は、さらにユーザにより指定されたパラメータであって、前記画像データまたは前記奥行きデータのスケーリングに基づくクラスを規定するパラメータに基づいて、前記予測係数を提供する
    請求項１に記載の画像データ演算装置。
  4. 前記奥行きデータから前記奥行き予測タップを構築する前記奥行きデータ予測タップ構築手段をさらに備え、
    前記画像データ演算手段は、前記画像予測タップ、前記奥行きデータ予測タップ、並びに提供された前記予測係数を前記予測演算式に適用してぼけを修正した画像データを演算する
    請求項１に記載の画像データ演算装置。
  5. 画像データを演算する画像データ演算装置の画像データ演算方法において、
    画像クラスタップ構築手段が、ぼけ修正画像を構成する画素を、順次、注目画素とし、ぼけ画像を構成する各画素の画素値であるぼけ画像データから、前記注目画素をクラスに分類するために用いる画像クラスタップを構築し、
    クラスタップ構築手段が、前記ぼけ画像を構成する各画素に対応する奥行きデータから、前記注目画素をクラスに分類するために用いる奥行きクラスタップを構築し、
    クラス分類手段が、前記画像クラスタップおよび前記奥行きクラスタップに基づいて、前記注目画素のクラスを分類し、
    予測係数提供手段が、ユーザにより指定されたパラメータであって、前記画像データのぼけに関するパラメータに対応し、分類された前記クラスに対応する予測係数を提供し、
    画像予測タップ構築手段が、前記ぼけ画像データから、注目画素の画素値を予測するための画像予測タップを構築し、
    画像データ演算手段が、前記画像予測タップと、提供された前記予測係数とを予測演算式に適用して、前記ぼけ画像のぼけを修正したぼけ修正画像を構成する画素である画像データを前記注目画素ごとに演算する
    画像データ演算方法。
  6. ぼけ修正画像を構成する画素を、順次、注目画素とし、ぼけ画像を構成する各画素の画素値であるぼけ画像データから、前記注目画素をクラスに分類するために用いる画像クラスタップを構築する画像クラスタップ構築ステップと、
    前記ぼけ画像を構成する各画素に対応する奥行きデータから、前記注目画素をクラスに分類するために用いる奥行きクラスタップを構築する奥行きクラスタップ構築ステップと、
    前記画像クラスタップおよび前記奥行きクラスタップに基づいて、前記注目画素のクラスを分類するクラス分類ステップと、
    ユーザにより指定されたパラメータであって、画像データのぼけに関するパラメータに対応し、分類された前記クラスに対応する予測係数を提供する予測係数提供ステップと、
    前記ぼけ画像データから、注目画素の画素値を予測するための画像予測タップを構築する画像予測タップ構築ステップと、
    前記画像予測タップと、提供された前記予測係数とを予測演算式に適用して、前記ぼけ画像のぼけを修正したぼけ修正画像を構成する画素である画像データを前記注目画素ごとに演算する画像データ演算ステップと
    を含む処理をコンピュータに実行させるプログラム。
  7. 請求項６に記載のプログラムが記録されている記録媒体。
JP2007242558A 2006-09-28 2007-09-19 画像データ演算装置および方法、プログラム、並びに記録媒体 Expired - Fee Related JP4872862B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007242558A JP4872862B2 (ja) 2006-09-28 2007-09-19 画像データ演算装置および方法、プログラム、並びに記録媒体
PCT/JP2007/068924 WO2008038748A1 (fr) 2006-09-28 2007-09-28 Dispositif et procédé d'opération de coefficient de prévision, dispositif et procédé d'opération de données d'image, programme et support d'enregistrement
US12/441,404 US20100061642A1 (en) 2006-09-28 2007-09-28 Prediction coefficient operation device and method, image data operation device and method, program, and recording medium

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006264020 2006-09-28
JP2006264020 2006-09-28
JP2007242558A JP4872862B2 (ja) 2006-09-28 2007-09-19 画像データ演算装置および方法、プログラム、並びに記録媒体

Publications (3)

Publication Number Publication Date
JP2008109640A JP2008109640A (ja) 2008-05-08
JP2008109640A5 JP2008109640A5 (ja) 2010-05-06
JP4872862B2 true JP4872862B2 (ja) 2012-02-08

Family

ID=39230182

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007242558A Expired - Fee Related JP4872862B2 (ja) 2006-09-28 2007-09-19 画像データ演算装置および方法、プログラム、並びに記録媒体

Country Status (3)

Country Link
US (1) US20100061642A1 (ja)
JP (1) JP4872862B2 (ja)
WO (1) WO2008038748A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2785047A2 (en) 2013-03-26 2014-10-01 Canon Kabushiki Kaisha Image pickup apparatus, image processing system, image pickup system, image processing method, image processing program, and storage medium

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4915341B2 (ja) * 2007-12-20 2012-04-11 ソニー株式会社 学習装置および方法、画像処理装置および方法、並びにプログラム
JP5476879B2 (ja) * 2008-09-29 2014-04-23 ソニー株式会社 画像処理装置および係数学習装置。
JP5460173B2 (ja) * 2009-08-13 2014-04-02 富士フイルム株式会社 画像処理方法、画像処理装置、画像処理プログラム、撮像装置
KR101729903B1 (ko) * 2009-12-18 2017-04-24 샤프 가부시키가이샤 복호 장치
KR101641966B1 (ko) * 2010-02-25 2016-07-29 엘지전자 주식회사 동영상 화질 개선 방법
US8805112B2 (en) 2010-05-06 2014-08-12 Nikon Corporation Image sharpness classification system
US8842931B2 (en) * 2011-02-18 2014-09-23 Nvidia Corporation System, method, and computer program product for reducing noise in an image using depth-based sweeping over image samples
US9251439B2 (en) 2011-08-18 2016-02-02 Nikon Corporation Image sharpness classification system
WO2013156596A1 (de) * 2012-04-19 2013-10-24 OMS Software GMBH Verfahren und system zum erfassen von problembildern und zum ermitteln von lösungsvorschlägen
US9019309B2 (en) 2012-06-07 2015-04-28 Apple Inc. Adaptive image manipulation
JP6102602B2 (ja) * 2013-07-23 2017-03-29 ソニー株式会社 画像処理装置、画像処理方法、画像処理プログラムおよび撮像装置
US9237277B1 (en) * 2014-06-06 2016-01-12 Google Inc. Accurate simulation of shallow depth of field using contrast detection
US11222404B2 (en) 2016-03-25 2022-01-11 Koninklijke Philips N.V. Image reconstruction
JP6910780B2 (ja) * 2016-09-30 2021-07-28 キヤノン株式会社 画像処理方法、画像処理装置、撮像装置、画像処理プログラム、および、記憶媒体
EP3343502B1 (en) * 2016-12-28 2019-02-20 Dassault Systèmes Depth sensor noise
CN107944422B (zh) * 2017-12-08 2020-05-12 业成科技（成都）有限公司 三维摄像装置、三维摄像方法及人脸识别方法
CN108989678B (zh) * 2018-07-27 2021-03-23 维沃移动通信有限公司 一种图像处理方法、移动终端
US11684253B2 (en) * 2019-04-24 2023-06-27 Topcon Corporation 2D multi-layer thickness measurement with reconstructed spectrum

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4528587A (en) * 1982-10-28 1985-07-09 Cjm Associates Three-dimensional video apparatus and methods using composite and mixed images
JP4131303B2 (ja) * 1998-09-11 2008-08-13 ソニー株式会社 画像変換装置および方法、学習装置および方法、画像変換システム、並びに記録媒体
JP2000207549A (ja) * 1999-01-11 2000-07-28 Olympus Optical Co Ltd 画像処理装置
US6678405B1 (en) * 1999-06-08 2004-01-13 Sony Corporation Data processing apparatus, data processing method, learning apparatus, learning method, and medium
JP4135045B2 (ja) * 1999-06-08 2008-08-20 ソニー株式会社 データ処理装置およびデータ処理方法、並びに媒体
JP4053185B2 (ja) * 1999-06-22 2008-02-27 富士フイルム株式会社 画像処理方法および装置
JP2001222702A (ja) * 2000-02-07 2001-08-17 Sony Corp 画像処理装置および画像処理方法、並びに記録媒体
JP4442076B2 (ja) * 2002-04-09 2010-03-31 ソニー株式会社 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
JP4238516B2 (ja) * 2002-04-26 2009-03-18 ソニー株式会社 データ変換装置およびデータ変換方法、学習装置および学習方法、並びにプログラムおよび記録媒体
JP4214462B2 (ja) * 2003-02-28 2009-01-28 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
JP4333183B2 (ja) * 2003-03-31 2009-09-16 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
KR101211074B1 (ko) * 2004-12-21 2012-12-12 소니 가부시끼가이샤 학습 장치와 학습 방법 및 학습 프로그램

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2785047A2 (en) 2013-03-26 2014-10-01 Canon Kabushiki Kaisha Image pickup apparatus, image processing system, image pickup system, image processing method, image processing program, and storage medium
US9225898B2 (en) 2013-03-26 2015-12-29 Canon Kabushiki Kaisha Image pickup apparatus, image processing system, image pickup system, image processing method, and non-transitory computer-readable storage medium

Also Published As

Publication number Publication date
WO2008038748A1 (fr) 2008-04-03
JP2008109640A (ja) 2008-05-08
US20100061642A1 (en) 2010-03-11

Similar Documents

Publication Publication Date Title
JP4872862B2 (ja) 画像データ演算装置および方法、プログラム、並びに記録媒体
JP6957197B2 (ja) 画像処理装置および画像処理方法
CN1870715B (zh) 手抖动校正装置
KR100940148B1 (ko) 디지털 영상을 그 잡음을 고려하여 수정하기 위한 방법 및시스템
JP5243477B2 (ja) ブラー補正装置およびブラー補正方法
US20140176592A1 (en) Configuring two-dimensional image processing based on light-field parameters
US9992478B2 (en) Image processing apparatus, image pickup apparatus, image processing method, and non-transitory computer-readable storage medium for synthesizing images
US8526057B2 (en) Image processing apparatus and image processing method
JP5968073B2 (ja) 画像処理装置、撮像装置、画像処理方法、および画像処理プログラム
KR101821285B1 (ko) 열화상 이미지 개선 장치 및 방법
CN103168462A (zh) 图像合成装置、图像合成方法、图像合成程序及记录介质
JP4145308B2 (ja) 手ぶれ補正装置
JP2018195079A (ja) 画像処理装置および画像処理方法
TWI805282B (zh) 使用焦點資訊深度估計的方法和裝置
JP7032913B2 (ja) 画像処理装置、画像処理方法、コンピュータプログラム
JP2019047169A (ja) ハイダイナミックレンジ画像を作成する装置、方法、及びプログラム
JP5765893B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2020086891A (ja) 画像処理装置、画像処理システム、撮像装置、画像処理方法、プログラム、および、記憶媒体
CN104427212B (zh) 用于消除失真的装置和方法
Chang et al. Beyond camera motion blur removing: How to handle outliers in deblurring
JP6604908B2 (ja) 画像処理装置、その制御方法、および制御プログラム
JP5843599B2 (ja) 画像処理装置および撮像装置並びにその方法
JP7443030B2 (ja) 学習方法、プログラム、学習装置、および、学習済みウエイトの製造方法
JP2012003454A (ja) 画像処理装置、撮像装置および画像処理プログラム
JP2017103756A (ja) 画像データ処理装置及び方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100319

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100319

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110712

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20111025

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20111107

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141202

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20141202

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees