JP4982484B2 - 信号処理装置 - Google Patents

Description

本発明は、信号処理装置に関する。

従来から、カメラ等の画像処理装置で撮影した際には、画像には時々劣化が生ずることが知られている。画像劣化の要因としては撮影時の手ぶれ、光学系の各種の収差、レンズの歪み等がある。

撮影時の手ぶれを補正するには、レンズを動かす方式と、回路処理する方式とが知られている。たとえば、レンズを動かす方式としては、カメラの手ぶれを検出し、所定のレンズを、その検出した手ぶれに合わせて動かすことで補正する方式が知られている（特許文献１参照）。また、回路処理する方式としては、カメラの光軸の変動を角加速度センサで検出し、検出した角速度等から撮影時のぼけ状態を表す伝達関数を取得し、撮影画像に対し、取得した伝達関数の逆変換を行い、画像を復元するものが知られている（特許文献２参照）。

また、一般の撮影画像以外にも、音声、Ｘ線写真、顕微鏡画像、地震波形等、種々の信号がぶれやその他の原因によって劣化したり、変化したりすることが知られている。

特開平６−３１７８２４号公報（要約書参照） 特開平１１−２４１２２号公報（要約書参照）

特許文献１記載の手ぶれ補正を採用したカメラは、モータ等、レンズを駆動するハードウェアのスペースが必要となり大型化してしまう。また、そのようなハードウェア自体やそのハードウェアを動かす駆動回路が必要となり、コストアップとなってしまう。また特許文献２記載の手ぶれ補正の場合は、上述した問題点はなくなるものの、次のような問題を有する。すなわち取得した伝達関数の逆変換で画像復元がなされることは理論上成り立つが、実際問題として、以下の２つの理由で、画像復元が困難である。

第１に、取得する伝達関数は、ノイズやぶれ情報誤差等に非常に弱く、これらのわずかな変動により、値が大きく変動する。このため、逆変換で得られる補正画像は、手ぶれがない状態で撮影した画像とはほど遠いものとなり、実際上は利用できない。第２に、ノイズ等を考慮した逆変換を行う場合、連立方程式の解の特異値分解等で解を推定する方法も採用できるが、その推定のための計算値が天文学的な大きさになり、実際的には解くことができなくなるリスクが高い。

画像に生ずる上述した問題は、一般の種々のデータにも現れ、伝達関数の逆変換で信号の復元を行うことは、取得した伝達関数が不正確な場合はもちろんのこと、正確であったとしても、困難となっている。しかも、１００％正確な伝達関数を得ることは、自然界を対象とする場合は、あり得ない状況である。

上述したように、本発明の課題は、信号を復元するに当たり、装置の大型化を防止すると共に、現実性のある回路処理方式を有する信号処理装置を提供することである。

上記課題を解決するため、本発明の信号処理装置は、劣化等の変化が生じた原信号のデータ（以下、変化データという。）から、変化する前の信号もしくは本来取得されるべきであった信号またはそれらの近似信号のデータ（以下、元信号データという）の復元をする処理部を有し、変化データが格納される変化データ領域と、毎回の復元処理毎にその復元処理された信号のデータ（以下、復元データという。）が格納される復元データ領域とを設け、処理部が、変化データのエネルギーを、変化の要因となる変化要因情報データを利用して、変化データ領域から復元データ領域へと移行させ、復元データを生成し、その移行により残存する変化データ領域の残部データを、変化データに置き換えて同様の処理を繰り返す繰り返し処理を行い、繰り返し処理の過程で残部データのエネルギー値が零未満となる場合に、既に復元データ領域へと移行したエネルギーの一部を、変化要因情報を利用して、残部データのエネルギー値が零以上となるよう変化データ領域へと戻す処理を行いながら繰り返し処理を進行させ、繰り返し処理終了時の復元データ領域に形成されるデータを元信号データとしている。

この発明によれば、元信号データが、変化要因情報データに従って変化データへと変化したことを前提とするので、同一のフィルタとなる変化要因情報データ利用することにより、変化データのエネルギーを復元データ領域に移行すれば、復元データ領域において元信号データが復元データとして確実に復元される。また。エネルギーの移行の結果、残部データのエネルギー値が零未満となるという、理論的には起こり得ない事態を回避できるため、復元データの復元精度を向上させることができる。ここで、変化データ領域に格納される変化データは、変化データを構成するエネルギーの状態をそのままにした上で、変化データに加工等が施されたものであっても良い（以下同じ）。また、復元データ領域に格納される復元データは、復元データを構成するエネルギーの状態をそのままにした上で、復元データに加工等が施されたものであっても良い（以下同じ）。さらに、「移行」は、変化データ領域から復元データ領域への、字義通りエネルギー値を移動すること、および、変化データ領域からそのエネルギーを除去し、復元データ領域に新たにそのエネルギーを生成することも含む（以下同じ）。さらに、変化データ領域および復元データ領域は、一時的に形成されるものまたは恒久的に形成されるものの両者を含む（以下同じ）。

他の発明は、上述の発明に加え、残部データのエネルギー値が零未満となる場合に、その値が零以上となるように処理している。残部データのエネルギー値が零になれば、変化データから復元した復元データの復元精度が、非常に良好となっていると考えることができる。

他の発明は、上述の発明に加え、繰返し処理の際、その繰返しの都度復元データ領域へ移行するエネルギーを既に復元データ領域に格納された復元データに加算する処理をし、残部データのエネルギー値を零以上の範囲で零に近づける処理を行っている。残部データが零以上の範囲で零に近づけば、変化データ領域のエネルギーの殆どが復元データ領域へと移行することとなるため、復元データが元信号データへと近づく。

上記課題を解決するため、他の本発明の信号処理装置は、複数の画素からなる変化データから、複数の画素からなる元信号データの復元をする処理部を有し、変化データが格納される変化データ領域と、毎回の復元処理毎にその復元処理された信号のデータ（以下、復元データという。）が格納される復元データ領域とを設け、処理部が、変化データの一の画素における画素エネルギーを、変化の要因となる変化要因情報データが有する応答特性関数の重心値を利用して、変化データ領域から復元データ領域へと移行させ、移行させた画素エネルギーに相当する画素エネルギーを、変化データ領域から変化要因情報データを利用して除外する処理を行い、またこの一の画要素に対する処理を他の画素についても順次行い、復元データ領域に復元データを生成し、除外により残存する変化データ領域の残部データを、変化データに置き換えて同様の処理を各画素毎に繰り返し、その繰り返しの都度復元データ領域へ移行する画素エネルギーを復元データに加算して、新たな復元データを生成する処理を行い、これら一連の処理の過程で、残部データのうちのいずれかの画素エネルギー値が零未満となる場合に、既に復元データ領域へと移行した画素エネルギーの一部を、変化要因情報を利用して、零未満となる画素エネルギー値が零以上となるよう変化データ領域へと戻す処理を行いながら一連の処理を進行させ、残部データを零以上の範囲で零に近づける処理を行い、処理終了時の復元データ領域に形成される復元データを元信号データとしている。

この発明によれば、元信号のデータが、変化要因情報データに従って変化データへと変化したことを前提とするので、同一のフィルタとなる変化要因情報データである応答特性関数の重心値（エネルギーが最も集中している部分の値）の逆数を用いることにより、変化データのエネルギーの多くを復元データ領域に移行し、移行させたエネルギーに相当する画素エネルギーを、変化データ領域から変化要因情報データを利用して除外して、残部データのエネルギー値（以下、残部エネルギー量という）を、零に近づけることができれば、復元データ領域において元信号データが復元データとして確実に復元される。また、エネルギーの移行の結果、残部データを構成するいずれかの画素のエネルギー値が零未満となるという、理論的には起こり得ない事態を回避できるため、復元データの復元精度を向上させることができる。応答特性関数には、インパルス応答関数およびユニット応答関数等を含む。そして信号のデータを画像のデータとした場合には、インパルス応答関数は点像関数となる。

他の発明に係る信号処理装置は、上述した発明に加え、処理部は、復元データの生成の際、残部データのエネルギー値が、零以上の範囲の所定値以下または所定値より小さくなったら、停止させる処理を行っている。この構成を採用した場合、残部エネルギー量が「０」にならなくても処理を停止させるので、処理の長時間化を防止することができる。また、所定値以下としているので、近似する復元データは変化データの元となる変化前（劣化等する前）の元信号データにより近いものとなる。さらに、ノイズなどがあった場合、残部エネルギー量が「０」になることが現実的にはあり得ない状況が生じがちであるが、そのような場合であっても無限に処理を繰り返すことにはならない。

他の発明に係る信号処理装置は、上述した発明に加え、処理部は、復元データの生成の際、復元データを生成する回数が所定回数となったら停止させる処理を行っている。この構成を採用した場合、残部エネルギー量が「０」になってもならなくても処理を停止させるので、処理の長時間化を防止することができる。また、所定回数まで処理を継続させているので、近似する復元データは変化データの元となる劣化等する前の元信号データにより近いものとなる。さらに、ノイズなどがあった場合、残部エネルギー量が「０」にならない状況が現実的には生じがちであるが、そのような場合であっても所定回数で終了させているので、無限に処理を繰り返すことにはならない。

他の発明に係る信号処理装置は、上述した発明に加え、処理部は、復元データの生成の際、復元データを生成する回数が所定回数に到達したときの残部データのエネルギー値が零以上の範囲の所定値以下または所定値より小さい場合は停止し、所定値より超えるまたは所定値以上の場合は、さらに所定回数繰り返す処理を行っている。この発明では、処理の回数と、残部エネルギー量とを組み合わせて行うようにしているので、単に処理回数に制限を加えたり、残部エネルギー量に制限を行う場合に比較して、復元精度の良さと処理時間の短さのバランスが取れた処理とすることができる。

上記課題を解決するため、他の本発明の信号処理装置は、複数の画素からなる変化データから、複数の画素からなる元信号データの復元をする処理部を有し、変化データが格納される変化データ領域と、毎回の復元処理毎にその復元処理された信号のデータ（以下、復元データという。）が格納される復元データ領域とを設け、処理部が、変化データの一の画素における画素エネルギーを、変化の要因となる変化要因情報データを利用して、変化データ領域から復元データ領域へと移行させ、移行させた画素エネルギーに相当する画素エネルギーを、変化データ領域から変化要因情報データを利用して除外する処理を行い、また一の画素に対する処理を他の全ての画素についても順次行い、復元データ領域に復元データを生成し、その移行により残存する変化データ領域の残部データの値が零以上の範囲の所定値以下または所定値より小さい場合は処理を停止し、復元データを元信号データとして扱い、残部データの値が、所定値より大きいまたは所定値以上の場合は、残部データを変化データに置き換えて同様の処理を繰り返し、その繰り返しの都度復元データ領域へ移行する画素エネルギーを復元データに加算して、新たな復元データを生成する処理を行い、残部データのうちいずれかの画素エネルギー値が零未満となる場合は、既に復元データ領域へと移行した画素エネルギーの一部を、変化要因情報を利用して、残部データの零未満となる画素エネルギー値が零以上となるよう変化データ領域へと戻す処理を行いつつ残部データ量と所定値との比較を行っている。

この発明によれば、元信号のデータが、変化要因情報データに従って変化データへと変化したことを前提とするので、同一のフィルタとなる変化要因情報データを利用することにより、変化データのエネルギーを復元データ領域に移行できれば、復元データ領域において元信号データが確実に復元される。また、エネルギーの移行の結果、残部データを構成するいずれかの画素のエネルギー値が零未満となるという、理論的には起こり得ない事態を回避できるため、復元データの復元精度を向上させることができる。また、変化要因情報を利用して、変化データ領域から復元データ領域へとエネルギーを移行し、変化データ領域の各画素における残部エネルギー量の値が所定値を超える、または所定値以上のときのみ残部データを変化データに置き換えて、同様の処理を繰り返すため、復元処理を迅速にできる。さらに、変化データ領域から復元データ領域へとエネルギーを移行することで復元処理が行われるため、ハードウェア的な増加はほとんど無く、装置が大型化しない。このため、信号の復元に当たって、現実性のある回路処理方式を有する信号処理装置とすることができる。

他の発明に係る信号処理装置は、上述した発明に加え、処理部は、復元データの生成の際、復元データを生成する回数が所定回数となったら停止させる処理を行っている。この構成を採用した場合、残部エネルギー量が「０」になってもならなくても処理を停止させるので、処理の長時間化を防止することができる。また、所定回数まで処理を継続させているので、復元データは元信号データにより近いものとなる。さらに、ノイズなどがあった場合、残部エネルギー量が「０」にならない状況が現実的には生じがちであるが、そのような場合、無限に処理を繰り返すことになってしまうが、この構成を採用すると、そのような問題が生じない。

他の発明に係る信号処理装置は、上述した発明に加え、復元データの生成の際、各画素が各々有する残部データの値の最大値、平均値または総和値のうちの一つまたは複数について、所定値との比較を行っている。この構成を採用した場合、変化データを構成する各画素における残部エネルギー量を零に近づけることができるため、復元データと元信号データとの近似度をより高めることができる。

他の発明に係る信号処理装置は、上述した発明に加え、戻す処理は、復元データの生成が１回または複数回行われる場合に、残部データのいずれかの画素エネルギー値が零未満となったその回以前に復元データ領域へ移行した画素エネルギーを対象として行っている。この構成を採用した場合、エネルギーの移行の結果、残部データのいずれかの画素におけるエネルギー値が零未満となるという、理論的には起こり得ない事態を回避し得るため、画像の復元精度を向上させることができる。

他の発明に係る信号処理装置は、上述した発明に加え、信号のデータを画像のデータとしている。これにより、カメラの手ぶれによる画像劣化が生じても、劣化等の生じた原画像から、変化する前の画像もしくは本来撮影されるべきであった画像またはそれらの近似画像（以下、元画像という。）の復元をすることができる。

本発明では、劣化等変化した信号を復元するに当たり、装置の大型化を防止できると共に、現実性のある信号処理装置を提供することができる。

本発明の実施の形態に係る信号処理装置の主要構成を示すブロック図である。 図１に示す信号処理装置の概要を示す外観斜視図で、角速度センサの配置位置を説明するための図である。 図１に示す信号処理装置の処理部で行う画像復元処理方法（繰返しの処理）に係る処理ルーチンを説明するための処理フロー図である。 図１に示す信号処理装置の処理部で行う処理方法の概念を説明するための図である。 図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときの画素エネルギーの集中を示す表である。 図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれのないときの画像データを示す図である。 図３に示す処理方法を、手ぶれを例にして具体的に説明するための図で、手ぶれが生じたときの画素エネルギーの分散を示す図である。 図７に示す画素エネルギーの分散があったときの手ぶれの状況の一例を説明するための図である。 図３に示す処理方法を、手ぶれで劣化した図８に示す画像データを例にして説明している図である。 図３に示す処理方法を実行した際の移行処理における移行値の見直し方法の考え方を示す概念図である。 図８に示す画像データを、図３における処理方法での処理の様子であって、「ｎ＝２」の段階の処理の様子を示す図である。 図８に示す画像データを、図３における処理方法での処理の様子であって、「ｎ＝３」の段階の処理の様子を示す図である。 図３に示す処理を実行した際の移行処理における移行値の見直し方法２の一例を説明するための図である。 図３に示す処理を実行した際の移行処理における移行値の見直し方法３の一例を説明するための図である。 図３に示す処理を実行した際の移行処理における移行値の見直し方法４の一例を説明するための図である。 図３に示す処理方法を実行した際の移行値の見直し方法に係る処理ルーチンを説明するための処理フロー図である。

符号の説明

１ 信号処理装置
２ 受信部（撮影部）
３ 制御系部
４ 処理部
５ 記録部
６ 検出部
７ 要因情報保存部
Ｇ 変化要因情報のデータ（劣化要因情報のデータ）
Ｇａ 点像関数の重心値
Ｉｍｇ’ 原画像のデータ（撮影された画像）
Ｉｍｇ 劣化のない本来の正しい画像のデータ（元画像）
Ｅ 原画像画素エネルギー
Ｆ_ｎ 移行画素エネルギー
Ｒ_ｎ 復元データ
ｃＥ 補正エネルギー
Ｅ_ｎ 残部エネルギー量（処理対象となるエネルギー）
Ｘ 残部エネルギー量の所定値
Ｔ_ｎ 原画像データ領域から除去する画素エネルギー量
ｃＥ 補正エネルギー

以下、本発明の実施の形態に係る信号処理装置１について図を参照しながら説明する。なお、この信号処理装置１は画像処理装置になっており、民生用のカメラとして用いられるものであるが、監視用カメラ、テレビ用カメラ、ハンディタイプのビデオカメラ、内視鏡カメラ、等他の用途のカメラとしたり、顕微鏡、双眼鏡、さらにはＮＭＲ撮影等の画像診断装置等、カメラ以外の機器にも適用できる。

図１には信号処理装置１の構成の概要を示している。信号処理装置１は、人物等の画像を撮影する撮影部２と、その撮影部２を駆動する制御系部３と、撮影部２で撮影された画像を処理する処理部４と、を有している。また、この実施の形態に係る信号処理装置１は、さらに処理部４で処理された画像を記録する記録部５と、角速度センサ等からなり、画像劣化など変化の要因となる変化要因情報を検知する検出部６と、画像劣化等を生じさせる既知の変化要因情報を保存する要因情報保存部７を有する。なお、信号処理装置１が画像処理装置以外のものとして適用される場合、撮影部２は、音声信号等の種々の入力信号を受信する受信部２（以下では、適宜、撮影部２と受信部２とを使い分けることとする。）となる。

撮影部２は、レンズを有する撮影光学系やレンズを通過した光を電気信号に変換するＣＣＤやＣ−ＭＯＳ等の撮影素子を備える部分である。制御系部３は、撮影部２，処理部４，記録部５，検出部６，及び要因情報保存部７等、信号処理装置１内の各部を制御するものである。

処理部４は、画像処理プロセサで構成されており、ＡＳＩＣ(Application Specific Integrated Circuit)のようなハードウェアで構成されている。処理部４は、検出する手ぶれ等の振動検出のためのサンプリング周波数を発生させていると共にそのサンプリング周波数を検出部６に供給している。また処理部４は、振動検出の開始と終了を制御している。なお、信号処理装置１が画像処理装置以外のものとして適用される場合、受信部２の受信感度を入力信号の大きさ等によって変えることができる。

また、この処理部４は、ＡＳＩＣのようなハードウェアとして構成されるのではなく、ソフトウェアで処理する構成としても良い。この処理部４には、変化データ領域となる原画像データ領域と復元データ領域となる復元画像データ領域が恒久的に配置されている。また処理部４は、後述する各画素の残部エネルギー量の最大値「Ｅ_ｍａｘ」を記憶する。また記録部５は、半導体メモリで構成されているが、ハードディスクドライブ等の磁気記録手段、またはＤＶＤ等を使用する光記録手段等を採用しても良い。なお、この記録部５に変化データ領域や復元データ領域を設けるようにしても良く、また残部エネルギー量の最大値「Ｅ_ｍａｘ」を記憶させるようにしてもよい。

検出部６は、図２に示すように、信号処理装置１の光軸であるＺ軸に対して垂直方向となるＸ軸、Ｙ軸の回りの速度を検出する２つの角速度センサを備えるものである。ところで、カメラで撮影する際の手ぶれは、Ｘ方向、Ｙ方向、Ｚ方向の各方向への移動、Ｚ軸回りの回転も生ずるが、各変動により最も大きな影響を受けるのは、Ｙ軸回りの回転とＸ軸回りの回転である。これら２つの変動は、ほんのわずかに変動しただけで、その撮影された画像は大きくぼける。このため、この実施の形態では、図２のＸ軸回りとＹ軸回りの２つの角速度センサのみを配置している。しかし、より完全を期すためＺ軸回りの角速度センサをさらに付加したり、Ｘ方向やＹ方向への移動を検出するセンサを付加しても良い。また、使用するセンサとしては、角速度センサではなく、角加速度センサとしても良い。

要因情報保存部７は、既知の劣化要因情報などの変化要因情報、たとえば光学系の収差および／または検出された振動に基づいて算出された点像関数等を保存しておく記録部である。要因情報保存部７で記録された点像関数は、たとえばその算出後の直近に撮影された劣化等の変化が生じた画像である原画像の復元処理の際に、処理部４で用いられる。ここで、原画像の復元処理を実行する時期は、撮影用の電源がオフされている時、処理部４が稼働していない時、処理部４の稼働率が低い時等、原画像を撮影した時期から遅らせた時期とすることができる。その場合には、記録部５に保存された原画像のデータおよび、要因情報保存部７に保存された、その原画像についての点像関数等の変化要因情報が、それぞれが関連づけられた状態で長期間に渡り保存される。このように、原画像の復元処理を実行する時期を、原画像を撮影した時期から遅らせる利点は、種々の処理を伴う撮影時の処理部４の負担を軽減できることである。なお、信号処理装置１が画像処理装置以外のものとして適用される場合は、検出部６で検出される温度、湿度等が受信部２の受信特性やシステム全体の特性を変化させることもあるので、それらを記録し、変化要因情報として用いることができる。また、システムのインパルス応答等、予めわかっているシステムの応答特性関数等を要因情報保存部７に保存することもできる。

次に、以上のように構成された信号処理装置１である画像処理装置の処理部４により行われる画像復元処理方法の一例の概要を、図３に基づいて説明する。

図３中、「Ｅ」は、劣化等の変化が生じた原画像データＩｍｇ’（詳細は後述する。）の各画素各々が有する光エネルギー（原画像画素エネルギー）であり、変化データ領域となる原画像データ領域に格納される。「Ｆ_ｎ」は、ｎ回目の変化領域となる原画像データ領域から復元データ領域となる復元画像データ領域に移された画素エネルギー（以下、移行画素エネルギーという）である。「Ｅ_ｎ」は、１回目からｎ回目までのｎ回に渡る移行エネルギーＦ_ｎの移行により変化データ領域である原画像データ領域に残存する残部エネルギー量であり、処理対象となるエネルギーである。「Ｒ_ｎ」は、復元データ領域となる復元画像データ領域に格納される復元データであり、図３に示す画像復元処理の遂行により、元画像データ「Ｉｍｇ」の近似データとなる。「Ｘ」は、残部エネルギー量Ｅ_ｎの所定の値である。「Ｇ」は、検出部６で検出された変化要因情報（＝劣化要因情報（点像関数））のデータで、処理部４の記録部に保存されるものである。「Ｇａ」は、検出部６で検出された変化要因情報Ｇ（＝劣化要因情報（点像関数））のデータの点像関数の重心値である。「Ｉｍｇ」は、元画像、すなわち、本来撮影されるべきであった画像のデータであり、元信号データである。なお、元信号データは、この元画像Ｉｍｇ（本来取得されるべきであった信号）以外に、変化する前の信号やそれらの近似信号のデータを含むものとして、この明細書では定義される。原画像データＩｍｇ’は、撮影された画像、すなわち劣化した画像のデータを指す。ここで、ＩｍｇとＩｍｇ’との関係は、次の（１）式で表されるとする。
Ｉｍｇ’＝Ｉｍｇ＊Ｇ ……（１）
ここで、「＊」は、重畳積分を表す演算子である。

また図３に示す「Ｔ_ｎ」は、移行画素エネルギーＦ_ｎに相当する画素エネルギーを原画像データ領域から除去する画素エネルギー量であり、移行画素エネルギーＦ_ｎと同量となる。「Ｅ_ｍａｘ」は、原画像データ領域における各画素の残部エネルギー量の最大値である。ここで、原画像データ領域における各画素の残部エネルギー量Ｅ_ｎと移行画素エネルギーＦ_ｎとの関係は、次の（２）式で表されるとする。すなわち移行画素エネルギーＦ_ｎは、原画像データ領域における各画素の残部エネルギー量Ｅ_ｎ（処理対象となるエネルギー）を変化要因情報のデータＧである点像関数の重心値Ｇａの逆数を用いることにより得ることができる。ここで「ｋ」とは、撮影された原画像データＩｍｇ’の特定の画素のエネルギーに含まれる、元画像Ｉｍｇにおけるその特定の画素に相当する画素のエネルギーに対する成分比である。また、「ｋ」は未知であるため「０＜ｋ≦１」の範囲で任意に設定できる。
Ｆ_ｎ＝ｋ×Ｅ_ｎ／Ｇａ……（２）

図３の処理部４の処理ルーチンは、まず、原画像データＩｍｇ’を構成する一の要素の画素エネルギーを原画像画素エネルギーＥとして抽出することから始まる（ステップＳ１０１）。ここで、現段階（ｎ＝０）では、Ｅ_０＝Ｅ（原画像データ）であり、復元画像データ領域の復元データＲ_０＝０である。１回目の処理（ｎ＝１）では、まず原画像画素エネルギーＥ＝Ｅ_０に点像関数の重心値Ｇａ（変化要因情報データＧの最も大きな値）の逆数をかけることにより、移行画素エネルギーＦ_１を得る（ステップＳ１０２）。次いで、移行画素エネルギーＦ_１を復元画像データ領域の復元データＲ_１へ移行する。すなわち、移行画素エネルギーＦ_１を復元画像データ領域の復元データＲ_０へ加算して１回目の復元データＲ_１とする（ステップＳ１０３）。

次に、復元画像データ領域へ移行させた移行画素エネルギーＦ_１分の画素エネルギーを原画像データ領域から除去する。その際には、変化要因情報データＧである点像関数を利用する。何故ならば、データの劣化は、変化要因情報データＧというフィルタを通ることによるものであり、劣化の前後で矛盾が無いように移行画素エネルギーＦ_ｎを原画像データ領域から除去することができるためである。そこで、移行画素エネルギーＦ_１と変化要因情報データＧとの重畳積分（ステップＳ１０４）で得られた画素エネルギー量Ｔ_１を原画像データ領域から除去し、残存エネルギーである原画像データ領域の残部ネルギー量Ｅ_１を得る（ステップＳ１０５）。

以上のステップＳ１０２，Ｓ１０３，Ｓ１０４およびＳ１０５の過程を、原画像データ領域にある原画像データＩｍｇ’を構成する残りの全ての画素について順次行う。このとき、ステップＳ１０２における処理対象となるエネルギーＥ_０は、周囲の画素のエネルギー移行処理における原画像データ領域から移行画素エネルギーＦ_ｎを除去する際に、重畳積分によって得られる当該画素に対応する量が除去された値となっている。そして、全ての画素について、以上のステップＳ１０２，Ｓ１０３，Ｓ１０４およびＳ１０５が行われた後、原画像データ領域の残部エネルギー量Ｅ_１の最大値Ｅ_ｍａｘを記憶する（ステップＳ１０６）。

次いで残部エネルギー量Ｅ_１の最大値Ｅ_ｍａｘが所定値Ｘ未満か否か、すなわち当初原画像データ領域に存した原画像画素エネルギーＥ＝Ｅ_０の多くが、復元画像データ領域に移され、復元画像データ領域の復元データＲ_１が元画像データＩｍｇとみなすことができるかの判断を行う（ステップＳ１０７）。本例では、所定値Ｘを「０」以外の「０」に近い値としておき、Ｅ_ｍａｘが所定値Ｘ未満になるかどうかを判断し、所定値Ｘ以上のときは、「ｎ＝ｎ＋１」＝２として、全ての画素について、ステップＳ１０２，Ｓ１０３，Ｓ１０４，Ｓ１０５，Ｓ１０６およびＳ１０７の処理を再度行う。図３の処理手順で、「ｎ＝ｎ＋１」は、全ての画素についてステップＳ１０２，Ｓ１０３，Ｓ１０４およびＳ１０５の処理を終えて、ステップＳ１０６およびＳ１０７を行ったときに行う。すなわち画像全体の処理回数をｎとして表している。なお、ステップＳ１０７は、所定値Ｘ以上となる残部エネルギー量Ｅ_ｎの画素がいくつあるかの判断を行うステップとしても良い。この場合、所定値Ｘ以上となる残部エネルギー量Ｅ_ｎとなっている画素がいくつか存在しても、その数が少なければ復元データＲ_ｎは元画像データＩｍｇに十分近似されたとみなすことができる。

ステップＳ１０７において、残部エネルギー量の最大値Ｅ_ｍａｘが所定値Ｘ以上のときの処理を説明する。Ｅ_ｍａｘは、所定値Ｘ以上であるため、ｎ＝ｎ＋１として、全ての画素について、ステップＳ１０２，Ｓ１０３，Ｓ１０４，Ｓ１０５，Ｓ１０６およびＳ１０７の処理を行う。すなわち、残部エネルギーＥ_ｎ−１に、点像関数の重心値Ｇａ（変化要因情報データＧの最も大きな値）の逆数をかけることにより、移行画素エネルギーＦ_ｎを得る（ステップＳ１０２）。次いで、移行画素エネルギーＦ_ｎを復元画像データ領域へ移行し、新たな復元データＲ_ｎを得る。すなわち、前回（ｎ−１）までに復元された復元画像データ領域の復元データＲ_ｎ−１へ今回の移行画素エネルギーＦ_ｎを加算して新たな復元データＲ_ｎとする。次いで、移行画素エネルギーＦ_ｎと変化要因情報データＧとの重畳積分（ステップＳ１０４）で得られた画素エネルギーＴ_ｎを原画像データ領域から除去し、新たな残部エネルギーＥ_ｎを得る（ステップＳ１０５）。

以上のステップＳ１０２，Ｓ１０３，Ｓ１０４およびＳ１０５の過程を、原画像データ領域にある残りの全ての画素について順次行う。そして、各画素における残部エネルギー量最大値「Ｅ_ｍａｘ」を記憶する（ステップＳ１０６）。そして残部エネルギー量最大値Ｅ_ｍａｘが所定値Ｘ未満か否かの判断を行う（ステップＳ１０７）。Ｅ_ｍａｘが所定値Ｘ以上であれば、「ｎ＝ｎ＋１」として、ステップＳ１０２，Ｓ１０３，Ｓ１０４，Ｓ１０５，Ｓ１０６およびＳ１０７の処理を繰り返す。Ｅ_ｍａｘが所定値Ｘ未満となったら、復元データＲ_ｎは、元画像データＩｍｇと十分に近似できたと判断し、復元処理は終了する（ステップＳ１０８）。

図４に基づき、この実施の形態に係る手ぶれの復元処理の考え方を以下述べる。元画像のデータＩｍｇが、変化要因情報のデータＧにより原画像データＩｍｇ’へと変化したのなら、同一のフィルタとなる変化要因情報のデータＧを利用して、原画像データＩｍｇ’を構成する全ての画素における原画像画素エネルギーＥの全てを復元画像データ領域に移行すれば、復元画像データ領域の復元データＲ_ｎは、元画像のデータＩｍｇへと理論上近づくはずである。

次に、図３，図４に示す手ぶれの復元処理方法（ステップＳ１０２，Ｓ１０３，Ｓ１０４，Ｓ１０５，Ｓ１０６およびＳ１０７の繰返しの処理）の詳細を、図５，図６，図７，図８および図９に基づいて説明する。

（復元アルゴリズム）
手ぶれ等による画像劣化が無いとき、所定の画素に対応する光エネルギー（画素エネルギー）は、露光時間中、その画素に集中する。また、手ぶれがある場合、画素エネルギーは、露光時間中にぶれた画素に分散する。さらに、露光時間中のぶれがわかれば、露光時間中の画素エネルギーの分散の仕方がわかるため、ぶれた画像からぶれの無い画像を作ることが可能となる。

以下、簡単のため、横一次元で説明する。画素を左から順にＳ−１，Ｓ，Ｓ＋１，Ｓ＋２，Ｓ＋３，…，とし、ある画素Ｓに注目する。ぶれ等による画像劣化が無いとき、露光時間中の画素エネルギーは、その画素に集中するため、画素エネルギーの集中度は「１．０」である。この状態を図５に示す。また、図５に示すように、画像劣化が無いときの撮影結果の一例を、図６の表に示す。図６に示すものが、劣化しなかった場合の正しい画像データＩｍｇとなる。なお、各データは、８ビット（０〜２５５）のデータで表している。

露光時間中にぶれ等による画像劣化があり、露光時間中の５０％の時間はＳ番目の画素に、３０％の時間はＳ＋１番目の画素に、２０％の時間はＳ＋２番目の画素にそれぞれぶれていたとする。画素エネルギーの分散の仕方は、図７に示す表のとおりとなる。これが変化要因情報のデータＧとなる。また、点像関数の重心値Ｇａは、エネルギーが最も集中している部分の値であるから、露光時間中の５０％の時間ぶれていた部分の値「０．５」である。

ぶれは、全ての画素で一様であり、上ぶれ（縦ぶれ）が無く、ぶれが図７に示すように三画素分の範囲とすると、ぶれの状況、すなわち各画素の画素エネルギー分散状況は、具体的には、たとえば図８に示すように、「Ｓ−３」の画素の「１２０」は、ぶれ情報である変化要因情報のデータＧの「α＝０．５」「β＝０．３」「γ＝０．２」（図７）の分散比に従い、「Ｓ−３」の画素に「６０」、「Ｓ−２］の画素に「３６」、「Ｓ−１」の画素に「２４」というように分散する。同様に、「Ｓ−２」の画素エネルギーである「１０５」は、「Ｓ−２」に「５２．５」、「Ｓ−１」に「３１．５」、「Ｓ」に「２１」として分散する。他の画素も同様に画素エネルギーが分散する。

元画像データＩｍｇの特定の画素のエネルギーである「Ａ」と、撮影された原画像Ｉｍｇ’におけるその特定の画素に相当する画素のエネルギー「Ａ’」との関係は、一般的に、以下の（３）式で表される。
Ａ×Ｇａ＝ｋ×Ａ’・・・（３）
点像関数の重心値「Ｇａ」は、エネルギーが最も集中している部分の値であるから、本例では、図７に示すように、「α＝０．５」である。この「α」は、元画像データＩｍｇの特定の画素のエネルギー「Ａ」が、ぶれにより、撮影された原画像Ｉｍｇ’におけるその特定の画素に相当する画素のエネルギー「Ａ’」へと分散したエネルギー分散比であり、「Ａ’」は「Ａ×α」の他、「Ａ」の近傍の他の画素のエネルギーから、α以外の分散比（図７におけるβおよびγ等）により分散される画素エネルギーとの総和により構成される。この（３）式は、「α＝０．５」（図７）以外のα値であっても適用できることは言うまでもない。また（３）式は、図７に示すような三画素分の範囲未満またはその範囲を超える範囲に渡り、ぶれが生じた場合にも適用できる。さらに、仮に、点像関数の重心値Ｇａが、図７に示す「β」または「γ」等の部分にある場合でも、（３）式は適用できる。

次に、原画像データ領域から復元画像データ領域の特定の画素へ、どのように画素エネルギーを移行させるべきかを考える。ここで、復元画像データ領域に元画像データＩｍｇを復元するのだから、元画像データＩｍｇの特定の画素のエネルギー「Ａ」を求めるために、原画像データ領域から復元画像データ領域の「Ａ」に相当する特定の画素へと移行するべきである。よって、（３）式より、「Ａ＝ｋ×Ａ’／α」を原画像データ領域から復元画像データ領域の「Ａ」に相当する特定の画素へと移行する。そして、「Ａ」に相当する画素エネルギーを原画像データ領域から除去する。このとき、全体として矛盾のないように原画像データ領域から画素エネルギーを除去するため、変化要因情報のデータＧを利用する。たとえば、「Ａ」に相当する特定の画素を図７に示す画素「Ｓ」とすると、原画像データ領域の画素「Ｓ」から除去すべき画素エネルギーは「ｋ×Ａ’／α×α」、原画像データ領域の画素「Ｓ＋１」から除去すべき画素エネルギーは「ｋ×Ａ’／α×β」、原画像データ領域の画素「Ｓ＋２」から除去すべき画素エネルギーは「ｋ×Ａ’／α×γ」となる。すると、これら除去した画素エネルギーの和が復元画像データ領域の画素「Ｓ」へと移行させた画素エネルギー量「Ａ」となる。本例では、「ｋ＝０．８」と設定して、具体的な画素エネルギーの移行の様子を以下に述べる。

繰り返し処理の１回目のステップＳ１０１に示す原画像画素エネルギー「Ｅ」が、図８，図９に示されている。最初に処理する画素では、この原画像画素エネルギーＥが処理対象のエネルギーＥ_０であり、それに対し、ステップＳ１０２で点像関数の重心値Ｇａの逆数をかけて、移行画素エネルギーＦ_ｎを得る。たとえば、画素「Ｓ−３」に注目した場合、原画像データ（撮影データ）（図９で「Ｅ」）の点像関数の重心値Ｇａは「０．５」だから、（３）式より、「０．８×６０／０．５＝９６」を原画像データ領域から復元画像データ領域の画素「Ｓ−３」へと移行する（ステップＳ１０３）（図９ではＦ_１（Ｓ−３））。そして、原画像データ領域から「９６」の画素エネルギーを除去する。すると、復元画像データ（図９ではＲ_１（Ｓ−３））は「９６」、「０」…となる。ここで、変化要因情報のデータＧは、上述のように「０．５」「０．３」「０．２」であるので、原画像データ領域の画素「Ｓ−３」からは「９６×０．５＝４８」、画素「Ｓ−２」からは「９６×０．３＝２８．８」、画素「Ｓ−１」からは「９６×０．２＝１９．２」が除去されるべきである（図９ではＴ_１（Ｓ−３））。よって、原画像データ領域の画素「Ｓ−３」から「４８」、画素「Ｓ−２」から「２８．８」、画素「Ｓ−１」から「１９．２」のエネルギーを取り去る（ステップＳ１０４）。このとき、原画像データ領域の各画素の残部エネルギー量Ｅ_ｎは、それぞれ移行分が取り去られ、画素「Ｓ−３」が「１２」、画素「Ｓ−２」が「５９．７」、画素「Ｓ−１」が「６６．３」となり、その他の画素は元のとおり「８９」「１１７」「１０５」「１１４」「１４２」となる（ステップＳ１０５）（図９で「Ｅ_１（Ｓ−３）」）。

次に、画素「Ｓ−２」に注目すると、現在は「５９．７」のエネルギーが処理対象のエネルギーＥ_０として残っている。上述した画素「Ｓ−３」と同様の処理をすると、原画像データ領域から復元画像データ領域の画素「Ｓ−２」へ「９５．５２」の画素エネルギーが移行して（図９ではＦ_１（Ｓ−２））、復元画像データ領域の画素「Ｓ−２」の復元データＲ_１は、「９５．５２」となり、復元画像データ（図９ではＲ_１（Ｓ−２））は「９６」「９５．５２」「０」…となる。そして、原画像データ領域の画素「Ｓ−２」から「４７．７６」、画素「Ｓ−１」からは「２８．６５６」、画素「Ｓ」からは「１９．１０４」を取り去る。この結果、撮影データ、すなわち原画像データ領域の各画素の残部エネルギー量Ｅ_ｎは、それぞれ移行分が取り去られ（図９で「Ｔ_１（Ｓ−２）」）、画素「Ｓ−３」が「１２」、画素「Ｓ−２」が「１１．９４」、画素「Ｓ−１」が「３７．６４４」、画素「Ｓ」が「６９．８９６」となり、その他の画素は元のとおり「１１７」「１０５」「１１４」「１４２」となる（図９で「Ｅ_１（Ｓ−２）」）。

次に、画素「Ｓ−１」に着目し、上述した画素「Ｓ−３」と同様の処理をする。現在は「３７．６４４」のエネルギーが処理対象のエネルギーＥ_０として残っている。そして、原画像データ領域から復元画像データ領域の画素「Ｓ−１」へ「６０．２３」の画素エネルギーが移行して（図９ではＦ_１（Ｓ−１））、復元画像データ領域の画素「Ｓ−１」の復元データＲ_１は、「６０．２３」となり、復元画像データ（図９ではＲ_１（Ｓ−１））は「９６」「９５．５２」「６０．２３」「０」…となる。そして、原画像データ領域の画素「Ｓ−１」から「３０．１１５」、画素「Ｓ」からは「１８．０６９」、画素「Ｓ＋１」からは「１２．０４６」を取り去る。この結果、撮影データ、すなわち原画像データ領域の各画素の残部エネルギー量Ｅ_ｎは、それぞれ移行分が取り去られ（図９で「Ｔ_１（Ｓ−１）」）、画素「Ｓ−３」が「１２」、画素「Ｓ−２」が「１１．９４」、画素「Ｓ−１」が「７．５２９」、画素「Ｓ」が「５１．８２７」、画素「Ｓ＋１」が「１０４．９５４」となり、その他の画素は元のとおり「１０５」「１１４」「１４２」となる（図９で「Ｅ_１（Ｓ−１）」）。

このように、すべての画素について順次画素エネルギーを移行していく。そして１回目（ｎ＝１）の処理では、全ての画素「Ｓ−３」「Ｓ−２」「Ｓ−１」…「Ｓ＋４」の原画像画素エネルギーＥが復元画像データ領域に移動せず、原画像データ領域の各画素の残部エネルギー量Ｅ_ｎが大きな値として残る。ここでの残部エネルギー量最大値「Ｅ_ｍａｘ」（画素「Ｓ＋４」における「１９．０２」）を制御部４のメモリに記憶する（ステップＳ１０６）。そして残部エネルギー量最大値Ｅ_ｍａｘが所定値Ｘ（たとえば本例では「５」とする）未満か否かの判断を行う（ステップＳ１０７）。以上の処理の結果、Ｅ_ｍａｘ＞Ｘであるから、同様の画素エネルギー移行処理を第２回目（ｎ＝２）として行う。そしてその後、Ｅ_ｍａｘ＞Ｘを満足するまで（全ての画素における残部エネルギー量Ｅ_ｎが「０」に近づくまで）、同様の移行処理を繰り返す。

ここで、図９の特定の画素が、移行画素エネルギーＦ_ｎを移行した結果、復元データＲ_ｎが所定の上限値を上回ってしまったり、残部エネルギー量Ｅ_ｎがマイナスの値となることがある。この状態が発生することは、移行画素エネルギーＦ_ｎを不適切な値に設定してしまっていることを意味する。そこで、以下にこのような場合であっても、全体として矛盾無く移行値を見直す方法を説明する。

（移行値の見直し方法１）
残部エネルギー量がマイナスとなる画素については復元画像データ領域に移動すべき移行画素エネルギーＦ_ｎを移行せず、前回の処理の値をそのまま使用し、次回の移行処理に供することで、その際に除去する画素エネルギーが不適切な値にならなくなることを期待する。次回は、周囲の画素の残部エネルギー量が少なくなり、今回移行するとマイナスとなってしまう画素から除去する画素エネルギー値、すなわち抜き去られる画素エネルギー値が今回よりも小さくなるため、残部エネルギー量が「０」以上となる可能性が大きい。しかし、たとえば画素「Ｓ」がマイナスとなったときに前の値をそのまま使用した場合、画素「Ｓ−２」「Ｓ−１」等、処理済みの画素の残部エネルギー量が「０」に近づいている場合は、いつまでたっても復元されないままで収束しない。よって、この場合には、画素「Ｓ−２」「Ｓ−１」等の復元値の見直しを行うことが望ましい。

（移行値の見直し方法２）
移行後の見直し方法の考え方を図１０に示す概念図に基づいて説明する。既に復元画像データ領域に移行した画素エネルギーの一部を補正分（以下、補正エネルギーｃＥという）として原画像データ領域に戻し、残部エネルギー量Ｅ_ｎを０以上にする。このとき、補正エネルギーｃＥは、変化要因情報のデータＧで重畳積分して原画像データ領域に戻す。すると全体として矛盾無く移行値を見直すことができる。

次に、上述の考えに基づいてマイナス値となった残部エネルギー量Ｅ_ｎを「０」にする移行値の見直し処理について説明する。具体的には、図３の処理ルーチンに従って図９の画素エネルギー移行処理を画素「Ｓ−３」「Ｓ−２」……「Ｓ＋４」の順に行い、その繰り返し処理を継続させると、３回目（図３におけるｎ＝３のとき）の復元データ領域の画素「Ｓ−３」への画素エネルギー移行処理の際、原画像データ領域の画素「Ｓ−１」の残部エネルギー量Ｅ_ｎが、「−０．６２４」となる。参考として、図３におけるｎ＝２のときの処理の様子を図１１に、図３におけるｎ＝３のときの処理の様子を図１２に示す（小数点以下３桁のみ表示する。以下図１３、図１４、図１５の説明に際して同じ。）。そこで、その「−０．６２４」の値を「０」にする処理について説明する。この処理においては、図７に示す画素エネルギーの分散の仕方により、原画像データ領域の画素「Ｓ−１」に影響を与える、復元画像データ領域の画素「Ｓ−３」への移行値（ｎ＝３の回）が不適切であるとの前提で以下の処理をする。以下、その処理を図１３の表に基づいて説明する。

原画像データ領域の画素「Ｓ−１」の残部エネルギー量Ｅ_ｎ（＝−０．６２４）を「０」にするためには、復元画像データ領域における画素「Ｓ−３」の復元データＲ_ｎ（＝１１９．０４０）から、補正エネルギーｃＥを原画像データ領域へ戻す。ここで、復元画像データ領域の画素「Ｓ−３」の画素エネルギーが、原画像データ領域における画素「Ｓ−１」へ分散する比は、図７のエネルギー分散比より、「γ＝０．２」である。よって、補正エネルギーｃＥは、ｃＥ×γ＝−Ｅ_ｎより、ｃＥ＝−Ｅ_ｎ／γ＝−（−０．６２４）／０．２＝３．１２０、となる。

復元画像データ領域の画素「Ｓ−３」への補正エネルギーｃＥ（＝３．１２０）は、原画像データ領域の画素「Ｓ−１」、「Ｓ−２」、「Ｓ−３」では、図７に示すエネルギー分散比より、以下のように画素エネルギーが分散していたとみなすことができる。
（１）画素「Ｓ−３」：分散比が「０．５」だから、３．１２０×０．５＝１．５６０
（２）画素「Ｓ−２」：分散比が「０．３」だから、３．１２０×０．３＝０．９３６
（３）画素「Ｓ−１」：分散比が「０．２」だから、３．１２０×０．２＝０．６２４

復元画像領域の画素「Ｓ−３」から、補正エネルギーｃＥ（＝３．１２０）を取り去り、原画像領域へ図７に示すエネルギー分散比に従い、その補正エネルギーを戻すことで、移行値の見直し処理が終了する。移行値の見直し方法２では、原画像データ領域の画素「Ｓ−１」に影響を与える、復元画像データ領域の画素「Ｓ−３」への移行値（ｎ＝３の回）が不適切であるとの前提で処理をしたが、原画像データ領域の画素「Ｓ−１」に影響を与える、復元画像データ領域の画素「Ｓ−２」への移行値（ｎ＝３の回）が不適切であるとの前提で、同様の考え方に基づいて処理することができる。

（移行値の見直し方法３）
移行値の見直し方法３についても、移行値の見直し方法２同様、図３におけるｎ＝３のときの原画像データ領域の画素「Ｓ−１」の残部エネルギー量Ｅ_ｎが、図１４の表に示すように「−０．６２４」となるのを「０」にする。そのために、図７に示す画素エネルギーの分散の仕方により、原画像データ領域の画素「Ｓ−１」に影響を与える、復元画像データ領域の画素「Ｓ−３」および「Ｓ−２」への移行値が不適切であるとの前提で処理をする。以下、その処理を図１４の表に基づいて説明する。

原画像データ領域の画素「Ｓ−１」の残部エネルギー量Ｅ_ｎ（＝−０．６２４）を「０」にするためには、復元画像データ領域における画素「Ｓ−３」の復元データＲ_ｎ（＝１１９．０４０）から、以下の（４）式から導かれる補正エネルギーｃＥ_Ｓ−３を原画像データ領域へ戻す。ここで「ｃＥ_Ｓ−３」は、復元画像データ領域における画素「Ｓ−３」の復元データＲ_ｎの補正エネルギーであり、原画像データ領域へ戻す総エネルギーである。また、画素「Ｓ−２」の復元データＲ_ｎ（＝１０５．４０８）から、以下の（５）式から導かれる補正エネルギーｃＥ_Ｓを原画像データ領域へ戻す。ここで「ｃＥ_Ｓ−２」は、復元画像データ領域における画素「Ｓ−２」の復元データＲ_ｎの補正エネルギーであり、原画像データ領域へ戻す総エネルギーである。

ｃＥ_Ｓ−３＝−Ｅ_ｎ×Ｐ／（Ｐ×γ＋Ｑ×β）……（４）
ｃＥ_Ｓ−２＝−Ｅ_ｎ×Ｑ／（Ｐ×γ＋Ｑ×β）……（５）
ここで、ｃＥ_Ｓ−３：ｃＥ_Ｓ−２＝Ｐ：Ｑ、とする。「β」は、復元画像データ領域の画素「Ｓ−３」の画素エネルギーが、原画像データ領域における画素「Ｓ−２」へ分散する比（図７）であり、「γ」は、復元画像データ領域の画素「Ｓ−３」の画素エネルギーが、原画像データ領域における画素「Ｓ−１」へ分散する比（図７）である。

本例では「Ｐ：Ｑ＝１：１」として処理を進める。このＰとＱとの比は、任意に設定できる。たとえば、原画像データ領域の画素「Ｓ−１」への分散比に対応して、Ｐ：Ｑ＝γ：β、とすることもできる。本例では「β＝０．３」、「γ＝０．２」であるから、（４）式、（５）式は、以下のようになる。
ｃＥ_Ｓ−３＝−（−０．６２４）×１／（１×０．２＋１×０．３）＝１．２４８
ｃＥ_Ｓ−２＝−（−０．６２４）×１／（１×０．２＋１×０．３）＝１．２４８

そして復元画像データ領域の画素「Ｓ−３」および「Ｓ−２」の補正エネルギーｃＥ_Ｓ−３およびｃＥ_Ｓ−２（＝１．２４８）は、移行処理する前の原画像データ領域の画素「Ｓ−３」、「Ｓ−２」、「Ｓ−１」、「Ｓ」では、図７に示す画素エネルギーの分散の仕方により、以下のように画素エネルギーが分散していたとみなすことができる。
（１）画素「Ｓ−３」：ｃＥ_Ｓ−３の分散比が「０．５」だから、１．２４８×０．５＝０．６２４
（２）画素「Ｓ−２」：ｃＥ_Ｓ−３の分散比が「０．３」、またｃＥ_Ｓ−２の分散比が「０．５」だから、１．２４８×０．３＋１．２４８×０．５＝０．９９８
（３）画素「Ｓ−１」：ｃＥ_Ｓ−３の分散比が「０．２」また、ｃＥ_Ｓ−２の分散比が「０．３」だから、１．２４８×０．２＋１．２４８×０．３＝０．６２４
（４）画素「Ｓ」：ｃＥ_Ｓ−２の分散比が「０．２」だから、１．２４８×０．２＝０．２５０
そして、原画像データ領域の画素「Ｓ−３」、「Ｓ−２」、「Ｓ−１」、「Ｓ」にそれぞれ補正エネルギーｃＥ_Ｓ−３およびｃＥ_Ｓ−２を、図１４の「戻し量１」と「戻し量２」の和の値として戻すことで、移行値の見直し処理が終了する。

（移行値の見直し方法４）
移行値の見直し方法４は、移行値の見直し方法２および３同様、図３におけるｎ＝３のときの原画像データ領域の画素「Ｓ−１」の残部エネルギー量Ｅ_ｎが、図１５の表に示すように「−０．６２４」となるのを「０」以上にする。そのために、原画像データ領域の画素「Ｓ−１」に影響を与える、前回（図３におけるｎ＝２の回）の復元画像データ領域の画素「Ｓ−１」への移行値「１．１５６」が不適切であるとの前提で上述の移行値の見直し方法２および３と同様の処理をする。以下、その処理を図１５の表に基づいて説明する。

原画像データ領域の画素「Ｓ−１」の残部エネルギー量Ｅ_ｎ（＝−０．６２４）を「０」にするためには、復元画像データ領域における画素「Ｓ−１」の復元データＲ_ｎから、補正エネルギーｃＥを原画像データ領域へ戻す。ここで、復元画像データ領域の画素「Ｓ−１」の画素エネルギーが、原画像データ領域における画素「Ｓ−１」へ分散する比は、図７のエネルギー分散比より、「α＝０．５」である。よって、補正エネルギーｃＥは、ｃＥ×γ＝−Ｅ_ｎより、ｃＥ＝−Ｅ_ｎ／γ＝−（−０．６２４）／０．５＝１．２４８、となる。そして原画像データ領域の画素「Ｓ−１」、「Ｓ」、「Ｓ＋１」では、図７に示す画素エネルギーの分散の仕方により、以下のように画素エネルギーが分散していたとみなすことができる。
（１）画素「Ｓ−１」：分散比が「０．５」だから、１．２４８×０．５＝０．６２４
（２）画素「Ｓ」：分散比が「０．３」だから、１．２４８×０．３＝０．３７４
（３）画素「Ｓ＋１」：分散比が「０．２」だから、１．２４８×０．２＝０．２５０
そして、復元画像領域の画素「Ｓ−１」から、補正エネルギーｃＥ（＝１．２４８）を取り去り、原画像領域へ図７に示すエネルギー分散比に従い、その補正エネルギーを戻すことで、移行値の見直し処理が終了する。この見直し方法４の利点は、原画像データ領域の残部エネルギー量Ｅ_ｎが０未満になった画素と同一の画素への移行値が不適切であるとして、移行値の見直し処理をすることができることである。

（他の移行値の見直し方法）
原画像データ領域の残部エネルギー量Ｅ_ｎが０未満になる影響がある全ての画素エネルギー移行処理の移行値を、上述の移行値の見直し方法２、３、および４の見直し処理の考え方に従って見直すこともできる。また、上述の移行値の見直し方法２、３および４において、原画像データ領域の残部エネルギー量Ｅ_ｎが０未満になったものを「０」にする処理ではなく、「０」を越える値とする処理にすることもできる。たとえば、原画像データ領域にノイズが含まれていると考えられる場合には、「０」を超える値（「０」にノイズ分を加えた値）とする処理を行うことが好ましい。さらに、上述の移行値の見直し方法２，３，および４において、図３におけるｎ＝３のときの原画像データ領域の画素の残部エネルギー量Ｅ_ｎがマイナス値となるのが、前回（ｎ＝３のとき）以前の回の復元画像データ領域の画素への移行値が不適切であるとの前提で移行値の見直しをすることができる。

上述の移行値の見直し方法１における「移行させない処理」、または上述の移行値の見直し方法２，３，または４における「戻す処理」を、図３に示す処理中に実行した際の移行値の見直し方法に係る処理ルーチンを説明するための処理フロー図を図１６に示す。図３の処理フローの中のステップＳ１０５の後で、残部エネルギー量Ｅ_ｎがマイナス値か否かの判断を行う（ステップＳ２０１）。Ｅ_ｎがマイナス値でないなら、図３におけるステップＳ１０６以降の処理を行う（ステップＳ２０２）。Ｅ_ｎがマイナス値なら、上述の移行値の見直し方法１，２，３，または４のエネルギー移行値見直し処理を行い（ステップＳ２０３）、その後ステップＳ２０２へと進む。

上述した本実施の形態に係る信号処理装置１では、処理するに当たり、ステップＳ１０４、Ｓ１０７において、事前に処理回数と、残部エネルギーＥ_ｎが「０」に近似してきたかどうかの判断基準値のいずれか一方または両者を設定できる。たとえば処理回数として２０回、５０回等任意の回数を設定できる。また、処理を停止させる残部エネルギーＥ_ｎが「０」に近似してきたかどうかの近似値の値を８ビット（０〜２５５）中の「５」と設定し、５以下になったら処理を終了させたり、「０．５」と設定し「０．５」以下になったら処理を終了させることができる。この設定値を任意に設定できる。処理回数と判断基準値の両者を入力する構成とした場合、いずれか一方が満足されたときに処理は停止されるようにするのが好ましい。なお、両者の設定を可能としたとき、判断基準値を優先し、所定の回数の処理では判断基準値内に入らなかった場合、更に所定回数の処理を繰り返すようにしても良い。

本実施の形態の説明の中では、要因情報保存部７に保存されている情報を利用せず、処理部４の記録部に保存されているデータを使用したが、ここに保存されている既知の劣化要因、たとえば光学収差やレンズのひずみなどのデータを使用するようにしても良い。その場合、たとえば、先の例（図３）の処理方法（繰返しの処理）では、ぶれの情報と光学収差の情報を合わせて１つの劣化要因として捉えて処理を行うのが好ましいが、ぶれの情報での処理を終了した後に光学収差の情報での復元処理を行うようにしても良い。また、この要因情報保存部７を設置しないようにして、処理部４に記録されている撮影時の動的要因、たとえばぶれのみで画像を修正したり復元したりしても良い。

また、処理の繰返しの回数が信号処理装置１側で自動的にまたは固定的に設定されている場合、その設定された回数を変化要因情報のデータＧによって変更するようにしても良い。たとえば、ある画素のデータがぶれにより多数の画素に分散している場合は、繰返しの回数を多くし、分散が少ない場合は繰返しの回数を少なくするようにしても良い。

また、出力画像となる復元データＲ_ｎを生成する際、変化要因情報のデータＧによっては、復元させようとする画像の領域外へ出てしまうようなデータが発生する場合がある。このような場合、領域外へはみ出るデータは反対側へ入れる。また、領域外から入ってくるべきデータがある場合は、そのデータは反対側から持ってくるようにしても良い。たとえば、領域内の最も下に位置する画素ＸＮ１のデータから、さらに下の画素に割り振られるデータが発生した場合、その位置は領域外になる。そこで、そのデータは画素ＸＮ１の真上で最も上に位置する画素Ｘ１１に割り振られる処理をする。画素ＸＮ１の隣の画素Ｎ２についても同様に真上で最上覧の画素Ｘ１２（＝画素Ｘ１１の隣り）に割り振ることとなる。

この実施の形態の復元アルゴリズムでは、信号処理装置１が有するデータ領域を小さくできる利点がある。その理由は、復元処理に際し、必要なデータ領域は、原画像データ領域および復元画像データ領域のみで足りるためである。また、復元処理に際し、この実施の形態の復元アルゴリズムでは、既知の変化要因情報のデータＧを利用して画素エネルギーの移動を繰り返すだけだから、迅速な処理が可能となる。また、データ領域は、恒久的なものではなく、一時的なデータ領域を設定した上で処理を行っても良い。

以上、この実施の形態における信号処理装置１について説明したが、本発明の要旨を逸脱しない限り種々変更実施可能である。たとえば、処理部４で行った処理は、ソフトウェアで構成しているが、それぞれ、一部の処理を分担して行うようにした部品からなるハードウェアで構成しても良い。また、変化要因情報のデータＧとしては、劣化要因情報のデータのみではなく、単に画像を変化させる情報や、劣化とは逆に、画像を良くする情報を含むものとする。さらに、繰り返しの処理の際、各画素が各々有する残部エネルギー量Ｅ_ｎの値の最大値Ｅ_ｍａｘと所定値（Ｘ）との比較を行わずに、その残部エネルギー量Ｅ_ｎの平均値または総和値との比較を行うことができる。そうすることにより、処理速度が向上する。さらに、各画素が各々有する残部エネルギー量Ｅ_ｎの値の最大値Ｅ_ｍａｘ、平均値または総和値のうちの複数と、これらの値それぞれに対応する複数の所定値との比較を行うこともできる。

また、繰返しの処理の回数が信号処理装置１側で自動的にまたは固定的に設定されている場合、その設定された回数を変化要因情報のデータＧによって変更するようにしても良い。たとえば、ある画素のデータがぶれにより多数の画素に分散している場合は、繰り返しの処理回数を多くし、分散が少ない場合は繰り返しの処理回数を少なくするようにしても良い。

上述の実施の形態では、復元対象を画像データとしている。しかし、これらの復元処理の考え方および手法ならびに見直し方法は、あらゆるデータの復元処理に適用できる。たとえば、音声データの復元、地震波データの復元等への適用が可能である。また、上述の実施の形態では、画像データの各場所で同じようにぶれる例を示したが、画素の位置によって異なるぶれとなる画像や、ガンマ補正のように非線形なものにも、これらの考え方および手法ならびに見直し方法を適用することができる。

また、上述した各処理方法や見直し方法は、プログラム化されても良い。また、プログラム化されたものが記憶媒体、たとえばＣＤ（Compact Disc）ＤＶＤ、ＵＳＢ（Universal Serial Bus）メモリに入れられ、コンピュータによって読みとり可能とされても良い。この場合、信号処理装置１は、その記憶媒体内のプログラムを読み込む手段を持つこととなる。さらには、そのプログラム化されたものが信号処理装置１の外部のサーバに入れられ、必要によりダウンロードされ、使用されるようにしても良い。この場合、信号処理装置１は、その記憶媒体内のプログラムをダウンロードする通信手段を持つこととなる。

Claims (12)

1. 劣化等の変化が生じた原信号のデータ（以下、変化データという。）から、変化する前の信号もしくは本来取得されるべきであった信号またはそれらの近似信号のデータ（以下、元信号データという）の復元をする処理部を有する信号処理装置において、
   上記変化データが格納される変化データ領域と、毎回の復元処理毎にその復元処理された信号のデータ（以下、復元データという。）が格納される復元データ領域とを設け、上記処理部が、上記変化データのエネルギーを、変化の要因となる変化要因情報データを利用して、上記変化データ領域から上記復元データ領域へと移行させ、上記復元データを生成し、その移行により残存する上記変化データ領域の残部データを、上記変化データに置き換えて同様の処理を繰り返す繰り返し処理を行い、上記繰り返し処理の過程で上記残部データのエネルギー値が零未満となる場合に、既に上記復元データ領域へと移行した上記エネルギーの一部を、上記変化要因情報を利用して、上記残部データのエネルギー値が零以上となるよう上記変化データ領域へと戻す処理を行いながら上記繰り返し処理を進行させ、上記繰り返し処理終了時の上記復元データ領域に形成されるデータを上記元信号データとすることを特徴とする信号処理装置。
2. 前記残部データのエネルギー値が零未満となる場合に、その値が零以上となるように処理することを特徴とする請求項１記載の信号処理装置。
3. 前記繰返し処理の際、その繰返しの都度前記復元データ領域へ移行する前記エネルギーを既に前記復元データ領域に格納された前記復元データに加算する処理をし、前記残部データのエネルギー値を零以上の範囲で零に近づける処理を行うことを特徴とする請求項１または２記載の信号処理装置。
4. 複数の画素からなる変化データから、複数の画素からなる元信号データの復元をする処理部を有する信号処理装置において、
   上記変化データが格納される変化データ領域と、毎回の復元処理毎にその復元処理された信号のデータ（以下、復元データという。）が格納される復元データ領域とを設け、上記処理部が、上記変化データの一の画素における画素エネルギーを、変化の要因となる変化要因情報データが有する応答特性関数の重心値を利用して、上記変化データ領域から上記復元データ領域へと移行させ、上記移行させた上記画素エネルギーに相当する画素エネルギーを、上記変化データ領域から変化要因情報データを利用して除外する処理を行い、またこの一の画素に対する処理を他の画素についても順次行い、上記復元データ領域に上記復元データを生成し、上記除外により残存する上記変化データ領域の残部データを、上記変化データに置き換えて同様の処理を各画素毎に繰り返し、その繰り返しの都度上記復元データ領域へ移行する上記画素エネルギーを上記復元データに加算して、新たな復元データを生成する処理を行い、これら一連の処理の過程で、上記残部データのいずれかの画素エネルギー値が零未満となる場合に、既に上記復元データ領域へと移行した画素エネルギーの一部を、上記変化要因情報を利用して、上記零未満となる画素エネルギー値が零以上となるよう上記変化データ領域へと戻す処理を行いながら上記一連の処理を進行させ、上記残部データを零以上の範囲で零に近づける処理を行い、処理終了時の上記復元データ領域に形成される上記復元データを上記元信号データとすることを特徴とする信号処理装置。
5. 前記処理部は、前記復元データの生成の際、前記残部データのエネルギー値が、零以上の範囲の所定値以下または上記所定値より小さくなったら、停止させる処理を行うことを特徴とする請求項１から４のいずれか１項に記載の信号処理装置。
6. 前記処理部は、前記復元データの生成の際、前記復元データを生成する回数が所定回数となったら停止させる処理を行うことを特徴とする請求項１から４のいずれか１項に記載の信号処理装置。
7. 前記処理部は、前記復元データの生成の際、前記復元データを生成する回数が所定回数に到達したときの前記残部データのエネルギー値が零以上の範囲の所定値以下または上記所定値より小さい場合は停止し、上記所定値より超えるまたは上記所定値以上の場合は、さらに所定回数繰り返す処理を行うことを特徴とする請求項１から４のいずれか１項に記載の信号処理装置。
8. 複数の画素からなる変化データから、複数の画素からなる元信号データの復元をする処理部を有する信号処理装置において、
   上記変化データが格納される変化データ領域と、毎回の復元処理毎にその復元処理された信号のデータ（以下、復元データという。）が格納される復元データ領域とを設け、上記処理部が、上記変化データの一の画素における画素エネルギーを、変化の要因となる変化要因情報データを利用して、上記変化データ領域から上記復元データ領域へと移行させ、上記移行させた上記画素エネルギーに相当する画素エネルギーを、上記変化データ領域から上記変化要因情報データを利用して除外する処理を行い、また上記一の画素に対する処理を他の全ての画素についても順次行い、上記復元データ領域に上記復元データを生成し、その移行により残存する上記変化データ領域の残部データの値が零以上の範囲の所定値以下または上記所定値より小さい場合は処理を停止し、上記復元データを上記元信号データとして扱い、上記残部データの値が、上記所定値より大きいまたは上記所定値以上の場合は、上記残部データを上記変化データに置き換えて同様の処理を繰り返し、その繰り返しの都度上記復元データ領域へ移行する上記画素エネルギーを上記復元データに加算して、新たな復元データを生成する処理を行い、上記残部データのうちいずれかの画素エネルギー値が零未満となる場合は、既に上記復元データ領域へと移行した画素エネルギーの一部を、上記変化要因情報を利用して、上記残部データの零未満となる画素エネルギー値が零以上となるよう上記変化データ領域へと戻す処理を行いつつ上記残部データ量と上記所定値との比較を行うことを特徴とする信号処理装置。
9. 前記処理部は、前記復元データの生成の際、前記復元データを生成する回数が所定回数となったら停止させる処理を行うことを特徴とする請求項８記載の信号処理装置。
10. 前記処理部は、前記復元データの生成の際、各画素が各々有する前記残部データの値の最大値、平均値または総和値のうちの一つまたは複数について、前記所定値との比較を行うことを特徴とする請求項８記載の信号処理装置。
11. 前記戻す処理は、前記復元データの生成が１回または複数回行われる場合に、前記残部データの前記いずれかの画素エネルギー値が零未満となったその回以前に前記復元データ領域へ移行した画素エネルギーを対象として行うことを特徴とする請求項４または８に記載の信号処理装置。
12. 前記信号のデータを画像のデータとしたことを特徴とする請求項１から１１のいずれか１項に記載の信号処理装置。

Images