JP5247169B2 - 画像処理装置、画像処理方法および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理方法および画像処理プログラムに関する。

従来から、カメラ等で撮影を行った撮影画像には、画像劣化が生ずることが知られている。この画像劣化の要因としては撮影時の手ぶれ、光学系の各種の収差、レンズの歪み等がある。

撮影時の手ぶれを補正するためには、撮影レンズの中の所定のレンズを動かす方式と、電子回路で処理する方式とが知られている。レンズを動かす方式としては、例えば、撮影時に、手ぶれを検出し、この検出した手ぶれに合わせて所定のレンズを動かすことで、結像部に結像する撮影画像の劣化を抑える方式が知られている（特許文献1参照）。

これに対し、電子回路で処理する方式には、例えば、特許文献２に開示されるように、カメラの光軸の変動を角加速度センサで検出し、検出した角速度等から撮影時のぼけ状態を表す伝達関数を取得し、劣化して結像した撮影画像に対し、取得した伝達関数の逆変換を行い、画像の復元を行う方式がある。

特開平６−３１７８２４号公報（要約書参照） 特開平１１−２４１２２号公報（要約書参照）

しかしながら、特許文献２に開示されるように、劣化して結像した撮影画像を復元して復元画像を得る方式の場合には、伝達関数が、ノイズやぶれ情報誤差等の影響を受け、撮影画像における劣化によって非常に小さくなってしまった情報については、復元処理を行うことにより、求めようとする劣化のない理想的な撮影画像との誤差がかえって拡大してしまい、撮影画像の復元を良好に行えない場合がある。

そこで、本発明は、伝達関数がノイズやぶれ情報誤差等の影響を受けた場合であっても、復元処理を行うことにより、求めようとする劣化のない理想的な撮影画像との誤差が拡大してしまう場合であっても、画像の復元程度をより良好に行うことができる画像処理装置、画像処理方法および画像処理プログラムを提供することを目的とする。

上記課題を解決するために、変化画像データを変化要因情報を用いて復元処理する処理部を有する画像処理装置において、処理部は、画像データの内容が既知である既知画像データを変化要因情報により変化させた変化既知画像データと、変化既知画像データを復元処理することにより復元既知画像データとを得、復元既知画像データを既知画像データと比較して復元既知画像データを既知画像データに補正するのに必要な補正量を得、変化画像データを復元処理した復元画像データを、補正量に基づいて補正する処理を行うこととする。

画像処理装置をこのように構成することで、画像の復元の程度をより良好なものとすることができる。

また、他の発明は、上述の発明に加え、処理部は、変化既知画像データを得る既知画像変化手段と、復元既知画像データを得る変化既知画像復元手段と、補正量を得る補正量取得手段と、変化画像データを復元処理した復元画像データを、補正量に基づいて補正する補正手段とを備えることとする。

画像処理装置をこのように構成することで、画像の復元の程度をより良好なものとすることができる。

また、他の発明は、上述の発明に加え、補正量取得手段は、復元既知画像データと既知画像データとの比較を周波数空間で行い、補正量を位相量あるいは振幅量として得て、補正手段は、位相量あるいは振幅量として得られた補正量に基づいて復元画像データを補正することとする。

画像処理装置をこのように構成することで、補正量の取得と、復元画像の補正を行い易くなる。

また、他の発明は、上述の発明に加え、補正量取得手段は、復元既知画像データと既知画像データとの比較を周波数空間で行い、補正量を、復元既知画像データと既知画像データとの差分のベクトルとして得て、補正手段は、差分ベクトルとして得られた補正量に基づいて復元画像データを補正することとする。

画像処理装置をこのように構成することで、補正量を精度良く取得でき、復元画像を精度よく補正することができる。

また、他の発明は、上述の発明に加え、既知画像データは、復元画像データまたは変化画像データであることとする。

画像処理装置をこのように構成することで、補正量を精度良く取得できる。

また、他の発明は、上述の発明に加え、既知画像データは、復元画像データまたは変化画像データをエッジ強調した画像であることとする。

画像処理装置をこのように構成することで、補正量を精度良く取得できる。

上記課題を解決するために、変化画像データを変化要因情報を用いて復元処理する画像処理方法において、画像データの内容が既知である既知画像データを変化要因情報により変化させた変化既知画像データを得る既知画像変化ステップと、変化既知画像データを復元処理して復元既知画像データを得る変化既知画像復元ステップと、復元既知画像データを既知画像データと比較して復元既知画像データを既知画像データに補正するのに必要な補正量を得る補正量取得ステップと、変化画像データを復元処理した復元画像データを補正量に基づいて補正する補正ステップとを有することとする。

画像処理方法をこのように行うことで、画像の復元の程度をより良好なものとすることができる。

上記課題を解決するために、変化画像データを変化要因情報を用いて復元処理する画像処理プログラムにおいて、画像データの内容が既知である既知画像データを変化要因情報により変化させた変化既知画像データを得る既知画像変化処理と、変化既知画像データを復元処理して復元既知画像データを得る変化既知画像復元処理と、復元既知画像データを既知画像データと比較して復元既知画像データを既知画像データに補正するのに必要な補正量を得る補正量取得処理と、変化画像データを復元処理した復元画像データを補正量に基づいて補正する補正処理とをコンピュータに実行させることとする。

画像処理プログラムをコンピュータにインストールし、コンピュータにこのプログラムを実行させることで、画像の復元の程度をより良好なものとすることができる。

本発明によれば、画像の復元の程度をより良好なものとすることができる。

以下、本発明の第１の実施の形態に係る画像処理装置１について図を参照しながら説明する。なお、この画像処理装置１は、撮像部２にＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）を使用した民生用のいわゆるデジタルカメラとしているが、撮像部にＣＣＤ等の撮像素子を用いる監視用カメラ、テレビカメラ用、内視鏡用カメラ等、他の用途のカメラとしたり、顕微鏡用、双眼鏡用、さらには核磁気共鳴撮影用等の画像診断装置等、カメラ以外の機器にも適用できる。なお、画像処理方法については、画像処理装置１の説明と併せて行うこととする。

画像処理装置１は、人物等の映像を撮像する撮像部２と、この撮像部２を駆動する制御系部３と、撮像部２で撮像された画像を処理する処理部４とを有している。また、この実施の形態に係る画像処理装置１は、さらに処理部４で処理された画像を記録する記録部５と、撮影される画像の変化（劣化）の要因となる変化要因情報を検知する検出部６と、画像の変化等を生じさせる既知の変化要因情報を保存する変化要因情報保存部７を有する。

撮像部２はＣＣＤを備え、レンズを有する撮影光学系やレンズを通過した光を電気信号に変換する。なお、ＣＣＤの他、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の撮像素子を備えてもよい。制御系部３は、撮像部２、処理部４、記録部５、検出部６、および変化要因情報保存部７等、画像処理装置１内の各部を制御するものである。

処理部４は、画像処理プロセサで構成されており、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）のようなハードウェアで構成されている。この処理部４は、後述する既知画像変化手段、変化既知画像復元手段、補正量取得手段および補正手段が機能的に構成され、また、後述する変化既知画像を生成する際の元となる既知画像が保管されることもある。

処理部４は、ＡＳＩＣのようなハードウェアとして構成されるものの他、ソフトウェアで処理する構成としても良い。記録部５は、半導体メモリで構成されているが、ハードディスクドライブ等の磁気記録手段や、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等を使用する光記録手段等を採用しても良い。

検出部６は、図２に示すように、画像処理装置１の光軸であるＺ軸に対して垂直方向となるＸ軸、Ｙ軸の回りの速度を検出する２つの角速度センサを備えるものである。カメラで撮影する際の手ぶれは、Ｘ方向、Ｙ方向、Ｚ方向の各方向への移動やＺ軸回りの回動も生ずるが、各変動により最も大きな影響を受けるのは、Ｙ軸回りの回転とＸ軸回りの回転である。これら２つの変動は、ほんのわずかに変動しただけで、その撮影された画像は大きくぼける。このため、この実施の形態では、図２のＸ軸回りとＹ軸回りの２つの角速度センサのみを配置している。しかし、より完全を期すためＺ軸回りの角速度センサをさらに付加したり、Ｘ方向やＹ方向への移動を検出するセンサを付加しても良い。また、使用するセンサとしては、角速度センサではなく、角加速度センサとしても良い。

変化要因情報保存部７は、撮影画像を変化させる変化要因の情報であって撮影を開始する前に判っている既知の変化要因データが保存される。既知の変化要因の情報としては、例えば、光学系の収差等である。なお、この実施の形態では、変化要因情報保存部７には、光学系の収差やレンズのひずみの情報が保存されているが、後述する手ぶれのぼけの復元の際にはそれらの情報は、利用していない。

次に、以上のように構成された画像処理装置１の処理部４の処理方法について説明する。

処理部４には、以下に説明するように、画像の復元を最適化問題として扱うことにより復元画像を求める処理手法を実行する画像復元処理手段が機能的に実現されている。

画像の復元を最適化問題として扱うということは、「（１）入力に対する出力は、一意に決まる。」、「（２）出力が同じであれば、入力は同じである。」、「（３）出力が同じになるように、入力を更新しながら反復処理することにより、解を収束させていく。」、という３の条件を前提に、画像の復元を行うことである。

すなわち、図３（Ａ）に示すように、求めたい画像データである理想画像データ「ｉｍｇ」が、画像を変化させる要因となる変化要因情報「ｇ」により変化理想画像データ「ｉｍｇ’」に変化させられたと考えると、任意の画像データ「ｉ_０」を変化要因情報「ｇ」により変化させた変化任意画像データ「ｉ_０’」が、変化理想画像データ「ｉｍｇ’」に近似するように、任意画像データ「ｉ_０」を「ｉ_０＋ｎ」（ｎは、１以上の整数）として更新し、この任意画像データ「ｉ_０＋ｎ」を変化要因情報「ｇ」により変化させる処理を反復する。すなわち、任意画像データ「ｉ_０＋ｎ」を変化要因情報データ「ｇ」により変化させた変化任意画像データ「ｉ_０＋ｎ’」が、変化理想画像データ「ｉｍｇ’」に近似するような任意画像データ「ｉ_０＋ｎ」を求めることができれば、図３（Ｂ）に示すように、変化任意画像データ「ｉ_０＋ｎ’」の生成の元データとなる任意画像データ「ｉ_０＋ｎ」は、変化前の理想画像データ「ｉｍｇ」に近似した復元された画像であると言える。

上述の処理を撮像部２に撮像された画像に対して適用した場合には、理想画像データ「ｉｍｇ」は、被写体を劣化のない理想的な状態で撮影できたと仮定した場合の撮影画像データ（以下、理想撮影画像データと言い、これを理想撮影画像データ「ｉｍｇ」と記載する。）に相当し、変化理想画像データ「ｉｍｇ’」は、理想撮影画像データ「ｉｍｇ」が変化要因情報「ｇ」により変化させられた画像データであり、実際に撮影された撮影画像データ（以下、実撮影画像データと言い、これを実撮影画像データ「ｉｍｇ’」と記載する。）に相当する。したがって、任意画像データ「ｉ_０（ｉ_０＋ｎ）」を変化要因情報「ｇ」により変化させて得られた変化任意画像データ「ｉ_０’（ｉ_０＋ｎ’）」が、実撮影画像データ「ｉｍｇ’」に近似している場合には、任意画像データ「ｉ_０（ｉ_０＋ｎ）」は、理想撮影画像データ「ｉｍｇ」に近似した画像データであると考えることができる。

上記の処理手法を実現する画像復元処理手段の動作について、図４に示すフローチャートを参照しながら説明する。

図４において、「ｉ_０」は、処理部４の記録部に予め保存されている任意の初期画像データである。「ｇ」は、検出部６で検出された変化要因情報（劣化要因情報（伝達関数の一種である点像関数））のデータであり、処理部４の記録部に保存されるものである。「ｉ_０’」は、初期画像データ「ｉ_０」を変化要因情報データ「ｇ」により変化させた比較用画像データ（変化任意画像データ）である。「ｉｍｇ’」は、復元の対象となる変化した画像の画像データであり、ここでは、撮像部２で実際に撮像された撮影画像データ、すなわち、実撮影画像データとなる。

「δ」は、実撮影画像データ「ｉｍｇ’」と、比較用画像データ「ｉ_０’」との差分のデータである。「ｋ」は、変化要因情報データ「ｇ」に基づく配分比を表すフィードバック関数である。「ｉ_０＋ｎ」（ｎは、１以上の整数）は、初期画像データ「ｉ_０」に、差分のデータδを配分比「ｋ」に従って配分して新たに生成した復元画像データである。

ここで、「ｉｍｇ」と「ｉｍｇ’」の関係は、次の（１）式で表されるものとする。

ｉｍｇ’＝ｉｍｇ＊ｇ ・・・（１）

「＊」は、重畳積分を表わす演算子である。

なお、差分のデータ「δ」は、対応する画素の単純な差分でも良い場合もあるが、一般的には、変化要因情報データ「ｇ」により異なり、次の（２）式で現される。

δ＝ｆ（ｉｍｇ’，ｉｍｇ，ｇ）・・・（２）

処理部４（画像復元処理手段）の処理ルーチンは、まず、初期画像データ「ｉ_０」を用意する（ステップＳ１０１）ことから始まる。この初期画像データ「ｉ_０」としては、実撮影画像データ「ｉｍｇ’」を用いても良く、また、黒ベタ、白ベタ、灰色ベタ、市松模様等どのような画像のデータを用いても良い。ステップＳ１０２で、（１）式の「ｉｍｇ」の代わりに初期画像となる任意画像のデータ「ｉ_０」を入れ、劣化画像である比較用画像データ「ｉ_０’」を求める。次に、実撮影画像データ「ｉｍｇ’」と比較用画像データ「ｉ_０’」と比較し、差分のデータ「δ」を算出する（ステップＳ１０３）。

次に、ステップＳ１０４で、この差分のデータ「δ」が所定値以上であるか否かを判断し、所定値以上であれば、ステップＳ１０５で新たな復元画像データを生成する処理を行う。すなわち、差分のデータ「δ」を変化要因情報「ｇ」に基づいて、任意の初期画像データ「ｉ_０」に配分し、新たな復元画像データ「ｉ_０＋ｎ」を生成する。その後、ステップＳ１０２，Ｓ１０３，Ｓ１０４，Ｓ１０５を繰り返す。

ステップＳ１０４において、差分のデータ「δ」が所定値より小さい場合、処理を終了する（ステップＳ１０６）。そして、処理を終了した時点での復元画像データ「ｉ_０＋ｎ」を理想撮影画像データ「ｉｍｇ」と推定する。

任意の初期画像データ「ｉ_０」は、理想撮影画像データ「ｉｍｇ」とは異なるものであり、差分のデータ「δ」を０、すなわち、実撮影画像データ「ｉｍｇ’」＝復元画像データ「ｉ_０（ｉ_０＋ｎ）」とすることは難しく、特に、変化要因情報「ｇ」にノイズや誤差が含まれている場合には、差分のデータ「δ」を０とする復元はさらに困難となる。そのため、差分のデータ「δ」が所定値より小さくなった場合には、ある程度、撮影画像の復元ができたものとして、処理を終了し、このときの復元画像データ「ｉ_０（ｉ_０＋ｎ）」を撮影画像の復元画像データとしている。

ところで、例えば、理想撮影画像データ「ｉｍｇ」を、画像データの内容が既知である既知画像データであると仮定すると、この既知の理想撮影画像データ「ｉｍｇ」が既知画像変化手段において変化要因情報「ｇ」により変化させられた変化理想撮影画像データ「ｉｍｇ’」を変化既知画像データとして得ることができる。なお、既知画像変化手段においては、画像復元処理手段におけるステップＳ１０２と同様の処理が行われる。

そして、変化既知画像復元手段としても機能する画像復元処理手段にて、変化理想撮影画像データ「ｉｍｇ’」を任意の初期画像データ「ｉ_０」として、上述のステップＳ１０２からステップＳ１０５の処理を繰り返す復元処理により復元された復元画像データ「ｉ_０＋ｎ」を復元既知画像データとして得ることができる。

また、補正量取得手段にて、上述の復元既知画像データとしての復元画像データ「ｉ_０＋ｎ」と既知の理想撮影画像データ「ｉｍｇ」とを比較することで、復元画像データ「ｉ_０＋ｎ」を既知の理想撮影画像データ「ｉｍｇ」に補正するのに必要な補正量データを「ｄ」を得ることができる。

このようにして得られた補正量データ「ｄ」は、理想撮影画像データ「ｉｍｇ」が既知であると仮定したとき、任意の初期画像データ「ｉ_０」に対して上述の復元処理を行って得られた実撮影画像データ「ｉｍｇ’」の復元画像データ「ｉ_０＋ｎ」を理想撮影画像データ「ｉｍｇ」と比較し、この復元画像データ「ｉ_０＋ｎ」を既知の理想撮影画像データ「ｉｍｇ」に補正するのに必要な補正量に相当しているものと考えられる。したがって、任意の初期画像データ「ｉ_０」に対して復元処理して得られた復元画像データ「ｉ_０＋ｎ」を、補正手段において補正量データ「ｄ」で補正処理することにより、任意の初期画像データ「ｉ_０」から得られた復元画像データ「ｉ_０＋ｎ」を理想撮影画像データ「ｉｍｇ」にさらに近づけた復元の程度が良好に補正された復元画像データとすることができる。

なお、上述説明では、補正量データ「ｄ」の概念を解りやすくするため、既知画像データを理想撮影画像データ「ｉｍｇ」として補正量データ「ｄ」を求めたが、理想撮影画像データ「ｉｍｇ」は本来、不知のものである。一方、補正量データ「ｄ」は、既知画像データが任意のものであっても、同様の補正量として得ることができると考えられる。したがって、実際に補正量データ「ｄ」を求めるときには、任意の既知の画像データを用いることになる。

しかしながら、補正量データ「ｄ」を求めるための既知画像データは、復元の目標となる理想撮影画像データ「ｉｍｇ」に近い画像データである方が好ましい。したがって、復元画像データ「ｉ_０＋ｎ」、実撮影画像データ「ｉｍｇ’」、あるいは、これらの画像データ（「ｉ_０＋ｎ」，「ｉｍｇ’」）のエッジ強調した画像データであることが好ましい。このような画像データを用いることで、精度の高い補正量データ「ｄ」を得ることができる。

上述の補正処理について、図５のフローチャートを参照しながら説明する。

先ず、画像データの内容が既知である既知画像データ「Ｓｉｍｇ」を準備する（ステップＳ２０１）。例えば、復元画像データ「ｉ_０＋ｎ」、実撮影画像データ「ｉｍｇ’」、あるいは、これらの画像データ（「ｉ_０＋ｎ」，「ｉｍｇ’」）のエッジ強調した画像データを準備する。続いて、既知画像変化手段において、既知画像データ「Ｓｉｍｇ」を変化要因情報「ｇ」により変化させる変化処理を行い、変化既知画像データ「Ｓｉｍｇ’」を生成する（ステップＳ２０２）。そして、変化既知画像復元手段において、変化既知画像データ「Ｓｉｍｇ’」を任意の初期画像データ「ｉ_０」として、上述の図４に示すステップＳ１０２からステップＳ１０５の繰り返しの復元処理を行い、復元既知画像データ「Ｓｉ_０＋ｎ」を生成する（ステップＳ２０３）。

次いで、補正量取得手段において、復元既知画像データ「Ｓｉ_０＋ｎ」と既知画像データ「Ｓｉｍｇ」とを比較し、復元既知画像データ「Ｓｉ_０＋ｎ」を既知画像データ「Ｓｉｍｇ」に補正するのに必要な補正量データ「ｄ」を求める補正量取得処理が行われる（ステップＳ２０４）。そして、撮影された実撮影画像データ「ｉｍｇ’」に関し、図４に示すステップＳ１０２からステップＳ１０５の繰り返しの復元処理を行い（ステップＳ２０５）、補正手段において、ステップＳ２０５の復元処理で求められた復元画像データ「ｉ_０＋ｎ」に対し、ステップＳ２０４で求めた補正量の補正を行い、補正復元画像データ「ｄｉ_０＋ｎ」を生成する（ステップＳ２０６）。この補正復元画像データ「ｄｉ_０＋ｎ」は、補正量データ「ｄ」により復元画像データ「ｉ_０＋ｎ」が理想撮影画像データ「ｉｍｇ」に近づくように補正されたものとなっている。なお、ステップＳ２０５の処理は、ステップＳ２０１からＳ２０４の処理の前、またはこれに併行して行うようにしてもよい。

上述の補正量の算出（ステップＳ２０４）と復元画像データ「ｉ_０＋ｎ」の補正（ステップＳ２０６）は、例えば、図６、図７に示すように周波数空間において行うことができる。先ず、図６を参照しながら、補正量の算出（ステップＳ２０４）について説明する。

既知画像データ「Ｓｉｍｇ」は、フーリエ変換されることにより複素平面上では、例えば、Ｉｓ↑として表わすことができる。また、既知画像データ「Ｓｉｍｇ」を変化要因情報「ｇ」により変化させた変化既知画像データ「Ｓｉｍｇ’」は、フーリエ変換されることにより複素平面上では、例えば、Ｂｓ↑で表わすことができるものとする。そして、変化既知画像データ「Ｓｉｍｇ’」（Ｂｓ↑）に対して図４のステップＳ１０２からステップＳ１０５の繰り返しの復元処理を行って生成された復元画像データ「Ｓｉ_０＋ｎ」は、複素平面上では、例えば、Ｒｓ↑で表わされるものとする。なお、「↑」は、ベクトルを表わしている。以下の説明においても同様に「↑」はベクトルを表すものとする。

このように、復元画像データ「Ｓｉ_０＋ｎ」と既知画像データ「Ｓｉｍｇ」をそれぞれフーリエ変換し複素平面上で表すと、これらの各画像データを周波数空間における振幅と位相で表現できる。そして、Ｒｓ↑をＩｓ↑に補正する補正量データ「ｄ」を、Ｒｓ↑とＩｓ↑の振幅の比である補正比Ｍと位相のずれ量である位相補正量δθとを、それぞれ式（３）と式（４）として求めることが出来る。

Ｍ＝｜Ｉｓ↑｜／｜Ｒｓ↑｜ ・・・（３）
δθ＝θＩｓ−θＲｓ ・・・ （４）

そして、この補正量データ「ｄ」は、実撮影画像データ「ｉｍｇ’」についての復元画像データである復元画像データ「ｉ_０＋ｎ」と理想撮影画像データ「ｉｍｇ」との間にも等しく存在するものと考えられる。

そこで、復元画像データ「ｉ_０＋ｎ」に対して、補正量データ「ｄ」（補正比Ｍと位相補正量δθ）の補正をした画像データである補正復元画像データ「ｄｉ_０＋ｎ」を、復元画像データ「ｉ_０＋ｎ」よりも復元の程度が高められた画像データとして求める。このことを図７を参照しながら説明する。

実撮影画像データ「ｉｍｇ’」は、フーリエ変換されることにより複素平面上では、例えば、Ｂｒ↑で表されるとする。この実撮影画像データ「ｉｍｇ’」（Ｂｒ↑）に対して図４に示すステップＳ１０２からステップＳ１０５の繰り返しの復元処理を行って生成された復元画像データ「ｉ_０＋ｎ」は、フーリエ変換により複素平面上では、例えば、Ｒｒ↑で表わされるとする。そして、復元画像データ「ｉ_０＋ｎ」（Ｒｒ↑）に対して、補正量データ「ｄ」の補正、すなわち、補正比Ｍと位相補正量δθの補正をした画像データが補正復元画像データ「ｄｉ_０＋ｎ」として、複素平面上でＩｒ↑として表されている。すなわち、補正復元画像データ「ｄｉ_０＋ｎ」（Ｉｒ↑）の振幅｜Ｉｒ↑｜と位相θＩｒは、それぞれ次の式（５）、（６）に基づいて求められる。

｜Ｉｒ↑｜＝Ｍ｜Ｒｒ↑｜ ・・・ （５）
θＩｒ＝θＲｒ＋δθ ・・・ （６）

そして、式（５），（６）で表される振幅と位相の補正復元画像データ「ｄｉ_０＋ｎ」（Ｉｒ↑）を逆フーリエ変換することで、画像空間における補正復元画像データ「ｄｉ_０＋ｎ」を求めることができる。この補正復元画像データ「ｄｉ_０＋ｎ」は、復元画像データ「ｉ_０＋ｎ」よりも理想撮影画像データ「ｉｍｇ」に近い復元の程度が高められた画像データとなっている。

なお、復元画像データ「ｉ_０＋ｎ」から補正復元画像データ「ｄｉ_０＋ｎ」を求める手法は、次のようにしてもよい。図６に示すように、 Ｒｓ↑をＩｓ↑に補正する補正量データ「ｄ」は、補正比Ｍと位相補正量δθとして求める他、Ｒｓ↑をＩｓ↑に補正する補正ベクトルｄ↑として求めることができる。したがって、図８に示すように、復元画像データ「ｉ_０＋ｎ」（Ｒｒ↑）を補正ベクトルｄ↑で補正することで、補正復元画像データ「ｄｉ_０＋ｎ」（Ｉｒ↑）を求めるようにしてもよい。

以上は、図４に示す繰り返しの復元処理で求めた復元画像データ「ｉ_０＋ｎ」に補正処理を行う例を説明したものであるが、撮影画像データ「ｉｍｇ’」に対して伝達関数の逆変換を行うことで復元した画像データ、あるいはウィーナフィルタ、一般逆フィルタ等の手法で復元した画像データに上述の補正処理を行い、補正復元画像データ「ｄｉ_０＋ｎ」を求めるようにしてもよい。

ここでは伝達関数の逆変換を行うことで復元した画像データを例にとって説明をすることとする。この場合、実撮影画像データ「ｉｍｇ’」と理想撮影画像データ「ｉｍｇ」との関係は、伝達関数をＧとすると、周波数空間においては、式（９）のように表される。

Ｉｍｇ’＝Ｉｍｇ×Ｇ ・・・ （９）

Ｉｍｇ’：ｉｍｇ’をフーリエ変換した実撮影画像データである。
Ｉｍｇ：ｉｍｇをフーリエ変換した理想撮影画像データである。

また、式（９）を変形した下記の式（１０）によれば、実撮影画像データ「Ｉｍｇ’」から理想撮影画像データ「Ｉｍｇ」を求めることができる。すなわち、実撮影画像データ「Ｉｍｇ’」から理想撮影画像データ「Ｉｍｇ」を復元することができる。

Ｉｍｇ＝Ｉｍｇ’／Ｇ ・・・ （１０）

しかしながら、上述の「背景技術」の欄で説明したように、伝達関数が、ノイズやぶれ情報誤差等の影響を受け、「発明が解決しようとする課題」の欄で説明したように、撮影画像における劣化によって非常に小さくなってしまった情報については、復元処理を行うことにより、求めようとする劣化のない理想的な撮影画像との誤差がかえって拡大してしまうことがある。そのため、実撮影画像データ「Ｉｍｇ’」を式（１０）により復元した復元画像は、多くの場合、理想撮影画像データ「Ｉｍｇ」に復元しない。また、例えば、流し撮りが行われたような場合には、周波数空間において伝達関数Ｇが非常に小さくなってしまい、この場合にも、実撮影画像データ「Ｉｍｇ’」を式（１０）により復元した復元画像は、多くの場合、理想撮影画像データ「Ｉｍｇ」に復元しない。そこで、次のようにして、式（１０）により求めた復元画像の補正を行うことで、復元画像の復元の程度を高めることができる。

先ず、式（９）において、理想撮影画像データ「Ｉｍｇ」を任意の既知の画像データとし、この任意の既知画像データ「Ｉｍｇ」を伝達関数Ｇで変化させた変化既知画像データ「Ｉｍｇ’」を求める。そして、この変化既知画像データ「Ｉｍｇ’」に対して式（１０）により伝達関数Ｇの逆変換を行い、復元既知画像データ「Ｉｍｇ」を求める。

本来であれば、式（１０）により復元された復元既知画像データ「Ｉｍｇ」は、逆変換の対象となっている変化既知画像データ「Ｉｍｇ’」の元の画像である既知画像データ「Ｉｍｇ」と等しくなるはずである。しかしながら、伝達関数に含まれるノイズ等の影響で、伝達関数Ｇが周波数空間において非常に小さくなっている周波数帯域がある場合には、実撮影画像データが非常に小さくなってしまっている周波数帯域における実撮影画像データを、非常に小さな伝達関数Ｇで割算することになり、数式としては式（１０）のように表されても、実際の数値で計算すると誤差が非常に大きくなり、復元既知画像データ「Ｉｍｇ」は、既知画像データ「Ｉｍｇ」と等しくならない。この復元既知画像データ「Ｉｍｇ」を既知画像データ「Ｉｍｇ」に補正するのに必要な補正量は、実撮影画像データ「Ｉｍｇ’」について式（１０）により求めた復元画像データを理想撮影画像データ「Ｉｍｇ」に補正する補正量に相当すると考えられる。したがって、実撮影画像データ「Ｉｍｇ’」について式（１０）により求めた復元画像データに対して、該補正量の補正を行うようにしても、復元画像データの復元の程度を高めることができる。

以上に説明した実施の形態の説明の中では、変化要因情報保存部７に保存されている情報を利用しなかったが、ここに保存されている既知の変化要因、たとえば光学収差やレンズのひずみ等のデータを使用するようにしても良い。また、この変化要因情報保存部７を設置しないようにして、撮影時の動的要因、たとえばぶれのみで画像を修正したり復元したりしても良い。

以上、本発明の実施の形態に係る画像処理装置１について説明したが、本発明の要旨を逸脱しない限り種々変更実施可能である。たとえば、処理部４で行った処理は、ソフトウエアで構成しているが、それぞれ、一部の処理を分担して行うようにした部品からなるハードウェアで構成しても良い。

また、上述した各処理方法は、プログラム化されても良い。また、プログラム化されたものが記憶媒体、たとえばＣＤ、ＤＶＤ、ＵＳＢメモリに入れられ、コンピュータによって読み通り可能とされても良い。この場合、画像処理装置１は、その記憶媒体内のプログラムを読み込む読み込み手段を持つこととなる。さらには、そのプログラム化されたものが画像処理装置１の外部のサーバに入れられ、必要によりダウンロードされ、使用されるようにしても良い。この場合、画像処理装置１は、その記憶媒体内のプログラムをダウンロードする通信手段を持つこととなる。

本発明の実施の形態に係る画像処理装置の主要構成を示すブロック図である。 図１に示す画像処理装置の概要を示す外観斜視図で、角速度センサの配置位置を説明するための図である。 図１で示す画像処理装置で行う処理方法の概念を説明するための図である。 図１に示す画像処理装置の処理部で行う処理方法（処理ルーチン）であって基本的な考え方を説明するためのフローチャートである。 図１で示す画像処理装置で行う補正処理について説明するためのフローチャートである。 図１で示す画像処理装置で行う補正量の算出と復元画像データの補正の概念を説明する図である。 図１で示す画像処理装置で行う実撮影画像データについての補正量の算出と復元画像データの補正の概念を説明する図である。 図１で示す画像処理装置で行う実撮影画像データについての補正量の算出と復元画像データの補正を差分のベクトルで処理するときの概念を説明する図である。

符号の説明

１ ・・・ 画像処理装置
４ ・・・ 処理部（既知画像変化手段、変化既知画像復元手段、補正量取得手段、補正手段）
ｇ ・・・ 変化要因情報
ｉ_０ ・・・ 変化画像データ
ｉ_０＋ｎ ・・・ 復元画像データ
ｄ ・・・ 補正量
ｄ↑ ・・・ 差分ベクトル
Ｓｉｍｇ ・・・ 既知画像データ
Ｓｉｍｇ’ ・・・ 変化既知画像データ
Ｓｉ_０＋ｎ ・・・ 復元既知画像データ

Claims (8)

1. 変化画像データを変化要因情報を用いて復元処理する処理部を有する画像処理装置において、
   上記処理部は、画像データの内容が既知である既知画像データを上記変化要因情報により変化させた変化既知画像データと、上記変化既知画像データを上記復元処理することにより復元既知画像データとを得、
   上記復元既知画像データを上記既知画像データと比較して上記復元既知画像データを上記既知画像データに補正するのに必要な補正量を得、
   上記変化画像データを上記復元処理した復元画像データを、上記補正量に基づいて補正する処理を行う、
   ことを特徴とする画像処理装置。
2. 前記処理部は、
   前記変化既知画像データを得る既知画像変化手段と、
   前記復元既知画像データを得る変化既知画像復元手段と、
   前記補正量を得る補正量取得手段と、
   前記変化画像データを前記復元処理した復元画像データを、前記補正量に基づいて補正する補正手段と、
   を備えることを特徴とする請求項１に記載の画像処理装置。
3. 前記補正量取得手段は、前記復元既知画像データと前記既知画像データとの比較を周波数空間で行い、前記補正量を位相量あるいは振幅量として得て、
   前記補正手段は、上記位相量あるいは上記振幅量として得られた前記補正量に基づいて前記復元画像データを補正する、
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記補正量取得手段は、前記復元既知画像データと前記既知画像データとの比較を周波数空間で行い、前記補正量を、前記復元既知画像データと前記既知画像データとの差分のベクトルとして得て、
   前記補正手段は、上記差分ベクトルとして得られた前記補正量に基づいて前記復元画像データを補正する、
   ことを特徴とする請求項２に記載の画像処理装置。
5. 前記既知画像データは、前記復元画像データまたは前記変化画像データであることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記既知画像データは、前記復元画像データまたは前記変化画像データをエッジ強調した画像であることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
7. 変化画像データを変化要因情報を用いて復元処理する画像処理方法において、
   画像データの内容が既知である既知画像データを上記変化要因情報により変化させた変化既知画像データを得る既知画像変化ステップと、
   上記変化既知画像データを上記復元処理して復元既知画像データを得る変化既知画像復元ステップと、
   上記復元既知画像データを上記既知画像データと比較して上記復元既知画像データを上記既知画像データに補正するのに必要な補正量を得る補正量取得ステップと、
   上記変化画像データを上記復元処理した復元画像データを上記補正量に基づいて補正する補正ステップと、
   を有することを特徴とする画像処理方法。
8. 変化画像データを変化要因情報を用いて復元処理する画像処理プログラムにおいて、
   画像データの内容が既知である既知画像データを上記変化要因情報により変化させた変化既知画像データを得る既知画像変化処理と、
   上記変化既知画像データを上記復元処理して復元既知画像データを得る変化既知画像復元処理と、
   上記復元既知画像データを上記既知画像データと比較して上記復元既知画像データを上記既知画像データに補正するのに必要な補正量を得る補正量取得処理と、
   上記変化画像データを上記復元処理した復元画像データを上記補正量に基づいて補正する補正処理と、
   をコンピュータに実行させることを特徴とする画像処理プログラム。
   

Images