JP5252450B2 - 画像処理装置、撮像装置及び画像処理プログラム - Google Patents

Description

本発明は、入力された観測対象の像が多重になっている重像画像の重像状態を復元する画像処理装置及びそれを用いた撮像装置、並びに、コンピュータにそのような画像処理装置の手順を実行させる画像処理プログラムに関する。

ここで、本明細書中において、「重像画像」とは、図９に示すように、観測対象がある変位を持って多重に撮像されている画像全般を表し、重像画像に含まれる重像を形成する各像間は、ある変形量を持って対応している。本明細書中では、各像間の変形の方向を「像間の変形方向」、変形の量を「像間の変形量」と称している。

なお、ここでいう「重像画像」は、具体的には、撮像装置により積極的に撮像された重像画像だけではなく、期せずして観測対象がある変位を持って取得された画像であればどの様な形態の画像でも構わないものとする。その様な重像画像の例としては、例えばテレビジョンシステムにおける、電波受信に問題があった場合のテレビジョン映像等が該当する。

また、「多重」とは、少なくとも一部が重なっている状態を意味する。

さらに、「復元画像」とは、重像画像内に多重に映り込んだ像が、多重ではない状態、すなわち一重になった状態の画像を表す。

また、「画像信号の強度の変動量」とは、ある画素の画素値に対して、その近隣の画素値がどれだけ変化しているかを表す量である。

カメラなどの撮像装置で撮像を行う場合に、撮像装置内に被写体の像を多重に撮影する機構を具備し、被写体の像を多重像の形で撮影し、その重像画像を形成する重像の像間の変位を計測することで、被写体までの距離を計測するなどの技術が提案されている。例えば、特許文献１では透明板に映る２重像を用いて距離計測を行う手法を開示している。また、特許文献２では、複数開口を持つ絞りを利用することにより２重像を取得し、距離計測を行う手法を開示している。

また、従来、建物などによる電波の反射の影響でテレビの画像が多重に映るゴースト画像のゴーストを除去する場合には、特許文献３に開示されているように、ゴースト除去用基準信号（ＧＣＲ信号：Ghost Cancel Reference信号）等を用いたゴースト除去手法が用いられていた。

また、カメラなどの撮像装置で撮像を行う場合に、逆光や強い光がレンズ表面や内部で反射・散乱を起こし生じるフレア現象による多重像生成が知られているが、このような現象を生じさせないために、カメラレンズ周りにレンズフードを装着するなどの工夫が行われる。

さらに、従来、複数枚画像の位置合わせ処理を行い、その複数枚画像の重ね合わせ処理を行った場合に、位置合わせ処理の失敗から、重ね合わせ後の画像に重像が現れることがあったが、そのような場合は、像間をぼかし、画像を補正するという処理を行っていた。

特開２００６−３２９８９７号公報 特開平７−１３５５９７号公報 特開２０００−１５６７９９号公報

しかしながら、例えば上記の特許文献に開示されるごとく、撮像装置により撮像された重像画像に基づいて撮像位置から被写体までの被写体距離を計測することは確かに可能であるが、被写体距離を計測するために撮像された重像画像は観賞に耐えられないという問題があった。

本発明は、上記の点に鑑みてなされたもので、被写体の像が多重になっている１枚の重像画像から被写体の像が多重になっていない復元画像を生成できる画像処理装置、撮像装置及び画像処理プログラムを提供することを目的とする。

本発明の画像処理装置の一態様は、
被写体の像が多重になっている重像画像の入力処理を行う画像入力手段と、
上記重像画像に含まれる重像を形成する像間の信号強度の関係を示す信号強度関係情報を取得する信号強度関係取得手段と、
上記重像画像内で、第１の部分領域を設定する第１の部分領域設定手段と、
上記第１の部分領域における復元画像を取得する復元画像取得手段と、
上記第１の部分領域における像間の変形量を設定する像間変形量設定手段と、
上記設定された像間の変形量を用いて上記第１の部分領域を変形させた際に対応する第２の部分領域を設定する第２の部分領域設定手段と、
上記入力された重像画像から上記第２の部分領域における重像画像を取得する重像画像取得手段と、
上記信号強度関係取得手段により取得された信号強度関係情報を用いて、上記第１の部分領域における復元画像と上記第２の部分領域における重像画像との加算処理を行い、上記第２の部分領域における復元画像を取得する復元手段と、
上記第１の部分領域設定手段に、上記第２の部分領域を新しい第１の部分領域として設定させて、上記像間変形量設定手段、上記第２の部分領域設定手段及び上記重像画像取得手段を動作させ、上記復元手段に、上記信号強度関係情報を用いて、当該復元手段によって取得済みの上記新しい第１の部分領域における復元画像と新しい第２の部分領域における重像画像との加算処理を行わせて、上記新しい第２の部分領域における復元画像を取得させる、ことを繰り返し行わせる制御手段と、
を有することを特徴とする。

また、本発明の撮像装置の一態様は、
被写体の光束を結像する撮影光学系と、
上記撮影光学系内において像を多重に結像させる多重像結像手段と、
上記撮影光学系からの光を電気信号に変換する光電変換手段と、
上記光電変換手段で変換された電気信号から画像信号を生成する画像信号生成手段と、
上記撮影光学系、上記多重像結像手段、上記光電変換手段及び上記画像信号生成手段により生成された、少なくとも２つ以上の像が多重化されている重像画像に含まれる重像を形成する像間の信号強度の関係を示す信号強度関係情報を取得する信号強度関係取得手段と、
上記重像画像内で、第１の部分領域を設定する第１の部分領域設定手段と、
上記第１の部分領域における復元画像を取得する復元画像取得手段と、
上記第１の部分領域における像間の変形量を設定する像間変形量設定手段と、
上記設定された像間の変形量を用いて上記第１の部分領域を変形させた際に対応する第２の部分領域を設定する第２の部分領域設定手段と、
上記生成された重像画像から上記第２の部分領域における重像画像を取得する重像画像取得手段と、
上記信号強度関係取得手段により取得された信号強度関係情報を用いて、上記第１の部分領域における復元画像と上記第２の部分領域における重像画像との加算処理を行い、上記第２の部分領域における復元画像を取得する復元手段と、
上記第１の部分領域設定手段に、上記第２の部分領域を新しい第１の部分領域として設定させて、上記像間変形量設定手段、上記第２の部分領域設定手段及び上記重像画像取得手段を動作させ、上記復元手段に、上記信号強度関係情報を用いて、当該復元手段によって取得済みの上記新しい第１の部分領域における復元画像と新しい第２の部分領域における重像画像との加算処理を行わせて、上記新しい第２の部分領域における復元画像を取得させる、ことを繰り返し行わせる制御手段と、
を有することを特徴とする。

また、本発明の画像処理プログラムの一態様は、
被写体の像が多重になっている重像画像の入力処理を行う画像入力ステップと、
上記重像画像に含まれる重像を形成する像間の信号強度の関係を示す信号強度関係情報を取得する信号強度関係取得ステップと、
上記重像画像内で、第１の部分領域を設定する第１の部分領域設定ステップと、
上記第１の部分領域における復元画像を取得する復元画像取得ステップと、
上記第１の部分領域における像間の変形量を設定する像間変形設定ステップと、
上記設定された像間の変形量を用いて上記第１の部分領域を変形させた際に対応する第２の部分領域を設定する第２の部分領域設定ステップと、
上記入力された重像画像から上記第２の部分領域における重像画像を取得する重像画像取得ステップと、
上記信号強度関係取得ステップで取得した信号強度関係情報を用いて、上記第１の部分領域における復元画像と上記第２の部分領域における重像画像との加算処理を行い、上記第２の部分領域における復元画像を取得する復元ステップと、
上記第１の部分領域設定ステップにおいて、上記第２の部分領域を新しい第１の部分領域として設定させて、上記像間変形設定ステップ、上記第２の部分領域設定ステップ及び上記重像画像取得ステップを行わせ、上記復元ステップにおいて、上記信号強度関係情報を用いて、当該復元ステップで取得済みの上記新しい第１の部分領域における復元画像と新しい第２の部分領域における重像画像との加算処理を行わせて、上記新しい第２の部分領域における復元画像を取得させる、ことを繰り返し行わせる制御ステップと、
をコンピュータに発揮させることを特徴とする。

本発明によれば、重像画像の第１の部分領域の復元画像から第２の部分領域の復元画像を取得し、その第２の部分領域を新たな第１の部分領域として次の第２の部分領域の復元画像を取得することを逐次的に行って、重像画像全体の復元画像を生成するので、被写体の像が多重になっている１枚の重像画像から被写体の像が多重になっていない復元画像を生成できる画像処理装置、撮像装置及び画像処理プログラムを提供することができる。

図１は、本発明の第１実施形態に係る画像処理装置の構成を示す図である。 図２は、図１中の復元部の構成図である。 図３は、第１の部分領域の設定方法の一例を説明するための図である。 図４は、第１の部分領域の設定方法の別の例を説明するための図である。 図５は、像間の変形量の計測及び重像画像の復元処理の逐次処理を説明するための図である。 図６は、第１実施形態に係る画像処理装置の動作を説明するためのフローチャートを示す図である。 図７は、本発明の第２実施形態に係る撮像装置の構成を示す図である。 図８は、第２実施形態に係る撮像装置の動作を説明するためのフローチャートを示す図である。 図９は、重像画像の例を示す図である。

以下、本発明を実施するための形態を図面を参照して説明する。

［第１実施形態］
図１は、本発明の第１実施形態に係る画像処理装置１０の構成を示す図であり、該画像処理装置１０は、入力部１１、記録部１２、像間変形方向算出・記憶部１３、像間強度比設定部１４、像間変形量設定部１５、復元部１６、像間変形量決定部１７、復元画像出力部１８、出力部１９、制御部２０及び外部Ｉ／Ｆ部２１から構成されている。

ここで、入力部１１は、記録部１２に接続されている。記録部１２は、像間変形方向算出・記憶部１３、像間強度比設定部１４、復元部１６及び出力部１９に接続されている。像間変形方向算出・記憶部１３は、像間変形量設定部１５に接続されている。像間強度比設定部１４は、復元部１６に接続されている。像間変形量設定部１５は、復元部１６に接続されている。復元部１６は、像間変形量決定部１７及び復元画像出力部１８に接続されている。像間変形量決定部１７は、記録部１２に接続されている。復元画像出力部１８は、記録部１２に接続されている。制御部２０は、制御信号線により、入力部１１、記録部１２、像間変形方向算出・記憶部１３、像間強度比設定部１４、像間変形量設定部１５、復元部１６、像間変形量決定部１７、復元画像出力部１８及び外部Ｉ／Ｆ部２１と双方向に接続されている。

次に、本実施形態の作用を説明する。

入力部１１は、画像の入力処理を行う画像入力手段であり、該入力部１１より、図９に示すような、観測対象である被写体の像が多重化されている重像画像１００が入力されると、記録部１２に記録される。

像間変形方向算出・記憶部１３、像間強度比設定部１４、像間変形量設定部１５、復元部１６、像間変形量決定部１７及び復元画像出力部１８は、上記記録部１２に記録された重像画像１００について、制御部２０による当該重像画像１００に存在する重像を形成する像間の変形量計測を開始する指示信号により、像間の変形量の計測を開始する。この、制御部２０からの指示信号は、外部Ｉ／Ｆ部２１においてユーザが直接信号を発生させるように操作させ発生させても良いし、記録部１２に記録された時点で制御部２０が自動的に信号を発生させても良い。

重像を形成する像間の変形量計測が開始されると、像間変形量設定手段としての像間変形量設定部１５では、重像を形成する像間の変形量を示す仮の変形量を複数設定する。

ここで、像間変形量設定部１５で設定される重像を形成する像間の変形量は任意の設定値を取ることができるが、より効率的な変形量設定の方法として、予め重像を形成する像間の変形方向を取得しておき、その方向に沿った変形量のみを設定するという形態をとっても構わないものとする。例えば、重像画像を取得する撮像装置が予め特定されており、その撮像装置の光学系では重像を形成する像間の変形方向がどちらの方向であるのかが一意に決まるような場合がある。この場合の重像を形成する像間の変形方向は、予め自己相関演算等の何らかの方法で取得しておき、像間変形方向記憶手段としての像間変形方向算出・記憶部１３に記憶しておいたものを用いる。これにより、像間の変形方向を算出する必要が無く、また、設定する変形量の数も少なくすることができるので、より高速に測定結果が得られる。

また、そのように予め像間変形方向算出・記憶部１３に記憶しておく代わりに、重像画像の付加情報として画像のヘッダ等、画像の情報が記述可能な領域に、重像を形成する像間の変形方向を記載しておき、それを像間変形方向算出・記憶部１３で読み取って重像を形成する像間の変形方向として利用するという構成をとっても良い。あるいは、像間変形方向算出・記憶部１３では、重像を形成する像間の変形方向を算出する像間変形方向算出手段の機能を備え、その場で自己相関演算等の何らかの方法で像間の変形方向を取得し、その方向を像間の変形方向として利用するという構成をとっても良い。このようにすることで、像間の変形方向が未知の重像画像についても計測が可能となる。

信号強度関係取得手段である像間強度比設定部１４は、重像画像１００に含まれる重像を形成する像間の信号強度の関係を示す信号強度関係情報である像間の信号の強度比を設定する。この像間強度比設定部１４で設定される像間の信号の強度比は、任意の設定値を取ることができる。

この像間強度比設定部１４で設定する像間の信号の強度比は、通常、一つの値であり、重像画像に特有の像間の信号の強度比を設定すれば良い。この値は、予め像間強度比設定部１４において保持しておいても良いし、重像画像の付加情報として画像のヘッダ等画像の情報が記述可能な領域に像間の信号の強度比を記載しておき、それを像間強度比設定部１４で読み取り、像間の信号の強度比として利用するという構成をとっても良いし、外部Ｉ／Ｆ部２１を介してユーザが直接像間の信号の強度比を設定するという構成をとっても良い。

また、像間の信号の強度比が未知である場合や、既知であるが誤差を含みより正しい信号の強度比を求めたい場合などは、像間強度比設定部１４において像間の信号の強度比を複数設定し、その複数設定された信号の強度比毎に復元部１６において復元処理を行って復元画像を作成し、それらの復元画像を用いて像間変形量決定部１７において評価値を算出し、その算出された評価値に基づき一つの信号の強度比を求めるという構成をとっても構わない。

なお、本実施形態に係る画像処理装置１０は本来、重像を形成する像間の変形量を求めるものであるが、重像を形成する像間の変形量が既知であり、像間の信号の強度比が未知の場合は、像間変形量設定部１５の設定値を一つにし、像間強度比設定部１４の設定を複数個にすることで、重像画像に含まれる重像を形成する像間の信号の強度比を求める画像処理装置とすることが出来る。

以下では、像間変形量設定部１５において像間の変形量を複数設定し、像間強度比設定部１４において像間の強度比を一つに設定する場合を説明する。

次に、記録部１２に記録された処理対象となる重像画像１００が、復元部１６へ送信される。また、像間変形量設定部１５で設定された複数（又は１つ）の重像を形成する像間の変形量が、復元部１６へ送信される。さらに、像間強度比設定部１４で設定された１つ又は複数の重像を形成する像間の信号の強度比が、復元部１６へ送信される。復元部１６では、これら送信されてきた重像画像１００、像間の変形量及び像間の信号の強度比を用いて重像画像１００の復元画像を推定する復元処理が行われる。

この復元部１６における復元処理は、以下の様に行われる。
まず、ここでは、復元の対象となる重像画像１００が２重像の場合の説明を行う。始めに２重像画像が生成される過程をモデル化し、その後その復元処理を表す。

２重像画像が生成されるモデルは、以下の式（１）のようになる。

ｇ（ｘ）＝ｆ（ｘ）＋γＡ（ｐ）ｆ（ｘ） …（１）
ここで、ｇは２重像画像、ｘは画像座標、ｆは２重像画像となる前の原画像、ｐは像間変形量設定部１５から送信された重像を形成する像間の変形量、Ａ（ｐ）は像間の変形量ｐで画像を変形する為の行列、γは像間強度比設定部１４から送信された像間の信号強度の減衰量（像間強度比設定部１４で設定される像間の信号の強度比はこの減衰量γである）、をそれぞれ表す。

重像を形成する像間の変形量ｐは、平行移動の他、回転移動、アフィン変形、射影変換等、任意の変形パラメータを利用することが出来る。

上記式（１）を変形すると、以下の式（２）のようになる。

ｆ（ｘ）＝ｇ（ｘ）−γＡ（ｐ）ｆ（ｘ） …（２）
即ち、２重像画像となる前の原画像は、２重像画像から、像間の変形量だけ変形させた２重像画像となる前の画像を引いたものとなる。２重像画像となる前の原画像ｆを、２重像を復元した復元画像とすると、上記式（２）は、以下の式（３）のようになる。

ここで、ｆ＾は２重像を復元した復元画像である。

この式（３）に示した２重像画像復元の原理を用いて、重像画像から復元画像の生成を行う。

実際の復元画像の生成手順は、以下のようになる。
即ち、上記像間強度比設定部１４で設定された像間の強度比、上記像間変形量設定部１５で設定された複数の像間の変形量、上記記録部１２に記録されていた重像画像１００が、復元部１６に送信される。また、既に送信される重像画像１００の復元画像の一部でも記録部１２に記録されていた場合には、それを復元部１６に送信しても良い。

復元部１６は、図２に示すように、第１部分領域設定部１６１、第２部分領域設定部１６２及び信号処理部１６３から構成されている。第１部分領域設定部１６１は、第２部分領域設定部１６２及び信号処理部１６３に接続されている。第２部分領域設定部１６２は、信号処理部１６３に接続されている。上記記録部１２からの重像画像１００は、第１部分領域設定部１６１及び第２部分領域設定部１６２に送信される。上記像間変形量設定部１５で設定された複数の像間の変形量は、第２部分領域設定部１６２に送信される。上記像間強度比設定部１４で設定された像間の強度比は、信号処理部１６３に送信される。

この復元部１６では、始めに、第１の部分領域設定手段である第１部分領域設定部１６１において、重像画像１００内での第１の部分領域を設定する。次に、第２の部分領域設定手段である第２部分領域設定部１６２において、上記像間変形量設定部１５から複数送信された変形量のうちの一つで上記第１の部分領域を変形させたとき、その変形先にある部分領域を、対応する第２の部分領域として設定する。

なお、上記第１部分領域設定部１６１において第１の部分領域を設定する方法としては、例えば、図３又は図４に示すような方法を用いる。

図３に示す例では、像間の変形方向において、像の強度が大きい方向側の画像領域に、第１の部分領域を設定している。図内の複数の太線で囲った正方形矩形領域が、各々の第１の部分領域１０１となる。各々の第１の部分領域１０１は、お互いに領域が重複した形で設定されている。このように第１の部分領域１０１を設定しておくと、この第１の部分領域１０１に対応する第２の部分領域は、重像間の変形方向における像の強度が小さい方向側となるため、第２の部分領域を新たな第１の部分領域とする場合（後述）、効率の良い処理が可能となる。

また、図４は、重像画像１００においてランダムに第１の部分領域１０１を設定する例であり、第１部分領域設定部１６１として、このような第１の部分領域１０１を設定する構成を採っても構わない。

図３及び図４では、できるだけ隙間なく第１の部分領域１０１を設定することが好ましい。

なお、第１の部分領域１０１の設定法は、ここで挙げた方法に限定されるものではなく、例えば画像内である矩形領域を画素毎に密にずらしながら第１の部分領域を設定するという形態をとっても良いし、画像を複数の矩形領域に分割しそのそれぞれを第１の部分領域とするという形態をとっても良い。

上記第１部分領域設定部１６１において設定された第１の部分領域１０１における重像画像及び第２部分領域設定部１６２において設定された第２の部分領域における重像画像は、信号処理部１６３に送信される。信号処理部１６３は、第２の部分領域における重像画像を取得する重像画像取得手段として機能すると共に、これらの部分領域について像間の強度比を掛け合わせて差をとることで復元処理を行うことで、第２の部分領域における復元画像を取得する復元手段としても機能する。ここで、画像座標ｘ周辺の部分領域を第１の部分領域１０１、この画像座標ｘ周辺の部分領域（第１の部分領域１０１）を変形行列Ａ^−１（ｐ）で変形させた先にある部分領域を第２の部分領域とすると、上記処理は、次の式（４）のように表される。

この処理により、第２の部分領域における復元画像が求まる。ここで、上記式（４）の右辺第２項−γｇ（ｘ）は、本来、−γｆ＾（ｘ）という第１の部分領域１０１における復元画像を用いるべきであるが、実際に第１の部分領域１０１における復元画像が求まっていない場合は、復元画像の代わりとして第１の部分領域１０１における重像画像を用い、−γｇ（ｘ）としても構わないものとする。

また、第１の部分領域１０１における復元画像を求めるその他の構成として、上記式（４）の右辺第２項−γｇ（ｘ）を−γｆ＾（ｘ）とするよう、復元画像ｆ＾（ｘ）をその他の方法で復元する方法を採っても良い。ここでは、その一例を示す。上記式（３）は、以下の式（４）のように書くことができる。

ここで、上記式（５）は、以下の式（６）のようなテーラー展開の式より式（７）のように書ける。

よって、重像画像ｇ、重像間の変形量ｐ及び信号強度の減衰量γを用い、上記式（７）を計算することで、復元画像ｆ＾（ｘ）を求めることができる。

勿論、上記式（４）の右辺第２項−γｆ＾（ｘ）の復元画像ｆ＾（ｘ）の復元法は、この手法に限定されず、任意の手法を用いることが可能である。

このように、該信号処理部１６３は、第１の部分領域における復元画像を取得する復元画像取得手段としても機能する。

該信号処理部１６３において復元処理が行われた第２の部分領域における復元画像は、その復元画像を生成したときに用いた像間の変形量と共に、像間変形量決定部１７に送信され、像間変形量決定部１７では、この送信された変形量の評価を行う。

上記像間変形量設定部１５によって設定された像間の変形量を用いた上記復元部１６による復元及び上記像間変形量決定部１７による像間の変形量の評価を、上記像間変形量設定部１５で設定された複数の像間の変形量それぞれについて行う。像間変形量決定部１７では、複数評価された像間の変形量に対する評価値に基づき、像間の変形量を一つ決定する。また、この時決定された像間の変形量に対応する復元画像も決定する。像間変形量決定部１７の詳細については後述する。

なお、像間変形量設定部１５において設定される重像を形成する像間の変形量が一つであった場合、その像間変形量を正しい像間の変形量とみなし、像間変形量決定部１７による像間の変形量の評価及び像間の変形量の決定の処理を省略しても良い。例えば、自己相関による計測法を用いて像間の変形量の計測を行い、計測された像間の変形量を像間変形量設定部１５において一つ設定するという構成をとっても良い。

次に、更に復元処理を続ける場合は、制御手段としての制御部２０は、上記第１部分領域設定部１６１に、この像間変形量決定部１７で決定された像間の変形量に対応する第２の部分領域を新しい第１の部分領域として設定させて、処理を続ける。その際、第１の部分領域における復元画像を取得する復元画像取得手段として機能する復元部１６の信号処理部１６３は、この新しい第１の部分領域における復元画像として、像間変形量決定部１７で決定された像間の変形量に対応する第２の部分領域における復元画像を用いる。そして新たに、像間変形量設定部１５において像間の変形量を複数設定し、第２部分領域設定部１６２において、新しい第１の部分領域に対応する、新しい第２の部分領域を上記同様に設定する。ここで、新しい第１の部分領域では既に復元画像が求まっているので、信号処理部１６３における復元処理の式は、以下の式（８）のようになる。

この処理により、新しい第２の部分領域における復元画像が求まる。信号処理部１６３において復元処理が行われた新しい第２の部分領域における復元画像は、その復元画像を生成したときに用いた像間の変形量と共に像間変形量決定部１７に送信され、像間変形量決定部１７では、この送信された変形量の評価が行われる。上記設定された像間の変形量を用いた復元部１６による復元処理及び像間変形量決定部１７による像間の変形量の評価を、像間変形量設定部１５で設定された複数の像間変形量それぞれについて行い、像間変形量決定部１７において評価された像間の変形量に対する評価値に基づき、像間の変形量を一つ決定する。また、この時決定された像間の変形量に対応する復元画像も決定する。

上記のように、像間変形量決定部１７による像間の変形量の決定及び復元画像の決定を繰り返すことにより、重像を形成する像間の変形量の計測及び重像画像の復元処理を逐次的に行っていく。

この逐次的な処理について、模式図で表すと、図５のようになる。始めに、第１部分領域設定部１６１において、第１の部分領域（座標ｘ_１の周辺領域）が設定される。第１の部分領域に対する第２の部分領域（座標ｘ_２の周辺領域）が、変形行列Ａ^−１（ｐ_１）により求まる（ｐ_１は像間変形量決定部１７において求める）。この第２の部分領域における復元画像は、以下の式により求まる。

以上の式により、座標ｘ_２の周辺領域の復元画像が求まったので、この領域を新しい第１の部分領域に設定し、変形行列Ａ^−１（ｐ_２）を用いて新しい第２の部分領域（座標ｘ_３の周辺領域）を設定し、上記同様に新しい第２の部分領域について復元処理を行う（ｐ_２は像間変形量決定部１７における評価値算出によって求める）。

上記処理を繰り返すことにより、画像座標ｘ_１，ｘ_２，ｘ_３，ｘ_４，ｘ_５，…と各画像座標周辺の復元画像を逐次的に求める。

なお、この時、画像座標ｘ_１，ｘ_２，ｘ_３，ｘ_４，ｘ_５，…の各画像座標間の像間の変形量ｐ_１，ｐ_２，ｐ_３，ｐ_４，ｐ_５，…を求めなければならない。この各画像座標間の変形量は、像間変形量決定部１７で求められる。像間変形量決定部１７における処理の詳細は後述する。

また、図５では、画像座標ｘ_１，ｘ_２，ｘ_３，ｘ_４，ｘ_５，周辺の各部分領域間に重複する領域がない場合を図示しているが、実際は各部分領域の間に重複する領域があっても構わない。

また、より一般的な、重像画像がＮ重像（Ｎ≧２）の場合、復元処理の為の式は以下のようになる。

Ｎ重像画像が生成されるモデルは、以下の式（１３）のようになる。

この式（１３）を変形すると、以下の式（１４）のようになる。

２重像画像となる前の原画像ｆを、Ｎ重像を復元した復元画像ｆ＾とすると、上記式（１４）は以下の式（１５）のようになる。

即ち、２重像の復元式（３）における変形行列γＡ（ｐ）を、以下の式（１６）ように置き換えることにより、Ｎ重像画像の復元は、上記同様の処理により逐次的に復元可能である。

以上で説明した処理により、復元部１６における復元処理は行われる。

以下、上記像間変形量決定部１７内の処理の説明を行う。
上記復元部１６における復元処理で生成された画像座標ｘ周辺の部分領域において、重像を形成する像間の変形量ｐで復元処理が行われた復元画像をｆ（ｘ，ｐ）とする。復元画像ｆ（ｘ，ｐ）は、像間の変形量ｐと共に、像間変形量決定部１７へと送信される。

像間変形量決定部１７では、上記復元部１６より送信された復元画像ｆ（ｘ，ｐ）を用いて、その復元画像を推定することに用いられた像間の変形量ｐの真の値としての妥当性を表す評価値を算出し、その評価値を用いて重像画像１００に含まれる重像を形成する像間の変形量を、一つ真の値として決定する。

以下、像間変形量決定部１７内での処理の流れを説明する。

像間変形量決定部１７に、復元部１６において復元処理が行われた複数の復元画像が送信される。これらの復元画像は、像間変形量設定部１５において複数設定された異なる像間の変形量それぞれを用いて復元処理が行われた画像である。異なる像間の変形量を、
ｐ_１，ｐ_２，ｐ_３，ｐ_４，ｐ_５，… …（１７）
とすると、複数の復元画像は、
ｆ（ｘ，ｐ_１），ｆ（ｘ，ｐ_２），ｆ（ｘ，ｐ_３），ｆ（ｘ，ｐ_４），ｆ（ｘ，ｐ_５）
…（１８）
となる。

即ち、復元画像ｆ（ｘ，ｐ_ｋ）は、変形量ｐ_ｋに対応している（ｋ＝１，２，３，４，５，…）。この対応関係から、変形量ｐ_ｋの真の値としての妥当性を復元画像ｆ（ｘ，ｐ_ｋ）から求める。なお、妥当性の評価は、復元画像ｆ（ｘ，ｐ_ｋ）に正規化変数βをかけたもの（即ち、明るさの正規化を行っていないもの）で行っても構わない。

像間変形量決定部１７では、変形量ｐ_ｋの真の値としての妥当性を復元画像ｆ（ｘ，ｐ_ｋ）から求めるために、復元画像ｆ（ｘ，ｐ_ｋ）の画像信号の強度の変動量を調べて、評価値とする。即ち、像間変形量決定部１７は、評価値算出手段としても機能する。

画像信号の強度の変動量を調べる方法として、一例として、画像のフィルタリング方法を用いる。

さらにフィルタリングの種類としては、ラプラシアンフィルタを用いたフィルタリング処理を行っても良い。

ラプラシアンフィルタは、以下の式（１９）のような形状をしたフィルタである。

像間変形量決定部１７は、このようなフィルタを用いて、画像信号の強度の変動量を算出するフィルタリング手段を備えることができる。即ち、このフィルタリング処理による評価値の算出は、以下の式（２０）式のようにして行う。
ｆ_Ｌ（ｘ，ｐ_ｋ）＝Ｌ＊ｆ（ｘ，ｐ_ｋ） …（２０）
ここで、＊はフィルタの畳み込み演算子である。

なお、本実施形態ではラプラシアンフィルタを例に説明を行っているが、ここで用いるフィルタの種類は任意のものを用いることができる。例えば、ラプラシアンフィルタの他には、ハイパスフィルタであるソーベルフィルタやプリューウィットフィルタ、バンドパスフィルタであるＬＯＧフィルタやＤＯＧフィルタ、等を利用することが可能となる。

特に、上記ソーベルフィルタやプリューウィットフィルタを用いることで、像間変形方向取得手段としての像間変形方向算出・記憶部１３によって取得した重像を形成する像間の変形方向に沿った方向指向性を持つフィルタリングを行うことで、より精度を高めることが可能となる。

また、特にバンドパスフィルタであるＬＯＧフィルタ、ＤＯＧフィルタを用いることで、重像画像にノイズが存在する場合でも良好に復元画像の画像信号の強度の変動量を算出することを可能としたり、多重解像度解析により処理を高速にしたりすることができる。

また、上記評価値ｆ_Ｌ（ｘ，ｐ_ｋ）は、復元画像の画像信号の強度の変動量を画素毎に算出しているが、さらにこれらの変動量をまとめる為に、以下の式（２１）のようにノルムを用いる。

像間変形量決定部１７は、このようなノルムにより画像信号の強度の変動量を統合することで、一つの評価値を算出する統合手段を備え、座標ｘ周辺の変動量をまとめて評価することが可能となる。座標ｘ周辺の領域の大きさは、画像処理内で自由に設定できる（画像の部分領域でも、画像全体でも良い）。なお、ここではノルムの種類にＬ２ノルムを用いているが、実際はＬ１ノルム、その他任意形状のノルムを利用しても構わないものとする。

また、像間変形量決定部１７は、上記フィルタリング処理の代わりに、例えば復元画像ｆ（ｘ，ｐ_ｋ）の周波数変換により、復元画像ｆ（ｘ，ｐ_ｋ）の画像信号の強度の変動量を評価値として算出しても構わない。即ち、像間変形量決定部１７を周波数変換手段として機能させても良い。周波数変換処理の手法としては通常、ＤＣＴ、ＦＦＴ、Ｗａｖｅｌｅｔ変換等の処理を用いるが、実際には任意の周波数変換手段を用いて周波数係数の算出を行っても構わない。この場合の統合手段は、周波数変換手段によって算出された周波数係数について、上記フィルタリング処理の場合と同様にノルムを用いて、周波数係数をまとめる処理を行う。

ここで、上記像間強度比設定部１４における重像を形成する像間の信号の強度比（減衰量γ）の設定、像間変形量設定部１５における複数の像間の変形量ｐ_ｋの設定、復元部１６における重像画像の復元処理、像間変形量決定部１７における復元画像ｆ（ｘ，ｐ_ｋ）の画像信号の強度の変動量算出処理という一連の処理は、各像間の変形量に対し繰り返し処理を行う形態をとっても良いし、一度に複数の変形量に対し並列的に処理を行うという形態をとっても良い。このとき、繰り返し処理を行う場合は、良好な画像信号の強度の変動量が得られた場合は途中で処理を打ち切るという処理で高速化を行うことが出来る。また、ＧＰＵ等の並列化処理が得意な計算機環境においては並列的に処理を行う実行形態をとることが可能になる。

像間変形量決定手段である上記像間変形量決定部１７は、上述の様にして算出した複数の復元画像ｆ（ｘ，ｐ_ｋ）から求められる複数の画像信号の強度の変動量を評価値として用いて、以下の式（２２）に示すように、重像画像の重像を形成する像間の変形量を一つ決定する。

このように、復元画像ｆ（ｘ，ｐ_ｋ）から求められる複数の画像信号の強度の変動量のうち、最も少ない変動量を持つ復元画像に対応する像間の変形量を、最終的に求めたい真の変形量ｐ＾として決定する。

なお、その他の重像を形成する像間の変形量の決定の方法として、以下の式（２３）に示すように、復元画像ｆ（ｘ，ｐ_ｋ）から求められる複数の画像信号の強度の変動量を用いた重み付き加算処理により、像間の変形量ｐ＾を決定しても良いものとする。

ここで、φは復元画像ｆ（ｘ，ｐ_ｋ）から求められる、上記式（２１）の画像信号の強度の変動量に応じた重みを生成する関数であり、ここでは以下の式（２４）のようなガウシアン関数を用いる。

ここで、σはガウシアン関数の広がりを制御するパラメータである。なお、φに用いる関数はガウシアン関数に限らず、任意形状の関数を用いることができる。

以上のようにして、像間変形量決定部１７では、復元部１６より送信された複数の復元画像ｆ（ｘ，ｐ_ｋ）の画像信号の強度の変動量を評価し、一つの像間の変形量ｐ＾を決定する。像間変形量決定部１７で決定された像間の変形量ｐ＾は、記録部１２へ送信され、記録部１２に記録されている重像画像１００の重像を形成する像間の変形量に関する情報として記録、保持される。

また、像間変形量決定部１７で決定された像間変形量に対応する復元画像を復元部１６に送信し、次に復元部１６において復元処理を行う場合に利用する。

なお、復元部１６で推定された復元画像を、復元画像出力部１８を介して記録部１２へ送信しても良い。このような処理を行うことで、従来重像画像でしか記録されていなかった被写体の像が、鑑賞用途として適している復元画像として記録でき、表示装置等の出力部１９にて観測対象を確認する際のユーザの視認性を向上させることができる。

また、像間変形量決定部１７では、部分領域毎に像間の変形量を決定している。このような場合は、部分領域毎に決定された変形量（及び像間の信号の強度比）を統合する処理を行っても良い。即ち、像間の変形量（及び像間の信号の強度比）が部分領域毎に出力された場合に、それらの値を一つのマップに統合する処理を行っても良い。

このような処理を行うことで、画像の部分領域毎に決定された像間の変形量（及び像間の信号の強度比）が一つに統合され、一つのマップとして後に利用する画像認識手法等で利用し易くなる。

統合処理は、例えば処理結果が重複して出力された部分領域を平均化するなどの処理で一つのマップとする。像間の変形量は、像間変形量決定部１７においてマップ化が行われる。

また、同時に部分領域毎に復元処理を行った復元画像も取得している場合は、その部分領域毎の復元画像を上記同様に処理結果が重複して出力された部分領域を平均化するなどの処理で一つに統合した復元画像を生成しても良い。このような処理を行うことで、部分領域毎に像間の変形量が異なる重像画像でも良好に復元処理ができ、さらにそれを統合し画像全体を一つの画像として鑑賞可能となる。このような復元画像の統合は、復元画像出力部１８において行われることができる。

なお、取得された変形量が、仮に重像画像内の観測対象である被写体の被写体距離に関係するものであった場合、取得された変形量を被写体距離に変換することができる。この処理を実現する為には、予め、画像処理装置１０内に距離取得手段を設け、該距離取得手段に被写体距離と像間の変形量との対応表を用意して置き、その対応表を参照して重像画像に含まれる重像を形成する像間の変形量から被写体距離情報を求めても良いし、重像画像の付加情報として画像のヘッダ等画像の情報が記述可能な領域に被写体距離と像間の変形量との対応表を記載しておき、距離取得手段がそれを参照して重像画像の像間の変形量から被写体距離情報を求めても良い。この被写体距離情報は、被写体認識技術等に利用することができる。

上記の、重像を形成する像間の信号の強度比（ここでは減衰率）の設定、像間の変形量の設定、重像画像の復元処理、復元画像の画像信号の強度の変動量算出処理、像間の変形量の決定処理という一連の処理の最適な処理手順の一例を、フローチャートにより示すと、図６のようになる。

即ち、まず、入力部１１により、重像画像１００の入力処理を行い、重像画像１００を記録部１２に記録する（ステップＳ１１）。その際、重像画像にヘッダ情報等の付加情報が含まれる場合は、その付加情報も読み込んで記録する。

次に、復元部１６において、上記重像画像１００における第１の部分領域１０１及びその復元画像を設定する（ステップＳ１２）。また、像間強度比設定部１４において、上記入力された重像画像１００に含まれる重像を形成する像間の信号の強度比（ここでは減衰率）を取得・設定する（ステップＳ１３）。なお、部分領域毎に像間の減衰率が異なる場合は、部分領域毎に取得・設定を行うこととなる。

そして、像間変形量設定部１５において、変形量の候補を複数想定し、複数の変形量の中から変形量を一つ設定する（ステップＳ１４）。次に、復元部１６において、上記ステップＳ１４で設定された変形量より第２の部分領域の設定を行う（ステップＳ１５）。

その後、復元部１６において、上記ステップＳ１２で設定された第１の部分領域の復元画像、上記ステップＳ１３で設定された像間の減衰率、上記ステップＳ１５で設定された第２の部分領域の重像画像を用いて、上記式（３）により、第２の部分領域における復元画像を生成する（ステップＳ１６）。そして、像間変形量決定部１７において、上記ステップＳ１６で生成された復元画像にハイパスフィルタリング処理を行い（ステップＳ１７）、上記式（２１）により、評価値として復元画像の画像信号の強度の変動量を算出する（ステップＳ１８）。

その後、制御部２０は、上記ステップＳ１４で想定した複数の変形量全てにおいて画像信号の強度の変動量の算出がされているか調べる（ステップＳ１９）。ここで、まだ全ての変形量についての評価値算出が終わっていないと判別した場合には、上記ステップＳ１４に戻って、次の変形量についての復元処理及び評価値算出処理を行わせることになる。

上記のようにして、上記ステップＳ１４乃至上記ステップＳ１８を繰り返し実行する。

そして、上記ステップＳ１９において全ての変形量についての評価値算出が終わったと判別されたならば、像間変形量決定部１７において、上記ステップＳ１４乃至上記ステップＳ１８で繰り返し算出された画像信号の強度の変動量のうち、最小となる変動量に対応する像間の変形量を、真の変形量として決定する（ステップＳ２０）。同時に、復元画像出力部１８は、その変形量に対応する復元画像を取得する。

その後、制御部２０は、全ての部分領域についての変形量の決定が終わったか否かを判別する（ステップＳ２１）。ここで、まだ全ての部分領域について終わっていないと判別した場合は、上記ステップＳ１２に戻って、復元部１６に、新たな第１の部分領域１０１を設定させることになる。このとき、上記ステップＳ２０において決定された真の変形量に対応する第２の部分領域を、この新しい第１の部分領域１０１として設定させる。

こうして、全ての部分領域についての変形量の決定が終わるまで、上記ステップＳ１２乃至上記ステップＳ２０を繰り返し実行する。

而して、上記ステップＳ２１において全ての部分領域について変形量の決定が終了したと判別したならば、復元画像出力部１８において、全ての復元された部分領域を統合して復元画像を生成すると共に、像間変形量決定部１７において、像間の変形量マップを統合する（ステップＳ２２）。そして、該ステップＳ２２で生成された統合された像間の変形量マップ及び復元画像を、記録部１２に記録し、出力部１９にて出力した後（ステップＳ２３）、処理を終了する。

以上のように、本第１実施形態に係る画像処理装置によれば、被写体の像が多重になっている重像画像１００の入力処理を行う画像入力手段としての入力部１１と、上記重像画像１００に含まれる重像を形成する像間の信号強度の関係を示す信号強度関係情報としての像間の信号の強度比を取得する信号強度関係取得手段としての像間強度比設定部１４と、上記重像画像１００内で、第１の部分領域１０１を設定する第１の部分領域設定手段としての復元部１６の第１部分領域設定部１６１と、上記第１の部分領域１０１における復元画像を取得する復元画像取得手段としての復元部１６の信号処理部１６３と、上記第１の部分領域１０１における像間の変形量を設定する像間変形量設定手段としての像間変形量設定部１５と、上記設定された像間の変形量を用いて上記第１の部分領域１０１を変形させた際に対応する第２の部分領域を設定する第２の部分領域設定手段としての復元部１６の第２部分領域設定部１６２と、上記入力された重像画像１００から上記第２の部分領域における重像画像を取得する重像画像取得手段、及び、上記信号強度関係取得手段により取得された信号強度関係情報を用いて、上記第１の部分領域における復元画像と上記第２の部分領域における重像画像との加算処理を行い、上記第２の部分領域における復元画像を取得する復元手段としての復元部１６の上記信号処理部１６３と、上記第１の部分領域設定手段に、上記第２の部分領域を新しい第１の部分領域として設定させて、上記像間変形量設定手段、上記第２の部分領域設定手段及び上記重像画像取得手段を動作させ、上記復元手段に、上記信号強度関係情報を用いて、当該復元手段によって取得済みの上記新しい第１の部分領域における復元画像と新しい第２の部分領域における重像画像との加算処理を行わせて、上記新しい第２の部分領域における復元画像を取得させる、ことを繰り返し行わせる制御手段としての制御部２０と、を有することで、重像画像１００の第１の部分領域の復元画像から第２の部分領域の復元画像を取得し、その第２の部分領域を新たな第１の部分領域として次の第２の部分領域の復元画像を取得することを逐次的に行って、重像画像１００全体の復元画像を生成するので、被写体の像が多重になっている１枚の重像画像１００から被写体の像が多重になっていない復元画像を生成できる。

また、上記第２の部分領域における復元画像から信号の強度の変動量を評価値として算出する評価値算出手段、及び、上記像間変形量設定手段に上記像間の変形量の設定を変化させながら、上記像間変形量設定手段、上記第２の部分領域設定手段、上記重像画像取得手段、上記復元手段、及び上記評価値算出手段の一連の処理を繰り返し、算出された複数の評価値に基づいて上記重像画像に含まれる重像を形成する像間の変形量を決定する像間変形量決定手段としての像間変形量決定部１７を更に有し、上記制御手段は、上記第１の部分領域設定手段に、上記像間変形量決定手段で決定された像間の変形量を用いて上記第１の部分領域を変形させた際に対応する第２の部分領域を、上記新しい第１の部分領域として設定させるので、重像を形成する像間の変形量を求めることができると共に、その求めた像間の変形量を新たな第１の部分領域における像間の変形量として設定することで、新たな第２の部分領域における復元画像の生成が可能となる。

なお、上記復元画像取得手段は、上記第１の部分領域設定手段で設定される第１の部分領域における重像画像を、上記第１の部分領域における復元画像として取得することで、第１の部分領域１０１における復元画像が求まっていない場合でも、第２の部分領域における復元画像の生成が可能となる。

また、上記重像画像に含まれる重像を形成する像間の変形方向を記憶する像間変形方向記憶手段としての像間変形方向算出・記憶部１３を更に有することで、像間の変形方向を算出する必要が無いので、より高速に測定結果が得られる。

あるいは、上記重像画像に含まれる重像を形成する像間の変形方向を算出する像間変形方向算出手段、及び、上記算出した像間の変形方向を記憶する像間変形方向記憶手段としての像間変形方向算出・記憶部１３を更に有することで、像間の変形方向が未知の重像画像１００についても復元画像の取得が可能となる。

なお、上記像間変形量設定手段は、上記像間変形方向記憶手段に記憶された像間の変形方向に沿った像間の変形量を設定することにより、設定する変形量の数も少なくすることができるので、より高速に測定結果が得られる。

また、上記評価値算出手段としての像間変形量決定部１７は、上記第２の部分領域における復元画像に対してフィルタリング処理を行うフィルタリング手段、及び、上記フィルタリング手段によりフィルタリングが行われた領域の画素値を用いて評価値を一つ算出する統合手段と、を有することで、画像の部分領域毎に決定された評価値が一つに統合され、一つのマップとして後に利用する画像認識手法等で利用し易くなる。

この場合、上記重像画像に含まれる重像を形成する像間の変形方向を算出又は記憶する像間変形方向取得手段としての像間変形方向算出・記憶部１３を更に有し、上記フィルタリング手段が、フィルタリング処理において、上記像間の変形方向に沿ったフィルタリング処理を行うことで、より精度を高めることが可能となる。

また、上記評価値算出手段は、としての像間変形量決定部１７は、上記第２の部分領域における復元画像に対して周波数変換処理を行う周波数変換手段と、上記周波数変換手段により周波数変換処理が行われた領域の周波数係数値を用いて評価値を一つ算出する統合手段と、を有するようにしも良く、そうすることで、画像の部分領域毎に決定された評価値が一つに統合され、一つのマップとして後に利用する画像認識手法等で利用し易くなる。

なお、上記像間変形量決定手段は、上記像間変形量設定手段で選択された重像を形成する像間の変形量のうちから、例えば上記式（２２）あるいは上記式（２３）のように、上記評価値算出手段で算出された評価値に応じて像間の変形量を決定することで、最終的に求めたい真の変形量を容易に決定できる。

［第２実施形態］
図７は、本発明の第２実施形態に係る撮像装置３０の構成を示す図であり、該撮像装置３０は、撮影光学系３１、撮像部３２、記録部３３、像間変形方向算出・記憶部３４、像間強度比設定部３５、像間変形量設定部３６、復元部３７、像間変形量決定部３８、復元画像出力部３９、出力部４０、制御部４１及び外部Ｉ／Ｆ部４２、ＡＦモータ４３及び合焦点制御部４４から構成されている。

ここで、被写体の光束を結像する撮影光学系３１には、像を多重に結像させる多重像結像手段３１Ａが含まれている。撮像部３２は、この多重像結像手段３１Ａを含む撮影光学系３１で結像される像を取得可能な構成となっている。この撮像部３２は、記録部３３と接続されている。また、ＡＦモータ４３は、撮影光学系３１を制御し、結像される像の合焦点位置を変化させることが可能な構成となっている。

記録部３３は、像間変形方向算出・記憶部３４、像間強度比設定部３５、復元部３７、像間変形量決定部３８及び出力部４０と接続されている。像間変形方向算出・記憶部３４は、像間変形量設定部３６と接続されている。像間強度比設定部３５は、復元部３７と接続されている。像間変形量設定部３６は、復元部３７と接続されている。復元部３７は、像間変形量決定部３８及び復元画像出力部３９と接続されている。像間変形量決定部３８は、記録部３３、復元部３７及び合焦点制御部４４と接続されている。復元画像出力部３９は、記録部３３と接続されている。制御部４１は、制御信号線により、記録部３３、像間変形方向算出・記憶部３４、像間強度比設定部３５、像間変形量設定部３６、復元部３７、像間変形量決定部３８、復元画像出力部３９、外部Ｉ／Ｆ部４２及び合焦点制御部４４と双方向に接続されている。合焦点制御部４４は、ＡＦモータ４３と接続されている。

次に、本実施形態の作用を説明する。
撮影光学系３１によって、被写体の像は、撮像部３２に結像される。この撮像部３２は、特に図示はしていないが、ＣＣＤ等の光を電気信号に変換する光電変換手段と、該光電変換手段で変換された電気信号から画像信号を生成する信号処理回路等の画像信号生成手段とを含んでいる。この撮像部３２に結像された被写体の像は電気的な信号に変換され、記録部３３へ送信され記録される。

ここで、撮影光学系３１に含まれる多重像結像手段３１Ａは、図示しない駆動手段により、撮影光路内に挿脱自在に構成されており、多重像結像手段３１Ａを用いた撮像を行った場合は重像画像１００が、多重像結像手段３１Ａを用いない撮像を行った場合は通常の画像が記録される。

像間変形方向算出・記憶部３４、像間強度比設定部３５、像間変形量設定部３６、復元部３７、像間変形量決定部３８及び復元画像出力部３９は、上記記録部３３に記録された重像画像１００について、制御部４１による当該重像画像１００に存在する重像を形成する像間の変形量計測を開始する指示信号により、像間の変形量の計測を開始する。この、制御部４１からの指示信号は、外部Ｉ／Ｆ部４２においてユーザが直接信号を発生させるように操作させ発生させても良いし、記録部３３に記録された時点で制御部４１が自動的に信号を発生させても良い。

像間の変形量計測が開始されると、像間変形量設定手段としての像間変形量設定部３６では、重像を形成する像間の変形量を示す仮の変形量が複数設定される。

ここで、像間変形量設定部３６で設定される像間の変形量は任意の設定値を取ることができるが、より効率的な変形量設定の方法として、例えば、撮影光学系３１（多重像結像手段３１Ａを含む）及び撮像部３２で撮像される重像画像１００の変形方向がその装置形態において一定値となる場合は、予め像間の変形方向を取得しておき、その方向に沿った変形のみを設定するという形態をとっても構わないものとする。この場合の像間の変形方向は、予め自己相関演算等の何らかの方法で取得しておき、像間変形方向算出・記憶部３４に記憶しておいたものを用いる。また、予め像間変形方向算出・記憶部３４に記憶しておく代わりに、撮像された重像画像１００の付加情報として画像のヘッダ等画像の情報が記述可能な領域に像間の変形方向を記載しておき、それを像間変形方向算出・記憶部３４で読み取り像間の変形方向として利用するという構成をとっても良い。また、像間変形方向算出・記憶部３４では、その場で自己相関演算等の何らかの方法で像間変形方向を取得し、その方向を像間の変形方向として利用するという構成をとっても良い。

また、信号強度関係取得手段としての像間強度比設定部３５で設定される重像を形成する像間の信号の強度比は、任意の設定値を取ることができる。

この像間強度比設定部３５で設定する像間の信号の強度比は、通常、一つの値であり、重像画像に特有の像間の信号の強度比を設定すれば良い。この値は、予め像間強度比設定部３５において保持しておいても良いし、重像画像の付加情報として画像のヘッダ等画像の情報が記述可能な領域に像間の信号の強度比を記載しておき、それを像間強度比設定部３５で読み取り、像間の信号の強度比として利用するという構成をとっても良いし、外部Ｉ／Ｆ部４２を介してユーザが直接像間の信号の強度比を設定するという構成をとっても良い。

なお、像間の信号の強度比が未知である場合や、既知であるが誤差を含みより正しい信号の強度比を求めたい場合などは、像間強度比設定部３５において像間の信号の強度比を複数設定し、その複数設定された信号の強度比毎に、第１の部分領域設定手段、復元画像取得手段、第２の部分領域設定手段、重像画像取得手段及び復元手段として機能する復元部３７において復元処理を行って復元画像を生成し、それらの復元画像を用いて像間変形量決定部３８において評価値を算出し、その算出された評価値に基づき一つの信号の強度比を求めるという構成をとっても構わない。

なお、本実施形態に係る撮像装置３０に用いている画像処理装置は本来、重像を形成する像間の変形量を求めるものであるが、像間の変形量が既知であり、像間の信号の強度比が未知の場合は、像間変形量設定部３６の設定値を一つにし、像間強度比設定部３５の設定を複数個にすることで、重像画像に含まれる重像を形成する像間の信号の強度比を求める画像処理装置とすることができる。

以下では、像間変形量設定部３６において像間の変形量を複数設定し、像間強度比設定部３５において像間の信号の強度比を一つに設定する場合を説明する。

次に、記録部３３に記録された処理対象となる重像画像１００が、復元部３７へ送信される。また、像間変形量設定部３６で設定された複数（又は１つ）の像間の変形量のうち一つが、復元部３７へ送信される。さらに、像間強度比設定部３５で設定された１つ又は複数の像間の信号の強度比のうち一つが、復元部３７へ送信される。復元部３７では、これら送信されてきた重像画像１００、像間の変形量及び像間の信号の強度比を用いて重像画像１００の復元画像を推定する復元処理が行われる。

この復元部３７における復元処理は、上述した第１実施形態における復元部１６と同様の処理を行うので、ここでは処理の説明を省略する。

復元部３７で生成された、画像座標ｘ、像間の変形量ｐで復元処理が行われた復元画像ｆ＾（ｘ）は、像間の変形量ｐとともに復元部３７より像間変形量決定部３８へと送信される。

像間変形量決定部３８における像間の変形量決定処理は、上記第１実施形態における像間変形量決定部１７と同様の処理を採っても良いが、ここでは、勾配法を用いた別の形態の説明を行う。なお、勾配法に関する詳細な説明は、Ｌｕｃａｓ−Ｋａｎａｄｅ ２０ Ｙｅａｒｓ Ｏｎ： Ａ Ｕｎｉｆｙｉｎｇ Ｆｒａｍｅｗｏｒｋ： Ｐａｒｔ １， Ｓｉｍｏｎ Ｂａｋｅｒ ａｎｄ Ｉａｉｎ Ｍａｔｔｈｅｗｓ， ｔｅｃｈ． ｒｅｐｏｒｔ ＣＭＵ−ＲＩ−ＴＲ−０２−１６， Ｒｏｂｏｔｉｃｓ Ｉｎｓｔｉｔｕｔｅ， Ｃａｒｎｅｇｉｅ Ｍｅｌｌｏｎ Ｕｎｉｖｅｒｓｉｔｙ， Ｊｕｌｙ， ２００２を参照されたい。

この勾配法を用いるために、記録部３３に記録された処理対象となる重像画像１００も、像間変形量決定部３８へ送信される。

ここで、勾配法を用いた像間変形量決定部３８での像間の変形量の求め方について、説明を行う。

上記第１実施形態における復元処理の式（８）は、以下の式（２５）であった。

上記式（２５）において、左辺の復元画像を画像座標ｘと像間の変形量ｐの関数とすると、以下の式（２６）のようになる。

評価値算出手段としての像間変形量決定部３８では、復元画像ｆ＾（ｘ，ｐ）について、復元画像の画像信号の強度の変動量を求める為に、フィルタリング処理を行う。本実施形態では、以下の式（２７）のようにラプラシアンフィルタリングを行う。

ここで、Ｌはラプラシアンフィルタリングを行う行列である。また、ｇ_Ｌ（ｘ）は以下の式（２８）、ｆ＾_Ｌ（ｘ）は以下の式（２９）の通りとする。

次に、上記式（２７）のノルムをとる。上記式（２７）のノルムをＬ（ｐ）とすると、Ｌ（ｐ）は以下の式（３０）のようになる。

像間変形量決定手段としても機能する像間変形量決定部３８では、このノルムＬ（ｐ）を最小とする像間の変形量ｐを勾配法で求める。

こうして像間変形量決定部３８において勾配法により決定された像間の変形量ｐは、復元部３７に送信される。復元部３７では、この勾配法により決定された像間の変形量ｐを用いて、上記式（２５）により復元処理を行い、画像座標ｘ周辺の第１の部分領域１０１を変形行列Ａ^−１（ｐ）で変形させた先にある部分領域（第２の部分領域）の復元画像を出力する。この復元画像は、像間変形量決定部３８において上記式（３０）の勾配法にｆ＾（ｘ）として利用される。

なお、上記ｇＬは常に同一のデータを利用するので、像間変形量決定部３８は、はじめに重像画像ｇ全体においてラプラシアンフィルタリングを行っておくことで、逐次それを行う場合に比して高速に処理が実行できる。

本第２実施形態における処理の具体的な手順の一例を、フローチャートにより示すと、図８のようになる。

即ち、まず、多重像結像手段３１Ａを含む撮影光学系３１及び撮像部３２により重像画像の撮像処理を行い、重像画像１００を記録部３３に記録する（ステップＳ３１）。その際、重像画像１００にヘッダ情報等の付加情報を付す場合は、その付加情報も記録する。例えば、多重像結像手段３１Ａによって重像を形成する像間の変形方向が一意に決まるので、その像間の変形方向を付加情報として記録することができる。また、像間変形量決定部３８において、前処理として、上記重像画像１００にラプラシアンフィルタリングを施しておく（ステップＳ３２）。

そして、復元部３７において、上記重像画像１００における第１の部分領域１０１（画像座標ｘ周辺の部分領域）を設定する（ステップＳ３３）。また、像間強度比設定部３５において、上記重像画像１００に含まれる重像を形成する像間の信号の強度比（ここでは減衰率）を取得・設定する（ステップＳ３４）。

次に、復元部３７において、上記ステップＳ３３で設定された第１の部分領域１０１における復元画像を設定する（ステップＳ３５）。そして、像間変形量決定部３８において、この復元画像にラプラシアンフィルタリングを施し、更に、勾配法に用いる像間の変形量の初期値を設定する。なお、第１の部分領域１０１について復元画像を設定できない場合は、第１の部分領域の重像画像を用いても良い。

そして、上記ステップＳ３２でフィルタリングが行われた重像画像、上記ステップＳ３４で設定された像間の減衰率、上記ステップＳ３５でフィルタリングが行われた復元画像、及び上記ステップＳ３５で設定された勾配法の初期値を用いて、勾配法により上記式（３０）に示されるＬ（ｐ）を最小化する像間の変形量ｐを求める（ステップＳ３６）。

その後、復元部３７では、上記ステップＳ３６において勾配法により求められた像間の変形量ｐを用いて、第１の部分領域に対応する第２の部分領域を設定する（ステップＳ３７）。そして、その設定した第２の部分領域の復元画像を、上記式（２５）を用いて生成する（ステップＳ３８）。こうして復元部３７で推定された復元画像を、復元画像出力部３９を介して記録部３３へ送信しても良い。このような処理を行うことで、従来重像画像でしか記録されていなかった被写体の像が、鑑賞用途として適している復元画像として記録でき、被写体を確認する際のユーザの視認性を向上させることができる。

その後、制御手段としての制御部４１は、全ての部分領域についての復元画像の生成が終わったか否かを判別する（ステップＳ３９）。ここで、まだ全ての部分領域について終わっていないと判別した場合は、上記ステップＳ３３に戻って、復元部３７に、新たな第１の部分領域１０１を設定させることになる。このとき、上記ステップＳ３６において勾配法により求められた変形量ｐに対応する第２の部分領域を、この新しい第１の部分領域１０１として設定させる。

こうして、全ての部分領域についての復元画像の生成が終わるまで、上記ステップＳ３３乃至上記ステップＳ３８を繰り返し実行する。

而して、上記ステップＳ３９において全ての部分領域について復元画像の生成が終了したと判別したならば、像間変形量決定部３８において、上記ステップＳ３６で求められた、部分領域毎の像間の変形量ｐ（及び像間の強度比）を統合し、記録部３３に出力する（ステップＳ４０）。即ち、像間の変形量（及び像間の強度比）が部分領域毎に出力された場合に、それらの値を一つのマップに統合する。このような処理を行うことで、画像の部分領域毎に決定された像間の変形量（及び像間の強度比）が一つに統合され、一つのマップとして後に利用する画像認識手法等で利用し易くなる。統合処理は、例えば処理結果が重複して出力された部分領域を平均化するなどの処理で一つのマップとする。

また、復元画像出力部３９において、上記ステップＳ３８で求められた、部分領域毎の復元画像を統合し、記録部３３に出力する（ステップＳ４１）。この場合、部分領域毎の復元画像を上記同様に処理結果が重複して出力された部分領域を平均化するなどの処理で一つに統合した復元画像を生成する。このような処理を行うことで、部分領域毎に像間の変形量が異なる重像画像でも良好に復元処理ができ、さらにそれを統合し画像全体を一つの画像として鑑賞可能となる。

そして、上記ステップＳ４０及び上記ステップＳ４１において記録部３３に記録された、統合された像間の変形量マップ及び復元画像を出力部４０にて出力した後（ステップＳ４２）、処理を終了する。

なお、取得された像間の変形量が、仮に重像画像１００内の被写体の被写体距離に関係するものであった場合、取得された変形量を被写体距離に変換することができる。この処理を実現する為には、予め、像間変形量決定部３８内に被写体距離取得手段を設け、該被写体距離取得手段に被写体距離と重像を形成する像間の変形量との対応表を用意しておき、その対応表を参照して重像画像１００の像間の変形量から被写体距離情報を求めても良いし、重像画像１００の付加情報として画像のヘッダ等画像の情報が記述可能な領域に被写体距離と重像間の変形量との対応表を記載しておき、被写体距離取得手段がそれを参照して重像画像１００の像間の変形量から被写体距離情報を求めても良い。この被写体距離情報は、被写体認識技術等に利用することができる。

また、この被写体距離情報は、像間変形量決定部３８より合焦点制御部４４に送信され、該合焦点制御部４４を介して行われる、撮影光学系３１及びＡＦモータ４３間で行われる被写体の合焦動作に利用されても良い。このような構成とすることにより、像間変形量決定部３８において決定された像間の変形量から、高精度に被写体の合焦動作を行うことが可能となる。なおこのとき、制御部４１が図示しない駆動手段により多重像結像手段３１Ａを撮影光軸から外すことは言うまでもない。

以上のように、本発明の第２実施形態に係る撮像装置によれば、被写体の光束を結像する撮影光学系３１と、上記撮影光学系内において像を多重に結像させる多重像結像手段３１Ａと、上記撮影光学系からの光を電気信号に変換する光電変換手段、及び、上記光電変換手段で変換された電気信号から画像信号を生成する画像信号生成手段としての撮像部３２と、上記撮影光学系、上記多重像結像手段、上記光電変換手段及び上記画像信号生成手段により生成された、少なくとも２つ以上の像が多重化されている重像画像１００に含まれる重像を形成する像間の信号強度の関係を示す信号強度関係情報としての像間の信号の強度比を取得する信号強度関係取得手段としての像間強度比設定部３５と、上記重像画像１００内で、第１の部分領域１０１を設定する第１の部分領域設定手段、及び、上記第１の部分領域１０１における復元画像を取得する復元画像取得手段としての復元部３７と、上記第１の部分領域１０１における像間の変形量を設定する像間変形量設定手段としての像間変形量設定部３６と、上記設定された像間の変形量を用いて上記第１の部分領域１０１を変形させた際に対応する第２の部分領域を設定する第２の部分領域設定手段、上記生成された重像画像１００から上記第２の部分領域における重像画像を取得する重像画像取得手段、及び、上記信号強度関係取得手段により取得された信号強度関係情報を用いて、上記第１の部分領域における復元画像と上記第２の部分領域における重像画像との加算処理を行い、上記第２の部分領域における復元画像を取得する復元手段としての上記復元部３７と、上記第１の部分領域設定手段に、上記第２の部分領域を新しい第１の部分領域として設定させて、上記像間変形量設定手段、上記第２の部分領域設定手段及び上記重像画像取得手段を動作させ、上記復元手段に、上記信号強度関係情報を用いて、当該復元手段によって取得済みの上記新しい第１の部分領域における復元画像と新しい第２の部分領域における重像画像との加算処理を行わせて、上記新しい第２の部分領域における復元画像を取得させる、ことを繰り返し行わせる制御手段としての制御部４１と、を有することで、重像画像１００の第１の部分領域１０１の復元画像から第２の部分領域の復元画像を取得し、その第２の部分領域を新たな第１の部分領域として次の第２の部分領域の復元画像を取得することを逐次的に行って、重像画像１００全体の復元画像を生成するので、被写体の像が多重になっている１枚の重像画像１００から被写体の像が多重になっていない復元画像を生成できる。

また、上記第２の部分領域における復元画像から信号の強度の変動量を評価値として算出する評価値算出手段、及び、上記重像画像に含まれる重像を形成する像間の変形量を、上記算出された評価値に基づいて勾配法により決定する像間変形量決定手段としての像間変形量決定部３８を更に有し、上記制御手段は、上記第１の部分領域設定手段に、上記像間変形量決定手段で決定された像間の変形量を用いて上記第１の部分領域を変形させた際に対応する第２の部分領域を、上記新しい第１の部分領域として設定させるので、重像を形成する像間の変形量を求めることができると共に、その求めた像間の変形量を新たな第１の部分領域における像間の変形量として設定することで、新たな第２の部分領域における復元画像の生成が可能となる。

以上、第１及び第２実施形態に基づいて本発明を説明したが、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形や応用が可能なことは勿論である。

例えば、上記実施形態では、ハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。重像画像をコンピュータに入力して、ソフトウェアにて処理する構成も可能である。勿論、このソフトウェアは、予めコンピュータにインストールされているものであっても良いし、ＣＤ−ＲＯＭ等の記録媒体やネットワークを介してコンピュータに供給されるものであっても良い。

１０…画像処理装置、 １１…入力部、 １２，３３…記録部、 １３，３４…像間変形方向算出・記憶部、 １４，３５…像間強度比設定部、 １５，３６…像間変形量設定部、 １６，３７…復元部、 １７，３８…像間変形量決定部、 １８，３９…復元画像出力部、 １９，４０…出力部、 ２０，４１…制御部、 ２１，４２…外部Ｉ／Ｆ部、 ３０…撮像装置、 ３１…撮影光学系、 ３１Ａ…多重像結像手段、 ３２…撮像部、 ４３…ＡＦモータ、 ４４…合焦点制御部、 １００…重像画像、 １０１…第１の部分領域、 １６１…第１部分領域設定部、 １６２…第２部分領域設定部、 １６３…信号処理部。

Claims (15)

1. 被写体の像が多重になっている重像画像の入力処理を行う画像入力手段と、
   上記重像画像に含まれる重像を形成する像間の信号強度の関係を示す信号強度関係情報を取得する信号強度関係取得手段と、
   上記重像画像内で、第１の部分領域を設定する第１の部分領域設定手段と、
   上記第１の部分領域における復元画像を取得する復元画像取得手段と、
   上記第１の部分領域における像間の変形量を設定する像間変形量設定手段と、
   上記設定された像間の変形量を用いて上記第１の部分領域を変形させた際に対応する第２の部分領域を設定する第２の部分領域設定手段と、
   上記入力された重像画像から上記第２の部分領域における重像画像を取得する重像画像取得手段と、
   上記信号強度関係取得手段により取得された信号強度関係情報を用いて、上記第１の部分領域における復元画像と上記第２の部分領域における重像画像との加算処理を行い、上記第２の部分領域における復元画像を取得する復元手段と、
   上記第１の部分領域設定手段に、上記第２の部分領域を新しい第１の部分領域として設定させて、上記像間変形量設定手段、上記第２の部分領域設定手段及び上記重像画像取得手段を動作させ、上記復元手段に、上記信号強度関係情報を用いて、当該復元手段によって取得済みの上記新しい第１の部分領域における復元画像と新しい第２の部分領域における重像画像との加算処理を行わせて、上記新しい第２の部分領域における復元画像を取得させる、ことを繰り返し行わせる制御手段と、
   を有することを特徴とする画像処理装置。
2. 上記第２の部分領域における復元画像から信号の強度の変動量を評価値として算出する評価値算出手段と、
   上記像間変形量設定手段に上記像間の変形量の設定を変化させながら、上記像間変形量設定手段、上記第２の部分領域設定手段、上記重像画像取得手段、上記復元手段、及び上記評価値算出手段の一連の処理を繰り返し、算出された複数の評価値に基づいて上記重像画像に含まれる重像を形成する像間の変形量を決定する像間変形量決定手段と、
   を更に有し、
   上記制御手段は、上記第１の部分領域設定手段に、上記像間変形量決定手段で決定された像間の変形量を用いて上記第１の部分領域を変形させた際に対応する第２の部分領域を、上記新しい第１の部分領域として設定させることを特徴とする請求項１に記載の画像処理装置。
3. 上記復元画像取得手段は、上記第１の部分領域設定手段で設定される第１の部分領域における重像画像を、上記第１の部分領域における復元画像として取得することを特徴とする請求項１又は２に記載の画像処理装置。
4. 上記第２の部分領域における復元画像から信号の強度の変動量を評価値として算出する評価値算出手段と、
   上記重像画像に含まれる重像を形成する像間の変形量を、上記算出された評価値に基づいて勾配法により決定する像間変形量決定手段と、
   を更に有し、
   上記制御手段は、上記第１の部分領域設定手段に、上記像間変形量決定手段で決定された像間の変形量を用いて上記第１の部分領域を変形させた際に対応する第２の部分領域を、上記新しい第１の部分領域として設定させることを特徴とする請求項１に記載の画像処理装置。
5. 上記重像画像に含まれる重像を形成する像間の変形方向を記憶する像間変形方向記憶手段を更に有することを特徴とする請求項１に記載の画像処理装置。
6. 上記重像画像に含まれる重像を形成する像間の変形方向を算出する像間変形方向算出手段と、
   上記算出した像間の変形方向を記憶する像間変形方向記憶手段と、
   を更に有することを特徴とする請求項１に記載の画像処理装置。
7. 上記像間変形量設定手段は、上記像間変形方向記憶手段に記憶された像間の変形方向に沿った像間の変形量を設定することを特徴とする請求項５又は６に記載の画像処理装置。
8. 上記評価値算出手段は、
   上記第２の部分領域における復元画像に対してフィルタリング処理を行うフィルタリング手段と、
   上記フィルタリング手段によりフィルタリングが行われた領域の画素値を用いて評価値を一つ算出する統合手段と、
   を有することを特徴とする請求項２に記載の画像処理装置。
9. 上記重像画像に含まれる重像を形成する像間の変形方向を算出又は記憶する像間変形方向取得手段を更に有し、
   上記フィルタリング手段は、フィルタリング処理において、上記像間の変形方向に沿ったフィルタリング処理を行うことを特徴とする請求項８に記載の画像処理装置。
10. 上記評価値算出手段は、
    上記第２の部分領域における復元画像に対して周波数変換処理を行う周波数変換手段と、
    上記周波数変換手段により周波数変換処理が行われた領域の周波数係数値を用いて評価値を一つ算出する統合手段と、
    を有することを特徴とする請求項２に記載の画像処理装置。
11. 上記像間変形量決定手段は、上記像間変形量設定手段で選択された重像を形成する像間の変形量のうちから、上記評価値算出手段で算出された評価値に応じて像間の変形量を決定することを特徴とする請求項２に記載の画像処理装置。
12. 被写体の光束を結像する撮影光学系と、
    上記撮影光学系内において像を多重に結像させる多重像結像手段と、
    上記撮影光学系からの光を電気信号に変換する光電変換手段と、
    上記光電変換手段で変換された電気信号から画像信号を生成する画像信号生成手段と、
    上記撮影光学系、上記多重像結像手段、上記光電変換手段及び上記画像信号生成手段により生成された、少なくとも２つ以上の像が多重化されている重像画像に含まれる重像を形成する像間の信号強度の関係を示す信号強度関係情報を取得する信号強度関係取得手段と、
    上記重像画像内で、第１の部分領域を設定する第１の部分領域設定手段と、
    上記第１の部分領域における復元画像を取得する復元画像取得手段と、
    上記第１の部分領域における像間の変形量を設定する像間変形量設定手段と、
    上記設定された像間の変形量を用いて上記第１の部分領域を変形させた際に対応する第２の部分領域を設定する第２の部分領域設定手段と、
    上記生成された重像画像から上記第２の部分領域における重像画像を取得する重像画像取得手段と、
    上記信号強度関係取得手段により取得された信号強度関係情報を用いて、上記第１の部分領域における復元画像と上記第２の部分領域における重像画像との加算処理を行い、上記第２の部分領域における復元画像を取得する復元手段と、
    上記第１の部分領域設定手段に、上記第２の部分領域を新しい第１の部分領域として設定させて、上記像間変形量設定手段、上記第２の部分領域設定手段及び上記重像画像取得手段を動作させ、上記復元手段に、上記信号強度関係情報を用いて、当該復元手段によって取得済みの上記新しい第１の部分領域における復元画像と新しい第２の部分領域における重像画像との加算処理を行わせて、上記新しい第２の部分領域における復元画像を取得させる、ことを繰り返し行わせる制御手段と、
    を有することを特徴とする撮像装置。
13. 被写体の像が多重になっている重像画像の入力処理を行う画像入力ステップと、
    上記重像画像に含まれる重像を形成する像間の信号強度の関係を示す信号強度関係情報を取得する信号強度関係取得ステップと、
    上記重像画像内で、第１の部分領域を設定する第１の部分領域設定ステップと、
    上記第１の部分領域における復元画像を取得する復元画像取得ステップと、
    上記第１の部分領域における像間の変形量を設定する像間変形設定ステップと、
    上記設定された像間の変形量を用いて上記第１の部分領域を変形させた際に対応する第２の部分領域を設定する第２の部分領域設定ステップと、
    上記入力された重像画像から上記第２の部分領域における重像画像を取得する重像画像取得ステップと、
    上記信号強度関係取得ステップで取得した信号強度関係情報を用いて、上記第１の部分領域における復元画像と上記第２の部分領域における重像画像との加算処理を行い、上記第２の部分領域における復元画像を取得する復元ステップと、
    上記第１の部分領域設定ステップにおいて、上記第２の部分領域を新しい第１の部分領域として設定させて、上記像間変形設定ステップ、上記第２の部分領域設定ステップ及び上記重像画像取得ステップを行わせ、上記復元ステップにおいて、上記信号強度関係情報を用いて、当該復元ステップで取得済みの上記新しい第１の部分領域における復元画像と新しい第２の部分領域における重像画像との加算処理を行わせて、上記新しい第２の部分領域における復元画像を取得させる、ことを繰り返し行わせる制御ステップと、
    をコンピュータに発揮させることを特徴とする画像処理プログラム。
14. 上記第２の部分領域における復元画像から信号の強度の変動量を評価値として算出する評価値算出ステップと、
    上記像間変形設定ステップにおいて上記像間の変形量の設定を変化させながら、上記像間変形設定ステップ、上記第２の部分領域設定ステップ、上記重像画像取得ステップ、上記復元ステップ、及び上記評価値算出ステップの一連の処理を繰り返し、算出された複数の評価値に基づいて上記重像画像に含まれる重像を形成する像間の変形量を決定する像間変形決定ステップと、
    を更にコンピュータに発揮させ、
    上記制御ステップは、上記第１の部分領域設定ステップにおいて、上記像間変形決定ステップで決定された像間の変形量を用いて上記第１の部分領域を変形させた際に対応する第２の部分領域を、上記新しい第１の部分領域として設定させることを特徴とする請求項１３に記載の画像処理プログラム。
15. 上記第２の部分領域における復元画像から信号の強度の変動量を評価値として算出する評価値算出ステップと、
    上記重像画像に含まれる重像を形成する像間の変形量を、上記算出された評価値に基づいて勾配法により決定する像間変形量決定ステップと、
    を更にコンピュータに発揮させ、
    上記制御ステップは、上記第１の部分領域設定ステップにおいて、上記像間変形決定ステップで決定された像間の変形量を用いて上記第１の部分領域を変形させた際に対応する第２の部分領域を、上記新しい第１の部分領域として設定させることを特徴とする請求項１３に記載の画像処理プログラム。

Images