JP5987114B2 - 高解像度画像生成装置、高解像度画像生成方法及び高解像度画像生成プログラム - Google Patents

Description

本発明は、光学地球観測衛星など上空のプラットフォームからの撮像によって得られる画像を入力し、オリジナルの画像の解像度より高い解像度の画像を生成する高解像度画像生成装置に関する。

高解像度画像の生成に関する先行技術としては、電波観測衛星から取得された画像において、画像の劣化範囲を予め特定し、高解像度化を行う処理から除外することで、高解像度化において発生する問題を回避する方法が述べられている（特許文献１参照）。
また、動画像を入力とする高解像度化処理において、物体が他の物体の前面を通過するときなどに発生する遮蔽の影響を抑える目的で、遮蔽パタンを検出して処理から除外することにより、高品位な高解像度化処理を可能とする方法が述べられている（特許文献２参照）。

特許４３０５１４８号公報 特開２００９−１４６２３１号公報

画像を高解像度化する方法には複数のタイプが存在するが、ここでは複数枚（通常は４枚以上）の画像を用いることにより被写体の標本化密度を増やし、高解像度の画像を正しく復元するという再構成型超解像と呼ばれる計算機処理を対象とする。この再構成型超解像を行うためには、画像間のオプティカルフロー（同じ被写体の部位を記録した画素同士の対応付け）を計算する必要がある。

例えば、異なる方向から複数回の撮影を行うことによって得られる多視点画像がある。多視点画像は互いに視差を持つため、オプティカルフローが複雑となる。これは、通常は画像全体の並進・回転のみで表現できる場合が多いが、互いに視差を持つ多視点画像は、画像の部位毎に異なる移動方位・量を持ちうるためである。
このように、互いに視差を持つ多視点画像の場合は、オプティカルフローが複雑となるため、オプティカルフローを通常の手段によって計算する場合に多くのエラーが混入する可能性が高いという課題がある。

特許文献１に開示された技術は、電波画像の特性に基づいて処理範囲を絞り込む方法であり、多視点画像を用いる際の上記課題を解決することはできない。
また、特許文献２に開示された技術は、遮蔽の影響を抑えるものであり、多視点画像を用いる際の上記課題を解決することはできない。

本発明は、多視点画像を入力とした高解像度化処理（再構成型超解像）を行う際に想定される課題を解決するためになされたもので、多視点画像から奥行き情報を計算できることを利用し、その結果からオプティカルフローの良・不良部位の選別を行うことで、高品位な画像生成が可能な高解像度画像生成装置を得ることを目的としている。

本発明に係る高解像度画像生成装置は、画像に対し、前記画像の解像度より高い解像度に高解像度化する処理を行う高解像度画像生成装置において、
高解像度化する対象の対象画像と、前記対象画像の撮像対象を前記対象画像の視点と異なる視点から撮影した複数の参照画像とを記憶するとともに、前記対象画像と前記複数の参照画像とのそれぞれを撮像した撮像装置の撮像状態を示す撮像装置状態情報を前記対象画像と前記複数の参照画像とのそれぞれに対応付けて記憶する画像記憶部と、
前記画像記憶部から、前記対象画像と前記参照画像とを含む複数の組であって、前記参照画像が互いに異なる複数の組を抽出し、抽出した組毎に、前記対象画像の画素毎に各画素が対応する前記参照画像の画素を示す画素毎対応情報を含むオプティカルフローを処理装置により計算するオプティカルフロー計算部と、
前記オプティカルフロー計算部により計算された組毎の前記オプティカルフローと、前記画像記憶部に記憶された前記撮像装置状態情報のうち、前記対象画像と当該組に含まれる前記参照画像とのそれぞれに対応する前記撮像装置状態情報とに基づいて、前記対象画像の各画素の奥行きを示す奥行き情報を組毎に計算する奥行き情報計算部と、
前記奥行き情報計算部により計算された組毎の前記奥行き情報のうちの少なくとも２つの前記奥行き情報に基づいて、組毎の前記オプティカルフローに含まれる前記画素毎対応情報のそれぞれを前記対象画像の高解像度化に用いるか否かを処理装置により判定するオプティカルフロー判定部とを備えることを特徴とする。

本発明に係る高解像度画像生成装置によれば、奥行き情報計算部が、オプティカルフローと撮像装置状態情報とに基づいて、対象画像と参照画像との組毎に、対象画像の各画素の奥行きを示す奥行き情報を計算し、オプティカルフロー判定部が、少なくとも２つの奥行き情報に基づいて、組毎のオプティカルフローに含まれる画素毎対応情報のそれぞれを対象画像の高解像度化に用いるか否かを判定するので、高品位な画像生成が可能な高解像度画像生成装置を得ることがきる。

本実施の形態に係る高解像度画像生成装置１００のブロック構成を示す図である。 本実施の形態に係る高解像度画像生成装置１００のハードウェア構成の一例を示す図である。 本実施の形態に係る高解像度画像生成装置１００による高解像度画像生成処理の動作を示すフローチャートである。 本実施の形態に係る多視点画像データ１２２２（画像０００５）を示す図である。 （ａ）は多視点画像１２２１（画像０００５）、（ｂ）はセンサ位置情報１２３１（画像０００５）、（ｃ）はセンサベクトル情報１２３２（画像０００５）を示す図である。 本実施の形態に係る多視点画像データ１２２２（画像０００４）を示す図である。 （ａ）は多視点画像１２２１（画像０００４）、（ｂ）はセンサ位置情報１２３１（画像０００４）、（ｃ）はセンサベクトル情報１２３２（画像０００４）を示す図である。 本実施の形態に係る多視点画像データ１２２２（画像０００３）を示す図である。 （ａ）は多視点画像１２２１（画像０００３）、（ｂ）はセンサ位置情報１２３１（画像０００３）、（ｃ）はセンサベクトル情報１２３２（画像０００３）を示す図である。 基準画像０００４から参照画像０００５へのオプティカルフローのＸ成分を示すＯＦ０００４ｔｏ０００５Ｘを示す図である。 基準画像０００４から参照画像０００５へのオプティカルフローのＹ成分を示すＯＦ０００４ｔｏ０００５Ｙを示す図である。 参照画像０００５から基準画像０００４へのオプティカルフローのＸ成分を示すＯＦ０００５ｔｏ０００４Ｘを示す図である。 参照画像０００５から基準画像０００４へのオプティカルフローのＹ成分を示すＯＦ０００５ｔｏ０００４Ｙを示す図である。 基準画像０００４から参照画像０００５へのオプティカルフローＯＦ０００４ｔｏ０００５Ｘ／Ｙを用いて、基準画像０００４の各画素毎について計算した地球中心座標を、標高値に変換した結果を示す図である。 基準画像０００４から参照画像０００３へのオプティカルフローＯＦ０００４ｔｏ０００３Ｘ／Ｙを用いて、基準画像０００４の各画素毎について計算した地球中心座標を、標高値に変換した結果を示す図である。 図１４に示す標高値の計算結果と図１５に示す標高値の計算結果との差の絶対値を計算した結果を示す図である。 画像０００４’の左半分（画素（０，０）から画素（３１，６３）まで）を示す図である。 画像０００４’の右半分（画素（３２，０）から画素（６３，６３）まで）を示す図である。 画像０００４’のグレースケール表示である。 ＯＦ０００４ｔｏ０００４Ｘ／Ｙ（基準画像０００４に対応）を用いて１／２ダウンサンプリングを行った結果を示す図である。 ＯＦ０００５ｔｏ０００４Ｘ／Ｙ（参照画像０００５に対応）を用いて１／２ダウンサンプリングを行った結果を示す図である。 ＯＦ０００３ｔｏ０００４Ｘ／Ｙ（参照画像０００３に対応）を用いて１／２ダウンサンプリングを行った結果を示す図である。 ＯＦ０００４ｔｏ０００４Ｘ／Ｙ（基準画像０００４に対応）を用いたダウンサンプリング結果と、基準画像０００４との差分を計算した結果である。 ＯＦ０００５ｔｏ０００４Ｘ／Ｙ（参照画像０００５に対応）を用いたダウンサンプリング結果と、参照画像０００５との差分を計算した結果である。 ＯＦ０００３ｔｏ０００４Ｘ／Ｙ（参照画像０００３に対応）を用いたダウンサンプリング結果と、参照画像０００３との差分を計算した結果である。 参照画像０００５の差分を２／１アップサンプリングした結果の左半分（画素（０，０）から画素（３１，６３）まで）を示す図である。 参照画像０００５の差分を２／１アップサンプリングした結果の右半分（画素（３２，０）から画素（６３，６３）まで）を示す図である。 高解像度画像１２５の左半分（画素（０，０）から画素（３１，６３）まで）を示す図である。 高解像度画像１２５の右半分（画素（３２，０）から画素（６３，６３）まで）を示す図である。 高解像度画像１２５のグレースケール表示である。 高解像度画像１２５ａの左半分（画素（０，０）から画素（３１，６３）まで）を示す図である。 高解像度画像１２５ａの右半分（画素（３２，０）から画素（６３，６３）まで）を示す図である。 高解像度画像１２５ａのグレースケール表示である。

実施の形態１．
図１は、本実施の形態に係る高解像度画像生成装置１００のブロック構成を示す図である。図１を用いて、本実施の形態に係る高解像度画像生成装置１００のブロック構成について説明する。
高解像度画像生成装置１００は、オプティカルフロー計算部１０１、奥行き情報計算部１０２、オプティカルフロー選別部１０３（オプティカルフロー判定部）、高解像度画像計算部１０４（高解像度化処理部）、ハードディスク１２０（画像記憶部）、ディスプレイ１３０を備える。

ハードディスク１２０は、画像撮像情報１２１を記憶する。また、ハードディスク１２０は、後述するオプティカルフロー計算部１０１により算出されたオプティカルフローを一時的にオプティカルフロー１２４として記憶するとしてもよい。
画像撮像情報１２１は、多視点画像情報１２２と、多視点画像情報１２２に対応するパラメータ情報１２３とを有する。

多視点画像情報１２２は、光学観測衛星などのプラットフォームにより、上空から異なる角度で地上を撮影した複数の画像の情報である。多視点画像情報１２２は、グレースケール表示の多視点画像１２２１と、多視点画像１２２１の各画素の濃度値を示した多視点画像データ１２２２とを有する。多視点画像１２２１と多視点画像データ１２２２との詳細については後述する。

ハードディスク１２０は、高解像度化する対象の対象画像（基準画像）と、基準画像の撮像対象を異なる視点から撮影した複数の参照画像とのそれぞれの多視点画像情報１２２を記憶する画像記憶部の一例である。

また、パラメータ情報１２３は、多視点画像情報１２２に含まれる多視点画像１２２１を撮影した時の内部・外部パラメータの情報である。パラメータ情報１２３は、カメラまたはセンサの焦点距離、位置、姿勢等の情報である。パラメータ情報１２３は、例えば、センサ位置情報１２３１、センサベクトル情報１２３２を有する。
パラメータ情報１２３は、対応する多視点画像１２２１を撮像した撮像装置（カメラ、センサ等）の撮像状態を示す撮像装置状態情報の一例である。

オプティカルフロー計算部１０１は、ハードディスク１２０から、基準画像と参照画像とを含む複数の組であって、参照画像が互いに異なる複数の組を抽出し、抽出した組毎に、オプティカルフローを処理装置により計算する。オプティカルフローとは、基準画像の画素毎に、各画素が対応する参照画像上の画素を表す画素毎対応情報を含む情報である。
オプティカルフロー計算部１０１は、ハードディスク１２０から多視点画像情報１２２を２つずつ複数組選択し、選択した２つの多視点画像情報１２２間のオプティカルフローを計算する。

奥行き情報計算部１０２は、オプティカルフロー計算部１０１により計算された組毎のオプティカルフローと、ハードディスク１２０に記憶されたパラメータ情報１２３のうち、基準画像と当該組に含まれる参照画像とのそれぞれの画像撮像情報１２１に対応するパラメータ情報１２３とに基づいて、基準画像の各画素の奥行きを示す奥行き情報を組毎に計算する。画像の奥行きとは、その画像によって表されている撮像対象のセンサからの距離、あるいは、標高値を示すものとする。

オプティカルフロー選別部１０３は、奥行き情報計算部１０２により計算された組毎の奥行き情報のうちの少なくとも２つの奥行き情報に基づいて、組毎のオプティカルフローに含まれる画素毎の画素毎対応情報のそれぞれを、基準画像の高解像度化に用いるか否かを処理装置により判定する。つまり、オプティカルフロー選別部１０３は、奥行き情報計算部１０２による複数の距離計算の結果を照合して、オプティカルフローの良部分・不良部分の選別を行う。

高解像度画像計算部１０４は、組毎のオプティカルフローに含まれる画素毎の画素毎対応情報のうち、オプティカルフロー選別部１０３により基準画像の高解像度化に用いる（良判定）と判定された画素毎対応情報に基づいて、基準画像を高解像度化する。つまり、高解像度画像計算部１０４は、良判定されたオプティカルフローの部分と、それに対応する画像領域とを入力し、高解像度画像の計算生成を行い、不良判定されたオプティカルフローの部分は高解像度化には使用しない。

ディスプレイ１３０は、高解像度画像の生成結果を出力表示する。

図２は、本実施の形態に係る高解像度画像生成装置１００のハードウェア構成の一例を示す図である。
図２を用いて、高解像度画像生成装置１００のハードウェア構成例について説明する。

高解像度画像生成装置１００はコンピュータであり、高解像度画像生成装置１００の各要素をプログラムで実現することができる。つまり、オプティカルフロー計算部１０１、奥行き情報計算部１０２、オプティカルフロー選別部１０３、高解像度画像計算部１０４の各要素をプログラムで実現することができる。

高解像度画像生成装置１００のハードウェア構成としては、バスに、演算装置９０１、外部記憶装置９０２、主記憶装置９０３、通信装置９０４、入出力装置９０５が接続されている。

演算装置９０１は、プログラムを実行するＣＰＵ（Ｃｅｎｔｒａｌ・Ｐｒｏｃｅｓｓｉｎｇ・Ｕｎｉｔ）である。
外部記憶装置９０２は、例えばＲＯＭ（Ｒｅａｄ・Ｏｎｌｙ・Ｍｅｍｏｒｙ）やフラッシュメモリ、ハードディスク装置である。ハードディスク１２０は、外部記憶装置９０２の一例である。
主記憶装置９０３は、ＲＡＭ（Ｒａｎｄｏｍ・Ａｃｃｅｓｓ・Ｍｅｍｏｒｙ）である。

通信装置９０４は、例えば通信ボード等であり、ＬＡＮ（Ｌｏｃａｌ・Ａｒｅａ・Ｎｅｔｗｏｒｋ）等に接続されている。通信装置９０４は、ＬＡＮに限らず、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ・Ｐｒｏｔｏｃｏｌ・Ｖｉｒｔｕａｌ・Ｐｒｉｖａｔｅ・Ｎｅｔｗｏｒｋ）、広域ＬＡＮ、ＡＴＭ（Ａｓｙｎｃｈｒｏｎｏｕｓ・Ｔｒａｎｓｆｅｒ・Ｍｏｄｅ）ネットワークといったＷＡＮ（Ｗｉｄｅ・Ａｒｅａ・Ｎｅｔｗｏｒｋ）、あるいは、インターネットに接続されていても構わない。ＬＡＮ、ＷＡＮ、インターネットは、ネットワークの一例である。

入出力装置９０５は、例えばマウス、キーボード、ディスプレイ装置等である。マウスの代わりに、タッチパネル、タッチパッド、トラックボール、ペンタブレット、あるいは、その他のポインティングデバイスが用いられてもよい。ディスプレイ装置は、ＬＣＤ（Ｌｉｑｕｉｄ・Ｃｒｙｓｔａｌ・Ｄｉｓｐｌａｙ）、ＣＲＴ（Ｃａｔｈｏｄｅ・Ｒａｙ・Ｔｕｂｅ）、あるいは、その他の表示装置でもよい。ディスプレイ１３０は、表示装置の一例である。

プログラムは、通常は外部記憶装置９０２に記憶されており、主記憶装置９０３にロードされた状態で、順次演算装置９０１に読み込まれ、実行される。
プログラムは、図１に示す「〜部」として説明している機能を実現するプログラムである。
更に、外部記憶装置９０２にはオペレーティングシステム（ＯＳ）も記憶されており、ＯＳの少なくとも一部が主記憶装置９０３にロードされ、演算装置９０１はＯＳを実行しながら、図１に示す「〜部」の機能を実現するプログラムを実行する。
また、アプリケーションプログラムも外部記憶装置９０２に記憶されており、主記憶装置９０３にロードされた状態で、順次演算装置９０１により実行される。
また、「〜テーブル」等の情報も外部記憶装置９０２に記憶されている。

また、本実施の形態の説明において、「〜の判断」、「〜の判定」、「〜の抽出」、「〜の検知」、「〜の設定」、「〜の登録」、「〜の選択」、「〜の生成」、「〜の入力」、「〜の出力」等として説明している処理の結果を示す情報やデータや信号値や変数値が主記憶装置９０３にファイルとして記憶されている。
また、高解像度画像生成装置１００が受信したデータが主記憶装置９０３に記憶される。
また、暗号鍵・復号鍵や乱数値やパラメータが、主記憶装置９０３にファイルとして記憶されてもよい。

なお、図２の構成は、あくまでも高解像度画像生成装置１００のハードウェア構成の一例を示すものであり、高解像度画像生成装置１００のハードウェア構成は図２に記載の構成に限らず、他の構成であってもよい。

図３は、本実施の形態に係る高解像度画像生成装置１００による高解像度画像生成方法の動作を示すフローチャートである。高解像度画像生成方法は、オプティカルフロー計算部１０１、奥行き情報計算部１０２、オプティカルフロー選別部１０３、高解像度画像計算部１０４等が、処理装置、記憶装置、入出力装置等のハードウェア資源と協働することにより実現される。例えば、高解像度画像生成装置１００は、オプティカルフロー計算プログラム、奥行き情報計算プログラム、オプティカルフロー選別プログラム、高解像度画像計算プログラム等を処理装置を用いて実行することにより高解像度画像生成方法を実現する。
図３を用いて、高解像度画像生成装置１００による高解像度画像生成処理（高解像度画像生成工程）（高解像度画像生成ステップ）について説明する。以下において、「〜処理」との記載は、「〜工程」、「〜ステップ」とも言い換えることができる。

＜オプティカルフロー計算処理：Ｓ１１０＞
まず、オプティカルフロー計算部１０１によるオプティカルフロー計算処理について説明する。
図１に示すハードディスク１２０には、高解像度化の対象である基準画像０００４、基準画像０００４とは異なる視点から撮像した参照画像０００３、参照画像０００５に関する画像撮像情報１２１が記憶されているものとする。参照画像０００３、基準画像０００４、参照画像０００５を単に画像０００３、画像０００４、画像０００５と記載する場合もある。

図４は、本実施の形態に係る多視点画像データ１２２２（画像０００５）を示す図である。図５は、（ａ）は多視点画像１２２１（画像０００５）、（ｂ）はセンサ位置情報１２３１（画像０００５）、（ｃ）はセンサベクトル情報１２３２（画像０００５）を示す図である。図６は、本実施の形態に係る多視点画像データ１２２２（画像０００４）を示す図である。図７は、（ａ）は多視点画像１２２１（画像０００４）、（ｂ）はセンサ位置情報１２３１（画像０００４）、（ｃ）はセンサベクトル情報１２３２（画像０００４）を示す図である。図８は、本実施の形態に係る多視点画像データ１２２２（画像０００３）を示す図である。図９は、（ａ）は多視点画像１２２１（画像０００３）、（ｂ）はセンサ位置情報１２３１（画像０００３）、（ｃ）はセンサベクトル情報１２３２（画像０００３）を示す図である。

ここでは、オプティカルフロー計算部１０１は、ハードディスク１２０から複数の画像撮像情報１２１を入力する。３つの画像撮像情報１２１を入力する。３つの画像撮像情報１２１により示される画像は、参照画像０００３，基準画像０００４，参照画像０００５とする。
以下の説明において、多視点画像データ１２２２（０００５）のように、かっこ書き（０００５）を付した場合には、参照画像０００５についての多視点画像データ１２２２であることを示すものとする。

上述したように、画像撮像情報１２１は、画像に関する情報として、多視点画像情報１２２とパラメータ情報１２３とを有する。多視点画像情報１２２は、画像の情報であり、多視点画像１２２１、多視点画像データ１２２２から構成される。パラメータ情報１２３は、センサ位置情報１２３１、センサベクトル情報１２３２から構成される。

図４に示す多視点画像データ１２２２（０００５）は、多視点画像１２２１（０００５）の各画素の濃度値を０〜９９にリスケーリングして表示したものである。多視点画像データ１２２２（０００５）は、水平方向、垂直方向ともに０〜３１の値をとる画素データである。

図５（ａ）に示す多視点画像１２２１（０００５）は、参照画像０００５のグレースケール表示である。
図５（ｂ）に示すセンサ位置情報１２３１は、画像０００５を撮像したときのセンサの位置を地球中心座標で画素毎に示したものである。撮像は向かって右側からラインセンサによって行われたものであり、よって、列方向の座標は同一となっている。
また、図５（ｃ）に示すセンサベクトル情報１２３２は、画像０００５を撮像したときのセンサー中心から地表面までのベクトルを、画素毎に示したものである。撮像は向かって右側からラインセンサによって行われたものであり、行方向のベクトルは同一となっている。

オプティカルフロー計算部１０１は、ハードディスク１２０から画像０００３，０００４，０００５の画像撮像情報１２１を読み出し、以下の手順にしたがってオプティカルフローを計算する。

ここで、Ａ画像からＢ画像へのオプティカルフローを計算する場合、Ａ画像を「基準とする画像」、Ｂ画像を「参照する画像」と呼ぶものとする。Ａ画像とＢ画像とのオプティカルフローを計算する場合、Ａ画像からＢ画像へのオプティカルフローと、Ｂ画像からＡ画像へのオプティカルフローとを計算する。以下において、Ａ画像からＢ画像へのオプティカルフローをＯＦＡｔｏＢＸ／Ｙと表し、Ｂ画像からＡ画像へのオプティカルフローをＯＦＢｔｏＡＸ／Ｙと表す。

ここでは、一例として、基準画像０００４と参照画像０００５とのオプティカルフローの計算方法について述べる。基準画像０００４を基準とする画像とし、画像０００５を参照する画像とし、基準画像０００４から参照画像０００５へのオプティカルフローＯＦ０００４ｔｏ０００５Ｘ／Ｙを計算する。また、反対に、参照画像０００５を基準とする画像とし、基準画像０００５を参照する画像とし、参照画像０００５から基準画像０００４へのオプティカルフローＯＦ０００５ｔｏ０００４Ｘ／Ｙを計算する。

オプティカルフロー計算部１０１は、多視点画像データ１２２２を用いてオプティカルフローを算出する。
オプティカルフロー計算部１０１は、基準となる画像の多視点画像データ１２２２の各画素毎にオプティカルフローを算定する。まず、基準となる画像において、オプティカルフローを求めようとする画素を中心とした所定サイズの部分画像を切り出す。次に、その部分画像を参照する画像に重ねたとき、重なり合う画素間の相関が最も高い場所を見つける。この方法は面積相関法と呼ばれ、広く知られた方法であるので、詳細の説明は省略する。
このように、オプティカルフロー計算部１０１は、基準となる画像の各画素が、参照する画像のどの場所に対応するかを示す数値を算出する。オプティカルフローにおいて、各画素に対応する上記数値を画素毎対応情報とする。

図１０は、基準画像０００４から参照画像０００５へのオプティカルフローのＸ成分（水平方向）を示すＯＦ０００４ｔｏ０００５Ｘを示す図である。
図１１は、基準画像０００４から参照画像０００５へのオプティカルフローのＹ成分（垂直方向）を示すＯＦ０００４ｔｏ０００５Ｙを示す図である。
図１２は、参照画像０００５から基準画像０００４へのオプティカルフローのＸ成分（水平方向）を示すＯＦ０００５ｔｏ０００４Ｘを示す図である。
図１３は、参照画像０００５から基準画像０００４へのオプティカルフローのＹ成分（垂直方向）を示すＯＦ０００５ｔｏ０００４Ｙを示す図である。

図１０〜図１３において、オプティカルフローの各画素の数値の単位は０．１ピクセルである。また、図１０〜図１３において、太線で囲まれた数値はマイナスであることを示す。
オプティカルフローの各値は、基準となる画像の各画素の、参照する画像における移動量を示している。

基準画像０００４から参照画像０００５へのオプティカルフローＯＦ０００４ｔｏ０００５Ｘ／Ｙについて、具体例で説明する。図１０に示すように、基準画像０００４の画素（１３，７）に対応するＸ方向の移動量は、１２である。図１１に示すように、基準画像０００４の画素（１３，７）に対応するＹ方向の移動量は、−４である。
これは、基準画像０００４の画素（１３，７）に対応する参照画像０００５上の画素は、基準画像０００４の画素（１３，７）の位置から、右に１．２ピクセル、上に０．４ピクセルの位置にあることを示している。つまり、基準画像０００４の画素（１３，７）に対応する参照画像０００５上の画素の座標は（１４．２，６．６）であることを示している。

反対に、参照画像０００５から基準画像０００４へのオプティカルフローＯＦ０００５ｔｏ０００４Ｘ／Ｙについて、具体例で説明する。図１２に示すように、参照画像０００５の画素（６，７）に対応するＸ方向の移動量は、−６である。図１３に示すように、参照画像０００５の画素（６，７）に対応するＹ方向の移動量は、４である。
これは、参照画像０００５の画素（６，７）に対応する基準画像０００４上の画素は、参照画像０００５の画素（６，７）の位置から、左に０．６ピクセル、下に０．４ピクセルの位置にあることを示している。つまり、参照画像０００５の画素（６，７）に対応する基準画像０００４上の画素の座標は（−５．４，７．４）であることを示している。
同様にして、オプティカルフロー計算部１０１は、基準画像０００４と参照画像０００３とのオプティカルフローＯＦ０００４ｔｏ０００３Ｘ／ＹおよびＯＦ０００３ｔｏ０００４Ｘ／Ｙも計算する。

＜奥行き情報計算処理：Ｓ１２０＞
次に、奥行き情報計算部１０２による奥行き情報計算処理について説明する。
奥行き情報計算部１０２は、オプティカルフロー計算部１０１により計算されたオプティカルフローと、ハードディスク１２０に記憶されているセンサ位置情報１２３１及びセンサベクトル情報１２３２とから、基準画像０００４の各画素について、奥行き（センサからの距離あるいは標高）を計算する。基準画像０００４の各画素について奥行きを計算した結果を、奥行き情報とする。

まず、奥行き情報計算部１０２は、計算しようとしている基準画像０００４の画素（計算対象画素とする）について、センサ位置情報１２３１及びセンサベクトル情報１２３２から、センサー位置（ｐｘ，ｐｙ，ｐｚ）及びセンサベクトル（ｖｘ，ｖｙ，ｖｚ）を、ハードディスク１２０から取り出す。そして、奥行き情報計算部１０２は、取り出したセンサー位置（ｐｘ，ｐｙ，ｐｚ）とセンサベクトル（ｖｘ，ｖｙ，ｖｚ）とから定まる直線ｌを算出する。

次に、奥行き情報計算部１０２は、計算対象画素について与えられているオプティカルフローを参照し、参照画像０００５上の画素座標を取得する。ここでは、基準画像０００４から参照画像０００５へのオプティカルフローを用いる。つまり、基準画像０００４から参照画像０００５へのオプティカルフローＯＦ０００４ｔｏ０００５Ｘ／Ｙを用いて、参照画像０００５上の画素座標を取得する。

奥行き情報計算部１０２は、参照画像上の画素座標に与えられているセンサー位置（ｐｘ’，ｐｙ’，ｐｚ’）とセンサベクトル（ｖｘ’，ｖｙ’，ｖｚ’）とから定まる直線ｌ’を算出する。奥行き情報計算部１０２は、基準画像の計算対象画素から算出された直線ｌと、オプティカルフローに求められた参照画像の画素座標から算出された直線ｌ’との交点を求める。この交点が、基準画像０００４の計算対象画素が表している撮像対象の地球中心座標における位置となる。このようにして、奥行き情報計算部１０２は、基準画像の各画素の地球中心座標における位置を計算する。

なお、参照画像上の画素座標には一般には実数値が与えられている。そこで、実際には、参照画像上の画素座標の最近傍の４画素に対応する直線を使ってそれぞれの地球中心座標を求め、線形補間を行うことにより計算対象画素の地球中心座標を得る。地球中心座標は、緯度・経度座標系に変換することで地球楕円体からの距離に変換することができる。
また、上記において、２直線の交点を求めるとしたが、２直線が交わらない場合には、２直線間の距離が最短となる位置において、その真ん中の点を交点とみなすものとする。

さらに、奥行き情報計算部１０２は、計算対象画素の地球中心座標の地球楕円体からの距離から、ジオイド高を減ずることにより、計算対象画素の地球中心座標における標高値を算出する。

図１４は、基準画像０００４から参照画像０００５へのオプティカルフローＯＦ０００４ｔｏ０００５Ｘ／Ｙを用いて、基準画像０００４の各画素について計算した地球中心座標を、標高値に変換した結果を示す図である。
図１５は、基準画像０００４から参照画像０００３へのオプティカルフローＯＦ０００４ｔｏ０００３Ｘ／Ｙを用いて、基準画像０００４の各画素について計算した地球中心座標を、標高値に変換した結果を示す図である。

なお、各画素の奥行きとしては、標高値に限らず、センサからの距離を奥行きとして用いてもよい。本実施の形態では、以下の説明において、奥行きの計算結果として標高値に置き換えた値を使用する。

＜オプティカルフロー選別処理：Ｓ１３０＞
次に、オプティカルフロー選別部１０３によるオプティカルフロー選定処理（オプティカルフローの良否判定処理）について説明する。
図１６は、図１４に示す標高値の計算結果と図１５に示す標高値の計算結果との差の絶対値を計算した結果を示す図である。

オプティカルフロー選別部１０３は、奥行き情報計算部１０２により計算された奥行き情報から２つの奥行き情報を抽出し、抽出した２つの奥行き情報を用いて、基準画像の画素毎に奥行きの差分を算出し、算出した差分が閾値未満の場合に、基準画像の計算対象画素に対応するオプティカルフローの画素毎対応情報を基準画像の高解像度化に用いることができる良部分であると判定する。

具体的には、オプティカルフロー選別部１０３は、図１４に示す標高値の計算結果と図１５に示す標高値の計算結果とを取り出して、画素毎に差（絶対値）を求める（図１６）。さらに、オプティカルフロー選別部１０３は、例えば、差が３ｍ以上となる箇所（画素）を不良箇所として記録する。不良箇所として記録するのは、差３ｍ以上に限らず、２ｍ，４ｍ，５ｍ等、適宜変更可能であるものとする。

差が３ｍ以上となる箇所を不良箇所として記録する場合には、図１６に点線の丸印で示すように、例えば、（０，０）、（１５，０）、（１６，１）、（１７，１）、（１５，２）などが不良箇所に相当する。他にも不良箇所があるが、ここでは、説明を省略する。
オプティカルフローＯＦ０００４ｔｏ０００５Ｘ／ＹおよびオプティカルフローＯＦ０００４ｔｏ０００３Ｘ／Ｙにおいて、これらの不良箇所の画素座標に対応する値が、高解像度化には用いることができない不良部分であることとなる。

＜高解像度画像計算処理：Ｓ１４０＞
次に、高解像度画像計算部１０４による高解像度画像計算処理について説明する。
高解像度画像計算部１０４は、基準画像０００４・参照画像０００５・参照画像０００３と、オプティカルフローＯＦ０００４ｔｏ０００５Ｘ／ＹおよびＯＦ０００５ｔｏ０００４Ｘ／Ｙ・オプティカルフローＯＦ０００４ｔｏ０００３Ｘ／ＹおよびＯＦ０００３ｔｏ０００４Ｘ／Ｙを入力して、以下の手順により、基準画像０００４の２倍の解像度の画像の生成を行う。

まず、高解像度画像計算部１０４は、基準画像０００４から線形補間により２倍の解像度の画像０００４’を作成する。ここでは、解像度を２倍として画像０００４’を作成したが、画像０００４を単に２倍に引き伸ばしただけであり、高解像度化したものではない。
図１７，１８は、基準画像０００４から作成された２倍の解像度の画像０００４’を示す図である。
図１７は、画像０００４’の左半分（画素（０，０）から画素（３１，６３）まで）を示す図である。
図１８は、画像０００４’の右半分（画素（３２，０）から画素（６３，６３）まで）を示す図である。
図１９は、画像０００４’のグレースケール表示である。

次に、高解像度画像計算部１０４は、図１７，１８の画像０００４’に対し、基準画像０００４・参照画像０００５・参照画像０００３それぞれのオプティカルフロー（参照画像から基準画像へのもの）に基いて、１／２ダウンサンプリングを行う。つまり、ＯＦ０００５ｔｏ０００４Ｘ／Ｙ（参照画像０００５に対応）、ＯＦ０００３ｔｏ０００４Ｘ／Ｙ（参照画像０００３に対応）、ＯＦ０００４ｔｏ０００４Ｘ／Ｙ（基準画像０００４に対応）を用いて１／２ダウンサンプリングを行う。なお、基準画像０００４のオプティカルフローＯＦ０００４ｔｏ０００４Ｘ／Ｙとは、自身から自身を参照することになるので、Ｘ成分・Ｙ成分ともに０を適用する。

ダウンサンプリング画像上の座標（ｘ，ｙ）（ｘ＝０，１，２，・・・，３１、ｙ＝０，１，２，・・・，３１）に対応する画像０００４’上の座標（ｘ’，ｙ’）（ｘ’＝０，１，２，・・・，６３、ｙ’＝０，１，２，・・・，６３）は以下の式１及び式２となる。なお、ｆｌｏｗＸ（ｘ，ｙ）およびｆｌｏｗＹ（ｘ，ｙ）は、それぞれ座標（ｘ，ｙ）におけるオプティカルフローのＸ成分とＹ成分を示すとする。

ｘ’＝（ｘ−１５）×２−１＋ｆｌｏｗＸ（ｘ，ｙ）／１０×２＋３１ （式１）
ｙ’＝（ｙ−１５）×２−１＋ｆｌｏｗＹ（ｘ，ｙ）／１０×２＋３１ （式２）
高解像度画像計算部１０４は、画像０００４’上の座標（ｘ’，ｙ’）を算出し、（ｘ，ｙ）のまわりの４つ座標（ｘ’，ｙ’）のデータから、線形補間により（ｘ，ｙ）の値を求める。

図２０は、ＯＦ０００４ｔｏ０００４Ｘ／Ｙ（基準画像０００４に対応）を用いて１／２ダウンサンプリングを行った結果を示す図である。
図２１は、ＯＦ０００５ｔｏ０００４Ｘ／Ｙ（参照画像０００５に対応）を用いて１／２ダウンサンプリングを行った結果を示す図である。
図２２は、ＯＦ０００３ｔｏ０００４Ｘ／Ｙ（参照画像０００３に対応）を用いて１／２ダウンサンプリングを行った結果を示す図である。

次に、高解像度画像計算部１０４は、図２０〜２２のダウンサンプリング結果と、基準画像０００４・参照画像０００５・参照画像０００３それぞれとの差分を計算する。
図２３は、ＯＦ０００４ｔｏ０００４Ｘ／Ｙ（基準画像０００４に対応）を用いたダウンサンプリング結果と、基準画像０００４との差分を計算した結果である。
図２４は、ＯＦ０００５ｔｏ０００４Ｘ／Ｙ（参照画像０００５に対応）を用いたダウンサンプリング結果と、参照画像０００５との差分を計算した結果である。
図２５は、ＯＦ０００３ｔｏ０００４Ｘ／Ｙ（参照画像０００３に対応）を用いたダウンサンプリング結果と、参照画像０００３との差分を計算した結果である。
図２３〜図２５において、太線で囲まれた数値はマイナスであることを示す。

次に、高解像度画像計算部１０４は、図２０〜２２の差分計算結果に対し、基準画像０００４・参照画像０００５・参照画像０００３それぞれのオプティカルフロー（基準画像から参照画像へのもの）に基づいて２／１アップサンプリングを行う。つまり、ＯＦ０００４ｔｏ０００５Ｘ／Ｙ（参照画像０００５に対応）、ＯＦ０００４ｔｏ０００３Ｘ／Ｙ（参照画像０００３に対応）、ＯＦ０００４ｔｏ０００４Ｘ／Ｙ（基準画像０００４に対応）を用いて２／１アップサンプリングを行う。なお、基準画像０００４のオプティカルフローＯＦ０００４ｔｏ０００４Ｘ／Ｙとは、上述した場合と同様に、自身から自身を参照することになるので、Ｘ成分・Ｙ成分ともに０を適用する。

アップサンプリング画像上の座標（ｘ，ｙ）（ｘ＝０，１，２，・・・，６３、ｙ＝０，１，２，・・・，６３）に対応するダウンサンプリング画像上の座標（ｘ’，ｙ’）（ｘ’＝０，１，２，・・・，３１、ｙ’＝０，１，２，・・・，３１）は以下の式３，式４で表される。なお、ｆｌｏｗＸ（ｘ，ｙ）およびｆｌｏｗＹ（ｘ，ｙ）は、それぞれ座標（ｘ，ｙ）におけるオプティカルフローのＸ成分とＹ成分を示すとする。また、［ｘ］はｘより小さい最大の整数を示す。

ｘ’＝（ｘ−３１）／２−０．２５−ｆｌｏｗＸ（［ｘ／２］，［ｙ／２］）／１０／２＋１５ （式３）
ｙ’＝（ｙ−３１）／２−０．２５−ｆｌｏｗＹ（［ｘ／２］，［ｙ／２］）／１０／２＋１５ （式４）

一例として、高解像度画像計算部１０４は、参照画像０００５の差分を、ＯＦ０００４ｔｏ０００５Ｘ／Ｙ（参照画像０００５に対応）を用いて２／１アップサンプリングする。
図２６，２７は、参照画像０００５の差分を、ＯＦ０００４ｔｏ０００５Ｘ／Ｙ（参照画像０００５に対応）を用いて２／１アップサンプリングした結果を示す図である。
図２６は、参照画像０００５の差分を２／１アップサンプリングした結果の左半分（画素（０，０）から画素（３１，６３）まで）を示す図である。図２７は、参照画像０００５の差分を２／１アップサンプリングした結果の右半分（画素（３２，０）から画素（６３，６３）まで）を示す図である。
図２６，２７において、太線で囲まれた数値はマイナスであることを示す。

高解像度画像計算部１０４は、同様にして、基準画像０００４の差分、参照画像０００３の差分についても、ＯＦ０００４ｔｏ０００４Ｘ／Ｙ（基準画像０００４に対応）、ＯＦ０００４ｔｏ０００３Ｘ／Ｙ（参照画像０００３に対応）を用いて２／１アップサンプリングを行う。

次に、高解像度画像計算部１０４は、２／１アップサンプリング結果に基づいて、画像０００４’（図１７，１８参照）の更新を行う。高解像度画像計算部１０４は、以下の式５により、画像０００４’の更新を行う。

関数Ｖａｌｉｄ（ｘ，ｙ）は、図１６に示した座標（ｘ，ｙ）の標高値の差が、３ｍ以下のときに１、３ｍ超のときに０を返す関数であるとする。つまり、関数Ｖａｌｉｄ（ｘ，ｙ）は、座標（ｘ，ｙ）が良部分である場合は１、不良部分である場合は０を出力する関数である。

ｄ０００４（ｘ，ｙ）は、基準画像０００４との差分の２／１アップサンプリング結果における座標（ｘ，ｙ）の値、ｄ０００５（ｘ，ｙ）は参照画像０００５との差分の２／１アップサンプリング結果における座標（ｘ，ｙ）の値、ｄ０００３（ｘ，ｙ）は参照画像０００３との差分の２／１アップサンプリング結果における座標（ｘ，ｙ）の値を示す。

ｖ（ｘ，ｙ）は、画像０００４’上の座標（ｘ，ｙ）の更新前の値、ｖ’（ｘ，ｙ）は更新後の値を示す。αは定数であり、本実施の形態では、０．２５を使用することとする。また、［ｘ］はｘより小さい最大の整数を示す。
以上の条件を前提として、高解像度画像計算部１０４は、以下の式５により、画像０００４’の更新を行う。

ｖ’（ｘ，ｙ）＝ｖ（ｘ，ｙ）＋α×（ｄ０００４（ｘ，ｙ）＋ｄ０００５（ｘ，ｙ）＋ｄ０００３（ｘ，ｙ））×Ｖａｌｉｄ（［ｘ／２］，［ｙ／２］） （式５）

以上のようにして、高解像度画像計算部１０４は、オプティカルフローの良部分のみを用いて画像０００４’を更新し、基準画像０００４を高解像度化した高解像度画像１２５を出力する。
図２８，２９は、画像０００４’を高解像度化（更新）した結果である高解像度画像１２５を示す図である。
図２８は、高解像度画像１２５の左半分（画素（０，０）から画素（３１，６３）まで）を示す図である。
図２９は、高解像度画像１２５の右半分（画素（３２，０）から画素（６３，６３）まで）を示す図である。
図３０は、高解像度画像１２５のグレースケール表示である。

図１９の基準画像０００４を単に引き延ばした画像０００４’と比較すると、図３０の高解像度画像１２５は、コントラストが改善していることが観察できる。
高解像度画像計算部１０４は、以降、所定の回数に達するまで、１／２ダウンサンプリング・差分計算・２／１アップサンプリング・更新の手順を繰り返す。

高解像度画像計算部１０４は、例えば、１０回、上記手順（１／２ダウンサンプリング・差分計算・２／１アップサンプリング・更新の手順）を繰り返す
図３１，３２は、手順を１０回繰り返した結果である高解像度画像１２５ａを示す図である。
図３１は、高解像度画像１２５ａの左半分（画素（０，０）から画素（３１，６３）まで）を示す図である。
図３２は、高解像度画像１２５ａの右半分（画素（３２，０）から画素（６３，６３）まで）を示す図である。
図３３は、高解像度画像１２５ａのグレースケール表示である。
図３０の高解像度画像１２５と、図３３の高解像度画像１２５ａとを比較すると、図３３の高解像度画像１２５ａでは、画像各部において画像の詳細が復元されていることが観察できる。
ここで、上記手順を繰り返す回数は、適宜変更可能である。
以上のように、高解像度画像生成装置１００による高解像度画像生成処理により、基準画像０００４を２倍の解像度に高解像度化した画像が得られることとなる。

なお、本実施の形態では、ＩＢＰ（Ｉｔｅｒａｔｉｖｅ・Ｂａｃｋｗａｒｄ・Ｐｒｏｊｅｃｔｉｏｎ）法と呼ばれるアルゴリズムに基づいて高解像度化（超解像）処理を行う方法を示したが、ＩＢＰ法のその他の方式の実装や、ＭＡＰ（Ｍａｘｉｍｕｍ・Ａ・Ｐｏｓｔｅｒｉｏｒｉ）法などによって高解像度化（超解像）処理を実施することもできる。

また、本実施の形態では、入力画像を３枚として実施したが、２枚以上であれば任意の枚数で実施することができる。また、入力画像として解像度が同一であるものとして実施したが、互いに異なる解像度の画像を使っても同様に実施することもできる。

また、本実施の形態では、２つの奥行き計算結果を比較して差が３ｍ超の部分を不良として判定したが、３つ以上の奥行き計算結果を比較して分散あるいは標準偏差に着目して不良判定を行うように実施することもできる。また、標準偏差などを求める場合、スミルノフ・グラブス検定法などにより外れ値除去の前段処理を行うように実施することもできる。

以上のように、本実施の形態に係る高解像度画像生成装置１００は、異なる方向から撮影された多視点画像と撮影時の内部・外部パラメーター（センサーあるいはカメラの焦点距離、位置・向き等の情報）を記憶する多視点画像記憶手段と、多視点画像から画像を２枚ずつ複数組を選択し、選択した画像間のオプティカルフローを計算するオプティカルフロー計算手段と、複数のオプティカルフローのそれぞれに対し、内部・外部パラメーター（センサーあるいはカメラの焦点距離、位置・向き等の情報）を参照して、画像の奥行きを計算する奥行き計算手段と、複数の奥行き計算の結果を比較して、オプティカルフローの良部分・不良部分の選定を行うオプティカルフロー選定手段と、良部分として選定されたオプティカルフローの部分と、それに対応する画像の部分を入力とし、高解像度画像の計算を行う、高解像度画像計算手段とを備える。
これにより、多視点画像からは奥行き情報を計算できることを利用し、その結果からオプティカルフローの良・不良部位の選別を行うことで、高品位な画像生成が可能であるという効果がある。

上記実施の形態の説明では、「オプティカルフロー計算部」、「奥行き情報計算部」、「オプティカルフロー選別部」、「高解像度画像計算部」がそれぞれ独立した機能ブロックとして高解像度画像生成装置１００を構成している。しかし、これに限られるわけではなく、例えば、「オプティカルフロー計算部」、「奥行き情報計算部」をひとつの機能ブロックで実現し、「オプティカルフロー選別部」、「高解像度画像計算部」をひとつの機能ブロックで実現しても良い。あるいは、ひとつの機能ブロックをさらに複数の機能ブロックに分割して高解像度画像生成装置１００を構成してもよい。あるいは、これらの機能ブロックを、他のどのような組み合わせで構成しても構わない。

以上、本発明の実施の形態について説明したが、この実施の形態のうち、１つの部分を実施しても構わない。あるいは、この実施の形態のうち、２つ以上の部分を組み合わせて実施しても構わない。なお、本発明は、これらの実施の形態に限定されるものではなく、必要に応じて種々の変更が可能である。

１００ 高解像度画像生成装置、１０１ オプティカルフロー計算部、１０２ 奥行き情報計算部、１０３ オプティカルフロー選別部、１０４ 高解像度画像計算部、１２０ ハードディスク、１２１ 画像撮像情報、１２２ 多視点画像情報、１２３ パラメータ情報、１２５，１２５ａ 高解像度画像、１３０ ディスプレイ、９０１ 演算装置、９０２ 外部記憶装置、９０３ 主記憶装置、９０４ 通信装置、９０５ 入出力装置、１２２１ 多視点画像、１２２２ 多視点画像データ、１２３１ センサ位置情報、１２３２ センサベクトル情報。

Claims (7)

1. 画像に対し、前記画像の解像度より高い解像度に高解像度化する処理を行う高解像度画像生成装置において、
   高解像度化する対象の対象画像と、前記対象画像の撮像対象を前記対象画像の視点と異なる視点から撮影した複数の参照画像とを記憶するとともに、前記対象画像と前記複数の参照画像とのそれぞれを撮像した撮像装置の撮像状態を示す撮像装置状態情報を前記対象画像と前記複数の参照画像とのそれぞれに対応付けて記憶する画像記憶部と、
   前記画像記憶部から、前記対象画像と前記参照画像とを含む複数の組であって、前記参照画像が互いに異なる複数の組を抽出し、抽出した組毎に、前記対象画像の画素毎に各画素が対応する前記参照画像の画素を示す画素毎対応情報を含むオプティカルフローを処理装置により計算するオプティカルフロー計算部と、
   前記オプティカルフロー計算部により計算された組毎の前記オプティカルフローと、前記画像記憶部に記憶された前記撮像装置状態情報のうち、前記対象画像と当該組に含まれる前記参照画像とのそれぞれに対応する前記撮像装置状態情報とに基づいて、前記対象画像の各画素の奥行きを示す奥行き情報を組毎に計算する奥行き情報計算部と、
   前記奥行き情報計算部により計算された組毎の前記奥行き情報のうちの少なくとも２つの前記奥行き情報に基づいて、組毎の前記オプティカルフローに含まれる前記画素毎対応情報のそれぞれを前記対象画像の高解像度化に用いるか否かを処理装置により判定するオプティカルフロー判定部と
   を備えることを特徴とする高解像度画像生成装置。
2. 前記高解像度画像生成装置は、さらに、
   組毎の前記オプティカルフローに含まれる前記画素毎対応情報のうち、前記オプティカルフロー判定部により前記対象画像の高解像度化に用いると判定された前記画素毎対応情報に基づいて、前記対象画像を高解像度化する高解像度化処理部を備えることを特徴とする請求項１に記載の高解像度画像生成装置。
3. 前記オプティカルフロー判定部は、
   前記奥行き情報計算部により計算された組毎の前記奥行き情報から２つの前記奥行き情報を抽出し、抽出した２つの前記奥行き情報を用いて、前記対象画像の画素毎に前記奥行きの差分を算出し、算出した差分が閾値未満の場合に、前記対象画像の当該画素に対応する前記画素毎対応情報を前記対象画像の高解像度化に用いると判定することを特徴とする請求項１または２に記載の高解像度画像生成装置。
4. 前記画像記憶部は、
   前記撮像装置状態情報として、前記撮像装置の位置を示す撮像装置位置情報と、前記撮像装置の向きを示す撮像装置向き情報とを記憶することを特徴とする請求項１〜３のいずれかに記載の高解像度画像生成装置。
5. 前記奥行き情報計算部は、
   前記対象画像の各画素の奥行きとして、前記対象画像の各画素が示す位置の標高値を計算することを特徴とする請求項１〜４のいずれかに記載の高解像度画像生成装置。
6. 画像に対し、前記画像の解像度より高い解像度に高解像度化する処理を行う高解像度画像生成装置であって、高解像度化する対象の対象画像と、前記対象画像の撮像対象を前記対象画像の視点と異なる視点から撮影した複数の参照画像とを記憶するとともに、前記対象画像と前記複数の参照画像とのそれぞれを撮像した撮像装置の撮像状態を示す撮像装置状態情報を前記対象画像と前記複数の参照画像とのそれぞれに対応付けて記憶する画像記憶部を備える高解像度画像生成装置の高解像度画像生成方法において、
   オプティカルフロー計算部が、前記画像記憶部から、前記対象画像と前記参照画像とを含む複数の組であって、前記参照画像が互いに異なる複数の組を抽出し、抽出した組毎に、前記対象画像の画素毎に各画素が対応する前記参照画像の画素を示す画素毎対応情報を含むオプティカルフローを処理装置により計算するオプティカルフロー計算工程と、
   奥行き情報計算部が、前記オプティカルフロー計算工程により計算された組毎の前記オプティカルフローと、前記画像記憶部に記憶された前記撮像装置状態情報のうち、前記対象画像と当該組に含まれる前記参照画像とのそれぞれに対応する前記撮像装置状態情報とに基づいて、前記対象画像の各画素の奥行きを示す奥行き情報を組毎に計算する奥行き情報計算工程と、
   オプティカルフロー判定部が、前記奥行き情報計算工程により計算された組毎の前記奥行き情報のうちの少なくとも２つの前記奥行き情報に基づいて、組毎の前記オプティカルフローに含まれる前記画素毎対応情報のそれぞれを前記対象画像の高解像度化に用いるか否かを処理装置により判定するオプティカルフロー判定工程と、
   高解像度化処理部が、組毎の前記オプティカルフローに含まれる前記画素毎対応情報のうち、前記オプティカルフロー判定工程により前記対象画像の高解像度化に用いると判定された前記画素毎対応情報に基づいて、前記対象画像を高解像度化する高解像度化処理工程とを備えることを特徴とする高解像度画像生成方法。
7. 画像に対し、前記画像の解像度より高い解像度に高解像度化する処理を行う高解像度画像生成装置であって、高解像度化する対象の対象画像と、前記対象画像の撮像対象を前記対象画像の視点と異なる視点から撮影した複数の参照画像とを記憶するとともに、前記対象画像と前記複数の参照画像とのそれぞれを撮像した撮像装置の撮像状態を示す撮像装置状態情報を前記対象画像と前記複数の参照画像とのそれぞれに対応付けて記憶する画像記憶部を備える高解像度画像生成装置の高解像度画像生成プログラムにおいて、
   オプティカルフロー計算部が、前記画像記憶部から、前記対象画像と前記参照画像とを含む複数の組であって、前記参照画像が互いに異なる複数の組を抽出し、抽出した組毎に、前記対象画像の画素毎に各画素が対応する前記参照画像の画素を示す画素毎対応情報を含むオプティカルフローを処理装置により計算するオプティカルフロー計算ステップと、
   奥行き情報計算部が、前記オプティカルフロー計算ステップにより計算された組毎の前記オプティカルフローと、前記画像記憶部に記憶された前記撮像装置状態情報のうち、前記対象画像と当該組に含まれる前記参照画像とのそれぞれに対応する前記撮像装置状態情報とに基づいて、前記対象画像の各画素の奥行きを示す奥行き情報を組毎に計算する奥行き情報計算ステップと、
   オプティカルフロー判定部が、前記奥行き情報計算ステップにより計算された組毎の前記奥行き情報のうちの少なくとも２つの前記奥行き情報に基づいて、組毎の前記オプティカルフローに含まれる前記画素毎対応情報のそれぞれを前記対象画像の高解像度化に用いるか否かを処理装置により判定するオプティカルフロー判定ステップと、
   高解像度化処理部が、組毎の前記オプティカルフローに含まれる前記画素毎対応情報のうち、前記オプティカルフロー判定ステップにより前記対象画像の高解像度化に用いると判定された前記画素毎対応情報に基づいて、前記対象画像を高解像度化する高解像度化処理ステップとを備えることを特徴とする高解像度画像生成プログラム。