JP5795324B2 - 光フィールドデータを利用した映像処理装置及び方法 - Google Patents

Description

本発明は、撮像アプリケーションに係り、より詳細には、光フィールドデータを用いて映像を処理する装置及び方法に関する。

現在、商用化された撮像システムは、１回の撮影で１つの映像のみ見られる。しかし、最近、フォーカスを再組合する機能付きプレノプティックカメラ（ｐｌｅｎｏｐｔｉｃ ｃａｍｅｒａ）が研究されている。プレノプティックカメラは、光フィールド（ｌｉｇｈｔｆｉｅｌｄ）カメラと呼ばれ、マイクロレンズアレイ（通常、レンチキュラーレンズアレイ）または光符号化マスク（ｌｉｇｈｔ ｃｏｄｅｄ ｍａｓｋ）を用いて、場面に対する４次元光フィールド情報をキャプチャーする。このようなプレノプティックカメラは、１回の撮影後、フォーカス平面を変える機能（ｒｅ−ｆｏｃｕｓｉｎｇ）と場面を多くの角度から見るようなビューバリエーション（ｖｉｅｗ ｖａｒｉａｔｉｏｎ）のような機能をユーザに提供する。

一方、多くの領域で高解像度（ｈｉｇｈ−ｒｅｓｏｌｕｔｉｏｎ）映像が必要である。監視用カメラ、精密診断のためのＣＴ（Ｃｏｍｐｕｔｅｄ Ｔｏｍｏｇｒａｐｈｙ）写真、パターンを認識するコンピュータビジョン、地質調査位相写真などがその例である。このような高解像度映像を得るために、低解像度映像シーケンスから信号処理技術を用いて、高解像度映像を再構成する方法が研究されている。

本発明は、光フィールドデータを用いて所望のフォーカシング位置を含む映像の領域に対して解像度を高めるための映像処理装置及び方法が提案される。

本発明の一態様によれば、場面に対する光フィールドデータのうちから所望のフォーカシング位置によって、一部の光フィールドデータの位置を決定する光フィールドデータ位置決定部と、前記位置決定された一部の光フィールドデータを用いて、リフォーカシングされた第１映像を生成させるリフォーカシング映像生成部と、前記場面に対する光フィールドデータを用いて、前記第１映像に対する設定された比率の高解像度映像を生成させる高解像度映像生成部と、前記位置決定された一部の光フィールドデータの類似度を用いて、前記第１映像の高解像度映像及び前記リフォーカシングされた第１映像の地域的な合成比率を決定する合成比率決定部と、前記地域的な合成比率によって、前記高解像度映像及び前記第１映像を合成して合成映像を生成させる映像合成部と、を含む映像処理装置が提供される。

前記光フィールドデータ位置決定部は、前記所望のフォーカシング位置を含む前記場面を表わす映像の一部の領域に対応する第２映像を設定し、撮像面とリフォーカシング面との位置関係を表わすアルファ値を変化させながら、前記第２映像に対する複数個のリフォーカシング映像を生成させ、該生成されたリフォーカシング映像のうち、最も高鮮明度の映像を生成させたアルファ値を決定し、該決定されたアルファ値を用いて、前記一部の光フィールドデータの位置を決定する。

前記合成比率決定部は、前記一部の光フィールドデータの類似度が高い領域であるほど、前記高解像度映像の合成比率がさらに高くなるように、前記地域的な合成比率を決定する。

前記合成比率決定部は、前記決定された位置での光フィールドデータの強度値の不均一度を表わす不均一度マップを生成させる不均一度マップ生成部と、前記不均一度マップを用いて、前記高解像度映像及び前記拡大されたリフォーカシングされた映像の前記地域的な合成比率情報を含む不均一度比率マップを生成させる不均一度比率マップ生成部と、前記不均一度比率マップを前記設定された比率で拡大する不均一度比率マップ拡大部と、を含む。

前記映像合成部は、前記第１映像を設定された比率によって拡大し、該拡大された第１映像及び前記高解像度映像を前記決定された地域的合成比率で合成する。

前記高解像度映像生成部は、前記決定されたアルファ値を用いて決定された位置の光フィールドデータを用いて、１つの基準映像フレーム及び少なくとも１つの参照映像フレームを決定する映像フレーム決定部と、前記基準映像フレームと少なくとも１つの参照映像フレームとの間のサブピクセルシフト量に基づいて、ポイントスプレッド関数を決定するポイントスプレッド関数決定部と、前記基準映像フレームを前記基準映像フレームより高い解像度の高解像度基準映像フレームに補間する映像補間部と、生成された高解像度基準映像フレーム、前記ポイントスプレッド関数及び前記少なくとも１つの参照映像フレームを用いて、前記高解像度基準映像フレームを更新することによって、高解像度映像を復元する映像復元部と、を含む。

前記サブピクセルシフト量は、前記基準映像フレームと前記各参照映像フレームとでそれぞれ対応する光フィールドデータの間の位置差である。

前記映像フレーム決定部は、前記アルファ値を用いて位置決定された光フィールドデータを用いて、１つの角度から見えるビュー映像を前記基準映像フレームとして決定し、前記基準映像フレームとして決定されたビュー映像以外の他の角度から見える少なくとも１つのビュー映像を前記少なくとも１つの参照映像フレームとして決定する。

前記ポイントスプレッド関数決定部は、前記基準映像フレームと各参照映像フレームとの間のサブピクセルシフト量に基づくそれぞれの２次元ガウス関数を前記ポイントスプレッド関数として決定する。

前記映像復元部は、生成された高解像度基準映像フレーム、前記参照映像フレームのうちの１つ、及び前記１つの参照映像フレームと前記基準映像フレームとに基づいたポイントスプレッド関数を用いて、レジデュアル値を生成させるレジデュアル値生成部と、前記レジデュアル値を用いて、前記高解像度基準映像フレームを更新する映像更新部と、を含む。

前記レジデュアル値は、前記１つの参照映像フレームから、前記高解像度基準映像フレームと前記ポイントスプレッド関数とをコンボリューションした値を減算した値である。

前記レジデュアル値生成部は、前記高解像度基準映像フレームが更新された場合、前記更新された高解像度基準映像フレーム、前記参照映像フレームのうちの他の１つ、及び前記他の１つの参照映像フレームと前記基準映像フレームとに基づいたポイントスプレッド関数を用いて、レジデュアル値を生成させる。

前記レジデュアル値は、前記他の１つの参照映像フレームから、前記更新された高解像度基準映像フレームと前記ポイントスプレッド関数とをコンボリューションした値を減算した値である。

前記映像処理装置は、物体の像を結ぶための第１光学部と、光線をキャプチャーするフォトセンサーアレイと、前記第１光学部と前記フォトセンサーアレイとの間に位置し、光線を光線の方向に基づいて分離して、前記フォトセンサーアレイに向かわせる第２光学部を含む光フィールドデータキャプチャー部と、をさらに含む。

本発明の他の態様によれば、場面に対する光フィールドデータのうちから所望のフォーカシング位置によって、一部の光フィールドデータの位置を決定する段階と、前記位置決定された一部の光フィールドデータを用いて、リフォーカシングされた第１映像を生成させる段階と、前記場面に対する光フィールドデータを用いて、前記第１映像に対する設定された比率の高解像度映像を生成させる段階と、所望のフォーカシング位置によって選択された一部の光フィールドデータの類似度を用いて、前記高解像度映像及び前記第１映像の地域的な合成比率を決定する段階と、前記地域的な合成比率によって、前記高解像度映像及び前記第１映像を合成して合成映像を生成させる段階と、を含む映像処理方法が提供される。

場面に対する光フィールドデータのうちから所望のフォーカシング位置によって、一部の光フィールドデータの位置を決定する段階は、前記フォーカシング位置を含む前記映像の一部の領域に対応する第２映像を設定する段階と、撮像面とリフォーカシング面との位置関係を表わすアルファ値を変化させながら、前記第２映像に対する複数個のリフォーカシング映像を生成させる段階と、生成されたリフォーカシング映像のうち、最も高鮮明度の映像を生成させたアルファ値を決定する段階と、選択されたアルファ値を用いて、前記一部の光フィールドデータの位置を決定する段階と、を含む。

前記合成比率を決定する段階で、前記一部の光フィールドデータの類似度が高い領域であるほど、前記高解像度映像の合成比率がさらに高くなるように合成比率が決定される。

前記合成比率を決定する段階は、前記アルファ値によって決定された光フィールドデータの位置での光フィールドデータの強度値の不均一度を表わす不均一度マップを生成させる段階と、前記不均一度マップを用いて、前記高解像度映像及び前記拡大されたリフォーカシングされた映像の地域的な合成比率情報を含む不均一度比率マップを生成させる段階と、前記不均一度比率マップを前記設定された比率で拡大する段階と、を含む。

前記映像を合成する段階は、前記第１映像を設定された比率によって拡大する段階と、前記拡大された第１映像及び前記高解像度映像を前記決定された地域的合成比率で合成する段階と、を含む。

前記高解像度映像を生成させる段階は、前記決定されたアルファ値を用いて、１つの基準映像フレーム及び少なくとも１つの参照映像フレームを決定する段階と、前記基準映像フレームと少なくとも１つの参照映像フレームとの間のサブピクセルシフト量に基づいて、ポイントスプレッド関数を決定する段階と、前記基準映像フレームを前記基準映像フレームより高い解像度の高解像度基準映像フレームに補間する段階と、生成された高解像度基準映像フレーム、前記ポイントスプレッド関数及び前記少なくとも１つの参照映像フレームを用いて、前記高解像度基準映像フレームを更新することによって、高解像度映像を復元する段階と、を含む。

本発明のまた他の態様によれば、所望のフォーカシング位置を決定し、撮像面とリフォーカシング面との位置関係を表わす前記フォーカシング位置のアルファ値を決定する段階と、前記アルファ値による角度データからリフォーカシング映像を生成させる段階と、前記アルファ値による角度データのサブピクセル変位に基づいてリフォーカシング領域の解像度を高めて、高解像度映像を生成させる段階と、前記アルファ値による角度データの類似度を判断して、前記フォーカシング領域とアウトフォーカシング領域とを区分する段階と、前記リフォーカシング映像と前記高解像度映像とを合成する段階と、を含むことを特徴とする４次元光フィールド処理方法が提供される。

前記アルファ値は、最も鮮明なリフォーカシング映像が生成されるまでアルファ値を変化させて決定される。

本発明のさらに他の態様によれば、前記方法を具現することができるプログラムを保存するコンピュータで読取り可能な情報記録媒体が提供される。

映像処理装置の構成の一例を示す図である。 光フィールドデータを利用した映像処理を説明するための図である。 図１のデータ処理部１５０によるリフォーカシング映像を生成させる方法を説明するための図である。 プレノプティックカメラの方向分解能、空間分解能、及びフォトセンサーのピクセルサイズとの関係を示す図である。 図１の映像処理装置のデータ処理部１５０の構成の一例を示す図である。 アルファ値の決定動作の一例を示す図である。 アルファ値の決定動作の一例を示す図である。 アルファ値の決定動作の一例を示す図である。 決定されたアルファ値に基盤して不均一マップ生成のための光フィールドデータの値を示すための図である。 決定されたアルファ値に基盤して不均一マップ生成のための光フィールドデータの値を示すための図である。 図５の合成比率決定部５５０の構成の一例を示す図である。 比率関数の一例を示す図である。 一実施例による高解像度映像の再構成の概念を示す図である。 一実施例による高解像度映像の再構成の概念を示す図である。 一実施例による高解像度映像の再構成の概念を示す図である。 図５の高解像度映像生成部５４０の構成の一例を示すブロック図である。 一実施例によって、基準映像フレーム及び参照映像フレームを選定する方式を示す図である。 一実施例によって、基準映像フレーム及び参照映像フレームを選定する方式を示す図である。 一実施例による光フィールドデータ基盤基準映像フレームに比べてサブピクセルシフト量を示すための図である。 一実施例による光フィールドデータ基盤基準映像フレームに比べてサブピクセルシフト量を示すための図である。 一実施例による光フィールドデータ基盤基準映像フレームに比べてサブピクセルシフト量を示すための図である。 基準映像フレーム基盤で高解像度基準映像フレームを生成させる動作の一例を示す図である。 基準映像フレーム基盤ＰＳＦ計算の一例を示す図である。 光フィールドデータを用いて所望のフォーカシング領域に対する高解像度映像を生成させる方法の一例を示す図である。 光フィールドデータを用いて高解像度映像を生成させる方法の一例を示す図である。

以下、添付した図面を参照して、本発明の一実施例を詳細に説明する。本発明を説明するに当って、関連した公知機能または構成についての具体的な説明が、本発明の要旨を不明にする恐れがあると判断される場合には、その詳細な説明を省略する。また、後述する用語は、本発明での機能を考慮して定義された用語であって、これは、ユーザ、運用者の意図または慣例などによって変わりうる。したがって、その定義は、本明細書の全般に亘った内容に基づいて下されなければならない。

図１は、映像処理装置の構成の一例を示す図である。一態様による映像処理装置１００は、物体の像を結ぶためのメインレンズ１１０、メインレンズ１１０を通過した光線を、光線の方向に基づいて分離して、フォトセンサーアレイ１３０に向かわせるマイクロレンズアレイ１２０及びフォトセンサーアレイ１３０を有している光フィールドデータキャプチャー部１４０、及びキャプチャーされた光フィールドデータを処理するデータ処理部１５０を含む。この場合に、マイクロレンズアレイ１２０及びフォトセンサーアレイ１３０は、イメージセンサー１６０として具現可能である。このような映像処理装置を用いてリフォーカシングされた映像や多くの角度から見えるビュー映像（ｖｉｅｗ ｉｍａｇｅ）を獲得（すなわち、映像のビュー調整）することができる。

イメージ化された場面内の被写体１０５上の単一点からの光線は、マイクロレンズアレイ１２０の焦点平面上の単一収斂点に到達されうる。この収斂点でのマイクロレンズ１２２は、これら光線を光の方向に基づいて分離させ、マイクロレンズ下のフォトセンサー上にメインレンズ１１０の口径のフォーカシングされたイメージを生成させる。

フォトセンサーアレイ１３０は、その上に入射される光を検出し、さまざまな成分の１つ以上を使って処理される出力を生成させる。出力光データは、例えば、被写体１０５、１０６、及び１０７を含む場面のイメージを生成する時、データを提供する各フォトセンサーについての位置情報と共にデータを使うデータ処理部１５０に送られる。

データ処理部１５０は、例えば、共通部品（例えば、１チップ）または異なる部品に選択的に具現されたコンピュータまたはその他の処理回路として具現可能である。データ処理部１５０の一部は、光フィールドデータキャプチャー部１４０内に具現され、他の部分は、外部コンピュータに具現可能である。データ処理部１５０は、イメージデータを処理し、被写体１０５、１０６、及び１０７を含む場面のイメージを計算するように具現される。

データ処理部１５０は、光がマイクロレンズアレイ１２０に到逹した公知された方向（各フォトセンサーの公知された位置を使って計算される）と共に検出された光または検出された光の特性を使って、リフォーカシング（ｒｅｆｏｃｕｓｉｎｇ）が校正されうるイメージを形成する時、データを選択的にリフォーカシング及び／または校正する。

映像処理装置は、アプリケーションによってさまざまな方式として具現される。例えば、マイクロレンズ１２０は、例として、幾つかの区別可能なマイクロレンズで示されるが、アレイは、一般的に多数の（例えば、数千または数百万）マイクロレンズとして具現される。メインレンズ１１０を通過した光線を光線の方向に基づいて分離する１つのマイクロレンズアレイ１２０以外に、光符号化マスクなどの他の形態で構成することができる。マイクロレンズアレイ１２０は、光符号化マスクのような他の形態の光分離装置として具現され、メインレンズ１１０は第１光学部と呼ばれ、マイクロレンズアレイ１２２は第２光学部と呼ばれる。当該技術分野の通常の知識を有した者は、現在利用可能であるか、将来に開発されるさまざまなレンズ及び／またはマイクロレンズアレイを用いて、メインレンズ１１０及びマイクロレンズアレイ１２０が具現可能であるということが分かる。
フォトセンサーアレイ１３０は、一般的に、マイクロレンズアレイ１２０内のそれぞれのマイクロレンズごとに幾つかのフォトセンサーを有する。フォトセンサーアレイ１３０の各ピクセルのサイズ、すなわち、ピッチ（ｐｉｔｃｈ）は、マイクロレンズアレイ１２２より相対的に微細である。また、マイクロレンズアレイ１２０内のマイクロレンズ及びフォトセンサーアレイ１３０内のフォトセンサーは、一般的にそれぞれのマイクロレンズを通じてフォトセンサーアレイに進む光が、隣接したマイクロレンズを通じて進んだ光と重ならないように位置設定しうる。

映像処理装置は、メインレンズ１１０と例示的な撮像被写体１０５との間に例示されたような所望の深度“ｄ”で関心のある被写体上にフォーカシングするために、光軸に沿って水平方向に移動するような性能を有する。したがって、獲得された光フィールドデータ基盤で各関心位置にリフォーカシングができる。

例として、被写体１０５の単一点からの光線は、このような説明のために示される。これら光線は、マイクロレンズアレイ１２０の焦点平面上のマイクロレンズ１２２から単一収斂点に到逹することができる。マイクロレンズ１２２は、これら光線の方向に基づいて分離して、マイクロレンズ下のピクセルアレイ内のピクセルセット上でメインレンズ１１０の口径のフォーカシングされたイメージ及び光フィールドデータを生成させる。

図２は、光フィールドデータを利用した映像処理を説明するための図である。映像処理装置１００内部の２平面光フィールド“Ｌ”を考慮すれば、光フィールドデータＬ（ｕ，ｖ，ｓ，ｔ）は、（ｕ，ｖ）でメインレンズ１１０と交差し、（ｓ，ｔ）でマイクロレンズアレイ１２０の平面と交差する光線に沿って移動する光を表わす。光フィールドデータＬ（ｕ，ｖ，ｓ，ｔ）は、光線の位置情報及び光線の進行方向情報を表すことができる。例えば、光フィールドデータＬ（ｕ，ｖ，ｓ，ｔ）は、各マイクロレンズ（ｓ，ｔ）で、メインレンズ１１０の各サブアパーチュア（ｓｕｂ−ａｐｅｒｔｕｒｅ）の位置（ｕ，ｖ）を通過するインテンシティ値を表わす。ここで、サブアパーチュアは、メインレンズ１１０の方向分解能の個数を意味する。例えば、サブアパーチュアの個数が１９６個である場合、各マイクロレンズアレイ１２０は、フォトセンサーの１９６個のピクセルに対応して構成することができる。

再び図１を参照すると、フォトセンサーアレイ１３０内のそれぞれのフォトセンサーは、メインレンズ１１０及びマイクロレンズアレイ１２０を通じてフォトセンサーに向けた光線セットを表わす値を提供するように具現可能である。すなわち、それぞれのフォトセンサーは、フォトセンサー上に入射された光に応答して出力を生成させ、マイクロレンズアレイ１２０に対する各フォトセンサーの位置は、入射光についての方向情報を提供するために利用される。

一方、マイクロレンズアレイ１２０内の特定マイクロレンズ１２２下に形成されるイメージは、撮像平面上のその位置に対するシステムの方向分解能（ｄｉｒｅｃｔｉｏｎａｌｒｅｓｏｕｌｔｉｏｎ）を指示する。メインレンズ１１０は、有効にマイクロレンズの光学的無限距離にあり、マイクロレンズをフォーカシングするために、フォトセンサーアレイ１３０は、マイクロレンズの焦点深度で１平面内に位置しうる。メインレンズ１１０とマイクロレンズアレイ１２０との分離距離“ｓ”は、マイクロレンズの視野深度内で鋭いイメージを果たすように選択されうる。

メインレンズ１１０の口径サイズ及びマイクロレンズアレイ１２０内のマイクロレンズの口径サイズ（例えば、レンズ内の開口部の有効サイズ）は、映像処理装置１００が具現される特定アプリケーションに符合するように選択されうる。

データ処理部１５０は、光フィールドデータ、すなわち、Ｌ（ｕ，ｖ，ｓ，ｔ）を用いてリフォーカシング映像を生成することができる。この際、データ処理部１５０は、マイクロレンズに対する各フォトセンサーの位置を用いて、各フォトセンサー上の光の方向を決定することができる。また、データ処理部１５０は、検出された光が広がって出る場面内の被写体の視野深度を決定し、視野深度及び検出された光の方向を使って、焦点平面とは異なる焦点平面上でフォーカシングされるリフォーカシング映像を計算することができる。

図３は、図１のデータ処理部１５０によるリフォーカシング映像を生成させる方法を説明するための図である。図３に示したように、メインレンズ１１０の面３１０とフォトセンサーアレイ１３０が位置する撮像面３３０との距離がＦであり、メインレンズ１１０の面とリフォーカシング面３２０との距離がＦ’である時、Ｆ’＝αＦとして設定することができる。この場合、リフォーカシング面３２０上の座標（ｓ，ｔ）の撮像面３３０での検出強度ＬＦは、以下の式（１）で表すことができる。

式（１）を利用すれば、撮像面３３０とリフォーカシング面３２０との位置関係を表わすアルファ値αによって、リフォーカシング面３２０上で焦点が生じる被写体に関する光フィールドデータ値が選択されうる。リフォーカシング面３２０で得られるイメージＥ（ｓ，ｔ）は、式（１）の検出強度Ｌ_Ｆ’をメインレンズ１００の口径に関して積分したものになるために、以下の式（２）のように表示される。

したがって、式（２）からリフォーカシング演算を行って、データ処理後の映像データに基づいて、任意の焦点（リフォーカシング面３２０）に設定した映像を合成することができる。

図４は、プレノプティックカメラの方向分解能、空間分解能、及びフォトセンサーのピクセルサイズとの関係を示す図である。

カメラの空間サンプリングレート（ｓｐａｔｉａｌ ｓａｍｐｌｉｎｇ ｒａｔｅｓ）及びカメラの方向サンプリングレートをΔｘ及びΔｕと言う。カメラセンサーの幅をＷ_ｘと言い、レンズ口径の幅をＷ_ｕと定義する。このように定義すれば、フォトセンサーの空間分解能Ｎ_ｘ＝Ｗ_ｘ／Δｘであり、光フィールドカメラの方向分解能Ｎ_ｕ＝Ｗ_ｕ／Δｕである。

所望の距離でリフォーカシングを行うためには、次の式（１）に満足せねばならないと知られている。

Ｆは、メインレンズの焦点距離を表わし、Ｆ_Ｌは、物体からリフォーカシングを所望の範囲による焦点距離を表わす。すなわち、Ｆ及びＦ_Ｌは、正確なリフォーカシングを果たすことができる焦点深度の範囲を表わす。

例えば、Ｗ_ｕ＝２０mm、Ｆ＝８０mmである場合、リフォーカシングするための物体の距離が１ｍまでである場合、前記の値を式（１）に代入すれば、Δｘ・Ｎ_ｕ≧１．５９mmになる。４１４５×４１４５個のピクセルからなるセンサーでイメージの目標空間分解能が１４００×１４００である場合、方向分解能を表現することができるピクセルは、４１５０／１４００によって３個程度になる。

ところが、リフォーカシング範囲を１ｍないし∞として設定し、センサーの１つのピクセルのピッチが９μｍである場合、必要な方向分解能Ｎ_ｕは、１．５９mm／（３ピクセル×９μｍ）によって５８以上でなければならない。すなわち、リフォーカシング範囲を１ｍないし∞にする時、空間分解能１４００×１４００を得ることは不可能である。したがって、リフォーカシング範囲を変えるか、それとも、目標空間分解能を変える必要がある。

次の表１は、前記のような仮定下で目標空間分解能に対する方向分解能を表わすために必要な許容Δｘと必要Ｎ_ｕとの値を表わす。

表１を参照すると、リフォーカシング範囲を１ｍないし∞にする時、空間分解能を３００×３００に定める場合に、方向分解能１３×１３が可能であり、前記のリフォーカシング範囲を確保することができる。すなわち、センサーサイズが固定されている時、所望の性能の空間分解能を確保しにくく、所望の空間分解能を得るためには、さらに大きいサイズのセンサーが要求される問題点がある。

一実施例によれば、データ処理部１５０は、光フィールドデータを用いてリフォーカシングされた映像で、所望の位置の領域で高解像度映像を獲得するように光フィールドデータを処理する。高解像度映像を獲得するために、光フィールドデータを空間的にサブサンプリングされたデータとして決定し、解像度向上のための低解像度データと定義する。また、低解像度データのうち、基準低解像度映像位置に比べて、他のサブサンプリングされた低解像度映像位置に対するサブピクセルシフト量を定義して、低解像度データの登録（Ｒｅｇｉｓｔｒａｔｉｏｎ）及び再構成（Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）を可能にしうる。したがって、光フィールドデータから形成された映像で、所望の位置の領域に対して信号処理によって空間解像度（Ｓｐａｔｉａｌ Ｒｅｓｏｌｕｔｉｏｎ）を向上させることができる。

図５は、図１の映像処理装置のデータ処理部１５０の構成の一例を示す図である。データ処理部１５０は、光フィールドデータ位置決定部５１０、リフォーカシング映像生成部５２０、映像拡大部５３０、高解像度映像生成部５４０、合成比率決定部５５０、及び映像合成部５６０を含みうる。

光フィールドデータ位置決定部５１０は、場面に対する光フィールドデータのうちから所望のフォーカシング位置によって、一部の光フィールドデータの位置を決定する。詳細には、光フィールドデータ位置決定部５１０は、所望のフォーカシング位置を含む場面を表わす映像の一部の領域に対応する第２映像を設定し、撮像面とリフォーカシング面との位置関係を表わすアルファ値を変化させながら、第２映像に対する複数個のリフォーカシング映像を生成させる。その後、光フィールドデータ位置決定部５１０は、生成されたリフォーカシング映像のうち、最も高鮮明度の映像を生成させたアルファ値を決定し、該決定されたアルファ値を用いて、一部の光フィールドデータの位置を決定することができる。

リフォーカシング映像生成部５２０は、場面に対する光フィールドデータのうちから撮像面とリフォーカシング面との位置関係を表わすアルファ値によって選択された光フィールドデータを用いて、リフォーカシングされた映像である第１映像を生成させる。

映像拡大部５３０は、第１映像を設定された比率（ｍ）によって拡大する。設定された比率（ｍ）は、高解像度映像生成部５４０で生成される映像と倍率とを一致させるために設定される。例えば、第１映像のサイズがＳ×Ｔである場合、リフォーカシングされた第１映像及び高解像度映像のサイズは、ｍＳ×ｍＴのサイズを有する。映像拡大部５３０は、映像合成部５６０と別途に示されているが、映像合成部５６０に含まれて構成することができる。

高解像度映像生成部５４０は、場面に対する光フィールドデータを用いて、第１映像に対する設定された比率（ｍ）の高解像度映像を生成させる。高解像度映像生成部５４０は、光フィールドデータを高解像度復元に利用される低解像度データと定義して、該定義された低解像度データを高解像度映像復元方法を用いて高解像度映像を生成させる。高解像度映像生成部５４０の詳細構成及び動作については、図１１を参照してさらに詳細に説明する。

合成比率決定部５５０は、所望のフォーカシング位置によって決定された一部の光フィールドデータの類似度を用いて、高解像度映像及び拡大された第１映像の地域的な合成比率を決定する。合成比率決定部５５０は、一部の光フィールドデータの類似度が高い領域であるほど、高解像度映像の合成比率がさらに高くなるように合成比率を決定することができる。合成比率決定部５５０の構成及び動作については、図８を参照してさらに詳細に説明する。

映像合成部５６０は、決定された地域的な合成比率によって、高解像度映像及び拡大された第１映像を合成して合成映像を生成させる。

例えば、映像を構成する各ピクセル当たり拡大された第１映像の合成比率がＲである場合、合成映像のピクセル値Ｃは、次の式（４）によってピクセルごとに計算されうる。

Ｃ_{（ｘ，ｙ）}＝［（１−Ｒ）×ＲＲＭ＋Ｒ×ＥｒＦＭ］_{（ｘ，ｙ）} （４）
ここで、ｘ及びｙは、それぞれ合成映像を構成するピクセルの座標を表わし、ＲＲＭ（Ｒｅｓｏｌｕｔｉｏｎ−Ｒｅｃｏｖｅｒｅｄ Ｉｍａｇｅ）は、高解像度映像生成部５４０で生成された高解像度映像の当該座標のピクセル値を表わし、ＥｒＦＭ（Ｅｎｌａｒｇｅｄ ｒｅ−Ｆｏｃｕｓｉｎｇ Ｉｍａｇｅ）は、映像拡大部５３０から出力される拡大された第１映像の当該座標のピクセル値を表わす。

図６Ａないし図６Ｃは、アルファ値の決定動作の一例を示す図である。

図６Ａは、任意のアルファ値によってリフォーカシングされた映像が、映像処理装置６００のディスプレイ６１０に表示されている状態を表わす。ユーザが、マウス、タッチパッドのようなユーザ入力装置を用いて、ディスプレイ６１０で所望のフォーカシング位置６２０を選択すれば、位置６２０を含む選択領域６３０が設定されうる。選択領域６３０に対応する映像を第２映像と言う。第２映像に該当する選択領域６３０は、位置６２０を含む図６Ａに示したように、格子形態以外の任意の形態に設定しうる。

ユーザ入力信号によって場面を表わす映像の一部の領域に対応する第２映像が選択されれば、光フィールドデータ位置決定部５１０は、図６Ｂに示したように、アルファ値を変化させながら、第２映像に対する複数個のリフォーカシング映像を生成させる。そのために、光フィールドデータ位置決定部５１０が、アルファ値の変更によって第２映像に対してリフォーカシング映像を生成するように構成され、リフォーカシング映像生成部５２０を制御して、リフォーカシング映像を生成させうる。

光フィールドデータ位置決定部５１０は、生成されたリフォーカシング映像のうち、最も高鮮明度の映像を生成したアルファ値を選択することができる。図６Ｃは、図６Ｂのアルファ値の変化によるリフォーカシング映像に対する鮮明度（ｓｈａｒｐｎｅｓｓ）を表わすグラフの一例である。映像に対する鮮明度は、知られているか、知られる、多様な鮮明度の測定方法によって測定されうる。例えば、図６Ｃで、最も高い鮮明度の映像を生成することができるアルファ値は、０．７６であると決定されうる。

図７Ａ及び図７Ｂは、決定されたアルファ値に基づいた不均一度マップ生成のための光フィールドデータの値を示すための図である。

図７Ａで、光フィールドデータ７３０は、場面の映像７１０を生成するのに利用される光フィールドデータ観測値の一部を表わし、そのうち、一部の光フィールドデータ７４０は、場面の映像７１０でアルファ値が０．７６である場合、リフォーカシング面上に光線の焦点が位置される被写体が位置する領域７２０、すなわち、フォーカシング領域に対する光フィールドデータを表わす。光フィールドデータ７４０で白色のポイントは、アルファ値が０．７６である場合の光フィールドデータの位置を表わす。図７Ａに示したように、フォーカシング領域によって決定されたアルファ値によって決定される位置の光フィールドデータの値（または、強度）は、互いに均一な特性を表わす。

図７Ｂは、フォーカシング領域ではないアウトフォーカシング領域（ｏｕｔ−ｏｆ−ｆｏｃｕｓ）に対する光フィールドデータの値を表わす。図７Ｂで、光フィールドデータ７６０は、場面の映像７１０の生成するのに利用される光フィールドデータ観測値の一部を表わし、そのうち、一部の光フィールドデータ７７０は、場面の映像７１０でフォーカシング領域から外れた被写体が位置した領域７５０に対する光フィールドデータを表わす。光フィールドデータ７７０で白色のポイントは、アルファ値が０．７６である場合の光フィールドデータの位置を表わす。図７Ａに示したように、アウトフォーカシング領域に対するアルファ値によって決定される位置の光フィールドデータの値（または、強度）は、均一ではない特性を表わす。

一実施例によれば、アルファ値によって決定されるフォーカシング領域とアウトフォーカシング領域での光フィールドデータの不均一度によって、単純に拡大されたリフォーカシング映像と高解像度映像との地域的合成比率を決定することができる。

図８は、図５の合成比率決定部５５０の構成の一例を示す図である。合成比率決定部５５０は、不均一度マップ生成部８１０、不均一度比率マップ生成部８２０、比率関数保存部８３０、及び不均一度比率マップ拡大部８４０を含みうる。

不均一度マップ生成部８１０は、所望のフォーカシング位置によって決定された各光フィールドデータの位置での光フィールドデータの強度値の不均一度を表わす不均一度マップを生成することができる。不均一度マップのサイズは、リフォーカシング映像のサイズと同一である。所望のフォーカシング位置によって決定された光フィールドデータの位置での光フィールドデータの強度値の類似度を測定するために、標準偏差（Ｓｔａｎｄａｒｄ Ｄｅｖｉａｔｉｏｎ）、１シグマ不均一度計算方法（１−ｓｉｇｍａ ｕｎｉｆｏｒｍｉｔｙ）などの知られているか、知られる、多様な均一度（ｕｎｉｆｏｒｍｉｔｙ）計算方法が利用されうる。均一度が計算されれば、該計算された均一度値から均一度と補償関係にある不均一度値が計算されうる。

不均一度比率マップ生成部８２０は、不均一度マップを用いて決定された位置での高解像度映像及び拡大されたリフォーカシングされた映像の合成比率情報を含む不均一度比率マップを生成させる。不均一度比率マップ生成部８２０は、比率関数保存部８３０に保存された比率関数を用いて生成されうる。比率関数は、比率関数保存部８３０などの保存空間にあらかじめ設定されて保存することができる。

図９は、比率関数の一例を示す図である。図９に示したように、比率関数は、不均一度値によるリフォーカシング映像の合成比率を表すことができる。不均一度値で不均一度値の最小値（Ｍｉｎ）は、光フィールド値が均一な強度を有する時の強度値を０に表わし、不均一度値の最大値（Ｍａｘ）は、均一な強度での強度値で最も多く差がある強度値を表わす。図９には、比率関数がアルファ値によって異ならせて設定されているが、比率関数は、アルファと独立して均一な形態を保持することもできる。

再び図８を参照すると、拡大されたリフォーカシング映像及び高解像度映像の合成比率の和を１であるとする時、不均一度比率マップ生成部８２０は、拡大されたリフォーカシング映像の合成比率情報を含むように構成されるか、高解像度映像の合成比率情報を含むように構成されるか、両者の合成比率をいずれも含むように構成することができる。

不均一度比率マップ拡大部８４０は、不均一度比率マップを設定された比率（ｍ）で拡大する。不均一度比率マップを合成に利用される拡大されたリフォーカシングされた第１映像及び高解像度映像のサイズと一致させるためである。例えば、第１映像及び高解像度映像のサイズは、ｍＳ×ｍＴのサイズを有すれば、不均一度比率マップは、ｍＳ×ｍＴのサイズを有するように拡大される。

図１０Ａないし図１０Ｃは、一実施例による高解像度映像の再構成の概念を示す図である。

図１０Ａに示したように、光フィールドデータをキャプチャーする。前述したように、光フィールドデータを用いて映像を獲得すれば、同じフォトセンサーアレイを利用した一般的な撮像装置に比べて、空間解像度が低下した複数個の低解像度映像またはサブサンプリングされた映像が獲得される。一実施例によれば、基準映像フレームは、光フィールドデータを用いて生成される少なくとも１つの角度から見える映像フレーム（または、ビュー映像）のうちの１つに決定されうる。少なくとも１つの参照映像フレームは、生成された少なくとも１つの角度から見える映像フレームのうち、基準映像フレームとして決定された映像フレーム以外の少なくとも１つの映像フレームとして決定されうる。

図１０Ｂは、ＨＲグリッド上に光フィールドデータを登録した結果を表わす。図１０Ｂは、一実施例による選定される基準映像フレーム及び参照映像フレームを構成する光フィールドデータを高解像度グリッド上に登録したことを示す図である。図１０Ｂで、●、×、△、＊は、それぞれオブジェクトの１点に対する光フィールドデータとして他のメインレンズの位置を通過した光フィールドデータを表わす。一実施例によれば、点１０１１、１０１２を含む●と表示された光フィールドデータを用いて形成された映像フレームが基準映像フレームである場合、高解像度グリッド上に図１０Ｂに示したように登録されうる。

図１０Ｃに示したように、高解像度映像フレームを再構成する。一実施例によれば、光フィールドデータを用いて基準映像フレームを構成する光フィールドデータの間の値を補間することによって、基準映像フレームの解像度を高めうる。例えば、光フィールドデータ１０１１と光フィールドデータ１０１２との間のＨＲグリッド上の値１０１３は、図１０ＢのＨＲグリッド上の領域１０１０に属した光フィールドデータを用いて補間されうる。

図１１は、図５の高解像度映像生成部５４０の構成の一例を示すブロック図である。
高解像度映像生成部５４０は、映像フレーム決定部１１１０、ポイントスプレッド関数（Ｐｏｉｎｔ Ｓｐｒｅａｄ Ｆｕｎｃｔｉｏｎ）決定部１１２０、映像補間部１１３０、及び映像復元部１１４０を含む。

映像フレーム決定部１１１０は、場面に対する光フィールドデータを用いて１つの基準映像フレーム及び少なくとも１つの参照映像フレームを決定し、基準映像フレーム決定部１１１２及び参照映像フレーム決定部１１１４を含んで構成することができる。

基準映像フレーム決定部１１１２は、決定されたアルファ値によって位置決定された一部の光フィールドデータを用いて生成される１つのビュー（ｖｉｅｗ）映像を基準映像フレームとして決定することができる。参照映像フレーム決定部１１１４は、決定されたアルファ値によって位置決定された光フィールドデータを用いて生成された少なくとも１つの角度から見えるビュー映像のうち、基準映像フレームとして決定されたビュー以外の少なくとも１つのビュー映像を少なくとも１つの参照映像フレームとして決定することができる。

ポイントスプレッド関数（以下、ＰＳＦと称する）決定部１１２０は、基準映像フレームと各参照映像フレームとの間のサブピクセルシフト量に基づいて、ポイントスプレッド関数を決定することができる。

サブピクセルシフト量は、基準映像フレームを構成する少なくとも１つの光フィールドデータと、少なくとも１つの光フィールドデータにそれぞれ対応する参照映像フレームでの光フィールドデータとの間の位置差であり得る。これは、フォトセンサーでセンシング位置の差ではないので、基準映像フレームと参照映像フレームとの間のシフト量で映像アルゴリズム処理によって計算される。ビュー映像、すなわち、基準映像フレームと参照映像フレームとの間のサブピクセルシフト量は、ルーカスカナデ（Ｌｕｃａｓ Ｋａｎａｄｅ）アルゴリズムなどの知られるか、今後知られる、映像処理アルゴリズムによって計算されうる。

サブピクセルシフト量は、光フィールドデータキャプチャー部１４０で、メインレンズで被写体の各ポイントに対する光フィールドデータの通過位置によって、または光フィールドデータキャプチャー部１４０の構成によって設定される値であり、被写体との距離によって変更調整される値であり得る。また、サブピクセルシフト量は、アルファ値によってあらかじめ決定されうる。アルファ値及びアルファ値によるサブピクセルシフト量は、あらかじめ設定されて映像処理装置１００の所定の保存領域に保存されて、一実施例による高解像度映像生成時に利用されうる。

一実施例によれば、ＰＳＦ決定部１１２０は、基準映像フレームと各参照映像フレームとの間のサブピクセルシフト量に基づくそれぞれの２次元ガウス関数をポイントスプレッド関数として決定することができる。ＰＳＦは、基準映像に比べて、各参照映像ごとに異なるように決定されるものであって、基準映像フレームの更新と無関係に予め定められた各参照映像に該当するサブピクセル移動量によって定められる。

映像補間部１１３０は、基準映像フレームを基準映像フレームより高い解像度の高解像度基準映像フレームに補間する。映像補間部１１３０は、バイリニア補間（ｂｉｌｉｎｅａｒ ｉｎｔｅｒｐｏｌａｔｉｏｎ）方法またはバイキュービック補間（ｂｉｃｕｂｉｃｉｎｔｅｐｏｌａｔｉｏｎ）方法を用いて補間することができる。

映像復元部１１４０は、生成された高解像度映像フレーム、ポイントスプレッド関数及び少なくとも１つの参照映像フレームを用いて高解像度基準映像フレームを更新することによって、高解像度映像を復元することができる。映像復元部１１４０は、複数個の低解像度映像フレームを用いて高解像度映像フレームを生成させるさまざまな高解像度映像処理方法が行われるように具現可能である。

一実施例によれば、映像復元部１１４０は、レジデュアル値生成部１１４２及び映像更新部１１４４を含みうる。

レジデュアル値生成部１１４２は、生成された高解像度基準映像フレーム、参照映像フレームのうちの１つ、及び１つの参照映像フレームと基準映像フレームとに基づいたポイントスプレッド関数を用いて、レジデュアル値を生成させる。ここで、レジデュアル値は、１つの参照映像フレーム（観測された映像）から、高解像度基準映像フレームとポイントスプレッド関数とをコンボリューションした値（予測された映像）を減算した値であり得る。映像更新部１１４４は、レジデュアル値、すなわち、観測された映像から予測された映像の差映像を用いて高解像度基準映像フレームを更新する。

レジデュアル値生成部１１４２は、高解像度基準映像フレームが更新された場合、更新された高解像度基準映像フレーム、参照映像フレームのうちの他の１つ、及び他の１つの参照映像フレームと基準映像フレームとに基づいたポイントスプレッド関数を用いて、レジデュアル値を生成することができる。ここで、レジデュアル値は、他の１つの参照映像フレームから更新された高解像度基準映像フレームとポイントスプレッド関数とをコンボリューションした値を減算した値であり得る。映像更新部１１４４は、レジデュアル値を用いて高解像度基準映像フレームを更新する。

このような動作は、複数個の参照映像全部に対して行われるまで繰り返し行われる。例えば、参照映像フレームが１０個であれば、前述したような更新動作は、１０回行われる。このように生成されたレジデュアル値を用いて高解像度基準映像フレームを更新する方法は、ＰＯＣＳ（ｐｒｏｊｅｃｔｉｏｎ ｏｎｔｏ ｃｏｎｖｅｘ ｓｅｔｓ）を含めた多様な高解像度映像復元技術を利用できる。

また、高解像度基準映像フレームの更新動作は、復元された高解像度映像に対する品質が所望の所定の品質になるまで繰り返し行われる。例えば、１０個の参照映像フレームに対して更新動作がいずれも完了した後、生成された高解像度映像を１０個の参照映像フレーム及びＰＳＦを用いて更新する動作をレジデュアル値が所定の臨界値以下になるまで繰り返し行うことができる。

図１２Ａ及び図１２Ｂは、一実施例によって、基準映像フレーム及び参照映像フレームを選定する方式を示す図である。

図１２Ａは、アルファ値αが１であって、リフォーカシング面とマイクロレンズアレイ上の撮像面とが一致されるように光フィールドデータがキャプチャーされる場合を表わし、図１２Ｂは、アルファ値αが１ではなくて、リフォーカシング面と撮像面とが一致されない場合に、光フィールドデータがキャプチャーされる場合を表わす。

図１２Ａに示したように、アルファ値αが１である場合、映像フレーム決定部１１１０は、光フィールドデータを用いて生成される少なくとも１つの角度から見える映像フレームのうち、１つを基準映像フレームとして決定し、生成された少なくとも１つの角度から見える映像フレームのうち、基準映像フレームとして決定された映像フレーム以外の少なくとも１つの映像フレームを少なくとも１つの参照映像フレームとして決定することができる。

図１２Ｂに示したように、アルファ値αが１ではない場合には、決定される光フィールドデータの位置が変わることを表わす。したがって、得られるビュー映像が、図１２Ａで変わり、得られるビュー映像を用いて基準映像フレーム及び参照映像フレームが再定義されうる。決定された基準映像フレームと参照映像フレームとの間のサブピクセルシフト量を確認することができる。サブピクセルシフト量は、図１３Ｃのように定義されるか、あらかじめ当該アルファ値に基盤して基準映像フレームと参照映像フレームとの間の移動量が測定されうる。

図１３Ａないし図１３Ｃは、一実施例による光フィールドデータ基盤基準映像フレームに比べてサブピクセルシフト量を示すための図である。

図１３Ａは、場面１３１０のオブジェクト１３１１、１３１２に対する光信号は、９個のサブアパーチュアを有するメインレンズ１３２０を通過し、メインレンズ１３２０の各サブアパーチュアを通過した光信号が、光センサー１３３０でサブアパーチュアの個数に対応する光ピクセルに入射されることを表わす。図面符号１３４０は、センシングされたデータがＬＲ（Ｌｏｗ Ｒｅｓｏｌｕｔｉｏｎ）グリッド上で位置定義されたことを表わす。図１３Ａでは、５番目の光センサーピクセルで感知された感知値、すなわち、インテンシティがＬＲグリッドに示されたが、残りの光センサーのピクセルで感知されたインテンシティもＬＲグリッド上に規定される。

図１３Ｂは、センシングされたＬＲデータが、すなわち、光フィールドデータは、メインレンズ１３２０のサブアパーチュアを通過するデータであることを表わす。図１３Ａ及び図１３Ｂで、説明の便宜上、メインレンズ１３２０のサブアパーチュアの配置及び光センサー１３３０のピクセルの配列が一列に示されたが、サブアパーチュアの配置及びピクセルの配置は、他のさまざまな形態を有しうる。

図１３Ｃは、基準映像フレームに比べて残りの参照映像フレームのサブピクセルシフト量の一例を示す図である。図１３Ｃに示したように、メインレンズのサブアパーチュアを通過するデータが基準映像フレームに比べて、どれほどサブピクセルシフトになっているかを定義することができる。図１３Ｃで、５番のサブアパーチュアを通過した光フィールドデータからなる映像フレームを基準映像フレームとし、１番のサブアパーチュアを通過した光フィールドデータと９番のサブアパーチュアを通過した光フィールドとの間の配置差が１ピクセルであり、メインレンズ通過位置によるサブピクセルシフト量が、図１３Ｃに示したように、比例する場合を仮定する。この場合、ｍａｘｘは、０．５と定義すれば、６番目のサブアパーチュアを通過した光フィールドデータで構成される映像フレームは、基準映像フレームに比べて、０．１２５ピクセル差（ｐｉｘｅｌ ｓｈｉｆｔ）があると決定されうる。

図１４は、基準映像フレーム基盤で高解像度基準映像フレームを生成させる動作の一例を示す図である。

基準映像フレームを初期の高解像度映像に形成するために、向上させようとする解像度サイズ（Ｒｅｓｏｌｕｔｉｏｎ Ｓｉｚｅ）を決定し、基準映像フレームを信号処理、例えば、バイリニア補間またはバイキュービック補間などの補間処理によって、決定されたサイズに拡大する。

図面符号１４１０は、センシングされた光フィールドデータを、図面符号１４２０は、ＬＲグリッド上に表示された基準映像フレームのデータを、図面符号１４３０は、高解像度処理になって基準映像フレームのデータがＨＲグリッド上に表示された例を、各々表わす。●は、基準映像フレームのデータを、○は、元の基準映像フレームのデータを用いて補間されたデータを、各々表わす。

図１５は、基準映像フレーム基盤ＰＳＦ計算の一例を示す図である。図１５の左側に示される光フィールドデータは、ＰＳＦを計算する方法を説明するために獲得される光フィールドデータの簡略化された形態を表わす。●、▲、■は、被写体の１ポイントに対する光フィールドデータを表わす。

一実施例によれば、ＰＳＦは、次の式（５）のように定義されうる。

例えば、■位置ＸＸは、基準▲の（ｕ，ｖ）ドメインでのポイントの位置に、ｘ軸方向に定義されたサブピクセルシフト量を合わせた値を表わす。Ｒ＿ＸＸは、ｒｏｕｎｄ（ＸＸ）でＰＳＦのガウス関数のピークのセンター位置を表わす。また、■位置ＹＹは、基準▲の（ｕ，ｖ）ドメインでのポイントの位置に、ｙ軸方向に定義されたサブピクセルシフト量を合わせた値を表わす。Ｒ＿ＹＹは、ｒｏｕｎｄ（ＹＹ）でＰＳＦのガウス関数のピークのセンター位置を表わす。すなわち、光フィールド位置に基盤してＰＳＦが定義されうる。ＰＳＦは、サブピクセルシフト量程度によってガウス（Ｇａｕｓｓｉａｎ）のカーブ形態が変化する。

図１６は、光フィールドデータを用いて所望のフォーカシング領域に対する高解像度映像を生成させる方法の一例を示す図である。

光フィールドデータキャプチャー部１４０は、場面に対する光フィールドデータをキャプチャーする（１６１０）。光フィールドデータ位置決定部５１０は、場面に対する光フィールドデータのうちから所望のフォーカシング位置によってアルファ値を決定し、該決定されたアルファ値を用いて、一部の光フィールドデータの位置を決定する（１６２０）。

リフォーカシング映像生成部５２０は、位置決定された一部の光フィールドデータを用いて、リフォーカシングされた映像を生成させる（１６３０）。
映像合成部５６０は、リフォーカシングされた映像を設定された比率によって拡大する（１６４０）。

高解像度映像生成部５４０は、場面に対する光フィールドデータを用いて、リフォーカシングされた映像に対する設定された比率の高解像度映像を生成させる（１６５０）。

合成比率決定部５５０は、アルファ値による選択された一部の光フィールドデータの類似度を用いて、高解像度映像及び拡大されたリフォーカシングされた映像の地域的合成比率を決定する（１６６０）。

映像合成部５６０は、地域的合成比率によって、高解像度映像及び拡大されたリフォーカシングされた映像を合成して合成映像を生成させる（１６７０）。

図１７は、光フィールドデータを用いて高解像度映像を生成させる方法の一例を示す図である。光フィールドデータキャプチャー部１４０は、場面に対する光フィールドデータをキャプチャーする（１７１０）。高解像度映像生成部５４０は、キャプチャーされた光フィールドデータを用いて１つの基準映像フレーム及び少なくとも１つの参照映像フレームを決定する（１７２０）。高解像度映像生成部５４０は、基準映像フレームと少なくとも１つの参照映像フレームとの間のサブピクセルシフト量に基づいて、ポイントスプレッド関数を決定する（１７４０）。

高解像度映像生成部５４０は、基準映像フレームを基準映像フレームより高い解像度の高解像度基準映像フレームに補間する（１７３０）。高解像度映像生成部５４０は、生成された高解像度映像フレーム、ポイントスプレッド関数及び少なくとも１つの参照映像フレームを用いて高解像度基準映像フレームを更新することによって、高解像度映像を復元する（１７５０）。

高解像度映像を復元する動作は、複数個の参照映像全部に対して行われるまで繰り返し行われる。一実施例によれば、サブピクセル単位の高解像度映像を生成させるために、ＰＯＣＳ（ｐｒｏｊｅｃｔｉｏｎ ｏｎｔｏ ｃｏｎｖｅｘ ｓｅｔ）方法を利用できる。

本発明の一態様は、コンピュータで読み取り可能な記録媒体にコンピュータで読み取り可能なコードとして具現しうる。前記のプログラムを具現するコード及びコードセグメントは、当該分野のコンピュータプログラマーによって容易に推論されうる。コンピュータで読み取り可能な記録媒体は、コンピュータシステムによって読み取れるデータが保存されるあらゆる種類の記録装置を含む。コンピュータで読み取り可能な記録媒体の例としては、ＲＯＭ、ＲＡＭ、ＣＤ−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光ディスクなどを含む。また、コンピュータで読み取り可能な記録媒体は、ネットワークで連結されたコンピュータシステムに分散されて、分散方式でコンピュータで読み取り可能なコードとして保存されて実行可能である。

以上の説明は、本発明の一実施例に過ぎず、当業者ならば、本発明の本質的特性から外れない範囲で変形された形態で具現することができる。したがって、本発明の範囲は、前述した実施例に限定されず、特許請求の範囲に記載の内容と同等な範囲内にある多様な実施例が含まれるように解析しなければならない。

本発明は、光フィールドデータを利用した映像処理装置及び方法関連の技術分野に適用可能である。

Claims (23)

1. 場面に対する光フィールドデータのうちから、所望のフォーカシング位置によって、一部の光フィールドデータの位置を決定する光フィールドデータ位置決定部と、
   前記位置が決定された一部の光フィールドデータを用いて、リフォーカシングされた第１映像を生成するリフォーカシング映像生成部と、
   前記リフォーカシングされた第１映像に対して所定の比率を有する高解像度映像を生成する高解像度映像生成部と、
   前記位置が決定された一部の光フィールドデータの類似度を用いて、前記高解像度映像及び前記リフォーカシングされた第１映像の拡大映像の間の局所的な合成比率を決定する合成比率決定部と、
   前記局所的な合成比率によって、前記高解像度映像及び前記リフォーカシングされた第１映像を合成して合成映像を生成する映像合成部と、を含み、
   前記合成比率決定部は、前記位置が決定された一部の光フィールドデータに対する類似度が低い部分よりも、前記位置が決定された一部の光フィールドデータに対する類似度が高い部分について、より高い合成比率で前記高解像度映像が合成されるように、前記局所的な合成比率を決定し、前記所望のフォーカシング位置は最も鮮明なリフォーカシング映像に対応する、映像処理装置。
2. 前記光フィールドデータ位置決定部は、前記場面を表わす映像の一部に対応しかつ前記所望のフォーカシング位置を含む第２映像を設定し、撮像面とリフォーカシング面との位置関係を表わすアルファ値を変化させながら、前記第２映像に対する複数個のリフォーカシング映像を生成し、
   前記アルファ値のうち、前記第２映像に対して最も鮮明なリフォーカシング映像をもたらす最終的なアルファ値を決定し、該決定された最終的なアルファ値を用いて、前記一部の光フィールドデータの位置を決定する、請求項１に記載の映像処理装置。
3. 前記合成比率決定部は、
   決定された位置における光フィールドデータの強度値の不均一度を表わす不均一度マップを生成する不均一度マップ生成部と、
   前記不均一度マップを用いて、前記高解像度映像及び前記リフォーカシングされた第１映像の拡大映像の間の前記局所的な合成比率についての情報を含む不均一度比率マップを生成する不均一度比率マップ生成部と、
   前記不均一度比率マップを設定された比率で拡大する不均一度比率マップ拡大部と、
   を含む請求項１に記載の映像処理装置。
4. 前記映像合成部は、前記リフォーカシングされた第１映像を設定された比率で拡大し、前記リフォーカシングされた第１映像の拡大映像及び前記高解像度映像を、決定された局所的な合成比率で合成する、請求項１に記載の映像処理装置。
5. 前記高解像度映像生成部は、
   前記決定された最終的なアルファ値により決定される位置を含む前記位置が決定された一部の光フィールドデータを用いて、１つの基準映像フレーム及び少なくとも１つの参照映像フレームを決定する映像フレーム決定部と、
   前記基準映像フレームと少なくとも１つの参照映像フレームとの間のサブピクセルシフト量に基づいて、ポイントスプレッド関数を決定するポイントスプレッド関数決定部と、
   前記基準映像フレームを補間することにより、前記基準映像フレームより高い解像度を有する高解像度基準映像フレームを生成する映像補間部と、
   生成された高解像度基準映像フレーム、前記ポイントスプレッド関数及び前記少なくとも１つの参照映像フレームを用いて、前記高解像度基準映像フレームを更新することによって、高解像度映像を復元する映像復元部と、
   を含む請求項２に記載の映像処理装置。
6. 前記サブピクセルシフト量は、前記基準映像フレームに対応する光フィールドデータと前記各参照映像フレームに対応する光フィールドデータとの間の位置の相違を表す、請求項５に記載の映像処理装置。
7. 前記映像フレーム決定部は、
   或る角度から見えるビュー映像を前記基準映像フレームとして決定し、前記最終的なアルファ値により決定される位置を含む前記位置が決定された一部の光フィールドデータを用いて、他の角度から見える少なくとも１つのビュー映像を前記少なくとも１つの参照映像フレームとして決定する請求項５に記載の映像処理装置。
8. 前記ポイントスプレッド関数決定部は、前記基準映像フレームと各参照映像フレームとの間のサブピクセルシフト量に基づいて、２次元ガウシアン関数を前記ポイントスプレッド関数として決定する、請求項５に記載の映像処理装置。
9. 前記映像復元部は、
   生成された高解像度基準映像フレームと、前記参照映像フレームのうちの１つと、前記１つの参照映像フレーム及び前記基準映像フレームに基づくポイントスプレッド関数とを用いて、レジデュアル値を生成するレジデュアル値生成部と、
   前記レジデュアル値を用いて、前記高解像度基準映像フレームを更新する映像更新部と、
   を含む請求項５に記載の映像処理装置。
10. 前記レジデュアル値は、前記１つの参照映像フレームから、前記高解像度基準映像フレームと前記ポイントスプレッド関数とをコンボリューションした値を減算した値である、請求項９に記載の映像処理装置。
11. 前記高解像度基準映像フレームが更新された場合に、前記レジデュアル値生成部は、前記更新された高解像度基準映像フレームと、前記参照映像フレームのうちの他の１つと、前記他の１つの参照映像フレーム及び前記基準映像フレームに基づくポイントスプレッド関数とを用いて、レジデュアル値を生成する、請求項９に記載の映像処理装置。
12. 物体の像を形成する第１光学部と、
    光線を取得するフォトセンサーアレイと、
    前記第１光学部と前記フォトセンサーアレイとの間に設けられ、前記光線の方向に基づいて前記光線を分離することにより、前記光線を前記フォトセンサーアレイの方に向かわせる第２光学部と、
    を含む光フィールドデータキャプチャー部をさらに含む請求項１に記載の映像処理装置。
13. 場面に対する光フィールドデータのうちから、所望のフォーカシング位置によって、一部の光フィールドデータの位置を決定する段階と、
    前記位置が決定された一部の光フィールドデータを用いて、リフォーカシングされた第１映像を生成する段階と、
    前記リフォーカシングされた第１映像に対して所定の比率を有する高解像度映像を生成する段階と、
    前記位置が決定された一部の光フィールドデータの類似度を用いて、前記高解像度映像及び前記リフォーカシングされた第１映像の拡大映像の間の局所的な合成比率を決定する段階と、
    前記局所的な合成比率によって、前記高解像度映像及び前記リフォーカシングされた第１映像の拡大映像を合成して合成映像を生成する段階と、を含み、
    前記局所的な合成比率を決定する段階において、前記位置が決定された一部の光フィールドデータに対する類似度が低い部分よりも、前記位置が決定された一部の光フィールドデータに対する類似度が高い部分について、より高い合成比率で前記高解像度映像が合成されるように、前記局所的な合成比率が決定され、前記所望のフォーカシング位置は最も鮮明なリフォーカシング映像に対応する、映像処理方法。
14. 前記一部の光フィールドデータの位置を決定する段階は、
    前記場面を表す映像の一部に対応しかつ前記所望のフォーカシング位置を含む第２映像を設定する段階と、
    撮像面とリフォーカシング面との位置関係を表わすアルファ値を変化させながら、前記第２映像に対する複数個のリフォーカシング映像を生成する段階と、
    前記アルファ値のうち、前記第２映像に対して最も鮮明なリフォーカシング映像をもたらす最終的なアルファ値を決定する段階と、
    決定されたアルファ値を用いて、前記一部の光フィールドデータの位置を決定する段階と、を含む、請求項１３に記載の映像処理方法。
15. 前記局所的な合成比率を決定する段階は、
    撮像面とリフォーカシング面との位置関係を表すアルファ値によって決定される位置における光フィールドデータの強度値の不均一度を表わす不均一度マップを生成する段階と、
    前記不均一度マップを用いて、前記高解像度映像及び前記リフォーカシングされた第１映像の拡大映像の間の局所的な合成比率についての情報を含む不均一度比率マップを生成する段階と、
    前記不均一度比率マップを設定された比率で拡大する段階と、
    を含む、請求項１３に記載の映像処理方法。
16. 前記合成映像を生成する段階は、
    前記リフォーカシングされた第１映像を設定された比率で拡大する段階と、
    前記リフォーカシングされた第１映像の拡大映像及び前記高解像度映像を決定された局所的な合成比率で合成する段階と、
    を含む請求項１３に記載の映像処理方法。
17. 前記高解像度映像を生成する段階は、
    前記決定されたアルファ値を用いて、１つの基準映像フレーム及び少なくとも１つの参照映像フレームを決定する段階と、
    前記基準映像フレームと少なくとも１つの参照映像フレームとの間のサブピクセルシフト量に基づいて、ポイントスプレッド関数を決定する段階と、
    前記基準映像フレームを補間することにより、前記基準映像フレームより高い解像度を有する高解像度基準映像フレームを生成する段階と、
    生成された高解像度基準映像フレーム、前記ポイントスプレッド関数及び前記少なくとも１つの参照映像フレームを用いて、前記高解像度基準映像フレームを更新することによって、高解像度映像を復元する段階と、
    を含む請求項１４に記載の映像処理方法。
18. 獲得された４次元光フィールドを処理する方法において、所望のフォーカシング位置を決定し、前記フォーカシング位置について、撮像面とリフォーカシング面との位置関係を表わすアルファ値を決定する段階と、
    前記アルファ値に従って角度データからリフォーカシング映像を生成する段階と、
    前記アルファ値に従って、角度データのサブピクセル変位に基づいて、フォーカシング領域の解像度を高めることにより、高解像度映像を生成する段階と、
    前記アルファ値に従って、角度データの類似度を検査することにより、前記フォーカシング領域とアウトフォーカシング領域とを区分する段階と、
    前記リフォーカシング映像と前記高解像度映像とを合成する段階と、を含み、
    前記高解像度映像は、位置が決定された一部の光フィールドデータに対する類似度が低い部分よりも、前記位置が決定された一部の光フィールドデータに対する類似度が高い部分について、より高い合成比率で合成され、
    前記アルファ値は最も鮮明なリフォーカシング映像に対応する、４次元光フィールド処理方法。
19. 前記アルファ値は、最も鮮明なリフォーカシング映像が生成されるまでアルファ値を変化させることにより決定される、請求項１８に記載の４次元光フィールド処理方法。
20. 請求項１３に記載の映像処理方法をコンピュータに実行させるプログラムを保存するコンピュータで読取り可能な情報記録媒体。
21. 請求項１８に記載の４次元光フィールド処理方法をコンピュータに実行させるプログラムを保存するコンピュータで読取り可能な情報記録媒体。
22. 場面に対応する光フィールドデータから、前記場面を表わす映像の一部に対応し、所望のフォーカシング位置を含むリフォーカシング映像を生成する段階と、
    前記リフォーカシング映像の拡大映像を生成する段階と、
    前記映像の一部に対応する前記光フィールドデータを用いて、前記拡大映像に対応する高解像度映像を生成する段階と、
    前記高解像度映像と前記拡大映像とに基づいて合成映像を生成する段階と、
    を含み、前記高解像度映像は、位置が決定された一部の光フィールドデータに対する類似度が低い部分よりも、前記位置が決定された一部の光フィールドデータに対する類似度が高い部分について、より高い合成比率で合成され、
    前記所望のフォーカシング位置は最も鮮明なリフォーカシング映像に対応する、映像処理方法。
23. 前記リフォーカシング映像は、前記映像の一部に対応する複数個の映像のうち最も鮮明な映像である、請求項２２に記載の映像処理方法。

Images