JP6218402B2 - タイル単位に基づいて大きい入力映像の不均一モーションブラーを除去する方法及び装置 - Google Patents

Description

以下の実施形態は、タイル単位に基づいて大きい入力映像の不均一モーションブラーを除去する方法及び装置に関する。

ブラー（ｂｌｕｒ）現象は、カメラを用いた写真撮影のように映像取得装置を用いて映像を取得する過程で頻繁に発生する現象であり、映像の品質を低下させる主な原因の１つである。

暗い室内や夕方頃の外側のように光量が足りない環境でカメラなどの装置を用いて映像を取得する場合、鮮明な映像を得るためには十分な光量が必要であり、そのためには映像センサを光に長く露出させなければならない。しかし、露出時間が長くなれば、露出時間中に映像センサの揺れによって取得した映像にブラーが発生することがある。

映像からブラーを除去することは与えられた情報量に比べて把握しなければならない多い量の情報を必要とするため依然として解決が困難である問題がある。特に、映像の各ピクセルはカメラの並進運動（ｔｒａｎｓｌａｔｉｏｎａｌ ｍｏｔｉｏｎ）だけではなく、回転運動（ｒｏｔａｔｉｏｎａｌ ｍｏｔｉｏｎ）によって互いに異なる方向と大きさの不均一モーションブラーを含む。このような不均一モーションブラーに関する情報は画素（ｐｉｘｅｌ）単位で格納されて処理されるが、実際に日常生活で撮影する１０メガピクセル以上の大きさを有する大きい映像を処理するために必要とされる格納空間には限界があるため、不均一モーションブラー情報の推定が極めて難しい。

本発明の目的は、相対的に大きい入力映像をタイル単位の局部領域に分類し、相対的に大きい入力映像のブラーを除去することによって大きい映像を処理するために必要な格納空間の限界を克服する。

本発明の目的は、大きい映像から分類されタイルのうち、不均一モーションブラー情報の推定に最も適する局部領域に対する最適のタイルを選択することによって、大きい映像に対するデブラーリングを容易にする。

本発明の目的は、設定されたタイルの大きさよりもやや大きいタイルをパッディングすることによって、各タイル単位で不均一モーションブラーを除去するときに生じるタイル外角のアーチファクトを効果的に除去すると同時に、鮮明に復元された映像を取得する。

一実施形態に係る入力映像のブラーを除去する方法は、入力映像の複数のタイルのいずれか１つのタイルを選択するステップと、映像整合を行うことによって前記選択されたタイルに対する不均一モーションブラー情報を推定するステップと、前記いずれか１つのタイルの推定された不均一モーションブラー情報に基づいて不均一モーションブラーを除去し、前記複数のタイルそれぞれに対するレイタント映像を取得するステップと、前記複数のタイルそれぞれに対するレイタント映像を用いて前記入力映像を復元するステップとを含む。

前記いずれか１つのタイルを選択するステップは、前記複数のタイルそれぞれが有するエッジピクセル数及び前記エッジピクセルのグラジエント方向に応じて分類される前記エッジピクセルの方向に基づいて前記複数のタイルそれぞれに対するグラジエントヒストグラムを生成するステップと、前記グラジエントヒストグラムを用いて前記いずれか１つのタイルを選択するステップとを含んでもよい。

前記グラジエントヒストグラムを生成するステップは、前記複数のタイルそれぞれに対するグラジエントマップを生成するステップと、前記グラジエントマップのグラジエント大きさ値に基づいてエッジピクセルを決定するステップと、前記エッジピクセルを前記グラジエント方向に応じて分類するステップと、前記分類されたエッジピクセルに基づいて前記複数のタイルそれぞれに対するグラジエントヒストグラムを生成するステップとを含んでもよい。

前記グラジエントヒストグラムを用いて前記いずれか１つのタイルを選択するステップは、前記複数のタイルそれぞれのグラジエントヒストグラムに基づいて、前記複数のタイルそれぞれに対して前記グラジエント方向ごとに属するエッジピクセル数を確認するステップと、前記グラジエント方向ごとに属するエッジピクセル数を用いて前記いずれか１つのタイルを選択するステップとを含んでもよい。

前記レイタント映像を取得するステップは、前記選択されたいずれか１つのタイルの推定された不均一モーションブラー情報を前記入力映像での当該位置に対応するピクセル座標に適するように補正するステップと、前記選択されたいずれか１つのタイルの補正された不均一モーションブラー情報を前記複数のタイル単位ごとに対する不均一モーションブラー情報に用いて前記不均一モーションブラーを除去するステップとを含んでもよい。

前記入力映像は、前記不均一モーションブラーを含む単一フレーム、前記不均一モーションブラーを含むマルチフレーム、前記不均一モーションブラーを含む単一ブラー映像、及びブラーを含まない単一ノイズ映像で構成されたマルチフレームのうち少なくとも１つの形態を有してもよい。

前記レイタント映像を取得するステップは、前記入力映像の形態が前記不均一モーションブラーを含む単一フレーム及び前記不均一モーションブラーを含むマルチフレームのいずれか１つの形態である場合、共役勾配法を用いて前記不均一モーションブラーを除去するステップを含んでもよい。

前記レイタント映像を取得するステップは、前記入力映像の形態が前記不均一モーションブラーを含む単一ブラー映像及びブラーを含まない単一ノイズ映像で構成されたマルチフレームの形態である場合、ＲＬ（Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ）デコンボリューションアルゴリズムを用いて前記不均一モーションブラーを除去するステップを含んでもよい。

前記複数のタイルそれぞれの境界部分に対するパッディングを行うステップをさらに含んでもよい。

前記パッディングを行うステップは、前記推定された不均一モーションブラー情報及び前記複数のタイルそれぞれに対応するピクセルの位置情報を用いて、前記複数のタイルそれぞれに対するパッディングの大きさを算出するステップと、前記複数のタイルそれぞれのサイズを前記パッディングの大きさだけ拡張するステップとを含んでもよい。

前記複数のタイルそれぞれに対するパッディングの大きさは、前記複数のタイルそれぞれを構成するピクセルがブラーによって変位することのあるピクセル距離に基づいて算出されてもよい。

前記レイタント映像を取得するステップは、前記パッディングの大きさだけサイズを拡張した複数のタイルそれぞれに対して前記不均一モーションブラーを除去して前記レイタント映像を取得してもよい。

一実施形態に係る入力映像のブラーを除去する装置は、入力映像の複数のタイルのいずれか１つのタイルを選択する選択部と、映像整合を行うことによって前記選択されたタイルに対する不均一モーションブラー情報を推定する推定部と、前記いずれか１つのタイルの推定された不均一モーションブラー情報に基づいて不均一モーションブラーを除去し、前記複数のタイルそれぞれに対するレイタント映像を取得する取得部とを備える。

前記選択部は、前記複数のタイルそれぞれが有するエッジピクセル数及びグラジエント方向に応じて分類される前記エッジピクセルの方向に基づいて前記複数のタイルそれぞれに対するグラジエントヒストグラムを生成する生成手段と、前記グラジエントヒストグラムを用いて前記いずれか１つのタイルを選択する選択手段とを備えてもよい。

前記取得部は、前記選択されたいずれか１つのタイルの推定された不均一モーションブラー情報を前記入力映像での当該位置に対応するピクセル座標に適するように補正する補正手段と、前記選択されたいずれか１つのタイルの補正された不均一モーションブラー情報を前記複数のタイル単位ごとに対する不均一モーションブラー情報に用いて前記不均一モーションブラーを除去する除去手段とを備えてもよい。

前記入力映像は、前記不均一モーションブラーを含む単一フレーム、前記不均一モーションブラーを含むマルチフレーム、前記不均一モーションブラーを含む単一ブラー映像、及びブラーを含まない単一ノイズ映像で構成されたマルチフレームのうち少なくとも１つの形態を有してもよい。

前記複数のタイルそれぞれの境界部分に対するパッディングを行うパッディング実行部をさらに備えてもよい。

前記パッディング実行部は、前記推定された不均一モーションブラー情報及び前記複数のタイルそれぞれに対応するピクセルの位置情報を用いて前記複数のタイルそれぞれに対するパッディングの大きさを算出する算出手段と、前記複数のタイルそれぞれの大きさを前記パッディングの大きさだけ拡張する拡張手段とを備えてもよい。

前記取得部は、前記パッディングの大きさだけサイズを拡張した複数のタイルそれぞれに対して前記不均一モーションブラーを除去して前記レイタント映像を取得してもよい。

前記入力映像を予め設定された大きさを有する複数のタイルに分類する分割部と、前記複数のタイルそれぞれに対するレイタント映像を用いて前記入力映像を復元する復元部とを備えてもよい。

一実施形態に係る入力映像のブラーを除去する方法は、映像整合を行うことによって入力映像の複数のタイルのいずれか１つのタイルの不均一モーションブラー情報を推定するステップと、前記いずれか１つのタイルの前記推定された不均一モーションブラー情報に基づいて前記いずれか１つのタイルの不均一モーションブラーを除去し、前記複数のタイルそれぞれに対するレイタント映像を取得するステップとを含む。

前記取得されたレイタント映像を用いて前記入力映像を復元するステップと、前記復元された映像を出力するステップとをさらに含んでもよい。

一実施形態に係る入力映像を復元する方法は、複数のタイルのいずれか１つのタイルの推定された不均一モーションブラー情報及び前記複数のタイルそれぞれに対応するピクセルの位置情報に基づいて、複数のタイルそれぞれの境界部分に対するパッディングを行うステップを含み、前記不均一モーションブラー情報は、映像整合によって推定される複数のタイルに分離されてもよい。

一実施形態によれば、相対的に大きい入力映像をタイル単位の局部領域に分類し、相対的に大きい入力映像のブラーを除去することによって大きい映像を処理するために必要な格納空間の限界を克服することができる。

一実施形態によれば、大きい映像から分類されタイルのうち、不均一モーションブラー情報の推定に最も適する局部領域に対する最適のタイルを選択することによって、大きい映像に対するデブラーリングを容易にすることができる。

また、一実施形態によれば、設定されたタイルの大きさよりもやや大きいタイルをパッディングすることによって、各タイル単位で不均一モーションブラーを除去するときに生じるタイル外郭のアーチファクトを効果的に除去すると同時に、鮮明に復元された映像を取得することができる。

一実施形態に係るタイル単位に基づいて大きい入力映像の不均一モーションブラーを除去する方法を示す図である。 一実施形態に係るタイル単位に基づいて大きい入力映像の不均一モーションブラーを除去する方法を示したフローチャートである。 一実施形態に係る入力映像の不均一モーションブラーを除去する方法でいずれか１つのタイルを選択する方法を示したフローチャートである。 一実施形態に係る入力映像の不均一モーションブラーを除去する方法でパッディングを行う方法を示したフローチャートである。 不均一モーションブラーが含まれたブラー入力映像である。 ブラーが含まれていないノイズ入力映像を示す図である。 一実施形態に係る入力映像の不均一モーションブラーを除去する方法でパッディングを行わずにブラーを除去した結果を示す図である。 一実施形態に係る入力映像の不均一モーションブラーを除去する方法でパッディングを行ってブラーを除去した結果を示す図である。 一実施形態に係るタイル単位に基づいて大きい入力映像の不均一モーションブラーを除去する装置のブロック図である。

以下、本発明に係る実施形態を添付する図面を参照しながら詳細に説明する。しかし、本発明が一実施形態によって制限されたり限定されることはない。また、各図面に提示された同一の参照符号は同一の部材を示す。

図１は、一実施形態に係るタイル単位に基づいて大きい入力映像の不均一モーションブラーを除去する方法を示す図である。図１を参照すると、大きい（ｌａｒｇｅ ｓｃａｌｅ）サイズの入力映像が提供されれば（１１０）、一実施形態に係る不均一モーションブラーを除去する装置（以下、「除去装置」と称する）は、入力映像を入力映像に対して相対的に小さい複数のタイル（ｔｉｌｅ）に分類し、タイルそれぞれに対するグラジエントマップ（ｇｒａｄｉｅｎｔ ｍａｐ）を求める。

ここで、入力映像の大きさに応じてタイルの大きさ及びタイルの個数は可変的であってもよい。

その後、除去装置は、グラジエント方向に応じてエッジピクセル（ｅｄｇｅ ｐｉｘｅｌ）数を測定して複数のタイルそれぞれに対するグラジエントヒストグラム（ｇｒａｄｉｅｎｔ ｈｉｓｔｏｇｒａｍ）を生成し、グラジエントヒストグラムを用いて最適のタイルを選択する（１２０）。

ステップ１２０において、除去装置は、複数のタイルそれぞれに対するグラジエントヒストグラムを比較してエッジ方向が様々であり、エッジピクセル数の多いタイルを最適のタイルとして選定する。

除去装置は、映像整合（ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ）を行って最適のタイルに対する不均一モーションブラー情報（ｎｏｎ−ｕｎｉｆｏｒｍ ｍｏｔｉｏｎ ｂｌｕｒ ｉｎｆｏｒｍａｔｉｏｎ）を推定する（１３０）。ここで、推定された不均一モーションブラー情報は、入力映像におけるタイル位置に該当するピクセル座標に適するように補正され、映像全体に対する（不均一モーション）ブラー情報として用いられてもよい。

除去装置は、複数のタイルそれぞれの外郭領域に対するアーチファクト（ａｒｔｉｆａｃｔ）を除去するために、複数のタイルそれぞれの境界部分に対するパッディング（ｐａｄｄｉｎｇ）を行う（１４０）。ここで、除去装置は、推定されたブラー情報とタイルのピクセル位置情報に基づいてパッディングの大きさを算出してパッディングを行う。

その後、除去装置は、入力映像の局部領域のタイルそれぞれに対して順次不均一モーションブラーを除去する（１５０）。ここで、入力映像の形態が不均一モーションブラーを含む単一フレーム、あるいはマルチフレームである場合、共役勾配法（ｃｏｎｊｕｇａｔｅ ｇｒａｄｉｅｎｔ ｍｅｔｈｏｄ）を用いて後述する数式（７）によってレイタント映像を取得する。

また、入力映像の形態が単一ブラー映像及び単一ノイズ映像で構成されたマルチフレームである場合、後述する数式（１１）及び数式（１２）に該当するＲＬデコンボリューションアルゴリズムを用いて不均一モーションブラーを除去したレイタント映像が取得される。

ステップ１５０の結果、複数のタイルそれぞれに対するレイタント映像が取得されれば、除去装置はこのタイルを付けて最終的に大きい入力映像を鮮明に復元することができる（１６０）。

以下、一実施形態に係るタイル単位に基づいて大きい入力映像の不均一モーションブラーを除去する方法をより具体的に説明する。

一般的に、カメラの射影変換（ｐｒｏｊｅｃｔｉｖｅ ｔｒａｎｓｆｏｒｍ）によって揺れた不均一モーションブラーは数式（１）のように表現されてもよい。

ここで、ｂ、ｌ、ｎはブラーが含まれた映像ｂ（ｂｌｕｒｒｅｄ ｉｍａｇｅ）、レイタント映像ｌ（ｌａｔｅｎｔ ｉｍａｇｅ）、映像取得の過程で導入された確認されない雑音ｎ（ｎｏｉｓｅ）に対するベクトル形態の表現を意味する。また、Ｐ_ｉは時点ｔ_ｉでカメラの射影変換動き（ｐｒｏｊｅｃｔｉｖｅ ｔｒａｎｓｆｏｒｍ ｍｏｔｉｏｎ）を代表する行列式であり、ｗ_ｉはｔ_ｉでカメラが止まっている時間の相対的な長さ

すなわち、時点ｔ_ｉでカメラの露出時間を意味する。

数式（１）が意味することは次の通りである。

ブラー映像ｂは、カメラが動いた経路上の各地点（ｃｏｏｒｄｉｎａｔｅ）及び視点（ｖｉｅｗ ｐｏｉｎｔ）における鮮明な映像ｌの和に表現されたものである。

一実施形態に係るタイル単位に基づいて大きい入力映像の不均一モーションブラーを除去する方法として、数式（１）を応用してブラインドモーションデブラーリング（ｂｌｉｎｄ ｍｏｔｉｏｎ ｄｅｂｌｕｒｒｉｎｇ）を行う。一般的なブラインドモーションデブラーリングでは、入力されたブラー映像ｂのみを用いてレイタント映像ｌと不均一モーションブラー情報Ｐ_ｉ、ｗ_ｉを算出する。

しかし、一実施形態では、入力映像が不均一モーションブラーを含む単一フレーム、不均一モーションブラーを含むマルチフレーム、あるいは単一ブラー映像及びブラーを含まない単一ノイズ映像で構成されたマルチフレームなどの様々な形態を有してもよい。そのために、一実施形態では互いに異なる形態の入力映像を用いて最終的に鮮明なレイタント映像ｌと不均一モーションブラー情報Ｐ_ｉ、ｗ_ｉを算出する。

一実施形態では、入力映像の不均一モーションブラーを除去するための方法をブラー映像に対して数式（１）を満足する不均一モーションブラー情報Ｐ_ｉ、ｗ_ｉの推定と、これを用いたレイタント映像ｌの取得の問題に区分し、反復処理過程（ｉｔｅｒａｔｉｖｅ ｐｒｏｃｅｓｓ）を通した最適化を用いてこの問題を解決する。

ここで、反復処理過程を通した最適化の目的は、不均一モーションブラー情報を含むＰとｗの正確度を徐々に改善するためである。ブラーの含まれた入力映像から不均一モーションブラーが除去された最終レイタント映像は、最終的に算出された不均一モーションブラー情報Ｐ、ｗと不均一モーションブラーが含まれた入力ブラー映像ｂを用いて取得される。

不均一モーションブラー情報の推定過程及びレイタント映像の取得過程を交換しながら繰り返し最適化する過程で推定された中間レイタント映像は、不均一モーションブラーが除去された復元された入力映像には直接的な影響を及ぼさない。ただし、推定された中間レイタント映像は、不均一モーションブラー情報Ｐ、ｗの推定に影響を及ぼすことで不均一モーションブラーの除去されたレイタント映像にのみ間接的に影響を及ぼすことになる。

以下は、不均一モーションブラー情報の推定過程について説明する。

一実施形態に係るタイル単位に基づいて大きい入力映像の不均一モーションブラーを除去する方法において、不均一モーションブラー情報の推定は映像整合（ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ）を用いて行われる。この過程は、不均一モーションブラーを表現するホモグラフィＰを推定し、当該ホモグラフィの加重値ｗを算出する２種類のステップで構成されてもよい。

不均一モーションブラー情報の推定過程では、中間レイタント映像ｌが与えられた場合、まず、不均一モーションブラーを表現するホモグラフィＰを算出する。ホモグラフィＰは、数式（１）を再配列して取得した下記の数式（２）を算出して求める。

数式（２）で１つのホモグラフィＰ_ｉを算出するために、左辺の

と右辺の

間の差を最小化するホモグラフィＰ_ｉを映像整合方法を適用して算出する。全体ホモグラフィ集合Ｐを算出するために、数式（２）で各ホモグラフィＰ_ｉは全体ホモグラフィのうち１つに交換して選択され、全てのホモグラフィを算出してもよい。

全体ホモグラフィ集合Ｐを算出した後には、算出されたＰを用いてホモグラフィの加重値ｗを算出してもよい。

加重値ｗを算出するために、まず、数式（２）を下記の数式（３）のように表現してもよい。

ここで、

であり、Ｌは大きさがｍ×ｎである行列である。ここで、ｍは映像のピクセル数であり、ｎはホモグラフィの個数である。

ここで、一般的にｍ＞＞ｎであり、数式（３）で加重値ｗは０以上の値を有しなければならないため非負の最小自乗法（ｎｏｎ−ｎｅｇａｔｉｖｅ ｌｅａｓｔ ｓｑｕａｒｅ ｍｅｔｈｏｄ）を用いることができる。

非負の最小自乗法を用いるために数式（３）を下記の数式（４）の正規方程式（ｎｏｒｍａｌ ｅｑｕａｔｉｏｎ）の形態で表現して加重値ｗを算出してもよい。

数式（４）でβは括弧の中の行列式の逆行列を求めるとき逆行列が存在しない問題を解決するための正規化パラメータであり、Ｉは単位行列（ｉｄｅｎｔｉｔｙ ｍａｔｒｉｘ）である。

不均一モーションブラーを含むマルチフレーム、またはブラー映像及びノイズ映像で構成されたマルチフレームの形態を有する入力映像で仮定する射影変換モーションブラーモデルの場合に、上述したホモグラフィ及び加重値推定方法が共通に用いられてもよい。

しかし、一実施形態のように１０メガピクセルの大きさを有する大きい映像には格納空間（メモリ）に限界があるため、上述した不均一モーションブラー情報を推定する方法を行うことができない問題がある。

例えば、推定するホモグラフィのサンプリング数を６４個と仮定し、映像の大きさを１０メガピクセルと仮定する。

この場合、数式（２）における左辺を算出するために、全体映像のピクセル数字、推定されたホモグラフィの数、浮動小数点演算（ｆｌｏａｔｉｎｇ ｐｏｉｎｔ ｏｐｅｒａｔｉｏｎ）を行うために必要なバイト数、カラー映像を処理するために必要なチャネル数を全て乗算する場合、約７ギガバイト以上の一時的な格納空間が必要である。もし、推定されるホモグラフィの個数が増加する場合、あるいは入力映像の大きさがより大きい場合には必要な一時的な格納空間の大きさもそれに比例して増加する。したがって、このような大きい映像に対する（不均一モーション）ブラー情報の推定は、映像全体を用いて１回に算出することができず、映像の局部領域を限定して全体映像に対する（不均一モーション）ブラー情報を推定しなければならない。

図１に示すように、一実施形態に係るタイル単位に基づいて入力映像の不均一モーションブラーを除去する方法では、不均一モーションブラー情報の推定のために、映像全体を数個の小さい単位の局部領域のタイルに分類した後、ブラー情報推定に最も有利な最適タイルを選択する。その後、数式（２）及び数式（４）の反復的な解決によって現在与えられたレイタント映像ｌに対応する最適化されたホモグラフィＰと加重値ｗを算出する。

ここで、不均一モーションブラー情報を推定するために用いられる映像整合は映像のエッジ情報に敏感である。そのために、一実施形態では入力映像を構成する全てのタイルのうちエッジピクセル数が多く、エッジの方向が様々なタイルを最適のタイルとして決定してもよい。

最適のタイルを決定する方法は次の通りである。

複数のタイルそれぞれに対するグラジエントマップを生成した後、このグラジエントマップのグラジエント大きさ（ｇｒａｄｉｅｎｔ ｍａｇｎｉｔｕｄｅ）値を基準として一定限界値（ｇｒａｄｉｅｎｔ ｔｈｒｅｓｈｏｌｄ）以上のピクセルをエッジピクセルと見なす。エッジピクセルと見なされたピクセルは、グラジエント方向に応じて上下方向、左右方向、対角方向、対角方向に垂直である更なる対角方向の四種類方向の１つに分類されてもよい。

グラジエントの大きさ及び方向に基づいた分類が終了されれば、これに基づいて複数のタイルそれぞれに対するグラジエントヒストグラムを生成してもよい。

その後、上述した四種類グラジエント方向に対して各タイル別にエッジピクセル数が何個であるかを確認して記録してもよい。ここで、エッジピクセル数も多くてエッジの方向が様々なタイルを選択するために、複数のタイルそれぞれのグラジエントヒストグラムのうち最小に分類された方向のピクセル数を記録してもよい。ここで、最小に分類された方向のピクセル数は、各タイルの最も少ないエッジピクセルを有する方向のエッジピクセル数である。

入力映像を構成する複数のタイルそれぞれに対して最小に分類された方向のピクセル数を比較し、この値が最も高いタイルを最適タイルとして決定してもよい。最適のタイルに決定された局部領域に対して求めた不均一モーションブラー情報Ｐ、ｗは、タイルの入力映像における当該位置に対応するピクセル座標値に該当する並進変換によって補正される。その後、補正された不均一モーションブラー情報は、映像全体に対する不均一モーションブラー情報として用いられてもよい。

ここで、不均一モーションブラー情報Ｐ、ｗの推定は、レイタント映像ｌがアップデートされるたびに繰り返し行われ、このような反復処理過程によって最適化されたレイタント映像ｌとそれに対応する不均一モーションブラー情報Ｐ、ｗを算出する。

レイタント映像の取得過程は次の通りである。

一実施形態では不均一モーションブラーを含む単一フレーム、マルチフレーム、単一ブラー映像と単一ノイズ映像で構成されたマルチフレームなどの様々な形態の入力映像及び推定された不均一モーションブラー情報Ｐ、ｗを用いてレイタント映像ｌを算出する。

具体的に、単一フレームあるいはマルチフレームを入力して不均一モーションブラーを除去する場合には、下記の数式（５）によってレイタント映像ｌを算出する。

数式（５）で

であり、λ_ｌはＰ_ｌの加重値である。

はベクトルの

を意味する。

一般的に自然映像では平らな領域が鮮明なエッジ領域より多い領域を占めるため、平らな領域でのノイズを抑制することが重要であり、鮮明なエッジを効果的に復元することが重要である。一実施形態ではこのような問題を解決するためにスパースネスプライア（ｓｐａｒｓｅｎｅｓｓ ｐｒｉｏｒ）を使用し、ここでのアルファ値はα＝０．８を用いる。

数式（５）において、レイタント映像ｌは反復的な加重値−再算出最小自乗法（ｉｔｅｒａｔｉｖｅ ｒｅｗｅｉｇｈｔｅｄ ｌｅａｓｔ ｓｑｕａｒｅ ｍｅｔｈｏｄ）によって算出され、下記の数式（６）のように正規化項を近似に算出されてもよい。

数式（６）において、Ｗ_xとＷ_yは対角行列（ｄｉａｇｏｎａｌ ｍａｔｒｉｘ）としてｋ番目の対角元素がそれぞれ

である。ここで、

はそれぞれベクトル

のｋ番目の元素を意味する。

数式（６）を解決してレイタント映像ｌを算出するために、共役勾配法を下記の数式（７）に適用してもよい。

ここで、

である。

今まで説明したモデルは、入力されたブラー映像ｂがシングルフレームである場合に当該される。

入力されたブラー映像ｂがシングルフレームである場合は、数式（２）を基盤とする整合を用いた不均一モーションブラー情報の推定ステップで鮮明な映像ｌを予測する過程を必要とする。しかし、不均一モーションブラー情報の推定で用いられるレイタント映像は、整合の性能に直接的に影響を及ぼすことになり、これはデブラーリング結果の品質を左右する。結局、上述した方法によって適切な鮮明な映像を安定に提供することが難しいため、マルチフレームを用いる不均一モーションを除去する方法ではブラー映像に対する鮮明な映像ｌの初期値で残りのブラー映像を提供する。

入力映像が不均一モーションブラーを含むマルチフレームである場合、反復的な不均一モーションブラー情報の推定過程における最初の反復ではマルチフレームの各映像が他の映像のブラー情報推定に対するレイタント映像の初期値の役割を行い、これはブラー情報推定の精度を高めることになる。また、２番目の反復からは以前の反復過程で推定された不均一モーションブラーが除去されたレイタント映像を用いて、マルチフレーム各映像の不均一モーションブラー情報を推定することが可能になる。

一実施形態に係る入力映像の不均一モーションブラーを除去する方法として、数式（５）を拡張して２枚以上のイメージを用いてブラーを除去することによって、レイタント映像の品質を向上させることができる。

マルチフレームを用いるように拡張するために数式（５）を下記の数式（８）のように変更して表現してもよい。

数式（８）において、Ｐ_(k,i)とＷ_(k,i)はそれぞれ不均一モーションブラーを含むｋ番目の画像ｂ_kのｉ番目のホモグラフィと加重値を意味する。

不均一モーションブラーを含むマルチフレームを用いて不均一モーションブラーを除去する場合には、マルチフレームの各映像が互いに異なる不均一モーションブラー情報を含むと仮定し、鮮明な映像を予測しなくてもよいため、より安定に不均一モーションブラー情報を推定して除去することができる。

不均一モーションブラーを含む単一ブラー映像及びブラーを含まないノイズ映像で構成されたマルチフレームが入力されて不均一モーションブラーを除去する場合には、推定された不均一モーションブラー情報Ｐ、ｗと入力ブラー映像ｂ及び入力ノイズ映像ｌ_Ｎを用いてレイタント映像ｌを算出してもよい。

まず、レイタント映像ｌは下記の数式（９）のようにノイズが除去された映像Ｎ_Ｄと本来の鮮明なエッジ情報を含む残余レイタント映像

の和で表現されてもよい。

ここで、残余レイタント映像

は、ノイズ除去過程で除去される映像のレイタント情報である。

数式（１）と数式（９）を利用すれば、残余レイタント映像

に対する不均一モーションブラーΔｂを下記のように表現してもよい。

単一ブラー映像及び単一ノイズ映像で構成されたマルチフレームが入力される場合には、Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ（ＲＬ）デコンボリューションを用いて数式（１０）を解決することによって、残余レイタント映像

を算出する。

一実施形態では残余ブラー映像を用いたＲＬデコンボリューションアルゴリズムを不均一モーションブラーに適するように拡張して利用する。残余ブラー映像に対してデコンボリューションを実行すれば、結果映像の品質を低下させるリンギング効果（ｒｉｎｇｉｎｇ ａｒｔｉｆａｃｔ）を低減することができる。

各反復における残余レイタント映像

は下記の数式（１１）によって算出されてもよい。

ここで、Ｐ^ｔはホモグラフィＰを逆に適用する変換である。

数式（１１）を解決して取得された残余レイタント映像

とノイズが除去された映像Ｎ_Ｄを加えれば、最終レイタント映像ｌを求めることができる。

しかし、数式（１１）の結果で取得した残余レイタント映像

は、鮮明な映像以外にも若干のリンギング現象を含む。すなわち、リンギング現象を減らすことはできるものの、完全に除去することはできない。したがって、一実施形態ではこれを解決するためにさらに改善された利益制御ＲＬデコンボリューション（Ｇａｉｎ−Ｃｏｎｔｒｏｌｌｅｄ ＲＬ Ｄｅｃｏｎｖｏｌｕｔｉｏｎ）を共に利用する。利益制御ＲＬデコンボリューションで各反復の残余レイタント映像

は下記の数式（１２）によって算出されてもよい。

ここで、

は下記の数式（１３）によって算出されてもよい。

数式（１３）でアルファαは利益指標（ｇａｉｎ ｍａｐ）の影響を制御するための変数であり、

はノイズが除去された映像のグラジエントを標準偏差が０．５であるガウスピラミッドでブラーさせたとき、ピラミッドでｌステップの映像を意味する。数式（１３）のアルファα値は０〜１間の任意の値であってもよく、主に０．２を用いる。

数式（１２）の利益制御ＲＬデコンボリューション結果は、数式（１１）のＲＬデコンボリューションに比べてよりスムーズ（ｓｍｏｏｔｈ）な結果映像を取得し、これはリンギング現象を除去するために用いることができる。

一実施形態では数式（１１）及び数式（１２）の結果を相互補完的に利用してもよい。まず、数式（１１）のＲＬデコンボリューション結果を数式（１２）の利益制御ＲＬデコンボリューションの結果と共に共同双方向フィルタ（ｊｏｉｎｔ ｂｉｌａｔｅｒａｌ ｆｉｌｔｅｒ）を適用する。これによって、映像でリンギング現象のみを主に含む映像を取得し、リンギング現象のみを主に含む映像を数式（１１）のＲＬデコンボリューション結果から鮮明でリンギング現象のない残余レイタント映像を取得することができる。その後、残余レイタント映像を数式（１２）の利益制御ＲＬデコンボリューション結果に加えて最終的に鮮明なレイタント映像ｌを取得することができる。

大きい（ｌａｒｇｅ ｓｃａｌｅ）映像に対する不均一モーションブラー情報の推定過程と同様に、不均一モーションブラーを除去して鮮明な映像ｌを取得するレイタント映像の取得ステップでも映像の大きさが大きければ実際に行う環境の制約による問題がある。

レイタント映像を取得する過程でマルチフレームが入力される場合、共役勾配法を用いて数式（７）を算出すると仮定する。

この場合、映像の総ピクセル数、推定されたホモグラフィ数、浮動小数点演算に用いられるバイト数、カラー映像のチャネル数が全て乗算されただけの一時的な格納空間を必要とする。したがって、映像の大きさが１０メガピクセル以上であり、推定されたホモグラフィ数が６４個であると仮定する場合、約７ギガバイト以上の格納空間が必要である。

単一ブラー映像と単一ノイズ映像で構成されたマルチフレームが入力される場合に、ＲＬデコンボリューション及び利益制御ＲＬデコンボリューションを行う数式（１１）、数式（１２）の算出過程は数式（７）を算出するときと同様に、約７ギガバイト以上の一時的な格納空間を必要とする。もし、入力映像の大きさがより大きい場合には、必要な一時格納空間の大きさもそれに比例して増大する。

したがって、このような大きい映像に対する不均一モーションブラーの除去ステップ１５０においても映像全体を用いて一回に行うことができず、映像の局部領域に対して実行環境に適する局部領域に対して順次（不均一モーション）ブラーの除去を行わなければならない。

大きい映像に対するタイル単位の不均一モーションブラーの除去方法は次の通りである。

ステップ１２０の最適タイルを選択することによって、推定された映像全体に対する不均一モーションブラー情報Ｐ、ｗを各タイルの入力映像での当該位置に対応するピクセル座標による並進変換を用いて補正する。

その後、補正された不均一モーションブラー情報Ｐ’、ｗを複数のタイル単位ごとに対する不均一モーションブラー情報として用いて不均一モーションブラーを除去する。

タイルのオリジナル映像での位置に応じて補正された不均一モーションブラー情報Ｐ’は下記の数式（１４）によって算出される。

ここで、ｕ、ｖは現在ブラーを除去しようとするタイルのオリジナル映像におけるピクセル座標であり、Ｐは映像全体に対して推定されたホモグラフィである。

タイルのオリジナル映像におけるピクセル座標により補正された新しいブラー情報（すなわち、補正された不均一モーションブラー情報Ｐ’）を用いて相対的に小さいタイルに対して独立的にブラー除去を行う。ブラー除去が実行された後、ブラーの除去された鮮明なタイルを結合することで、全体映像の相対的に大きいサイズのために映像全体を用いて１回に行うことのできない大きい映像の不均一モーションブラー除去を効果的に行うことができる。

しかし、単に全体映像を数個の局部領域であるタイルに分類しブラー除去を行う場合、後述する図７に示すように、タイル境界部分にアーチファクト（ａｒｔｉｆａｃｔ）が生じることがある。このような境界部分に発生するアーチファクトの原因は、タイルのいずれかピクセルを復元するために必要な周辺ピクセルが当該タイルに属することなく、映像の他の局部領域に属しているため、必要なピクセル情報をもってくることができないためである。

したがって、一実施形態ではタイルの大きさよりもやや大きいサイズを使用するようにパッディングし、不均一モーションブラーを除去すれば、パッディング領域を除いたタイル内部は境界部分のアーチファクトがない鮮明な映像を取得できるようになる。

ここで、パッディングは、与えられたタイルの大きさより上、下、左、右など、いずれかの方向及び全ての方向に一定大きさだけの領域を付け加えてブラー除去のために用いられるタイルの大きさを増大させることを意味する。

ここで、パッディングの大きさを決定することが重要である。パッディングの大きさは、タイルの境界付近のアーチファクトが生じないよう十分でなければならない。また、一時的な格納空間の限界が発生せず、パッディングによって増加する実行時間が最小化されるように可能な限り小さく設定しなければならない。

上述した内容を考慮すると、最適のパッディングの大きさは与えられたタイルのオリジナル映像におけるピクセル座標とタイルのピクセル座標に合わせて補正されたブラー情報Ｐ’、ｗにより下記の数式（１５）によって算出される。

ここで、

である。また、ｓは各タイル別パッディングの大きさであり、Ｐ’はオリジナル映像におけるタイルのピクセル座標に対して補正されたブラー情報、Ｘ_iはタイルの左側上段、右側上段、左側下段、右側下段に位置する４個のピクセルのオリジナル映像におけるピクセル座標である。

すなわち、数式（１５）において、各タイルのパッディングの大きさはタイルを構成するピクセルがブラーによって変位することのある最大ピクセルの距離で算出される。各タイルの大きさをパッディングの大きさだけ増大させた後、各タイル別に不均一モーションブラーを除去すれば、後述する図８に示すように、タイル境界部分のアーチファクトがない鮮明なブラー除去映像を取得することができる。

図２は、一実施形態に係るタイル単位に基づいて大きい入力映像の不均一モーションブラーを除去する方法を示したフローチャートである。

一実施形態に係る除去装置は、入力映像を予め設定されたサイズを有する複数のタイルに分割する（Ｓ２０１）。

ここで、入力映像は、１０メガピクセル以上の相対的に大きい大きさ（ｌａｒｇｅ ｓｃａｌｅ）を有する入力映像であってもよい。

入力映像は、不均一モーションブラーを含む単一フレーム、不均一モーションブラーを含むマルチフレーム、不均一モーションブラーを含む単一ブラー映像及びブラー（ｂｌｕｒ）を含まない単一ノイズ映像で構成されたマルチフレーム、またはこれを組合わせた形態を有してもよい。

除去装置は、複数のタイルのいずれか１つのタイルを選択する（Ｓ２０３）。

除去装置は、複数のタイルそれぞれが有するエッジピクセル数及びグラジエント方向に応じて分類されるエッジピクセルの方向に基づいて複数のタイルそれぞれに対するグラジエントヒストグラムを生成する。そして、生成されたグラジエントヒストグラムに基づいていずれか１つのタイルを選択してもよい。ここで、選択されたいずれか１つのタイルは、入力映像に対する不均一モーションブラー情報を推定するために適する最適のタイルであってもよい。ここで、グラジエント方向は、上下方向、左右方向、対角方向及び対角方向に垂直である他の対角方向のいずれか１方向であってもよい。除去装置がいずれか１つのタイルを選択する具体的な方法については図３を参照して説明する。

除去装置は、映像整合を行うことによって選択されたタイルに対する不均一モーションブラー情報を推定する（Ｓ２０５）。

除去装置は、複数のタイルそれぞれの境界部分に対するパッディングを行う（Ｓ２０７）。パッディングを行う具体的な方法については図４を参照して説明する。

除去装置は、推定された不均一モーションブラー情報に基づいて不均一モーションブラーを除去し、複数のタイルそれぞれに対するレイタント映像を取得する（Ｓ２０９）。除去装置は、推定された不均一モーションブラー情報を入力映像での当該位置に対応するピクセル座標に適するように補正する。その後、除去装置は補正された不均一モーションブラー情報を複数のタイル単位ごとに対する不均一モーションブラー情報として用いて不均一モーションブラーを除去する。

パッディングを行った場合、除去装置は、パッディングの大きさだけサイズを拡張した複数のタイルそれぞれに対して不均一モーションブラーを除去してレイタント映像を取得する。

ここで、除去装置は、入力映像の形態に係るそれぞれ異なる方法によって不均一モーションブラーを除去してレイタント映像を取得してもよい。すなわち、入力映像の形態が不均一モーションブラーを含む単一フレーム及び不均一モーションブラーを含むマルチフレームのいずれか１つの形態である場合、除去装置は、共役勾配法を用いて不均一モーションブラーを除去することによってレイタント映像を取得することができる。一方、入力映像の形態が不均一モーションブラーを含む単一ブラー映像及びブラーを含まない単一ノイズ映像で構成されたマルチフレームの形態である場合、除去装置はＲＬ（Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ）デコンボリューションアルゴリズムを用いて不均一モーションブラーを除去することによってレイタント映像を取得してもよい。

除去装置は、複数のタイルそれぞれに対するレイタント映像を結合して入力映像を復元する（Ｓ２１１）。

図３は、一実施形態に係る入力映像の不均一モーションブラーを除去する方法からいずれか１つのタイルを選択する方法を示したフローチャートである。除去装置は、複数のタイルそれぞれに対するグラジエントマップを生成する（Ｓ３０１）。

除去装置は、グラジエントマップのグラジエント大きさ値に基づいてエッジピクセルを決定してもよい。より具体的には、除去装置はピクセルに対するグラジエントマップのグラジエント大きさ値が予め設定された閾値以上を有するか否かを判断する（Ｓ３０３）。

除去装置は、予め設定された閾値以上を有するピクセルをエッジピクセルに決定する（Ｓ３０５）。もし、ピクセルに対するグラジエントマップのグラジエント大きさ値が予め設定された閾値よりも小さければ、除去装置は３０３に戻ってピクセルに対するグラジエントマップのグラジエント大きさ値が予め設定された閾値以上になるまで待機する。

除去装置は、エッジピクセルをグラジエント方向に応じて分類する（Ｓ３０７）。ここで、グラジエント方向は、上下方向、左右方向、対角方向及び対角方向に垂直である他の対角方向のいずれか１つの方向であってもよい。

除去装置は、複数のタイルそれぞれに対する決定が終了したか否かを判断する（Ｓ３０９）。すなわち、除去装置は、複数のタイル全てに対するグラジエントマップのグラジエント大きさ値に基づいたエッジピクセルの決定が終了していなければ、再びステップＳ３０３の動作を行う。一方、複数のタイルそれぞれに対するエッジピクセルの決定が終了した場合、除去装置は分類されたエッジピクセルに基づいて複数のタイルそれぞれに対するグラジエントヒストグラムを生成する（Ｓ３１１）。

除去装置は、複数のタイルそれぞれのグラジエントヒストグラムに基づいて、複数のタイルそれぞれに対してグラジエント方向ごとに属するエッジピクセル数を確認する（Ｓ３１３）。

除去装置は、グラジエント方向ごとに属するエッジピクセル数を用いていずれか１つのタイルを選択する（Ｓ３１５）。一実施形態では上述したように様々な方向のエッジピクセル数が多い領域、例えば、タイルを入力映像に対する不均一モーションブラー情報を推定するために適する最適のタイルに選択することによって、不均一モーションブラー情報の推定に対する精度を高めて映像をより鮮明に復元することができる。

図４は、一実施形態に係る入力映像の不均一モーションブラーを除去する方法でパッディングを行う方法を示したフローチャートである。

除去装置はステップＳ２０５の過程で推定された不均一モーションブラー情報及び複数のタイルそれぞれに対応するピクセルの位置情報を用いて複数のタイルそれぞれに対するパッディングの大きさを算出する（Ｓ４０１）。ここで、複数のタイルそれぞれに対するパッディングの大きさは、複数のタイルそれぞれを構成するピクセルがブラーによって変位することのあるピクセル距離に基づいて算出される。例えば、ピクセルがブラーにより変位することのある最大ピクセル距離によって複数のタイルそれぞれに対するパッディングの大きさが決定されてもよい。

除去装置は、複数のタイルそれぞれの大きさをパッディングの大きさだけ拡張してパッディングを行う（Ｓ４０３）。

パッディングを行った場合、除去装置はパッディングの大きさだけサイズを拡張した複数のタイルそれぞれに対して不均一モーションブラーを除去してレイタント映像を取得することができる。

図５は不均一モーションブラーが含まれたブラー入力映像であり、図６は、ブラーが含まれていないノイズ入力映像を示す図である。図５及び図６は、一実施形態に係る入力映像のある形態の不均一モーションブラーを含む単一ブラー映像及びブラーを含まないノイズ映像で構成されたマルチフレームであることを示す。

図７は、一実施形態に係る入力映像の不均一モーションブラーを除去する方法でパッディングを行わずにブラーを除去した結果を示す図であり、図８は、一実施形態に係る入力映像の不均一モーションブラーを除去する方法でパッディングを行ってブラーを除去した結果を示す図である。

図７及び図８は、推定された不均一モーションブラー情報を用いてブラーを除去した最終映像である。図７は、タイル外郭のアーチファクトをなくすためのパッディング作業を実行していないときの結果であり、図８は、パッディング作業を行ったときの結果である。図８に示すようにパッディング作業を行ったとき、タイル外郭のアーチファクトが効果的に除去されたことが確認される。

図９は、一実施形態に係るタイル単位に基づいて大きい入力映像の不均一モーションブラーを除去する装置のブロック図である。

図９を参照すると、一実施形態に係る除去装置９００は、分割部９１０、選択部９２０、推定部９３０、パッディング実行部９４０、取得部９５０、復元部９６０を備える。

分割部９１０は、入力映像を予め設定されたサイズを有する複数のタイルに分割する。ここで、入力映像は、例えば、１０メガピクセル以上の相対的に高い解像度を有する映像であってもよい。

選択部９２０は複数のタイルのいずれか１つのタイルを選択する。選択部９２０は生成手段９２１及び選択手段９２５を含んでもよい。生成手段９２１は、複数のタイルそれぞれが有するエッジピクセル数（ｑｕａｎｔｉｔｙ）及びグラジエント方向に応じて分類されるエッジピクセルの方向に基づいて複数のタイルそれぞれに対するグラジエントヒストグラムを生成してもよい。

選択手段９２５は、グラジエントヒストグラムを用いていずれか１つのタイルを選択してもよい。推定部９３０は、映像整合（ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ）を行うことによって選択されたタイルに対する不均一モーションブラー情報を推定する。

パッディング実行部９４０は、複数のタイルそれぞれの境界部分に対するパッディングを行う。一実施形態では複数のタイルそれぞれの境界部分に対するアーチファクトを除去するためにパッディングを行う。

パッディング実行部９４０は、算出手段９４１及び拡張手段９４５を含んでもよい。

算出手段９４１は、推定された不均一モーションブラー情報及び複数のタイルそれぞれに対応するピクセルの位置情報を用いて複数のタイルそれぞれに対するパッディングの大きさを算出する。

拡張手段９４５は、複数のタイルそれぞれのサイズをパッディングの大きさだけ拡張してもよい。取得部９５０は、最適タイルとして選択されたいずれか１つのタイルの推定された不均一モーションブラー情報に基づいて複数のタイルそれぞれに対する不均一モーションブラーを除去し、複数のタイルそれぞれに対するレイタント映像を取得する。取得部９５０は、補正手段９５１及び除去手段９５５を含んでもよい。

取得部９５０は、パッディングの大きさだけサイズを拡張した複数のタイルそれぞれに対して不均一モーションブラーを除去してレイタント映像を取得する。

補正手段９５１は、推定された不均一モーションブラー情報を入力映像での当該位置に対応するピクセル座標に適するように補正する。

除去手段９５５は、補正された不均一モーションブラー情報を複数のタイル単位ごとに対する不均一モーションブラー情報として用いて不均一モーションブラーを除去する。

入力映像は、不均一モーションブラーを含む単一フレーム、不均一モーションブラーを含むマルチフレーム、不均一モーションブラーを含む単一ブラー映像、及びブラーを含まない単一ノイズ映像で構成されたマルチフレームまたはこの組合のいずれか１つの形態を有してもよい。

一実施形態に係る除去装置９００は、入力映像の形態に係るそれぞれ異なる方法によって不均一モーションブラーを除去してレイタント映像を取得してもよい。

復元部９６０は、複数のタイルそれぞれに対するレイタント映像を用いて入力映像を復元する。

本発明の一実施形態に係る方法は、多様なコンピュータ手段によって行うことができるプログラム命令の形態で実現されても良く、かかるプログラム命令は、コンピュータ読み出し可能媒体に記録されてもよい。前記コンピュータ読み出し可能媒体は、プログラム命令、データファイル、データ構造などを単独または組み合わせたものを含んでもよい。前記媒体に記録されるプログラム命令は、本発明のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み出し可能記録媒体の例には、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロプティカルディスク（ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を格納し遂行するように特別に構成されたハードウェア装置が含まれる。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。前記したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成されてもよく、その逆も同様である。

以上のように本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような記載から多様な修正及び変形が可能である。

したがって、本発明の範囲は、説明された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。

１１０ 入力映像を提供
１２０ グラジエントヒストグラムを用いて最適のタイルを選択
１３０ 整合を用いた最適のタイルのモーションブラー情報を推定
１４０ タイル別のパッディングを行う
１５０ タイル単位の不均一モーションブラーを除去
１６０ 入力映像を復元
９００ 除去装置
９１０ 分割部
９２０ 選択部
９２１ 生成手段
９２５ 選択手段
９３０ 推定部
９４０ パッディング実行部
９４１ 算出手段
９４５ 拡張手段
９５０ 取得部
９５１ 補正手段
９５５ 除去手段
９６０ 復元部

Claims (24)

1. 入力映像の複数のタイルのいずれか１つのタイルを選択するステップと、
   前記選択されたタイルに基づいて前記入力映像に対する第１不均一モーションブラー情報を推定するステップと、
   前記第１不均一モーションブラー情報に基づいて前記複数のタイルに対する第２不均一モーションブラー情報を推定するステップと、
   前記第２不均一モーションブラー情報に基づいて前記複数のタイルそれぞれに対するレイタント映像を取得するステップと、
   前記複数のタイルそれぞれに対するレイタント映像を用いて前記入力映像を復元するステップと、
   を含むことを特徴とする入力映像のブラーを除去する方法。
2. 前記いずれか１つのタイルを選択するステップは、
   前記複数のタイルそれぞれが有するエッジピクセル数及び前記エッジピクセルのグラジエント方向に応じて分類される前記エッジピクセルの方向に基づいて前記複数のタイルそれぞれに対するグラジエントヒストグラムを生成するステップと、
   前記グラジエントヒストグラムを用いて前記いずれか１つのタイルを選択するステップと、
   を含むことを特徴とする請求項１に記載の入力映像のブラーを除去する方法。
3. 前記グラジエントヒストグラムを生成するステップは、
   前記複数のタイルそれぞれに対するグラジエントマップを生成するステップと、
   前記グラジエントマップのグラジエント大きさ値に基づいてエッジピクセルを決定するステップと、
   前記エッジピクセルを前記グラジエント方向に応じて分類するステップと、
   前記分類されたエッジピクセルに基づいて前記複数のタイルそれぞれに対するグラジエントヒストグラムを生成するステップと、
   を含むことを特徴とする請求項２に記載の入力映像のブラーを除去する方法。
4. 前記グラジエントヒストグラムを用いて前記いずれか１つのタイルを選択するステップは、
   前記複数のタイルそれぞれのグラジエントヒストグラムに基づいて、前記複数のタイルそれぞれに対して前記グラジエント方向ごとに属するエッジピクセル数を確認するステップと、
   前記グラジエント方向ごとに属するエッジピクセル数を用いて前記いずれか１つのタイルを選択するステップと、
   を含むことを特徴とする請求項３に記載の入力映像のブラーを除去する方法。
5. 前記第２不均一モーションブラー情報を推定するステップは、
   前記第１不均一モーションブラー情報を前記入力映像での当該位置に対応するピクセル座標に適するように補正するステップを含むことを特徴とする請求項１乃至４のいずれか１つに記載の入力映像のブラーを除去する方法。
6. 前記入力映像は、不均一モーションブラーを含む単一フレーム、前記不均一モーションブラーを含むマルチフレーム、前記不均一モーションブラーを含む単一ブラー映像、及びブラーを含まない単一ノイズ映像で構成されたマルチフレームのうち少なくとも１つの形態を有することを特徴とする請求項１乃至５のいずれか１つに記載の入力映像のブラーを除去する方法。
7. 前記レイタント映像を取得するステップは、
   前記入力映像の形態が前記不均一モーションブラーを含む単一フレーム及び前記不均一モーションブラーを含むマルチフレームのいずれか１つの形態である場合、共役勾配法を用いて前記不均一モーションブラーを除去するステップを含むことを特徴とする請求項６に記載の入力映像のブラーを除去する方法。
8. 前記レイタント映像を取得するステップは、
   前記入力映像の形態が前記不均一モーションブラーを含む単一ブラー映像及びブラーを含まない単一ノイズ映像で構成されたマルチフレームの形態である場合、ＲＬ（Ｒｉｃｈａｒｄｓｏｎ−Ｌｕｃｙ）デコンボリューションアルゴリズムを用いて前記不均一モーションブラーを除去するステップを含むことを特徴とする請求項６に記載の入力映像のブラーを除去する方法。
9. 前記複数のタイルそれぞれの境界部分に対するパッディングを行うステップをさらに含むことを特徴とする請求項１乃至８のいずれか１つに記載の入力映像のブラーを除去する方法。
10. 前記パッディングを行うステップは、
    前記第１不均一モーションブラー情報及び前記複数のタイルそれぞれに対応するピクセルの位置情報を用いて、前記複数のタイルそれぞれに対するパッディングの大きさを算出するステップと、
    前記複数のタイルそれぞれのサイズを前記パッディングの大きさだけ拡張するステップと、
    を含むことを特徴とする請求項９に記載の入力映像のブラーを除去する方法。
11. 前記複数のタイルそれぞれに対するパッディングの大きさは、前記複数のタイルそれぞれを構成するピクセルがブラーによって変位することのあるピクセル距離に基づいて算出されることを特徴とする請求項１０に記載の入力映像のブラーを除去する方法。
12. 前記レイタント映像を取得するステップは、前記パッディングの大きさだけサイズを拡張した複数のタイルそれぞれに対して前記不均一モーションブラーを除去して前記レイタント映像を取得することを特徴とする請求項１０に記載の入力映像のブラーを除去する方法。
13. 請求項１から請求項１２のいずれか１項に記載の方法を実行するプログラムが記録されているコンピュータで読み出し可能な記録媒体。
14. 入力映像の複数のタイルのいずれか１つのタイルを選択する選択部と、
    前記選択されたタイルに基づいて前記入力映像に対する第１不均一モーションブラー情報を推定する第１推定部と、
    前記第１不均一モーションブラー情報に基づいて前記複数のタイルに対する第２不均一モーションブラー情報を推定する第２推定部と、
    前記第２不均一モーションブラー情報に基づいて前記複数のタイルそれぞれに対するレイタント映像を取得する取得部と、
    前記複数のタイルそれぞれに対するレイタント映像を用いて前記入力映像を復元する復元部と、
    を備えることを特徴とする入力映像のブラーを除去する装置。
15. 前記選択部は、
    前記複数のタイルそれぞれが有するエッジピクセル数及びグラジエント方向に応じて分類される前記エッジピクセルの方向に基づいて前記複数のタイルそれぞれに対するグラジエントヒストグラムを生成する生成手段と、
    前記グラジエントヒストグラムを用いて前記いずれか１つのタイルを選択する選択手段と、
    を備えることを特徴とする請求項１４に記載の入力映像のブラーを除去する装置。
16. 前記第２推定部は、
    前記第１不均一モーションブラー情報を前記入力映像での当該位置に対応するピクセル座標に適するように補正する補正手段を備えることを特徴とする請求項１４に記載の入力映像のブラーを除去する装置。
17. 前記入力映像は、前記不均一モーションブラーを含む単一フレーム、前記不均一モーションブラーを含むマルチフレーム、前記不均一モーションブラーを含む単一ブラー映像、及びブラーを含まない単一ノイズ映像で構成されたマルチフレームのうち少なくとも１つの形態を有することを特徴とする請求項１４乃至１６のいずれか１つに記載の入力映像のブラーを除去する装置。
18. 前記複数のタイルそれぞれの境界部分に対するパッディングを行うパッディング実行部をさらに備えることを特徴とする請求項１４乃至１７のいずれか１つに記載の入力映像のブラーを除去する装置。
19. 前記パッディング実行部は、
    前記第１不均一モーションブラー情報及び前記複数のタイルそれぞれに対応するピクセルの位置情報を用いて前記複数のタイルそれぞれに対するパッディングの大きさを算出する算出手段と、
    前記複数のタイルそれぞれの大きさを前記パッディングの大きさだけ拡張する拡張手段と、
    を備えることを特徴とする請求項１８に記載の入力映像のブラーを除去する装置。
20. 前記取得部は、前記パッディングの大きさだけサイズを拡張した複数のタイルそれぞれに対して前記不均一モーションブラーを除去して前記レイタント映像を取得することを特徴とする請求項１８に記載の入力映像のブラーを除去する装置。
21. 前記入力映像を予め設定された大きさを有する複数のタイルに分類する分割部を備えることを特徴とする請求項１４に記載の入力映像のブラーを除去する装置。
22. 入力映像の複数のタイルのいずれか１つのタイルに映像整合を行うことによって、前記入力映像に対する第１不均一モーションブラー情報を推定するステップと、
    前記第１不均一モーションブラー情報に基づいて前記複数のタイルに対する第２不均一モーションブラー情報を推定するステップと、
    前記第２不均一モーションブラー情報に基づいて前記入力映像の不均一モーションブラーを除去し、前記複数のタイルそれぞれに対するレイタント映像を取得するステップと、
    を含むことを特徴とする入力映像のブラーを除去する方法。
23. 前記取得されたレイタント映像を用いて前記入力映像を復元するステップと、
    前記復元された映像を出力するステップと、
    をさらに含むことを特徴とする請求項２２に記載の入力映像のブラーを除去する方法。
24. 前記第１不均一モーションブラー情報及び前記複数のタイルそれぞれに対応するピクセルの位置情報に基づいて、複数のタイルそれぞれの境界部分に対するパッディングを行うステップを更に含むことを特徴とする請求項２２に記載の入力映像のブラーを除去する方法。

Images