JP5555706B2 - 高解像度映像獲得装置およびその方法 - Google Patents

Description

技術分野は、高解像度映像を獲得する装置およびその方法に関し、より詳しくは、複雑度を減らして効果的に入力映像フレームに対する高解像度映像フレームを獲得することのできる高解像度映像獲得装置および方法に関する。

デジタルカメラないしデジタルビデオレコーダを用いて映像を記録する場合、カメラの小型化に伴う光学的な限界、すなわちＣＣＤ（Ｃｈａｒｇｅ−Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）／ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ−Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサの画素数の不足による空間解像度の限界、および記録された映像の圧縮／格納／送信過程において発生する大きさの変化により高解像度の映像を記録することが困難である。したがって、記録された映像に対する高解像度映像を獲得するために、信号分析による高解像度映像の向上アルゴリズムの開発が求められている。

低解像度映像から高解像度映像を獲得するための従来における方法として、シャープニング（ｓｈａｒｐｅｎｉｎｇ）方式、補間法（ｉｎｔｅｒｐｏｌａｔｉｏｎ）、超解像度（ｓｕｐｅｒ−ｒｅｓｏｌｕｔｉｏｎ）方式などがある。

シャープニング方式は画像の鮮明度を向上させる方法であり、微分演算や高帯域強調フィルタを用いて映像の解像度を向上させる。

補間法は、ピクセル値を割り当てられないピクセル（これをホール（ｈｏｌｅ）とする）に適するデータ値を割り当てて映像の解像度を向上させる。

超解像度方式は、前述した方法に比べてより高画質の映像を提供することができ、代表的なものとして、リコンストラクション（ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ）基盤の解像度向上アルゴリズムと例題（ｅｘａｍｐｌｅ）基盤の解像度向上アルゴリズムがある。

リコンストラクション基盤の解像度向上アルゴリズムは、数枚の映像フレームを用いて高解像度映像を作り出す方式である。ただ、複雑な物体の動きのある一般的な映像に対しては適用できない。

例題基盤の解像度向上アルゴリズムは、１つの映像フレームから高解像度映像を獲得することができる。ただ、雑音に弱く、望まないアーチファクト（ａｒｔｉｆａｃｔ）が発生することがある。

互いに異なる解像度向上アルゴリズムを共に用いることによって、複雑度を減らして効果的に入力映像フレームに対する高解像度映像フレームを獲得する装置および方法を提供する。

発明を解決するための手段

本発明の一実施形態に係る高解像度映像獲得装置は、入力映像フレームを背景領域と前景領域とに分割する領域分割部と、前記背景領域に対する第１高解像度映像フレームを獲得する第１映像フレーム獲得部と、前記前景領域に対する第２高解像度映像フレームを獲得する第２映像フレーム獲得部と、前記第１高解像度映像フレームおよび前記第２高解像度映像フレームを合成して前記入力映像フレームに対する高解像度映像フレームを獲得する映像フレーム合成部とを含む。

このとき、本発明の一実施形態に係る高解像度映像獲得装置は、データベースをさらに含み、前記データベースは、基準映像に対する低解像度映像フレームのウェーブレット変換係数を第１ブロック単位に区画した第１変換係数ブロックグループと、前記基準映像に対する高解像度映像フレームのウェーブレット変換係数を第２ブロック単位に区画した第２変換係数ブロックグループとを生成し、前記第１変換係数ブロックグループに含まれる複数の第１変換係数ブロックと前記第２変換係数ブロックグループに含まれる複数の第２変換係数ブロックとを前記基準映像内における前記第１変換係数ブロックおよび前記第２変換係数ブロックの位置に応じてマッチングして格納する。

また、本発明の一実施形態に係る高解像度映像獲得方法は、入力映像フレームを背景領域と前景領域とに分割するステップと、前記背景領域に対する第１高解像度映像フレームを獲得するステップと、前記前景領域に対する第２高解像度映像フレームを獲得するステップと、前記第１高解像度映像フレームおよび前記第２高解像度映像フレームを合成して前記入力映像フレームに対する高解像度映像フレームを獲得するステップとを含む。

また、本発明の一実施形態に係る高解像度映像獲得方法は、入力映像フレームを前記入力映像フレームの動き情報に基づいて背景領域と前景領域とに分割するステップと、前記背景領域および前記前景領域それぞれに対して高解像度映像フレームを獲得するため、前記分割された前記背景領域および前記前景領域それぞれに対して解像度向上アルゴリズムを適用するステップと、前記入力映像フレームに対する高解像度映像フレームを獲得するために、前記背景領域の高解像度映像フレームと前記前景領域の高解像度映像フレームとを合成するステップとを含む。

前記解像度向上アルゴリズムは、前記分割された前記背景領域および前記前景領域それぞれに対して最適化されたアルゴリズムであってもよい。

また、本発明の一実施形態に係る高解像度映像獲得装置は、入力映像フレームを前記入力映像フレームの動き情報に基づいて背景領域と前景領域とに分割する領域分割部と、前記分割された背景領域に最適化された解像度向上アルゴリズムを適用して前記背景領域に対する第１高解像度映像フレームを獲得する第１映像フレーム獲得部と、前記分割された前景領域に最適化された解像度向上アルゴリズムを適用して前記前景領域に対する第２高解像度映像フレームを獲得する第２映像フレーム獲得部と、前記背景領域の前記高解像度映像フレームと前記前景領域の前記高解像度映像フレームとを合成して前記入力映像フレームに対する高解像度映像フレームを獲得する映像フレーム合成部とを含む。

本発明の一実施形態に係る高解像度映像獲得装置およびその方法は、互いに異なる解像度向上アルゴリズムを共に用いることによって、複雑度を減らして効果的に入力映像フレームに対する高解像度映像フレームを獲得することができる。

本特許または出願書は少なくとも１つのカラー図面を含む。カラー図面が添付された本特許または出願公開文献の写本は、要請および必要な手数料を支払うことによって事務所に提供されることができる。
本発明の一実施形態に係る高解像度映像獲得装置の詳細な構成を示すブロック図である。 本発明の一実施形態によってウェーブレット変換係数をデータベースに格納する過程を示す図である。 本発明の一実施形態に係るウェーブレット変換に基づいた例題基盤の解像度向上アルゴリズムを用いて高解像度映像を獲得する過程を示す図である。 本発明の一実施形態によって第３変換係数ブロックとマッチングされる第４変換係数ブロックを検索する過程を示す図である。 本発明の一実施形態に係る高解像度映像獲得方法に対するフローチャートを示す図である。 本発明の一実施形態に係る高解像度映像獲得方法に対するフローチャートを示す図である。

以下、添付された図面を参照して多様な実施形態を詳細に説明する。

図１は、本発明の一実施形態に係る高解像度映像獲得装置の詳細な構成を示すブロック図である。

本発明の一実施形態に係る高解像度映像獲得装置１００は、領域分割部１１０、第１映像フレーム獲得部１２０、第２映像フレーム獲得部１３０、および映像フレーム合成部１４０を含む。また、本発明の一実施形態によれば、高解像度映像獲得装置１００は、データベース１５０をさらに含んでもよい。以下、各構成要素別にその機能を詳細に説明する。

領域分割部１１０は、入力映像フレームを背景領域と前景領域とに分割する。

前景領域は、入力映像フレーム内で動くオブジェクト（ｏｂｊｅｃｔ）を含む領域を意味し、背景領域は、入力映像フレームにおいて前景領域を除いた領域を意味する。

本発明の一実施形態によれば、領域分割部１１０は、入力映像フレームの動き情報（ｍｏｔｉｏｎ ｉｎｆｏｒｍａｔｉｏｎ）に基づいて入力映像フレームを背景領域と前景領域とに分割してもよい。

また、本発明の一実施形態によれば、領域分割部１１０は、背景領域動き推定部１１１、および前景領域輪郭線抽出部１１２をさらに含んでもよい。

背景領域動き推定部１１１は、入力映像フレームと前記入力映像フレームの以前入力映像フレームを用いて背景領域の動きを推定する。

入力映像フレームを獲得する時、映像獲得装置の動きなどによって背景領域でも動きが発生する場合があるが、背景領域と前景領域の分割において背景領域動き推定部１１１は背景領域の動きを概略的に推定する機能を行う。

本発明の一実施形態によれば、背景領域動き推定部１１１は、入力映像フレームおよび前記入力映像フレームの以前入力映像フレームから特徴点（ｓａｌｉｅｎｔ ｐｏｉｎｔ）をそれぞれ抽出し、入力映像フレームの特徴点と以前入力映像フレームの特徴点とをマッチングして前記背景領域の動きを推定することができる。

まず、背景領域動き推定部１１１は、アフィン動き（ａｆｆｉｎｅ ｍｏｔｉｏｎ）を用いて入力映像フレームと以前入力映像フレームにおける背景領域の動きをモデリングする。

一例として、背景領域動き推定部１１１は、ハリスのコーナー検出器（ｈａｒｒｉｓ ｃｏｒｎｅｒ ｄｅｔｅｃｔｏｒ）を用いて入力映像フレームおよび以前入力映像フレームから特徴点をそれぞれ抽出してもよい。

特徴点を抽出した後、背景領域動き推定部１１１は、入力映像フレームの特徴点と以前入力映像フレームの特徴点とをマッチングする。一例として、背景領域動き推定部１１１は、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅｓ）およびＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ）を測定して各特徴点をマッチングしてもよい。

この場合、マッチングされた特徴点の一部は、背景領域ではない前景領域に含まれる特徴点であってもよいが、背景領域の動きを正確にモデリングするためには、前景領域に含まれる特徴点を除去しなければならない。一例として、背景領域動き推定部１１１は、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）方法を用いて前景領域で抽出された特徴点を除去してもよい。

前景領域で抽出された特徴点を除去した後、背景領域動き推定部１１１はマッチングされた特徴点から最小２乗エラー（ｌｅａｓｔ−ｓｑｕａｒｅ ｅｒｒｏｒｓ）を最小とするアフィンパラメータ（ａｆｆｉｎｅ ｐａｒａｍｅｔｅｒ）を推定し、推定されたアフィンパラメータを用いて背景領域の動きを推定する。

前景領域輪郭線抽出部１１２は、推定された背景領域の動きに基づいて前記入力映像フレームを補償し、前記補償された入力映像フレームと前記以前入力映像フレームを用いて前記前景領域の輪郭線を抽出する。

一例として、前景領域輪郭線抽出部１１２は、入力映像フレームと補償された入力映像フレームの次の映像フレームを用いて前景領域を推定してもよい。次の映像フレームは、入力映像フレームのピクセル値と補償された入力映像フレームのピクセル値との差異値をピクセル値として有する映像フレームを意味する。

補償された入力映像フレームは、背景領域の動きが補償された映像フレームであるため、次の映像フレームの特定ピクセル値が周辺ピクセル値に比べて極めて大きい場合、前記ピクセルは背景領域ではない前景領域に含まれていると判断してもよい。したがって、前景領域輪郭線抽出部１１２は、予め設定された閾値を基準にして、次の映像フレームのピクセル値が閾値を超過する場合に「１」の値を、そうではない場合には「０」の値を付与することによって、次の映像フレームを２進化してもよい。この場合、前景領域抽出部１１２は、２進化された次の映像フレームでピクセル値が「１」である領域を前景領域として推定してもよい。

このとき、前景領域の内部にテクスチャがなければ、前景領域の内部のピクセル値は「０」になり、前景領域全体ではない前景領域の境界の部分のみが検出される。この場合、前景領域輪郭線抽出部１１２は、２進化された次の映像に対して形態学的フィルタ（ｍｏｒｐｈｏｌｏｇｉｃａｌ ｆｉｌｔｅｒｉｎｇ）を適用して外部の境界を格納しつつ、内部領域のピクセルに対して「１」のピクセル値を付与して閉じられた形態の前景領域を抽出することができる。

また、本発明の一例として、前景領域輪郭線抽出部１１２は、前記抽出された前景領域と背景領域のカラー分布との差を用いて前景領域と背景領域をより細かく区分してもよい。この場合、前景領域輪郭線抽出部１１２は、グラフカット（ｇｒａｂｃｕｔ）アルゴリズムを用いて前景領域と背景領域を細かく区分してもよい。

第１映像フレーム獲得部１２０は分割された背景領域に対する第１高解像度映像フレームを獲得し、第２映像フレーム獲得部１３０は分割された前景領域に対する第２高解像度映像フレームを獲得する。

すなわち、本発明の一実施形態に他の高解像度映像獲得装置１００は、入力映像フレームを背景領域と前景領域とに分割し、分割された背景領域と前景領域に対してそれぞれ異なる最適化された解像度向上アルゴリズムを適用することによって、効果的に入力映像フレームに対する高解像度映像フレームを獲得することができる。

本発明の一実施形態によれば、第１映像フレーム獲得部１２０は、リコンストラクション基盤の解像度向上アルゴリズムを用いて第１高解像度映像フレームを獲得してもよい。

リコンストラクション基盤の高解像度映像の向上アルゴリズムは、高解像度映像と低解像度映像との間のモデリングを用いて複数の低解像度映像（入力映像）から高解像度映像を獲得するアルゴリズムである。

ここで、入力映像の大きさをＮ_１×Ｎ_２、獲得しようとする高解像度映像の大きさをＬ_１Ｎ_１×Ｌ_２Ｎ_２、獲得しようとする高解像度映像を辞書編集上に（ｌｅｘｉｃｏｇｒａｐｈｉｃａｌｌｙ）配列したベクトルをｘと仮定する。

低解像度映像は、ｘがワーピング（ｗａｒｐｉｎｇ）を経てブラー（ｂｌｕｒ）されて、横と縦に対して各_１、Ｌ_２だけサブサンプリング（ｓｕｂ−ｓａｍｐｌｉｎｇ）された映像にモデリングしてもよい。ワーピングは、高解像度映像と低解像度映像の空間的な位置関係を表す、主にトランスレーション（ｔｒａｎｓｌａｔｉｏｎ）、ローテーション（ｒｏｔａｔｉｏｎ）、そしてスケーリング（ｓｃａｌｉｎｇ）を考慮する。ブラーは、映像獲得時に発生するレンズの光学的ブラー、ＣＣＤによるセンサブラー、およびモーションブラーを表す。サブサンプリングは、高解像度映像と低解像度映像との間の解像度比率を意味する。

前記モデリング過程を数式に表すと下記の式（１）のように表してもよい。

ここで、ｐは複数の低解像度映像の数、Ｄ_ｋはｋ番目のサブサンプリングパラメータ、Ｂ_ｋはｋ番目のブラーパラメータ、Ｒ_ｋはｋ番目のワーピング（または整合、ｒｅｇｉｓｔｒａｔｉｏｎ）パラメータ、ｙ_ｋはｋ番目の低解像度映像、ｎ_ｋはｋ番目の低解像度映像に含まれた雑音をそれぞれ意味し、Ｄ_ｋ、Ｂ_ｋ、およびＲ_ｋの積は簡単にＷ_ｋのように表してもよい。

低解像度映像と高解像度映像との間の関係が前記式（１）のような場合、第１映像フレーム獲得部１２０は下記の式（２）に基づいて第１高解像度映像フレームを獲得してもよい。

ここで、

は第１高解像度映像フレーム、

は類似性値（ｓｉｍｉｌａｒｉｔｙ ｃｏｓｔ）、

は正規化値（ｒｅｇｕｌａｒｉｚａｔｉｏｎ ｃｏｓｔ）、

は類似性値と正規化値の比重を調整するための変数をそれぞれ意味する。

本発明の一実施形態によれば、第２映像フレーム獲得部１３０は、ウェーブレット変換を基盤とする例題基盤の解像度向上アルゴリズムを用いて前記第２高解像度映像フレームを獲得してもよい。

例題基盤の解像度向上アルゴリズムは、複数の基準映像から解像度向上のためのデータベースを生成し、データベース内に格納された情報を用いて入力映像フレーム（低解像度映像フレーム）から高解像度映像フレームを獲得するアルゴリズムである。このとき、基準映像をウェーブレット変換してウェーブレット変換係数をデータベースに格納し、これを用いて高解像度映像フレームを獲得する場合、ウェーブレット変換の特性に応じてエッジ成分を円滑に表現できるため、効果的に高解像度映像を獲得することができる。

前述したように、本発明の一実施形態によれば、高解像度映像獲得装置１００はデータベース１５０をさらに含んでもよい。

まず、データベース１５０は基準映像に対する低解像度映像フレームのウェーブレット変換係数を第１ブロック単位に区画した第１変換係数ブロックグループ、および基準映像に対する高解像度映像フレームのウェーブレット変換係数を第２ブロック単位に区画した第２変換係数ブロックグループを生成する。

すなわち、データベース１５０は、基準映像に関する情報をその自体に格納せず、基準映像をウェーブレット変換した後にウェーブレット変換係数を格納する。このとき、データベース１５０は、ウェーブレット変換係数をピクセル単位に格納せず、特定のブロック単位にして格納してもよい。

このためにデータベース１５０は、基準映像に対する低解像度映像フレームのウェーブレット変換係数を第１ブロック単位に区画し、基準映像に対する高解像度映像フレームのウェーブレット変換係数を第２ブロック単位に区画する。このとき、多様な映像に対するウェーブレット変換係数を格納するためにデータベース１５０は、少なくとも１つ以上の基準映像に対するウェーブレット変換係数を格納してもよい。

基準映像に対する低解像度映像フレームは、基準映像に対する高解像度映像フレームをブラーおよびダウンサンプリングして生成してもよく、別に入力されてもよい。

第１ブロック単位に区画した第１変換係数ブロックグループ内の第１変換係数ブロックの数と、第２ブロック単位に区画した第２変換係数ブロックグループ内の第２変換係数ブロックの数とは同一でなければならず、一般的に高解像度映像のピクセル数は低解像度映像よりも多いため、第２ブロック単位は第１ブロック単位よりも大きいことがある。

次に、データベース１５０は、複数の第１変換係数ブロックと複数の第２変換係数ブロックを前記基準映像内における前記第１変換係数ブロックおよび前記第２変換係数ブロックの位置に応じてマッチングして格納する。

すなわち、データベース１５０は、基準映像内で同一の位置を表す第１変換係数ブロックおよび第２変換係数ブロックをマッチングして格納する。一例として、データベース１５０は、マッチングされた第１変換係数ブロックおよび第２変換係数をトレーニングデータセットとして格納してもよい。

本発明の一実施形態によれば、低解像度映像フレームのウェーブレット変換係数および前記高解像度映像フレームのウェーブレット変換係数は、低高領域（ＬＨ−ｂａｎｄ）のウェーブレット変換係数および高低領域（ＨＬ−ｂａｎｄ）のウェーブレット変換係数のうちいずれか１つを含んでもよい。

すなわち、低高帯域のウェーブレット変換係数の横と縦の位置を変えれば、高低帯域のウェーブレット変換係数を獲得することができるため、データベース１５０に格納される情報の量を減らすために、低高領域のウェーブレット変換係数および高低領域のウェーブレット変換係数のうちいずれか１つだけを格納してもよい。

本発明の一実施形態によれば、データベース１５０は、第１変換係数ブロックのエッジ角度情報をさらに格納してもよい。

また、一例として、第１変換係数ブロックがエッジではないテクスチャを表す場合、データベース１５０はエッジ角度情報を格納することなく、第１変換係数ブロックがテクスチャであることを表す情報をさらに格納してもよい。テクスチャであることを表す情報は、トレーニングデータセットに共に格納されてもよい。

本発明の一実施形態によれば、第２映像フレーム獲得部１３０は、ウェーブレット変換部１３１、検索部１３２、および逆ウェーブレット変換部１３３を含んでもよい。

ウェーブレット変換部１３１は前景領域をウェーブレット変換する。すなわち、入力された低解像度映像フレームの前景領域をウェーブレット変換してウェーブレット変換係数を生成する。

検索部１３２は、ウェーブレット変換された前景領域のウェーブレット変換係数を第１ブロック単位に区画して第３変換係数ブロックグループを生成し、第３変換係数ブロックグループ内の複数の第３変換係数ブロックそれぞれに対応する第１変換係数ブロックをデータベース１５０で検索する。

すなわち、検索部１３２は、第１変換係数ブロックのブロック単位（第１ブロック単位）と同一の大きさにウェーブレット変換された前景領域のウェーブレット変換係数を区画して複数の第３変換係数ブロックを生成し、生成された複数の第３変換係数ブロックそれぞれと類似の第１変換係数ブロックをデータベース１５０で検索する。

逆ウェーブレット変換部１３３は、検索された第１変換係数ブロックとマッチングされる第２変換係数ブロックとを組み合わせて第４変換係数ブロックグループを生成し、第４変換係数ブロックグループを逆ウェーブレット変換する。

検索された第１変換係数ブロックとマッチングされる第２変換係数ブロックを、第１変換係数ブロックグループ内における第１変換係数ブロックの順に応じて組み合わせれば、これは入力映像フレームの前景領域に対する高解像度映像フレームのウェーブレット変換された映像と同一の映像と見なしてもよい。逆ウェーブレット変換部１３３は、組合わせた第２変換係数ブロックグループを逆ウェーブレット変換する機能を行う。

これによって、第２映像フレーム獲得部１３０は、入力映像フレームの前景領域に対する高解像度映像フレームを獲得することができる。

すなわち、本発明の一実施形態に係る高解像度映像獲得装置１００は、リコンストラクション基盤の解像度向上アルゴリズムと例題基盤の解像度向上アルゴリズムの長所のみを集合してこれを同時に適用することによって、複雑度を減らし、効果的に低解像度映像から高解像度映像を獲得することができる。

以下は図４を参照して、第３変換係数ブロックに対応する第４変換係数ブロックを検索する過程を詳しく説明する。図４は、本発明の一実施形態によって第３変換係数ブロックとマッチングされる第４変換係数ブロックを検索する過程を示す図である。

一例として、図４では、第１変換係数ブロックおよび第２変換係数ブロックは正規化された第１変換係数ブロックおよび正規化された第２変換係数ブロックであると仮定する。第１変換係数ブロックおよび第２変換係数ブロックを正規化して格納すれば、データベースに格納される情報の量を減らすことができる。

まず、ウェーブレット変換された入力映像フレームの一部領域４１０に含まれる第３変換係数ブロック４１１を抽出し、正規化された第３変換係数ブロック４２０を生成する。

次に、正規化された第３変換係数ブロック４２０と類似の正規化された第１変換係数ブロックを探して第１変換係数ブロック候補群４３０を生成する。

その後、第１変換係数ブロック候補群４３０に含まれた複数の正規化された第１変換係数ブロック４３０１〜４３１２と、それぞれマッチングされる正規化された第２変換係数ブロック４４０１〜４４１２を探して第２変換係数ブロック候補群４４０を生成する。

最後に、隣接したブロックとの互換性を考慮し、第２変換係数ブロック候補群４４０のうち１つの正規化された第２変換係数ブロック４４０９を選択し、これを非正規化して第３変換係数ブロック４１１に対応する第４変換係数ブロック４５１を生成する。図面符号４５２は、以前ブロックと重なる領域を表す。

図２は、本発明の一実施形態によってウェーブレット変換係数をデータベースに格納する過程を示す図である。一例として、図２には、離散ウェーブレットフレーム変換（ｄｉｓｃｒｅｔｅ ｗａｖｅｌｅｔ ｆｒａｍｅ ｔｒａｎｓｆｏｒｍ）を用いてデータベースを生成する過程を示す。

まず、データベース１５０は、基準映像に対する低解像度映像フレーム２１０と基準映像に対する高解像度映像フレーム２３０が入力され、これをそれぞれ離散ウェーブレットフレーム変換し、ウェーブレットフレーム変換された低解像度映像フレーム２２０およびウェーブレットフレーム変換された高解像度映像フレーム２４０をそれぞれ獲得する。ウェーブレットフレーム変換された低解像度映像フレーム２２０は、低低帯域（ＬＬ−ｂａｎｄ）２２１、低高帯域（ＬＨ−ｂａｎｄ）２２２、高低帯域（ＨＬ−ｂａｎｄ）２２３、および高高帯域（ＨＨ−ｂａｎｄ）２２４を含み、ウェーブレットフレーム変換された高解像度映像フレーム２４０は、低低帯域２４１、低高帯域２４２、高低帯域２４３、および高高帯域２４４を含む。

次に、データベース１５０は、ウェーブレットフレーム変換された低解像度映像フレーム２２０を第１ブロック単位に区画し、ウェーブレットフレーム変換された高解像度映像フレーム２４０を第２ブロック単位に区画した後、基準映像内における前記第１変換係数ブロックおよび基第２変換係数ブロックの位置に応じてマッチングして格納する。一例として、データベース１５０は、マッチングされた第１変換係数ブロックおよび第２変換係数ブロックをトレーニングデータセットとして格納してもよい。

低解像度映像の解像度を向上する場合、映像における高周波成分が必要であるため、本発明の一例によれば、データベース１５０は、低低帯域２２１および２４１を除いた低高帯域２２２および２４２、高低帯域２２３および２４３、高高帯域２２４および２４４に含まれるウェーブレット変換係数を格納してもよい。

また、高高帯域２２４および２４４のウェーブレット変換係数は、解像度向上時に使用されないことがあるため、本発明の一例によれば、データベース１５０は、低高帯域２２２および２４２のウェーブレット変換係数および高低帯域２２３および２４３のウェーブレット変換係数だけを格納してもよい。

また、低高帯域２２２および２４２のウェーブレット変換係数の横と縦の位置を変えれば、高低帯域２２３および２４３のウェーブレット変換係数を獲得することができるため、本発明の一例によれば、データベース１５０は、低高帯域２２２および２４２のウェーブレット変換係数および高低帯域２２３および２４３のウェーブレット変換係数のうちいずれか１つのみを格納してもよい。

トレーニングデータセットには第１変換係数ブロックがエッジに関するものであるか、かテクスチャに関するものであるかに対する情報をさらに含んでもよく、第１変換係数ブロックがエッジに関するものである場合、トレーニングデータセットはエッジの角度情報をさらに含んでもよい。

以下は、トレーニングデータセットに含まれる第１変換係数ブロックのエッジ角度情報を求める過程の一例を説明する。

第１変換係数ブロック内の各ピクセルのピクセル値をＩ（ｉ、ｊ）とすれば、構造行列は下記の式（３）のように定義される。

ここで、

はｘ（横）方向の勾配、

はｙ（縦）方向の勾配をそれぞれ意味する。

入力映像に含まれた雑音を除去するために前記式（３）をブラーさせれば、下記の式（４）を求めることができる。

ここで、Ｋ_Ｐはブラー変数を意味する。

前記の構造行列Ｍ_２を固有値分解（ｅｉｇｅｎｖａｌｕｅ ｄｅｃｏｍｐｏｓｉｔｉｏｎ）すれば、エッジに垂直した方向ベクトルと平行した方向ベクトルを求めることができるが、ピクセルの角度はエッジに平行する方向ベクトルに決定してもよい。

上記のように各ピクセルに対する角度が決定された後、データベース１５０はそれぞれの第１変換係数ブロックに対して、特定の角度（例えば１０度）に応じてピクセルの角度を分類する。このとき、ヒストグラムにおける角度分布がいずれか１つの角度に集中分布されれば、第１変換係数ブロックはエッジに関するものと見なして、前記角度をそのブロックが代表する角度に定めて格納する。もし、ヒストグラムにおける角度分布が一定でなければ、第１変換係数ブロックはテクスチャに関するものと見なして、これに関する情報を格納する。

図３は、本発明の一実施形態に係るウェーブレット変換に基づいた例題基盤の解像度向上アルゴリズムを用いて高解像度映像を獲得する過程を示す図である。

一例として、図３では、離散ウェーブレットフレーム変換に基づいた例題基盤の解像度向上アルゴリズムを用いて高解像度映像を獲得する過程を示す。

また、図３においてデータベース１５０は、低高帯域に関する情報および高高帯域に関する情報のみを格納している場合を示す。

まず、低解像度入力映像フレーム３１０をウェーブレットフレーム変換してウェーブレットフレーム変換された低解像度映像フレーム３２０を獲得する。ウェーブレットフレーム変換された低解像度映像フレーム３２０は、低低帯域３２１、低高帯域３２２、高低帯域３２３、および高高帯域３２４を含む。

次に、データベース１５０に格納された情報を用いてウェーブレットフレーム変換された低解像度映像フレーム３２０に対応するウェーブレットフレーム変換された高解像度映像フレーム３６０を獲得する。

高解像度映像フレーム３６０の低低帯域３６１は低解像度映像フレーム３２０を用いて生成する。

低解像度映像フレーム３２０の低高帯域３２２の第３変換係数ブロックに対応する第１変換係数ブロックを低高帯域に関する情報を格納しているデータベース（１）３４０で検索し、検索された第１変換係数ブロックとマッチングされる第２変換係数ブロックとを組み合わせて高解像度映像フレーム３６０の低高帯域３６２を生成する。

また、低解像度映像フレーム３２０の高低帯域３２３の第３変換係数ブロックの場合、まず、横と縦の位置が変えられた映像３３０を生成し、変えられた映像３３０の第３変換係数ブロックに対応する第１変換係数ブロックをデータベース（１）３４０で検索する。検索された第１変換係数ブロックとマッチングされる第２変換係数ブロックとを組み合わせて高解像度映像フレーム３６０の低高帯域３６３を生成する。

そして、低解像度映像フレーム３２０の高高帯域３２４の第３変換係数ブロックに対応する第１変換係数ブロックを高高帯域に関する情報を格納しているデータベース（２）３５０で検索し、検索された第１変換係数ブロックとマッチングされる第２変換係数ブロックとを組み合わせて高解像度映像フレーム３６０の高高帯域３６４を生成する。

一例として、高解像度映像フレーム３６０の高高帯域３６４は、データベース（２）３５０を用いて生成することなく、全てのピクセル値を「０」にして生成してもよい。

最後に、ウェーブレットフレーム変換された高解像度映像フレーム３６０を逆ウェーブレットフレーム変換して低解像度入力映像フレーム３１０に対する高解像度出力映像フレーム３７０を獲得する。

図５および図６は、本発明の一実施形態に係る高解像度映像獲得方法に対するフローチャートを示す図である。以下、図５および図６を参考にして、各ステップ別に行われる過程を詳細に説明する。

まず、ステップ５１０において、入力映像フレームを背景領域と前景領域とに分割する。

本発明の一実施形態によれば、ステップ５１０では、入力映像フレームの動き情報に基づいて入力映像フレームを背景領域と前景領域とに分割してもよい。

ステップ５２０において、分割された領域が背景領域であるか前景領域であるかを判断する。

ステップ５２０において、分割された領域が背景領域であると判断した場合、ステップ５３０では背景領域に対する第１高解像度映像フレームを獲得する。

本発明の一例によれば、ステップ５３０において、リコンストラクション基盤の解像度向上アルゴリズムを用いて第１高解像度映像フレームを獲得してもよい。

ステップ５２０において、分割された領域が前景領域であると判断した場合、ステップ５４０では前景領域に対する第２高解像度映像フレームを獲得する。

本発明の一実施形態によれば、ステップ５４０において、ウェーブレット変換を基盤とする例題基盤の解像度向上アルゴリズムを用いて前記第２高解像度映像フレームを獲得することができる。

本発明の一実施形態によれば、高解像度映像獲得方法は、基準映像に対する低解像度映像フレームのウェーブレット変換係数を第１ブロック単位に区画した第１変換係数ブロックグループおよび前記基準映像に対する高解像度映像フレームのウェーブレット変換係数を第２ブロック単位に区画した第２変換係数ブロックグループを生成するステップと（図示せず）、前記第１変換係数ブロックグループに含まれる複数の第１変換係数ブロックと前記第２変換係数ブロックグループに含まれる複数の第２変換係数ブロックを前記基準映像内における前記第１変換係数ブロックおよび前記第２変換係数ブロックの位置に応じてマッチングしてデータベースに格納するステップと（図示せず）をさらに含んでもよい。これは、ステップ５４０において、ウェーブレット変換を基盤とする例題基盤の解像度向上アルゴリズムを用いて前記第２高解像度映像フレームを獲得する場合において、例題を提供するためのデータベースを生成するステップである。

また、本発明の一実施形態によれば、前記データベースに格納するステップは、第１変換係数ブロックのエッジ角度情報を格納するステップをさらに含んでもよい。これは、データベースにおける情報検索を容易にするためである。

以下は、図６を参照して、ステップ５２０において第２高解像度映像フレームを獲得する過程を説明する。図６を参照するに、ステップ５４１において、前景領域をウェーブレット変換し、ステップ５４２ではウェーブレット変換された前景領域のウェーブレット変換係数を第１ブロック単位に区画して第３変換係数ブロックグループを生成する。第１変換係数ブロックと第３変換係数ブロックの大きさは第１ブロック単位として同一である。

ステップ５４３において、第３変換係数ブロックグループ内の複数の第３変換係数ブロックそれぞれに対応する前記第１変換係数ブロックを前記データベースで検索し、ステップ５４４において、検索された第１変換係数ブロックとマッチングされる前記第２変換係数ブロックとを組み合わせて第４変換係数ブロックグループを生成する。第４変換係数ブロックグループは、前景領域に対する高解像度映像をウェーブレット変換した映像に対応する。

ステップ５４５において、第４変換係数ブロックグループを逆ウェーブレット変換する。逆ウェーブレット変換された第４変換係数ブロックグループは前景領域に対する高解像度映像フレームになる。

再び図５を参照するに、ステップ５５０において、第１高解像度映像フレームおよび第２高解像度映像フレームとを合成して前記入力映像フレームに対する高解像度映像フレームを獲得する。

すなわち、ステップ５５０において、ステップ５３０で獲得された背景領域に対する高解像度映像フレームと、ステップ５４０で獲得された前景領域に対する高解像度映像フレームとを加えて、入力映像全体に対する高解像度映像フレームを獲得する。

今まで本発明に係る高解像度映像獲得方法の実施形態に対して説明したが、前述の図１で説明した高解像度映像獲得装置に関する構成が本実施形態にもそのまま適用可能である。ここで、より詳細な説明は省略する。

また、本発明に係る高解像度映像獲得方法は、多様なコンピュータ手段によって実現することのできるプログラム命令形態によって具現され、コンピュータ読み出し可能媒体に記録することができる。前記コンピュータ読み出し可能媒体は、プログラム命令、データファイル、データ構造などを単独でまたは組み合わせて含むことができる。前記媒体に記録されるプログラム命令は本発明のために特別に設計して構成されたものであるか、コンピュータソフトウェアの当業者に公知されて使用可能になものであってもよい。コンピュータ読み出し可能記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク、および磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気媒体、およびＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなくインタープリタなどを用いてコンピュータによって実行され得る高級言語コードを含む。上記のハードウェア装置は、本発明の一実施形態の動作を行うために１つ以上のソフトウェアモジュールとして作動するように構成することができ、その逆も同様である。

上述したように、本発明では具体的な構成要素などの特定事項と限定される実施形態および図面によって説明したが、これは本発明のより全般的な理解を助けるために提供したものに過ぎず、本発明は、前記の実施形態に限定されるものではなく、本発明が属する分野で通常の知識を有する者であれば、このような記載から多様な修正および変形が可能である。したがって、本発明の思想は説明した実施形態に限定して決定されてはならず、後述する特許請求の範囲だけでなくこの特許請求の範囲と均等または等価的変形のある全てのものは本発明の思想の範疇に属するといえる。

Claims (10)

1. 入力映像フレームを背景領域と前景領域とに分割する領域分割部と、
   リコンストラクション基盤の解像度向上アルゴリズムを用いて前記背景領域に対する第１高解像度映像フレームを獲得する第１映像フレーム獲得部と、
   ウェーブレット変換を基盤とする例題基盤の解像度向上アルゴリズムを用いて前記前景領域に対する第２高解像度映像フレームを獲得する第２映像フレーム獲得部と、
   前記第１高解像度映像フレームおよび前記第２高解像度映像フレームを合成して前記入力映像フレームに対する高解像度映像フレームを獲得する映像フレーム合成部と、
   データベースであって、
   基準映像に対する低解像度映像フレームのウェーブレット変換係数を第１ブロック単位に区画した第１変換係数ブロックグループと、前記基準映像に対する高解像度映像フレームのウェーブレット変換係数を第２ブロック単位に区画した第２変換係数ブロックグループとを生成し、
   前記第１変換係数ブロックグループに含まれる複数の第１変換係数ブロックと前記第２変換係数ブロックグループに含まれる複数の第２変換係数ブロックとを前記基準映像内における前記第１変換係数ブロックおよび前記第２変換係数ブロックの位置に応じてマッチングして格納し、
   前記低解像度映像フレームのウェーブレット変換係数、前記高解像度映像フレームのウェーブレット変換係数、及び前記第１変換係数ブロックのエッジ角度情報をさらに格納する、データベースと、
   を含むことを特徴とする高解像度映像獲得装置。
2. 前記領域分割部は、前記入力映像フレームの動き情報に基づいて前記背景領域と前記前景領域とに分割することを特徴とする請求項１に記載の高解像度映像獲得装置。
3. 前記領域分割部は、
   前記入力映像フレームと前記入力映像フレームの以前入力映像フレームを用いて背景領域の動きを推定する背景領域動き推定部と、
   前記推定された背景領域の動きに基づいて前記入力映像フレームを補償し、前記補償された入力映像フレームと前記以前入力映像フレームを用いて前記前景領域の輪郭線を抽出する前景領域輪郭線抽出部と、を含み、
   前記領域分割部は、前記前景領域の輪郭線を境界にして前記背景領域と前記前景領域とを分割することを特徴とする請求項１に記載の高解像度映像獲得装置。
4. 前記背景領域動き推定部は、前記入力映像フレームおよび前記入力映像フレームの以前入力映像フレームから特徴点をそれぞれ抽出し、前記入力映像フレームの特徴点と前記以前入力映像フレームの特徴点とをマッチングして前記背景領域の動きを推定することを特徴とする請求項３に記載の高解像度映像獲得装置。
5. 前記第２映像フレーム獲得部は、
   前記前景領域をウェーブレット変換するウェーブレット変換部と、
   前記ウェーブレット変換された前景領域のウェーブレット変換係数を前記第１ブロック単位に区画して第３変換係数ブロックグループを生成し、前記第３変換係数ブロックグループ内の複数の第３変換係数ブロックそれぞれに対応する前記第１変換係数ブロックを前記データベースで検索する検索部と、
   前記検索された第１変換係数ブロックとマッチングされる前記第２変換係数ブロックとを組み合わせて第４変換係数ブロックグループを生成し、前記第４変換係数ブロックグループを逆ウェーブレット変換する逆ウェーブレット変換部と、
   を含むことを特徴とする請求項１に記載の高解像度映像獲得装置。
6. 前記低解像度映像フレームのウェーブレット変換係数および前記高解像度映像フレームのウェーブレット変換係数は、低高領域（ＬＨ−ｂａｎｄ）のウェーブレット変換係数および高低領域（ＨＬ−ｂａｎｄ）のウェーブレット変換係数のうちいずれか１つを含むことを特徴とする請求項１に記載の高解像度映像獲得装置。
7. 入力映像フレームを背景領域と前景領域とに分割するステップと、
   リコンストラクション基盤の解像度向上アルゴリズムを用いて前記背景領域に対する第１高解像度映像フレームを獲得するステップと、
   ウェーブレット変換を基盤とする例題基盤の解像度向上アルゴリズムを用いて前記前景領域に対する第２高解像度映像フレームを獲得するステップと、
   前記第１高解像度映像フレームおよび前記第２高解像度映像フレームを合成して前記入力映像フレームに対する高解像度映像フレームを獲得するステップと、
   基準映像に対する低解像度映像フレームのウェーブレット変換係数を第１ブロック単位に区画した第１変換係数ブロックグループと、前記基準映像に対する高解像度映像フレームのウェーブレット変換係数を第２ブロック単位に区画した第２変換係数ブロックグループとを生成するステップと、
   前記第１変換係数ブロックグループに含まれる複数の第１変換係数ブロックと前記第２変換係数ブロックグループに含まれる複数の第２変換係数ブロックを前記基準映像内における前記第１変換係数ブロックおよび前記第２変換係数ブロックの位置に応じてマッチングしてデータベースに格納するステップと、
   前記データベースに格納するステップは、前記低解像度映像フレームのウェーブレット変換係数、前記高解像度映像フレームのウェーブレット変換係数、及び前記第１変換係数ブロックのエッジ角度情報を格納するステップと、
   を含むことを特徴とする高解像度映像獲得方法。
8. 前記入力映像フレームを背景領域と前景領域とに分割するステップは、前記入力映像フレームの動き情報に基づいて前記背景領域と前記前景領域とに分割することを特徴とする請求項７に記載の高解像度映像獲得方法。
9. 前記第２高解像度映像フレームを獲得するステップは、
   前記前景領域をウェーブレット変換するステップと、
   前記ウェーブレット変換された前景領域のウェーブレット変換係数を前記第１ブロック単位に区画して第３変換係数ブロックグループを生成するステップと、
   前記第３変換係数ブロックグループ内の複数の第３変換係数ブロックそれぞれに対応する前記第１変換係数ブロックを前記データベースで検索するステップと、
   前記検索された第１変換係数ブロックとマッチングされる前記第２変換係数ブロックとを組み合わせて第４変換係数ブロックグループを生成するステップと、
   前記第４変換係数ブロックグループを逆ウェーブレット変換するステップと、
   を含むことを特徴とする請求項８に記載の高解像度映像獲得方法。
10. 請求項７又は９に記載の方法をプロセッサによって行われるプログラムを記録したコンピュータ読み出し可能記録媒体。
    

Images