JP2008193691A - 復元されたフレームのフレーム率をアップコンバートする装置および方法 - Google Patents

Abstract

【課題】本発明はビデオデコーダで復元されたフレームおよび動き情報を利用してフレーム率をアップコンバートする装置および方法を提供する。
【解決手段】ビデオデコーダで復元された動き情報および復元されたフレームを利用して、補間フレームを生成することによって前記復元されたフレームのフレーム率をアップコンバートする。前記復元されたフレームで現在ブロックの動きベクトルおよび前記現在ブロックの周辺ブロックの動きベクトルを利用し、前記現在ブロックの動きベクトルをフィルタリングすることによって前記補間フレームのための動きベクトルをリサンプリングする動きベクトルリサンプリング部と、前記リサンプリングされた動きベクトルによって前記復元されたフレームを動き補償することによって、前記補間フレームを生成する動き補償部と、フレームの時間的順序にともない前記復元されたフレームおよび前記補間フレームのうちから一つを選択して出力するスイッチで形成される。
【選択図】図２

Description

本発明はビデオコーディング技術に関するものであって、より詳細にはビデオデコーダで復元されたフレームおよび動き情報を利用してフレーム率をアップコンバートする装置および方法に関するものである。

インターネットを含む情報通信技術が発達するにつれ文字、音声だけでなく画像通信が増加している。既存の文字中心の通信方式では消費者の多様な欲求を充足させることができず、これに伴い文字、映像、音楽など多様な形態の特性を受容できるマルチメディアサービスが増加している。マルチメディアデータはその量が膨大なため、大容量の保存媒体を必要とし伝送時に広い帯域幅を必要とする。したがって文字、映像、オーディオを含んだマルチメディアデータを伝送するためには圧縮コーディング技法を使用することが必須的である。

データを圧縮する基本的な原理はデータの重複（ｒｅｄｕｎｄａｎｃｙ）要素を除去する過程である。イメージで同一な色やオブジェクトが反復されるような空間的重複や、動画フレームにおいて隣接のフレームがほとんど変化がない場合やオーディオにおいて同じ音が継続して反復されるような時間的重複、または人間の視覚および知覚能力が高い周波数に鈍感なことを考慮した視覚的重複を除去することによってデータを圧縮することができる。一般的なビデオコーディング方法において、ビデオデータの時間的重複は動き補償に基づいた時間的フィルタリング（ｔｅｍｐｏｒａｌ ｆｉｌｔｅｒｉｎｇ）によって除去し、空間的重複は空間的変換（ｓｐａｔｉａｌ ｔｒａｎｓｆｏｒｍ）によって除去する。

ビデオデータの重複を除去した結果はまた量子化過程を通して所定の量子化ステップにしたがって損失符号化される。前記量子化された結果は最終的にエントロピ符号化（ｅｎｔｒｏｐｙ ｃｏｄｉｎｇ）によって最終的に無損失符号化される。

このようなビデオデータの圧縮技法はデジタルＴＶ、ＤＶＤプレーヤなどのように高容量のデータ処理が可能な機器から、携帯電話、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔ）、デジタルムービービデオなどのように相対的に低容量のデータの処理だけが可能なモバイル機器に至るまで多様な機器に採択されている。

一般的に、このようなモバイル機器は、データ保存空間、ネットワーク通信帯域幅、演算処理能力などが充分ではないため、使用されるビデオデータの解像度やフレーム率なども相対的に低いはずである。ところで、携帯用機器のＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）パネル上において再生する低いフレーム率のビデオ映像はユーザに多少不自然に見られ得る。

このような問題点を解決するため、コーディングされたビデオが有するフレーム率をアップコンバート（ｕｐ−ｃｏｎｖｅｒｔｉｎｇ）という技法が提案された。このようなフレーム率アップコンバートという所定のフレーム率でコーディングされたビデオのフレーム率を向上させる作業を意味する。例えば、図１に図示するように、本来フレーム（コーディングされたビデオでのフレーム）のフレーム率が１５Ｈｚという時、各フレームの間に新たな補間フレーム（ｉｎｔｅｒｐｏｌａｔｅｄ ｆｒａｍｅ）を追加すれば総３０Ｈｚのフレーム率を有するビデオフレームを得ることができる。この時、本来のフレームから補間フレームをどのように求めるのかが重要な問題である。ところで、万一エンコーダと同じように別途の動き推定過程によって補間フレームを求めるならば相当な計算量が要求されるためモバイル機器でのビデオ再生には適していない。

したがって、別途の動き推定過程なしで、コーディングされたビデオにすでに含まれている動きベクトルを活用し、フレーム率アップコンバージョンを具現する必要性がある。
韓国公開特許第２００３−００６９２７７号公報

本発明が解決しようとする課題は、デコーディングされた動きベクトルから実際動きに近い動きベクトルをリサンプリングし、フレーム率アップコンバージョンを効率的に達成できる技術を提供しようとするものである。

本発明の技術的課題は以上で言及した技術的課題に制限されず、言及されていないまた他の技術的課題は次の記載から当業者に明確に理解できるであろう。

前記した技術的課題を達成するため、ビデオデコーダで復元された動き情報および復元されたフレームを利用して、補間フレームを生成することによって前記復元されたフレームのフレーム率をアップコンバートする装置であって、前記復元されたフレームで現在ブロックの動きベクトルおよび前記現在ブロックの周辺ブロックの動きベクトルを利用して、前記現在ブロックの動きベクトルをフィルタリングすることによって前記補間フレームのための動きベクトルをリサンプリングする動きベクトルリサンプリング部と、前記リサンプリングされた動きベクトルによって、前記復元されたフレームを動き補償することによって前記補間フレームを生成する動き補償部、およびフレームの時間的順序に応じ前記復元されたフレームおよび前記補間フレームのうちから一つを選択して出力するスイッチを含む。

前記した技術的課題を達成するために、ビデオデコーダで復元された動き情報および復元されたフレームを利用して、補間フレームを生成することによって前記復元されたフレームのフレーム率をアップコンバートする方法であって、前記復元されたフレームで現在ブロックの動きベクトルおよび前記現在ブロックの周辺ブロックの動きベクトルを利用して、前記現在ブロックの動きベクトルをフィルタリングすることによって前記補間フレームのための動きベクトルをリサンプリングする段階、前記リサンプリングされた動きベクトルによって前記復元されたフレームを動き補償することによって前記補間フレームを生成する段階、およびフレームの時間的順序に応じ前記復元されたフレームおよび前記補間フレームのうちから一つを選択して出力する段階を含む。

本発明によれば、迅速で効率的にフレーム率をアップコンバージョンできる長所があり、特に、低い演算能力、制限されたメモリ資源または低電力条件を有する機器に適して使用され得る。

以下添付された図を参照して本発明の一実施形態を詳細に説明する。

図２は本発明の一実施形態によるフレーム率アップコンバート装置１００の構成を図示するブロック図である。アップコンバート装置１００はデコーダ２００、動きベクトルリサンプリング部３００、動き補償部４００およびスイッチ５００を含み構成され得る。

デコーダ２００はエンコーディングされたビデオストリーム（以下単純にエンコーディングされたストリームという）からフレームおよび動き情報を復元する。本発明で動き情報には少なくとも各ブロックに割り当てられた動きベクトルが含まれ、ブロックの種類、ブロックパーテーション情報、参照フレームオフセットなどがさらに含み得る。ブロックの種類は該当ブロックが時間的予測によって得られたブロック（以下予測ブロックという）であるか、時間的予測せず得られたブロック（以下イントラブロックという）であるかを示す。ブロックパーテーション情報はＨ．２６４で使用する可変サイズのブロックマッチング技法にともなう該当ブロックサイズに関する情報である。図３を参照すれば、動きベクトルが割り当てられるブロックは１６×１６、１６×８、８×１６、８×８、８×４、４×８および４×４等多様なピクセルサイズを有し得る。

図４は多重フレーム参照の概念を示す図である。Ｈ．２６４標準では現在フレーム４１のブロックは各々現在フレーム４１より前に立つ互いに異なるフレーム４２を参照することを許容している。この時、現在フレーム４１との距離によって４個のフレーム４２の参照フレームオフセットは各々４から１までの値になる（距離が遠いほどオフセットが大きい）。現在フレーム４１には動きベクトルを必要とする予測符号化ブロック（ｐｒｅｄｉｃｔｉｖｅ−ｃｏｄｉｎｇ ｂｌｏｃｋ）、動きベクトルを必要としないイントラ符号化ブロック（ｉｎｔｒａ−ｃｏｄｉｎｇ ｂｌｏｃｋ）等を挙げることができる。したがって、現在フレーム４１のすべてのブロックが動きベクトルを有することではない。

図５は本発明の一実施形態によるデコーダ２００の構成を示すブロック図である。
エントロピ復号化部２１０は無損失復号化を遂行し、エンコーディングされたストリームから動き情報と、コーディングされた残差（ｃｏｄｅｄ ｒｅｓｉｄｕａｌ）を抽出する。前記無損失復号化には可変長復号化、算術復号化、ハフマン復号化など多様な復号化技法が利用され得る。前記抽出された残差は逆量子化部２２０に提供され、前記動き情報は動き補償部２５０に提供される。

逆量子化部２２０はエントロピ復号化部２１０から提供される残差を逆量子化する。このような逆量子化過程は量子化過程で使用されたものと同一な量子化テーブルを利用して、量子化過程で生成されたインデックスからそれにマッチングされる値を復元する過程である。

逆変換部２３０は前記逆量子化された結果に対して逆変換を遂行する。このような逆変換はエンコーダでの変換過程の逆に遂行され、具体的に逆ＤＣＴ変換、逆ウェーブレット変換などが使用され得る。前記逆変換の結果、すなわち復元された残差信号は加算器２３５に提供される。

動き補償部２５０はエントロピ復号化部２１０から提供される動き情報を利用し、前記現在フレームに対する参照フレーム（すでに復元されてバッファ２４０に保存されている）を動き補償することによって予測信号を生成する。

加算器２３５は逆変換部２３０から提供される復元された残差と前記生成された予測信号を加算して現在フレームを復元する。復元された現在フレームはバッファ２４０に一時保存されて他のフレームの復元のために利用され得る。

また図２を参照すれば、デコーダ２００のエントロピ復号化部２１０から提供される動き情報は動きベクトルリサンプリング部３００に提供され、デコーダ２００で復元されたフレームは動き補償部４００およびスイッチ５００に提供される。

動きベクトルリサンプリング部３００はデコーダ２００から提供される動き情報を利用し、補間フレームの生成のための動きベクトルをリサンプリングし、リサンプリングされた動きベクトルを動き補償部４００に提供する。本発明の一実施形態による動きベクトルリサンプリング部３００のより詳細な動作に対しては図６を参照して後述することにする。

動き補償部４００はリサンプリングされた動きベクトル（およびその他動き情報）の入力を受けてすでに復元されたフレームを動き補償することによって補間フレームを生成する。

スイッチ５００はフレーム率アップコンバージョンを実行するために、時間的順序（ｔｅｍｐｏｒａｌ ｏｒｄｅｒ）に応じデコーダ２００から提供される復元されたフレームおよび動き補償部４００から提供される補間フレームのうちから一つを選択して出力する。デコーダ２００、動きベクトルリサンプリング部３００または動き補償部４００には多重フレームの動き情報を保存することに使用されるバッファが含まれ得る。

図６は図２の動きベクトルリサンプリング部３００の構成をより詳しく図示するブロック図である。動きベクトルリサンプリング部３００は動きベクトル定規化部（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｎｏｒｍａｌｉｚｅｒ、３１０）、ブロックサイズ規準化部（ｂｌｏｃｋ ｓｉｚｅ ｒｅｇｕｌａｒｉｚｅｒ、３２０）、動きベクトル計算部（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｃａｌｃｕｌａｔｏｒ、３３０）、動きベクトル検証部（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｖｅｒｉｆｉｅｒ、３４０）および動きベクトル挿入部（ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｆｉｌｌｅｒ、３５０）を含み構成され得る。

一般的に、ビデオエンコーダでは、生成されるデータのサイズを最小化するために最小の動き補償された残差値を生成する動きベクトルを求める方法を使用する。そのため動きベクトルは実際オブジェクトの動きとは相異なり得る。また、動きベクトルは先行する互いに異なる参照フレームを参照することができるため、動きベクトルのサイズを定規化することが重要である。

動きベクトル定規化部３１０デコーダ２００から提供された動きベクトルが有する参照距離（現在フレームと参照フレーム間の時間的距離）に応じ動きベクトルを定規化する。例えば、動きベクトル定規化部３１０は前記動きベクトルを参照フレームオフセット（ｒｅｆｅｒｅｎｃｅ ｆｒａｍｅ ｏｆｆｓｅｔ）で割る演算によって、前記動きベクトルを定規化することができる。前記参照フレームオフセットは今後動きベクトル計算で使用され得るようにバッファ（未図示）に保存され得る。

ブロックサイズ規準化部３２０は動きベクトルが割り当てられる多様なサイズを有するブロックを日程サイズ以上のブロックで規準化する。前記規準化とは所定のブロックサイズより小さいブロックを前記ブロックサイズの代表ブロックに併合することを意味する。もちろん、デコーダ２００から提供された動きベクトルが割り当てられるブロックサイズが前記ブロックサイズ以下の固定サイズになっていれば本過程は省略されても構わないものであろう。

Ｈ．２６４のような向上されたビデオコーディング（（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）技法では、最小のコーディングサイズを達成するために図３のように、ブロックサイズが可変する可変ブロックサイズ動き補償を採択する。例えば、Ｈ．２６４標準では、マクロブロックは１６×１６ピクセルで定義されるが、各マクロブロックは図３で示すように、１６×１６から４×４までの多様なブロックサイズでパーテーション（ｐａｒｔｉｔｉｏｎｉｎｇ）できるようになっている。

しかし、動きベクトルリサンプリングした後に動き補償を遂行するためには、同一なサイズのブロックに割り当てられた動きベクトルを求めるのが好ましく、またリサンプリングされた動きベクトルが実際ビデオ上のオブジェクト（ｏｂｊｅｃｔ）の実際動き（ｔｒｕｅ ｍｏｔｉｏｎ）を反映することが非常に重要である。

図７はブロックサイズ規準化の一例である。左側の規準化前のブロックはブロックサイズがだいぶ多様である。ここで、最小ブロックＦ、Ｇ、Ｈ、Ｉが４×４ピクセルを有し、最も大きいブロックＬは１６×１６ピクセルを有する。しかし、右側の規準化されたブロックは日程以上（８×８以上）のブロックサイズを有する。

図７で規準化されたブロックサイズ（例８×８）より小さいブロックは前記規準化されたブロックサイズを有する一つの代表ブロックで規準化される。これは、小さいブロックサイズの動きベクトルは参照されるピクセルの数がさらに小さいため、大きいブロックサイズの動きベクトルより実際動きをよく反映できないという事実に起因する。例えば、規準化前のブロックＡ、Ｂは一つの代表ブロックＯで、ブロックＤ、Ｅは一つの代表ブロックＱで、ブロックＦ、Ｇ、Ｈ、Ｉは一つの代表ブロックＲで各々規準化される。

複数のブロックが有する動きベクトルから規準化されたブロック（代表ブロック）に付与される単一の動きベクトルを求めるための演算は様々なものがあり得るが、一例としてベクタメディアン（ｖｅｃｔｏｒ ｍｅｄｉａｎ）演算が利用され得る。ベクタメディアン演算に関するより具体的な説明は動きベクトル計算部３３０の動作説明ですることとする。ただし、代表ブロックＯやＱは含まれたブロックが２個であるためベクタメディアンを計算することができない。この時には該当代表ブロックに含まれるブロックの動きベクトルのうち小さいサイズを有する動きベクトルを代表ブロックの動きベクトルとして選択することができる。なぜなら、動きベクトルのサイズが小さいほど実際動きに近接する可能性が高いと見ることができるからである。

一方、８×８サイズを越えるブロックＫ、Ｊ、Ｍ、Ｎ、Ｌは別途のブロックサイズの変更が成されなくても構わない。今後動き補償部４００において８×８の一定のサイズを有するブロックに対する動き補償が必要とされれば、これらブロックＫ、Ｊ、Ｍ、Ｎ、Ｌはいつでも８×８サイズのブロックに変換されることができるからである。図８に図示するように、１６×１６サイズのブロックＬは４個の８×８サイズのブロックに分割されて分割されたブロックごとに動きベクトルが割り当てられ得る。当然なことに、分割されたブロックに割り当てられる動きベクトルはブロックＬの本来動きベクトルと同一である。

動きベクトル計算部３３０は規準化された現在ブロックの動きベクトルとその周辺ブロックの動きベクトルを参照し、前記現在ブロックの動きベクトルを計算する。前記動きベクトル計算とは、空間的または時間的領域で隣接する動きベクトルを参照して、実際動きに近接する動きベクトルを求めるためのフィルタリング演算を意味する。

前記動きベクトル計算過程は、フィルタリング演算に関与されるブロック（以下、評価（ｅｖａｌｕａｔｉｏｎ）のためのブロックという）を選択する段階と、ブロックの種類によって前記ブロック各々に加重値を割り当てる段階と、前記加重値を反映した所定の演算によって最適の動きベクトルを求める段階でなされ得る。

先に、評価のためのブロックを選択する段階を図９を参照して説明する。現在フィルタリングが適用されるブロック（以下、現在ブロック）は“Ｘ”と表示されている。本発明による一実施形態において、評価のためのブロックは前記現在ブロックと前記現在ブロックの周辺ブロック（以下、周辺ブロック）を含む。本発明の他の実施形態においては、現在補間フレームだけでなくその以前の補間フレームを考慮することもできる。図９の例では、現在補間フレームの現在ブロック、現在ブロックの周辺ブロックだけでなく、以前補間フレームのうち現在ブロックと対応される位置のブロック（以下、以前ブロック）も、評価のためのブロックに属するものと示されている。

前記現在ブロック、周辺ブロックの動きベクトルは所定の演算（例、ベクタメディアン）によってフィルタリングされた動きベクトルとなる可能性がある候補動きベクトルである。以前のブロックは前記演算で評価のためだけに使用され候補動きベクトルに選択されないこともある。もちろん、これは一つの例に過ぎず、以前ブロックも候補動きベクトルに含めることもできることはもちろんである。

図９の現在補間フレームにおいて候補動きベクトルを提供する領域はカーネル（ｋｅｒｎｅｌ）と定義することができる。図９の実施形態では、現在ブロックサイズに応じ周辺ブロックも変わるためカーネルのサイズも変わるということが分かる。

フィルタリング過程のうちに加重値を割り当てる段階は次の図１０を参照して説明する。本発明のフィルタリング段階では規準化されたブロックサイズを超過するサイズのブロックを規準化されたブロックサイズで分割しない代わりに、前記ブロックサイズに応じ加重値を適用する方式を採択する。なぜなら、例えば１６×１６ブロックの場合４個の規準化されたブロックで分割され得るが、この時、分割されたブロックの動きベクトルはすべて同一であるため、ベクタメディアンと同じ演算を適用すれば前記分割されたブロックの動きベクトルがフィルタリングされた動きベクトルとして選択される可能性が高まるからである。したがって、周辺ブロックまたは以前ブロックまで考慮して実際動きに近い動きベクトルを求めようとするフィルタリング段階の目的から外れることもある。

ただし、大きいブロックの動きベクトルは小さいブロックの動きベクトルに比べて、相対的に重要であることは事実であるため、本発明ではブロックサイズに応じ互いに異なる加重値をベクタメディアン演算に適用する。次の図１０は評価のためのブロックサイズ、種類およびサイズに応じ互いに異なる加重値が設定されることを示している。図１０を参照すれば、イントラ符号化されたブロックは動きベクトルを有しないため、加重値は０となり、予測符号化されたブロックはブロックサイズに応じ加重値が大きくなるということが分かる。もちろん、具体的な加重値の値は当業者の立場でいかようにも異なるように選択することができる。

図１１は評価のためのブロックの種類およびサイズに応じ互いに異なる加重値が設定される例を示す図である。図１１においてＰは予測符号化されたブロックを、Ｉはイントラ符号化されたブロックを各々示す。

現在の補間フレームには、予測符号化されたブロックの数に応じ周辺ブロックが最大１２個まで存在することができる。現在ブロックサイズが１６×１６である例では、現在補間フレームで７個（ブロックＩは当然除外される）の候補動きベクトルが存在する。ただし、評価のためのブロックは前記７個の候補動きベクトルに以前補間フレームでの２個の動きベクトルが追加で含み得る。

以上のように評価のためのすべてのブロックに対して加重値が設定されたとすれば、フィルタリング過程中の最後の段階である最適の動きベクトルを所定の演算によって求める段階が遂行される。前記演算の例として、ベクタメディアン演算が使用され得る。

総Ｎ個の評価のためのブロックが存在し、この中でＭ（Ｎより小さかったり同じ値）個の候補動きベクトルを有するブロックが存在すると仮定する。この時ベクタメディアン演算とは、それぞれの候補動きベクトルに対して残りＮ−１個の動きベクトルとの差異（動きベクトル偏差）を求め、前記求めた差異の合計を求め、前記合計が最小となる候補動きベクトルを出力する演算を意味する。一般的に、ベクトルメディアン演算では加重値が適用されないが、本発明の一実施形態によるベクトルメディアン演算では次の式（１）のように、多様な加重値を適用することができる。ここで、Ｎ_Ｃは候補動きベクトルのセットを意味し、Ｎ_Ｅは評価することだけに使用される動きベクトルセットを意味する。Ｎ_Ｅは存在しないこともあり得る。

式（１）で、

は前記候補動きベクトルを含み評価に使用される動きベクトルを、

はベクトルメディアン演算の結果、すなわち現在ブロックのフィルタリングされた動きベクトルを各々示し、添字ｘ、ｙは各々ｘ方向およびｙ方向を示す。そして、

は多様な加重値を示す。

この中

は図１０ないし図１１のようにブロックの種類およびサイズを考慮した加重値である。残り

は選択的に適用することが可能である。

まず、

は該当ブロックが参照するフレームとの参照距離（参照フレームオフセット）が大きくなることによって小さくなるように設定される加重値である。この加重値は参照距離が大きいほど実際動きとは相異なる可能性が大きいという点を考慮したものである。

次に、

は該当ブロックが属するフレームが該当する時間的位置（ｔｅｍｐｏｒａｌ ｐｏｓｉｔｉｏｎ）に応じ設定される加重値である。図９の例のように、現在補間フレームに属するブロックだけではなく少なくとも一つ以上の以前補間フレームに属するブロックもフィルタリング演算に関与するとした時、現在補間フレームの時間的位置から遠ざかるほど低い加重値が設定されるものである。

最後に、

はあるブロックがカーネルにおいて占める位置によって設定される加重値である。

は前記ブロックがカーネルの中央から遠ざかるほど小さくなるように設定されるのが好ましい。

前記

は例えば、ガウス分布（Ｇａｕｓｓｉａｎ ｄｉｓｔｒｉｂｕｔｉｏｎ）を従うように設定され得る。

一方、図９では現在ブロックサイズに応じカーネルのサイズも変更される例を説明したが、前記カーネルサイズを固定することも可能である。図１２はこのように、固定されたカーネルサイズを適用する例を示している。図１２を参照すれば、カーネルサイズは現在ブロックサイズと無関係であり、２４×２４サイズで固定されている。ただし、ブロックの種類およびサイズにともなう加重値

は図１０と同じように適用される。本実施形態では、デコーダ２００から提供された単一のブロック（例、１６×１６、８×１６、１６×８、８×８ブロック）に対しても互いに異なる動きベクトルが割り当てられ得る。図１２で各ケースことに、動きベクトルフィルタリングが適用される領域は各々１１ないし１４と表示されている。

動きベクトル検証部３４０は動きベクトル計算部３３０でフィルタリングされた動きベクトルが有効であるかの可否を検証する。前記フィルタリングされた動きベクトルの信頼度は主にベクトルメディアンのサイズにかかっている。図１３は本発明の一実施形態による検証技法を示すグラフである。ここで使用される検証関数は例えば、線形関数で簡単に定義され得る。動きベクトル検証部３４０は特定メディアンセットのサイズでメディアン合計（ｍｅｄｉａｎ ｓｕｍ）が検証関数より小さい時、有効であるものと判断する。前記メディアン合計とは、例えば式（１）のように求められるベクトルメディアン演算の合計、すなわちベクトルメディアン演算の結果を意味する。また、メディアンセットのサイズとは式（１）のように、動きベクトルメディアン演算過程で評価のために使用される動きベクトルの数（またはブロックの数）を意味する。式（１）でメディアンセットのサイズはＮ_ＣのサイズとＮ_Ｅのサイズと同じである。

図１３はベクトルメディアン演算を検証する例を示す図である。図１３で検証関数は線形関数となっているが他の任意の関数を選択しても構わない。横軸は現在および以前動きフィールドで予測符号化された動きベクトルの数、すなわちベクトルメディアン評価に使用されるメディアンセットのサイズを示す。縦軸はベクトルメディアン合計を示す。ベクトルメディアン合計は特定のメディアンセットのサイズで検証関数を越えない場合のみ有効である。

動きベクトル挿入部３５０は動きベクトル検証部３４０で無効であるものと判断された動きベクトルを有するブロックに対して動きベクトルを決定して前記ブロックに決定された動きベクトルであって無効な動きベクトルを代替する役割を遂行する。このように無効な動きベクトルを有するブロックに対して動きベクトルを決定する方法としては、有効化された動きベクトルのみを演算して所定サイズ（例３×３のカーネル）のベクトルメディアン演算を遂行する方法を考えることができる。

今まで図２、５および６の各構成要素はメモリ上の所定領域で遂行されるタスク、クラス、サブルーチン、プロセス、オブジェクト、実行スレッド、プログラムのようなソフトウェア（ｓｏｆｔｗａｒｅ）や、ＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）やＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）のようなハードウェア（ｈａｒｄｗａｒｅ）で具現することができ、また前記ソフトウェアおよびハードウェアの組合で形成されることもできる。前記構成要素はコンピュータで判読可能な保存媒体に含まれ得、複数のコンピュータにその一部が分散され分布され得る。

また、各構成要素は特定された論理的機能を実行するための一つ以上の実行可能なインストラクションを含むモジュール、セグメントまたはコードの一部を示し得る。また、いくつかの代替実行形態では前記構成要素で言及された機能が順序から外れ発生することも可能である。例えば、相次いで図示されている二つの構成要素は事実実質的に同時に遂行されることも可能であり、時々該当する機能にともない逆順で遂行されることも可能である。

以上添付された図面を参照して本発明の実施形態を説明したが、本発明が属する技術分野で通常の知識を有する者は本発明がその技術的思想や必須の特徴を変更せず、他の具体的な形態で実施され得るということを理解できるであろう。したがって以上で記述した実施形態はすべての面で例示的なものであり、限定的ではないことと理解しなければならない。

フレーム率アップサンプリングの概念を簡略に示す図である。 本発明の一実施形態によるフレーム率アップコンバート装置の構成を図示するブロック図である。 Ｈ．２６４による多様なサイズを有する可変ブロックの例を示す図である。 多重フレーム参照の概念を示す図である。 本発明の一実施形態によるデコーダの構成を示すブロック図である。 本発明の一実施形態による動きベクトルリサンプリング部の構成をより詳しく図示するブロック図である。 ブロックサイズの規準化の一例を示す図である。 規準化されたブロックサイズより大きいブロックを規準化されたブロックサイズで分割する例を示す図である。 ベクトルメディアン演算の評価のために使用されるブロックを選択する例を示す図である。 本発明の一実施形態によるフィルタリング過程のうち加重値を割り当てる例を示す図である。 評価のためのブロックの種類およびサイズに応じ互いに異なる加重値が設定される例を示す図である。 固定されたカーネルサイズが使用する例を示す図である。 本発明の一実施形態による検証技法を示すグラフである。

符号の説明

１００ フレーム率アップコンバート装置
２００ デコーダ
２１０ エントロピ復号化部
２２０ 逆量子化部
２３０ 逆変換部
２４０ バッファ
２３５ 加算器
２５０、４００ 動き補償部
３００ 動きベクトルリサンプリング部
３１０ 動きベクトル定規化部
３２０ ブロックサイズ規準化部
３３０ 動きベクトル計算部
３４０ 動きベクトル検証部
３５０ 動きベクトル挿入部
５００ スイッチ

Claims (36)

1. ビデオデコーダで復元された動き情報および復元されたフレームを利用して、補間フレームを生成することによって前記復元されたフレームのフレーム率をアップコンバートする装置であって、
   前記復元されたフレームにおいて現在ブロックの動きベクトルおよび前記現在ブロックの周辺ブロックの動きベクトルを利用して前記現在ブロックの動きベクトルをフィルタリングすることによって前記補間フレームのための動きベクトルをリサンプリングする動きベクトルリサンプリング部と、
   前記リサンプリングされた動きベクトルによって前記復元されたフレームを動き補償することによって前記補間フレームを生成する動き補償部、および
   フレームの時間的順序に応じ前記復元されたフレームおよび前記補間フレームのうち一つを選択して出力するスイッチを含むフレーム率アップコンバート装置。
2. 前記動きベクトルリサンプリング部は、
   前記復元されたフレームにおいて現在ブロックの動きベクトルおよび前記現在ブロックの周辺ブロックの動きベクトルを利用して前記現在ブロックの動きベクトルをフィルタリングする動きベクトル計算部を含む、請求項１に記載のフレーム率アップコンバート装置。
3. 前記動きベクトルリサンプリング部は、
   前記フィルタリングされた動きベクトルの有効性を検証する動きベクトル検証部をさらに含む、請求項２に記載のフレーム率アップコンバート装置。
4. 前記動きベクトルリサンプリング部は、
   前記動き情報に含まれた動きベクトルを参照フレームオフセットによって、定規化する動きベクトル定規化部をさらに含む、請求項２に記載のフレーム率アップコンバート装置。
5. 前記動きベクトルリサンプリング部は、
   前記定規化された動きベクトルを有するブロックを所定のブロックサイズで規準化するブロックサイズ規準化部をさらに含む、請求項４に記載のフレーム率アップコンバート装置。
6. 前記ブロックサイズ規準化部は、
   前記ブロックサイズより小さいブロックを前記ブロックサイズの代表ブロックで併合する請求項５に記載のフレーム率アップコンバート装置。
7. 前記動きベクトルリサンプリング部は、
   前記有効性を検証した結果、有効ではないものと判断されるブロックの動きベクトルを周辺の有効な動きベクトルを利用して決定された動きベクトルに代替する動きベクトル挿入部をさらに含む、請求項３に記載のフレーム率アップコンバート装置。
8. 前記動きベクトル計算部は、
   前記現在ブロックの動きベクトルおよび前記周辺ブロックの動きベクトルの入力を受け、ベクトルメディアン演算を計算することによって前記現在ブロックの動きベクトルをフィルタリングする、請求項３に記載のフレーム率アップコンバート装置。
9. 前記動きベクトル計算部は、
   前記ベクトルメディアン演算において、前記現在ブロックサイズおよび周辺ブロックサイズにともなう加重値を適用する、請求項８に記載のフレーム率アップコンバート装置。
10. 前記動きベクトル計算部は、
    前記ベクトルメディアン演算において、前記現在ブロックおよび周辺ブロックが形成するカーネル内への位置にともなう加重値を適用する、請求項９に記載のフレーム率アップコンバート装置。
11. 前記動きベクトル計算部は、
    前記ベクトルメディアン演算において、前記現在ブロックの参照フレームオフセットおよび前記周辺ブロックのオフセットにともなう加重値を適用する、請求項１０に記載のフレーム率アップコンバート装置。
12. 前記動きベクトル検証部は、
    特定メディアンセットのサイズにおいて、メディアン合計（ｍｅｄｉａｎ ｓｕｍ）が所定の検証関数より小さい時、前記現在ブロックのフィルタリングされた動きベクトルを有効であるものと判断する、請求項８に記載のフレーム率アップコンバート装置。
13. 前記動きベクトル計算部は、
    現在ブロックの動きベクトル、周辺ブロックの動きベクトルおよび以前補間フレームのうち前記現在ブロックと対応される位置のブロックを使用して前記現在ブロックの動きベクトルをフィルタリングする、請求項２に記載のフレーム率アップコンバート装置。
14. 前記ベクトルメディアン演算は、
    

    

    によって遂行され、前記Ｍはフィルタリングされた動きベクトルに対応される候補動きベクトルの数、前記Ｎは前記動きベクトル計算部が前記動きベクトルをフィルタリングするために使用する評価ブロックの数、
    

    

    は前記候補動きベクトルを含み評価に使用される動きベクトル、
    

    

    はベクトルメディアン演算の結果、すなわち現在ブロックのフィルタリングされた動きベクトルを各々示し、添字ｘ、ｙは各々ｘ方向およびｙ方向、そして
    

    

    は多様な加重値を意味する、請求項９に記載のフレーム率アップコンバート装置。
15. 前記動きベクトル計算部は、
    第１ブロックに第１加重値を適用し、第２ブロックに前記第１加重値より小さい第２加重値を適用する、請求項９に記載のフレーム率アップコンバート装置。
16. ビデオデコーダで復元された動き情報および復元されたフレームを利用して補間フレームを生成することによって前記復元されたフレームのフレーム率をアップコンバートする方法であって、
    前記復元されたフレームで現在ブロックの動きベクトルおよび前記現在ブロックの周辺ブロックの動きベクトルを利用して前記現在ブロックの動きベクトルをフィルタリングすることによって前記補間フレームのための動きベクトルをリサンプリングする段階と、
    前記リサンプリングされた動きベクトルによって、前記復元されたフレームを動き補償することによって前記補間フレームを生成する段階、および
    フレームの時間的順序に応じ前記復元されたフレームおよび前記補間フレームのうちから一つを選択して出力する段階を含むフレーム率アップコンバート方法。
17. 前記リサンプリングする段階は、
    前記復元されたフレームで現在ブロックの動きベクトルおよび前記現在ブロックの周辺ブロックの動きベクトルを利用して前記現在ブロックの動きベクトルをフィルタリングする段階を含む、請求項１６に記載のフレーム率アップコンバート方法。
18. 前記リサンプリングする段階は、
    前記フィルタリングされた動きベクトルの有効性を検証する段階をさらに含む、請求項１７に記載のフレーム率アップコンバート方法。
19. リサンプリングする段階は、
    前記動き情報に含まれた動きベクトルを参照フレームオフセットによって定規化する段階をさらに含む、請求項１７に記載のフレーム率アップコンバート方法。
20. 前記リサンプリングする段階は、
    前記定規化された動きベクトルを有するブロックを所定のブロックサイズで規準化する段階をさらに含む、請求項１９に記載のフレーム率アップコンバート方法。
21. 前記規準化する段階は、
    前記ブロックサイズより小さいブロックを前記ブロックサイズの代表ブロックに併合する段階を含む、請求項２０に記載のフレーム率アップコンバート方法。
22. 前記リサンプリングする段階は、
    前記有効性を検証した結果、有効ではないものと判断されるブロックの動きベクトルを周辺の有効な動きベクトルを利用して決定された動きベクトルに変える段階をさらに含む、請求項１８に記載のフレーム率アップコンバート方法。
23. フィルタリングする段階は、
    前記現在ブロックの動きベクトルおよび前記周辺ブロックの動きベクトルの入力を受け、ベクトルメディアン演算を計算することによって前記現在ブロックの動きベクトルをフィルタリングする段階を含む、請求項１７に記載のフレーム率アップコンバート方法。
24. フィルタリングする段階は、
    前記ベクトルメディアン演算において、前記現在ブロックサイズおよび周辺ブロックサイズにともなう加重値を適用する段階を含む、請求項２３に記載のフレーム率アップコンバート方法。
25. フィルタリングする段階は、
    前記ベクトルメディアン演算において、前記現在ブロックおよび周辺ブロックが形成するカーネル内への位置にともなう加重値を適用する段階を含む、請求項２４に記載のフレーム率アップコンバート方法。
26. フィルタリングする段階は、
    前記ベクトルメディアン演算において、前記現在ブロックの参照フレームオフセットおよび前記周辺ブロックのオフセットにともなう加重値を適用する段階を含む、請求項２５に記載のフレーム率アップコンバート方法。
27. 前記検証する段階は、
    特定メディアンセットのサイズにおいて、メディアン合計（ｍｅｄｉａｎ ｓｕｍ）が所定の検証関数より小さい時、前記現在ブロックのフィルタリングされた動きベクトルを有効なことに判断する段階を含む、請求項２３に記載のフレーム率アップコンバート方法。
28. 前記現在ブロックの動きベクトルをフィルタリングする段階は、
    現在ブロックの動きベクトル、周辺ブロックの動きベクトルおよび以前補間フレームのうち前記現在ブロックと対応される位置のブロックを使用して、前記現在ブロックの動きベクトルをフィルタリングする段階を含む、請求項１７に記載のフレーム率アップコンバート方法。
29. 前記ベクトルメディアン演算は、
    

    

    によって遂行され、前記Ｍはフィルタリングされた動きベクトルに対応される候補動きベクトルの数、前記Ｎは前記動きベクトル計算部が前記動きベクトルをフィルタリングするために使用する評価ブロックの数、
    

    

    は前記候補動きベクトルを含み評価に使用される動きベクトル、
    

    

    はベクトルメディアン演算の結果、すなわち現在ブロックのフィルタリングされた動きベクトルを各々示し、添字ｘ、ｙは各々ｘ方向およびｙ方向、そして
    

    

    は多様な加重値を意味する、請求項２４に記載のフレーム率アップコンバート方法。
30. 前記加重値を適用する段階は、
    第１ブロックに第１加重値を適用し、第２ブロックが前記第１加重値より小さい第２加重値を適用する段階を含む、請求項２４に記載のフレーム率アップコンバート方法。
31. 第１６項が方法を遂行するためのプログラムが記録されたコンピュータ判読可能記録媒体。
32. ビデオストリームから復元された動き情報および復元されたフレームを利用して補間フレームを生成することによって前記復元されたフレームのフレーム率をアップコンバートする装置であって、
    ビデオストリームからビデオストリームのフレームおよび動き情報を復元するデコーダと、
    前記復元されたフレームにおいて現在ブロックの動きベクトルおよび前記現在ブロックの周辺ブロックの動きベクトルを利用して前記現在ブロックの動きベクトルをフィルタリングすることによって前記補間フレームのための動きベクトルをリサンプリングする動きベクトルリサンプリング部と、
    前記リサンプリングされた動きベクトルによって、前記復元されたフレームを動き補償することによって前記補間フレームを生成する動き補償部、および
    フレームの時間的順序にともない前記復元されたフレームおよび前記補間フレームのうちから一つを選択して出力するスイッチを含むフレーム率アップコンバート装置。
33. 前記動きベクトルリサンプリング部は、
    前記復元されたフレームで現在ブロックの動きベクトルおよび前記現在ブロックの周辺ブロックの動きベクトルを利用して、前記現在ブロックの動きベクトルをフィルタリングする動きベクトル計算部を含む、請求項３２に記載のフレーム率アップコンバート装置。
34. 前記動きベクトル計算部は、
    前記現在ブロックの動きベクトルおよび前記周辺ブロックの動きベクトルの入力を受け、ベクトルメディアン演算を計算することによって前記現在ブロックの動きベクトルをフィルタリングする、請求項３３に記載のフレーム率アップコンバート装置。
35. 前記動きベクトル計算部は、
    前記ベクトルメディアン演算において、前記現在ブロックと前記各周辺ブロックサイズにともなう加重値を適用する、請求項３４に記載のフレーム率アップコンバート装置。
36. 前記デコーダは、
    ビデオストリームから動き情報とコーディングされた残差を抽出して無損失復号化を遂行するエントロピ復号化部と、
    量子化過程で使用されたものと同一な量子化テーブルを利用して前記量子化過程で生成されたインデックスからそれがマッチングされる値を復元して前記残差を逆量子化する逆量子化部と、
    エンコーダでの変換過程と逆に遂行されて前記逆量子化された残差に対して逆変化を遂行する逆変換部、および
    前記抽出された動き情報を利用して予測信号を生成する動き補償部を含む、請求項３２に記載のフレーム率アップコンバート装置。

Images