JP2009510934A - ウェーブレット変換マルチメディア符号化における補間技術 - Google Patents

Abstract

この開示は、ウェーブレット変換符号化方式の中のフレーム補間技術を説明している。フレーム補間は、ウェーブレット変換符号化方式にしたがって符号化された２つの連続低周波フレーム間に１つ以上の補間されたフレームを生成するのに使用され得る。このような補間は、ウェーブレット変換によって符号化されたマルチメディア系列のフレームレートを高めるのに有益であり得る。さらに、この技術は、失われたフレーム（例えば、無線送信中に失われ得るフレーム）を補間するのに使用され得る。
【選択図】 図１

Description

米国特許法第１１９条のもとでの優先権の主張
本特許出願は、２００５年９月２７日に出願され、本発明の譲受人に譲渡され、それによって参照によって本明細書に明示的に取り入れられた仮出願第６０／７２１，４３６号に対して優先権を主張している。

本開示は、マルチメディアの符号化および復号、より詳しくは、ウェーブレット変換符号化方式に対する復号技術に関する。

多数の種々のマルチメディア符号化技術および標準が、ディジタルのマルチメディア系列（multimedia sequence）を符号化するために確立された。多くの現在の技術は、ブロックに基づく符号化を使用している。ブロックに基づく符号化では、マルチメディア系列のフレームは、ディスクリートなデータブロックに分割され、ブロックは、他のブロックとの差に基づいて符号化される。

動き（motion）に基づくブロック符号化技術は、動きベクトル（motion vector）を使用して、マルチメディアフレームのブロックを、マルチメディア系列中の他のフレームのブロック内の画素に対する動きに基づいて符号化する。動きベクトルは、現在のマルチメディアブロックを符号化するのに使用された異なるフレームのブロックを識別する。このような動きベクトルを使用することによって、マルチメディア系列を伝えるのに必要とされる情報は、符号化された現在のブロックと動きベクトルによって識別される予測ブロックとの間の差を示す差情報を送ることによって低減することができる。

幾つかの空間に基づく符号化技術も、ブロック符号化技術に依存する。とくに、空間に基づく符号化は、所与のフレーム内のブロックを使用して、符号化されるそれぞれのブロックを予測し得る。さらに、離散コサイン変換(discrete cosine transform, DCT)技術は、通常、画素のブロックに対して動作する。ＤＣＴ技術は、画像およびビデオ圧縮にしばしば使用され、単独で、または他のブロックに基づく符号化技術と共に使用され得る。

ウェーブレット変換符号化は、ＤＣＴ技術のようなブロックに基づく符号化技術に対する１つの実行可能な代わりとなるもの（alternative）である。ウェーブレット変換符号化は、離散ウェーブレット変換(Discrete Wavelet Transform, DWT)と呼ばれることもある。ウェーブレット変換符号化を使用するビデオまたは画像のマルチメディアの圧縮は、ＤＣＴ符号化でよく示されるブロッキネスのアーチファクト（blockiness artifacts）（タイリング（tiling）と呼ばれることもある）を取り除くことができる。さらに、とくにピーク信号対雑音比(Peak Signal to Noise Ratio, PSNR)または平均二乗誤差(Mean Squared Error, MSE)のメトリクスを使用して評価されるときは、ウェーブレットに基づくマルチメディア圧縮は、ブロックに基づくＤＣＴ圧縮よりも性能が優れていることが多い。さらに、ウェーブレットに基づく符号化を用いて圧縮されたマルチメディアフレームまたは画像の主観的品質（subjective quality）は、同じ圧縮比において、ブロックＤＣＴ方法よりも優れているように思われ得る。

発明の概要

この開示は、ウェーブレット変換符号化方式の中のフレーム補間技術を説明している。フレーム補間技術は、ウェーブレット変換符号化方式にしたがって符号化された２つの連続フレームまたは２つの連続低周波フレームの間に、１つ以上の補間されたフレームを生成するのに使用され得る。このような補間は、いわゆるフレームレート アップコンバーション(frame rate up-conversion, FRUC)を提供し、ウェーブレット変換によって符号化されたマルチメディア系列の有効フレームレートを高めるのに有益であり得る。さらに、この技術は、失われたフレーム（例えば、無線送信中に失われ得るフレーム）を補間するのに使用され得る。

この開示の技術は、高周波成分の１つ以上が送信中に失われるときに、そうでなければ失われたであろうフレームを補間するのに非常に有益であり得る。マルチレベルウェーブレット変換符号化が使用されるとき、例えば、幾つかの元のフレームは、１つの低周波成分、幾つかの高周波成分、および動き領域（motion field）として表わされ得る。低周波成分は、高周波成分よりも多くのビットを用いて符号化され、より大きい電力で送信され、受信を確実にすることができる。高周波成分が送信中に失われたまたは損なわれた場合、失われたフレームの補間を使用することができるので、このような高周波成分は、より低い確かさで符号化または送信されてもよい。

幾つかの実施形態において、この開示は、マルチメディア系列の符号化されたフレームに関連するウェーブレット情報を受信することと、マルチメディア系列の符号化されたフレームを復号することと、ウェーブレット情報に基づいて、復号されたフレーム間に１つ以上の追加のフレームを補間することとを含む方法を与える。

幾つかの実施形態において、この開示は、マルチメディア系列の符号化されたフレームに関連するウェーブレット情報を受信する受信機と、マルチメディア系列の符号化されたフレームを復号し、ウェーブレット情報に基づいて、復号されたフレーム間に１つ以上の追加のフレームを補間する復号器とを含む装置を与える。

幾つかの実施形態において、この開示は、ウェーブレット変換符号化方式にしたがってウェーブレット情報によって符号化されたマルチメディア系列のフレームを復号し、ウェーブレット情報に基づいて、復号されたフレーム間に１つ以上の追加のフレームを補間するように構成されたプロセッサを与える。

幾つかの実施形態において、この開示は、マルチメディア系列の符号化されたフレームに関連するウェーブレット情報を受信する手段と、マルチメディア系列の符号化されたフレームを復号する手段と、ウェーブレット情報に基づいて、復号されたフレーム間に１つ以上の追加のフレームを補間する手段とを含む装置を与える。

本明細書に説明された技術は、ハードウェア、ソフトウェア、ファームウェア、またはそれの任意の組合せにおいて実施され得る。ソフトウェアにおいて実施されるときは、ソフトウェアは、ディジタル信号プロセッサ(digital signal processor, DSP)または他のタイプのプロセッサにおいて実行され得る。この技術を実行するソフトウェアは、最初にコンピュータ読み出し可能媒体のような機械読み出し可能媒体に記憶され、プロセッサまたは他の機械にロードされて実行され、本明細書に説明されているように遷移結果（transitional effect）のビデオの符号化または復号を可能にし得る。

したがって、この開示は、命令を含む機械読み出し可能媒体であって、命令は、実行されると、機械に、マルチメディア系列の符号化されたフレームに関連するウェーブレット情報を受信することと、マルチメディア系列の符号化されたフレームを復号することと、ウェーブレット情報に基づいて、復号されたフレーム間に１つ以上の追加のフレームを補間することとをさせる、機械読み出し可能媒体をさらに考える。

１つ以上の実施形態の詳細は、添付の図面および以下の説明に示されている。他の特徴、目的、および長所は、説明および図面から、並びに請求項から明らかになるであろう。

詳細な説明

この開示は、ウェーブレット変換符号化方式の中のフレーム補間技術を説明している。ウェーブレット変換符号化は、離散コサイン変換(discrete cosine transform, DCT)技術のようなブロックに基づく符号化技術に代わるものであり、多くの場合に、ブロックに基づくＤＣＴ圧縮よりも性能が優れている。ウェーブレットに基づく符号化は、マルチメディア系列の連続フレームを結合して、低周波および高周波のウェーブレット成分(“サブバンドフレーム”と呼ばれることもある)を生成することに関わる。低周波成分および高周波成分は、ウェーブレット変換符号化方式にしたがってマルチメディアフレームを符号化するのに使用することができる低周波および高周波のウェーブレット情報の例である。

とくに、低周波ウェーブレット情報は、符号化されたフレームの粗いまたは低い時間分解能のバージョン（coarse or low temporal resolution version）であり、通常、符号化された２つのフレームの平均画素値として表わされる。高周波ウェーブレット情報は、符号化されたフレームの追加の詳細を与え、通常、符号化されたフレームの画素間の差として表わされる。２つの連続フレームに対するウェーブレットに基づく符号化情報は、低周波ウェーブレット情報、高周波ウェーブレット情報、および２つの連続フレームの画素間の動きを示す動き領域（motion field）を含む。

多くの場合に、ウェーブレット変換符号化プロセスは、複数のレベルで繰り返され、符号化プロセスの各それぞれのレベルにおいて２つの連続低周波サブバンドフレームに対して適用される。マルチレベルウェーブレット変換符号化が使用されるとき、例えば、幾つかの元のフレームは、１つの低周波成分、幾つかの高周波成分、および動き領域として表わされ得る。

この開示にしたがって、フレーム補間は、２つの連続フレームまたは２つの連続低周波フレーム間に１つ以上の追加の補間されたフレームを生成するために、ウェーブレットに基づく復号プロセス中に使用される。補間は、いわゆるフレームレート アップコンバーション(frame rate up-conversion, FRUC)を支援して、ウェーブレット変換によって符号化されたマルチメディア系列の有効フレームレートを高めるのに有益であり得る。さらに、この技術は、失われたフレーム（例えば、無線送信中に失われ得るフレーム）を補間するのに使用され得る。再び言うが、マルチレベルウェーブレット変換符号化が使用されるとき、幾つかの元のフレームは、１つの低周波成分、幾つかの高周波成分、および動き領域として表われされ得る。この場合、この開示の技術は、高周波成分の１つ以上が送信中に失われるときに、そうでなければ失われたであろうフレームを補間するのに非常に有益であり得る。

図１は、この開示にしたがってウェーブレット変換符号化技術を実施し得るビデオ符号化および復号システム10を示すブロック図である。示されているように、システム10はビデオ符号器デバイス２およびビデオ復号器デバイス４を含む。符号化されたマルチメディア系列は、ビデオ符号器デバイス２からビデオ復号器デバイス４に通信チャネル５によって送信され得る。この目的のために、ビデオ符号器デバイス２およびビデオ復号器デバイス４は、送信機12および受信機16をそれぞれ含み、このような通信を助ける。通信は、有線または無線通信であり得る。

例えば、ビデオ符号器デバイス２は、ビデオの１本以上のチャネルを無線加入者デバイスに放送するのに使用される放送ネットワークデバイスの一部を形成し得る。この場合に、ビデオ符号器デバイス２は、符号化されたデータを幾つかのビデオ復号器デバイス(すなわち、放送サービスの多くの加入者)に送信し得る。しかしながら、単純化のために、１つのビデオ復号器デバイス４が図１に示されている。ビデオ符号器デバイス２およびビデオ復号器デバイス４は、１つ以上のプロセッサ、ディジタル信号プロセッサ、特定用途向け集積回路(application specific integrated circuits, ASIC)、フィールド プログラマブル ゲート アレイ(field programmable gate arrays, FPGA)、ディスクリートロジック、ソフトウェア、ハードウェア、ファームウェア、またはその任意の組合せとして実施され得る。

ビデオ符号器デバイス２の例は、符号化されたビデオデータを放送するのに使用される任意のインフラストラクチャ ノードまたは無線基地局を含み得る。他方で、ビデオ復号器デバイス４は、符号化されたビデオを受信するユーザデバイスを含み得る。一例として、ビデオ復号器デバイス４は、ディジタルテレビジョン、無線通信デバイス、ポータブル ディジタル アシスタント(portable digital assistant, PDA)、ラップトップ コンピュータ、またはデスクトップ コンピュータ、ディジタル音楽およびビデオデバイス、例えば、商標“ｉＰｏｄ”のもとで販売されているもの、あるいは無線電話（radiotelephone）、例えば、セルラ、衛星、または地上波に基づく無線電話の一部として実施され得る。他の例において、ビデオ符号器デバイス２およびビデオ復号器デバイス４の両者は、テレビ電話（video telephony）、等によってこのようなデバイス間でビデオデータを通信するユーザデバイスを含み得る。

システム10において示されている構成要素は、本明細書に説明されている技術を実施するのに適用可能なものの例であるが、符号器デバイス２および復号器デバイス４は、所望であれば、多くの他の構成要素を含み得る。さらに、この開示の技術は、システム10または放送システムのようなシステムにおいて使用するように必ずしも限定されているわけではない。この技術は、ウェーブレット変換符号化技術がマルチメディア系列を符号化するのに使用される任意のビデオ符号化環境における適用を見付け得る。

図１に示されているように、ビデオ符号器デバイス２はウェーブレット変換コーデック（CODEC）14を含み、これはマルチメディア系列のウェーブレット変換符号化を行う。マルチメディア系列は、最初にメモリ位置（memory location）に記憶され得る。記憶位置は、単純化のために図１には示されていない。このようなメモリは、ビデオ符号器デバイス２の一部であるか、またはビデオ符号器デバイス２にマルチメディア系列を与える外部メモリであり得る。ウェーブレット変換コーデック14によって符号化されるマルチメディア系列は、放送として符号化され送信される生の実時間のビデオまたはビデオおよびオーディオの系列を含むか、あるいは放送としてまたはオンデマンドで符号化され送信される予め記録され記憶されたビデオまたはビデオおよびオーディオの系列を含み得る。

ウェーブレット変換コーデック14は、マルチメディア系列のフレームに対して１つ以上のレベルのウェーブレット変換符号化を実施し得る。とくに、ウェーブレット変換コーデック14は、マルチメディア系列の連続フレームを結合して、低周波成分および高周波成分（サブバンドフレーム）を生成する。低周波成分(低周波サブバンドフレーム)は、符号化されたフレームの粗いまたは低い時間分解能のバージョンであり、通常、符号化された２つの連続フレームの平均画素値として表わされる。高周波成分(高周波サブバンドフレーム)は、符号化されたフレームの追加の詳細を与え、通常、符号化された２つの連続フレームの画素間の差として表わされる。ウェーブレット変換コーデック14は、低周波成分、高周波成分、および２つの連続フレームの画素間の動きを示す動き領域を生成する。さらに、幾つかの場合において、ウェーブレット変換コーデック14は、複数のレベルでウェーブレット符号化プロセスを繰り返し、符号化プロセスの各それぞれのレベルにおいて、２つの連続低周波サブバンドフレームに対してこのプロセスを適用する。マルチレベルウェーブレット変換符号化が使用されるとき、例えば、幾つかの元のフレームは、１つの低周波成分、幾つかの高周波成分、および動き領域として表わされ得る。

ウェーブレット変換コーデック14は、高周波成分よりも多くのビットを用いて低周波成分を符号化し得る。さらに、送信機12は、高周波成分よりも大きい電力を用いて低周波成分をチャネル５によって送信し得る。この開示の技術は、高周波成分の１つ以上がこのような送信中に失われるときに、そうでなければ失われたであろうフレームを補間するのに非常に有益であり得る。この開示の技術は、元のフレーム間にフレームを補間し、符号器における元のマルチメディア系列よりも高いフレームレートで、復号器においてマルチメディア出力を得るのにも非常に有益であり得る。

ビデオ復号器デバイス４の受信機16は、ウェーブレット変換符号化方式にしたがってマルチメディア系列のフレームを符号化するウェーブレット情報を受信する。次に、ウェーブレット変換コーデック18は、ウェーブレット情報に基づいてマルチメディア系列のフレームを復号する。とくに、ウェーブレット変換コーデック18は、フレームを復号し、ウェーブレット変換コーデック14によって符号化された元のフレームを再構成する。この開示によると、ウェーブレット変換コーデック18は補間ユニット15を含んでいる。復号プロセス中に、補間ユニット15は、ウェーブレット情報に基づいて、復号されたフレームまたは復号された低周波フレーム間に１つ以上の追加のフレームを補間する。この復号および補間プロセスの追加の詳細は、別途記載する。

図２は、ウェーブレット変換符号化の概念を示す概念図である。このようなウェーブレットに基づく符号化は、符号化側ではウェーブレット変換コーデック14によって、復号側ではウェーブレットに基づく変換コーデック18によって実行され得る。より具体的には、図２は、３段階の動き補償時間フィルタリング（motion compensated temporal filtering, MCTF)20を示しており、これは、オクターブに基づく４つの帯域の分解を生成する。プロセスは、ウェーブレットに基づく符号化において一般的であるハーフィルタ（Harr filter）、等を使用し得る。

図２の説明（notation）は次の通りである。フレームｔ−１、ｔ−２、ｔ−３、ｔ−４、ｔ−５、ｔ−６、ｔ−７、およびｔ−８は、符号化されたビデオ系列の時間的に隣り合うフレーム（temporally adjacent frame）を表わしている。分解のこの第１のレベルにおけるフレーム間の動きについて、動き領域は図２に示されていない。フレームｔ−Ｌ１およびｔ−Ｈ１は、フレームｔ−１およびｔ−２のウェーブレットに基づく符号化に関連する低周波成分および高周波成分を表わす。フレームｔ−Ｌ２およびｔ−Ｈ２は、フレームｔ−３およびｔ−４のウェーブレットに基づく符号化に関連する低周波成分および高周波成分を表わす。フレームｔ−Ｌ３およびｔ−Ｈ３は、フレームｔ−５およびｔ−６のウェーブレットに基づく符号化に関連する低周波成分および高周波成分を表わす。フレームｔ−Ｌ４およびｔ−Ｈ４は、フレームｔ−７およびｔ−８のウェーブレットに基づく符号化に関連する低周波成分および高周波成分を表わす。

符号化の第２のレベルにおいて、フレームｔ−ＬＬ１およびｔ−ＬＨ１は、サブバンドフレームｔ−Ｌ１およびｔ−Ｌ２のウェーブレットに基づく符号化に関連する低周波成分および高周波成分を表わす。ラベル“ｍｆ２”は、フレームｔ−Ｌ１とｔ−Ｌ２との間の動き領域を示す。フレームｔ−ＬＬ２およびｔ−ＬＨ２は、サブバンドフレームｔ−Ｌ３およびｔ−Ｌ４のウェーブレットに基づく符号化に関連する低周波成分および高周波成分を表わす。ラベル“ｍｆ３”は、フレームｔ−Ｌ３とｔ−Ｌ４との間の動き領域を示す。

符号化フレームの第３のレベルにおいて、ｔ−ＬＬＬ１およびｔ−ＬＬＨ１は、サブバンドフレームｔ−ＬＬ１およびｔ−ＬＬ２のウェーブレットに基づく符号化に関連する低周波成分および高周波成分を表わす。ラベル“ｍｆ１”は、フレームｔ−ＬＬ１とｔ−ＬＬ２との間の動き領域を示す。

図２に示されている３段階のＭＣＴＦ20では、フレームｔ−１ないしｔ−８の符号化プロセスにおいて、８個の時間サブバンドフレーム（temporal sub-band frame）、すなわち、１つのｔ−ＬＬＬフレーム、１つのｔ−ＬＬＨフレーム、２つのｔ−ＬＨフレーム、および４つのｔ−Ｈフレームが生成され送信される。７個の動き領域、すなわち、ｔ−ＬＬ１とｔ−ＬＬ２との間の動き領域ｍｆ１、ｔ−Ｌ１とｔ−Ｌ２との間の動き領域ｍｆ２、ｔ−Ｌ３とｔ−Ｌ４との間の動き領域ｍｆ３、第１のレベルの分解における４つの他の動き領域（これらは単純化のためにラベルを付けられていない）がある。したがって、３段階のウェーブレット符号化を用いてフレームｔ−１ないしｔ−８を符号化するために、ウェーブレット情報は、１つの低周波成分と７つの異なる高周波成分とを含む。

各レベルにおいて、全ての２つの連続フレームまたは２つの連続低周波フレームに対して、ハーフィルタリングは、次のように行われ得る。

なお、Ｌ[ｍ，ｎ]およびＨ[ｍ，ｎ]は、時間の（temporal）低周波および高周波のフレームであり、Ａ[ｍ，ｎ]およびＢ[ｍ，ｎ]は、第１および第２のフレームであり、（ｄ_ｍｄ_ｎ）は、動きベクトルである。

分解は、符号化プロセスにおけるトップダウン手順（top-down procedure）であり、一方で再構成は、復号プロセスにおけるボトムアップ手順（bottom-up procedure）である。

動き情報は、ＭＣＴＦにおいて重要な役割を果たす。時間フィルタリング（temporal filtering）は、動きの軌跡（motion trajectory）に沿って行われる。ＭＣＴＦ中に符号器によって使用される動き情報は、復号器において必要とされる。

この開示にしたがう補間は、異なるレベルにおける動き領域にわたる冗長を利用している。例えば、ｍｆ１は、ｍｆ２の情報も含んでいる。このような冗長は、符号器支援のフレームレート アップコンバージョン(encoder assisted frame rate up conversion, EA-FRUC)に良いシナリオを与える。とくに、少なくとも１つの動き領域は、このような補間技術を使用して、別の動き領域から導き出すことができる。

図３は、この開示にしたがってウェーブレット変換復号技術を示すフローチャートを示している。図３に示されているように、受信機16は、マルチメディア系列の符号化されたフレームに関連するウェーブレット情報を受信する(31)。ウェーブレット情報は、例えば、マルチメディア系列のフレームを符号化する情報であり、低周波ウェーブレット情報、高周波ウェーブレット情報、および動き情報を含み得る。既に記載したように、低周波ウェーブレット情報は、１つ以上の低周波サブバンドフレームを含み、高周波ウェーブレット情報よりも多くのビットおよび大きいエネルギを使用して送られ、低周波ウェーブレット情報の送信を保証し得る。

高周波ウェーブレット情報も、サブバンドフレーム、すなわち、１つ以上の高周波サブバンドフレームを含み得る。高周波情報が比較的に重要でない（less essential）とき、高周波ウェーブレット情報は、低周波ウェーブレット情報よりも少ないビットおよび／または少ないエネルギを用いて送られてもよく、補間が、１つ以上の欠落した（missing）高周波サブバンドフレームに対処することができる。動き情報は、２つの連続低周波フレームおよび／またはサブバンドフレーム間の動きを示す動き領域を含み得る。

ウェーブレット情報が受信されると(31)、ウェーブレット変換コーデック18はマルチメディア系列の符号化されたフレームを復号する(32)。とくに、(図２を参照すると)受信機16は、ｔ−ＬＬＬ１、ｔ−Ｈ１、ｔ−ＬＨ１、ｔ−Ｈ２、ｔ−ＬＬＨ１、ｔ−Ｈ３、ｔ−ＬＨ２、ｔ−Ｈ４、および動き領域を受信し得る。ウェーブレット変換コーデック18は、ｔ−ＬＬＬ１およびｔ−ＬＬＨ１に基づいてｔ−ＬＬ１およびｔ−ＬＬ２を生成し、ｔ−ＬＬ１およびｔ−ＬＨ１に基づいてｔ−Ｌ１およびｔ−Ｌ２を生成し、ｔ−ＬＬ２およびｔ−ＬＨ２に基づいてｔ−Ｌ３およびｔ−Ｌ４を生成し得る。ウェーブレット変換コーデック18は、さらに、ｔ−Ｌ１およびｔ−Ｈ１に基づいてｔ−１およびｔ−２を生成し、ｔ−Ｌ２およびｔ−Ｈ２に基づいてｔ−３およびｔ−４を生成し、ｔ−Ｌ３およびｔ−Ｈ３に基づいてｔ−５およびｔ−６を生成し、ｔ−Ｌ４およびｔ−Ｈ４に基づいてｔ−７およびｔ−８を生成し得る。

次に、ウェーブレット変換コーデック18の補間ユニット15は、ウェーブレット情報に基づいて、復号されたフレーム間に１つ以上の追加のフレームを補間する(33)。この補間は、１つ以上の欠落したフレームを生成するか、または追加のフレームを取り入れて、復号されたマルチメディア系列における有効フレームレートを高めるために行われ得る。例えば、ｔ−Ｈ１、ｔ−ＬＨ１、またはｔ−Ｈ２の何れも受信されなかったときは、ｔ−ＬＬ１とｔ−ＬＬ２との間の補間を使用して、ｔ−２、ｔ−３、およびｔ−４を再構成することができる。その代わりに、補間は、例えば、ｔ−１とｔ−２との間、ｔ−２とｔ−３との間、ｔ−３とｔ−４との間、等に追加のフレームを生成するのに使用されることができる。

一般に、補間ユニット15は、２つの復号された低周波フレームと、２つの復号された低周波フレーム間の動きを表わす動きの軌跡（motion trajectory）とに基づいて、１つ以上の低周波フレームを補間し得る。幾つかの場合において、１つ以上の追加のフレームが、２つの時間的に隣り合う復号されたフレーム間に補間される。このように、任意の数のフレームが補間され得る。補間プロセスにおいて、１つ以上の追加のフレームに対する画素値は、２つの時間的に隣り合う復号されたフレームの画素間の動きの軌跡に基づいて生成される。動き領域において具体化される動き情報は、２つの時間的に隣り合う復号されたフレームの画素間の動きの軌跡を与える。動きの軌跡は、通常は、２つの時間的に隣り合う復号されたフレーム間において、線形であるが、この開示は線形補間に必ずしも限定されず、非線形補間にも拡張され得る。

補間は、時間的に隣り合う復号されたフレームの復号された画素に基づいて、補間されたフレームの全画素に対して行われ得る。言い換えると、補間は、２つの時間的に隣り合う復号されたフレームの復号された画素と、２つの時間的に隣り合う復号されたフレームの復号された画素間の動きの軌跡とに基づいて、１つ以上の追加のフレームの全画素を補間することを含み得る。

図４は、２つの低周波フレーム間に１つのフレームを補間することを含むウェーブレット変換復号を示す概念図である。この例では、図示されているように、低周波フレームはｔ−ＬＬ１およびｔ−ＬＬ２であり、これらはｔ−ＬＬＬ１およびｔ−ＬＬＨ１から生成することができる。動き領域“ｍｆ１”において具体化される動き情報を使用して、フレームｔ−ＬＬ２の画素45とフレームｔ−ＬＬ１の対応する画素46との間の線形の動きの軌跡48を定義する。この場合に、補間されたフレーム42のそのそれぞれの画素の補間は、動きの軌跡48に沿った画素44である。単純化のために、図４は、フレーム42の１つの画素(画素44)の補間を示している。しかしながら、実際には、フレーム42の全画素は、復号されたフレームｔ−ＬＬ１およびｔ−ＬＬ２内の対応する画素と、そのようなフレーム間の動きの軌跡とに基づいて、同様のやり方で補間され得る。

幾つかの場合において、幾つかのフレームが、復号されたフレーム、すなわち、２つ以上のフレーム間の動きの軌跡に沿って補間され得る。図５は、２つの低周波フレーム間に３つのフレームを補間することを含むウェーブレット変換復号を示す概念図である。所望であれば、追加のフレームをさらに補間することができる。

図５の例には、低周波フレームｔ−ＬＬ１およびｔ−ＬＬ２が示されており、これらはｔ−ＬＬＬ１およびｔ−ＬＬＨ１から生成される。動き領域“ｍｆ１”において具体化される動き情報は、フレームｔ−ＬＬ２の画素55とフレームｔ−ＬＬ１の対応する画素56との間の線形の動きの軌跡58を定義するのに使用される。この場合に、補間されたフレーム52A、52B、および52Cに対するそのそれぞれの画素の補間により、補間された画素54A、54B、および54Cがそれぞれ生成され、これらの全ては動きの軌跡58に沿っている。図４のように、図５は、フレームごとに１つのみの画素(フレーム52A、52B、および52Cに対して画素54A、54B、および54C)を補間することを示している。しかしながら、ここでも、フレーム52A、52B、および52Cの全ての画素は、復号されたフレームｔ−ＬＬ１およびｔ−ＬＬ２内の対応する画素と、このようなフレーム間の異なる画素によって定義される動きの軌跡とに基づいて、同様のやり方で補間されることができる。

図６は、この開示にしたがってウェーブレット変換符号化技術を実施し得るビデオ符号化および復号システムを示す別のブロック図である。図６に示されているように、システム60は、ビデオ符号器デバイス62およびビデオ復号器デバイス64を含んでいる。符号化されたマルチメディア系列は、ビデオ符号器デバイス62からビデオ復号器デバイス64に通信チャネル65によって送信される。通信チャネル65は、有線または無線であり得る。

ビデオ符号器デバイス62は、ウェーブレット変換符号化モジュール74を含み、これは、マルチメディア系列のウェーブレット変換符号化を行う。とくに、ウェーブレット変換符号化モジュール74は、例えば、マルチメディア系列の連続フレームを結合して、低周波および高周波成分(サブバンドフレーム)を生成することと、連続フレームの画素間の動きを示す動き領域とによって、マルチメディア系列のフレームに対するウェーブレット変換符号化の１つ以上のレベルを実施し得る。さらに、ウェーブレット変換符号化モジュール74は、複数のレベルにおいてウェーブレット符号化プロセスを繰り返し、符号化プロセスの各それぞれのレベルにおいて、２つの連続の低周波サブバンドフレームに対してこのプロセスを適用し得る。送信モジュール72は、符号化されたウェーブレット情報、例えば、１つ以上の低周波成分、１つ以上の高周波成分、および１つ以上の動き領域を、ビデオ復号デバイス64に送信する。ウェーブレット変換符号化モジュール74は、ウェーブレット変換符号化方式にしたがって符号化を行う符号器を含み得る。送信モジュール72は、情報を送信する送信機、または情報の送信および受信の両者を行うトランシーバを含み得る。

受信モジュール76は、ウェーブレット変換符号化方式にしたがってマルチメディア系列のフレームを符号化するのに使用されたウェーブレット情報を受信する。次に、ウェーブレット変換復号モジュール78は、ウェーブレット情報に基づいてマルチメディア系列のフレームを復号する。とくに、ウェーブレット変換復号モジュール78は、フレームを復号して、ウェーブレット変換符号化モジュール74によって符号化された元のフレームを再構成する。この開示によると、ウェーブレット変換復号モジュール78は、補間モジュール75を含む。したがって、復号プロセス中に、補間モジュール75は、ウェーブレット情報に基づいて、復号されたフレーム間に１つ以上の追加のフレームを補間する。この補間は、追加のフレームを加えて、復号されたビデオにおけるフレームレートを高めるか、またはウェーブレット情報の送信中に失われた１つ以上のフレームを補間し得る。ウェーブレット変換復号モジュール78は、ウェーブレット変換符号化方式にしたがって復号を行い、さらに、これに関連して補間モジュール75を介して補間技術を実施する復号器を含み得る。受信モジュール76は、情報を受信する受信機、または情報の送信および受信の両者を行うトランシーバを含み得る。

この開示にしたがって、送信手段は、送信機12（図１）または送信モジュール72（図６)を含み得る。同様に、受信手段は、受信機16(図１)または受信モジュール76（図６)を含み得る。ウェーブレット変換符号化手段は、ウェーブレット変換コーデック14（図１)または変換符号化モジュール74（図６)を含み得る。ウェーブレット変換復号手段は、ウェーブレット変換コーデック18（図１)または変換復号モジュール78（図６)を含み得る。補間手段は、補間ユニット15（図１)または補間モジュール75(図６)を含み得る。

多くの実施形態は、ウェーブレット変換符号化に関連してフレームを補間することについて説明されている。本明細書に説明されている技術は、ハードウェア、ソフトウェア、ファームウェア、またはその任意の組合せにおいて実施され得る。ソフトウェアにおいて実施されるときは、この技術は、命令を収めているプログラムコードを含むコンピュータ読み出し可能媒体(または他の機械読み出し可能媒体)によって部分的に実現され得る。命令は、実行されると、本明細書に説明されている技術の１つ以上を行う。この場合に、コンピュータ読み出し可能媒体は、ランダム アクセス メモリ(random access memory, RAM)、例えば、同期ダイナミック ランダム アクセス メモリ(synchronous dynamic random access memory, SDRAM)、読み出し専用メモリ（read-only memory, ROM)、不揮発性ランダム アクセス メモリ(non-volatile random access memory, NVRAM)、電気的に消去可能なプログラム可能な読み出し専用メモリ(electrically erasable programmable read-only memory, EEPROM)、フラッシュメモリ、磁気または光データ記憶媒体、等を含み得る。

命令は、１つ以上のプロセッサまたは他の機械、例えば、１つ以上のディジタル信号プロセッサ（digital signal processor, DSP）、汎用マイクロプロセッサ、特定用途向け集積回路（application specific integrated circuit, ASIC）、フィールド プログラマブル ゲート アレイ（field programmable gate array, FPGA）、または他の同等の集積またはディスクリートロジック回路によって実行され得る。通常、命令を実行する機械は、装置を含み得る。幾つかの実施形態において、本明細書に説明されている機能は、符号化および復号のために構成された専用ソフトウェアモジュールまたはハードウェアユニット内に備えられるか、または結合されたビデオ符号器−復号器(encoder-decoder, CODEC)に組み込まれ得る。

それにもかかわらず、本発明の請求項の範囲から逸脱することなく、説明された技術に対して、種々の変更が行われ得る。したがって、上述の特定の実施形態および他の実施形態が、請求項の範囲内である。

この開示にしたがってウェーブレット変換符号化技術を実施し得るビデオ符号化および復号システムを示すブロック図。 ウェーブレット変換符号化の概念を示す概念図。 この開示にしたがってウェーブレット変換復号技術を示すフローチャート。 ウェーブレット変換復号プロセス中に２つの低周波フレームの間に１つのフレームを補間することを示す概念図。 ウェーブレット変換復号プロセス中に２つの低周波フレームの間に３つのフレームを補間することを示す概念図。 この開示にしたがってウェーブレット変換符号化技術を実施し得るビデオ符号化および復号システムを示す別のブロック図。

符号の説明

５・・・通信チャネル、10,60・・・ビデオ符号化および復号システム、20・・・動き補償時間フィルタリング（ＭＣＴＦ）、42,52・・・フレーム、44,45,46,54,55,56・・・画素、48,58・・・動きの軌跡。

Claims (29)

1. マルチメディア系列の符号化されたフレームに関連するウェーブレット情報を受信することと、
   マルチメディア系列の符号化されたフレームを復号することと、
   ウェーブレット情報に基づいて、復号されたフレーム間に１つ以上の追加のフレームを補間することとを含む方法。
2. ウェーブレット情報は、低周波ウェーブレット情報、高周波ウェーブレット情報、および動き情報を含む請求項１記載の方法。
3. 補間することは、２つの復号された低周波フレームと、２つの復号された低周波フレーム間の動きを表わす動きの軌跡とに基づいて、１つ以上の低周波フレームを補間することを含む請求項１記載の方法。
4. ２つの時間的に隣り合う復号されたフレーム間に２つ以上の追加のフレームを補間することをさらに含む請求項１記載の方法。
5. ウェーブレット情報は、ウェーブレット変換符号化方式にしたがってマルチメディア系列の符号化されたフレームを符号化するために使用される請求項１記載の方法。
6. 補間することは、２つの時間的に隣り合う復号されたフレームの画素間の動きの軌跡に基づいて、１つ以上の追加のフレームに対する画素値を定義することを含む請求項１記載の方法。
7. 動きの軌跡は、２つの時間的に隣り合う復号されたフレーム間で線形である請求項６記載の方法。
8. 低周波ウェーブレット情報は、高周波ウェーブレット情報と異なるビットレートで符号化される請求項２記載の方法。
9. 低周波ウェーブレット情報は、高周波ウェーブレット情報と異なる電力レベルで送信される請求項２記載の方法。
10. 補間することは、２つの時間的に隣り合う復号されたフレームの復号された画素と、２つの時間的に隣り合う復号されたフレームの復号された画素間の動きの軌跡とに基づいて、１つ以上の追加のフレームの全画素を補間することを含む請求項１記載の方法。
11. マルチメディア系列の符号化されたフレームに関連するウェーブレット情報を受信する受信機と、
    マルチメディア系列の符号化されたフレームを復号し、ウェーブレット情報に基づいて、復号されたフレーム間に１つ以上の追加のフレームを補間する復号器とを含む装置。
12. ウェーブレット情報は、低周波ウェーブレット情報、高周波ウェーブレット情報、および動き情報を含む請求項１１記載の装置。
13. 復号器は、２つの復号された低周波フレームと、２つの復号された低周波フレーム間の動きを表わす動きの軌跡とに基づいて、１つ以上の低周波フレームを補間する請求項１１記載の装置。
14. 復号器は、２つの時間的に隣り合う復号されたフレーム間に２つ以上の追加のフレームを補間する請求項１１記載の装置。
15. ウェーブレット情報は、ウェーブレット変換符号化方式にしたがってマルチメディア系列の符号化されたフレームを符号化するために使用される請求項１１記載の装置。
16. 復号器は、２つの時間的に隣り合う復号されたフレームの画素間の動きの軌跡に基づいて１つ以上の追加のフレームに対する画素値を定義することによって、１つ以上の追加のフレームを補間する請求項１１記載の装置。
17. 動きの軌跡は、２つの時間的に隣り合う復号されたフレーム間で線形である請求項１６記載の装置。
18. 低周波ウェーブレット情報は、高周波ウェーブレット情報と異なるビットレートで符号化される請求項１２記載の装置。
19. 低周波ウェーブレット情報は、高周波ウェーブレット情報と異なる電力レベルで送信される請求項１２記載の装置。
20. 復号器は、２つの時間的に隣り合う復号されたフレームの復号された画素と、２つの時間的に隣り合う復号されたフレームの復号された画素間の動きの軌跡とに基づいて、１つ以上の追加のフレームの全画素を補間する請求項１１記載の装置。
21. 命令を含む機械読み出し可能媒体であって、命令は、実行されると、機械に、
    マルチメディア系列の符号化されたフレームに関連するウェーブレット情報を受信することと、
    マルチメディア系列の符号化されたフレームを復号することと、
    ウェーブレット情報に基づいて、復号されたフレーム間に１つ以上の追加のフレームを補間することとをさせる、機械読み出し可能媒体。
22. ウェーブレット情報は、低周波ウェーブレット情報、高周波ウェーブレット情報、および動き情報を含む請求項２１記載の機械読み出し可能媒体。
23. 機械読み出し可能媒体は、２つの復号された低周波フレームと、２つの復号された低周波フレーム間の動きを表わす動きの軌跡とに基づいて、１つ以上の低周波フレームを補間する請求項２１記載の機械読み出し可能媒体。
24. 機械読み出し可能媒体は、２つの時間的に隣り合う復号されたフレームの画素間の動きの軌跡に基づいて、１つ以上の追加のフレームに対する画素値を定義することによって、１つ以上の追加のフレームを補間する請求項２１記載の機械読み出し可能媒体。
25. ウェーブレット変換符号化方式にしたがってウェーブレット情報によって符号化されたマルチメディア系列のフレームを復号し、
    ウェーブレット情報に基づいて、復号されたフレーム間に１つ以上の追加のフレームを補間するように構成されているプロセッサ。
26. ウェーブレット情報は、低周波ウェーブレット情報、高周波ウェーブレット情報、および動き情報を含む請求項２５記載のプロセッサ。
27. プロセッサは、２つの復号された低周波フレームと、２つの復号された低周波フレーム間の動きを表わす動きの軌跡とに基づいて、１つ以上の低周波フレームを補間する請求項２５記載のプロセッサ。
28. プロセッサは、２つの時間的に隣り合う復号されたフレームの画素間の動きの軌跡に基づいて、１つ以上の追加のフレームに対する画素値を定義することによって、１つ以上の追加のフレームを補間する請求項２５記載のプロセッサ。
29. マルチメディア系列の符号化されたフレームに関連するウェーブレット情報を受信する手段と、
    マルチメディア系列の符号化されたフレームを復号する手段と、
    ウェーブレット情報に基づいて、復号されたフレーム間に１つ以上の追加のフレームを補間する手段とを含む装置。

Images