JP4704374B2 - ビデオトランスコーディング方法及び装置 - Google Patents

Description

本発明は、入力ビデオストリームをＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）構造が相異なる他のフォーマットでトランスコーディングする時、いくつかの参照フレームから適した参照フレームを高速で選択できる方法に関する。

インターネットを含んだ情報通信技術が発達するにつれて文字、音声だけではなく画像通信が増加している。既存の文字中心の通信方式としては消費者の多様な欲求を満たすには不足であり、これにより文字、映像、音楽など多様な形態の特性を受容できるマルチメディアサービスが増加している。マルチメディアデータは、その量が膨大で大容量の記録媒体を要して伝送時に広い帯域幅を要する。したがって、文字、映像、オーディオを含んだマルチメディアデータを伝送するためには、圧縮コーディング技法を使うことが必須的である。

データを圧縮する基本的な原理は、データの重複（ｒｅｄｕｎｄａｎｃｙ）要素を除去する過程である。イメージから同一の色やオブジェクトが反復されるような空間的重複や、動画フレームで隣接フレームがほとんど変化がない場合やオーディオで同じ音がずっと反復されるような時間的重複、または人間の視覚及び知覚能力が高い周波数に鈍感なことを考慮した視覚的重複を除去することでデータを圧縮できる。一般的なビデオコーディング方法において、ビデオデータの時間的重複はモーション補償に基づいた時間的フィルタリング（ｔｅｍｐｏｒａｌ ｆｉｌｔｅｒｉｎｇ）によって除去し、空間的重複は空間的変換（ｓｐａｔｉａｌ ｔｒａｎｓｆｏｒｍ）によって除去する。

ビデオデータの重複を除去した結果は、また量子化過程を通じて所定の量子化ステップによって損失符号化される。前記量子化された結果は、最終的にエントロピー符号化（ｅｎｔｒｏｐｙ ｃｏｄｉｎｇ）を通じて最終的に無損失符号化される。

ところが、符号化されたビデオデータは、そのまま最終端末機器に伝達されて復呼化されるが、最終端末機器に伝送する前にネットワーク状況または最終端末機器の性能などを考慮してトランスコーディング（ｔｒａｎｓｃｏｄｉｎｇ）される。例えば、符号化されたビデオデータが現在ネットワークを介して伝送するのに適していない場合、伝送サーバー側では前記ビデオデータのＳＮＲ（ｓｉｇｎａｌ−ｔｏ−ｎｏｉｓｅ ｒａｔｉｏ）、フレーム率、解像度またはコーディング方式（コーデック）を変更するが、このような過程を“トランスコーディング”と言う。

ＭＰＥＧ−２でコーディングされたビデオデータをＨ．２６４方式にトランスコーディングする従来の方法は、周波数領域（ｆｒｅｑｕｅｎｃｙ ｄｏｍａｉｎ）からコンバージョン（ｃｏｎｖｅｒｓｉｏｎ）する方法と画素領域（ｐｉｘｅｌ ｄｏｍａｉｎ）でコンバージョンする方法とに分けられる。周波数領域でコンバージョンする方法は、トランスコーディングの入力フォーマットと出力フォーマットとの間に類似性が大きい場合に主に使われ、画素領域でコンバージョンする方法は、前記類似性が小さな場合に主に使われる。特に、画素領域でコンバージョンする方法は、エンコーディング時に推定されたモーションベクトルを再活用する。

ところが、トランスコーディングによってＧＯＰ構造が変わったり、モーションベクトルの参照方式が変わる場合には、既存のモーションベクトルをそのまま利用しにくい。このような理由で、もし、トランスコーディング時に復元された映像からモーションベクトルを再計算すれば、多くの時間と資源を消耗するようになる。また、再計算を避けようと遠く離れたフレームを参照すれば、直前フレームを参照するより多くの残差（Ｒｅｓｉｄｕｅ）が発生してビット率上昇及び画質低下を招きうる。

このようにＧＯＰ構造（参照方式）が、他のビデオストリーム間にトランスコーディングが行われる時、計算複雑性、画質及びビット率の間に適切な妥協点（Ｔｒａｄｅ−ｏｆｆ）を得るために、如何なるフレームを参照フレームとして選択しなければならないのかは非常に難しい問題である。
米国特許第６４４９３９２号公報 韓国公開特許第１０−２００３−２５２８５号公報 韓国公開特許第１０−２００３−１４６９７号公報

本発明が果そうとする技術的課題は、したがって、入力と出力との間に相異なるＧＯＰ構造（参照方式）を有するトランスコーディング過程で、トランスコーディング速度と画像品質とを考慮して適した参照フレームを選択する方法及び装置を提供することである。

本発明の技術的課題は、前述した技術的課題に制限されず、言及されていないさらなる技術的課題は、下記から当業者に明確に理解されるであろう。

前記技術的課題を果たすための本発明の一実施形態による、入力ビデオストリームを変換して出力ビデオストリームを生成させるトランスコーダは、前記入力ビデオストリームから変換係数及びビデオフレームを復元する復元部と、前記変換係数の大きさに基づいて、前記ビデオフレームによって参照された第１フレーム、又は、前記第１フレームと異なる位置の第２フレームのうち一つを選択する選択部と、前記選択されたフレームを参照して前記復元されたビデオフレームを符号化する符号化部と、を含み、前記選択部は、特定ブロックに対する前記変換係数の絶対値の和が所定の閾値を超えなければ、前記第１フレームを前記特定ブロックに対する参照フレームとして選択し、特定ブロックに対する前記変換係数の絶対値の和が所定の閾値を超えれば、前記第２フレームを前記特定ブロックに対する参照フレームとして選択し、前記閾値は、単一フレームに属する変換係数の絶対値の和をブロック数で割った値に所定の可変係数を乗算した値であり、前記可変係数は、前記単一フレーム内で処理する残余ブロックの数及び処理を終えなければならない残余時間によって決定される。

前記技術的課題を果たすための本発明の一実施形態よるトランスコーディング方法は、入力ビデオストリームから変換係数及びビデオフレームを復元する段階と、前記変換係数の大きさに基づいて、前記ビデオフレームによって参照された第１フレーム、又は、前記第１フレームと異なる位置の第２フレームのうち一つを選択する段階と、前記選択されたフレームを参照して前記復元されたビデオフレームを符号化する段階と、を含み、前記選択する段階は、特定ブロックに対する前記変換係数の絶対値の和が所定の閾値を超えなければ、前記第１フレームを前記特定ブロックに対する参照フレームとして選択する段階と、特定ブロックに対する前記変換係数の絶対値の和が所定の閾値を超えれば、前記第２フレームを前記特定ブロックに対する参照フレームとして選択する段階と、を含み、前記閾値は、単一フレームに属する変換係数の絶対値の和をブロック数で割った値に所定の可変係数を乗算した値であり、前記可変係数は、前記単一フレーム内で処理する残余ブロックの数及び処理を終えなければならない残余時間によって決定される。

本発明によれば、入力ビデオストリームをＧＯＰ構造が相異なる他のフォーマットでトランスコーディングするにおいて、最適の参照フレームを選択することによって、制限された演算能力（Ｃｏｍｐｕｔａｔｉｏｎ Ｐｏｗｅｒ）内で相対的に高い画質または低いビット率を実現できる長所がある。

以下、添付された図面を参照して、本発明の一実施形態を詳しく説明する。

図１Ａは、ＭＰＥＧ−２ビデオメインプロファイルのＧＯＰ構造を、図１Ｂは、Ｈ．２６４ベースラインプロファイルのＧＯＰ構造を表わす。図１に図示されたように、Ｂフレームは、前後のＩフレームまたはＰフレームを参照できるが、他のＢフレームを参照することはできない。しかし、Ｐフレームは、Ｉフレームまたは他のＰフレームを参照できる。このような参照は、一つのＧＯＰ構造内でなされることが一般的である。

一方、Ｈ．２６４ベースラインプロファイルは、図２に図示したように、或るフレームは、直前フレームを参照する構造になっている。しかし、一般的にＨ．２６４は、単一のＧＯＰ内では或るフレームを参照することができ、多重参照も可能な構造になっている。

図２Ａ及び図２Ｂは、Ｈ．２６４が支援する多重参照（ｍｕｌｔｉｐｌｅ ｒｅｆｅｒｅｎｃｅ）の概念を示す図面である。図２Ａを参照すれば、現在Ｐフレーム１０は、同時に複数のフレーム２０、２５を参照できるということが分かる。これは、モーションベクトルを推定し、現在フレームの残差（ｒｅｓｉｄｕａｌ）を生成させる単位がフレーム単位ではなくマクロブロック（ＭＢ）単位からなるために可能なことである。

図２Ｂは、現在Ｐフレーム１０の相異なるマクロブロックＭＢ１、ＭＢ２がそれぞれ相異なるフレーム２０、２５上の領域ｒｅｆ１、ｒｅｆ２を参照することを示す。このように、Ｈ．２６４では、マクロブロック別に適した参照フレームを選択させることでビデオコーディングの多様性及び適応性を提供する。

トランスコーダは、相異なるＧＯＰ構造を有する図１Ａのような入力ビデオを図２Ｂのような出力ビデオにトランスコーディングするためには、入力ビデオのモーションベクトルを再計算する必要がある。しかし、出力ビデオで直前フレームを参照するためにモーションベクトルを再計算すれば、計算時間を多く消耗する。一方に、再計算をしないように入力ビデオの参照方式をそのまま使って遠距離のフレームを参照すれば、直前フレームを参照することに比べて大きい残差が発生して画質低下（または、ビット率上昇）を誘発できる。したがって、トランスコーディング時には、演算量と画質（または、ビット率）との間には一定した妥協点を捜し出す必要がある。

図３Ａ及び図３Ｂは、トランスコーディング時に参照フレームを選択する方法を説明する図面であって、図３Ａは、トランスコーディング前の入力ビデオ構造であり、図３Ｂは、トランスコーディング後の出力ビデオ構造である。図３Ａで現在処理するフレームがＢ_２であり、モーションベクトルはＩフレームを示している。ＭＰＥＧ−２構造では、フレームＢ_２のすべての前方参照ベクトルはＩフレームを示す。一方、図３ＢのようなＨ．２６４構造では、ＭＢ１とＭＢ２との前方順方向モーションベクトル（ｆｏｒｗａｒｄ ｍｏｔｉｏｎ ｖｅｃｔｏｒ）のｍｖ１、ｍｖ２は、Ｉフレームを示すこともでき、Ｐ１フレームを示すこともできる。もし、Ｉフレームを示すモーションベクトルｍｖ２（Ｉ）が、Ｐ１フレームを示すモーションベクトルｍｖ２（Ｐ１）に比べて残差をあまり大きくしない場合なら、演算速度のためにｍｖ２（Ｉ）を選択することが有利である。一方に、その反対の場合なら、ｍｖ２（Ｐ１）を選択することが有利である。

本発明は、ＧＯＰ構造が変更されるトランスコーディングで、出力ビデオの規格がＨ．２６４のように多重参照を支援する場合なら、参照フレームを選択するにおいて入力ビデオのものと、直前フレームを新しい参照フレームとして指定するもののうち一つを決定する方法を提供しようとする。入力ビデオの参照フレームをそのまま従えば、既存のモーションベクトルを再活用することで高速の変換が可能であり、新しい参照フレームを選択すれば演算量が多く必要であるが、優れた画質を得られる。したがって、両者の間に適切な妥協点を通じてトランスコーディングの速度及び画質をすべて考慮したトランスコーディングを実行することが可能である。

図４は、本発明の一実施形態によるトランスコーダ１００の構成を図示するブロック図である。トランスコーダ１００は、入力ビデオストリームを変換して出力ビデオストリームを生成させる。このために、トランスコーダ１００は、復元部１１０、選択部１２０及び符号化部１３０を含んで構成されうる。

復元部１１０は、入力ビデオストリームから変換係数（ｔｒａｎｓｆｏｒｍ ｃｏｅｆｆｉｃｉｅｎｔ）及びビデオフレームを復元する。選択部１２０は、前記変換係数の大きさに基づいて、前記ビデオフレームによって参照された第１フレームと前記第１フレームと異なる位置の第２フレームのうち一つを選択する。そして、符号化部１３０は、前記選択されたフレームを参照して前記復元されたビデオフレームを符号化する。

図５は、復元部１１０を構成を図示するブロック図である。復元部１１０は、エントロピーデコーダ１１１、逆量子化部１１２、逆変換部１１３及び逆予測部１１４を含んで構成されうる。

エントロピーデコーダ１１１は、可変長復号化、算術復号化などのアルゴリズムを用いて入力ビデオストリームを無損失復号化して量子化係数及びモーションベクトルを復元する。

逆量子化部１１２は、前記復元された量子化係数を逆量子化する。このような逆量子化過程は、ビデオエンコーダで行われた量子化過程の逆に該当する。前記逆量子化結果、変換係数を得られる。前記変換係数は、選択部１２０に提供される。

逆変換部１１３は、前記変換係数を、逆ＤＣＴ変換、逆ウェーブレット変換などの逆空間的変換技法を使って逆変換する。

逆予測部１１４は、エントロピーデコーダ１１１で復元されたモーションベクトルを用いて現在フレームに対する参照フレームをモーション補償して予測フレームを生成させ、前記生成された予測フレームを前記逆変換部１１３で逆変換された結果と加算して復元されたフレームを生成させる。

再び、図４を参照すれば、選択部１２０は、復元部１１０から提供された変換係数を用いて、前記入力ビデオストリームから参照フレームとして使われた第１フレームをそのまま使うか、これと異なる第２フレームを使うかを選択する。これによって選択されたフレームは、符号化部１３０で参照フレームとして利用される。このような選択のために、選択部１２０は、前記変換係数から所定の閾値を計算し、この閾値を前記判別基準として使う。

本発明では、一つのフレーム内で固定された閾値を使う方法と、リアルタイムで応用に適するように閾値がフレーム内でも適応的に変化する可変方法を例を挙げる。

固定された閾値を利用する方法
本実施形態では、閾値（ＴＨ_ｇ）は、単一フレーム内では固定されている。閾値（ＴＨ_ｇ）は、多様な方法で定めることができるが、一例として、次の（式１）のように計算されうる。

（式１）で、Ｎは一フレームのブロックの個数であり、Ｃ_ｍ（ｉ，ｊ）はｍ番目のブロック内の座標（ｉ，ｊ）の位置での変換係数である。また、Ｖ_ｃｔｌは、閾値の大きさを調節できる制御パラメータ（デフォルト値＝１．０）である。前記ブロックは、ＤＣＴ変換の単位であるＤＣＴブロック大きさを有することもでき、モーション推定の単位であるマクロブロック大きさを有することもある。

現在ブロックのインデックスをｋとする時、参照フレームの選択基準は、次の（式２）のようである。

（式２）で、Σ｜Ｃ_ｋ（ｉ，ｊ）｜は、現在ブロックに含まれる変換係数の絶対値の和を意味し、Ｒｅｆ_ｏｒｉｇは、入力ビデオストリームで現在ブロックの参照フレームとして使われた第１フレームを意味し、Ｒｅｆ_０は、前記第１フレームとは異なる位置の第２フレームを意味する。望ましくは、第２フレームは、現在ブロックが属するフレーム（現在フレーム）の直前フレームである。

（式２）が意味することは、平均より大きいエネルギーを有するブロックに対しては、現在フレームとより近いフレームを参照フレームとして選択するということである。このようにすることでエネルギーが平均より小さなブロックは、入力ビデオストリームでのモーションベクトルをそのまま使って、それより大きいブロックは、相対的に隣接したフレームを参照フレームにして新たにモーションベクトルを求めるということである。このような方法を通じて、画質及びトランスコーディングの速度間に適切な妥協点を捜しうる。

ところが、（式１）のように、まだ処理されていないブロックまで考慮して閾値を求める方法は、多少多くの計算を要する。したがって、現在処理するブロックのインデックスがｋである場合、閾値（ＴＨ_ｇ）を計算するにおいて、次の（式３）のように現在処理されたブロックのみを考慮する実施形態も考えられる。

選択部１２０で、参照フレームを選択する単位であるブロックと実際モーションベクトルが割り当てられるマクロブロックとの大きさが異なることもできるが、この場合にはモーションベクトルの併合や分解が必要かも知れない。

可変閾値を使う方法
トランスコーダのリアルタイム応用では、制限時間までフレームを処理できるかが重要な課題になる。リアルタイムトランスコーディング状況では、現在可溶の計算時間を一つの因子にして可変的に閾値を調節する必要がある。すなわち、可変閾値（ＴＨ_ｌ）は、次の（式４）のように固定閾値（ＴＨ_ｇ）に可変係数ＲＴｆａｃｔｏｒを乗算することで計算されうる。

（式４）は、現在フレームを処理するための制限時間を超過するような場合には、閾値（ＴＨ_ｌ）を増加させてトランスコーディングの速度を向上させ、十分な時間が残っている場合には、閾値（ＴＨ_ｌ）を減少させて画質の向上を図りうるということを意味する。

前記ＲＴｆａｃｔｏｒは、さまざまな方法で決定できるが、考慮する因子が現在処理中であるブロックのインデックス、制限時間のうち残余時間などであることを考慮すれば、次の（式５）のように決定されうる。

（式５）で、ｋは、現在処理中であるブロックのインデックス番号（０≦ｋ＜Ｎ）であり、Ｎは、フレームを成す全体ブロックの数である。そして、Ｔ_ｄｕｅは、現在のフレームの変換を終えなければならない時刻を、Ｔ_ｃｕｒは、現在時刻をそれぞれ意味し、ｆｒａｍｅｒａｔｅは、映像再生時の秒当りフレーム数を意味する。前記ｆｒａｍｅｒａｔｅは、定数であるが、（Ｔ_ｄｕｅ−Ｔ_ｃｕｒ）を正規化（ｎｏｒｍａｌｉｚｅ）するために乗算されている。したがって、（式５）の分子及び分母はすべて０と１との間の値を有する。（式５）は、現在フレームで処理する残余ブロック数が多いほどＲＴｆａｃｔｏｒは大きくなることでトランスコーディングの速度を高くし、処理可能な時間が多いほどＲＴｆａｃｔｏｒが小くなることでトランスコーディングの速度を低めて画質向上を図るということを意味する。

（式５）と同様の趣旨で、ＲＴｆａｃｔｏｒは、次の（式６）のように定義されることもある。

選択部１２０は、前述した固定閾値または可変閾値と現在ブロックに含まれる変換係数の絶対値の和とを比べて、入力ビデオストリームのモーションベクトル及び参照フレーム（第１フレーム）をそのまま使うか、新しいフレーム（第２フレーム）を参照してモーションベクトルを計算するかを選択する。このような選択は、それぞれのブロック別になされて参照フレーム情報として符号化部１３０に提供される。

モーションベクトルが逆方向モーションベクトルである場合に、順方向モーションベクトルに近似する方法がすでに知られているので、順方向モーションベクトルを得られない場合には、逆方向モーションベクトルを近似して順方向モーションベクトルを得た後、これを既存のモーションベクトル及び参照フレームの代わりに使用できる。例えば、Ｂフレームの或るマクロブロックが以後行うＰフレームの或るブロックを参照したら、このブロックとオーバーラップ（ｏｖｅｒｌａｐ）されるＰフレームのマクロブロックのうち最も広い面積を覆うマクロブロックを選択し、このマクロブロックの先行Ｉフレームに対するモーションベクトルを求めうる。このとき、Ｂフレームで使用できるＩフレームに対するモーションベクトルは、Ｐフレームブロックに対するモーションベクトルと、Ｐフレームブロックのうち最も多くオーバーラップされたマクロブロックのＩフレームに対するモーションベクトルの和で計算されうる。

図６は、符号化部１３０の構成を図示するブロック図である。符号化部１３０は、予測部１３１、変換部１３２、量子化部１３３及びエントロピーエンコーダ１３４を含んで構成されうる。

予測部１３１は、前記参照フレーム情報を用いて現在フレームのそれぞれのブロック別に第１フレーム及び第２フレームのうち一つを参照フレームにしてモーションベクトルを求める。前記第１フレームは、復元部１１０で復元されたフレームのうち現在フレームの参照フレームとして使われたフレームを意味し、前記第２フレームは、前記第１フレームと異なる時間的位置にあるフレームを意味する。

このとき、予測部１３１は、現在フレームの或るブロックが第１フレームを参照フレームにする場合には、前記ブロックに既存の入力ビデオストリームのモーションベクトルを前記現在ブロックにそのまま割り当てする。また、前記ブロックが第２フレームを参照フレームにする場合には、前記第２フレームを参照してモーションベクトルを推定し、該推定されたモーションベクトルを前記現在ブロックに割り当てする。

そして、予測部１３１は、現在フレームに属するブロックに割り当てられたモーションベクトルを用いて該当参照フレーム（第１フレームまたは第２フレーム）をモーション補償して予測フレームを生成させ、現在フレームから前記予測フレームを差引くことで残差を生成させる。

変換部１３２は、前記生成された残差に対して空間的変換を行う。このような空間的変換方法としては、ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）、ウェーブレット変換（ｗａｖｅｌｅｔ ｔｒａｎｓｆｏｒｍ）などが使われうる。空間的変換結果、変換係数が求められるが、空間的変換方法としてＤＣＴを使う場合、ＤＣＴ係数が、ウェーブレット変換を使う場合、ウェーブレット係数が求められる。

量子化部１３３は、空間的変換部１３２から求めた変換係数を量子化して量子化係数を生成させる。量子化（ｑｕａｎｔｉｚａｔｉｏｎ）とは、任意の実数値で表現される前記変換係数を一定区間に分けて不連続的な値（ｄｉｓｃｒｅｔｅ ｖａｌｕｅ）に表わす作業を意味する。このような量子化方法としては、スカラー量子化、ベクトル量子化などの方法があるが、このうち簡単なスカラー量子化方法は、変換係数を量子化テーブルの該当値で割った後、整数の位に四捨五入する過程で実行される。

エントロピーエンコーダ１３４は、前記量子化係数と、予測部１３１によって提供されるモーションベクトルを無損失符号化して出力ビデオストリームを生成させる。このような無損失符号化方法としては、算術符号化（ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）、可変長符号化（ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）などが使われうる。

今まで図４ないし図６の各構成要素は、メモリ上の所定領域で実行されるタスク、クラス、サブルーチン、プロセス、オブジェクト、実行スレッド、プログラムのようなソフトウェアや、ＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）やＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ−ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）のようなハードウェアに具現されることができ、また、前記ソフトウェア及びハードウェアの組合わせでなされることもできる。前記構成要素は、コンピュータで読取可能な記録媒体に含まれていることもでき、複数のコンピュータにその一部が分散されて分布されることもできる。

以上、添付された図面を参照して本発明の実施形態を説明したが、当業者ならば本発明がその技術的思想や必須的な特徴を変更せずとも、他の具体的な形態に実施できるということを理解できるであろう。したがって、前述した実施形態は、あらゆる面で例示的なものであり、限定的ではないと理解せねばならない。

本発明は、ビデオトランスコーディング方法及び装置に関連する技術分野に適用されうる。

ＭＰＥＧ−２ビデオメインプロファイルのＧＯＰ構造を表わす図である。 Ｈ．２６４ベースラインプロファイルのＧＯＰ構造を表わす図である。 Ｈ．２６４が支援する多重参照の概念を示す図である。 Ｈ．２６４が支援する多重参照の概念を示す図である。 トランスコーディング時に参照フレームを選択する方法を説明する図である。 トランスコーディング時に参照フレームを選択する方法を説明する図である。 本発明の一実施形態によるトランスコーダの構成を図示するブロック図である。 図４のトランスコーダに含まれる復元部の構成を図示するブロック図である。 図４のトランスコーダに含まれる符号化部の構成を図示するブロック図である。

符号の説明

１００ トランスコーダ
１１０ 復元部
１１１ エントロピーデコーダ
１１２ 逆量子化部
１１３ 逆変換部
１１４ 逆予測部
１２０ 選択部
１３０ 符号化部
１３１ 予測部
１３２ 変換部
１３３ 量子化部
１３４ エントロピーエンコーダ

Claims (10)

1. 入力ビデオストリームを変換して出力ビデオストリームを生成させるトランスコーダにおいて、
   前記入力ビデオストリームから変換係数及びビデオフレームを復元する復元部と、
   前記変換係数の大きさに基づいて、前記ビデオフレームによって参照された第１フレーム、又は、前記第１フレームと異なる位置の第２フレームのうち一つを選択する選択部と、
   前記選択されたフレームを参照して前記復元されたビデオフレームを符号化する符号化部と、を含み、
   前記選択部は、
   特定ブロックに対する前記変換係数の絶対値の和が所定の閾値を超えなければ、前記第１フレームを前記特定ブロックに対する参照フレームとして選択し、
   特定ブロックに対する前記変換係数の絶対値の和が所定の閾値を超えれば、前記第２フレームを前記特定ブロックに対する参照フレームとして選択し、
   前記閾値は、
   単一フレームに属する変換係数の絶対値の和をブロック数で割った値に所定の可変係数を乗算した値であり、前記可変係数は、前記単一フレーム内で処理する残余ブロックの数及び処理を終えなければならない残余時間によって決定されることを特徴とするトランスコーダ。
2. 前記第２フレームは、
   前記ビデオフレームの直前に位置するフレームであることを特徴とする請求項１に記載のトランスコーダ。
3. 前記入力ビデオストリームは、ＭＰＥＧ標準ビデオストリームであり、前記出力ビデオストリームは、Ｈ．２６４標準ビデオストリームであることを特徴とする請求項１に記載のトランスコーダ。
4. 前記可変係数は、
   処理する残余ブロックの数を前記単一フレームに属するブロック数で割った値を、前記残余時間にフレーム率を乗算した値で割ることで計算されることを特徴とする請求項１に記載のトランスコーダ。
5. 前記符号化部は、
   前記選択されたフレームが第１フレームである場合には、前記入力ビデオストリームのモーションベクトルをそのまま利用し、前記選択されたフレームが第２フレームである場合には、前記第２フレームを参照にしてモーションベクトルを推定することを特徴とする請求項１に記載のトランスコーダ。
6. 入力ビデオストリームを変換して出力ビデオストリームを生成させるトランスコーディング方法において、
   前記入力ビデオストリームから変換係数及びビデオフレームを復元する段階と、
   前記変換係数の大きさに基づいて、前記ビデオフレームによって参照された第１フレーム、又は、前記第１フレームと異なる位置の第２フレームのうち一つを選択する段階と、
   前記選択されたフレームを参照して前記復元されたビデオフレームを符号化する段階と、を含み、
   前記選択する段階は、
   特定ブロックに対する前記変換係数の絶対値の和が所定の閾値を超えなければ、前記第１フレームを前記特定ブロックに対する参照フレームとして選択する段階と、
   特定ブロックに対する前記変換係数の絶対値の和が所定の閾値を超えれば、前記第２フレームを前記特定ブロックに対する参照フレームとして選択する段階と、を含み、
   前記閾値は、
   単一フレームに属する変換係数の絶対値の和をブロック数で割った値に所定の可変係数を乗算した値であり、前記可変係数は、前記単一フレーム内で処理する残余ブロックの数及び処理を終えなければならない残余時間によって決定されることを特徴とするトランスコーディング方法。
7. 前記第２フレームは、
   前記ビデオフレームの直前に位置するフレームであることを特徴とする請求項６に記載のトランスコーディング方法。
8. 前記入力ビデオストリームは、ＭＰＥＧ標準ビデオストリームであり、前記出力ビデオストリームは、Ｈ．２６４標準ビデオストリームであることを特徴とする請求項６に記載のトランスコーディング方法。
9. 前記可変係数は、
   処理する残余ブロックの数を前記単一フレームに属するブロック数で割った値を、前記残余時間にフレーム率を乗算した値で割ることで計算されることを特徴とする請求項６に記載のトランスコーディング方法。
10. 前記符号化する段階は、
    前記選択されたフレームが第１フレームである場合には、前記入力ビデオストリームのモーションベクトルをそのまま利用し、前記選択されたフレームが第２フレームである場合には、前記第２フレームを参照にしてモーションベクトルを推定する段階を含むことを特徴とする請求項６に記載のトランスコーディング方法。
    

Images