JP2008533853A - 先読みを伴う準一定品質のレート制御 - Google Patents

Abstract

【課題】先読みを伴う準一定品質のレート制御。
【解決手段】方法および装置は、ライブビデオストリームなどのマルチメディアデータを効率的に符号化する。１秒など、あらかじめ決定された時間間隔の符号化複雑度が、使用されることになる実際の符号化の前に推定される。これにより、実際の符号化が、複雑度の先験的推定値を用いて実行されることが可能になり、あらかじめ決定された時間間隔について割り付けられるビット（ビットレート）は、あらかじめ決定された時間間隔内に効率的に割り付けられることが可能になる。さらに、推定された複雑度は、マルチプレクサなどのデバイスに対して供給されることができ、次いでこのデバイスは、これらのビデオチャネルについて予想される符号化複雑度に従って多重化されたビデオチャネルの収集のために使用可能な帯域幅を割り付けることができ、次いでこれにより、特定のチャネルの品質は、多重化されたビデオチャネルの収集についての帯域幅が比較的一定のときでさえ、比較的一定にとどまることが可能になる。
【選択図】 図２

Description

（３５Ｕ．Ｓ．Ｃ．§１１９の下における優先権の主張）
本特許出願は、この譲受人に譲渡され、ここに参照することによりここで明確に組み込まれる、２００５年３月１０日に出願された「先読みを伴う準一定品質のレート制御のための方法および装置(METHOD AND APPARATUS FOR QUASI-CONSTANT-QUALITY RATE CONTROL WITH LOOK-AHEAD)」という名称の仮出願第６０／６６０，９０８号に対する優先権を主張する。

（技術分野）
本発明は、一般にデジタルビデオに関し、より詳細にはビデオ圧縮に関する。

インターネットおよび無線通信の爆発的な成長およびすばらしい成功、ならびにマルチメディアサービスについてのますます増大する要求によって、インターネットチャネルおよびモバイル／無線チャネル上のストリーミングメディア(streaming media)は、すさまじい注意を引いてきている。異種のインターネットプロトコル(Internet Protocol)（ＩＰ）ネットワークにおいては、ビデオは、サーバによって供給され、１つまたは複数のクライアントによって流されることができる。有線接続は、ダイアルアップ(dial-up)、統合サービスデジタル網(integrated services digital network)（ＩＳＤＮ）、ケーブル、デジタル加入者回線プロトコル(digital subscriber line protocol)（まとめてｘＤＳＬと称される）、ファイバ、ローカルエリアネットワーク(local area network)（ＬＡＮ）、ワイドエリアネットワーク(wide area network)（ＷＡＮ）などを含む。伝送モードは、ユニキャスト(uni-cast)またはマルチキャスト(multi-cast)のいずれともすることができる。

モバイル／無線通信は、異種のＩＰネットワークに類似している。モバイル／無線チャネル上でのマルチメディアコンテンツ(multimedia content)の移送は、これらのチャネルが、多くの場合にマルチパスフェーディング(multi-path fading)、シャドーイング(shadowing)、シンボル間干渉、および騒音障害(noise disturbance)によって非常に損なわれるので、非常に課題が多い。移動性や競合するトラフィックなど一部の他の理由もまた、帯域幅の変動および損失を引き起こす。チャネル雑音と、サービスを受けるユーザ数は、チャネル環境の時間的に変化する特性を決定する。

デジタルビデオは、一般的に効率的な記憶および／または伝送のために圧縮される。ビデオ圧縮の多数の規格が存在している。

ビデオ圧縮に共通する１つの問題は、帯域幅（毎秒当たりのビット）とビジュアル品質(visual quality)との間の妥協である。ピーク信号対雑音比(peak signal-to-noise ratio)（ＰＳＮＲ）など様々な測定値が、ビジュアル品質にアクセスするために使用されることができる。一定のフレームレートでは、ビデオのフレームを符号化するために使用されるビットは、ビデオについてのビットレートまたは帯域幅に直接に比例することになることと、これらの用語（ビットおよび帯域幅）は、技術的には同じではないが、当技術分野においてしばしば交換可能に使用されることがあり、その正確な解釈は、文脈から決定され得ることが理解されるであろう。

比較的に良好なビジュアル品質のために必要とされる帯域幅は、符号化されているビデオの複雑度と共に変化することになる。例えば、ニュースキャスターのショットなど比較的静的なショットは、比較的低い帯域幅を用いて比較的高いビジュアル品質で符号化されることができる。対照的に、スポーツイベントにおける運動選手をパンするショットなど比較的動的なショットは、同じビジュアル品質のために比較的大量の帯域幅を消費する可能性がある。

比較的一定の品質を達成するためには、フレームを符号化するために使用可能なビット数を変化させる可変ビットレート(variable bit rate)（ＶＢＲ）として知られている技法を使用することが望ましい。しかし、これらのＶＢＲ技法は、一般に伝送されるビデオコンテンツの場合においては適用可能ではない。デジタルビデオコンテンツ(digital video content)は、光ネットワーク、有線ネットワーク、無線ネットワーク、衛星などを経由するなど、様々な媒体を経由して伝送されることができる。ブロードキャストするときに、これらの通信媒体は、一般的に帯域制限されている。したがって、定ビットレート(constant bit rate)（ＣＢＲ）技法は、一般的に伝送環境またはブロードキャスト環境において見出される。

定ビットレート（ＣＢＲ）技法の使用に伴う問題は、ビジュアル品質が、符号化されているビデオの複雑度に従って変化することになることである。ブロードキャスターのショットなど、ショットが比較的静的であるときには、ある与えられた品質レベルについて必要とされるよりも多いビットが消費され、または「浪費される」ことになる。スポーツにおけるなど、ショットが比較的動的であるときには、品質は、ＣＢＲで悪化する可能性がある。ビジュアル品質が損なわれるときには、ビジュアルアーティファクト(visual artifact)が明らかになる可能性があり、例えば「ブロッキネス(blockiness)」として観察される可能性がある。

したがって当技術分野においては、伝送媒体についての比較的一定のビットレートの有利な属性と、視聴者の楽しみのための比較的一定のビジュアル品質とを組み合わせることができる符号化技法についての必要性が存在する。

概要

ここにおいて開示されるシステムおよび方法は、例えばあらかじめ決定された時間ウィンドウにおいて１つまたは複数のマルチメディアデータについての符号化複雑度(encoding complexity)を推定し、また符号化するためのビットレートを決定する推定された符号化複雑度を使用することにより、上記の必要性に対処している。

一態様は、受け取られるビデオデータを符号化する方法であり、ここで本方法は、ビデオデータの第１の部分についての第１の符号化複雑度を決定することと、その第１の符号化複雑度に少なくとも部分的に基づいてビデオデータの第１の部分を符号化することとを含む。

一態様は、受け取られるビデオデータを符号化するための装置であり、ここで本装置は、ビデオデータの第１の部分についての第１の符号化複雑度を決定するための手段と、その第１の符号化複雑度に少なくとも部分的に基づいてビデオデータの第１の部分を符号化するための手段とを含む。

一態様は、受け取られるビデオデータを符号化する装置であり、ここで本装置は、ビデオデータの第１の部分についての第１の符号化複雑度を決定するように構成されるプロセッサと、その第１の符号化複雑度に少なくとも部分的に基づいてビデオデータの第１の部分を符号化するように構成されるエンコーダとを含む。

一態様は、受け取られるビデオデータを符号化するための命令を有する有形媒体中に実施されるコンピュータプログラムプロダクトであり、ここで本コンピュータプログラムプロダクトは、ビデオデータの第１の部分についての第１の符号化複雑度を決定するための命令を有するモジュールと、その第１の符号化複雑度に少なくとも部分的に基づいてビデオデータの第１の部分を符号化するための命令を有するモジュールとを含む。

一態様は、マルチメディアデータを符号化するための方法であり、ここで本方法は、選択されるウィンドウのデータに対応する第１のマルチメディアデータを符号化することと、第１のマルチメディアデータを再符号化しながら、第１のマルチメディアデータと異なる、選択されるウィンドウのデータに対応する第２のマルチメディアデータを符号化することとを含む。

一態様は、マルチメディアデータを符号化するための装置であり、ここで本装置は、選択されるウィンドウのデータに対応する第１のマルチメディアデータと、第１のマルチメディアデータと異なる、選択されるウィンドウのデータに対応する第２のマルチメディアデータとを符号化するための手段と、その符号化手段が第２のマルチメディアデータを符号化する間に、第１のマルチメディアデータを再符号化するための手段とを含む。

一態様は、マルチメディアデータを符号化するための装置であり、ここで本装置は、選択されるウィンドウのデータに対応する第１のマルチメディアデータを符号化し、第１のマルチメディアデータと異なる、選択されるウィンドウのデータに対応する第２のマルチメディアデータを符号化するように構成される第１のエンコーダと、第１のエンコーダが、第２のマルチメディアデータを符号化している間に、第１のマルチメディアデータを再符号化するように構成される第２のエンコーダとを含む。

一態様は、伝送されるときに一緒に多重化され搬送される複数の(multiple)ビデオチャネルについてのビデオデータを符号化する方法であり、ここで本方法は、複数のビデオチャネルについてのビデオ符号化のためのビデオフレームを受け取ることと、ほぼ同じ品質レベルで複数のチャネルのうちの一部分を符号化することが必要とされ、その符号化される部分についてのデータが一緒に多重化され搬送されるべきであるデータの相対量を決定することと、データのその決定された相対量に従って符号化される部分についてのデータを割り付けることと、その割り付けられたデータに従ってビデオフレームを符号化することと、伝送のために符号化されたビデオフレームを多重化することとを含む。

一態様は、帯域制限された伝送媒体において一緒に多重化される複数のビデオチャネルを符号化する方法であり、ここで本方法は、一緒に符号化され、多重化され、次いで伝送されるべき複数のチャネルから、チャネルごとにあらかじめ決定された時間間隔に対応する少なくとも複数のフレームを含む複数のビデオフレームを受け取ることと、複数のチャネルのビジュアル品質が、符号化複雑度の違いに関係なくほぼ同じであるように複数のチャネルについて使用可能なビットを複数のチャネル間に割り付けることと、その割り付けられたビットに従って符号化することを含む。

一態様は、圧縮されるように符号化されるべき、少なくとも第１のビデオチャネルと第２のビデオチャネルとを含む２つ以上のビデオチャネルの間に使用可能な帯域幅を割り付ける方法であり、ここで本方法は、第１のビデオチャネルの、ビデオクリップの存続時間よりも短いあらかじめ決定された時間間隔のビデオフレームの組に関連する符号化複雑度を推定することと、なお推定することは、実際に使用されることになる符号化の前に実行される；ビデオフレームの組の実際の符号化のためにその推定された符号化複雑度に少なくとも部分的に基づいた情報を使用することと；を含む。

一態様は、複数のチャネル間に使用可能な帯域幅を割り付ける方法であり、ここで本方法は、複数のチャネルのうちのおのおのについてビデオフレームの組についての符号化複雑度メトリックに関する情報を受け取ることと、なおビデオフレームの組についてのデータは、同じ期間中に伝送するために多重化されるべきである；チャネルごとにその符号化複雑度メトリックに少なくとも部分的に基づいてその期間についての使用可能なビットを多重化されたチャネル間に割り付けることと；を含む。

一態様は、ビデオ符号化するための装置であり、ここで本装置は、ビデオクリップの長さに関連する期間よりも短いあらかじめ決定された期間に対応するビデオフレームの組に関連する符号化複雑度を推定するように構成される第１の処理要素と、その推定された符号化複雑度に少なくとも部分的に基づいて選択されるビットレートを使用してビデオフレームの組を符号化するように構成される第２の処理要素とを含む。

一態様は、複数のチャネル間に使用可能な帯域幅を割り付けるための装置であり、ここで本装置は、複数のチャネルのうちのおのおのについてビデオフレームの収集のための符号化複雑度メトリックに関する情報を受け取るように構成される分配回路と、なおビデオフレームの収集についてのデータは、同じ期間中における伝送のために多重化されるべきである；チャネルごとにその符号化複雑度メトリックに少なくとも部分的に基づいてその期間についての使用可能なビットを多重化されたチャネル間に割り付けるように構成される計算回路と；を含む。

一態様は、マルチメディアデータを符号化するための命令を有する有形媒体中に実施されるコンピュータプログラムプロダクトであり、ここで本コンピュータプログラムプロダクトは、選択されるウィンドウのデータに対応する第１のマルチメディアデータを符号化するための、また第１のマルチメディアデータと異なる、選択されるウィンドウのデータに対応する第２のマルチメディアデータを符号化するための命令を有するモジュールと、符号化するための命令を有するそのモジュールが、第２のマルチメディアデータを符号化している間に第１のマルチメディアデータを再符号化するための命令を有するモジュールを含む。

以降の説明においては、特定の詳細が、実施形態の完全な理解をもたらすために与えられる。しかし、それらの実施形態は、これらの特定の詳細なしに実行されることができることが、当業者によって理解されるであろう。例えば、電気コンポーネントは、それらの実施形態を不必要な詳細の形であいまいにしないようにブロック図に示されることができる。他の例においては、そのようなコンポーネント、他の構成および技法は、それらの実施形態をさらに説明するために詳細に示されることができる。別個のブロックとして示される電気コンポーネントは、再配置され、かつ／または１つのコンポーネントへと組み合わされることができることも理解される。

一部の実施形態は、プロセスとして説明されることができ、このプロセスは、フローチャート、流れ図、構成図、またはブロック図として示されることにも注目される。フローチャートは、オペレーションを逐次的プロセスとして説明することができるが、オペレーションの多くは、並列に、または同時に実行されることができ、プロセスは、反復されることができる。さらに、オペレーションの順序は、再配置されることができる。プロセスは、そのオペレーションが完了されるときに終了される。プロセスは、方法、関数(funcion)、プロシージャ、サブルーチン、サブプログラムなどに対応していてもよい。プロセスが関数に対応するときには、その終了は、その呼出し関数または主要関数に対するその関数のリターン(return)に対応する。

以下で説明される方法および装置は、ライブビデオチャネル(live video channel)などのマルチメディアデータを効率的に符号化する。ウィンドウが、時間またはデータの選択される量に、例えば約１秒または１秒などマルチメディアデータの一部分に基づいている可能性がある場合における選択されるウィンドウの符号化複雑度は、実際の符号化が使用されることになる前に推定される。これにより、実際の符号化は、複雑度の先験的推定値を用いて実行されることが可能になり、それによってあらかじめ決定された時間間隔について割り付けられたビット（ビットレート）が選択ウィンドウ内において効率的に割り付けられることが可能になる。

ビットレートは、帯域幅または品質あるいはそれらの両方に基づいてビットレートを推定するデバイスから入力されることができる。例えば、マルチプレクサは、ビットレートを提供するように実施されることができる。その品質は、複雑度に基づいたコンテンツの分類に基づいたものとすることができる。そのような分類は、「マルチメディア処理のためのコンテンツの分類(Content Classification for Multimedia Processing)」という名称の同時係属特許出願第「 」号中において論じられている。

さらに、推定された複雑度は、マルチプレクサなどのデバイスに供給されることができ、このデバイスは、次いでこれらのマルチメディアチャネルについて予想される符号化複雑度に従って、ビデオチャネルなど多重化されたマルチメディアチャネルの集まり(collection)のために使用可能な帯域幅を割り付けることができ、次いでたとえ多重化チャネルの集まりのための帯域幅が比較的一定であるとしても、このデバイスにより、特定のチャネルの品質は比較的一定のままに留まることが可能になる。これにより、チャネルの集まりの内部のチャネルが、比較的一定のビットレートと可変なビジュアル品質ではなくて、可変なビットレートと比較的一定のビジュアル品質を有するようになる。

図１は、マルチメディアデータ１０２の、チャネルなど複数の(multiple)ソースの符号化を示すシステム図である。マルチメディアデータ１０２は、それぞれのエンコーダ１０４によって符号化され、これらのエンコーダは、マルチプレクサ（ＭＵＸ）１０６が、次に伝送媒体１０８と通信しているときに、通信している。例えば、マルチメディアデータ１０２は、ニュースチャネル、スポーツチャネル、ムービーチャネルなど、様々なコンテンツチャネルに対応することができる。エンコーダ１０４は、マルチメディアデータ１０２をシステムのために指定された符号化フォーマットへと符号化する。ビデオデータの符号化の場合について説明されるが、開示される技法の原理および利点は、例えばビジュアルデータおよび／またはオーディオデータを含めて、マルチメディアデータに対して一般に適用可能である。符号化されたマルチメディアデータは、マルチプレクサ１０６に対して供給され、このマルチプレクサは、様々な符号化されたマルチメディアデータを組み合わせ、その組み合わされたデータを伝送のために伝送媒体１０８に対して送信する。

伝送媒体１０８は、それだけには限定されないが、ＤｉｒｅｃＴＶ（登録商標）などのデジタル衛星通信、デジタルケーブル、有線および無線のインターネット通信、光ネットワーク、セル電話網など、様々な媒体に対応する可能性がある。無線通信システムの場合には、伝送媒体１０８は、例えば、符号分割多元接続(code division multiple access)（ＣＤＭＡまたはＣＤＭＡ２０００）通信システムの一部分を備えることができ、あるいは代わりに、そのシステムは、周波数分割多元接続(frequency division multiple access)（ＦＤＭＡ）システム、直交周波数分割多元接続(orthogonal frequency division multiple access)（ＯＦＤＭＡ）システム、サービス業界のためのＧＳＭ／ＧＰＲＳ（汎用パケット無線サービス(General Packet Radio Service)）／ＥＤＧＥ（拡張データＧＳＭ環境(enhanced data GSM environment)）やＴＥＴＲＡ（地上トランクド無線(Terrestrial Trunked Radio)）モバイル電話技術などの時分割多元接続(time division multiple access)（ＴＤＭＡ）システム、広帯域符号分割多元接続(wideband code division multiple access)（ＷＣＤＭＡ）、高データレート（１×ＥＶ−ＤＯまたは１×ＥＶ−ＤＯゴールドマルチキャスト(Gold Multicast)）システム、または一般に技法の組合せを使用した任意の無線通信システムとすることができる。伝送媒体１０８は、例えば無線周波数(radio frequency)（ＲＦ）への変調を含むことができる。一般的に、スペクトル制約条件などに起因して、伝送媒体は、限られた帯域幅を有し、伝送媒体に対するマルチプレクサ１０６からのデータは、比較的定ビットレート（ＣＢＲ）に保持される。

従来のシステムにおいて、マルチプレクサ１０６の出力における定ビットレート（ＣＢＲ）の使用は、マルチプレクサ１０６に入力として供給される符号化されたマルチメディアデータもまた、ＣＢＲであることを必要とする。背景において説明されるように、例えばビデオコンテンツを符号化するときのＣＢＲの使用は、可変なビジュアル品質をもたらす可能性があり、これは一般的に望ましくない。

図に示されるシステムにおいては、２つ以上のエンコーダ１０４が、入力データの予想される符号化複雑度を通信する。１つまたは複数のエンコーダ１０４は、応答してマルチプレクサ１０６から適応させられたビットレート制御を受けることができる。これにより、比較的複雑なマルチメディアを符号化することを予想するエンコーダは、準可変なビットレート様式でマルチメディアのこれらのフレームについて、より高いビットレートまたはより高い帯域幅（フレーム当たりのより多くのビット）を受け取ることが可能になる。これにより、例えばビジュアルの場合に、マルチメディアデータ１０２は、より一定のビジュアル品質で符号化されることが可能になる。比較的複雑なビデオを符号化する特定のエンコーダ１０４によって使用される余分な帯域幅は、エンコーダが定ビットレートで動作するように実施された場合に、そうでなければ他のマルチメディアデータ１０２を符号化するために使用されていることになるビットに由来する。これは、マルチプレクサ１０６の出力を定ビットレート（ＣＢＲ）に保持する。

マルチメディアデータ１０２の個別のソースは、比較的バーストが多い、すなわち使用される帯域幅が変化する可能性があるが、マルチメディアデータの複数のソースの累積的な総量には、あまりバーストがない可能性がある。あまり複雑でないマルチメディアを符号化しているチャネルからのビットレートは、例えばマルチプレクサ１０６によって比較的複雑なマルチメディアを符号化しているチャネルに対して再割付けされることができ、これは、例えば全体として組み合わされたマルチメディアデータのビジュアル品質を高めることができる。開示される技法は、マルチメディアデータについての帯域幅の設定におけるユーザの介入が、ほとんどまたは全く必要とされないように適応して帯域幅を割り付けるために使用されることができる。

一例においては、エンコーダ１０４は、一緒に符号化され多重化されるべき、ビデオフレームなどのマルチメディアデータの組の複雑度の指示をマルチプレクサ１０６に供給する。例えば、マルチプレクサ１０６は、符号化されたデータの１秒の長さのデータウィンドウなど、データのあらかじめ決定されたウィンドウを一度に多重化することができる。データのこのあらかじめ決定されたウィンドウにおいては、マルチプレクサ１０６の出力は、伝送媒体１０８のために指定されたビットレートより高くない出力を供給すべきである。

例えば、複雑度の指示は、ある与えられたレベルの品質についてデータのウィンドウについてのマルチメディアデータを符号化するために使用されることになるビット数の推定値に対応する可能性がある。マルチプレクサ１０６は、複雑度の指示を解析し、割り付けられたビット数または帯域幅を様々なエンコーダ１０４に供給し、エンコーダ１０４は、その組におけるマルチメディアデータを符号化するためにこの情報を使用する。これにより、１組のマルチメディアデータは、個々に可変なビットレートであり、しかもグループとして定ビットレートを達成することが可能になる。

図２は、符号化のプロセスを一般的に示すフローチャートである。図示されるプロセスは、様々なやり方で修正されることができることが当業者によって理解されるであろう。例えば、別の実施形態においては、図示されるプロセスの様々な部分は、組み合わされることができ、代替シーケンスの形で再構成されることができ、取り除かれることができるなどとなる。

プロセスの状態２１０および２２０は、その出力が多重化されているエンコーダのグループにとって使用可能な帯域幅を効率的に使用するために、マルチプレクサを経由して他のエンコーダと協調して符号化している、図１のエンコーダ１０４などのエンコーダ手段の観点から説明されることになる。状態３２０および３３０は、マルチプレクサから分離している場合に、マルチプレクサまたは他の帯域幅割付けデバイスの観点から書かれている。

図示されるプロセスは、状態２１０において、あらかじめ決定された期間またはウィンドウについての符号化複雑度を推定する。このあらかじめ決定された期間またはウィンドウは、比較的広い範囲内で変化することができる。例えば、このあらかじめ決定された期間は、約５００ミリ秒から約１００００ミリ秒まで変化することができる。あらかじめ決定された期間についての比較的良好な値は、約１秒である。ピクチャのグループが、あらかじめ決定された期間と偶然に一致していない限り、「スーパーフレーム」と名付けられるこのあらかじめ決定された期間は、ピクチャのグループ(group of picture)（ＧＯＰ）、すなわちフレーム内部に関連したピクチャのグループについての期間に対応していないことに注意すべきである。そうではなくて、スーパーフレームは、ある与えられた数の逐次的ピクチャとすることができる。マルチプレクサまたは同様なデバイスが、多重化されるようにパッケージするための、あらかじめ決定された数のフレームなど、周期的間隔内の様々なマルチメディアデータを収集する場合のシステムにおいては、あらかじめ決定された期間は、マルチプレクサによって使用される周期的時間間隔に一致すべきであることが理解されるであろう。例えば、マルチプレクサは、多重化されたデータについての帯域幅制限に従うようにビットまたは帯域幅を個別のチャネルに割り付ける、例えば約１秒のあらかじめ決定された時間間隔を使用することができる。

符号化複雑度を推定する一例は、デュアルパスまたはマルチパスの符号化スキームの「第１のパス」の符号化プロセスに類似した符号化などの符号化プロセスを経由したものである。第１のパスの符号化プロセスにおいては、デフォルト量子化パラメータ(quantization parameter)（ＱＰ）レベルなど、標準のデフォルト品質レベルが、一般的に使用される。符号化複雑度を推定するための別の技法は、以下で説明されることになる帯域幅比メトリック(bandwidth ratio metric)である。

伝統的なマルチパス符号化スキームにおいては、２時間の映画など全体のマルチメディアクリップ(multimedia clip)が、まず符号化されたビデオを保存せずに第１のパスにおいて符号化され、次いでもう一度符号化される。フレームの特定の組がどれほど複雑でどれほど多くの動きを有するかなど、第１のパスの符号化から集められるメトリックまたは統計データが、次いで第２のパスまたはその後の符号化において使用されるビットレートを調整するために使用される。これは、符号化されたビデオの品質を改善する。

しかし、そのような従来のマルチパス技法は、ＤＶＤ上のストレージについての映画の符号化など非リアルタイムデータの符号化のためには有用であるが、全体のクリップを符号化する遅延は、比較的に大きなレイテンシが許容可能にならないブロードキャスティングまたは他の配信の環境におけるデータの符号化については一般的に適切ではない。多くの場合に、マルチメディアデータは、ニュースブロードキャストやスポーツイベントなど、ライブであるコンテンツを搬送することができる。さらに、マルチメディアデータは、たとえ特定のコンテンツが「ライブ」でないときでさえ、そのコンテンツがライブとして扱われるように、マルチメディアを配信するエンティティ(entity)の制御できないコンテンツを搬送することもできる。

ニュースやスポーツイベントなどのライブマルチメディアデータでは、例えば存続期間が数時間の大きなレイテンシは、一般的に許容可能ではない。しかし、比較的短いレイテンシは、許容可能で、多くの状況において注目されないこともある。あらかじめ決定された期間またはウィンドウを有する開示される技法は、数秒の範囲におけるレイテンシなど、比較的短いレイテンシを導入する。これらのレイテンシは、一般的にライブコンテンツの視聴者によって反対されるべきものではない。

あらかじめ決定された期間についての符号化複雑度が知られているときに、この情報は、プロセスの実際の符号化２２０のためにビットを効率的に割り付けるために使用されることができる。例えば、符号化複雑度情報は、他のチャネルの符号化複雑度とは独立に使用されることができ、実際の符号化２２０は、依然として観察可能な利点を有することになる。ビットレートにおける小さな変動は、一般的にバッファによって対応されることができる。マルチメディアデータの他のソースからのビットレート割付けと組み合わされるときに、プロセスは、さらに改善されることさえできる。この変動については図３において説明される。

図３は、複数のソースのマルチメディアデータの複雑度に基づいてビットレートを選択しながら、符号化のプロセスを一般的に説明するフローチャートである。図示されるプロセスは、様々な方法で修正されることができることが、当業者によって認識されるであろう。例えば、別の実施形態においては、図示されるプロセスの様々な部分は、組み合わされることができ、代替シーケンスの形で再構成されることができ、取り除かれることができるなどとなる。

プロセスの状態３１０および３４０は、その出力が多重化されているエンコーダのグループにとって使用可能な帯域幅を効率的に使用するために、マルチプレクサを経由して他のエンコーダと協調して符号化している、図１のエンコーダ１０４などのエンコーダ手段の観点から説明されることになる。状態３２０および３３０は、マルチプレクサから分離している場合に、図１のマルチプレクサ１０６や他の帯域幅割付けデバイスなどのマルチプレクサ手段の観点から書かれている。

図示されるプロセスは、状態３１０においてあらかじめ決定された期間またはウィンドウについての符号化複雑度を推定する。この推定動作３１０は、図２に関連して以前に説明されたプロセスの推定動作２１０について説明される動作と同じとすることができる。しかし、図３の推定動作３１０についてのあらかじめ決定された期間は、マルチプレクサが、ビットまたは帯域幅を割り付ける期間またはウィンドウと一致すべきであることに注意すべきである。

プロセスは、３２０において他のチャネルからの同じあらかじめ決定された期間についての符号化複雑度を取り出すことへと進む。特定の期間において、様々な符号化されたチャネルからの符号化されたビデオは、多重化されることになり、多重化された通信チャネルに割り付けられた総帯域幅を超過すべきではない。

プロセスは、状態３３０において様々なチャネルの間にビットを割り付けることへと進む。例えば、符号化複雑度に関する情報は、ある与えられたビジュアル品質のために消費されることが予想されるビット数に関連づけられることができる。このビット数は、合計されることができ、チャネルに割り付けられるビット数は、消費されることが予想される相対的なビット数に依存する可能性がある。例えば、全体の使用可能な帯域幅のうちのプロラタ部分(pro-rata portion)は、チャネルのプロラタ予想される(pro-rata expected)ビット消費に基づいて各チャネルに対して分配されることができる。別の例においては、チャネルは、消費されることが予想される相対的なビット数に応じて、低い帯域幅、中間の帯域幅、または高い帯域幅のうちの１つに対するなど様々なあらかじめ選択されたビットレートに割り当てられることができる。各システムは、最大帯域幅および最小帯域幅についての個々のシステム制限を有する可能性があり、ビットの割付けはこれらの制限を超過すべきではないことにも注意すべきである。次いで、スーパーフレームと名付けられるあらかじめ決定された期間についてのフレームの組についての割り付けられたビットは、スーパーフレームレベルでビットレート制御するためにエンコーダに供給される。

次いで状態３４０において、エンコーダは、割り付けられたビットに従ってスーパーフレームまたはあらかじめ決定された期間のフレームを符号化する。これにより、個別のチャネルまたはチャネルのグループは、ほぼ一定の品質を達成するために可変ビットレート(variable bit rate)（ＶＢＲ）を有し、しかも出力において定ビットレート（ＣＢＲ）を保持するためにマルチプレクサの出力に複数のチャネルを供給することが可能になる。

図４は、マルチプレクサと対話するマルチパスの先読みビデオエンコーダの一例を示すシステム図である。図示されるシステムは、２−パスアーキテクチャ(two-pass architecture)を使用するが、２−パスよりも多いものも使用されることができることが理解されるであろう。本システムは、データストア４０２と、オプショナルなプリプロセッサ４０４と、第１のパスのエンコーダ４０６と、第２のパスのエンコーダ４０８と、マルチプレクサ１０６と、伝送媒体１０８を含む。本システムは、様々な方法で実施されることができる。例えば、１つまたは複数のオプショナルなプリプロセッサ４０４と、第１のパスのエンコーダ４０６と、第２のパスのエンコーダ４０８は、組み合わされることができ、分離され共通のコントローラによって制御されることができるなどである。

データストア４０２は、着信するマルチメディアデータを記憶する。データストア４０２は、ソリッドステートメモリ(solid state memory)（ＤＲＡＭ、ＳＲＡＭ）、ハードドライブ、など多種多様なデバイスによって実施されることができる。オプショナルなプリプロセッサ４０４は、符号化プロセス中においてフレームのグループ内におけるビット割付けのための帯域幅比メトリックを計算することができる。その帯域幅比メトリックについては後で説明される。図示されるシステムにおいては、プリプロセッサ４０４は、スーパーフレームレベルのビットレート制御とは独立に動作する。オプショナルなプリプロセッサ４０４は、第１のパスのエンコーダ４０６と第２のパスのエンコーダ４０８に対してこれらのメトリックを供給する。

オプショナルなプリプロセッサ４０４と、第１のパスのエンコーダ４０６と、第２のパスのエンコーダ４０８は、パイプラインアーキテクチャ(pipelined architecture)に配列される。このパイプラインアーキテクチャにおいては、ステージごとのレイテンシは同じであるべきであり、すなわち各ステージは、同じ量のデータを処理すべきである。そのデータ量は、あらかじめ決定された期間またはウィンドウのフレームに対応する。これらのフレームは、スーパーフレームと称される。第２のパスのエンコーダ４０８は、フレームの組を符号化しているが、第１のパスのエンコーダ４０６は、第２のパスのエンコーダ４０８によって符号化されるべきフレームの次の組の第１のパスの符号化を実行しており、オプショナルなプリプロセッサ４０４は、第１のパスのプロセッサ４０６によって符号化される第１のパスとなるべきフレームの次の組を処理する。符号化されていないビデオについての生データは、データストア４０２から取り出されることができ、このデータに対するリファレンスは、メモリポインタなどとしてモジュール間を通過させられることができる。

第１のパスのエンコーダ４０６は、あらかじめ決定された期間についてのマルチメディアデータフレームを符号化する。しかし、実際に符号化されるマルチメディアデータフレームは使用される必要がなく、一般的に切り捨てられる。ある与えられた品質レベルにおいてフレームを符号化するために使用されるビット数などの複雑度メトリックが、マルチプレクサ１０６に対して供給される。動きベクトル(motion vector)（ＭＶ）の計算や絶対ピクセル差(absolute pixel difference)（ＳＡＤ）の和など、再使用されることができる他のデータは、第１のパスのエンコーダ４０６から第２のパスのエンコーダ４０８へと供給されることができる。

複雑度メトリックは、組み合わされた多重化データについて使用可能なビットを様々なチャネル間に割り付けるためにマルチプレクサ１０６によって使用される。例えば、マルチプレクサ１０６は、図３に関連して以前に説明されたプロセスのビットを割り付ける状態３３０を使用することができる。次いで、割り付けられたビットは、これらのフレームの符号化のために第２のパスのエンコーダ４０８に対して供給される。

次いで、第２のパスのエンコーダ４０８は、パイプラインの次のサイクルにおいてフレームを符号化し、符号化されたフレームは、パイプラインの後続のサイクルにおいて他のチャネルからのデータと多重化し、伝送媒体を経由して伝送するためにマルチプレクサ１０６に対して使用可能にされる。

図５、６、および７は、図４に示されるシステムと類似したシステムの変形を示している。他の変形は、当業者によって簡単に決定されることになる。例えば、図４に示されるシステムの一変形は、オプショナルなプリプロセッサ４０４を伴わないシステムである。プリプロセッサ４０４の除去は、そのパイプライン中の１ステージと、そのステージのレイテンシとを削除する。

図５の変形においては、プリプロセッサ５０２は、第１のパスの符号化以外の、それよりも複雑でない解析を実行し、複雑度メトリックを供給する。これは、例えば処理能力が限られているシステムにおいて有用になり得る。例えば、帯域幅比メトリックは、これについては後で論じられることになるが、複雑度を決定するために使用されることができる。

図５に示される変形は、データストア４０２、プリプロセッサ５０２、エンコーダ５０４、マルチプレクサ１０６、および伝送媒体１０８を含む。マルチプレクサ１０６は、プリプロセッサ５０２からの複雑度推定値に応じてエンコーダ５０４についてのビットレートを割り付けることができる。プリプロセッサ５０２からの帯域幅比やエンコーダ５０４についてのビットレート制御など、別のメトリックの間のマッピングは、線形、非線形、選択された範囲内においてルックアップテーブルを経由してマッピングされるなどとすることができる。

図６に示される変形は、マルチプレクサと対話しない。図６の変形は、データストア４０２と、オプショナルなプリプロセッサ４０４と、第１のパスのエンコーダ６０２と、第２のパスのエンコーダ６０４とを含む。マルチパスエンコーダの数は、２以外にも変化することができることが理解されるであろう。もっと正確に言えば、第１のパスのエンコーダの結果は、他のチャネルからの複雑度に依存したビットレート割付けなしに第２のパスのエンコーダによって使用される。これは、ビットレートにおけるある変動がバッファによって許容可能なシステムにおいて有用になり得るが、ほぼ定ビットレートの符号化が望ましい。図示されるシステムにおいては、第１のパスのエンコーダ６０２は、スーパーフレームとしても知られているあらかじめ決定された時間にわたってフレームの第１のパスの符号化を実行し、複雑度情報は、第２のパスの符号化６０４を設定するために使用される。図６の変形と従来のデュアルパスシステムとの間の１つの違いは、従来のデュアルパスシステムが、一度に全体のメディアクリップのパスを実行し、これがライブデータなど、ある種のタイプのデータについて非実用的であることである。

図７Ａに示される変形もまた、マルチプレクサと対話しない。その変形は、データストア４０２と、プリプロセッサ７０２と、第１のパスのエンコーダ７０４とを含んでいる。プリプロセッサ７０２は、時間ウィンドウ化複雑度メトリックを第１のパスのエンコーダ７０４に対して供給する。第１のパスのエンコーダ７０４は、対応するマルチメディアデータの符号化について使用するビットレートを選択するためにこの情報を使用する。

図７Ｂに示される変形は、マルチプレクサと対話することができるが、必ずしも対話するとは限らない。その変形は、符号化複雑度決定手段７１２を含み、この符号化複雑度決定手段は、符号化手段７１４に対して複雑度指示を供給する。一例においては、符号化複雑度決定手段７１２は、プリプロセッサ５０２に対応する可能性があり、符号化手段７１４は、第１のパスのエンコーダ５０４に対応する可能性がある。別の例においては、符号化複雑度決定手段７１２は、第１のパスのエンコーダ６０２に対応する可能性があり、符号化手段７１４は、第２のパスのエンコーダ６０４に対応する可能性がある。一態様においては、符号化複雑度決定手段７１２は、データの時間ウィンドウについての複雑度情報を供給し、符号化手段７１４は、後でこの複雑度情報を符号化する。別の態様においては、複雑度情報は、マルチプレクサまたは他のモジュールに対して供給されることができ、次いでこれは、調整されたビットレートを符号化手段７１４に対して供給することができる。

図８は、マルチメディアデータの様々なソースのニーズまたは符号化複雑度に基づいて多重化システムの使用可能な帯域幅を分配するためのプロセッサ８００の一例を示すシステム図である。例えば、そのようなプロセッサは、マルチプレクサ１０６に組み込まれることができ、あるいはマルチプレクサ１０６とは独立にすることができる。

図８に示されるプロセッサ８００は、複雑度収集回路８０２と分配回路８０４とを含んでいる。複雑度収集回路８０２は、例えば複数の第１のパスのエンコーダから複雑度推定値を取り出す。これらの複雑度推定値は、収集される。総ビットレート８０６は、レジスタに記憶されるデータ値とすることができるが、対応するマルチメディアデータの間に割り付けられる。例えば、高い複雑度、中間の複雑度、および低い複雑度について除外される様々なビットレートが存在する可能性があり、次いでこれらのビットレートは、相対的な複雑度推定値に少なくとも部分的に基づいて選択され、それに応じて分配回路８０４に対して供給されることができる。次いで分配回路は、例えばスーパーフレームレベルのビットレート制御のために分配されたビットレートを使用する第２のパスのエンコーダと通信を行う。

次に他の態様が説明される。レート制御は、複数のレベルで実行されることができる。「スーパーフレーム」レベルにおけるレート制御、すなわち固定数の逐次的ピクチャについての、またはウィンドウのデータについてのレート制御は、フレーム内の、またマクロブロック内のピクチャグループ(group of pictures)（ＧＯＰ）についてのレート制御に追加して使用されることができることに注意すべきである。例えば、従来の技法は、これらの他のレベル、ならびにここにおいて説明される技法の内部におけるレート制御のために使用されることができる。スーパーフレームのために選択されるコンテンツおよびサイズに応じて、ピクチャグループのサイズは、スーパーフレームのサイズよりも大きくすることも、あるいは小さくすることもできることにも注意すべきである。

帯域幅マップ生成

人間のビジュアル品質Ｖは、符号化複雑度Ｃと割り付けられたビットＢ（帯域幅とも称される）の両方の関数とすることができる。

符号化複雑度メトリックＣは、人間の視覚の観点から空間周波数と時間周波数とを考慮することに注意すべきである。人間の目に対してより感受性のあるひずみについては、複雑度値は、それに対応してより高くなる。一般的にＶは、Ｃと共に単調に減少し、Ｂと共に単調に増大していることが仮定されることができる。この３−Ｄの関係の一例が、図９にプロットされる。

一定のビジュアル品質を達成するために、帯域幅（Ｂ_ｉ）は、式１および２の形で表現される判断基準を満たす、符号化されるべきｉ番目のオブジェクト（フレームまたはＭＢ）に対して割り当てられる。
Ｂ_ｉ＝Ｂ（Ｃ_ｉ，Ｖ） （式１）

式１および／または２において、Ｃ_ｉは、ｉ番目のオブジェクトの符号化複雑度であり、Ｂは、総使用可能帯域幅であり、Ｖは、オブジェクトのための達成されるビジュアル品質である。人間のビジュアル品質は、式として定式化することが難しい。したがって、上式は、正確には定義されていない。しかし、３−Ｄモデルがすべての変数について連続していることが仮定される場合には、帯域幅比（Ｂ_ｉ／Ｂ）は、（Ｃ，Ｖ）対の近傍内で不変なものとして取り扱われることができる。帯域幅比β_ｉは、式３で定義される。
β_ｉ＝Ｂ_ｉ／Ｂ （式３）

次いでビット割付け問題は、式４で表現されるものと定義されることができる。

上式４においては、δは、「近傍」を示す。

符号化複雑度は、空間的にも時間的にも人間のビジュアル感受性によって影響を及ぼされる。ジロ(Girod)の人間の視覚モデルは、空間複雑度を定義するために使用されることができるモデルの一例である。このモデルは、局所的な空間周波数と周囲の照明を考慮している。結果として生ずるメトリックは、Ｄ_ｃｓａｔと呼ばれる。プロセス中における事前処理ポイントにおいて、ピクチャが内部で符号化されるべき(to be Intra-coded)か、相互間で符号化されるべき(to be Inter-coded)かについては知られておらず、両方についての帯域幅比が生成される。内部で符号化されるピクチャでは、帯域幅比は、式５の形で表現される。
β_{ＩＮＴＲＡ}＝β_{０ＩＮＴＲＡ}ｌｏｇ_１０（１＋α_{ＩＮＴＲＡ}Ｙ^２Ｄ_ｃｓａｔ） （式５）

上式においては、Ｙは、ＭＢの平均輝度成分であり、α_{ＩＮＴＲＡ}は、輝度の２乗についての重みファクタであり、Ｄ_ｃｓａｔ項は、それに続いており、β_{０ＩＮＴＲＡ}は、

を保証する、正規化ファクタである。例えば、α_{ＩＮＴＲＡ}＝４についての値は、良好なビジュアル品質を達成する。スケーリングファクタβ_{０ＩＮＴＲＡ}の値は、ビットが異なるビデオオブジェクトのβ_{ＩＮＴＲＡ}の間の比に従って割り付けられる限りは、重要ではない。

この関係を理解するためには、帯域幅が符号化複雑度と共に対数的に割り付けられることに注意すべきである。輝度の２乗の項は、より大きな大きさを有する係数が、符号化するためにより多くのビットを使用することを示す。対数が負の値をもたないようにするために、１が、括弧内の項に加えられる。他の底(base)を有する対数も使用されることができる。

相互間で符号化されるピクチャについてのビット割付けは、空間複雑度ならびに時間複雑度を考慮する必要がある。これは、以下で式６において表される。
β_{ＩＮＴＥＲ}＝β_{０ＩＮＴＥＲ}ｌｏｇ_１０（１＋α_{ＩＮＴＥＲ}・ＳＳＤ・Ｄ_ｃｓａｔｅｘｐ（−γ｜｜ＭＶ_Ｐ＋ＭＶ_Ｎ｜｜^２）） （式６）

式６において、ＭＶ_ＰおよびＭＶ_Ｎは、現行のＭＢについての順方向および逆方向の動きベクトルである。ＩＮＴＲＡ式中のＹ^２は、ＳＳＤによって置き換えられ、このＳＳＤは、差の２乗の和(sum of squared difference)を意味することに注目されることができる。

式６中における｜｜ＭＶ_Ｐ＋ＭＶ_Ｎ｜｜^２の役割を理解するために、人間のビジュアルシステムの次の特性、すなわち滑らかな予測可能な動き（小さな｜｜ＭＶ_Ｐ＋ＭＶ_Ｎ｜｜^２）を受ける区域が、注意を引き、目によって追跡されることができ、一般的には静止した領域よりも多くのどのようなひずみも許容することができないことに注意すべきである。しかし、高速な、または予測できない動き（大きな｜｜ＭＶ_Ｐ＋ＭＶ_Ｎ｜｜^２）を受ける区域は、追跡されることができず、かなりの量子化を許容することができる。実験は、α_{ＩＮＴＥＲ}＝１、γ＝０．００１が良好なビジュアル品質を達成することを示す。

フレームタイプの決定は、β_{ＩＮＴＲＡ}の後に実行されることができ、β_{ＩＮＴＥＲ}は、フレームごとに計算される。β_{ＩＮＴＥＲ}／β_{ＩＮＴＲＡ}≧Ｔである場合、またはシーンの変化が検出される場合には、次いでフレームは、Ｉ−フレームとして符号化され、そうでなければフレームは、Ｐ−フレームまたはＢ−フレームとして符号化される。逐次的なＢ−フレームの数は、コンテンツ適応可能である。

ＧＯＰレベルレート制御（ＲＣ）とフレームレベルＲＣ

異なるピクチャタイプは、異なる符号化効率と異なるエラー堅牢性とを有する。エンコーダとデコーダは、おのおのバッファを保持する。仮想バッファサイズは、どれほど多くのバースト性が、許容され得るかを決定する。例えば、仮想バッファサイズが８秒間のマルチメディアデータの平均サイズに設定される場合、次いでレート制御（ＲＣ）アルゴリズムは、８秒間の時間フレーム上で平均ビットレートを保持する。瞬間的なビットレートは、平均よりずっと高い、またはずっと低くすることができるが、任意の８秒間のデータにおいて、ビットレートの平均は、ターゲットビットレートの周囲の非常に近くにとどまるべきである。

エンコーダバッファのバッファ満杯度(buffer fullness)と、デコーダバッファのバッファ満杯度とは、互いに双対をなす。デコーダバッファのオーバーフローするイベントは、エンコーダバッファのアンダーフローするイベントに対応する。デコーダバッファのアンダーフローするイベントは、デコーダバッファのオーバーフローするイベントに対応する。

Ｉ−フレームＱＰ割当て

ビットストリームの先頭において、量子化パラメータ(Quantization Parameter)（ＱＰ）は、式７に示されるような平均ピクセル当たりのビット (average bit-per-pixel)（ｂｐｐ）値に従って第１のＩ−フレームについて計算される。

この式は、共同ビデオチーム(Joint Video Team)（ＪＶＴ）仕様から取られる。上式においてＷおよびＨは、それぞれピクチャの幅および高さである。

であり、この式中におけるパラメータは、すぐにアドレス指定されることになる。

エンコーダは、以前に符号化されたＰ枚のピクチャのＱＰを追跡する。平滑化されたＰピクチャのＱＰは、式８を介して得られる。

ＱＰ’_Ｉ＝（１−α）×ＱＰ’_Ｉ＋α×ＱＰ_Ｐ （式８）

上式において、αは指数の重みファクタであり、ＱＰ_Ｐは、最近符号化されたＰ−フレームのＱＰである。

ＧＯＰ中における第１のＩ−フレームのＱＰは、式９を使用して計算されることができる。

ＱＰ_Ｉ＝ＱＰ’_Ｉ＋Δ_ＱＰ （式９）

Ｐ−フレームＱＰ割当て

フレームサイズ上の下限は、式１０に表されるようなピクチャグループ（ＧＯＰ）の先頭において初期化される。

式１０は、ＪＶＴから取られ、ここでＢ（ｎ_ｉ，０）は、（ｉ−１）番目のＧＯＰを符号化した後のバッファ占有率であり、バッファが最初に空であるようにするためにＢ（ｎ_０，０）＝０であり、ｕ（ｎ_ｉ，ｊ）は、使用可能なチャネル帯域幅であり、Ｆは、あらかじめ定義されたフレームレートである。

Ｉ−フレームは、符号化するために多くのビットを取る可能性がある。フレームサイズの上限は、式１１に表されるように、ピクチャグループ（ＧＯＰ）の先頭において初期化される。

上式１１は、ＪＶＴから取られ、ここでｂ_Ｉは、最初のＩ−フレーム上で費やされる最大ビット数である。

は、バッファについてのオーバーフロー保護ファクタである。

あらゆるフレームを符号化した後に、下限および上限は、式１２および１３中において表されるようにアップデートされることができる。

式１２および１３は、ＪＶＴから取られ、ここでｂ（ｎ_ｉ，ｊ）は、ｉ番目のＧＯＰ中におけるｊ番目のフレームによって生成されるビット数である。

残りの先読みのための総ビット数は、式１４に表されるように計算されることができる。

式１４において、Ｎ_{RemaingLookAhead}は、残りの先読み(remaining look-Ahead)フレーム数であり、β_{RemainingLookAhead}は、残りの先読みフレームの対応する帯域幅メトリックであり、β_{ProjectedBWSmoothingWin}は、予測される帯域幅平滑化ウィンドウ(projected bandwidth smoothing window)の帯域幅メトリックである。バッファを空にするタスクは、帯域幅平滑化ウィンドウ上に分散され、この帯域幅平滑化ウィンドウのサイズは、ユーザによってあらかじめ記述されることができることが分かる。例えば、ビデオの８秒ごとのＷの平均ビットレートを保持するために、帯域幅平滑化ウィンドウは、８倍のフレームレート（秒当たりのフレーム）に設定されるべきである。

Ｐフレームの予測されるサイズは、式１５中に表される。

上式において、β（ｎ_ｉ，ｊ）は、ｉ番目のＧＯＰ中のｊ番目のフレームの帯域幅メトリックであり、それは、帯域幅メトリック（Ｂ）を介して得られることができる。

バッファ占有率のアンダーフローおよびオーバーフローを防止するために、式１６および１７のクリッピング関数(clipping function)が、Ｒ（ｎ_ｉ，ｊ）に適用される。
Ｒ（ｎ_ｉ，ｊ）＝ｍａｘ｛Ｌ（ｎ_ｉ，ｊ），ｆ（ｎ_ｉ，ｊ）｝ （式１６）
Ｒ（ｎ_ｉ，ｊ）＝ｍｉｎ｛Ｕ（ｎ_ｉ，ｊ），ｆ（ｎ_ｉ，ｊ）｝ （式１７）

式１６および１７は、ＪＶＴから取られる。ＪＶＴにおいて説明される２次のモデリング(quadratic modeling)は、Ｑ_ｓｔｅｐおよびＱＰを計算するために適用されることができ、ここでＳは、動き推定(motion estimation)から得られるＳＡＤ値である。２次モデル中におけるパラメータは、線形回帰(linear regression)を使用してフレームごとにアップデートされることができる。

以上の考察から、フレーム間のＲＣは、以降の改善された特性を伴って、ＪＶＴ勧告と類似していることが理解されることができる。すなわち、大きな仮想バッファは、十分なビットレート変動と準一定の品質を可能にし、フレームサイズは、フレーム複雑度マップに従って割り付けられ、先読みフレーム（スーパーフレーム）は、反因果関係の統計を活用するために使用される。

Ｂ−フレームＱＰ割当て

この部分は、ＪＶＴ勧告と同じとすることができる。たった１つのＢ−フレームだけが１対のＩ−フレームまたはＰ−フレームの間に存在する場合には、式１８が使用されることができる。

上式１８は、ＪＶＴから取られ、式中でＱＰ_１およびＱＰ_２は、Ｉ−フレームまたはＰ−フレームの対についての量子化パラメータである。

１対のＩ−フレームまたはＰ−フレームの間のＢ−フレーム数が、Ｌ（Ｌ＞１）である場合、式１９が、使用されることができる。

上式は、ＪＶＴから取られ、式中でαは、第１のＢフレームの量子化パラメータとＱＰ_Ｉとの間の差であり、式２０ａによって与えられる。
α＝ｍｉｎ｛−３，ｍａｘ｛２，２×Ｌ＋ＱＰ_２−ＱＰ_１｝｝ （式２０ａ）

スーパーフレームレベルレート制御（ＲＣ）

スーパーフレームレベルにおけるレート制御は、スーパーフレームのサイズが最大のあらかじめ記述された値を超過しないようにするために使用される。一態様においては、符号化がマルチパスで実行される場合、スーパーフレームレベルＲＣは、第１のパスにおいて実行されない。

全体のスーパーフレームを符号化した後に、エンコーダは、スーパーフレームのサイズが、その限界よりも下であることを検証する。そうでない場合に、現行のスーパーフレーム中におけるフレームの帯域幅マップは、式２０ｂに記述されるようにスケールダウンされることができる。式２０ｂにおいて、Ｐは、０と１との間の保護ファクタである。

基本ユニットレベルレート制御（ＲＣ）

基本ユニットは、１つまたは複数のマクロブロックのいずれかとすることができる。

内部基本ユニットＱＰ(INTRA basic unit QP)調整

式２１において表される関係は、内部基本ユニットＱＰ調整のために使用されることができる。

式２１において、Ａは、実験によって決定される負でないパラメータであり、

は、ビデオオブジェクト近傍の平均帯域幅比である。Ａ＝０．０８についての値は、良好なビジュアル品質を与える。ＱＰにおける変化は、さらに急激な変化を防止するためにあらかじめ記述された制限を受ける。

相互間基本ユニットＱＰ(INTER basic unit QP)調整

相互間基本ユニットＱＰは、２次モデルに従って割り当てられ、この２次モデルは、式２２に表されるようにＪＶＴから取られる。

適応基本ユニットサイズ(adaptive basic unit size)

基本ユニットのサイズは、どれだけ頻繁にＱＰが調整されることができるかを決定する。しかし、あまりにも多すぎるＱＰ調整は、オーバーヘッドを増大させる。適応基本ユニットサイジングは、類似したＱＰのマクロブロック（ＭＢ）を一緒にグループ分けし、それらに単一のＱＰを割り当てる。

図１０は、マルチメディアデータを符号化するための方法の一例を示している。図示される方法は、選択されるウィンドウのデータに対応する第１のマルチメディアデータを符号化すること１０１０と、第１のマルチメディアデータを再符号化しながら、第１のマルチメディアデータとは異なる、選択されるウィンドウのデータに対応する第２のマルチメディアデータを符号化すること１０２０とを含む。

図１１は、マルチメディアデータを符号化するための装置の一例を示している。図示される装置は、選択されるウィンドウのデータに対応する第１のマルチメディアデータと、第１のマルチメディアデータとは異なり、選択されるウィンドウのデータに対応する第２のマルチメディアデータとを符号化するための手段１１１０と、符号化手段１１１０が第２のマルチメディアデータを符号化する間に、第１のマルチメディアデータを再符号化するための手段１１２０とを含む。

当業者は、情報および信号が、様々な異なる技術および技法のうちのどれかを使用して表されることができることを理解するであろう。例えば、以上の説明全体を通して参照されることができるデータ、命令、コマンド、情報、信号、ビット、シンボル、およびチップは、電圧、電流、電磁波、磁気のフィールドまたは粒子、光のフィールドまたは粒子、あるいはそれらの任意の組合せによって表されることができる。

当業者は、ここにおいて開示される例に関連して説明される様々な例示の論理ブロック、モジュール、およびアルゴリズムステップが、電子的ハードウェア、ファームウェア、コンピュータソフトウェア、ミドルウェア、マイクロコード、あるいはそれらの組合せとして実施されることができることをさらに理解するであろう。ハードウェアおよびソフトウェアのこの交換可能性を明確に説明するために、様々な例示のコンポーネント、ブロック、モジュール、回路、およびステップが、それらの機能の観点から一般的に以上で説明されてきている。そのような機能がハードウェアとして実施されるか、あるいはソフトウェアとして実施されるかは、特定のアプリケーション、および全体的なシステムに課される設計制約条件に依存する。当業者は、特定のアプリケーションごとに変化する方法で、説明される機能を実施することができるが、そのような実施の決定は、開示される本方法の範囲からの逸脱を引き起こすものとして解釈されるべきではない。

ここにおいて開示される実施形態に関連して説明される様々な例示の論理ブロック、モジュール、および回路は、ここにおいて説明される機能を実行するように設計された汎用プロセッサ、デジタル信号処理プロセッサ(digital signal processor)（ＤＳＰ）、特定用途向け集積回路(application specific integrated circuit)（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ(field programmable gate array)（ＦＰＧＡ）または他のプログラマブルロジックデバイス、個別ゲートまたはトランジスタロジック、個別ハードウェアコンポーネント、あるいはそれらの任意の組合せを用いて実施され、または実行されることができる。システムの一部または全部は、図示されていないプロセッサの形で実行されることができる。汎用プロセッサは、マイクロプロセッサとすることができるが、代替案においては、プロセッサは、任意の従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械とすることもできる。プロセッサはまた、コンピューティングデバイス(computing device)の組合せとして、例えばＤＳＰとマイクロプロセッサとの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと組み合わされた１つまたは複数のマイクロプロセッサ、あるいは他のそのような任意のコンフィギュレーションとして実施されることもできる。

ここにおいて開示される実施形態に関連して説明される方法またはアルゴリズムのステップは、ハードウェアの形で直接に、プロセッサによって実行されるソフトウェアモジュールの形で、あるいはこれらの２つの組合せの形で実施されることができる。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、着脱可能ディスク、ＣＤ−ＲＯＭ、あるいは当技術分野において知られているストレージ媒体の他の任意の形態の形で存在することができる。例示のストレージ媒体は、プロセッサが、ストレージ媒体から情報を読み取り、ストレージ媒体に情報を書き込むことができるように、プロセッサに結合される。代替案においては、ストレージ媒体は、プロセッサと一体になっていてもよい。プロセッサおよびストレージ媒体は、ＡＳＩＣ中に存在することができる。そのＡＳＩＣは、ユーザ端末中に存在することができる。代替案においては、プロセッサおよびストレージ媒体は、ユーザ端末中に個別コンポーネントとして存在することもできる。

本開示の実施形態の上記の説明は、いずれの当業者も本発明を作り、または使用することができるようにするために提供される。これらの実施形態に対する様々な修正は、当業者に対して簡単に明らかになり、ここにおいて定義される包括的な原理は、他の例に対しても適用されることができ、追加の要素が追加されることもできる。したがって、本発明は、ここにおいて示される実施形態だけに限定されるようには意図されず、ここにおいて開示される原理および新規特徴と整合した最も広い範囲が与えられるように意図されている。

複数のマルチメディアデータチャネルについてのデータの符号化を示すシステム図である。 符号化のプロセスを一般的に示すフローチャートである。 複数のマルチメディアチャネルについてのデータの複雑度に基づいてビットレートを選択しながら、符号化のプロセスを一般的に示すフローチャートである。 マルチプレクサと対話するマルチパスの先読みエンコーダの一例を示すシステム図である。 マルチプレクサと対話するシングルパスの先読みエンコーダの一例を示すシステム図である。 独立なマルチパスの先読みエンコーダの一例を示すシステム図である。 独立なシングルパスの先読みエンコーダの一例を示すシステム図である。 符号化複雑度決定手段と符号化手段の一例を示すシステム図である。 チャネルの必要性に基づいて多重化システムの使用可能な帯域幅を分配するための装置の一例を示すシステム図である。 符号化複雑度Ｃと割り付けられたビットＢに対する推定されるビジュアル品質関数Ｖの３−Ｄマップである。 マルチメディアデータを符号化するための方法の一例を示す図である。 マルチメディアデータを符号化するための装置の一例を示す図である。

Claims (53)

1. 受け取られるビデオデータを符号化する方法であって、
   前記ビデオデータの第１の部分についての第１の符号化複雑度を決定することと、
   前記第１の符号化複雑度に少なくとも部分的に基づいてビデオデータの前記第１の部分を符号化することと
   を備える方法。
2. 前記第１の符号化複雑度に少なくとも部分的に基づいて決定されているターゲットビットレートを受け取ることをさらに備え、符号化することは、前記第１の部分を符号化することをさらに備え、その結果、前記符号化された第１の部分は、前記ターゲットビットレートに近いビットレートで伝送されることができる、請求項１に記載の方法。
3. 前記第１の符号化複雑度は、前記第１の部分の符号化に基づいており、前記方法は、
   前記第１の符号化複雑度に少なくとも部分的に基づいて決定されているターゲットビットレートを受け取ることをさらに備え、符号化することは、前記第１の部分を再符号化することをさらに備え、その結果、前記再符号化された第１の部分は、前記ターゲットビットレートに近いビットレートで伝送されることができる、請求項１に記載の方法。
4. 前記第１の符号化複雑度は、符号化プロセスに基づいておらず、前記方法は、
   前記ビデオデータの前記第１の部分についての第２の符号化複雑度を取り出すことをさらに備え、ターゲットビットレートは、前記第１の符号化複雑度と前記第２の符号化複雑度とに基づいて少なくとも部分的に決定される、請求項１に記載の方法。
5. 前記第１の部分は、ビデオクリップの存続期間よりも短いあらかじめ決定された期間のビデオデータに対応する、請求項１に記載の方法。
6. 前記あらかじめ決定された期間は、約１秒である、請求項５に記載の方法。
7. 前記第１の部分は、あらかじめ決定された数のフレームのビデオデータに対応する、請求項１に記載の方法。
8. 前記第１の符号化複雑度は、局所的な空間周波数と周囲の照明との組合せに基づくオブジェクトについてのメトリックの対数に少なくとも部分的に基づいている、請求項１に記載の方法。
9. 前記オブジェクトは、マクロブロックまたはフレームである、請求項８に記載の方法。
10. 受け取られるビデオデータを符号化するための装置であって、
    前記ビデオデータの第１の部分についての第１の符号化複雑度を決定するための手段と、
    前記第１の符号化複雑度に少なくとも部分的に基づいてビデオデータの前記第１の部分を符号化するための手段と
    を備える装置。
11. 前記第１の符号化複雑度に少なくとも部分的に基づいて決定されているターゲットビットレートを受け取るための手段をさらに備え、符号化することは、前記第１の部分を符号化することをさらに備え、その結果、前記符号化された第１の部分は、前記ターゲットビットレートに近いビットレートで伝送されることができる、請求項１０に記載の装置。
12. 前記第１の符号化複雑度は、前記第１の部分の符号化に基づいており、前記装置は、前記第１の符号化複雑度に少なくとも部分的に基づいて決定されているターゲットビットレートを受け取るための手段をさらに備え、前記符号化手段は、前記第１の部分を再符号化するための手段をさらに備え、その結果、前記再符号化された第１の部分は、前記ターゲットビットレートに近いビットレートで伝送されることができる、請求項１０に記載の装置。
13. 前記第１の符号化複雑度は、符号化プロセスに基づいておらず、前記装置は、
    前記ビデオデータの前記第１の部分についての第２の符号化複雑度を取り出すための手段をさらに備え、ターゲットビットレートは、前記第１の符号化複雑度と前記第２の符号化複雑度とに基づいて少なくとも部分的に決定される、請求項１０に記載の装置。
14. 前記第１の部分は、ビデオクリップの存続期間よりも短いあらかじめ決定された期間のビデオデータに対応する、請求項１０に記載の装置。
15. 前記あらかじめ決定された期間は、約１秒である、請求項１４に記載の装置。
16. 前記第１の部分は、あらかじめ決定された数のフレームのビデオデータに対応する、請求項１０に記載の装置。
17. 前記第１の符号化複雑度は、局所的な空間周波数と周囲の照明との組合せに基づくオブジェクトについてのメトリックの対数に少なくとも部分的に基づいている、請求項１０に記載の装置。
18. 前記オブジェクトは、マクロブロックまたはフレームである、請求項１８に記載の装置。
19. 受け取られるビデオデータを符号化する装置であって、
    前記ビデオデータの第１の部分についての第１の符号化複雑度を決定するように構成されるプロセッサと、
    前記第１の符号化複雑度に少なくとも部分的に基づいてビデオデータの前記第１の部分を符号化するように構成されるエンコーダと
    を備える装置。
20. 前記エンコーダは、さらに前記第１の符号化複雑度に少なくとも部分的に基づいて決定されているターゲットビットレートを受け取るように構成され、前記エンコーダは、さらに前記第１の部分を符号化するように構成され、その結果、前記符号化された第１の部分は、前記ターゲットビットレートに近いビットレートで伝送されることができる、請求項１９に記載の装置。
21. 前記第１の符号化複雑度は、前記第１の部分の符号化に基づいており、前記エンコーダは、前記第１の符号化複雑度に少なくとも部分的に基づいて決定されているターゲットビットレートを受け取るように構成され、前記エンコーダは、さらに前記第１の部分を再符号化するように構成され、その結果、前記再符号化された第１の部分は、前記ターゲットビットレートに近いビットレートで伝送されることができる、請求項１９に記載の装置。
22. 前記第１の符号化複雑度は、符号化プロセスに基づいておらず、前記エンコーダは、さらに前記ビデオデータの前記第１の部分についての第２の符号化複雑度を取り出すように構成され、ターゲットビットレートは、前記第１の符号化複雑度と前記第２の符号化複雑度とに基づいて少なくとも部分的に決定される、請求項１９に記載の装置。
23. 前記第１の部分は、ビデオクリップの存続期間よりも短いあらかじめ決定された期間のビデオデータに対応する、請求項１９に記載の装置。
24. 前記あらかじめ決定された期間は、約１秒である、請求項２３に記載の装置。
25. 前記第１の部分は、あらかじめ決定された数のフレームのビデオデータに対応する、請求項１９に記載の装置。
26. 前記第１の符号化複雑度は、局所的な空間周波数と周囲の照明との組合せに基づくオブジェクトについてのメトリックの対数に少なくとも部分的に基づいている、請求項１９に記載の装置。
27. 前記オブジェクトは、マクロブロックまたはフレームである、請求項２６に記載の装置。
28. マルチプレクサをさらに備え、前記マルチプレクサは、符号化複雑度に少なくとも部分的に基づいたターゲットビットレートを前記エンコーダに供給するように構成される、請求項２６に記載の装置。
29. 受け取られるビデオデータを符号化するための命令を有する有形媒体の形で実施されるコンピュータプログラムプロダクトであって、
    前記ビデオデータの第１の部分についての第１の符号化複雑度を決定するための命令を有するモジュールと、
    前記第１の符号化複雑度に少なくとも部分的に基づいてビデオデータの前記第１の部分を符号化するための命令を有するモジュールと
    を備えるコンピュータプログラムプロダクト。
30. 前記第１の符号化複雑度に少なくとも部分的に基づいて決定されているターゲットビットレートを受け取るための命令を有するモジュールをさらに備え、符号化するための命令を有する前記モジュールは、前記第１の部分を符号化するための命令をさらに備え、その結果、前記符号化された第１の部分は、前記ターゲットビットレートに近いビットレートで伝送されることができる、請求項２９に記載のコンピュータプログラムプロダクト。
31. 前記第１の符号化複雑度は、前記第１の部分の符号化に基づいており、前記コンピュータプログラムプロダクトは、前記第１の符号化複雑度に少なくとも部分的に基づいて決定されているターゲットビットレートを受け取るための命令を有するモジュールをさらに備え、符号化するための命令を有する前記モジュールは、前記第１の部分を再符号化するための命令をさらに備え、その結果、前記再符号化された第１の部分は、前記ターゲットビットレートに近いビットレートで伝送されることができる、請求項２９に記載のコンピュータプログラムプロダクト。
32. 前記第１の符号化複雑度は、符号化プロセスに基づいておらず、前記コンピュータプログラムプロダクトは、
    前記ビデオデータの前記第１の部分についての第２の符号化複雑度を取り出すための命令を有するモジュールをさらに備え、ターゲットビットレートは、前記第１の符号化複雑度と前記第２の符号化複雑度とに基づいて少なくとも部分的に決定される、請求項２９に記載のコンピュータプログラムプロダクト。
33. 前記第１の部分は、ビデオクリップの存続期間よりも短いあらかじめ決定された期間のビデオデータに対応する、請求項２９に記載のコンピュータプログラムプロダクト。
34. 前記あらかじめ決定された期間は、約１秒である、請求項３４に記載のコンピュータプログラムプロダクト。
35. 前記第１の部分は、あらかじめ決定された数のフレームのビデオデータに対応する、請求項２９に記載のコンピュータプログラムプロダクト。
36. 前記第１の符号化複雑度は、局所的な空間周波数と周囲の照明との組合せに基づくオブジェクトについてのメトリックの対数に少なくとも部分的に基づいている、請求項２９に記載のコンピュータプログラムプロダクト。
37. 前記オブジェクトは、マクロブロックまたはフレームである、請求項３６に記載のコンピュータプログラムプロダクト。
38. マルチメディアデータを符号化するための方法であって、
    選択されるウィンドウのデータに対応する第１のマルチメディアデータを符号化することと、
    前記第１のマルチメディアデータを再符号化しながら、前記第１のマルチメディアデータと異なる、前記選択されるウィンドウのデータに対応する第２のマルチメディアデータを符号化することと
    を備える方法。
39. 前記選択されるウィンドウのデータは、約１秒間のデータに対応する、請求項３８に記載の方法。
40. 前記第１のマルチメディアデータは、ビデオデータを備え、前記第１のマルチメディアデータの符号化は、
    前記ビデオデータについての符号化複雑度を決定することと、
    前記ビデオデータを符号化することと
    を備える、請求項３８に記載の方法。
41. 前記第１のマルチメディアデータを再符号化することは、前記第１のマルチメディアデータを符号化することからの符号化統計データを使用する、請求項３８に記載の方法。
42. マルチメディアデータを符号化するための装置であって、
    選択されるウィンドウのデータに対応する第１のマルチメディアデータと、前記第１のマルチメディアデータと異なる、前記選択されるウィンドウのデータに対応する第２のマルチメディアデータとを符号化するための手段と、
    前記符号化手段が、前記第２のマルチメディアデータを符号化する間に、前記第１のマルチメディアデータを再符号化するための手段と
    を備える装置。
43. 前記選択されるウィンドウのデータは、約１秒間のデータに対応する、請求項４２に記載の方法。
44. 前記第１のマルチメディアデータは、ビデオデータを備え、前記符号化手段は、
    前記ビデオデータについての符号化複雑度を決定するための手段と、
    前記ビデオデータを符号化するための手段と
    を備える、請求項４２に記載の方法。
45. 前記再符号化手段は、前記第１のマルチメディアデータを再符号化するために前記符号化手段からの符号化統計データを使用する、請求項４２に記載の方法。
46. マルチメディアデータを符号化するための装置であって、
    選択されるウィンドウのデータに対応する第１のマルチメディアデータを符号化し、前記第１のマルチメディアデータと異なる、前記選択されるウィンドウのデータに対応する第２のマルチメディアデータを符号化するように構成される第１のエンコーダと、
    前記第１のエンコーダが、前記第２のマルチメディアデータを符号化している間に、前記第１のマルチメディアデータを再符号化するように構成される第２のエンコーダと
    を備える装置。
47. 前記選択されるウィンドウのデータは、約１秒間のデータに対応する、請求項４６に記載の装置。
48. 前記第１のマルチメディアデータは、ビデオデータを備え、前記第１のエンコーダは、
    前記ビデオデータについての符号化複雑度を決定するように構成されるプロセッサと、
    前記ビデオデータを符号化するように構成されるエンコーダと
    を備える、請求項４６に記載の装置。
49. 前記第２のエンコーダは、前記第１のマルチメディアデータを再符号化するために前記第１のエンコーダからの符号化統計データを受け取るように構成される、請求項４６に記載の装置。
50. マルチメディアデータを符号化するための命令を有する有形媒体中に実施されるコンピュータプログラムプロダクトであって、
    選択されるウィンドウのデータに対応する第１のマルチメディアデータを符号化するための、また前記第１のマルチメディアデータと異なる、前記選択されるウィンドウのデータに対応する第２のマルチメディアデータを符号化するための命令を有するモジュールと、
    符号化するための命令を有する前記モジュールが、前記第２のマルチメディアデータを符号化している間に前記第１のマルチメディアデータを再符号化するための命令を有するモジュールと
    を備えるコンピュータプログラムプロダクト。
51. 前記選択されるウィンドウのデータは、約１秒間のデータに対応する、請求項５０に記載のコンピュータプログラムプロダクト。
52. 前記第１のマルチメディアデータは、ビデオデータを備え、前記第１のマルチメディアデータの符号化のための命令を有する前記モジュールは、
    前記ビデオデータについての符号化複雑度を決定するための命令を有するモジュールと、
    前記ビデオデータを符号化するための命令を有するモジュールと
    を備える、請求項５０に記載のコンピュータプログラムプロダクト。
53. 前記第１のマルチメディアデータを再符号化するための命令を有する前記モジュールは、前記第１のマルチメディアデータの符号化のための命令を有する前記モジュールから受け取られる符号化統計データを使用するための命令を備える、請求項５０に記載のコンピュータプログラムプロダクト。

Images