JP2005252752A - 動画像符号化装置，動画像符号化方法，動画像符号化プログラムおよびそのプログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】複数チャネル間の適応ビットレート配分機能を有する動画像符号化装置を容易に実現できるようにする。
【解決手段】全体制御部１９は，各符号化部１０〜１２におけるＮピクチャ分の符号化ストリームを単位として，事前符号化部１６〜１８による事前符号化結果をもとに発生符号量を予測し，各符号化部１０〜１２に配分する出力ビットレートを決定する。各符号化部１０〜１２では，決定された出力ビットレートのもとで各チャネルごとの入力映像の符号化を行う。このとき，すべての符号化部１０〜１２においてＮピクチャ分の符号化ストリームの出力が終了する時刻から所定の余裕時間分経過した時刻を，以降のＮピクチャ分の符号化ストリームの出力開始時刻とし，出力開始タイミングを一致させる。
【選択図】図１

Description

本発明は，動画像符号化技術に関し，特に，複数チャネル間の適応ビットレート配分機能を有する動画像符号化装置に関するものである。

複数チャネル間の適応ビットレート配分機能を有する動画像符号化装置は，一般に複数のチャネルの映像が入力され，それぞれの入力映像の内容に応じたチャネル間の符号量配分もしくはビットレート配分を行い，各符号化部において，それぞれ可変ビットレートの符号化ストリームを生成する。

各符号化部のストリームバッファから出力された符号化ストリームは，装置内の多重化部または装置外の多重化装置において，一本の固定ビットレートまたは可変ビットレートのストリームに多重化される。

このような場合に，各符号化部のストリームバッファから出力された可変ビットレートの符号化ストリームのビットレートの総和が，常に多重化後のビットレートと同じか，もしくはそれ以下になっていることが望ましい。これは，ビットレートの総和が多重化後のビットレートを超える瞬間があると，多重化時に各符号化ストリームのビットレートの平滑化が必要となり，デコーダにおける符号化データ受信タイミングを制御することが困難になる問題があるためである。

各符号化部のストリームバッファから出力された符号化ストリームのビットレートの総和を，常に多重化後のビットレートと同じか，もしくはそれ以下にするためには，各符号化部に対して全体のビットレートを正しく配分するとともに，符号化部間の出力ビットレートの切替えタイミングを一致させることが必要となる。

この実現方法として，従来より一般的に検討されている方法としては，一つの制御部から各符号化部のストリームバッファに対して直接同じタイミングで出力ビットレートの切替えを指示する方法がある。

なお，下記の特許文献１，特許文献２に，複数チャネル間の適応ビットレート配分を実現する機能を有する動画像符号化装置について記載されている。
特開平６−６２３９３号公報 特開平７−３０３２５２号公報

前述の，一つの制御部から各符号化部のストリームバッファに対して直接同じタイミングで出力ビットレートの切替えを指示する方法においては，各符号化部に外部から任意のタイミングで符号化ストリームの出力ビットレートの切替え指示を受け付けるためのインタフェースが必要となる。

通常，このような符号化システムにおける各符号化部の実装方法としては，汎用用途向けに開発されたビデオエンコーダＬＳＩを使用することがコスト的に優れているが，このようなＬＳＩには，外部から任意のタイミングで出力ビットレートの切替え指示を受け付けるようなインタフェースを，エンコーダＬＳＩ自体が保持していない場合が多い。

この場合，各エンコーダＬＳＩから一旦外部のバッファに符号化ストリームを出力し，そのバッファからの各符号化ストリームの出力ビットレートと，その出力ビットレートの切替えタイミングを制御する方法をとることができる。しかし，この方法では，新たに外部にバッファ回路を必要とするため，回路規模が大きくなり無駄が多い。

また，外部から任意のタイミングで出力ビットレートの切替えを指示する方法においては，ピクチャの符号化ストリームを出力している途中で出力ビットレートが切り替わる可能性がある。そのために，通常の固定ビットレート用符号化制御アルゴリズムにおいて採用されているような，ピクチャ単位で，発生符号量と符号化ストリーム出力符号量を加減算し，バッファ占有量を計算する方法がとれない。このため，実際にストリームバッファに蓄積されているデータ量を常に監視する必要が生じるなど，通常エンコーダにおける固定ビットレートアルゴリズムをそのまま適用できなくなるという問題もある。

複数チャネル間の適応ビットレート配分を実現する機能を有する動画像符号化装置として，上記特許文献１や上記特許文献２などに記載されているものがあるが，いずれも上記のような問題を解決していない。

本発明は，上記従来技術の問題点を解決し，回路規模を大きくすることなく，複数チャネル間の適応ビットレート配分を適切に制御することができる動画像符号化技術を提供することを目的とする。

上記課題を解決するため，本発明では，各符号化部においてＮ（Ｎは１以上の整数）ピクチャ分の符号化ストリームを単位として符号化ストリームの出力ビットレートを変更する。この時，各符号化部間で，そのＮピクチャ分の符号化ストリームの出力開始タイミングと出力終了タイミングをほぼ一致させるようにする。

出力開始タイミングについては，各符号化部に対してＮピクチャ分の符号化ストリームの出力を開始する時刻を共通に与えることで，符号化部間のタイミングを合わせる。出力終了タイミングについては，各符号化部の同Ｎピクチャ分の符号化ストリームの出力ビットレートを，各符号化部における同Ｎピクチャ分の発生符号量の予測値に比例するように決定することで，各符号化部における同Ｎピクチャ分の符号化ストリームの出力に要する時間をほぼ一致させるようにし，出力終了タイミングを合わせる。

Ｎピクチャ分の各符号化部における発生符号量の予測値は，事前符号化の符号化結果か，過去のピクチャの符号化結果から求める。また，各符号化部においては，決定した出力ビットレートのもとで，各符号化部において送受信バッファが破綻しないように符号量の制御やゼロデータの挿入などの調整を行う。

上記のように，送受信バッファの破綻回避のために符号量を変更する場合など，各符号化部における発生符号量は予測値と異なる場合があるため，各符号化部間で出力終了タイミングが一致しない場合があり得る。そこで，各符号化部は，同Ｎピクチャ分の符号化ストリームの出力終了後，符号化ストリームの出力をそれぞれ一旦停止する。そして，各符号化部のうち最も遅い出力終了タイミングからある余裕時間をもたせた時刻を，それ以降のピクチャの符号化ストリームの出力開始時刻として各符号化部に共通に与え，各符号化部がこの時刻にそれ以降のピクチャの符号化ストリームの出力を開始する。

ちなみに，各符号化部の出力終了タイミングは，各符号化部における同Ｎピクチャ分の符号化ストリームの出力ビットレートと，各符号化部における同Ｎピクチャ分の発生符号量から求めることができるため，同Ｎピクチャ分の符号化ストリーム出力終了より前に，各符号化部に対して，事前にそれ以降のピクチャの符号化ストリームの出力開始時刻を与えることができる。

本発明では，以上のようにＮピクチャ分の符号化ストリームを単位として各符号化部の出力ビットレートの変更を行うが，このＮを可変にして符号化中に動的に変更するようにしてもよい。Ｎを可変にするメリットは，例えばシーンチェンジが生じた場合などは，チャネル間のビットレートの配分をその時点で変えて，バッファの破綻を生じにくくし，効率的な符号量配分が可能になることである。

本発明によれば，各符号化部において各チャネルの入力画像の内容に応じた可変ビットレートの符号化スリームを生成し，一本のストリームに多重化する動画像符号化装置において，各符号化部のストリームバッファに対して直接同じタイミングで出力ビットレートの切替えを指示することなく，符号化部のストリームバッファから出力された符号化ストリームのビットレートの総和を常に一定値以下にすることができる。したがって，複数チャネル間の適応ビットレート配分機能を有する動画像符号化装置の実現がより容易になる。

〔第１の実施の形態〕
図１は，本発明の第１の実施の形態における動画像符号化装置の構成を示す図である。ここでは，入力映像のチャネル数が３の場合の例について説明する。動画像符号化装置１は，各チャネルごとの事前符号化部１６，１７，１８と，フレームバッファ１３，１４，１５と，符号化部１０，１１，１２と，各符号化部１０〜１２の出力する符号化ストリームを多重化する多重化部３０と，これら全体の制御を行う全体制御部１０とを備える。

全体制御部１９は，事前符号化部１６〜１８全体の符号化を制御する事前符号化部制御部（図示省略）と，符号化部１０〜１２全体の符号化を制御する符号化部制御部（図示省略）を備える他，特に，各入力映像の各事前符号化部１６〜１８における事前符号化の結果をもとにＮピクチャ分の符号化ストリームを単位として各符号化部１０〜１２における出力ビットレートを決定し，各符号化部１０〜１２へ通知する出力ビットレート決定制御部１９０と，各符号化部１０〜１２におけるＮピクチャ分の符号化ストリームの出力開始タイミングを制御する出力開始タイミング制御部１９１とを備える。

符号化部１０は，制御部１００，ストリーム生成部１０１，ストリームバッファ１０２を備える。符号化部１１，１２も同様に，制御部１１０，１２０，ストリーム生成部１１１，１２１，ストリームバッファ１１２，１２２を備える。また，事前符号化部１６，１７，１８も同様に，それぞれ制御部１６０，１７０，１８０，ストリーム生成部１６１，１７１，１８１，ストリームバッファ１６２，１７２，１８２を備える。

入力映像Ａ〜Ｃは，同期した異なる内容の入力映像であり，例えば，一つの映像を３つに分割した映像であるものとする。この動画像符号化装置１は，入力映像Ａ〜Ｃを符号化し，生成した３本の符号化ストリームを１本に多重化し，その多重化ストリームを出力する。この多重化ストリームのビットレートは，固定ビットレートであり，これを以下，全体ビットレートとする。

入力映像Ａ〜Ｃは，それぞれに対応する事前符号化部１６〜１８に入力され，事前符号化が行われる。事前符号化においては，全体制御部１９がピクチャ周期で各事前符号化部１６〜１８のピクチャ符号化結果を集計し，これをもとにピクチャの目標符号量または量子化パラメータを決定して，各事前符号化部１６〜１８に与える。ここでは，チャネル間でピクチャの量子化パラメータがほぼ均等になり，かつ発生符号量のビットレートの総和が全体ビットレートとなるように統一的な符号化制御を行う。

例えば，各チャネルの符号化結果の発生符号量の総和と平均量子化パラメータの平均値をもとに全体の複雑さ指標を求め，全体のビットレートを符号化ビットレートとした固定ビットレートのフレーム間レート制御アルゴリズムによって，全体のピクチャ目標符号量を決定する。この全体のピクチャ目標符号量を各チャネルごとのピクチャ複雑さ指標に比例して，各チャネルに配分し，各チャネルのピクチャ目標符号量とするというようなことを行う。

上記の複雑さ指標は，量子化パラメータの値で正規化した，本来の映像の情報量のようなものを表しているものである。一般に発生符号量は，量子化パラメータを変えることで変化させることができる。両者は一般に反比例の関係にあり，両者の積は大雑把にいって大体一定と考えることができる。この積を複雑さ指標と呼ぶ。複雑さ指標に比例してピクチャ符号量を配分すると，量子化パラメータは大体一定になる。すなわち，各チャネルの映像の復号時における画質がほぼ同程度になるように符号化されることになる。

全体制御部１９は，事前符号化部１６〜１８における符号化結果を保存し，事前符号化部１６〜１８ごとの符号化結果を保存し，事前符号化部１６〜１８ごとのＮピクチャ分の符号量と，その総和に占める比率を計算し，その比率に基づいて全体ビットレートを配分して，各符号化部１０〜１２におけるＮピクチャ分の符号化ストリームの出力ビットレートを決定する。

入力映像Ａ〜Ｃは，それぞれに対応するフレームバッファ１３〜１５にも入力され，（Ｎ＋１）ピクチャ分遅延させられた後，それぞれ符号化部１０〜１２に入力される。各符号化部１０〜１２は，基本的には，全体制御部１９から与えられた事前符号化情報をもとに，事前符号化部１６〜１８と同じように，入力映像Ａ〜Ｃの符号化を行う。事前符号化情報としては，例えば量子化パラメータ，動き探索で用いる閾値，各符号化モードの判定に用いる閾値等の事前符号化時に得られた情報を全体制御部１９から受け取る。

ただし，符号化部１０〜１２における符号化では，決定された出力ビットレートのもとで，符号化ストリームの送受信バッファの破綻が生じないように，必要に応じて符号量の増減等を行う必要がある場合がある。

これは，事前符号化時には，各チャネルの出力ビットレートが決定していないために，事前符号化時にバッファ破綻の判定を正確に行うことができず，正しい量のゼロスタッフィングや，符号量のクリッピングを行うことができないためである。このような場合，エンコーダバッファ（ストリームバッファ１０２〜１２２）がアンダーフローする場合には，新たにゼロスタッフィングの追加を行い，デコーダバッファ（受信側の動画像復号装置のバッファ）がアンダーフローする場合には，事前符号化の場合の符号量に比べて符号量を削減するように符号化する。

エンコーダバッファがアンダーフローを起こしそうな場合に，ゼロスタッフィング等により符号量を増やすのは，符号量の小さいピクチャが続くと，エンコーダバッファから出力される符号量よりもエンコーダバッファに入力される符号量が少なくなり，エンコーダバッファのアンダーフローが生じることになるので，これを避けるためである。

一方，デコーダバッファがアンダーフローを起こしそうな場合に，符号化時の符号量を削減するのは，動画像復号装置（デコーダ）では，一定間隔（フレームまたはフィールド）でデコーダバッファからピクチャごとのストリームデータを引き抜き，順に復号しており，符号量の大きいピクチャが続くとデコーダバッファに入力される符号量よりもデコーダバッファから引き抜かれる符号量が多くなるため，デコーダバッファのアンダーフローが生じることなるので，これを避けるためである。

上記のような符号化制御により，各符号化部１０〜１２のストリーム生成部１０１〜１２１において符号化ストリームが生成され，その符号化ストリームは，それぞれ各符号化部１０〜１２のストリームバッファ１０２〜１２２に蓄積される。

符号化部１０〜１２は，全体制御部１９からＮピクチャ分の符号化ストリームの出力を開始する時刻を得て，その時刻にストリームバッファ１０２〜１２２から同Ｎピクチャ分の符号化ストリームの出力を開始する。この際に，全体制御部１９において決定された出力ビットレートでストリームバッファ１０２〜１２２から符号化ストリームの出力を行う。

各符号化部１０〜１２は，Ｎピクチャ分の符号化ストリーム生成の終了後，直ちに同ピクチャ分の発生符号量を全体制御部１９に伝え，全体制御部１９は，符号化部１０〜１２の同Ｎピクチャ分の符号化ストリームの出力ビットレートと発生符号量とから，符号化部１０〜１２の同Ｎピクチャ分の符号化ストリームの出力が終了する時刻を求め，すべての符号化部１０〜１２でＮピクチャ分の符号化ストリームの出力が終了する時刻からある余裕時間分経過した時刻を，それ以降のピクチャの符号化ストリームの出力を開始する時刻として，符号化部１０〜１２に伝える。

符号化部１０〜１２は，同Ｎピクチャ分の符号化ストリーム出力の終了後，出力を一旦停止する。符号化部１０〜１２は，全体制御部１９からそれ以降のピクチャのストリームの出力を開始する時刻を事前に得ておき，その時刻にそれ以降のピクチャのストリームの出力を再開する（図５参照）。

多重化部３０は，符号化部１０〜１２から出力される可変ビットレートの符号化ストリームを多重化する。この際に，各符号化ストリームのビットレートの総和は，常に全体ビットレート以下になっている。各符号化部１０〜１２における符号化ストリームのビットレート切替え時には，各符号化部１０〜１２からの符号化ストリームの出力が一旦停止するため，ビットレートの総和が著しく低下するが，多重化部３０において，ヌルパケット等の無効データを挿入することで，固定ビットレートのストリームとして出力する。

図２は，事前符号化を通じた符号化ストリームの出力ビットレート決定処理フローを示す図である。各ピクチャごとに各事前符号化部１６〜１８への入力映像Ａ〜Ｃの取り込みが行われると（ステップＳ１），全体制御部１９は，まず全体ピクチャ目標符号量を決定する（ステップＳ２）。この全体のピクチャ目標符号量を各チャネルごとのピクチャ複雑さ指標に比例して，各チャネルに配分し，各事前符号化部１６〜１８のピクチャ目標符号量を決定する（ステップＳ３）。

各事前符号化部１６〜１８では，全体制御部１９が決定したピクチャ目標符号化量に応じて入力映像Ａ〜Ｃのピクチャ符号化を行う（ステップＳ４）。全体制御部１９は，そのピクチャ符号化結果を集計し（ステップＳ５），全体の複雑さ指標・発生符号量・バッファ占有量等の更新を行う（ステップＳ６）。その各事前符号化部１６〜１８の符号化結果を保存し（ステップＳ７），Ｎピクチャ分の符号化が終了したかを判断する（ステップＳ８），Ｎピクチャ分の符号化が終了していない場合には，ステップＳ１１へ進む。

Ｎピクチャ分の符号化が終了した場合は，各事前符号化部１６〜１８のＮピクチャ分の発生符号量を集計し（ステップＳ９），集計した各事前符号化部１６〜１８ごとのＮピクチャ分の発生符号量と，その総和に占める比率を計算し，その比率に基づいて全体ビットレートを配分して，各符号化部１０〜１２におけるＮピクチャ分の符号化ストリームの出力ビットレートを決定する（ステップＳ１０）。そして，符号化を終了するまで上記ステップＳ１〜ステップＳ１０までの処理を繰り返す（ステップＳ１１）。

図３は，符号化ストリーム生成処理フローを示す図である。入力映像Ａ〜Ｃは，それぞれに対応するフレームバッファ１３〜１５に入力され，事前符号化部１６〜１８への入力よりも，Ｎ＋１ピクチャ分遅延したタイミングで符号化部１０〜１２に取り込まれる（ステップＳ２１）。

各符号化部１０〜１２では，入力映像がＮピクチャの最初のピクチャである場合には（ステップＳ２２），全体制御部１９により決定された出力ビットレートを取り込む（ステップＳ２３）。最初のＮピクチャでない場合には，ステップＳ２３をスキップする。

各符号化部１０〜１２は，全体制御部１９から与えられた，これから符号化するピクチャの事前符号化情報を取り込み（ステップＳ２４），各符号化部１０〜１２のそれぞれに対応する各事前符号化部１６〜１８と同じように，各入力映像Ａ〜Ｃの符号化を行う。このとき，決定された出力ビットレートのもとで，符号化ストリームの送受信バッファの破綻が生じないように，以下の判定（ステップＳ２５）に応じた符号化を行う。

まず，次のピクチャの符号化を事前符号化と同様に行うと，決定された出力ビットレートのもとでバッファ破綻するかを判断し（ステップＳ２５），バッファ破綻が生じない場合は，事前符号化どおりにピクチャを符号化する（ステップＳ２６）。

エンコーダバッファがアンダーフローする場合には，事前符号化どおりにピクチャを符号化した後，新たにゼロスタッフィングの追加を行い（ステップＳ２７），デコーダバッファがアンダーフローする場合には，事前符号化の場合の符号量に比べて符号量を削減するようにピクチャを符号化する（ステップＳ２８）。

以上のような符号化制御により，符号化部１０〜１２のストリーム生成部１０１〜１２１において符号化ストリームが生成され，その符号化ストリームは，それぞれ各符号化部１０〜１２のストリームバッファ１０２〜１２２に蓄積される（ステップＳ２９）。

符号化部１０〜１２は，Ｎピクチャ分の符号化ストリームの生成が終了したかを判定し（ステップＳ３０），Ｎピクチャ分の符号化が終了していなければ，ステップＳ３３へ進み，符号化が終了するまで同様に処理を繰り返す。

Ｎピクチャ分の符号化が終了すると（ステップＳ３０），直ちに同Ｎピクチャ分の発生符号量を全体制御部１９に伝え，全体制御部１９は，各符号化部１０〜１２の同Ｎピクチャ分の符号化ストリームの出力ビットレートと発生符号量から，各符号化部１０〜１２の同Ｎピクチャ分の符号化ストリームの出力が終了する時刻を計算する（ステップＳ３１）。全体制御部１９は，すべての符号化部１０〜１２で最も遅く同Ｎピクチャ分の符号化ストリームの出力が終了する時刻からある余裕時間分経過した時刻を，それ以降のピクチャの符号化ストリームの出力を開始する時刻として算出し，符号化部１０〜１２に伝える（ステップＳ３２）。符号化が終了するまで上記ステップＳ２１からステップＳ３２までの処理を繰り返す（ステップＳ３３）。

図４は，各符号化部１０〜１２における符号化ストリーム出力処理フローを示す図である。符号化部１０〜１２は，全体制御部１９から今回のＮピクチャ分の符号化ストリームの出力を開始する時刻を通知されると（ステップＳ４１），通知された符号化ストリーム出力開始時刻になるのを待ち（ステップＳ４２），出力開始時刻にストリームバッファ１０２〜１２２から，全体制御部１９において決定された出力ビットレートで同Ｎピクチャ分の符号化ストリームの出力を開始する（ステップＳ４３）。

各符号化部１０〜１２は，同Ｎピクチャ分の符号化ストリームが各ストリームバッファ１０２〜１２２にある間は同Ｎピクチャ分の符号化ストリームの出力を継続し（ステップＳ４４，Ｓ４５），同Ｎピクチャ分の符号化ストリームの出力が完了すると（ステップＳ４６），全体の符号化が終了したかどうかを判定し（ステップＳ４７），符号化が終了するまで，ステップＳ４１へ戻り同様に処理を繰り返す。

図５は，符号化ストリームの出力開始・終了タイミングおよび出力ビットレートの例を示す図である。図５の例では，Ｎ＝１５としている。また，図５の縦軸は各符号化部１０〜１２のストリームバッファ１０２〜１２２から出力される各符号化ストリームの出力ビットレート，横軸は時刻ｔを示している。

時刻ｔ₀ において，全体制御部１９は，各符号化部１０〜１２に，ピクチャＮｏ．０〜１４の符号化ストリーム出力開始時刻ｔ₁ を通知する。各符号化部１０〜１２は，時刻ｔ₁ になると，それぞれ全体制御部１９から通知された出力ビットレートで，ピクチャＮｏ．０〜１４の符号化ストリームの出力を開始する。すべての符号化部１０〜１２でのＮｏ．０からＮｏ．１４までの１５ピクチャ分の符号化が終了した時刻ｔ₂ になると，全体制御部１９は，その発生符号量を集計して符号化ストリームの出力に要する時間を計算し，ピクチャＮｏ．０〜１４の符号化ストリームの出力が終了する時刻ｔ₃ を求め，時刻ｔ₃ からある余裕時間分経過した時刻ｔ₄ を，ピクチャＮｏ．１５〜２９の符号化ストリームの出力を開始する時刻として算出し，各符号化部１０〜１２に通知する。

各符号化部１０〜１２は，次のピクチャＮｏ．１５〜２９の符号化ストリームを生成し，通知された出力開始時刻ｔ₄ になると，ピクチャＮｏ．１５〜２９の符号化ストリームの出力を開始する。１５ピクチャ分の符号化が終了した時刻ｔ₅ になると，全体制御部１９は，ピクチャＮｏ．１５〜２９の符号化ストリームの出力が終了する時刻ｔ₆ からある余裕時間分経過した時刻ｔ₇ を，ピクチャＮｏ．３０〜４４の符号化ストリームの出力を開始する時刻として算出し，各符号化部１０〜１２に通知する。以降，同様に各１５ピクチャ分の出力を繰り返す。

〔第２の実施の形態〕
図６は，本発明の第２の実施の形態における動画像符号化装置の構成を示す図である。動画像符号化装置２は，符号化部２０〜２２，全体制御部２３，多重化部２４からなる。全体制御部２３は，符号化部２０〜２２全体の符号化を制御する符号化部制御部（図示省略）を備える他，特に，各入力映像の各符号化部２０〜２２における過去の符号化結果をもとにＮピクチャ分の符号化ストリームを単位として各符号化部２０〜２２における出力ビットレートを決定する出力ビットレート決定制御部２３０と，各符号化部２０〜２２におけるＮピクチャ分の符号化ストリームの出力開始タイミングを制御する出力開始タイミング制御部２３１とを備える。

入力映像Ａ〜Ｃは，同期した異なる内容の入力映像であり，動画像符号化装置２は，入力映像Ａ〜Ｃを符号化し，生成した３本の符号化ストリームを１本に多重化し，その多重化ストリームを出力する。この多重化ストリームのビットレートは，固定ビットレートであり，これを以下，全体ビットレートとする。

入力映像Ａ〜Ｃは，それぞれに対応する符号化部２０〜２２に入力され，符号化が行われる。全体制御部１９は，各符号化部２０〜２２における過去のピクチャの符号化結果をもとに，これから符号化を行うＮピクチャ分の発生符号量の予測値と，その総和に占めるその比率を集計し，その比率に基づいて全体ビットレートを各符号化部２０〜２２に配分し，各符号化部２０〜２２における符号化ストリームの出力ビットレートを決定する。

符号化においては，全体制御部２３は，符号化部２０〜２２間でピクチャの量子化パラメータがほぼ均等になり，かつ発生符号量のビットレートの総和が全体ビットレートとなるように統一的な符号化制御を行う。そのため，全体制御部２３は，ピクチャ周期で符号化部２０〜２２のピクチャ符号化結果を集計し，次のピクチャの目標符号量もしくは量子化パラメータを決定し，各符号化部２０〜２２に与える。

例えば，各チャネルの符号化結果の発生符号量の総和と平均量子化パラメータの平均値をもとに全体の複雑さ指標を求め，全体のビットレートを符号化ビットレートとした固定ビットレートのフレーム間レート制御によって，全体のピクチャ目標符号量を決定する。この全体のピクチャ目標符号量を各チャネルごとの複雑さ指標に比例して，各チャネルに配分し，各チャネルのピクチャ目標符号量とするというようなことを行う。

また同時に，各符号化部２０〜２２において，全体制御部２３により決定された現在の出力ビットレートのもとで，符号化ストリームの送受信バッファに破綻が生じないように，エンコーダバッファがアンダーフローする場合には，ゼロスタッフィングの追加を行い，デコーダバッファがアンダーフローする場合には，目標符号量を削減するように符号化する。

以上のような符号化により，符号化部２０〜２２のストリーム生成部２０１〜２２１において符号化ストリームが生成され，その符号化ストリームは，それぞれ各符号化部２０〜２２のストリームバッファ２０２〜２２２に蓄積される。

符号化部２０〜２２は，全体制御部２３からＮピクチャ分の符号化ストリームの出力を開始する時刻を得て，その時刻にストリームバッファ２０２〜２２２から同Ｎピクチャ分の符号化ストリームの出力を開始する。この際に，全体制御部２３において決定された出力ビットレートでストリームバッファ２０２〜２２２から符号化ストリームの出力を行う。

各符号化部２０〜２２は，Ｎピクチャ分の符号化ストリーム生成の終了後，直ちに同Ｎピクチャ分の発生符号量を全体制御部２３に伝え，全体制御部２３は，各符号化部２０〜２２の同Ｎピクチャ分の符号化ストリームの出力ビットレートと発生符号量から，各符号化部２０〜２２の同Ｎピクチャ分の符号化ストリームの出力が終了する時刻を求め，すべての符号化部２０〜２２で同Ｎピクチャ分の符号化ストリームの出力が終了する時刻からある余裕時間分経過した時刻を，それ以降のピクチャの符号化ストリームの出力を開始する時刻として，各符号化部２０〜２２に伝える。

各符号化部２０〜２２は，Ｎピクチャ分の符号化ストリームの出力の終了後，出力を一旦停止する。各符号化部２０〜２２は，全体制御部２３からそれ以降のピクチャの符号化ストリームの出力を開始する時刻を事前に得ておき，その時刻にそれ以降のピクチャの符号化ストリームの出力を再開する。これらのタイミングは，第１の実施の形態と同様であり，図５で説明したとおりである。

多重化部２４は，符号化部２０〜２２から出力される可変ビットレートの符号化ストリームを多重化する。この際に，各符号化ストリームのビットレートの総和は，常に全体ビットレート以下になっている。各符号化部２０〜２２における符号化ストリームのビットレート切替え時には，各符号化部２０〜２２から符号化ストリームの出力が一旦停止するため，ビットレートの総和が著しく低下するが，多重化部２４において，ヌルパケット等の無効データを挿入することで，固定ビットレートのストリームとして出力する。

図７は，符号化ストリーム生成処理フローを示す図である。入力映像Ａ〜Ｃは，それぞれに対応する符号化部２０〜２２に取り込まれる（ステップＳ５１）。全体制御部２３は，全体のピクチャ目標符号量を決定し（ステップＳ５２），この全体のピクチャ目標符号量を各チャネルごとの複雑さ指標に比例して配分することにより，各符号化部２０〜２２のピクチャ目標符号量を決定する（ステップＳ５３）。

次に，全体制御部２３により決定された現在の出力ビットレートのもとで，符号化ストリームの送受信バッファに破綻が生じるかを判断し（ステップＳ５４），バッファに破綻が生じない場合には，目標符号量どおりにピクチャを符号化し（ステップＳ５５），エンコーダバッファがアンダーフローする場合には，目標符号量どおりにピクチャ符号化した後，ゼロスタッフィングの追加を行い（ステップＳ５６），デコーダバッファがアンダーフローする場合には，目標符号量を下げてピクチャを符号化する（ステップＳ５７）。

以上のような符号化により，符号化部２０〜２２のストリーム生成部２０１〜２２１において符号化ストリームが生成され，その符号化ストリームは，それぞれ各符号化部２０〜２２のストリームバッファ２０２〜２２２に蓄積される（ステップＳ５８）。

全体制御部２３は，各符号化部２０〜２２のピクチャ符号化結果を集計し（ステップＳ５９），全体の複雑さ指標・発生符号量・バッファ占有量等の更新を行う（ステップＳ６０）。また，全体制御部２３は，符号化部２０〜２２の符号化結果を保存する（ステップＳ６１）。その後，Ｎピクチャ分の符号化が終了したかを判断し（ステップＳ６２），Ｎピクチャ分の符号化が終了していない場合には，ステップＳ６６に進む。

Ｎピクチャ分の符号化が終了した場合には，各符号化部２０〜２２は，直ちに同Ｎピクチャ分の発生符号量を全体制御部２３に伝え，全体制御部２３は，その発生符号量を集計する（ステップＳ６３）。全体制御部２３は，各符号化部２０〜２２の同Ｎピクチャ分の符号化ストリームの出力ビットレートと発生符号量から，各符号化部２０〜２２の同Ｎピクチャ分の符号化ストリームの出力が終了する時刻を求め，すべての符号化部２０〜２２で同Ｎピクチャ分の符号化ストリームの出力が終了する時刻からある余裕時間分経過した時刻を，それ以降のピクチャの符号化ストリームの出力を開始する時刻として，各符号化部２０〜２２に伝える（ステップＳ６４）。

また，全体制御部２３は，各符号化部２０〜２２におけるピクチャの符号化結果をもとに，それ以降のＮピクチャ分の発生符号量の予測値と，その総和に占めるその比率を集計し，その比率に基づいて全体ビットレートを各符号化部２０〜２２に配分して，各符号化部２０〜２２における符号化ストリームの出力ビットレートを決定する（ステップＳ６５）。そして，符号化を終了するまで，上記ステップＳ５１〜ステップＳ６５の処理を繰り返す（ステップＳ６６）。

図８は，各符号化部２０〜２２における符号化ストリーム出力処理フローを示す図である。符号化部２０〜２２は，全体制御部２３から今回のＮピクチャ分の符号化ストリームの出力を開始する時刻を通知されると（ステップＳ７１），通知された符号化ストリーム出力開始時刻になるのを待ち（ステップＳ７２），出力開始時刻にストリームバッファ２０２〜２２２から，全体制御部２３において決定された出力ビットレートで同Ｎピクチャ分の符号化ストリームの出力を開始する（ステップＳ７３）。

各符号化部２０〜２２は，同Ｎピクチャ分の符号化ストリームが各ストリームバッファ２０２〜２２２にある間は同Ｎピクチャ分の符号化ストリームの出力を継続し（ステップＳ７４，Ｓ７５），同Ｎピクチャ分の符号化ストリームの出力が完了すると（ステップＳ７６），全体の符号化が終了したかどうかを判定し（ステップＳ７７），符号化が終了するまで，ステップＳ７１へ戻り同様に処理を繰り返す。

〔第３の実施の形態〕
以上の第１および第２の実施の形態では，Ｎピクチャ分の符号化ストリームを単位として出力ビットレートを変更するようにしており，このＮの値はあらかじめ決められているものとした。第３の実施の形態では，このＮを符号化中に可変にする。Ｎを可変にすることにより，例えばシーンチェンジが生じた場合などには，チャネル間のビットレートの配分をその時点で変更する。これによりバッファの破綻を生じにくくし，さらに効率的な符号量の配分を実現することができる。

Ｎを可変にする方法としては，例えば入力画像のシーンチェンジを検出し，その前後で全体制御部がビットレートの配分を変更する方法を用いることができる。シーンチェンジの検出は，プリエンコーダがある場合には，プリエンコーダで行い，プリエンコーダがない場合には，エンコーダ（符号化部）の入力部分もしくは前段で行う。

以上の実施の形態では，チャネル数が３の場合の例を説明したが，もちろん本発明は，チャネル数が３の映像の符号化に限られるわけではなく，チャネル数が２以上のものに同様に適用することができる。

以上の動画像符号化のための全体制御部や各符号化部の処理は，コンピュータとソフトウェアプログラムとによっても実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

動画像符号化装置の構成を示す図である。 事前符号化を通じた符号化ストリームの出力ビットレート決定処理フローを示す図である。 符号化ストリーム生成処理フローを示す図である。 符号化ストリーム出力処理フローを示す図である。 符号化ストリームの出力開始・終了タイミング等を示す図である。 動画像符号化装置の構成を示す図である。 符号化ストリーム生成処理フローを示す図である。 符号化ストリーム出力処理フローを示す図である。

符号の説明

１，２ 動画像符号化装置
１０，２０ 符号化部
１１，２１ 符号化部
１２，２２ 符号化部
１３ フレームバッファ
１４ フレームバッファ
１５ フレームバッファ
１６ 事前符号化部
１７ 事前符号化部
１８ 事前符号化部
１９，２３ 全体制御部
２４，３０ 多重化部
１００，１１０，１２０，１６０，１７０，１８０，２００，２１０，２２０ 制御部
１０１，１１１，１２１，１６１，１７１，１８１，２０１，２１１，２２１ ストリーム生成部
１０２，１１２，１２２，１６２，１７２，１８２，２０２，２１２，２２２ ストリームバッファ
１９０，２３０ 出力ビットレート決定制御部
１９１，２３１ 出力開始タイミング制御部

Claims (16)

1. 複数のチャネルの映像をそれぞれに対応する符号化部で符号化し，符号化ストリームをそれぞれ出力または多重化して出力する動画像符号化装置において，
   前記各符号化部の符号化を制御するとともに，前記各符号化部におけるＮ（Ｎは１以上の整数）ピクチャ分の符号化ストリームを単位として出力ビットレートを変更し，符号化ストリームの出力を制御する全体制御部を備え，
   前記全体制御部は，
   前記各符号化部におけるＮピクチャ分の符号化データの発生符号量の予測値をもとに，前記各符号化部の出力ビットレートを決定し，前記各符号化部に通知する出力ビットレート決定制御部と，
   すべての前記符号化部においてＮピクチャ分の符号化ストリームの出力が終了する時刻から所定の余裕時間分経過した時刻を算出し，その時刻を次のＮピクチャ分の符号化ストリームの出力開始時刻として前記各符号化部に通知し，前記各符号化部に次のＮピクチャ分の符号化ストリームの出力を同時に開始させる制御を行う出力開始タイミング制御部とを備える
   ことを特徴とする動画像符号化装置。
2. 請求項１記載の動画像符号化装置において，
   前記出力開始タイミング制御部は，
   前記各符号化部におけるＮピクチャ分の符号化ストリーム生成終了後，前記各符号化部の該Ｎピクチャ分の符号化ストリームの出力ビットレートと発生符号量とから，該Ｎピクチャ分の符号化ストリームの出力が終了する時刻を求め，すべての前記符号化部において該Ｎピクチャの符号化ストリームの出力が終了する時刻から所定の余裕時間分経過した時刻を，それ以降のピクチャの符号化ストリームの出力を再開すべき出力開始時刻として事前に前記各符号化部に伝達する
   ことを特徴とする動画像符号化装置。
3. 請求項１または請求項２記載の動画像符号化装置において，
   前記出力ビットレート決定制御部は，
   前記各符号化部の前記Ｎピクチャ分の発生符号量の予測値に比例して，前記各符号化部の前記Ｎピクチャ分の符号化ストリームの出力ビットレートを決定する
   ことを特徴とする動画像符号化装置。
4. 請求項１，請求項２または請求項３記載の動画像符号化装置において，
   前記出力ビットレート決定制御部は，
   前記各符号化部の前記Ｎピクチャ分の発生符号量の予測値を，前記各符号化部における過去のピクチャの符号化結果から求める
   ことを特徴とする動画像符号化装置。
5. 請求項１，請求項２または請求項３記載の動画像符号化装置において，
   前記各符号化部に対応して各チャネルごとの入力映像の事前符号化を行う複数の事前符号化部を備え，
   前記出力ビットレート決定制御部は，
   前記各事前符号化部における事前符号化による前記Ｎピクチャ分の発生符号量を，前記各符号化部の前記Ｎピクチャ分の発生符号量の予測値として用いる
   ことを特徴とする動画像符号化装置。
6. 請求項５記載の動画像符号化装置において，
   前記全体制御部は，
   前記事前符号化部における事前符号化情報を，対応する前記各符号化部へ通知し，各符号化部に前記事前符号化部における事前符号化と同様の符号化を行わせ，
   前記各符号化部は，
   前記出力ビットレート決定制御部が決定した前記Ｎピクチャ分の符号化ストリームの出力ビットレートのもとで，ストリーム送受信バッファの破綻が生じないように前記事前符号化時の符号量に対して，符号量の削減および符号量の追加を行いながら該Ｎピクチャ分の符号化を行う
   ことを特徴とする動画像符号化装置。
7. 請求項１から請求項６までのいずれか１項に記載の動画像符号化装置において，
   前記全体制御部は，
   前記Ｎを符号化中に動的に変更する手段を備える
   ことを特徴とする動画像符号化装置。
8. 複数のチャネルの映像をそれぞれに対応する符号化部で符号化し，符号化ストリームをそれぞれ出力または多重化して出力する動画像符号化方法において，
   前記各符号化部において各チャネルごとの入力映像の符号化を行う過程と，
   前記各符号化部におけるＮ（Ｎは１以上の整数）ピクチャ分の符号化ストリームを単位として前記各符号化部に配分する出力ビットレートを，前記各符号化部におけるＮピクチャ分の符号化データの発生符号量の予測値をもとに決定する過程と，
   すべての前記符号化部においてＮピクチャ分の符号化ストリームの出力が終了する時刻から所定の余裕時間分経過した時刻を，すべての前記符号化部の出力開始時刻として算出する過程と，
   前記各符号化部において前記算出された出力開始時刻をもとに次のＮピクチャ分の符号化ストリームの出力を同時に開始する過程とを有する
   ことを特徴とする動画像符号化方法。
9. 請求項８記載の動画像符号化方法において，
   前記出力開始時刻を算出する過程では，
   前記各符号化部におけるＮピクチャ分の符号化ストリーム生成終了後，前記各符号化部の該Ｎピクチャ分の符号化ストリームの出力ビットレートと発生符号量とから，該Ｎピクチャ分の符号化ストリームの出力が終了する時刻を求め，すべての前記符号化部において該Ｎピクチャの符号化ストリームの出力が終了する時刻から所定の余裕時間分経過した時刻を，それ以降のピクチャの符号化ストリームの出力を開始すべき出力開始時刻として算出する
   ことを特徴とする動画像符号化方法。
10. 請求項８または請求項９記載の動画像符号化方法において，
    前記出力ビットレートを決定する過程では，
    前記各符号化部の前記Ｎピクチャ分の発生符号量の予測値に比例して，前記各符号化部の前記Ｎピクチャ分の符号化ストリームの出力ビットレートを決定する
    ことを特徴とする動画像符号化方法。
11. 請求項８，請求項９または請求項１０記載の動画像符号化方法において，
    前記出力ビットレートを決定する過程では，
    前記各符号化部の前記Ｎピクチャ分の発生符号量の予測値を，前記各符号化部における過去のピクチャの符号化結果から求める
    ことを特徴とする動画像符号化方法。
12. 請求項８，請求項９または請求項１０記載の動画像符号化方法において，
    前記各符号化部に対応する事前符号化部により各チャネルごとの入力映像の事前符号化を行う過程を有し，
    前記出力ビットレートを決定する過程では，
    前記事前符号化によるＮピクチャ分の発生符号量を，前記各符号化部の前記Ｎピクチャ分の発生符号量の予測値として用いる
    ことを特徴とする動画像符号化方法。
13. 請求項１２記載の動画像符号化方法において，
    前記事前符号化における事前符号化情報を，対応する前記各符号化部へ通知する過程を有し，
    前記各符号化部において符号化を行う過程では，
    前記Ｎピクチャ分の符号化ストリームの出力ビットレートのもとで，ストリーム送受信バッファの破綻が生じないように前記事前符号化時の符号量に対して，符号量の削減および符号量の追加を行いながら該Ｎピクチャ分の符号化を行う
    ことを特徴とする動画像符号化方法。
14. 請求項８から請求項１３までのいずれか１項に記載の動画像符号化方法において，
    前記Ｎを符号化中に動的に変更する過程を有する
    ことを特徴とする動画像符号化方法。
15. 請求項８から請求項１４までのいずれか１項に記載の動画像符号化方法をコンピュータに実行させるための動画像符号化プログラム。
16. 請求項８から請求項１４までのいずれか１項に記載の動画像符号化方法をコンピュータに実行させるための動画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images