JP4878052B2 - 映像符号量制御方法，映像符号化装置，映像符号量制御プログラムおよびその記録媒体 - Google Patents

Description

本発明は，音声ストリームのビットレートと映像ストリームのビットレートとの和が所定のビットレートの範囲内になるように，音声の発生符号量に応じて映像の符号量を制御する映像符号量制御方法，映像符号化装置，映像符号量制御プログラムおよびその記録媒体に関するものである。

一般に，映像ストリームと，音声やデータなどの他のストリームとを多重化して送るような伝送システムでは，映像は，他のストリームとは独立にビットレート制御を行っていた（非特許文献１，２参照）。

一般に映像・音声符号化では，複雑で変化の多い入力信号に対しては符号量が多くなり，単調で変化の少ない入力信号に対しては符号量が少なくなる。

ロッシー符号化ストリームは，固定ビットレート（ＣＢＲ：Constant Bit Rate ）で伝送するために，信号の劣化の程度を変化させることにより，発生符号量を所定の範囲内に収めるように制御する。一方，ロスレス符号化ストリームでは，発生符号量の変化を制御することができないため，一般に可変ビットレート（ＶＢＲ：Variable Bit Rate ）で伝送される。
ISO/IEC 13818-2 Annex C, ITU-T Recomendation H.264 Annex C 映像情報メディア学会編，"総合マルチメディア選書ＭＰＥＧ"，社団法人映像情報メディア学会，（株）オーム社発行，1996.4.20

ＭＰＥＧ−４ ＡＬＳのようなロスレス音声符号化ストリームと映像符号化ストリーム（以下，符号化ストリームを単に「ストリーム」ともいう）とを多重化する場合，音声ビットレートの変動が映像ビットレートに比べて無視できないほど大きいことが多い。

したがって，映像と音声の多重化ストリームにおいて，固定で割り当てられていた音声のビットレートのうち，音声符号化データの発生符号量が小さい余剰符号量分を映像符号化に利用することができれば，ビットレートに無駄が生じることがなく，画質の向上に寄与すると考えられる。

しかし，このように音声符号化データの発生符号量の変動分を，映像符号化に有効に利用するために，音声のビットレートに合わせて映像のビットレートを変化させると，映像の全体としての画質は向上するものの，音声符号化データの発生符号量が少ない場面では画質が必要以上に鮮明になることがあり，音声符号化データの変動に応じて画質の変動が目立ち過ぎることがあるという，新たな問題が生じる。

本発明は，上記課題の解決を図り，音声符号化データの伝送における余剰ビットレート分を映像符号化データの伝送に有効に利用するとともに，全体として画質の変動を目立たせなくすることによって，符号化された映像の画質を向上させることを目的とする。

本発明は，上記課題を解決するため，ロスレス音声符号化ストリームやデータストリーム等の符号化ビットレートを制御できないストリームと，ロッシー映像符号化ストリームとをＣＢＲに多重化する場合に，次のように音声の発生符号量が少ない場合の余剰ビットレートに応じて映像の符号量を制御する。

（１）音声符号量を先読みし，映像伝送可能ビットレートが現在の映像符号化ビットレートを下回る箇所があることが判明したならば，映像符号化ビットレートをその伝送可能レートまで下げる。

例えばＧＯＰ（Group Of Pictures ）単位で映像のレート制御を行う場合，ＧＯＰ発生符号量をビットレート換算した値が映像符号化ビットレートとなる。また，ＴＳ（Transport Stream）ビットレートまたは伝送ビットレートから同一ＧＯＰ期間に再生される音声符号量をビットレート換算した値を減算した値が，映像伝送可能ビットレートとなる。

（２）映像符号化ビットレートを下げる際には，可能な限り，シーン切替え時に下げる。それが不可能な場合には，徐々に下げる。シーンチェンジ検出には，従来方法を利用することができる。

（３）映像符号化ビットレートを上げる場合には，シーン切替え時に過去の一定期間内の映像伝送可能ビットレートの下限値まで上げる。この期間は長ければ画質変動のリスクが減るが，上げるビットレート幅は小さくなる。

（４）音声符号量を先読みする手段として，音声を映像より数秒間先行して符号化する方法，事前に音声を符号化しその符号量を記録しておく方法，事前に音声を解析し，符号量の推定値を記録しておく方法などを用いることができる。

（５）１ＧＯＰ分（例えば０．５秒程度）の先読みにより，通常，ＧＯＰ符号化開始時にＧＯＰ末尾までの利用可能帯域が確定することになるので，レート制御が安定する。また，音声符号量の先読み期間を数秒以上にすれば，シーンチェンジ時にビットレートを変更できる確率が上昇し，シーン途中での画質変動を抑制できる。

以上の点を踏まえて，本発明は，次のように映像の符号量を制御する。まず，映像符号化よりも先行して符号化した音声符号化結果から，映像符号化前の映像符号化制御単位（ＧＯＰまたはフレーム）の期間における，伝送ビットレート（ＴＳビットレート）から同一期間に再生される音声符号量をビットレート換算した値と所定の基準映像ビットレートとを減算した値に相当する余剰ビットレートを算出する。この基準映像ビットレートに余剰ビットレートを加算した値が映像伝送可能ビットレートである。

次に，現在の映像符号化対象の映像符号化制御単位の期間よりも過去または将来の所定の期間における最低の余剰ビットレートに従って，基準映像ビットレートに加算する追加映像ビットレートを決定する。そして，映像符号化対象の映像符号化制御単位の期間における目標符号量を，基準映像ビットレートに追加映像ビットレートを加算した値をもとに決定し，その決定された目標符号量に従って，映像符号化制御単位における映像信号を符号化する。

上記発明において，追加映像ビットレートを決定する際に，所定の期間における最低の余剰ビットレートが映像符号化対象の映像符号化制御単位の直前の映像符号化制御単位における追加映像ビットレートより下回る場合に，最低の余剰ビットレートとなる映像符号化制御単位の期間までに，追加映像ビットレートが単調減少するように追加映像ビットレートを決定することも好適である。追加映像ビットレートを急激に下げるのではなく，徐々に下げることにより，画質の変動が目立ちにくくなるからである。

また，シーンチェンジがあると，シーンチェンジの前後における画質の変動は目立ちにくい。したがって，追加映像ビットレートの上げ下げは，できるだけシーン切替え時に行うようにする実施も好適である。

そこで，さらに本発明を次のように実施することもできる。まず，映像符号化よりも先行してシーンチェンジを検出し，追加映像ビットレートを決定する際には，映像符号化対象の映像符号化制御単位の期間にシーンチェンジを含む場合に，過去ａ個（ａは１以上の所定の整数）の映像符号化制御単位の期間における最低の余剰ビットレート，もしくは先行して符号化した音声符号化期間における最低の余剰ビットレート，またはシーンチェンジ後のシーン終了点までの余剰ビットレートが判明している場合には，そのシーン終了点までの映像符号化制御単位の期間における最低の余剰ビットレートに従って，シーンチェンジ後の追加映像ビットレートを決定し，映像符号化対象の映像符号化制御単位の期間にシーンチェンジを含まない場合に，先行して符号化した音声符号化期間における最低の余剰ビットレート，または現在のシーンのシーン終了点までの余剰ビットレートが判明している場合には，そのシーン終了点までの映像符号化制御単位の期間における最低の余剰ビットレートに従って追加映像ビットレートを決定する。

さらに，本発明は，長いシーン期間において，余剰ビットレートが増えていくような期間が続く場合に，それを有効に映像符号化に利用するために，映像符号化対象の映像符号化制御単位の期間よりも過去ａ個（ａは１以上の所定の整数）の映像符号化制御単位の期間における最低の余剰ビットレートが直前の映像符号化制御単位における追加映像ビットレートより一定値または一定比率以上，上回る場合に，追加映像ビットレートを直前の映像符号化制御単位における追加映像ビットレートよりも一定値または一定比率だけ大きい値にすることも好適である。

本発明によれば，映像符号化データと音声符号化データとを多重化した符号化ストリームが所定の伝送ビットレートの範囲内になるように，映像の符号量を制御する場合に，音声の余剰ビットレート分を映像の伝送に利用し，全体として画質を向上させることができるようになるとともに，音声符号量の変動が大きい場合でも，画質の変動を目立たせなくすることができるようになる。

以下，本発明の実施の形態を図面を用いながら詳細に説明する。

図１は，本発明の実施例に係る装置の構成例を示す図である。映像符号化装置１０は，映像・音声重畳信号のうち映像信号を入力し，映像信号を符号化して映像ストリームを出力する。音声符号化装置２０は，映像・音声重畳信号のうち音声信号を入力し，音声信号を符号化して音声ストリームを出力する。多重化部３０は，音声ストリームと映像ストリームとを所定のビットレートとなるように多重化して出力する。

本実施例において，音声符号化装置２０は，フレーム毎もしくは逐次，音声発生符号量を映像符号化装置１０に伝達する機能を持つほかは従来技術と同様であるので，その内部構成についての詳しい説明は省略する。

映像符号化装置１０は，映像信号を入力する映像入力部１１，入力した映像信号を蓄積する映像入力バッファ１２，ＧＯＰ毎の映像の目標符号量を決定する映像ＧＯＰ目標符号量決定部１３，映像フレーム毎の目標符号量を決定する映像フレーム目標符号量決定部１４，映像信号をフレーム目標符号量に従って符号化する映像フレーム符号化処理部１５，映像ストリームを出力する映像ストリーム出力部１６，映像ストリームを一時的に蓄積する映像ストリーム出力バッファ１７を備える。

シーンチェンジ検出部１８は，入力映像信号のうち符号化に先立ってシーンチェンジ検出対象映像データについてシーンチェンジの有無を検出するものである。

映像ＧＯＰ目標符号量決定部１３は，音声符号化装置２０が符号化した音声発生符号量から映像符号化に利用することができる余剰ビットレートを算出する余剰ビットレート算出部１３１と，算出した余剰ビットレートのうち実際に映像符号化に利用する追加映像ビットレートを算出する追加映像ビットレート算出部１３２と，追加映像ビットレートを用いてＧＯＰ目標符号量を算出するＧＯＰ目標符号量算出部１３３とを備える。

図２および図３は，本発明の実施例の映像符号化処理のフローチャートである。本実施例では，映像と音声の符号化は並行して行われる。ただし，映像符号化に対して音声符号化と映像のシーンチェンジ検出を，１ＧＯＰ以上（図２の例では（ｍ−ｎ＋１）ＧＯＰ）先行して行う。また，本実施例において基準映像ビットレートとは，音声フレームの発生符号量が常に最大の場合に確保できる映像ビットレートを指す。すなわち，基準映像ビットレートは，映像ストリームの伝送に対して最小限保証される所定のビットレートである。ｎ番目のＧＯＰを，ＧＯＰ（ｎ）と表す。

まず，映像ＧＯＰ目標符号量決定部１３は，音声符号化装置２０から音声発生符号量の情報を受け取り，ＧＯＰ（ｎ）の符号化開始時に，ＧＯＰ（ｍ）期間（ただし，ｍ＞ｎ）の先行音声符号化結果から，ＧＯＰ（ｍ）期間の余剰ビットレートＲ_r （ｍ）を，次式によって求めて記憶する（ステップＳ１０１）。

Ｒ_r （ｍ）＝Σ_x=j ^j+M-1 ｛Ｓ_amax−Ｓ_a （ｘ）｝／（Ｎ／Ｐ）
ただし，ＧＯＰ（ｍ）期間の音声フレームをフレームｊ〜ｊ＋Ｍ−１（ＭはＧＯＰ（ｍ）期間の音声フレーム数）とし，Ｓ_a （ｘ）は音声フレームｘの発生符号量，Ｓ_amaxは各音声フレームの最大発生符号量である。ＮはＧＯＰ内映像フレーム数，Ｐは映像フレームレートである。

次に，ＧＯＰ（ｎ）から過去ａ個（ａは所定の定数）のＧＯＰの最低余剰ビットレートＲ_a を更新する（ステップＳ１０２）。ｍｉｎ（）は，引数の要素の中の最小値を返す関数である。

Ｒ_a ＝ｍｉｎ（Ｒ_r （ｎ−ａ＋１），Ｒ_r （ｎ−ａ＋２），…，Ｒ_r （ｎ））
続いて，シーンチェンジ検出部１８による検出結果に従って，ＧＯＰ（ｎ）内にシーン開始点を含むかどうかを判定する（ステップＳ１０３）。ＧＯＰ（ｎ）内にシーン開始点を含む場合には，図３のステップＳ１１２以降を実行する。

ＧＯＰ（ｎ）内にシーン開始点を含まない場合には，ステップＳ１０４へ進み，符号化中のシーンが終了するフレームおよびそのＧＯＰ（ｓ）は判明済みか否かを判定する（ステップＳ１０４）。判明済みの場合，現在のシーン内の最低余剰ビットレートＲ_r （ｔ）とその期間ｔを求める（ステップＳ１０５）。すなわち，最低余剰ビットレートＲ_r （ｔ）は，次式に従って求められる。

Ｒ_r （ｔ）＝ｍｉｎ（Ｒ_r （ｎ），Ｒ_r （ｎ＋１），…，Ｒ_r （ｓ））
一方，判明済みでない場合，先行符号化期間内の最低余剰ビットレートＲ_r （ｔ）とその期間ｔを求める（ステップＳ１０６）。この場合，最低余剰ビットレートＲ_r （ｔ）は，次式となる。

Ｒ_r （ｔ）＝ｍｉｎ（Ｒ_r （ｎ），Ｒ_r （ｎ＋１），…，Ｒ_r （ｍ））
次に，上記の最低余剰ビットレートＲ_r （ｔ）が，直前ＧＯＰの追加映像ビットレートＲ_d （ｎ−１）を下回るか否かを判定する（ステップＳ１０７）。下回る場合には，追加映像ビットレートとなる期間ｔまでに追加映像ビットレートＲ_d （ｎ）が単調減少していくように設定する（ステップＳ１０８）。例えば，次のように設定する。

Ｒ_d （ｎ）＝Ｒ_d （ｎ−１）−｛Ｒ_d （ｎ−１）−Ｒ_d （ｔ）｝／（ｔ−ｎ）
一方，下回らない場合には，直前ＧＯＰと同じ追加映像ビットレートとする（ステップＳ１０９）。すなわち， Ｒ_d （ｎ）＝Ｒ_d （ｎ−１）とする。

次に，基準映像ビットレートＲと追加映像ビットレートＲ_d （ｎ）とから，ＧＯＰ目標符号量Ｇ（ｎ）を算出する（ステップＳ１１０）。ＧＯＰ目標符号量Ｇ（ｎ）は，次式により求められる。

Ｇ（ｎ）＝Ｎ・（Ｒ＋Ｒ_d （ｎ））／Ｐ＋前のＧＯＰの繰越符号量
ＧＯＰ目標符号量Ｇ（ｎ）が決まったならば，映像フレーム目標符号量決定部１４は，ＧＯＰ目標符号量Ｇ（ｎ）を，ＧＯＰ（ｎ）内の各フレームに対して配分して各フレームの目標符号量を決定し，映像フレーム符号化処理部１５は，各フレームの目標符号量に従ってＧＯＰ（ｎ）内の各フレームを符号化する（ステップＳ１１１）。なお，ＧＯＰ目標符号量Ｇ（ｎ）から，ＧＯＰ（ｎ）内の各フレームの目標符号量を算出する方法としては，例えば次の参考文献１に開示されている方法などがある。
［参考文献１］International Organisation for Standardisation, Test Model Editing Committee, 1993, Test Model 5, April, ISO-IEC/JTC1/SC29/WG11/N0400
その後，ステップＳ１０１に戻り，次のＧＯＰ（ｎ＋１）について同様に符号化処理を続ける。

ステップＳ１０３において，ＧＯＰ（ｎ）内にシーン開始点を含むと判定された場合，図３のステップＳ１１２へ進み，ＧＯＰ（ｎ）で開始されるシーンが終了するフレームおよびそのＧＯＰ（ｓ）は判明済みか否かを判定する（ステップＳ１１２）。判明済みの場合，上記シーン期間内の最低余剰ビットレートと，映像符号化ビットレートの上限値ＴＨ_R のどちらか小さいほうの値をＧＯＰ内シーンチェンジ後の追加映像ビットレートＲ_d ^* （ｎ）とする（ステップＳ１１３）。

Ｒ_d ^* （ｎ）＝ｍｉｎ（ＴＨ_R ，ｍｉｎ（Ｒ_r （ｎ），…，Ｒ_r （ｓ）））
一方，判明済みでない場合には，音声先行符号化期間内の最低余剰ビットレートＲ_r と，過去ａ個のＧＯＰの最低余剰ビットレートＲ_a のどちらか小さいほうの値を，ＧＯＰ内シーンチェンジ後の追加映像ビットレートＲ_d ^* （ｎ）とする（ステップＳ１１４）。

Ｒ_d ^* （ｎ）＝ｍｉｎ（Ｒ_a ，ｍｉｎ（Ｒ_r （ｎ），…，Ｒ_r （ｍ）））
次に，ＧＯＰ（ｎ）の余剰ビットレートＲ_r （ｎ）が直前のＧＯＰの追加映像ビットレートＲ_d （ｎ−１）を下回るかどうかを判定する（ステップＳ１１５）。下回る場合には，ＧＯＰ（ｎ）の余剰ビットレートＲ_r （ｎ）をＧＯＰ内シーンチェンジ前の追加映像ビットレートＲ_d ′（ｎ）とする（ステップＳ１１６）。すなわち，Ｒ_d ′（ｎ）＝Ｒ_r （ｔ）とする。

一方，下回らない場合には，直前ＧＯＰの追加映像ビットレートと同じ値を，ＧＯＰ内シーンチェンジ前の追加映像ビットレートＲ_d ′（ｎ）とする（ステップＳ１１７）。すなわち，Ｒ_d ′（ｎ）＝Ｒ_d （ｎ−１）とする。

次に，基準映像ビットレートＲとＧＯＰ内シーンチェンジ前の追加映像ビットレートＲ_d ′（ｎ）と前のＧＯＰの繰越符号量から，シーンチェンジ前のＧＯＰ目標符号量Ｇ′（ｎ）を，次式に従って算出する（ステップＳ１１８）。

Ｇ′（ｎ）＝（Ｒ＋Ｒ_d ′（ｎ））×α′＋前のＧＯＰの繰越符号量
ここで，α′は，ＧＯＰ内シーンチェンジ前のフレーム数，ピクチャタイプ，複雑さ指標により決まる配分比である。

映像フレーム目標符号量決定部１４は，ＧＯＰ目標符号量Ｇ′（ｎ）に従って，ＧＯＰ（ｎ）のシーンチェンジ前の各フレームの目標符号量を決定し，映像フレーム符号化処理部１５は，シーンチェンジ前の各フレームを符号化する（ステップＳ１１９）。

続いて，基準映像ビットレートＲとＧＯＰ内シーンチェンジ後の追加映像ビットレートＲ_d ^* （ｎ）とＧＯＰ前半からの繰越符号量からシーンチェンジ後のＧＯＰ目標符号量Ｇ^* （ｎ）を，次式に従って算出する（ステップＳ１２０）。

Ｇ^* （ｎ）＝（Ｒ＋Ｒ_d ^* （ｎ））×α^* ＋ＧＯＰ前半からの繰越符号量
ここで，α^* は，ＧＯＰ内シーンチェンジ後のフレーム数，ピクチャタイプ，複雑さ指標により決まる配分比である。

映像フレーム目標符号量決定部１４は，ＧＯＰ目標符号量Ｇ^* （ｎ）に従って，ＧＯＰ（ｎ）のシーンチェンジ後の各フレームの目標符号量を決定し，映像フレーム符号化処理部１５は，シーンチェンジ後の各フレームを符号化する（ステップＳ１２１）。その後，ステップＳ１０１に戻り，次のＧＯＰ（ｎ＋１）について同様に符号化処理を続ける。

図４に，本発明の実施例においてＧＯＰ（ｎ）内にシーンチェンジ開始点を含まない場合のビットレートの割当ての例を示す。

図４において，Ｒは基準映像ビットレートであり，音声フレームの発生符号量が常に最大の場合に確保できる映像ビットレートである。換言すれば，Ｒは映像ビットレートとして最低保証されるビットレートである。

また，ＧＯＰ（ｎ）期間に再生される音声符号量のビットレート換算値をＴＳビットレートから減算した値を，映像伝送可能ビットレートとすると，余剰ビットレートＲ_r （ｎ）は，映像伝送可能ビットレートから基準映像ビットレートＲを減算した値である。

最低余剰ビットレートＲ_r （ｔ）は，映像の符号化に対して音声を先行して符号化した期間内のＧＯＰ単位の余剰ビットレートのうち，最も小さい値をいう。

音声の余剰符号量を映像符号化に利用しようとした場合，原理的にはＧＯＰ（ｎ）の目標符号量を，基準映像ビットレートＲに余剰ビットレートＲ_r （ｎ）だけ加えた映像伝送可能ビットレートに応じて決定することができる。しかし，この場合，音声の発生符号量の変動が大きいと映像の画質の変動が目につく可能性がある。

そこで，本発明では，例えば図４に示すように，余剰ビットレートＲ_r （ｎ）のすべてを映像符号化に割り当てるのではなく，その一部を追加映像ビットレートＲ_d （ｎ）として定め，追加映像ビットレートＲ_d （ｎ）が大きく変動しないように，最低余剰ビットレート期間までに，追加映像ビットレートを単調減少させ，徐々に小さくする。これにより，画質の変動が極端に大きくなるのを回避することが可能になる。

図５は，本発明の実施例においてＧＯＰ（ｎ）内にシーンチェンジ開始点を含み，符号化中のシーンの終了点が判明している場合のビットレートの割当ての例を示している。

映像中にシーンチェンジがあると，シーンチェンジの前後では，画質の変動が目立ちにくい。そこで，映像信号の先読みによってシーンチェンジを検出した場合には，追加映像ビットレートＲ_d ^* （ｎ）を徐々に単調減少させるのではなく，例えば図５に示すように，追加映像ビットレートＲ_d ^* （ｎ）がシーンの終了点を含むＧＯＰ（ｍ）までの期間における最低余剰ビットレートＲ_r （ｔ）になるように決定してもよい。このようにしても音声ビットレートの変動に伴う画質の変動を目立たせなくすることができる。

図６は，本発明の他の実施例の映像符号化処理のフローチャートである。本実施例の場合，シーン途中であっても，余剰ビットレートが連続して十分にある場合に，追加映像ビットレートを単調減少させるのではなく，直前ＧＯＰの追加映像ビットレートよりも，ある値だけ増加させることにより，余剰ビットレートの有効活用を促進する。

本実施例では，図２および図３に示すフローチャートのうち，ステップＳ１１０の部分が，図６に示すステップＳ１１０１〜Ｓ１１０３に置き換わり，他の部分については前の実施例と同様であるので，以下では違う部分の処理についてだけ説明する。

前の実施例のステップＳ１０１〜Ｓ１０９を実行した後，過去ａ個のＧＯＰの最低余剰ビットレートＲ_a が直前ＧＯＰの追加映像ビットレートＲ_d （ｎ−１）を一定値Ｒ_add 以上，上回るかどうかを判定する（ステップ１１０１）。一定値Ｒ_add 以上，上回る場合には，追加映像ビットレートＲ_d （ｎ）を直前ＧＯＰより一定値Ｒ_add 上昇させる（ステップＳ１１０２）。すなわち，Ｒ_d （ｎ）＝Ｒ_d （ｎ−１）＋Ｒ_add とする。

一方，一定値Ｒ_add 以上，上回らない場合には，追加映像ビットレートＲ（ｎ）を直前ＧＯＰのＲ_d （ｎ−１）と同じにする（ステップＳ１１０３）。すなわち，Ｒ_d （ｎ）＝Ｒ_d （ｎ−１）とする。以降は，前の実施例におけるステップＳ１１１〜Ｓ１２１と同じ処理を行う。

この例では，過去ａ個のＧＯＰの最低余剰ビットレートＲ_a が直前ＧＯＰの追加映像ビットレートＲ_d （ｎ−１）を一定値Ｒ_add 以上，上回るかどうかによって，追加映像ビットレートＲ_d （ｎ）を上昇させるかどうかを決定しているが，一定値ではなく一定比率以上，上回るかどうかを判定して，上昇させるかどうかを決定するようにしてもよい。

以上の映像符号化の処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録することも，ネットワークを通して提供することも可能である。

本発明の実施例に係る装置の構成例を示す図である。 本発明の実施例の映像符号化処理のフローチャートである。 本発明の実施例の映像符号化処理のフローチャートである。 ＧＯＰ（ｎ）内にシーンチェンジ開始点を含まない場合のビットレートの割当ての例を示す図である。 ＧＯＰ（ｎ）内にシーンチェンジ開始点を含み，符号化中のシーンの終了点が判明している場合のビットレートの割当ての例を示す図である。 本発明の他の実施例の映像符号化処理のフローチャートである。

符号の説明

１０ 映像符号化装置
１１ 映像入力部
１２ 映像入力バッファ
１３ 映像ＧＯＰ目標符号量決定部
１３１ 余剰ビットレート算出部
１３２ 追加映像ビットレート算出部
１３３ ＧＯＰ目標符号量算出部
１４ 映像フレーム目標符号量決定部
１５ 映像フレーム符号化処理部
１６ 映像ストリーム出力部
１７ 映像ストリーム出力バッファ
１８ シーンチェンジ検出部
２０ 音声符号化装置
３０ 多重化部

Claims (7)

1. 映像符号化データと音声符号化データとを多重化した符号化ストリームが所定の伝送ビットレートの範囲内になるように，映像の符号量を制御する映像符号量制御方法であって，
   映像符号化制御単位の期間の映像を符号化するのに先立って，同期間に再生される音声を先行して符号化した結果から，その音声発生符号量をビットレート換算した値を求め，前記伝送ビットレートから同換算値と所定の基準映像ビットレートとを減算した値を，同期間の余剰ビットレートとして，前記映像符号化制御単位の期間ごとに算出する過程と，
   現在の映像符号化対象の映像符号化制御単位の期間を含む連続する複数の映像符号化制御単位の期間における最低の前記余剰ビットレートに従って，前記基準映像ビットレートに加算する追加映像ビットレートを決定する過程と，
   前記映像符号化対象の映像符号化制御単位の期間における目標符号量を，前記基準映像ビットレートに前記追加映像ビットレートを加算した値をもとに決定する過程と，
   前記決定された目標符号量に従って，前記映像符号化制御単位における映像信号を符号化する過程とを有する
   ことを特徴とする映像符号量制御方法。
2. 請求項１に記載の映像符号量制御方法において，
   前記追加映像ビットレートを決定する過程では，前記連続する複数の映像符号化制御単位の期間における最低の余剰ビットレートが前記映像符号化対象の映像符号化制御単位よりも将来の映像符号化制御単位の期間における余剰ビットレートであり，かつ直前の映像符号化制御単位における追加映像ビットレートより下回る場合に，前記最低の余剰ビットレートとなる映像符号化制御単位の期間までに，追加映像ビットレートが単調減少するように追加映像ビットレートを決定する
   ことを特徴とする映像符号量制御方法。
3. 請求項１または請求項２に記載の映像符号量制御方法において，
   映像符号化よりも先行してシーンチェンジを検出する過程を有し，
   前記追加映像ビットレートを決定する過程では，前記映像符号化対象の映像符号化制御単位の期間にシーンチェンジを含む場合に，過去ａ個（ａは１以上の所定の整数）の映像符号化制御単位の期間における最低の前記余剰ビットレート，もしくは先行して符号化した音声符号化期間における最低の前記余剰ビットレート，または前記シーンチェンジ後のシーン終了点までの前記余剰ビットレートが判明している場合には，そのシーン終了点までの映像符号化制御単位の期間における最低の前記余剰ビットレートに従って，シーンチェンジ後の追加映像ビットレートを決定し，前記映像符号化対象の映像符号化制御単位の期間にシーンチェンジを含まない場合に，先行して符号化した音声符号化期間における最低の前記余剰ビットレート，または現在のシーンのシーン終了点までの前記余剰ビットレートが判明している場合には，そのシーン終了点までの映像符号化制御単位の期間における最低の前記余剰ビットレートに従って追加映像ビットレートを決定する
   ことを特徴とする映像符号量制御方法。
4. 請求項１，請求項２または請求項３に記載の映像符号量制御方法において，
   前記映像符号化対象の映像符号化制御単位の期間よりも過去ａ個（ａは１以上の所定の整数）の映像符号化制御単位の期間における最低の前記余剰ビットレートが直前の映像符号化制御単位における追加映像ビットレートより一定値または一定比率以上，上回る場合に，追加映像ビットレートを直前の映像符号化制御単位における追加映像ビットレートよりも一定値または一定比率だけ大きい値にする
   ことを特徴とする映像符号量制御方法。
5. 映像符号化データと音声符号化データとを多重化した符号化ストリームが所定のビットレートの範囲内になるように，映像の符号量を制御し，映像信号を符号化する映像符号化装置であって，
   映像符号化制御単位の期間の映像を符号化するのに先立って，同期間に再生される音声を先行して符号化した結果から，その音声発生符号量をビットレート換算した値を求め，前記伝送ビットレートから同換算値と所定の基準映像ビットレートとを減算した値を，同期間の余剰ビットレートとして，前記映像符号化制御単位の期間ごとに算出する手段と，
   現在の映像符号化対象の映像符号化制御単位の期間を含む連続する複数の映像符号化制御単位の期間における最低の前記余剰ビットレートに従って，前記基準映像ビットレートに加算する追加映像ビットレートを決定する手段と，
   前記映像符号化対象の映像符号化制御単位の期間における目標符号量を，前記基準映像ビットレートに前記追加映像ビットレートを加算した値をもとに決定する手段と，
   前記決定された目標符号量に従って，前記映像符号化制御単位における映像信号を符号化する手段とを備える
   ことを特徴とする映像符号化装置。
6. 請求項１から請求項４までのいずれか１項に記載の映像符号量制御方法を，コンピュータに実行させるための映像符号量制御プログラム。
7. 請求項１から請求項４までのいずれか１項に記載の映像符号量制御方法を，コンピュータに実行させるための映像符号量制御プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images