JP2003348588A - 動画像符号化装置と映像伝送システム - Google Patents

Abstract

(57)【要約】 【課題】 デバイスへの実装が容易な簡単な方法でバッ
ファーの破綻を防止することができる動画像符号化装置
を提供する。 【解決手段】 動画像の各ピクチャをブロックに分割
し、ブロック毎に符号化する動画像符号化装置におい
て、符号化されたデータを一時蓄積して指定されたビッ
トレートで出力するバッファー部１１０と、このビット
レートとブロック毎の発生符号量とを基にバッファーオ
ーバーフロー状態を検出する符号量監視部１２２と、符
号量監視部１２２がバッファーオーバーフロー状態を検
出したとき、ピクチャの符号化モードに応じた符号量の
削減を実施する符号化手段１０８とを設けている。この
動画像符号化装置は、ブロック単位の発生符号量の積算
値を監視する、極めて簡単な方法でバッファーのオーバ
ーフローを防ぎ、動画像の安定的な符号化を続行するこ
とができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動画像を圧縮符号
化する動画像符号化装置と、この動画像符号化装置が符
号化した動画像を伝送する映像伝送システムに関し、特
に、バッファーのオーバーフローを防ぎながら、安定的
に動画像符号化を続行できるようにするものである。

【０００２】

【従来の技術】動画像符号化方式の国際標準であるＭＰ
ＥＧ２方式では、画面を一定の大きさの多数のブロック
に分割し、ブロック毎に符号化が行われる。また、その
符号化の符号化効率を高めるために、動き補償予測や２
次元ＤＣＴなどの技術が用いられる。動き補償予測は、
参照画像を動き補償（参照画像と入力画像との相関が最
も高くなるようなブロック毎の動きを検出し、その動き
が示す位置から画像を構成する）して予測画像とし、こ
の予測画像と入力画像との差分を取る方法である。ま
た、２次元ＤＣＴは、ブロックの画像データに対して水
平方向及び垂直方向にＤＣＴ（離散コサイン変換）を行
い、変換後の係数を量子化して符号化する方法である。

【０００３】動画像のフレーム（またはフィールド）
は、Ｉ−ｐｉｃｔｕｒｅ、Ｐ−ｐｉｃｔｕｒｅまたはＢ
−ｐｉｃｔｕｒｅとして符号化される。Ｉ−ｐｉｃｔｕ
ｒｅは、ブロックの符号化に予測画像を使わずにフレー
ム内符号化（ｉｎｔｒａ）で生成され、また、Ｐ−ｐｉ
ｃｔｕｒｅは、一方向のフレーム間（ｉｎｔｅｒ）予測
を利用して生成され、Ｂ−ｐｉｃｔｕｒｅは、双方向の
フレーム間予測を利用して生成される。また、Ｉ−ｐｉ
ｃｔｕｒｅは一定のｐｉｃｔｕｒｅ間隔（通常１５ｐｉ
ｃｔｕｒｅ間隔）で挿入される。

【０００４】動画像の圧縮符号化では、圧縮して得られ
るディジタル情報（ビットストリーム）の符号量が入力
画像に応じて刻々と変化する。このようなストリームを
指定されたビットレートで転送するために、送信側に
は、符号化されたデータを一旦蓄えるバッファーが設け
られており、バッファーから符号が取り出されて指定さ
れたビットレートで伝送される。また、バッファーに蓄
積された符号量に応じてＤＣＴ係数を量子化する際の量
子化幅が制御され、バッファーの蓄積符号量が増加する
と、発生符号量を減らすように大きい量子化幅での符号
化が行われる。

【０００５】一方、受信側でも、受信データを一時蓄積
するバッファーを用意し、デコードに必要な符号量が変
化してもデコードが継続できるようにする必要がある。
そのため送信側では、受信側のバッファー容量を想定し
た仮想的な動画バッファー検証器により、動画バッファ
ー検証器がオーバーフローしたりアンダーフローしたり
しないように発生符号量を制御している。

【０００６】しかし、伝送ビットレートに比べて発生符
号量が多い複雑な画像の入力が継続すると、量子化幅の
制御だけでは対応できなくなり、バッファーがオーバー
フローする。こうした事態を避けるため、特開平１１−
２３４６７１号公報には、ブロック符号化開始時点で、
当該ブロックへの割り当て符号量の上限を算出し、発生
符号量が上限値を超える場合に、その時点からＤＣＴ係
数の符号化を中止して発生符号量を抑制する動画像符号
化装置が開示されている。

【０００７】この装置では、ブロック内の発生符号量を
逐次監視する。具体的には、ＤＣＴ係数を１個符号化す
る毎に、ブロック内符号量の積算値を更新し、この積算
値を符号化開始時点で定めた上限値と比較して、積算値
が上限値を超えるか否かを判断する。積算値が上限値を
超えた場合は、その時点以後に符号化すべきＤＣＴ係数
が存在しても、ＤＣＴ係数の符号化を中止することで、
上限値以上の符号発生を防止している。

【０００８】

【発明が解決しようとする課題】しかし、この従来の動
画像符号化装置では、ＤＣＴ係数の符号化の中止をブロ
ック符号化の中間時点で判定しているため、ブロック内
の発生符号量を逐次監視し、ＤＣＴ係数を１個符号化す
る毎にブロック内符号量の積算値を更新して閾値と比較
する処理を行わなければならない。こうしたブロック内
の個々のＤＣＴ係数を対象とする処理は極めて複雑であ
り、ブロック単位の処理が行われる通常の符号化デバイ
スに、この処理機能を実装することは難しい。

【０００９】本発明は、こうした従来の問題点を解決す
るものであり、簡単な方法でバッファーのオーバーフロ
ーを防止することができる動画像符号化装置を提供し、
また、その動画像符号化装置を用いた映像伝送システム
を提供することを目的としている。

【００１０】

【課題を解決するための手段】そこで、本発明では、動
画像の各ピクチャをブロックに分割し、ブロック毎に符
号化する動画像符号化装置において、符号化されたデー
タを一時蓄積して指定されたビットレートで出力するバ
ッファー部と、このビットレートとブロック毎の発生符
号量とを基にバッファーオーバーフロー状態を検出する
符号量監視部と、符号量監視部がバッファーオーバーフ
ロー状態を検出したとき、ピクチャの符号化モードに応
じた符号量の削減を実施する符号化手段とを設けてい
る。

【００１１】また、符号化されたデータを一時蓄積し、
指定されたビットレートで出力するバッファー部と、ピ
クチャに対する許容最大符号量を下回る閾値と、ピクチ
ャ内のブロック毎の発生符号量を順次積算した積算値と
を比較し、この積算値が閾値を超えたときにバッファー
オーバーフロー状態を検出する符号量監視部と、符号量
監視部がバッファーオーバーフロー状態を検出したと
き、ピクチャの符号化モードに応じた符号量の削減を実
施する符号化手段とを設けている。

【００１２】また、この動画像符号化装置と、動画像符
号化装置で符号化されたデータを伝送路へ送出するため
のネットワークインタフェース部と、伝送ネットワーク
からデータを受信して復号化する復号装置と、復号化さ
れたデータにより映像を表示する表示用モニタとで映像
伝送システムを構成している。

【００１３】この動画像符号化装置では、ブロック単位
の発生符号量の積算値を監視する、極めて簡単な方法で
バッファーのオーバーフローを防ぎ、動画像の安定的な
符号化を続行することができる。また、受信側では継続
的なフレームの復号が可能であり、伝送ネットワークを
介して符号化データを遠隔地に伝送した場合でも、受信
側の表示用モニタに映像を安定的に表示させることがで
きる。

【００１４】

【発明の実施の形態】（第１の実施形態）本発明の第１
の実施形態における動画像符号化装置は、図１の機能ブ
ロック図に示すように、入力ディジタル信号１０に対し
てフレーム間予測符号化を行うか（ｉｎｔｅｒ）、フレ
ーム内符号化（ｉｎｔｒａ）を行うかを判定するｉｎｔ
ｅｒ／ｉｎｔｒａ判定部１００と、ｉｎｔｅｒ／ｉｎｔ
ｒａ判定部１００の判定結果に基づいて動き補償画像ま
たは定数ゼロを出力する第１スイッチ部１０２と、入力
ディジタル信号１０と第１スイッチ部１０２の出力との
減算結果を入力して直交変換係数を出力する直交変換部
１０４と、直交変換部１０４が出力した直交変換係数を
量子化して量子化直交変換係数を出力する量子化部１０
６と、量子化部１０６が出力した量子化直交変換係数を
可変長符号化して可変長符号を出力するＶＬＣ（可変長
符号化）部１０８と、ＶＬＣ部１０８が出力した可変長
符号を一旦蓄積して一定レートで出力し、かつ内部のバ
ッファー残留量から量子化幅を求めて量子化部１０６へ
出力するバッファ部１１０と、量子化部１０６が出力し
た量子化直交変換係数を入力して逆量子化直交変換係数
を出力する逆量子化部１１２と、逆量子化部１１２が出
力した逆量子化直交変換係数を入力して逆直交変換係数
を出力する逆直交変換部１１４と、逆直交変換部１１４
が出力した逆直交変換係数と予測画像の予測画素値信号
とを加算して生成された再生画像を蓄積するフレームメ
モリ部１１６と、ｉｎｔｅｒ／ｉｎｔｒａ判定部１００
の判定結果に基づいて動き補償画像または定数ゼロを予
測画素値信号として出力する第２スイッチ部１１８と、
フレームメモリ部１１６から出力された再生画像と入力
ディジタル信号１０とから動き補償を行い、動き情報と
動き補償画像とを出力する動き補償部１２０と、外部よ
り指定されたビットレートを必要な内部ブロックへ伝え
るビットレート指示部１２４と、ビットレート指定情報
と可変長符号とを入力してバッファーオーバーフロー状
態を検出する符号量監視部１２２とを備えている。

【００１５】ディジタル入力信号１０は、図に示してい
ないカメラ、Ａ／Ｄ変換装置及びブロック変換装置を経
由して符号化ブロック単位で入力する。また、ｉｎｔｅ
ｒ／ｉｎｔｒａ判定部１００は、一定ｐｉｃｔｕｒｅ間
隔で挿入するＩ−ｐｉｃｔｕｒｅの場合は、無条件でフ
レーム内符号化（ｉｎｔｒａ）を選択し、Ｉ−ｐｉｃｔ
ｕｒｅ以外では、入力ディジタル信号１０と動き補償部
１２０が出力した動き補償画像とを入力してフレーム間
予測符号化を行うか（ｉｎｔｅｒ）、フレーム内符号化
（ｉｎｔｒａ）を行うかを判定し、判定結果を表すブロ
ック符号化モード情報を第１スイッチ部１０２、第２ス
イッチ部１１８及びＶＬＣ部１０８に出力する。

【００１６】また、第１スイッチ部１０２は、ｉｎｔｅ
ｒ／ｉｎｔｒａ判定部１００が出力したブロック符号化
モード情報と、動き補償部１２０が出力した動き補償画
像と、定数ゼロとを入力し、ブロック符号化モード情報
に基づいて、動き補償画像または定数ゼロを出力する。
また、直交変換部１０４は、入力ディジタル信号１０と
第１スイッチ部１０２の出力との減算結果を入力して直
交変換係数を出力する。

【００１７】また、量子化部１０６は、直交変換部１０
４が出力した直交変換係数とバッファー部１１０が出力
した量子化幅とを入力して、直交変換係数をその量子化
幅で量子化した量子化直交変換係数を出力する。また、
フレームメモリ部１１６は、逆直交変換部１１４が出力
した逆直交変換係数と第２スイッチ部１１８が出力した
画素値信号との加算結果を入力して再生画像として蓄積
する。

【００１８】また、第２スイッチ部１１８は、ｉｎｔｅ
ｒ／ｉｎｔｒａ判定部１００が出力したブロック符号化
モード情報と定数ゼロと動き補償部１２０が出力した動
き補償画像とを入力し、ブロック符号化モード情報に基
づいて、動き補償画像または定数ゼロを予測画素値信号
として出力する。また、動き補償部１２０は、フレーム
メモリ部１１６から出力された再生画像と入力ディジタ
ル信号１０とから動き補償を行い、動き情報をＶＬＣ部
１０８に出力し、動き補償画像をｉｎｔｅｒ／ｉｎｔｒ
ａ判定部１００、第１スイッチ部１０２及び第２スイッ
チ部１１８に出力する。

【００１９】また、ＶＬＣ部１０８は、量子化部１０６
が出力した量子化直交変換係数と量子化直交変換係数に
多重されているブロック符号化モード情報と符号量監視
部１２２が出力したバッファーオーバーフロー状態と、
動き補償部１２０が出力した動き情報とを入力して可変
長符号を出力する。また、符号量監視部１２２は、ビッ
トレート指定情報と可変長符号とを入力してバッファー
オーバーフロー状態を検出し、ＶＬＣ部１０８にバッフ
ァーオーバーフロー状態を示す情報を出力する。

【００２０】次に、この動画像符号化装置の動作を説明
する。図１は動画像符号化方式の国際標準であるＭＰＥ
Ｇ２を想定したものである。同方式は画面を一定の大き
さの多数のブロックに分割し、ブロック毎に符号化す
る。また、符号化効率を高めるため、参照画像を動き補
償して動き補償画像を生成し、これを予測画像に用いて
符号量を削減する処理が行われる。ｉｎｔｅｒ／ｉｎｔ
ｒａ判定部１００は、一定ｐｉｃｔｕｒｅ間隔（通常１
５ｐｉｃｔｕｒｅ間隔）で挿入するＩ−ｐｉｃｔｕｒｅ
符号化時はフレーム内符号化を選択し、選択結果を第１
スイッチ部１０２と第２スイッチ部１１８とＶＬＣ部１
０８とへ出力し、Ｉ−ｐｉｃｔｕｒｅ符号化時以外は、
ブロック単位で入力される入力ディジタル信号１０と動
き補償部１２０が出力した動き補償画像とを入力し、入
力画像の分散値と動き補償画像／入力画像間の予測差分
の分散値とを比較し、入力分散値が大きい時はフレーム
間予測符号化を選択し、逆に予測差分の分散値が大きけ
ればフレーム内符号化を選択し、選択結果を第１スイッ
チ部１０２と第２スイッチ部１１８とＶＬＣ部１０８と
へ出力する。

【００２１】第１スイッチ部１０２は、ｉｎｔｅｒ／ｉ
ｎｔｒａ判定部１００がフレーム内符号化を選択した時
は定数ゼロを減算器へ出力して、直交変換部１０４が入
力ディジタル信号１０を入力するようにし、また、フレ
ーム間符号化を選択した時は動き補償画像を減算器へ出
力して、直交変換部１０４が予測差分を入力するように
する。直交変換部１０４は、入力ディジタル信号１０、
または予測差分を入力し、ＤＣＴ変換を実行して直交変
換係数を出力する。量子化部１０６は、直交変換係数の
情報量を削減するため、バッファー部１１０が出力した
量子化幅で直交変換係数を量子化し、量子化直交変換係
数を出力する。

【００２２】逆量子化部１１２は、量子化直交変換係数
を入力し、量子化時と同一の量子化幅で逆量子化し、逆
量子化直交変換係数を出力する。逆直交変換部１１４
は、逆量子化直交変換係数を入力して、逆直交変換し、
逆直交変換係数を出力する。第２スイッチ部１１８は、
ｉｎｔｅｒ／ｉｎｔｒａ判定部１００の判定結果がフレ
ーム内符号化を示している時はゼロを加算器へ出力し、
フレーム間符号化を示している時は動き補償画像を加算
器へ出力し、フレームメモリ部１１６へ量子化誤差を含
む再生画像を出力するようにする。

【００２３】ＶＬＣ部１０８は、量子化直交変換係数、
ｉｎｔｅｒ／ｉｎｔｒａ判定結果、動き補償予測付随情
報、バッファーオーバーフロー状態信号を入力し、バッ
ファーオーバーフローが発生していない場合は、これら
を可変長符号化してバッファー部１１０へ出力し、バッ
ファーオーバーフロー発生時は、バッファーの破綻を防
止するため、符号量を抑制した符号化を行い、符号化結
果をバッファー部１１０へ出力する。

【００２４】次に、ＶＬＣ部１０８の符号生成フローを
示す図４を参照して、ＶＬＣ部１０８の動作について詳
述する。（なお、フロー図では、“ステップ”を“Ｓ
ｔ．”と表記している。） ＶＬＣ部１０８は、バッファーオーバーフロー非発生時
（ステップ１でｎｏの時）には、生成する符号を制限せ
ず、入力情報を全て符号化し（ステップ７）、バッファ
ー部１１０へ出力する。一方、バッファーオーバーフロ
ー発生時（ステップ１でｙｅｓの時）には、Ｉ−ｐｉｃ
ｔｕｒｅの符号化中であるか否かを識別し（ステップ
２）、Ｉ−ｐｉｃｔｕｒｅの符号化中であれば（ステッ
プ２でｙｅｓの時）、ＤＣＴ係数以外はオーバーフロー
非発生状態と同様に符号化し、ＤＣＴ係数は直流分のみ
を符号化する（ステップ３）。また、Ｉ−ｐｉｃｔｕｒ
ｅの符号化中でなければ（ステップ２でｎｏの時）、画
面両端のブロックであるか否かを識別し（ステップ
４）、画面両端のブロックであるときは（ステップ４で
ｙｅｓの時）、動き情報＝０のマクロブロックタイプ
（マクロブロックの符号化モードを表す情報）のみを符
号化し、ＤＣＴ係数は全く符号化しない（ステップ
５）。また、画面両端のブロックでないときは（ステッ
プ４でｎｏの時）、当該ブロック情報は一切符号化しな
い（ステップ６）。

【００２５】このように、バッファーオーバーフロー発
生時には、 （１）Ｉ−ｐｉｃｔｕｒｅではＤＣＴ係数は直流分のみ
符号化する。 （２）Ｉ−ｐｉｃｔｕｒｅ以外の画面両端ブロックで
は、動き情報＝０のマクロブロックタイプのみを符号化
し、ＤＣＴ係数は全く符号化しない。 （３）Ｉ−ｐｉｃｕｔｒｅ以外の画面非両端ブロックで
は、符号は全く発生させない。という方法で発生符号を
制限する。この（１）、（２）、（３）の発生符号の制
限方法は、ＭＰＥＧ２規格内で許容される最小発生符号
量である。

【００２６】バッファー部１１０は、不定速度で入力さ
れる可変長符号を一旦蓄積し、指定ビットレートで出力
するとともに、内部蓄積符号量に比例させた量子化幅を
算出して量子化部１０６へ出力する。動き補償部１２０
は、入力ディジタル信号１０と共に、フレームメモリ部
１１６から再生画像を入力し、ブロックマッチング法で
動きを検出し、動き補償画像、付随情報（動き補償の有
効／無効、動きベクトル）を出力する。ブロックマッチ
ング法の具体例は“画像の帯域圧縮と符号化技術”（日
刊工業新聞社）Ｐ６１〜Ｐ６２に記載されている。

【００２７】動き補償部１２０は、まず、ブロックマッ
チング法により動きベクトル、動き補償画像、及び動き
補償予測付随情報を求める。次に、動き補償画像及び動
き補償前の（動き量をゼロとした場合の）画像のそれぞ
れと入力ディジタル信号１０との差分絶対値和を求め、
符号化効率がどちらの画像において良好であるかを判定
する。次に、この判定結果を反映した予測画像を第１ス
イッチ部１０２、ｉｎｔｅｒ／ｉｎｔｒａ判定部１００
及び第２スイッチ部１１８へ出力し、動き補償の付随情
報をＶＬＣ部１０８へ出力する。ビットレート指示部１
２４は、装置外部より入力したビットレートをバッファ
ー部１１０と符号量監視部１２２とへ出力する。

【００２８】符号量監視部１２２は、ＭＰＥＧ２規格で
動作が規定されているビデオバッファー検証器（動画バ
ッファー検証器）の動作をシミュレートすることで、ピ
クチャ符号化開始時に、当該ピクチャの許容最大符号量
を算出し、ピクチャ内の積算符号量が当該ピクチャの許
容最大符号量に近づいたとき、バッファーオーバーフロ
ー信号をＶＬＣ部１０８へ出力してバッファーオーバー
フローを回避する。以下、図５を参照しながら、ビデオ
バッファー検証器の動作、及びピクチャの許容最大符号
量の算出方法を説明する。

【００２９】図５において（ａ）はビデオバッファー検
証器の容量の上限値を示す。この上限値は一定範囲内で
エンコード時に選択することができる。（ｂ）は１フレ
ーム間隔時間を示す。本システムで用いるＮＴＳＣビデ
オ方式においては１／２９．９７ ≒３３．３ｍｓｅｃ
である。（ｃ）は先頭ピクチャの符号量を示す。（ｄ）
は２番目のピクチャの符号量を示す。（ｅ）は一定の傾
きであり、符号化ビットレートを示す。傾きが急峻な
程、符号化ビットレートが大きいことを示す。

【００３０】図５では、時刻ゼロにおいて発生符号のビ
デオバッファー検証器への入力が開始される。あらかじ
め定めた時刻Ｔ１において、先頭フレームを表現してい
る全ビットストリームが瞬間的にビデオバッファー検証
器から引き抜かれる（瞬間的な移動ができるのは、ビデ
オバッファー検証器は仮想的バッファーを前提にしてい
るからである）。Ｔ１で引き抜かれる符号量（ｃ）はＴ
１で表示される先頭フレームの符号量そのものである。
Ｔ１において先頭ピクチャ相当の符号量を引き抜いた
後、再度一定ビットレートで符号が入力される。次に、
時刻Ｔ２で２番目のピクチャの符号量相当が瞬間的にビ
デオバッファー検証器から引き抜かれ、再度一定のビッ
トレートで入力される。当然ながら、Ｔ２−Ｔ１＝３
３．３ｍｓｅｃである。

【００３１】以下、一定の時間間隔（約３３．３ｍｓｅ
ｃ）毎に各ピクチャの符号量の瞬間的引き抜きと一定ビ
ットレートでの入力とが続き、図５のような鋸型の変動
となる。

【００３２】ここで、先頭ピクチャ符号化時に許容され
る符号量の最大値は（ｃ）＋（ｆ）、２番目の符号化ピ
クチャの許容最大符号量は（ｄ）＋（ｇ）となることが
明らかである。即ち、先頭の符号化ピクチャの符号量が
（ｃ）＋（ｆ）より多いと、時刻Ｔ１で先頭のピクチャ
の符号量相当をビデオバッファー検証器から引き抜いた
ときに、ビデオバッファー検証器がアンダーフローに陥
る。また、同様に、２番目の符号化ピクチャの符号量が
（ｄ）＋（ｇ）より多いと、２番目のピクチャの符号量
相当をビデオバッファー検証器から引き抜いたときに、
ビデオバッファー検証器がアンダーフローに陥る。先頭
の符号化ピクチャの許容最大符号量を（ｃ）＋（ｆ）に
設定し、２番目の符号化ピクチャの許容最大符号量を
（ｄ）＋（ｇ）に設定すれば、ビデオバッファー検証器
のこうしたアンダーフローは発生しない。

【００３３】符号量監視部１２２は、以上のようにして
算出したピクチャの許容最大符号量から、さらに、図４
に説明した符号量削減手段で符号量を削減した場合でも
必要となる符号量（最小発生符号量）を差し引き、バッ
ファーオーバーフロー信号を出力する状態（オーバーフ
ロー発生状態）を判定するための閾値レベルを設定す
る。そして、ピクチャ内の積算符号量がその閾値を超え
たときに、オーバーフロー発生状態と判定して、バッフ
ァーオーバーフロー信号をＶＬＣ部１０８へ出力する。

【００３４】図６を用いて、符号量監視部１２２がオー
バーフロー状態を検出する方法について詳述する。図６
において、横軸はピクチャ内の符号化済ブロック数、縦
軸は符号量を示している。図６の（Ａ）は図４で説明し
た符号量削減手段でピクチャ全体を符号化した場合の符
号量の最大値であり、ピクチャ全体をＩ−ｐｉｃｔｕｒ
ｅとし、各Ｉ−ｐｉｃｔｕｒｅを図４のステップ３の手
順で符号化したときの符号量の合計値を（Ａ）とする。
この（Ａ）がバッファーオーバーフロー判定の閾値とな
る。

【００３５】右上がりの曲線は、ピクチャ内の積算符号
量であり、符号化ブロック数が増加するにしたがって、
単調に増加する様子を示している。図６でブロックＮ１
を符号化するまでは、ピクチャ内積算符号量が、（許容
最大符号量）―（Ａ）を超えないので、バッファーオー
バーフロー状態ではないと判断し、ブロックＮ１を符号
化する時点で、ピクチャ内積算符号量が、（許容最大符
号量）―（Ａ）を超えるので、オーバーフロー状態と判
定し、判定結果を表すバッファーオーバーフロー信号を
ＶＬＣ部１０８へ出力する。ＶＬＣ部１０８は、このバ
ッファーオーバーフロー信号を受けて、図４に示す手順
で発生符号量を抑制する。

【００３６】このように、この動画像符号化装置では、
ピクチャの許容最大符号量を基に設定した閾値と、ピク
チャ内のブロック単位の発生符号量を順次積算した積算
値とを比較して、バッファーオーバーフロー状態か否か
をブロック単位で判定し、この積算値が閾値を超えた時
点で、符号量削減手段を用いた符号化方式により最小発
生符号量の符号化を開始する。そのため、バッファーオ
ーバーフロー状態を確実に回避することができる。

【００３７】（第２の実施形態）本発明の第２の実施形
態では、符号量削減手段による符号化の実施範囲を狭め
た動画像符号化装置について説明する。この装置の全体
構成は第１の実施形態（図１）と同じであり、ただ、符
号量監視部１２２の動作だけが第１の実施形態と違って
いる。

【００３８】この符号量監視部１２２は、第１の実施形
態と同様に、ビデオバッファー検証器の動作をシミュレ
ートすることで、ピクチャ符号化開始時に、当該ピクチ
ャの許容最大符号量を算出し、これをバッファーオーバ
ーフロー回避の判断に用いる。この許容最大符号量の算
出方法は第１の実施形態と同様である。符号量監視部１
２２は、この許容最大符号量を基に設定した閾値を用い
てオーバーフロー状態を検出するが、この閾値の設定の
仕方が第１の実施形態と相違している。図７を用いて、
符号量監視部１２２におけるオーバーフロー状態の検出
方法について詳述する。

【００３９】図７において、横軸はピクチャ内の符号化
済ブロック数、縦軸は符号量を示している。（Ａ）は、
第１の実施形態（図６）と同じように、図４で説明した
符号量削減手段でピクチャ全体を符号化した場合の符号
量の最大値であり、ピクチャ全体をＩ−ｐｉｃｔｕｒｅ
とし、各Ｉ−ｐｉｃｔｕｒｅを図４のステップ３の手順
で符号化したときの符号量の合計値を（Ａ）とする。

【００４０】傾き（Ｂ）の右上がりの直線（１）は、バ
ッファーオーバーフロー判定の閾値を示す直線である。
符号化済ブロック数＝０では直線（１）は許容最大符号
量−（Ａ）の値をとり、１ブロック符号化する毎に
（Ｂ）だけ増加し、符号化済ブロック数＝Ｎ（ＭＡＸ）
では許容最大符号量と等しくなる。右上がりの曲線は、
ピクチャ内の積算符号量であり、符号化ブロック数が増
加するにしたがって、単調に増加する様子を示してい
る。

【００４１】符号量監視部１２２は、図７においてブロ
ックＮ１を符号化するまでは、ピクチャ内積算符号量
が、直線（１）を超えないので、オーバーフロー状態で
はないと判断し、ブロックＮ１１を符号化する時点で、
ピクチャ内積算符号量が直線（１）を超えるので、オー
バーフロー状態と判定し、判定結果を表すバッファーオ
ーバーフロー信号をＶＬＣ部１０８へ出力する。

【００４２】このように、この動画像符号化装置では、
ピクチャ内の積算符号量と、ブロック毎に修正される閾
値値とからバッファーオーバーフロー状態を検出してい
るので、ピクチャ内で一定の閾値を基にバッファーオー
バーフロー状態を判定する場合に比較して、本来不要な
バッファーオーバーフロー状態の検出を減らすことがで
きる。その結果、符号量削減手段による符号化の実施範
囲を減らし、画質を向上させることができる。

【００４３】（第３の実施形態）本発明の第３の実施形
態における動画像符号化装置は、Ｉ−ｐｉｃｔｕｒｅと
Ｉ−ｐｉｃｔｕｒｅ以外のｐｉｃｔｕｒｅとを区別して
バッファーオーバーフローの判定を行う。この装置の全
体構成は第１の実施形態（図１）と同じであり、ただ、
符号量監視部１２２の動作だけが第１の実施形態と違っ
ている。この符号量監視部１２２は、第１の実施形態と
同様に、ビデオバッファー検証器の動作をシミュレート
することで、ピクチャ符号化開始時に、当該ピクチャの
許容最大符号量を算出し、これをバッファーオーバーフ
ロー回避の判断に用いる。この許容最大符号量の算出方
法は第１の実施形態と同様である。

【００４４】符号量監視部１２２は、この許容最大符号
量を基に閾値を設定してオーバーフロー状態を検出する
が、この閾値の設定の仕方が第１の実施形態と相違して
いる。図８を用いて、符号量監視部１２２におけるオー
バーフロー状態の検出方法を詳述する。

【００４５】図８において、横軸はピクチャ内の符号化
済ブロック数、縦軸は符号量を示している。単調増加の
曲線（１１）は、Ｉ−ｐｉｃｔｕｒｅを符号化した場合
の符号化済みブロック数とピクチャ内積算符号量との関
係を示し、単調増加の曲線（１２）は、Ｉ−ｐｉｃｔｕ
ｒｅ以外のｐｉｃｔｕｒｅを符号化した場合の符号化済
みブロック数とピクチャ内積算符号量との関係を示して
いる。また、（Ａ）は、図４で説明した符号量削減手段
でＩ−ｐｉｃｔｕｒｅのピクチャ全体をステップ３の手
順で符号化した場合の符号量を示し、（Ｂ１）は、図４
で説明した符号量削減手段でＩ−ｐｉｃｔｕｒｅ以外の
ｐｉｃｔｕｒｅのピクチャ全体をステップ５及びステッ
プ６の手順で符号化した場合の符号量を示している。こ
の（Ａ）がＩ−ｐｉｃｔｕｒｅ符号化時のバッファーオ
ーバーフロー判定の閾値となり、（Ｂ１）がＩ−ｐｉｃ
ｔｕｒｅ以外のｐｉｃｔｕｒｅ符号化時のバッファーオ
ーバーフロー判定の閾値となる。

【００４６】まず、Ｉ−ｐｉｃｔｕｒｅ符号化時のオー
バーフロー検出動作を説明する。符号化済ブロック数＝
０では曲線（１１）は値ゼロを取る。符号化済みブロッ
ク数の増加とともに、ピクチャ内の積算符号量は単調に
増加し、符号化ブロック数がＮ２１となった時点で、
（許容最大符号量）−（Ａ）を超える。そのまま通常の
符号化を続行すれば、許容最大符号量以上の符号が発生
するので、符号量削減手段を用いて発生符号量を抑制
し、ピクチャ全体の符号量を許容最大符号量以下に抑え
る。

【００４７】次にＩ−ｐｉｃｔｕｒｅ以外のｐｉｃｔｕ
ｒｅ符号化時のオーバーフロー検出動作を説明する。符
号化済ブロック数＝０では、曲線（１２）は値ゼロを取
る。符号化済みブロック数の増加とともに、ピクチャ内
の積算符号量は単調に増加し、符号化ブロック数がＮ２
３となった時点で、（許容最大符号量）−（Ｂ１）を超
える。そのまま通常の符号化を続行すれば、許容最大符
号量以上の符号が発生するので、符号量削減手段を用い
て発生符号量を抑制し、ピクチャ全体の符号量を許容最
大符号量以下に抑える。

【００４８】ここで、Ｉ−ｐｉｃｔｕｒｅのオーバーフ
ロー検出値（Ａ）とＩ−ｐｉｃｔｕｒｅ以外のｐｉｃｔ
ｕｒｅのオーバーフロー検出値（Ｂ１）とを区別しない
場合には、許容最大符号量を超える危険性を回避するた
め、符号量削減手段の符号化で発生する符号量が大きい
Ｉ−ｐｉｃｔｕｒｅでの値（Ａ）を用いてオーバーフロ
ー検出を行わざるを得ない。

【００４９】その場合には、Ｉ−ｐｉｃｔｕｒｅ以外の
ｐｉｃｔｕｒｅの積算符号量（１２）が符号化済みブロ
ック数＝Ｎ２２となった時点で符号量削減手段を用いる
ことになる。しかし、本来はＮ２３の時点から符号量削
減手段を用いれば、ピクチャ符号量を許容最大符号量以
下に抑えることができるので、ブロックＮ２２〜Ｎ２３
での符号量削減は不要であり、必要以上に符号量を削減
してしまうことになる。

【００５０】これに対して、この動画像符号化装置で
は、ピクチャの符号化モードに応じてオーバーフロー判
定用定数（閾値）を最適化することで、本来不要なバッ
ファーオーバーフロー判定を回避することができ、その
結果、画質を向上させることが可能となる。この動画像
符号化装置でのバッファーオーバーフロー判定方法は、
特に符号量に余裕が少ない低ビットレート符号化時に大
きな効果を発揮する。

【００５１】（第４の実施形態）本発明の第４の実施形
態では、バッファーオーバーフローの判定を入力ディジ
タル信号の解像度に応じて行う動画像符号化装置につい
て説明する。図２は、この動画像符号化装置全体の機能
ブロック図を示している。この装置は、ＶＬＣ部１０８
と符号量監視部１２２との動作が第１の実施形態（図
１）と異なっている。その他は第１の実施形態と変わり
がない。

【００５２】この装置のＶＬＣ部１０８には、第１の実
施形態と同様に、量子化部１０６から量子化直交変換係
数が、ｉｎｔｅｒ／ｉｎｔｒａ判定部１００からｉｎｔ
ｅｒ／ｉｎｔｒａ判定結果が、動き補償部１２０から動
き補償予測付随情報が、また、符号量監視部１２２から
バッファーオーバーフロー状態信号が入力し、その他に
入力ディジタル信号が入力する。ＶＬＣ部１０８は、バ
ッファーオーバーフローが発生していない場合には、入
力ディジタル信号から得られた符号化解像度情報を含め
て、入力情報を全て可変長符号化し、バッファー部１１
０へ出力する。一方、バッファーオーバーフロー発生時
には、バッファーの破綻を防止するため、符号量を抑制
した符号化を行い、符号化の結果をバッファー部１１０
へ出力する。

【００５３】符号量監視部１２２は、ビデオバッファー
検証器の動作をシミュレートすることで、ピクチャ符号
化開始時に、当該ピクチャの許容最大符号量を算出し、
バッファーオーバーフロー回避の判断に用いる。この許
容最大符号量の算出方法は第１の実施形態と同様であ
る。

【００５４】符号量監視部１２２は、この許容最大符号
量を基に閾値を設定してオーバーフロー状態を検出する
が、この閾値の設定の仕方が第１の実施形態と相違して
いる。図９を用いて、符号量監視部１２２におけるオー
バーフロー状態の検出方法を詳述する。

【００５５】図９において、横軸はピクチャ内の符号化
済ブロック数、縦軸は符号量を示している。単調増加の
曲線（２１）は、高解像度（ピクチャ内ブロック数が、
例えば水平４４×垂直３０）で符号化した場合の符号化
済みブロック数とピクチャ内積算符号量との関係を示
し、単調増加の曲線（２２）は、低解像度（ピクチャ内
ブロック数が、例えば水平２２×垂直１５）で符号化し
た場合の符号化済みブロック数とピクチャ内積算符号量
との関係を示している。また、（Ａ１）は、図４で説明
した符号量削減手段を用いて高解像度のピクチャ全体を
符号化した場合のＩ−ｐｉｃｔｕｒｅの符号量を示し、
（Ｂ２）は、図４で説明した符号量削減手段を用いて低
解像動のピクチャ全体を符号化した場合のＩ−ｐｉｃｔ
ｕｒｅの符号量を示している。このときの符号量は、ピ
クチャ内ブロック総数に比例するので、（Ｂ２）＝（Ａ
１）／４の関係にある。この（Ａ１）が高解像度符号化
時のバッファーオーバーフロー判定の閾値となり、（Ｂ
２）が低解像度符号化時のバッファーオーバーフロー判
定の閾値となる。

【００５６】まず、高解像度符号化時のオーバーフロー
検出動作を説明する。符号化済ブロック数＝０では曲線
（２１）は値ゼロを取る。符号化済みブロック数の増加
とともに、ピクチャ内の積算符号量は単調に増加し、符
号化ブロック数がＮ３１となった時点で、（許容最大符
号量）−（Ａ１）を超える。そのまま通常の符号化を続
行すれば、許容最大符号量以上の符号が発生するので、
符号量削減手段を用いて発生符号量を抑制し、ピクチャ
全体の符号量を許容最大符号量以下に抑える。

【００５７】次に、低解像度符号化時のオーバーフロー
検出動作を説明する。符号化済ブロック数＝０では曲線
（２２）は値ゼロを取る。符号化済みブロック数の増加
とともに、ピクチャ内の積算符号量は単調に増加し、符
号化ブロック数がＮ３３となった時点で、（許容最大符
号量）−（Ｂ２）を超える。そのまま通常の符号化を続
行すれば、許容最大符号量以上の符号が発生するので、
符号量削減手段を用いて発生符号量を抑制し、ピクチャ
全体の符号量を許容最大符号量以下に抑える。

【００５８】ここで、解像度によって、オーバーフロー
検出の閾値を変更しない場合は、（Ａ１）、（Ｂ２）の
ように２種類の定数を用いることができず、符号量削減
手段の符号化で発生する符号量が大きい高解像度での閾
値（Ａ１）を用いてオーバーフロー検出を行わざるを得
ない。

【００５９】その場合には、低解像度で符号化したとき
の積算符号量（２２）が符号化済みブロック数＝Ｎ３２
となった時点で符号量削減手段を用いることになる。し
かし、本来はＮ３３の時点から符号量削減手段を用いれ
ば、ピクチャ符号量を許容最大符号量以下に抑えること
ができるので、ブロックＮ３２〜Ｎ３３での符号量削減
は不要であり、必要以上に符号量を削減してしまうこと
になる。

【００６０】これに対して、この動画像符号化装置で
は、解像度に応じてオーバーフロー判定用定数（閾値）
を最適化することで、本来不要なバッファーオーバーフ
ロー判定を回避することができ、その結果、画質を向上
させることが可能になる。この動画像符号化装置におけ
るバッファーオーバーフロー判定の方法は、特に高解像
度符号化と低解像度符号化とを適宜変更して符号化する
場合に大きな効果を発揮する。

【００６１】（第５の実施形態）本発明の第５の実施形
態では、第１〜第４の実施形態の動画像符号化装置を用
いた映像伝送システムについて説明する。この映像伝送
システムは、図３に示すように、映像信号を出力するカ
メラ２００と、本発明の第１〜第４の実施形態で説明し
た動画像符号化装置２１０と、動画像符号化装置２１０
と伝送ネットワークとのインターフェース機能を実現す
る送信ネットワークＩ／Ｆ２２０と、伝送ネットワーク
２３０と、伝送ネットワーク２３０と復号装置との間の
インターフェース機能を実現する受信ネットワーＩ／Ｆ
２４０と、受信ビット列を復号してビデオ信号を出力す
る復号装置２５０と、映像を表示する表示用モニタ２６
０とを備えている。

【００６２】この映像伝送システムの動作について説明
する。動画像符号化装置２１０は、カメラ２００より入
力した映像信号を圧縮符号化し、符号化結果であるビッ
ト列を出力する。送信ネットワークＩ／Ｆ２２０は、ビ
ット列を入力して、伝送ネットワークが要求する仕様に
信号を変換して伝送ネットワーク２３０へ出力する。受
信ネットワーＩ／Ｆ２４０は、伝送ネットワーク２３０
より入力した信号から受信ビット列を生成し、復号装置
２５０へ出力する。復号装置２５０は、入力したビット
列を復号処理し、ビデオ信号を出力する。表示用モニタ
２６０は、入力したビデオ信号から映像を表示する。

【００６３】この映像伝送システムでは、本発明の第１
〜第４の実施形態で説明した動画像符号化装置によって
符号化したビット列をネットワークを用いて遠隔地点に
伝送することにより、遠隔監視装置を構成することがで
きる。特に伝送帯域が小さいネットワークを利用する時
でも、動画像符号化装置２１０における送信バッファー
のオーバーフローは回避され、また、復号装置２５０で
の継続的なピクチャの復号が保証される。その結果、表
示用モニタ２６０には、カメラ２００で撮影された高品
質の映像が安定的に表示される。

【００６４】

【発明の効果】以上の説明から明らかなように、本発明
の動画像符号化装置は、バッファーのオーバーフローを
防いで、動画像の安定的な符号化を続行することがで
き、また、受信側での継続的なフレームの復号を保証す
ることができる。このバッファーのオーバーフローを防
ぐための処理は、符号化ブロック単位の発生符号量の積
算値を監視する、極めて簡単な方法で実施することがで
きる。

【００６５】また、本発明の映像伝送システムは、カメ
ラ装置で撮影された映像を安定的に符号化して遠隔地に
伝送し、遠隔地の表示用モニタにカメラ装置の映像を安
定的に表示させることを可能にする。

【図面の簡単な説明】

【図１】本発明の第１の実施形態、第２の実施形態及び
第３の実施形態における動画像符号化装置の構成を示す
ブロック図

【図２】本発明の第４の実施形態における動画像符号化
装置の構成を示すブロック図

【図３】本発明の第５の実施形態における映像伝送シス
テムの構成を示すブロック図

【図４】本発明の各実施形態の動画像符号化装置におけ
るバッファーオーバーフロー発生時の符号化処理手順を
示すフロー図

【図５】本発明の各実施形態におけるバッファーオーバ
ーフローの検出に使用する許容最大符号量の算出方法を
示す説明図

【図６】本発明の第１の実施形態におけるバッファーオ
ーバーフローの検出方法を示す説明図

【図７】本発明の第２の実施形態におけるバッファーオ
ーバーフローの検出方法を示す説明図

【図８】本発明の第３の実施形態におけるバッファーオ
ーバーフローの検出方法を示す説明図

【図９】本発明の第４の実施形態におけるバッファーオ
ーバーフローの検出方法を示す説明図

【符号の説明】

１０ 入力ディジタル信号 １００ ｉｎｔｅｒ／ｉｎｔｒａ判定部 １０２ 第１スイッチ部 １０４ 直交変換部 １０６ 量子化部 １０８ ＶＬＣ部 １１０ バッファー部 １１２ 逆量子化部 １１４ 逆直交変換部 １１６ フレームメモリ部 １１８ 第２スイッチ部 １２０ 動き補償部 １２２ 符号量監視部 １２４ ビットレート指示部 ２００ カメラ ２１０ 動画像符号化装置 ２２０ 送信ネットワーＩ／Ｆ ２３０ 伝送ネットワーク ２４０ 受信ネットワーＩ／Ｆ ２５０ 復号装置 ２６０ 表示用モニタ

フロントページの続き Ｆターム(参考） 5C059 KK35 MA00 MA05 MA21 MC11 ME01 PP05 TA00 TA49 TA50 TB08 TC00 TC15 TC32 TC37 TD11 UA02 UA32 5J064 AA00 BA04 BA16 BB01 BB02 BB03 BB10 BC01 BC08 BC14 BC16 BC29 BD02

Claims (6)

【特許請求の範囲】
1. 【請求項１】 動画像の各ピクチャをブロックに分割
   し、前記ブロック毎に符号化する動画像符号化装置であ
   って、 符号化されたデータを一時蓄積し、指定されたビットレ
   ートで出力するバッファー部と、 前記ビットレートと前記ブロック毎の発生符号量とを基
   にバッファーオーバーフロー状態を検出する符号量監視
   部と、 前記符号量監視部が前記バッファーオーバーフロー状態
   を検出したとき、前記ピクチャの符号化モードに応じた
   符号量の削減を実施する符号化手段とを具備することを
   特徴とする動画像符号化装置。
2. 【請求項２】 動画像の各ピクチャをブロックに分割
   し、前記ブロック毎に符号化する動画像符号化装置であ
   って、 符号化されたデータを一時蓄積し、指定されたビットレ
   ートで出力するバッファー部と、 前記ピクチャに対する許容最大符号量を下回る閾値と、
   前記ピクチャ内の前記ブロック毎の発生符号量を順次積
   算した積算値とを比較し、前記積算値が前記閾値を超え
   たときにバッファーオーバーフロー状態を検出する符号
   量監視部と、 前記符号量監視部が前記バッファーオーバーフロー状態
   を検出したとき、前記ピクチャの符号化モードに応じた
   符号量の削減を実施する符号化手段とを具備することを
   特徴とする動画像符号化装置。
3. 【請求項３】 前記符号量監視部は、前記閾値として、
   積算する前記ブロック毎に修正された閾値を用いて、前
   記バッファーオーバーフロー状態を判定することを特徴
   とする請求項２に記載の動画像符号化装置。
4. 【請求項４】 前記符号量監視部は、前記閾値として、
   前記ピクチャの符号化モードに応じて設定された閾値を
   用いて、前記バッファーオーバーフロー状態を判定する
   ことを特徴とする請求項２に記載の動画像符号化装置。
5. 【請求項５】 前記符号量監視部は、前記閾値として、
   前記動画像の解像度に応じて設定された閾値を用いて、
   前記バッファーオーバーフロー状態を判定することを特
   徴とする請求項２に記載の動画像符号化装置。
6. 【請求項６】 請求項１から５までのいずれかに記載の
   動画像符号化装置と、前記動画像符号化装置で符号化さ
   れたデータを伝送路へ送出するためのネットワークイン
   タフェース部と、伝送ネットワークから前記データを受
   信して復号化する復号装置と、復号化された前記データ
   により映像を表示する表示用モニタとを具備することを
   特徴とする映像伝送システム。