JP3918822B2 - 信号符号化装置、信号符号化方法及び信号記録媒体 - Google Patents

Description

本発明は、送信側にてディジタル信号を効率的に符号化する高能率符号化における信号符号化装置、信号符号化方法及び信号記録媒体に関し、特に、動画像信号の符号化において、可変ビットレートで符号化を制御する信号符号化装置、信号符号化方法及び信号記録媒体に関する。

ディジタルビデオ信号はデータ量が極めて多いため、これを小型で記憶容量の少ない記録媒体に長時間記録したい場合、ビデオ信号を高能率符号化する手段が不可欠となる。このような要求に応えるべく、ビデオ信号の相関を利用した高能率符号化方式が提案されており、その一つにＭＰＥＧ方式がある。このＭＰＥＧ（Moving Picture Image Coding Experts Group） とは、ＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２／ＷＧ１１にて議論され、標準案として提案されたものであり、動き補償予測符号化と離散コサイン変換（ＤＣＴ：Discrete Cosine Transform） 符号化とを組み合わせたハイブリッド方式である。このＭＰＥＧ方式では、まずビデオ信号のフレーム間の差分を取ることにより時間軸方向の冗長度を落とし、その後、離散コサイン変換を用いて空間軸方向の冗長度を落とし、このようにしてビデオ信号を能率良く符号化する。

一般に、ビデオ信号は定常的でなく、各ピクチャの情報量は時間経過に伴って変化する。そのため可変ビットレート符号化を用いると同じ符号量で一定ビットレート符号化に比べて高画質が得られることが知られている。

例えば、いわゆるＤＶＤ−ｖｉｄｅｏに記録されるビデオ信号は、２パス方式の可変ビットレート符号化が、一般に用いられている。この２パス方式については、例えば本件出願人による特願平７−３１３３４８号の明細書及び図面等に開示されている。

ここで、図７に、従来の２パス方式の可変ビットレート符号化方法を適用した動画像符号化装置の構成例を示すブロック図を示す。また、図８に、２パス方式の可変ビットレート符号化処理のフローチャートを示す。このフローチャートに沿って、図７のブロック図の動作を説明する。

先ず、図８のステップ３０１では、図７の端子２００から入力される動画像信号を符号化難易度計算器２０１に入力し、単位時間毎の入力画像の符号化難易度を計算する。ここで符号化難易度を計算するためにＭＰＥＧ方式のエンコーダにおいて固定量子化のみでＤＣＴ係数を量子化して、単位時間毎の発生符号量を計算する。上記単位時間は、例えば０．５秒程度とされる。計算された符号化難易度ｄは、割当ビット量計算器２０２へ入力される。

次にステップ３０２では、入力動画像信号の最後まで符号化難易度の計算が終了した後に、割当ビット量計算器２０２は、全体の符号化難易度と使用可能な符号化ビット総量とから入力画像の単位時間毎の割当ビット量を計算する。例えば、使用可能な符号化ビット総量を単位時間毎の符号化難易度に応じて比例配分して、単位時間毎の割当(目標)ビット量を計算する。

なお、遅延器２０３は、入力動画像の全時間長に対して、符号化難易度計算器２０１と割当ビット量計算器２０２での処理が終了するまで、入力動画像信号の動画像符号化器２０４への入力を遅延する、あるいは待つためにある。

次のステップ３０３では、動画像符号化器２０４が、単位時間毎の入力動画像をステップ３０２で計算された割当ビット量になるように符号化する。

ステップ３０１とステップ３０２の処理が１パス目の処理であり、それぞれ符号化難易度の計算と割当ビット量の計算を行なう。ステップ３０３の処理が２パス目の処理であり、実際の動画像符号化を行なう。この２パス方式は、使用可能な符号化ビット総量を有効に使うことができる利点があるが、処理時間が動画像シーケンスの時間長の約２倍必要という欠点があるため、リアルタイム処理には不向きである。

この処理時間を短くすることを目的とした１パス方式の可変ビットレート符号化方式が、例えば本件出願人による特願平７−３１１４１８号の明細書及び図面に開示されている。

１パス方式の可変ビットレート符号方法を適用した動画像符号化装置の構成例を示すブロック図は、基本的には前出の図７と同じであるが、２パス方式とは、割当ビット量計算器２０２と遅延器２０３の制御方法が異なる。図９に１パス方式の可変ビットレート符号処理のフローチャートを示す。このフローチャートに沿って、図７のブロック図の動作を説明する。

図９のステップ４０１では、動画像信号を図７の符号化難易度計算器２０１に入力し、単位時間毎の入力画像の符号化難易度を計算する。上記単位時間は、例えば０．５秒程度とされる。

次のステップ４０２では、予め、基準となる動画像シーケンスを所定の平均ビットレートで可変ビットレート符号化する時の単位時間毎の符号化難易度ｄと割当ビット量ｂを関係づけておく。ここで、基準となる動画像シーケンスに対する単位時間毎の割当ビット量の総和は、目的の記録媒体の記憶容量以下にされている。この符号化難易度ｄと割当ビット量ｂの関係の例を図１０に示す。

図１０において、横軸は、基準となる動画像シーケンス内で符号化難易度ｄの出現確率ｈ（ｄ）を示している。そして、任意の符号化難易度に対する割当ビット量を関数ｂ（ｄ）に基づいて計算する。この関係は、多くの動画像シーケンス（例えば映画）を所定の平均ビットレートで符号化実験し、その画質を評価し、思考錯誤を通じて経験的に求められるものであり、世の中のほとんどのシーケンスに適用可能な一般的な関係になる。その求め方については、例えば特願平７−３１１４１８号の明細書及び図面に開示されている。この図１０の関係に基づいて、端子２００からの入力画像の単位時間の符号化難易度ｄに対して、割当ビット量ｂを与える。

この１パス方式では、遅延器２０３は、単位時間長の入力画像に対して、符号化難易度計算器２０１と割当ビット量計算器２０２での処理が終了するまで、その画像信号の動画像符号化器２０４への入力を単位時間だけ遅延するために設けられている。

次のステップ４０３では、動画像符号化器２０４が、単位時間毎の入力動画像をこれに対応して割当ビット量計算器２０２から与えられる割当ビット量になるように符号化する。

このような１パス方式においては、画像信号の入力に応じて、ほぼリアルタイムで信号の符号化難易度に応じた最適な割当ビット量での可変ビットレート符号化が行なえる。

特開平０８−１４９４１３号公報

ところで、図１０の関係は、ほとんどの動画像シーケンスに適用できるが、いくつかの特殊なシーケンスには対応できず、動画像符号化器２０４で発生した総ビット量が、使用可能な総ビット量を越えてしまう場合があり、すなわち目的の記録媒体に動画像シーケンスを収録できない場合があるので問題がある。

所定の時間長の動画像シーケンスをリアルタイムに可変ビットレート符号化して、一定の記憶容量の記録媒体に記録するためには、従来の２パス方式は使用できない。また従来の１パス方式では、ほとんどの動画像シーケンスをリアルタイムに可変ビットレートで符号化し、所定の時間長のシーケンスを一定の記憶容量の記録媒体に収録できるが、一部の特殊なシーケンスでは、符号化ビットの総量が使用可能な総ビット量を越えてしまうことがあり、所定の時間長のシーケンスを記録媒体に収録できない場合があるので問題がある。

本発明は、このような実情に鑑みてなされたものであり、所定の時間長の動画像シーケンスをリアルタイムに可変ビットレート符号化して、発生した符号化ビットの総量が、一定の記憶容量の記録媒体に収録できることを保証する動画像符号化方法、動画像符号化装置および上記符号化装置で記録した符号化信号記録媒体を提供することを目的とする。

本発明は、上述した課題を解決するために、入力信号の単位時間毎の符号化難易度を求め、上記入力信号が属する種類の複数の信号を符号化実験することにより予め標準化された単位時間毎の符号化難易度と割当符号量とを関係づけ、上記入力信号の単位時間毎の符号化難易度に対して上記関係づけられた上記単位時間毎の割当符号量の参考値を求め、上記割当符号量の参考値を実際の割当符号量へ変更し、上記実際の割当符号量に基づいて上記単位時間毎に入力信号を符号化して符号化データを生成し、上記割当符号量の参考値を実際の割当符号量へ変更する際に、上記入力信号を一定ビットレートで符号化する場合の割当ビット量の総和Ｂ _ａｖ と現在までの実際の発生符号化ビット量の総和Ｂ _ｇｅｎ の差（Ｂ _ａｖ −Ｂ _ｇｅｎ ）又はこれに相当する所定の値に基づいて上記単位時間毎の入力信号の割当ビット量を計算することを特徴とする。

上記割当符号量の参考値を実際の割当符号量へ変更する方法は、記録媒体に記録可能な時間長の信号を符号化した時の発生ビット量の総和が、記録媒体への信号記録に使用できるビット量以下になるように、実際の割当ビット量を制御することにより、所定の時間長の信号を一定の記憶容量の記録媒体に収録できることを保証する。

具体的には、単位時間毎の入力信号を一定の割当ビット量ｂ_ａｖで符号化する場合の現在までの割当ビット量の総和Ｂ_ａｖと現在までの実際の発生符号化ビット量の総和Ｂ_ｇｅｎ を比較して、値（Ｂ_ａｖ−Ｂ_ｇｅｎ） が正の時に、ｂ_ａｖ以上の割当ビット量を与えることを許可することにより、上記のことを保証する。ここで、ｂ_ａｖは次式で与えられる。

ここで、
ｂ_ａｖ ＝ Ｔ_ＧＯＰ×Ｂ_Ｖ／Ｔ_ＳＥＱ
Ｂ_Ｖ ：信号記録媒体の中で動画像の記録に使用できるビット量
Ｔ_ＳＥＱ：信号記録媒体に記録できる動画像シーケンスの時間長
Ｔ_ＧＯＰ：単位時間長
である。

上記割当符号量の参考値を実際の割当符号量へ変更する時の情報に基づいて、入力信号にプレフィルタ処理を施し、その処理信号を符号化することにより、信号の符号化劣化を目立たなくすることができる。具体的には、上記実際の割当符号量を割当符号量の参考値よりも小さく抑える場合に、入力画像にローパスフィルタ処理をすることにより、画像の符号化劣化を目立たなくすることができる。

信号の符号化と記録媒体への符号化信号の記録を何度かに分けて行なう時は、上記値（Ｂ_ａｖ−Ｂ_ｇｅｎ） 、又はこれに相当する値、を記録媒体に記録しておき、次に、その記録媒体の空き領域に信号を記録する時、信号記録に先だって、上記値（Ｂ_ａｖ−Ｂ_ｇｅｎ） 、又はこれに相当する値、をその記録媒体から読み出して、この値に基づいて単位時間毎の入力信号の割当ビット量を計算するので、記録媒体の記憶容量を有効に使うことができる。

また、上記入力信号が動画像信号の場合に、上記符号化難易度を入力画像の所定時間毎の画像特性情報に基づいて求めて、この画像特性情報により人間の視覚特性が反映された割当符号量で符号化を行なう。

本発明によれば、入力信号が属する種類の複数の信号を符号化実験することにより予め標準化された単位時間毎の符号化難易度と割当符号量とを関係づけ、入力信号の単位時間毎の符号化難易度を求め、この入力信号の単位時間毎の符号化難易度に対して上記関係づけられた上記単位時間毎の割当符号量の参考値を求め、上記割当符号量の参考値を実際の割当符号量へ変更して、上記実際の割当符号量に基づいて上記単位時間毎に入力信号を符号化して符号化データを生成し、上記割当符号量の参考値を実際の割当符号量へ変更する際に、上記入力信号を一定ビットレートで符号化する場合の割当ビット量の総和Ｂ _ａｖ と現在までの実際の発生符号化ビット量の総和Ｂ _ｇｅｎ の差（Ｂ _ａｖ −Ｂ _ｇｅｎ ）又はこれに相当する所定の値に基づいて上記単位時間毎の入力信号の割当ビット量を計算しているため、信号の入力に応じて、リアルタイムで信号の複雑さに応じた最適な割当符号量で符号化が行なえる。

上記割当符号量の参考値を実際の割当符号量へ変更する一例は、記録媒体に記録可能な時間長の信号を符号化した時の発生ビット量の総和が、記録媒体への信号記録に使用できるビット量以下になるように、実際の割当ビット量を制御することが挙げられ、これによって所定の時間長の信号を一定の記憶容量の記録媒体に収録できることを保証できる。

これは例えば、単位時間毎の入力信号を一定の割当ビット量ｂ_ａｖで符号化する場合の現在までの割当ビット量の総和Ｂ_ａｖと現在までの実際の発生符号化ビット量の総和Ｂ_ｇｅｎ を比較して、値（Ｂ_ａｖ−Ｂ_ｇｅｎ） が正の時に、ｂ_ａｖ以上の割当ビット量を与えることを許可することが挙げられる。ここでｂ_ａｖは、
ｂ_ａｖ ＝ Ｔ_ＧＯＰ×Ｂ_Ｖ／Ｔ_ＳＥＱ
Ｂ_Ｖ ：信号記録媒体の中で動画像の記録に使用できるビット量
Ｔ_ＳＥＱ：信号記録媒体に記録できる動画像シーケンスの時間長
Ｔ_ＧＯＰ：単位時間長
で与えられるものある。これによって所定の時間長の信号を一定の記憶容量の記録媒体に収録できることを保証できる。

上記割当符号量の参考値を実際の割当符号量へ変更する時の情報に基づいて、入力信号にプレフィルタ処理を施し、その処理信号を符号化することにより、信号の符号化劣化を目立たなくすることができる。具体的には、上記実際の割当符号量を割当符号量の参考値よりも小さく抑える場合に、入力画像にローパスフィルタ処理をすることにより、画像の符号化劣化を目立たなくすることができる。

信号の符号化と記録媒体への符号化信号の記録を何度かに分けて行なう時は、上記値（Ｂ_ａｖ−Ｂ_ｇｅｎ） 又はこれに相当する値、を記録媒体に記録しておき、次に、その記録媒体の空き領域に信号を記録する時、信号記録に先だって、上記値（Ｂ_ａｖ−Ｂ_ｇｅｎ） 又はこれに相当する値、をその記録媒体から読み出して、この値に基づいて単位時間毎の入力信号の割当ビット量を計算するので、記録媒体の記憶容量を有効に使うことができる。

また、上記入力信号が動画像信号の場合に、上記符号化難易度を入力画像の所定時間毎の画像特性情報に基づいて求めて、この画像特性情報により人間の視覚特性が反映された割当符号量で符号化を行なうことにより、効率の良い動画像符号化が実現できる。

以下、本発明の信号符号化方法、信号符号化装置、上記符号化装置で記録した記録媒体、及び信号伝送方法の好ましい実施の形態について、図面を参照しながら説明する。ここで、以下の実施の形態においては、特に、動画像信号を符号化する場合の動画像信号符号化の例について説明する。
先ず、本発明の実施の形態となる動画像符号化方法及び装置について、図１を参照しながら説明する。

はじめに全体の構成を簡単に説明する。
図１の端子１１から入力された動画像信号Ｓ１は、動きベクトル計算器１２へ入力される。動きベクトル計算器１２は入力動画像の動きベクトル情報（動きベクトルとその予測残差）を出力する。また、動画像信号Ｓ１と上記動きベクトル情報は、符号化難易度計算器１３へ入力される。符号化難易度計算器１３では、入力画像Ｓ１の単位時間毎の符号化難易度ｄを計算する。上記符号化難易度ｄは、割当ビット量計算器１４へ入力される。割当ビット量計算器１４は、単位時間毎の入力画像を符号化するときの割当ビット量の参考値ｂを計算する。上記割当ビット量の参考値ｂはコントローラ１５へ入力される。コントローラ１５は、上記割当ビット量の参考値ｂを実際の割当ビット量ｂx へ変更して出力する。また、コントローラ１５は、プレフィルタ１７の処理情報Ｓ５も出力する。遅延器１６は、単位時間長の入力画像Ｓ１に対して、符号化難易度計算器１３，割当ビット量計算器１４及びコントローラ１５での処理が終了するまで、その入力動画像信号Ｓ１のプレフィルタ１７への入力を単位時間だけ遅延する。遅延器１６で遅延された入力動画像信号Ｓ２は、プレフィルタ１７で処理情報Ｓ５に応じた処理がなされ、処理画像信号Ｓ３が出力される。動画像符号化器１８は、単位時間の上記処理画像信号Ｓ３を割当ビット量ｂｘになるように符号化する。動画像符号化器１８は、符号化ビットストリームＳ６と単位時間毎の発生ビット量ｂ_ｇｅｎ を出力する。符号化ビットストリームＳ６は、端子１９から出力される。

次に、上述した図１のブロック図のそれぞれの構成要素の具体例について詳細に説明する。
動きベクトル計算器１２は、いわゆるＭＰＥＧのマクロブロック（１６ｘ１６画素，以下ＭＢと省略する）単位に動きベクトルを計算する。動きベクトル検出は、参照フレームと現在ＭＢとのパターンマッチングで行なう。すなわち、次の式（１）に示すように、現在ＭＢ信号Ａ［ｉ，ｊ］と、任意の動きベクトル（ｘ，ｙ）により参照されるＭＢ信号Ｆ［ｘ＋ｉ，ｙ＋ｊ］の差の絶対値の和Ｅf を求める。
Ｅf = Σ｜A[i,j] - F[x+i,y+j]｜ (i=0〜15, j=0〜15) （１）
動きベクトル計算器１２は、上記Ｅｆが最小となる座標（ｘ，ｙ）を現在ＭＢ（マクロブロック）の動きベクトルとし、またその時のＥｆを動きベクトルの予測残差として出力する。

図１の符号化難易度計算器１３は、単位時間毎の入力画像Ｓ１の情報量に符号化劣化の目立ちやすさを反映させたパラメータである符号化難易度を計算する。上記単位時間は、例えば０．５秒程度とされる。

図２は、図１の符号化難易度計算器１３の第１の構成例のブロック図を示す。計算器２７は、動きベクトルの予測残差、すなわち上述の式（１）で計算されるＥｆの単位時間毎の総和Ｄ１を計算し、その値に符号化劣化の目立ちやすさを表すパラメータαを反映させて、こうして計算される値を単位時間毎の入力画像の符号化難易度ｄを出力する。
ｄ＝Ｄ１×α

画像情報計算器２６は、符号化劣化の目立ちやすさを表すパラメータとして、入力画像の平坦度を表すパラメータ、例えば、ＭＢ信号の分散値を計算する。一般に、人間の目は、絵柄の平坦部分で、符号化ノイズがわかりやすく、逆に、絵柄が乱雑な部分では、劣化はわかりにくい。この特徴に基づいて、画像の分散値が大きいほどαを小さな値として、逆に分散値が小さいほどαを大きい値とする。なお、図示していない画像符号化モードにより指示されて、入力画像をフレーム内（イントラ）符号化する場合、上記値Ｄ１として、画像情報計算器２６で計算されるＭＢ信号の分散値の単位時間毎の総和を用いたほうが良い。

図３は、図１の符号化難易度計算器１３の第２の構成例のブロック図を示す。ここでは、動き補償フレーム間予測とＤＣＴとを組み合わせたハイブリッド符号化方法において、量子化器の量子化ステップを固定とした時の単位時間毎の発生符号ビット量の総和Ｄ２を計算し、その値に符号化劣化の目立ちやすさを表すパラメータαを反映させて、こうして計算される値を単位時間毎の入力画像の符号化難易度ｄを出力する。
ｄ＝Ｄ２×α
この式中の値αは上述したものと同様である。

図３のブロック図について、以下に詳細に説明する。
端子３０からは入力画像のＭＢ信号が供給され、また端子３１からは、その動きベクトルが供給される。動き補償回路３８は、画像メモリを備え、当該画像メモリから動きベクトルに基づいて予測ＭＢ信号を読み出す。演算器３２は、端子３０からの入力ＭＢ信号を加算信号とし、上記動き補償回路３８からの上記予測ＭＢ信号を減算信号として加算処理を行うことにより、上記入力ＭＢ信号と予測ＭＢ信号の差分を計算し、当該差分を予測残差ＭＢ信号として出力する。なお、図示していない画像符号化モードにより指示されて、入力画像をフレーム内（イントラ）符号化する場合、予測を行なわず、入力ＭＢ信号がそのまま演算器３２から出力される。上記予測残差ＭＢ信号（予測を行なわない時は入力ＭＢ信号）は、ＤＣＴ回路３３に送られる。このＤＣＴ回路では上記予測残差ＭＢ信号に対して２次元ＤＣＴを施す。このＤＣＴ回路３３から出力されたＤＣＴ係数は、量子化回路３４にて、所定の固定値のステップサイズで量子化される。この量子化回路３４の量子化出力信号は、可変長符号化回路３９と逆量子化回路３５とに送られる。可変長符号化回路３９では、上記量子化出力信号に対して例えばハフマン符号化を施す。この可変長符号化回路３９の出力信号は、発生符号量カウンタ４０に送られ、単位時間毎の発生符号量の総和Ｄ２が計算される。一方、逆量子化回路３５では、量子化回路３４で使われた量子化ステップに対応して、上記量子化出力信号に逆量子化処理を施す。当該逆量子化回路３５の出力は、逆ＤＣＴ回路３６に入力され、ここで逆ＤＣＴ処理されて復号された予測残差ＭＢ信号が、演算器３７へ入力される。この演算器３７にはまた、上記演算器３２に供給されている予測ＭＢ信号と同一の信号が供給されている。演算器３７は、上記復号された予測残差ＭＢ信号に予測ＭＢ信号を加算する。これにより、局所復号した画像信号が得られる。局所復号した画像信号は、動き補償回路３８の中の画像メモリに記憶されて、次の動き補償の参照画像として使用される。

次に、図１の割当ビット量計算器１４は、単位時間長の入力画像の符号化難易度ｄに対して、割当ビット量の参考値ｂを出力する。例えば、従来例で説明した１パス方式の可変ビットレート符号化方式のように基準となる動画像シーケンスを所定の平均ビットレートで可変ビットレート符号化する時の単位時間毎の符号化難易度と割当ビット量を図１０に示すように関係づけておき、この関係に基づいて、符号化難易度計算器１３で計算された符号化難易度ｄに対して、割当ビット量の参考値ｂを出力する。図１０に示す関係は、入力動画像の種類、例えば映画ソースやカメラ撮影のビデオソース、などによって切替えることが有効である。

図１のコントローラ１５は、割当ビット量計算器１４から入力された割当ビット量の参考値ｂを実際の割当ビット量ｂx へ変更して出力する。コントローラ１５は、信号記録媒体に記録可能な時間長の動画像シーケンスを符号化した時の発生ビット量の総和が、信号記録媒体の中で動画像の記録に使用できるビット量以下になるように実際の割当ビット量ｂx を制御する。

コントローラ１５が行なう割当ビット量の参考値ｂを実際の割当ビット量ｂx へ変更するアルゴリズムの具体例について、図４のフローチャートを参照して説明する。

図４のステップ１００では、値Ｓ（＝Ｂ_ａｖ−Ｂ_ｇｅｎ）の初期値、すなわち入力動画像を一定ビットレートＲ_ａｖで符号化する場合の現在までの割当ビット量の総和Ｂ_ａｖと現在までの実際の発生符号化ビット量の総和Ｂ_ｇｅｎ の差（Ｂ_ａｖ−Ｂ_ｇｅｎ） の初期値をセットする。ここで、Ｒ_ａｖは、
Ｒ_ａｖ ＝ Ｂ_Ｖ／Ｔ_ＳＥＱ
Ｂ_Ｖ ：信号記録媒体の中で動画像の記録に使用できるビット量
Ｔ_ＳＥＱ：信号記録媒体に記録できる動画像シーケンスの時間長
である。

新しい記録媒体に最初から信号を記録する時はＳ＝０とするか、又は記録媒体の記憶容量に所定の大きさのマージンをとってある場合は、そのマージン量をＳの初期値とする。また、その記録媒体を既に使っていて、その空き領域に信号を記録する時には、前回の信号記録の時の最後の値Ｓ（又はＳに相当する値）を、その記録媒体に記録しておいて、今回の信号記録に先だって値Ｓをその記録媒体から読み出して、それを値Ｓの初期値とする。

ステップ１０１では、動画像シーケンスの入力を開始する。
次のステップ１０２では、現在の単位時間長の入力画像の符号化の割当ビット量の参考値ｂ，すなわち図１の割当ビット量計算器１４が与える値、をコントローラ１５が読み込む。

次に、ステップ１０３では、上記割当ビット量の参考値ｂと平均割当ビット量ｂ_ａｖを比較する。値ｂ_ａｖは、図１の端子１０から与えられる値であり、
ｂ_ａｖ ＝ Ｔ_ＧＯＰ×Ｂ_Ｖ／Ｔ_ＳＥＱ
Ｂ_Ｖ ：信号記録媒体の中で動画像の記録に使用できるビット量
Ｔ_ＳＥＱ：信号記録媒体に記録できる動画像シーケンスの時間長
Ｔ_ＧＯＰ：単位時間長
で計算される。

上記割当ビット量の参考値ｂが平均割当ビット量ｂ_ａｖよりも大きい場合（ｂ＞ｂ_ａｖ）は、ステップ１０４へ進む。一方、参考値ｂがｂ_ａｖ以下の場合は、ステップ１０７へ進む。

ステップ１０４にて、値Ｓが値（ｂ−ｂ_ａｖ）以上の場合（Ｓ≧ｂ−ｂ_ａｖ）は、ステップ１０５へ進む。一方、値Ｓが値（ｂ−ｂ_ａｖ）より小さい場合は、ステップ１０６へ進む。

ステップ１０５では、実際の割当ビット量ｂx 、すなわち図１のコントローラ１５が出力する値を上記参考値ｂとする（ｂx＝ｂ）。

ステップ１０６では実際の割当ビット量ｂx をｂ_ａｖとし（ｂx ＝ｂ_ａｖ）、ステップ１０７では実際の割当ビット量ｂx をｂとする（ｂx＝ｂ）。

これらのステップ１０５、１０６、１０７の次にはいずれもステップ１０８へ進み、このステップ１０８では、現在の単位時間長の入力画像を図１の動画像符号化器１８で割当ビット量ｂx になるように符号化する。この符号化が終了すると動画像符号化器１８で実際に発生した符号化ビット量ｂ_ｇｅｎ が出力され、コントローラ１５へ入力される。

ステップ１０９では、上記値Ｓに値（ｂ_ａｖ−ｂ_ｇｅｎ） を加える。すなわち、
Ｓ＝Ｓ＋（ｂ_ａｖ−ｂ_ｇｅｎ）
とする。

ステップ１１０では、次の単位時間長の入力画像の処理に移る。
次のステップ１１１では、動画像シーケンスの入力が終了したか否か、すなわちシーケンスの終端（End of Sequence） に達したか否かを判別し、ＹESのとき符号化処理を終了する。そうでない時は、ステップ１０２へ戻り、再び一連の処理を続ける。

図１のコントローラ１５は、例えばこの図４の手順に従って処理を行うことにより、実際の割当ビット量ｂx を動画像符号化器１８へ指定する。

図１の遅延器１６は、前述したように単位時間長の入力画像Ｓ１のプレフィルタ１７への入力を単位時間だけ遅延する。なお、符号化難易度計算器１３を図２のブロック図の構成とした時は、遅延器１６は必ずしも必要ない。

図１のプレフィルタ１７は、コントローラ１５から出力される処理情報Ｓ５に基づいて、入力画像Ｓ２を適応的にローパスフィルタ処理して、処理画像Ｓ３を出力する。コントローラ１５において、上述した図４のフローチャートのステップ１０６の状態の時、すなわち単位時間の入力画像の符号化難易度が比較的高く、割当ビット量の参考値ｂが平均割当ビット量ｂ_ａｖより大きいが、実際の割当ビット量ｂx をｂ_ａｖに抑えてしまう時、符号化劣化を目立ちにくくするために、プレフィルタ１７で入力画像をローパスフィルタ処理するように処理情報Ｓ５を出力する。この時の処理情報Ｓ５の内容は、値（ｂ−ｂ_ａｖ）が大きいほど、通過帯域が狭いローパスフィルタ処理するようにすると良い。コントローラ１５において、図４のフローチャートのステップ１０５またはステップ１０７の状態の時は、プレフィルタ１７は、画像Ｓ２をそのままＳ３として出力する。

なお、図１のブロック図の中でプレフィルタ１７は、必ずしも必要ないが、これを使用することにより、符号化劣化を目立ちにくくする効果が大きい。

図１の動画像符号化器１８は、入力画像Ｓ３を割当ビット量ｂx になるように符号化する。図５に動画像符号化器１８の構成例を示すブロック図を示す。上述の図３の符号化難易度計算器の構成と同じ部分が多く、同一の構成要素についてはブロック番号を同じにしている。図３と異なる部分について以下に説明する。

図５の端子５０から割当ビット量ｂｘが入力され、量子化スケール制御器５１へ入力される。可変長符号化器３９は、例えばISO/IEC 13818-2(MPEG2 video)のシンタクスに基づいたビットストリームを出力する。発生符号量カウンタ５２は、単位時間内に可変長符号化器３９から出力される符号量をカウントして、そのカウント値Ｓ７を量子化スケール制御器５１へ入力する。量子化スケール制御器５１は、単位時間の発生符号量Ｓ７が割当ビット量ｂx になるように、量子化ステップＳ８を量子化器５３へ出力する。上記ビットストリームは、バッファ５４へ入力され、端子５５から所定のビットレートで読み出される。また、端子５６から単位時間での発生ビット量ｂ_ｇｅｎ が出力される。

符号化ビットストリームＳ６は、図１の端子１９から出力される。このビットストリームは、信号記録媒体に記録されたり、伝送路を介して伝送されることになる。

図６には、信号記録媒体の一例として、光ディスク８５を用いた例について説明する。この図６において、端子８０には、上記符号化ビットストリームＳ６が供給される。ビットストリームＳ６は多重化器８１へ入力される。多重化器８１は、ビットストリームＳ６と図示していない他のオーディオ信号等の符号化ビットストリームを時分割で多重化し、一つの多重化ビットストリームにする。この多重化ビットストリームは、ＥＣＣエンコーダ８２によってエラーコレクションコードが付加され、変調回路８３に送られる。この変調回路８３では、上記ＥＣＣエンコーダ８２の出力に対して、所定の変調処理、例えば８−１４変調等の処理を施す。この変調回路８３の出力は記録ヘッド８４に送られ、この記録ヘッドにて信号が光ディスク８５に記録される。

なお、図６の例では、信号記録媒体として光ディスクを例に挙げたが、磁気テープ等のテープ状記録媒体や、ハードディスクやフレキシブルディスク等の磁気ディスク媒体、ＩＣカードや各種メモリ素子等の半導体記憶媒体等の信号記録媒体に対して、本発明装置にて符号化した信号を記録することも可能である。また、光ディスクとしては、ピットによる記録がなされるディスクや、光磁気ディスクの他に、相変化型光ディスクや有機色素型光ディスク、紫外線レーザ光により記録がなされる光ディスク、多層記録膜を有する光ディスク等の各種のディスクを用いることができる。

また、本発明は、上述した実施の形態のみに限定されるものではなく、例えば取り扱うディジタル信号は動画像信号に限定されず、オーディオ信号等にも適用できる。この他、本発明の要旨を逸脱しない範囲において、種々の変更が可能であることは勿論である。

本発明の実施の形態となる動画像符号化方法を適用した動画像符号化装置の構成例を示すブロック図である。 図１の符号化難易度計算器１３の第１の構成例のブロック図である。 図１の符号化難易度計算器１３の第２の構成例のブロック図である。 図１の割当ビット量計算器１４から入力された割当ビット量の参考値ｂを実際の割当ビット量ｂｘへ変更するアルゴリズムを示すフローチャートである。 図１の動画像符号化器１８の構成例のブロック図である。 信号記録媒体の一例として光ディスクに符号化ビットストリームを記録するための構成を示すブロック図である。 従来の２パス方式または１パス方式の可変ビットレート符号化方法を適用した動画像符号化装置の構成例を示すブロック図である。 従来の２パス方式の可変ビットレート符号化処理を説明するためのフローチャートである。 従来の１パス方式の可変ビットレート符号化処理を説明するためのフローチャートである。 基準となる動画像シーケンス内で単位時間長の画像の符号化難易度ｄの出現確率ｈ（ｄ）と符号化難易度ｄに対して、所定の平均ビットレートの時の割当符号量ｂを示す関数ｂ(ｄ)を示す図である。

符号の説明

１２ 動きベクトル計算器、 １３ 符号化難易度計算器、 １４ 割当ビット量計算器、 １５ コントローラ、 １７ プレフィルタ、 １８ 動画像符号化器、 ２６，４１ 画像情報計算器、 ２７，４２ 計算器

Claims (6)

1. 入力信号の単位時間毎の符号化難易度を求める工程と、
   上記入力信号が属する種類の複数の信号を符号化実験することにより予め標準化された単位時間毎の符号化難易度と割当符号量とを関係づけ、上記入力信号の単位時間毎の符号化難易度に対して上記関係づけられた上記単位時間毎の割当符号量の参考値を求める工程と、
   上記割当符号量の参考値を実際の割当符号量へ変更する工程と、
   上記実際の割当符号量に基づいて上記単位時間毎に入力信号を符号化して符号化データを生成する工程とを有し、
   上記割当符号量の参考値を実際の割当符号量へ変更する工程において、上記入力信号を一定ビットレートで符号化する場合の割当ビット量の総和Ｂ _ａｖ と現在までの実際の発生符号化ビット量の総和Ｂ _ｇｅｎ の差（Ｂ _ａｖ −Ｂ _ｇｅｎ ）又はこれに相当する所定の値に基づいて上記単位時間毎の入力信号の割当ビット量を計算すること
   を特徴とする信号符号化方法。
2. 上記差（Ｂ _ａｖ −Ｂ _ｇｅｎ ）又は上記所定の値は、新しい記録媒体に最初から信号を記録するときは「０」とし、記録媒体の記憶容量に所定の大きさのマージンをとってある場合は、そのマージン量とすること
   を特徴とする請求項１記載の信号符号化方法。
3. 上記差（Ｂ _ａｖ −Ｂ _ｇｅｎ ）又は上記所定の値は、上記記録媒体を既に使っていて、その空き領域に信号を記録する時は、前回の信号記録の時の最後の値、又はこれに相当する値を上記記録媒体に記録しておいたものであって、今回の信号記録に先立ち、上記記録媒体から読み出した値とすること
   を特徴とする請求項１記載の信号符号化方法。
4. 入力信号の単位時間毎の符号化難易度を求める符号化難易度計算手段と、
   この入力信号が属する種類の複数の信号を符号化実験することにより予め標準化された単位時間毎の符号化難易度と割当符号量とを関係づけ、入力信号の単位時間毎の符号化難易度に対して上記関係づけられた上記単位時間毎の割当符号量の参考値を求める割当符号量参考値計算手段と、
   上記割当符号量の参考値を実際の割当符号量へ変更する手段と、
   上記実際の割当符号量に基づいて上記単位時間毎に入力信号を符号化して符号化データを生成する符号化手段とを有し、
   上記割当符号量の参考値を実際の割当符号量へ変更する手段は、上記入力信号を一定ビットレートで符号化する場合の割当ビット量の総和Ｂ _ａｖ と現在までの実際の発生符号化ビット量の総和Ｂ _ｇｅｎ の差（Ｂ _ａｖ −Ｂ _ｇｅｎ ）又はこれに相当する所定の値に基づいて上記単位時間毎の入力信号の割当ビット量を計算すること
   を特徴とする信号符号化装置。
5. 上記差（Ｂ _ａｖ −Ｂ _ｇｅｎ ）又は上記所定の値は、新しい記録媒体に最初から信号を記録するときは「０」とし、記録媒体の記憶容量に所定の大きさのマージンをとってある場合は、そのマージン量とすること
   を特徴とする請求項４記載の信号符号化装置。
6. 符号化された信号が記録される信号記録媒体において、
   上記符号化された信号は、
   入力信号の単位時間毎の符号化難易度が求められ、
   上記入力信号が属する種類の複数の信号を符号化実験することにより予め標準化された単位時間毎の符号化難易度と割当符号量とを関係づけ、上記入力信号の単位時間毎の符号化難易度に対して上記関係づけられた上記単位時間毎の割当符号量の参考値が求められ、
   上記割当符号量の参考値が実際の割当符号量に変更され、
   上記実際の割当符号量に基づいて上記単位時間毎に入力信号を符号化して得られたものであって、
   上記割当符号量の参考値から実際の割当符号量への変更は、上記入力信号を一定ビットレートで符号化する場合の割当ビット量の総和Ｂ _ａｖ と現在までの実際の発生符号化ビット量の総和Ｂ _ｇｅｎ の差（Ｂ _ａｖ −Ｂ _ｇｅｎ ）又はこれに相当する所定の値に基づいて上記単位時間毎の入力信号の割当ビット量を計算すること
   を特徴とする信号記録媒体。

Images