JP4556844B2 - 符号量制御方法および符号量制御装置 - Google Patents

Description

本発明は、動画像信号を符号化データに変換して記録または伝送する際に用いられる可変ビットレート制御における符号量制御方法および符号量制御装置に関するものである。

近年、動画像信号を高能率情報圧縮できる手法として、国際標準であるＭＰＥＧ２方式が用いられている。ＭＰＥＧ２方式では、入力画像信号をフレーム毎に、マクロブロックと呼ばれるブロック単位で、動き補償、ＤＣＴ（離散コサイン変換）、量子化、可変長符号化等の手段を用いて圧縮符号化を行う。

動き補償は、符号化対象フレームの前後のフレームの情報を用いて、相関の強い画像ブロックを参照ブロックとし、対象ブロックとの差分値を符号化する方法である。これにより画像の時間的冗長性が排除され、高い圧縮効率を実現する。

ＤＣＴは、空間情報を周波数情報に変換した後、量子化および可変長符号化を施すことによって空間冗長性を排除し、高い圧縮効率を実現する。ここで、量子化は、ＤＣＴ後の変換係数に量子化パラメータ（以下、Ｑパラメータ）と呼ばれる値を除算することで、振幅レベルの小さな周波数成分をゼロにすることで、その後の可変長符号化と組み合わせることにより符号量を削減する。

一般的に画像信号は空間的冗長性があり、低周波数成分が多く含まれ、高周波成分は振幅レベルが小さい。量子化によって主に振幅レベルの小さな高周波成分が除去されるが、人間の視覚特性上、画質劣化は目立ちにくい。

さて、ＤＶＤ等の記録メディアに動画像を圧縮符号化して記録するとき、画質と記録時間はトレードオフの関係がある。画像を符号化した時の発生符号量はＱパラメータを変更することにより変化させることができる。Ｑパラメータを小さく設定すれば高画質に符号化できるが発生符号量が増え、固定容量のＤＶＤ等の記録メディアにとっては記録可能な時間が少なくなる。Ｑパラメータを大きく設定すれば画質は低下するが発生符号量を少なくすることが可能なので、記録時間を多くすることができる。

一般的に記録容量に対して記録可能な時間を決めることにより目標符号量を設定し、目標符号量と発生符号量の誤差を少なくするようにＱパラメータを適応的に変更させる制御が用いられる。これを符号量制御と呼ぶ。

符号量制御の１つに固定ビットレート制御がある。これは、目標符号量と発生符号量が常に等しくなるようにＱパラメータを制御する方法である。固定ビットレート制御の場合、入力画像の複雑さの大小に関わらず常に一定の符号量しか割り当てずに符号化するため、複雑さが大きい画像においてＱパラメータを大きくしなければならず、符号化歪が目立ってしまう。逆に複雑さが小さい画像において必要以上にＱパラメータが小さくなり、過度に符号量を割り当てることになり、符号化効率があまりよくない。

一方、符号量制御の他の方法として可変ビットレート制御がある。これは、目標符号量を設定し、さらに記録容量の一部を余裕分として割り当てる。目標符号量に余裕量を加味した容量の中で、画像の複雑さの大小に従って、割当符号量を変化させる。すなわち複雑さが大きい画像の場合、目標符号量より大きな割当符号量を与えることによりＱパラメータをそれほど大きくしないで符号化し、複雑さが小さい画像の場合、目標符号量より小さな割当符号量を与えることによりＱパラメータを必要以上に小さくせずに符号化する。このように可変ビットレート制御を用いれば、画像の複雑さによらず、基本的に画質が安定する。

このような可変ビットレート制御を実現する装置の例は、特許文献１に記載されている。この装置では、与えられた目標符号量と発生符号量との差を累積加算した累積誤差量が、あらかじめ設定された余裕量を上回らないように割当符号量を更新制御する。従って、累積誤差量があらかじめ設定された余裕量に到達しない安全な状態の場合は、余裕量の制限を気にすることなく多くの割当符号量を与えることができる。万一、累積誤差量があらかじめ設定された余裕量に近づいた場合は、余裕量を超えないように、最低限目標符号量を割り当てることができる。よって高画質を実現し、かつ、あらかじめ設定した余裕量以上の記録容量を消費することも無く、記録時間の保証も実現できる、リアルタイム符号化に適した可変ビットレート符号化装置を提案するものである。
特開２０００−１７４６３５号公報

しかしながら、上記の特許文献１で示されるような従来の符号量制御方法は、以下のような課題がある。

テレビ放送の番組予約録画のように、あらかじめ記録時間が設定される場合、記録容量が正確に計算可能であり、記録時間に見合った余裕量をあらかじめ設定することが可能であるが、ムービーでの記録のように、あらかじめ記録時間が分からない記録の場合、適切な余裕量をあらかじめ設定することは困難である。

可変ビットレートにおける割当符号量の振れ幅は余裕量が大きいほど大きくでき、可変ビットレートの効果は大きくなる。しかし、複雑な画像が続くと大量の余裕量を消費することになる。そのような状態のときに記録停止されると目標符号量より多く記録容量を消費したことになる。さらに記録メディアの総記録容量いっぱいになるまでこのような記録が繰り返された場合、実際の総記録時間が、あらかじめ想定した総記録時間よりも極端に短くなってしまうという課題があった。

逆に総記録時間を保証するために１回の記録に少量の余裕量しか割り当てないようにすると、割当符号量の振れ幅は小さくなり、固定ビットレート制御に近づいてしまうので、複雑な画像の場合に必要な割当符号量を与えられなくなるという課題があった。

このように、複雑さが大きい画像が入力され、比較的短い時間で記録停止され、記録メディアの総記録容量いっぱいまでこのような記録動作を繰り返された場合、従来の方法では高画質と総記録時間の両方を保証することができないという課題があった。

上記の課題を解決するために本発明の符号量制御装置は、画像を量子化パラメータによる量子化を用いて符号化する符号化手段と、前記符号化手段からの符号化データの発生符号量を所定期間毎に計測する発生符号量計測手段と、与えられた目標符号量と前記発生符号量との累積誤差量を測定する累積誤差量測定手段と、符号化開始からの経過時間に応じて増加する余裕量を算出する余裕量算出手段と、前記累積誤差量が前記余裕量を超えないように割当符号量を設定する割当符号量演算手段と、前記割当符号量に前記発生符号量が等しくなるように量子化パラメータを設定する量子化パラメータ設定手段と、を備える。

さらに、前記割当符号量演算手段は、前記累積誤差量が前記余裕量に近づくにつれて前記割当符号量を前記目標符号量に近づけるように設定してもよい。

また、前記余裕量算出手段は、前記余裕量を経過時間に基づく所定の関数で算出してもよい。

また、前記割当符号量演算手段は、画像の複雑さを前記発生符号量と前記量子化パラメータに基づいて決定し、前記割当符号量を前記画像の複雑さが大きいときは前記目標符号量より大きく、前記画像の複雑さが小さいときは前記目標符号量より小さくなるように設定してもよい。

また、本発明の符号化制御方法は、画像を量子化パラメータによる量子化を用いて符号化する符号化ステップと、前記符号化ステップによる符号化データの発生符号量を所定期間毎に計測する発生符号量計測ステップと、与えられた目標符号量と前記発生符号量との累積誤差量を測定する累積誤差量測定ステップと、符号化開始からの経過時間に応じて増加する余裕量を算出する余裕量算出ステップと、前記累積誤差量が前記余裕量を超えないように割当符号量を設定する割当符号量演算ステップと、前記割当符号量に前記発生符号量が等しくなるように量子化パラメータを設定する量子化パラメータ設定ステップと、
を含む。

また、前記割当符号量演算ステップは、前記累積誤差量が前記余裕量に近づくにつれて前記割当符号量を前記目標符号量に近づけるように設定してもよい。

さらには、前記余裕量算出ステップは、前記余裕量を経過時間に基づく所定の関数で算出してもよい。

また、前記割当符号量演算ステップは、画像の複雑さを前記発生符号量と前記量子化パラメータに基づいて決定し、前記割当符号量を前記画像の複雑さが大きいときは前記目標符号量より大きく、前記画像の複雑さが小さいときは前記目標符号量より小さくなるように設定してもよい。

以上のように本発明によれば、余裕量を記録開始点からの記録時間に応じて増加させるので、いつ記録停止されたとしても、また何回記録を繰り返しても、設定された総記録容量に対して所定の誤差しか発生しないので、想定する記録時間を保証することができる。更に可変ビットレートにより割り当て符号量を振ることが可能なため、固定ビットレート制御より高画質に符号化することができる。

また、複雑さが大きい画像が連続した場合にも、最低限余裕量の増加分だけ固定ビットレートよりも多くビットレートを割り当てられるため、高画質に符号化することができる。

また、長時間記録される場合には、余裕量が十分増加することになるため、従来技術と同様の余裕量を十分確保できるので、割り当て符号量を大きく振ることが可能となり、より高画質に符号化することができる。

以下、本発明にかかわる符号量制御方法および符号量制御装置の実施の形態を図面に基づいて詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１の符号量制御方法および符号量制御装置を適用した符号化装置の構成を示すブロック図である。図１において、１０１は画像入力端子、１０２は符号化手段、１０３は符号化データ出力端子、１０４は発生符号量計測手段、１０５は目標符号量入力端子、１０６は累積誤差量測定手段、１０７は記録時間計測手段、１０８は余裕量算出手段、１０９は複雑さ演算手段、１１０は符号量割当手段、１１１はＱパラメータ設定手段である。

このように構成された符号化装置について、以下に動作を説明する。

まず、画像入力端子１０１から入力された画像は符号化手段１０２において符号化され、符号化データが符号化データ出力端子１０３へと出力される。符号化手段１０２は、画像を符号化するために量子化処理を行っており、量子化処理に必要なＱパラメータをＱパラメータ設定手段１１１より得ている。

発生符号量計測手段１０４は、符号化データのビット量を所定期間毎に計測する。計測された値は発生符号量として累積誤差量測定手段１０６へ出力される。

累積誤差量測定手段１０６は、目標符号量入力端子１０５から入力される目標符号量と発生符号量計測手段１０４から得る発生符号量との差分を累積加算する。この結果を累積誤差量として符号量割当手段１１０へ出力する。

一方、記録時間計測手段１０７は記録開始点からの経過時間を測定し、時間情報を余裕量算出手段１０８へ与える。余裕量算出手段１０８は時間情報に基づいて増加する余裕量を発生させ、この結果を符号量割当手段１１０へ出力する。このとき、余裕量は時間によって表される所定の関数を用いて算出される。例えば、ａ×Ｔ＋ｂ（ａ，ｂは正の定数、Ｔは経過時間（変数））として求めればよい。また、経過時間情報Ｔは、例えば記録開始からの符号化されたフレーム数に基づいて決定すればよい。

符号量割り当て手段１１０は、累積誤差量と余裕量、および複雑さ演算手段１０９から出力される複雑さ情報を用いて、画像を符号化するための割当符号量を設定する。

ここで、本説明では、画像の複雑さ情報として、発生符号量と符号化に用いたＱパラメータの平均値の積を使用することとして説明する。複雑さ演算手段１０９は発生符号量計測手段１０４からの発生符号量と、その符号化に用いたＱパラメータを用いて現在の複雑さを計算する。さらに複雑さ演算手段１０９は、複雑さの過去平均等による平滑化処理を行い、平均的な複雑さを計算する。平均複雑さに対する現在の複雑さの比率により、現在の画像の複雑さ度を計算する。そしてこれを複雑さ情報として符号量割当手段１１０へ出力する。

一方、現在の複雑さをＱパラメータの演算に使用するため、Ｑパラメータ設定手段１１１へ出力する。

符号量割当手段１１０は、複雑さ情報に応じて割当符号量を目標符号量より大きな値として設定したり、小さな値として設定したりするものである。複雑さ情報は先に述べたように平均複雑さに対する現在の複雑さの比率としたので、目標符号量にこの比率を乗じて割当符号量を決定するように構成すればよい。

なお、複雑さの演算方法、割当符号量を変化させるための要素（ここでは平均複雑さに対する現在の複雑さの比率とした）は、本発明では直接的には関係なく、他のいかなる情報を用いて演算しても構わない。

Ｑパラメータ設定手段１１１は割当符号量を入力し、これから符号化する画像の符号化後の発生符号量が割当符号量にほぼ等しくなるようにＱパラメータを変化させて設定する。例えば、複雑さ演算手段１０９から出力される現在の複雑さから、割当符号量を除算して計算するものとする。

さて、符号量割当手段１１０は、上記のように画像の複雑さによって割当符号量を決定するが、累積誤差量が余裕量を越えない範囲で割当符号量を決定する。つまり、現在の累積誤差量に割当符号量を加算した結果が余裕量を超えないように、割当符号量を制限する。

よって、累積誤差量が余裕量に近づくほど割当符号量は目標符号量に近づき、累積誤差量が余裕量に到達したとき目標符号量以上を割当符号量に設定しないようにする。但し、発生符号量が目標符号量にほぼ等しいとき、累積誤差量は増加しないが、余裕量は時間経過に伴い増加するので、余裕量と累積誤差量の間に差ができ、目標符号量よりもやや大きな値として割当符号量を設定することができる。他の方法としては、累積誤差量が余裕量に到達したときは、目標符号量に余裕量の時間増加分を加算した容量以上を割当符号量に設定しないように制限するようにしてもよい。

さらに、割当符号量に対して発生符号量をほぼ等しくするようなＱパラメータを設定していても、実際の発生符号量は割り当て符号量より増減するために、累積誤差量が余裕量を越える場合もあり得るが、余裕量を越えた分を次の割当符号量から差し引くなどして、直ちに余裕量以下に抑え込むように構成すればよい。

次に、上述したような発生符号量、目標符号量、割当符号量、余裕量、累積誤差量等の各要素の応答特性について、図２を用いて詳しく説明する。

図２は本実施の形態において余裕度に対して累積誤差量が小さいときの通常状態での可変ビットレート制御の各要素の応答を示す。ここで図２（ａ）は、余裕量と累積誤差量の関係を示し、図２（ｂ）は目標符号量と割当符号量の関係を示す。

まず、図２（ａ）では、累積誤差量は余裕量より下方にいる様子を示している。このような状態の時は、比較的大きな振り幅で割当符号量を変化させることができる。図２（ｂ）では、目標符号量は時間経過によらず一定値が設定され、これに対して割当符号量が大きく変化している様子が示されている。累積誤差量が余裕量より下の方にいるため、画像の複雑さに応じて可変する割当符号量を設定している。つまり割当符号量が目標符号量より大きな値である期間は複雑さの大きい画像が入力されている期間であり、逆に割当符号量が目標符号量より小さな値である期間は複雑さの小さい画像が入力されている期間であることを示している。

図２（ｂ）のような割当符号量を設定すると、発生符号量が割り当て符号量にほぼ等しくなるようにＱパラメータが符号化手段１０２に与えられるため、発生符号量は図２（ｂ）の割当符号量と同じような挙動を示す。従って、複雑さの大きい画像の期間では発生符号量が目標符号量より大きくなって累積誤差量が増加し、逆に複雑さの小さい画像の期間では発生符号量が目標符号量より小さくなって累積誤差量が減少する。このように割当符号量もしくは発生符号量が図２（ｂ）のような応答を示した場合における累積誤差量の応答を示すのが図２（ａ）である。なお、図２（ａ）に示される余裕量は時間経過に伴い増加している。余裕量が増加しているために、累積誤差量が蓄積されてきてもまだ強い制限をかけないで割当符号量を振ることができる。

次に図３は、本実施の形態において複雑さの非常に大きな画像が長時間連続して入力される場合の可変ビットレート制御における各要素の応答を示す。ここで図３（ａ）は余裕量と累積誤差量の関係を示し、図３（ｂ）は目標符号量と割当符号量の関係を示す。

まず、図３（ｂ）には、制限なしの場合の割当符号量が破線で示されている。これは、画像の複雑さが非常に大きいために、本来必要とされる割当符号量を示している。しかし実際には、累積誤差量が余裕量を越えないための制御がかかる。つまり、図３（ｂ）の実線で示された割当符号量が実際に割り当てられる割当符号量である。これによると、最初の頃は目標符号量を大きく上回る割当符号量を設定しているが、累積誤差量が増加して余裕量へ近づいていくに従って目標符号量へと近づける制御がかかることが分かる。

図３（ａ）はこのときの累積誤差量と余裕量の応答を実線で示している。余裕量を越えないための制御がかかっているので、累積誤差量は余裕量に沿った状態で推移している。このときの割当符号量は目標符号量よりやや大きいところに引き込む。すなわち、余裕量を時間的に増加させるようにしたことで、記録初期時点では符号量を多く使いすぎないような制限がかかり、その後、固定的に目標符号量よりやや大きい割当符号量を与えつづけることができる。従って、固定ビットレート制御よりも高画質に符号化できる。

なお、図３（ａ）には、例として制限なしの場合の累積誤差量も破線で示されている。制限がない場合は、明らかにたくさんの符号量を消費してしまうので、記録メディアに記録できる総記録時間が極端に減少することにつながる。

従って本発明を用いれば、余裕量の時間増加率を所定量以下に設定しておけば、どの時点で記録停止されたとしても、所望の記録時間に対する実際の記録時間の減少量を一定の割合に抑えることができる。

次に、図４を用いて従来の方法との違いを説明する。ここで図４（ａ）は余裕量と累積誤差量の関係を示し、図４（ｂ）は目標符号量と割当符号量の関係を示す。

図４では、図３で説明したように複雑さの非常に大きな画像が長時間連続して入力される場合の可変ビットレート制御における各要素の応答を示している。

まず、図４（ｂ）において、記録初期時には破線で示す従来の方法による割当符号量と実線で示す本発明の割当符号量は同じ割当符号量を与えている。その後、従来の方法による割当符号量は余裕量を越えないための制限がだんだんとかかり、緩やかに割当符号量が減少する。これに対して本発明の割当符号量は、もっと急に減少している。これは図４（ａ）で示すように、従来の方法ではあらかじめ与える余裕量が大きいために、割当符号量を制限する力が弱く働くからである。一方、本発明においては余裕量が記録初期時には小さく設定されており、早い段階から割当符号量を制限する力が強くかかる。図４（ａ）で明らかなように、複雑な画像が入力されると従来の方法では記録容量を多く消費してしまうことを示す。

また、図４（ｂ）において、時間が経過して割当符号量が目標符号量付近にまで制限された状態では、本発明の割当符号量が従来の割当符号量よりたくさんの符号量を割当てることができる。これは図４（ａ）に示されるように、本発明の方法では余裕量が時間的に増加するからである。よって、従来の方法では、多くの符号量を早く消費し、余裕量を消費し尽くした後は、目標符号量の固定ビットレートにきわめて近い動作になってしまう。一方、本発明を用いれば、符号量の消費を抑え、余裕量が時間変化することにより目標符号量より大きな符号量の固定ビットレート制御に近い動作となる。複雑さが大きい画像が続いても、通常の目標符号量の固定ビットレート制御より多くの割当符号量を与えることが出来るので、画質を向上させることが出来る。また、本発明における累積誤差量は最大でも余裕量の増加率までしか増加しないため、記録開始後どの時点で記録停止されたとしても、所定の目標記録時間に対して、一定の記録時間誤差しか生み出さないので、記録時間を保証できる。また、仮に従来の方法で余裕量を小さな値に設定したとすると、記録時間の減少は抑えることが可能となるが、すぐに割当符号量に制限がかかりやすくなり、その後は目標符号量しか割り当てられない状態が続くことになる。従って、この場合でも本発明の方法を用いれば目標符号量より大きな割当符号量を与え続けることができるので、画質を向上させることができる。また、本発明を用いれば、時間が十分に経過した後においては余裕量が十分増加しているので、累積誤差量が余裕量より下の方にいる状態であれば、より大きな割当符号量の変動を許容でき、より効果的な可変ビットレート制御を実現可能である。

なお、本発明において所定の経過時間以降は余裕量の増加を停止させるようにすれば、長時間記録での記録時間の誤差をさらに低減させることが可能となり、余裕量も十分大きく確保されている状態のため、効果的な可変ビットレート制御が可能となり、高画質を維持しつつ記録時間の保証を高めることが可能である。

以上述べたように本発明の符号量制御方法は、余裕量を記録開始点からの記録時間に応じて増加させるので、いつ記録停止されたとしても、また何回記録を繰り返したとしても、設定された総記録容量に対して所定の誤差量しか発生しないので、記録時間を保証できる。更に可変ビットレート制御により割当符号量を振ることができるため、固定ビットレート制御より高画質に符号化することができる。また、長時間記録される場合は、余裕量が十分増加しており、従来技術と同様な余裕量を確保できるので、割り当て符号量を大きく振ることが可能となり、高画質に符号化することができる。よって、あらかじめ記録時間および記録回数が明確になっていない場合でも、高画質と総記録時間を保証することができ、ビデオレコーダやムービーなどの圧縮符号化を用いる各種の画像処理装置やソフトウェアに有用である。

本発明の実施の形態１による符号量制御方法を適用した符号化装置の構成示すブロック図 同符号化装置の通常時における各要素の応答を示す特性図 同符号化装置の割当符号量に制限がかかる場合の各要素の応答を示す特性図 同符号化装置と従来の方法との違いを説明するための各要素の応答を示す特性図

符号の説明

１０１ 画像入力端子
１０２ 符号化手段
１０３ 符号化データ出力端子
１０４ 発生符号量計測手段
１０５ 目標符号量入力端子
１０６ 累積誤差量測定手段
１０７ 記録時間計測手段
１０８ 余裕量算出手段
１０９ 複雑さ演算手段
１１０ 符号量割当手段
１１１ Ｑパラメータ設定手段

Claims (8)

1. 画像を量子化パラメータによる量子化を用いて符号化する符号化手段と、
   前記符号化手段からの符号化データの発生符号量を所定期間毎に計測する発生符号量計測手段と、
   与えられた目標符号量と前記発生符号量との累積誤差量を測定する累積誤差量測定手段と、
   符号化開始からの経過時間に応じて増加する余裕量を算出する余裕量算出手段と、
   前記累積誤差量が前記余裕量を超えないように割当符号量を設定する割当符号量演算手段と、
   前記割当符号量に前記発生符号量が等しくなるように量子化パラメータを設定する量子化パラメータ設定手段と、
   を備えた符号量制御装置。
2. 前記割当符号量演算手段は、前記累積誤差量が前記余裕量に近づくにつれて前記割当符号量を前記目標符号量に近づけるように設定する請求項１記載の符号量制御装置。
3. 前記余裕量算出手段は、前記余裕量を経過時間に基づく所定の関数で算出する請求項１又は２記載の符号量制御装置。
4. 前記割当符号量演算手段は、画像の複雑さを前記発生符号量と前記量子化パラメータに基づいて決定し、前記割当符号量を前記画像の複雑さが大きいときは前記目標符号量より大きく、前記画像の複雑さが小さいときは前記目標符号量より小さくなるように設定する請求項１から３の何れかに記載の符号量制御装置。
5. 画像を量子化パラメータによる量子化を用いて符号化する符号化ステップと、
   前記符号化ステップによる符号化データの発生符号量を所定期間毎に計測する発生符号量計測ステップと、
   与えられた目標符号量と前記発生符号量との累積誤差量を測定する累積誤差量測定ステップと、
   符号化開始からの経過時間に応じて増加する余裕量を算出する余裕量算出ステップと、
   前記累積誤差量が前記余裕量を超えないように割当符号量を設定する割当符号量演算ステップと、
   前記割当符号量に前記発生符号量が等しくなるように量子化パラメータを設定する量子化パラメータ設定ステップと、
   を含む符号量制御方法。
6. 前記割当符号量演算ステップは、前記累積誤差量が前記余裕量に近づくにつれて前記割当符号量を前記目標符号量に近づけるように設定する請求項５記載の符号量制御方法。
7. 前記余裕量算出ステップは、前記余裕量を経過時間に基づく所定の関数で算出する請求項５又は６記載の符号量制御方法。
8. 前記割当符号量演算ステップは、画像の複雑さを前記発生符号量と前記量子化パラメータに基づいて決定し、前記割当符号量を前記画像の複雑さが大きいときは前記目標符号量より大きく、前記画像の複雑さが小さいときは前記目標符号量より小さくなるように設定する請求項５から７の何れかに記載の符号量制御方法。

Images