JP2005072846A - 動画像符号化装置及び動画像処理方法 - Google Patents

Abstract

【課題】 簡易な処理によって、視覚画質劣化の少ない高能率な符号化を行ない得る動画像符号化装置及びそのような動画像符号化装置を提供することである。
【解決手段】 動画像データを所定単位毎に所定のアルゴリズムに従って符号化し、前記所定単位の情報量に応じた符号量の可変長符号化データを生成する符号化手段（１０８）と、前記符号化手段（１０８）にて生成された可変長符号化データを順次蓄積すると共に所定レートをもって符号化データを送出するバッファ手段（１１０）とを有し、前記バッファ手段（１１０）における蓄積符号量が不足状態であるときに所定符号を発生させて前記所定レートでの符号化データの送出を維持するようにした動画像符号化装置であって、前記所定符号の発生の有無に応じて前記符号化手段（１０８）にて符号化すべき動画像データの解像度を制御する解像度制御手段（１２２）を有する構成となる。
【選択図】 図１

Description

本発明は、ＭＰＥＧ等の所定のアルゴリズムに従って動画像データを符号化して可変長符号化データを生成し、その可変長符号化データを送出する動画像符号化装置及びそのような動画像符号化装置にてなされる処理の方法に関する。

従来、画像の性質に応じて符号化されるべき画像データに対する帯域制限フィルタの特性を制御するようにした動画像符号化装置が提案されている（例えば、特許文献１参照）。この従来の動画像符号化装置では、入力動画像の動きが大きく、視覚特性上の感度が低い部分（ブロック）に対して相対的に強い帯域制限フィルタが用いられ、逆に入力動画像の動きが小さく、視覚特性上の感度が高い部分（ブロック）に対して相対的に弱い帯域制限フィルタが用いられる。このように画面を構成する各部分（ブロック）の動き量に基づいて帯域制限フィルタの特性を選択することにより全体として動画像データの高能率な符号化を行なうことができるようになる。
特開平６−６２３９２号公報

しかしながら、前述した従来の動画像符号化装置では、画面（フレーム）の各ブロックの動き量に応じてブロック単位に適用する帯域制限フィルタの特性を制御しなければならないのでその処理が複雑なものとなる。また、入力画像がフレームスイッチャを経由する場合のように全フレームにおいてシーンチェンジが発生する場合には、そもそも検出する動きに意味がなく、不適切に帯域制限フィルタの特性を選択してしまうおそれがある。この場合、空間相関性が低い複雑な画像であれば、結果として符合量を規定値に制御することができなかったり、画質が劣化してしまう。

本発明は、前述したような従来の問題を解決するためになされたもので、簡易な処理によって、視覚画質劣化の少ない高能率な符号化を行ない得る動画像符号化装置及びそのような動画像符号化装置にてなされる処理の方法を提供することを目的としている。

本発明に係る動画像符号化装置は、動画像データを所定単位毎に所定のアルゴリズムに従って符号化し、前記所定単位の情報量に応じた符号量の可変長符号化データを生成する符号化手段と、前記符号化手段にて生成された可変長符号化データを順次蓄積すると共に所定レートをもって符号化データを送出するバッファ手段とを有し、前記バッファ手段における蓄積符号量が不足状態であるときに所定符号を発生させて前記所定レートでの符号化データの送出を維持するようにした動画像符号化装置であって、前記所定符号の発生の有無に応じて前記符号化手段にて符号化すべき動画像データの解像度を制御する解像度制御手段を有する構成となる。

このような構成により、動画像データを所定単位毎に符号化して得られる可変長符号化データがバッファ手段に蓄積されるとともに所定レートをもって符号化データがバッファ手段から送出される過程で、前記バッファ手段における蓄積符号量が不足状態にあるときに所定符号が発生されて前記所定レートでの符号化データの送出が維持される。そして、前記所定符号の発生の有無に応じて符号化すべき動画像データの解像度が制御される。

前記所定符号が発生する状況は符号化すべき所定単位の動画像データの情報量が少なく（例えば、画像変化が少ない）前記可変長符号化データの生成レートが前記所定レートに達していない状況である。このような状況において、符号化すべき動画像データの解像度を適正に制御することにより空間周波数の高域成分まで再現され得る画像の可変長符号化データを生成することができることとなる。この場合、精細な画像再現が可能となる。一方、前記所定符号が発生していない状況は符号化すべき所定単位の動画像データの情報量が十分であって（例えば、複雑な画像や動きのある画像）前記可変長符号化データの符号量が前記所定レートに対して足りない状況ではない。このような状況において、符号化すべき動画像データの解像度を適正に制御することにより空間周波数の高域成分を抑えた画像の可変長符号化データを生成することができることとなる。この場合、符号化すべき動画像データの情報量が比較的多いことから空間周波数の高域成分を抑えた画像であっても視覚特性上の画質劣化を極力小さくすることができる。更に、前述したように高周波成分を抑えることにより削減できる符号量は低域成分を詳細に表すために利用することもできる。この場合、視覚特性上の画質を向上させることが可能となる。

前記バッファ手段における蓄積符号量の不足状態は、前記動画像符号化装置及び符号化データを受信して画像再生する復号装置を含むシステムにおける符号化性能、伝送性能及び復号性能等に基づいて適宜決めることができる。

また、本発明に係る動画像符号化装置は、前記解像度制御手段が、前記動画像符号化装置が前記所定符号を発生させる第一の状態及び前記所定符号を発生させることのない第二の状態のいずれの状態であるかを判定する状態判定手段を有し、前記状態判定手段にて前記動画像符号化装置が前記第一の状態であるとの判定がなされたときに前記解像度を第一の値に制御し、前記状態判定手段にて前記動画像符号化装置が前記第二の状態であるとの判定がなされたときに前記解像度を前記第一の値より小さい第二の値に制御する構成とすることができる。

このような構成により、動画像符号化装置が前記所定符号を発生させる第一の状態において符号化されるべき動画像データの解像度が第一の値に制御され、前記動画像符号化装置が前記所定符号を発生させることのない第二の状態において符号化されるべき動画像データの解像度が前記第一の値より小さい第二の値に制御される。従って、前記第一の状態では、符号化すべき動画像データの解像度が相対的に高い第一の値に制御されることにより空間周波数の高域成分まで再現され得る画像の可変長符号化データを生成することができることとなる。一方、前記第二の状態では、符号化すべき動画像データの解像度が相対的に低い第二の値に制御されることにより空間周波数の高域成分を抑えた画像の可変長符号化データを生成することができることとなる。

更に、本発明に係る動画像符号化装置は、前記符号化手段はＭＰＥＧに従って前記動画像データを符号化するものであって、前記解像度調整手段は、符号化すべき直交変換係数の上限周波数を制御する構成とすることができる。

このような構成により、ＭＰＥＧに従った処理の過程で符号化すべき直交変換係数の上限周波数を制御することにより解像度を制御することができることとなる。具体的には、上限周波数を高くすることにより解像度を高くし、上限周波数を低くすることにより解像度を低くすることができる。

本発明に係る動画像符号化装置は、前記解像度制御手段が、前記動画像符号化装置が前記所定符号を発生させる第一の状態及び前記所定符号を発生させることのない第二の状態のいずれの状態であるかを判定する状態判定手段を有し、前記状態判定手段にて前記動画像符号化装置が前記第一の状態であるとの判定がなされたときに前記直交変換係数の上限周波数を第一の値に制御し、前記状態判定手段にて前記動画像符号化装置が前記第二の状態であるとの判定がなされたときに前記直交変換係数の上限周波数を前記第一の値より小さい第二の値に制御する構成とすることができる。

このような構成により、動画像符号化装置が前記所定符号を発生させる第一の状態において符号化されるべき直交変換係数の上限周波数が第一の値に制御され、前記動画像符号化装置が前記所定符号を発生させることのない第二の状態において符号化されるべき直交変換係数が前記第一の値より小さい第二の値に制御される。従って、前記第一の状態では、符号化すべき直交変換係数の上限周波数が相対的に高い第一の値に制御され、その結果、解像度が相対的に高い値に制御されることにより空間周波数の高域成分まで再現され得る画像の可変長符号化データを生成することができることとなる。一方、前記第二の状態では、符号化すべき直交変換係数の上限周波数が相対的に低い第二の値に制御され、その結果、解像度が相対的に低い値に制御されることにより空間周波数の高域成分を抑えた画像の可変長符号化データを生成することができることとなる。

また、本発明に係る動画像符号化装置は、前記第二の状態が、継続的に前記所定符号が発生することのない所定状態である構成とすることができる。

このような構成により、前記所定符号が発生する第一の状態から前記所定符号が発生しない状態に変化したときではなく、継続的に前記所定符号が発生することのない所定状態となるときに符号化すべき動画像データの解像度または直交変換係数の上限周波数が第一の値から相対的に低い第二の値に切り替えられる。従って、解像度の安定的な制御が可能となる。

前記所定状態は、継続的に所定符号が発生していない状態であれば特に限定されず、その継続期間については任意に定めることができる。また、その継続期間は、時間によっても、前記所定符号化が発生していないことを連続的に確認した回数によっても特定することができる。

本発明に係る動画像処理方法は、動画像データを所定単位毎に所定のアルゴリズムに従って符号化し、前記所定単位の情報量に応じた符号量の可変長符号化データを生成する符号化手段と、前記符号化手段にて生成された可変長符号化データを順次蓄積すると共に所定レートをもって符号化データを送出するバッファ手段とを有し、前記バッファ手段における蓄積符号量が不足状態であるときに所定符号を発生させて前記所定レートでの符号化データの送出を維持するようにした動画像符号化装置での処理方法であって、前記所定符号の発生の有無に応じて前記符号化手段にて符号化すべき動画像データの解像度を制御する解像度制御ステップを有する構成となる。

このような構成により、動画像データを所定単位毎に符号化して得られる可変長符号化データがバッファ手段に蓄積されるとともに所定レートをもって符号化データがバッファ手段から送出される過程で、前記バッファ手段における蓄積符号量が不足状態にあるときに所定符号が発生されて前記所定レートでの符号化データの送出が維持される動画像符号化装置において、前記所定符号の発生の有無に応じて符号化すべき動画像データの解像度が制御される。

また、本発明に係る動画像処理方法は、前記解像度制御ステップが、前記動画像符号化装置が前記所定符号を発生させる第一の状態及び前記所定符号を発生させることのない第二の状態のいずれの状態であるかを判定する状態判定ステップを有し、前記状態判定ステップにて前記動画像符号化装置が前記第一の状態であるとの判定がなされたときに、前記解像度を第一の値に制御し、前記状態判定ステップにて前記動画像符号化装置が前記第二の状態であるとの判定がなされたときに、前記解像度を前記第一の値より小さい第二の値に制御する構成とすることができる。

このような構成により、動画像符号化装置が前記所定符号を発生させる第一の状態において符号化されるべき動画像データの解像度が第一の値に制御され、前記動画像符号化装置が前記所定符号を発生させることのない第二の状態において符号化されるべき動画像データの解像度が前記第一の値より小さい第二の値に制御される。

更に、本発明に係る動画像処理方法は、前記符号化手段はＭＰＥＧに従って前記動画像データを符号化するものであって、前記解像度制御ステップが、符号化すべき直交変換係数の上限周波数を制御する構成とすることができる。

このような構成により、動画像符号化装置においてＭＰＥＧに従った処理がなされる過程で符号化すべき直交変換係数の上限周波数を制御することにより解像度を制御することができることとなる。

本発明に係る動画像処理方法は、前記解像度制御手段が、前記動画像符号化装置が所定符号を発生させる第一の状態及び前記所定符号を発生させることのない第二の状態のいずれの状態であるかを判定する状態判定ステップを有し、前記状態判定ステップにて前記動画像符号化装置が前記第一の状態であるとの判定がなされたときに前記直交変換係数の上限周波数を第一の値に制御し、前記状態判定ステップにて前記動画像符号化装置が第二の状態であるとの判定がなされたときに前記直交変換係数の上限周波数を前記第一の値より小さい第二の値に制御する構成とすることができる。

このような構成により、動画像符号化装置が前記所定符号を発生させる第一の状態において符号化されるべき直交変換係数の上限周波数が第一の値に制御され、前記動画像符号化装置が前記所定符号を発生させることのない第二の状態において符号化されるべき直交変換係数が前記第一の値より小さい第二の値に制御される。

本発明によれば、動画像データを所定単位毎に符号化して得られる可変長符号化データがバッファ手段に蓄積されるとともに所定レートをもって符号化データがバッファ手段から送出される過程で、バッファ手段における蓄積符号量が不足状態であるときに発生されるべき所定符号の発生の有無に基づいて符号化されるべき動画像データの解像度を制御するようにしたので、バッファ手段から符号化データが送出されるレートに対する可変長符号化データの生成状況に応じて符号化されるべき動画像データの解像度を適正に制御することが可能となる。これにより、所定符号の発生の有無に基づいた解像度制御という比較的簡易な処理によって、視覚特性上の画質劣化の少ない高能率な符号化を行ない得る動画像符号化装置及びそのような動画像符号化装置にてなされる処理の方法を提供することができる。

本発明の実施の形態について、図面を用いて説明する。

本発明の実施の形態に係る動画像符号化装置は、図１に示すように構成される。

図１において、この動画像符号化装置は、inter/intra判定部１００、第一のスイッチ部１０２、直交変換部１０４、量子化部１０６、可変長符号化部（以下、ＶＬＣ部という）１０８、バッファ部１１０、逆量子化部１１２、逆直交変換部１１４、フレームメモリ部１１６、動き補償部１２０及び解像度指示部１２２を有している。例えばカメラからの映像信号がアナログ・デジタル変換器及びブロック変換器を経由して符号化ブロック単位のデジタル入力信号（動画像信号）に変換され（図示略）、そのデジタル入力信号が動画像符号化装置に供給される。

inter/intra判定部１００は、ピクチャ（フレーム）毎にフレーム内符号化（intra）を行なうべきか、あるいはフレーム間予測符号化（intra）を行なうべきかを判定する。このinter/intra判定部１００は、一定ピクチャ間隔（例えば、１５ピクチャ毎）に挿入されるＩピクチャの場合は、フレーム内符号化（intra）を行なうべきものと判定する。また、Ｉピクチャ以外のピクチャに対しては、inter/intra判定部１００は、入力デジタル信号と動き補償部１２０が出力した動き補償画像とに基づいてフレーム間予測符号化（inter）を行なうべきか、フレーム内符号化（intra）を行なうべきかを判定する。

第一のスイッチ部１０２は、inter/intra判定部１００にて得られた判定結果と動き補償部１２０から出力される動き補償画像と、定数「０」とを入力しており、inter/intra判定部１００からの判定結果に応じて前記動き補償画像及び定数「０」のいずれかを切り替え出力する。直交変換部１０４は、入力デジタル信号から第一のスイッチ部１０２からの出力信号を減算して得られた減算結果を直交変換して直交変換係数を出力する。量子化部１０６は、直交変換部１０４から出力される直交変換係数とバッファ部１１０から出力される量子化幅及び解像度指示部１２２からの量子化すべき直交変換係数の上限周波数を指示する解像度制御信号を入力し、その量子化幅及び解像度制御信号に従って直交変換係数を量子化して量子化直交変換係数を出力する。

可変長符号化部（以下、ＶＬＣ（variable length coding）部という）１０８は、量子化部１０６から出力される量子化直交変換係数、その量子化直交変換係数に多重されているブロック符号化モード情報、及び動き補償部１２０から出力される動き情報を入力する。そして、ＶＬＣ１０８は、前記ブロック符号化モード情報及び動き情報に基づいて前記量子化直交変換係数を可変長符号化し、可変長符号を出力する。バッファ部１１０は、ＶＬＣ部１０８から出力される可変長符号（符号化信号）を一時的に蓄積すると共に一定レートで出力する。バッファ部１１０は、更に、蓄積符号量が予め決められた制御目標量となるように量子化幅を決定する機能を有する。このように決定される量子化幅は、バッファ部１１０から量子化部１０６に与えられる。また、バッファ部１１０は、蓄積符号量が不足状態であるときに（前記制御目標量に達しない状態であるときに）、特に意味を持たないスタッフィング（stuffing）符号を付加して前記一定レートでの符号の送出を維持させる機能を有する。そして、そのスタッフィング符号の発生の有無を表す情報を解像度指示部１２２に提供する。解像度指示部１２２は、バッファ部１１０から提供されるスタッフィング符号の発生の有無に係る情報に基づいて前記量子化すべき直交変換係数の上限周波数を指示する解像度制御信号を生成して量子化部１０６に与える。

逆量子化部１１２は、量子化部１０６から出力される量子化直交変換係数を入力し、その量子化直交変換係数に対して逆量子化処理を施して復元直交変換係数を出力する。逆直交変換部１１４は、逆量子化部１１２からの復元直交変換係数を入力し、その復元直交変換係数に対して逆直交変換処理を施して復元画像信号を出力する。逆直交変換部１１４から出力された復元画像信号と第二のスイッチ部１１８から出力される予測画素値信号とが加算され、その加算結果が再生画像としてフレームメモリ１１６に蓄積される。

第二のスイッチ部１１８は、inter/intra判定部１００から出力されるブロック符号化モード情報、定数「０」、及び動き補償部１２０からの動き補償画像を入力し、ブロック符号化モード情報に基づいて前記動き補償画像及び定数「０」のいずれかを予測画素値信号として切り替え出力する。動き補償部１２０は、フレームメモリ部１１６から出力される再生画像と入力デジタル信号とを入力し、それらの信号に基づいて得られる動き情報及び動き補償画像を出力する。

次に、前述したような構成の動画像符号化装置の動作について説明する。

この動画像符号化装置は、動画像符号化方式として国際水準であるＭＰＥＧ２を用いている。この動画像符号化方式では、画面が一定の大きさの多数ブロックに分割され、そのブロック毎に符号化がなされる。符号化効率を高めるため、参照画像を動き補償（参照画像と入力画像の相関が最も高くなるようなブロック毎の動き検出と、その動きが示す位置から画像を構成する）して予測画像を得るようにしている。

inter/intra判定部１００は、一定ピクチャ間隔（例えば、１５ピクチャ間隔）で挿入されるＩピクチャの符号化時には、フレーム内符号化（intra）の判定出力を行い、その判定出力を第一のスイッチ部１０２、第二のスイッチ部１１８及びＶＬＣ部１０８に与える。Ｉピクチャ以外のピクチャの符号化時には、inter/intra判定部１１０は、ブロック単位で入力される入力デジタル信号と動き補償部１２０からの動き補償画像とを入力し、入力画像の分散値と、動き補償画像と入力画像との間の予測差分の分散値とを比較する。そして、inter/intra判定部１１０は、入力分散値が大きいときはフレーム間予測符号化（inter）の判定出力を行い、逆に予測差分の分散値が大きければフレーム内符号化（intra）の判定出力を行い、各判定出力を第一のスイッチ部１０２、第二のスイッチ部１１８及びＶＬＣ部１０８に与える。

第一のスイッチ部１０２は、inter/intra判定部１００からフレーム内符号化（intra）の判定出力を受けると、固定値「０」を減算器（−）に出力する。これにより、入力デジタル信号がそのまま直交変換部１０４に供給される。また、第一のスイッチ部１０２は、inter/intra判定部１００からフレーム間予測符号化（inter）の判定出力を受けると、動き補償画像を減算器（−）に出力する。これにより、入力デジタル信号と動き補償画像の差分となる予測差分が直交変換部１０４に供給される。直交変換部１０４は、前述したように供給される入力デジタル信号または予測差分をＤＣＴ（Discrete Cosine Transform）変換して直交変換係数を出力する。

前記直交変換係数を入力する量子化部１０６は、その直交変換係数の情報量を削減するために、バッファ部１１０から供給される量子化幅を基準にしてその直交変換係数を量子化する。量子化部１０６は、前記直交変換係数の量子化に際し、解像度指示部１２２からの解像度制御信号にて指示される直交変換係数の上限周波数に基づいて、その上限周波数以上の直交変換係数を全てゼロにクリアして量子化直交変換係数を出力する。これにより、量子化直交変換係数が前記上限周波数に応じた解像度の画像を表すこととなる。即ち、前記上限周波数が大きいほど、前記量子化直交変換係数は、より高い空間周波数を含み得る解像度のより高い画像を表すこととなる。逆量子化部１１２は、量子化部１０６から供給される量子化直交変換係数を前記量子化時と同一の量子化幅にて逆量子化して復元直交変換係数を逆直交変換部１１４に供給する。この復元直交変換係数は、逆直交変換部１１４でのＩＤＣＴ（Inverse Discrete Cosine Transform）変換により復元画像信号に変換される。

第二のスイッチ部１１８は、inter/intra判定部１００からフレーム内符号化（intra）の判定出力を受けるときは定数「０」を加算器（＋）に供給し、フレーム間予測符号化（inter）の判定出力を受けるときは動き補償画像を加算器（＋）に供給する。これにより、逆直交変換部１１４からの復元画像信号と前記定数「０」または前記動き補償画像とが加算されて得られる再生画像（量子化誤差を含む）がフレームメモリ１１６に供給される。

一方、量子化部１０６から出力される量子化直交変換係数は、ＶＬＣ部１０８により、inter/intra判定部１００からの判定結果、動き補償部１２０からの動き補償予測付随情報及び符号化ビットレートと合わせて可変長符号化され、得られた可変長符号がバッファ部１１０に供給される。バッファ部１１０は、不定速度で供給される可変長符号を一旦蓄積し、その符号を一定ビットレートで送出（再生装置側に転送）する。バッファ部１１０は、前述したように可変長符号を蓄積すると共に一定レートでその符号を送出する過程で、内部蓄積符号量が不足状態（例えば、制御目標符号量に達していない状態）であれば、スタッフィング符号を送出して見かけ上符号の送出レートを前記一定レートに維持させる。また、バッファ部１１０は、前記スタッフィング符号の発生の有無を表す情報を解像度指示部１２２に供給すると共に、内部符号蓄積量に比例した量子化幅を算出して量子化部１０５に与える。

動き補償部１２０は入力デジタル信号とフレームメモリ部１１６からの再生画像とを入力し、ブロックマッチング法で動きを検出し、動き補償画像、付随情報（動き補償の有効／無効、動きベクトル）を出力する。ブロックマッチング法の具体例として、「画像の帯域圧縮と符号化技術」（日刊工業新聞社 Ｐ６１〜Ｐ６２）の記載を挙げることができる。動き補償部１２０の詳細動作は以下の通りである。

第一ステップにおいて、ブロックマッチング法により動きベクトル、動き補償画像及び動き補償予測付随情報が求められる。第二ステップにおいて、動き補償画像及び動き補償前の（動き量をゼロとした場合）画像のいずれが効率良く符号化できるかが入力デジタル信号と差分絶対値和に基づいて判定される。第三ステップにおいて、前記判定結果を反映した予測画像が第一のスイッチ部１０２、inter/intra判定部１００及び第二のスイッチ部１１８に与えられ、動き補償の付随情報がＶＬＣ部１０８に供給される。

前述したように、動画像を表す入力デジタル信号がＭＰＥＧ２のアルゴリズムに従って順次可変長符号化され、その可変長符号がバッファ部１１０に順次蓄積されると共に、一定のレートにてその符号がバッファ部１１０から順次送出される。そして、その過程で、バッファ部１１０は、内部蓄積符号量が不足状態にあれば、スタッフィング符号を付加して符号の送出レートが前記一定レートに維持されるようにしている。また、バッファ部１１０からのスタッフィング符号の発生の有無を表す情報に基づいて解像度指示部１２２が量子化部１０６に対して解像度制御信号を出力する。解像度指示部１２２は、例えば、図２に示す手順に従って処理を実行する。

図２において、解像度指示部１２２は、バッファ部１１０の符号蓄積の状態を監視し（Ｓ１）、１フレーム分の符号化が終了したか否かを判定する（Ｓ２）。１フレーム分の符号化が終了したとの判定を行うと（Ｓ２でＹＥＳ）、解像度指示部１２２は、前記符号化の過程でスタッフィング符号の発生がなされたか否かを判定する（Ｓ３）。前記スタッフィング符号の発生がなされたとの判定を行うと（Ｓ３でＹＥＳ）、解像度指示部１２２は、解像度を上げるために直交変換係数の上限周波数が最高値（最大周波数）であることを指示する解像度制御信号を量子化部１０６に出力する（Ｓ６）。これにより、量子化部１０６が最大周波数に至る全周波数の直交変換係数の量子化を行い、それにより得られた量子化直交変換係数がＶＬＣ部１０８にて符号化される。その結果、相対的に高い解像度の画像を表す可変長符号が生成される。

前記スタッフィング符号が発生する状況は、例えば、静止画像のようにＶＬＣ部１０８にて符号化すべきデータ（量子化直交変換係数）の情報量が少なく、ＶＬＣ部１０８にて生成される可変長符号の発生レートがバッファ部１１０から符号が送出されるレートより小さい状況である。このような状況において、前述したように相対的に高い解像度の（空間周波数の高域成分まで再現され得る）画像、即ち、より精細な画像を再現し得る可変長符号が発生される。

一方、前記スタッフィング符号の発生がなされているとの判定（Ｓ３でＹＥＳ）から前記スタッフィング符号の発生がなされていないとの判定への切り替えがなされると（Ｓ３でＮＯ）、解像度指示部１２２は、内部タイマをスタートすると共に、そのタイマを参照してＴ秒間継続してスタッフィング符号の発生がなされない状態であるか否かを判定する（Ｓ４）。前記スタッフィング符号がＴ秒間中に少なくとも１回は発生したとの判定を行うと（Ｓ４で、ＮＯ）、解像度指示部１２２は、直交変換係数の上限周波数が最高値となることを指示する解像度制御信号の出力状態を維持する（Ｓ５）。以後、前述した処理（Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５）が繰り返し実行され、ＶＬＣ部１０８にて相対的に高い解像度の画像を表す可変長符号が順次生成される。

この過程で、前記スタッフィング符号の発生がＴ秒間継続してなされなかったとの判定を行うと（Ｓ４でＹＥＳ）、解像度指示部１２２は、解像度を下げるために直交変換係数の上限周波数が最高値の半分（最高値／２）であることを指示する解像度制御信号を量子化部１０６に出力する（Ｓ７）。これにより、量子化部１０６が最大周波数の半分の周波数以上の直交変換係数を全てゼロにクリアすると共に前記最大周波数の半分の周波数より低い各周波数帯の直交変換係数の量子化を行ない、それにより得られた量子化直交変換係数がＶＬＣ部１０８にて符号化される。その結果、相対的に低い解像度の画像を表す可変長符号が生成される。

前記スタッフィング符号が発生しない状況は、例えば、複雑な画像や動画像のようにＶＬＣ部１０８にて符号化すべきデータ（量子化直交変換係数）の情報量が十分あり、ＶＬＣ部１０８にて生成される可変長符号の発生レートがバッファ部１１０から符号が送出されるレートに対して足りない状況ではない。このような状況において、前述したように相対的に低い解像度の（空間周波数の高域成分を抑えた）画像を表す可変長符号が生成される。この場合、空間周波数の高域成分は視覚特性への影響が小さいことから、視覚特性上の画質低下を極力抑えた状態で効率的な符号化が可能となる。

更に、前述したように符号化すべきデータの解像度を下げることで発生符合量を削減することができるが、その削減されるべき符号量を低域の周波数（最大周波数の半分より低い周波数）の直交変換係数を符号化するために割り当てることができる。具体的には、量子化部１０６がより小さい量子化幅にて直交変換係数の量子化を行なえばよい。この場合、空間周波数の低域成分は視覚特性への影響が大きいことから、前記削減されるべき符号量を有効に利用して視覚特性上の画質を向上させることが可能となる。

前述したような本発明の実施の形態に係る動画像符号化装置によれば、スタッフィング符号が発生する状況では、相対的に高い解像度の画像を表す可変長符号（符号量が多い）が生成される一方、スタッフィング符号が発生することのない状況では、相対的に低い解像度の画像を表す可変長符号（符号量が少ない）が生成される。これにより、スタッフィング符号の発生の有無に基づいた解像度制御という比較的簡易な処理によって、視覚特性上の画質劣化の少ない高能率な符号化を行なうことができるようになる。また、スタッフィング符号が発生している状況からスタッフィング符号が発生しない状況に切替わった際に即座に解像度を下げるのではなく、スタッフィング符号が発生しない状況が所定時間Ｔ（秒）継続したときに解像度を下げるようにしているので、解像度の上げ下げが頻繁に繰り返されることが防止され、安定した解像度の制御ができるようになる。

以上のように、本発明に係る動画像符号化装置及び動画像処理方法は、比較的簡易な処理によって、視覚特性上の画質劣化の少ない高能率な符号化を行い得るという効果を有し、ＭＰＥＧ等の所定のアルゴリズムに従って動画像データを符号化して可変長符号化データを生成し、その可変長符号化データを送出する動画像符号化装置及びそのような動画像符号化装置にてなされる処理の方法等として有用である。

本発明の実施の形態に係る動画像符号化装置を示すブロック図 図１に示す動画像符号化装置における解像度指示部での処理手順を示すフローチャート

符号の説明

１００ inter／intra判定部
１０２ 第一のスイッチ部（No.1）
１０４ 直交変換部
１０６ 量子化部
１０８ ＶＬＣ部（可変長符号化部）
１１０ バッファ部
１１２ 逆量子化部
１１４ 逆直交変換部
１１６ フレームメモリ部
１１８ 第二のスイッチ部（No.2）
１２０ 動き補償部
１２２ 解像度指示部

Claims (9)

1. 動画像データを所定単位毎に所定のアルゴリズムに従って符号化し、前記所定単位の情報量に応じた符号量の可変長符号化データを生成する符号化手段と、
   前記符号化手段にて生成された可変長符号化データを順次蓄積すると共に所定レートをもって符号化データを送出するバッファ手段とを有し、
   前記バッファ手段における蓄積符号量が不足状態であるときに所定符号を発生させて前記所定レートでの符号化データの送出を維持するようにした動画像符号化装置であって、
   前記所定符号の発生の有無に応じて前記符号化手段にて符号化すべき動画像データの解像度を制御する解像度制御手段を有することを特徴とする動画像符号化装置。
2. 前記解像度制御手段は、前記動画像符号化装置が前記所定符号を発生させる第一の状態及び前記所定符号を発生させることのない第二の状態のいずれの状態であるかを判定する状態判定手段を有し、
   前記状態判定手段にて前記動画像符号化装置が前記第一の状態であるとの判定がなされたときに前記解像度を第一の値に制御し、前記状態判定手段にて前記動画像符号化装置が前記第二の状態であるとの判定がなされたときに前記解像度を前記第一の値より小さい第二の値に制御することを特徴とする請求項１記載の動画像符号化装置。
3. 前記符号化手段はＭＰＥＧに従って前記動画像データを符号化するものであって、
   前記解像度調整手段は、符号化すべき直交変換係数の上限周波数を制御することを特徴とする請求項１記載の動画像符号化装置。
4. 前記解像度制御手段は、前記動画像符号化装置が前記所定符号を発生させる第一の状態及び前記所定符号を発生させることのない第二の状態のいずれの状態であるかを判定する状態判定手段を有し、
   前記状態判定手段にて前記動画像符号化装置が前記第一の状態であるとの判定がなされたときに前記直交変換係数の上限周波数を第一の値に制御し、前記状態判定手段にて前記動画像符号化装置が前記第二の状態であるとの判定がなされたときに前記直交変換係数の上限周波数を前記第一の値より小さい第二の値に制御することを特徴とする請求項３記載の動画像符号化装置。
5. 前記第二の状態は、継続的に前記所定符号が発生することのない所定状態であることを特徴とする請求項２または４記載の動画像符号化装置。
6. 動画像データを所定単位毎に所定のアルゴリズムに従って符号化し、前記所定単位の情報量に応じた符号量の可変長符号化データを生成する符号化手段と、
   前記符号化手段にて生成された可変長符号化データを順次蓄積すると共に所定レートをもって符号化データを送出するバッファ手段とを有し、
   前記バッファ手段における蓄積符号量が不足状態であるときに所定符号を発生させて前記所定レートでの符号化データの送出を維持するようにした動画像符号化装置での処理方法であって、
   前記所定符号の発生の有無に応じて前記符号化手段にて符号化すべき動画像データの解像度を制御する解像度制御ステップを有することを特徴とする動画像処理方法。
7. 前記解像度制御ステップは、前記動画像符号化装置が前記所定符号を発生させる第一の状態及び前記所定符号を発生させることのない第二の状態のいずれの状態であるかを判定する状態判定ステップを有し、
   前記状態判定ステップにて前記動画像符号化装置が前記第一の状態であるとの判定がなされたときに、前記解像度を第一の値に制御し、前記状態判定ステップにて前記動画像符号化装置が前記第二の状態であるとの判定がなされたときに、前記解像度を前記第一の値より小さい第二の値に制御することを特徴とする請求項６記載の動画像処理方法。
8. 前記符号化手段はＭＰＥＧに従って前記動画像データを符号化するものであって、
   前記解像度制御ステップは、符号化すべき直交変換係数の上限周波数を制御することを特徴とする請求項６記載の動画像処理方法。
9. 前記解像度制御手段は、前記動画像符号化装置が所定符号を発生させる第一の状態及び前記所定符号を発生させることのない第二の状態のいずれの状態であるかを判定する状態判定ステップを有し、
   前記状態判定ステップにて前記動画像符号化装置が前記第一の状態であるとの判定がなされたときに前記直交変換係数の上限周波数を第一の値に制御し、前記状態判定ステップにて前記動画像符号化装置が第二の状態であるとの判定がなされたときに前記直交変換係数の上限周波数を前記第一の値より小さい第二の値に制御することを特徴とする請求項８記載の動画像処理方法。

Images