JP2005072846A - 動画像符号化装置及び動画像処理方法 - Google Patents
動画像符号化装置及び動画像処理方法 Download PDFInfo
- Publication number
- JP2005072846A JP2005072846A JP2003298503A JP2003298503A JP2005072846A JP 2005072846 A JP2005072846 A JP 2005072846A JP 2003298503 A JP2003298503 A JP 2003298503A JP 2003298503 A JP2003298503 A JP 2003298503A JP 2005072846 A JP2005072846 A JP 2005072846A
- Authority
- JP
- Japan
- Prior art keywords
- state
- moving image
- code
- resolution
- predetermined
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】 簡易な処理によって、視覚画質劣化の少ない高能率な符号化を行ない得る動画像符号化装置及びそのような動画像符号化装置を提供することである。
【解決手段】 動画像データを所定単位毎に所定のアルゴリズムに従って符号化し、前記所定単位の情報量に応じた符号量の可変長符号化データを生成する符号化手段(108)と、前記符号化手段(108)にて生成された可変長符号化データを順次蓄積すると共に所定レートをもって符号化データを送出するバッファ手段(110)とを有し、前記バッファ手段(110)における蓄積符号量が不足状態であるときに所定符号を発生させて前記所定レートでの符号化データの送出を維持するようにした動画像符号化装置であって、前記所定符号の発生の有無に応じて前記符号化手段(108)にて符号化すべき動画像データの解像度を制御する解像度制御手段(122)を有する構成となる。
【選択図】 図1
【解決手段】 動画像データを所定単位毎に所定のアルゴリズムに従って符号化し、前記所定単位の情報量に応じた符号量の可変長符号化データを生成する符号化手段(108)と、前記符号化手段(108)にて生成された可変長符号化データを順次蓄積すると共に所定レートをもって符号化データを送出するバッファ手段(110)とを有し、前記バッファ手段(110)における蓄積符号量が不足状態であるときに所定符号を発生させて前記所定レートでの符号化データの送出を維持するようにした動画像符号化装置であって、前記所定符号の発生の有無に応じて前記符号化手段(108)にて符号化すべき動画像データの解像度を制御する解像度制御手段(122)を有する構成となる。
【選択図】 図1
Description
本発明は、MPEG等の所定のアルゴリズムに従って動画像データを符号化して可変長符号化データを生成し、その可変長符号化データを送出する動画像符号化装置及びそのような動画像符号化装置にてなされる処理の方法に関する。
従来、画像の性質に応じて符号化されるべき画像データに対する帯域制限フィルタの特性を制御するようにした動画像符号化装置が提案されている(例えば、特許文献1参照)。この従来の動画像符号化装置では、入力動画像の動きが大きく、視覚特性上の感度が低い部分(ブロック)に対して相対的に強い帯域制限フィルタが用いられ、逆に入力動画像の動きが小さく、視覚特性上の感度が高い部分(ブロック)に対して相対的に弱い帯域制限フィルタが用いられる。このように画面を構成する各部分(ブロック)の動き量に基づいて帯域制限フィルタの特性を選択することにより全体として動画像データの高能率な符号化を行なうことができるようになる。
特開平6−62392号公報
しかしながら、前述した従来の動画像符号化装置では、画面(フレーム)の各ブロックの動き量に応じてブロック単位に適用する帯域制限フィルタの特性を制御しなければならないのでその処理が複雑なものとなる。また、入力画像がフレームスイッチャを経由する場合のように全フレームにおいてシーンチェンジが発生する場合には、そもそも検出する動きに意味がなく、不適切に帯域制限フィルタの特性を選択してしまうおそれがある。この場合、空間相関性が低い複雑な画像であれば、結果として符合量を規定値に制御することができなかったり、画質が劣化してしまう。
本発明は、前述したような従来の問題を解決するためになされたもので、簡易な処理によって、視覚画質劣化の少ない高能率な符号化を行ない得る動画像符号化装置及びそのような動画像符号化装置にてなされる処理の方法を提供することを目的としている。
本発明に係る動画像符号化装置は、動画像データを所定単位毎に所定のアルゴリズムに従って符号化し、前記所定単位の情報量に応じた符号量の可変長符号化データを生成する符号化手段と、前記符号化手段にて生成された可変長符号化データを順次蓄積すると共に所定レートをもって符号化データを送出するバッファ手段とを有し、前記バッファ手段における蓄積符号量が不足状態であるときに所定符号を発生させて前記所定レートでの符号化データの送出を維持するようにした動画像符号化装置であって、前記所定符号の発生の有無に応じて前記符号化手段にて符号化すべき動画像データの解像度を制御する解像度制御手段を有する構成となる。
このような構成により、動画像データを所定単位毎に符号化して得られる可変長符号化データがバッファ手段に蓄積されるとともに所定レートをもって符号化データがバッファ手段から送出される過程で、前記バッファ手段における蓄積符号量が不足状態にあるときに所定符号が発生されて前記所定レートでの符号化データの送出が維持される。そして、前記所定符号の発生の有無に応じて符号化すべき動画像データの解像度が制御される。
前記所定符号が発生する状況は符号化すべき所定単位の動画像データの情報量が少なく(例えば、画像変化が少ない)前記可変長符号化データの生成レートが前記所定レートに達していない状況である。このような状況において、符号化すべき動画像データの解像度を適正に制御することにより空間周波数の高域成分まで再現され得る画像の可変長符号化データを生成することができることとなる。この場合、精細な画像再現が可能となる。一方、前記所定符号が発生していない状況は符号化すべき所定単位の動画像データの情報量が十分であって(例えば、複雑な画像や動きのある画像)前記可変長符号化データの符号量が前記所定レートに対して足りない状況ではない。このような状況において、符号化すべき動画像データの解像度を適正に制御することにより空間周波数の高域成分を抑えた画像の可変長符号化データを生成することができることとなる。この場合、符号化すべき動画像データの情報量が比較的多いことから空間周波数の高域成分を抑えた画像であっても視覚特性上の画質劣化を極力小さくすることができる。更に、前述したように高周波成分を抑えることにより削減できる符号量は低域成分を詳細に表すために利用することもできる。この場合、視覚特性上の画質を向上させることが可能となる。
前記バッファ手段における蓄積符号量の不足状態は、前記動画像符号化装置及び符号化データを受信して画像再生する復号装置を含むシステムにおける符号化性能、伝送性能及び復号性能等に基づいて適宜決めることができる。
また、本発明に係る動画像符号化装置は、前記解像度制御手段が、前記動画像符号化装置が前記所定符号を発生させる第一の状態及び前記所定符号を発生させることのない第二の状態のいずれの状態であるかを判定する状態判定手段を有し、前記状態判定手段にて前記動画像符号化装置が前記第一の状態であるとの判定がなされたときに前記解像度を第一の値に制御し、前記状態判定手段にて前記動画像符号化装置が前記第二の状態であるとの判定がなされたときに前記解像度を前記第一の値より小さい第二の値に制御する構成とすることができる。
このような構成により、動画像符号化装置が前記所定符号を発生させる第一の状態において符号化されるべき動画像データの解像度が第一の値に制御され、前記動画像符号化装置が前記所定符号を発生させることのない第二の状態において符号化されるべき動画像データの解像度が前記第一の値より小さい第二の値に制御される。従って、前記第一の状態では、符号化すべき動画像データの解像度が相対的に高い第一の値に制御されることにより空間周波数の高域成分まで再現され得る画像の可変長符号化データを生成することができることとなる。一方、前記第二の状態では、符号化すべき動画像データの解像度が相対的に低い第二の値に制御されることにより空間周波数の高域成分を抑えた画像の可変長符号化データを生成することができることとなる。
更に、本発明に係る動画像符号化装置は、前記符号化手段はMPEGに従って前記動画像データを符号化するものであって、前記解像度調整手段は、符号化すべき直交変換係数の上限周波数を制御する構成とすることができる。
このような構成により、MPEGに従った処理の過程で符号化すべき直交変換係数の上限周波数を制御することにより解像度を制御することができることとなる。具体的には、上限周波数を高くすることにより解像度を高くし、上限周波数を低くすることにより解像度を低くすることができる。
本発明に係る動画像符号化装置は、前記解像度制御手段が、前記動画像符号化装置が前記所定符号を発生させる第一の状態及び前記所定符号を発生させることのない第二の状態のいずれの状態であるかを判定する状態判定手段を有し、前記状態判定手段にて前記動画像符号化装置が前記第一の状態であるとの判定がなされたときに前記直交変換係数の上限周波数を第一の値に制御し、前記状態判定手段にて前記動画像符号化装置が前記第二の状態であるとの判定がなされたときに前記直交変換係数の上限周波数を前記第一の値より小さい第二の値に制御する構成とすることができる。
このような構成により、動画像符号化装置が前記所定符号を発生させる第一の状態において符号化されるべき直交変換係数の上限周波数が第一の値に制御され、前記動画像符号化装置が前記所定符号を発生させることのない第二の状態において符号化されるべき直交変換係数が前記第一の値より小さい第二の値に制御される。従って、前記第一の状態では、符号化すべき直交変換係数の上限周波数が相対的に高い第一の値に制御され、その結果、解像度が相対的に高い値に制御されることにより空間周波数の高域成分まで再現され得る画像の可変長符号化データを生成することができることとなる。一方、前記第二の状態では、符号化すべき直交変換係数の上限周波数が相対的に低い第二の値に制御され、その結果、解像度が相対的に低い値に制御されることにより空間周波数の高域成分を抑えた画像の可変長符号化データを生成することができることとなる。
また、本発明に係る動画像符号化装置は、前記第二の状態が、継続的に前記所定符号が発生することのない所定状態である構成とすることができる。
このような構成により、前記所定符号が発生する第一の状態から前記所定符号が発生しない状態に変化したときではなく、継続的に前記所定符号が発生することのない所定状態となるときに符号化すべき動画像データの解像度または直交変換係数の上限周波数が第一の値から相対的に低い第二の値に切り替えられる。従って、解像度の安定的な制御が可能となる。
前記所定状態は、継続的に所定符号が発生していない状態であれば特に限定されず、その継続期間については任意に定めることができる。また、その継続期間は、時間によっても、前記所定符号化が発生していないことを連続的に確認した回数によっても特定することができる。
本発明に係る動画像処理方法は、動画像データを所定単位毎に所定のアルゴリズムに従って符号化し、前記所定単位の情報量に応じた符号量の可変長符号化データを生成する符号化手段と、前記符号化手段にて生成された可変長符号化データを順次蓄積すると共に所定レートをもって符号化データを送出するバッファ手段とを有し、前記バッファ手段における蓄積符号量が不足状態であるときに所定符号を発生させて前記所定レートでの符号化データの送出を維持するようにした動画像符号化装置での処理方法であって、前記所定符号の発生の有無に応じて前記符号化手段にて符号化すべき動画像データの解像度を制御する解像度制御ステップを有する構成となる。
このような構成により、動画像データを所定単位毎に符号化して得られる可変長符号化データがバッファ手段に蓄積されるとともに所定レートをもって符号化データがバッファ手段から送出される過程で、前記バッファ手段における蓄積符号量が不足状態にあるときに所定符号が発生されて前記所定レートでの符号化データの送出が維持される動画像符号化装置において、前記所定符号の発生の有無に応じて符号化すべき動画像データの解像度が制御される。
また、本発明に係る動画像処理方法は、前記解像度制御ステップが、前記動画像符号化装置が前記所定符号を発生させる第一の状態及び前記所定符号を発生させることのない第二の状態のいずれの状態であるかを判定する状態判定ステップを有し、前記状態判定ステップにて前記動画像符号化装置が前記第一の状態であるとの判定がなされたときに、前記解像度を第一の値に制御し、前記状態判定ステップにて前記動画像符号化装置が前記第二の状態であるとの判定がなされたときに、前記解像度を前記第一の値より小さい第二の値に制御する構成とすることができる。
このような構成により、動画像符号化装置が前記所定符号を発生させる第一の状態において符号化されるべき動画像データの解像度が第一の値に制御され、前記動画像符号化装置が前記所定符号を発生させることのない第二の状態において符号化されるべき動画像データの解像度が前記第一の値より小さい第二の値に制御される。
更に、本発明に係る動画像処理方法は、前記符号化手段はMPEGに従って前記動画像データを符号化するものであって、前記解像度制御ステップが、符号化すべき直交変換係数の上限周波数を制御する構成とすることができる。
このような構成により、動画像符号化装置においてMPEGに従った処理がなされる過程で符号化すべき直交変換係数の上限周波数を制御することにより解像度を制御することができることとなる。
本発明に係る動画像処理方法は、前記解像度制御手段が、前記動画像符号化装置が所定符号を発生させる第一の状態及び前記所定符号を発生させることのない第二の状態のいずれの状態であるかを判定する状態判定ステップを有し、前記状態判定ステップにて前記動画像符号化装置が前記第一の状態であるとの判定がなされたときに前記直交変換係数の上限周波数を第一の値に制御し、前記状態判定ステップにて前記動画像符号化装置が第二の状態であるとの判定がなされたときに前記直交変換係数の上限周波数を前記第一の値より小さい第二の値に制御する構成とすることができる。
このような構成により、動画像符号化装置が前記所定符号を発生させる第一の状態において符号化されるべき直交変換係数の上限周波数が第一の値に制御され、前記動画像符号化装置が前記所定符号を発生させることのない第二の状態において符号化されるべき直交変換係数が前記第一の値より小さい第二の値に制御される。
本発明によれば、動画像データを所定単位毎に符号化して得られる可変長符号化データがバッファ手段に蓄積されるとともに所定レートをもって符号化データがバッファ手段から送出される過程で、バッファ手段における蓄積符号量が不足状態であるときに発生されるべき所定符号の発生の有無に基づいて符号化されるべき動画像データの解像度を制御するようにしたので、バッファ手段から符号化データが送出されるレートに対する可変長符号化データの生成状況に応じて符号化されるべき動画像データの解像度を適正に制御することが可能となる。これにより、所定符号の発生の有無に基づいた解像度制御という比較的簡易な処理によって、視覚特性上の画質劣化の少ない高能率な符号化を行ない得る動画像符号化装置及びそのような動画像符号化装置にてなされる処理の方法を提供することができる。
本発明の実施の形態について、図面を用いて説明する。
本発明の実施の形態に係る動画像符号化装置は、図1に示すように構成される。
図1において、この動画像符号化装置は、inter/intra判定部100、第一のスイッチ部102、直交変換部104、量子化部106、可変長符号化部(以下、VLC部という)108、バッファ部110、逆量子化部112、逆直交変換部114、フレームメモリ部116、動き補償部120及び解像度指示部122を有している。例えばカメラからの映像信号がアナログ・デジタル変換器及びブロック変換器を経由して符号化ブロック単位のデジタル入力信号(動画像信号)に変換され(図示略)、そのデジタル入力信号が動画像符号化装置に供給される。
inter/intra判定部100は、ピクチャ(フレーム)毎にフレーム内符号化(intra)を行なうべきか、あるいはフレーム間予測符号化(intra)を行なうべきかを判定する。このinter/intra判定部100は、一定ピクチャ間隔(例えば、15ピクチャ毎)に挿入されるIピクチャの場合は、フレーム内符号化(intra)を行なうべきものと判定する。また、Iピクチャ以外のピクチャに対しては、inter/intra判定部100は、入力デジタル信号と動き補償部120が出力した動き補償画像とに基づいてフレーム間予測符号化(inter)を行なうべきか、フレーム内符号化(intra)を行なうべきかを判定する。
第一のスイッチ部102は、inter/intra判定部100にて得られた判定結果と動き補償部120から出力される動き補償画像と、定数「0」とを入力しており、inter/intra判定部100からの判定結果に応じて前記動き補償画像及び定数「0」のいずれかを切り替え出力する。直交変換部104は、入力デジタル信号から第一のスイッチ部102からの出力信号を減算して得られた減算結果を直交変換して直交変換係数を出力する。量子化部106は、直交変換部104から出力される直交変換係数とバッファ部110から出力される量子化幅及び解像度指示部122からの量子化すべき直交変換係数の上限周波数を指示する解像度制御信号を入力し、その量子化幅及び解像度制御信号に従って直交変換係数を量子化して量子化直交変換係数を出力する。
可変長符号化部(以下、VLC(variable length coding)部という)108は、量子化部106から出力される量子化直交変換係数、その量子化直交変換係数に多重されているブロック符号化モード情報、及び動き補償部120から出力される動き情報を入力する。そして、VLC108は、前記ブロック符号化モード情報及び動き情報に基づいて前記量子化直交変換係数を可変長符号化し、可変長符号を出力する。バッファ部110は、VLC部108から出力される可変長符号(符号化信号)を一時的に蓄積すると共に一定レートで出力する。バッファ部110は、更に、蓄積符号量が予め決められた制御目標量となるように量子化幅を決定する機能を有する。このように決定される量子化幅は、バッファ部110から量子化部106に与えられる。また、バッファ部110は、蓄積符号量が不足状態であるときに(前記制御目標量に達しない状態であるときに)、特に意味を持たないスタッフィング(stuffing)符号を付加して前記一定レートでの符号の送出を維持させる機能を有する。そして、そのスタッフィング符号の発生の有無を表す情報を解像度指示部122に提供する。解像度指示部122は、バッファ部110から提供されるスタッフィング符号の発生の有無に係る情報に基づいて前記量子化すべき直交変換係数の上限周波数を指示する解像度制御信号を生成して量子化部106に与える。
逆量子化部112は、量子化部106から出力される量子化直交変換係数を入力し、その量子化直交変換係数に対して逆量子化処理を施して復元直交変換係数を出力する。逆直交変換部114は、逆量子化部112からの復元直交変換係数を入力し、その復元直交変換係数に対して逆直交変換処理を施して復元画像信号を出力する。逆直交変換部114から出力された復元画像信号と第二のスイッチ部118から出力される予測画素値信号とが加算され、その加算結果が再生画像としてフレームメモリ116に蓄積される。
第二のスイッチ部118は、inter/intra判定部100から出力されるブロック符号化モード情報、定数「0」、及び動き補償部120からの動き補償画像を入力し、ブロック符号化モード情報に基づいて前記動き補償画像及び定数「0」のいずれかを予測画素値信号として切り替え出力する。動き補償部120は、フレームメモリ部116から出力される再生画像と入力デジタル信号とを入力し、それらの信号に基づいて得られる動き情報及び動き補償画像を出力する。
次に、前述したような構成の動画像符号化装置の動作について説明する。
この動画像符号化装置は、動画像符号化方式として国際水準であるMPEG2を用いている。この動画像符号化方式では、画面が一定の大きさの多数ブロックに分割され、そのブロック毎に符号化がなされる。符号化効率を高めるため、参照画像を動き補償(参照画像と入力画像の相関が最も高くなるようなブロック毎の動き検出と、その動きが示す位置から画像を構成する)して予測画像を得るようにしている。
inter/intra判定部100は、一定ピクチャ間隔(例えば、15ピクチャ間隔)で挿入されるIピクチャの符号化時には、フレーム内符号化(intra)の判定出力を行い、その判定出力を第一のスイッチ部102、第二のスイッチ部118及びVLC部108に与える。Iピクチャ以外のピクチャの符号化時には、inter/intra判定部110は、ブロック単位で入力される入力デジタル信号と動き補償部120からの動き補償画像とを入力し、入力画像の分散値と、動き補償画像と入力画像との間の予測差分の分散値とを比較する。そして、inter/intra判定部110は、入力分散値が大きいときはフレーム間予測符号化(inter)の判定出力を行い、逆に予測差分の分散値が大きければフレーム内符号化(intra)の判定出力を行い、各判定出力を第一のスイッチ部102、第二のスイッチ部118及びVLC部108に与える。
第一のスイッチ部102は、inter/intra判定部100からフレーム内符号化(intra)の判定出力を受けると、固定値「0」を減算器(−)に出力する。これにより、入力デジタル信号がそのまま直交変換部104に供給される。また、第一のスイッチ部102は、inter/intra判定部100からフレーム間予測符号化(inter)の判定出力を受けると、動き補償画像を減算器(−)に出力する。これにより、入力デジタル信号と動き補償画像の差分となる予測差分が直交変換部104に供給される。直交変換部104は、前述したように供給される入力デジタル信号または予測差分をDCT(Discrete Cosine Transform)変換して直交変換係数を出力する。
前記直交変換係数を入力する量子化部106は、その直交変換係数の情報量を削減するために、バッファ部110から供給される量子化幅を基準にしてその直交変換係数を量子化する。量子化部106は、前記直交変換係数の量子化に際し、解像度指示部122からの解像度制御信号にて指示される直交変換係数の上限周波数に基づいて、その上限周波数以上の直交変換係数を全てゼロにクリアして量子化直交変換係数を出力する。これにより、量子化直交変換係数が前記上限周波数に応じた解像度の画像を表すこととなる。即ち、前記上限周波数が大きいほど、前記量子化直交変換係数は、より高い空間周波数を含み得る解像度のより高い画像を表すこととなる。逆量子化部112は、量子化部106から供給される量子化直交変換係数を前記量子化時と同一の量子化幅にて逆量子化して復元直交変換係数を逆直交変換部114に供給する。この復元直交変換係数は、逆直交変換部114でのIDCT(Inverse Discrete Cosine Transform)変換により復元画像信号に変換される。
第二のスイッチ部118は、inter/intra判定部100からフレーム内符号化(intra)の判定出力を受けるときは定数「0」を加算器(+)に供給し、フレーム間予測符号化(inter)の判定出力を受けるときは動き補償画像を加算器(+)に供給する。これにより、逆直交変換部114からの復元画像信号と前記定数「0」または前記動き補償画像とが加算されて得られる再生画像(量子化誤差を含む)がフレームメモリ116に供給される。
一方、量子化部106から出力される量子化直交変換係数は、VLC部108により、inter/intra判定部100からの判定結果、動き補償部120からの動き補償予測付随情報及び符号化ビットレートと合わせて可変長符号化され、得られた可変長符号がバッファ部110に供給される。バッファ部110は、不定速度で供給される可変長符号を一旦蓄積し、その符号を一定ビットレートで送出(再生装置側に転送)する。バッファ部110は、前述したように可変長符号を蓄積すると共に一定レートでその符号を送出する過程で、内部蓄積符号量が不足状態(例えば、制御目標符号量に達していない状態)であれば、スタッフィング符号を送出して見かけ上符号の送出レートを前記一定レートに維持させる。また、バッファ部110は、前記スタッフィング符号の発生の有無を表す情報を解像度指示部122に供給すると共に、内部符号蓄積量に比例した量子化幅を算出して量子化部105に与える。
動き補償部120は入力デジタル信号とフレームメモリ部116からの再生画像とを入力し、ブロックマッチング法で動きを検出し、動き補償画像、付随情報(動き補償の有効/無効、動きベクトル)を出力する。ブロックマッチング法の具体例として、「画像の帯域圧縮と符号化技術」(日刊工業新聞社 P61〜P62)の記載を挙げることができる。動き補償部120の詳細動作は以下の通りである。
第一ステップにおいて、ブロックマッチング法により動きベクトル、動き補償画像及び動き補償予測付随情報が求められる。第二ステップにおいて、動き補償画像及び動き補償前の(動き量をゼロとした場合)画像のいずれが効率良く符号化できるかが入力デジタル信号と差分絶対値和に基づいて判定される。第三ステップにおいて、前記判定結果を反映した予測画像が第一のスイッチ部102、inter/intra判定部100及び第二のスイッチ部118に与えられ、動き補償の付随情報がVLC部108に供給される。
前述したように、動画像を表す入力デジタル信号がMPEG2のアルゴリズムに従って順次可変長符号化され、その可変長符号がバッファ部110に順次蓄積されると共に、一定のレートにてその符号がバッファ部110から順次送出される。そして、その過程で、バッファ部110は、内部蓄積符号量が不足状態にあれば、スタッフィング符号を付加して符号の送出レートが前記一定レートに維持されるようにしている。また、バッファ部110からのスタッフィング符号の発生の有無を表す情報に基づいて解像度指示部122が量子化部106に対して解像度制御信号を出力する。解像度指示部122は、例えば、図2に示す手順に従って処理を実行する。
図2において、解像度指示部122は、バッファ部110の符号蓄積の状態を監視し(S1)、1フレーム分の符号化が終了したか否かを判定する(S2)。1フレーム分の符号化が終了したとの判定を行うと(S2でYES)、解像度指示部122は、前記符号化の過程でスタッフィング符号の発生がなされたか否かを判定する(S3)。前記スタッフィング符号の発生がなされたとの判定を行うと(S3でYES)、解像度指示部122は、解像度を上げるために直交変換係数の上限周波数が最高値(最大周波数)であることを指示する解像度制御信号を量子化部106に出力する(S6)。これにより、量子化部106が最大周波数に至る全周波数の直交変換係数の量子化を行い、それにより得られた量子化直交変換係数がVLC部108にて符号化される。その結果、相対的に高い解像度の画像を表す可変長符号が生成される。
前記スタッフィング符号が発生する状況は、例えば、静止画像のようにVLC部108にて符号化すべきデータ(量子化直交変換係数)の情報量が少なく、VLC部108にて生成される可変長符号の発生レートがバッファ部110から符号が送出されるレートより小さい状況である。このような状況において、前述したように相対的に高い解像度の(空間周波数の高域成分まで再現され得る)画像、即ち、より精細な画像を再現し得る可変長符号が発生される。
一方、前記スタッフィング符号の発生がなされているとの判定(S3でYES)から前記スタッフィング符号の発生がなされていないとの判定への切り替えがなされると(S3でNO)、解像度指示部122は、内部タイマをスタートすると共に、そのタイマを参照してT秒間継続してスタッフィング符号の発生がなされない状態であるか否かを判定する(S4)。前記スタッフィング符号がT秒間中に少なくとも1回は発生したとの判定を行うと(S4で、NO)、解像度指示部122は、直交変換係数の上限周波数が最高値となることを指示する解像度制御信号の出力状態を維持する(S5)。以後、前述した処理(S1、S2、S3、S4、S5)が繰り返し実行され、VLC部108にて相対的に高い解像度の画像を表す可変長符号が順次生成される。
この過程で、前記スタッフィング符号の発生がT秒間継続してなされなかったとの判定を行うと(S4でYES)、解像度指示部122は、解像度を下げるために直交変換係数の上限周波数が最高値の半分(最高値/2)であることを指示する解像度制御信号を量子化部106に出力する(S7)。これにより、量子化部106が最大周波数の半分の周波数以上の直交変換係数を全てゼロにクリアすると共に前記最大周波数の半分の周波数より低い各周波数帯の直交変換係数の量子化を行ない、それにより得られた量子化直交変換係数がVLC部108にて符号化される。その結果、相対的に低い解像度の画像を表す可変長符号が生成される。
前記スタッフィング符号が発生しない状況は、例えば、複雑な画像や動画像のようにVLC部108にて符号化すべきデータ(量子化直交変換係数)の情報量が十分あり、VLC部108にて生成される可変長符号の発生レートがバッファ部110から符号が送出されるレートに対して足りない状況ではない。このような状況において、前述したように相対的に低い解像度の(空間周波数の高域成分を抑えた)画像を表す可変長符号が生成される。この場合、空間周波数の高域成分は視覚特性への影響が小さいことから、視覚特性上の画質低下を極力抑えた状態で効率的な符号化が可能となる。
更に、前述したように符号化すべきデータの解像度を下げることで発生符合量を削減することができるが、その削減されるべき符号量を低域の周波数(最大周波数の半分より低い周波数)の直交変換係数を符号化するために割り当てることができる。具体的には、量子化部106がより小さい量子化幅にて直交変換係数の量子化を行なえばよい。この場合、空間周波数の低域成分は視覚特性への影響が大きいことから、前記削減されるべき符号量を有効に利用して視覚特性上の画質を向上させることが可能となる。
前述したような本発明の実施の形態に係る動画像符号化装置によれば、スタッフィング符号が発生する状況では、相対的に高い解像度の画像を表す可変長符号(符号量が多い)が生成される一方、スタッフィング符号が発生することのない状況では、相対的に低い解像度の画像を表す可変長符号(符号量が少ない)が生成される。これにより、スタッフィング符号の発生の有無に基づいた解像度制御という比較的簡易な処理によって、視覚特性上の画質劣化の少ない高能率な符号化を行なうことができるようになる。また、スタッフィング符号が発生している状況からスタッフィング符号が発生しない状況に切替わった際に即座に解像度を下げるのではなく、スタッフィング符号が発生しない状況が所定時間T(秒)継続したときに解像度を下げるようにしているので、解像度の上げ下げが頻繁に繰り返されることが防止され、安定した解像度の制御ができるようになる。
以上のように、本発明に係る動画像符号化装置及び動画像処理方法は、比較的簡易な処理によって、視覚特性上の画質劣化の少ない高能率な符号化を行い得るという効果を有し、MPEG等の所定のアルゴリズムに従って動画像データを符号化して可変長符号化データを生成し、その可変長符号化データを送出する動画像符号化装置及びそのような動画像符号化装置にてなされる処理の方法等として有用である。
100 inter/intra判定部
102 第一のスイッチ部(No.1)
104 直交変換部
106 量子化部
108 VLC部(可変長符号化部)
110 バッファ部
112 逆量子化部
114 逆直交変換部
116 フレームメモリ部
118 第二のスイッチ部(No.2)
120 動き補償部
122 解像度指示部
102 第一のスイッチ部(No.1)
104 直交変換部
106 量子化部
108 VLC部(可変長符号化部)
110 バッファ部
112 逆量子化部
114 逆直交変換部
116 フレームメモリ部
118 第二のスイッチ部(No.2)
120 動き補償部
122 解像度指示部
Claims (9)
- 動画像データを所定単位毎に所定のアルゴリズムに従って符号化し、前記所定単位の情報量に応じた符号量の可変長符号化データを生成する符号化手段と、
前記符号化手段にて生成された可変長符号化データを順次蓄積すると共に所定レートをもって符号化データを送出するバッファ手段とを有し、
前記バッファ手段における蓄積符号量が不足状態であるときに所定符号を発生させて前記所定レートでの符号化データの送出を維持するようにした動画像符号化装置であって、
前記所定符号の発生の有無に応じて前記符号化手段にて符号化すべき動画像データの解像度を制御する解像度制御手段を有することを特徴とする動画像符号化装置。 - 前記解像度制御手段は、前記動画像符号化装置が前記所定符号を発生させる第一の状態及び前記所定符号を発生させることのない第二の状態のいずれの状態であるかを判定する状態判定手段を有し、
前記状態判定手段にて前記動画像符号化装置が前記第一の状態であるとの判定がなされたときに前記解像度を第一の値に制御し、前記状態判定手段にて前記動画像符号化装置が前記第二の状態であるとの判定がなされたときに前記解像度を前記第一の値より小さい第二の値に制御することを特徴とする請求項1記載の動画像符号化装置。 - 前記符号化手段はMPEGに従って前記動画像データを符号化するものであって、
前記解像度調整手段は、符号化すべき直交変換係数の上限周波数を制御することを特徴とする請求項1記載の動画像符号化装置。 - 前記解像度制御手段は、前記動画像符号化装置が前記所定符号を発生させる第一の状態及び前記所定符号を発生させることのない第二の状態のいずれの状態であるかを判定する状態判定手段を有し、
前記状態判定手段にて前記動画像符号化装置が前記第一の状態であるとの判定がなされたときに前記直交変換係数の上限周波数を第一の値に制御し、前記状態判定手段にて前記動画像符号化装置が前記第二の状態であるとの判定がなされたときに前記直交変換係数の上限周波数を前記第一の値より小さい第二の値に制御することを特徴とする請求項3記載の動画像符号化装置。 - 前記第二の状態は、継続的に前記所定符号が発生することのない所定状態であることを特徴とする請求項2または4記載の動画像符号化装置。
- 動画像データを所定単位毎に所定のアルゴリズムに従って符号化し、前記所定単位の情報量に応じた符号量の可変長符号化データを生成する符号化手段と、
前記符号化手段にて生成された可変長符号化データを順次蓄積すると共に所定レートをもって符号化データを送出するバッファ手段とを有し、
前記バッファ手段における蓄積符号量が不足状態であるときに所定符号を発生させて前記所定レートでの符号化データの送出を維持するようにした動画像符号化装置での処理方法であって、
前記所定符号の発生の有無に応じて前記符号化手段にて符号化すべき動画像データの解像度を制御する解像度制御ステップを有することを特徴とする動画像処理方法。 - 前記解像度制御ステップは、前記動画像符号化装置が前記所定符号を発生させる第一の状態及び前記所定符号を発生させることのない第二の状態のいずれの状態であるかを判定する状態判定ステップを有し、
前記状態判定ステップにて前記動画像符号化装置が前記第一の状態であるとの判定がなされたときに、前記解像度を第一の値に制御し、前記状態判定ステップにて前記動画像符号化装置が前記第二の状態であるとの判定がなされたときに、前記解像度を前記第一の値より小さい第二の値に制御することを特徴とする請求項6記載の動画像処理方法。 - 前記符号化手段はMPEGに従って前記動画像データを符号化するものであって、
前記解像度制御ステップは、符号化すべき直交変換係数の上限周波数を制御することを特徴とする請求項6記載の動画像処理方法。 - 前記解像度制御手段は、前記動画像符号化装置が所定符号を発生させる第一の状態及び前記所定符号を発生させることのない第二の状態のいずれの状態であるかを判定する状態判定ステップを有し、
前記状態判定ステップにて前記動画像符号化装置が前記第一の状態であるとの判定がなされたときに前記直交変換係数の上限周波数を第一の値に制御し、前記状態判定ステップにて前記動画像符号化装置が第二の状態であるとの判定がなされたときに前記直交変換係数の上限周波数を前記第一の値より小さい第二の値に制御することを特徴とする請求項8記載の動画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003298503A JP2005072846A (ja) | 2003-08-22 | 2003-08-22 | 動画像符号化装置及び動画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003298503A JP2005072846A (ja) | 2003-08-22 | 2003-08-22 | 動画像符号化装置及び動画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005072846A true JP2005072846A (ja) | 2005-03-17 |
Family
ID=34403980
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003298503A Pending JP2005072846A (ja) | 2003-08-22 | 2003-08-22 | 動画像符号化装置及び動画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005072846A (ja) |
-
2003
- 2003-08-22 JP JP2003298503A patent/JP2005072846A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5893002B2 (ja) | ビデオ符号化におけるレート制御 | |
KR101362590B1 (ko) | 화상 처리 장치 및 방법 | |
JP3338460B2 (ja) | 映像信号符号化装置及び映像信号符号化方法 | |
KR20050074286A (ko) | 화상 부호화 장치, 화상 부호화 방법 및 화상 부호화프로그램 | |
JP2003304538A (ja) | 画像符号化装置、画像復号化装置及びそれらの方法 | |
KR100364748B1 (ko) | 영상 변환 부호화 장치 | |
WO2000001158A1 (en) | Encoder and encoding method | |
JP3738511B2 (ja) | 動画像符号化方式 | |
JP2008160402A (ja) | 符号化装置及び方法並びに画像符号化装置 | |
JP2004056827A (ja) | 符号化装置、符号化方法、復号化装置及び復号化方法 | |
JP2010213187A (ja) | 映像符号化伝送装置 | |
WO2001008420A1 (en) | Device for encoding motion picture signals and encoding method | |
JPH09261530A (ja) | 映像記録装置 | |
JP2005072846A (ja) | 動画像符号化装置及び動画像処理方法 | |
JP4223577B2 (ja) | 画像符号化装置とその方法、および、画像復号化装置とその方法 | |
JP4359273B2 (ja) | 符号化モード選択方法 | |
JPH0775095A (ja) | レート制御回路 | |
JPH10290461A (ja) | レート制御装置及びレート制御方法 | |
KR0124162B1 (ko) | 예측 부호화 방법 | |
JP4000581B2 (ja) | 画像符号化装置および方法 | |
JP4353928B2 (ja) | データ圧縮方法、記録方法、及び伝送方法 | |
JP4359274B2 (ja) | 動画像圧縮符号化装置 | |
JP2002077905A (ja) | 符号化制御装置および方法 | |
JPH06105299A (ja) | 動画像圧縮装置 | |
KR100397133B1 (ko) | 영상 데이터 압축 전송 시스템 및 그 방법 |