JP2005020653A - 動画像符号化装置とその方法、およびそのプログラムとそのプログラムを記録した記録媒体 - Google Patents
動画像符号化装置とその方法、およびそのプログラムとそのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP2005020653A JP2005020653A JP2003186117A JP2003186117A JP2005020653A JP 2005020653 A JP2005020653 A JP 2005020653A JP 2003186117 A JP2003186117 A JP 2003186117A JP 2003186117 A JP2003186117 A JP 2003186117A JP 2005020653 A JP2005020653 A JP 2005020653A
- Authority
- JP
- Japan
- Prior art keywords
- block
- encoding
- image
- information
- bit rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】ビットレートを正確に制御できる符号化装置及び方法を提供する。
【解決手段】符号化処理において、本来、一つ前のフレームとの間でそのブロックの画像が全く変化しなかった場合に使用されるＣＯＤビットを利用して、目標ビットレートを大幅に上回っているのに量子化特性値が上限まで上昇し、これ以上の情報削減が不可能になった時に、非符号化決定部１４により、出力ブロックデータ構築部１０ではＣＯＤビットを１とする。これにより見掛け上、そのブロックでは全く動きや変化がなかったものとなり、符号化を終えることができる。この時、出力ブロックデータ構築部１０では、当該ブロックの再構築ブロック情報に、一つ前の時刻のフレームの当該ブロックの画像の再構築ブロックをそのまま保持する。即ち、実際には変化があったにもかかわらず、全く画像の変化がなかったブロックとして処理することで情報量を大幅に圧縮する。
【選択図】 図１
【解決手段】符号化処理において、本来、一つ前のフレームとの間でそのブロックの画像が全く変化しなかった場合に使用されるＣＯＤビットを利用して、目標ビットレートを大幅に上回っているのに量子化特性値が上限まで上昇し、これ以上の情報削減が不可能になった時に、非符号化決定部１４により、出力ブロックデータ構築部１０ではＣＯＤビットを１とする。これにより見掛け上、そのブロックでは全く動きや変化がなかったものとなり、符号化を終えることができる。この時、出力ブロックデータ構築部１０では、当該ブロックの再構築ブロック情報に、一つ前の時刻のフレームの当該ブロックの画像の再構築ブロックをそのまま保持する。即ち、実際には変化があったにもかかわらず、全く画像の変化がなかったブロックとして処理することで情報量を大幅に圧縮する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、テレビ電話、テレビ会議、テレビ放送、テープやディスクなどの媒体へのビデオ記録等で、制限されたビットレートで符号化する、動画像符号化技術に関する。特に、ビットレートを正確に制御できる動画像符号化装置および方法に関する。
【０００２】
【従来の技術】
従来の、動画像符号化技術では、主に量子化特性値を調節することによって、目標ビットレートに合わせた符号化を行っていた。一般に、１枚のフレーム画像を、いくつかのブロックと呼ばれる小矩形に分割し、そのブロックごとにデジタル符号化をしていく（ＭＰＥＧ等ではマクロブロックと呼ばれるが、以下ではブロックとする）。また、以下の説明では、量子化特性値として１から３１までの整数値をとるものとし、量子化特性値が大きいほど、量子化時における符号量は少なくなるものとする。
【０００３】
図２に従来技術によるブロックの符号化処理部の構成図を示す。
【０００４】
「量子化演算部１」は、「符号化モード決定部２」より得られたイントラ／インターモードの情報に応じて、イントラモードまたは、インターモードで符号化する。イントラモードの場合、「量子化演算部１」は、「現フレームブロック情報保持部３」より入力されたブロックの画像情報をもとに「量子化特性決定部４′」より得られた量子化特性値を「量子化特性保持部５」に保持し、この量子化特性値で符号化処理を行う。インターモードの場合、「量子化演算部１」は、「現フレームブロック情報保持部３」、「動きベクトル保持部６」、「再構築部７」、「前フレームブロック情報保持部８」による動作で「動き補償・空間補償演算部９」より得られた誤差データをもとに、「量子化特性決定部４′」より得られた量子化特性値を用いて符号化処理を行う。
【０００５】
「出力ブロックデータ構築部１０′」では、「量子化演算部１」からの入力をもとに、出力ブロックデータ構造を構築し、出力する。これらの処理時、「量子化特性決定部４′」では、ＧＯＢ（Ｇｒｏｕｐ ｏｆ Ｍａｃｒｏ Ｂｌｏｃｋ）の先頭のブロックの符号化開始時などの適当な時期において、「累積符号量保持部１１」で保持された累積符号量と、「目標ビットレート保持部１２」に保持された目標ビットレートをもとに「累積目標符号量演算部１３」で演算された累積目標符号量とを比較し、累積符号量が累積目標符号量を上回っている場合は、量子化特性値を「量子化特性保持部５」において保持している量子化特性値から増加させ、逆に、累積符号量が累積目標符号量を下回っている場合は「量子化特性保持部５」において保持している量子化特性値から減少させる。
【０００６】
以上で述べたものは、ｔｗｍというプログラムで、Ｈ．２６３の画像符号化を行うものであり、非特許文献１などに開示されている。
【０００７】
【非特許文献１】
インターネット ｈｔｔｐ：／／ｗｗｗ．ｎｔａ．ｎｏ／ｂｒｕｋｅｒｅ／ＤＶＣ／ｈ２６３＿ｓｏｆｔｗａｒｅ／ 配布者 Ｔｅｌｅｎｏｒ Ｒ＆Ｄ，Ｋａｒｌ Ｏｌａｖ Ｌｉｌｌｅｖｏｌｄ、ノルウェー、２００２年２月
【０００８】
【発明が解決しようとする課題】
従来技術の説明で述べたように、量子化特性値には３１までなどの上限があり、その上限以上の値を与えるわけにはいかない。この上限の量子化特性値をもって符号化しても一定量の符号量が生じるため、目標ビットレートを大きく上回ってしまうという事態がしばしば起る。目標ビットレートを上回る符号量で符号化された場合、すべての情報を送りきれずにブロックノイズの激しい見にくい画像になったり、フレームレートが低下して不自然な動きになったりするなどの問題が生じる。
【０００９】
本発明は、上記従来の問題点を解決するためのものであり、ビットレートを正確に制御できる動画像符号化装置および方法を提供することが課題である。
【００１０】
【課題を解決するための手段】
本発明における上記の課題を解決するための一手段は、与えられたあるビットレートを目標として動画像を符号化する際、符号化処理中のブロックにおいて、直前ブロックまでの累積符号量が目標とするビットレートを上回る状態が一定フレーム数分以上連続した場合に、そのブロックは直前フレームから変化がなかったことにして、本来符号化すべき画像情報の代わりに、変化なしという情報だけを送る手段を有することによって、強力なビットレート制御を可能とすることを特徴とする動画像符号化装置である。
【００１１】
あるいは、ＭＰＥＧやＨ．２６Ｘなどの動画像符号化において、与えられたあるビットレートを目標として、１画像をブロックに区切って順に符号化する際、直前ブロックまでの累積符号量が多すぎて、目標のビットレートを上回る状態が一定フレーム数分以上連続した場合に、符号化情報の代わりに、直前フレームの当該ブロックと同じ画像であるという情報だけを送るために、ブロックの先頭に配置されたＣＯＤ（Ｃｏｄｅｄ ｍａｃｒｏｂｌｏｃｋ ｉｎｄｉｃａｔｉｏｎ）ビットを１とする手段を有することによって、わずか１ビットで当該ブロックの符号伝達を終了させることにより、強力なビットレート制御を可能とすることを特徴とする動画像符号化装置である。
【００１２】
あるいは、上記の動画像符号化装置において、符号化時に、インターモードによる符号化を行うために保持している、前フレームの当該ブロックの画像の再構築ブロック情報は、ＣＯＤビットを１とした場合には、さらにその前のフレームの当該ブロックの画像の再構築ブロックをそのまま保持する手段を有することを特徴とする動画像符号化装置である。
【００１３】
あるいは、与えられたあるビットレートを目標として動画像を符号化する際、符号化処理中のブロックにおいて、直前ブロックまでの累積符号量が目標とするビットレートを上回る状態が一定フレーム数分以上連続した場合に、そのブロックは直前フレームから変化がなかったことにして、本来符号化すべき画像情報の代わりに、変化なしという情報だけを送る段階を有することによって、強力なビットレート制御を可能とすることを特徴とする動画像符号化方法である。
【００１４】
あるいは、ＭＰＥＧやＨ．２６Ｘなどの動画像符号化において、与えられたあるビットレートを目標として、１画像をブロックに区切って順に符号化する際、直前ブロックまでの累積符号量が多すぎて、目標のビットレートを上回る状態が一定フレーム数分以上連続した場合に、符号化情報の代わりに、直前フレームの当該ブロックと同じ画像であるという情報だけを送るために、ブロックの先頭に配置されたＣＯＤ（Ｃｏｄｅｄ ｍａｃｒｏｂｌｏｃｋ ｉｎｄｉｃａｔｉｏｎ）ビットを１とする段階を有することによって、わずか１ビットで当該ブロックの符号伝達を終了させることにより、強力なビットレート制御を可能とすることを特徴とする動画像符号化方法である。
【００１５】
あるいは、上記の動画像符号化方法において、符号化時に、インターモードによる符号化を行うために保持している、前フレームの当該ブロックの画像の再構築ブロック情報は、ＣＯＤビットを１とした場合には、さらにその前のフレームの当該ブロックの画像の再構築ブロックをそのまま保持する段階を有することを特徴とする動画像符号化方法である。
【００１６】
あるいは、上記の動画像符号化方法における段階を、コンピュータに実行させるためのプログラムとしたことを特徴とする動画像符号化プログラムである。
【００１７】
あるいは、上記の動画像符号化方法における段階を、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする動画像符号化プログラムを記録した記録媒体。
【００１８】
本発明では、本来、一つ前のフレームとの間でそのブロックの画像がまったく変化しなかった場合に使用される、ＣＯＤ（Ｃｏｄｅｄ ｍａｃｒｏｂｌｏｃｋ ｉｎｄｉｃａｔｉｏｎ）ビットを利用して、目標ビットレートを大幅に上回っているのに、量子化特性値も上限まで上昇し、これ以上の情報削減が不可能になった時に、ＣＯＤビットを１とする。これによって、見掛け上、そのブロックではまったく動きや変化がなかったものとなり、わずか１ビットの情報量だけで符号化を終えることができる。このとき、当該ブロックの再構築ブロック情報には、一つ前の時刻のフレームの当該ブロックの画像の再構築ブロックをそのまま保持する。すなわち、実際には変化があったのにもかかわらず、まったく画像の変化がなかったブロックとして処理することによって、情報量を大幅に圧縮するという手法である。
【００１９】
なお、本方法により符号化されたデータは、本来のＭＰＥＧやＨ．２６３等の規格に反していないために、そのまま通常の復号装置で復号できるという特徴がある。
【００２０】
本符号化手法によって、ＣＯＤビットが１となったブロックは前の時刻のブロックと同じ画像が表示されるために、一瞬動きが停止して見えるが、それ以降のフレームで正常な符号化が可能となった時点で、本来の画像に復帰するために、おおきく目立つことはない。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００２２】
図１は本発明を適用した「ビットレートを正確に制御できる画像符号化装置」の一実施の形態を示す、一つのブロック（マクロブロック）の符号化処理部の構成図である。図２に示した従来技術による画像の符号化処理部の構成図との違いは、「量子化特性決定部４′」および「出力ブロックデータ構築部１０′」の代わりに「量子化特性決定部４」と「非符号化決定部１４」および「出力ブロックデータ構築部１０」があるという部分である。以下、その違いのみを説明する。
【００２３】
「量子化特性決定部４」では、通常は、従來技術と同様に「累積符号量保持部１１」および「累積目標符号量演算部１３」からの入力をもとに量子化特性値を計算するが、直前の量子化特性値が上限値（例えば、３１）であり、かつ、累積符号量が目標累積符号量を上回っている場合に、「非符号化決定部１４」が非符号化ブロック処理を行う。
【００２４】
「非符号化決定部１４」において、非符号化ブロック処理が起動すると、「出力ブロックデータ構築部１０」では「量子化演算部１」の出力とは無関係に、当該ブロックを非符号化（Ｎｏｔ Ｃｏｄｅｄ）ブロックとして処理する。ＭＰＥＧやＨ．２６Ｘなどの規格では、この非符号化ブロックを示すデータビットとして、マクロブロックの先頭にＣＯＤ（Ｃｏｄｅｄ ｍａｃｒｏｂｌｏｃｋ ｉｎｄｉｃａｔｉｏｎ）ビットがあり、これが１の場合は非符号化ブロックとなり、この１ビットのみで当該ブロックの符号化が終わる。以降のフレームでは、動き補償などの処理のために、当該ブロックの再構築ブロック情報を残す必要があるが、ＣＯＤビットを１とした場合には、「動きがなかった」とみなしているので、直前のフレームの当該ブロックの画像の再構築ブロックをそのまま保持する。以上の手法によって作成された符号化画像データは、復号時には、前フレームからまったく変化のなかったフレームとして処理される。このため、このようなブロックは動きが停止して見えることとなる。
【００２５】
具体的な実施の形態について以下に説明する。以下では、映像符号化標準方式Ｈ．２６３における実施形態例を示す。
【００２６】
Ｈ．２６３では、１フレームの画像は、マクロブロックと呼ばれる１６×１６画素の並びに分割され、このマクロブロック単位で、動き補償の処理が行われる。マクロブロックがいくつか集まった単位をＧＯＢ（Ｇｒｏｕｐ ｏｆ Ｍａｃｒｏ Ｂｌｏｃｋ）と呼ぶ。Ｈ．２６３では、ＣＩＦサイズ（３５２×２８８ドット）の場合、マクロブロックが横一列に２２個並んだ細長いＧＯＢ（３５２×１６ドット）を縦に１８個重ねて１フレームとなる。ＱＣＩＦサイズ（１７６×１４４ドット）の場合、マクロブロックが横一列に１１個並んだ細長いＧＯＢ（１７６×１６ドット）を縦に９個重ねて１フレームとなる。
【００２７】
符号化装置は、適当な順でマクロブロックごとに符号化処理を進めながら、１つのマクロブロックの符号化処理が終わる度に、その時点までに発生した累積符号量とを比較し以下の式によって量子化特性値（Ｑ値）を計算する。
【００２８】
【数１】
【００２９】
ｅＧ：一つ前のフレームの符号化ビット数の、１フレームあたりの目標ビット数に対する過不足を表す指標（グローバル指標）。目標を上回っていた場合は正値をとり、下回っていた場合は負値をとる。誤差が大きいほど、指標値の絶対値も大きくなる。
【００３０】
ｅＬ：当該フレーム内の一つ前のマクロブロックまでの符号化ビット数と、当該フレーム内の一つ前までのマクロブロックの目標ビット数の差から得られる指標（ローカル指標）。グローバル指標と同じく、目標に対する誤差に応じて正、負の値をとる。
【００３１】
ＱＦ，Ｍ：Ｆ番目のフレームのＭ番目のマクロブロックのＱ値
【００３２】
【数２】
【００３３】
ＭＢ：１フレーム内のマクロブロック数
ＢＦ，Ｍ：Ｆ番目のフレームのＭ番目のマクロブロックの符号化ビツト数
【００３４】
【数３】
【００３５】
ＢＲ：目標ビットレート（ｂｉｔ／秒）
ｃＧ，ｃＬ：グローバル指標とローカル指標がＱ値の計算に及ぼす比重を決める係数。
【００３６】
符号化装置は、［数１］で与えられる量子化特性値（Ｑ値）で符号化するが、この値がＨ．２６３が定める量子化特性値（Ｑ値）の最大値である３１を越える場合、符号化処理をせず、ＣＯＤビットに１をたてる（量子化特性値（Ｑ値）の最小値の１より小さい値が得られた場合は１として符号化する）。
【００３７】
本発明の効果に関する実験について、以下に説明する。以下では、手話を話している人物の動画像をサンブルとして、非符号化ブロックによる情報量削減・画質向上の効果を実験した結果を示す。
【００３８】
入力画像は、ＣＩＦサイズ（３５２×２８８ドット）で、画面の中央に手話者の上半身が位置する。したがって、手話者の頭部より上の部分、および画面の左右の端に近い部分は背景となる。この部分に、多数の人が往来する画像を合成した画像を用意する。長さは６秒で、最初の１秒間静止の後、約５秒間の手話動作を行う。この画像に対して、次の４種類のパラメータ、方式による符号化を行った。
【００３９】
（ａ１）目標ビットレート６４ｋｂｐｓ、目標フレームレート１０ｆｐｓとして、符号化の際には特別な処理をせずに、上の行から順に均等なビット配分で符号化処理を行う。
【００４０】
（ａ２）ａ１と同じで、目標ビットレートのみ９６ｋｂｐｓとする。
【００４１】
（ｂ１）目標ビットレート６４ｋｂｐｓ、目標フレームレート１０ｆｐｓ（ａ１と同じ）で、１８個の各ＧＯＢに対するビット数の配分に傾斜をつけ、上下両端で非符号化処理を行う。人物の顔に該当する部分のＧＯＢに対して、多くのビット数の割り当てをし、そこから上（頭より上の部分に該当）や下（胴体側）に向かって次第に割り当てを小さくし、また同時に、画像の上端の人物が写らないＧＯＢや、一番下で手がほとんど移動しないＧＯＢに対して、非符号化処理を行う。
【００４２】
（ｂ２）ｂ１と同じで、目標ビットレートのみ９６ｋｂｐｓとする。
【００４３】
結果は、以下のとおりである。
【００４４】
ａ１では、すべてのフレームのすべてのマクロブロックでＱ値が上限の３１となった。これは、もうこれ以上の情報削減ができないことを意味する。その結果、フレームレートが５．４ｆｐｓ（第１フレームは全ＭＢでイントラモードとなるため、第２フレーム以降を対象としてフレームレートを計算した。以下同様）で、実際のビットレートが７７ｋｂｐｓとなった。目標の６４ｋｂｐｓを大きく上回り、実用には使えないことがわかる。
【００４５】
ｂ１でも、ほとんどすべてのマクロブロックでＱ＝３１であった（目標ビット数の傾斜処理は無意味）が、非符号化処理の効果により、ビットレートは６５．５ｋｂｐｓとなった。
【００４６】
ａ２では、目標ビットレートを上げたために、余裕が生じ、９．８ｆｐｓが得られた。しかし、ビットレートは１１７ｂｐｓとかなりオーバーしている。
【００４７】
ｂ２では、フレームレートが９．１ｆｐｓ、ビットレートが９８ｋｂｐｓで、Ｑ値も余裕が出て、平均２７．４となっている。顔の周囲など重要な部分で多くのビット数を割り当てた符号化が達成された。
【００４８】
以上の結果から、本エンコーディング方法によって、同じビットレートでも、非符号化処理を加えることによって、無駄な部分の情報量が圧縮でき、効率的な符号化が可能であることが示された。
【００４９】
なお、図１で示した装置における各部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図１で説明した処理の段階をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の段階を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。このように、記録媒体やネットワークにより提供されたプログラムをコンピュータにインストールすることで本発明が実施可能となる。
【００５０】
【発明の効果】
以上述べたとおり、本発明によれば、符号化処理に非符号化処理を加えたので、無駄な部分の情報量が圧縮でき、効率的な符号化が可能となるとともに、ビットレートを正確に制御することが可能となる。
【図面の簡単な説明】
【図１】本発明による符号化処理の一実施形態を説明する構成図
【図２】従来技術による符号化処理を説明する構成図
【符号の説明】
１…量子化演算部
２…符号化モード決定部
３…現フレームブロック情報保持部
４…量子化特性決定部
５…量子化特性保持部
６…動きベクトル保持部
７…再構築部
８…前フレームブロック情報保持部
９…動き補償・空間補償演算部
１０…出力ブロックデータ構築部
１１…累積符号量保持部
１２…目標ビットレート保持部
１３…累積目標符号量演算部
１４…非符号化決定部
【発明の属する技術分野】
本発明は、テレビ電話、テレビ会議、テレビ放送、テープやディスクなどの媒体へのビデオ記録等で、制限されたビットレートで符号化する、動画像符号化技術に関する。特に、ビットレートを正確に制御できる動画像符号化装置および方法に関する。
【０００２】
【従来の技術】
従来の、動画像符号化技術では、主に量子化特性値を調節することによって、目標ビットレートに合わせた符号化を行っていた。一般に、１枚のフレーム画像を、いくつかのブロックと呼ばれる小矩形に分割し、そのブロックごとにデジタル符号化をしていく（ＭＰＥＧ等ではマクロブロックと呼ばれるが、以下ではブロックとする）。また、以下の説明では、量子化特性値として１から３１までの整数値をとるものとし、量子化特性値が大きいほど、量子化時における符号量は少なくなるものとする。
【０００３】
図２に従来技術によるブロックの符号化処理部の構成図を示す。
【０００４】
「量子化演算部１」は、「符号化モード決定部２」より得られたイントラ／インターモードの情報に応じて、イントラモードまたは、インターモードで符号化する。イントラモードの場合、「量子化演算部１」は、「現フレームブロック情報保持部３」より入力されたブロックの画像情報をもとに「量子化特性決定部４′」より得られた量子化特性値を「量子化特性保持部５」に保持し、この量子化特性値で符号化処理を行う。インターモードの場合、「量子化演算部１」は、「現フレームブロック情報保持部３」、「動きベクトル保持部６」、「再構築部７」、「前フレームブロック情報保持部８」による動作で「動き補償・空間補償演算部９」より得られた誤差データをもとに、「量子化特性決定部４′」より得られた量子化特性値を用いて符号化処理を行う。
【０００５】
「出力ブロックデータ構築部１０′」では、「量子化演算部１」からの入力をもとに、出力ブロックデータ構造を構築し、出力する。これらの処理時、「量子化特性決定部４′」では、ＧＯＢ（Ｇｒｏｕｐ ｏｆ Ｍａｃｒｏ Ｂｌｏｃｋ）の先頭のブロックの符号化開始時などの適当な時期において、「累積符号量保持部１１」で保持された累積符号量と、「目標ビットレート保持部１２」に保持された目標ビットレートをもとに「累積目標符号量演算部１３」で演算された累積目標符号量とを比較し、累積符号量が累積目標符号量を上回っている場合は、量子化特性値を「量子化特性保持部５」において保持している量子化特性値から増加させ、逆に、累積符号量が累積目標符号量を下回っている場合は「量子化特性保持部５」において保持している量子化特性値から減少させる。
【０００６】
以上で述べたものは、ｔｗｍというプログラムで、Ｈ．２６３の画像符号化を行うものであり、非特許文献１などに開示されている。
【０００７】
【非特許文献１】
インターネット ｈｔｔｐ：／／ｗｗｗ．ｎｔａ．ｎｏ／ｂｒｕｋｅｒｅ／ＤＶＣ／ｈ２６３＿ｓｏｆｔｗａｒｅ／ 配布者 Ｔｅｌｅｎｏｒ Ｒ＆Ｄ，Ｋａｒｌ Ｏｌａｖ Ｌｉｌｌｅｖｏｌｄ、ノルウェー、２００２年２月
【０００８】
【発明が解決しようとする課題】
従来技術の説明で述べたように、量子化特性値には３１までなどの上限があり、その上限以上の値を与えるわけにはいかない。この上限の量子化特性値をもって符号化しても一定量の符号量が生じるため、目標ビットレートを大きく上回ってしまうという事態がしばしば起る。目標ビットレートを上回る符号量で符号化された場合、すべての情報を送りきれずにブロックノイズの激しい見にくい画像になったり、フレームレートが低下して不自然な動きになったりするなどの問題が生じる。
【０００９】
本発明は、上記従来の問題点を解決するためのものであり、ビットレートを正確に制御できる動画像符号化装置および方法を提供することが課題である。
【００１０】
【課題を解決するための手段】
本発明における上記の課題を解決するための一手段は、与えられたあるビットレートを目標として動画像を符号化する際、符号化処理中のブロックにおいて、直前ブロックまでの累積符号量が目標とするビットレートを上回る状態が一定フレーム数分以上連続した場合に、そのブロックは直前フレームから変化がなかったことにして、本来符号化すべき画像情報の代わりに、変化なしという情報だけを送る手段を有することによって、強力なビットレート制御を可能とすることを特徴とする動画像符号化装置である。
【００１１】
あるいは、ＭＰＥＧやＨ．２６Ｘなどの動画像符号化において、与えられたあるビットレートを目標として、１画像をブロックに区切って順に符号化する際、直前ブロックまでの累積符号量が多すぎて、目標のビットレートを上回る状態が一定フレーム数分以上連続した場合に、符号化情報の代わりに、直前フレームの当該ブロックと同じ画像であるという情報だけを送るために、ブロックの先頭に配置されたＣＯＤ（Ｃｏｄｅｄ ｍａｃｒｏｂｌｏｃｋ ｉｎｄｉｃａｔｉｏｎ）ビットを１とする手段を有することによって、わずか１ビットで当該ブロックの符号伝達を終了させることにより、強力なビットレート制御を可能とすることを特徴とする動画像符号化装置である。
【００１２】
あるいは、上記の動画像符号化装置において、符号化時に、インターモードによる符号化を行うために保持している、前フレームの当該ブロックの画像の再構築ブロック情報は、ＣＯＤビットを１とした場合には、さらにその前のフレームの当該ブロックの画像の再構築ブロックをそのまま保持する手段を有することを特徴とする動画像符号化装置である。
【００１３】
あるいは、与えられたあるビットレートを目標として動画像を符号化する際、符号化処理中のブロックにおいて、直前ブロックまでの累積符号量が目標とするビットレートを上回る状態が一定フレーム数分以上連続した場合に、そのブロックは直前フレームから変化がなかったことにして、本来符号化すべき画像情報の代わりに、変化なしという情報だけを送る段階を有することによって、強力なビットレート制御を可能とすることを特徴とする動画像符号化方法である。
【００１４】
あるいは、ＭＰＥＧやＨ．２６Ｘなどの動画像符号化において、与えられたあるビットレートを目標として、１画像をブロックに区切って順に符号化する際、直前ブロックまでの累積符号量が多すぎて、目標のビットレートを上回る状態が一定フレーム数分以上連続した場合に、符号化情報の代わりに、直前フレームの当該ブロックと同じ画像であるという情報だけを送るために、ブロックの先頭に配置されたＣＯＤ（Ｃｏｄｅｄ ｍａｃｒｏｂｌｏｃｋ ｉｎｄｉｃａｔｉｏｎ）ビットを１とする段階を有することによって、わずか１ビットで当該ブロックの符号伝達を終了させることにより、強力なビットレート制御を可能とすることを特徴とする動画像符号化方法である。
【００１５】
あるいは、上記の動画像符号化方法において、符号化時に、インターモードによる符号化を行うために保持している、前フレームの当該ブロックの画像の再構築ブロック情報は、ＣＯＤビットを１とした場合には、さらにその前のフレームの当該ブロックの画像の再構築ブロックをそのまま保持する段階を有することを特徴とする動画像符号化方法である。
【００１６】
あるいは、上記の動画像符号化方法における段階を、コンピュータに実行させるためのプログラムとしたことを特徴とする動画像符号化プログラムである。
【００１７】
あるいは、上記の動画像符号化方法における段階を、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする動画像符号化プログラムを記録した記録媒体。
【００１８】
本発明では、本来、一つ前のフレームとの間でそのブロックの画像がまったく変化しなかった場合に使用される、ＣＯＤ（Ｃｏｄｅｄ ｍａｃｒｏｂｌｏｃｋ ｉｎｄｉｃａｔｉｏｎ）ビットを利用して、目標ビットレートを大幅に上回っているのに、量子化特性値も上限まで上昇し、これ以上の情報削減が不可能になった時に、ＣＯＤビットを１とする。これによって、見掛け上、そのブロックではまったく動きや変化がなかったものとなり、わずか１ビットの情報量だけで符号化を終えることができる。このとき、当該ブロックの再構築ブロック情報には、一つ前の時刻のフレームの当該ブロックの画像の再構築ブロックをそのまま保持する。すなわち、実際には変化があったのにもかかわらず、まったく画像の変化がなかったブロックとして処理することによって、情報量を大幅に圧縮するという手法である。
【００１９】
なお、本方法により符号化されたデータは、本来のＭＰＥＧやＨ．２６３等の規格に反していないために、そのまま通常の復号装置で復号できるという特徴がある。
【００２０】
本符号化手法によって、ＣＯＤビットが１となったブロックは前の時刻のブロックと同じ画像が表示されるために、一瞬動きが停止して見えるが、それ以降のフレームで正常な符号化が可能となった時点で、本来の画像に復帰するために、おおきく目立つことはない。
【００２１】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００２２】
図１は本発明を適用した「ビットレートを正確に制御できる画像符号化装置」の一実施の形態を示す、一つのブロック（マクロブロック）の符号化処理部の構成図である。図２に示した従来技術による画像の符号化処理部の構成図との違いは、「量子化特性決定部４′」および「出力ブロックデータ構築部１０′」の代わりに「量子化特性決定部４」と「非符号化決定部１４」および「出力ブロックデータ構築部１０」があるという部分である。以下、その違いのみを説明する。
【００２３】
「量子化特性決定部４」では、通常は、従來技術と同様に「累積符号量保持部１１」および「累積目標符号量演算部１３」からの入力をもとに量子化特性値を計算するが、直前の量子化特性値が上限値（例えば、３１）であり、かつ、累積符号量が目標累積符号量を上回っている場合に、「非符号化決定部１４」が非符号化ブロック処理を行う。
【００２４】
「非符号化決定部１４」において、非符号化ブロック処理が起動すると、「出力ブロックデータ構築部１０」では「量子化演算部１」の出力とは無関係に、当該ブロックを非符号化（Ｎｏｔ Ｃｏｄｅｄ）ブロックとして処理する。ＭＰＥＧやＨ．２６Ｘなどの規格では、この非符号化ブロックを示すデータビットとして、マクロブロックの先頭にＣＯＤ（Ｃｏｄｅｄ ｍａｃｒｏｂｌｏｃｋ ｉｎｄｉｃａｔｉｏｎ）ビットがあり、これが１の場合は非符号化ブロックとなり、この１ビットのみで当該ブロックの符号化が終わる。以降のフレームでは、動き補償などの処理のために、当該ブロックの再構築ブロック情報を残す必要があるが、ＣＯＤビットを１とした場合には、「動きがなかった」とみなしているので、直前のフレームの当該ブロックの画像の再構築ブロックをそのまま保持する。以上の手法によって作成された符号化画像データは、復号時には、前フレームからまったく変化のなかったフレームとして処理される。このため、このようなブロックは動きが停止して見えることとなる。
【００２５】
具体的な実施の形態について以下に説明する。以下では、映像符号化標準方式Ｈ．２６３における実施形態例を示す。
【００２６】
Ｈ．２６３では、１フレームの画像は、マクロブロックと呼ばれる１６×１６画素の並びに分割され、このマクロブロック単位で、動き補償の処理が行われる。マクロブロックがいくつか集まった単位をＧＯＢ（Ｇｒｏｕｐ ｏｆ Ｍａｃｒｏ Ｂｌｏｃｋ）と呼ぶ。Ｈ．２６３では、ＣＩＦサイズ（３５２×２８８ドット）の場合、マクロブロックが横一列に２２個並んだ細長いＧＯＢ（３５２×１６ドット）を縦に１８個重ねて１フレームとなる。ＱＣＩＦサイズ（１７６×１４４ドット）の場合、マクロブロックが横一列に１１個並んだ細長いＧＯＢ（１７６×１６ドット）を縦に９個重ねて１フレームとなる。
【００２７】
符号化装置は、適当な順でマクロブロックごとに符号化処理を進めながら、１つのマクロブロックの符号化処理が終わる度に、その時点までに発生した累積符号量とを比較し以下の式によって量子化特性値（Ｑ値）を計算する。
【００２８】
【数１】
ｅＧ：一つ前のフレームの符号化ビット数の、１フレームあたりの目標ビット数に対する過不足を表す指標（グローバル指標）。目標を上回っていた場合は正値をとり、下回っていた場合は負値をとる。誤差が大きいほど、指標値の絶対値も大きくなる。
【００３０】
ｅＬ：当該フレーム内の一つ前のマクロブロックまでの符号化ビット数と、当該フレーム内の一つ前までのマクロブロックの目標ビット数の差から得られる指標（ローカル指標）。グローバル指標と同じく、目標に対する誤差に応じて正、負の値をとる。
【００３１】
ＱＦ，Ｍ：Ｆ番目のフレームのＭ番目のマクロブロックのＱ値
【００３２】
【数２】
ＭＢ：１フレーム内のマクロブロック数
ＢＦ，Ｍ：Ｆ番目のフレームのＭ番目のマクロブロックの符号化ビツト数
【００３４】
【数３】
ＢＲ：目標ビットレート（ｂｉｔ／秒）
ｃＧ，ｃＬ：グローバル指標とローカル指標がＱ値の計算に及ぼす比重を決める係数。
【００３６】
符号化装置は、［数１］で与えられる量子化特性値（Ｑ値）で符号化するが、この値がＨ．２６３が定める量子化特性値（Ｑ値）の最大値である３１を越える場合、符号化処理をせず、ＣＯＤビットに１をたてる（量子化特性値（Ｑ値）の最小値の１より小さい値が得られた場合は１として符号化する）。
【００３７】
本発明の効果に関する実験について、以下に説明する。以下では、手話を話している人物の動画像をサンブルとして、非符号化ブロックによる情報量削減・画質向上の効果を実験した結果を示す。
【００３８】
入力画像は、ＣＩＦサイズ（３５２×２８８ドット）で、画面の中央に手話者の上半身が位置する。したがって、手話者の頭部より上の部分、および画面の左右の端に近い部分は背景となる。この部分に、多数の人が往来する画像を合成した画像を用意する。長さは６秒で、最初の１秒間静止の後、約５秒間の手話動作を行う。この画像に対して、次の４種類のパラメータ、方式による符号化を行った。
【００３９】
（ａ１）目標ビットレート６４ｋｂｐｓ、目標フレームレート１０ｆｐｓとして、符号化の際には特別な処理をせずに、上の行から順に均等なビット配分で符号化処理を行う。
【００４０】
（ａ２）ａ１と同じで、目標ビットレートのみ９６ｋｂｐｓとする。
【００４１】
（ｂ１）目標ビットレート６４ｋｂｐｓ、目標フレームレート１０ｆｐｓ（ａ１と同じ）で、１８個の各ＧＯＢに対するビット数の配分に傾斜をつけ、上下両端で非符号化処理を行う。人物の顔に該当する部分のＧＯＢに対して、多くのビット数の割り当てをし、そこから上（頭より上の部分に該当）や下（胴体側）に向かって次第に割り当てを小さくし、また同時に、画像の上端の人物が写らないＧＯＢや、一番下で手がほとんど移動しないＧＯＢに対して、非符号化処理を行う。
【００４２】
（ｂ２）ｂ１と同じで、目標ビットレートのみ９６ｋｂｐｓとする。
【００４３】
結果は、以下のとおりである。
【００４４】
ａ１では、すべてのフレームのすべてのマクロブロックでＱ値が上限の３１となった。これは、もうこれ以上の情報削減ができないことを意味する。その結果、フレームレートが５．４ｆｐｓ（第１フレームは全ＭＢでイントラモードとなるため、第２フレーム以降を対象としてフレームレートを計算した。以下同様）で、実際のビットレートが７７ｋｂｐｓとなった。目標の６４ｋｂｐｓを大きく上回り、実用には使えないことがわかる。
【００４５】
ｂ１でも、ほとんどすべてのマクロブロックでＱ＝３１であった（目標ビット数の傾斜処理は無意味）が、非符号化処理の効果により、ビットレートは６５．５ｋｂｐｓとなった。
【００４６】
ａ２では、目標ビットレートを上げたために、余裕が生じ、９．８ｆｐｓが得られた。しかし、ビットレートは１１７ｂｐｓとかなりオーバーしている。
【００４７】
ｂ２では、フレームレートが９．１ｆｐｓ、ビットレートが９８ｋｂｐｓで、Ｑ値も余裕が出て、平均２７．４となっている。顔の周囲など重要な部分で多くのビット数を割り当てた符号化が達成された。
【００４８】
以上の結果から、本エンコーディング方法によって、同じビットレートでも、非符号化処理を加えることによって、無駄な部分の情報量が圧縮でき、効率的な符号化が可能であることが示された。
【００４９】
なお、図１で示した装置における各部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図１で説明した処理の段階をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の段階を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスクや、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。このように、記録媒体やネットワークにより提供されたプログラムをコンピュータにインストールすることで本発明が実施可能となる。
【００５０】
【発明の効果】
以上述べたとおり、本発明によれば、符号化処理に非符号化処理を加えたので、無駄な部分の情報量が圧縮でき、効率的な符号化が可能となるとともに、ビットレートを正確に制御することが可能となる。
【図面の簡単な説明】
【図１】本発明による符号化処理の一実施形態を説明する構成図
【図２】従来技術による符号化処理を説明する構成図
【符号の説明】
１…量子化演算部
２…符号化モード決定部
３…現フレームブロック情報保持部
４…量子化特性決定部
５…量子化特性保持部
６…動きベクトル保持部
７…再構築部
８…前フレームブロック情報保持部
９…動き補償・空間補償演算部
１０…出力ブロックデータ構築部
１１…累積符号量保持部
１２…目標ビットレート保持部
１３…累積目標符号量演算部
１４…非符号化決定部
Claims (8)
- 与えられたあるビットレートを目標として動画像を符号化する際、符号化処理中のブロックにおいて、直前ブロックまでの累積符号量が目標とするビットレートを上回る状態が一定フレーム数分以上連続した場合に、そのブロックは直前フレームから変化がなかったことにして、本来符号化すべき画像情報の代わりに、変化なしという情報だけを送る手段を有することを特徴とする動画像符号化装置。
- 与えられたあるビットレートを目標として、１画像をブロックに区切って順に符号化する際、直前ブロックまでの累積符号量が多すぎて、目標のビットレートを上回る状態が一定フレーム数分以上連続した場合に、符号化情報の代わりに、直前フレームの当該ブロックと同じ画像であるという情報だけを送るために、ブロックの先頭に配置されたＣＯＤ（Ｃｏｄｅｄ ｍａｃｒｏｂｌｏｃｋ ｉｎｄｉｃａｔｉｏｎ）ビットを１とする手段を有することを特徴とする動画像符号化装置。
- 請求項２に記載の動画像符号化装置において、符号化時に、インターモードによる符号化を行うために保持している、前フレームの当該ブロックの画像の再構築ブロック情報は、ＣＯＤビットを１とした場合には、さらにその前のフレームの当該ブロックの画像の再構築ブロックをそのまま保持する手段を有することを特徴とする動画像符号化装置。
- 与えられたあるビットレートを目標として動画像を符号化する際、符号化処理中のブロックにおいて、直前ブロックまでの累積符号量が目標とするビットレートを上回る状態が一定フレーム数分以上連続した場合に、そのブロックは直前フレームから変化がなかったことにして、本来符号化すべき画像情報の代わりに、変化なしという情報だけを送る段階を有することを特徴とする動画像符号化方法。
- 与えられたあるビットレートを目標として、１画像をブロックに区切って順に符号化する際、直前ブロックまでの累積符号量が多すぎて、目標のビットレートを上回る状態が一定フレーム数分以上連続した場合に、符号化情報の代わりに、直前フレームの当該ブロックと同じ画像であるという情報だけを送るために、ブロックの先頭に配置されたＣＯＤ（Ｃｏｄｅｄ ｍａｃｒｏｂｌｏｃｋ ｉｎｄｉｃａｔｉｏｎ）ビットを１とする段階を有することを特徴とする動画像符号化方法。
- 請求項５に記載の動画像符号化方法において、符号化時に、インターモードによる符号化を行うために保持している、前フレームの当該ブロックの画像の再構築ブロック情報は、ＣＯＤビットを１とした場合には、さらにその前のフレームの当該ブロックの画像の再構築ブロックをそのまま保持する段階を有することを特徴とする動画像符号化方法。
- 請求項４ないし６のいずれかに記載の動画像符号化方法における段階を、コンピュータに実行させるためのプログラムとしたことを特徴とする動画像符号化プログラム。
- 請求項４ないし６のいずれかに記載の動画像符号化方法における段階を、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする動画像符号化プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003186117A JP2005020653A (ja) | 2003-06-30 | 2003-06-30 | 動画像符号化装置とその方法、およびそのプログラムとそのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003186117A JP2005020653A (ja) | 2003-06-30 | 2003-06-30 | 動画像符号化装置とその方法、およびそのプログラムとそのプログラムを記録した記録媒体 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2005020653A true JP2005020653A (ja) | 2005-01-20 |
Family
ID=34185332
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003186117A Pending JP2005020653A (ja) | 2003-06-30 | 2003-06-30 | 動画像符号化装置とその方法、およびそのプログラムとそのプログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2005020653A (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100463523C (zh) * | 2005-01-31 | 2009-02-18 | 联发科技股份有限公司 | 帧层速率控制的视讯编码方法和*** |
-
2003
- 2003-06-30 JP JP2003186117A patent/JP2005020653A/ja active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100463523C (zh) * | 2005-01-31 | 2009-02-18 | 联发科技股份有限公司 | 帧层速率控制的视讯编码方法和*** |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9762917B2 (en) | Quantization method and apparatus in encoding/decoding | |
| US8374236B2 (en) | Method and apparatus for improving the average image refresh rate in a compressed video bitstream | |
| US7289562B2 (en) | Adaptive filter to improve H-264 video quality | |
| CN109788316B (zh) | 码率控制、视频转码方法与装置、计算机设备及存储介质 | |
| EP1727373A2 (en) | Method and apparatus for controlling loop filtering or post filtering in block based motion compensated video coding | |
| JPH08181992A (ja) | 動画像符号化装置および領域抽出装置 | |
| JPH07322252A (ja) | 画像符号化装置 | |
| JP2003517796A (ja) | 「ムラのあるピクチャ」効果を減らす方法 | |
| JP2024015184A (ja) | 画像復号装置及び方法及びプログラム | |
| JP2004523985A (ja) | ビデオ符号化方法及びこれに対応する符号化装置 | |
| JP2023164601A (ja) | 画像符号化装置、画像符号化方法、及びプログラム、画像復号装置、画像復号方法、及びプログラム | |
| JP2000134631A (ja) | 画像符号化装置、方法、画像復号化装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
| JP2004040811A (ja) | 動映像符号化のためのｄｃｔ演算量調節方法及びその装置 | |
| JP2003061093A (ja) | 能動的テーブル生成による量子化／逆量子化方法および装置 | |
| JP2005020653A (ja) | 動画像符号化装置とその方法、およびそのプログラムとそのプログラムを記録した記録媒体 | |
| JP3775630B2 (ja) | 動画像の領域分割符号化装置 | |
| JP3779066B2 (ja) | 動画像符号化装置 | |
| TW202025747A (zh) | 圖像編碼裝置、圖像解碼裝置、其等之控制方法及程式 | |
| JP3005147B2 (ja) | 動画像符号化装置 | |
| JP2005341347A (ja) | 多地点接続装置および方法 | |
| JPH0638191A (ja) | 動画像信号符号化装置 | |
| JP7358136B2 (ja) | 画像符号化装置、画像符号化方法、及びプログラム、画像復号装置、画像復号方法、及びプログラム | |
| JPH08256337A (ja) | 動画像符号化装置 | |
| JP2008537866A (ja) | 量子化誤差を低減する方法および装置 | |
| JPH0638196A (ja) | 動画像符号化装置 |