JP2005020653A - 動画像符号化装置とその方法、およびそのプログラムとそのプログラムを記録した記録媒体 - Google Patents
動画像符号化装置とその方法、およびそのプログラムとそのプログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP2005020653A JP2005020653A JP2003186117A JP2003186117A JP2005020653A JP 2005020653 A JP2005020653 A JP 2005020653A JP 2003186117 A JP2003186117 A JP 2003186117A JP 2003186117 A JP2003186117 A JP 2003186117A JP 2005020653 A JP2005020653 A JP 2005020653A
- Authority
- JP
- Japan
- Prior art keywords
- block
- encoding
- image
- information
- bit rate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Abstract
【課題】ビットレートを正確に制御できる符号化装置及び方法を提供する。
【解決手段】符号化処理において、本来、一つ前のフレームとの間でそのブロックの画像が全く変化しなかった場合に使用されるCODビットを利用して、目標ビットレートを大幅に上回っているのに量子化特性値が上限まで上昇し、これ以上の情報削減が不可能になった時に、非符号化決定部14により、出力ブロックデータ構築部10ではCODビットを1とする。これにより見掛け上、そのブロックでは全く動きや変化がなかったものとなり、符号化を終えることができる。この時、出力ブロックデータ構築部10では、当該ブロックの再構築ブロック情報に、一つ前の時刻のフレームの当該ブロックの画像の再構築ブロックをそのまま保持する。即ち、実際には変化があったにもかかわらず、全く画像の変化がなかったブロックとして処理することで情報量を大幅に圧縮する。
【選択図】 図1
【解決手段】符号化処理において、本来、一つ前のフレームとの間でそのブロックの画像が全く変化しなかった場合に使用されるCODビットを利用して、目標ビットレートを大幅に上回っているのに量子化特性値が上限まで上昇し、これ以上の情報削減が不可能になった時に、非符号化決定部14により、出力ブロックデータ構築部10ではCODビットを1とする。これにより見掛け上、そのブロックでは全く動きや変化がなかったものとなり、符号化を終えることができる。この時、出力ブロックデータ構築部10では、当該ブロックの再構築ブロック情報に、一つ前の時刻のフレームの当該ブロックの画像の再構築ブロックをそのまま保持する。即ち、実際には変化があったにもかかわらず、全く画像の変化がなかったブロックとして処理することで情報量を大幅に圧縮する。
【選択図】 図1
Description
【0001】
【発明の属する技術分野】
本発明は、テレビ電話、テレビ会議、テレビ放送、テープやディスクなどの媒体へのビデオ記録等で、制限されたビットレートで符号化する、動画像符号化技術に関する。特に、ビットレートを正確に制御できる動画像符号化装置および方法に関する。
【0002】
【従来の技術】
従来の、動画像符号化技術では、主に量子化特性値を調節することによって、目標ビットレートに合わせた符号化を行っていた。一般に、1枚のフレーム画像を、いくつかのブロックと呼ばれる小矩形に分割し、そのブロックごとにデジタル符号化をしていく(MPEG等ではマクロブロックと呼ばれるが、以下ではブロックとする)。また、以下の説明では、量子化特性値として1から31までの整数値をとるものとし、量子化特性値が大きいほど、量子化時における符号量は少なくなるものとする。
【0003】
図2に従来技術によるブロックの符号化処理部の構成図を示す。
【0004】
「量子化演算部1」は、「符号化モード決定部2」より得られたイントラ/インターモードの情報に応じて、イントラモードまたは、インターモードで符号化する。イントラモードの場合、「量子化演算部1」は、「現フレームブロック情報保持部3」より入力されたブロックの画像情報をもとに「量子化特性決定部4′」より得られた量子化特性値を「量子化特性保持部5」に保持し、この量子化特性値で符号化処理を行う。インターモードの場合、「量子化演算部1」は、「現フレームブロック情報保持部3」、「動きベクトル保持部6」、「再構築部7」、「前フレームブロック情報保持部8」による動作で「動き補償・空間補償演算部9」より得られた誤差データをもとに、「量子化特性決定部4′」より得られた量子化特性値を用いて符号化処理を行う。
【0005】
「出力ブロックデータ構築部10′」では、「量子化演算部1」からの入力をもとに、出力ブロックデータ構造を構築し、出力する。これらの処理時、「量子化特性決定部4′」では、GOB(Group of Macro Block)の先頭のブロックの符号化開始時などの適当な時期において、「累積符号量保持部11」で保持された累積符号量と、「目標ビットレート保持部12」に保持された目標ビットレートをもとに「累積目標符号量演算部13」で演算された累積目標符号量とを比較し、累積符号量が累積目標符号量を上回っている場合は、量子化特性値を「量子化特性保持部5」において保持している量子化特性値から増加させ、逆に、累積符号量が累積目標符号量を下回っている場合は「量子化特性保持部5」において保持している量子化特性値から減少させる。
【0006】
以上で述べたものは、twmというプログラムで、H.263の画像符号化を行うものであり、非特許文献1などに開示されている。
【0007】
【非特許文献1】
インターネット http://www.nta.no/brukere/DVC/h263_software/ 配布者 Telenor R&D,Karl Olav Lillevold、ノルウェー、2002年2月
【0008】
【発明が解決しようとする課題】
従来技術の説明で述べたように、量子化特性値には31までなどの上限があり、その上限以上の値を与えるわけにはいかない。この上限の量子化特性値をもって符号化しても一定量の符号量が生じるため、目標ビットレートを大きく上回ってしまうという事態がしばしば起る。目標ビットレートを上回る符号量で符号化された場合、すべての情報を送りきれずにブロックノイズの激しい見にくい画像になったり、フレームレートが低下して不自然な動きになったりするなどの問題が生じる。
【0009】
本発明は、上記従来の問題点を解決するためのものであり、ビットレートを正確に制御できる動画像符号化装置および方法を提供することが課題である。
【0010】
【課題を解決するための手段】
本発明における上記の課題を解決するための一手段は、与えられたあるビットレートを目標として動画像を符号化する際、符号化処理中のブロックにおいて、直前ブロックまでの累積符号量が目標とするビットレートを上回る状態が一定フレーム数分以上連続した場合に、そのブロックは直前フレームから変化がなかったことにして、本来符号化すべき画像情報の代わりに、変化なしという情報だけを送る手段を有することによって、強力なビットレート制御を可能とすることを特徴とする動画像符号化装置である。
【0011】
あるいは、MPEGやH.26Xなどの動画像符号化において、与えられたあるビットレートを目標として、1画像をブロックに区切って順に符号化する際、直前ブロックまでの累積符号量が多すぎて、目標のビットレートを上回る状態が一定フレーム数分以上連続した場合に、符号化情報の代わりに、直前フレームの当該ブロックと同じ画像であるという情報だけを送るために、ブロックの先頭に配置されたCOD(Coded macroblock indication)ビットを1とする手段を有することによって、わずか1ビットで当該ブロックの符号伝達を終了させることにより、強力なビットレート制御を可能とすることを特徴とする動画像符号化装置である。
【0012】
あるいは、上記の動画像符号化装置において、符号化時に、インターモードによる符号化を行うために保持している、前フレームの当該ブロックの画像の再構築ブロック情報は、CODビットを1とした場合には、さらにその前のフレームの当該ブロックの画像の再構築ブロックをそのまま保持する手段を有することを特徴とする動画像符号化装置である。
【0013】
あるいは、与えられたあるビットレートを目標として動画像を符号化する際、符号化処理中のブロックにおいて、直前ブロックまでの累積符号量が目標とするビットレートを上回る状態が一定フレーム数分以上連続した場合に、そのブロックは直前フレームから変化がなかったことにして、本来符号化すべき画像情報の代わりに、変化なしという情報だけを送る段階を有することによって、強力なビットレート制御を可能とすることを特徴とする動画像符号化方法である。
【0014】
あるいは、MPEGやH.26Xなどの動画像符号化において、与えられたあるビットレートを目標として、1画像をブロックに区切って順に符号化する際、直前ブロックまでの累積符号量が多すぎて、目標のビットレートを上回る状態が一定フレーム数分以上連続した場合に、符号化情報の代わりに、直前フレームの当該ブロックと同じ画像であるという情報だけを送るために、ブロックの先頭に配置されたCOD(Coded macroblock indication)ビットを1とする段階を有することによって、わずか1ビットで当該ブロックの符号伝達を終了させることにより、強力なビットレート制御を可能とすることを特徴とする動画像符号化方法である。
【0015】
あるいは、上記の動画像符号化方法において、符号化時に、インターモードによる符号化を行うために保持している、前フレームの当該ブロックの画像の再構築ブロック情報は、CODビットを1とした場合には、さらにその前のフレームの当該ブロックの画像の再構築ブロックをそのまま保持する段階を有することを特徴とする動画像符号化方法である。
【0016】
あるいは、上記の動画像符号化方法における段階を、コンピュータに実行させるためのプログラムとしたことを特徴とする動画像符号化プログラムである。
【0017】
あるいは、上記の動画像符号化方法における段階を、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする動画像符号化プログラムを記録した記録媒体。
【0018】
本発明では、本来、一つ前のフレームとの間でそのブロックの画像がまったく変化しなかった場合に使用される、COD(Coded macroblock indication)ビットを利用して、目標ビットレートを大幅に上回っているのに、量子化特性値も上限まで上昇し、これ以上の情報削減が不可能になった時に、CODビットを1とする。これによって、見掛け上、そのブロックではまったく動きや変化がなかったものとなり、わずか1ビットの情報量だけで符号化を終えることができる。このとき、当該ブロックの再構築ブロック情報には、一つ前の時刻のフレームの当該ブロックの画像の再構築ブロックをそのまま保持する。すなわち、実際には変化があったのにもかかわらず、まったく画像の変化がなかったブロックとして処理することによって、情報量を大幅に圧縮するという手法である。
【0019】
なお、本方法により符号化されたデータは、本来のMPEGやH.263等の規格に反していないために、そのまま通常の復号装置で復号できるという特徴がある。
【0020】
本符号化手法によって、CODビットが1となったブロックは前の時刻のブロックと同じ画像が表示されるために、一瞬動きが停止して見えるが、それ以降のフレームで正常な符号化が可能となった時点で、本来の画像に復帰するために、おおきく目立つことはない。
【0021】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【0022】
図1は本発明を適用した「ビットレートを正確に制御できる画像符号化装置」の一実施の形態を示す、一つのブロック(マクロブロック)の符号化処理部の構成図である。図2に示した従来技術による画像の符号化処理部の構成図との違いは、「量子化特性決定部4′」および「出力ブロックデータ構築部10′」の代わりに「量子化特性決定部4」と「非符号化決定部14」および「出力ブロックデータ構築部10」があるという部分である。以下、その違いのみを説明する。
【0023】
「量子化特性決定部4」では、通常は、従來技術と同様に「累積符号量保持部11」および「累積目標符号量演算部13」からの入力をもとに量子化特性値を計算するが、直前の量子化特性値が上限値(例えば、31)であり、かつ、累積符号量が目標累積符号量を上回っている場合に、「非符号化決定部14」が非符号化ブロック処理を行う。
【0024】
「非符号化決定部14」において、非符号化ブロック処理が起動すると、「出力ブロックデータ構築部10」では「量子化演算部1」の出力とは無関係に、当該ブロックを非符号化(Not Coded)ブロックとして処理する。MPEGやH.26Xなどの規格では、この非符号化ブロックを示すデータビットとして、マクロブロックの先頭にCOD(Coded macroblock indication)ビットがあり、これが1の場合は非符号化ブロックとなり、この1ビットのみで当該ブロックの符号化が終わる。以降のフレームでは、動き補償などの処理のために、当該ブロックの再構築ブロック情報を残す必要があるが、CODビットを1とした場合には、「動きがなかった」とみなしているので、直前のフレームの当該ブロックの画像の再構築ブロックをそのまま保持する。以上の手法によって作成された符号化画像データは、復号時には、前フレームからまったく変化のなかったフレームとして処理される。このため、このようなブロックは動きが停止して見えることとなる。
【0025】
具体的な実施の形態について以下に説明する。以下では、映像符号化標準方式H.263における実施形態例を示す。
【0026】
H.263では、1フレームの画像は、マクロブロックと呼ばれる16×16画素の並びに分割され、このマクロブロック単位で、動き補償の処理が行われる。マクロブロックがいくつか集まった単位をGOB(Group of Macro Block)と呼ぶ。H.263では、CIFサイズ(352×288ドット)の場合、マクロブロックが横一列に22個並んだ細長いGOB(352×16ドット)を縦に18個重ねて1フレームとなる。QCIFサイズ(176×144ドット)の場合、マクロブロックが横一列に11個並んだ細長いGOB(176×16ドット)を縦に9個重ねて1フレームとなる。
【0027】
符号化装置は、適当な順でマクロブロックごとに符号化処理を進めながら、1つのマクロブロックの符号化処理が終わる度に、その時点までに発生した累積符号量とを比較し以下の式によって量子化特性値(Q値)を計算する。
【0028】
【数1】
【0029】
eG:一つ前のフレームの符号化ビット数の、1フレームあたりの目標ビット数に対する過不足を表す指標(グローバル指標)。目標を上回っていた場合は正値をとり、下回っていた場合は負値をとる。誤差が大きいほど、指標値の絶対値も大きくなる。
【0030】
eL:当該フレーム内の一つ前のマクロブロックまでの符号化ビット数と、当該フレーム内の一つ前までのマクロブロックの目標ビット数の差から得られる指標(ローカル指標)。グローバル指標と同じく、目標に対する誤差に応じて正、負の値をとる。
【0031】
QF,M:F番目のフレームのM番目のマクロブロックのQ値
【0032】
【数2】
【0033】
MB:1フレーム内のマクロブロック数
BF,M:F番目のフレームのM番目のマクロブロックの符号化ビツト数
【0034】
【数3】
【0035】
BR:目標ビットレート(bit/秒)
cG,cL:グローバル指標とローカル指標がQ値の計算に及ぼす比重を決める係数。
【0036】
符号化装置は、[数1]で与えられる量子化特性値(Q値)で符号化するが、この値がH.263が定める量子化特性値(Q値)の最大値である31を越える場合、符号化処理をせず、CODビットに1をたてる(量子化特性値(Q値)の最小値の1より小さい値が得られた場合は1として符号化する)。
【0037】
本発明の効果に関する実験について、以下に説明する。以下では、手話を話している人物の動画像をサンブルとして、非符号化ブロックによる情報量削減・画質向上の効果を実験した結果を示す。
【0038】
入力画像は、CIFサイズ(352×288ドット)で、画面の中央に手話者の上半身が位置する。したがって、手話者の頭部より上の部分、および画面の左右の端に近い部分は背景となる。この部分に、多数の人が往来する画像を合成した画像を用意する。長さは6秒で、最初の1秒間静止の後、約5秒間の手話動作を行う。この画像に対して、次の4種類のパラメータ、方式による符号化を行った。
【0039】
(a1)目標ビットレート64kbps、目標フレームレート10fpsとして、符号化の際には特別な処理をせずに、上の行から順に均等なビット配分で符号化処理を行う。
【0040】
(a2)a1と同じで、目標ビットレートのみ96kbpsとする。
【0041】
(b1)目標ビットレート64kbps、目標フレームレート10fps(a1と同じ)で、18個の各GOBに対するビット数の配分に傾斜をつけ、上下両端で非符号化処理を行う。人物の顔に該当する部分のGOBに対して、多くのビット数の割り当てをし、そこから上(頭より上の部分に該当)や下(胴体側)に向かって次第に割り当てを小さくし、また同時に、画像の上端の人物が写らないGOBや、一番下で手がほとんど移動しないGOBに対して、非符号化処理を行う。
【0042】
(b2)b1と同じで、目標ビットレートのみ96kbpsとする。
【0043】
結果は、以下のとおりである。
【0044】
a1では、すべてのフレームのすべてのマクロブロックでQ値が上限の31となった。これは、もうこれ以上の情報削減ができないことを意味する。その結果、フレームレートが5.4fps(第1フレームは全MBでイントラモードとなるため、第2フレーム以降を対象としてフレームレートを計算した。以下同様)で、実際のビットレートが77kbpsとなった。目標の64kbpsを大きく上回り、実用には使えないことがわかる。
【0045】
b1でも、ほとんどすべてのマクロブロックでQ=31であった(目標ビット数の傾斜処理は無意味)が、非符号化処理の効果により、ビットレートは65.5kbpsとなった。
【0046】
a2では、目標ビットレートを上げたために、余裕が生じ、9.8fpsが得られた。しかし、ビットレートは117bpsとかなりオーバーしている。
【0047】
b2では、フレームレートが9.1fps、ビットレートが98kbpsで、Q値も余裕が出て、平均27.4となっている。顔の周囲など重要な部分で多くのビット数を割り当てた符号化が達成された。
【0048】
以上の結果から、本エンコーディング方法によって、同じビットレートでも、非符号化処理を加えることによって、無駄な部分の情報量が圧縮でき、効率的な符号化が可能であることが示された。
【0049】
なお、図1で示した装置における各部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図1で説明した処理の段階をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の段階を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスクや、MO、ROM、メモリカード、CD、DVD、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。このように、記録媒体やネットワークにより提供されたプログラムをコンピュータにインストールすることで本発明が実施可能となる。
【0050】
【発明の効果】
以上述べたとおり、本発明によれば、符号化処理に非符号化処理を加えたので、無駄な部分の情報量が圧縮でき、効率的な符号化が可能となるとともに、ビットレートを正確に制御することが可能となる。
【図面の簡単な説明】
【図1】本発明による符号化処理の一実施形態を説明する構成図
【図2】従来技術による符号化処理を説明する構成図
【符号の説明】
1…量子化演算部
2…符号化モード決定部
3…現フレームブロック情報保持部
4…量子化特性決定部
5…量子化特性保持部
6…動きベクトル保持部
7…再構築部
8…前フレームブロック情報保持部
9…動き補償・空間補償演算部
10…出力ブロックデータ構築部
11…累積符号量保持部
12…目標ビットレート保持部
13…累積目標符号量演算部
14…非符号化決定部
【発明の属する技術分野】
本発明は、テレビ電話、テレビ会議、テレビ放送、テープやディスクなどの媒体へのビデオ記録等で、制限されたビットレートで符号化する、動画像符号化技術に関する。特に、ビットレートを正確に制御できる動画像符号化装置および方法に関する。
【0002】
【従来の技術】
従来の、動画像符号化技術では、主に量子化特性値を調節することによって、目標ビットレートに合わせた符号化を行っていた。一般に、1枚のフレーム画像を、いくつかのブロックと呼ばれる小矩形に分割し、そのブロックごとにデジタル符号化をしていく(MPEG等ではマクロブロックと呼ばれるが、以下ではブロックとする)。また、以下の説明では、量子化特性値として1から31までの整数値をとるものとし、量子化特性値が大きいほど、量子化時における符号量は少なくなるものとする。
【0003】
図2に従来技術によるブロックの符号化処理部の構成図を示す。
【0004】
「量子化演算部1」は、「符号化モード決定部2」より得られたイントラ/インターモードの情報に応じて、イントラモードまたは、インターモードで符号化する。イントラモードの場合、「量子化演算部1」は、「現フレームブロック情報保持部3」より入力されたブロックの画像情報をもとに「量子化特性決定部4′」より得られた量子化特性値を「量子化特性保持部5」に保持し、この量子化特性値で符号化処理を行う。インターモードの場合、「量子化演算部1」は、「現フレームブロック情報保持部3」、「動きベクトル保持部6」、「再構築部7」、「前フレームブロック情報保持部8」による動作で「動き補償・空間補償演算部9」より得られた誤差データをもとに、「量子化特性決定部4′」より得られた量子化特性値を用いて符号化処理を行う。
【0005】
「出力ブロックデータ構築部10′」では、「量子化演算部1」からの入力をもとに、出力ブロックデータ構造を構築し、出力する。これらの処理時、「量子化特性決定部4′」では、GOB(Group of Macro Block)の先頭のブロックの符号化開始時などの適当な時期において、「累積符号量保持部11」で保持された累積符号量と、「目標ビットレート保持部12」に保持された目標ビットレートをもとに「累積目標符号量演算部13」で演算された累積目標符号量とを比較し、累積符号量が累積目標符号量を上回っている場合は、量子化特性値を「量子化特性保持部5」において保持している量子化特性値から増加させ、逆に、累積符号量が累積目標符号量を下回っている場合は「量子化特性保持部5」において保持している量子化特性値から減少させる。
【0006】
以上で述べたものは、twmというプログラムで、H.263の画像符号化を行うものであり、非特許文献1などに開示されている。
【0007】
【非特許文献1】
インターネット http://www.nta.no/brukere/DVC/h263_software/ 配布者 Telenor R&D,Karl Olav Lillevold、ノルウェー、2002年2月
【0008】
【発明が解決しようとする課題】
従来技術の説明で述べたように、量子化特性値には31までなどの上限があり、その上限以上の値を与えるわけにはいかない。この上限の量子化特性値をもって符号化しても一定量の符号量が生じるため、目標ビットレートを大きく上回ってしまうという事態がしばしば起る。目標ビットレートを上回る符号量で符号化された場合、すべての情報を送りきれずにブロックノイズの激しい見にくい画像になったり、フレームレートが低下して不自然な動きになったりするなどの問題が生じる。
【0009】
本発明は、上記従来の問題点を解決するためのものであり、ビットレートを正確に制御できる動画像符号化装置および方法を提供することが課題である。
【0010】
【課題を解決するための手段】
本発明における上記の課題を解決するための一手段は、与えられたあるビットレートを目標として動画像を符号化する際、符号化処理中のブロックにおいて、直前ブロックまでの累積符号量が目標とするビットレートを上回る状態が一定フレーム数分以上連続した場合に、そのブロックは直前フレームから変化がなかったことにして、本来符号化すべき画像情報の代わりに、変化なしという情報だけを送る手段を有することによって、強力なビットレート制御を可能とすることを特徴とする動画像符号化装置である。
【0011】
あるいは、MPEGやH.26Xなどの動画像符号化において、与えられたあるビットレートを目標として、1画像をブロックに区切って順に符号化する際、直前ブロックまでの累積符号量が多すぎて、目標のビットレートを上回る状態が一定フレーム数分以上連続した場合に、符号化情報の代わりに、直前フレームの当該ブロックと同じ画像であるという情報だけを送るために、ブロックの先頭に配置されたCOD(Coded macroblock indication)ビットを1とする手段を有することによって、わずか1ビットで当該ブロックの符号伝達を終了させることにより、強力なビットレート制御を可能とすることを特徴とする動画像符号化装置である。
【0012】
あるいは、上記の動画像符号化装置において、符号化時に、インターモードによる符号化を行うために保持している、前フレームの当該ブロックの画像の再構築ブロック情報は、CODビットを1とした場合には、さらにその前のフレームの当該ブロックの画像の再構築ブロックをそのまま保持する手段を有することを特徴とする動画像符号化装置である。
【0013】
あるいは、与えられたあるビットレートを目標として動画像を符号化する際、符号化処理中のブロックにおいて、直前ブロックまでの累積符号量が目標とするビットレートを上回る状態が一定フレーム数分以上連続した場合に、そのブロックは直前フレームから変化がなかったことにして、本来符号化すべき画像情報の代わりに、変化なしという情報だけを送る段階を有することによって、強力なビットレート制御を可能とすることを特徴とする動画像符号化方法である。
【0014】
あるいは、MPEGやH.26Xなどの動画像符号化において、与えられたあるビットレートを目標として、1画像をブロックに区切って順に符号化する際、直前ブロックまでの累積符号量が多すぎて、目標のビットレートを上回る状態が一定フレーム数分以上連続した場合に、符号化情報の代わりに、直前フレームの当該ブロックと同じ画像であるという情報だけを送るために、ブロックの先頭に配置されたCOD(Coded macroblock indication)ビットを1とする段階を有することによって、わずか1ビットで当該ブロックの符号伝達を終了させることにより、強力なビットレート制御を可能とすることを特徴とする動画像符号化方法である。
【0015】
あるいは、上記の動画像符号化方法において、符号化時に、インターモードによる符号化を行うために保持している、前フレームの当該ブロックの画像の再構築ブロック情報は、CODビットを1とした場合には、さらにその前のフレームの当該ブロックの画像の再構築ブロックをそのまま保持する段階を有することを特徴とする動画像符号化方法である。
【0016】
あるいは、上記の動画像符号化方法における段階を、コンピュータに実行させるためのプログラムとしたことを特徴とする動画像符号化プログラムである。
【0017】
あるいは、上記の動画像符号化方法における段階を、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする動画像符号化プログラムを記録した記録媒体。
【0018】
本発明では、本来、一つ前のフレームとの間でそのブロックの画像がまったく変化しなかった場合に使用される、COD(Coded macroblock indication)ビットを利用して、目標ビットレートを大幅に上回っているのに、量子化特性値も上限まで上昇し、これ以上の情報削減が不可能になった時に、CODビットを1とする。これによって、見掛け上、そのブロックではまったく動きや変化がなかったものとなり、わずか1ビットの情報量だけで符号化を終えることができる。このとき、当該ブロックの再構築ブロック情報には、一つ前の時刻のフレームの当該ブロックの画像の再構築ブロックをそのまま保持する。すなわち、実際には変化があったのにもかかわらず、まったく画像の変化がなかったブロックとして処理することによって、情報量を大幅に圧縮するという手法である。
【0019】
なお、本方法により符号化されたデータは、本来のMPEGやH.263等の規格に反していないために、そのまま通常の復号装置で復号できるという特徴がある。
【0020】
本符号化手法によって、CODビットが1となったブロックは前の時刻のブロックと同じ画像が表示されるために、一瞬動きが停止して見えるが、それ以降のフレームで正常な符号化が可能となった時点で、本来の画像に復帰するために、おおきく目立つことはない。
【0021】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【0022】
図1は本発明を適用した「ビットレートを正確に制御できる画像符号化装置」の一実施の形態を示す、一つのブロック(マクロブロック)の符号化処理部の構成図である。図2に示した従来技術による画像の符号化処理部の構成図との違いは、「量子化特性決定部4′」および「出力ブロックデータ構築部10′」の代わりに「量子化特性決定部4」と「非符号化決定部14」および「出力ブロックデータ構築部10」があるという部分である。以下、その違いのみを説明する。
【0023】
「量子化特性決定部4」では、通常は、従來技術と同様に「累積符号量保持部11」および「累積目標符号量演算部13」からの入力をもとに量子化特性値を計算するが、直前の量子化特性値が上限値(例えば、31)であり、かつ、累積符号量が目標累積符号量を上回っている場合に、「非符号化決定部14」が非符号化ブロック処理を行う。
【0024】
「非符号化決定部14」において、非符号化ブロック処理が起動すると、「出力ブロックデータ構築部10」では「量子化演算部1」の出力とは無関係に、当該ブロックを非符号化(Not Coded)ブロックとして処理する。MPEGやH.26Xなどの規格では、この非符号化ブロックを示すデータビットとして、マクロブロックの先頭にCOD(Coded macroblock indication)ビットがあり、これが1の場合は非符号化ブロックとなり、この1ビットのみで当該ブロックの符号化が終わる。以降のフレームでは、動き補償などの処理のために、当該ブロックの再構築ブロック情報を残す必要があるが、CODビットを1とした場合には、「動きがなかった」とみなしているので、直前のフレームの当該ブロックの画像の再構築ブロックをそのまま保持する。以上の手法によって作成された符号化画像データは、復号時には、前フレームからまったく変化のなかったフレームとして処理される。このため、このようなブロックは動きが停止して見えることとなる。
【0025】
具体的な実施の形態について以下に説明する。以下では、映像符号化標準方式H.263における実施形態例を示す。
【0026】
H.263では、1フレームの画像は、マクロブロックと呼ばれる16×16画素の並びに分割され、このマクロブロック単位で、動き補償の処理が行われる。マクロブロックがいくつか集まった単位をGOB(Group of Macro Block)と呼ぶ。H.263では、CIFサイズ(352×288ドット)の場合、マクロブロックが横一列に22個並んだ細長いGOB(352×16ドット)を縦に18個重ねて1フレームとなる。QCIFサイズ(176×144ドット)の場合、マクロブロックが横一列に11個並んだ細長いGOB(176×16ドット)を縦に9個重ねて1フレームとなる。
【0027】
符号化装置は、適当な順でマクロブロックごとに符号化処理を進めながら、1つのマクロブロックの符号化処理が終わる度に、その時点までに発生した累積符号量とを比較し以下の式によって量子化特性値(Q値)を計算する。
【0028】
【数1】
【0029】
eG:一つ前のフレームの符号化ビット数の、1フレームあたりの目標ビット数に対する過不足を表す指標(グローバル指標)。目標を上回っていた場合は正値をとり、下回っていた場合は負値をとる。誤差が大きいほど、指標値の絶対値も大きくなる。
【0030】
eL:当該フレーム内の一つ前のマクロブロックまでの符号化ビット数と、当該フレーム内の一つ前までのマクロブロックの目標ビット数の差から得られる指標(ローカル指標)。グローバル指標と同じく、目標に対する誤差に応じて正、負の値をとる。
【0031】
QF,M:F番目のフレームのM番目のマクロブロックのQ値
【0032】
【数2】
【0033】
MB:1フレーム内のマクロブロック数
BF,M:F番目のフレームのM番目のマクロブロックの符号化ビツト数
【0034】
【数3】
【0035】
BR:目標ビットレート(bit/秒)
cG,cL:グローバル指標とローカル指標がQ値の計算に及ぼす比重を決める係数。
【0036】
符号化装置は、[数1]で与えられる量子化特性値(Q値)で符号化するが、この値がH.263が定める量子化特性値(Q値)の最大値である31を越える場合、符号化処理をせず、CODビットに1をたてる(量子化特性値(Q値)の最小値の1より小さい値が得られた場合は1として符号化する)。
【0037】
本発明の効果に関する実験について、以下に説明する。以下では、手話を話している人物の動画像をサンブルとして、非符号化ブロックによる情報量削減・画質向上の効果を実験した結果を示す。
【0038】
入力画像は、CIFサイズ(352×288ドット)で、画面の中央に手話者の上半身が位置する。したがって、手話者の頭部より上の部分、および画面の左右の端に近い部分は背景となる。この部分に、多数の人が往来する画像を合成した画像を用意する。長さは6秒で、最初の1秒間静止の後、約5秒間の手話動作を行う。この画像に対して、次の4種類のパラメータ、方式による符号化を行った。
【0039】
(a1)目標ビットレート64kbps、目標フレームレート10fpsとして、符号化の際には特別な処理をせずに、上の行から順に均等なビット配分で符号化処理を行う。
【0040】
(a2)a1と同じで、目標ビットレートのみ96kbpsとする。
【0041】
(b1)目標ビットレート64kbps、目標フレームレート10fps(a1と同じ)で、18個の各GOBに対するビット数の配分に傾斜をつけ、上下両端で非符号化処理を行う。人物の顔に該当する部分のGOBに対して、多くのビット数の割り当てをし、そこから上(頭より上の部分に該当)や下(胴体側)に向かって次第に割り当てを小さくし、また同時に、画像の上端の人物が写らないGOBや、一番下で手がほとんど移動しないGOBに対して、非符号化処理を行う。
【0042】
(b2)b1と同じで、目標ビットレートのみ96kbpsとする。
【0043】
結果は、以下のとおりである。
【0044】
a1では、すべてのフレームのすべてのマクロブロックでQ値が上限の31となった。これは、もうこれ以上の情報削減ができないことを意味する。その結果、フレームレートが5.4fps(第1フレームは全MBでイントラモードとなるため、第2フレーム以降を対象としてフレームレートを計算した。以下同様)で、実際のビットレートが77kbpsとなった。目標の64kbpsを大きく上回り、実用には使えないことがわかる。
【0045】
b1でも、ほとんどすべてのマクロブロックでQ=31であった(目標ビット数の傾斜処理は無意味)が、非符号化処理の効果により、ビットレートは65.5kbpsとなった。
【0046】
a2では、目標ビットレートを上げたために、余裕が生じ、9.8fpsが得られた。しかし、ビットレートは117bpsとかなりオーバーしている。
【0047】
b2では、フレームレートが9.1fps、ビットレートが98kbpsで、Q値も余裕が出て、平均27.4となっている。顔の周囲など重要な部分で多くのビット数を割り当てた符号化が達成された。
【0048】
以上の結果から、本エンコーディング方法によって、同じビットレートでも、非符号化処理を加えることによって、無駄な部分の情報量が圧縮でき、効率的な符号化が可能であることが示された。
【0049】
なお、図1で示した装置における各部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図1で説明した処理の段階をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理の段階を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスクや、MO、ROM、メモリカード、CD、DVD、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。このように、記録媒体やネットワークにより提供されたプログラムをコンピュータにインストールすることで本発明が実施可能となる。
【0050】
【発明の効果】
以上述べたとおり、本発明によれば、符号化処理に非符号化処理を加えたので、無駄な部分の情報量が圧縮でき、効率的な符号化が可能となるとともに、ビットレートを正確に制御することが可能となる。
【図面の簡単な説明】
【図1】本発明による符号化処理の一実施形態を説明する構成図
【図2】従来技術による符号化処理を説明する構成図
【符号の説明】
1…量子化演算部
2…符号化モード決定部
3…現フレームブロック情報保持部
4…量子化特性決定部
5…量子化特性保持部
6…動きベクトル保持部
7…再構築部
8…前フレームブロック情報保持部
9…動き補償・空間補償演算部
10…出力ブロックデータ構築部
11…累積符号量保持部
12…目標ビットレート保持部
13…累積目標符号量演算部
14…非符号化決定部
Claims (8)
- 与えられたあるビットレートを目標として動画像を符号化する際、符号化処理中のブロックにおいて、直前ブロックまでの累積符号量が目標とするビットレートを上回る状態が一定フレーム数分以上連続した場合に、そのブロックは直前フレームから変化がなかったことにして、本来符号化すべき画像情報の代わりに、変化なしという情報だけを送る手段を有することを特徴とする動画像符号化装置。
- 与えられたあるビットレートを目標として、1画像をブロックに区切って順に符号化する際、直前ブロックまでの累積符号量が多すぎて、目標のビットレートを上回る状態が一定フレーム数分以上連続した場合に、符号化情報の代わりに、直前フレームの当該ブロックと同じ画像であるという情報だけを送るために、ブロックの先頭に配置されたCOD(Coded macroblock indication)ビットを1とする手段を有することを特徴とする動画像符号化装置。
- 請求項2に記載の動画像符号化装置において、符号化時に、インターモードによる符号化を行うために保持している、前フレームの当該ブロックの画像の再構築ブロック情報は、CODビットを1とした場合には、さらにその前のフレームの当該ブロックの画像の再構築ブロックをそのまま保持する手段を有することを特徴とする動画像符号化装置。
- 与えられたあるビットレートを目標として動画像を符号化する際、符号化処理中のブロックにおいて、直前ブロックまでの累積符号量が目標とするビットレートを上回る状態が一定フレーム数分以上連続した場合に、そのブロックは直前フレームから変化がなかったことにして、本来符号化すべき画像情報の代わりに、変化なしという情報だけを送る段階を有することを特徴とする動画像符号化方法。
- 与えられたあるビットレートを目標として、1画像をブロックに区切って順に符号化する際、直前ブロックまでの累積符号量が多すぎて、目標のビットレートを上回る状態が一定フレーム数分以上連続した場合に、符号化情報の代わりに、直前フレームの当該ブロックと同じ画像であるという情報だけを送るために、ブロックの先頭に配置されたCOD(Coded macroblock indication)ビットを1とする段階を有することを特徴とする動画像符号化方法。
- 請求項5に記載の動画像符号化方法において、符号化時に、インターモードによる符号化を行うために保持している、前フレームの当該ブロックの画像の再構築ブロック情報は、CODビットを1とした場合には、さらにその前のフレームの当該ブロックの画像の再構築ブロックをそのまま保持する段階を有することを特徴とする動画像符号化方法。
- 請求項4ないし6のいずれかに記載の動画像符号化方法における段階を、コンピュータに実行させるためのプログラムとしたことを特徴とする動画像符号化プログラム。
- 請求項4ないし6のいずれかに記載の動画像符号化方法における段階を、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする動画像符号化プログラムを記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003186117A JP2005020653A (ja) | 2003-06-30 | 2003-06-30 | 動画像符号化装置とその方法、およびそのプログラムとそのプログラムを記録した記録媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003186117A JP2005020653A (ja) | 2003-06-30 | 2003-06-30 | 動画像符号化装置とその方法、およびそのプログラムとそのプログラムを記録した記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005020653A true JP2005020653A (ja) | 2005-01-20 |
Family
ID=34185332
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003186117A Pending JP2005020653A (ja) | 2003-06-30 | 2003-06-30 | 動画像符号化装置とその方法、およびそのプログラムとそのプログラムを記録した記録媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005020653A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100463523C (zh) * | 2005-01-31 | 2009-02-18 | 联发科技股份有限公司 | 帧层速率控制的视讯编码方法和*** |
-
2003
- 2003-06-30 JP JP2003186117A patent/JP2005020653A/ja active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100463523C (zh) * | 2005-01-31 | 2009-02-18 | 联发科技股份有限公司 | 帧层速率控制的视讯编码方法和*** |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9762917B2 (en) | Quantization method and apparatus in encoding/decoding | |
US8374236B2 (en) | Method and apparatus for improving the average image refresh rate in a compressed video bitstream | |
US7289562B2 (en) | Adaptive filter to improve H-264 video quality | |
CN109788316B (zh) | 码率控制、视频转码方法与装置、计算机设备及存储介质 | |
EP1727373A2 (en) | Method and apparatus for controlling loop filtering or post filtering in block based motion compensated video coding | |
JPH08181992A (ja) | 動画像符号化装置および領域抽出装置 | |
JPH07322252A (ja) | 画像符号化装置 | |
JP2003517796A (ja) | 「ムラのあるピクチャ」効果を減らす方法 | |
JP2024015184A (ja) | 画像復号装置及び方法及びプログラム | |
JP2004523985A (ja) | ビデオ符号化方法及びこれに対応する符号化装置 | |
JP2023164601A (ja) | 画像符号化装置、画像符号化方法、及びプログラム、画像復号装置、画像復号方法、及びプログラム | |
JP2000134631A (ja) | 画像符号化装置、方法、画像復号化装置、方法及びコンピュータ読み取り可能な記憶媒体 | |
JP2004040811A (ja) | 動映像符号化のためのdct演算量調節方法及びその装置 | |
JP2003061093A (ja) | 能動的テーブル生成による量子化/逆量子化方法および装置 | |
JP2005020653A (ja) | 動画像符号化装置とその方法、およびそのプログラムとそのプログラムを記録した記録媒体 | |
JP3775630B2 (ja) | 動画像の領域分割符号化装置 | |
JP3779066B2 (ja) | 動画像符号化装置 | |
TW202025747A (zh) | 圖像編碼裝置、圖像解碼裝置、其等之控制方法及程式 | |
JP3005147B2 (ja) | 動画像符号化装置 | |
JP2005341347A (ja) | 多地点接続装置および方法 | |
JPH0638191A (ja) | 動画像信号符号化装置 | |
JP7358136B2 (ja) | 画像符号化装置、画像符号化方法、及びプログラム、画像復号装置、画像復号方法、及びプログラム | |
JPH08256337A (ja) | 動画像符号化装置 | |
JP2008537866A (ja) | 量子化誤差を低減する方法および装置 | |
JPH0638196A (ja) | 動画像符号化装置 |