JP3907996B2 - 画像符号化装置、画像復号装置並びにその方法及び画像符号化プログラム、画像復号プログラム - Google Patents

画像符号化装置、画像復号装置並びにその方法及び画像符号化プログラム、画像復号プログラム Download PDF

Info

Publication number
JP3907996B2
JP3907996B2 JP2001317393A JP2001317393A JP3907996B2 JP 3907996 B2 JP3907996 B2 JP 3907996B2 JP 2001317393 A JP2001317393 A JP 2001317393A JP 2001317393 A JP2001317393 A JP 2001317393A JP 3907996 B2 JP3907996 B2 JP 3907996B2
Authority
JP
Japan
Prior art keywords
macroblock
image
reference number
encoding
decoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001317393A
Other languages
English (en)
Other versions
JP2003125409A (ja
Inventor
英明 木全
由幸 八島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2001317393A priority Critical patent/JP3907996B2/ja
Publication of JP2003125409A publication Critical patent/JP2003125409A/ja
Application granted granted Critical
Publication of JP3907996B2 publication Critical patent/JP3907996B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00Image coding
    • G06T9/004Predictors, e.g. intraframe, interframe coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Description

【0001】
【発明の属する技術分野】
本願発明は、フレーム間予測符号化を用いて動画像の符号化及び復号を各々行う画像符号化装置及び画像復号装置に係わるものである。
【0002】
【従来の技術】
近年、情報化社会の発展に伴い、通信メディアにおける画像と音声との統合、すなわち、オーディオビジュアル化の要求が非常に高まり、その一例としてテレビ会議やテレビ電話システムなどが実用化されている。
このような画像処理システムにおいて、経済的な画像通信を実現するためには動画の圧縮を行う画像符号化技術が必須となる。
【0003】
この動画の圧縮を行う画像符号化技術として、フレーム間の差分を符号化するフレーム間予測符号化方法がある。
このフレーム間予測符号化を用いた動画像符号化において、複数の参照画像をフレーム単位やマクロブロック単位に選択する方法がある。
【0004】
動画像符号化方式H.263(動画像符号化方式のITU-T国際標準)のAnnexNやAnnexUにおいて、エンコーダは予め複数の復号画像を蓄積できる参照画像メモリを備えておき、各フレームの符号化データを復号すると、この参照画像メモリに復号画像を蓄積していく。
また、各マクロブロックを符号化する時には、参照画像メモリから適当なフレームの画像を選択し、それを参照画像にして符号化と復号を行う。
【0005】
一方、デコーダにおいても、予め複数の復号画像を蓄積できる参照画像メモリを備えておき、各フレームの符号化データを復号した後、この参照画像メモリに復号画像を蓄積していく。
そして、各マクロブロックを復号する時には、参照画像メモリから適当なフレームの画像を選択し、それを参照画像にして復号を行う。
特に、H.263AnnexUにおいては、マクロブロック毎に予測誤差の少ない参照画像を選択することができるため、画像圧縮における符号化効率を向上することができる。
【0006】
上述したような符号化方法においては、フレームやマクロブロックに固有な番号を付し、この固有な番号を用いて参照画像を指定する。
例えば、H.263AnnexUでは、直前のフレームを1番として、この1番のフレームに対して相対的に過去のフレームに番号を与え、この番号をフレーム番号として用いる。
【0007】
また、エンコーダでは、さらに画像の圧縮効率を向上させるため、使用した参照画像を指定する上記フレーム番号を可変長符号化を行う。この可変符号化に用いる、フレーム番号と符号(可変長符号)との関係を示す可変長符号化テーブルを図3に示す。
例えば、直前のフレームを指定する場合には、このフレームに対して「1」を出力し、2フレーム前のフレームを指定する場合には「001」を出力する。
【0008】
そして、エンコーダは、上述した可変長符号化したフレーム番号を、マクロブロック毎に出力する。
ここでは、マクロブロック毎に出力するフレーム番号をマクロブロック参照番号と示すことにする。
また、デコーダでは、マクロブロック毎にマクロブロック参照番号を復号し、復号結果から得られたフレーム番号に従って、参照画像メモリから参照画像を選択する。
【0009】
【発明が解決しようとする課題】
しかしながら、上述した画像符号化方法においては、マクロブロック参照番号を符号化するため、マクロブロック毎に少なくとも1ビットのデータ量が必要となる。
そのため、例えば、全てのマクロブロックにおいて、直前のフレームを参照画像に指定する場合、少なくとも、マクロブロック数分のビット数が必要になる。
【0010】
従って、従来の画像符号化方法には、直前のフレームを参照するマクロブロックが多く、逆に直前以外のフレームを参照するマクロブロックが少ない場合、参照画像を参照して用いることによる符号化効率の向上分よりも、参照画像を指定する情報を符号化するための符号量の増加による符号化効率の低下の方が大きくなり、画像全体における符号化効率が低下してしまうという問題がある。
【0011】
本発明はこのような背景の下になされたもので、直前のフレームを参照するマクロブロックが多く、逆に直前以外のフレームを参照するマクロブロックが少ない場合においても、参照画像を参照するための符号量を増加させずに、対応する参照画像の選択が可能な画像符号化装置及び画像復号装置を提供する事にある。
【0012】
【課題を解決するための手段】
本発明の画像符号化装置は、画像を入力する画像入力部と、フレーム間予測符号化を用いて入力画像を符号化する符号化部と、フレーム間予測符号化を用いて符号化データを復号する復号部とを備える画像符号化装置であり、複数フレーム分の復号画像を蓄積する参照画像メモリと、該参照画像メモリに蓄積された参照画像と、画像入力部から入力される入力画像との間の、入力画像を分割した領域毎の画像情報の差分を計測(演算)するマクロブロックフレーム間差分計測部と、該マクロブロックフレーム間差分計測部により計測された差分を用いて、前記参照画像メモリに蓄積された参照画像のいずれかを、符号化に使用する参照画像として領域毎に決定するマクロブロック参照番号決定部と、前記マクロブロック参照番号決定部で決定した参照画像の画像番号(以後、マクロブロック参照番号と呼ぶ)を、マクロブロック参照番号として蓄積するマクロブロック参照番号蓄積部と、前記マクロブロック参照番号に従って、フレーム間予測符号化において使用する参照画像を、前記参照画像メモリから選択する参照画像選択部と、前記マクロブロック参照番号を符号化するマクロブロック参照番号符号化部と、前記マクロブロック参照番号決定部で決定したマクロブロック参照番号が、直前のマクロブロックのマクロブロック参照番号と同一となるマクロブロック数をカウントするマクロブロック参照番号カウント部と、該マクロブロック参照番号カウント部でカウントしたマクロブロック数(以後、マクロブロック参照番号カウント数と呼ぶ)を符号化するマクロブロック参照番号カウント符号化部とを備えることを特徴とする。
【0013】
本発明の画像復号装置は、フレーム間予測符号化を用いて符号化データを復号する画像復号装置であり、複数フレーム分の復号画像を蓄積する参照画像メモリと、参照画像を示すマクロブロック参照番号を復号するマクロブロック参照番号復号部と、同一の参照画像を参照する連続したマクロブロックの数であるマクロブロック参照番号カウント数を、復号するマクロブロック参照番号カウント復号部と、前記マクロブロック参照番号を蓄積するマクロブロック参照番号復号側蓄積部と、前記マクロブロック参照番号に従って、フレーム間予測符号化で使用する参照画像を、前記参照画像メモリから選択する参照画像選択部とを備えることを特徴とする。
【0014】
本発明の画像符号化装置は、画像を入力する画像入力過程と、フレーム間予測符号化を用いて入力画像を符号化する符号化過程と、フレーム間予測符号化を用いて符号化データを復号する復号過程とを有する画像符号化方法であり、複数フレーム分の復号画像を参照画像メモリに蓄積する参照画像記憶過程、該参照画像メモリに蓄積された参照画像と、画像入力部から入力される入力画像との間の、入力画像を分割した領域毎の画像情報の差分が計測されるマクロブロックフレーム間差分計測過程と、該マクロブロックフレーム間差分計測過程において計測された差分を用いて、前記参照画像メモリに蓄積された参照画像のいずれかが、符号化に使用する参照画像として領域毎に決定されるマクロブロック参照番号決定過程と、前記マクロブロック参照番号決定過程で決定された参照画像の画像番号が、マクロブロック参照番号として蓄積されるマクロブロック参照番号蓄積過程と、前記マクロブロック参照番号に従って、フレーム間予測符号化において使用する参照画像が、前記参照画像メモリから選択される参照画像選択過程と、前記マクロブロック参照番号が符号化されるマクロブロック参照番号符号化過程と、前記マクロブロック参照番号決定過程で決定されたマクロブロック参照番号が、直前のマクロブロックのマクロブロック参照番号と同一となるマクロブロック数のカウントが行われるマクロブロック参照番号カウント過程と、該マクロブロック参照番号カウント過程でカウントされたマクロブロック数が符号化されるマクロブロック参照番号カウント符号化過程とを有することを特徴とする。
【0015】
本発明の画像復号装置は、フレーム間予測符号化を用いて符号化データを復号する画像復号方法であり、複数フレーム分の復号画像が参照画像メモリに蓄積される参照画像記憶過程と、参照画像を示すマクロブロック参照番号がを復号されるマクロブロック参照番号復号過程と、同一の参照画像を参照する連続したマクロブロックの数であるマクロブロック参照番号カウント数が復号されるマクロブロック参照番号カウント復号過程と、前記マクロブロック参照番号が蓄積されるマクロブロック参照番号復号側蓄積過程と、前記マクロブロック参照番号に従って、フレーム間予測符号化で使用する参照画像が、前記参照画像メモリから選択される参照画像選択過程とを有することを特徴とする。
【0016】
本発明の画像符号化プログラムは、画像を入力する画像入力処理と、フレーム間予測符号化を用いて入力画像を符号化する符号化処理と、フレーム間予測符号化を用いて符号化データを復号する復号処理とを上記画像符号化装置を動作させるプログラムであり、複数フレーム分の復号画像を参照画像メモリに蓄積する参照画像記憶処理、該参照画像メモリに蓄積された参照画像と、画像入力部から入力される入力画像との間の、入力画像を分割した領域毎の画像情報の差分が計測されるマクロブロックフレーム間差分計測処理と、該マクロブロックフレーム間差分計測処理により計測された差分を用いて、前記参照画像メモリに蓄積された参照画像のいずれかが、符号化に使用する参照画像として領域毎に決定されるマクロブロック参照番号決定処理と、前記マクロブロック参照番号決定処理で決定された参照画像の画像番号が、マクロブロック参照番号として蓄積されるマクロブロック参照番号蓄積処理と、前記マクロブロック参照番号に従って、フレーム間予測符号化において使用する参照画像が、前記参照画像メモリから選択される参照画像選択処理と、前記マクロブロック参照番号が符号化されるマクロブロック参照番号符号化処理と、前記マクロブロック参照番号決定処理で決定されたマクロブロック参照番号が、直前のマクロブロックのマクロブロック参照番号と同一となるマクロブロック数のカウントが行われるマクロブロック参照番号カウント処理と、該マクロブロック参照番号カウント処理でカウントされたマクロブロック数が符号化されるマクロブロック参照番号カウント符号化処理とをコンピュータに実行させることを特徴とする。
【0017】
本発明の画像復号プロラムは、フレーム間予測符号化を用いて符号化データを復号する処理を上記画像復号装置に行わせる画像復号プログラムであり、複数フレーム分の復号画像が参照画像メモリに蓄積される参照画像記憶処理と、参照画像を示すマクロブロック参照番号がを復号されるマクロブロック参照番号復号処理と、同一の参照画像を参照する連続したマクロブロックの数であるマクロブロック参照番号カウント数が復号されるマクロブロック参照番号カウント復号処理と、前記マクロブロック参照番号が蓄積されるマクロブロック参照番号復号側蓄積処理と、前記マクロブロック参照番号に従って、フレーム間予測符号化で使用する参照画像が、前記参照画像メモリから選択される参照画像選択処理とをコンピュータに実行させることを特徴とする。
【0018】
本発明のコンピュータ読み取り可能な記録媒体は、画像を入力する画像入力処理と、フレーム間予測符号化を用いて入力画像を符号化する符号化処理と、フレーム間予測符号化を用いて符号化データを復号する復号処理とを上記画像符号化装置を動作させるプログラムを記録した記録媒体であり、複数フレーム分の復号画像を参照画像メモリに蓄積する参照画像記憶処理、該参照画像メモリに蓄積された参照画像と、画像入力部から入力される入力画像との間の、入力画像を分割した領域毎の画像情報の差分が計測されるマクロブロックフレーム間差分計測処理と、該マクロブロックフレーム間差分計測処理により計測された差分を用いて、前記参照画像メモリに蓄積された参照画像のいずれかが、符号化に使用する参照画像として領域毎に決定されるマクロブロック参照番号決定処理と、前記マクロブロック参照番号決定処理で決定された参照画像の画像番号が、マクロブロック参照番号として蓄積されるマクロブロック参照番号蓄積処理と、前記マクロブロック参照番号に従って、フレーム間予測符号化において使用する参照画像が、前記参照画像メモリから選択される参照画像選択処理と、前記マクロブロック参照番号が符号化されるマクロブロック参照番号符号化処理と、前記マクロブロック参照番号決定処理で決定されたマクロブロック参照番号が、直前のマクロブロックのマクロブロック参照番号と同一となるマクロブロック数のカウントが行われるマクロブロック参照番号カウント処理と、該マクロブロック参照番号カウント処理でカウントされたマクロブロック数が符号化されるマクロブロック参照番号カウント符号化処理とをコンピュータに実行させることを特徴とする画像符号化プログラムを記録している。
【0019】
本発明のコンピュータ読み取り可能な記録媒体は、フレーム間予測符号化を用いて符号化データを復号する処理を上記画像復号装置に行わせる画像復号プログラムを記録した記録媒体であり、複数フレーム分の復号画像が参照画像メモリに蓄積される参照画像記憶処理と、参照画像を示すマクロブロック参照番号がを復号されるマクロブロック参照番号復号処理と、同一の参照画像を参照する連続したマクロブロックの数であるマクロブロック参照番号カウント数が復号されるマクロブロック参照番号カウント復号処理と、前記マクロブロック参照番号が蓄積されるマクロブロック参照番号復号側蓄積処理と、前記マクロブロック参照番号に従って、フレーム間予測符号化で使用する参照画像が、前記参照画像メモリから選択される参照画像選択処理とをコンピュータに実行させることを特徴とする画像復号プロラムを記録している。
本発明によれば、連続して複数のマクロブロックでマクロブロック参照番号が同じとなる場合に、そのマクロブロック数をカウントし符号化することにより、不必要なマクロブロック参照番号を符号化する必要が無く、符号化処理の効率を向上させることが可能となる。
なお、画像符号装置におけるマクロブロックフレーム間差分計測部において用いられる、入力画像と参照画像の差分としては、例えば絶対値差分和や平均2乗誤差が挙げられる。
また、フレーム間予測符号化には、動きベクトルを使って参照画像から予測画像を作成して符号化する動き補償符号化方式を使うことも可能である。
【0020】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態について説明する。以下、画像符号化装置及び画像復号装置の順に、本発明の実施形態の説明を行う。
<画像符号化装置>
図1は本発明の一実施形態による画像符号化装置の構成例を示すブロック図である。この図において、マクロブロックフレーム間差分計測部104は、現画像PDと、参照画像PA,PB,PCとにおけるマクロブロックの差分の絶対値に対する絶対値差分和Wを計算するものである。
【0021】
また、マクロブロック参照番号決定部105は、最も上記絶対差分和Wが小さくなる参照画像の番号を、マクロブロック参照番号として決定するものとする。
さらに、画面内にあるマクロブロックの総数は、N個とする。
前提として、参照画像メモリには、予め、3フレーム分の画像を蓄積することができ、それらを各々参照画像PA,PB,PCで表す。ここで、現画像には、PDの符号を付すこととする。
【0022】
上述した前提において、以下に示すように現画像PDの符号化が行われる。
まず、マクロブロックフレーム間差分計測部104は、参照画像PCと現画像PDとの間の絶対値差分和Wを、すべてのマクロブロック毎に求める。
この参照画像PCと現画像PDとの間の絶対値差分和Wを、W(1,i)(i=1,..,N)と表すことにする。ここでの「i」は、N個のマクロブロック各々に付される番号とする。
【0023】
同様に、参照画像PBと現画像PDとの間の絶対値差分和Wをすべてのマクロブロック毎に求める。
この参照画像PBと現画像PDとの間の絶対値差分和Wを、W(2,i)(i=1,..,N)と表すことにする。
さらに、同様に、参照画像PAと現画像PDとの間の絶対値差分和Wを、すべてのマクロブロック毎に求める。
この照画像PAと現画像PDとの間の絶対値差分和Wを、W(3,i)(i=1,..,N)と表すことにする。
【0024】
マクロブロック参照番号決定部105は、マクロブロック毎に絶対値差分和Wが最小になる参照画像を、参照画像PA,PB,PCから求め、これらのいずれかの参照画像の画像番号を、マクロブロック参照番号nrp(i)(i=1,..,N)として決定する。
そして、マクロブロック参照番号決定部105は、上記マクロブロック参照番号nrp(i)(i=1,..,N)を、マクロブロック参照番号蓄積部108に蓄積する。
マクロブロック参照番号カウント部110は、マクロブロック参照番号蓄積部108に蓄積されたマクロブロック参照番号から、連続している同じマクロブロック参照番号の数、すなわち連続した同一のマクロブロック参照番号のマクロブロック数をカウントし、カウントしたマクロブロック数を蓄積しておく。
【0025】
次に、マクロブロック毎に付されたマクロブロック参照番号の符号化について説明する。
マクロブロック参照番号がnrp(1)=1,nrp(2)=1,nrp(3)=2,nrp(4)=3となった場合における、マクロブロック1〜4まで符号化する場合の手順を示す。
ここで、例えば、nrp(1)=1は、現画像PDにおいて、符号化の対象となっているマクロブロック1の参照画像が、画像PCであることを示している。
このマクロブロック参照番号がnrp(1)=1,nrp(2)=1,nrp(3)=2,nrp(4)=3となった場合、マクロブロック参照番号カウント部110には、参照画像PC,PB,PAに対応したカウント数として、それぞれ「2」,「1」,「1」が蓄積されている。
【0026】
そして、マクロブロック参照番号決定部105は、マクロブロック1のマクロブロック参照番号がnrp(1)=1であるため、参照画像メモリ106における参照画像PCを、マクロブロック1の参照画像として選択するように、参照画像選択部107の接続を切り替える。
これにより、符号化部102は、上記参照画像PCを用いて、マクロブロック1を符号化する。
また、復号部103は、符号化部102から出力される、符号化されたマクロブロック1の符号化データを復号する。
【0027】
一方、マクロブロック参照番号符号化部109は、マクロブロック参照番号「1」を符号化する。
そして、マクロブロック参照番号カウント符号化部110は、マクロブロック参照番号カウント部110に蓄積されたマクロブロック参照番号nrp(1)=1に対応したカウント数「2」を符号化する。
次に、マクロブロック参照番号決定部105は、マクロブロック2のマクロブロック参照番号がnrp(2)=1であるため、参照画像メモリ106における参照画像PCを、マクロブロック2の参照画像として選択するように、参照画像選択部107の接続を切り替える。
【0028】
これにより、符号化部102は、上記参照画像PCを用いて、マクロブロック2を符号化する。
また、復号部103は、符号化部102から出力される、符号化されたマクロブロック2の符号化データを復号する。
マクロブロック参照番号符号化部109は、マクロブロック2のマクロブロック参照番号が、直前のマクロブロック1のマクロブロック参照番号と同一であるため、マクロブロック2に対するマクロブロック参照番号の符号化を行わない。
また、マクロブロック参照番号カウント符号化部111は、連続した同一のマクロブロック参照番号のカウント数を符号化しているため、新たな符号化を行わない。
【0029】
次に、マクロブロック参照番号決定部105は、マクロブロック3のマクロブロック参照番号がnrp(3)=2であるため、参照画像メモリ106における参照画像PBを、マクロブロック3の参照画像として選択するように、参照画像選択部107の接続を切り替える。
これにより、符号化部102は、上記参照画像PBを用いて、マクロブロック3を符号化する。
また、復号部103は、符号化部102から出力される、符号化されたマクロブロック3の符号化データを復号する。
【0030】
次に、マクロブロック参照番号符号化部109は、マクロブロック3のマクロブロック参照番号が、直前のマクロブロック2のマクロブロック参照番号と異なるため、マクロブロック参照番号「2」の符号化を行う。
そして、マクロブロック参照番号カウント符号化部111は、マクロブロック参照番号カウント部110に蓄積されたマクロブロック参照番号nrp(4)=3に対応したカウント数「1」の符号化を行う。
【0031】
次に、マクロブロック参照番号決定部105は、マクロブロック4のマクロブロック参照番号がnrp(4)=3であるため、参照画像メモリ106における参照画像PAを、マクロブロック4の参照画像として選択するように、参照画像選択部107の接続を切り替える。
これにより、符号化部102は、上記参照画像PAを用いて、マクロブロック4を符号化する。
また、復号部103は、符号化部102から出力される、符号化されたマクロブロック4の符号化データを復号する。
【0032】
このとき、マクロブロック参照番号符号化部109は、マクロブロック4のマクロブロック参照番号が、直前のマクロブロック3のマクロブロック参照番号と異なるため、マクロブロック参照番号「3」の符号化を行う。
そして、マクロブロック参照番号カウント符号化部111は、マクロブロック参照番号カウント部110に蓄積されたマクロブロック参照番号nrp(4)=3に対応したカウント数「1」の符号化を行う。
以上の手順をすべてのマクロブロックに対して繰り返し処理する。
そして、現画像PDにおける最後のマクロブロックにおいて、上記と同様な符号化処理を行った後、復号画像を参照画像メモリ106に蓄積する。
【0033】
<画像復号装置>
次に、図面を参照して本発明の画像復号装置の実施形態について説明する。図2は本発明の一実施形態による画像復号装置の構成例を示すブロック図である。
本発明の画像復号装置は、マクロブロック参照番号とマクロブロック参照番号カウント数との復号を行うか否かを切り替えるマクロブロック参照番号復号切り替え部112を備えることを特徴としている。
上記一実施形態による画像符号化装置において得られる符号化データを復号する手順を、以下に詳細に示す。
【0034】
すなわち、伝送路等から入力される符号化データ(上述した一実施形態による画像符号化装置により符号化された画像)は、上記画像復号装置により、以下に示す処理においてマクロブロック毎に復号される。
例えば、符号化データの入力がなされていない状態において、マクロブロック参照番号復号切り替え部112は、マクロブロック参照番号復号部113,及びマクロブロック参照番号カウント復号部114に符号化データが入力される接続状態となっている。
【0035】
まず、マクロブロック1の符号化データが入力されたとすると、マクロブロック参照番号復号部113は、符号化データに含まれるマクロブロック参照番号nrp(1)=1を復号し、マクロブロック参照番号復号側蓄積部115に、復号されたマクロブロック参照番号nrp(1)=1を蓄積する。
そして、マクロブロック参照番号カウント復号部114は、マクロブロック参照番号nrp(1)=1に対応したカウント数「2」を復号する。
【0036】
ここで、マクロブロック参照番号カウント復号部114は、マクロブロック参照番号nrp(1)=1に対応したカウント数が「2」であることを判定し、次のマクロブロックの復号時まで、すなわち2つのマクロブロックの復号が終了するまで、マクロブロック参照番号復号部113にマクロブロック参照番号が入力されて復号されないように、マクロブロック参照番号復号切り替え部112の接続状態を変更する。
【0037】
また、参照画像選択部107は、マクロブロック参照番号が「1」であるため、参照画像PCを参照画像に選択するように設定される。
ここで、マクロブロック参照番号復号側蓄積部115は、記憶されているマクロブロック参照番号の「1」に基づき、参照画像PCを複合部103に供給する接続状態に、参照画像選択部107を設定する。
そして、復号部103は、この参照画像PCを参照して、入力されるマクロブロック1の符号化データの復号を行う。
【0038】
次に、マクロブロック参照番号復号部113及びマクロブロック参照番号カウント復号部114各々は、マクロブロック参照番号復号切り替え部112が符号化データの入力を行わない接続状態となっているため、各々符号化データに含まれるマクロブロック参照番号とマクロブロック参照番号カウント数との復号を行わない。
そして、参照画像選択部107には、マクロブロック参照番号復号側蓄積部115に蓄積されているマクロブロック参照番号が、参照画像PCを示す「1」であるため、参照画像メモリ106から参照画像PCを復号部103へ供給するよう設定されている。
【0039】
次に、復号部103は、上記参照画像PCを用いて、マクロブロック2の符号化データの復号を行う。
そして、マクロブロック参照番号復号切り替え部112は、設定されたマクロブロック数分のマクロブロックの復号処理が復号部103により行われたため、マクロブロック参照番号復号切り替え部112を、入力される符号化データがマクロブロック参照番号復号部113,及びマクロブロック参照番号カウント復号部114へ入力される接続状態に変更する。
【0040】
これにより、マクロブロック参照番号復号部113とマクロブロック参照番号カウント復号部114とは、次に入力される符号化データが供給され、この符号化データに含まれるマクロブロック参照番号とマクロブロック参照番号カウント数とを、各々復号する状態となる。
そして、マクロブロック参照番号復号部113は、マクロブロック3の符号化データが入力されると、マクロブロック参照番号nrp(3)=2を復号し、マクロブロック参照番号復号側蓄積部115に、復号したマクロブロック参照番号nrp(3)=2を蓄積する。
【0041】
次に、マクロブロック参照番号カウント復号部114は、マクロブロック参照番号nrp(3)=2に対応したカウント数「1」を復号する。
ここで、マクロブロック参照番号カウント復号部114は、マクロブロック参照番号nrp(3)=2に対応したカウント数が「1」であることを判定し、次のマクロブロックの復号時に、マクロブロック参照番号とマクロブロック参照番号カウント数の復号が必要であるため、マクロブロック参照番号復号切り替え部112の接続状態を変更しない。
【0042】
また、参照画像選択部107は、マクロブロック参照番号が「1」であるため、参照画像PBを参照画像に選択するように設定される。
ここで、マクロブロック参照番号復号側蓄積部115は、記憶されているマクロブロック参照番号の「2」に基づき、参照画像PBを複合部103に供給する接続状態に、参照画像選択部107を設定する。
そして、復号部103は、この参照画像PBを参照して、入力されるマクロブロック3の符号化データの復号を行う。
【0043】
次に、マクロブロック参照番号復号部113は、マクロブロック4の符号化データが入力されると、マクロブロック参照番号nrp(4)=3を復号し、マクロブロック参照番号復号側蓄積部115に、復号したマクロブロック参照番号nrp(4)=3を蓄積する。
そして、マクロブロック参照番号カウント復号部114は、マクロブロック参照番号nrp(4)=3に対応したカウント数「1」を復号する。
ここで、マクロブロック参照番号カウント復号部114は、マクロブロック参照番号nrp(4)=3に対応したカウント数が「1」であることを判定し、次のマクロブロックの復号時に、マクロブロック参照番号とマクロブロック参照番号カウント数の復号が必要であるため、マクロブロック参照番号復号切り替え部112の接続状態を変更しない。
【0044】
また、参照画像選択部107は、マクロブロック参照番号が「1」であるため、参照画像PAを参照画像に選択するように設定される。
ここで、マクロブロック参照番号復号側蓄積部115は、記憶されているマクロブロック参照番号の「3」に基づき、参照画像PAを複合部103に供給する接続状態に、参照画像選択部107を設定する。
そして、復号部103は、この参照画像PAを参照して、入力されるマクロブロック4の符号化データの復号を行う。
上述した流れによる復号処理を、入力されるすべてのマクロブロックに対して繰り返し行う。
以上で、本発明の一実施形態による画像復号装置の説明を終了する。
【0045】
なお、一実施形態による画像符号化装置において、マクロブロック参照番号カウント部110は、特定のマクロブロック参照番号のみカウントし符号化することも可能である。
例えば、マクロブロック参照番号カウント部110に、直前のフレームを参照画像とするマクロブロック参照番号のみカウントさせる構成とすることも可能である。
上記マクロブロック参照番号カウント部110の構成は、直前のフレームを参照するマクロブロックが多い場合に、マクロブロック参照番号カウント数の符号量を低減させることが可能である。
【0046】
上述してきたように、本願発明の画像符号化装置及び画像復号装置(両者で画像処理システムを構成)は、符号化するマクロブロックにおいて、同一の参照画像を連続して用いる場合、すなわち連続する複数のマクロブロックに対して、マクロブロック参照番号が同じとなる場合、同一の参照画像を用いて符号化するマクロブロック数を、カウントして、このカウント数を符号化することにより、マクロブロック毎に参照する参照画像を示すマクロブロック参照番号を符号化することが無くなるため、全体の符号化効率を向上することが可能である。
【0047】
なお、上記した本発明実施形態においては、画像符号化装置及び画像復号装置のそれぞれで実行される手順をコンピュータ読取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより本発明の利用者属性登録情報自動更新装置が実現されるものとする。ここでいうコンピュータシステムとは、OSや周辺機器等のハードウアを含むものである。
【0048】
更に、「コンピュータシステム」は、WWWシステムを利用している場合であれば、ホームページ提供環境(あるいは表示環境)も含むものとする。
また、「コンピュータ読取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のシステムやクライアントとなるコンピュータシステム内部の揮発性メモリ(RAM)のように、一定時間プログラムを保持しているものも含むものとする。
【0049】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【0050】
以上、本発明の一実施形態を図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等があっても本発明に含まれる。
【0051】
【発明の効果】
本願発明の画像符号化装置及び画像復号装置は、各々、複数フレーム分の参照画像メモリを備え、領域(マクロブロック)毎に参照画像を変更する仕組み
(構成)を備える画像符号化装置と画像復号装置であり、連続した複数のマクロブロックの参照画像を指定する情報が同一となる場合に、これらのマクロブロック数をカウントし、このカウント数を符号化することにより、マクロブロック毎に参照画像を指定する情報を符号化することによる符号量の増加を防止することがせき、符号化全体の符号化効率を向上させることが可能である。
【図面の簡単な説明】
【図1】 本発明の一実施形態による画像符号化装置の構成例を示すブロック図である。
【図2】 本発明の一実施形態による画像復号装置の構成例を示すブロック図である。
【図3】 可変長符号化の一例を示すテーブルである。
【符号の説明】
101 画像入力部
102 符号化部
103 復号部
104 マクロブロックフレーム間差分計測部
105 マクロブロック参照番号決定部
106 参照画像メモリ
107 参照画像選択部
108 マクロブロック参照番号蓄積部
109 マクロブロック参照番号符号化部
110 マクロブロック参照番号カウント部
111 マクロブロック参照番号カウント符号化部
112 マクロブロック参照番号復号切り替え部
113 マクロブロック参照番号復号部
114 マクロブロック参照番号カウント復号部
115 マクロブロック参照番号復号側蓄積部

Claims (8)

  1. 画像を入力する画像入力部と、
    フレーム間予測符号化を用いて入力画像を符号化する符号化部と、
    フレーム間予測符号化を用いて符号化データを復号する復号部と
    を備える画像符号化装置であり、
    複数フレーム分の復号画像を蓄積する参照画像メモリと、
    符号化に使用する参照画像の画像番号を、マクロブロック参照番号として蓄積するマクロブロック参照番号蓄積部と、
    前記マクロブロック参照番号に従って、フレーム間予測符号化において使用する参照画像を、前記参照画像メモリから選択する参照画像選択部と、
    前記マクロブロック参照番号を符号化するマクロブロック参照番号符号化部と、
    直前のフレームを参照する連続するマクロブロック参照番号のみをカウントするマクロブロック参照番号カウント部と、
    該マクロブロック参照番号カウント部でカウントしたマクロブロック数を符号化するマクロブロック参照番号カウント符号化部と
    を備えることを特徴とする画像符号化装置。
  2. フレーム間予測符号化を用いて符号化データを復号する画像復号装置であり、
    複数フレーム分の復号画像を蓄積する参照画像メモリと、
    参照画像を示すマクロブロック参照番号を復号するマクロブロック参照番号復号部と、
    直前のフレームを参照する連続するマクロブロック参照番号のみのカウントであるマクロブロック参照番号カウント数を、復号するマクロブロック参照番号カウント復号部と、
    前記マクロブロック参照番号を蓄積するマクロブロック参照番号復号側蓄積部と、
    前記マクロブロック参照番号に従って、フレーム間予測符号化で使用する参照画像を、前記参照画像メモリから選択する参照画像選択部と
    を備えることを特徴とする画像復号装置。
  3. 画像を入力する画像入力過程と、
    フレーム間予測符号化を用いて入力画像を符号化する符号化過程と、フレーム間予測符号化を用いて符号化データを復号する復号過程と
    を有する画像符号化方法であり、
    複数フレーム分の復号画像を蓄積する参照画像メモリと、
    符号化に使用する参照画像の画像番号が、マクロブロック参照番号として蓄積されるマクロブロック参照番号蓄積過程と、
    前記マクロブロック参照番号に従って、フレーム間予測符号化において使用する参照画像が、前記参照画像メモリから選択される参照画像選択過程と、
    前記マクロブロック参照番号が符号化されるマクロブロック参照番号符号化過程と、
    直前のフレームを参照する連続するマクロブロック参照番号のみのカウントが行われるマクロブロック参照番号カウント過程と、
    該マクロブロック参照番号カウント過程でカウントされたマクロブロック数が符号化されるマクロブロック参照番号カウント符号化過程と
    を有することを特徴とする画像符号化方法。
  4. フレーム間予測符号化を用いて符号化データを復号する画像復号方法であり、
    複数フレーム分の復号画像が参照画像メモリに蓄積される参照画像記憶過程と、
    参照画像を示すマクロブロック参照番号が復号されるマクロブロック参照番号復号過程と、
    直前のフレームを参照する連続するマクロブロック参照番号のみのカウントであるマクロブロック参照番号カウント数が復号されるマクロブロック参照番号カウント復号過程と、
    前記マクロブロック参照番号が蓄積されるマクロブロック参照番号復号側蓄積過程と、
    前記マクロブロック参照番号に従って、フレーム間予測符号化で使用する参照画像が、前記参照画像メモリから選択される参照画像選択過程と
    を有することを特徴とする画像復号方法。
  5. 画像を入力する画像入力処理と、
    フレーム間予測符号化を用いて入力画像を符号化する符号化処理と、フレーム間予測符号化を用いて符号化データを復号する復号処理と
    を有する請求項1に記載の画像符号化装置を動作させるプログラムであり、
    複数フレーム分の復号画像を参照画像メモリに蓄積する参照画像記憶処理と、
    フレーム間予測符号化において使用する参照画像の画像番号がマクロブロック参照番号として蓄積されるマクロブロック参照番号蓄積処理と、
    前記マクロブロック参照番号に従って、フレーム間予測符号化において使用する参照画像が、前記参照画像メモリから選択される参照画像選択処理と、
    前記マクロブロック参照番号が符号化されるマクロブロック参照番号符号化処理と、
    直前のフレームを参照する連続するマクロブロック参照番号のみのカウントが行われるマクロブロック参照番号カウント処理と、
    該マクロブロック参照番号カウント処理でカウントされたマクロブロック数が符号化されるマクロブロック参照番号カウント符号化処理と
    をコンピュータに実行させることを特徴とする画像符号化プログラム。
  6. フレーム間予測符号化を用いて符号化データを復号する処理を有する請求項2に記載の画像復号装置に行わせる画像復号プログラムであり、
    複数フレーム分の復号画像が参照画像メモリに蓄積される参照画像記憶処理と、
    参照画像を示すマクロブロック参照番号を復号するマクロブロック参照番号復号処理と、
    直前のフレームを参照する連続するマクロブロック参照番号のみのカウントであるマクロブロック参照番号カウント数が復号されるマクロブロック参照番号カウント復号処理と、
    前記マクロブロック参照番号が蓄積されるマクロブロック参照番号復号側蓄積処理と、
    前記マクロブロック参照番号に従って、フレーム間予測符号化で使用する参照画像が、前記参照画像メモリから選択される参照画像選択処理と
    をコンピュータに実行させることを特徴とする画像復号プロラム。
  7. 画像を入力する画像入力処理と、
    フレーム間予測符号化を用いて入力画像を符号化する符号化処理と、
    フレーム間予測符号化を用いて符号化データを復号する復号処理と
    を有する請求項1に記載の画像符号化装置を動作させるプログラムを記録した記録媒体であり、
    複数フレーム分の復号画像を参照画像メモリに蓄積する参照画像記憶処理と、
    符号化に使用する参照画像の画像番号がマクロブロック参照番号として蓄積されるマクロブロック参照番号蓄積処理と、
    前記マクロブロック参照番号に従って、フレーム間予測符号化において使用する参照画像が、前記参照画像メモリから選択される参照画像選択処理と、
    前記マクロブロック参照番号が符号化されるマクロブロック参照番号符号化処理と、
    直前のフレームを参照する連続するマクロブロック参照番号のみのカウントが行われるマクロブロック参照番号カウント処理と、
    該マクロブロック参照番号カウント処理でカウントされたマクロブロック数が符号化されるマクロブロック参照番号カウント符号化処理と
    をコンピュータに実行させることを特徴とする画像符号化プログラムを記録したコンピュータ読み取り可能な記録媒体。
  8. フレーム間予測符号化を用いて符号化データを復号する処理を有する請求項2に記載の画像復号装置に行わせる画像復号プログラムを記録した記録媒体であり、
    複数フレーム分の復号画像が参照画像メモリに蓄積される参照画像記憶処理と、
    参照画像を示すマクロブロック参照番号が復号されるマクロブロック参照番号復号処理と、
    直前のフレームを参照する連続するマクロブロック参照番号のみのカウントであるマクロブロック参照番号カウント数が復号されるマクロブロック参照番号カウント復号処理と、
    前記マクロブロック参照番号が蓄積されるマクロブロック参照番号復号側蓄積処理と、
    前記マクロブロック参照番号に従って、フレーム間予測符号化で使用する参照画像が、前記参照画像メモリから選択される参照画像選択処理と
    をコンピュータに実行させることを特徴とする画像復号プロラムを記録したコンピュータ読み取り可能な記録媒体。
JP2001317393A 2001-10-15 2001-10-15 画像符号化装置、画像復号装置並びにその方法及び画像符号化プログラム、画像復号プログラム Expired - Fee Related JP3907996B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001317393A JP3907996B2 (ja) 2001-10-15 2001-10-15 画像符号化装置、画像復号装置並びにその方法及び画像符号化プログラム、画像復号プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001317393A JP3907996B2 (ja) 2001-10-15 2001-10-15 画像符号化装置、画像復号装置並びにその方法及び画像符号化プログラム、画像復号プログラム

Publications (2)

Publication Number Publication Date
JP2003125409A JP2003125409A (ja) 2003-04-25
JP3907996B2 true JP3907996B2 (ja) 2007-04-18

Family

ID=19135272

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001317393A Expired - Fee Related JP3907996B2 (ja) 2001-10-15 2001-10-15 画像符号化装置、画像復号装置並びにその方法及び画像符号化プログラム、画像復号プログラム

Country Status (1)

Country Link
JP (1) JP3907996B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8406301B2 (en) 2002-07-15 2013-03-26 Thomson Licensing Adaptive weighting of reference pictures in video encoding
KR100738075B1 (ko) 2005-09-09 2007-07-12 삼성전자주식회사 영상 부호화/복호화 장치 및 방법
JP4534935B2 (ja) * 2005-10-04 2010-09-01 株式会社日立製作所 トランスコーダ、記録装置及びトランスコード方法
US9602840B2 (en) * 2006-02-06 2017-03-21 Thomson Licensing Method and apparatus for adaptive group of pictures (GOP) structure selection

Also Published As

Publication number Publication date
JP2003125409A (ja) 2003-04-25

Similar Documents

Publication Publication Date Title
JP4560134B1 (ja) 動画像復号化方法および動画像復号化装置
JP5280003B2 (ja) 映像コーデックにおけるスライス層
CN107113422A (zh) 用于视频编码和解码的灵活的参考图片管理
JP2001245305A (ja) ディジタル映像データ通信システムにおけるエラー伝播抑制のための送受信データの処理方法及びこのための記録媒体
JP2008011455A (ja) 符号化方法
TW200421877A (en) Moving picture encoding method and moving picture decoding method
JP2021517410A (ja) サブブロックに基づく時間的動きベクトル予測のための方法並びにその機器及びコンピュータプログラム
JP2004527981A (ja) 予測タイプの選択によるビデオデータブロックのイントラ符号化
JP3907996B2 (ja) 画像符号化装置、画像復号装置並びにその方法及び画像符号化プログラム、画像復号プログラム
JP2003125410A (ja) 画像符号化装置、画像復号装置並びにその方法及び画像符号化プログラム、画像復号プログラム
WO2013114826A1 (ja) 画像復号装置
JP2003125408A (ja) 画像符号化装置、画像復号装置並びにその方法及び画像符号化プログラム、画像復号プログラム
JP2003111081A (ja) ピクチャタイプの推定方法、推定装置及びそれを用いた画像測定装置、符号化器
JP2011129979A (ja) 画像処理装置
JP2005159832A (ja) 信号処理装置
JPH01103387A (ja) 予測符号化による画像データの圧縮装置
JP3905938B2 (ja) 画像符号化装置および画像復号化装置
JP2005072655A (ja) 画像処理装置
JP2010045857A (ja) 画像符号化方法および装置ならびに画像処理機器
JP2009105639A (ja) 画像符号化方法および装置ならびに画像処理機器
JPH0662388A (ja) 動画像圧縮装置

Legal Events

Date Code Title Description
RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20040116

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040712

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060606

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061003

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070117

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110126

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110126

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120126

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130126

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees