JPWO2006013854A1 - 画像復号化装置および画像符号化装置 - Google Patents

画像復号化装置および画像符号化装置 Download PDF

Info

Publication number
JPWO2006013854A1
JPWO2006013854A1 JP2006531488A JP2006531488A JPWO2006013854A1 JP WO2006013854 A1 JPWO2006013854 A1 JP WO2006013854A1 JP 2006531488 A JP2006531488 A JP 2006531488A JP 2006531488 A JP2006531488 A JP 2006531488A JP WO2006013854 A1 JPWO2006013854 A1 JP WO2006013854A1
Authority
JP
Japan
Prior art keywords
decoding
image
decoded
block
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006531488A
Other languages
English (en)
Inventor
慎太郎 工藤
慎太郎 工藤
西　孝啓
孝啓 西
雅保 井口
雅保 井口
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Publication of JPWO2006013854A1 publication Critical patent/JPWO2006013854A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

各ブロックの復号化の順序を変更する場合であってもブロック歪みを除去することができるとともに処理速度の低下を抑えた画像復号化装置を提供する。 このような画像復号化装置（１００）は、各ブロックを順次復号化する可変長復号化部（１１１）等と、フレームメモリ（１０２）と、復号化された各ブロックに対してフィルタ処理を施すデブロッキングフィルタ処理部（１１９）と、ブロックが復号化されるごとにそのブロックをフレームメモリ（１０２）に記憶させるとともに、そこに記憶されているブロックに対してフィルタ処理を実行させる第１実行状態のスイッチ（１０３，１０４）と、ブロックが復号化されるごとにそのブロックに対してフィルタ処理を実行させる第２実行状態のスイッチ（１０３，１０４）と、スイッチ（１０３，１０４）の第１実行状態と第２実行状態とを切り換える制御部１０１とを備える。

Description

本発明は、符号化されたピクチャをブロック単位で復号化する画像復号化装置に関し、特に、復号化されたブロックに対してフィルタ処理を行う画像復号化装置に関する。
動画像の圧縮技術において、標準規格としては、ＩＴＵ（国際電気通信連合 電気通信標準化部門）のＨ．２６１、Ｈ．２６３、Ｈ．２６４、ＩＳＯ（国際標準化機構）のＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４などがある。
これらの動画像圧縮方式では、ピクチャをブロックに分割し、ブロック毎に符号化を行う。ブロック毎に符号化を行うことによって圧縮効率を高めているが、復号化されたピクチャはブロック歪を生じ易くなる。Ｈ．２６４ではブロックに関連するノイズを除去するために、復号化や画面間予測で用いられる参照ピクチャにおいて、ブロック単位でノイズを除去するデブロッキングフィルタ処理が採用されている。
図１は、デブロッキングフィルタ処理が施される部位を説明するための説明図である。
Ｈ．２６４のデブロックフィルタ処理は、１６×１６画素からなるマクロブロックにおいて、図１に示すように、４×４画素からなるブロックのエッジに対して施される。図１の（ａ）の太実線に示すように、輝度における垂直方向の各エッジ（垂直エッジ）に対してデブロッキングフィルタ処理が施されるとともに、図１の（ａ）の太点線に示すように、色差における一部の垂直エッジに対してデブロッキングフィルタが施される。さらに、図１の（ｂ）の太実線に示すように、輝度における水平方向の各エッジ（水平エッジ）に対してデブロッキングフィルタ処理が施されるとともに、図１の（ｂ）の太点線に示すように、色差における一部の水平エッジに対してデブロッキングフィルタが施される。
また、このデブロッキングフィルタ処理では、そのエッジを挟んだ８画素が用いられる。さらに、デブロッキングフィルタ処理を施すかどうかは、フィルタコード（ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ）の値によって決まる。フィルタコードが０の場合は、マクロブロックの上記各エッジに対してデブロッキングフィルタ処理を施す。一方、フィルタコードが１の場合は、マクロブロックの何れのエッジに対してもデブロッキングフィルタ処理を施さない。また、フィルタコードが２の場合は、スライス境界にないマクロブロックの上記各エッジに対してデブロッキングフィルタ処理を施す。
デブロッキングフィルタ処理は、それぞれのエッジにおけるフィルタ強度の算出と、フィルタ処理の有無の判定に用いられる閾値α、βの算出と、フィルタ処理とに分けられる。
図２は、フィルタ強度の算出、閾値の算出、およびフィルタ処理を説明するための説明図である。
それぞれのエッジにおけるフィルタ強度は、例えば図２に示すように、画素ｐ０を含むブロックの情報と、画素ｑ０を含むブロックの情報とを用いて算出される。また、それぞれのエッジにおいてフィルタ処理の有無の判定に用いられる閾値α、βは、画素ｐ０を含むブロックの量子化係数と、画素ｑ０を含むブロックの量子化係数とを用いて算出される。フィルタ処理は、４×４画素からなるブロックのエッジに対して、そのエッジを挟んだ８画素を用いて施される。このようなフィルタ処理は、図１に示すように、マクロブロック単位に垂直エッジ、水平エッジの順で施される。このとき、マクロブロックのエッジのフィルタ処理では、処理対象のマクロブロックの左および上にあるマクロブロックであって、既にデブロッキングフィルタ処理が施されたマクロブロックの画素が用いられる。そのため、Ｈ．２６４ではデブロッキングフィルタ処理は、アドレスの小さいマクロブロックから順に施される。ここで、アドレスとは、ピクチャの左上端から水平走査順に各マクロブロックに割り当てられた番号である。
ところで、上記Ｈ．２６４では、スライスグループが規定されており、このスライスグループは、ピクチャをいくつかの領域に分けてその中でスライスを割り当てることにより構成される。スライスとは、スライスグループ内でオーバラップせずに、アドレスの小さい順に割り当てられた、長さ１個以上のマクロブロックのグループである。
図３Ａ、図３Ｂおよび図３Ｃは、スライスグループの説明図である。
図中、ブロックはマクロブロックを表し、その中の番号はそのマクロブロックが属するスライスグループのＩＤである。例えば、マクロブロックＭＢの中に示す数字「１」は、そのマクロブロックＭＢが属するスライスグループのＩＤを示している。スライスグループのタイプは７通り規定されており、ｓｌｉｃｅ＿ｇｒｏｕｐ＿ｍａｐ＿ｔｙｐｅでスライスグループのタイプが示される。図３Ａ、図３Ｂおよび図３Ｃはその中の３つのタイプを示す。
図３Ａは、ｓｌｉｃｅ＿ｇｒｏｕｐ＿ｍａｐ＿ｔｙｐｅが０のスライスグループを示し、水平走査順に連続するマクロブロックがスライスグループとして構成されている。図３Ｂは、ｓｌｉｃｅ＿ｇｒｏｕｐ＿ｍａｐ＿ｔｙｐｅが１のスライスグループを示し、このスライスグループは、同一スライスグループに属するマクロブロックが隣り合わないように構成されている。図３Ｃは、ｓｌｉｃｅ＿ｇｒｏｕｐ＿ｍａｐ＿ｔｙｐｅが２のスライスグループを示し、このスライスグループは、各スライスグループを矩形領域に区切り、それらのスライスグループを上から貼り付けたように構成されている。
スライスグループのタイプは、スライスグループの分け方を規定していて、エンコーダはその規定に基づいてスライスグループを割り当てる。またスライスグループの数は、プロファイルごとに規定されていて、ベースラインプロファイルでは１〜７個、メインプロファイルでは１個、イクステンディッドプロファイルでは１〜７個となっている（例えば、非特許文献１参照。）。
上述のようなスライスグループは、マクロブロックを含んで構成されるスライスに分割される。
図３Ｄは、スライスグループに含まれるスライスを示す図である。
例えば図３Ｄに示すように、スライスグループＳＧは、スライスＳ１、スライスＳ２およびスライスＳ３を含んで構成されている。スライスＳ１はアドレス０〜１９の各マクロブロックから構成され、スライスＳ２はアドレス２０〜４４の各マクロブロックから構成され、スライスＳ３は、アドレス４５〜６４の各マクロブロックから構成されている。
従来の画像復号化装置では、スライスの先頭マクロブロックのアドレスの小さい順に、各スライスを復号化する。例えば、画像復号化装置は、図３Ｄに示すように、まず、アドレス０の先頭マクロブロックを有するスライスＳ１を復号化し、次にアドレス２０の先頭マクロブロックを有するスライスＳ２を復号化し、その次にアドレス４５の先頭マクロブロックを有するスライスＳ３を復号化する。また、画像復号化装置は、１つのスライスを復号化するときには、スライスの先頭マクロブロック（図３Ｄ中の斜線で示すマクロブロック）からアドレスの小さい順に各マクロブロックに対して復号化を行う。なお、スライスの先頭マクロブロックのアドレスの小さい順に各スライスを復号化するような復号化の順序、つまり復号化対象のマクロブロックを復号化するときにはその復号化対象マクロブロックの左および上にあるマクロブロック（復号化対象マクロブロックよりも小さいアドレスを有するマクロブロック）が既に復号化されているような復号化の順序を、以下、アドレス処理順という。
そして、画像復号化装置は、復号化されたマクロブロックに対してデブロッキングフィルタ処理を施す。ここで、各スライスおよびマクロブロックの復号化の順序は上述のアドレス処理順になっているため、画像復号化装置は、マクロブロックの復号化処理とデブロッキングフィルタ処理とをパイライン処理により行う。
図４は、パイプライン処理を説明するための説明図である。
一般的に、特定の処理に特化した専用ハードウェアでは、処理内容を分担してパイプラインを構成して、並列処理を行うことが多い。パイプライン処理とは、別々の作業を順次同時に行い、処理を行うユニットを無駄に待たせることなく、次々と実行することで高速化を図る手法である。
パイプライン処理は、図４に示すように、前処理と後処理とから構成される。例えば、データ１、データ２、データ３の順で各データが処理される。まず、データ１に対して前処理を施し、次に、データ１に対する後処理と、データ２に対する前処理とを同時に施す。次に、データ２に対する後処理と、データ３に対する前処理とを同時に施す。このような構成にすることによって、データ１、データ２およびデータ３に対して前処理を行った後に、それらのデータに対して後処理を行う場合と比べて処理時間を短くすることができ、高速化を図ることができる。なお、データ１の後処理において、データ２の前処理の結果を用いる場合、データ１の後処理とデータ２の前処理を並列に処理できなく、パイプラインにならないのは言うまでもない。
ここで、上記従来の画像復号化装置は、上述の前処理をマクロブロックに対する復号化処理として行い、上述の後処理をマクロブロックに対するデブロッキングフィルタ処理として行う。
このように従来の画像復号化装置では、各スライスおよびマクロブロックの復号化の順序を常にアドレス処理順にしているため、マクロブロックの復号化処理とデブロッキングフィルタ処理とをパイライン処理により行い、処理速度の高速化を図っている。
Ｈ．２６４｜ＭＰＥＧ−４ＡＶＣ規格書
ところが、各スライスの復号化の順序をアドレス処理順にしない場合がある。
上記Ｈ．２６４では、スライスの復号順序がアドレス復号順になるとは限らないことを示すａｒｂｉｔｒａｒｙ ｓｌｉｃｅ ｏｒｄｅｒが規定されている。このａｒｂｉｔｒａｒｙ ｓｌｉｃｅ ｏｒｄｅｒの使用は、メインプロファイルでは禁止され、ベースラインプロファイルとイクステンディッドプロファイルでは許可されている。ａｒｂｉｔｒａｒｙ ｓｌｉｃｅ ｏｒｄｅｒが許可されている場合、スライスの先頭マクロブロックのアドレスの小さい順に各スライスを復号化するとは限らず、マクロブロックの先頭アドレスが他のスライスより大きいスライスからデコードする可能性がある。
このような場合には、スライス境界にあるマクロブロックに対してデブロッキングフィルタ処理を施そうとしても、その処理対象のマクロブロックの左および上にあるマクロブロックに対して未だ復号化処理およびデブロッキングフィルタ処理が施されていないことがある。
したがって、ａｒｂｉｔｒａｒｙ ｓｌｉｃｅ ｏｒｄｅｒが許可されることを想定すると、画像復号化装置は、ピクチャに含まれる全てのスライスをマクロブロックごとに復号化し、復号化された１枚のピクチャが構成された後に、各マクロブロックに対してデブロッキングフィルタ処理を施す必要がある。つまり、ａｒｂｉｔｒａｒｙ ｓｌｉｃｅ ｏｒｄｅｒが許可されるときには、画像復号化装置は、復号化処理とデブロッキングフィルタ処理とをパイプライン処理により行うことができない。
図５は、上記Ｈ．２６４のａｒｂｉｔｒａｒｙ ｓｌｉｃｅ ｏｒｄｅｒに対応した画像復号化装置の構成を示すブロック図である。
この画像復号化装置８００は、符号化信号を復号化するものであって、可変長復号化部８０１と、逆量子化部８０２と、逆直交変換部８０３と、メモリ８０４と、面内予測部８０５と、加算部８０６と、スイッチ８０７と、フレームメモリ８０８と、デブロッキングフィルタ処理部８０９と、フレームメモリ８１０と、動き補償部８１１とを備えている。
このように構成された画像復号化装置８００においては、Ｉピクチャの符号化信号を復号化するイントラモード時には、符号化信号は可変長復号化部８０１によって量子化値に復号化され、逆量子化部８０２によって周波数成分に復号化され、逆直交変換部８０３によって予測誤差に復号化される。また、メモリ８０４に記憶されている左マクロブロック、上マクロブロック、左上マクロブロック、および右上マクロブロックの画素を用いて、面内予測部８０５で予測画像が生成され、加算部８０６によって予測誤差と予測画像が加算される。その結果、復号化されたマクロブロックである再構成画像が生成される。ここで、イントラモード時には、スイッチ８０７は面内予測部８０５と加算部８０６をつないでいる。再構成画像は、メモリ８０４に格納されると共にフレームメモリ８０８に格納される。そして、ピクチャに含まれる全てのマクロブロックの再構成画像がフレームメモリ８０８に格納された後に、デブロッキングフィルタ処理部８０９は、ピクチャの左上端マクロブロックの再構成画像からアドレス順に、各再構成画像に対してブロック歪を除去するデブロッキングフィルタ処理を施して、処理済みの再構成画像をフレームメモリ８１０に格納する。フレームメモリ８１０に格納されたデブロッキングフィルタ処理を施されたピクチャは、復号画像信号としてモニタ等に出力される。
またＰピクチャ及びＢピクチャの符号化信号を復号化するインターモード時には、符号化信号は可変長復号化部８０１によって量子化値に復号化され、逆量子化部８０２によって周波数成分に復号化され、逆直交変換部８０３によって動き補償誤差に復号化される。一方、動き補償部８１１によって動き補償画像が生成され、加算部８０６によって動き補償誤差と動き補償画像が加算される。その結果、復号化されたマクロブロックである再構成画像が生成される。ここで、インターモード時には、スイッチ８０７は、動き補償部８１１と加算部８０６をつないでいる。再構成画像は、メモリ８０４に格納されると共にフレームメモリ８０８に格納される。そして、ピクチャに含まれる全てのマクロブロックの再構成画像がフレームメモリ８０８に格納された後に、デブロッキングフィルタ処理部８０９は、ピクチャの左上端マクロブロックの再構成画像からアドレス順に、各再構成画像に対してブロック歪を除去するデブロッキングフィルタ処理を施して、処理済の再構成画像をフレームメモリ８１０に格納する。フレームメモリ８１０に格納されたデブロッキングフィルタ処理を施されたピクチャは、復号画像信号としてモニタ等に出力される。
ここで、デブロッキングフィルタ処理部８０９は、フィルタコードが１の場合には、再構成画像に対して何も処理をせずに、その再構成画像をフレームメモリ８１０に格納する。
図６は、画像復号化装置８００の処理の流れを示すフローチャートである。
まず、画像復号化装置８００は、符号化信号の示すピクチャの符号化された全てのマクロブロックに対して復号化処理を行うことにより、符号化された全てのマクロブロックをそれぞれ再構成画像に復号化する（ループ１のステップＳ８２２）。そして、全てのマクロブロックが再構成画像に復号化されたら、画像復号化装置８００は、ループ１で復号化された全ての再構成画像に対してデブロッキングフィルタ処理を施す（ループ２のステップＳ８２４）。即ち、画像復号化装置８００は、ピクチャに対してマクロブロック単位でデブロッキングフィルタ処理を施す。
図７は、Ｈ．２６４のａｒｂｉｔｒａｒｙ ｓｌｉｃｅ ｏｒｄｅｒに対応した画像符号化装置の構成を示すブロック図である。
この画像符号化装置９００は、入力画像信号を符号化するものであって、メモリ９０１と、面内予測部９０２と、減算部９０３と、スイッチ９０４と、直交変換部９０５と、量子化部９０６と、可変長符号化部９０７と、逆量子化部９０８と、逆直交変換部９０９と、加算部９１０と、フレームメモリ９１１と、デブロッキングフィルタ処理部９１２と、フレームメモリ９１３と、動き検出部９１４と、動き補償部９１５とを備えている。
このように構成された画像符号化装置９００は、入力画像信号の示すピクチャをマクロブロックごとに処理する。入力画像信号の示すピクチャをＩピクチャとして符号化するイントラモード（面内予測）の時には、メモリ９０１に記憶されている左マクロブロック、上マクロブロック、左上マクロブロック、および右上マクロブロックの再構成画像を用いて、面内予測部９０２で予測画像が生成され、減算部９０３によって入力画像信号のマクロブロックの画像と予測画像の差分である予測誤差が出力される。ここで、スイッチ９０４はイントラモード時には面内予測部９０２と減算部９０３をつないでいる。直交変換部９０５によって予測誤差が周波数成分に変換され、量子化部９０６による量子化によって量子化値に圧縮符号化される。その量子化値に対して可変長符号化部９０７によって符号化が施され、符号化された結果が出力となる。また、量子化部９０６による量子化値は、逆量子化部９０８で周波数成分に復号化され、逆直交変換部９０９によって予測誤差に復号化される。予測誤差は加算部９１０によって予測画像と加算される。その結果、復号化されたマクロブロックである再構成画像が生成されてメモリ９０１に格納される。また再構成画像はフレームメモリ９１１にも格納される。そして、ピクチャに含まれる全てのマクロブロックの再構成画像がフレームメモリ９１１に格納された後に、デブロッキングフィルタ処理部９１２は、ピクチャの左上端マクロブロックの再構成画像から順に、各再構成画像に対してブロック歪を除去するデブロッキングフィルタ処理を施して、処理済の再構成画像をフレームメモリ９１３に格納する。
また、入力画像信号の示すピクチャをＰピクチャまたはＢピクチャとして符号化するインターモード（面間予測）の時には、動き検出部９１４によって動きベクトルが生成され、動き補償部９１５によって予測画像が生成され、減算部９０３によって入力画像信号の示すマクロブロックの画像と予測画像の差分である動き補償誤差が算出される。ここで、インターモード時にはスイッチ９０４は、動き補償部９１５と減算部９０３をつないでいる。なお、動き検出部９１４は、フレームメモリ９１３に記憶されている復号画像から、符号化対象マクロブロックの画像と比較して最も差分が小さい画像領域をサーチする。即ち、動き検出部９１４は、Ｐピクチャの場合は、前方の参照ピクチャから上記画像領域をサーチし、Ｂピクチャの場合は、前方および後方の双方向の参照ピクチャから上記画像領域をサーチする。そして、動き検出部９１４は、サーチした画像領域と、入力画像信号の符号化対象マクロブロックとの間の動き量を動きベクトルとして算出して、その動きベクトルを出力する。さらに、動き検出部９１４は、参照されるピクチャが符号化対象ピクチャの前方にあること、後方にあること、または双方向にあることを示すマクロブロックの予測タイプを出力する。動き補償部９１５は、動き検出部９１４から出力された動きベクトルと予測タイプから予測画像を演算して出力する。
減算部９０３から出力された動き補償誤差は直交変換部９０５によって周波数成分に変換され、量子化部９０６による量子化によって量子化値に圧縮符号化される。その量子化値に対して可変長符号化部９０７によって符号化が施され、その符号化された結果が出力となる。また、量子化部９０６による量子化値は、逆量子化部９０８で周波数成分に復号化され、逆直交変換部９０９によって動き補償誤差に復号化され、加算部９１０によって予測画像と加算される。その結果、復号化されたマクロブロックである再構成画像が生成されてメモリ９０１に格納される。また再構成画像はフレームメモリ９１１にも格納される。そして、ピクチャに含まれる全てのマクロブロックの再構成画像がフレームメモリ９１１に格納された後に、デブロッキングフィルタ処理部９１２は、ピクチャの左上端マクロブロックの再構成画像から順に、各再構成画像に対してブロック歪を除去するデブロッキングフィルタ処理が施して、処理済の再構成画像をフレームメモリ９１３に格納する。
ここで、デブロッキングフィルタ処理部９１２は、フィルタコードが１の場合には、再構成画像に対して何も処理をせずに、その再構成画像をフレームメモリ９１３に格納する。
このように、図５に示す画像復号化装置８００および図７に示す画像符号化装置９００は、復号化の順序がアドレス処理順でないときにも、デブロッキングフィルタ処理を行うことができる。
しかしながら、図５に示す画像復号化装置８００および図７に示す画像符号化装置９００では、復号化の順序がアドレス処理順であるときにも、デブロッキングフィルタ処理を行う前に、ピクチャに含まれる全てのマクロブロックに対して復号化処理を施して、復号化されたマクロブロック（再構成画像）を全てメモリに蓄積するため、処理速度が遅くなるという問題がある。
例えば、再構成画像を格納するメモリが外部メモリであって、その外部メモリが画像復号化処理以外の他の処理にも使用される場合、上述のように全ての再構成画像を外部メモリに格納すると、その外部メモリに格納されるデータ量が多いため、復号化処理全体におけるデータ転送の割合が高くなってしまい、他の処理に割り当てられる時間が少なくなる。そのため、画像復号化装置と外部メモリとを接続するバスのバス幅が小さい場合、あるいは画像復号化装置の処理能力が低い場合では、全ての復号化処理が所定の時間（１フレームを処理するために使用可能な時間）を超える事態が発生し、円滑な画像復号化を行うことができない。
また、デブロッキングフィルタ処理を施す前に全ての再構成画像をメモリに格納するため、マクロブロック単位で、復号化処理（画像を再構成するまでの処理）とデブロッキングフィルタ処理とをパイプライン処理（並列処理）によって行うことができない。また、デブロッキングフィルタ処理されたピクチャを用いて、次のピクチャを符号化または復号化するため、ピクチャ単位においても、復号化処理（画像を再構成するまでの処理）と、デブロッキングフィルタ処理とをパイプライン処理（並列処理）によって行うことができない。
そこで、本発明は、かかる問題を解決するためになされたものであって、各ブロックの復号化の順序を変更する場合であってもブロック歪みを除去することができるとともに処理速度の低下を抑えた画像復号化装置および画像符号化装置を提供することを目的とする。
上記目的を達成するために、本発明に係る画像復号化装置は、符号化されたピクチャをブロック単位で復号化する画像復号化装置であって、符号化されたピクチャを構成する各ブロックを順次復号化する復号化手段と、前記復号化手段により復号化された各ブロックを記憶するための記憶手段と、前記復号化手段により復号化された各ブロックに対してフィルタ処理を施すフィルタ手段と、前記復号化手段でブロックが復号化されるごとに復号化された前記ブロックを前記記憶手段に記憶させるとともに、前記記憶手段に記憶されているブロックに対して前記フィルタ手段にフィルタ処理を実行させる第１の実行手段と、前記復号化手段でブロックが復号化されるごとに復号化された前記ブロックに対して前記フィルタ手段にフィルタ処理を実行させる第２の実行手段と、前記第１の実行手段による動作と前記第２の実行手段による動作とを切り換える切換制御手段とを備えることを特徴とする。具体的に、前記切換制御手段は、前記復号化手段により順次復号化される各ブロックの順序に応じて前記第１の実行手段による動作と前記第２の実行手段による動作とを切り換える。例えば、前記切換制御手段は、前記復号化手段により順次復号化される各ブロックの順序が、前記ピクチャの端にあるブロックから連続的に復号化されるような規定順序であるときには、前記第１の実行手段による動作を禁止させて前記第２の実行手段による動作を実行させ、前記復号化手段より順次復号化される各ブロックの順序が、前記規定順序でないときには、前記第２の実行手段による動作を禁止させて前記第１の実行手段による動作を実行させる。
これにより、復号化手段により順次復号化される各ブロックの順序が、ピクチャの端にあるブロックから連続的に復号化されるような規定順序、つまりアドレス復号順であるときには、例えばスイッチにより構成される第２の実行手段は、復号化手段によりブロックが復号化されるごとにそのブロックに対してフィルタ手段にフィルタ処理を実行させる。その結果、復号化処理とフィルタ処理とをパイプライン処理によって行うことができ、復号化された各ブロックを記憶手段に記憶させた後に、そのブロックに対してフィルタ処理を施す場合と比べて、処理速度を速くすることができる。また、この場合には、記憶手段にブロックを記憶させる必要がないので、記憶手段に対するデータ転送量を抑えて全体的な処理を円滑に行うことができる。また、復号化手段により順次復号化される各ブロックの順序が規定順序でない、つまりアドレス復号順でないときには、例えばスイッチにより構成される第１の実行手段は、復号化手段でブロックが復号化されるごとにそのブロックを記憶手段に記憶させるとともに、記憶手段に記憶されているブロックに対してフィルタ手段にフィルタ処理を実行させる。その結果、順次復号化される各ブロックの順序がアドレス復号順でないときにも、フィルタ手段はブロックに対してフィルタ処理を施すことができる。このように、本発明では、各ブロックの復号化の順序を変更する場合であってもブロック歪みを除去することができるとともに処理速度の低下を抑えることができる。
また、前記切換制御手段は、前記復号化手段によって単位時間内に復号化されるべきブロックの数に応じて前記第１の実行手段による動作と前記第２の実行手段による動作とを切り換えることを特徴としてもよい。例えば、前記切換制御手段は、前記復号化手段によって単位時間内に復号化されるべきブロックの数が所定値よりも多いときには、前記第１の実行手段による動作を禁止させて前記第２の実行手段による動作を実行させ、前記ブロックの数が前記所定値以下のときには、前記第２の実行手段による動作を禁止させて前記第１の実行手段による動作を実行させる。
メインプロファイルやベースラインプロファイルなどのプロファイルによって、単位時間内に復号化されるべきブロックの数が異なり、その数によって、復号化手段により順次復号化される各ブロックの順序が規定順序であるのか、その順序が規定順序でない可能性があるのかを判別することができる。そこで、本発明のように、そのブロックの数に応じて第１の実行手段による動作と前記第２の実行手段による動作とを切り換えることによっても、上述と同様の効果を得ることができる。つまり、各ブロックの復号化の順序を変更する場合であってもブロック歪みを除去することができるとともに処理速度の低下を抑えることができる。
また、前記切換制御手段は、前記復号化手段により順次復号化される各ブロックの順序が、前記ピクチャの端にあるブロックから連続的に復号化されるような規定順序でないときには、前記フィルタ処理の対象となる前記各ブロックの部位を示すフィルタ情報に基づいて、前記第１の実行手段による動作と前記第２の実行手段による動作とを切り換えることを特徴としてもよい。
これにより、例えば、順次復号化される各ブロックの順序が規定順序でなくても、フィルタ情報たるｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃの値が２であるときには、つまり、フィルタ処理の対象からスライス境界が外されているときには、ピクチャに含まれる複数のスライスがどのような順序で復号化されても、切換制御手段が第２の実行手段による動作を実行させれば、復号化処理とフィルタ処理とをパイプライン処理によって行うことができ、処理速度を速くすることができる。
また、前記切換制御手段は、前記符号化されたピクチャを複数含んで構成される符号化信号の種別に応じて前記第１の実行手段による動作と前記第２の実行手段による動作とを切り換えることを特徴としてもよい。例えば、前記切換制御手段は、前記符号化信号の種別に基づいて、前記ピクチャの端にあるブロックから各ブロックが連続的に復号化されるべきであると判断したときには、前記第１の実行手段による動作を禁止させて前記第２の実行手段による動作を実行させ、前記判断が不可能なときには、前記第２の実行手段による動作を禁止させて前記第１の実行手段による動作を実行させる。
符号化信号の示すメインプロファイルやベースラインプロファイルなどのプロファイルによって、ピクチャの端にあるブロックから各ブロックが連続的に復号化されるべきであると判断できる場合がある。そこで、本発明のように、符号化信号の種別、つまりプロファイルに応じて、第１の実行手段による動作と第２の実行手段による動作とを切り換えることによっても、上述と同様の効果を得ることができる。つまり、各ブロックの復号化の順序を変更する場合であってもブロック歪みを除去することができるとともに処理速度の低下を抑えることができる。
また、前記切換制御手段は、前記ピクチャの端にあるブロックから各ブロックが連続的に復号化されるべきであるか否かを示す外部信号を取得し、前記外部信号が連続的に復号化されるべきであることを示すときには、前記第１の実行手段による動作を禁止させて前記第２の実行手段による動作を実行させ、前記外部信号が連続的に復号化されるべきでないことを示すときには、前記第２の実行手段による動作を禁止させて前記第１の実行手段による動作を実行させることを特徴としてもよい。
ａｒｂｉｔｒａｒｙ ｓｌｉｃｅ ｏｒｄｅｒが許可されているときには、ピクチャの端にあるスライスから各スライスが連続的に復号化されるとは限らない。そこで、本発明のように、ａｒｂｉｔｒａｒｙ ｓｌｉｃｅ ｏｒｄｅｒが許可されているか否かを示す外部信号に応じて第１の実行手段による動作と前記第２の実行手段による動作とを切り換えることによっても、上述と同様の効果を得ることができる。つまり、各ブロックの復号化の順序を変更する場合であってもブロック歪みを除去することができるとともに処理速度の低下を抑えることができる。
なお、本発明は、このような画像復号化装置として実現することができるだけでなく、その画像復号化装置と同様の構成を含む画像符号化装置や、それらによる処理方法、プログラム、そのプログラムを格納する記憶媒体、集積回路としても実現することができる。
本発明の画像復号化装置は、各ブロックの復号化の順序を変更する場合であってもブロック歪みを除去することができるとともに処理速度の低下を抑えることができるという作用効果を奏する。
図１は、デブロッキングフィルタ処理が施される部位を説明するための説明図である。 図２は、フィルタ強度の算出、閾値の算出、およびフィルタ処理を説明するための説明図である。 図３Ａは、スライスグループの説明図である。 図３Ｂは、他のスライスグループの説明図である。 図３Ｃは、さらに他のスライスグループの説明図である。 図３Ｄは、スライスグループに含まれるスライスを示す図である。 図４は、パイプライン処理を説明するための説明図である。 図５は、Ｈ．２６４のａｒｂｉｔｒａｒｙ ｓｌｉｃｅ ｏｒｄｅｒに対応した画像復号化装置の構成を示すブロック図である。 図６は、同上の画像復号化装置の処理の流れを示すフローチャートである。 図７は、Ｈ．２６４のａｒｂｉｔｒａｒｙ ｓｌｉｃｅ ｏｒｄｅｒに対応した画像符号化装置の構成を示すブロック図である。 図８は、本発明の実施の形態１における画像復号化装置の構成を示すブロック図である。 図９は、同上の画像復号化装置の処理の流れを示すフローチャートである。 図１０は、同上の変形例に係る画像復号化装置の処理の流れを示すフローチャートである。 図１１は、ピクチャごとにフィルタコードの値を判別する画像復号化装置の処理の流れを示すフローチャートである。 図１２は、本発明の実施の形態２における画像符号化装置の構成を示すブロック図である。 図１３は、同上の画像符号化装置の処理の流れを示すフローチャートである。 図１４は、同上の変形例１に係る画像符号化装置の処理の流れを示すフローチャートである。 図１５は、ピクチャごとにフィルタコードの値を判別する画像符号化装置の処理の流れを示すフローチャートである。 図１６は、本発明の実施の形態２の変形例２に係る画像符号化装置の処理の流れを示すフローチャートである。 図１７Ａは、本発明の画像復号化装置および画像符号化装置をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図である。（実施の形態３） 図１７Ｂは、本発明の画像符号化方法および画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての他の説明図である。（実施の形態３） 図１７Ｃは、本発明の画像符号化方法および画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についてのさらに他の説明図である。（実施の形態３） 図１８は、本発明の実施の形態４におけるコンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。 図１９は、同上の画像符号化装置と画像復号化装置を用いた携帯電話を示す図である。 図２０は、同上の携帯電話のブロック図である。 図２１は、同上のディジタル放送用システムの例を示す図である。
符号の説明
１００ 画像復号化装置
１０１ 制御部
１０２，１２０ フレームメモリ
１０３，１０４，１１７ スイッチ
１１１ 可変長復号化部
１１２ 逆量子化部
１１３ 逆直交変換部
１１４ メモリ
１１５ 面内予測部
１１６ 加算部
１１９ デブロッキングフィルタ処理部
１２０ フレームメモリ
１２１ 動き補償部
２００ 画像符号化装置
２０１ 制御部
２０２，２２３ フレームメモリ
２０３，２０４，２１４ スイッチ
２０５ 設定部
２１１ メモリ
２１２ 面内予測部
２１３ 減算部
２１５ 直交変換部
２１６ 量子化部
２１７ 可変長符号化部
２１８ 逆量子化部
２１９ 逆直交変換部
２２０ 加算部
２２２ デブロッキングフィルタ処理部
２２４ 動き検出部
２２５ 動き補償部
以下本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
図８は、本発明の実施の形態１における画像復号化装置１００の構成を示すブロック図である。
画像復号化装置１００は、ブロック単位で行われる復号化の順序を変更する場合であってもブロック歪みを除去することができるとともに、処理速度の低下を抑えた画像復号化装置であって、可変長復号化部１１１と、逆量子化部１１２と、逆直交変換部１１３と、メモリ１１４と、面内予測部１１５と、加算部１１６と、スイッチ１１７と、デブロッキングフィルタ処理部１１９と、フレームメモリ１２０と、動き補償部１２１と、制御部１０１と、フレームメモリ１０２、スイッチ１０３と、スイッチ１０４とを備えている。
可変長復号化部１１１は、符号化信号の示す符号化されたピクチャのマクロブロックごとに、そのマクロブロックに対して可変長復号化処理を施し、その処理結果である量子化値を逆量子化部１１２に出力する。
ここで、可変長復号化部１１１は、スライスやマクロブロックの復号化の順序を示す順序通知情報を取得して、その順序通知情報の示す順序に基づいて各マクロブロックに対する可変長復号化処理を行う。順序通知情報は、復号化の順序がアドレス処理順であること、または復号化の順序が任意であることを示す。以下、任意の復号化の順序を不定順という。
したがって、可変長復号化部１１１は、順序通知情報がアドレス処理順を示すときには、符号化信号の示す符号化されたピクチャの各スライスに対して、スライスの先頭マクロブロックのアドレスの小さい順に可変長復号化処理を行う。そして、可変長復号化部１１１は、各スライス内では、スライスの先頭マクロブロックからアドレスの小さい順に、各マクロブロックに対する可変長復号化処理を行う。一方、順序通知情報が不定順を示すときには、可変長復号化部１１１は、所定の規定に従って、上述のアドレス処理順と同様の順序や、アドレス処理順と異なる順序で、各マクロブロックに対して可変長復号化処理を行う。
逆量子化部１１２は、可変長復号化部１１１から出力された量子化値に対して逆量子化を行ってその量子化値を周波数成分に変換する。
逆直交変換部１１３は、符号化対象ピクチャがＩピクチャであるイントラモードでは、逆量子化部１１２から出力される周数成分を画像データである予測誤差に変換し、符号化対象ピクチャがＰピクチャまたはＢピクチャであるインターモードでは、その周波数成分を画像データである動き補償誤差に変換する。
スイッチ１１７は、イントラモードでは画内予測部１１５を加算部１１６に接続し、インターモードでは動き補償部１２１を加算部１１６に接続する。
加算部１１６は、イントラモードでは、画内予測部１１５から出力される予測画像と予測誤差とを加算することにより、符号化信号の示す符号化されたマクロブロックを再構成画像に復号化する。また、加算部１１６は、インターモードでは、動き補償部１２１から出力される動き補償画像と動き補償誤差とを加算することにより、符号化信号の示す符号化されたマクロブロックを再構成画像に復号化する。
メモリ１１４は、加算部１１６から出力される再構成画像を蓄積する。
面内予測部１１５は、メモリ１１４に記憶されている複数の再構成画像から、復号化対象マクロブロックに対して左にあるマクロブロック、上にあるマクロブロック、左上にあるマクロブロック、および右上にあるマクロブロックのそれぞれの再構成画像を取り出す。そして、面内予測部１１５は、それらの再構成画像を用いて復号化対象マクロブロックの予測画像を生成する。
制御部１０１は、上述の順序通知情報を取得して、その順序通知情報に基づいてスイッチ１０３およびスイッチ１０４を制御する。
即ち、制御部１０１は、順序通知情報がアドレス処理順を示す場合には、スイッチ１０３およびスイッチ１０４を制御して、加算部１１６とデブロッキングフィルタ処理部１１９とを直接接続させる。一方、順序通知情報が不定順を示す場合には、制御部１０１は、まず、スイッチ１０３を制御して、フレームメモリ１０２を加算部１１６に接続させる。加算部１１６に接続されたフレームメモリ１０２は、加算部１１６から出力される再構成画像を逐次蓄積する。そして、制御部１０１は、フレームメモリ１０２に１ピクチャ分の全ての再構成画像が蓄積されると、スイッチ１０４を制御して、フレームメモリ１０２をデブロッキングフィルタ処理部１１９に接続させる。
デブロッキングフィルタ処理部１１９は、スイッチ１０３およびスイッチ１０４によって加算部１１６に接続されると、加算部１１６が再構成画像を出力するごとに、その再構成画像に対してデブロッキングフィルタ処理を施す。また、デブロッキングフィルタ処理部１１９は、スイッチ１０４によってフレームメモリ１０２に接続されると、フレームメモリ１０２に蓄積された１ピクチャ分の全ての再構成画像に対して、ピクチャの左上端のマクロブロックからアドレスの小さい順にデブロッキングフィルタ処理を施す。
そして、デブロッキングフィルタ処理部１１９は、デブロッキングフィルタ処理された再構成画像をフレームメモリ１２０に順次格納する。これにより、フレームメモリ１２０には、１ピクチャ分の再構成画像が復号画像として格納される。また、このような復号画像は復号画像信号としてモニタなどに出力される。
なお、デブロッキングフィルタ処理部１１９は、処理対象の再構成画像（マクロブロック）に対してデブロッキングフィルタ処理を施すときには、その再構成画像の左および上にある既にデブロッキングフィルタ処理された再構成画像を、フレームメモリ１２０から取得してその取得した再構成画像を用いる。
動き補償部１２１は、フレームメモリ１２０に格納された復号画像を参照ピクチャとして取得するとともに、動きベクトルを取得する。そして、動き補償部１２１は、参照ピクチャのうち動きベクトルにより示される画像領域を、復号化対象マクロブロックの動き補償画像として生成し、その動き補償画像を出力する。
このように本実施の形態における画像復号化装置１００は、順序通知情報がアドレス処理順を示すときには、マクロブロックごとに、復号化処理（再構成画像を生成するまでの処理）と、デブロッキングフィルタ処理とをパイプライン処理により行う。そして、順序通知情報が不定順を示すときには、画像復号化装置１００は、各マクロブロックに対して復号化処理を行い、１ピクチャ分の再構成画像がフレームメモリ１０２に蓄積された後に、デブロッキングフィルタ処理を行う。
ここで、上述の順序通知情報としては、例えばＨ．２６４におけるプロファイル情報が用いられる。
即ち、符号化信号に含まれるプロファイル情報がベースラインプロファイルまたはイクステンディッドプロファイルを示す場合は、そのプロファイル情報は、逐次復号化されるマクロブロックの順序が不定順であることを示している。また、プロファイル情報がメインプロファイを示す場合は、そのプロファイル情報は、逐次復号化されるマクロブロック順序がアドレス処理順であることを示している。
ベースラインプロファイルとイクステンディッドプロファイルにおいて、逐次復号化されるマクロブロックの順序が不定順となる理由には、ａｒｂｉｔｒａｒｙ ｓｌｉｃｅ ｏｒｄｅｒが許可されているからという理由だけでなく、スライスグループの数を１〜７個の範囲で設定できるからという理由もある。つまり、スライスグループの数が複数の場合には、例えば図３Ｂに示すように、復号化対象マクロブロックに対して左隣と上隣のマクロブロックが、それぞれ復号化対象マクロブロックのスライスグループと異なるスライスグループに属していることがある。このような場合には、復号化対象マクロブロックの復号化時に、その左隣や上隣にあるマクロブロックが未だ復号化されていない可能性があるため、逐次復号化されるマクロブロックの順序が不定順になる。
図９は、本実施の形態における画像復号化装置１００の処理の流れを示すフローチャートである。
画像復号化装置１００は、まず、復号化対象ピクチャに対して、順序通知情報がアドレス処理順を示しているか否かを判別する（ステップＳ１００）。アドレス処理順を示していると判別したときには（ステップＳ１００のＹ）、画像復号化装置１００は、復号化対象の各マクロブロックに対してアドレス処理順に復号化処理を行い（ステップＳ１０２）、復号化されたマクロブロック（再構成画像）に対してデブロッキングフィルタ処理を行う（ステップＳ１０４）。つまり、画像復号化装置１００は、ステップＳ１０２の復号化処理とステップＳ１０４のデブロッキングフィルタ処理とをパイプライン処理により行い、これらの処理を復号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ２）。
一方、順序通知情報がアドレス処理順を示していない、つまり不定順を示していると判別したときには（ステップＳ１００のＮ）、画像復号化装置１００は、所定の順序で復号化対象の各マクロブロックに対して復号化処理を行い（ステップＳ１０６）、復号化されたマクロブロック（再構成画像）をフレームメモリ１０２に逐次格納する（ステップＳ１０８）。このように、画像復号化装置１００は、ステップＳ１０６の復号化処理とステップＳ１０８の格納処理とを復号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ３）。そして、画像復号化装置１００は、フレームメモリ１０２に蓄積された１ピクチャ分の各再構成画像に対して、ピクチャの左上端の再構成画像からアドレスの小さい順に、デブロッキングフィルタ処理を行う（ステップＳ１１０）。
画像復号化装置１００は、このようなステップＳ１００〜Ｓ１１０までの処理を、符号化信号の示す全ての符号化されたピクチャに対して行う（ループ１）。
以上のように本実施の形態によれば、複数のスライスグループとａｒｂｉｔｒａｒｙ ｓｌｉｃｅ ｏｒｄｅｒが禁止されているメインプロファイルでは、逐次復号化されるマクロブロックの順序がアドレスの小さい順（アドレス復号順）であるということが保証されているため、全マクロブロックが再構成画像として復号化されなくても、逐次再構成画像に復号化されたフィルタ処理前のマクロブロックに対して、デブロッキングフィルタ処理を施すことができる。したがって、復号処理全体におけるデータ転送の割合を低くできる。また逐次復号化された再構成画像に施すデブロッキングフィルタ処理は、再構成画像を生成するまでの処理（復号化処理）と並列に処理することが可能になる。これにより、処理速度を速くすることができる。
また、複数のスライスグループとａｒｂｉｔｒａｒｙ ｓｌｉｃｅ ｏｒｄｅｒが許可されているベースラインプロファイルでは、逐次復号化されるマクロブロックの順序がアドレス復号順であることが保証されていない。本実施の形態では、このようなベースラインプロファイルでも、フレームメモリ１０２に再構成画像を逐次格納することにより、各再構成画像に対してデブロッキングフィルタ処理を施すことができる。
（変形例）
ここで、上記実施の形態１における変形例を説明する。
上記実施の形態の画像復号化装置１００は、順序通知情報のみに基づいて、復号化処理とデブロッキングフィルタ処理とをパイプライン処理により行うか否かを判別したが、本変形例の画像復号化装置は順序通知情報とフィルタコード（ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ）とに基づいて判別する。
本変形例に係る画像復号化装置は、順序通知情報がアドレス処理順を示している場合には、上記実施の形態と同様の処理を行うが、順序通知情報が不定順を示している場合には、フィルタコードの値に応じた処理を行う。
具体的に、本変形例に係る画像復号化装置は、フィルタコードが０の場合には、上記実施の形態において順序通知情報が不定順を示している場合と同様の処理を行う。つまり、画像復号化装置の制御部は、スイッチ１０３を制御することによりフレームメモリ１０２を加算部１１６に接続させて、１ピクチャ分の再構成画像をフレームメモリ１０２に蓄積させる。そして制御部は、スイッチ１０４を制御することによりフレームメモリ１０２をデブロッキングフィルタ処理部１１９に接続させる。その結果、デブロッキングフィルタ処理部１１９はフレームメモリ１０２に蓄積された再構成画像に対してデブロッキングフィルタ処理を行う。これにより、フィルタコードが０の場合には、全てのマクロブロック（再構成画像）のエッジに対してデブロッキングフィルタ処理が施される。
フィルタコードが１の場合には、本変形例に係る画像復号化装置の制御部は、スイッチ１０３とスイッチ１０４とを制御することにより、加算部１１６とデブロッキングフィルタ処理部１１９とを直接接続させる。そして、制御部は、デブロッキングフィルタ処理部１１９に対してデブロッキングフィルタ処理を禁止させる。その結果、加算部１１６から出力された再構成画像は、スイッチ１０３およびスイッチ１０４を介してデブロッキングフィルタ処理部１１９を通過し、フレームメモリ１２０に格納される。これにより、フィルタコードが１の場合には、全てのマクロブロック（再構成画像）のエッジに対してデブロッキングフィルタ処理が施されないこととなる。
フィルタコードが２の場合には、本変形例に係る画像復号化装置の制御部は、上述と同様、スイッチ１０３とスイッチ１０４とを制御することにより、加算部１１６とデブロッキングフィルタ処理部１１９とを直接接続させる。そして、制御部は、スライス境界に対するデブロッキングフィルタ処理を、デブロッキングフィルタ処理部１１９に禁止させる。その結果、デブロッキングフィルタ処理部１１９は、加算部１１６から出力されたスライス境界にある再構成画像（マクロブロック）のうち、そのスライス境界を除くエッジ（例えば、再構成画像の内部にある、４×４画素からなるブロックのエッジ）にデブロッキングフィルタ処理を施す。また、デブロッキングフィルタ処理部１１９は、加算部１１６から出力されたスライス境界にない再構成画像の全てのエッジ、つまり図１に示す各垂直エッジおよび水平エッジに対してデブロッキングフィルタ処理を施す。
これにより、フィルタコードが２の場合には、各マクロブロック（再構成画像）に対して、復号化処理とデブロッキングフィルタ処理とがパイプライン処理により施される。
図１０は、本変形例に係る画像復号化装置の処理の流れを示すフローチャートである。
本変形例に係る画像復号化装置は、まず、復号化対象ピクチャに対して、順序通知情報がアドレス処理順を示しているか否かを判別する（ステップＳ２００）。アドレス処理順を示していると判別したときには（ステップＳ２００のＹ）、画像復号化装置は、復号化対象の各マクロブロックに対してアドレス処理順に復号化処理を行い（ステップＳ２０２）、復号化されたマクロブロック（再構成画像）に対してデブロッキングフィルタ処理を行う（ステップＳ２０４）。つまり、画像復号化装置は、ステップＳ２０２の復号化処理とステップＳ２０４のデブロッキングフィルタ処理とをパイプライン処理により行い、これらの処理を復号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ２）。
一方、順序通知情報がアドレス処理順を示していない、つまり不定順を示していると判別したときには（ステップＳ２００のＮ）、画像復号化装置は、さらに、スライスごとにフィルタコードの値が０であるか、１であるか、２であるかを判別する（ステップ３２０６）。ここで、フィルタコードの値が０であると判別したときには、画像復号化装置は、所定の順序で復号化対象の各マクロブロックに対して復号化処理を行い（ステップＳ２０８）、復号化されたマクロブロック（再構成画像）をフレームメモリ１０２に逐次格納する（ステップＳ２１０）。このように、画像復号化装置は、ステップＳ２０８の復号化処理とステップＳ２１０の格納処理とをスライス内の全てのマクロブロックに対して繰り返し行う（ループ４）。
また、ステップＳ２０６でフィルタコードの値が１であると判別したときには、画像復号化装置は、所定の順序で復号化対象の各マクロブロックに対して復号化処理を行う（ステップＳ２１４）。このように、画像復号化装置は、ステップＳ２１４の復号化処理をスライス内の全てのマクロブロックに対して繰り返し行う（ループ５）。
また、ステップＳ２０６でフィルタコードの値が２であると判別したときには、画像復号化装置は、復号化対象のマクロブロックに対して復号化処理を行い（ステップＳ２１６）、そのマクロブロックがスライス境界にあるブロックか否かを判別する（ステップＳ２１８）。そして、画像復号化装置は、スライス境界にあるブロックであると判別したときには（ステップＳ２１８のＹ）、復号化されたマクロブロック（再構成画像）のスライス境界を除くエッジに対してデブロッキングフィルタ処理を施し（ステップＳ２１９）、スライス境界にあるブロックでないと判別したときには（ステップＳ２１８のＮ）、復号化されたマクロブロック（再構成画像）の全てのエッジに対してデブロッキングフィルタ処理を施す（ステップＳ２２０）。つまり、画像復号化装置は、ステップＳ２１６の復号化処理とステップＳ２１９，Ｓ２２０のデブロッキングフィルタ処理とをパイプライン処理により行う。このように、画像復号化装置は、ステップＳ２１６〜Ｓ２２０の処理を、スライス内の全てのマクロブロックに対して繰り返し行う（ループ６）。
画像復号化装置は、このようなステップＳ２０６〜Ｓ２２０までの処理を、復号化対象ピクチャに含まれる全てのスライスに対して行い（ループ３）、ステップＳ２１０でフレームメモリ１０２に格納された各再構成画像に対してアドレスの小さい順にデブロッキングフィルタ処理を行なう（ステップＳ２２２）。そして、画像復号化装置は、このようなステップＳ２００〜Ｓ２２２までの処理を、符号化信号の示す全ての符号化されたピクチャに対して行う（ループ１）。
なお、上述では画像復号化装置は、スライスごとにフィルタコードの値を判別したが、ピクチャごとにフィルタコードの値を判別してもよい。
図１１は、ピクチャごとにフィルタコードの値を判別する画像復号化装置の処理の流れを示すフローチャートである。
画像復号化装置は、まず、復号化対象ピクチャに対して、順序通知情報がアドレス処理順を示しているか否かを判別する（ステップＳ２５０）。アドレス処理順を示していると判別したときには（ステップＳ２５０のＹ）、画像復号化装置は、復号化対象の各マクロブロックに対してアドレス処理順に復号化処理を行い（ステップＳ２５２）、復号化されたマクロブロック（再構成画像）に対してデブロッキングフィルタ処理を行う（ステップＳ２５４）。つまり、画像復号化装置は、ステップＳ２５２の復号化処理とステップＳ２５４のデブロッキングフィルタ処理とをパイプライン処理により行い、これらの処理を復号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ２）。
一方、順序通知情報がアドレス処理順を示していない、つまり不定順を示していると判別したときには（ステップＳ２５０のＮ）、画像復号化装置は、さらに、フィルタコードの値が０であるか、１であるか、２であるかを判別する（ステップＳ２５６）。ここで、フィルタコードの値が０であると判別したときには、画像復号化装置は、所定の順序で復号化対象の各マクロブロックに対して復号化処理を行い（ステップＳ２５８）、復号化されたマクロブロック（再構成画像）をフレームメモリ１０２に逐次格納する（ステップＳ２６０）。このように、画像復号化装置は、ステップＳ２５８の復号化処理とステップＳ２６０の格納処理とを復号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ３）。そして、画像復号化装置は、フレームメモリ１０２に蓄積された１ピクチャ分の各再構成画像に対して、ピクチャの左上端の再構成画像からアドレスの小さい順に、デブロッキングフィルタ処理を行う（ステップＳ２６２）。
また、ステップＳ２５６でフィルタコードの値が１であると判別したときには、画像復号化装置は、所定の順序で復号化対象の各マクロブロックに対して復号化処理を行う（ステップＳ２６４）。このように、画像復号化装置は、ステップＳ２６４の復号化処理を復号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ４）。
また、ステップＳ２５６でフィルタコードの値が２であると判別したときには、画像復号化装置は、復号化対象のマクロブロックに対して復号化処理を行い（ステップＳ２６６）、そのマクロブロックがスライス境界にあるブロックか否かを判別する（ステップＳ２６８）。そして、画像復号化装置は、スライス境界にあるブロックであると判別したときには（ステップＳ２６８のＹ）、復号化されたマクロブロック（再構成画像）のスライス境界を除くエッジに対してデブロッキングフィルタ処理を施し（ステップＳ２６９）、スライス境界にあるブロックでないと判別したときには（ステップＳ２６８のＮ）、復号化されたマクロブロック（再構成画像）の全てのエッジに対してデブロッキングフィルタ処理を施す（ステップＳ２７０）。つまり、画像復号化装置は、ステップＳ２６６の復号化処理とステップＳ２６９，Ｓ２７０のデブロッキングフィルタ処理とをパイプライン処理により行う。このように、画像復号化装置は、ステップＳ２６６〜Ｓ２７０の処理を、復号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ５）。
画像復号化装置は、このようなステップＳ２５０〜Ｓ２７０までの処理を、符号化信号の示す全ての符号化されたピクチャに対して行う（ループ１）。
このように、画像復号化装置は、フィルタコードがピクチャ単位で固定され、スライス単位で変更されないことが明らかな場合には、スライスごとにフィルタコードの値を判別せずに処理を行なう。
なお、実施の形態１およびその変形例では、制御部１０１は１ピクチャ分の全ての再構成画像がフレームメモリ１０２に格納された後にスイッチ１０４を制御して、フレームメモリ１０２をデブロッキングフィルタ処理部１１９に接続させたが、１ピクチャ分の全ての再構成画像が格納される前にスイッチ１０４を制御してもよい。
即ち、制御部１０１は、フレームメモリ１０２に格納されている再構成画像（フィルタ対象マクロブロック）に対してデブロッキングフィルタ処理に必要な、デブロッキングフィルタ処理済のマクロブロック（フィルタ処理済マクロブロック）がフレームメモリ１２０に格納されていれば、スイッチ１０４を制御する。これにより、制御部１０１は、フィルタ対象マクロブロックに対してデブロッキングフィルタ処理部１１９にデブロッキングフィルタ処理を実行させる。
また、制御部１０１は、フィルタ対象マクロブックに対してフィルタ処理済マクロブロックを必要としないときにも、スイッチ１０４を制御して、フィルタ対象マクロブロックに対してデブロッキングフィルタ処理部１１９にデブロッキングフィルタ処理を実行させる。
具体的に、フィルタ対象マクロブロックに対して必要なフィルタ処理済マクロブロックとは、（１）ピクチャ上端のフィルタ対象マクロブロックに対して左隣にあるマクロブロック、（２）ピクチャ左端のフィルタ対象マクロブロックに対して上隣および右上にあるマクロブロック、または（３）フィルタ対象マクロブロックに対して左隣、上隣、および右上にあるマクロブロックである。また、フィルタ処理済マクロブロックを必要としないフィルタ対象マクロブロックとは、ピクチャの左上端にあるマクロブロックである。
このような場合にも、逐次デブロッキングフィルタ処理を施すことができ、再構成画像を生成するまでの処理（復号化処理）と並列に行えるデブロッキングフィルタ処理を増やすことができる。
なお、Ｈ．２６４の復号化においてマクロブロックアダプティブフレーム・フィールドデコーディングが用いられている場合は、フィルタ対象マクロブロックに対して、上隣のマクロブロックと、右上のマクロブロックと、左隣のマクロブロックとを、それぞれ、上隣マクロブロックペアと、右上マクロブロックペアと、左隣マクロブロックペアとすればよい。これにより、上述と同様の効果を得ることができる。
なお、実施の形態１およびその変形例では、逐次復号化されるマクロブロックの順序がアドレス復号順かどうかの情報（順序通知情報）として、ストリーム（符号化信号）に含まれるプロファイルの情報を用いたが、逐次復号化されるマクロブロックの順序がアドレス復号順かどうかを示す情報を外部から取得してもよい。
例えば、ベースラインプロファイルの場合、逐次復号化されるマクロブロックの順序は一般に不定順であるが、ベースラインプロファイルであっても所謂１セグメント放送の場合には、複数のスライスとａｒｂｉｔｒａｒｙ ｓｌｉｃｅ ｏｒｄｅｒとが許可されず、逐次復号化されるマクロブロックの順序はアドレス復号順となる。
即ち、プロファイル情報だけでは、逐次復号化されるマクロブロックの順序がアドレス復号順であるのか不定順であるのかを正確に判別することができない。また、ａｒｂｉｔｒａｒｙ ｓｌｉｃｅ ｏｒｄｅｒを使用するかどうかの情報はストリーム内には存在しないため、逐次復号化されるマクロブロックの順序がアドレス復号順かどうかはストリーム内の情報だけでは判断できない。
そこで、逐次復号化されるマクロブロックの順序がアドレス復号順であるか否かを示す情報、つまりａｒｂｉｔｒａｒｙ ｓｌｉｃｅ ｏｒｄｅｒが許可されているか否かを示す情報を外部から取得する。これにより、画像復号化装置は、逐次復号化されるマクロブロックの順序がアドレス復号順か否かを正確に判断することができる。つまり、プロファイル情報だけでアドレス復号順か否かを判断する場合と比べて、アドレス復号順であると判断される場合が多くなる。その結果、アドレス復号順であると判断したときには、逐次復号化されたフィルタ処理前のマクロブロックに対して、デブロッキングフィルタ処理を施すことができ、復号処理全体におけるデータ転送の割合を低くできる。また、デブロッキングフィルタ処理は、再構成画像を生成するまでの処理（復号化処理）と並列に行うことが可能になる。これによって処理がより高速化され、低消費電力化を図ることができ、長時間の復号化が可能となる。これはデジタル放送など長時間使用する場合に適している。
なお、実施の形態１およびその変形例では、デブロッキングフィルタ処理前の再構成画像を格納するフレームメモリ１０２と、デブロッキングフィルタ処理後の再構成画像を格納するフレームメモリ９１３とを設けたが、この２つのメモリを１つのフレームメモリで構成してもよい。
また、実施の形態１およびその変形例では、プロファイル情報を順序通知情報とし、そのプロファイル情報に応じてスイッチ１０３およびスイッチ１０４を制御したが、単位時間内に復号化されるべきマクロブロックの数に応じてスイッチ１０３およびスイッチ１０４を制御してもよい。
例えば、ベースラインプロファイルの場合には、メインプロファイルの場合と比べて、単位時間内に復号化されるべきマクロブロックの数が少ない。そこで、そのマクロブロックの数が所定値以下であれば、符号化信号の示すプロファイルはベースラインプロファイルであり、そのマクロブロックの数が所定値よりも多ければ、符号化信号の示すプロファイルはメインプロファイルであると判断することができる。
そこで、このように単位時間内に復号化されるべきマクロブロックの数に応じてスイッチ１０３およびスイッチ１０４を制御しても、上述と同様の効果を得ることができる。
また、実施の形態１およびその変形例では、図９および図１０に示すように、ピクチャごとにアドレス処理順か否かを判別したが、スライスやシーケンスごとに判別してもよく、符号化信号に対する処理を開始するときに１度だけ判別してもよい。
（実施の形態２）
図１２は、本発明の実施の形態２における画像符号化装置２００の構成を示すブロック図である。
画像符号化装置２００は、ブロック単位で行われる符号化および復号化の順序を変更する場合であってもブロック歪みを除去することができるとともに、処理速度の低下を抑えた画像符号化装置であって、メモリ２１１と、面内予測部２１２と、減算部２１３と、スイッチ２１４と、直交変換部２１５と、量子化部２１６と、可変長符号化部２１７と、逆量子化部２１８と、逆直交変換部２１９と、加算部２２０と、デブロッキングフィルタ処理部２２２と、フレームメモリ２２３と、動き検出部２２４と、動き補償部２２５と、制御部２０１と、フレームメモリ２０２、スイッチ２０３と、スイッチ２０４と、設定部２０５とを備えている。
減算部２１３は、入力画像信号の示すマクロブロックの画像と、スイッチ２１４を介して取得される予測画像との差分を算出して、その算出結果である予測誤差を出力する。
直交変換部２１５は、減算部２１３によって算出された予測誤差を周波数成分に変換する。
量子化部２１６は、直交変換部２１５から出力される周波数成分に対して量子化を行い、その周波数成分を量子化値に圧縮符号化する。
可変長符号化部２１７は、量子化部２１６から出力される量子化値に対して可変長符号化を行い、その符号化された結果を符号化信号として出力する。
逆量子化部２１８は、量子化部２１６から出力される量子化値に対して逆量子化を行ってその量子化値を周波数成分に変換する。
逆直交変換部２１９は、逆量子化部２１８から出力される周数成分を画像データである予測誤差に変換する。
加算部２２０は、逆直交変換部２１９から出力される予測誤差と、スイッチ２１４を介して取得される予測画像とを加算することにより、復号化されたマクロブロックである再構成画像を出力する。
メモリ２１１は、加算部２２０から出力される再構成画像を蓄積する。
スイッチ２１４は、イントラモードでは面内予測部２１２を減算部２１３に接続し、インターモードでは動き補償部２２５を減算部２１３に接続する。
面内予測部２１２は、メモリ２１１に記憶されている再構成画像から、符号化対象マクロブロックに対して左にあるマクロブロック、上にあるマクロブロック、左上にあるマクロブロック、および右上にあるマクロブロックのそれぞれの再構成画像を取り出す。そして、面内予測部２１２は、それらの再構成画像を用いて符号化対象マクロブロックの予測画像を生成する。
設定部２０５は、例えばユーザによる操作や、予め規定された処理方法などに基づいて符号化条件を設定し、その符号化条件を制御部２０１に通知する。
ここで、上述の符号化条件は、例えばＨ．２６４におけるプロファイルを示す。
即ち、符号化条件がベースラインプロファイルまたはイクステンディッドプロファイルを示す場合は、その符号化条件は、逐次符号化および復号化されるマクロブロックの順序が不定順であることを示している。また、符号化条件がメインプロファイを示す場合は、その符号化条件は、逐次符号化および復号化されるマクロブロック順序がアドレス処理順であることを示している。
制御部２０１は、設定部２０５で設定された符号化条件に基づいてスイッチ２０３およびスイッチ２０４を制御する。
制御部２０１は、符号化条件がアドレス処理順を示す場合には、スイッチ２０３およびスイッチ２０４を制御して、加算部２２０とデブロッキングフィルタ処理部２２２とを直接接続させる。一方、符号化条件が不定順を示す場合には、制御部２０１は、まず、スイッチ２０３を制御して、フレームメモリ２０２を加算部２２０に接続させる。加算部２２０に接続されたフレームメモリ２０２は、加算部２２０から出力される再構成画像を逐次蓄積する。そして、制御部２０１は、フレームメモリ２０２に１ピクチャ分の全ての再構成画像が蓄積されると、スイッチ２０４を制御して、フレームメモリ２０２をデブロッキングフィルタ処理部２２２に接続させる。
デブロッキングフィルタ処理部２２２は、スイッチ２０３およびスイッチ２０４によって加算部２２０に接続されると、加算部２２０が再構成画像を出力するごとに、その再構成画像に対してデブロッキングフィルタ処理を施す。また、デブロッキングフィルタ処理部２２２は、スイッチ２０４によってフレームメモリ２０２に接続されると、フレームメモリ２０２に蓄積された１ピクチャ分の全ての再構成画像に対して、ピクチャの左上端のマクロブロックからアドレスの小さい順にデブロッキングフィルタ処理を施す。
そして、デブロッキングフィルタ処理部２２２は、デブロッキングフィルタ処理された再構成画像をフレームメモリ２２３に格納する。これにより、フレームメモリ２２３には、１ピクチャ分の再構成画像が復号画像として格納される。
なお、デブロッキングフィルタ処理部２２２は、処理対象の再構成画像（マクロブロック）に対してデブロッキングフィルタ処理を施すときには、その再構成画像の左および上にある既にデブロッキングフィルタ処理された再構成画像を、フレームメモリ２２３から取得してその取得した再構成画像を用いる。
動き検出部２２４は、インターモードのときに、フレームメモリ２２３に格納された復号画像を参照ピクチャとして参照することにより、入力画像信号の示す符号化対象マクロブロックの画像の動きを検出し、その検出結果である動きベクトルを動き補償部２２５およびフレームメモリ２２３に出力する。さらに、動き検出部９１４は、参照ピクチャが符号化対象ピクチャの前方にあること、後方にあること、または双方向にあることを示すマクロブロックの予測タイプを動きベクトルとともに出力する。
動き補償部２２５は、フレームメモリ２２３に格納された復号画像を参照ピクチャとして取得するとともに、動き検出部２２４から出力される動きベクトルを取得する。そして、動き補償部１２１は、参照ピクチャのうち動きベクトルにより示される画像領域を、符号化対象マクロブロックの予測画像として生成し、その予測画像を出力する。
このように本実施の形態における画像符号化装置２００は、符号化条件がアドレス処理順を示すときには、マクロブロックごとに、符号化処理と、復号化処理と、デブロッキングフィルタ処理とをパイプライン処理により行う。そして、符号化条件が不定順を示すときには、画像復号化装置２００は、符号化された各マクロブロックに対して復号化処理を行い、１ピクチャ分の再構成画像がフレームメモリ２０２に蓄積された後に、デブロッキングフィルタ処理を行う。
図１３は、本実施の形態における画像符号化装置２００の処理の流れを示すフローチャートである。
画像符号化装置２００は、まず、符号化条件を設定する（ステップＳ３００）。そして、画像符号化装置２００は、符号化対象ピクチャに対して、符号化条件がアドレス処理順を示しているか否かを判別する（ステップＳ３０２）。アドレス処理順を示していると判別したときには（ステップＳ３０２のＹ）、画像符号化装置２００は、符号化対象の各マクロブロックに対してアドレス処理順に符号化処理および復号化処理を行い（ステップＳ３０４）、復号化されたマクロブロック（再構成画像）に対してデブロッキングフィルタ処理を行う（ステップＳ３０６）。つまり、画像符号化装置２００は、ステップＳ３０４の符号化処理および復号化処理とステップＳ３０６のデブロッキングフィルタ処理とをパイプライン処理により行い、これらの処理を符号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ２）。
一方、符号化条件がアドレス処理順を示していない、つまり不定順を示していると判別したときには（ステップＳ３０２のＮ）、画像符号化装置２００は、所定の順序で符号化対象の各マクロブロックに対して符号化処理および復号化処理を行い（ステップＳ３０８）、復号化されたマクロブロック（再構成画像）をフレームメモリ２０２に逐次格納する（ステップ３３１０）。このように、画像符号化装置２００は、ステップＳ３０８の符号化処理および復号化処理とステップＳ３１０の格納処理とを符号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ３）。そして、画像符号化装置２００は、フレームメモリ２０２に蓄積された１ピクチャ分の各再構成画像に対して、ピクチャの左上端の再構成画像からアドレスの小さい順に、デブロッキングフィルタ処理を行う（ステップＳ３１２）。
画像符号化装置２００は、このようなステップＳ３００〜Ｓ３１２までの処理を、符号化信号の示す全てのピクチャに対して行う（ループ１）。
（変形例１）
ここで、上記実施の形態２における第１の変形例を説明する。
上記実施の形態の画像符号化装置２００は、符号化条件のみに基づいて、符号化処理と復号化処理とデブロッキングフィルタ処理とをパイプライン処理により行うか否かを判別したが、本変形例の画像符号化装置は符号化条件とフィルタコード（ｄｉｓａｂｌｅ＿ｄｅｂｌｏｃｋｉｎｇ＿ｆｉｌｔｅｒ＿ｉｄｃ）とに基づいて判別する。
本変形例に係る画像符号化装置は、符号化条件がアドレス処理順を示してる場合には、上記実施の形態と同様の処理を行うが、符号化条件が不定順を示している場合には、フィルタコードの値に応じた処理を行う。
具体的に、本変形例に係る画像符号化装置は、フィルタコードが０の場合には、上記実施の形態において符号化条件が不定順を示している場合と同様の処理を行う。つまり、画像符号化装置の制御部は、スイッチ２０３を制御することによりフレームメモリ２０２を加算部２２０に接続させて、１ピクチャ分の再構成画像をフレームメモリ２０２に蓄積させる。そして制御部は、スイッチ２０４を制御することによりフレームメモリ２０２をデブロッキングフィルタ処理部２２２に接続させる。その結果、デブロッキングフィルタ処理部２２２はフレームメモリ２０２に蓄積された再構成画像に対してデブロッキングフィルタ処理を行う。これにより、フィルタコードが０の場合には、全てのマクロブロック（再構成画像）のエッジに対してデブロッキングフィルタ処理が施される。
フィルタコードが１の場合には、本変形例に係る画像符号化装置の制御部は、スイッチ２０３とスイッチ２０４とを制御することにより、加算部２２０とデブロッキングフィルタ処理部２２２とを直接接続させる。そして、制御部は、デブロッキングフィルタ処理部２２２に対してデブロッキングフィルタ処理を禁止させる。その結果、加算部２２０から出力された再構成画像は、スイッチ２０３およびスイッチ２０４を介してデブロッキングフィルタ処理部２２２を通過し、フレームメモリ２２３に格納される。これにより、フィルタコードが１の場合には、全てのマクロブロック（再構成画像）のエンジに対してデブロッキングフィルタ処理が施されないこととなる。
フィルタコードが２の場合には、本変形例に係る画像符号化装置の制御部は、上述と同様、スイッチ２０３とスイッチ２０４とを制御することにより、加算部２２０とデブロッキングフィルタ処理部２２２とを直接接続させる。そして、制御部は、スライス境界に対するデブロッキングフィルタ処理を、デブロッキングフィルタ処理部２２２に禁止させる。その結果、デブロッキングフィルタ処理部２２２は、加算部２２０から出力されたスライス境界にある再構成画像（マクロブロック）のうち、スライス境界を除くエッジ（例えば、再構成画像の内部にある、４×４画素からなるブロックのエッジ）にデブロッキングフィルタ処理を施す。また、デブロッキングフィルタ処理部２２２は、加算部２２０から出力されたスライス境界にない再構成画像の全てのエッジ、つまり図１に示す各垂直エッジおよび水平エッジに対してデブロッキングフィルタ処理を施す。
これにより、フィルタコードが２の場合には、各マクロブロック（再構成画像）に対して、符号化処理と復号化処理とデブロッキングフィルタ処理とがパイプライン処理により施される。
図１４は、本変形例に係る画像符号化装置の処理の流れを示すフローチャートである。
本変形例に係る画像符号化装置は、まず、符号化条件を設定する（ステップＳ４００）。そして、画像符号化装置は、符号化対象ピクチャに対して、符号化条件がアドレス処理順を示しているか否かを判別する（ステップＳ４０２）。アドレス処理順を示していると判別したときには（ステップＳ４０２のＹ）、画像符号化装置は、符号化対象の各マクロブロックに対してアドレス処理順に符号化処理および復号化処理を行い（ステップＳ４０４）、復号化されたマクロブロック（再構成画像）に対してデブロッキングフィルタ処理を行う（ステップＳ４０６）。つまり、画像符号化装置は、ステップＳ４０４の符号化処理および復号化処理とステップＳ４０６のデブロッキングフィルタ処理とをパイプライン処理により行い、これらの処理を符号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ２）。
一方、符号化条件がアドレス処理順を示していない、つまり不定順を示していると判別したときには（ステップＳ４０２のＮ）、画像符号化装置は、さらに、スライスごとにフィルタコードの値が０であるか、１であるか、２であるかを判別する（ステップＳ４０８）。ここで、フィルタコードの値が０であると判別したときには、画像符号化装置は、所定の順序で符号化対象の各マクロブロックに対して符号化処理および復号化処理を行い（ステップＳ４１０）、復号化されたマクロブロック（再構成画像）をフレームメモリ２０２に逐次格納する（ステップＳ４１２）。このように、画像符号化装置は、ステップＳ４１０の符号化処理および復号化処理とステップＳ４１２の格納処理とをスライス内の全てのマクロブロックに対して繰り返し行う（ループ４）。
また、ステップＳ４０８でフィルタコードの値が１であると判別したときには、画像符号化装置は、所定の順序で符号化対象の各マクロブロックに対して符号化処理および復号化処理を行う（ステップＳ４１６）。このように、画像符号化装置は、ステップＳ４１６の符号化処理および復号化処理をスライス内の全てのマクロブロックに対して繰り返し行う（ループ５）。
また、ステップＳ４０８でフィルタコードの値が２であると判別したときには、画像符号化装置は、符号化対象のマクロブロックに対して符号化処理および復号化処理を行い（ステップＳ４１８）、そのマクロブロックがスライス境界にあるブロックか否かを判別する（ステップＳ４２０）。そして、画像符号化装置は、スライス境界にあるブロックであると判別したときには（ステップＳ４２０のＹ）、復号化されたマクロブロック（再構成画像）のスライス境界を除くエッジに対してデブロッキングフィルタ処理を施し（ステップＳ４２１）、スライス境界にあるブロックでないと判別したときには（ステップＳ４２０のＮ）、復号化されたマクロブロック（再構成画像）の全てのエッジに対してデブロッキングフィルタ処理を施す（ステップＳ４２２）。つまり、画像符号化装置は、ステップＳ４１８の符号化処理および復号化処理とステップＳ４２１，Ｓ４２２のデブロッキングフィルタ処理とをパイプライン処理により行う。このように、画像符号化装置は、ステップＳ４１８〜Ｓ４２２の処理を、スライス内の全てのマクロブロックに対して繰り返し行う（ループ６）。
画像符号化装置は、このようなステップＳ４０８〜Ｓ４２２までの処理を、符号化対象ピクチャに含まれる全てのスライスに対して行い（ループ３）、ステップＳ４１２でフレームメモリ２０２に格納された各再構成画像に対してアドレスの小さい順にデブロッキングフィルタ処理を行なう（ステップＳ４２４）。そして、画像符号化装置は、このようなステップＳ４００〜Ｓ４２４までの処理を、入力画像信号の示す全てのピクチャに対して行う（ループ１）。
なお、上述では画像復号化装置は、スライスごとにフィルタコードの値を判別したが、ピクチャごとにフィルタコードの値を判別してもよい。
図１５は、ピクチャごとにフィルタコードの値を判別する画像符号化装置の処理の流れを示すフローチャートである。
画像符号化装置は、まず、符号化条件を設定する（ステップＳ４５０）。そして、画像符号化装置は、符号化対象ピクチャに対して、符号化条件がアドレス処理順を示しているか否かを判別する（ステップＳ４５２）。アドレス処理順を示していると判別したときには（ステップＳ４５２のＹ）、画像符号化装置は、符号化対象の各マクロブロックに対してアドレス処理順に符号化処理および復号化処理を行い（ステップＳ４５４）、復号化されたマクロブロック（再構成画像）に対してデブロッキングフィルタ処理を行う（ステップＳ４５６）。つまり、画像符号化装置は、ステップＳ４５４の符号化処理および復号化処理とステップＳ４５６のデブロッキングフィルタ処理とをパイプライン処理により行い、これらの処理を符号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ２）。
一方、符号化条件がアドレス処理順を示していない、つまり不定順を示していると判別したときには（ステップＳ４５２のＮ）、画像符号化装置は、さらに、フィルタコードの値が０であるか、１であるか、２であるかを判別する（ステップＳ４５８）。ここで、フィルタコードの値が０であると判別したときには、画像符号化装置は、所定の順序で符号化対象の各マクロブロックに対して符号化処理および復号化処理を行い（ステップＳ４６０）、復号化されたマクロブロック（再構成画像）をフレームメモリ２０２に逐次格納する（ステップＳ４６２）。このように、画像符号化装置は、ステップＳ４６０の符号化処理および復号化処理とステップＳ４６２の格納処理とを符号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ３）。そして、画像符号化装置は、フレームメモリ２０２に蓄積された１ピクチャ分の各再構成画像に対して、ピクチャの左上端の再構成画像からアドレスの小さい順に、デブロッキングフィルタ処理を行う（ステップＳ４６４）。
また、ステップＳ４５８でフィルタコードの値が１であると判別したときには、画像符号化装置は、所定の順序で符号化対象の各マクロブロックに対して符号化処理および復号化処理を行う（ステップＳ４６６）。このように、画像符号化装置は、ステップＳ４６６の符号化処理および復号化処理を符号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ４）。
また、ステップＳ４５８でフィルタコードの値が２であると判別したときには、画像符号化装置は、符号化対象のマクロブロックに対して符号化処理および復号化処理を行い（ステップＳ４１８）、そのマクロブロックがスライス境界にあるブロックか否かを判別する（ステップＳ４７０）。そして、画像符号化装置は、スライス境界にあるブロックであると判別したときには（ステップＳ４７０のＹ）、復号化されたマクロブロック（再構成画像）のスライス境界を除くエッジに対してデブロッキングフィルタ処理を施し（ステップＳ４７１）、スライス境界にあるブロックでないと判別したときには（ステップＳ４７０のＮ）、復号化されたマクロブロック（再構成画像）の全てのエッジに対してデブロッキングフィルタ処理を施す（ステップＳ４７２）。つまり、画像符号化装置は、ステップＳ４６８の符号化処理および復号化処理とステップＳ４７１，Ｓ４７２のデブロッキングフィルタ処理とをパイプライン処理により行う。このように、画像符号化装置は、ステップＳ４６８〜Ｓ４７２の処理を、符号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ５）。
画像符号化装置は、このようなステップＳ４５０〜Ｓ４７２までの処理を、入力画像信号の示す全てのピクチャに対して行う（ループ１）。
このように、画像符号化装置は、フィルタコードがピクチャ単位で固定され、スライス単位で変更されないことが明らかな場合には、スライスごとにフィルタコードの値を判別せずに処理を行なう。
（変形例２）
ここで、上記実施の形態２における第２の変形例を説明する。
上記実施の形態の画像符号化装置２００は、図１２のステップＳ３０２に示すように、符号化対象ピクチャごとにアドレス処理順であるか否かを判別したが、本変形例の画像符号化装置は符号化対象ピクチャごとに判別せずに、全ての符号化対象ピクチャに対して１度だけアドレス処理順であるか否かを判別する。
図１６は、本変形例に係る画像符号化装置の処理の流れを示すフローチャートである。
画像符号化装置は、まず、符号化条件を設定する（ステップＳ５００）。そして、画像符号化装置は、符号化条件がアドレス処理順を示しているか否かを判別する（ステップＳ５０２）。アドレス処理順を示していると判別したときには（ステップＳ５０２のＹ）、画像符号化装置は、符号化対象ピクチャに含まれる各マクロブロックに対してアドレス処理順に符号化処理および復号化処理を行い（ステップＳ５０４）、復号化されたマクロブロック（再構成画像）に対してデブロッキングフィルタ処理を行う（ステップＳ５０６）。画像符号化装置は、このようなステップＳ５０４の処理とステップＳ５０６の処理とを符号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ２）。さらに、画像符号化装置は、これらの処理を入力画像信号の示す全てのピクチャに対して繰り返し行う（ループ１）。
一方、符号化条件がアドレス処理順を示していない、つまり不定順を示していると判別したときには（ステップＳ５０２のＮ）、画像符号化装置は、所定の順序で符号化対象の各マクロブロックに対して符号化処理および復号化処理を行い（ステップＳ５０８）、復号化されたマクロブロック（再構成画像）をフレームメモリ２０２に逐次格納する（ステップＳ５１０）。このように、画像符号化装置は、ステップＳ５０８の処理とステップＳ５１０の処理とを符号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ４）。そして、画像符号化装置は、フレームメモリ２０２に蓄積された１ピクチャ分の各再構成画像に対して、ピクチャの左上端の再構成画像からアドレスの小さい順に、デブロッキングフィルタ処理を行う（ステップＳ５１２）。画像符号化装置は、このようなステップＳ５０８〜Ｓ５１２までの処理を、入力画像信号の示す全てのピクチャに対して繰り返し行う（ループ３）。
なお、実施の形態２およびその変形例の画像符号化装置は、実施の形態１およびその変形例の画像復号化装置の機能を含むものであるから、実施の形態１およびその変形例において説明した各事項は、全て実施の形態２およびその変形例にも適合する。
例えば、実施の形態２およびその変形例では、デブロッキングフィルタ処理前の再構成画像を格納するフレームメモリ２０２と、デブロッキングフィルタ処理後の再構成画像を格納するフレームメモリ２２３とを設けたが、この２つのメモリを１つのフレームメモリで構成してもよい。
（実施の形態３）
さらに、上記実施の形態１および実施の形態２で示した画像復号化装置または画像符号化装置を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記実施の形態１および実施の形態２で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
図１７Ａ〜図１７Ｃは、上記実施の形態１および実施の形態２の画像復号化装置または画像符号化装置を実現するためのプログラムを格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。
図１７Ｂは、フレキシブルディスクのケース正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１７Ａは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての画像復号化方法や画像符号化方法が記録されている。
また、図１７Ｃは、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての画像復号化方法または画像符号化方法をフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
（実施の形態４）
さらにここで、上記実施の形態で示した画像復号化装置や画像符号化装置の応用例とそれを用いたシステムを説明する。
図１８は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０７〜ｅｘ１１０が設置されている。
このコンテンツ供給システムｅｘ１００は、例えば、インターネットｅｘ１０１にインターネットサービスプロバイダｅｘ１０２および電話網ｅｘ１０４、および基地局ｅｘ１０７〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（ｐｅｒｓｏｎａｌ ｄｉｇｉｔａｌ ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
しかし、コンテンツ供給システムｅｘ１００は図１８のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０７〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。
カメラｅｘ１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）方式、若しくはＧＳＭ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式の携帯電話機、またはＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
また、ストリーミングサーバｅｘ１０３は、カメラｅｘ１１３から基地局ｅｘ１０９、電話網ｅｘ１０４を通じて接続されており、カメラｅｘ１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラｅｘ１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラｅｘ１１６で撮影した動画データはコンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信されてもよい。カメラｅｘ１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラｅｘ１１６で行ってもコンピュータｅｘ１１１で行ってもどちらでもよい。また、符号化処理はコンピュータｅｘ１１１やカメラｅｘ１１６が有するＬＳＩｅｘ１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ｅｘ１１５で動画データを送信してもよい。このときの動画データは携帯電話ｅｘ１１５が有するＬＳＩで符号化処理されたデータである。
このコンテンツ供給システムｅｘ１００では、ユーザがカメラｅｘ１１３、カメラｅｘ１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバｅｘ１０３に送信する一方で、ストリーミングサーバｅｘ１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４等がある。このようにすることでコンテンツ供給システムｅｘ１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
図１９は、上記実施の形態で説明した画像符号化装置と画像復号化装置を用いた携帯電話ｅｘ１１５を示す図である。携帯電話ｅｘ１１５は、基地局ｅｘ１１０との間で電波を送受信するためのアンテナｅｘ２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ｅｘ２０３、カメラ部ｅｘ２０３で撮影した映像、アンテナｅｘ２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ｅｘ２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ｅｘ２０８、音声入力をするためのマイク等の音声入力部ｅｘ２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアｅｘ２０７、携帯電話ｅｘ１１５に記録メディアｅｘ２０７を装着可能とするためのスロット部ｅｘ２０６を有している。記録メディアｅｘ２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）の一種であるフラッシュメモリ素子を格納したものである。
さらに、携帯電話ｅｘ１１５について図２０を用いて説明する。携帯電話ｅｘ１１５は表示部ｅｘ２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ｅｘ３１１に対して、電源回路部ｅｘ３１０、操作入力制御部ｅｘ３０４、画像符号化部ｅｘ３１２、カメラインターフェース部ｅｘ３０３、ＬＣＤ（Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）の制御部ｅｘ３０２、画像復号化部ｅｘ３０９、多重分離部ｅｘ３０８、記録再生部ｅｘ３０７、変復調回路部ｅｘ３０６及び音声処理部ｅｘ３０５が同期バスｅｘ３１３を介して互いに接続されている。
電源回路部ｅｘ３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ｅｘ１１５を動作可能な状態に起動する。
携帯電話ｅｘ１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ｅｘ３１１の制御に基づいて、音声通話モード時に音声入力部ｅｘ２０５で集音した音声信号を音声処理部ｅｘ３０５によってディジタル音声データに変換し、これを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。また携帯電話機ｅｘ１１５は、音声通話モード時にアンテナｅｘ２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、音声処理部ｅｘ３０５によってアナログ音声データに変換した後、これを音声出力部ｅｘ２０８を介して出力する。
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ｅｘ３０４を介して主制御部ｅｘ３１１に送出される。主制御部ｅｘ３１１は、テキストデータを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して基地局ｅｘ１１０へ送信する。
データ通信モード時に画像データを送信する場合、カメラ部ｅｘ２０３で撮像された画像データをカメラインターフェース部ｅｘ３０３を介して画像符号化部ｅｘ３１２に供給する。また、画像データを送信しない場合には、カメラ部ｅｘ２０３で撮像した画像データをカメラインターフェース部ｅｘ３０３及びＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に直接表示することも可能である。
画像符号化部ｅｘ３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ｅｘ２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ｅｘ３０８に送出する。また、このとき同時に携帯電話機ｅｘ１１５は、カメラ部ｅｘ２０３で撮像中に音声入力部ｅｘ２０５で集音した音声を音声処理部ｅｘ３０５を介してディジタルの音声データとして多重分離部ｅｘ３０８に送出する。
多重分離部ｅｘ３０８は、画像符号化部ｅｘ３１２から供給された符号化画像データと音声処理部ｅｘ３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ｅｘ３０６でスペクトラム拡散処理し、送受信回路部ｅｘ３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナｅｘ２０１を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナｅｘ２０１を介して基地局ｅｘ１１０から受信した受信データを変復調回路部ｅｘ３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ｅｘ３０８に送出する。
また、アンテナｅｘ２０１を介して受信された多重化データを復号化するには、多重分離部ｅｘ３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスｅｘ３１３を介して当該符号化画像データを画像復号化部ｅｘ３０９に供給すると共に当該音声データを音声処理部ｅｘ３０５に供給する。
次に、画像復号化部ｅｘ３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号化することにより再生動画像データを生成し、これをＬＣＤ制御部ｅｘ３０２を介して表示部ｅｘ２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ｅｘ３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ｅｘ２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２１に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ｅｘ４０９では映像情報のビットストリームが電波を介して通信または放送衛星ｅｘ４１０に伝送される。これを受けた放送衛星ｅｘ４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナｅｘ４０６で受信し、テレビ（受信機）ｅｘ４０１またはセットトップボックス（ＳＴＢ）ｅｘ４０７などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるＣＤやＤＶＤ等の蓄積メディアｅｘ４０２に記録したビットストリームを読み取り、復号化する再生装置ｅｘ４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ４０４に表示される。また、ケーブルテレビ用のケーブルｅｘ４０５または衛星／地上波放送のアンテナｅｘ４０６に接続されたセットトップボックスｅｘ４０７内に画像復号化装置を実装し、これをテレビのモニタｅｘ４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナｅｘ４１１を有する車ｅｘ４１２で衛星ｅｘ４１０からまたは基地局ｅｘ１０７等から信号を受信し、車ｅｘ４１２が有するカーナビゲーションｅｘ４１３等の表示装置に動画を再生することも可能である。
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、ＤＶＤディスクｅｘ４２１に画像信号を記録するＤＶＤレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅｘ４２０がある。更にＳＤカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、ＤＶＤディスクｅｘ４２１やＳＤカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
なお、カーナビゲーションｅｘ４１３の構成は例えば図２０に示す構成のうち、カメラ部ｅｘ２０３とカメラインターフェース部ｅｘ３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータｅｘ１１１やテレビ（受信機）ｅｘ４０１等でも考えられる。
また、上記携帯電話ｅｘ１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
このように、上記実施の形態で示した画像符号化装置あるいは画像復号化装置を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
なお、ブロック図（図８および図１２）の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。
本発明の画像復号化装置および画像符号化装置は、各ブロックの復号化の順序を変更する場合であってもブロック歪みを除去することができるとともに処理速度の低下を抑えることができるという効果を奏し、例えば携帯電話、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）装置、およびパーソナルコンピュータ等に適用することができる。
本発明は、符号化されたピクチャをブロック単位で復号化する画像復号化装置に関し、特に、復号化されたブロックに対してフィルタ処理を行う画像復号化装置に関する。
動画像の圧縮技術において、標準規格としては、ＩＴＵ（国際電気通信連合 電気通信標準化部門）のＨ．２６１、Ｈ．２６３、Ｈ．２６４、ＩＳＯ（国際標準化機構）のＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−１、ＭＰＥＧ−２、ＭＰＥＧ−４などがある。
これらの動画像圧縮方式では、ピクチャをブロックに分割し、ブロック毎に符号化を行う。ブロック毎に符号化を行うことによって圧縮効率を高めているが、復号化されたピクチャはブロック歪を生じ易くなる。Ｈ．２６４ではブロックに関連するノイズを除去するために、復号化や画面間予測で用いられる参照ピクチャにおいて、ブロック単位でノイズを除去するデブロッキングフィルタ処理が採用されている。
図１は、デブロッキングフィルタ処理が施される部位を説明するための説明図である。
Ｈ．２６４のデブロックフィルタ処理は、１６×１６画素からなるマクロブロックにおいて、図１に示すように、４×４画素からなるブロックのエッジに対して施される。図１の（ａ）の太実線に示すように、輝度における垂直方向の各エッジ（垂直エッジ）に対してデブロッキングフィルタ処理が施されるとともに、図１の（ａ）の太点線に示すように、色差における一部の垂直エッジに対してデブロッキングフィルタが施される。さらに、図１の（ｂ）の太実線に示すように、輝度における水平方向の各エッジ（水平エッジ）に対してデブロッキングフィルタ処理が施されるとともに、図１の（ｂ）の太点線に示すように、色差における一部の水平エッジに対してデブロッキングフィルタが施される。
また、このデブロッキングフィルタ処理では、そのエッジを挟んだ８画素が用いられる。さらに、デブロッキングフィルタ処理を施すかどうかは、フィルタコード（disable＿deblocking＿filter＿idc）の値によって決まる。フィルタコードが０の場合は、マクロブロックの上記各エッジに対してデブロッキングフィルタ処理を施す。一方、フィルタコードが１の場合は、マクロブロックの何れのエッジに対してもデブロッキングフィルタ処理を施さない。また、フィルタコードが２の場合は、スライス境界にないマクロブロックの上記各エッジに対してデブロッキングフィルタ処理を施す。
デブロッキングフィルタ処理は、それぞれのエッジにおけるフィルタ強度の算出と、フィルタ処理の有無の判定に用いられる閾値α、βの算出と、フィルタ処理とに分けられる。
図２は、フィルタ強度の算出、閾値の算出、およびフィルタ処理を説明するための説明図である。
それぞれのエッジにおけるフィルタ強度は、例えば図２に示すように、画素ｐ０を含むブロックの情報と、画素ｑ０を含むブロックの情報とを用いて算出される。また、それぞれのエッジにおいてフィルタ処理の有無の判定に用いられる閾値α、βは、画素ｐ０を含むブロックの量子化係数と、画素ｑ０を含むブロックの量子化係数とを用いて算出される。フィルタ処理は、４×４画素からなるブロックのエッジに対して、そのエッジを挟んだ８画素を用いて施される。このようなフィルタ処理は、図１に示すように、マクロブロック単位に垂直エッジ、水平エッジの順で施される。このとき、マクロブロックのエッジのフィルタ処理では、処理対象のマクロブロックの左および上にあるマクロブロックであって、既にデブロッキングフィルタ処理が施されたマクロブロックの画素が用いられる。そのため、Ｈ．２６４ではデブロッキングフィルタ処理は、アドレスの小さいマクロブロックから順に施される。ここで、アドレスとは、ピクチャの左上端から水平走査順に各マクロブロックに割り当てられた番号である。
ところで、上記Ｈ．２６４では、スライスグループが規定されており、このスライスグループは、ピクチャをいくつかの領域に分けてその中でスライスを割り当てることにより構成される。スライスとは、スライスグループ内でオーバラップせずに、アドレスの小さい順に割り当てられた、長さ１個以上のマクロブロックのグループである。
図３Ａ、図３Ｂおよび図３Ｃは、スライスグループの説明図である。
図中、ブロックはマクロブロックを表し、その中の番号はそのマクロブロックが属するスライスグループのＩＤである。例えば、マクロブロックＭＢの中に示す数字「１」は、そのマクロブロックＭＢが属するスライスグループのＩＤを示している。スライスグループのタイプは７通り規定されており、slice＿group＿map＿typeでスライスグループのタイプが示される。図３Ａ、図３Ｂおよび図３Ｃはその中の３つのタイプを示す。
図３Ａは、slice＿group＿map＿typeが０のスライスグループを示し、水平走査順に連続するマクロブロックがスライスグループとして構成されている。図３Ｂは、slice＿group＿map＿typeが１のスライスグループを示し、このスライスグループは、同一スライスグループに属するマクロブロックが隣り合わないように構成されている。図３Ｃは、slice＿group＿map＿typeが２のスライスグループを示し、このスライスグループは、各スライスグループを矩形領域に区切り、それらのスライスグループを上から貼り付けたように構成されている。
スライスグループのタイプは、スライスグループの分け方を規定していて、エンコーダはその規定に基づいてスライスグループを割り当てる。またスライスグループの数は、プロファイルごとに規定されていて、ベースラインプロファイルでは１〜７個、メインプロファイルでは１個、イクステンディッドプロファイルでは１〜７個となっている（例えば、非特許文献１参照。）。
上述のようなスライスグループは、マクロブロックを含んで構成されるスライスに分割される。
図３Ｄは、スライスグループに含まれるスライスを示す図である。
例えば図３Ｄに示すように、スライスグループＳＧは、スライスＳ１、スライスＳ２およびスライスＳ３を含んで構成されている。スライスＳ１はアドレス０〜１９の各マクロブロックから構成され、スライスＳ２はアドレス２０〜４４の各マクロブロックから構成され、スライスＳ３は、アドレス４５〜６４の各マクロブロックから構成されている。
従来の画像復号化装置では、スライスの先頭マクロブロックのアドレスの小さい順に、各スライスを復号化する。例えば、画像復号化装置は、図３Ｄに示すように、まず、アドレス０の先頭マクロブロックを有するスライスＳ１を復号化し、次にアドレス２０の先頭マクロブロックを有するスライスＳ２を復号化し、その次にアドレス４５の先頭マクロブロックを有するスライスＳ３を復号化する。また、画像復号化装置は、１つのスライスを復号化するときには、スライスの先頭マクロブロック（図３Ｄ中の斜線で示すマクロブロック）からアドレスの小さい順に各マクロブロックに対して復号化を行う。なお、スライスの先頭マクロブロックのアドレスの小さい順に各スライスを復号化するような復号化の順序、つまり復号化対象のマクロブロックを復号化するときにはその復号化対象マクロブロックの左および上にあるマクロブロック（復号化対象マクロブロックよりも小さいアドレスを有するマクロブロック）が既に復号化されているような復号化の順序を、以下、アドレス処理順という。
そして、画像復号化装置は、復号化されたマクロブロックに対してデブロッキングフィルタ処理を施す。ここで、各スライスおよびマクロブロックの復号化の順序は上述のアドレス処理順になっているため、画像復号化装置は、マクロブロックの復号化処理とデブロッキングフィルタ処理とをパイライン処理により行う。
図４は、パイプライン処理を説明するための説明図である。
一般的に、特定の処理に特化した専用ハードウェアでは、処理内容を分担してパイプラインを構成して、並列処理を行うことが多い。パイプライン処理とは、別々の作業を順次同時に行い、処理を行うユニットを無駄に待たせることなく、次々と実行することで高速化を図る手法である。
パイプライン処理は、図４に示すように、前処理と後処理とから構成される。例えば、データ１、データ２、データ３の順で各データが処理される。まず、データ１に対して前処理を施し、次に、データ１に対する後処理と、データ２に対する前処理とを同時に施す。次に、データ２に対する後処理と、データ３に対する前処理とを同時に施す。このような構成にすることによって、データ１、データ２およびデータ３に対して前処理を行った後に、それらのデータに対して後処理を行う場合と比べて処理時間を短くすることができ、高速化を図ることができる。なお、データ１の後処理において、データ２の前処理の結果を用いる場合、データ１の後処理とデータ２の前処理を並列に処理できなく、パイプラインにならないのは言うまでもない。
ここで、上記従来の画像復号化装置は、上述の前処理をマクロブロックに対する復号化処理として行い、上述の後処理をマクロブロックに対するデブロッキングフィルタ処理として行う。
このように従来の画像復号化装置では、各スライスおよびマクロブロックの復号化の順序を常にアドレス処理順にしているため、マクロブロックの復号化処理とデブロッキングフィルタ処理とをパイライン処理により行い、処理速度の高速化を図っている。
Ｈ．２６４｜ＭＰＥＧ-４ＡＶＣ規格書
ところが、各スライスの復号化の順序をアドレス処理順にしない場合がある。
上記Ｈ．２６４では、スライスの復号順序がアドレス復号順になるとは限らないことを示すarbitrary slice orderが規定されている。このarbitrary slice orderの使用は、メインプロファイルでは禁止され、ベースラインプロファイルとイクステンディッドプロファイルでは許可されている。arbitrary slice orderが許可されている場合、スライスの先頭マクロブロックのアドレスの小さい順に各スライスを復号化するとは限らず、マクロブロックの先頭アドレスが他のスライスより大きいスライスからデコードする可能性がある。
このような場合には、スライス境界にあるマクロブロックに対してデブロッキングフィルタ処理を施そうとしても、その処理対象のマクロブロックの左および上にあるマクロブロックに対して未だ復号化処理およびデブロッキングフィルタ処理が施されていないことがある。
したがって、arbitrary slice orderが許可されることを想定すると、画像復号化装置は、ピクチャに含まれる全てのスライスをマクロブロックごとに復号化し、復号化された１枚のピクチャが構成された後に、各マクロブロックに対してデブロッキングフィルタ処理を施す必要がある。つまり、arbitrary slice orderが許可されるときには、画像復号化装置は、復号化処理とデブロッキングフィルタ処理とをパイプライン処理により行うことができない。
図５は、上記Ｈ．２６４のarbitrary slice orderに対応した画像復号化装置の構成を示すブロック図である。
この画像復号化装置８００は、符号化信号を復号化するものであって、可変長復号化部８０１と、逆量子化部８０２と、逆直交変換部８０３と、メモリ８０４と、面内予測部８０５と、加算部８０６と、スイッチ８０７と、フレームメモリ８０８と、デブロッキングフィルタ処理部８０９と、フレームメモリ８１０と、動き補償部８１１とを備えている。
このように構成された画像復号化装置８００においては、Ｉピクチャの符号化信号を復号化するイントラモード時には、符号化信号は可変長復号化部８０１によって量子化値に復号化され、逆量子化部８０２によって周波数成分に復号化され、逆直交変換部８０３によって予測誤差に復号化される。また、メモリ８０４に記憶されている左マクロブロック、上マクロブロック、左上マクロブロック、および右上マクロブロックの画素を用いて、面内予測部８０５で予測画像が生成され、加算部８０６によって予測誤差と予測画像が加算される。その結果、復号化されたマクロブロックである再構成画像が生成される。ここで、イントラモード時には、スイッチ８０７は面内予測部８０５と加算部８０６をつないでいる。再構成画像は、メモリ８０４に格納されると共にフレームメモリ８０８に格納される。そして、ピクチャに含まれる全てのマクロブロックの再構成画像がフレームメモリ８０８に格納された後に、デブロッキングフィルタ処理部８０９は、ピクチャの左上端マクロブロックの再構成画像からアドレス順に、各再構成画像に対してブロック歪を除去するデブロッキングフィルタ処理を施して、処理済みの再構成画像をフレームメモリ８１０に格納する。フレームメモリ８１０に格納されたデブロッキングフィルタ処理を施されたピクチャは、復号画像信号としてモニタ等に出力される。
またＰピクチャ及びＢピクチャの符号化信号を復号化するインターモード時には、符号化信号は可変長復号化部８０１によって量子化値に復号化され、逆量子化部８０２によって周波数成分に復号化され、逆直交変換部８０３によって動き補償誤差に復号化される。一方、動き補償部８１１によって動き補償画像が生成され、加算部８０６によって動き補償誤差と動き補償画像が加算される。その結果、復号化されたマクロブロックである再構成画像が生成される。ここで、インターモード時には、スイッチ８０７は、動き補償部８１１と加算部８０６をつないでいる。再構成画像は、メモリ８０４に格納されると共にフレームメモリ８０８に格納される。そして、ピクチャに含まれる全てのマクロブロックの再構成画像がフレームメモリ８０８に格納された後に、デブロッキングフィルタ処理部８０９は、ピクチャの左上端マクロブロックの再構成画像からアドレス順に、各再構成画像に対してブロック歪を除去するデブロッキングフィルタ処理を施して、処理済の再構成画像をフレームメモリ８１０に格納する。フレームメモリ８１０に格納されたデブロッキングフィルタ処理を施されたピクチャは、復号画像信号としてモニタ等に出力される。
ここで、デブロッキングフィルタ処理部８０９は、フィルタコードが１の場合には、再構成画像に対して何も処理をせずに、その再構成画像をフレームメモリ８１０に格納する。
図６は、画像復号化装置８００の処理の流れを示すフローチャートである。
まず、画像復号化装置８００は、符号化信号の示すピクチャの符号化された全てのマクロブロックに対して復号化処理を行うことにより、符号化された全てのマクロブロックをそれぞれ再構成画像に復号化する（ループ１のステップＳ８２２）。そして、全てのマクロブロックが再構成画像に復号化されたら、画像復号化装置８００は、ループ１で復号化された全ての再構成画像に対してデブロッキングフィルタ処理を施す（ループ２のステップＳ８２４）。即ち、画像復号化装置８００は、ピクチャに対してマクロブロック単位でデブロッキングフィルタ処理を施す。
図７は、Ｈ．２６４のarbitrary slice orderに対応した画像符号化装置の構成を示すブロック図である。
この画像符号化装置９００は、入力画像信号を符号化するものであって、メモリ９０１と、面内予測部９０２と、減算部９０３と、スイッチ９０４と、直交変換部９０５と、量子化部９０６と、可変長符号化部９０７と、逆量子化部９０８と、逆直交変換部９０９と、加算部９１０と、フレームメモリ９１１と、デブロッキングフィルタ処理部９１２と、フレームメモリ９１３と、動き検出部９１４と、動き補償部９１５とを備えている。
このように構成された画像符号化装置９００は、入力画像信号の示すピクチャをマクロブロックごとに処理する。入力画像信号の示すピクチャをＩピクチャとして符号化するイントラモード(面内予測)の時には、メモリ９０１に記憶されている左マクロブロック、上マクロブロック、左上マクロブロック、および右上マクロブロックの再構成画像を用いて、面内予測部９０２で予測画像が生成され、減算部９０３によって入力画像信号のマクロブロックの画像と予測画像の差分である予測誤差が出力される。ここで、スイッチ９０４はイントラモード時には面内予測部９０２と減算部９０３をつないでいる。直交変換部９０５によって予測誤差が周波数成分に変換され、量子化部９０６による量子化によって量子化値に圧縮符号化される。その量子化値に対して可変長符号化部９０７によって符号化が施され、符号化された結果が出力となる。また、量子化部９０６による量子化値は、逆量子化部９０８で周波数成分に復号化され、逆直交変換部９０９によって予測誤差に復号化される。予測誤差は加算部９１０によって予測画像と加算される。その結果、復号化されたマクロブロックである再構成画像が生成されてメモリ９０１に格納される。また再構成画像はフレームメモリ９１１にも格納される。そして、ピクチャに含まれる全てのマクロブロックの再構成画像がフレームメモリ９１１に格納された後に、デブロッキングフィルタ処理部９１２は、ピクチャの左上端マクロブロックの再構成画像から順に、各再構成画像に対してブロック歪を除去するデブロッキングフィルタ処理を施して、処理済の再構成画像をフレームメモリ９１３に格納する。
また、入力画像信号の示すピクチャをＰピクチャまたはＢピクチャとして符号化するインターモード（面間予測）の時には、動き検出部９１４によって動きベクトルが生成され、動き補償部９１５によって予測画像が生成され、減算部９０３によって入力画像信号の示すマクロブロックの画像と予測画像の差分である動き補償誤差が算出される。ここで、インターモード時にはスイッチ９０４は、動き補償部９１５と減算部９０３をつないでいる。なお、動き検出部９１４は、フレームメモリ９１３に記憶されている復号画像から、符号化対象マクロブロックの画像と比較して最も差分が小さい画像領域をサーチする。即ち、動き検出部９１４は、Ｐピクチャの場合は、前方の参照ピクチャから上記画像領域をサーチし、Ｂピクチャの場合は、前方および後方の双方向の参照ピクチャから上記画像領域をサーチする。そして、動き検出部９１４は、サーチした画像領域と、入力画像信号の符号化対象マクロブロックとの間の動き量を動きベクトルとして算出して、その動きベクトルを出力する。さらに、動き検出部９１４は、参照されるピクチャが符号化対象ピクチャの前方にあること、後方にあること、または双方向にあることを示すマクロブロックの予測タイプを出力する。動き補償部９１５は、動き検出部９１４から出力された動きベクトルと予測タイプから予測画像を演算して出力する。
減算部９０３から出力された動き補償誤差は直交変換部９０５によって周波数成分に変換され、量子化部９０６による量子化によって量子化値に圧縮符号化される。その量子化値に対して可変長符号化部９０７によって符号化が施され、その符号化された結果が出力となる。また、量子化部９０６による量子化値は、逆量子化部９０８で周波数成分に復号化され、逆直交変換部９０９によって動き補償誤差に復号化され、加算部９１０によって予測画像と加算される。その結果、復号化されたマクロブロックである再構成画像が生成されてメモリ９０１に格納される。また再構成画像はフレームメモリ９１１にも格納される。そして、ピクチャに含まれる全てのマクロブロックの再構成画像がフレームメモリ９１１に格納された後に、デブロッキングフィルタ処理部９１２は、ピクチャの左上端マクロブロックの再構成画像から順に、各再構成画像に対してブロック歪を除去するデブロッキングフィルタ処理が施して、処理済の再構成画像をフレームメモリ９１３に格納する。
ここで、デブロッキングフィルタ処理部９１２は、フィルタコードが１の場合には、再構成画像に対して何も処理をせずに、その再構成画像をフレームメモリ９１３に格納する。
このように、図５に示す画像復号化装置８００および図７に示す画像符号化装置９００は、復号化の順序がアドレス処理順でないときにも、デブロッキングフィルタ処理を行うことができる。
しかしながら、図５に示す画像復号化装置８００および図７に示す画像符号化装置９００では、復号化の順序がアドレス処理順であるときにも、デブロッキングフィルタ処理を行う前に、ピクチャに含まれる全てのマクロブロックに対して復号化処理を施して、復号化されたマクロブロック（再構成画像）を全てメモリに蓄積するため、処理速度が遅くなるという問題がある。
例えば、再構成画像を格納するメモリが外部メモリであって、その外部メモリが画像復号化処理以外の他の処理にも使用される場合、上述のように全ての再構成画像を外部メモリに格納すると、その外部メモリに格納されるデータ量が多いため、復号化処理全体におけるデータ転送の割合が高くなってしまい、他の処理に割り当てられる時間が少なくなる。そのため、画像復号化装置と外部メモリとを接続するバスのバス幅が小さい場合、あるいは画像復号化装置の処理能力が低い場合では、全ての復号化処理が所定の時間（１フレームを処理するために使用可能な時間）を超える事態が発生し、円滑な画像復号化を行うことができない。
また、デブロッキングフィルタ処理を施す前に全ての再構成画像をメモリに格納するため、マクロブロック単位で、復号化処理（画像を再構成するまでの処理）とデブロッキングフィルタ処理とをパイプライン処理（並列処理）によって行うことができない。また、デブロッキングフィルタ処理されたピクチャを用いて、次のピクチャを符号化または復号化するため、ピクチャ単位においても、復号化処理（画像を再構成するまでの処理）と、デブロッキングフィルタ処理とをパイプライン処理（並列処理）によって行うことができない。
そこで、本発明は、かかる問題を解決するためになされたものであって、各ブロックの復号化の順序を変更する場合であってもブロック歪みを除去することができるとともに処理速度の低下を抑えた画像復号化装置および画像符号化装置を提供することを目的とする。
上記目的を達成するために、本発明に係る画像復号化装置は、符号化されたピクチャをブロック単位で復号化する画像復号化装置であって、符号化されたピクチャを構成する各ブロックを順次復号化する復号化手段と、前記復号化手段により復号化された各ブロックを記憶するための記憶手段と、前記復号化手段により復号化された各ブロックに対してフィルタ処理を施すフィルタ手段と、前記復号化手段でブロックが復号化されるごとに復号化された前記ブロックを前記記憶手段に記憶させるとともに、前記記憶手段に記憶されているブロックに対して前記フィルタ手段にフィルタ処理を実行させる第１の実行手段と、前記復号化手段でブロックが復号化されるごとに復号化された前記ブロックに対して前記フィルタ手段にフィルタ処理を実行させる第２の実行手段と、前記第１の実行手段による動作と前記第２の実行手段による動作とを切り換える切換制御手段とを備えることを特徴とする。具体的に、前記切換制御手段は、前記復号化手段により順次復号化される各ブロックの順序に応じて前記第１の実行手段による動作と前記第２の実行手段による動作とを切り換える。例えば、前記切換制御手段は、前記復号化手段により順次復号化される各ブロックの順序が、前記ピクチャの端にあるブロックから連続的に復号化されるような規定順序であるときには、前記第１の実行手段による動作を禁止させて前記第２の実行手段による動作を実行させ、前記復号化手段より順次復号化される各ブロックの順序が、前記規定順序でないときには、前記第２の実行手段による動作を禁止させて前記第１の実行手段による動作を実行させる。
これにより、復号化手段により順次復号化される各ブロックの順序が、ピクチャの端にあるブロックから連続的に復号化されるような規定順序、つまりアドレス復号順であるときには、例えばスイッチにより構成される第２の実行手段は、復号化手段によりブロックが復号化されるごとにそのブロックに対してフィルタ手段にフィルタ処理を実行させる。その結果、復号化処理とフィルタ処理とをパイプライン処理によって行うことができ、復号化された各ブロックを記憶手段に記憶させた後に、そのブロックに対してフィルタ処理を施す場合と比べて、処理速度を速くすることができる。また、この場合には、記憶手段にブロックを記憶させる必要がないので、記憶手段に対するデータ転送量を抑えて全体的な処理を円滑に行うことができる。また、復号化手段により順次復号化される各ブロックの順序が規定順序でない、つまりアドレス復号順でないときには、例えばスイッチにより構成される第１の実行手段は、復号化手段でブロックが復号化されるごとにそのブロックを記憶手段に記憶させるとともに、記憶手段に記憶されているブロックに対してフィルタ手段にフィルタ処理を実行させる。その結果、順次復号化される各ブロックの順序がアドレス復号順でないときにも、フィルタ手段はブロックに対してフィルタ処理を施すことができる。このように、本発明では、各ブロックの復号化の順序を変更する場合であってもブロック歪みを除去することができるとともに処理速度の低下を抑えることができる。
また、前記切換制御手段は、前記復号化手段によって単位時間内に復号化されるべきブロックの数に応じて前記第１の実行手段による動作と前記第２の実行手段による動作とを切り換えることを特徴としてもよい。例えば、前記切換制御手段は、前記復号化手段によって単位時間内に復号化されるべきブロックの数が所定値よりも多いときには、前記第１の実行手段による動作を禁止させて前記第２の実行手段による動作を実行させ、前記ブロックの数が前記所定値以下のときには、前記第２の実行手段による動作を禁止させて前記第１の実行手段による動作を実行させる。
メインプロファイルやベースラインプロファイルなどのプロファイルによって、単位時間内に復号化されるべきブロックの数が異なり、その数によって、復号化手段により順次復号化される各ブロックの順序が規定順序であるのか、その順序が規定順序でない可能性があるのかを判別することができる。そこで、本発明のように、そのブロックの数に応じて第１の実行手段による動作と前記第２の実行手段による動作とを切り換えることによっても、上述と同様の効果を得ることができる。つまり、各ブロックの復号化の順序を変更する場合であってもブロック歪みを除去することができるとともに処理速度の低下を抑えることができる。
また、前記切換制御手段は、前記復号化手段により順次復号化される各ブロックの順序が、前記ピクチャの端にあるブロックから連続的に復号化されるような規定順序でないときには、前記フィルタ処理の対象となる前記各ブロックの部位を示すフィルタ情報に基づいて、前記第１の実行手段による動作と前記第２の実行手段による動作とを切り換えることを特徴としてもよい。
これにより、例えば、順次復号化される各ブロックの順序が規定順序でなくても、フィルタ情報たるdisable＿deblocking＿filter＿idcの値が２であるときには、つまり、フィルタ処理の対象からスライス境界が外されているときには、ピクチャに含まれる複数のスライスがどのような順序で復号化されても、切換制御手段が第２の実行手段による動作を実行させれば、復号化処理とフィルタ処理とをパイプライン処理によって行うことができ、処理速度を速くすることができる。
また、前記切換制御手段は、前記符号化されたピクチャを複数含んで構成される符号化信号の種別に応じて前記第１の実行手段による動作と前記第２の実行手段による動作とを切り換えることを特徴としてもよい。例えば、前記切換制御手段は、前記符号化信号の種別に基づいて、前記ピクチャの端にあるブロックから各ブロックが連続的に復号化されるべきであると判断したときには、前記第１の実行手段による動作を禁止させて前記第２の実行手段による動作を実行させ、前記判断が不可能なときには、前記第２の実行手段による動作を禁止させて前記第１の実行手段による動作を実行させる。
符号化信号の示すメインプロファイルやベースラインプロファイルなどのプロファイルによって、ピクチャの端にあるブロックから各ブロックが連続的に復号化されるべきであると判断できる場合がある。そこで、本発明のように、符号化信号の種別、つまりプロファイルに応じて、第１の実行手段による動作と第２の実行手段による動作とを切り換えることによっても、上述と同様の効果を得ることができる。つまり、各ブロックの復号化の順序を変更する場合であってもブロック歪みを除去することができるとともに処理速度の低下を抑えることができる。
また、前記切換制御手段は、前記ピクチャの端にあるブロックから各ブロックが連続的に復号化されるべきであるか否かを示す外部信号を取得し、前記外部信号が連続的に復号化されるべきであることを示すときには、前記第１の実行手段による動作を禁止させて前記第２の実行手段による動作を実行させ、前記外部信号が連続的に復号化されるべきでないことを示すときには、前記第２の実行手段による動作を禁止させて前記第１の実行手段による動作を実行させることを特徴としてもよい。
arbitrary slice orderが許可されているときには、ピクチャの端にあるスライスから各スライスが連続的に復号化されるとは限らない。そこで、本発明のように、arbitrary slice orderが許可されているか否かを示す外部信号に応じて第１の実行手段による動作と前記第２の実行手段による動作とを切り換えることによっても、上述と同様の効果を得ることができる。つまり、各ブロックの復号化の順序を変更する場合であってもブロック歪みを除去することができるとともに処理速度の低下を抑えることができる。
なお、本発明は、このような画像復号化装置として実現することができるだけでなく、その画像復号化装置と同様の構成を含む画像符号化装置や、それらによる処理方法、プログラム、そのプログラムを格納する記憶媒体、集積回路としても実現することができる。
本発明の画像復号化装置は、各ブロックの復号化の順序を変更する場合であってもブロック歪みを除去することができるとともに処理速度の低下を抑えることができるという作用効果を奏する。
以下本発明の実施の形態について、図面を参照しながら説明する。
（実施の形態１）
図８は、本発明の実施の形態１における画像復号化装置１００の構成を示すブロック図である。
画像復号化装置１００は、ブロック単位で行われる復号化の順序を変更する場合であってもブロック歪みを除去することができるとともに、処理速度の低下を抑えた画像復号化装置であって、可変長復号化部１１１と、逆量子化部１１２と、逆直交変換部１１３と、メモリ１１４と、面内予測部１１５と、加算部１１６と、スイッチ１１７と、デブロッキングフィルタ処理部１１９と、フレームメモリ１２０と、動き補償部１２１と、制御部１０１と、フレームメモリ１０２、スイッチ１０３と、スイッチ１０４とを備えている。
可変長復号化部１１１は、符号化信号の示す符号化されたピクチャのマクロブロックごとに、そのマクロブロックに対して可変長復号化処理を施し、その処理結果である量子化値を逆量子化部１１２に出力する。
ここで、可変長復号化部１１１は、スライスやマクロブロックの復号化の順序を示す順序通知情報を取得して、その順序通知情報の示す順序に基づいて各マクロブロックに対する可変長復号化処理を行う。順序通知情報は、復号化の順序がアドレス処理順であること、または復号化の順序が任意であることを示す。以下、任意の復号化の順序を不定順という。
したがって、可変長復号化部１１１は、順序通知情報がアドレス処理順を示すときには、符号化信号の示す符号化されたピクチャの各スライスに対して、スライスの先頭マクロブロックのアドレスの小さい順に可変長復号化処理を行う。そして、可変長復号化部１１１は、各スライス内では、スライスの先頭マクロブロックからアドレスの小さい順に、各マクロブロックに対する可変長復号化処理を行う。一方、順序通知情報が不定順を示すときには、可変長復号化部１１１は、所定の規定に従って、上述のアドレス処理順と同様の順序や、アドレス処理順と異なる順序で、各マクロブロックに対して可変長復号化処理を行う。
逆量子化部１１２は、可変長復号化部１１１から出力された量子化値に対して逆量子化を行ってその量子化値を周波数成分に変換する。
逆直交変換部１１３は、符号化対象ピクチャがＩピクチャであるイントラモードでは、逆量子化部１１２から出力される周数成分を画像データである予測誤差に変換し、符号化対象ピクチャがＰピクチャまたはＢピクチャであるインターモードでは、その周波数成分を画像データである動き補償誤差に変換する。
スイッチ１１７は、イントラモードでは画内予測部１１５を加算部１１６に接続し、インターモードでは動き補償部１２１を加算部１１６に接続する。
加算部１１６は、イントラモードでは、画内予測部１１５から出力される予測画像と予測誤差とを加算することにより、符号化信号の示す符号化されたマクロブロックを再構成画像に復号化する。また、加算部１１６は、インターモードでは、動き補償部１２１から出力される動き補償画像と動き補償誤差とを加算することにより、符号化信号の示す符号化されたマクロブロックを再構成画像に復号化する。
メモリ１１４は、加算部１１６から出力される再構成画像を蓄積する。
面内予測部１１５は、メモリ１１４に記憶されている複数の再構成画像から、復号化対象マクロブロックに対して左にあるマクロブロック、上にあるマクロブロック、左上にあるマクロブロック、および右上にあるマクロブロックのそれぞれの再構成画像を取り出す。そして、面内予測部１１５は、それらの再構成画像を用いて復号化対象マクロブロックの予測画像を生成する。
制御部１０１は、上述の順序通知情報を取得して、その順序通知情報に基づいてスイッチ１０３およびスイッチ１０４を制御する。
即ち、制御部１０１は、順序通知情報がアドレス処理順を示す場合には、スイッチ１０３およびスイッチ１０４を制御して、加算部１１６とデブロッキングフィルタ処理部１１９とを直接接続させる。一方、順序通知情報が不定順を示す場合には、制御部１０１は、まず、スイッチ１０３を制御して、フレームメモリ１０２を加算部１１６に接続させる。加算部１１６に接続されたフレームメモリ１０２は、加算部１１６から出力される再構成画像を逐次蓄積する。そして、制御部１０１は、フレームメモリ１０２に１ピクチャ分の全ての再構成画像が蓄積されると、スイッチ１０４を制御して、フレームメモリ１０２をデブロッキングフィルタ処理部１１９に接続させる。
デブロッキングフィルタ処理部１１９は、スイッチ１０３およびスイッチ１０４によって加算部１１６に接続されると、加算部１１６が再構成画像を出力するごとに、その再構成画像に対してデブロッキングフィルタ処理を施す。また、デブロッキングフィルタ処理部１１９は、スイッチ１０４によってフレームメモリ１０２に接続されると、フレームメモリ１０２に蓄積された１ピクチャ分の全ての再構成画像に対して、ピクチャの左上端のマクロブロックからアドレスの小さい順にデブロッキングフィルタ処理を施す。
そして、デブロッキングフィルタ処理部１１９は、デブロッキングフィルタ処理された再構成画像をフレームメモリ１２０に順次格納する。これにより、フレームメモリ１２０には、１ピクチャ分の再構成画像が復号画像として格納される。また、このような復号画像は復号画像信号としてモニタなどに出力される。
なお、デブロッキングフィルタ処理部１１９は、処理対象の再構成画像（マクロブロック）に対してデブロッキングフィルタ処理を施すときには、その再構成画像の左および上にある既にデブロッキングフィルタ処理された再構成画像を、フレームメモリ１２０から取得してその取得した再構成画像を用いる。
動き補償部１２１は、フレームメモリ１２０に格納された復号画像を参照ピクチャとして取得するとともに、動きベクトルを取得する。そして、動き補償部１２１は、参照ピクチャのうち動きベクトルにより示される画像領域を、復号化対象マクロブロックの動き補償画像として生成し、その動き補償画像を出力する。
このように本実施の形態における画像復号化装置１００は、順序通知情報がアドレス処理順を示すときには、マクロブロックごとに、復号化処理（再構成画像を生成するまでの処理）と、デブロッキングフィルタ処理とをパイプライン処理により行う。そして、順序通知情報が不定順を示すときには、画像復号化装置１００は、各マクロブロックに対して復号化処理を行い、１ピクチャ分の再構成画像がフレームメモリ１０２に蓄積された後に、デブロッキングフィルタ処理を行う。
ここで、上述の順序通知情報としては、例えばＨ．２６４におけるプロファイル情報が用いられる。
即ち、符号化信号に含まれるプロファイル情報がベースラインプロファイルまたはイクステンディッドプロファイルを示す場合は、そのプロファイル情報は、逐次復号化されるマクロブロックの順序が不定順であることを示している。また、プロファイル情報がメインプロファイを示す場合は、そのプロファイル情報は、逐次復号化されるマクロブロック順序がアドレス処理順であることを示している。
ベースラインプロファイルとイクステンディッドプロファイルにおいて、逐次復号化されるマクロブロックの順序が不定順となる理由には、arbitrary slice orderが許可されているからという理由だけでなく、スライスグループの数を１〜７個の範囲で設定できるからという理由もある。つまり、スライスグループの数が複数の場合には、例えば図３Ｂに示すように、復号化対象マクロブロックに対して左隣と上隣のマクロブロックが、それぞれ復号化対象マクロブロックのスライスグループと異なるスライスグループに属していることがある。このような場合には、復号化対象マクロブロックの復号化時に、その左隣や上隣にあるマクロブロックが未だ復号化されていない可能性があるため、逐次復号化されるマクロブロックの順序が不定順になる。
図９は、本実施の形態における画像復号化装置１００の処理の流れを示すフローチャートである。
画像復号化装置１００は、まず、復号化対象ピクチャに対して、順序通知情報がアドレス処理順を示しているか否かを判別する（ステップＳ１００）。アドレス処理順を示していると判別したときには（ステップＳ１００のＹ）、画像復号化装置１００は、復号化対象の各マクロブロックに対してアドレス処理順に復号化処理を行い（ステップＳ１０２）、復号化されたマクロブロック（再構成画像）に対してデブロッキングフィルタ処理を行う（ステップＳ１０４）。つまり、画像復号化装置１００は、ステップＳ１０２の復号化処理とステップＳ１０４のデブロッキングフィルタ処理とをパイプライン処理により行い、これらの処理を復号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ２）。
一方、順序通知情報がアドレス処理順を示していない、つまり不定順を示していると判別したときには（ステップＳ１００のＮ）、画像復号化装置１００は、所定の順序で復号化対象の各マクロブロックに対して復号化処理を行い（ステップＳ１０６）、復号化されたマクロブロック（再構成画像）をフレームメモリ１０２に逐次格納する（ステップＳ１０８）。このように、画像復号化装置１００は、ステップＳ１０６の復号化処理とステップＳ１０８の格納処理とを復号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ３）。そして、画像復号化装置１００は、フレームメモリ１０２に蓄積された１ピクチャ分の各再構成画像に対して、ピクチャの左上端の再構成画像からアドレスの小さい順に、デブロッキングフィルタ処理を行う（ステップＳ１１０）。
画像復号化装置１００は、このようなステップＳ１００〜Ｓ１１０までの処理を、符号化信号の示す全ての符号化されたピクチャに対して行う（ループ１）。
以上のように本実施の形態によれば、複数のスライスグループとarbitrary slice orderが禁止されているメインプロファイルでは、逐次復号化されるマクロブロックの順序がアドレスの小さい順（アドレス復号順）であるということが保証されているため、全マクロブロックが再構成画像として復号化されなくても、逐次再構成画像に復号化されたフィルタ処理前のマクロブロックに対して、デブロッキングフィルタ処理を施すことができる。したがって、復号処理全体におけるデータ転送の割合を低くできる。また逐次復号化された再構成画像に施すデブロッキングフィルタ処理は、再構成画像を生成するまでの処理（復号化処理）と並列に処理することが可能になる。これにより、処理速度を速くすることができる。
また、複数のスライスグループとarbitrary slice orderが許可されているベースラインプロファイルでは、逐次復号化されるマクロブロックの順序がアドレス復号順であることが保証されていない。本実施の形態では、このようなベースラインプロファイルでも、フレームメモリ１０２に再構成画像を逐次格納することにより、各再構成画像に対してデブロッキングフィルタ処理を施すことができる。
（変形例）
ここで、上記実施の形態１における変形例を説明する。
上記実施の形態の画像復号化装置１００は、順序通知情報のみに基づいて、復号化処理とデブロッキングフィルタ処理とをパイプライン処理により行うか否かを判別したが、本変形例の画像復号化装置は順序通知情報とフィルタコード（disable＿deblocking＿filter＿idc）とに基づいて判別する。
本変形例に係る画像復号化装置は、順序通知情報がアドレス処理順を示している場合には、上記実施の形態と同様の処理を行うが、順序通知情報が不定順を示している場合には、フィルタコードの値に応じた処理を行う。
具体的に、本変形例に係る画像復号化装置は、フィルタコードが０の場合には、上記実施の形態において順序通知情報が不定順を示している場合と同様の処理を行う。つまり、画像復号化装置の制御部は、スイッチ１０３を制御することによりフレームメモリ１０２を加算部１１６に接続させて、１ピクチャ分の再構成画像をフレームメモリ１０２に蓄積させる。そして制御部は、スイッチ１０４を制御することによりフレームメモリ１０２をデブロッキングフィルタ処理部１１９に接続させる。その結果、デブロッキングフィルタ処理部１１９はフレームメモリ１０２に蓄積された再構成画像に対してデブロッキングフィルタ処理を行う。これにより、フィルタコードが０の場合には、全てのマクロブロック（再構成画像）のエッジに対してデブロッキングフィルタ処理が施される。
フィルタコードが１の場合には、本変形例に係る画像復号化装置の制御部は、スイッチ１０３とスイッチ１０４とを制御することにより、加算部１１６とデブロッキングフィルタ処理部１１９とを直接接続させる。そして、制御部は、デブロッキングフィルタ処理部１１９に対してデブロッキングフィルタ処理を禁止させる。その結果、加算部１１６から出力された再構成画像は、スイッチ１０３およびスイッチ１０４を介してデブロッキングフィルタ処理部１１９を通過し、フレームメモリ１２０に格納される。これにより、フィルタコードが１の場合には、全てのマクロブロック（再構成画像）のエッジに対してデブロッキングフィルタ処理が施されないこととなる。
フィルタコードが２の場合には、本変形例に係る画像復号化装置の制御部は、上述と同様、スイッチ１０３とスイッチ１０４とを制御することにより、加算部１１６とデブロッキングフィルタ処理部１１９とを直接接続させる。そして、制御部は、スライス境界に対するデブロッキングフィルタ処理を、デブロッキングフィルタ処理部１１９に禁止させる。その結果、デブロッキングフィルタ処理部１１９は、加算部１１６から出力されたスライス境界にある再構成画像（マクロブロック）のうち、そのスライス境界を除くエッジ（例えば、再構成画像の内部にある、４×４画素からなるブロックのエッジ）にデブロッキングフィルタ処理を施す。また、デブロッキングフィルタ処理部１１９は、加算部１１６から出力されたスライス境界にない再構成画像の全てのエッジ、つまり図１に示す各垂直エッジおよび水平エッジに対してデブロッキングフィルタ処理を施す。
これにより、フィルタコードが２の場合には、各マクロブロック（再構成画像）に対して、復号化処理とデブロッキングフィルタ処理とがパイプライン処理により施される。
図１０は、本変形例に係る画像復号化装置の処理の流れを示すフローチャートである。
本変形例に係る画像復号化装置は、まず、復号化対象ピクチャに対して、順序通知情報がアドレス処理順を示しているか否かを判別する（ステップＳ２００）。アドレス処理順を示していると判別したときには（ステップＳ２００のＹ）、画像復号化装置は、復号化対象の各マクロブロックに対してアドレス処理順に復号化処理を行い（ステップＳ２０２）、復号化されたマクロブロック（再構成画像）に対してデブロッキングフィルタ処理を行う（ステップＳ２０４）。つまり、画像復号化装置は、ステップＳ２０２の復号化処理とステップＳ２０４のデブロッキングフィルタ処理とをパイプライン処理により行い、これらの処理を復号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ２）。
一方、順序通知情報がアドレス処理順を示していない、つまり不定順を示していると判別したときには（ステップＳ２００のＮ）、画像復号化装置は、さらに、スライスごとにフィルタコードの値が０であるか、１であるか、２であるかを判別する（ステップＳ２０６）。ここで、フィルタコードの値が０であると判別したときには、画像復号化装置は、所定の順序で復号化対象の各マクロブロックに対して復号化処理を行い（ステップＳ２０８）、復号化されたマクロブロック（再構成画像）をフレームメモリ１０２に逐次格納する（ステップＳ２１０）。このように、画像復号化装置は、ステップＳ２０８の復号化処理とステップＳ２１０の格納処理とをスライス内の全てのマクロブロックに対して繰り返し行う（ループ４）。
また、ステップＳ２０６でフィルタコードの値が１であると判別したときには、画像復号化装置は、所定の順序で復号化対象の各マクロブロックに対して復号化処理を行う（ステップＳ２１４）。このように、画像復号化装置は、ステップＳ２１４の復号化処理をスライス内の全てのマクロブロックに対して繰り返し行う（ループ５）。
また、ステップＳ２０６でフィルタコードの値が２であると判別したときには、画像復号化装置は、復号化対象のマクロブロックに対して復号化処理を行い（ステップＳ２１６）、そのマクロブロックがスライス境界にあるブロックか否かを判別する（ステップＳ２１８）。そして、画像復号化装置は、スライス境界にあるブロックであると判別したときには（ステップＳ２１８のＹ）、復号化されたマクロブロック（再構成画像）のスライス境界を除くエッジに対してデブロッキングフィルタ処理を施し（ステップＳ２１９）、スライス境界にあるブロックでないと判別したときには（ステップＳ２１８のＮ）、復号化されたマクロブロック（再構成画像）の全てのエッジに対してデブロッキングフィルタ処理を施す（ステップＳ２２０）。つまり、画像復号化装置は、ステップＳ２１６の復号化処理とステップＳ２１９，Ｓ２２０のデブロッキングフィルタ処理とをパイプライン処理により行う。このように、画像復号化装置は、ステップＳ２１６〜Ｓ２２０の処理を、スライス内の全てのマクロブロックに対して繰り返し行う（ループ６）。
画像復号化装置は、このようなステップＳ２０６〜Ｓ２２０までの処理を、復号化対象ピクチャに含まれる全てのスライスに対して行い（ループ３）、ステップＳ２１０でフレームメモリ１０２に格納された各再構成画像に対してアドレスの小さい順にデブロッキングフィルタ処理を行なう（ステップＳ２２２）。そして、画像復号化装置は、このようなステップＳ２００〜Ｓ２２２までの処理を、符号化信号の示す全ての符号化されたピクチャに対して行う（ループ１）。
なお、上述では画像復号化装置は、スライスごとにフィルタコードの値を判別したが、ピクチャごとにフィルタコードの値を判別してもよい。
図１１は、ピクチャごとにフィルタコードの値を判別する画像復号化装置の処理の流れを示すフローチャートである。
画像復号化装置は、まず、復号化対象ピクチャに対して、順序通知情報がアドレス処理順を示しているか否かを判別する（ステップＳ２５０）。アドレス処理順を示していると判別したときには（ステップＳ２５０のＹ）、画像復号化装置は、復号化対象の各マクロブロックに対してアドレス処理順に復号化処理を行い（ステップＳ２５２）、復号化されたマクロブロック（再構成画像）に対してデブロッキングフィルタ処理を行う（ステップＳ２５４）。つまり、画像復号化装置は、ステップＳ２５２の復号化処理とステップＳ２５４のデブロッキングフィルタ処理とをパイプライン処理により行い、これらの処理を復号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ２）。
一方、順序通知情報がアドレス処理順を示していない、つまり不定順を示していると判別したときには（ステップＳ２５０のＮ）、画像復号化装置は、さらに、フィルタコードの値が０であるか、１であるか、２であるかを判別する（ステップＳ２５６）。ここで、フィルタコードの値が０であると判別したときには、画像復号化装置は、所定の順序で復号化対象の各マクロブロックに対して復号化処理を行い（ステップＳ２５８）、復号化されたマクロブロック（再構成画像）をフレームメモリ１０２に逐次格納する（ステップＳ２６０）。このように、画像復号化装置は、ステップＳ２５８の復号化処理とステップＳ２６０の格納処理とを復号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ３）。そして、画像復号化装置は、フレームメモリ１０２に蓄積された１ピクチャ分の各再構成画像に対して、ピクチャの左上端の再構成画像からアドレスの小さい順に、デブロッキングフィルタ処理を行う（ステップＳ２６２）。
また、ステップＳ２５６でフィルタコードの値が１であると判別したときには、画像復号化装置は、所定の順序で復号化対象の各マクロブロックに対して復号化処理を行う（ステップＳ２６４）。このように、画像復号化装置は、ステップＳ２６４の復号化処理を復号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ４）。
また、ステップＳ２５６でフィルタコードの値が２であると判別したときには、画像復号化装置は、復号化対象のマクロブロックに対して復号化処理を行い（ステップＳ２６６）、そのマクロブロックがスライス境界にあるブロックか否かを判別する（ステップＳ２６８）。そして、画像復号化装置は、スライス境界にあるブロックであると判別したときには（ステップＳ２６８のＹ）、復号化されたマクロブロック（再構成画像）のスライス境界を除くエッジに対してデブロッキングフィルタ処理を施し（ステップＳ２６９）、スライス境界にあるブロックでないと判別したときには（ステップＳ２６８のＮ）、復号化されたマクロブロック（再構成画像）の全てのエッジに対してデブロッキングフィルタ処理を施す（ステップＳ２７０）。つまり、画像復号化装置は、ステップＳ２６６の復号化処理とステップＳ２６９，Ｓ２７０のデブロッキングフィルタ処理とをパイプライン処理により行う。このように、画像復号化装置は、ステップＳ２６６〜Ｓ２７０の処理を、復号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ５）。
画像復号化装置は、このようなステップＳ２５０〜Ｓ２７０までの処理を、符号化信号の示す全ての符号化されたピクチャに対して行う（ループ１）。
このように、画像復号化装置は、フィルタコードがピクチャ単位で固定され、スライス単位で変更されないことが明らかな場合には、スライスごとにフィルタコードの値を判別せずに処理を行なう。
なお、実施の形態１およびその変形例では、制御部１０１は１ピクチャ分の全ての再構成画像がフレームメモリ１０２に格納された後にスイッチ１０４を制御して、フレームメモリ１０２をデブロッキングフィルタ処理部１１９に接続させたが、１ピクチャ分の全ての再構成画像が格納される前にスイッチ１０４を制御してもよい。
即ち、制御部１０１は、フレームメモリ１０２に格納されている再構成画像（フィルタ対象マクロブロック）に対してデブロッキングフィルタ処理に必要な、デブロッキングフィルタ処理済のマクロブロック（フィルタ処理済マクロブロック）がフレームメモリ１２０に格納されていれば、スイッチ１０４を制御する。これにより、制御部１０１は、フィルタ対象マクロブロックに対してデブロッキングフィルタ処理部１１９にデブロッキングフィルタ処理を実行させる。
また、制御部１０１は、フィルタ対象マクロブックに対してフィルタ処理済マクロブロックを必要としないときにも、スイッチ１０４を制御して、フィルタ対象マクロブロックに対してデブロッキングフィルタ処理部１１９にデブロッキングフィルタ処理を実行させる。
具体的に、フィルタ対象マクロブロックに対して必要なフィルタ処理済マクロブロックとは、（１）ピクチャ上端のフィルタ対象マクロブロックに対して左隣にあるマクロブロック、（２）ピクチャ左端のフィルタ対象マクロブロックに対して上隣および右上にあるマクロブロック、または（３）フィルタ対象マクロブロックに対して左隣、上隣、および右上にあるマクロブロックである。また、フィルタ処理済マクロブロックを必要としないフィルタ対象マクロブロックとは、ピクチャの左上端にあるマクロブロックである。
このような場合にも、逐次デブロッキングフィルタ処理を施すことができ、再構成画像を生成するまでの処理（復号化処理）と並列に行えるデブロッキングフィルタ処理を増やすことができる。
なお、Ｈ．２６４の復号化においてマクロブロックアダプティブフレーム・フィールドデコーディングが用いられている場合は、フィルタ対象マクロブロックに対して、上隣のマクロブロックと、右上のマクロブロックと、左隣のマクロブロックとを、それぞれ、上隣マクロブロックペアと、右上マクロブロックペアと、左隣マクロブロックペアとすればよい。これにより、上述と同様の効果を得ることができる。
なお、実施の形態１およびその変形例では、逐次復号化されるマクロブロックの順序がアドレス復号順かどうかの情報（順序通知情報）として、ストリーム（符号化信号）に含まれるプロファイルの情報を用いたが、逐次復号化されるマクロブロックの順序がアドレス復号順かどうかを示す情報を外部から取得してもよい。
例えば、ベースラインプロファイルの場合、逐次復号化されるマクロブロックの順序は一般に不定順であるが、ベースラインプロファイルであっても所謂１セグメント放送の場合には、複数のスライスとarbitrary slice orderとが許可されず、逐次復号化されるマクロブロックの順序はアドレス復号順となる。
即ち、プロファイル情報だけでは、逐次復号化されるマクロブロックの順序がアドレス復号順であるのか不定順であるのかを正確に判別することができない。また、arbitrary slice orderを使用するかどうかの情報はストリーム内には存在しないため、逐次復号化されるマクロブロックの順序がアドレス復号順かどうかはストリーム内の情報だけでは判断できない。
そこで、逐次復号化されるマクロブロックの順序がアドレス復号順であるか否かを示す情報、つまりarbitrary slice orderが許可されているか否かを示す情報を外部から取得する。これにより、画像復号化装置は、逐次復号化されるマクロブロックの順序がアドレス復号順か否かを正確に判断することができる。つまり、プロファイル情報だけでアドレス復号順か否かを判断する場合と比べて、アドレス復号順であると判断される場合が多くなる。その結果、アドレス復号順であると判断したときには、逐次復号化されたフィルタ処理前のマクロブロックに対して、デブロッキングフィルタ処理を施すことができ、復号処理全体におけるデータ転送の割合を低くできる。また、デブロッキングフィルタ処理は、再構成画像を生成するまでの処理（復号化処理）と並列に行うことが可能になる。これによって処理がより高速化され、低消費電力化を図ることができ、長時間の復号化が可能となる。これはデジタル放送など長時間使用する場合に適している。
なお、実施の形態１およびその変形例では、デブロッキングフィルタ処理前の再構成画像を格納するフレームメモリ１０２と、デブロッキングフィルタ処理後の再構成画像を格納するフレームメモリ９１３とを設けたが、この２つのメモリを１つのフレームメモリで構成してもよい。
また、実施の形態１およびその変形例では、プロファイル情報を順序通知情報とし、そのプロファイル情報に応じてスイッチ１０３およびスイッチ１０４を制御したが、単位時間内に復号化されるべきマクロブロックの数に応じてスイッチ１０３およびスイッチ１０４を制御してもよい。
例えば、ベースラインプロファイルの場合には、メインプロファイルの場合と比べて、単位時間内に復号化されるべきマクロブロックの数が少ない。そこで、そのマクロブロックの数が所定値以下であれば、符号化信号の示すプロファイルはベースラインプロファイルであり、そのマクロブロックの数が所定値よりも多ければ、符号化信号の示すプロファイルはメインプロファイルであると判断することができる。
そこで、このように単位時間内に復号化されるべきマクロブロックの数に応じてスイッチ１０３およびスイッチ１０４を制御しても、上述と同様の効果を得ることができる。
また、実施の形態１およびその変形例では、図９および図１０に示すように、ピクチャごとにアドレス処理順か否かを判別したが、スライスやシーケンスごとに判別してもよく、符号化信号に対する処理を開始するときに１度だけ判別してもよい。
（実施の形態２）
図１２は、本発明の実施の形態２における画像符号化装置２００の構成を示すブロック図である。
画像符号化装置２００は、ブロック単位で行われる符号化および復号化の順序を変更する場合であってもブロック歪みを除去することができるとともに、処理速度の低下を抑えた画像符号化装置であって、メモリ２１１と、面内予測部２１２と、減算部２１３と、スイッチ２１４と、直交変換部２１５と、量子化部２１６と、可変長符号化部２１７と、逆量子化部２１８と、逆直交変換部２１９と、加算部２２０と、デブロッキングフィルタ処理部２２２と、フレームメモリ２２３と、動き検出部２２４と、動き補償部２２５と、制御部２０１と、フレームメモリ２０２、スイッチ２０３と、スイッチ２０４と、設定部２０５とを備えている。
減算部２１３は、入力画像信号の示すマクロブロックの画像と、スイッチ２１４を介して取得される予測画像との差分を算出して、その算出結果である予測誤差を出力する。
直交変換部２１５は、減算部２１３によって算出された予測誤差を周波数成分に変換する。
量子化部２１６は、直交変換部２１５から出力される周波数成分に対して量子化を行い、その周波数成分を量子化値に圧縮符号化する。
可変長符号化部２１７は、量子化部２１６から出力される量子化値に対して可変長符号化を行い、その符号化された結果を符号化信号として出力する。
逆量子化部２１８は、量子化部２１６から出力される量子化値に対して逆量子化を行ってその量子化値を周波数成分に変換する。
逆直交変換部２１９は、逆量子化部２１８から出力される周数成分を画像データである予測誤差に変換する。
加算部２２０は、逆直交変換部２１９から出力される予測誤差と、スイッチ２１４を介して取得される予測画像とを加算することにより、復号化されたマクロブロックである再構成画像を出力する。
メモリ２１１は、加算部２２０から出力される再構成画像を蓄積する。
スイッチ２１４は、イントラモードでは面内予測部２１２を減算部２１３に接続し、インターモードでは動き補償部２２５を減算部２１３に接続する。
面内予測部２１２は、メモリ２１１に記憶されている再構成画像から、符号化対象マクロブロックに対して左にあるマクロブロック、上にあるマクロブロック、左上にあるマクロブロック、および右上にあるマクロブロックのそれぞれの再構成画像を取り出す。そして、面内予測部２１２は、それらの再構成画像を用いて符号化対象マクロブロックの予測画像を生成する。
設定部２０５は、例えばユーザによる操作や、予め規定された処理方法などに基づいて符号化条件を設定し、その符号化条件を制御部２０１に通知する。
ここで、上述の符号化条件は、例えばＨ．２６４におけるプロファイルを示す。
即ち、符号化条件がベースラインプロファイルまたはイクステンディッドプロファイルを示す場合は、その符号化条件は、逐次符号化および復号化されるマクロブロックの順序が不定順であることを示している。また、符号化条件がメインプロファイを示す場合は、その符号化条件は、逐次符号化および復号化されるマクロブロック順序がアドレス処理順であることを示している。
制御部２０１は、設定部２０５で設定された符号化条件に基づいてスイッチ２０３およびスイッチ２０４を制御する。
制御部２０１は、符号化条件がアドレス処理順を示す場合には、スイッチ２０３およびスイッチ２０４を制御して、加算部２２０とデブロッキングフィルタ処理部２２２とを直接接続させる。一方、符号化条件が不定順を示す場合には、制御部２０１は、まず、スイッチ２０３を制御して、フレームメモリ２０２を加算部２２０に接続させる。加算部２２０に接続されたフレームメモリ２０２は、加算部２２０から出力される再構成画像を逐次蓄積する。そして、制御部２０１は、フレームメモリ２０２に１ピクチャ分の全ての再構成画像が蓄積されると、スイッチ２０４を制御して、フレームメモリ２０２をデブロッキングフィルタ処理部２２２に接続させる。
デブロッキングフィルタ処理部２２２は、スイッチ２０３およびスイッチ２０４によって加算部２２０に接続されると、加算部２２０が再構成画像を出力するごとに、その再構成画像に対してデブロッキングフィルタ処理を施す。また、デブロッキングフィルタ処理部２２２は、スイッチ２０４によってフレームメモリ２０２に接続されると、フレームメモリ２０２に蓄積された１ピクチャ分の全ての再構成画像に対して、ピクチャの左上端のマクロブロックからアドレスの小さい順にデブロッキングフィルタ処理を施す。
そして、デブロッキングフィルタ処理部２２２は、デブロッキングフィルタ処理された再構成画像をフレームメモリ２２３に格納する。これにより、フレームメモリ２２３には、１ピクチャ分の再構成画像が復号画像として格納される。
なお、デブロッキングフィルタ処理部２２２は、処理対象の再構成画像（マクロブロック）に対してデブロッキングフィルタ処理を施すときには、その再構成画像の左および上にある既にデブロッキングフィルタ処理された再構成画像を、フレームメモリ２２３から取得してその取得した再構成画像を用いる。
動き検出部２２４は、インターモードのときに、フレームメモリ２２３に格納された復号画像を参照ピクチャとして参照することにより、入力画像信号の示す符号化対象マクロブロックの画像の動きを検出し、その検出結果である動きベクトルを動き補償部２２５およびフレームメモリ２２３に出力する。さらに、動き検出部９１４は、参照ピクチャが符号化対象ピクチャの前方にあること、後方にあること、または双方向にあることを示すマクロブロックの予測タイプを動きベクトルとともに出力する。
動き補償部２２５は、フレームメモリ２２３に格納された復号画像を参照ピクチャとして取得するとともに、動き検出部２２４から出力される動きベクトルを取得する。そして、動き補償部１２１は、参照ピクチャのうち動きベクトルにより示される画像領域を、符号化対象マクロブロックの予測画像として生成し、その予測画像を出力する。
このように本実施の形態における画像符号化装置２００は、符号化条件がアドレス処理順を示すときには、マクロブロックごとに、符号化処理と、復号化処理と、デブロッキングフィルタ処理とをパイプライン処理により行う。そして、符号化条件が不定順を示すときには、画像復号化装置２００は、符号化された各マクロブロックに対して復号化処理を行い、１ピクチャ分の再構成画像がフレームメモリ２０２に蓄積された後に、デブロッキングフィルタ処理を行う。
図１３は、本実施の形態における画像符号化装置２００の処理の流れを示すフローチャートである。
画像符号化装置２００は、まず、符号化条件を設定する（ステップＳ３００）。そして、画像符号化装置２００は、符号化対象ピクチャに対して、符号化条件がアドレス処理順を示しているか否かを判別する（ステップＳ３０２）。アドレス処理順を示していると判別したときには（ステップＳ３０２のＹ）、画像符号化装置２００は、符号化対象の各マクロブロックに対してアドレス処理順に符号化処理および復号化処理を行い（ステップＳ３０４）、復号化されたマクロブロック（再構成画像）に対してデブロッキングフィルタ処理を行う（ステップＳ３０６）。つまり、画像符号化装置２００は、ステップＳ３０４の符号化処理および復号化処理とステップＳ３０６のデブロッキングフィルタ処理とをパイプライン処理により行い、これらの処理を符号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ２）。
一方、符号化条件がアドレス処理順を示していない、つまり不定順を示していると判別したときには（ステップＳ３０２のＮ）、画像符号化装置２００は、所定の順序で符号化対象の各マクロブロックに対して符号化処理および復号化処理を行い（ステップＳ３０８）、復号化されたマクロブロック（再構成画像）をフレームメモリ２０２に逐次格納する（ステップＳ３１０）。このように、画像符号化装置２００は、ステップＳ３０８の符号化処理および復号化処理とステップＳ３１０の格納処理とを符号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ３）。そして、画像符号化装置２００は、フレームメモリ２０２に蓄積された１ピクチャ分の各再構成画像に対して、ピクチャの左上端の再構成画像からアドレスの小さい順に、デブロッキングフィルタ処理を行う（ステップＳ３１２）。
画像符号化装置２００は、このようなステップＳ３００〜Ｓ３１２までの処理を、符号化信号の示す全てのピクチャに対して行う（ループ１）。
（変形例１）
ここで、上記実施の形態２における第１の変形例を説明する。
上記実施の形態の画像符号化装置２００は、符号化条件のみに基づいて、符号化処理と復号化処理とデブロッキングフィルタ処理とをパイプライン処理により行うか否かを判別したが、本変形例の画像符号化装置は符号化条件とフィルタコード（disable＿deblocking＿filter＿idc）とに基づいて判別する。
本変形例に係る画像符号化装置は、符号化条件がアドレス処理順を示してる場合には、上記実施の形態と同様の処理を行うが、符号化条件が不定順を示している場合には、フィルタコードの値に応じた処理を行う。
具体的に、本変形例に係る画像符号化装置は、フィルタコードが０の場合には、上記実施の形態において符号化条件が不定順を示している場合と同様の処理を行う。つまり、画像符号化装置の制御部は、スイッチ２０３を制御することによりフレームメモリ２０２を加算部２２０に接続させて、１ピクチャ分の再構成画像をフレームメモリ２０２に蓄積させる。そして制御部は、スイッチ２０４を制御することによりフレームメモリ２０２をデブロッキングフィルタ処理部２２２に接続させる。その結果、デブロッキングフィルタ処理部２２２はフレームメモリ２０２に蓄積された再構成画像に対してデブロッキングフィルタ処理を行う。これにより、フィルタコードが０の場合には、全てのマクロブロック（再構成画像）のエッジに対してデブロッキングフィルタ処理が施される。
フィルタコードが１の場合には、本変形例に係る画像符号化装置の制御部は、スイッチ２０３とスイッチ２０４とを制御することにより、加算部２２０とデブロッキングフィルタ処理部２２２とを直接接続させる。そして、制御部は、デブロッキングフィルタ処理部２２２に対してデブロッキングフィルタ処理を禁止させる。その結果、加算部２２０から出力された再構成画像は、スイッチ２０３およびスイッチ２０４を介してデブロッキングフィルタ処理部２２２を通過し、フレームメモリ２２３に格納される。これにより、フィルタコードが１の場合には、全てのマクロブロック（再構成画像）のエッジに対してデブロッキングフィルタ処理が施されないこととなる。
フィルタコードが２の場合には、本変形例に係る画像符号化装置の制御部は、上述と同様、スイッチ２０３とスイッチ２０４とを制御することにより、加算部２２０とデブロッキングフィルタ処理部２２２とを直接接続させる。そして、制御部は、スライス境界に対するデブロッキングフィルタ処理を、デブロッキングフィルタ処理部２２２に禁止させる。その結果、デブロッキングフィルタ処理部２２２は、加算部２２０から出力されたスライス境界にある再構成画像（マクロブロック）のうち、スライス境界を除くエッジ（例えば、再構成画像の内部にある、４×４画素からなるブロックのエッジ）にデブロッキングフィルタ処理を施す。また、デブロッキングフィルタ処理部２２２は、加算部２２０から出力されたスライス境界にない再構成画像の全てのエッジ、つまり図１に示す各垂直エッジおよび水平エッジに対してデブロッキングフィルタ処理を施す。
これにより、フィルタコードが２の場合には、各マクロブロック（再構成画像）に対して、符号化処理と復号化処理とデブロッキングフィルタ処理とがパイプライン処理により施される。
図１４は、本変形例に係る画像符号化装置の処理の流れを示すフローチャートである。
本変形例に係る画像符号化装置は、まず、符号化条件を設定する（ステップＳ４００）。そして、画像符号化装置は、符号化対象ピクチャに対して、符号化条件がアドレス処理順を示しているか否かを判別する（ステップＳ４０２）。アドレス処理順を示していると判別したときには（ステップＳ４０２のＹ）、画像符号化装置は、符号化対象の各マクロブロックに対してアドレス処理順に符号化処理および復号化処理を行い（ステップＳ４０４）、復号化されたマクロブロック（再構成画像）に対してデブロッキングフィルタ処理を行う（ステップＳ４０６）。つまり、画像符号化装置は、ステップＳ４０４の符号化処理および復号化処理とステップＳ４０６のデブロッキングフィルタ処理とをパイプライン処理により行い、これらの処理を符号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ２）。
一方、符号化条件がアドレス処理順を示していない、つまり不定順を示していると判別したときには（ステップＳ４０２のＮ）、画像符号化装置は、さらに、スライスごとにフィルタコードの値が０であるか、１であるか、２であるかを判別する（ステップＳ４０８）。ここで、フィルタコードの値が０であると判別したときには、画像符号化装置は、所定の順序で符号化対象の各マクロブロックに対して符号化処理および復号化処理を行い（ステップＳ４１０）、復号化されたマクロブロック（再構成画像）をフレームメモリ２０２に逐次格納する（ステップＳ４１２）。このように、画像符号化装置は、ステップＳ４１０の符号化処理および復号化処理とステップＳ４１２の格納処理とをスライス内の全てのマクロブロックに対して繰り返し行う（ループ４）。
また、ステップＳ４０８でフィルタコードの値が１であると判別したときには、画像符号化装置は、所定の順序で符号化対象の各マクロブロックに対して符号化処理および復号化処理を行う（ステップＳ４１６）。このように、画像符号化装置は、ステップＳ４１６の符号化処理および復号化処理をスライス内の全てのマクロブロックに対して繰り返し行う（ループ５）。
また、ステップＳ４０８でフィルタコードの値が２であると判別したときには、画像符号化装置は、符号化対象のマクロブロックに対して符号化処理および復号化処理を行い（ステップＳ４１８）、そのマクロブロックがスライス境界にあるブロックか否かを判別する（ステップＳ４２０）。そして、画像符号化装置は、スライス境界にあるブロックであると判別したときには（ステップＳ４２０のＹ）、復号化されたマクロブロック（再構成画像）のスライス境界を除くエッジに対してデブロッキングフィルタ処理を施し（ステップＳ４２１）、スライス境界にあるブロックでないと判別したときには（ステップＳ４２０のＮ）、復号化されたマクロブロック（再構成画像）の全てのエッジに対してデブロッキングフィルタ処理を施す（ステップＳ４２２）。つまり、画像符号化装置は、ステップＳ４１８の符号化処理および復号化処理とステップＳ４２１，Ｓ４２２のデブロッキングフィルタ処理とをパイプライン処理により行う。このように、画像符号化装置は、ステップＳ４１８〜Ｓ４２２の処理を、スライス内の全てのマクロブロックに対して繰り返し行う（ループ６）。
画像符号化装置は、このようなステップＳ４０８〜Ｓ４２２までの処理を、符号化対象ピクチャに含まれる全てのスライスに対して行い（ループ３）、ステップＳ４１２でフレームメモリ２０２に格納された各再構成画像に対してアドレスの小さい順にデブロッキングフィルタ処理を行なう（ステップＳ４２４）。そして、画像符号化装置は、このようなステップＳ４００〜Ｓ４２４までの処理を、入力画像信号の示す全てのピクチャに対して行う（ループ１）。
なお、上述では画像復号化装置は、スライスごとにフィルタコードの値を判別したが、ピクチャごとにフィルタコードの値を判別してもよい。
図１５は、ピクチャごとにフィルタコードの値を判別する画像符号化装置の処理の流れを示すフローチャートである。
画像符号化装置は、まず、符号化条件を設定する（ステップＳ４５０）。そして、画像符号化装置は、符号化対象ピクチャに対して、符号化条件がアドレス処理順を示しているか否かを判別する（ステップＳ４５２）。アドレス処理順を示していると判別したときには（ステップＳ４５２のＹ）、画像符号化装置は、符号化対象の各マクロブロックに対してアドレス処理順に符号化処理および復号化処理を行い（ステップＳ４５４）、復号化されたマクロブロック（再構成画像）に対してデブロッキングフィルタ処理を行う（ステップＳ４５６）。つまり、画像符号化装置は、ステップＳ４５４の符号化処理および復号化処理とステップＳ４５６のデブロッキングフィルタ処理とをパイプライン処理により行い、これらの処理を符号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ２）。
一方、符号化条件がアドレス処理順を示していない、つまり不定順を示していると判別したときには（ステップＳ４５２のＮ）、画像符号化装置は、さらに、フィルタコードの値が０であるか、１であるか、２であるかを判別する（ステップＳ４５８）。ここで、フィルタコードの値が０であると判別したときには、画像符号化装置は、所定の順序で符号化対象の各マクロブロックに対して符号化処理および復号化処理を行い（ステップＳ４６０）、復号化されたマクロブロック（再構成画像）をフレームメモリ２０２に逐次格納する（ステップＳ４６２）。このように、画像符号化装置は、ステップＳ４６０の符号化処理および復号化処理とステップＳ４６２の格納処理とを符号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ３）。そして、画像符号化装置は、フレームメモリ２０２に蓄積された１ピクチャ分の各再構成画像に対して、ピクチャの左上端の再構成画像からアドレスの小さい順に、デブロッキングフィルタ処理を行う（ステップＳ４６４）。
また、ステップＳ４５８でフィルタコードの値が１であると判別したときには、画像符号化装置は、所定の順序で符号化対象の各マクロブロックに対して符号化処理および復号化処理を行う（ステップＳ４６６）。このように、画像符号化装置は、ステップＳ４６６の符号化処理および復号化処理を符号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ４）。
また、ステップＳ４５８でフィルタコードの値が２であると判別したときには、画像符号化装置は、符号化対象のマクロブロックに対して符号化処理および復号化処理を行い（ステップＳ４１８）、そのマクロブロックがスライス境界にあるブロックか否かを判別する（ステップＳ４７０）。そして、画像符号化装置は、スライス境界にあるブロックであると判別したときには（ステップＳ４７０のＹ）、復号化されたマクロブロック（再構成画像）のスライス境界を除くエッジに対してデブロッキングフィルタ処理を施し（ステップＳ４７１）、スライス境界にあるブロックでないと判別したときには（ステップＳ４７０のＮ）、復号化されたマクロブロック（再構成画像）の全てのエッジに対してデブロッキングフィルタ処理を施す（ステップＳ４７２）。つまり、画像符号化装置は、ステップＳ４６８の符号化処理および復号化処理とステップＳ４７１，Ｓ４７２のデブロッキングフィルタ処理とをパイプライン処理により行う。このように、画像符号化装置は、ステップＳ４６８〜Ｓ４７２の処理を、符号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ５）。
画像符号化装置は、このようなステップＳ４５０〜Ｓ４７２までの処理を、入力画像信号の示す全てのピクチャに対して行う（ループ１）。
このように、画像符号化装置は、フィルタコードがピクチャ単位で固定され、スライス単位で変更されないことが明らかな場合には、スライスごとにフィルタコードの値を判別せずに処理を行なう。
（変形例２）
ここで、上記実施の形態２における第２の変形例を説明する。
上記実施の形態の画像符号化装置２００は、図１２のステップＳ３０２に示すように、符号化対象ピクチャごとにアドレス処理順であるか否かを判別したが、本変形例の画像符号化装置は符号化対象ピクチャごとに判別せずに、全ての符号化対象ピクチャに対して１度だけアドレス処理順であるか否かを判別する。
図１６は、本変形例に係る画像符号化装置の処理の流れを示すフローチャートである。
画像符号化装置は、まず、符号化条件を設定する（ステップＳ５００）。そして、画像符号化装置は、符号化条件がアドレス処理順を示しているか否かを判別する（ステップＳ５０２）。アドレス処理順を示していると判別したときには（ステップＳ５０２のＹ）、画像符号化装置は、符号化対象ピクチャに含まれる各マクロブロックに対してアドレス処理順に符号化処理および復号化処理を行い（ステップＳ５０４）、復号化されたマクロブロック（再構成画像）に対してデブロッキングフィルタ処理を行う（ステップＳ５０６）。画像符号化装置は、このようなステップＳ５０４の処理とステップＳ５０６の処理とを符号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ２）。さらに、画像符号化装置は、これらの処理を入力画像信号の示す全てのピクチャに対して繰り返し行う（ループ１）。
一方、符号化条件がアドレス処理順を示していない、つまり不定順を示していると判別したときには（ステップＳ５０２のＮ）、画像符号化装置は、所定の順序で符号化対象の各マクロブロックに対して符号化処理および復号化処理を行い（ステップＳ５０８）、復号化されたマクロブロック（再構成画像）をフレームメモリ２０２に逐次格納する（ステップＳ５１０）。このように、画像符号化装置は、ステップＳ５０８の処理とステップＳ５１０の処理とを符号化対象ピクチャの全てのマクロブロックに対して繰り返し行う（ループ４）。そして、画像符号化装置は、フレームメモリ２０２に蓄積された１ピクチャ分の各再構成画像に対して、ピクチャの左上端の再構成画像からアドレスの小さい順に、デブロッキングフィルタ処理を行う（ステップＳ５１２）。画像符号化装置は、このようなステップＳ５０８〜Ｓ５１２までの処理を、入力画像信号の示す全てのピクチャに対して繰り返し行う（ループ３）。
なお、実施の形態２およびその変形例の画像符号化装置は、実施の形態１およびその変形例の画像復号化装置の機能を含むものであるから、実施の形態１およびその変形例において説明した各事項は、全て実施の形態２およびその変形例にも適合する。
例えば、実施の形態２およびその変形例では、デブロッキングフィルタ処理前の再構成画像を格納するフレームメモリ２０２と、デブロッキングフィルタ処理後の再構成画像を格納するフレームメモリ２２３とを設けたが、この２つのメモリを１つのフレームメモリで構成してもよい。
（実施の形態３）
さらに、上記実施の形態１および実施の形態２で示した画像復号化装置または画像符号化装置を実現するためのプログラムを、フレキシブルディスク等の記憶媒体に記録するようにすることにより、上記実施の形態１および実施の形態２で示した処理を、独立したコンピュータシステムにおいて簡単に実施することが可能となる。
図１７Ａ〜図１７Ｃは、上記実施の形態１および実施の形態２の画像復号化装置または画像符号化装置を実現するためのプログラムを格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図である。
図１７Ｂは、フレキシブルディスクのケース正面からみた外観、断面構造、及びフレキシブルディスクを示し、図１７Ａは、記録媒体本体であるフレキシブルディスクの物理フォーマットの例を示している。フレキシブルディスクＦＤはケースＦ内に内蔵され、該ディスクの表面には、同心円状に外周からは内周に向かって複数のトラックＴｒが形成され、各トラックは角度方向に１６のセクタＳｅに分割されている。従って、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスクＦＤ上に割り当てられた領域に、上記プログラムとしての画像復号化方法や画像符号化方法が記録されている。
また、図１７Ｃは、フレキシブルディスクＦＤに上記プログラムの記録再生を行うための構成を示す。上記プログラムをフレキシブルディスクＦＤに記録する場合は、コンピュータシステムＣｓから上記プログラムとしての画像復号化方法または画像符号化方法をフレキシブルディスクドライブを介して書き込む。また、フレキシブルディスク内のプログラムにより上記画像復号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによりプログラムをフレキシブルディスクから読み出し、コンピュータシステムに転送する。
なお、上記説明では、記録媒体としてフレキシブルディスクを用いて説明を行ったが、光ディスクを用いても同様に行うことができる。また、記録媒体はこれに限らず、ＩＣカード、ＲＯＭカセット等、プログラムを記録できるものであれば同様に実施することができる。
（実施の形態４）
さらにここで、上記実施の形態で示した画像復号化装置や画像符号化装置の応用例とそれを用いたシステムを説明する。
図１８は、コンテンツ配信サービスを実現するコンテンツ供給システムex１００の全体構成を示すブロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ex１０７〜ex１１０が設置されている。
このコンテンツ供給システムex１００は、例えば、インターネットex１０１にインターネットサービスプロバイダex１０２および電話網ex１０４、および基地局ex１０７〜ex１１０を介して、コンピュータex１１１、ＰＤＡ（personal digital assistant）ex１１２、カメラex１１３、携帯電話ex１１４、カメラ付きの携帯電話ｅｘ１１５などの各機器が接続される。
しかし、コンテンツ供給システムex１００は図１８のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局ex１０７〜ex１１０を介さずに、各機器が電話網ex１０４に直接接続されてもよい。
カメラex１１３はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、ＰＤＣ（Personal Digital Communications）方式、ＣＤＭＡ（Code Division Multiple Access）方式、Ｗ−ＣＤＭＡ（Wideband-Code Division Multiple Access）方式、若しくはＧＳＭ（Global System for Mobile Communications）方式の携帯電話機、またはＰＨＳ（Personal Handyphone System）等であり、いずれでも構わない。
また、ストリーミングサーバex１０３は、カメラex１１３から基地局ex１０９、電話網ex１０４を通じて接続されており、カメラex１１３を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラex１１３で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラex１１６で撮影した動画データはコンピュータex１１１を介してストリーミングサーバex１０３に送信されてもよい。カメラex１１６はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラex１１６で行ってもコンピュータex１１１で行ってもどちらでもよい。また、符号化処理はコンピュータex１１１やカメラex１１６が有するＬＳＩex１１７において処理することになる。なお、画像符号化・復号化用のソフトウェアをコンピュータex１１１等で読み取り可能な記録媒体である何らかの蓄積メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話ex１１５で動画データを送信してもよい。このときの動画データは携帯電話ex１１５が有するＬＳＩで符号化処理されたデータである。
このコンテンツ供給システムex１００では、ユーザがカメラex１１３、カメラex１１６等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリーミングサーバex１０３に送信する一方で、ストリーミングサーバex１０３は要求のあったクライアントに対して上記コンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータex１１１、ＰＤＡex１１２、カメラex１１３、携帯電話ex１１４等がある。このようにすることでコンテンツ供給システムex１００は、符号化されたデータをクライアントにおいて受信して再生することができ、さらにクライアントにおいてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。
このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した画像符号化装置あるいは画像復号化装置を用いるようにすればよい。
その一例として携帯電話について説明する。
図１９は、上記実施の形態で説明した画像符号化装置と画像復号化装置を用いた携帯電話ex１１５を示す図である。携帯電話ex１１５は、基地局ex１１０との間で電波を送受信するためのアンテナex２０１、ＣＣＤカメラ等の映像、静止画を撮ることが可能なカメラ部ex２０３、カメラ部ex２０３で撮影した映像、アンテナex２０１で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部ex２０２、操作キーｅｘ２０４群から構成される本体部、音声出力をするためのスピーカ等の音声出力部ex２０８、音声入力をするためのマイク等の音声入力部ex２０５、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディアex２０７、携帯電話ex１１５に記録メディアex２０７を装着可能とするためのスロット部ex２０６を有している。記録メディアex２０７はＳＤカード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリであるＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）の一種であるフラッシュメモリ素子を格納したものである。
さらに、携帯電話ex１１５について図２０を用いて説明する。携帯電話ex１１５は表示部ex２０２及び操作キーｅｘ２０４を備えた本体部の各部を統括的に制御するようになされた主制御部ex３１１に対して、電源回路部ex３１０、操作入力制御部ex３０４、画像符号化部ex３１２、カメラインターフェース部ex３０３、ＬＣＤ（Liquid Crystal Display）制御部ex３０２、画像復号化部ex３０９、多重分離部ex３０８、記録再生部ex３０７、変復調回路部ex３０６及び音声処理部ex３０５が同期バスex３１３を介して互いに接続されている。
電源回路部ex３１０は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによりカメラ付ディジタル携帯電話ex１１５を動作可能な状態に起動する。
携帯電話ex１１５は、ＣＰＵ、ＲＯＭ及びＲＡＭ等でなる主制御部ex３１１の制御に基づいて、音声通話モード時に音声入力部ex２０５で集音した音声信号を音声処理部ex３０５によってディジタル音声データに変換し、これを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。また携帯電話機ex１１５は、音声通話モード時にアンテナex２０１で受信した受信データを増幅して周波数変換処理及びアナログディジタル変換処理を施し、変復調回路部ex３０６でスペクトラム逆拡散処理し、音声処理部ex３０５によってアナログ音声データに変換した後、これを音声出力部ex２０８を介して出力する。
さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キーｅｘ２０４の操作によって入力された電子メールのテキストデータは操作入力制御部ex３０４を介して主制御部ex３１１に送出される。主制御部ex３１１は、テキストデータを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して基地局ex１１０へ送信する。
データ通信モード時に画像データを送信する場合、カメラ部ex２０３で撮像された画像データをカメラインターフェース部ex３０３を介して画像符号化部ex３１２に供給する。また、画像データを送信しない場合には、カメラ部ex２０３で撮像した画像データをカメラインターフェース部ex３０３及びＬＣＤ制御部ex３０２を介して表示部ex２０２に直接表示することも可能である。
画像符号化部ex３１２は、本願発明で説明した画像符号化装置を備えた構成であり、カメラ部ex２０３から供給された画像データを上記実施の形態で示した画像符号化装置に用いた符号化方法によって圧縮符号化することにより符号化画像データに変換し、これを多重分離部ex３０８に送出する。また、このとき同時に携帯電話機ex１１５は、カメラ部ex２０３で撮像中に音声入力部ex２０５で集音した音声を音声処理部ex３０５を介してディジタルの音声データとして多重分離部ex３０８に送出する。
多重分離部ex３０８は、画像符号化部ex３１２から供給された符号化画像データと音声処理部ex３０５から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部ex３０６でスペクトラム拡散処理し、送受信回路部ex３０１でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナex２０１を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイルのデータを受信する場合、アンテナex２０１を介して基地局ex１１０から受信した受信データを変復調回路部ex３０６でスペクトラム逆拡散処理し、その結果得られる多重化データを多重分離部ex３０８に送出する。
また、アンテナex２０１を介して受信された多重化データを復号化するには、多重分離部ex３０８は、多重化データを分離することにより画像データのビットストリームと音声データのビットストリームとに分け、同期バスex３１３を介して当該符号化画像データを画像復号化部ex３０９に供給すると共に当該音声データを音声処理部ex３０５に供給する。
次に、画像復号化部ex３０９は、本願発明で説明した画像復号化装置を備えた構成であり、画像データのビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号化することにより再生動画像データを生成し、これをＬＣＤ制御部ex３０２を介して表示部ex２０２に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部ex３０５は、音声データをアナログ音声データに変換した後、これを音声出力部ex２０８に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。
なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図２１に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局ex４０９では映像情報のビットストリームが電波を介して通信または放送衛星ex４１０に伝送される。これを受けた放送衛星ex４１０は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナex４０６で受信し、テレビ（受信機）ex４０１またはセットトップボックス（ＳＴＢ）ex４０７などの装置によりビットストリームを復号化してこれを再生する。また、記録媒体であるCDやDVD等の蓄積メディアex４０２に記録したビットストリームを読み取り、復号化する再生装置ex４０３にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタex４０４に表示される。また、ケーブルテレビ用のケーブルex４０５または衛星／地上波放送のアンテナex４０６に接続されたセットトップボックスex４０７内に画像復号化装置を実装し、これをテレビのモニタex４０８で再生する構成も考えられる。このときセットトップボックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナex４１１を有する車ex４１２で衛星ex４１０からまたは基地局ex１０７等から信号を受信し、車ex４１２が有するカーナビゲーションex４１３等の表示装置に動画を再生することも可能である。
更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、DVDディスクｅｘ４２１に画像信号を記録するDVDレコーダや、ハードディスクに記録するディスクレコーダなどのレコーダｅx４２０がある。更にSDカードｅｘ４２２に記録することもできる。レコーダｅｘ４２０が上記実施の形態で示した画像復号化装置を備えていれば、DVDディスクｅｘ４２１やSDカードｅｘ４２２に記録した画像信号を再生し、モニタｅｘ４０８で表示することができる。
なお、カーナビゲーションex４１３の構成は例えば図２０に示す構成のうち、カメラ部ex２０３とカメラインターフェース部ex３０３、画像符号化部ｅｘ３１２を除いた構成が考えられ、同様なことがコンピュータex１１１やテレビ（受信機）ex４０１等でも考えられる。
また、上記携帯電話ex１１４等の端末は、符号化器・復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の３通りの実装形式が考えられる。
このように、上記実施の形態で示した画像符号化装置あるいは画像復号化装置を上述したいずれの機器・システムに用いることは可能であり、そうすることで、上記実施の形態で説明した効果を得ることができる。
また、本発明はかかる上記実施形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
なお、ブロック図（図８および図１２）の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
また、各機能ブロックのうち、符号化または復号化の対象となるデータを格納する手段だけ１チップ化せずに別構成としても良い。
本発明の画像復号化装置および画像符号化装置は、各ブロックの復号化の順序を変更する場合であってもブロック歪みを除去することができるとともに処理速度の低下を抑えることができるという効果を奏し、例えば携帯電話、ＤＶＤ（Digital Versatile Disk）装置、およびパーソナルコンピュータ等に適用することができる。
図１は、デブロッキングフィルタ処理が施される部位を説明するための説明図である。 図２は、フィルタ強度の算出、閾値の算出、およびフィルタ処理を説明するための説明図である。 図３Ａは、スライスグループの説明図である。 図３Ｂは、他のスライスグループの説明図である。 図３Ｃは、さらに他のスライスグループの説明図である。 図３Ｄは、スライスグループに含まれるスライスを示す図である。 図４は、パイプライン処理を説明するための説明図である。 図５は、Ｈ．２６４のarbitrary slice orderに対応した画像復号化装置の構成を示すブロック図である。 図６は、同上の画像復号化装置の処理の流れを示すフローチャートである。 図７は、Ｈ．２６４のarbitrary slice orderに対応した画像符号化装置の構成を示すブロック図である。 図８は、本発明の実施の形態１における画像復号化装置の構成を示すブロック図である。 図９は、同上の画像復号化装置の処理の流れを示すフローチャートである。 図１０は、同上の変形例に係る画像復号化装置の処理の流れを示すフローチャートである。 図１１は、ピクチャごとにフィルタコードの値を判別する画像復号化装置の処理の流れを示すフローチャートである。 図１２は、本発明の実施の形態２における画像符号化装置の構成を示すブロック図である。 図１３は、同上の画像符号化装置の処理の流れを示すフローチャートである。 図１４は、同上の変形例１に係る画像符号化装置の処理の流れを示すフローチャートである。 図１５は、ピクチャごとにフィルタコードの値を判別する画像符号化装置の処理の流れを示すフローチャートである。 図１６は、本発明の実施の形態２の変形例２に係る画像符号化装置の処理の流れを示すフローチャートである。 図１７Ａは、本発明の画像復号化装置および画像符号化装置をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての説明図である。（実施の形態３） 図１７Ｂは、本発明の画像符号化方法および画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についての他の説明図である。（実施の形態３） 図１７Ｃは、本発明の画像符号化方法および画像復号化方法をコンピュータシステムにより実現するためのプログラムを格納するための記録媒体についてのさらに他の説明図である。（実施の形態３） 図１８は、本発明の実施の形態４におけるコンテンツ配信サービスを実現するコンテンツ供給システムの全体構成を示すブロック図である。 図１９は、同上の画像符号化装置と画像復号化装置を用いた携帯電話を示す図である。 図２０は、同上の携帯電話のブロック図である。 図２１は、同上のディジタル放送用システムの例を示す図である。
符号の説明
１００ 画像復号化装置
１０１ 制御部
１０２，１２０ フレームメモリ
１０３，１０４，１１７ スイッチ
１１１ 可変長復号化部
１１２ 逆量子化部
１１３ 逆直交変換部
１１４ メモリ
１１５ 面内予測部
１１６ 加算部
１１９ デブロッキングフィルタ処理部
１２０ フレームメモリ
１２１ 動き補償部
２００ 画像符号化装置
２０１ 制御部
２０２，２２３ フレームメモリ
２０３，２０４，２１４ スイッチ
２０５ 設定部
２１１ メモリ
２１２ 面内予測部
２１３ 減算部
２１５ 直交変換部
２１６ 量子化部
２１７ 可変長符号化部
２１８ 逆量子化部
２１９ 逆直交変換部
２２０ 加算部
２２２ デブロッキングフィルタ処理部
２２４ 動き検出部
２２５ 動き補償部

Claims (20)

  1. 符号化されたピクチャをブロック単位で復号化する画像復号化装置であって、
    符号化されたピクチャを構成する各ブロックを順次復号化する復号化手段と、
    前記復号化手段により復号化された各ブロックを記憶するための記憶手段と、
    前記復号化手段により復号化された各ブロックに対してフィルタ処理を施すフィルタ手段と、
    前記復号化手段でブロックが復号化されるごとに復号化された前記ブロックを前記記憶手段に記憶させるとともに、前記記憶手段に記憶されているブロックに対して前記フィルタ手段にフィルタ処理を実行させる第１の実行手段と、
    前記復号化手段でブロックが復号化されるごとに復号化された前記ブロックに対して前記フィルタ手段にフィルタ処理を実行させる第２の実行手段と、
    前記第１の実行手段による動作と前記第２の実行手段による動作とを切り換える切換制御手段と
    を備えることを特徴とする画像復号化装置。
  2. 前記切換制御手段は、
    前記復号化手段により順次復号化される各ブロックの順序に応じて前記第１の実行手段による動作と前記第２の実行手段による動作とを切り換える
    ことを特徴とする請求項１記載の画像復号化装置。
  3. 前記切換制御手段は、
    前記復号化手段により順次復号化される各ブロックの順序が、前記ピクチャの端にあるブロックから連続的に復号化されるような規定順序であるときには、前記第１の実行手段による動作を禁止させて前記第２の実行手段による動作を実行させ、
    前記復号化手段より順次復号化される各ブロックの順序が、前記規定順序でないときには、前記第２の実行手段による動作を禁止させて前記第１の実行手段による動作を実行させる
    ことを特徴とする請求項２記載の画像復号化装置。
  4. 前記切換制御手段は、
    前記復号化手段によって単位時間内に復号化されるべきブロックの数に応じて前記第１の実行手段による動作と前記第２の実行手段による動作とを切り換える
    ことを特徴とする請求項１記載の画像復号化装置。
  5. 前記切換制御手段は、
    前記復号化手段によって単位時間内に復号化されるべきブロックの数が所定値よりも多いときには、前記第１の実行手段による動作を禁止させて前記第２の実行手段による動作を実行させ、
    前記ブロックの数が前記所定値以下のときには、前記第２の実行手段による動作を禁止させて前記第１の実行手段による動作を実行させる
    ことを特徴とする請求項４記載の画像復号化装置。
  6. 前記切換制御手段は、
    前記復号化手段により順次復号化される各ブロックの順序が、前記ピクチャの端にあるブロックから連続的に復号化されるような規定順序でないときには、前記フィルタ処理の対象となる前記各ブロックの部位を示すフィルタ情報に基づいて、前記第１の実行手段による動作と前記第２の実行手段による動作とを切り換える
    ことを特徴とする請求項２記載の画像復号化装置。
  7. 前記切換制御手段は、
    前記符号化されたピクチャを複数含んで構成される符号化信号の種別に応じて前記第１の実行手段による動作と前記第２の実行手段による動作とを切り換える
    ことを特徴とする請求項１記載の画像復号化装置。
  8. 前記切換制御手段は、
    前記符号化信号の種別に基づいて、前記ピクチャの端にあるブロックから各ブロックが連続的に復号化されるべきであると判断したときには、前記第１の実行手段による動作を禁止させて前記第２の実行手段による動作を実行させ、
    前記判断が不可能なときには、前記第２の実行手段による動作を禁止させて前記第１の実行手段による動作を実行させる
    ことを特徴とする請求項７記載の画像復号化装置。
  9. 前記切換制御手段は、
    前記ピクチャの端にあるブロックから各ブロックが連続的に復号化されるべきであるか否かを示す外部信号を取得し、
    前記外部信号が連続的に復号化されるべきであることを示すときには、前記第１の実行手段による動作を禁止させて前記第２の実行手段による動作を実行させ、
    前記外部信号が連続的に復号化されるべきでないことを示すときには、前記第２の実行手段による動作を禁止させて前記第１の実行手段による動作を実行させる
    ことを特徴とする請求項１記載の画像復号化装置。
  10. ピクチャをブロック単位で符号化する画像符号化装置であって、
    ピクチャを構成する各ブロックを順次符号化する符号化手段と、
    前記符号化手段によってブロックが符号化されるごとに、符号化されたブロックを順次復号化する復号化手段と、
    前記復号化手段により復号化された各ブロックを記憶するための記憶手段と、
    前記復号化手段により復号化された各ブロックに対してフィルタ処理を施すフィルタ手段と、
    前記復号化手段でブロックが復号化されるごとに復号化された前記ブロックを前記記憶手段に記憶させるとともに、前記記憶手段に記憶されているブロックに対して前記フィルタ手段にフィルタ処理を実行させる第１の実行手段と、
    前記復号化手段でブロックが復号化されるごとに復号化された前記ブロックに対して前記フィルタ手段にフィルタ処理を実行させる第２の実行手段と、
    前記第１の実行手段による動作と前記第２の実行手段による動作とを切り換える切換制御手段と
    を備えることを特徴とする画像符号化装置。
  11. 前記切換制御手段は、
    前記復号化手段により順次復号化される各ブロックの順序に応じて前記第１の実行手段による動作と前記第２の実行手段による動作とを切り換える
    ことを特徴とする請求項１０記載の画像符号化装置。
  12. 前記切換制御手段は、
    前記復号化手段により順次復号化される各ブロックの順序が、前記ピクチャの端にあるブロックから連続的に復号化されるような規定順序であるときには、前記第１の実行手段による動作を禁止させて前記第２の実行手段による動作を実行させ、
    前記復号化手段より順次復号化される各ブロックの順序が、前記規定順序でないときには、前記第２の実行手段による動作を禁止させて前記第１の実行手段による動作を実行させる
    ことを特徴とする請求項１１記載の画像符号化装置。
  13. 前記切換制御手段は、
    前記符号化手段および前記復号化手段によって単位時間内に符号化および復号化されるべきブロックの数に応じて前記第１の実行手段による動作と前記第２の実行手段による動作とを切り換える
    ことを特徴とする請求項１０記載の画像符号化装置。
  14. 前記切換制御手段は、
    前記復号化手段により順次復号化される各ブロックの順序が、前記ピクチャの端にあるブロックから連続的に復号化されるような規定順序でないときには、前記フィルタ処理の対象となる前記各ブロックの部位を示すフィルタ情報に基づいて、前記第１の実行手段による動作と前記第２の実行手段による動作とを切り換える
    ことを特徴とする請求項１１記載の画像符号化装置。
  15. 前記切換制御手段は、
    前記符号化手段による符号化の手法に応じて前記第１の実行手段による動作と前記第２の実行手段による動作とを切り換える
    ことを特徴とする請求項１０記載の画像符号化装置。
  16. 前記切換制御手段は、
    前記符号化の手法に基づいて、前記ピクチャの端にあるブロックから各ブロックが連続的に復号化されるべきであると判断したときには、前記第１の実行手段による動作を禁止させて前記第２の実行手段による動作を実行させ、
    前記判断が不可能なときには、前記第２の実行手段による動作を禁止させて前記第１の実行手段による動作を実行させる
    ことを特徴とする請求項１５記載の画像符号化装置。
  17. 符号化されたピクチャをブロック単位で復号化する画像復号化方法であって、
    符号化されたピクチャを構成する各ブロックを順次復号化する復号化ステップと、
    前記復号化ステップでブロックが復号化されるごとに復号化された前記ブロックを記憶媒体に格納させるとともに、前記記憶手段に格納されているブロックに対してフィルタ処理を施す第１の処理ステップと、
    前記復号化ステップでブロックが復号化されるごとに復号化された前記ブロックに対してフィルタ処理を施す第２の処理ステップと、
    前記第１の処理ステップによる動作と前記第２の処理ステップによる動作とを切り換える切換制御ステップと
    を含むことを特徴とする画像復号化方法。
  18. ピクチャをブロック単位で符号化する画像復号化方法であって、
    ピクチャを構成する各ブロックを順次符号化する符号化ステップと、
    前記符号化ステップによってブロックが符号化されるごとに、符号化されたブロックを順次復号化する復号化ステップと、
    前記復号化ステップでブロックが復号化されるごとに復号化された前記ブロックを記憶媒体に格納させるとともに、前記記憶手段に格納されているブロックに対してフィルタ処理を施す第１の処理ステップと、
    前記復号化ステップでブロックが復号化されるごとに復号化された前記ブロックに対してフィルタ処理を施す第２の処理ステップと、
    前記第１の処理ステップによる動作と前記第２の処理ステップによる動作とを切り換える切換制御ステップと
    を含むことを特徴とする画像符号化方法。
  19. 符号化されたピクチャをブロック単位で復号化する集積回路であって、
    符号化されたピクチャを構成する各ブロックを順次復号化する復号化手段と、
    前記復号化手段により復号化された各ブロックを記憶するための記憶手段と、
    前記復号化手段により復号化された各ブロックに対してフィルタ処理を施すフィルタ手段と、
    前記復号化手段でブロックが復号化されるごとに復号化された前記ブロックを前記記憶手段に記憶させるとともに、前記記憶手段に記憶されているブロックに対して前記フィルタ手段にフィルタ処理を実行させる第１の実行手段と、
    前記復号化手段でブロックが復号化されるごとに復号化された前記ブロックに対して前記フィルタ手段にフィルタ処理を実行させる第２の実行手段と、
    前記第１の実行手段による動作と前記第２の実行手段による動作とを切り換える切換制御手段と
    を備えることを特徴とする集積回路。
  20. ピクチャをブロック単位で符号化する集積回路であって、
    ピクチャを構成する各ブロックを順次符号化する符号化手段と、
    前記符号化手段によってブロックが符号化されるごとに、符号化されたブロックを順次復号化する復号化手段と、
    前記復号化手段により復号化された各ブロックを記憶するための記憶手段と、
    前記復号化手段により復号化された各ブロックに対してフィルタ処理を施すフィルタ手段と、
    前記復号化手段でブロックが復号化されるごとに復号化された前記ブロックを前記記憶手段に記憶させるとともに、前記記憶手段に記憶されているブロックに対して前記フィルタ手段にフィルタ処理を実行させる第１の実行手段と、
    前記復号化手段でブロックが復号化されるごとに復号化された前記ブロックに対して前記フィルタ手段にフィルタ処理を実行させる第２の実行手段と、
    前記第１の実行手段による動作と前記第２の実行手段による動作とを切り換える切換制御手段と
    を備えることを特徴とする集積回路。
JP2006531488A 2004-08-05 2005-08-02 画像復号化装置および画像符号化装置 Pending JPWO2006013854A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2004229932 2004-08-05
JP2004229932 2004-08-05
PCT/JP2005/014112 WO2006013854A1 (ja) 2004-08-05 2005-08-02 画像復号化装置および画像符号化装置

Publications (1)

Publication Number Publication Date
JPWO2006013854A1 true JPWO2006013854A1 (ja) 2008-05-01

Family

ID=35787138

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006531488A Pending JPWO2006013854A1 (ja) 2004-08-05 2005-08-02 画像復号化装置および画像符号化装置

Country Status (5)

Country Link
US (1) US20070183508A1 (ja)
EP (1) EP1777965A1 (ja)
JP (1) JPWO2006013854A1 (ja)
CN (1) CN1922885A (ja)
WO (1) WO2006013854A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5266202B2 (ja) * 2006-03-28 2013-08-21 サムスン エレクトロニクス カンパニー リミテッド 画像符号化／復号化方法及び装置
JP4847222B2 (ja) * 2006-06-12 2011-12-28 日本電信電話株式会社 動画像のフィルタ処理方法，装置，フィルタ処理プログラムおよびその記録媒体
JP5232854B2 (ja) * 2007-04-26 2013-07-10 ポリコム，インク． デブロッキング・フィルタ配列
TWI330987B (en) * 2007-05-18 2010-09-21 Via Tech Inc Method and apparatus for determining whether adjacent macroblocks are located in the same slice
JP4710887B2 (ja) * 2007-08-09 2011-06-29 ソニー株式会社 画像処理装置、及び、画像処理装置の制御方法
US8542748B2 (en) 2008-03-28 2013-09-24 Sharp Laboratories Of America, Inc. Methods and systems for parallel video encoding and decoding
US8897583B2 (en) * 2008-05-23 2014-11-25 Panasonic Corporation Image decoding apparatus for decoding a target block by referencing information of an already decoded block in a neighborhood of the target block
US9042457B2 (en) * 2008-06-10 2015-05-26 Panasonic Intellectual Property Management Co., Ltd. Image decoding apparatus and image coding apparatus wth parallel decoding
US8325796B2 (en) * 2008-09-11 2012-12-04 Google Inc. System and method for video coding using adaptive segmentation
US8867605B2 (en) * 2008-10-14 2014-10-21 Nvidia Corporation Second deblocker in a decoding pipeline
US8861586B2 (en) 2008-10-14 2014-10-14 Nvidia Corporation Adaptive deblocking in a decoding pipeline
US8724694B2 (en) 2008-10-14 2014-05-13 Nvidia Corporation On-the spot deblocker in a decoding pipeline
US9179166B2 (en) 2008-12-05 2015-11-03 Nvidia Corporation Multi-protocol deblock engine core system and method
US8761538B2 (en) 2008-12-10 2014-06-24 Nvidia Corporation Measurement-based and scalable deblock filtering of image data
KR101118091B1 (ko) * 2009-06-04 2012-03-09 주식회사 코아로직 비디오 데이터 처리 장치 및 방법
JP5344238B2 (ja) * 2009-07-31 2013-11-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
US9241167B2 (en) * 2012-02-17 2016-01-19 Microsoft Technology Licensing, Llc Metadata assisted video decoding
CN107734344B (zh) * 2012-06-22 2021-06-29 威勒斯媒体国际有限公司 图像编码方法及图像编码设备
JP6490896B2 (ja) * 2013-12-17 2019-03-27 株式会社メガチップス 画像処理装置
JP2016126037A (ja) * 2014-12-26 2016-07-11 ソニー株式会社 信号処理装置、および信号処理方法、並びにプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0984005A (ja) * 1995-09-14 1997-03-28 Mitsubishi Electric Corp 画像伸張装置
JP2001275110A (ja) * 2000-03-24 2001-10-05 Matsushita Electric Ind Co Ltd 動的なループ及びポストフィルタリングのための方法及び装置
JP2003304538A (ja) * 2002-04-11 2003-10-24 Matsushita Electric Ind Co Ltd 画像符号化装置、画像復号化装置及びそれらの方法
KR100747958B1 (ko) * 2001-09-18 2007-08-08 마쯔시다덴기산교 가부시키가이샤 화상 부호화 방법 및 화상 복호화 방법
US7391812B2 (en) * 2002-07-14 2008-06-24 Apple Inc. Adaptively post filtering encoded video
US7738563B2 (en) * 2004-07-08 2010-06-15 Freescale Semiconductor, Inc. Method and system for performing deblocking filtering

Also Published As

Publication number Publication date
US20070183508A1 (en) 2007-08-09
EP1777965A1 (en) 2007-04-25
WO2006013854A1 (ja) 2006-02-09
CN1922885A (zh) 2007-02-28

Similar Documents

Publication Publication Date Title
JPWO2006013854A1 (ja) 画像復号化装置および画像符号化装置
JP5755364B2 (ja) 画像復号化装置
JP4439890B2 (ja) 画像復号化方法、装置およびプログラム
CA2448064C (en) Filtering strength determination method, moving picture coding method and moving picture decoding method
JP4709143B2 (ja) 動き補償装置、画面間予測符号化装置、画面間予測復号化装置、動き補償方法、および集積回路
JP2006074777A (ja) 動画像符号化方法および動画像復号方法
JP4313710B2 (ja) 画像符号化方法および画像復号化方法
JP2004048711A (ja) 動画像の符号化方法および復号化方法およびデータ記録媒体
JP4641995B2 (ja) 画像符号化方法および画像符号化装置
JP4580626B2 (ja) フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
JP2005341545A (ja) 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラムおよび動画像復号プログラム
JP4580903B2 (ja) フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
JP2006287973A (ja) フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法