JP4847222B2

JP4847222B2 - 動画像のフィルタ処理方法，装置，フィルタ処理プログラムおよびその記録媒体

Info

Publication number: JP4847222B2
Application number: JP2006161870A
Authority: JP
Inventors: 靖之中島
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2006-06-12
Filing date: 2006-06-12
Publication date: 2011-12-28
Anticipated expiration: 2026-06-12
Also published as: JP2007335931A

Description

本発明は，ビデオ符号化方式Ｈ．２６４などのように画像をマクロブロックなどの矩形領域に分割し，マクロブロックアドレスの増加する順番で，ピクチャ内の全てのマクロブロックに対して，左端垂直エッジ，内部垂直エッジ，上端水平エッジ，内部水平エッジ，の順にフィルタ処理を適用する動画像におけるフィルタ処理方法に関するものである。

ビデオ符号化方式Ｈ．２６４を例に挙げると，このビデオ符号化方式においては，条件付きフィルタが，ピクチャ境界のエッジとdisable ＿deblocking＿filter＿idc によってデブロックフィルタ処理が無効となるエッジを除き，ピクチャの全ての４×４ブロックエッジに対して適用されなければならない。

このフィルタ処理は，復号ピクチャ全体に対するデブロックフィルタ処理前のピクチャ構築処理の終了の後，マクロブロックアドレスの増加する順番で，処理されたピクチャ内の全てのマクロブロックに対して，マクロブロック単位に基づき実施される。

図１１と図１２に，ビデオ符号化方式Ｈ．２６４におけるマクロブロックアドレスの増加する順番を示す。図１１は，MbAffFrameFlag＝０のとき，図１２は，MbAffFrameFlag＝１のときに対応する。

デブロックフィルタ処理は，輝度と色差成分で別々に起動される。各マクロブロックに対して，最初に垂直エッジに左から右にフィルタが適用され，次に水平エッジに上から下にフィルタが適用される。前マクロブロックにおけるデブロックフィルタ処理操作で既に変更されているかもしれない現マクロブロックの上端及び左端のサンプル値が，現マクロブロックのデブロックフィルタ処理に対する入力として用いられなければならず，また現マクロブロックのフィルタ処理により更に変更されるかもしれない。垂直エッジのフィルタ処理中に変更されたサンプル値は，同一マクロブロックの水平エッジのフィルタ処理に対する入力として用いられる。

図１３に，Ｈ．２６４で隣接する３つのマクロブロックを例にした，従来の技術によるフィルタ処理方法を示す。太線で囲まれた各矩形領域はマクロブロックである。ｖは縦１６画素の垂直エッジを，ｈは横１６画素の水平エッジを示す。ｖやｈの前の数字が小さいほど先にフィルタを適用する。ただし，画像が４つ以上の矩形領域に分割されている場合もあるため，この図において数字が整数で連続している場合でも，連続してフィルタを適用する制約はないものとする。例えば，第二の矩形領域の右側に更に別の矩形領域がある場合には，１５ｈと１６ｖの間には，第二の矩形領域の右端垂直エッジなど，図１３で数字が与えられていない別のエッジにフィルタが適用される。

参照ソフトウェアであるＪＭ１０．２［非特許文献１］の RateControlEnable＝０では，マクロブロックアドレスの増加する順番でフィルタ処理している。
H.264/AVC Reference Software，version: JM 10.2 http://iphome.hhi.de/suehring/tml/download/jm10.2.zip ，January ，2006.

ビデオ符号化方式Ｈ．２６４を例に挙げると，このビデオ符号化方式におけるフィルタ処理においては，マクロブロックアドレスの増加する順番でフィルタ処理を実行することが規定されている。ここでマクロブロックアドレスは，ラスタ走査順序で増加する。

ところが，フィルタ処理適用前の画像が完成する順番は，必ずしもマクロブロックアドレスの増加する順番とは一致しない。例えば，num ＿slice ＿group ＿minus1を１以上に設定すれば，様々なスライス形状を実現することができ，その場合には，フィルタ処理適用前の画像が完成する順番がマクロアドレスの増加する順番と一致しないことが起こりうる。そのため，マクロブロックアドレスの増加する順番でフィルタ処理を実行することにより遅延が生じてしまう。disable ＿deblocking＿filter＿idc ＝２とすれば，スライス境界でフィルタを適用しないようにすることができるが，この場合画質の低下が懸念される。

そこで，フィルタ処理適用前の画像が完成する順番がマクロブロックアドレスの増加する順番と一致しない場合でも，画質を低下させることなくなるべく少ない遅延でフィルタ処理を行うことが，本発明が解決しようとする課題である。

上記課題を解決するために，本発明は，動画像符号化規格に規定されているフィルタ処理結果を変えない範囲で，フィルタ処理順番を一部変更する。または，動画像符号化規格に規定されているフィルタ処理結果を変えない範囲で，フィルタを適用する処理を分割し，分割された処理を独立して行うようにする。

まず，本発明に関連する第一の技術について説明する。第一技術では，動画像符号化規格に対応したフィルタ処理方法において，フィルタを適用する順番が早い順に，第一の矩形領域の内部垂直エッジ，第一の矩形領域の上端水平エッジ，第一の矩形領域の内部水平エッジ，第二の矩形領域の左端垂直エッジ，第三の矩形領域の内部垂直エッジ，第三の矩形領域の上端水平エッジ，第三の矩形領域の内部水平エッジ，第二の矩形領域の内部垂直エッジ，第二の矩形領域の上端水平エッジ，第二の矩形領域の内部水平エッジ，であるフィルタ処理を含み，かつ，第一の矩形領域，第三の矩形領域，第二の矩形領域の順にフィルタ処理が終了する。

本発明に関連する第二の技術では，動画像符号化規格に対応したフィルタ処理装置において，フィルタを適用する順番が早い順に，第一の矩形領域の内部垂直エッジ，第一の矩形領域の上端水平エッジ，第一の矩形領域の内部水平エッジ，第二の矩形領域の左端垂直エッジ，であるフィルタ処理を行う手段と，第二の矩形領域の左端垂直エッジフィルタ適用後の画素値を記憶する手段と，フィルタを適用する順番が早い順に，第三の矩形領域の内部垂直エッジ，第三の矩形領域の上端水平エッジ，第三の矩形領域の内部水平エッジ，であるフィルタ処理を行う手段と，記憶されている第二の矩形領域の左端垂直エッジフィルタ適用後の画素値を読み出す手段と，フィルタを適用する順番が早い順に，第二の矩形領域の内部垂直エッジ，第二の矩形領域の上端水平エッジ，第二の矩形領域の内部水平エッジ，であるフィルタ処理を行う手段とを備える。

これに対して，第一の発明は，動画像符号化規格に対応したフィルタ処理方法において，フィルタを適用する順番が早い順に，第一の矩形領域の内部垂直エッジ，第一の矩形領域の上端水平エッジ，第一の矩形領域の内部水平エッジ，第二の矩形領域の左端垂直エッジ，であるフィルタ処理を含む第一の処理が終了した後に，フィルタを適用する順番が早い順に，第二の矩形領域の内部垂直エッジ，第二の矩形領域の上端水平エッジ，第二の矩形領域の内部水平エッジ，であるフィルタ処理を含む第二の処理と，フィルタを適用する順番が早い順に，第三の矩形領域の内部垂直エッジ，第三の矩形領域の上端水平エッジ，第三の矩形領域の内部水平エッジ，であるフィルタ処理を含む第三の処理とを独立して実行し，かつ，第一の矩形領域，第三の矩形領域，第二の矩形領域の順，または第一の矩形領域の後，第二の矩形領域および第三の矩形領域の２領域同時の順，にフィルタ処理が終了することを特徴とする。

第二の発明は，動画像符号化規格に対応したフィルタ処理装置において，フィルタを適用する順番が早い順に，第一の矩形領域の内部垂直エッジ，第一の矩形領域の上端水平エッジ，第一の矩形領域の内部水平エッジ，第二の矩形領域の左端垂直エッジ，であるフィルタ処理を含む第一の処理を行う手段と，第二の矩形領域の左端垂直エッジフィルタ適用後の第一の矩形領域内の画素値を記憶する手段と，第二の矩形領域の左端垂直エッジフィルタ適用後の第二の矩形領域内の画素値を記憶する手段と，記憶されている第二の矩形領域の左端垂直エッジフィルタ適用後の第二の矩形領域内の画素値を読み出す手段と，フィルタを適用する順番が早い順に，第二の矩形領域の内部垂直エッジ，第二の矩形領域の上端水平エッジ，第二の矩形領域の内部水平エッジ，であるフィルタ処理を含む第二の処理を行う手段と，前記第一の処理が終了した後に，前記第二の処理を行う手段とは独立に，記憶されている第二の矩形領域の左端垂直エッジフィルタ適用後の第一の矩形領域内の画素値を読み出す手段と，前記第二の処理を行う手段とは独立に，フィルタを適用する順番が早い順に，第三の矩形領域の内部垂直エッジ，第三の矩形領域の上端水平エッジ，第三の矩形領域の内部水平エッジ，であるフィルタ処理を含む第三の処理を行う手段とを備えることを特徴とする。

従来技術の動画像符号化方式を用いてリアルタイムに符号化するためには，画像領域をスライスに分割して符号化する必要があるので，フィルタ処理が分断され，画質の低下が懸念されるが，本発明を用いることにより，スライスに分割することなくフィルタを適用することができ，従来の方式に比べて遅延が低下する。また，本発明により，並列化，スライス形状の観点で柔軟な符号化処理が可能になる。

以上述べたように，本発明によれば，ビデオ符号化方式Ｈ．２６４などのように画像領域を矩形領域に分割して決まった順番でフィルタ処理することが規定されている場合に，規定されているフィルタ処理結果を変えない範囲で，フィルタを適用する順番を一部変更したり，処理を分割し，分割された処理を独立して行うことで，画質を低下させることなく，少ない遅延でフィルタ処理を行うことができるようになる。

〔関連技術例１〕
関連技術例１は，本発明に関連する第一の技術をＨ．２６４の動画像符号化でMbAffFrameFlag＝０の場合に適用した例である。関連技術例１によるフィルタ処理方法を図１に示す。この図において，太線で囲まれた各矩形領域はマクロブロックである。ｖは縦１６画素の垂直エッジを，ｈは横１６画素の水平エッジを示す。ｖやｈの前の数字が小さいほど先にフィルタを適用する。（α，β）は（０，１）または（１，１０）を示す。ただし，この例は画像が４つ以上の矩形領域に分割されている場合にも拡張できるため，この図中の数字が整数で連続している場合でも，連続してフィルタを適用する制約はないものとする。

図１に示すようにフィルタを適用する順番が早い順に，第一の矩形領域の内部垂直エッジ，第一の矩形領域の上端水平エッジ，第一の矩形領域の内部水平エッジ，第二の矩形領域の左端垂直エッジ，第三の矩形領域の内部垂直エッジ，第三の矩形領域の上端水平エッジ，第三の矩形領域の内部水平エッジ，第二の矩形領域の内部垂直エッジ，第二の矩形領域の上端水平エッジ，第二の矩形領域の内部水平エッジ，であるフィルタ処理を行う。

従来の方法と異なり，第二の矩形領域の左端垂直エッジ，第三の矩形領域の内部垂直エッジ，第三の矩形領域の上端水平エッジ，第三の矩形領域の内部水平エッジの順にフィルタを適用するため，マクロブロックアドレス順に大きい方である第三の矩形領域のフィルタ処理を，マクロブロックアドレス順に小さい方である第二の矩形領域のフィルタ処理よりも先に行うことになる。この順番にフィルタを適用しても，Ｈ．２６４の動画像符号化で規定されているフィルタ処理と同じ結果を得る。しかも第一の矩形領域，第三の矩形領域，第二の矩形領域の順にフィルタ処理を終了させることができる。

〔関連技術例２〕
関連技術例２は，本発明に関連する第二の技術を適用した例である。関連技術例２によるフィルタ処理装置を図２に示す。図２のフィルタ処理装置１０において，「ブロックエッジにおけるフィルタ計算部」１１は，フィルタを適用する順番が早い順に，第一の矩形領域の内部垂直エッジ，第一の矩形領域の上端水平エッジ，第一の矩形領域の内部水平エッジ，第二の矩形領域の左端垂直エッジ，第三の矩形領域の内部垂直エッジ，第三の矩形領域の上端水平エッジ，第三の矩形領域の内部水平エッジ，第二の矩形領域の内部垂直エッジ，第二の矩形領域の上端水平エッジ，第二の矩形領域の内部水平エッジ，であるフィルタ処理を行う。

また，「第二の矩形領域の左端垂直エッジフィルタ適用後の画素値を記憶する領域」１２は，第二の矩形領域の左端垂直エッジのフィルタ処理を行った後の第二の矩形領域内の画素値を「ブロックエッジにおけるフィルタ計算部」１１から入力して保持し，第二の矩形領域の内部垂直エッジのフィルタ処理を行う前に保持されていた画素値を「ブロックエッジにおけるフィルタ計算部」１１に出力する。

この装置でフィルタを適用しても，Ｈ．２６４の動画像符号化で規定されているフィルタ処理と同じ結果を得る。なお，本実施例では，「第二の矩形領域の左端垂直エッジフィルタ適用後の画素値を記憶する領域」１２がフィルタ処理装置１０内のメモリにある例について述べたが，この領域は，フィルタ適用前の画素値が記憶されている領域と同じ物理メモリでも良いことは言うまでもない。また，「第二の矩形領域の左端垂直エッジフィルタ適用後の画素値を記憶する領域」１２が，フィルタ適用後の画素値が記憶されている領域と同じ物理メモリでも良いことは言うまでもない。

〔実施例１〕
実施例１は，第一の発明をＨ．２６４の動画像符号化でMbAffFrameFlag＝０の場合に適用した例である。実施例１によるフィルタ処理方法を図３に示す。この図において，太線で囲まれた各矩形領域はマクロブロックである。ｖは縦１６画素の垂直エッジを，ｈは横１６画素の水平エッジを示す。また下線無しは第一の処理を，一重下線は第二の処理を，二重下線は第三の処理を示す。ｖやｈの前の数字が小さいほど第一の処理内または第二の処理内または第三の処理内で先にフィルタを適用する。（α，β）は（０ｖ，１ｖ）または（０ｖ，二重下線付きの０ｖ）を示す。ただし，この実施例は画像が４つ以上の矩形領域に分割されている場合にも拡張できるため，この図中の数字が整数で連続している場合でも，連続してフィルタを適用する制約はないものとする。

従来の方法と異なり，第二の処理と第三の処理は独立して行う。この方法でフィルタを適用しても，Ｈ．２６４の動画像符号化で規定されているフィルタ処理と同じ結果を得る。

〔実施例２〕
実施例２は，第二の発明を適用した例である。実施例２によるフィルタ処理装置を図４に示す。図４のフィルタ処理装置２０において，「第一の処理を行う部分」２１は，フィルタを適用する順番が早い順に，第一の矩形領域の内部垂直エッジ，第一の矩形領域の上端水平エッジ，第一の矩形領域の内部水平エッジ，第二の矩形領域の左端垂直エッジ，であるフィルタ処理を含む第一の処理を行い，その処理が終了した後に，「第二の矩形領域の左端垂直エッジフィルタ適用後の第二の矩形領域内の画素値を記憶する領域」２２に第二の矩形領域の左端垂直エッジフィルタ適用後の第二の矩形領域内の画素値を出力し，また，「第二の矩形領域の左端垂直エッジフィルタ適用後の第一の矩形領域内の画素値を記憶する領域」２３に第二の矩形領域の左端垂直エッジフィルタ適用後の第二の矩形領域内の画素値を出力し，フィルタ処理の終了した第一の矩形領域内の画素値を装置外部に出力する。

「処理部Ａ」２４は，「第二の矩形領域の左端垂直エッジフィルタ適用後の第二の矩形領域内の画素値を記憶する領域」２２及び装置外部からフィルタ適用に必要な画素値を読み出し，フィルタを適用する順番が早い順に，第二の矩形領域の内部垂直エッジ，第二の矩形領域の上端水平エッジ，第二の矩形領域の内部水平エッジ，であるフィルタ処理を含む第二の処理を行い，フィルタ処理の終了した第二の矩形領域内の画素値を装置外部に出力する。

「処理部Ｂ」２５は，「第二の矩形領域の左端垂直エッジフィルタ適用後の第一の矩形領域内の画素値を記憶する領域」２３及び装置外部からフィルタ適用に必要な画素値を読み出し，フィルタを適用する順番が早い順に，第三の矩形領域の内部垂直エッジ，第三の矩形領域の上端水平エッジ，第三の矩形領域の内部水平エッジ，であるフィルタ処理を含む第三の処理を行い，フィルタ処理の終了した第三の矩形領域内の画素値を装置外部に出力する。

なお，本実施例では，「第一の処理を行う部分」２１が「処理部Ａ」２４及び「処理部Ｂ」２５の両方と独立である例について述べたが，第一の処理が終了した後に「処理部Ａ」２４及び「処理部Ｂ」２５が起動すれば良いので，「第一の処理を行う部分」２１と「処理部Ａ」２４とが同一で，かつ「処理部Ａ」２４と「処理部Ｂ」２５とが独立であっても良い。同様に，「第一の処理を行う部分」２１と「処理部Ｂ」２５とが同一で，かつ「処理部Ａ」２４と「処理部Ｂ」２５とが独立であっても良い。

前者の場合には，第一の矩形領域と第三の矩形領域の境界より上を「処理部Ａ」２４がフィルタ処理し，同境界より下を「処理部Ｂ」２５がフィルタ処理することになる。後者の場合には，第一の矩形領域と第二の矩形領域の境界より右を「処理部Ａ」２４がフィルタ処理し，同境界より左を「処理部Ｂ」２５がフィルタ処理することになる。

また，関連技術例２と同様に，「第二の矩形領域の左端垂直エッジフィルタ適用後の第二の矩形領域内の画素値を記憶する領域」２２と「第二の矩形領域の左端垂直エッジフィルタ適用後の第一の矩形領域内の画素値を記憶する領域」２３は，フィルタ適用前の画素値が記憶されている領域と同じ物理メモリでも良いことは言うまでもない。

また，「第二の矩形領域の左端垂直エッジフィルタ適用後の第二の矩形領域内の画素値を記憶する領域」２２と「第二の矩形領域の左端垂直エッジフィルタ適用後の第一の矩形領域内の画素値を記憶する領域」２３は，フィルタ適用後の画素値が記憶されている領域と同じ物理メモリでも良いことは言うまでもない。

〔関連技術例３〕
関連技術例３は，本発明に関連する第一の技術をＨ．２６４の動画像符号化でMbAffFrameFlag＝０の場合に繰り返し適用した例である。関連技術例３によるフィルタ処理方法を図５に示す。この図において，太線で囲まれた各矩形領域はマクロブロックである。ｖは縦１６画素の垂直エッジを，ｈは横１６画素の水平エッジを示す。ｖやｈの前の数字が小さいほど先にフィルタを適用する。（α，β，γ）は（０，１，２）または（１，１１，２０）を示す。ただし，この例は画像が更に多くの矩形領域に分割されている場合にも拡張できるため，この図中の数字が整数で連続している場合でも，連続してフィルタを適用する制約はないものとする。

図５に示すようにフィルタを適用する順番が早い順に，第一の矩形領域の内部垂直エッジ，第一の矩形領域の上端水平エッジ，第一の矩形領域の内部水平エッジ，第二の矩形領域の左端垂直エッジ，第三の矩形領域の内部垂直エッジ，第三の矩形領域の上端水平エッジ，第三の矩形領域の内部水平エッジ，であるフィルタ処理を行う。ここで第三，第四，第五の矩形領域を関連技術例１における第一，第二，第三の矩形領域に置き換えて再度関連技術例１を適用し，フィルタを適用する順番が早い順に，第三の矩形領域の内部垂直エッジ，第三の矩形領域の上端水平エッジ，第三の矩形領域の内部水平エッジ，第四の矩形領域の左端垂直エッジ，第五の矩形領域の内部垂直エッジ，第五の矩形領域の上端水平エッジ，第五の矩形領域の内部水平エッジ，であるフィルタ処理を行う。

その後，フィルタを適用する順番が早い順に，第二の矩形領域の内部垂直エッジ，第二の矩形領域の上端水平エッジ，第二の矩形領域の内部水平エッジ，であるフィルタ処理を行う。

この順番にフィルタを適用しても，Ｈ．２６４の動画像符号化で規定されているフィルタ処理と同じ結果を得る。本実施例を繰り返せば，Ｈ．２６４の動画像符号化でMbAffFrameFlag＝０の場合にマクロブロックの下方向にフィルタを適用していくことができる。

〔関連技術例４〕
関連技術例４は，本発明に関連する第一の技術をＨ．２６４の動画像符号化でMbAffFrameFlag＝１の場合に適用した例である。関連技術例４によるフィルタ処理方法を図６に示す。この図において，太線で囲まれた各矩形領域はマクロブロックであり，斜線で網掛けされた部分はマクロブロックペアである。ｖは縦１６画素の垂直エッジを，ｈは横１６画素の水平エッジを示す。ｖやｈの前の数字が小さいほど先にフィルタを適用する。（α，β，γ）は（０，１，２）または（１，１０，２０）を示す。ただし，この実施例は画像が更に多くの矩形領域に分割されている場合にも拡張できるため，この図中の数字が整数で連続している場合でも，連続してフィルタを適用する制約はないものとする。

図６に示すようにフィルタを適用する順番が早い順に，第一の矩形領域の内部垂直エッジ，第一の矩形領域の上端水平エッジ，第一の矩形領域の内部水平エッジ，第三の矩形領域の内部垂直エッジ，第三の矩形領域の上端水平エッジ，第三の矩形領域の内部水平エッジ，であるフィルタ処理を行う。

MbAffFrameFlag＝１の場合はマクロブロックアドレスの増加する順番は図１２の通りであるため，第一の矩形領域の内部水平エッジにフィルタを適用した後，第三の矩形領域の内部垂直エッジにフィルタを適用する前に，第二の矩形領域の左端垂直エッジにフィルタを適用しないことが関連技術例３と異なっている。次に第三，第四，第五の矩形領域を関連技術例１における第一，第二，第三の矩形領域に置き換えて関連技術例１を適用し，フィルタを適用する順番が早い順に，第三の矩形領域の内部垂直エッジ，第三の矩形領域の上端水平エッジ，第三の矩形領域の内部水平エッジ，第二の矩形領域の左端垂直エッジ，第四の矩形領域の左端垂直エッジ，第五の矩形領域の内部垂直エッジ，第五の矩形領域の上端水平エッジ，第五の矩形領域の内部水平エッジ，であるフィルタ処理を行う。

その後，フィルタを適用する順番が早い順に，第二の矩形領域の内部垂直エッジ，第二の矩形領域の上端水平エッジ，第二の矩形領域の内部水平エッジ，であるフィルタ処理を行う。この順番にフィルタを適用しても，Ｈ．２６４の動画像符号化で規定されているフィルタ処理と同じ結果を得る。本実施例を繰り返せば，Ｈ．２６４の動画像符号化でMbAffFrameFlag＝１の場合にマクロブロックペアの下方向にフィルタを適用していくことができる。

〔関連技術例５〕
関連技術例５は，本発明に関連する第一の技術をＨ．２６４の動画像符号化で関連技術例３を更に繰り返し適用した例である。関連技術例５によるフィルタ処理方法を図７に示す。この図において，太線で囲まれた各矩形領域はマクロブロックを，矢印はフィルタ処理順を示す。

上下に接するマクロブロックについては，フィルタを適用する順番が早い順に，上側のマクロブロックの内部垂直エッジ，上側のマクロブロックの上端水平エッジ，上側のマクロブロックの内部水平エッジ，上側のマクロブロックの右端垂直エッジ，下側のマクロブロックの内部垂直エッジ，下側のマクロブロックの上端水平エッジ，下側のマクロブロックの内部水平エッジ，であるフィルタ処理を行うことを繰り返すことにより，マクロブロックアドレスの増加する順番によらず，マクロブロック位置の上から下に向かってフィルタを適用することができる。この方法でフィルタを適用しても，Ｈ．２６４の動画像符号化で規定されているフィルタ処理と同じ結果を得る。

〔実施例３〕
本実施例は本発明に関連する第一の技術と第一の発明の両方をＨ．２６４の動画像符号化で適用した例である。実施例３によるフィルタ処理を図８に示す。この図において，太線で囲まれた各矩形領域はマクロブロックを，矢印はフィルタ処理順を示し，実線矢印，破線矢印は，それぞれ処理部Ａ，処理部Ｂ（図示省略）がフィルタ処理することを示す。数字はフィルタを適用する順番であり，同じ数字は同じ時刻に処理することを示す。

処理部Ａがマクロブロックアドレス順に従って５番目までのマクロブロックに従来の方法でフィルタを適用し，更に５番目のマクロブロックの右端垂直エッジのフィルタ処理を適用した後に，処理部Ｂがマクロブロックアドレス順で６番目から１０番目までのマクロブロックにフィルタ処理を適用し，同時に処理部Ａがマクロブロックアドレス順で１１番目から１５番目までのマクロブロックにフィルタ処理を適用する。この手順を下方向に繰り返すことにより，図８のようにフィルタ処理する。この方法でフィルタを適用しても，Ｈ．２６４の動画像符号化で規定されているフィルタ処理と同じ結果を得る。

〔実施例４〕
本実施例は本発明に関連する第一の技術と第一の発明の両方をＨ．２６４の動画像符号化で適用した例である。実施例４によるフィルタ処理を図９に示す。この図において，太線で囲まれた各矩形領域はマクロブロックを，矢印はフィルタ処理順を示し，実線矢印，破線矢印，一点鎖線矢印は，それぞれ処理部Ａ，処理部Ｂ，処理部Ｃ（図示省略）がフィルタ処理することを示す。数字はフィルタを適用する順番であり，同じ数字は同じ時刻に処理することを示す。

処理部Ａは関連技術例３を繰り返しながら下方向にフィルタ処理する。処理部Ａが最初のマクロブロックの右端垂直エッジにフィルタを適用した後に，処理部Ｂはマクロブロックアドレス順で２番目のマクロブロックにフィルタ処理を適用し関連技術例３を繰り返しながら下方向にフィルタ処理する。

処理部Ｂがマクロブロックアドレス順で２番目のマクロブロックの右端垂直エッジにフィルタを適用した後に，処理部Ｃはマクロブロックアドレス順で３番目のマクロブロックにフィルタ処理を適用し関連技術例３を繰り返しながら下方向にフィルタ処理する。各処理部は一番下のマクロブロックのフィルタ処理が終了後に，引き続き３つ右のマクロブロック縦列の一番上のマクロブロックのフィルタ処理を行う。この手順を繰り返すことにより，図８のようにフィルタ処理をする。この方法でフィルタを適用しても，Ｈ．２６４の動画像符号化で規定されているフィルタ処理と同じ結果を得る。また３つの処理部で並行してフィルタ処理するため，遅延が小さくなる。

実施例４を応用すれば，例えば全体の画像サイズが大きい場合は上記の方法で並列でフィルタ処理を行うが，全体の画像サイズが小さいときには従来の方法でフィルタ処理するというように，適応的に切り替えてフィルタ処理することもできる。

〔関連技術例６〕
関連技術例６は，本発明に関連する第一の技術をＨ．２６４の動画像符号化でMbAffFrameFlag＝０の場合に適用した例で，関連技術例６と類似する例であるが，縦４画素の垂直エッジ単位でフィルタ処理を行う例である。関連技術例６によるフィルタ処理を図１０に示す。この図において，太線で囲まれた各矩形領域はマクロブロックである。２ｖから１３ｖは縦４画素の垂直エッジを，それ以外の数字のｖは縦１６画素の垂直エッジを，ｈは横１６画素の水平エッジを示す。ｖやｈの前の数字が小さいほど先にフィルタを適用する。（α，β）は（０，１）または（１，１９）を示す。ただし，この例は画像が４つ以上の矩形領域に分割されている場合にも拡張できるため，この図中の数字が整数で連続している場合でも，連続してフィルタを適用する制約はないものとする。

図１０に示すような順番でフィルタ処理を行う。従来の方法と異なり，第二の矩形領域の左端垂直エッジ，第三の矩形領域の内部垂直エッジ，第三の矩形領域の上端水平エッジ，第三の矩形領域の内部水平エッジの順にフィルタを適用するため，マクロブロックアドレス順に大きい方である第三の矩形領域のフィルタ処理をマクロブロックアドレス順に小さい方である第二の矩形領域のフィルタ処理より先に行うことになる。さらに，図１０中の２ｖ，３ｖ，４ｖの順にフィルタ処理を行うので，第一の矩形領域の画素が縦４画素×横１６画素単位で入力される場合において実施例１よりも少ない遅延でフィルタ処理を行うことができる。この順番にフィルタを適用しても，Ｈ．２６４の動画像符号化で規定されているフィルタ処理と同じ結果を得る。

本実施例は，縦４画素の垂直エッジ単位でフィルタ処理を行っているが，同様にして横４画素の水平エッジ単位でフィルタ処理を行っても良いし，こられの方法を組み合わせても良いし，さらに第二の矩形領域，第三の矩形領域にも適用して良いことは言うまでもない。

ビデオ符号化方式Ｈ．２６４の動画像符号化への本発明の適用例を説明したが，もちろん本発明は，ビデオ符号化方式Ｈ．２６４の動画像符号化におけるフィルタ処理に限られるわけではなく，画像領域をスライスに分割して符号化するような他の動画像符号化におけるフィルタ処理にも同様に適用し，遅延の少ないフィルタ処理を実現することが可能である。

以上の動画像におけるフィルタ処理は，コンピュータとソフトウェアプログラムとによって実現することができ，そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供することも，ネットワークを通して提供することも可能である。

関連技術例１によるフィルタ処理方法を説明する図である。関連技術例２によるフィルタ処理装置の例を示す図である。実施例１によるフィルタ処理方法を説明する図である。実施例２によるフィルタ処理装置の例を示す図である。関連技術例３によるフィルタ処理方法を説明する図である。関連技術例４によるフィルタ処理方法を説明する図である。関連技術例５によるフィルタ処理方法を説明する図である。実施例３によるフィルタ処理方法を説明する図である。実施例４によるフィルタ処理方法を説明する図である。関連技術例６によるフィルタ処理方法を説明する図である。ビデオ符号化方式Ｈ．２６４におけるマクロブロックアドレスの増加する順番の例を示す図である。ビデオ符号化方式Ｈ．２６４におけるマクロブロックアドレスの増加する順番の例を示す図である。従来の技術によるフィルタ処理方法の例を説明する図である。

符号の説明

１０フィルタ処理装置
１１ブロックエッジにおけるフィルタ計算部
１２第二の矩形領域の左端垂直エッジフィルタ適用後の画素値を記憶する領域
２０フィルタ処理装置
２１第一の処理を行う部分
２２第二の矩形領域の左端垂直エッジフィルタ適用後の第二の矩形領域内の画素値を記憶する領域
２３第二の矩形領域の左端垂直エッジフィルタ適用後の第一の矩形領域内の画素値を記憶する領域
２４処理部Ａ
２５処理部Ｂ

Claims

画像を，第一の矩形領域と，第一の矩形領域の右側に接する第二の矩形領域と，第一の矩形領域の下側に接する第三の矩形領域を含む少なくとも３つの矩形領域に分割し，フィルタを適用する順番が早い順に，第一の矩形領域の左端垂直エッジ，第一の矩形領域の内部垂直エッジ，第一の矩形領域の上端水平エッジ，第一の矩形領域の内部水平エッジ，第二の矩形領域の左端垂直エッジ，第二の矩形領域の内部垂直エッジ，第二の矩形領域の上端水平エッジ，第二の矩形領域の内部水平エッジ，第三の矩形領域の左端垂直エッジ，第三の矩形領域の内部垂直エッジ，第三の矩形領域の上端水平エッジ，第三の矩形領域の内部水平エッジ，であることが規定されている動画像符号化規格に対応したフィルタ処理方法において，
フィルタを適用する順番が早い順に，第一の矩形領域の内部垂直エッジ，第一の矩形領域の上端水平エッジ，第一の矩形領域の内部水平エッジ，第二の矩形領域の左端垂直エッジ，であるフィルタ処理を含む第一の処理が終了した後に，
フィルタを適用する順番が早い順に，第二の矩形領域の内部垂直エッジ，第二の矩形領域の上端水平エッジ，第二の矩形領域の内部水平エッジ，であるフィルタ処理を含む第二の処理と，
フィルタを適用する順番が早い順に，第三の矩形領域の内部垂直エッジ，第三の矩形領域の上端水平エッジ，第三の矩形領域の内部水平エッジ，であるフィルタ処理を含む第三の処理とを独立して実行し，かつ，
第一の矩形領域，第三の矩形領域，第二の矩形領域の順，または
第一の矩形領域の後，第二の矩形領域および第三の矩形領域の２領域同時の順，
にフィルタ処理が終了する
ことを特徴とする動画像のフィルタ処理方法。
画像を，第一の矩形領域と，第一の矩形領域の右側に接する第二の矩形領域と，第一の矩形領域の下側に接する第三の矩形領域を含む少なくとも３つの矩形領域に分割し，フィルタを適用する順番が早い順に，第一の矩形領域の左端垂直エッジ，第一の矩形領域の内部垂直エッジ，第一の矩形領域の上端水平エッジ，第一の矩形領域の内部水平エッジ，第二の矩形領域の左端垂直エッジ，第二の矩形領域の内部垂直エッジ，第二の矩形領域の上端水平エッジ，第二の矩形領域の内部水平エッジ，第三の矩形領域の左端垂直エッジ，第三の矩形領域の内部垂直エッジ，第三の矩形領域の上端水平エッジ，第三の矩形領域の内部水平エッジ，であることが規定されている動画像符号化規格に対応したフィルタ処理装置において，
フィルタを適用する順番が早い順に，第一の矩形領域の内部垂直エッジ，第一の矩形領域の上端水平エッジ，第一の矩形領域の内部水平エッジ，第二の矩形領域の左端垂直エッジ，であるフィルタ処理を含む第一の処理を行う手段と，
第二の矩形領域の左端垂直エッジフィルタ適用後の第一の矩形領域内の画素値を記憶する手段と，
第二の矩形領域の左端垂直エッジフィルタ適用後の第二の矩形領域内の画素値を記憶する手段と，
記憶されている第二の矩形領域の左端垂直エッジフィルタ適用後の第二の矩形領域内の画素値を読み出す手段と，
フィルタを適用する順番が早い順に，第二の矩形領域の内部垂直エッジ，第二の矩形領域の上端水平エッジ，第二の矩形領域の内部水平エッジ，であるフィルタ処理を含む第二の処理を行う手段と，
前記第一の処理が終了した後に，前記第二の処理を行う手段とは独立に，記憶されている第二の矩形領域の左端垂直エッジフィルタ適用後の第一の矩形領域内の画素値を読み出す手段と，
前記第二の処理を行う手段とは独立に，フィルタを適用する順番が早い順に，第三の矩形領域の内部垂直エッジ，第三の矩形領域の上端水平エッジ，第三の矩形領域の内部水平エッジ，であるフィルタ処理を含む第三の処理を行う手段とを備える
ことを特徴とする動画像のフィルタ処理装置。
請求項１記載の動画像のフィルタ処理方法を，コンピュータに実行させるための動画像のフィルタ処理プログラム。
請求項１記載の動画像のフィルタ処理方法を，コンピュータに実行させるための動画像のフィルタ処理プログラムを記録したコンピュータ読み取り可能な記録媒体。