JP2008054126A - 映像信号処理装置及び方法、並びに映像信号復号装置 - Google Patents

Abstract

【課題】 前段のモジュールと後段のモジュールとの間で効率的にデータを渡すことができる映像信号処理装置及び方法、並びに映像信号復号装置を提供する。
【解決手段】 オーバーラップスムージングフィルタ３１で処理されたデータを含むブロック境界に対して直交する方向に連続する所定画素単位のデータを所定数のメモリにそれぞれ並列書き込みし、デブロッキングフィルタ３２で処理するデータを、所定数のメモリから所定画素単位で並列読み出しする。
【選択図】 図１

Description

本発明は、映像信号処理装置及び方法、並びに映像信号復号装置に関し、特に、映像信号がブロック単位で符号化されて得られた符号化データを復号する際のブロック境界円滑化処理を行う映像信号処理装置及び方法、並びに映像信号復号装置に関する。

近年において種々の動画像圧縮符号化技術が提案されているが、その１つとして知られているＶＣ−１動画像圧縮符号化方式は、ＭＰＥＧ（Moving Picture Exparts Group）−４パート２をベースとし、さらに圧縮効率を高めるための種々の工夫が施されたものであり、ＳＭＰＴＥ（米国映画テレビジョン技術者協会）での規格化がなされ、ＳＭＰＴＥ ４２１Ｍとして発表されている。

一般に、ＶＣ−１符号化方式におけるデコーダは、ＶＣ−１のレファレンスソースコードや規格書ＳＭＴＰＥ ４２１ＭのDecodeing Process Overviewに構成案が記載されている。この規格書によればＶＣ−１コーデック（Codec）によってエンコードされたビットストリーム（Bit Stream）信号はデコーダシステムに入力され、構造解析（Parsing）されると、そのデータの符号化された手法により大別して、イントラ（Intra）符号化（フレーム内予測符号化）されたものとインター（Inter）符号化（フレーム間予測符号化）されたものにデータが分類される。分類されたイントラ符号化データとインター符号化データとは、復号画像（Decode Picture）を生成する時のデータの再構成処理が異なる。

図１９は、このＶＣ−１デコーダシステムの一例を概略的に示すブロック図であり、ビットストリーム構造解析モジュール１１が入力されたビットストリームを構造解析する。ビットストリーム構造解析モジュール１１からのイントラ符号化データ及びインター符号化データは、ＡＣ／ＤＣ予測（Prediction）モジュール１２を介して、逆量子化／逆ＤＣＴ（ＩＱ／ＩＤＣＴ）モジュール１３に送られ、逆量子化及び逆ＤＣＴが施された後、選択スイッチ１４に送られ、イントラ符号化データがオーバーラップスムージングフィルタ（Overlap Smoothing Filter）１５に送られ、インター符号化データが加算器１６に送られる。

オーバーラップスムージングフィルタ１５は、ブロック境界（エッジ）での歪を軽減するために、ブロック境界をスムージングするフィルタであり、イントラ符号化データのみをオーバーラップスムージング処理して加算器１６に送っている。また、ビットストリーム構造解析モジュール１１から動きベクトル（ＭＶ）が動きベクトル予測モジュール２１を介して動き補償（ＭＣ）モジュール２２に送られ、この動き補償モジュール２２では、制御部２３により外部メモリから読み出された復号データを用いて動き補償が施され、得られたデータ（インター符号化データ）が加算器１６に送られる。加算器１６では、選択スイッチ１４からのインター符号化データ、オーバーラップスムージングフィルタ１５からのイントラ符号化データ、動き補償モジュール２２からのインター符号化データが加算され、デブロッキングフィルタ（Deblocking Filter）１７に送られる。デブロッキングフィルタ１７では、ブロック境界（エッジ）のみを平滑化してブロックノイズの発生を抑制する。このような復号処理が行われることにより、画像（ピクチャ：Picture）が再構成（decode）される。

次に、規格書ＳＭＴＰＥ ４２１Ｍ によってＶＣ−１デコーダとして規格化されている上記オーバーラップスムージング（Overlap Smoothing）処理について説明する。

このオーバーラップスムージング処理は、図２０に示すように、８×８画素のブロックの境界（エッジ）について、４タップのフィルタ処理を行うものであり、垂直エッジ、水平エッジの順に行われ、Ｙ（輝度）／Ｃ（クロマ）信号のデータに対して同じ演算が行われ、Ｉピクチャ（フレーム内符号化画像）又はＰピクチャ（前方予測符号化画像）のみに対して処理が行われる。

図２１は、前段のモジュールからあるいは外部メモリから送られてくるデータの時系列を示しており、ピクチャ再構成処理の単位をマクロブロック（ＭＢ）としている。この図２１の矢印に示すように送られてくるデータの時系列に対してレイテンシ（処理のための待ち時間）を少なくする場合の方法として、上記オーバーラップスムージング処理を行うために必要とされるマクロブロック（ＭＢ）を図２２に示す。この図２２において、現在処理されるべく前段のモジュールから送られてきた（あるいは外部メモリから読み出された）現在のマクロブロック（Current MB）Ｃ−ＭＢに対して、オーバーラップスムージング処理される範囲（処理が完了する領域）はＸosとなる。この図２２の範囲Ｘosのオーバーラップスムージング処理を行うために、上記現在のマクロブロックＣ−ＭＢと、直前のマクロブロック（Left MB）Ｌ−ＭＢと、現在のマクロブロックＣ−ＭＢに対してピクチャが再構成された時に上部に位置する上部マクロブロック（Above MB）Ａ−ＭＢと、この上部マクロブロックＡ−ＭＢの直前のマクロブロック（Left Above MB）ＬＡ−ＭＢ（ピクチャが再構成された時に上部マクロブロックＡ−ＭＢの左に位置するマクロブロック）の、合計４つのマクロブロックＣ−ＭＢ，Ｌ−ＭＢ，Ａ−ＭＢ，ＬＡ−ＭＢに属するデータを必要とする。

また、上記デブロッキングフィルタ（Deblocking Filter）処理される範囲は、図２２の範囲Ｘdbとなり、上記オーバーラップスムージング処理の場合と同様に４つのマクロブロックＣ−ＭＢ，Ｌ−ＭＢ，Ａ−ＭＢ，ＬＡ−ＭＢに属するデータが必要となる。上記ＶＣ−１規格におけるデブロッキングフィルタ処理は、Ｉピクチャ、Ｂピクチャ（双方向予測符号化画像）では８×８ブロックの境界のみに適用され、Ｐピクチャでは４×４ブロック境界まで適用されるものである。このデブロッキングフィルタ処理は、８タップのフィルタ処理により、境界から２画素だけを変化させるものであり、水平エッジ、垂直エッジの順に処理が行われる。また、Ｙ（輝度）／Ｃ（クロマ）信号のデータに対しても同じ演算が行われる。なお、上記図２２に示す範囲Ｘdbは、フィールド符号化の場合とフレーム符号化の場合を考慮して、上記デブロッキングフィルタ処理が完了する領域を示している。

上述したように４つのマクロブロックＣ−ＭＢ，Ｌ−ＭＢ，Ａ−ＭＢ，ＬＡ−ＭＢに属するデータを用いてフィルタ処理を行う場合、ビットストリーム構造解析モジュール１１の構造解析（Parsing）処理の仕方にもよるが、前段のモジュールから送られてくるデータの他に、処理に必要なデータを制御部２３により外部メモリ等から読み出すことが一般に行われている。外部メモリには例えばＳＤＲＡＭが用いられ、制御部２３は、アービター経由／ＳＤＲＡＭ制御回路を経由してＳＤＲＡＭをアクセスする。

ここで、現在のマクロブロックＣ−ＭＢに対する直前のマクロブロックＬ−ＭＢに関しては、内部キャッシュを利用することで解決することもできるが、上部マクロブロックＡ−ＭＢに関しては、デコードされるべきピクチャの横方向のマクロブロックの数がピクチャが構成される画素数によって任意に変化するため、システム内部にそのデータを保持しようとすれば、任意に可変する画素数に対して、格納領域としては規格の示す最大量で用意しなければならず、リソースの無駄にもなってしまう。このため、オーバーラップスムージングフィルタ１５やデブロッキングフィルタ１７の各モジュールにてフィルタ処理した後のデータは、制御部２３により外部メモリに格納し、後段処理に必要なデータは、任意のタイミングで外部メモリから再度、読み出すことによって取り揃える構成となるのが一般的である。

図１９の例では、逆量子化／逆ＤＣＴ（ＩＱ／ＩＤＣＴ）モジュール１３がイントラ／インターの両符号化データを扱うため、その前段に当たるＡＣ／ＤＣ予測モジュール１２もインター符号化データを扱う構成になっている。例えば、図１９において逆ＤＣＴ処理が終了した符号化データはオーバーラップスムージングフィルタ１５の手前でイントラ符号化データとインター符号化データかによって経路が選択され、イントラ符号化データはオーバーラップスムージングフィルタ１５に送られる。

オーバーラップスムージングフィルタ１５の処理を行うタイミングにおいて、図１９の経路Ｒ１に示すように、上部マクロブロックＡ−ＭＢとその直前のマクロブロックＬＡ−ＭＢのデータの中で必要とされるデータが外部メモリからオーバーラップスムージングフィルタ１５に取り込まれる。このオーバーラップスムージング処理が完了される画素データは、図２３の（Ａ）中の枠Ｘosで囲まれた範囲のものとなる。また、オーバーラップスムージングフィルタ１５にてフィルタ処理されたデータの全ては、図２３の（Ｂ）中の枠Ｘosに相当する部分となる。このフィルタ処理された全データ、または現在のマクロブロックＣ−ＭＢ以外のマクロブロックに属する画素データは、フィルタ処理されたデータとして図１９の経路Ｗ２で制御部２３により再び外部メモリに格納される。

ここで図２２に示すように、現在のマクロブロックＣ−ＭＢに対して、復号後の再構成されたピクチャにおいて下部に位置するマクロブロック（Below MB）Ｂ−ＭＢが現在のマクロブロックＣ−ＭＢとなった時に利用するための中間結果としてのデータも、図１９のＷ２の経路で外部メモリに格納される。これは図２３の（Ｂ）中の枠ＫＸの部分の画素データに相当する。

以上の処理の後にオーバーラップスムージングフィルタ１５での処理後の現在のマクロブロックＣ−ＭＢに属するデータや、オーバーラップスムージングフィルタ１５でフィルタ処理された直前のマクロブロックＬ−ＭＢに属していたデータは、動き補償などの他の経路で処理されたインター符号化データと加算され、デブロッキングフィルタ１７に送られる。

以上は、輝度（Ｙ）信号のデータについて説明したものであるが、カラー画像の場合のクロマ信号Ｃｂ，Ｃｒのマクロブロックについても同様にオーバーラップスムージング処理が行われ、このオーバーラップスムージング処理される範囲は、図２４に示すように、枠Ｘｂos、Ｘｒosで囲まれた範囲となる。

なお、本明細書においては、主として輝度（Ｙ）信号のデータのフィルタ処理について説明し、クロマ（Ｃｂ，Ｃｒ）信号のデータについては説明を省略している。

次のデブロッキングフィルタ１７でのデブロッキング処理では、現在のマクロブロックＣ−ＭＢに対してオーバーラップスムージングフィルタ１５と同様に図１９のＲ３に示すような経路で、必要とされる直前のマクロブロックＬ−ＭＢと上部マクロブロックＡ−ＭＢとその直前のマクロブロックＬＡ−ＭＢの４つのマクロブロックに所属するデータがデブロッキングフィルタ１７に取り込まれる。そして最後に図１９のＷ４の経路によって復号画像（Decode Picture）が外部メモリに格納される構成となる。もちろん、Ｌ−ＭＢのデータは、加算器１６を介してデブロッキングフィルタ３２の内部キャッシュに取り込む事も可能である。

従来技術として、非特許文献１には、上記ＶＣ−１動画像圧縮符号化方式の規格が開示されている。

ＳＭＰＴＥ ４２１Ｍ 規格書、 SMPTE Draft Standard for Television, ＳＭＰＴＥ（米国映画テレビジョン技術者協会）、２００５年８月２３日

上述したようにオーバーラップスムージング処理とデブロッキングフィルタ処理には相違点がある。オーバーラップスムージング処理は、Ｉピクチャ（フレーム内符号化画像）及びＰピクチャ（前方予測符号化画像）に対し、図２５に示すように８×８ブロックの境界を挟む４画素を用いて、境界の２画素に対して行われ、垂直エッジの処理終了後、水平エッジを処理するように規定されている。

一方、デブロッキングフィルタ処理は、Ｉピクチャ、Ｐピクチャ及びＢピクチャ（双方向予測符号化画像）に対して行われる。Ｉピクチャ及びＢピクチャの場合、８×８ブロックの境界が処理され、Ｐピクチャの場合、図２６に示すように、予測誤差があるか否かによって、８×８、８×４、４×８、４×４ブロックの境界が処理される。この図２６において、斜線領域のブロック（サブブロック）は、予測誤差があるブロックであり、空白領域のブロック（サブブロック）は、予測誤差がないブロックである。また、太い線は、デブロッキングフィルタ処理が行われる境界であり、細い線は、デブロッキングフィルタ処理が行われない境界である。また、図２６において、各ブロックの動きベクトルは等しい。なお、動きベクトルが違うときは常にデブロッキングフィルタ処理が行われる。また、図２６は、ブロックが水平方向に並んだ場合のものであるが、垂直方向に並んだ場合も同様である。

デブロッキングフィルタ処理は、境界の両側のブロックデータが両方ともインター符号化データで、両方の動きベクトルが等しく、且つ、両方とも予測誤差を持っていない場合以外の境界に対し、図２７に示すように、８タップフィルタを用いて、境界の２画素を変化させる。また、このデブロッキングフィルタ処理は、水平エッジの処理終了後、垂直エッジを処理するように規定されている。

つまり、オーバーラップスムージング処理において垂直エッジ処理に必要とされる部分は、４タップのフィルタで処理される図２５のａのような並びのデータとなり、水平エッジ処理に必要とされる部分は、図２５のｂのような並びのデータとなる。一方、デブロッキングフィルタ処理において水平エッジ処理に必要とされる部分は、８タップのフィルタで処理される図２７のｃのような並びのデータとなり、垂直エッジ処理に必要とされる部分は、図２５のｄのような並びのデータとなる。

このようにオーバーラップスムージング処理及びデブロッキングフィルタ処理では、処理対象が共通した画素を含んでいるため、オーバーラップスムージング処理とデブロッキングフィルタ処理との間で効率的にデータを渡すことが望まれている。

ところが、オーバーラップスムージング処理では、図２５のａ，ｂに示すように、処理される画素が４画素単位であるのに対し、デブロッキングフィルタ処理では、８画素単位であり、メモリに記録する単位が異なっている。また、デブロッキングフィルタ処理では、図２６に示すようなサブブロックが存在し、また、インターレース符号化されたデータがフレーム符号化したものなのか、フィールド符号化したものなのかによって、処理に必要とされる画素範囲や処理するエッジが変化してしまう。

このため、従来の一般的な構成のＶＣ−１デコーダでは、オーバーラップスムージング処理されたデータを一時記憶する一時記憶エリアと、デブロッキングフィルタモジュールが利用しやすいようにデータの格納方法を変更する機能と、このデータの格納方法を変更するための一時記憶エリアとが必要となり、一時記憶エリアの増大が問題となっていた。また、一時記憶エリアを外部メモリとした場合、外部メモリとのアクセスのためのメモリバンド幅の消費量が増大するなどの問題が発生していた。

具体的には、オーバーラップスムージング処理されたデータを一時記憶するメモリエリアと、デブロッキングフィルタモジュールが水平エッジ処理に必要な画素を読み出すメモリとを共有した際、例えば、オーバーラップスムージング処理において水平エッジ処理された図２５のｂのような縦４画素の並びの画素データを処理単位として格納すると、デブロッキングフィルタモジュールモジュールでは、図２７のｃに示す上位部の２画素と下位部の２画素の読み出しのために、さらにメモリに最低２回アクセスしなくてはならず、トータルで３回以上の読み出しが必要となってしまう。また、前提とした縦４画素の並びを１つの格納単位とした場合、デブロッキングフィルタ処理の垂直エッジの際には、トータルで８回もの読み出しが必要となるため、オーバーラップスムージング処理において垂直エッジを処理した横並びの処理の結果を、縦並びに揃えるための手段が必要となっていた。

本発明は、このような従来の実情に鑑みて提案されたものであり、前段のモジュールと後段のモジュールとの間で効率的にデータを渡すことができる映像信号処理装置及び方法、並びに映像信号復号装置を提供することを目的とする。

上述の課題を解決するために、本発明は、映像信号がブロック単位で符号化されて得られた符号化データを復号する際のブロック境界円滑化処理を行う映像信号処理装置において、復号処理中のデータに対して第１のブロック境界円滑化処理を行う第１のフィルタと、上記第１のフィルタに連続して配置され上記第１のブロック境界円滑化処理されたデータを含むデータに対して第２のブロック境界円滑化処理を行う第２のフィルタと、所定画素単位のデータを並列して書き込み／読み出しを行う所定数のメモリとを有し、上記第１のブロック境界円滑化処理されたデータを含むブロック境界に対して直交する方向に連続する上記所定画素単位のデータがそれぞれ異なるメモリに書き込まれるようにメモリを指定することを特徴とする。

また、本発明は、映像信号がブロック単位で符号化されて得られた符号化データを復号する際のブロック境界円滑化処理を行う映像信号処理方法において、復号処理中のデータに対して第１のブロック境界円滑化処理を行う第１のフィルタ処理工程と、上記第１のフィルタ処理工程に連続して処理を行い上記第１のブロック境界円滑化処理されたデータを含むデータに対して第２のブロック境界円滑化処理を行う第２のフィルタ処理工程とを有し、上記第１のフィルタ処理工程では、上記第１のブロック境界円滑化処理されたデータを含むブロック境界に対して直交する方向に連続する上記所定画素単位のデータを所定数のメモリにそれぞれ並列書き込みし、上記第１のフィルタ処理工程では、上記第２のブロック境界円滑化処理するデータを、上記所定数のメモリから上記所定画素単位で並列読み出しすることを特徴とする。

また、本発明は、映像信号がブロック単位で符号化されて得られた符号化データを逆量子化／逆ＤＣＴ処理すると共に、動き補償を施して復号処理する映像信号復号装置において、上記逆量子化／逆ＤＣＴ処理されたデータと、動き補償されたデータとの加算データが供給され、第１のブロック境界円滑化処理を行う第１のフィルタと、上記第１のフィルタに連続して配置され上記第１のブロック境界円滑化処理されたデータを含むデータに対して第２のブロック境界円滑化処理を行う第２のフィルタと、所定画素単位のデータを並列して書き込み／読み出しを行う所定数のメモリとを有し、上記第１のブロック境界円滑化処理されたデータを含むブロック境界に対して直交する方向に連続する上記所定画素単位のデータがそれぞれ異なるメモリに書き込まれるようにメモリを指定することを特徴とする。

本発明によれば、第１のブロック境界円滑化処理されたデータを含むブロック境界に対して直交する方向に連続する所定画素単位のデータがそれぞれ異なるメモリに書き込まれるようにメモリを指定するため、後段のブロック境界の円滑化処理の際、並び替えを必要とせずに効率的にデータを読み出すことができる。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。

図１は、本発明の実施の形態の一例の構成を概略的に示すブロック図である。ＳＭＴＰＥ ４２１Ｍ（いわゆるＶＣ−１）の規格に基づいてエンコードされたビットストリーム（Bit Stream）信号は、図１に示すようなデコーダシステムに入力され、ビットストリーム構造解析（Parsing）モジュール１１により構造解析され、そのデータの符号化手法により、イントラ（Intra）符号化データとインター（Inter）符号化データとに分類される。イントラ符号化データ及びインター符号化データは、復号画像（Decode Picture）を生成する時のデータの再構成処理が異なる。ビットストリーム構造解析モジュール１１からは動きベクトル（Motion Vector）も出力される。

ビットストリーム構造解析モジュール１１からのイントラ符号化データ及びインター符号化データは、ＡＣ／ＤＣ予測（Prediction）モジュール１２を介して、逆量子化／逆ＤＣＴ（ＩＱ／ＩＤＣＴ）モジュール１３に送られ、逆量子化及び逆ＤＣＴが施される。ビットストリーム構造解析モジュール１１からの動きベクトルは、動きベクトル予測モジュール２１を介して動き補償モジュール２２に送られ、動き補償モジュール２２では、制御部２３により外部メモリから読み出された復号データを用いて動き補償が施される。

ここで、イントラ符号化データは、オーバーラップスムージングフィルタ処理以降ではデータ処理を施されないことから、デブロッキングフィルタ処理の直前までにインター符号化データと加算されれば、デブロッキングフィルタ処理に違いは生じない。この点を考慮し、図１に示すように、オーバーラップスムージングフィルタ３１の直前に加算器２５を設けて、逆量子化／逆ＤＣＴモジュール１３からのイントラ符号化データとインター符号化データの混在したデータに、動き補償モジュール２２からのインター符号化データを加算するようにしている。

加算器２５からの加算データは、オーバーラップスムージングフィルタ３１及びデブロッキングフィルタ３２を一体化したフィルタ処理部３０に送られる。このフィルタ処理部３０内では、イントラ符号化データとインター符号化データとを選別し、それぞれの符号化データに対して必要とされる処理を行う仕組みにすることにより、オーバーラップスムージングフィルタ３１とデブロッキングフィルタ３２とを連続して配置することを可能としている。一体化したことで、２つのフィルタ３１，３２間で処理する時に必要な復号画像（Decode Picture）の重複画素エリア（後述する図２の範囲ＭＸ）を、図１に示すような内部記憶保持領域（例えばＳＲＡＭ等のキャッシュ）のメモリ３３として内部モジュールに格納することで、イントラ符号化データを処理する場合において、外部メモリへのアクセス頻度、データ転送量を削減することが可能なシステムを構成している。

オーバーラップスムージングフィルタ３１及びデブロッキングフィルタ３２を一体化したフィルタ処理部３０は、最初に処理されるべきデータをイントラ符号化データとインター符号化データに選別する手段を有し、オーバーラップスムージングフィルタ処理に必要な一時的なデータを格納する手段及び上記図２２の上部マクロブロック（Above MB）Ａ−ＭＢのデータを一時的に格納する手段であるＳＲＡＭ等のメモリ３４と、デブロッキングフィルタ処理に必要な一時的なデータを格納する手段であるＳＲＡＭ等のメモリ３５及び上部マクロブロックＡ−ＭＢのデータを一時的に格納する手段であるＳＲＡＭ等のメモリ３６と、２つのフィルタ処理に共通のデータを格納する手段である上記メモリ３３とを有している。

ここで、オーバーラップスムージングフィルタ処理及びデブロッキングフィルタ処理に必要とされる画素範囲について、図２を参照しながら説明する。この図２において、前記図２２と共に説明したように、上記２つのフィルタ処理を行うために、現在送られてきているマクロブロック（Current MB）Ｃ−ＭＢと、直前のマクロブロック（Left MB）Ｌ−ＭＢと、現在のマクロブロックＣ−ＭＢに対してピクチャが再構成された時に上部に位置する上部マクロブロック（Above MB）Ａ−ＭＢと、この上部マクロブロックＡ−ＭＢの直前のマクロブロック（Left Above MB）ＬＡ−ＭＢ（ピクチャが再構成された時に上部マクロブロックＡ−ＭＢの左に位置するマクロブロック）の、合計４つのマクロブロックＣ−ＭＢ，Ｌ−ＭＢ，Ａ−ＭＢ，ＬＡ−ＭＢに属するデータを必要とする。本発明の実施の形態となる図１のデコーダシステムのフィルタ処理部３０の場合、上記オーバーラップスムージング処理に必要とされる範囲をＭos、上記デブロッキングフィルタ処理に必要とされる範囲をＭdbにて表しており、これらの２つのフィルタ処理で必要とされる各範囲の間では部分ＭＸが重複している。この重複範囲ＭＸのデータが、フィルタ処理部３０内のメモリ３３に格納される。

フィルタ処理部３０に送られたデータは、最初にイントラ符号化データかインター符号化データで処理方法が選別される。イントラ符号化データの場合、オーバーラップスムージングフィルタ３１にデータが送られ、現在送られてきているマクロブロック（Current MB）Ｃ−ＭＢに属するデータ以外の処理に必要なデータが、図１のＲ１の経路で外部記憶装置（ＳＤＲＡＭなどのメモリ：外部メモリ）から読み込まれる。図１のＲ１の経路で外部メモリから読み込まれるデータは、現在のマクロブロックＣ−ＭＢに対して、上部マクロブロックＡ−ＭＢとその直前のマクロブロックＬＡ−ＭＢのデータである。また、直前のマクロブロックＬ−ＭＢに属しているが、現在のマクロブロックＣ−ＭＢがモジュールに送られてくる今回のタイミングで必要とされるデータは、直前のマクロブロックＬ−ＭＢが現在マクロブロックとして処理される１つ前のタイミングで内部のメモリ３４に格納（図１の経路Ｗ５）しておき、現在のタイミングで図１のＲ５の経路に示すように内部より読み出すような工夫を施すことができる。図１のＲ１とＲ５の経路で読み込まれたデータと、現在のデータ（現在のマクロブロックＣ−ＭＢ）とによってオーバーラップスムージングフィルタ処理されたデータの中で、次のオーバーラップ処理されるマクロブロックの処理に必要なデータは、図１のＷ５の経路でメモリ３４に書き込まれる。また、前記図１５に示すような再構成された画像（Picture）において、下部のマクロブロックＢ−ＭＢが現在マクロブロックとなった時点で最終処理されるべき中間データは、図１のＷ２の経路によって外部メモリに書き込まれる。

さらに、完全に処理が終了したデータは、図１のＷ６の経路に示すようにモジュール内部のデータ格納手段のメモリ３３に書き込まれる。次に、オーバーラップスムージング処理されたデータは、デブロッキングフィルタ処理が行われるが、この時、２つのフィルタ処理で重複する部分のデータは、外部メモリではなく図１のＲ６の経路でメモリ３３から読み出される。

また、デブロッキングフィルタ処理に必要な画素データの中で直前のマクロブロックＬ−ＭＢに属する画素のデータは、メモリ３３に格納するデータ量を調整することで、図３に示すデータ格納構成で直前のマクロブロックＬ−ＭＢと現在のマクロブロックＣ−ＭＢのデータなどを連続して格納し、内部キャッシュのようにモジュール内に保持しておくことで、メモリ３３から読み出すことが可能となる。図３は、実際のハードウェアシステムの都合上とオーバーラップスムージング処理後のデータを書き込むタイミングとデブロッキングフィルタ処理の時に読み出すタイミング上の制約から、メモリ３３の格納サイズとして、マクロブロックサイズとして３つのマクロブロック分（ＭＢ−０，ＭＢ−１，ＭＢ−２）及びこれらの３つのマクロブロックの上部のオーバーラップスムージング処理される２ライン分を用意していることをＭａの範囲として示している。また、オーバーラップスムージング処理とは重複しない部分の上部マクロブロックＡ−ＭＢやその直前のマクロブロックＬＡ−ＭＢに属する復号画像の画素は、図１のＲ３の経路で外部メモリから読み込むことで用意される。デブロッキングフィルタ処理において処理の中間結果は、図１のメモリ３５に一時的に格納される。そして、デブロッキングフィルタ処理が完了したデータは、図１のＷ４の外部メモリに向かう経路で、再構成された復号画像として外部メモリに書き出される。

また、図３において、範囲Ｘosは、オーバーラップスムージング処理が完了する領域を、範囲Ｘdbは、デブロッキングフィルタ処理が完了する領域を示している。そして、３つのマクロブロック（ＭＢ−０，ＭＢ−１，ＭＢ−２）及びこれらの３つのマクロブロックの上部のオーバーラップスムージング処理される２ライン分を含む範囲Ｍａのデータがメモリ３３に内部保留され、マクロブロックＭＢ−０，ＭＢ−１の上部のマクロブロック領域から上記内部保留される２ライン分を除いた範囲Ｍｂのデータが、外部メモリから経路Ｒ３を介してメモリ３６に読み込まれる。また、オーバーラップスムージング処理範囲Ｘos内の上部２ラインの範囲Ｍｃのデータは、オーバーラップスムージング処理時に外部メモリから読み出される。

フィルタ処理部３０の入力側の選別手段によって選別されたインター符号化データは、オーバーラップスムージング処理ブロックではデータの加工は行わずに、イントラ符号化データの時と同様なデータ範囲を図１のメモリ３３に格納する。これによって後段のデブロッキングフィルタブロックではインターかイントラかの違いなく読み出す範囲を処理することが可能となる。以上のような作用から、２つのフィルタ処理ブロック間で共有できるデータ領域を外部メモリに書き出すことと読み込む場合の双方の場合において、外部メモリへのアクセス頻度とデータ量が改善されることが実現できる。同時にレイテンシ（処理のための待ち時間）の大きい外部メモリへのアクセスが削減されることで、このモジュールとしてのレイテンシの改善も実現できる。

次に、本発明の実施の形態のメモリアクセスについて説明する。

図４は、メモリ３３の構成例を示す図である。このメモリ３３は、Ａ〜Ｄの４つの独立したメモリから構成され、Ａ〜Ｄのそれぞれのメモリに同時にデータの書き込み又は読み出しを行うことができる。

また、図５は、メモリ３３のバンクの構成例を示す図である。このメモリ３３は、図３に示す範囲Ｍａのデータ、つまり、１８画素×４８画素となる３つのＭＢサイズに水平２ライン分を持ったサイズで構成される。また、このメモリ３３は、Ｂａｎｋ０〜Ｂａｎｋ２の３つのバンクから構成され、Ｂａｎｋ０、Ｂａｎｋ１、Ｂａｎｋ２の順番でデータが書き込まれる。

また、オーバーラップスムージングフィルタ３１で処理されたデータをＢａｎｋ２に書き込んでいるＭＢタイミングで、Ｂａｎｋ０,１のデータがデブロッキングフィルタ３２に読み出される。この動作は、図５に示すように、メモリ３３をリングバッファのように使用することにより、デブロッキングフィルタ処理のタイミングに関係なく、ＭＢ単位でオーバーラップスムージング処理後のデータを後段に渡すことができる。

ここで、オーバーラップスムージング処理後の画素は、バンクをまたがって書き込まれ、例えば、Ｂａｎｋ０の書き込み時には、図５に示すａの範囲のデータは、Ｂａｎｋ２にａ’として書き込まれる。

図６は、オーバーラップスムージング処理後のデータ格納方法を示す模式図である。このデータ格納方法は、水平方向の２画素を１つの単位（サブパック）として４つ構成（パック）する。つまり、オーバーラップスムージング処理で必要とされる画素と、デブロッキングフィルタ処理で必要とされる画素と、それらの間のずれ（オフセット）の画素との最大公約数である２画素分を１つの単位とし、また、デブロッキングフィルタ処理で必要とされる８画素を効率的に読み出すために４つのメモリで構成する。これにより、メモリ３３への１度の書き込みタイミングによって、４分類されたサブパックを図４に示す独立したメモリＡ〜Ｄにそれぞれ格納することができる。

また、このデータ格納方法は、図６に示すように、垂直エッジ処理又は水平エッジ処理でメモリに記憶するためのパックの構成が異なる。つまり、横並びの２画素を１つのサブパックとした場合、８×８ブロックの上部２画素分及び下部２画素分は、図６のａに示すように縦４画素×横２画素でパックされ、８×８ブロックの上部２画素分及び下部２画素分以外の画素領域は、図６のｂに示すように縦１画素×横８画素でパックされる。このように垂直エッジ処理又は水平エッジ処理でメモリに記憶するためのパックの構成を変えることにより、メモリ３３へのアクセス頻度を減少させることができるとともに、後述のようにインターレースデコードする画像がインターレースの場合にも対応することができる。また、横２画素を１つの単位とした形で記録することにより、オーバーラップスムージング処理後の縦並び、横並びの相違に関係なく、マクロブロック内のデータを全て記録することができる。

図７は、オーバーラップスムージング処理後の垂直エッジにおける縦１画素×横８画素パックを示す模式図である。このパックは、４つのサブパックを横方向に並べたものであり、オーバーラップスムージング処理後のデータは、１つのサブパックが異なるブロックのものとなる。Ａ〜Ｄの４つのメモリへのマッピングは、図７に示すように、Ｂ，Ｃ，Ｄ，Ａの順番でパックして記憶し、次のラインは、Ａ，Ｂ，Ｃ，Ｄの順番でパックして記憶する。

図８は、オーバーラップスムージング処理後の水平エッジにおける縦４画素×横２画素パックを示す模式図である。このパックは、４つのサブパックを縦方向に並べたものであり、オーバーラップスムージング処理後のデータは、２つのサブパックが異なるブロックのものとなる。Ａ〜Ｄの４つのメモリへのマッピングは、図８に示すように、Ｂ，Ｃ，Ｄ，Ａの順番でパックして記憶し、続いて、Ｃ，Ｄ，Ａ，Ｂの順番でパックして記憶する。

また、図９に示すように、縦１画素×横８画素パックと縦４画素×横２画素パックのメモリへのマッピングの関係は、メモリＡに格納されるサブパックａの真下のラインの左のサブパックｂは、現在のメモリの次のメモリ、すなわち、メモリＢを指定する。また、サブパックａと、２ライン下のサブパックｃとは、異なるメモリを指定する。

このようにメモリを指定することにより、オーバーラップスムージング処理されたデータを含むブロック境界に対して直交する方向に４つ連続するサブパックのデータがそれぞれ異なるメモリに書き込まれることになる。したがって、ブロック境界及びサブブロック境界のデブロッキングフィルタ処理に必要とされる画素を効率よく読み出すことができる。さらに、オーバーラップスムージング処理されたデータを含む処理方向に４つ連続するサブパックのデータを、異なるメモリにそれぞれ書き込むようにすることにより、メモリ３３へのアクセス頻度を減少させることができるとともに、後述のようにデコードする画像がインターレースの場合にも対応することができる。

図１０は、図２に示すオーバーラップスムージング処理に必要とされる範囲Ｍosの画素（Ｙ成分）を示す模式図であり、図１１は、空間的画素位置から見たメモリアドレスを示す模式図である。

オーバーラップスムージング処理後の変更画素である、例えば、図１０に示す縦１画素×横８画素パック領域の画素（pY1_6, pY1_7, Y0_0, Y0_1, Y0_2, Y0_3, Y0_4, Y0_5）は、図１１に示すパック（００）ａのように、各サブパックに異なるメモリＡ〜Ｄが割り当てられる。また、図１１のパック（００）ａは、垂直エッジ処理に直前のマクロブロックの画素を用いたため、２つのバンクをまたいでいる。一方、例えば、図１０に示す縦４画素×横２画素パック領域の画素（apY3_54, apY3_55, apY3_62, apY3_63, pY1_6, pY1_7, pY1_14, pY1_15）は、図１１に示すパック（０１）ｂのように、各サブパックに異なるメモリＡ〜Ｄが割り当てられる。

すなわち、２画素単位をサブパックとして、各サブパックを異なるメモリに格納するとともに、デブロッキングフィルタ処理に必要とされる境界の４サブパックを、それぞれ異なるメモリに格納するようにする。これにより、図１１に示すパックｃ１，ｃ２のように、デブロッキングフィルタ処理に必要とされるブロック境界の画素データを２回の読み出しで得ることができる。また、図１１に示すパックｄ１，ｄ２のように、デブロッキングフィルタ処理に必要とされるサブブロック境界の画素データも２回の読み出しで得ることができる。

また、画像をインターレースで再生する場合でも、Ｏｄｄ毎及びＥｖｅｎ毎にエッジ処理が必要になる。図１２は、再生画像がインターレースの場合の空間的画素位置から見たメモリアドレスを示す模式図である。この図１２は、図１０に示すマクロブロックの画素をＯｄｄとＥｖｅｎとに分けたものであって、図１１に示すメモリアドレスをＯｄｄとＥｖｅｎとに並べ替えたものである。このように並べ替えることにより、再生画像がインターレースの場合でも、デブロッキングフィルタ処理に必要とされる画素データを２回の読み出しで得ることができる。例えば、図１２に示すパックａ１，ａ２のように、デブロッキングフィルタ処理に必要とされるブロック境界の画素データを２回の読み出し回数で得ることができる。また、図１１に示すパックｂ１，ｂ２のように、デブロッキングフィルタ処理に必要とされるサブブロック境界の画素データも２回の読み出しで得ることができる。

上記図１０〜１２を用いて説明したオーバーラップスムージング処理後のメモリマッピングは、輝度（Ｙ）成分についてのものであったが、色差（Ｃｂ，Ｃｒ）成分についても同様に処理することができる。

図１３は、オーバーラップスムージング処理に必要とされる範囲の画素（Ｃｂ成分）を示す模式図である。また、図１４は、空間的画素位置から見たメモリアドレスを示す模式図である。オーバーラップスムージング処理後の変更画素は、Ｙ成分と同様に２画素単位をサブパックとし、各サブパックを異なるメモリに格納するとともに、デブロッキングフィルタ処理に必要とされる境界の４サブパックを、それぞれ異なるメモリに格納するようにする。例えば、図１３に示す縦１画素×横８画素パック領域の画素（pCb_22, pCb_23, Cb_16, Cb_17, Cb_18, Cb_19, Cb_20, Cb_21）は、図１４に示すサブパックＤ３６（バンク２），Ｃ３６，Ｂ３６，Ａ３６のように、各サブパックに異なるメモリＡ〜Ｄが割り当てられる。このように格納することにより、デブロッキングフィルタ処理に必要とされる水平エッジ境界の８画素のデータを、例えばａ１，ａ２等の２回のメモリアクセスで読み出すことができる。

また、画像をインターレース再生する場合も、輝度（Ｙ）成分と同様に扱うことで、効率的にメモリから画素データを読み出すことができる。すなわち、図１５に示すように、図１４に示すメモリアドレスをＯｄｄとＥｖｅｎとに並べ替えることにより、デブロッキングフィルタ処理に必要とされる水平エッジ境界の画素データを、例えばａ１，ａ２等の２回の読み出しで得ることができる。

また、Ｃｒ成分については、上述したＣｂ成分と同様である。図１６は、オーバーラップスムージング処理に必要とされる範囲の画素（Ｃｒ成分）を示す模式図であり、図１７は、空間的画素位置から見たメモリアドレスを示す模式図である。オーバーラップスムージング処理後の変更画素は、Ｙ成分と同様に２画素単位をサブパックとし、各サブパックを異なるメモリに格納するとともに、デブロッキングフィルタ処理に必要とされる境界の４サブパックを、それぞれ異なるメモリに格納するようにする。例えば、図１７に示す縦１画素×横８画素パック領域の画素（pCr_22, pCr_23, Cr_16, Cr_17, Cr_18, Cr_19, Cr_20, Cr_21）は、図１７に示すサブパックＤ４４（バンク２），Ｃ４４，Ｂ４４，Ａ４４のように、各サブパックに異なるメモリＡ〜Ｄが割り当てられる。このように格納することにより、デブロッキングフィルタ処理に必要とされる水平エッジ境界の８画素のデータを、例えばａ１，ａ２等の２回のメモリアクセスで読み出すことができる。

また、画像をインターレース再生する場合も、輝度（Ｙ）成分と同様に扱うことで、効率的にメモリから画素データを読み出すことができる。すなわち、図１８に示すように、図１７に示すメモリアドレスをＯｄｄとＥｖｅｎとに並べ替えることにより、デブロッキングフィルタ処理に必要とされる画素データを、例えばａ１，ａ２等の２回の読み出しで得ることができる。

以上説明したような本発明の実施の形態によれば、オーバーラップスムージングフィルタ３１からデブロッキングフィルタ３２にデータを渡す際、オーバーラップスムージングフィルタ処理されたデータを保持しておくメモリ３３が、そのままデブロッキングフィルタ３２の読み出し用メモリとして共用可能となるため、データの並び替えを行うためのメモリが不要となる。

また、オーバーラップスムージングフィルタ処理後のデブロッキングフィルタ処理を考慮したメモリマッピング及びメモリ構成により、デブロッキングフィルタ処理の際の画素読み出しのレイテンシを少なくすることができる。つまり、負荷のかかる読み出しを軽減することができ、高速処理をすることができる。

また、特徴的なメモリマッピングによって、デブロッキングフィルタ処理の際、デコードされる画像がインターレースやプログレッシブのいずれにおいても、またサブマクロブロックが存在していたとしても、ピクチャータイプに依存せず、一定したレイテンシで画素を読み出すことができる。これにより一定した読み出しが可能となることから、システムの例外処理が減少し、安定したシステムとなる。

なお、本発明は、上述した実施の形態のみに限定されるものではなく、例えば、サブパック単位を２画素×２画素としてもよい。また、本発明は、図１９に示すような従来例の装置構成でも実現可能である。すなわち、オーバーラップスムージングフィルタ処理後のデータをデブロッキングフィルタ１７に渡す一時記憶装置で本発明に係るメモリマッピングを行う。また、本発明は、例えばソフトウェアプログラムにより実現することも可能であり、この場合、映像信号を符号化する単位となるマクロブロック毎に符号化データを復号する際に、該マクロブロックを構成する複数のブロックのブロック境界円滑化処理を行わせ、復号処理中のデータを上記ブロック毎に読み込み、該ブロック単位で上記ブロック境界円滑化処理をコンピュータに逐次行わせる。この他、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。

本発明の実施の形態の一例の概略構成を示すブロック図である。 本発明の実施の形態におけるオーバーラップスムージングフィルタ処理及びデブロッキングフィルタ処理に必要とされる画素範囲を示す図である。 オーバーラップスムージング処理される領域及びデブロッキングフィルタ処理される領域を示す図である。 メモリの構成例を示す図である。 メモリのバンクの構成例を示す図である。 オーバーラップスムージング処理後のデータ格納方法を説明するための模式図である。 オーバーラップスムージング処理後の垂直エッジにおける縦１画素×横８画素パックを示す模式図である。 オーバーラップスムージング処理後の水平エッジにおける縦４画素×横２画素パックを示す模式図である。 縦１画素×横８画素パックと縦４画素×横２画素パックのメモリへのマッピングの関係を示す模式図である。 オーバーラップスムージング処理に必要とされる範囲の画素（Ｙ成分）を示す模式図である。 空間的画素位置から見たメモリアドレスを示す模式図である。 再生画像がインターレースの場合の空間的画素位置から見たメモリアドレスを示す模式図である。 オーバーラップスムージング処理に必要とされる範囲の画素（Ｃｂ成分）を示す模式図である。 空間的画素位置から見たメモリアドレスを示す模式図である。 画像をインターレース再生する場合の空間的画素位置から見たメモリアドレスを示す模式図である。 オーバーラップスムージング処理に必要とされる範囲の画素（Ｃｒ成分）を示す模式図である。 空間的画素位置から見たメモリアドレスを示す模式図である。 画像をインターレース再生する場合の空間的画素位置から見たメモリアドレスを示す模式図である。 従来の画像復号装置の概略構成を示すブロック図である。 オーバーラップスムージング処理を説明するための図である。 前段のモジュールからあるいは外部メモリから送られてくるデータの時系列を示す図である。 デコードされた画像とオーバーラップスムージング処理及びデブロッキングフィルタ処理範囲と各マクロブロックとの関係を説明するための図である。 オーバーラップスムージング処理の前後のメモリ操作範囲とマクロブロックとの関係を示す図である。 カラー画像の場合のクロマ信号Ｃｂ，Ｃｒのマクロブロックのオーバーラップスムージング処理される範囲を示す図である。 オーバーラップスムージング処理を説明するための模式図である。 デブロッキングフィルタ処理されるエッジ境界を示す模式図である。 デブロッキングフィルタ処理を説明するための模式図である。

符号の説明

１１ ビットストリーム構造解析モジュール、 １３ 逆量子化／逆ＤＣＴモジュール、 ３１ オーバーラップスムージングフィルタ、 ３２ デブロッキングフィルタ、 ２２ 動き補償モジュール、 ２３ 制御部

Claims (8)

1. 映像信号がブロック単位で符号化されて得られた符号化データを復号する際のブロック境界円滑化処理を行う映像信号処理装置において、
   復号処理中のデータに対して第１のブロック境界円滑化処理を行う第１のフィルタと、
   上記第１のフィルタに連続して配置され上記第１のブロック境界円滑化処理されたデータを含むデータに対して第２のブロック境界円滑化処理を行う第２のフィルタと、
   所定画素単位のデータを並列して書き込み／読み出しを行う所定数のメモリとを有し、
   上記第１のブロック境界円滑化処理されたデータを含むブロック境界に対して直交する方向に連続する上記所定画素単位のデータがそれぞれ異なるメモリに書き込まれるようにメモリを指定することを特徴とする映像信号処理装置。
2. 上記第１のブロック境界円滑化処理は、オーバーラップスムージング処理であり、上記第２のブロック境界円滑化処理は、デブロッキングフィルタ処理であることを特徴とする請求項１記載の映像信号処理装置。
3. 上記第１のブロック境界円滑化処理されたデータを含む処理方向に連続する上記所定画素単位のデータを、上記所定数のメモリにそれぞれ書き込むことを特徴とする請求項１記載の映像信号処理装置。
4. 上記符号化データは、ＳＭＴＰＥ ４２１Ｍの規格に基づいてエンコードされたビットストリーム（Bit Stream）信号であることを特徴とする請求項１記載の映像信号処理装置。
5. 映像信号がブロック単位で符号化されて得られた符号化データを復号する際のブロック境界円滑化処理を行う映像信号処理方法において、
   復号処理中のデータに対して第１のブロック境界円滑化処理を行う第１のフィルタ処理工程と、
   上記第１のフィルタ処理工程に連続して処理を行い上記第１のブロック境界円滑化処理されたデータを含むデータに対して第２のブロック境界円滑化処理を行う第２のフィルタ処理工程とを有し、
   上記第１のフィルタ処理工程では、上記第１のブロック境界円滑化処理されたデータを含むブロック境界に対して直交する方向に連続する上記所定画素単位のデータを所定数のメモリにそれぞれ並列書き込みし、
   上記第１のフィルタ処理工程では、上記第２のブロック境界円滑化処理するデータを、上記所定数のメモリから上記所定画素単位で並列読み出しすることを特徴とする映像信号処理方法。
6. 上記第１のブロック境界円滑化処理は、オーバーラップスムージング処理であり、上記第２のブロック境界円滑化処理は、デブロッキングフィルタ処理であることを特徴とする請求項５記載の映像信号処理方法。
7. 映像信号がブロック単位で符号化されて得られた符号化データを逆量子化／逆ＤＣＴ処理すると共に、動き補償を施して復号処理する映像信号復号装置において、
   上記逆量子化／逆ＤＣＴ処理されたデータと、動き補償されたデータとの加算データが供給され、第１のブロック境界円滑化処理を行う第１のフィルタと、
   上記第１のフィルタに連続して配置され上記第１のブロック境界円滑化処理されたデータを含むデータに対して第２のブロック境界円滑化処理を行う第２のフィルタと、
   所定画素単位のデータを並列して書き込み／読み出しを行う所定数のメモリとを有し、
   上記第１のブロック境界円滑化処理されたデータを含むブロック境界に対して直交する方向に連続する上記所定画素単位のデータがそれぞれ異なるメモリに書き込まれるようにメモリを指定することを特徴とする映像信号復号装置。
8. 上記第１のブロック境界円滑化処理は、オーバーラップスムージング処理であり、上記第２のブロック境界円滑化処理は、デブロッキングフィルタ処理であることを特徴とする請求項７記載の映像信号復号装置。

Images