JP3896814B2 - 動画像復号化方法、動画像復号化装置および動画像復号化処理プログラム - Google Patents
動画像復号化方法、動画像復号化装置および動画像復号化処理プログラム Download PDFInfo
- Publication number
- JP3896814B2 JP3896814B2 JP2001310442A JP2001310442A JP3896814B2 JP 3896814 B2 JP3896814 B2 JP 3896814B2 JP 2001310442 A JP2001310442 A JP 2001310442A JP 2001310442 A JP2001310442 A JP 2001310442A JP 3896814 B2 JP3896814 B2 JP 3896814B2
- Authority
- JP
- Japan
- Prior art keywords
- block
- processing
- zero
- dct coefficient
- blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【発明の属する技術分野】
本発明は、動画像の復号処理を行うための動画像復号化方法、動画像復号化装置および動画像復号化処理プログラムに関する。
【0002】
【従来の技術】
近年、インターネット等のネットワークを通じて動画像の送受信が行われるようになっている。ネットワークを通じて動画像の送受信を行う場合、送信側において動画像を符号化した後に圧縮し、受信側では、受信した圧縮後の動画像を復号化し、歪みを除去するためのフィルタリング処理を施して動画像を復元する。
【0003】
図7は、従来の動画像復号化装置100を示すブロック図である。動画像復号化装置100は、MPEG(Moving Picture Experts Group)−4等に基づく動画像を復号処理する装置である。図7において、動画像復号化装置100は、可変長復号部101、逆スキャン部102、逆AC/DCプレディクト部103、逆量子化部104、逆DCT部105、フレームメモリ106,108、動き補償部107を備えるデコーダ部を有している。さらに、デコーダ部の処理結果は、ポストフィルタ部109に入力され、ポストフィルタ部109の処理結果はフレームメモリ110に記憶される。
【0004】
図7において、復号化装置に入力された動画像データは、可変長復号部101、逆スキャン部102、逆AC/DCプレディクト部103、逆量子化部104、逆DCT部105によって順次処理される。また、動き補償部107は、可変長復号部101から入力される動きベクトルおよび動き補償処理が施された動画像の直前フレーム(フレームメモリ106に記憶されたフレームデータ)を参照して、現フレームの動き補償データを算出し、逆DCT部105の処理結果に加算する。
【0005】
なお、上述の各処理は、動画像の各フレームにおけるマクロブロック単位に行われ、動き補償データが加算されたマクロブロックは、順次、現フレームデータを記憶するためのフレームメモリ108に記憶される。そして、現フレームデータのマクロブロックが全て算出されると、フレームメモリ108のデータは、直前フレームのデータとしてフレームメモリ106にコピーされる。
【0006】
また、動き補償処理が施された現フレームデータ(フレームメモリ108に記憶されたフレームデータ)は、送信側においてデータが圧縮されたことに起因する歪み(ブロックノイズおよびモスキートノイズ)を含んでいる。したがって、動き補償処理が施された現フレームデータには、これらの歪みを除去するために、さらに、ポストフィルタ部109においてポストフィルタリング処理が施される。
【0007】
ここで、ポストフィルタリング処理は、一般に、負荷の大きい処理を行うため、動画像の復号処理に占めるポストフィルタリング処理の比重は高いものである。
したがって、従来、ポストフィルタリング処理を効率的に行う種々の方法が提案されている。
【0008】
例えば、特開平11−98505号公報には、ブロック間の境界周辺の周波数特性に基づいて、フィルタリング処理方法を選択的に切り換える方法が開示されている。この方法によれば、高い画質改善効果を得ることができる。
また、特開平5−308623号公報および特開平6−311499号公報には、復号処理において得られる情報を参照して、各ブロック毎にブロックノイズを除去するためのフィルタリング特性を変化させる技術が開示されている。この方法によれば、ブロック毎により適切なフィルタリングを行うため、処理負荷の低減を図ることができる。
【0009】
【発明が解決しようとする課題】
しかしながら、従来のポストフィルタリング処理において、処理負荷と画質改善効果との関係はトレードオフの関係(双方の好適化が両立しない関係)にあった。
即ち、特開平11−98505号公報に記載された方法では、復号処理が終了したフレームを単位として、フレーム中に含まれる全画素を逐一検査してフィルタリング処理を施すため、各画素をメモリにリード/ライトする回数が多くなり、処理負荷が増大する。
【0010】
また、特開平5−308623号公報および特開平6−311499号公報に記載された方法では、可変長復号処理において取得された情報を利用して、各ブロックにフィルタリング処理を施すため、フィルタリング処理の負荷を低減できるものの、フィルタリング処理を最適に行うことができない。即ち、一般に、ブロックノイズは、各ブロック間の画像の特性の差異に関連して発生するものであるため、各ブロックに対象を限ってフィルタリング処理を施す場合、各ブロックの境界に発生するブロックノイズを適切に除去できない場合があり、画質改善効果が低下する。
【0011】
本発明の課題は、動画像の復号処理において、動画像に含まれる歪みを軽減するためのフィルタリング処理を効率的に行うことである。
【0012】
【課題を解決するための手段】
以上の課題を解決するため、本発明は、
可変長復号処理および逆DCT処理並びに動き補償処理を含む所定処理(例えば、図1の可変長復号部11、逆スキャン部12、逆AC/DCプレディクト部13、逆量子化部14、逆DCT部15および動き補償部17が行う処理)と、該所定処理の処理結果である動画像データに含まれる歪みを軽減させるためのフィルタリング処理とを施して、符号化された動画像の復号化を行う動画像復号化装置であって、前記動画像データのフレームに含まれる処理単位のブロックについて、処理対象ブロックのDCT係数が零であるか否か、および、前記処理対象ブロックに隣接するブロックのDCT係数が零であるか否か、並びに、前記処理対象ブロックの動きベクトルと該隣接するブロックの動きベクトルとが同一であるか否か、を判定する判定部(例えば、図1のポストフィルタ部19)と、前記判定部によって、処理対象ブロックのDCT係数が零であり、かつ、前記隣接するブロックのDCT係数が零であり、かつ、両ブロックの動きベクトルが同一であると判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行わず、処理対象ブロックのDCT係数が零でない、あるいは、該隣接するブロックのDCT係数が零でない、あるいは、両ブロックの動きベクトルが同一ではないと判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行うフィルタ部(例えば、図1のポストフィルタ部19)とを備えることを特徴としている。
【0013】
また、本発明は、
可変長復号処理および逆DCT処理並びに動き補償処理を含む所定処理と、該所定処理の処理結果である動画像データに含まれる歪みを軽減させるためのフィルタリング処理とを施して、符号化された動画像の復号化を行う動画像復号化方法であって、前記動画像データのフレームに含まれる処理単位のブロックについて、処理対象ブロックのDCT係数が零であるか否か、および、前記処理対象ブロックに隣接するブロックのDCT係数が零であるか否か、並びに、前記処理対象ブロックの動きベクトルと該隣接するブロックの動きベクトルとが同一であるか否か、を判定し、処理対象ブロックのDCT係数が零であり、かつ、前記隣接するブロックのDCT係数が零であり、かつ、両ブロックの動きベクトルが同一であると判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行わず、処理対象ブロックのDCT係数が零でない、あるいは、該隣接するブロックのDCT係数が零でない、あるいは、両ブロックの動きベクトルが同一ではないと判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行うことを特徴としている。
【0014】
また、本発明は、
可変長復号処理および逆DCT処理並びに動き補償処理を含む所定処理と、該所定処理の処理結果である動画像データに含まれる歪みを軽減させるためのフィルタリング処理とを施して、符号化された動画像の復号化を行うための動画像復号化処理プログラムであって、前記動画像データのフレームに含まれる処理単位のブロックについて、処理対象ブロックのDCT係数が零であるか否か、および、前記処理対象ブロックに隣接するブロックのDCT係数が零であるか否か、並びに、前記処理対象ブロックの動きベクトルと該隣接するブロックの動きベクトルとが同一であるか否か、を判定する判定機能と、前記判定機能によって、処理対象ブロックのDCT係数が零であり、かつ、前記隣接するブロックのDCT係数が零であり、かつ、両ブロックの動きベクトルが同一であると判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行わず、処理対象ブロックのDCT係数が零でない、あるいは、該隣接するブロックのDCT係数が零でない、あるいは、両ブロックの動きベクトルが同一ではないと判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行うフィルタ機能とをコンピュータに実現させることを特徴としている。
【0015】
また、前記判定部は、前記処理対象ブロックの動きベクトルおよび該隣接するブロックの動きベクトルの縦方向および横方向の成分それぞれの差が、半画素精度における±1画素の範囲内にある場合に、前記動きベクトルが同一であると判定することを特徴としている。
ここで、半画素精度とは、フレーム内において、実際に存在する画素に加え、それらの中間の位置に仮想的な画素を設け、この画素のデータとして、両隣の画素(実在する画素)の平均値を用いる場合に、実在する画素および仮想的な画素を1画素とカウントする画素の算定方法である。
したがって、半画素精度における±1画素の範囲とは、仮想的な画素を考慮した場合に、両隣に位置する画素までの範囲である。
【0016】
また、前記判定部は、処理対象ブロックのDCT係数が零であり、かつ、前記隣接するブロックのDCT係数が零であり、かつ、前記処理対象ブロックの動きベクトルと、該隣接するブロックの動きベクトルとが同一であると判定した場合において、該動きベクトルについて、両ブロックの境界である辺の方向と垂直な成分(例えば、境界である辺をブロックの左の辺とした場合の横方向成分)が、処理単位であるブロックの前記境界である辺に垂直な方向の大きさ(例えば、境界である辺をブロックの左の辺とした場合の横方向の大きさ)の倍数であるか否かをさらに判定し、前記判定部が、該動きベクトルについて、両ブロックの境界である辺の方向と垂直な成分が、処理単位であるブロックの前記境界である辺に垂直な方向の大きさの倍数であると判定した場合には、前記フィルタ部は、処理対象ブロックの前記境界である辺にフィルタリング処理を行い、前記判定部が、該動きベクトルについて、両ブロックの境界である辺の方向と垂直な成分が、処理単位であるブロックの前記境界である辺に垂直な方向の大きさの倍数でないと判定した場合には、前記フィルタ部は、処理対象ブロックの前記境界である辺にフィルタリング処理を行わないことを特徴としている。
【0017】
また、前記フィルタリング処理前のデータを記憶する第1のメモリと、前記フィルタリング処理後のデータを記憶する第2のメモリとを備え、連続する各フレームについて前記フィルタリング処理後のデータを前記第2のメモリに上書きする際、前記判定部は、フィルタリング処理が行われないブロックについて、動きベクトルが零であるか否かをさらに判定し、前記判定部が、動きベクトルが零であると判定した場合には、当該ブロックについて、前記第2のメモリにデータを上書きせずに、残されている前フレームの対応するデータを使用することを特徴としている。
【0040】
本発明によれば、動画像の各ブロックについて所定条件を満たすか否かを判定し、所定条件を満たす場合には、そのブロックのフィルタリング処理を行わない。ここで、所定条件は、フィルタリング処理を施す効果が低いブロックを判定するための条件である。
したがって、動画像の復号化処理においてフィルタリング処理に要する処理負荷を軽減することができ、復号化処理の高速化、消費電力の低減を図ることができる。
【0041】
また、フィルタリング処理を行わないブロックにおいて、動きベクトルが零であるブロックについては、第2のメモリに記憶されたデータに変更がないことから、第1のメモリから第2のメモリにデータを上書きしない。
したがって、ブロックのデータをコピーするための処理負荷を軽減することができ、動画像復号化処理の高速化、低消費電力化を実現することができる。
【0042】
【発明の実施の形態】
以下、図を参照して本発明に係る動画像復号化装置の実施の形態を詳細に説明する。
まず、構成を説明する。
図1は、本発明を適用した動画像復号化装置1の機能構成を示すブロック図である。動画像復号化装置1は、MPEG−4(Moving Picture Experts Group)に基づく動画像を復号処理する装置である。
【0043】
図1において、動画像復号化装置1は、可変長復号部11、逆スキャン部12、逆AC/DCプレディクト部13、逆量子化部14、逆DCT部15、フレームメモリ16a,16b,16c、動き補償部17、加算器18、ポストフィルタ部19とを含んで構成される。
可変長復号部11は、符号化された動画像データが入力され、その動画像データを可変長復号し、復号化したデータ(以下、「可変長復号データ」と言う。)を逆スキャン部12に出力する。
【0044】
また、可変長復号部11は、可変長復号データから動きベクトルやDCT係数といった種々の情報を取得し、動きベクトルを動き補償部17に、動きベクトルやDCT係数といった各種情報をポストフィルタ部19に出力する。
逆スキャン部12は、可変長復号部11から入力される可変長復号データに含まれる情報に基づいて、復号化するマクロブロックのフレーム内における64個のDCT係数の位置を所定の順序に並べ替える。
【0045】
逆DC/ACプレディクト部13は、逆スキャン部12から入力されたマクロブロックのうち、フレーム内符号化されたマクロブロックのAC成分およびDC成分のデータについて、予測符号化されたDC成分および一部のAC成分を予測符号化前の真の値に戻し、そのデータ(以下、「予測前データ」と言う。)を逆量子化部14に出力する。
【0046】
逆量子化部14は、AC/DCプレディクト部13から入力された予測前データを逆量子化し、逆量子化したデータ(以下、「逆量子化データ」と言う。)を逆DCT部15に出力する。
逆DCT部15は、逆量子化部14から入力された逆量子化データを逆離散コサイン変換し、変換後のデータ(以下、「逆DCTデータ」と言う。)を加算器18に出力する。
【0047】
フレームメモリ16aは、逆DCT部15によって出力される逆DCTデータと、動き補償部17によって出力される動き補償データ(後述)とが加算された各マクロブロックを算出された順に記憶し、1フレームのマクロブロックが全て記憶されることにより、ポストフィルタリング処理前の現フレームデータを記憶する。そして、現フレームのマクロブロックが全て算出されると、フレームメモリ16aに記憶されたデータは、前フレームデータとしてフレームメモリにコピーされる。
【0048】
また、フレームメモリ16aに記憶された各マクロブロックは、ポストフィルタ部19によって参照され、ポストフィルタリング処理に利用される。
このとき、後述する条件を満たすと判定されたブロックについては、フレームメモリ16aに記憶される内容と、フレームメモリ16bに記憶される内容とが同一であるためコピーされない。これによって、動画像の復号処理における処理負荷が軽減され、復号処理の高速化を図ることができる。
【0049】
フレームメモリ16bは、フレームメモリ16aからコピーされたフレームデータ(前フレームデータ)を記憶し、動き補償部17によってその記憶内容が参照される。
動き補償部17は、フレームメモリ16bに記憶されている前フレームデータおよび可変長復号部11から入力された動きベクトルに基づいて、マクロブロック単位あるいはブロック単位で動き補償処理を行い、処理結果(以下、「動き補償データ」と言う。)を加算器18に出力する。
【0050】
加算器18は、逆DCT部15から入力された逆DCTデータと、動き補償部17から入力された動き補償データとを加算し、加算結果であるマクロブロックをフレームメモリ16aに記憶する。
ポストフィルタ部19は、可変長復号部11から入力される各ブロック(マクロブロックを構成する8×8のブロック)の各種情報(動きベクトルあるいはDCT係数等のデータ)と、フレームメモリ16aに記憶されたブロックとに基づく所定の条件判定の結果、ポストフィルタリング処理を行うと判定されたブロックについてポストフィルタリング処理を行う。そして、ポストフィルタリング処理を行ったブロックおよび所定の条件を満たさずポストフィルタリング処理が行われなかったブロックをフレームメモリ16cに出力する。
【0051】
ここで、ポストフィルタリング処理を行うか否かの判定条件は、そのブロックのDCT係数が“0”であること(第1の条件)、そのブロックの動きベクトルが左(もしくは上)に隣接するブロックの動きベクトルと同一であること(第2の条件)、そのブロックの動きベクトルの横方向成分が半画素精度で16の倍数(全画素精度で8の倍数)でないこと(第3の条件)を基本とし、これらの条件すべてを満たすブロックについては、ポストフィルタリング処理を行わないものとする。なお、これらの条件については、後に詳述する。
【0052】
また、判定対象となるブロックに対し、左および上に位置するブロックとの関係を順次判定することとする。したがって、上述の判定条件を各ブロックの左の辺および上の辺に隣接するブロックについてそれぞれ判定し、ポストフィルタリング処理を行う場合には、これらのブロックとの境界となる各辺についてフィルタリング処理が施される。
【0053】
フレームメモリ16cは、ポストフィルタ部19から入力されるブロックを順次記憶し、1フレームのデータ全てが記憶されると、そのフレームデータを復号化された動画像の1フレーム(動画像復号化装置1の出力)として出力する。
次に、動画像復号化装置1において、各ブロックのポストフィルタリング処理を行うか否かを判定する際の判定条件について説明する。
【0054】
一般に、ポストフィルタは、多くの画素の参照、条件判定あるいは代入といった処理を伴うため、上述の通り、処理負荷が大きいものである。
図2は、MPEG−4に基づく動画像の復号処理およびポストフィルタリング処理における処理負荷の例を示す図である。図2によれば、ポストフィルタリング処理は、復号処理に比べて処理負荷が高く、動画像一般に同様の結果が得られる。したがって、本発明においては、復号されるフレーム内の各ブロックについて、ポストフィルタリング処理を行うか否かの条件判定を行い、条件に適合するもののみをポストフィルタリング処理することによってポストフィルタリング処理に要する処理負荷を軽減することとする。
【0055】
まず、第1の条件を設ける理由について説明する。
符号化された動画像の伝送において、各ブロックのDCT係数はブロック間差分データが伝送される。ここで、8×8のブロックにおける64個のDCT係数が全て“0”であるブロック(以下、「零DCTブロック」と言う。)は、参照フレームにおける参照位置のブロックと類似するブロックであり、動画像の場合、このような関係にあるブロックが高い割合を占める。そして、零DCTブロックには、一般的にブロックノイズがない場合が多いと考えられる。
【0056】
図3は、QCIF(Quarter Common Intermediate Format)サイズのサンプルフレームを15fps(frame per second)で符号化した場合において、零DCTブロックとなる割合の例を示す図である。図3によれば、全ブロックのうち、約70〜80%が零DCTブロックとなっている。
したがって、これら零DCTブロックについてはポストフィルタリング処理を行うことによる画質改善効果が低いものと考えられることから、第1の条件を設けることとする。
【0057】
次に、第2の条件を設ける理由について説明する。
第1の条件において、零DCTブロックについてはポストフィルタリング処理を行わないものとしたが、この判定条件のみに従う場合、即ち、零DCTブロック以外のブロックについてのみフィルタリング処理を行った場合、画質改善効果が十分には得られない場合が生じ得る。
【0058】
その主な原因は、動き補償処理において、異なる動きベクトルに基づいて前フレームデータが参照されたことによる。
図4は、条件の判定対象となるブロックが、左に隣接するブロックと異なる動きベクトルに基づいて動き補償処理が行われた状態を示す図である。図4において、条件の判定対象であるブロック(以下、「現ブロック」と言う。)の左隣に位置するブロック(以下、「左ブロック」と言う。)は、参照フレームのブロックb1を参照している。一方、現ブロックは、参照フレームのブロックb2を参照している。そして、ブロックb1およびブロックb2は、参照フレームにおいて、それぞれ隣接するブロックではないことから、これらは厳密に連続するブロックではない。
【0059】
即ち、現ブロックと左ブロックが零DCTブロック(それぞれのDCT係数が全て“0”)であっても、これは量子化によって多くの情報量が削減された結果零DCTブロックとなったものであることから、参照フレームにおいて実際に隣接するブロックでない場合には、ブロックノイズを発生させる原因となる。
そこで、第1の条件に加え、左(もしくは上)に隣接するブロックの動きベクトルと、判定対象となるブロックの動きベクトルとが同一の場合にのみ、ポストフィルタリング処理を行わないものとするため、第2の条件を設けることとする。
【0060】
ただし、第2の条件において、動きベクトルの同一性の条件を緩和するため、動きベクトルの縦方向および横方向の成分それぞれを比較する場合に、半画素精度で±1の範囲にある場合には、その成分は一致するとの条件を付加することとする。
これは次のような理由による。
【0061】
動きベクトルの参照先は、参照フレームの画素間(即ち、半画素精度の奇数行あるいは奇数列に位置する画素)となる場合がある。この場合、参照される画素として、両隣の画素の平均値が用いられる。したがって、縦方向あるいは横方向に半画素精度で±1の範囲にある画素は互いに関連性があることから、動きベクトルの各成分が半画素精度で±1の範囲である場合には、動きベクトルが同一であると判定するものとする。
【0062】
次に、第3の条件を設ける理由について説明する。
第1の条件によって、判定対象であるブロックと、隣接するブロックとが零DCTブロックであると判定され、さらに、第2の条件によって、判定対象であるブロックの動きベクトルと、隣接するブロックの動きベクトルとが同一であると判定された場合であっても、動きベクトルの横方向あるいは縦方向の成分が半画素精度で16の倍数である場合には、参照先のブロックは、参照フレームにおけるブロックの境界であるため、ブロックノイズの原因となり得る。なお、判定対象となるブロックに対し、左に隣接するブロックとの関係については動きベクトルの横方向成分が問題となり、上に隣接するブロックとの関係については動きベクトルの縦方向成分が問題となる。
【0063】
即ち、動画像の復号化処理において、現フレームの復号における参照フレームは、ポストフィルタリング処理が施されていない状態の前フレームである。したがって、参照フレームにはブロックノイズ等の歪みが軽減されることなく含まれており、この参照フレームにおけるブロック境界と現フレームにおけるブロック境界が一致することとなる場合には、その境界(辺)にはポストフィルタリング処理を施す必要がある。そこで、第3の条件を設けることとする。
【0064】
さらに、動画像復号化処理における処理負荷の軽減を図るため、上述の第1から第3の条件の他、フレームメモリ16aからフレームメモリ16cにブロックをコピーする条件として、以下の条件を付加することとする。
動画像復号化処理において、フレームメモリ16aにはポストフィルタリング処理前のフレームデータが記憶され、これらのうち、ポストフィルタリング処理を行うと判定されたブロックのみがフィルタリング処理される。ここで、フレームメモリ16cには、前フレームのデータに現フレームのデータが順次上書きされる。一方、ポストフィルタリング処理が施されないブロックのうち、現ブロックの動きベクトルが“0”であるブロックは、フレームメモリ16aの対応する位置のブロックと同一のデータとなる。
【0065】
したがって、フレームメモリ16aに記憶されたブロックのうち、第1から第3の条件を満たす上、さらに、現ブロックの動きベクトルが“0”であるブロックについては、フレームメモリ16cに残されている前フレームのデータを用いることとし、ブロックのコピーに要する処理負荷を軽減することとする。
以上に述べた条件を整理すると、▲1▼零DCTブロック以外のブロックにはポストフィルタリング処理を行う。▲2▼現ブロックおよび左に隣接するブロック(上に隣接するブロック)が共に零DCTブロックであり、動きベクトルが同一であれば、そのブロックとの境界である辺にはポストフィルタリング処理を行わない。ただし、動きベクトルの同一とは、縦方向および横方向の成分について、半画素精度で±1の範囲を含む。▲3▼左に隣接するブロックとの間で条件▲1▼,▲2▼を満たす場合でも、動きベクトルの横方向成分が半画素精度で16の倍数であればポストフィルタリング処理を行う。同様に、上に隣接するブロックとの間で条件▲1▼,▲2▼を満たす場合でも、動きベクトルの縦方向成分が半画素精度で16の倍数であればポストフィルタリング処理を行う。▲4▼条件▲1▼〜▲3▼によってポストフィルタリング処理を行わないと判定されたブロックについて、さらに動きベクトルが“0”であるブロックについては、ポストフィルタリング処理前のブロックが記憶されるフレームメモリ16aからポストフィルタリング処理後のブロックが記憶されるフレームメモリ16cにそのブロックのデータをコピーしない。
【0066】
以上のように、本発明を適用した動画像復号化装置1は、動画像の各ブロックについて所定条件(条件▲1▼〜▲3▼)を満たすか否かを判定し、所定条件を満たす場合には、そのブロックのポストフィルタリング処理を行わない。ここで、所定条件は、ポストフィルタリング処理を施す効果が低いブロックを判定するための条件である。
【0067】
したがって、動画像の復号化処理においてポストフィルタリング処理に要する処理負荷を軽減することができ、復号化処理の高速化、消費電力の低減を図ることができる。
図5は、ポストフィルタリング処理における処理負荷と画質改善効果との関係を示す図である。図5において、点線で示す特性は、従来の方法によって処理負荷を軽減した場合を示し、実線で示す特性は、本発明を用いて処理負荷を軽減した場合を示している。
【0068】
図5によれば、ポストフィルタリング処理において、処理負荷と画質改善効果との関係はトレードオフの関係にあるものの、本発明を適用した場合、処理負荷の軽減に対する画質改善効果の低下の割合を縮小させることができる。
また、図6は、動画像の復号処理、従来のポストフィルタリング処理および本発明を適用したポストフィルタリング処理の負荷の例を示す図である。
【0069】
図6によれば、種々のサンプルデータにおいて、本発明を適用したポストフィルタリング処理は、従来のポストフィルタリング処理に比べ、処理負荷の軽減を実現している。
また、本発明を適用した動画像復号化装置1は、ポストフィルタリング処理を行わないブロックにおいて、動きベクトルが“0”であるブロックについては、フレームメモリ16cに記憶されたデータに変更がないことから、フレームメモリ16aからフレームメモリ16cにデータをコピーしない。
【0070】
したがって、ブロックのデータをコピーするための処理負荷を軽減することができ、動画像復号化処理の高速化、低消費電力化を実現することができる。
また、本発明を適用した動画像復号化装置1は、ポストフィルタリング処理の種類に依存することなく、種々のポストフィルタに対して適用が可能である。
なお、本実施の形態においては、条件▲1▼〜▲3▼の全てについて条件判定を行うこととして説明したが、条件▲1▼〜▲3▼のいずれか単独で判定し、ポストフィルタリング処理を行うか否かを決定した場合にも、一定の効果を得ることができるものである。
【0071】
【発明の効果】
本発明によれば、動画像の各ブロックについて所定条件を満たすか否かを判定し、所定条件を満たす場合には、そのブロックのフィルタリング処理を行わない。ここで、所定条件は、フィルタリング処理を施す効果が低いブロックを判定するための条件である。
【0072】
したがって、動画像の復号化処理においてフィルタリング処理に要する処理負荷を軽減することができ、復号化処理の高速化、消費電力の低減を図ることができる。
また、フィルタリング処理を行わないブロックにおいて、動きベクトルが零であるブロックについては、第2のメモリに記憶されたデータに変更がないことから、第1のメモリから第2のメモリにデータを上書きしない。
したがって、ブロックのデータをコピーするための処理負荷を軽減することができ、動画像復号化処理の高速化、低消費電力化を実現することができる。
【図面の簡単な説明】
【図1】本発明を適用した動画像復号化装置1の機能構成を示すブロック図である。
【図2】MPEG−4に基づく動画像の復号処理およびポストフィルタリング処理における処理負荷の例を示す図である。
【図3】QCIF(Quarter Common Intermediate Format)サイズのサンプルフレームを15fps(frame per second)で符号化した場合において、零DCTブロックとなる割合の例を示す図である。
【図4】条件の判定対象となるブロックが、左に隣接するブロックと異なる動きベクトルに基づいて動き補償処理が行われた状態を示す図である。
【図5】ポストフィルタリング処理における処理負荷と画質改善効果との関係を示す図である。
【図6】動画像の復号処理、従来のポストフィルタリング処理および本発明を適用したポストフィルタリング処理の負荷の例を示す図である。
【図7】従来の動画像復号化装置100を示すブロック図である。
【符号の説明】
1,100 動画像復号化装置
11,101 可変長復号部
12,102 逆スキャン部
13,103 逆AC/DCプレディクト部
14,104 逆量子化部
15,105 逆DCT部
16a,16b,16c フレームメモリ
106,108,110 フレームメモリ
17,107 動き補償部
18 加算器
19,109 ポストフィルタ部
Claims (6)
- 可変長復号処理および逆DCT処理並びに動き補償処理を含む所定処理と、該所定処理の処理結果である動画像データに含まれる歪みを軽減させるためのフィルタリング処理とを施して、符号化された動画像の復号化を行う動画像復号化装置であって、
前記動画像データのフレームに含まれる処理単位のブロックについて、処理対象ブロックのDCT係数が零であるか否か、および、前記処理対象ブロックに隣接するブロックのDCT係数が零であるか否か、並びに、前記処理対象ブロックの動きベクトルと該隣接するブロックの動きベクトルとが同一であるか否か、を判定する判定部と、
前記判定部によって、処理対象ブロックのDCT係数が零であり、かつ、前記隣接するブロックのDCT係数が零であり、かつ、両ブロックの動きベクトルが同一であると判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行わず、処理対象ブロックのDCT係数が零でない、あるいは、該隣接するブロックのDCT係数が零でない、あるいは、両ブロックの動きベクトルが同一ではないと判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行うフィルタ部と、
を備えることを特徴とする動画像復号化装置。 - 前記判定部は、前記処理対象ブロックの動きベクトルおよび該隣接するブロックの動きベクトルの縦方向および横方向の成分それぞれの差が、半画素精度における±1画素の範囲内にある場合に、前記動きベクトルが同一であると判定することを特徴とする請求項1記載の動画像復号化装置。
- 前記判定部は、処理対象ブロックのDCT係数が零であり、かつ、前記隣接するブロックのDCT係数が零であり、かつ、前記処理対象ブロックの動きベクトルと、該隣接するブロックの動きベクトルとが同一であると判定した場合において、該動きベクトルについて、両ブロックの境界である辺の方向と垂直な成分が、処理単位であるブロックの前記境界である辺に垂直な方向の大きさの倍数であるか否かをさらに判定し、
前記判定部が、該動きベクトルについて、両ブロックの境界である辺の方向と垂直な成分が、処理単位であるブロックの前記境界である辺に垂直な方向の大きさの倍数であると判定した場合には、前記フィルタ部は、処理対象ブロックの前記境界である辺にフィルタリング処理を行い、
前記判定部が、該動きベクトルについて、両ブロックの境界である辺の方向と垂直な成分が、処理単位であるブロックの前記境界である辺に垂直な方向の大きさの倍数でないと判定した場合には、前記フィルタ部は、処理対象ブロックの前記境界である辺にフィルタリング処理を行わないことを特徴とする請求項1または2記載の動画像復号化装置。 - 前記フィルタリング処理前のデータを記憶する第1のメモリと、前記フィルタリング処理後のデータを記憶する第2のメモリとを備え、連続する各フレームについて前記フィルタリング処理後のデータを前記第2のメモリに上書きする際、前記判定部は、フィルタリング処理が行われないブロックについて、動きベクトルが零であるか否かをさらに判定し、前記判定部が、動きベクトルが零であると判定した場合には、当該ブロックについて、前記第2のメモリにデータを上書きせずに、残されている前フレームの対応するデータを使用することを特徴とする請求項1〜3のいずれかに記載の動画像復号化装置。
- 可変長復号処理および逆DCT処理並びに動き補償処理を含む所定処理と、該所定処理の処理結果である動画像データに含まれる歪みを軽減させるためのフィルタリング処理とを施して、符号化された動画像の復号化を行う動画像復号化方法であって、
前記動画像データのフレームに含まれる処理単位のブロックについて、処理対象ブロックのDCT係数が零であるか否か、および、前記処理対象ブロックに隣接するブロックのDCT係数が零であるか否か、並びに、前記処理対象ブロックの動きベクトルと該隣接するブロックの動きベクトルとが同一であるか否か、を判定し、処理対象ブロックのDCT係数が零であり、かつ、前記隣接するブロックのDCT係数が零であり、かつ、両ブロックの動きベクトルが同一であると判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行わず、処理対象ブロックのDCT係数が零でない、あるいは、該隣接するブロックのDCT係数が零でない、あるいは、両ブロックの動きベクトルが同一ではないと判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行うことを特徴とする動画像復号化方法。 - 可変長復号処理および逆DCT処理並びに動き補償処理を含む所定処理と、該所定処理の処理結果である動画像データに含まれる歪みを軽減させるためのフィルタリング処理とを施して、符号化された動画像の復号化を行うための動画像復号化処理プログラムであって、
前記動画像データのフレームに含まれる処理単位のブロックについて、処理対象ブロックのDCT係数が零であるか否か、および、前記処理対象ブロックに隣接するブロックのDCT係数が零であるか否か、並びに、前記処理対象ブロックの動きベクトルと該隣接するブロックの動きベクトルとが同一であるか否か、を判定する判定機能と、
前記判定機能によって、処理対象ブロックのDCT係数が零であり、かつ、前記隣接するブロックのDCT係数が零であり、かつ、両ブロックの動きベクトルが同一であると判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行わず、処理対象ブロックのDCT係数が零でない、あるいは、該隣接するブロックのDCT係数が零でない、あるいは、両ブロックの動きベクトルが同一ではないと判定された場合には、両ブロックの境界である辺についてフィルタリング処理を行うフィルタ機能と、
をコンピュータに実現させることを特徴とする動画像復号化処理プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001310442A JP3896814B2 (ja) | 2001-10-05 | 2001-10-05 | 動画像復号化方法、動画像復号化装置および動画像復号化処理プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001310442A JP3896814B2 (ja) | 2001-10-05 | 2001-10-05 | 動画像復号化方法、動画像復号化装置および動画像復号化処理プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2003116132A JP2003116132A (ja) | 2003-04-18 |
JP2003116132A5 JP2003116132A5 (ja) | 2005-06-23 |
JP3896814B2 true JP3896814B2 (ja) | 2007-03-22 |
Family
ID=19129414
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001310442A Expired - Lifetime JP3896814B2 (ja) | 2001-10-05 | 2001-10-05 | 動画像復号化方法、動画像復号化装置および動画像復号化処理プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3896814B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
MXPA04002265A (es) | 2002-07-11 | 2004-06-29 | Matsushita Electric Ind Co Ltd | Metodo de determinacion de resistencia de filtracion, metodo de codificacion de pelicula y metodo de decodificacion de pelicula. |
EP1646243B1 (en) | 2004-09-30 | 2009-06-24 | Kabushiki Kaisha Toshiba | Information processing apparatus and program for use in the same |
US8619880B2 (en) | 2007-10-10 | 2013-12-31 | Qualcomm Incorporated | Universal blockiness correction |
-
2001
- 2001-10-05 JP JP2001310442A patent/JP3896814B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2003116132A (ja) | 2003-04-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1246131B1 (en) | Method and apparatus for the reduction of artifact in decompressed images using post-filtering | |
KR101227667B1 (ko) | 오버랩 평활화 및 인-루프 디블록킹의 구분적 프로세싱 | |
KR101238974B1 (ko) | 비디오 코더 및 디코더 공동 최적화를 위한 방법 및 시스템 | |
US7738564B2 (en) | Filter for eliminating discontinuity of block-based encoded image, and method thereof | |
JP2002531971A (ja) | 画像の境界にまたがる画素値間の相違を減少させるための画像処理回路及び方法 | |
JP3896814B2 (ja) | 動画像復号化方法、動画像復号化装置および動画像復号化処理プログラム | |
JPH07336684A (ja) | 画像信号復号化装置 | |
JPH09149417A (ja) | 動画像信号復号化装置 | |
JP3637259B2 (ja) | 動画像解析処理方法及び装置 | |
JP2000156864A (ja) | 動画像復号処理装置 | |
JP5298487B2 (ja) | 画像符号化装置、画像復号化装置、および画像符号化方法 | |
WO1999060773A2 (en) | Encoding an information stream organized as a sequence of pictures | |
JPH0898178A (ja) | 画像符号化装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20041005 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041005 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041005 |
|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20041005 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060803 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060829 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061030 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20061128 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20061211 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 3896814 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100105 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110105 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110105 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120105 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120105 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130105 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130105 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140105 Year of fee payment: 7 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
SZ02 | Written request for trust registration |
Free format text: JAPANESE INTERMEDIATE CODE: R313Z02 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S131 | Request for trust registration of transfer of right |
Free format text: JAPANESE INTERMEDIATE CODE: R313135 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |