JP2000299859A - 画像復号化装置 - Google Patents

Abstract

(57)【要約】 【課題】 不必要又は有害なブロックノイズ除去処理を
抑制することにより、復号画像の画質を向上させる。 【解決手段】 符号化対象たる画像を複数のブロックに
分割するとともに、各ブロックに対してＤＣＴ変換及び
量子化を施すことにより生成される符号化データを復号
する。この際、ノイズ除去要否判断部２０では、ＤＣＴ
変換により得られる各ブロックのＤＣＴ係数に基づきブ
ロックノイズを除去する必要があるか否かをブロック毎
に判断する。また、ノイズ判定部２２では、逆ブロック
化部１８からの出力画像を構成する画素に与えられた画
素値に基づき、各ブロックにブロックノイズが含まれて
いるか否かを判断する。そして、ノイズ除去部２４ａで
は、ブロックノイズを除去する必要があると判断される
ブロックについて、そこにブロックノイズが含まれてい
ると判断されれば、ブロックノイズを除去する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は画像復号化装置に関
し、特に画像を複数ブロックに分割して非可逆符号化し
た場合に復号画像に生じるブロックノイズを好適に除去
するための技術に関する。

【０００２】

【従来の技術】Ｈ．２６３やＭＰＥＧ−２に代表される
動画像圧縮伸張方式では、原画像データを直行変換の一
種である離散コサイン変換（ Discrete Cosine Transfo
rm ：ＤＣＴ）により変換し、空間周波数の低い画像成
分（低周波成分）にデータを集中させた後、データ圧縮
を行う。ＤＣＴを画像へ用いる場合、８画素×８画素を
１ブロックとして２次元ＤＣＴを用い、変換画像（ＤＣ
Ｔ係数により表される）を量子化し、さらに可変長符号
化する。

【０００３】図２は、かかる動画像圧縮伸張方式を採用
する画像符号化装置の構成を示しており、図３は、同方
式を採用する画像復号化装置の構成を示している。図２
に示すように、この画像符号化装置１００は、ブロック
化部１０８と、ＤＣＴ変換部１０６と、量子化部１０４
と、可変長符号化部１０２と、を含んで構成されてい
る。ブロック化部１０８は入力画像を８画素×８画素の
ブロックに分割する。また、ＤＣＴ変換部１０６は各ブ
ロックにＤＣＴ変換を施し、ＤＣＴ係数を出力する。Ｄ
ＣＴ係数は、図４に示すような順序で水平空間周波数成
分及び垂直空間周波数の両成分につき低いものから高い
ものに向けてジグザグにスキャンされ、一次元に整列さ
れる。その後、量子化部１０４ではＤＣＴ係数全体を所
定量子化ステップで除算して剰余を丸め、それらを小さ
な値で再表現する。この際、高周波成分は０で埋められ
ることが多くなるため、最後の０でない係数の後に終了
符号であるＥＯＢ（ End of Block ）を付加することに
より、圧縮率を向上させる。また、可変長符号化部１０
２では量子化されたＤＣＴ係数を可変長符号化して符号
化データを生成し、それを出力する。

【０００４】一方、図３に示すように、画像復号化装置
１１０は、可変長復号化部１２と、逆量子化部１４と、
逆ＤＣＴ変換部１６と、逆ブロック化部１８と、を含ん
で構成されている。可変長復号化部１２には画像符号化
装置１００から出力された符号化データが入力され、そ
れを可変長復号化し、量子化されたＤＣＴ係数を出力す
る。逆量子化部１４では可変長復号化部１２からの出力
に所定量子化ステップを乗算してＤＣＴ係数を得る。こ
の際、画像符号化装置１００の量子化部１０４では所定
量子化ステップでＤＣＴ係数全体を除算するときに剰余
を丸めてしまっているため、逆量子化部１４で量子化ス
テップを乗算しても元のＤＣＴ係数は復元されず、近似
値に留まる。すなわち、画像符号化装置１００での画像
圧縮は非可逆符号化となる。逆ＤＣＴ変換部１６では復
元されたＤＣＴ係数を用いてブロック毎の逆ＤＣＴ変換
が行われ、逆ブロック化部１８では、逆ＤＣＴ変換部１
６で得られるブロック単位の画像を合成して復号画像を
生成し、それを外部に出力する。

【０００５】

【発明が解決しようとする課題】しかしながら、かかる
方式では、画像を複数のブロックに分割し、ブロック単
位で非可逆符号化を施しているため、特に量子化ステッ
プが比較的粗い場合には、復号画像においてブロックの
境目に色差が出てしまい、復号画像の画質を低下させて
しまうという不具合がある。これはブロックノイズと呼
ばれ、とくに平坦な画像部分において目立ちやすい。

【０００６】これに対し、従来技術では、例えばある注
目ブロックの縁を構成する画素と、隣接するブロックの
縁を構成する画素と、の色差が所定判断基準よりも大き
い場合等に、ブロックノイズが発生していると判断し、
その場合には画素値（色情報等）を補間する等してブロ
ックノイズを除去していた。図５は、この従来技術に係
る画像復号化装置の構成を示す図である。同図に示す画
像復号化装置１１２は、図３に示す画像復号化装置１１
０の最終処理段である逆ブロック化部１８に、ノイズ判
定部２２とノイズ除去部２４とをこの順でさらに付加し
た構成を有する。かかる画像復号化装置１１２におい
て、ノイズ判定部２２では例えば上記方法等、画素値を
参考にブロックノイズの有無を調べ、ブロックノイズが
あれば後段のノイズ除去部２４が画素補間等により、そ
れを除去する。こうすれば、ノイズ除去部２４から出力
される復号画像においては、ブロックノイズが目立たな
いようになる。

【０００７】ところが、ブロックノイズが発生している
か否かを判断する際の上記所定判断基準を緩くして出来
るだけブロックノイズが除去されるようにすると、誤っ
てブロックノイズを含まないブロックについてもブロッ
クノイズ除去処理がなされてしまう場合も生じる。

【０００８】ここで、かかる不具合を図６〜８により説
明する。図６は逆ブロック化部１８の出力画像の一例で
ある復号画像１１４を示している。同図において、中央
の木の絵柄の周囲に表されている点線はモスキートノイ
ズである。すなわち、上記動画像圧縮伸張方式ではＤＣ
Ｔ変換及び量子化により原画像から高周波成分がカット
されるため、同図の木の絵柄の周縁など原画像において
色調が急激に変化する部分が復号画像において良好に復
元されず、その部分に周囲と色差のある画素が現れてし
まう。かかる画素はモスキートノイズと呼ばれ、同図の
点線はそれを表している。同図に示す復号画像１１４の
うち、矢印Ａに示すブロックを中心とする８ブロック分
の画像を図７に示す。また、矢印Ｂに示すブロックを中
心とする８ブロック分の画像を図８に示す。

【０００９】図７に示される画像部分は復号画像１１４
のうち木の絵柄の背景である青空の一部を表しており、
比較的平坦な画像である。このような画像ではブロック
ノイズが目立ちやすい。そして、上記ノイズ判定部２２
では中央のブロックＡを構成する画素に与えられた画素
値と、その周囲のブロックを構成する画素に与えられた
画素値と、を比較してブロックノイズの有無を判断し、
ブロックノイズであればノイズ除去部２４にて除去処理
がなされる。

【００１０】一方、図８に示される画像部分は復号画像
１１４のうち木の頂部周辺の絵柄を表しており、空間相
関の低い画像である。このような画像では図中黒点で示
されるモスキートノイズも含まれることも多い。そし
て、上記ノイズ判定部２２では、図７の場合と同様に、
中央のブロックＢを構成する画素に与えられた画素値
と、その周囲のブロックを構成する画素に与えられた画
素値と、を比較してブロックノイズの有無を判断し、ブ
ロックノイズであればノイズ除去部２４にて除去処理を
している。この場合、判断アルゴリズムの種類やそこで
用いる閾値の設定によっては、同図のブロックＢにもブ
ロックノイズが含まれると判断される場合もあり得る。
そして、このようにブロックＢがブロックノイズを含む
と誤判されれば、そこに含まれるモスキートノイズの影
響がブロックＢを構成する周辺画素にまで及び、ノイズ
除去部２４から出力される復号画像を却って乱してしま
うこともある。

【００１１】もちろん、ブロックノイズが発生している
か否かを判断する際の判断基準を厳しく設定し、モスキ
ートノイズ等による誤判が生じないようにすることもで
きる。しかしながら、そうすると今度は図７に示すよう
な本当にブロックノイズが発生している場合にも、正し
く除去されない場合も出てくる。

【００１２】本発明は上記課題に鑑みてなされたもので
あって、その目的は、不必要又は有害なブロックノイズ
除去処理を抑制することにより、復号画像の画質を向上
させることができる画像復号化装置を提供することにあ
る。

【００１３】

【課題を解決するための手段】上記課題を解決するため
に、本発明に係る画像復号化装置は、符号化対象たる画
像を複数のブロックに分割するとともに、各ブロックに
対して直交変換を含む非可逆符号化処理を施すことによ
り生成される符号化データを復号し、復号画像を生成す
る画像復号化装置であって、前記直交変換により得られ
る各ブロックの空間周波数成分情報に基づき、ブロック
ノイズを除去する必要があるか否かをブロック毎に判断
する第１の判断手段と、復号画像を構成する画素に与え
られた画素値に基づき、各ブロックにブロックノイズが
含まれているか否かを判断する第２の判断手段と、前記
第１の判断手段によりブロックノイズを除去する必要が
あると判断されるブロックについて、前記第２の判断手
段によりブロックノイズが含まれていると判断されれ
ば、該ブロックノイズを除去するブロックノイズ除去手
段と、を含むことを特徴とする。

【００１４】また、本発明の一態様では、前記第１の判
断手段は、空間周波数成分情報に基づき、あるブロック
の画像に含まれる高周波成分が所定基準よりも少ないと
判断される場合に、ブロックノイズを除去する必要があ
ると判断することを特徴とする。

【００１５】本発明によれば、符号化対象たる画像は複
数ブロックに分割され、それらブロック毎に直行変換を
含む非可逆符号化処理が施される。こうして生成される
符号化データを復号する際、前記第１の判断手段によ
り、例えば逆量子化を済ませたＤＣＴ係数や量子化され
たままのＤＣＴ係数などの各ブロックの空間周波数成分
情報に基づき、ブロックノイズを除去する必要があるか
否かをブロック毎に判断する。例えば、あるブロックの
画像が所定基準よりも高周波成分を多く含む場合には、
その画像の空間相関が低くブロックノイズが目立ちにく
い。この場合にはブロックノイズを除去する必要性がな
いと判断する。別の観点から見ても、高周波成分を多く
含む場合には、そのブロックにモスキートノイズが含ま
れている可能性が高く、そのようなブロックに対しては
ブロックノイズを除去する必要性がないと判断する方
が、むしろ好ましいのである。

【００１６】さらに本発明では、第２の判断手段によ
り、復号画像を構成する画素に与えられた画素値に基づ
き、各ブロックにブロックノイズが含まれているか否か
を判断する。そして、ブロックノイズ除去の必要がある
と判断されるブロックにつき、そこに画素値に基づきブ
ロックノイズが含まれていると判断されれば、そのブロ
ックノイズを除去する。

【００１７】このように、各ブロックについて空間周波
数情報に基づいてブロックノイズ除去の必要性を調べ、
必要性があると判断されるブロックに対しては、画素値
に基づくブロックノイズの有無の判断に従ってブロック
ノイズを除去すれば、ブロックノイズ除去の必要性がな
いと判断されるブロックに対してブロックノイズ除去処
理を制限するなどにより、不必要なブロックノイズ除去
処理がされないようにできる。すなわち、画素値に基づ
くブロックノイズの有無の判断だけでなく空間周波数情
報に基づくブロックノイズ除去の必要性の判断をも取り
入れることにより、ブロックノイズが目立たないと判断
されるブロック或いはブロックノイズ除去をすることが
望ましくないと判断されるブロックについてブロックノ
イズ除去処理を抑制することができ、その結果、復号画
像の画質を向上させることができる。

【００１８】

【発明の実施の形態】以下、本発明の好適な実施の形態
について図面に基づき詳細に説明する。

【００１９】図１は、本発明の実施の形態に係る画像復
号化装置の構成を示す図である。同図に示す画像復号化
装置１０は、可変長復号化部１２と、逆量子化部１４
と、逆ＤＣＴ変換部１６と、逆ブロック化部１８と、ノ
イズ除去要否判断部２０と、ノイズ判定部２２と、ノイ
ズ除去部２４ａと、を含んで構成されている。このう
ち、可変長復号化部１２と、逆量子化部１４と、逆ＤＣ
Ｔ変換部１６と、逆ブロック化部１８と、ノイズ判定部
２２は、従来技術に係る画像復号化装置１１０又は１１
２と同様であるので、ここでは同一符号を付して説明を
省略する。本画像復号化装置１０の特徴的構成は、ノイ
ズ除去要否判断部２０と、ノイズ除去部２４ａである。

【００２０】ノイズ除去要否判断部２０は、逆量子化部
１４の出力である各ブロック毎のＤＣＴ係数及びＥＯＢ
（両者をまとめて「空間周波数成分情報」ともいう。）
に基づき、ブロックノイズ除去の必要があるか否かを判
断する。具体的には、ノイズ除去要否判断部２０では、
ブロック毎にＥＯＢまでのＤＣＴ係数の個数を数え、そ
れが所定個数未満であれば、そのブロックの画像信号は
低周波成分を主に含むものであるから、そのブロックに
対してブロックノイズ除去が必要であると判断する。一
方、ブロック毎のＥＯＢまでのＤＣＴ係数の個数が所定
個数以上であれば、そのブロックの画像信号には高周波
成分を含むため、そのブロックに対してブロックノイズ
除去は不要であると判断する。

【００２１】ノイズ除去部２４ａには、ノイズ判定部２
２からブロック毎のブロックノイズの有無を表す情報が
入力されており、さらにノイズ除去要否判断部２０から
ブロック毎のブロックノイズ除去の必要性の有無を表す
情報が入力されている。ノイズ除去部２４ａでは、これ
らの情報に基づき、ブロックノイズ除去の必要があるブ
ロックに対し、そのブロックにブロックノイズが含まれ
ていると判断されていれば、該ブロックを構成する画素
の画素値を周辺ブロックを構成する画素の画素値から補
間する等の従来技術によりブロックノイズを除去する。

【００２２】あるブロックについてＥＯＢまでのＤＣＴ
係数の個数が所定個数以上であれば、その画像の空間相
関が低いためブロックノイズが目立ちにくいと考えられ
る。本画像復号化装置１０では、かかる場合に、そのブ
ロックに対してブロックノイズを除去する必要性がない
と判断する。あるブロックについて高周波成分を多く含
み、空間相関が低い場合には、そのブロックにはモスキ
ートノイズが含まれている可能性が高いのであり、その
ようなブロックに対してはブロックノイズ除去処理を行
わないようにして、モスキートノイズの影響が他所に広
がらないようにすることが望ましいのである。

【００２３】本画像復号化装置１０によれば、例えば図
７に示されるような平坦な画像部分を構成するブロック
Ａについては、ノイズ除去要否判断部２０にてブロック
ノイズ除去の必要性があると判断する。そして、ノイズ
判定部２２での判断結果に応じて、そのブロックにブロ
ックノイズ除去処理を施している。一方、例えば図８に
示されるような高周波成分を含み、モスキートノイズが
含まれるような画像部分を構成するブロックＢについて
は、ノイズ除去要否判断部２０にてブロックノイズ除去
の必要性がないと判断する。そして、そのブロックに対
しては、ノイズ判定部２２での判断結果がどうであれ、
ブロックノイズ除去処理を施さない。こうして、ブロッ
クノイズが目立ってしまう低周波成分を主として含むブ
ロックに対してのみブロックノイズ除去がされるように
することで、不必要なブロックノイズ処理によりモスキ
ートノイズの影響が周囲の画素まで広がる等の画像劣化
を防止することができる。

【００２４】なお、以上説明した画像復号化装置１０は
種々の変形実施が可能である。たとえば、上記説明で
は、ノイズ除去要否判断部２０にて各ブロックのＥＯＢ
までのＤＣＴ係数の個数が所定個数以上であるか未満で
あるかによりブロックノイズ除去の要否を判断したが、
ＤＣＴ係数の重心が所定閾値以上であるか未満であるか
等、ＤＣＴ係数の分布を表す各種情報によりブロックノ
イズ除去の要否を判断することができる。

【図面の簡単な説明】

【図１】 本発明の実施の形態に係る画像復号化装置の
構成を示す図である。

【図２】 従来技術に係る画像符号化装置の構成を示す
図である。

【図３】 従来技術に係る画像復号化装置の構成を示す
図である。

【図４】 ＤＣＴ係数の整列順を示す図である。

【図５】 従来技術に係る他の画像復号化装置の構成を
示す図である。

【図６】 復号画像の一例を示す図である。

【図７】 復号画像の空間相関の高い画像部分を示す図
である。

【図８】 復号画像の区間相関の低い画像部分を示す図
である。

【符号の説明】

１０ 画像復号化装置、１２ 可変長復号化部、１４
逆量子化部、１６ 逆ＤＣＴ変換部、１８ 逆ブロック
化部、２０ ノイズ除去要否判断部、２２ ノイズ判定
部、２４ａ ノイズ除去部。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 符号化対象たる画像を複数のブロックに
   分割するとともに、各ブロックに対して直交変換を含む
   非可逆符号化処理を施すことにより生成される符号化デ
   ータを復号し、復号画像を生成する画像復号化装置であ
   って、 前記直交変換により得られる各ブロックの空間周波数成
   分情報に基づき、ブロックノイズを除去する必要がある
   か否かをブロック毎に判断する第１の判断手段と、 復号画像を構成する画素に与えられた画素値に基づき、
   各ブロックにブロックノイズが含まれているか否かを判
   断する第２の判断手段と、 前記第１の判断手段によりブロックノイズを除去する必
   要があると判断されるブロックについて、前記第２の判
   断手段によりブロックノイズが含まれていると判断され
   れば、該ブロックノイズを除去するブロックノイズ除去
   手段と、 を含むことを特徴とする画像復号化装置。
2. 【請求項２】 請求項１に記載の画像復号化装置におい
   て、 前記第１の判断手段は、空間周波数成分情報に基づき、
   あるブロックの画像に含まれる高周波成分が所定基準よ
   りも少ないと判断される場合に、ブロックノイズを除去
   する必要があると判断することを特徴とする画像復号化
   装置。