JP3495766B2 - 画像処理方法 - Google Patents
画像処理方法Info
- Publication number
- JP3495766B2 JP3495766B2 JP24677793A JP24677793A JP3495766B2 JP 3495766 B2 JP3495766 B2 JP 3495766B2 JP 24677793 A JP24677793 A JP 24677793A JP 24677793 A JP24677793 A JP 24677793A JP 3495766 B2 JP3495766 B2 JP 3495766B2
- Authority
- JP
- Japan
- Prior art keywords
- noise
- quantization
- block
- image
- coefficients
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/117—Filters, e.g. for pre-processing or post-processing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/18—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a set of transform coefficients
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/48—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using compressed domain processing techniques other than decoding, e.g. modification of transform coefficients, variable length coding [VLC] data or run-length data
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
- H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Television Signal Processing For Recording (AREA)
Description
【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は画像情報をデジタル処理
する画像処理、特にノイズ除去を含む画像処理に関す
る。 【０００２】 【従来技術及びその課題】近年、画像や音声などの種々
のデータを統合的に扱うマルチメディアシステムの研
究、開発が進められ、これに伴い、デジタル化された静
／動画像の蓄積・伝送が必要になっている。しかし画像
情報をデジタル化すると、そのデータ量は音声データな
どと比べて非常に膨大である。例えば、７２０×４８０
画素のカラー動画像をデジタル化した場合には、数１０
０Ｍｂ／ｓの高速データレートを必要とするが、これを
実行するには伝送速度や記録媒体の面で問題がある。 【０００３】この様な問題を解決するために画像情報を
圧縮する技術が開発されている。テレビ電話やテレビ会
議用の方式についてはＣＣＩＴＴで、テレビ伝送用の方
式についてはＣＭＴＴ／２で標準化され、記録媒体につ
いては、静止画像がＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏ
ｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）で、動画
像がＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐ
ｅｒｔ Ｇｒｏｕｐ）で国際標準化されつつある。 【０００４】この圧縮技術の一つとして、動きを補償し
た直交変換（例えば離散コサイン変換）符号化による効
率の高いビデオ圧縮が利用できる様になったことによ
り、最近の多くの関心は、変換係数の粗い量子化によっ
て起こる特性的な歪み（モスキート及びブロック・ノイ
ズ）を除去することに向けられている。モスキート・ノ
イズとはエッジ部分に少し距離をおいてモヤモヤと発生
する雑音であり、ブロック・ノイズとは変換ブロック境
界に発生するブロック状の雑音である。これを解決する
ために、これまで極く僅かな考えが提案されたが、十分
有効でない。 【０００５】 【課題を解決するための手段及び作用】本発明は、モス
キート及びブロック・ノイズ等のビデオ圧縮における有
害雑音を減少することを目的とする。 【０００６】本発明の画像処理方法は、画像情報を符号
化した周波数空間データに基く量子化データを周波数空
間データに逆量子化し、前記逆量子化した周波数空間デ
ータを画像情報に変換し、前記変換した画像情報の各ブ
ロックに対し、前記量子化データの各ブロックにおいて
非ゼロ係数が分布する領域を示す非ゼロ係数パラメータ
によって定められるノイズ分布に従って、各画素位置毎
に強弱を有し得るフィルタ作用を与えるステップを含む
画像処理方法に関する。 【０００７】 【実施例】上述した様に、モスキート及びブロック・ノ
イズを除去するための幾つかの提案が成されてはいる
が、いずれも十分有効ではない。これは、何故にそれら
のノイズが発生するかという理論的解明が成されていな
いことに因ると思われる。従って、以下にその理論的解
明を含め一実施例を説明する。 【０００８】図１は、本発明の一実施例に係る画像処理
を行うための構成を示すブロック図である。一般に動画
像圧縮の処理では動き補償を行うため符号化がループ構
成となり、本発明も、回路をループ内に入れる場合とル
ープ外に出す場合の二通りの実現方法がある。以下ルー
プ内に入れる場合の実施例（図１）を中心に説明し、ル
ープ外に出す場合（図９）は後述する。図１に示す画像
処理装置１は、（８ピクセル）×（８ライン）のブロッ
クからなる入力画像情報を減算器２を介して入力するＦ
ＤＣＴ変換部３を含む。ＦＤＣＴ変換部３は離散コサイ
ン（ＤＣＴ）変換により入力画像情報を周波数空間を表
す信号に変換し、画素数に対応した６４個のＤＣＴ係数
(周波数係数) を示す画像データを量子化部４へ出力す
る。量子化部４は逆量子化部５へ出力する量子化データ
を発生し、逆量子化部５では非ゼロ係数パラメータ（Ｎ
ＺＣＬ情報）が生成される。量子化部４はフィルタ部８
への量子化閾値も生成する。ＩＤＣＴ部６が逆量子化部
５に接続され、逆量子化された画像データを逆ＤＣＴ変
換し、加算器７を介してフィルタ部８へ画像情報として
出力する。フィルタ部８はその画像情報に対し逆量子化
部５からの非ゼロ係数パラメータに基いてノイズ除去を
行う。なお、この実施例においては、フィルタ部８が量
子化部４から量子化閾値を入力しているが、適当な中間
値を外部から入力することも可能である。 【０００９】この画像処理装置１は動き補償を行うため
のメモリ９及び動き補償部１０を更に含む。動き補償部
１０では動画像を例えば１６×１６画素程度のブロック
に分解した後に、その各ブロックについて、既に符号化
の終了し符号化画像の得られている前フレーム信号（メ
モリ９からの）から、今符号化しようとする入力フレー
ム信号に最も良い近似フレーム信号を生成し、これを入
力フレーム信号より差し引く（減算器２）ことにより情
報を圧縮、又逆に符号化が終って復号化をする際に加え
て（加算器７）やることにより情報を伸長する。 【００１０】量子化の最適化は全体的な信号再生誤差の
最小化と同一であることが知られている。この時、平均
二乗誤差（ＭＳＥ）量子化ノイズは次の様に表わすこと
ができる。 【数１】 【００１１】ここでｒは変換係数のｐｄｆに関係する定
数である。マックス量子化器を用いたラプラースｐｄｆ
では、ｒ＝４．５であり、ガウシャンｐｄｆでは、ｒ＝
２．７である。次の条件 【数２】 【００１２】が一定値であると云う下でのＤの最小化に
より、次の様になる。 【数３】【００１３】一般にこの様なビット割当てでは、ＭＳＥ
歪みが全ての係数に均一に分布していることを示すこと
ができる。こう云う量子化された係数を実際に符号化す
る時、最小量子化レベル（閾値）を越える係数だけを符
号化し、係数の符号化されない数は一連の０として符号
化する。この閾値量子化及び符号化は直交変換を用いた
ビデオ圧縮によく適していることが判っており、今日の
大抵のビデオ圧縮装置に用いられている。 【００１４】１６×１６画素のブロック（以下ではマク
ロブロックと呼ぶ）を量子化する時、同一の量子化ステ
ップ（閾値）、例えばＱｓｔｅｐが全ての４つの８×８
ブロックに用いられる（「量子化の重み」の効果は後述
する）。各々の係数Ｏｒｇu,vは離散的な値、例えばＤ
ｅｑｕａｎｔu,vに量子化される。 【数４】 【００１５】ここで相加的なノイズは一般的に白色であ
ると考えられる。再生像信号はこの時次の様になる。 【数５】 【００１６】ここでＰｒｅｄi,j (0)は（ＭＣ）予測値で
あり、Ｒｅｃｏｎi,j (1)は再生値である。信号の真の値
ＴｒｕｅＶａｌｕｅi,jは従って下記の範囲内のどこか
にある。 【数６】 【００１７】ここでθu,vが量子化ノイズである。 θ
u,v＝Ｏｒｇu,v−Ｄｅｑｕａｎｔu,v。逆ＤＣＴは次の
様に定義される。 【数７】 【００１８】ここでＣ（ｕ又はｖ）＝１／ｓｑｒｔ
（２）（ｕ又はｖ＝０），＝１（その他の場合）であ
る。（係数空間に於ける）量子化ノイズが白色である場
合、画素領域に於ける復号されたノイズの分散σ2 m,nは
次の式で表わされる。 【数８】 【００１９】そして、量子化ノイズの分散が等しい時次
式のように示すことができる。 【数９】 【００２０】これは量子化ノイズが図２（ａ）に示す様
に、ブロック全体に亘って分散が同じである場合に対応
する。図２はブロック内の量子化ノイズの分散を示す図
であり、（ａ）は等しい分散を持つ白色ノイズ、（ｂ）
は以下に述べる量子化に伴う非線形効果を持つ白色ノイ
ズを示す。 【００２１】量子化のステップが実際のビデオ圧縮に用
いられる場合のように大きくなると、多数の高周波係数
が量子化のステップの高さより小さくなり、これらを量
子化すると０（ゼロ）係数になる。このゼロ係数の対応
する量子化ノイズは、非ゼロの量子化係数に比べて小さ
くなる。図３は、これをビデオ信号の電力スペクトルで
説明するものであり、典型的なビデオ信号の電力スペク
トル（図の実線。ここでは一次元で示している。）に対
してそのスペクトルを周波数上で（ＤＣＴ係数も周波数
成分であるので）量子化すると、その結果は点線のよう
に階段状になるが、閾値以上の部分と、以下の部分とで
雑音の電力が異なる（太い点線）ことを示している。す
なわち、２つのグループの係数があり、グループＡの係
数は同じ分散を持つ量子化ノイズを含み、グループＢで
は分散はずっと小さい。一般に周波数が高くなると、分
散が減少する。 【００２２】従って、各々の量子化ブロックに対して２
つの異なるグループのＤＣＴ係数が存在する。一方のグ
ループ（グループＡ）の係数は、量子化のステップによ
って決定される分散を持つノイズを含み、他方のグルー
プ（グループＢ）の係数は比較的小さい量子化ノイズを
含む。 【００２３】もっと厳密な解析を行なう為、ＤＣＴ係数
のフレーム毎のエネルギ・スペクトルを次の式によって
定義する。 【数１０】 【００２４】ここで「Ｔ」は直接積によって元の８×８
ＤＣＴから展開した６４×６４ＤＣＴ変換マトリックス
であり、ｓ及びｐは元のブロック及び予測ブロックのＤ
ＣＴ係数を表わす６４要素のベクトルである。右辺の
「Ｒ」は、次の式で示す様に、元の原ビデオ信号（分散
＝１．０）のフレーム毎の相関マトリックスである。 【数１１】 【００２５】ここでρは原像の自己相関係数であり、
（Ｖx，Ｖy）はそのもとにある動きである。フレーム間
の差分が、マルコフ過程をモデルとした像の動きによっ
て生ずると云う仮定をしている。式（１０）の左辺によ
って限定されたエネルギ・スペクトル・マトリックスを
以下ではＳinterと表わす。この６４×６４マトリック
スは、各々のＤＣＴ係数の対の間の相関を表わすもので
あり、対角線の項がＤＣＴ係数自体の分散を表わす。高
周波係数は白色ノイズと見做すことができる。この対角
線の項が８×８のラスタ式に並べ替えられ、 【外１】 、これが動きを補償したフレーム毎の予測誤差に対する
ＤＣＴ係数のエネルギ・スペクトルを定義する。この様
な場合、（Ｖｖ，Ｖｈ）は動きの推定の誤差に対応す
る。 【００２６】信号空間に於ける量子化ノイズは、式
（８）のθ2 u,vをノイズ・スペクトルに置換えることに
よって、計算することができる。式（７）に示す様に、
量子化ノイズが一様である時、信号空間の量子化ノイズ
は同様に一様であり、従って白色ノイズに埋没したもの
から全体的な像を復元する以外は、復号された像を改善
する為に何もすることはできない。然し、全ての高効率
ビデオ圧縮装置に共通であるが、量子化閾値は多くの係
数の振幅よりずっと大きく、量子化されたノイズ・スペ
クトルは一様ではない。大抵の場合、量子化ノイズはブ
ロック内の特定の場所に密に分布しており、他の場所は
ノイズによる劣化がより少なくなる。この為、復号され
た像を復元して有効に改善することが可能になる。図４
は、多数の異なる条件の下でのブロック内の量子化ノイ
ズの分布に対するいくつかの計算結果を示す。 【００２７】これらの結果は量子化ノイズは、像信号の
相関係数が大きい（＞０．５）時、ブロックの境界に集
中することを示している。大抵の像信号ではそうである
から、この結果、圧縮比が高い時、ブロックの境界に格
子パターンが現われる。これまでの或る研究では、この
格子パターンは、粗い量子化によってＤＣ係数の食違い
が生ずる為であると説明されてきた。大抵の場合、ＤＣ
係数は最小損失で符号化されるので、この考えは正しく
ない。これに対して、これはブロック内の特定の場所に
於ける白色ノイズのレベルが増加する為であると見做す
べきである。この白色ノイズが像処理の分野ではモスキ
ート・ノイズと呼ばれている。縁及びコントラストの強
い輪郭が動く時、ブロックの輪郭部分で大量の量子化ノ
イズが発生する。然し、縁又は輪郭がこの部分と一致す
る時、これははっきりとは知覚されない。然し、それら
がこの場所から或る距離だけ離れる時、ノイズはモスキ
ート（蚊）が飛ぶ効果となって現われる。一方、下記の
式が常に成立することが式（８）から分かる。 【数１２】 【００２８】大抵の像信号は正の相関係数を有する。然
し、インターレース走査を行うと動く物体の境界にギザ
ギザのパターンが発生し、この結果、この部分に負の相
関値を発生する。正の相関信号では、量子化ノイズ・ス
ペクトルは周波数に対して単調な減少関数であるが、負
の場合、単調に増加する関数である。従って、正の相関
信号では、非ゼロの量子化係数は、図４に示す様に
（０，０）の回りに分布する傾向を持つが、負の相関信
号では、それらが（７，７）の回りまで広がる。量子化
閾値（Ｑｓｔｅｐ）が決まると、この為、量子化ノイズ
・スペクトルは図の（ｂv，ｂh）によって限定された
（領域Ａの）係数の局在化（２次元の形）から推定し得
る。このパラメータを非ゼロ係数（ＮＺＣＬ）パラメー
タと呼ぶ。 【００２９】図５は、図３のグループＡ及びＢの係数の
間の境界を説明する図であり、非ゼロ係数の局在化がノ
イズを減少する為の重要なパラメータであることを示
す。 【００３０】ＮＺＣＬパラメータは（０，０）及び
（７，７）の間の値をとり、従って６４個の異なる場合
がある。像の８×８ブロックを符号化する時、それに関
連するＮＺＣＬは、その非ゼロ係数分布から直ちに確認
される。このブロックの符号化ノイズは、復号された信
号及び元の像信号の差として容易に計算される。従っ
て、ＮＺＣＬを使うことにより、符号化ノイズは６４個
の異なる場合に分類することができる。図６は、ＮＺＣ
Ｌをパラメータとして、８×８ブロックの平均ノイズ分
散を連結した図である。各々の８×８ブロックが、図４
に示した理論的な結果に対応する或るブロック内のノイ
ズの分布を表わす。 【００３１】図４は、復号されたブロック（８×８）の
量子化ノイズ（分散）を示す図であり、量子化ノイズ
は、元の信号の相関係数が大きい（＞０．５）時、ブロ
ックの境界に集まる。 【００３２】注目すべき興味深いことは、ｂv又はｂhの
何れかが４未満である時、（１）ｂv＝ｂhブロックであ
ると、符号化ノイズは図４（ｂ）の形であり、（２）ｂ
v＞ｂhである時、符号化ノイズは図４（ａ）の形であ
り、（３）ｂv＜ｂhである時、符号化ノイズは図４
（ｃ）の形であり、ｂv及びｂhの両方が４より大きい
時、符号化ノイズは図４（ｅ）又は（ｆ）の形である。
従って、ＮＺＣＬパラメータを無視して、全ての符号化
ノイズを平均した時、ノイズはブロック全体（従って像
全体に亘って）にどちらかと云えば一様に分布している
様に見える。一方、ＩＳＯ／ＭＰＥＧの標準テスト画像
である１５０フレームのモビール・アンド・カレンダ・
シーケンスを使って求めた実際のデータが図６である。
モビール・アンド・カレンダと他の或るシーケンスとの
間の基本的な違いは、量子化のステップの違いであり、
ノイズ分布ではない。モビール・アンド・カレンダ・シ
ーケンスでは、量子化のステップは大まかに云って一定
の値（１０乃至１５／２５５．４Mbps）にとゞまる。 【００３３】なお、図６は全体としては６４×６４の図
であるが、これは横軸及び縦軸をＮＺＣＬパラメータを
使って分類された、夫々８×８ブロックを連結して示し
たものである。ノイズ量を分散値として示している。 【００３４】次にノイズを減少するフィルタについて説
明する。量子化過程は次の様に表わすことができる。 【数１３】 【００３５】ここでＸ及びＺは源信号及び復号された信
号であり、Θは量子化ノイズを表わし、ＨはＤＣＴ変換
である。直線的に相加的なノイズＨΘＨTはＸに相関し
ない。信号の分散がＳm,n（ω，ν）であり、ノイズの
分散がＮm,n（ω，ν）である時、ウィーナ・フィルタ
は次の式で表わされる。 【数１４】【００３６】ここでＸm,n（ω，ν）はＸm,nのエネルギ
・スペクトル密度を表わし、Ｎm,n（ω，ν）はノイズ
項〔ＨΘＨT〕（ω，ν）に対応し、前の部分で述べた
様に、ＮＺＣＬ情報から決定される。 【００３７】式（１４）を実現する為、Ｚm,n（ω，
ν）を最初に指向性低域フィルタＤＬ（ω，ν）によっ
て処理して、その結果得られる信号がＸm,n（ω，ν）
を最も多く、但しＮm,n（ω，ν）を最も少なく含む様
にする。これと同等のことは、ｚm,nの分散が最小であ
る方向の１次元フィルタ作用によって実施することがで
きる。その後に続く第２段階のフィルタ作用で、ＤＬ
（ω，ν）はｚm,nのＤＣ成分を抽出する局部フィルタ
にならなければならない。ｚm,nの最小分散を求めて、
４つの別々の方向を探す。５タップ・フィルタの一例を
図７に示す。この図において、中心の位置が今からフィ
ルタをかけ雑音を除去しようとする画素を示し、この画
素に対して最も適当な一次元方向を捜し出してフィルタ
をかける。 【００３８】この図７は指向性低域フィルタであり、フ
ィルタ係数は５タップ・フィルタのこの例では、全部１
／５である。４つの別々の方向について最小残留分散を
求める。 【００３９】ウィーナ・フィルタを適用すると、次の様
になる。 【数１５】 【００４０】ここでδｚm,nはｚm,nのハイパス成分であ
り、Ａは、ＤＬ（ω，ν）が（２Ｎ＋１）タップの平均
ＦＩＲフィルタ（等しい係数）である時、次の式で表わ
される正規化定数である。 【数１６】 【００４１】式（１５）では、Ｅ〔（δｚm,n）2〕とσ
2 m,nの比の関数である低域フィルタの形について仮定を
している。σ2 m,nが集合値であるから、正規化定数Ａが
エネルギ密度の値を補正する。τm,n＝Ａσ2 m,n／Ｅ
〔（δｚm,n）2〕とすると、低域フィルタｆ（τm,n）
の形はシミュレーションによって最適にされる。 【００４２】図８に全体的なフィルタ構造の一例を示
す。 【００４３】このフィルタ構造において、ＤＬは図７に
示す様な指向性ロウパスであり、Ｆはウィーナ・フィル
タであって、その特性はＱｓｔｅｐの寸法とＮＺＣＬ情
報によって決定され、同様にロウパスである。破線のブ
ロックはノイズ性の源を示す。信号Ｚm,nが第１図の実
施例における加算器７からの出力信号に相当する。 【００４４】低域フィルタＦは適応フィルタである。係
数のブロックを量子化する時、そのＱｓｔｅｐの寸法及
びＮＺＣＬ情報が夫々の画素位置に於ける推定量子化ノ
イズを決定することができる。δｚm,nが白色である
時、最適な形のＦは次の式で表わされる。 【数１７】 【００４５】ここでσ2 m,nの正規化でＱｓｔｅｐの寸法
を考慮に入れる。各画素位置に於けるノイズの大きさに
関するそれまでの情報により、大量のノイズを持つ平坦
な像区域に対して強い低域フィルタ作用が加えられ、少
量のノイズを持つコントラストの強い区域及び縁には弱
いフィルタ作用が適用される。こうして、縁及び輪郭に
隣接する平坦な区域から、大抵の特性的なＤＣＴノイズ
を除くことができる。 【００４６】一方、本フィルタを符号化・復号化ループ
の外に出す場合には、図９に示す様に復号器だけに対す
るポスト・フィルタとして構成することができる（フィ
ルタ部８）。また、復号ループ内で（ＩＴＣＴより後
の）加算器の前に挿入することもできる。 【００４７】この新しいノイズ除去フィルタは画像の種
類（Ｉ，Ｐ，又はＢ）に関係なく、常に復号された像に
適用される。更に、この新しいフィルタの動作において
は、復号器側に何等符号化データの増加をもたらす追加
の情報を必要としない。必要な全ての情報は符号化結果
より抽出できるため、復号器側で符号器側と同期した処
理ができる。 【００４８】以上、ＤＣＴを基本とした像圧縮で出会う
特性的なノイズは取除くか又は白色化することができる
ことを示した。その結果得られる品質の改善はかなり大
きい。ノイズ減少フィルタの最適設計にとっては、量子
化及び逆ＤＣＴを合せて考慮しなければならない。 【００４９】以上のように本発明の特定の実施例につき
説明したが、本発明の範囲はその実施例に限定されるも
のではない。 【発明の効果】本発明は、モスキート及びブロック・ノ
イズ等の像圧縮における有害なノイズを有効に除去す
る。
する画像処理、特にノイズ除去を含む画像処理に関す
る。 【０００２】 【従来技術及びその課題】近年、画像や音声などの種々
のデータを統合的に扱うマルチメディアシステムの研
究、開発が進められ、これに伴い、デジタル化された静
／動画像の蓄積・伝送が必要になっている。しかし画像
情報をデジタル化すると、そのデータ量は音声データな
どと比べて非常に膨大である。例えば、７２０×４８０
画素のカラー動画像をデジタル化した場合には、数１０
０Ｍｂ／ｓの高速データレートを必要とするが、これを
実行するには伝送速度や記録媒体の面で問題がある。 【０００３】この様な問題を解決するために画像情報を
圧縮する技術が開発されている。テレビ電話やテレビ会
議用の方式についてはＣＣＩＴＴで、テレビ伝送用の方
式についてはＣＭＴＴ／２で標準化され、記録媒体につ
いては、静止画像がＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏ
ｇｒａｐｈｉｃ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）で、動画
像がＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐ
ｅｒｔ Ｇｒｏｕｐ）で国際標準化されつつある。 【０００４】この圧縮技術の一つとして、動きを補償し
た直交変換（例えば離散コサイン変換）符号化による効
率の高いビデオ圧縮が利用できる様になったことによ
り、最近の多くの関心は、変換係数の粗い量子化によっ
て起こる特性的な歪み（モスキート及びブロック・ノイ
ズ）を除去することに向けられている。モスキート・ノ
イズとはエッジ部分に少し距離をおいてモヤモヤと発生
する雑音であり、ブロック・ノイズとは変換ブロック境
界に発生するブロック状の雑音である。これを解決する
ために、これまで極く僅かな考えが提案されたが、十分
有効でない。 【０００５】 【課題を解決するための手段及び作用】本発明は、モス
キート及びブロック・ノイズ等のビデオ圧縮における有
害雑音を減少することを目的とする。 【０００６】本発明の画像処理方法は、画像情報を符号
化した周波数空間データに基く量子化データを周波数空
間データに逆量子化し、前記逆量子化した周波数空間デ
ータを画像情報に変換し、前記変換した画像情報の各ブ
ロックに対し、前記量子化データの各ブロックにおいて
非ゼロ係数が分布する領域を示す非ゼロ係数パラメータ
によって定められるノイズ分布に従って、各画素位置毎
に強弱を有し得るフィルタ作用を与えるステップを含む
画像処理方法に関する。 【０００７】 【実施例】上述した様に、モスキート及びブロック・ノ
イズを除去するための幾つかの提案が成されてはいる
が、いずれも十分有効ではない。これは、何故にそれら
のノイズが発生するかという理論的解明が成されていな
いことに因ると思われる。従って、以下にその理論的解
明を含め一実施例を説明する。 【０００８】図１は、本発明の一実施例に係る画像処理
を行うための構成を示すブロック図である。一般に動画
像圧縮の処理では動き補償を行うため符号化がループ構
成となり、本発明も、回路をループ内に入れる場合とル
ープ外に出す場合の二通りの実現方法がある。以下ルー
プ内に入れる場合の実施例（図１）を中心に説明し、ル
ープ外に出す場合（図９）は後述する。図１に示す画像
処理装置１は、（８ピクセル）×（８ライン）のブロッ
クからなる入力画像情報を減算器２を介して入力するＦ
ＤＣＴ変換部３を含む。ＦＤＣＴ変換部３は離散コサイ
ン（ＤＣＴ）変換により入力画像情報を周波数空間を表
す信号に変換し、画素数に対応した６４個のＤＣＴ係数
(周波数係数) を示す画像データを量子化部４へ出力す
る。量子化部４は逆量子化部５へ出力する量子化データ
を発生し、逆量子化部５では非ゼロ係数パラメータ（Ｎ
ＺＣＬ情報）が生成される。量子化部４はフィルタ部８
への量子化閾値も生成する。ＩＤＣＴ部６が逆量子化部
５に接続され、逆量子化された画像データを逆ＤＣＴ変
換し、加算器７を介してフィルタ部８へ画像情報として
出力する。フィルタ部８はその画像情報に対し逆量子化
部５からの非ゼロ係数パラメータに基いてノイズ除去を
行う。なお、この実施例においては、フィルタ部８が量
子化部４から量子化閾値を入力しているが、適当な中間
値を外部から入力することも可能である。 【０００９】この画像処理装置１は動き補償を行うため
のメモリ９及び動き補償部１０を更に含む。動き補償部
１０では動画像を例えば１６×１６画素程度のブロック
に分解した後に、その各ブロックについて、既に符号化
の終了し符号化画像の得られている前フレーム信号（メ
モリ９からの）から、今符号化しようとする入力フレー
ム信号に最も良い近似フレーム信号を生成し、これを入
力フレーム信号より差し引く（減算器２）ことにより情
報を圧縮、又逆に符号化が終って復号化をする際に加え
て（加算器７）やることにより情報を伸長する。 【００１０】量子化の最適化は全体的な信号再生誤差の
最小化と同一であることが知られている。この時、平均
二乗誤差（ＭＳＥ）量子化ノイズは次の様に表わすこと
ができる。 【数１】 【００１１】ここでｒは変換係数のｐｄｆに関係する定
数である。マックス量子化器を用いたラプラースｐｄｆ
では、ｒ＝４．５であり、ガウシャンｐｄｆでは、ｒ＝
２．７である。次の条件 【数２】 【００１２】が一定値であると云う下でのＤの最小化に
より、次の様になる。 【数３】【００１３】一般にこの様なビット割当てでは、ＭＳＥ
歪みが全ての係数に均一に分布していることを示すこと
ができる。こう云う量子化された係数を実際に符号化す
る時、最小量子化レベル（閾値）を越える係数だけを符
号化し、係数の符号化されない数は一連の０として符号
化する。この閾値量子化及び符号化は直交変換を用いた
ビデオ圧縮によく適していることが判っており、今日の
大抵のビデオ圧縮装置に用いられている。 【００１４】１６×１６画素のブロック（以下ではマク
ロブロックと呼ぶ）を量子化する時、同一の量子化ステ
ップ（閾値）、例えばＱｓｔｅｐが全ての４つの８×８
ブロックに用いられる（「量子化の重み」の効果は後述
する）。各々の係数Ｏｒｇu,vは離散的な値、例えばＤ
ｅｑｕａｎｔu,vに量子化される。 【数４】 【００１５】ここで相加的なノイズは一般的に白色であ
ると考えられる。再生像信号はこの時次の様になる。 【数５】 【００１６】ここでＰｒｅｄi,j (0)は（ＭＣ）予測値で
あり、Ｒｅｃｏｎi,j (1)は再生値である。信号の真の値
ＴｒｕｅＶａｌｕｅi,jは従って下記の範囲内のどこか
にある。 【数６】 【００１７】ここでθu,vが量子化ノイズである。 θ
u,v＝Ｏｒｇu,v−Ｄｅｑｕａｎｔu,v。逆ＤＣＴは次の
様に定義される。 【数７】 【００１８】ここでＣ（ｕ又はｖ）＝１／ｓｑｒｔ
（２）（ｕ又はｖ＝０），＝１（その他の場合）であ
る。（係数空間に於ける）量子化ノイズが白色である場
合、画素領域に於ける復号されたノイズの分散σ2 m,nは
次の式で表わされる。 【数８】 【００１９】そして、量子化ノイズの分散が等しい時次
式のように示すことができる。 【数９】 【００２０】これは量子化ノイズが図２（ａ）に示す様
に、ブロック全体に亘って分散が同じである場合に対応
する。図２はブロック内の量子化ノイズの分散を示す図
であり、（ａ）は等しい分散を持つ白色ノイズ、（ｂ）
は以下に述べる量子化に伴う非線形効果を持つ白色ノイ
ズを示す。 【００２１】量子化のステップが実際のビデオ圧縮に用
いられる場合のように大きくなると、多数の高周波係数
が量子化のステップの高さより小さくなり、これらを量
子化すると０（ゼロ）係数になる。このゼロ係数の対応
する量子化ノイズは、非ゼロの量子化係数に比べて小さ
くなる。図３は、これをビデオ信号の電力スペクトルで
説明するものであり、典型的なビデオ信号の電力スペク
トル（図の実線。ここでは一次元で示している。）に対
してそのスペクトルを周波数上で（ＤＣＴ係数も周波数
成分であるので）量子化すると、その結果は点線のよう
に階段状になるが、閾値以上の部分と、以下の部分とで
雑音の電力が異なる（太い点線）ことを示している。す
なわち、２つのグループの係数があり、グループＡの係
数は同じ分散を持つ量子化ノイズを含み、グループＢで
は分散はずっと小さい。一般に周波数が高くなると、分
散が減少する。 【００２２】従って、各々の量子化ブロックに対して２
つの異なるグループのＤＣＴ係数が存在する。一方のグ
ループ（グループＡ）の係数は、量子化のステップによ
って決定される分散を持つノイズを含み、他方のグルー
プ（グループＢ）の係数は比較的小さい量子化ノイズを
含む。 【００２３】もっと厳密な解析を行なう為、ＤＣＴ係数
のフレーム毎のエネルギ・スペクトルを次の式によって
定義する。 【数１０】 【００２４】ここで「Ｔ」は直接積によって元の８×８
ＤＣＴから展開した６４×６４ＤＣＴ変換マトリックス
であり、ｓ及びｐは元のブロック及び予測ブロックのＤ
ＣＴ係数を表わす６４要素のベクトルである。右辺の
「Ｒ」は、次の式で示す様に、元の原ビデオ信号（分散
＝１．０）のフレーム毎の相関マトリックスである。 【数１１】 【００２５】ここでρは原像の自己相関係数であり、
（Ｖx，Ｖy）はそのもとにある動きである。フレーム間
の差分が、マルコフ過程をモデルとした像の動きによっ
て生ずると云う仮定をしている。式（１０）の左辺によ
って限定されたエネルギ・スペクトル・マトリックスを
以下ではＳinterと表わす。この６４×６４マトリック
スは、各々のＤＣＴ係数の対の間の相関を表わすもので
あり、対角線の項がＤＣＴ係数自体の分散を表わす。高
周波係数は白色ノイズと見做すことができる。この対角
線の項が８×８のラスタ式に並べ替えられ、 【外１】 、これが動きを補償したフレーム毎の予測誤差に対する
ＤＣＴ係数のエネルギ・スペクトルを定義する。この様
な場合、（Ｖｖ，Ｖｈ）は動きの推定の誤差に対応す
る。 【００２６】信号空間に於ける量子化ノイズは、式
（８）のθ2 u,vをノイズ・スペクトルに置換えることに
よって、計算することができる。式（７）に示す様に、
量子化ノイズが一様である時、信号空間の量子化ノイズ
は同様に一様であり、従って白色ノイズに埋没したもの
から全体的な像を復元する以外は、復号された像を改善
する為に何もすることはできない。然し、全ての高効率
ビデオ圧縮装置に共通であるが、量子化閾値は多くの係
数の振幅よりずっと大きく、量子化されたノイズ・スペ
クトルは一様ではない。大抵の場合、量子化ノイズはブ
ロック内の特定の場所に密に分布しており、他の場所は
ノイズによる劣化がより少なくなる。この為、復号され
た像を復元して有効に改善することが可能になる。図４
は、多数の異なる条件の下でのブロック内の量子化ノイ
ズの分布に対するいくつかの計算結果を示す。 【００２７】これらの結果は量子化ノイズは、像信号の
相関係数が大きい（＞０．５）時、ブロックの境界に集
中することを示している。大抵の像信号ではそうである
から、この結果、圧縮比が高い時、ブロックの境界に格
子パターンが現われる。これまでの或る研究では、この
格子パターンは、粗い量子化によってＤＣ係数の食違い
が生ずる為であると説明されてきた。大抵の場合、ＤＣ
係数は最小損失で符号化されるので、この考えは正しく
ない。これに対して、これはブロック内の特定の場所に
於ける白色ノイズのレベルが増加する為であると見做す
べきである。この白色ノイズが像処理の分野ではモスキ
ート・ノイズと呼ばれている。縁及びコントラストの強
い輪郭が動く時、ブロックの輪郭部分で大量の量子化ノ
イズが発生する。然し、縁又は輪郭がこの部分と一致す
る時、これははっきりとは知覚されない。然し、それら
がこの場所から或る距離だけ離れる時、ノイズはモスキ
ート（蚊）が飛ぶ効果となって現われる。一方、下記の
式が常に成立することが式（８）から分かる。 【数１２】 【００２８】大抵の像信号は正の相関係数を有する。然
し、インターレース走査を行うと動く物体の境界にギザ
ギザのパターンが発生し、この結果、この部分に負の相
関値を発生する。正の相関信号では、量子化ノイズ・ス
ペクトルは周波数に対して単調な減少関数であるが、負
の場合、単調に増加する関数である。従って、正の相関
信号では、非ゼロの量子化係数は、図４に示す様に
（０，０）の回りに分布する傾向を持つが、負の相関信
号では、それらが（７，７）の回りまで広がる。量子化
閾値（Ｑｓｔｅｐ）が決まると、この為、量子化ノイズ
・スペクトルは図の（ｂv，ｂh）によって限定された
（領域Ａの）係数の局在化（２次元の形）から推定し得
る。このパラメータを非ゼロ係数（ＮＺＣＬ）パラメー
タと呼ぶ。 【００２９】図５は、図３のグループＡ及びＢの係数の
間の境界を説明する図であり、非ゼロ係数の局在化がノ
イズを減少する為の重要なパラメータであることを示
す。 【００３０】ＮＺＣＬパラメータは（０，０）及び
（７，７）の間の値をとり、従って６４個の異なる場合
がある。像の８×８ブロックを符号化する時、それに関
連するＮＺＣＬは、その非ゼロ係数分布から直ちに確認
される。このブロックの符号化ノイズは、復号された信
号及び元の像信号の差として容易に計算される。従っ
て、ＮＺＣＬを使うことにより、符号化ノイズは６４個
の異なる場合に分類することができる。図６は、ＮＺＣ
Ｌをパラメータとして、８×８ブロックの平均ノイズ分
散を連結した図である。各々の８×８ブロックが、図４
に示した理論的な結果に対応する或るブロック内のノイ
ズの分布を表わす。 【００３１】図４は、復号されたブロック（８×８）の
量子化ノイズ（分散）を示す図であり、量子化ノイズ
は、元の信号の相関係数が大きい（＞０．５）時、ブロ
ックの境界に集まる。 【００３２】注目すべき興味深いことは、ｂv又はｂhの
何れかが４未満である時、（１）ｂv＝ｂhブロックであ
ると、符号化ノイズは図４（ｂ）の形であり、（２）ｂ
v＞ｂhである時、符号化ノイズは図４（ａ）の形であ
り、（３）ｂv＜ｂhである時、符号化ノイズは図４
（ｃ）の形であり、ｂv及びｂhの両方が４より大きい
時、符号化ノイズは図４（ｅ）又は（ｆ）の形である。
従って、ＮＺＣＬパラメータを無視して、全ての符号化
ノイズを平均した時、ノイズはブロック全体（従って像
全体に亘って）にどちらかと云えば一様に分布している
様に見える。一方、ＩＳＯ／ＭＰＥＧの標準テスト画像
である１５０フレームのモビール・アンド・カレンダ・
シーケンスを使って求めた実際のデータが図６である。
モビール・アンド・カレンダと他の或るシーケンスとの
間の基本的な違いは、量子化のステップの違いであり、
ノイズ分布ではない。モビール・アンド・カレンダ・シ
ーケンスでは、量子化のステップは大まかに云って一定
の値（１０乃至１５／２５５．４Mbps）にとゞまる。 【００３３】なお、図６は全体としては６４×６４の図
であるが、これは横軸及び縦軸をＮＺＣＬパラメータを
使って分類された、夫々８×８ブロックを連結して示し
たものである。ノイズ量を分散値として示している。 【００３４】次にノイズを減少するフィルタについて説
明する。量子化過程は次の様に表わすことができる。 【数１３】 【００３５】ここでＸ及びＺは源信号及び復号された信
号であり、Θは量子化ノイズを表わし、ＨはＤＣＴ変換
である。直線的に相加的なノイズＨΘＨTはＸに相関し
ない。信号の分散がＳm,n（ω，ν）であり、ノイズの
分散がＮm,n（ω，ν）である時、ウィーナ・フィルタ
は次の式で表わされる。 【数１４】【００３６】ここでＸm,n（ω，ν）はＸm,nのエネルギ
・スペクトル密度を表わし、Ｎm,n（ω，ν）はノイズ
項〔ＨΘＨT〕（ω，ν）に対応し、前の部分で述べた
様に、ＮＺＣＬ情報から決定される。 【００３７】式（１４）を実現する為、Ｚm,n（ω，
ν）を最初に指向性低域フィルタＤＬ（ω，ν）によっ
て処理して、その結果得られる信号がＸm,n（ω，ν）
を最も多く、但しＮm,n（ω，ν）を最も少なく含む様
にする。これと同等のことは、ｚm,nの分散が最小であ
る方向の１次元フィルタ作用によって実施することがで
きる。その後に続く第２段階のフィルタ作用で、ＤＬ
（ω，ν）はｚm,nのＤＣ成分を抽出する局部フィルタ
にならなければならない。ｚm,nの最小分散を求めて、
４つの別々の方向を探す。５タップ・フィルタの一例を
図７に示す。この図において、中心の位置が今からフィ
ルタをかけ雑音を除去しようとする画素を示し、この画
素に対して最も適当な一次元方向を捜し出してフィルタ
をかける。 【００３８】この図７は指向性低域フィルタであり、フ
ィルタ係数は５タップ・フィルタのこの例では、全部１
／５である。４つの別々の方向について最小残留分散を
求める。 【００３９】ウィーナ・フィルタを適用すると、次の様
になる。 【数１５】 【００４０】ここでδｚm,nはｚm,nのハイパス成分であ
り、Ａは、ＤＬ（ω，ν）が（２Ｎ＋１）タップの平均
ＦＩＲフィルタ（等しい係数）である時、次の式で表わ
される正規化定数である。 【数１６】 【００４１】式（１５）では、Ｅ〔（δｚm,n）2〕とσ
2 m,nの比の関数である低域フィルタの形について仮定を
している。σ2 m,nが集合値であるから、正規化定数Ａが
エネルギ密度の値を補正する。τm,n＝Ａσ2 m,n／Ｅ
〔（δｚm,n）2〕とすると、低域フィルタｆ（τm,n）
の形はシミュレーションによって最適にされる。 【００４２】図８に全体的なフィルタ構造の一例を示
す。 【００４３】このフィルタ構造において、ＤＬは図７に
示す様な指向性ロウパスであり、Ｆはウィーナ・フィル
タであって、その特性はＱｓｔｅｐの寸法とＮＺＣＬ情
報によって決定され、同様にロウパスである。破線のブ
ロックはノイズ性の源を示す。信号Ｚm,nが第１図の実
施例における加算器７からの出力信号に相当する。 【００４４】低域フィルタＦは適応フィルタである。係
数のブロックを量子化する時、そのＱｓｔｅｐの寸法及
びＮＺＣＬ情報が夫々の画素位置に於ける推定量子化ノ
イズを決定することができる。δｚm,nが白色である
時、最適な形のＦは次の式で表わされる。 【数１７】 【００４５】ここでσ2 m,nの正規化でＱｓｔｅｐの寸法
を考慮に入れる。各画素位置に於けるノイズの大きさに
関するそれまでの情報により、大量のノイズを持つ平坦
な像区域に対して強い低域フィルタ作用が加えられ、少
量のノイズを持つコントラストの強い区域及び縁には弱
いフィルタ作用が適用される。こうして、縁及び輪郭に
隣接する平坦な区域から、大抵の特性的なＤＣＴノイズ
を除くことができる。 【００４６】一方、本フィルタを符号化・復号化ループ
の外に出す場合には、図９に示す様に復号器だけに対す
るポスト・フィルタとして構成することができる（フィ
ルタ部８）。また、復号ループ内で（ＩＴＣＴより後
の）加算器の前に挿入することもできる。 【００４７】この新しいノイズ除去フィルタは画像の種
類（Ｉ，Ｐ，又はＢ）に関係なく、常に復号された像に
適用される。更に、この新しいフィルタの動作において
は、復号器側に何等符号化データの増加をもたらす追加
の情報を必要としない。必要な全ての情報は符号化結果
より抽出できるため、復号器側で符号器側と同期した処
理ができる。 【００４８】以上、ＤＣＴを基本とした像圧縮で出会う
特性的なノイズは取除くか又は白色化することができる
ことを示した。その結果得られる品質の改善はかなり大
きい。ノイズ減少フィルタの最適設計にとっては、量子
化及び逆ＤＣＴを合せて考慮しなければならない。 【００４９】以上のように本発明の特定の実施例につき
説明したが、本発明の範囲はその実施例に限定されるも
のではない。 【発明の効果】本発明は、モスキート及びブロック・ノ
イズ等の像圧縮における有害なノイズを有効に除去す
る。
【図面の簡単な説明】
【図１】本発明の一実施例に係る画像処理を行う画像処
理装置のブロック図。 【図２】量子化ノイズの分散を示す図。 【図３】図２の量子化ノイズの分散をビデオ信号の電力
スペクトルで説明した図。 【図４】復号されたブロックの量子化ノイズ（分散）を
示す図。 【図５】図３のグループＡ及びＢの係数の間の境界を説
明する図。 【図６】ＮＺＣＬをパラメータとして、８×８ブロック
の平均ノイズ分散を連結した図。 【図７】Ｚm,nの最小分散を求めるフィルター作用を説
明する図。 【図８】本願発明の実施例で使用されるフィルター構造
の一例を示す図。 【図９】本発明の他の実施例に係る画像処理を行う画像
処理装置のデコード部のブロック図。 【符号の説明】 １ 画像処理装置 ２ 減算器 ３ ＦＤＣＴ変換部 ４ 量子化部 ５ 逆量子化部 ６ ＩＤＣＴ部 ７ 加算器 ８ フィルタ部 ９ メモリ １０ 動き補償部
理装置のブロック図。 【図２】量子化ノイズの分散を示す図。 【図３】図２の量子化ノイズの分散をビデオ信号の電力
スペクトルで説明した図。 【図４】復号されたブロックの量子化ノイズ（分散）を
示す図。 【図５】図３のグループＡ及びＢの係数の間の境界を説
明する図。 【図６】ＮＺＣＬをパラメータとして、８×８ブロック
の平均ノイズ分散を連結した図。 【図７】Ｚm,nの最小分散を求めるフィルター作用を説
明する図。 【図８】本願発明の実施例で使用されるフィルター構造
の一例を示す図。 【図９】本発明の他の実施例に係る画像処理を行う画像
処理装置のデコード部のブロック図。 【符号の説明】 １ 画像処理装置 ２ 減算器 ３ ＦＤＣＴ変換部 ４ 量子化部 ５ 逆量子化部 ６ ＩＤＣＴ部 ７ 加算器 ８ フィルタ部 ９ メモリ １０ 動き補償部
─────────────────────────────────────────────────────
フロントページの続き
(58)調査した分野(Int.Cl.7，ＤＢ名)
H04N 5/91 - 5/93
Claims (1)
- (57)【特許請求の範囲】 【請求項１】 画像情報を符号化した周波数空間データ
に基く量子化データを周波数空間データに逆量子化し、 前記逆量子化した周波数空間データを画像情報に変換
し、 前記変換した画像情報の各ブロックに対し、前記量子化
データの各ブロックにおいて非ゼロ係数が分布する領域
を示す非ゼロ係数パラメータによって定められるノイズ
分布に従って、各画素位置毎に強弱を有し得るフィルタ
作用を与えるステップを含む画像処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24677793A JP3495766B2 (ja) | 1993-10-01 | 1993-10-01 | 画像処理方法 |
| US08/864,266 US5786857A (en) | 1993-10-01 | 1997-05-28 | Image processing system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP24677793A JP3495766B2 (ja) | 1993-10-01 | 1993-10-01 | 画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH07131757A JPH07131757A (ja) | 1995-05-19 |
| JP3495766B2 true JP3495766B2 (ja) | 2004-02-09 |
Family
ID=17153510
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP24677793A Expired - Fee Related JP3495766B2 (ja) | 1993-10-01 | 1993-10-01 | 画像処理方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US5786857A (ja) |
| JP (1) | JP3495766B2 (ja) |
Families Citing this family (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6311297B1 (en) | 1997-10-23 | 2001-10-30 | Sony Corporation | Apparatus and method for mapping an image to blocks to provide for robust error recovery in a lossy transmission environment |
| US6581170B1 (en) | 1997-10-23 | 2003-06-17 | Sony Corporation | Source coding to provide for robust error recovery during transmission losses |
| AU717480B2 (en) * | 1998-08-01 | 2000-03-30 | Korea Advanced Institute Of Science And Technology | Loop-filtering method for image data and apparatus therefor |
| US6591398B1 (en) | 1999-02-12 | 2003-07-08 | Sony Corporation | Multiple processing system |
| US6418548B1 (en) | 1999-02-12 | 2002-07-09 | Sony Corporation | Method and apparatus for preprocessing for peripheral erroneous data |
| AU3999500A (en) * | 1999-02-12 | 2000-08-29 | Sony Electronics Inc. | Method and apparatus for truncated decoding |
| US6307979B1 (en) | 1999-02-12 | 2001-10-23 | Sony Corporation | Classified adaptive error recovery method and apparatus |
| US6363118B1 (en) | 1999-02-12 | 2002-03-26 | Sony Corporation | Apparatus and method for the recovery of compression constants in the encoded domain |
| US6535148B1 (en) * | 1999-02-12 | 2003-03-18 | Sony Corporation | Method and apparatus for truncated decoding |
| US6621936B1 (en) | 1999-02-12 | 2003-09-16 | Sony Corporation | Method and apparatus for spatial class reduction |
| US6633679B1 (en) | 1999-03-23 | 2003-10-14 | Teletechnologies, Ltd. | Visually lossless still image compression for CMYK, CMY and Postscript formats |
| US6760487B1 (en) * | 1999-04-22 | 2004-07-06 | The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration | Estimated spectrum adaptive postfilter and the iterative prepost filtering algirighms |
| US6549672B1 (en) | 1999-06-29 | 2003-04-15 | Sony Corporation | Method and apparatus for recovery of encoded data using central value |
| US6493842B1 (en) | 1999-06-29 | 2002-12-10 | Sony Corporation | Time-varying randomization for data synchronization and implicit information transmission |
| US6473876B1 (en) | 1999-06-29 | 2002-10-29 | Sony Corporation | Method and apparatus for encoding of bitstreams using rotation |
| US6522785B1 (en) | 1999-09-24 | 2003-02-18 | Sony Corporation | Classified adaptive error recovery method and apparatus |
| US6351494B1 (en) | 1999-09-24 | 2002-02-26 | Sony Corporation | Classified adaptive error recovery method and apparatus |
| US6539517B1 (en) | 1999-11-09 | 2003-03-25 | Sony Corporation | Data transformation for explicit transmission of control information |
| KR100656296B1 (ko) * | 2001-09-12 | 2006-12-11 | 마쯔시다덴기산교 가부시키가이샤 | 화상 부호화 방법 및 화상 복호화 방법 |
| US7123656B1 (en) * | 2001-10-01 | 2006-10-17 | Realnetworks, Inc. | Systems and methods for video compression |
| JP2007060689A (ja) * | 2001-11-30 | 2007-03-08 | Ntt Docomo Inc | 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、プログラム及びプログラムを記憶したコンピュータ読み取り可能な記録媒体 |
| JP3936335B2 (ja) | 2001-11-30 | 2007-06-27 | 株式会社エヌ・ティ・ティ・ドコモ | 動画像符号化装置、動画像復号化装置、動画像符号化方法、動画像復号化方法、プログラム及びプログラムを記憶したコンピュータ読み取り可能な記録媒体 |
| JP3893099B2 (ja) * | 2002-10-03 | 2007-03-14 | オリンパス株式会社 | 撮像システムおよび撮像プログラム |
| US8218634B2 (en) * | 2005-01-13 | 2012-07-10 | Ntt Docomo, Inc. | Nonlinear, in-the-loop, denoising filter for quantization noise removal for hybrid video compression |
| US7804896B2 (en) * | 2005-09-19 | 2010-09-28 | Intel Corporation | Content adaptive noise reduction filtering for image signals |
| KR101225056B1 (ko) * | 2006-01-27 | 2013-01-23 | 삼성전자주식회사 | 이미지 센서 노이즈 저감 장치 및 방법 |
| US7590298B2 (en) | 2006-04-12 | 2009-09-15 | Xerox Corporation | Decompression with reduced ringing artifacts |
| EP3107295A1 (en) | 2007-03-20 | 2016-12-21 | Fujitsu Limited | Video encoding method and apparatus, and video decoding apparatus |
| EP2252063A4 (en) * | 2008-03-07 | 2012-09-12 | Toshiba Kk | DEVICE FOR DYNAMIC IMAGE CODING / DECODING |
| CN102132566B (zh) * | 2008-10-07 | 2015-05-20 | 株式会社Ntt都科摩 | 图像加工装置及方法、动态图像编码装置及方法、动态图像解码装置及方法、以及编码解码***和方法 |
| JP5361998B2 (ja) * | 2009-05-29 | 2013-12-04 | 三菱電機株式会社 | 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法 |
| JP5417141B2 (ja) * | 2009-12-08 | 2014-02-12 | Ｋｄｄｉ株式会社 | チャネル情報圧縮装置及び方法、コンピュータプログラム、受信機 |
| WO2011132400A1 (ja) * | 2010-04-22 | 2011-10-27 | パナソニック株式会社 | 画像符号化方法及び画像復号化方法 |
| WO2012029181A1 (ja) * | 2010-09-03 | 2012-03-08 | 株式会社 東芝 | 動画像符号化方法及び復号化方法、符号化装置及び復号化装置 |
| JP5741076B2 (ja) * | 2010-12-09 | 2015-07-01 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2581341B2 (ja) * | 1991-04-26 | 1997-02-12 | 日本ビクター株式会社 | 高能率符号化装置及び復号化装置 |
| JPH0583696A (ja) * | 1991-06-07 | 1993-04-02 | Sony Corp | 画像符号化装置 |
| JP2549479B2 (ja) * | 1991-12-06 | 1996-10-30 | 日本電信電話株式会社 | 動き補償フレーム間帯域分割符号化処理方法 |
| US5479211A (en) * | 1992-04-30 | 1995-12-26 | Olympus Optical Co., Ltd. | Image-signal decoding apparatus |
| US5379122A (en) * | 1992-10-02 | 1995-01-03 | Xerox Corporation | Decompression of standard ADCT-compressed images |
| US5359676A (en) * | 1993-07-19 | 1994-10-25 | Xerox Corporation | Decompression of standard ADCT-compressed document images |
-
1993
- 1993-10-01 JP JP24677793A patent/JP3495766B2/ja not_active Expired - Fee Related
-
1997
- 1997-05-28 US US08/864,266 patent/US5786857A/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US5786857A (en) | 1998-07-28 |
| JPH07131757A (ja) | 1995-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3495766B2 (ja) | 画像処理方法 | |
| CN100364338C (zh) | 估计图像噪声的方法和设备和消除噪声的方法 | |
| EP0769878B1 (en) | Post-filter for removing artifacts from DCT coded images | |
| US5852682A (en) | Post-processing method and apparatus for use in a video signal decoding apparatus | |
| US6690838B2 (en) | Image processing circuit and method for reducing a difference between pixel values across an image boundary | |
| US7970053B2 (en) | Method and apparatus for encoding and/or decoding moving pictures | |
| JP3190002B2 (ja) | 量子化方法および回路 | |
| US6665346B1 (en) | Loop-filtering method for image data and apparatus therefor | |
| US5757969A (en) | Method for removing a blocking effect for use in a video signal decoding apparatus | |
| EP0666695A2 (en) | Adaptive spatial-temporal postprocessing for low bit-rate coded image sequences | |
| JPH0813138B2 (ja) | 画像符号化装置 | |
| JP2000232651A (ja) | ブロック変換符号化された画像表現から復号した電子的画像の中の歪を除去する方法 | |
| EP1499114A2 (en) | Noise reduction apparatus | |
| EP1445961B1 (en) | Noise estimation method and apparatus based on motion compensation | |
| US5675386A (en) | Method for encoding motion image and apparatus therefor | |
| JPH11187400A (ja) | 歪除去方法および歪除去フィルタ | |
| JP4784618B2 (ja) | 動画像符号化装置、動画像復号化装置、動画像符号化プログラム、及び動画像復号化プログラム | |
| JP3736291B2 (ja) | 画像信号復号化装置および方法 | |
| JP3211989B2 (ja) | 直交変換符号化装置及び復号化装置 | |
| JPH07336684A (ja) | 画像信号復号化装置 | |
| EP1182885A2 (en) | Method and apparatus for image quality enhancement | |
| JP3274696B2 (ja) | 画像符号化方法及びその装置 | |
| KR100712382B1 (ko) | 에이치.264 동영상 표준 부호화 방식의 성능 향상을 위한전처리 필터링 방법 | |
| KR100207392B1 (ko) | 텍스쳐 영역 판단장치 및 이를 이용한 복원 영상의 화질 평가 시스템 | |
| Fukuda et al. | Adaptive processing with quadratic programming and LPF for reducing blocking artifacts in DCT image coding |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071121 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081121 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091121 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091121 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101121 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101121 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111121 Year of fee payment: 8 |
|
| LAPS | Cancellation because of no payment of annual fees |