JPS63260277A - 動き適応形画質改善装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明はテレビジョン受像様等の画像を扱う機器におい
て、画像信号に含まれるノイズ成分を抑え、鮮鋭度を良
くするための動き適応形画質改善装置に関するものであ
る。

（従来の技術） 従来より、テレビジョン信号等の動画像に対する有効な
ノイズリデューサとして空間域でのノイズリデュースと
時間域でのノイズリデュースとの特性を画像の時間変化
に適応させて変える時空間平滑化フィルタがある（通信
学会論文誌Ｖｏ１．Ｊ７０−８−１　：へ島、沢田ｒＨ
ＤＴＶ信号のフレーム内／フレーム間適応外挿内挿予測
符号化」）。

このフィルタの動作は、時間域フィルタによって処理さ
れた１フレーム前の信号と現フレーム信号とを比較して
、差がない場合には空間域のローパスフィルタ（ＬＰＦ
）をあまりかけず、差がある場合にはある程度の振幅変
化までＬＰＦをかけることにより、動画像に対しても動
きボケを生じることなく、ノイズを軽減しようとするも
のである。

（発明が解決しようとする問題点） ところが、上記した従来の時空間フィルタは、主に信号
符号化における前処理として、ノイズを軽減するために
使われていた。従って、テレビジョン受像線等における
輪郭補償については考慮されていないものである。そし
て、この処理の場合、画像はボケることかあっても鮮鋭
度が増すことはないものである。

また、適応処理は各画素の時間変化によって画素ごとに
独立に行なわれるので、静止画像においてもノイズが多
い場合には、特にパルス性のノイズにおいて動きと検出
され、空間フィルタにより平滑化されることになる。逆
に、画像の動き領域においても、画像の形状により画素
によっては静止になったり、また、形状変化のコントラ
ストが低い場合にも、画素の時間変化があまりないこと
になり静止のようになってしまう。

以上のような点から、従来の時空間フィルタは不適切な
フィルタ動作が起こり易く、解像度は低下しがちである
。特に、ノイズが多い場合には時間域フィルタが有効に
作用せず、問題となっている。

そこで、本発明は上記した従来の技術の問題点を解決し
た動き適応形画質改善装置を提供することを目的とする
。

（問題点を解決するための手段） 本発明は上記の目的を達成するために、前フレーム値と
現フレーム値との画素ごとの差を絶対値化し、帯域の狭
い第１のローパスフィルタを通して動き検出値を得る動
き検出手段と、時間域で処理された前フレーム値から現
フレーム値を減算する減算回路と、現フレーム値に対し
て前記動き検出手段における前記第１のローパスフィル
タでの遅延を補償する第１の遅延器と、前記減算回路の
減算結果を前記第１の遅延器に通して遅延した遅延減算
結果と前記動き検出値とをそれぞれ入力し、この入力遅
延減算結果に対する出力のゲインを両方の入力値に応じ
て変えて出力する第１の非線形回路と、この第１の非線
形回路の出力と前記現フレーム値を前記第１の遅延器を
通して遅延した遅延現フレーム値とを加算して出力を得
る加算回路とにより時間域での処理を行なう第１の処理
手段と、この第１の処理手段の時間域での処理出力に対
し空間域での第２のローパスフィルタの遅延を補償する
第２の遅延器と、前記第２のローパスフィルタを通した
値から前記第２の遅延器を通した時間域での処理出力を
減算する減算回路と、この減算回路の減算結果と前記第
２の遅延器を通した動き検出値とをそれぞれ入力し、こ
の入力した減算結果に対する出力のゲインを両方の入力
値に応じ変えて出力する第２の非線形回路と、この第２
の非線形回路の出力と前記第２の遅延器を通した時間域
での処理出力とを加算して出力を得る加算回路とにより
空間域での処理を行なう第２の処理手段とを有すること
を特徴とする動き適応形画質改善装置を提供するもので
ある。

（実　施　例） 本発明になる動き適応形画質改善装置は、動画像に対し
動きを適切に検出し、静止領域では時間域フィルタで十
分なノイズリデュースをし、空間域フィルタでは輪郭補
償を行ない画像の鮮鋭度を増加させ、また、動き領域で
は時間域フィルタのノイズリデュースは最小限として動
きボケを防ぎ、空間域フィルタでローパスフィルタ（Ｌ
ＰＦ）を作用させノイズを抑えるようにするものである
。

第１図は本発明になる動き適応形画質改善装置の一実施
例を示すブロック図である。

同図において、入力端子１にはテレビジョン信号等の両
会信号が入力される。２．１３は減算器、３はリミッタ
、４は絶対値（ＡＢＳ）回路、５゜１１はローパスフィ
ルタ（ＬＰＦ）である。

Ｄ１ディレィ６は、ＬＰＦ５のディレィを補償する遅延
量Ｄ１の遅延器である。７．１４は非線形回路、８．１
５は加算器である。

（ＩＦ−Ｄｌ）ディレィ９は、１フレームより遅延器Ｄ
１だけ少ない遅延量の遅延器である。

Ｄ２ディレィ１０．１２は、ＬＰＦＩＩのディレィを補
償する遅延ｌＤ２の遅延器である。１６は出力端子であ
る。

装置の前半（図の左半分）は、時間域フィルタを構成し
、基本的には１フレームのディレィを持った巡回形フィ
ルタである。また、装置の後半（図の右半分）は空間域
フィルタを構成し、１次元、又は２次元のＬＰＦｌｌを
持ち、非線形回路１４の特性により輪郭補償フィルタに
もＬＰＦにもなる。また、Ｄ１ディレィ６及びＤ２ディ
レィ１０゜１２は、それぞれＬＰＦ５．ＬＰＦＩＩのデ
ィレィをそれぞれ補償してＬＰＦの位相関係を正しく保
つためのものである。

次に、上記の構成における各部の動作について説明する
。

まず、時間域フィルタであるが、巡回加算されている１
フレーム前の値から現フレームの値を減算器２で画素ご
とに減算し、差を得る。この差成分について、後で説明
する動き検出回路におけるＬＰＦ５のディレィを補償す
るために０１デイレイ６を通す。また、後の加算でタイ
ミングを合わせるため現フレーム値についても同様にＤ
１ディレィ６を通す。

Ｄ１ディレィ６を通ったフレーム間の差信号は、非線形
回路７により次のような処理がされる。まず、静止領域
においては、ノイズリデューサの効果を強く出すために
線形出力でゲイン“１”に近い状態にする。これにより
時間域フィルタはかなり帯域が狭いＬＰＦが形成され、
ランダムノイズは大きく減少する。一方、動き領域にお
いては通常用いられるリミット形の特性とし、入力値が
大きくなるにしたがっである値以上で急激にゲインが下
がるようにし、動きに対するボケを防ぐようにする。こ
の非線形回路７の入出力特性の例を第２図に示す。ここ
で、負側は対称とする。また、この非線形回路７は内部
でリミッタを持ち、入力信号レベルが“０〜２５５ｎ程
度の場合、“６４”程度でリミッタをかけ、それ以上の
レベルに対しては同一の処理をする。ここで、通常、フ
レーム間の差が大きい時は動き領域であり、その場合の
非線形回路の特性は、ある入力値以上で出力が全て“０
″となるので、前記したリミッタをかけても問題はない
。

このようにして得られた非線形回路７の出力と現フレー
ム値を加算器８で加算することによりノイズリデュース
された出力が得られる。

次に、空間域フィルタであるが、ここでＬＰＦｌｌは画
像の空間上での形状により、例えば垂直と水平の２種類
のフィルタを別々に動作させると言ったフィルタの２次
元的な特性を変える方式を用いることもできるが、ここ
では２次元的な特性の変化はなく、特性の変化について
は１次元的なものとする。

空間域フィルタの構成は、まず入力信号に対してＬＰＦ
ｌｌをかけたものから、そのしＰＦｌｌのディレィを補
償するＤ２ディレィ１２を通した入力信号値を減算器１
３で減尊する。ここで、このＬＰＦｌｌは１次元構成で
も２次元構成でも良く、２次元構成の場合はより理想的
な特性が得られる。簡単なものの例としては、第５図に
示されるものがある。第５図において、１Ｈデイレイは
１ライン分の遅延器、■は１ドツト分の遅延器、ｅは加
算器である。

また、第７図は第５図における２次ＬＰＦの画素係数を
２次画素配置に対応させて示したものであり、図に示す
画素係数（“１”又は“２″又は“４”）がそれぞれ１
／１６に掛けられる。

上記のように、Ｌ、ＰＦｌｌの出力からそのＬＰＦ１１
のかかっていない値を減算器１３で減算するので、周波
数域としても差が得られ、信号の高域成分が得られるこ
とになる。この高域成分は非線形回路１４を通されるわ
けであるが、仮にこの非線形回路１４が線形でゲイン“
１″であったとすると、後でディレィのみの値を加算す
ることによりディレィのみの値は相殺されＬＰＦｌｌの
出力がそのまま出力されることになる。一方、非線形回
路１４の出力が°°Ｏ”であったとすると、ディレィの
みの値がそのまま出力されることになり、無処理となる
。

逆に、非線形回路１４のゲインが負であったとすると、
信号の高域成分が正位相で加算されることになり、前記
したゲインが正で高域成分が逆転していた場合とは逆に
、出力信号の高域成分は増加し、輪郭補償が行なわれる
。

従って、Ｌ　Ｐ　Ｆ　１１をかけたい場合には非線形回
路１４０入出力極性を正にし、輪郭補償をしたい場合に
は負にすれば良い。非線形回路１４を用いた場合、この
ような処理の変更は高域成分のレベルに応じて設定する
ことができ、それにより非線形の特性が決まることにな
る。

ここで、この処理をどのようにするかであるが、画像が
空間的に平坦で高域変化が少ない場所にはＬＰＦｌｌを
かけてノイズを軽減し、画像のエツジ部等の変化があっ
て高域成分が多い場所には輪郭補償をかけて画像の鮮鋭
度が増すようにする。但し、輪郭補償が行なわれ過ぎる
と画像が不自然になるので、輪郭補償で画像に変化を与
える値にはリミッタをかけるようにする。

次に、静止領域と動き領域とでの適応処理であるが、静
止領域においては時間域フィルタにより十分ノイズ成分
が抑圧されているので、ＬＰＦｌｌはかなり高域成分が
小さい時のみとし、他の場合は輪郭補償を比較的強くか
けるようにする。

ノイズは十分少ないので、輪郭補償によりノイズが目立
つこともなく鮮鋭度の高い画像が得られる。逆に、動き
領域においては時間域フィルタによるノイズ軽減が十分
でなく、ノイズがかなり含まれるので、比較的大振幅の
高域成分レベルまでＬＰＦｌｌをかけるようにし、輪郭
補償はあまり行なわないようにする。この場合、画像は
ややボケ易くなり鮮鋭度も下がるが、画像が動いている
のでそもそもあまり高域成分が多くなく、視覚的にも検
知され難いので大きな問題とはならない。

このような動きによる適応処理を多段階に行ない、スム
ーズな変化をさせることにより、不自然さなく画質改善
を行なうことができる。以上のような空間域での非線形
回路１４の入出力特性の例を第３図に示す。ここで、入
力の負方向は対称形とし、入力絶対値は“３２”でリミ
ッタをかけ、それ以上は同一出力としている＝これは信
号にあまり大きな変化を与えないためと、非線形特性の
処理を容易にするためとに行なわれる。

なお、これら非線形特性をＲＯＭ　（Ｒｅａｄ　０ｎｌ
ｙＨｅｌＯｒ＋７）によりテーブルルックアップ（Ｔａ
ｂｌｅＬｏｏｋ　ｕｐ　）で行なおうとしても、動き適
応を４レベルとするとＲＯＭの容量は非線形回路７で４
にビット、非線形回路１４で１にビット程度と小容量の
もので良いことになる。

次に、以上のような時間域、空＠域での適応処理の基準
となる動き領域か静止領域かの検出について説明する。

本発明装置において従来のものと基本的に異なる点は、
動き検出出力において、狭帯域なＬＰＦ５をかけること
により画素ごとにかなり強い相関をもたせる点である。

通常、画像における動きは画素ごとで大きく変化するこ
とはなく、かなり強い相関を持っている。そこで、動き
出力に対しても強い相関を持たせ、ノイズ成分による誤
検出や空間域での高域成分を持つ画像が動いた場合の誤
検出を画素ごとに検出した場合に対して大きく改善する
ものである。

その動作は、まず、フレーム間の差信号を検出すること
であるが、これは減算器２の出力として時間域フィルタ
において得られているので、それをそのまま使用できる
。よって、この減算器２の出力に対してリミッタ３で簡
単なリミッタをかけ、更に、絶対値（ＡＢＳ）回路４で
絶対値化することにより画素ごとの動きが得られる。こ
のＡＢＳ回路４の出力をかなり帯域を狭くしたＬＰＦ５
に通すことにより強い相関を持たせ、前記の画素ごとの
動きが変動しても最終的な動作領域か静止領域かの情報
は画素ごとにあまり変化がないようにする。

ここで、リミッタ３はパルス性の強いノイズにより静止
領域が動き領域と誤検出されることを軽減するためや信
号の変化の程度（コントラスト比）の差による動き検出
レベルの差を縮小するために使われる。ここで、後者の
理由は同様な動き領域であるにもかかわらず、動き検出
が線形であると画像の空間的な変化のコントラスト比に
比例して検出されるのに対し、ある程度その比をコント
スト比より小さくするためである。

一方、このようなリミッタ３を入れることによりＡＢＳ
回路４による絶対値化やＬＰＦ５のディジタル処理にお
ける処理ビット数を軽減することにも役立っている。こ
のリミッタ３の特性の例を第４図に示す。

ここで問題となるのは、ＬＰＦ５の特性であるが、画像
の性質を考えると空間域で使われるＬＰＦｌｌに対して
、さらに帯域が狭いものが望まれる。

第６図はＬＰＦ５の構成を示す図であり、同図において
、１日ディレィは１ライン分の遅延器、■は１ドツト分
の遅延器、９Ｔは９ドツト分の遅延器、Φは加算器であ
る。

この第６図に示したＬＰＦ５の例では垂直方向は空間域
のＬＰＦｌｌと同様であるが、水平方向については同一
係数形とし、加算してディレィさせた後に減算すること
により簡単な回路で帯域を狭くしている。

また、第８図は第６図における２次ＬＰＦの画素係数を
２次画素配置に対応させて示したものであり、図に示す
画素係数（“１″）がそれぞれ１／２７に掛けられる。

なお、ここでのＬＰＦ５は空間域のＬＰＦｌ　１とは異
なり直接画質に変化を与えるものではないので、さほど
厳密なものではなく、画像の動きが多様なことを考えれ
ばどのようなものが最適であるかも判断し難いものであ
る。

（発明の効果） 以上の如く、上記した本発明の動き適応形画質改善装置
により、従来では比較的ノイズ成分が多い場合に、静止
画においても時間域フィルタであまりノイズが軽減され
ないのに対し、ある領域が静止領域と判定されることに
より、十分ノイズが軽減される。また、パルス性のノイ
ズに対しても同様に時間域フィルタによりノイズが軽減
される。

このような場合には空間域フィルタはあまりしＰＦが作
用しないので鮮鋭度の低下も少ない。また、本発明装置
では静止領域と判定された場合、輪郭補償が作用し、単
にノイズが軽減されるのみならず、画像の鮮鋭度を向上
させることができる。この場合、ノイズが軽減された信
号に対し処理されるので、輪郭補償によりノイズが目立
つこともなく、総合的に優れた画質が得られる。一方、
動き領域と判定された場合には時間域フィルタは従来と
同様な動作となり、仮に静止領域が誤って動き領域と判
定されても大きな問題はない。更に、動き領域において
はノイズ軽減は主に空間域で行なわれ、最終的に画像に
ノイズが多く残ることはない。

また、それぞれの処理は連続的にスムーズに変化し、切
換えによる不自然さは生じない。

これらの適応処理はパルス性のノイズ等に対しても誤動
作し難く、また、画像の空間的な形状やコントラスト比
によって動き領域と静止領域の判定を誤ることも少なく
なっている。更に、この処理は画素ごとに連続的に変化
するので、近接画素間で処理が大きく異ったり、ブロッ
ク単位での検出のようにブロックの境界で処理が変わる
ことによる不自然さもなくなっている。

【図面の簡単な説明】

第１図は本発明になる動き適応形画質改善装置の一実施
例を示すブロック図、第２図及び第３図は本発明装置の
一実施例を構成する非線形回路の入出力特性を示す図、
第４図は本発明装置の一実施例を構成するリミッタの特
性を示す図、第５図及び第６図は本発明装置の一実施例
を構成するしＰＦの構成を示す図、第７図及び第８図は
それぞれ第５図及び第６図における２次ＬＰＦの画素係
数を示す図である。 １・・・入力端子、２．１３・・・減算器、３・・・リ
ミッタ、４・・・絶対値（ＡＢＳ）回路、５．１１・・
・ローパスフィルタ（ＬＰＦ）、６・・・Ｄ１ディレィ
、７．１４・・・非線形回路、８．１５・・・加算器、
９・・・（１Ｆ−Ｄ＋）ディレィ、１０、１２・・・Ｄ
２ディレィ、１６・・・出力端子。

Claims (1)

1. 【特許請求の範囲】 前フレーム値と現フレーム値との画素ごとの差を絶対値
   化し、帯域の狭い第１のローパスフィルタを通して動き
   検出値を得る動き検出手段と、時間域で処理された前フ
   レーム値から現フレーム値を減算する減算回路と、現フ
   レーム値に対して前記動き検出手段における前記第１の
   ローパスフィルタでの遅延を補償する第１の遅延器と、
   前記減算回路の減算結果を前記第１の遅延器に通して遅
   延した遅延減算結果と前記動き検出値とをそれぞれ入力
   し、この入力遅延減算結果に対する出力のゲインを両方
   の入力値に応じて変えて出力する第１の非線形回路と、
   この第１の非線形回路の出力と前記現フレーム値を前記
   第１の遅延器を通して遅延した遅延現フレーム値とを加
   算して出力を得る加算回路とにより時間域での処理を行
   なう第１の処理手段と、 この第１の処理手段の時間域での処理出力に対し空間域
   での第２のローパスフィルタの遅延を補償する第２の遅
   延器と、前記第２のローパスフィルタを通した値から前
   記第２の遅延器を通した時間域での処理出力を減算する
   減算回路と、この減算回路の減算結果と前記第２の遅延
   器を通した動き検出値とをそれぞれ入力し、この入力し
   た減算結果に対する出力のゲインを両方の入力値に応じ
   変えて出力する第２の非線形回路と、この第２の非線形
   回路の出力と前記第２の遅延器を通した時間域での処理
   出力とを加算して出力を得る加算回路とにより空間域で
   の処理を行なう第２の処理手段とを有することを特徴と
   する動き適応形画質改善装置。