JP3670368B2

JP3670368B2 - Scan filter

Info

Publication number: JP3670368B2
Application number: JP29672595A
Authority: JP
Inventors: 源曽根原
Original assignee: Japan Broadcasting Corp
Current assignee: Japan Broadcasting Corp
Priority date: 1995-11-15
Filing date: 1995-11-15
Publication date: 2005-07-13
Anticipated expiration: 2015-11-15
Also published as: JPH09139864A

Description

【０００１】
【発明の属する技術分野】
本発明は、例えば一次信号（例えばＴＶ画像の輝度信号や色信号）をディジタル信号処理して得られた二次信号（例えば動きベクトルや動き信号）を入力信号とする非線形ディジタル・フィルタ（例えば多数決のディジタル・フィルタ、中央値のディジタル・フィルタ、平均値のディジタル・フィルタ）からなるスキャン・フィルタに係り、特に非線形ディジタル・フィルタ（例えば多数決のディジタル・フィルタ）に入力する二次信号（例えば動きベクトル）と、一次信号を処理して二次信号を生成した際に用いた一次信号に含まれる情報（例えば画像の輝度信号）との依存性を考慮して、非線形処理を行うスキャン・フィルタに関する。
【０００２】
【従来の技術】
従来の非線形ディジタル・フィルタ（例えば多数決のディジタル・フィルタ、中央値のディジタル・フィルタ、平均値のディジタル・フィルタ）は、単に入力信号をフィルタリング処理の対象とする領域内で非線形処理（例えば多数決処理、中央値処理、平均値処理）した結果（多数決結果、中央値結果、平均値結果）を出力するものである。
【０００３】
【発明が解決しようとする課題】
ディジタル・フィルタの対象となる二次信号（例えば動きベクトル、動き検出信号）の属性が、一次信号を処理して二次信号を生成した際に用いた一次信号に含まれる情報（例えば画像の輝度情報や色情報）に依存する場合、従来の非線形ディジタル・フィルタは、このような一次信号に含まれる情報を考慮せずに、単に入力二次信号のみを対象としてフィルタリング処理するものであるため、フィルタ出力は一次信号に含まれる情報に対する依存性が保証されていない。
【０００４】
依存性が保証されない場合は、以下の不都合が生じる。例えば、処理領域内の信号の平滑化と孤立点除去が主な目的である従来の非線形ディジタル・フィルタ（例えば多数決のディジタル・フィルタ、中央値のディジタル・フィルタ、平均値のディジタル・フィルタ）は、二次信号を入力信号とする場合であっても、入力二次信号（例えば動きベクトルや動き信号）が依存する一次信号に含まれる情報（例えば画像の輝度情報や色情報）でフィルタの動作を制御しないため、フィルタ入力信号中に孤立点的に存在する情報（例えばフィルタの対象領域より小さい動物体の動きベクトルや動き信号）の正誤を区別することができない。
【０００５】
従って、従来の非線形ディジタル・フィルタにおいては、孤立点的に存在する正しい情報を除去して、入力二次信号の非線形処理を行ってしまう場合があり、動物体境界部分や小さな動物体に対しては、動きベクトル検出結果を正確に判別し得ないという欠点があった。
【０００６】
また、従来の非線形ディジタル・フィルタを縦続接続で複数用いた場合には、動物体境界部分で、動物体に対応する入力二次信号が動物体領域からはみ出て拡大したり、動物体領域に動物体でない領域の入力二次信号が喰い込むような悪影響が増長されるという欠点があった。
【０００７】
そこで本発明の目的は以上のような問題を解消したスキャン・フィルタを提供することにある。
【０００８】
【課題を解決するための手段】
この発明は情報通信分野や画像処理分野等で、一次信号（例えば画像の輝度信号や色信号）をディジタル処理した結果得られる二次信号（例えば動きベクトル、動き信号）に対して、非線形処理（例えば多数決処理、中央値処理、平均値処理）を行う場合に用いる非線形ディジタル・フィルタであって、一次信号を処理して非線形ディジタル・フィルタ（例えば多数決のディジタル・フィルタ）に入力する二次信号（例えば動きベクトル）を生成した際に用いた一次信号に含まれる情報（例えば画像の輝度情報）を、非線形ディジタル・フィルタの制御信号とし、奇数タップを有する非線形ディジタル・フィルタの中心タップの前後にわたるタップ位置において、入力二次信号に対する制御信号（例えば画像の輝度情報）が、中心タップ位置における制御信号と連続して同一の性質（例えば同一の輝度レベル）を有する領域を探索し、この連続して同一の性質を有する領域群を中心タップを含む前後のタップ方向に各別に特定し、この領域を対象として入力二次信号を各別に非線形処理（例えば多数決処理）し、各方向の非線形処理結果（例えば多数決結果、中央値結果）を比較して所望の（例えば多数決結果が多数となる、連続して同一の性質を有する領域群が多い方の中央値となる）非線形処理結果を選択し、当該選択された処理結果に応答する値をフィルタ出力（例えば動きベクトル）とすることにより、非線形ディジタル・フィルタに入力する二次信号（例えば動きベクトル）と、一次信号を処理して二次信号を生成した際に用いた一次信号に含まれる情報（例えば画像の輝度情報）との依存性を保証したフィルタ処理を行うことができるようにしたものである。
【０００９】
【発明の実施の形態】
本発明の、スキャン・フィルタは、例えば一次信号を処理して二次信号を生成した際に用いた一次信号に含まれる情報を制御信号とし、奇数タップを有するディジタル・フィルタの中心タップの前後にわたるタップ位置において、入力二次信号に対応する制御信号が中心タップ位置における制御信号と連続して同一の性質を有する領域群を探索して、この領域群を中心タップを含む前後のタップ方向に各別に特定して、この領域群を対象に非線形処理し、各方向の非線形処理結果を比較して所望の結果を選択して出力する。その結果、本発明では、スキャン・フィルタの処理対象となる二次信号が一次信号を処理して二次信号を生成した際に用いた一次信号に含まれる情報に依存する場合、入力二次信号に対して上記情報に依存したフィルタリング処理を行うため、フィルタ出力信号における上記情報に関する依存性が保証される。また、以上の説明では、中心タップを含む前後のタップ方向で領域探索を行う２次元の例を示したが、領域探索は領域探索に用いる制御情報の種類に応じて多次元に拡張できるため、任意のｎ次元信号に対して非線形のフィルタ処理を行うこともできる。
【００１０】
また、本発明のスキャン・フィルタは、フィルタの入力信号が依存する制御情報でフィルタ動作を制御するため、複数の領域に跨って同じ入力信号が存在する場合でも、入力信号を制御情報が変化した境界で切り分けて出力することができる。
【００１１】
さらにまた、本発明のスキャン・フィルタの領域探索動作は制御情報の境界で停止するため、孤立点的に存在する入力信号の情報を保存したまま、入力信号の非線形処理を行うことができる。
【００１２】
さらにまた、本発明のスキャン・フィルタは、フィルタの領域探索動作が、情報境界で停止するため、スキャン・フィルタを縦続接続で複数用いた場合であっても従来のように悪影響が増長されることがなく、スキャン・フィルタの効果を段階的に効率よく増加させることができる。
【００１３】
さらに、画像処理の分野では、フィルタの処理対象となる信号は、一次信号を処理してその二次信号を生成した際に用いた一次信号としての画像信号の輝度情報と相関を有する場合が多い。このような画像信号の輝度情報に依存する入力信号に対し、画像信号の輝度情報を考慮しないで非線形のフィルタ処理を行うと、フィルタ出力信号においては、画像信号の輝度情報に関する依存性は消滅してしまう。例えば、テレビジョン信号の動きベクトルや動き検出信号は、画像の輝度信号レベルや色信号レベルの変化として表現されるので、動物体そのものの輝度信号のレベル等と対の関係になっている。このような動きベクトルや動き検出信号に対し、輝度情報を考慮せずに単に従来の非線形フィルタを用いたのでは、動物体の境界付近の動物体でない領域に動物体の信号が、あるいは動物体領域に動物体でない領域の信号が、フィルタ出力として出力されてしまうことがある。本発明のスキャン・フィルタは、動物体境界に情報差が有る場合に、動物体境界で動物体の信号が動物体の外にはみでてしまった信号や動物体以外の信号が動物体の内に入り込んでしまった信号を切り分けることができる。
【００１４】
【実施例】
図１および図２に本発明のスキャン・フィルタの一実施例を示す。
【００１５】
図１および図２のスキャン・フィルタは、９タップのフィルタ長を有する多数決処理を行うスキャン・フィルタである。制御信号は本フィルタの動作を制御して、入力信号に対して非線形処理を行う。入力信号をｍ、制御信号をＬで表す。後述する図３〜図６で示す表１〜表４において詳述するが、フィルタ中心タップの領域をブロック位置ｘとして表し、左方向のタップ位置に担当する領域をブロックｘ−１，ｘ−２，ｘ−３，ｘ−４で表し、右方向のタップ位置に担当する領域をブロックｘ＋１，ｘ＋２，ｘ＋３，ｘ＋４で表す。これに対応させて、スキャン・フィルタの入力二次信号をそれぞれｍ(x) ，ｍ(x-1) ，ｍ(x-2) ，ｍ(x-3), ｍ(x-4) ，ｍ(x+1) ，ｍ(x+2) ，ｍ(x+3) ，ｍ(x+4) とし、一次信号を処理して入力二次信号ｍを生成した際に用いた一次信号に含まれる情報を、スキャン・フィルタの動作を制御する制御信号として、Ｌ(x) ，Ｌ(x-1) ，Ｌ(x-2) ，Ｌ(x-3) ，Ｌ(x-4) ，Ｌ(x+1) ，Ｌ(x+2) ，Ｌ(x+3) ，Ｌ(x+4) と表している。
【００１６】
同一性質と同一性質の連続性の判定部１は、Ｌ(x-1) 〜Ｌ(x-4) およびＬ(x+1) 〜Ｌ(x+4) が、
【００１７】
【外１】

【００１８】
各々ＯＮ出力する８個の比較器１１と、８個の比較器１１の出力と隣接するアンドゲートの出力とに基づいて、ブロック位置ｘを中心に左方向および右方向にＬ(x) と同じレベルの領域をＯＮ出力することによって各々検出するための各々３個のアンドゲート１２とを有する。このような構成によって、フィルタの中心タップに該当する（すなわち、ブロック位置ｘに該当する）レベル信号Ｌ(x) とほぼ同じレベルで、さらにＬ(x) を含む同一性質の領域を検出して、ブロック位置ｘを中心に左および右方向に連続する同一性質の領域に該当するブロック位置のみ比較器およびアンドゲートから検出信号を出力する。
【００１９】
多数決処理と多数判定処理部２は、次の（１）〜（１０）の構成を有する。
【００２０】
（１）入力二次信号ｍ(x) ，ｍ(x-1) 〜ｍ(x-4) ，ｍ(x+1) 〜ｍ(x+4) を判定部１からの同じブロック位置の検出信号が入力された場合のみ選択し、出力する（ｍ(x) はそのまま出力する）９個の選択器２１。
【００２１】
（２）９個の選択器２１の出力のうち、ｍ(x) ，ｍ(x-1) 〜ｍ(x-4) を入力する５個の比較器２２（各比較器２２は、ｍ(x) ，ｍ(x-1) 〜ｍ(x-4) のいずれか１つと残りの４個の各々とがほぼ等しい場合のみ各々ＯＮ出力する４個の比較器からなり、５個の比較器２２のうち、判定部１からの検出信号（ＯＮ出力）が入力された比較器２２のみが作動する。ただし、ｍ(x) と残りのｍ(x-1) 〜ｍ(x-4) とを比較する比較器２２（１つ）は常に作動する。）およびｍ(x) ，ｍ(x+1) 〜ｍ(x+4) を入力する５個の比較器２３（各比較器２３は、比較器２２と同様に４個の比較器からなる）。
【００２２】
（３）これらの比較器２２，２３の各々の出力個数を各々デコードする１０個のデコーダ２４。
【００２３】
（４）１０個のデコーダ２４のうち、５個の比較器２２からの出力個数を各々デコードする５個のデコーダの各出力のうちの最大値を選択し、出力する最大値選択器２５。
【００２４】
（５) 各比較器２２からの出力個数をデコードする５個のデコーダの各出力および最大値選択器２５からの最大値出力を入力して、最大値をとるデコーダの出力が入力される比較器のみ比較出力を出力する５個の比較器２６。
【００２５】
（６）５個の比較器２６のいずれの比較器から比較出力が出力されているかに基づき、左方向で最多となる入力二次信号のタップ位置をデコードするデコーダ２７。
【００２６】
（７）１０個のデコーダ２４のうち、比較器２３からの出力に関して設けられた、上記（４）〜（６）と同様の構成の最大値選択器２８、５個の比較器２９およびデコーダ３０。
【００２７】
（８）２つの最大値選択器２５，２８の各出力値のうちの最大値を選択し、出力する最大値選択器３１。
【００２８】
（９）２つの最大値選択器２５，２８のうちの最大値選択器３１の出力値と等しい値を出力した方の最大値選択器を検出してＯＮ出力する２つの比較器３２。
【００２９】
（１０）２つの比較器３２のいずれがＯＮ出力したかをデコードして、そのデコード結果（例えば、２つの比較器３２のうちの、ブロック位置（ｘ−１）〜（ｘ−４）の側の最大値選択器２５を検出してＯＮ出力した比較器のデコード結果を“１”とし、残りの比較器のデコード結果を“０”とすることができる。なお、２つの比較器３２が共にＯＮのときは、例えば“１”とする。）を出力するデコーダ３３。
【００３０】
以上の構成を有する多数決処理と多数判定処理部２によれば、詳細は後述するが、Ｌ(x) と同一性質を有する領域のみに限って信号ｍに対して多数決処理を行い、互いに遠ざかる２つの方向の多数決結果の多数となる方向とその多数決結果即ち最多の信号の値となるタップ位置を検出する。
【００３１】
出力選択部３は、入力二次信号ｍ(x) およびｍ(x-1) 〜ｍ(x-4) を入力し、前記処理部２のデコーダ２７からのデコード値に基づいて、ｍ(x) およびｍ(x-1) 〜ｍ(x-4) のうちの当該デコード値に対応するブロック位置の信号を選択し（デコード値０ではｍ(x) 、１ではｍ(x-1) 、２ではｍ(x-2) 、…、４ではｍ(x-4) を選択する）出力する選択器３４と、この選択器３４と同様にして、入力二次信号ｍ(x) およびｍ(x+1) 〜ｍ(x+4) のうちの、デコーダ３０からのデコード値に対応するブロック位置の信号を選択し出力する選択器３５と、これらの選択器３４，３５のうちのデコーダ３３のデコード結果に該当する選択器からの出力信号を選択し、スキャン・フィルタ出力として出力する選択器３６とを有する。このような構成によって、詳細は後述するが、多数となる方向の多数決結果を出力する。
【００３２】
表１は、上記の多数決処理を行う９タップのスキャン・フィルタの各タップにおけるブロック位置と制御信号及び入力信号との関係を示したものである。
【００３３】
表１に沿って図１および図２の構成のスキャン・フィルタの動作を説明すると次のようになる。
【００３４】
イ．スキャン・フィルタの中心タップに該当する領域ｘから左にＬ(x) と同じ制御信号となる領域において入力信号ｍの多数決を行うために、同一性質と同一性質の連続性の判定部１においては、
【００３５】
【数１】
Ｌ（ｘ）＝Ｌ（ｘ−１）
∩ Ｌ（ｘ−１）＝Ｌ（ｘ−２） ∩…
の境界条件（同一性質の連続性）を調べながら、隣接ブロック位置における制御信号が領域ｘの制御信号Ｌ(x) と連続して同じになる領域群を順次探索し、アンドゲートからＯＮ出力する。この条件を外れる制御信号に対応するアンドゲート（または比較器１１）からはＯＮ出力されない。つまり領域ｘを含み、かつ領域ｘと同一の制御信号となる領域群が特定される。この領域群を対象に入力信号に対して多数決処理を行う。
【００３６】
ロ．多数決処理と多数判定処理部２において、５個の選択器２１、５個の比較器２２、５個のデコーダ２４、最大値選択器２５、比較器２６、デコーダ２７によって上記の領域で最も多い値の入力信号の個数を数え、そのブロック位置を特定する。
【００３７】
ハ．次に領域ｘから右方向に対して判定部１および処理部２の同様の構成によって、イ、ロと同じ処理を行う。
【００３８】
ニ．処理部２の残りの構成３１〜３３および出力選択部３によって、左方向および右方向の処理の結果である各々の最も多い信号値の個数を比較し、個数の多い方向の多数決結果に応答する入力信号の値を領域ｘの出力信号とする。
【００３９】
次に表２の例で、２値の入力信号に対して図１および図２の構成のスキャン・フィルタを用いた場合の動作を具体的に説明する。表２の例では、制御信号として一次信号のレベルを選択し、レベルが、“１２３”の領域の真の値が“０”であるとする。即ち、表２の例は、具体的には、動物体（レベルが“２１５”の領域）と静止している背景（レベルが“１２３”の領域）との境界（ブロックｘ＋１とｘ＋２の間）近傍で、動き検出信号（動いているところが“１”で、静止しているところが“０”で表される。）が誤って検出された場合を示す。従って、スキャン・フィルタの出力信号が“０”になれば、フィルタが正しく動作していることになる。
【００４０】
イ．領域ｘから左方向にレベル“１２３”が連続する領域を探索すると、左方向に５領域あり（図１の判定部１からのａ１〜ａ４で示す出力がすべてＯＮ）、この領域群で入力信号の多数決処理を行うと、最多数の信号は“０”で、その個数は３となる（図２中の最大値選択器２５の出力が２となり、左方向の最多の信号“０”からなるブロックはｘ−２，ｘ−３，ｘ−４であるため、デコーダ２７のデコード結果が２または３もしくは４となる）。
【００４１】
ロ．領域ｘから右方向にレベル“１２３”が連続する領域を探索すると、右方向に２領域あり、この領域群で入力信号の多数決処理を行うと、最多数の信号は“１”で、その個数は２となる（図２中の最大値選択器２８の出力が１となり、右方向の最多の信号“１”からなるブロックはｘ，ｘ＋１であるためデコーダ３０のデコード結果が０または１となる）。
【００４２】
ハ．左右それぞれの領域群で最多数となる入力信号の個数を比較すると、左方向の多数決結果の“３”が選ばれるため（デコーダ２７のデコード結果２または３もしくは４に基づいて、選択器３４は入力ｍ(x-2) またはｍ(x-3) もしくはｍ(x-4) 、すなわち“０”を選択し、デコーダ３３のデコード結果は選択器３４を選択する信号となる）、スキャン・フィルタの出力信号は、“０”となる。
【００４３】
さらに、表３の例で多値の信号に多数決のスキャン・フィルタを用いた場合を説明する。具体的には、動物体（レベルが“３２１”の領域）の動きベクトル（動きベクトルの大きさが５で表されている。）が、静止している背景（レベルが“１２３”と“２１５”の領域）の中で孤立点的に検出されている場合を示す。
【００４４】
イ．領域ｘから左方向に領域ｘと同一のレベル“３２１”を有する領域を探索すると、このような領域は存在しない。
【００４５】
ロ．領域ｘから右方向に領域ｘと同一のレベル“３２１”を有する領域を探索すると、このような領域は存在しない（判定部１からのＯＮ出力は無い）。
【００４６】
ハ．フィルタ中心タップの左右に領域ｘと同一レベル“３２１”の領域が無いため（デコーダ２７，３０は共に０をデコードし、選択器３４，３５は共にｍ(x) を選択し出力する）、領域ｘのフィルタの出力信号は、ｍ(x) のレベルである“５”となる。
【００４７】
次に表４の例で、２つの画像の画素差分値の入力信号に対して平均値のスキャン・フィルタを用いた場合を説明する。表４の例では、制御信号として一次信号のレベルを選択し、レベルが、“１２３”の領域の画素差分値の平均を求める。即ち、表４の例は、具体的には、動物体（レベルが“２１５”の領域）と静止している背景（レベルが“１２３”の領域）との境界（ブロックｘ＋１とｘ＋２の間）近傍を表している。
【００４８】
イ．領域ｘから左方向にレベル“１２３”が連続する領域を探索すると、左方向に５領域あり、この領域群で入力信号の平均値処理を行うと、平均値は“５．２”となる。
【００４９】
ロ．領域ｘから右方向にレベル“１２３”が連続する領域を探索すると、右方向に２領域あり、この領域群で入力信号の平均値処理を行うと、平均値は“８”となる。
【００５０】
ハ．左右それぞれの領域群で制御信号Ｌ(x) と連続して同じになる領域入力信号の個数を比較すると、左方向の“５”が選ばれるため、スキャン・フィルタの出力信号は、“５．２”となる。
【００５１】
表２の場合、従来の単に多数決を行う非線形ディジタル・フィルタでは、全ての領域を対象とし、その処理領域に信号“１”が６つあるため、領域ｘに対するフィルタの出力信号は“１”となり、正しい信号“０”を選択することができない。また、領域ｘと同じレベルの領域のみを対象にするという条件を入れても、領域ｘと同じレベル“１２３”の領域に“１”が４つあるため、フィルタ出力は“１”となる。さらに隣接する領域のレベルが等しいという境界条件を入れても、“０”と“１”が同数の３となり、正しい出力信号を確定できない。しかし、さらに中心タップから左右各別に処理するという条件を入れれば、正しい結果を出力することができる。
【００５２】
表３のように領域ｘのレベルと同一の値になる領域が中心タップに隣接していない場合、従来の単に多数決を行う非線形ディジタル・フィルタでは、フィルタの処理領域で最多数となる入力信号“３”が出力信号となり、不適切な出力信号になってしまう。
【００５３】
表４の場合、従来の平均値フィルタのようにフィルタの処理領域を領域ｘのレベルと同一の値となる領域に限定しない場合は、動領域部分の不要な入力信号により正しい平均値を求めることができない。
【００５４】
本発明のスキャン・フィルタはフィルタ入力信号が依存する情報でスキャン・フィルタの動作を制御し、フィルタの中心タップの前後にわたるタップ位置において、入力信号に対応する制御情報が中心タップ位置における制御情報と連続して同一の性質を有する領域を探索して、この領域群を中心タップを含む前後のタップ方向に各別に特定し、この２つの領域群に対し別々に非線形処理を行い、その非線形処理結果を比較し、最適となる領域群の非線形処理結果を出力するため、信号とそれに付随する制御情報が孤立点的に存在する場合でも、フィルタの出力として孤立点的に存在する信号を出力することができる。
【００５５】
【発明の効果】
本発明によれば、フィルタ入力信号が依存する情報をフィルタ制御信号として用いることによって、フィルタの精度を飛躍的に上げることができる。
【００５６】
また本発明によれば、奇数タップを有するディジタル・フィルタの中心タップを含む前後のタップ方向に処理領域群を特定し、これらに対し別々に非線形処理を行い、その非線形処理結果を比較することによって、冗長度の極めて少ないフィルタ処理を行うことができ、フィルタ精度を上げることができる。
【００５７】
さらにまた本発明によれば、加算器と比較器のような簡単な手段で構成されるため、ハードウェア化が非常に容易で小型化が容易であり、また入力信号を選ばないため、応用範囲が非常に広いという特徴も具備している。
【図面の簡単な説明】
【図１】本発明のスキャン・フィルタの回路の一実施例を示す図である。
【図２】同実施例の残りの一部を示す図である。
【図３】本発明のスキャン・フィルタのタップ位置と入力信号および制御信号の関係を示す表１を示す図である。
【図４】フィルタ動作の一例を説明するため、表１を具体例として示した表２を示す図である。
【図５】フィルタ動作の一例を説明するため、表１を具体例として示した表３を示す図である。
【図６】フィルタ動作の一例を説明するため、表１を具体例として示した表４を示す図である。
【符号の説明】
１同一性質と同一性質の連続性の判定部
２多数決処理と多数判定処理部
３出力選択部
１１，２２，２３，２６，２９，３２比較器
１２アンドゲート
２１，３４，３５，３６選択器
２４，２７，３０，３３デコーダ
２５，２８，３１最大値選択器[0001]
BACKGROUND OF THE INVENTION
The present invention is a non-linear digital filter (for example, majority decision) having a secondary signal (for example, a motion vector or motion signal) obtained by digital signal processing of a primary signal (for example, a luminance signal or a color signal of a TV image), for example. A second order signal (for example, a motion vector) input to a non-linear digital filter (for example, a majority digital filter), in particular, a scan filter comprising a digital filter, a median digital filter, and an average value digital filter And a scan filter that performs non-linear processing in consideration of the dependency between the primary signal used to generate the secondary signal by processing the primary signal (for example, the luminance signal of the image).
[0002]
[Prior art]
Conventional non-linear digital filters (eg, majority digital filters, median digital filters, average digital filters) simply perform non-linear processing (eg, majority processing, The result of median value processing, average value processing) (majority result, median value result, average value result) is output.
[0003]
[Problems to be solved by the invention]
The attribute of the secondary signal (eg, motion vector, motion detection signal) to be digitally filtered is information included in the primary signal used when the secondary signal is generated by processing the primary signal (eg, image brightness) In the case of depending on information and color information), the conventional non-linear digital filter simply filters only the input secondary signal without considering the information included in the primary signal. The filter output is not guaranteed to depend on the information contained in the primary signal.
[0004]
When the dependency is not guaranteed, the following inconvenience occurs. For example, conventional nonlinear digital filters (eg majority digital filters, median digital filters, average digital filters) whose main purpose is to smooth the signal in the processing domain and remove isolated points are: Even when a secondary signal is used as an input signal, the filter operation is performed with information (for example, luminance information or color information of an image) included in the primary signal on which the input secondary signal (for example, a motion vector or motion signal) depends. Since control is not performed, it is not possible to distinguish between correct and incorrect information that exists in isolated points in the filter input signal (for example, motion vectors and motion signals of moving objects smaller than the target region of the filter).
[0005]
Therefore, in the conventional nonlinear digital filter, there is a case where correct information existing at an isolated point is removed and nonlinear processing of the input secondary signal is performed. Has a drawback that the motion vector detection result cannot be accurately determined.
[0006]
In addition, when a plurality of conventional nonlinear digital filters are used in cascade connection, the input secondary signal corresponding to the moving object extends beyond the moving object area at the moving object boundary part, or the moving object is moved to the moving object area. There was a drawback that the adverse effect of the input secondary signal in the non-body area was increased.
[0007]
Accordingly, an object of the present invention is to provide a scan filter that solves the above problems.
[0008]
[Means for Solving the Problems]
The present invention provides non-linear processing (for example, motion vectors and motion signals) for secondary signals (for example, motion vectors and motion signals) obtained as a result of digital processing of primary signals (for example, image luminance signals and color signals) in the fields of information communication and image processing. For example, a non-linear digital filter used in the case of performing majority processing, median processing, and average value processing, which processes a primary signal and inputs it to a non-linear digital filter (for example, a majority digital filter). For example, the information (for example, image luminance information) included in the primary signal used when generating the motion vector is used as a control signal for the nonlinear digital filter, and taps before and after the center tap of the nonlinear digital filter having odd taps. At the position, the control signal (for example, luminance information of the image) for the input secondary signal is the center tap position. Search for a region having the same property (for example, the same luminance level) in succession with the control signal, and specify a region group having the same property continuously in the front and rear tap directions including the center tap, Non-linear processing (for example, majority processing) is performed on the input secondary signal for each region, and nonlinear processing results (for example, majority results and median results) in each direction are compared to obtain a desired number (for example, many majority results). By selecting a non-linear processing result (which becomes the median of the more regions having the same property in succession), and setting a value in response to the selected processing result as a filter output (for example, a motion vector), A secondary signal (for example, a motion vector) input to the nonlinear digital filter and information (for example, an image of the image) included in the primary signal used when the primary signal is processed to generate the secondary signal. It is obtained to be able to perform a filtering process to ensure the degree information) and dependency.
[0009]
DETAILED DESCRIPTION OF THE INVENTION
The scan filter of the present invention uses, for example, information included in the primary signal used when the secondary signal is generated by processing the primary signal as a control signal, and extends before and after the center tap of the digital filter having odd taps. At the tap position, a search is made for a group of regions in which the control signal corresponding to the input secondary signal is continuously the same as the control signal at the center tap position, and each region is searched in the tap direction before and after the center tap. Separately, this region group is subjected to nonlinear processing, the nonlinear processing results in each direction are compared, and a desired result is selected and output. As a result, in the present invention, when the secondary signal to be processed by the scan filter depends on information included in the primary signal used when the secondary signal is generated by processing the primary signal, the input secondary signal Since the filtering process depending on the information is performed, the dependency on the information in the filter output signal is guaranteed. In the above description, a two-dimensional example is shown in which the region search is performed in the tap direction before and after the center tap. However, since the region search can be extended to multiple dimensions depending on the type of control information used for the region search, Nonlinear filtering can also be performed on an arbitrary n-dimensional signal.
[0010]
In addition, since the scan filter of the present invention controls the filter operation with the control information on which the input signal of the filter depends, even when the same input signal exists across multiple regions, the control information of the input signal changes. Can be output by cutting at the boundary.
[0011]
Furthermore, since the region search operation of the scan filter of the present invention stops at the boundary of the control information, it is possible to perform non-linear processing of the input signal while preserving the information of the input signal existing as an isolated point.
[0012]
Furthermore, in the scan filter according to the present invention, since the area search operation of the filter stops at the information boundary, even when a plurality of scan filters are used in cascade connection, the adverse effect is increased as in the conventional case. Therefore, the effect of the scan filter can be efficiently increased step by step.
[0013]
Further, in the field of image processing, the signal to be processed by the filter often has a correlation with the luminance information of the image signal as the primary signal used when the primary signal is processed to generate the secondary signal. . When non-linear filtering is performed on the input signal that depends on the luminance information of the image signal without considering the luminance information of the image signal, the dependency on the luminance information of the image signal disappears in the filter output signal. End up. For example, a motion vector or motion detection signal of a television signal is expressed as a change in the luminance signal level or color signal level of the image, and therefore has a pair relationship with the luminance signal level of the moving object itself. For such motion vectors and motion detection signals, if a conventional nonlinear filter is simply used without taking luminance information into consideration, the signal of the moving object or the moving object in the non-moving area near the boundary of the moving object An area signal that is not a moving object may be output as a filter output. In the scan filter of the present invention, when there is an information difference at the moving body boundary, the signal that the moving body signal is outside the moving body at the moving body boundary or the signal other than the moving body is within the moving body. It is possible to isolate the signal that has entered.
[0014]
【Example】
1 and 2 show an embodiment of the scan filter of the present invention.
[0015]
1 and 2 is a scan filter that performs majority processing having a filter length of 9 taps. The control signal controls the operation of this filter and performs non-linear processing on the input signal. The input signal is represented by m and the control signal is represented by L. As will be described in detail in Tables 1 to 4 shown in FIGS. 3 to 6 to be described later, the filter center tap region is represented as a block position x, and the region in charge of the tap direction in the left direction is represented by blocks x-1 and x-2. , X-3, x-4, and the area in charge of the tap position in the right direction is represented by blocks x + 1, x + 2, x + 3, x + 4. Correspondingly, the input secondary signals of the scan filter are respectively m (x), m (x-1), m (x-2), m (x-3), m (x-4), m (x + 1), m (x + 2), m (x + 3), m (x + 4), included in the primary signal used when processing the primary signal to generate the input secondary signal m L (x), L (x-1), L (x-2), L (x-3), L (x-4), L as control signals for controlling the operation of the scan filter (x + 1), L (x + 2), L (x + 3), and L (x + 4).
[0016]
The continuity determination unit 1 of the same property and the same property has L (x-1) to L (x-4) and L (x + 1) to L (x + 4) as follows:
[0017]
[Outside 1]

[0018]
Same as L (x) in the left direction and the right direction around the block position x, based on the eight comparators 11 that are each ON-output and the outputs of the eight comparators 11 and the adjacent AND gate. Each has three AND gates 12 for detecting each of the level regions by outputting them ON. With such a configuration, a region having the same property including L (x) is detected at substantially the same level as the level signal L (x) corresponding to the center tap of the filter (that is, corresponding to the block position x). The detection signal is output from the comparator and the AND gate only in the block position corresponding to the region of the same property that is continuous in the left and right directions around the block position x.
[0019]
The majority decision processing and majority decision processing unit 2 has the following configurations (1) to (10).
[0020]
(1) Input secondary signals m (x), m (x-1) to m (x-4), m (x + 1) to m (x + 4) are detected from the determination unit 1 at the same block position. Nine selectors 21 that select and output only when a signal is input (output m (x) as it is).
[0021]
(2) Among the outputs of the nine selectors 21, five comparators 22 for inputting m (x), m (x-1) to m (x-4) (each comparator 22 is m (x x), four comparators each of which outputs ON only when any one of m (x-1) to m (x-4) is substantially equal to each of the remaining four, and five comparators 22, only the comparator 22 to which the detection signal (ON output) from the determination unit 1 is input operates, provided that m (x) and the remaining m (x-1) to m (x-4) The comparators 22 (one) that compare each other always operate.) And five comparators 23 that input m (x), m (x + 1) to m (x + 4) And four comparators similar to the comparator 22).
[0022]
(3) Ten decoders 24 for decoding the output numbers of the

comparators

22 and 23, respectively.
[0023]
(4) A maximum value selector 25 that selects and outputs the maximum value among the outputs of the five decoders that respectively decode the number of outputs from the five comparators 22 out of the ten decoders 24.
[0024]
(5) A comparator to which the outputs of the five decoders for decoding the number of outputs from each comparator 22 and the maximum value output from the maximum value selector 25 are input, and the output of the decoder taking the maximum value is input. 5 comparators 26 that only output comparison outputs.
[0025]
(6) A decoder 27 that decodes the tap position of the input secondary signal that is the largest in the left direction based on which of the five comparators 26 outputs the comparison output.
[0026]
(7) Among the ten decoders 24, the maximum value selector 28, the five comparators 29, and the decoder 30 that are provided for the output from the comparator 23 and have the same configuration as the above (4) to (6). .
[0027]
(8) A maximum value selector 31 that selects and outputs the maximum value of the output values of the two

maximum value selectors

25 and 28.
[0028]
(9) Two comparators 32 that detect and output the maximum value selector that outputs the same value as the output value of the maximum value selector 31 of the two

maximum value selectors

25 and 28.
[0029]
(10) Decode which one of the two comparators 32 outputs ON, and the decoding result (for example, the block positions (x-1) to (x-4) side of the two comparators 32) The decoding result of the comparator that detects and outputs the maximum value selector 25 can be set to “1”, and the decoding results of the remaining comparators can be set to “0”. A decoder 33 that outputs “1” when ON, for example.
[0030]
According to the majority processing and the majority judgment processing unit 2 having the above-described configuration, the majority processing is performed on the signal m only in a region having the same property as L (x), and the details are described later. The direction which becomes the majority of the majority results in one direction and the tap position which becomes the majority result, that is, the value of the most signals are detected.
[0031]
The output selection unit 3 inputs the input secondary signals m (x) and m (x-1) to m (x-4), and based on the decoded value from the decoder 27 of the processing unit 2, m (x ) And m (x-1) to m (x-4), the signal at the block position corresponding to the decoded value is selected (m (x) for the decoded value 0, m (x-1) for 1; 2 selects m (x-2),... 4 selects m (x-4)). Similarly to the selector 34, the input secondary signals m (x) and m (x A selector 35 that selects and outputs a signal at a block position corresponding to a decoded value from the decoder 30 among x + 1) to m (x + 4), and a decoder 33 among these

selectors

34 and 35. And a selector 36 for selecting an output signal from the selector corresponding to the decoding result and outputting it as a scan filter output. Although the details will be described later, such a configuration outputs a majority result in many directions.
[0032]
Table 1 shows the relationship between the block position, the control signal, and the input signal at each tap of the 9-tap scan filter that performs the majority process.
[0033]
The operation of the scan filter configured as shown in FIGS. 1 and 2 will be described with reference to Table 1 as follows.
[0034]
A. In order to make a majority decision of the input signal m in the region where the same control signal as L (x) is left from the region x corresponding to the center tap of the scan filter, the continuity determination unit 1 of the same property and the same property ,
[0035]
[Expression 1]
L (x) = L (x-1)
Ｌ L (x-1) = L (x-2) ∩ ...
While checking the boundary condition (continuity of the same property), sequentially search for a group of regions in which the control signal at the adjacent block position is continuously the same as the control signal L (x) of the region x, and output ON from the AND gate. . The AND gate (or the comparator 11) corresponding to the control signal that does not satisfy this condition is not turned ON. That is, a region group including the region x and having the same control signal as the region x is specified. Majority processing is performed on the input signal for this region group.
[0036]
B. In the majority decision processing and majority decision processing section 2, the five selectors 21, the five comparators 22, the five decoders 24, the maximum value selector 25, the comparator 26, and the decoder 27 have the largest value in the above-mentioned region. The number of input signals is counted and the block position is specified.
[0037]
C. Next, with the same configuration of the determination unit 1 and the processing unit 2 in the right direction from the region x, the same processing as that of (a) and (b) is performed.
[0038]
D. The remaining configurations 31 to 33 of the processing unit 2 and the output selection unit 3 compare the number of signal values that are the most numerous as a result of processing in the left direction and the right direction, and respond to the majority decision result in the direction of the larger number. Let the value of the input signal be the output signal of region x.
[0039]
Next, in the example of Table 2, the operation when the scan filter having the configuration shown in FIGS. 1 and 2 is used for a binary input signal will be described in detail. In the example of Table 2, it is assumed that the level of the primary signal is selected as the control signal, and the true value of the region whose level is “123” is “0”. That is, the example of Table 2 specifically shows the boundary (between the blocks x + 1 and x + 2) between the moving object (the region whose level is “215”) and the stationary background (the region whose level is “123”). This shows a case where a motion detection signal (a moving part is represented by “1” and a stationary part is represented by “0”) is erroneously detected in the vicinity. Therefore, when the output signal of the scan filter becomes “0”, the filter is operating correctly.
[0040]
A. When searching for a region where level “123” continues in the left direction from the region x, there are five regions in the left direction (all the outputs indicated by a1 to a4 from the determination unit 1 in FIG. 1 are ON). When the majority process is performed, the largest number of signals is “0” and the number thereof is three (the output of the maximum value selector 25 in FIG. 2 is 2, and the largest number of signals “0” in the left direction is comprised. Since the blocks are x-2, x-3, and x-4, the decoding result of the decoder 27 is 2 or 3 or 4).
[0041]
B. When a region where level “123” continues in the right direction from the region x is searched, there are two regions in the right direction. When majority processing of input signals is performed in this region group, the largest number of signals is “1”. 2 (the output of the maximum value selector 28 in FIG. 2 is 1, and the block consisting of the most frequent signal “1” in the right direction is x, x + 1, so the decoding result of the decoder 30 is 0 or 1). ).
[0042]
C. Comparing the number of input signals with the largest number in each of the left and right region groups, the left majority decision “3” is selected (based on the

decoding result

2 or 3 or 4 of the decoder 27, the selector 34 Input m (x-2) or m (x-3) or m (x-4), that is, "0" is selected, and the decoding result of the decoder 33 is a signal for selecting the selector 34), scan filter The output signal is “0”.
[0043]
Further, a case where a majority scan filter is used for a multilevel signal in the example of Table 3 will be described. More specifically, the motion vector (the magnitude of the motion vector is represented by 5) of the moving object (the region whose level is “321”) is a stationary background (the levels are “123” and “215”. The case where an isolated point is detected in “region” is shown.
[0044]
A. When searching for a region having the same level “321” as the region x in the left direction from the region x, such a region does not exist.
[0045]
B. When a region having the same level “321” as the region x is searched for in the right direction from the region x, such a region does not exist (there is no ON output from the determination unit 1).
[0046]
C. Since there is no region of the same level “321” as the region x on the left and right of the filter center tap (the

decoders

27 and 30 both decode 0 and the

selectors

34 and 35 both select and output m (x)). The output signal of the x filter is “5” which is the level of m (x).
[0047]
Next, in the example of Table 4, the case where an average value scan filter is used for the input signals of the pixel difference values of two images will be described. In the example of Table 4, the level of the primary signal is selected as the control signal, and the average of the pixel difference values in the region where the level is “123” is obtained. That is, the example of Table 4 specifically shows the boundary (between the blocks x + 1 and x + 2) between the moving object (the region whose level is “215”) and the stationary background (the region whose level is “123”). It represents the neighborhood.
[0048]
A. When a region where level “123” continues in the left direction from the region x is searched, there are five regions in the left direction. When the average value processing of the input signals is performed in this region group, the average value becomes “5.2”.
[0049]
B. When a region where level “123” continues in the right direction from the region x is searched, there are two regions in the right direction. When the average value processing of the input signal is performed in this region group, the average value becomes “8”.
[0050]
C. When the number of region input signals that are continuously the same as the control signal L (x) in the left and right region groups is compared, “5” in the left direction is selected, so the output signal of the scan filter is “5. 2 ".
[0051]
In the case of Table 2, the conventional non-linear digital filter that simply performs majority voting covers all areas, and there are 6 signals “1” in the processing area, so the output signal of the filter for area x is “1”. The correct signal “0” cannot be selected. Even if the condition that only the region at the same level as the region x is targeted, there are four “1” s in the region of the same level “123” as the region x, so the filter output becomes “1”. Furthermore, even if the boundary condition that the levels of adjacent regions are equal is set, “0” and “1” are the same number of 3, and a correct output signal cannot be determined. However, a correct result can be output if a condition that processing is performed separately for each of the left and right sides from the center tap.
[0052]
When the region having the same value as the level of the region x is not adjacent to the center tap as shown in Table 3, in the conventional nonlinear digital filter that simply performs majority voting, the input signal “ 3 ″ becomes an output signal, which is an inappropriate output signal.
[0053]
In the case of Table 4, when the filter processing area is not limited to an area having the same value as the level of the area x as in the conventional average value filter, a correct average value is obtained from an unnecessary input signal in the moving area portion. I can't.
[0054]
The scan filter of the present invention controls the operation of the scan filter with information on which the filter input signal depends. At the tap positions before and after the center tap of the filter, the control information corresponding to the input signal is the control information at the center tap position. Search continuously for regions having the same properties, identify each region group in the tap direction before and after the center tap, and perform nonlinear processing separately on the two region groups, and the result of nonlinear processing To output the nonlinear processing result of the optimal region group, so that even if the signal and its associated control information exist in isolated points, output the signal that exists in isolated points as the output of the filter Can do.
[0055]
【The invention's effect】
According to the present invention, it is possible to dramatically improve the accuracy of the filter by using the information on which the filter input signal depends as the filter control signal.
[0056]
Further, according to the present invention, the processing region groups are specified in the front and rear tap directions including the center tap of the digital filter having odd taps, nonlinear processing is separately performed on these, and the nonlinear processing results are compared. Filter processing with extremely low redundancy can be performed, and the filter accuracy can be increased.
[0057]
Furthermore, according to the present invention, since it is configured by simple means such as an adder and a comparator, it is very easy to implement hardware and easy to downsize, and an input signal is not selected. Is also very wide.
[Brief description of the drawings]
FIG. 1 is a diagram showing an embodiment of a circuit of a scan filter according to the present invention.
FIG. 2 is a diagram showing a remaining part of the embodiment;
FIG. 3 is a diagram showing Table 1 showing the relationship between the tap position of the scan filter of the present invention, the input signal, and the control signal.
FIG. 4 is a diagram showing Table 2 showing Table 1 as a specific example for explaining an example of a filter operation;
FIG. 5 is a diagram showing Table 3 showing Table 1 as a specific example for explaining an example of the filter operation;
FIG. 6 is a diagram showing Table 4 showing Table 1 as a specific example for explaining an example of the filter operation;
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 Judgment part 2 of continuity of the same property and the same property 2 Majority determination process and majority determination process part 3

Output selection part

11, 22, 23, 26, 29, 32 Comparator 12 And

gate

21, 34, 35, 36

Selector

24 , 27, 30, 33

Decoder

25, 28, 31 Maximum value selector

Claims

画像情報における画像の動きに関連する情報を表す被処理入力信号と、前記画像情報に含まれる情報であって前記被処理入力信号と相関のある情報を含む制御信号とからなる一対の信号が入力される奇数タップの非線形ディジタルフィルタであって、
フィルタ中心タップ位置を含み、該中心タップに隣接して該中心タップ位置から相互に逆方向に距離が順次に増加する各タップ位置に対応するそれぞれの前記制御信号が中心タップ位置に対応する前記制御信号と同一の性質を連続して有する連続タップ領域を、前記二の方向に各別に検出して出力する領域判定部と、
該領域判定部によって各別に検出された二の連続タップ領域群を対象として、対応する前記被処理入力信号を各別に非線形フィルタリング処理するフィルタ処理部と、
該フィルタ処理部によって得られた前記二の連続タップ領域群におけるフィルタ処理結果を比較して得られた所望の非線形処理結果に相当するタップの前記被処理入力信号をフィルタ出力信号として選択出力する出力選択部とを備えたことを特徴とするスキャン・フィルタ。 A pair of signals consisting of a processed input signal representing information related to image movement in image information and a control signal including information correlated with the processed input signal and input to the image information are input. An odd tap non-linear digital filter, comprising:
The control corresponding to each tap position including a filter center tap position and corresponding to each tap position adjacent to the center tap and sequentially increasing in the opposite direction from the center tap position. An area determination unit that continuously detects and outputs continuous tap areas having the same property as the signal separately in the two directions;
A filter processing unit for subjecting the corresponding input signal to be processed to a non-linear filtering process for each of two consecutive tap region groups detected by the region determination unit,
Output for selecting and outputting, as a filter output signal, the input signal to be processed of a tap corresponding to a desired non-linear processing result obtained by comparing the filter processing results in the two consecutive tap region groups obtained by the filter processing unit A scan filter comprising a selection unit.

前記制御信号は、画像の輝度情報、または、画像の色情報を含み、前記被処理入力信号は、画像の動きベクトル、または、画像の動き信号であることを特徴とする請求項１記載のスキャン・フィルタ。 2. The scan according to claim 1, wherein the control signal includes luminance information of the image or color information of the image, and the input signal to be processed is a motion vector of the image or a motion signal of the image. ·filter.

前記領域判定部は、画像の輝度信号レベルをパラメータに同一性を検出するものであることを特徴とする請求項２記載のスキャン・フィルタ。 3. The scan filter according to claim 2, wherein the area determination unit detects identity using a luminance signal level of an image as a parameter.