JP4403330B2 - 動きベクトル検出装置および検出方法、並びに画像信号処理装置および処理方法 - Google Patents
動きベクトル検出装置および検出方法、並びに画像信号処理装置および処理方法 Download PDFInfo
- Publication number
- JP4403330B2 JP4403330B2 JP2000020553A JP2000020553A JP4403330B2 JP 4403330 B2 JP4403330 B2 JP 4403330B2 JP 2000020553 A JP2000020553 A JP 2000020553A JP 2000020553 A JP2000020553 A JP 2000020553A JP 4403330 B2 JP4403330 B2 JP 4403330B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- motion vector
- pixels
- straight line
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、動画像について動きベクトルを検出する動きベクトル検出装置および検出方法、並びに画像信号処理装置および処理方法に関する。
【０００２】
【従来の技術】
画像からノイズを除去するために、従来から動き適応型リカーシブフィルタが使用されている。動き適応型リカーシブフィルタの構成の一例を図２４に示す。注目フレーム、すなわち各時点における入力フレームの画像データが減算回路１１００に供給される。減算回路１１００には、さらに、フレームメモリ１０９９に記憶されている、前フレームすなわち注目フレームに対して１フレーム前のフレームの画像データが供給される。減算回路１１００の出力が絶対値算出回路１１０１に供給されて絶対値に変換され、絶対値がしきい値処理回路１１０２に供給される。しきい値処理回路１１０２は、供給される絶対値を所定のしきい値の下でしきい値処理し、画素毎に動き／静止を判定する。
【０００３】
しきい値処理回路１１０２による判定結果が重み設定値発生回路１１０３に供給される。重み設定値発生回路１１０３は、供給される判定結果に応じて重み設定値ｋの値を設定する。設定されるｋの値は、入力フレームに対する振幅調整を行うアンプ１１０５に供給される。ここで、アンプ１１０４は入力信号をｋ倍し、また、アンプ１１０５はフレームメモリ内の画素データを（１−ｋ）倍する。
【０００４】
しきい値処理回路１１０２によって静止と判定される場合には、ｋの値として０〜０．５の間のある固定値が設定される。このような設定により、アンプ１１０４、１１０５の後段の加算器１１０６の出力は注目フレーム内の画素値と前フレーム内の画素値とが重み付け加算された値とされる。一方、しきい値処理回路１１０２によって動きと判定される場合には、ｋの値として１が設定される。このような設定により、加算器１１０６からは注目フレーム内の画素値がそのまま出力される。
【０００５】
【発明が解決しようとする課題】
上述したような動き適応型リカーシブフィルタにおいては、次の（ａ）〜（ｄ）のような問題がある。（ａ）静止部分に対して、一定の重み（固定値ｋ）の下で重み付け加算を行うだけなので、ノイズの大きさや方向が変化する場合に、それに的確に対応するノイズ除去がなされない。（ｂ）ノイズレベルが大きい場合、静止部分を動きと誤判定してしまうので、ノイズ除去効果が減少する。（ｃ）動き部分を静止と誤判定し、尾引き状の劣化が見られる場合がある。（ｄ）動き部分に対してはノイズ除去ができない。
【０００６】
また、クラス分類適応処理を用いてノイズ除去を行う方法が提案されている。すなわち、ブロックマッチングを行うことによって動きベクトルを検出し、検出した動きベクトルに基づいて、フレーム間で対応する画素を用いたクラス分類適応処理を行うようにしたものである。この場合には、動き適応型リカーシブフィルタにおける問題点は解消若しくはその程度を軽減できるが、以下のような問題がある。
【０００７】
（ｅ）ブロックマッチングを用いているために処理が重い。（ｆ）例えばフレームｔとフレームｔ＋１，フレームｔ＋１とフレームｔ＋２等、各フレーム間でそれぞれブロックマッチングを行う必要がある。それらのブロックマッチングがどれか１個でも誤るとノイズ除去の効果が軽減される。（ｇ）ブロックマッチングでは、ブロック内に含まれてしまうような小さなオブジェクトの動きは検出できないので、そのような動きに起因して的確でない処理が行われるおそれがある。
【０００８】
また、動きベクトル検出に係る動き適応型リカーシブフィルタ以外の従来技術として、ブロックマッチング法、勾配法等が挙げられる。ブロックマッチング法は、探索範囲毎にブロック内の画素差分の総和を計算し、計算値を比較する必要がある。このため、演算量が膨大となり、回路規模の縮小、処理時間の向上等の観点から問題があった。また、ブロック内に含まれるような細かい動きについては、動き量を正確に検出することができない。また、勾配法は、ノイズが加わった画像に対しては、動き量の検出精度が著しく劣化する。
【０００９】
従って、この発明の目的は、動画に対して動きベクトルの算出を的確に行うことが可能な動きベクトル検出装置および検出方法、並びに画像信号処理装置および処理方法を提供することにある。
【００１０】
【課題を解決するための手段】
請求項１の発明は、画像信号内の注目画素および注目画素の周辺に位置する複数の画素を含む対象画素毎に、各対象画素を通り、時間方向に延びる直線上に位置する複数の画素を抽出する抽出手段と、
各注目画素に対する各対象画素に対して、抽出手段によって直線の方向毎に抽出される複数の画素の画素値に基づいて、直線の方向毎に類似度を検出する類似度検出手段と、
対象画素毎の直線の方向毎に検出された類似度に基づいて、注目画素に対する動きベクトルを算出する動きベクトル算出手段とを備えることを特徴とする動きベクトル検出装置である。
【００１１】
請求項１３の発明は、画像信号内の注目画素および注目画素の周辺に位置する複数の画素を含む対象画素毎に、各対象画素を通り、時間方向に延びる直線上に位置する複数の画素を抽出する抽出ステップと、
各注目画素に対する各対象画素に対して、抽出ステップによって直線の方向毎に抽出される複数の画素の画素値に基づいて、直線の方向毎に類似度を検出する類似度検出ステップと、
対象画素毎の直線の方向毎に検出された類似度に基づいて、注目画素に対する動きベクトルを算出する動きベクトル算出ステップとを有することを特徴とする動きベクトル検出方法である。
【００１２】
請求項１４の発明は、画像信号内の注目画素を通り、時間方向に延びる直線と、注目画素の周辺に位置する画素を通り、直線と平行な直線との各々について、当該直線上に位置する複数の画素を抽出する抽出手段と、
抽出手段によって直線の方向毎に抽出される複数の画素に基づいて、直線の方向毎に類似度を検出する類似度検出手段と、
直線の方向毎に検出される類似度に基づいて、注目画素に対する動きベクトルを算出する動きベクトル算出手段とを備えることを特徴とする動きベクトル検出装置である。
【００１３】
請求項１９の発明は、画像信号内の注目画素を通り、時間方向に延びる直線と、注目画素の周辺に位置する画素を通り、直線と平行な直線との各々について、当該直線上に位置する複数の画素を抽出する抽出ステップと、
抽出ステップによって直線の方向毎に抽出される複数の画素に基づいて、直線の方向毎に類似度を検出する類似度検出ステップと、
直線の方向毎に検出される類似度に基づいて、注目画素に対する動きベクトルを算出する動きベクトル算出ステップとを備えることを特徴とする動きベクトル検出方法である。
【００１４】
請求項２０の発明は、画像信号をフレーム毎に記憶する複数個のフレームメモリと、
複数個のフレームメモリに記憶される各フレームから１個または複数個の画素を切出す第１の画像切出し手段と、
第１の画像切出し手段によって切出される画素の画素値に基づいて時空間内での画像レベル分布のパターンを検出し、検出結果に応じてクラス分類を行うクラス分類手段と、
クラス毎に予め決定された予測係数を記憶しており、記憶した予測係数の内から、クラス分類手段によるクラス分類結果に対応するものを出力する係数メモリと、
複数個のフレームメモリに記憶される各フレームから１個または複数個の画素を切出す第２の画像切出し手段と、
係数メモリの出力と、第２の画像切出し手段によって切出される画像領域のデータとに基づいて演算を行うことによって出力画像を生成する出力画像生成手段と、
画像信号内の注目画素および注目画素の周辺に位置する複数の画素を含む対象画素毎に、各対象画素を通り、時間方向に延びる直線上に位置する複数の画素を抽出する抽出手段と、注目画素の各々に対応する各対象画素に対して、抽出手段によって直線の方向毎に抽出される複数の画素の画素値に基づいて、直線の方向毎に類似度を検出する類似度検出手段と、対象画素毎の直線の方向毎に検出された類似度に基づいて、注目画素に対する動きベクトルを算出する動きベクトル算出手段を含む動きベクトル検出手段と、
動きベクトル検出手段によって検出される動きベクトルに基づいて、第１の画像切出し手段および／または第２の画像切出し手段によって切出される画素の位置を設定する切出し位置決定手段とを備えることを特徴とする画像信号処理装置である。
【００１５】
請求項２１の発明は、画像信号をフレーム毎に記憶する記憶ステップと、
記憶ステップによって記憶される各フレームから１個または複数個の画素を切出す第１の画像切出しステップと、
第１の画像切出しステップによって切出される画素の画素値に基づいて時空間内での画像レベル分布のパターンを検出し、検出結果に応じてクラス分類を行うクラス分類ステップと、
クラス毎に予め決定された予測係数を記憶しており、記憶した予測係数の内から、クラス分類手段によるクラス分類結果に対応するものを出力する係数出力ステップと、
記憶ステップによって記憶される各フレームから１個または複数個の画素を切出す第２の画像切出しステップと、
係数出力ステップによる出力と、第２の画像切出しステップによって切出される画像領域のデータとに基づいて演算を行うことによって出力画像を生成する出力画像生成ステップと、
画像信号内の注目画素および注目画素の周辺に位置する複数の画素を含む対象画素毎に、各対象画素を通り、時間方向に延びる直線上に位置する複数の画素を抽出する抽出ステップと、注目画素の各々に対応する各対象画素に対して、抽出ステップによって直線の方向毎に抽出される複数の画素の画素値に基づいて、直線の方向毎に類似度を検出する類似度検出ステップと、対象画素毎の直線の方向毎に検出された類似度に基づいて、注目画素に対する動きベクトルを算出する動きベクトル算出ステップを含む動きベクトル検出ステップと、
動きベクトル検出ステップによって検出される動きベクトルに基づいて、第１の画像切出しステップおよび／または第２の画像切出しステップによって切出される画素の位置を設定する切出し位置決定ステップとを有することを特徴とする画像信号処理方法である。
【００１６】
以上のような発明によれば、時空間内で注目フレーム内の複数の画素を通る複数の直線上に位置する複数のフレーム内の画素の画素値に基づいてなされる演算処理の結果に基づいて動きベクトルが算出される。
【００１７】
【発明の実施の形態】
この発明の第１の実施形態についての説明に先立ち、理解を容易とするために、ブロックマッチングとクラス分類適応処理とを組み合わせることによって動画像について動きを考慮してノイズ除去を行うようにした、先に提案された構成（特願平１０−３０４０５８号参照）についてその概要を説明する。このような構成の一例を図１に示す。ノイズを除去されるべき入力画像信号がフレームメモリ２００に供給される。フレームメモリ２００には、フレームメモリ２０１、２０２がシフトレジスタ状に順次接続されている。これにより、フレームメモリ２００、２０１、２０２には、時間的に連続する３個のフレームの画像データが記憶される。
【００１８】
フレームメモリ２００、２０１は、記憶しているフレームを動きベクトル検出部２０３に供給する。動きベクトル検出部２０３は、供給される２個のフレームに基づいてブロックマッチングを行って動きベクトルを検出し、検出した動きベクトルを領域切出し部２０５および２０６に供給する。また、フレームメモリ２００，２０１、２０２は、記憶しているフレームを領域切出し部２０５および２０６に供給する。動きベクトル検出部２０４は、供給される２個のフレームに基づいてブロックマッチングを行って動きベクトルを検出し、検出した動きベクトルを領域切出し部２０５および２０６に供給する。
【００１９】
領域切出し部２０６には、フレームメモリ２００、２０１および２０２が記憶しているフレームが供給される。領域切出し部２０６は、動きベクトル検出部２０３から供給される動きベクトルおよび動きベクトル検出部２０４から供給される動きベクトルを参照して、供給されるフレームから、所定の位置の画像領域を切出す。切出された画像領域のデータがクラスコード発生部２０７に供給される。クラスコード発生部２０７は、供給されるデータから、例えばＡＤＲＣ(Adaptive Dynamic Range Coding)処理等によって時空間内のパターンを抽出し、抽出したパターンに従って分類されるクラスを示すクラスコードを生成する。
【００２０】
このように、領域切出し部２０６が切出す画像領域は、クラス分類に係る処理に用いられるので、かかる画像領域はクラスタップと称される。クラスコードは、係数メモリ２０８に供給される。係数メモリ２０８は、クラス毎に予め決定された予測係数を記憶しており、記憶している予測係数の内から、クラスコードに対応するものを出力する。係数メモリ２０８の出力は、推定演算部２０９に供給される。
【００２１】
一方、領域切出し部２０５には、フレームメモリ２００，２０１，２０２が記憶しているフレームの画像データが供給される。領域切出し部２０５は、動きベクトル検出部２０４および２０３から供給される動きベクトルを参照して、供給されるフレームの画像データから所定の位置の画像領域を切出し、切出した画像領域のデータを推定演算部２０９に供給する。推定演算部２０９は、領域切出し部２０５から供給されるデータと、係数メモリ２０８から供給される予測係数とに基づいて所定の演算を行い、その結果として出力画像を生成する。この出力画像においてノイズが除去若しくは軽減されている。このように、領域切出し部２０５が切出す画像領域は、出力画像を予測生成するための演算に用いられるので、かかる画像領域はクラスタップと称される。
【００２２】
領域切出し部２０６、２０５によってそれぞれ切出されるクラスタップ、予測タップのタップ構造について図２を参照して説明する。図２において、予測されるべき注目画素を黒丸で示し、クラスタップまたは予測タップとして切出される画素を、影を付した丸で示した。図２Ａには、基本的なクラスタップ構造の一例を示す。注目画素を含む注目フレームｆ［０］と、時間的に注目フレームの前後に位置するフレーム、すなわちｆ［−１］、ｆ［＋１］とから、注目画素と同一の空間位置の画素がクラスタップとして抽出される。また、図２Ｂには、基本的な予測クラスタップ構造の一例を示す。注目フレームの画像データと、時間的に注目フレームの前後に位置するフレームの画像データとから、注目画素と、注目画素の周囲に位置する例えば１２個の計１３個の画素が予測タップとして抽出される。
【００２３】
さらに、図１中の動きベクトル検出部２０３、２０４から出力される動きベクトルに応じて時間的に切出し位置がずらされる場合について図２Ｃ，図２Ｄに示す。図２Ｅに示すように、注目フレームにおける動きベクトルが（０，０）であり、前フレームにおける動きベクトルが（−１、−１）、後フレームにおける動きベクトルが（１、１）である場合に、フレーム全体におけるクラスタップ、予測タップの切出し位置が動きベクトルに従って平行移動させられる。このように、先の出願に係る構成では、クラスタップ、予測タップを切出す処理に先立って動きベクトルを検出する必要がある。この場合、動きベクトルを検出するためのブロックマッチング等の処理には大きな計算量が必要とされ、装置に大きな負荷が掛かるという問題があった。
【００２４】
次に、この発明の第１の実施形態について説明する。この発明の第１の実施形態における、予測推定に係る構成の一例を図３に示す。入力画像信号がフレームメモリ２１に供給される。フレームメモリ２１には、フレームメモリ２２、２３、２４、２５がシフトレジスタ状に順次接続されている。これにより、フレームメモリ２１〜２５に、時間的に連続する５個のフレームの画像データが記憶される。以下の説明では、フレームメモリ２３に記憶される画像データを注目フレームの画像データとして扱うものとする。また、フレームメモリ２４，２５に記憶される画像データを、それぞれ、注目フレームよりそれぞれ１フレーム、２フレーム前のフレームの画像データとして扱い、また、フレームメモリ２２，２１に記憶される画像データを、それぞれ、注目フレームよりそれぞれ１フレーム、２フレーム後のフレームの画像データとして扱うものとする。
【００２５】
フレームメモリ２１、２２、２３、２４、２５が記憶しているフレーム内の画像データがタップ配置決定部２６に供給される。タップ配置決定部２６は、供給されるデータに基づいてクラスタップ、予測タップとして切出すべき画素の位置を決定する。クラスタップとして切出すべき画素の位置に係る情報が領域切出し部２８に供給される。また、予測タップとして切出すべき画素の位置に係る情報が領域切出し部２７に供給される。領域切出し部２７、２８には、フレームメモリ２１〜２５が記憶しているフレームの画像データが供給される。領域切出し部２８は、供給される各フレームから、タップ配置決定部２６から供給される情報に従う位置の画素をクラスタップとして切出す。一方、領域切出し部２７は、供給される各フレームから、タップ配置決定部２６から供給される情報に従う位置の画素を予測タップとして切出す。
【００２６】
領域切出し部２８は、切出したクラスタップのデータをクラスコード発生部２９に供給する。クラスコード発生部２９は、供給されるデータから、例えばＡＤＲＣおよびＤＲ（ダイナミックレンジ）の量子化等の処理を行うことによって時空間内のパターンを抽出し、抽出したパターンに従って分類されるクラスを示すクラスコードを生成する。ノイズのない静止画像の場合、同一画素であればフレーム間での画素値の変動はあり得ない。また、動きに対しても、動きが速い場合についてはぼけ等の劣化が見られるが、基本的に同一画素では時間的な変動はない。
【００２７】
従って、同一画素の値の変動がある場合に、その変動はノイズであると考えられる。このため、時間方向のみに広げたクラスタップ構造の下で１画素のみを切出し、切出した画素のデータに基づいてＡＤＲＣを行うことによって、フレーム毎のノイズ成分を検出することができる。また、ＡＤＲＣによって生成する再量子化コードのビット数が大きい程、ノイズレベルの変動をより的確に検出することができる。また、ＤＲを量子化して、その値とＡＤＲＣによる再量子化コードを含めて、クラスコードを演算することにより、ノイズレベルの違いを区別することができる。
【００２８】
ＡＤＲＣ処理について以下に説明する。ＡＤＲＣは、本来、ＶＴＲ(Video Tape Recorder) 用の高能率符号化のために開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語調で効率的に表現できるという特徴を有する。このため、クラス分類のコードを発生するための、画像信号の時空間内でのパターンの検出に使用することができる。すなわち、以下の式（１）により、クラスタップとして切出される領域内の最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット数で均等に分割して再量子化する。
【００２９】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝〔（Ｌ−ＭＩＮ＋０．５）×２n ／ＤＲ〕 （１）
ここで、ＤＲは領域内のダイナミックレンジである。また、ｎはビット割り当て数であり、例えばｎ＝２とすることができる。また、Ｌは領域内画素のデータレベルであり、Ｑが再量子化コードである。但し、大かっこ（〔‥‥〕）は切り捨て処理を意味する。
【００３０】
これにより、１画素当たり例えば８ビットからなるクラスタップの画素データが例えば２ビットの再量子化コード値に変換される。このようにして生成される再量子化コード値により、クラスタップのデータにおけるレベル分布のパターンがより少ない情報量によって表現される。例えば７画素からなるクラスタップのタップ構造を用いる場合、上述したような処理により、各画素に対応する７個の再量子化コードｑ1 〜ｑ7 が生成される。かかる出力に基づいてクラスコード発生回路４が発生するクラスコードclassは、次の式（２）のようなものである。
【００３１】
【数１】
ここで、ｎはクラスタップとして切出される画素の数である。また、ｐの値としては、例えばｐ＝２とすることができる。
【００３２】
クラスコードは、係数メモリ３０に供給される。係数メモリ３０はクラス毎に予め決定された予測係数を記憶しており、記憶している予測係数の内から、クラスコードに対応するものを出力する。係数メモリ３０の出力は、推定演算部３１に供給される。一方、領域切出し部２７は、切出した予測タップのデータを推定演算部３１に供給する。推定演算部３１は、領域切出し部２７から供給されるデータと、係数メモリ３０から供給される予測係数とに基づいて以下の式（１）のような演算を行い、その結果として出力画像中の画素値ｙを順次生成する。
【００３３】
ｙ＝ｗ1×ｘ1 ＋ｗ2 ×ｘ2 ＋‥‥＋ｗn ×ｘn （３）
ここで、ｘ1 ，‥‥，ｘn が各予測タップの画素データであり、ｗ1 ，‥‥，ｗn が各予測係数である。
【００３４】
次に、この発明の第１の実施形態における学習、すなわち予測係数を決定する処理について図４を参照して説明する。画像情報変換の結果として生成されるべきノイズを有しない画像（以下、教師画像と表記する）がノイズ付加部４０と、正規方程式加算部５０とに供給される。ノイズ付加部４０は、供給される教師画像にノイズ成分を付加する。ノイズ付加部４０の出力がフレームメモリ４１に供給される。フレームメモリ４１には、フレームメモリ４２、４３、４４、４５がシフトレジスタ状に順次接続されている。これにより、フレームメモリ４１〜４５に、時間的に連続する５個のフレームの画像データが記憶される。以下の説明では、フレームメモリ４３に記憶される画像データを注目フレームの画像データとして扱うものとする。また、フレームメモリ４４，４５に記憶される画像データを、それぞれ、注目フレームよりそれぞれ１フレーム、２フレーム前のフレームの画像データとして扱い、また、フレームメモリ４２，４１に記憶される画像データを、それぞれ、注目フレームよりそれぞれ１フレーム、２フレーム後のフレームの画像データとして扱うものとする。
【００３５】
フレームメモリ４１〜４５が記憶しているフレーム内のデータがタップ配置決定部４６に供給される。タップ配置決定部２６は、図３中のタップ配置決定部４６と同様に、供給されるデータに基づいてクラスタップ、予測タップとして切出すべき画素の位置を決定する。クラスタップとして切出すべき画素の位置に係る情報が領域切出し部４８に供給される。また、予測タップとして切出すべき画素の位置に係る情報が領域切出し部４７に供給される。
【００３６】
また、領域切出し部４７、４８には、フレームメモリ４１〜４５が記憶しているフレームが供給される。領域切出し部４８は、供給される各フレームから、タップ配置決定部４６から供給される情報に従う位置の画素をクラスタップとして切出す。一方、領域切出し部４７は、供給される各フレームから、タップ配置決定部４６から供給される情報に従う位置の画素を予測タップとして切出す。時空間内でクラスタップとして切出される画素位置の一例を図９Ａに示す。また、時空間内で予測タップとして切出される画素位置の一例を図９Ｂに示す。
【００３７】
領域切出し部４８は、切出したクラスタップのデータをクラスコード発生部４９に供給する。クラスコード発生部４９は、供給されるデータから、図３中のクラスコード発生部２９と同様な処理を行うことによって時空間内のパターンを抽出し、抽出したパターンに従って分類されるクラスを示すクラスコードを生成する。クラスコードが正規方程式加算部５０に供給される。
【００３８】
一方、領域切出し部４７は、切出した予測タップのデータを正規方程式加算部５０に供給する。正規方程式加算部５０は、供給される教師画像、予測タップのデータおよびクラスコードに基づいて、予測係数を解とする正規方程式を解くために必要なデータを計算する。正規方程式加算部５０の出力は、予測係数決定部５１に供給される。予測係数決定部５１は、所定の演算を行うことにより、クラス毎の予測係数を決定する。決定された予測係数がメモリ５２に供給され、記憶される。メモリ５２に記憶内容が図３中の係数メモリ３０にロードされることにより、上述したような予測推定が可能とされる。
【００３９】
予測係数を決定するための演算について説明する。図４に示したような構成に対し、複数種類の画像データが供給される。これらの画像データの種類数をｍと表記する場合、式（３）から、以下の式（４）が設定される。
【００４０】
ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn （４）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合には、ｗ1 ，‥‥，ｗn は一意に決まらないので、誤差ベクトルｅの要素ｅk を以下の式（５）で定義して、式（６）によって定義される誤差ベクトルｅの２乗を最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００４１】
ｅk ＝ｙk −｛ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn｝ （５）
（ｋ＝１，２，‥‥ｍ）
【００４２】
【数２】
【００４３】
式（６）のｅ2 を最小とする予測係数を求めるための実際的な計算方法としては、ｅ2 を予測係数ｗi (i=1,2‥‥)で偏微分し（式（７））、ｉの各値について偏微分値が０となるように各予測係数ｗi を決定すれば良い。
【００４４】
【数３】
【００４５】
式（７）から各予測係数ｗi を決定する具体的な手順について説明する。式（８）、（９）のようにＸji，Ｙi を定義すると、式（７）は、式（１０）の行列式の形に書くことができる。
【００４６】
【数４】
【００４７】
【数５】
【００４８】
【数６】
【００４９】
式（１０）が一般に正規方程式と呼ばれるものである。正規方程式加算部５０は、供給されるデータに基づいて式（８）、（９）に示すような演算を行うことにより、Ｘji，Ｙi （ｉ＝１，２，‥‥，ｎ）をそれぞれ計算する。予測係数決定部５１は、掃き出し法等の一般的な行列解法に従って正規方程式（１０）を解くことにより、予測係数ｗi （ｉ＝１，２，‥‥，ｎ）を算出する。
【００５０】
次に、ノイズ付加部４０における、教師画像にノイズを付加する処理について詳細に説明する。ノイズを付加する方法としては、例えば以下の（１）〜（４）ような方法が考えられる。（１）コンピュータシミュレーション的にランダムノイズを発生させ、発生させたノイズを付加する。（２）教師画像に対してＲＦ系を介してノイズを付加する。（３）レベルが一様な画像と、その画像をＲＦ系を介してなる画像との差分をとり、その差分を教師画像に加算する。（４）レベルが一様な画像をＲＦ系を介してなる画像と、該画像についてフレーム加算を行うことによってノイズ除去をした画像との差分をとることによってノイズ成分を抽出し、抽出したノイズ成分を教師画像に付加する。
【００５１】
（２）の方法に係る構成の一例を図５に示す。教師画像がＲＦ変調器６１に供給される。ＲＦ変調器６１は、教師画像にＲＦ変調を施す。ＲＦ変調器６１の出力がアテネータ減衰器６２に供給される。アテネータ減衰器６２は、ＲＦ変調器６１の出力にアテネータ減衰処理を施す。アテネータ減衰器６２の出力はＲＦ復調器６３に供給される。ＲＦ復調器６３は、アテネータ減衰器６２の出力をＲＦ復調することにより、教師画像にノイズが付加された画像を生成する。なお、（２）の方法においては、教師画像と生徒画像との間での画素位置のずれを考慮する必要がある。
【００５２】
（３）の方法に係る構成の一例を図６に示す。レベルが一様な画像がＲＦ変調器７１と減算器７４とに供給される。ＲＦ変調器７１は、供給される画像にＲＦ変調を施す。ＲＦ変調器７１の出力がアテネータ減衰器７２に供給される。アテネータ減衰器７２は、ＲＦ変調器７１の出力にアテネータ減衰処理を施す。アテネータ減衰器７２の出力はＲＦ復調器７３に供給される。ＲＦ復調器７３は、アテネータ減衰器７２の出力をＲＦ復調する。ＲＦ復調器７３の出力が減算器７４に供給される。減算器７４は、レベルが一様な画像とＲＦ復調器７３の出力との差分をとる。減算器７４の出力が加算器７５に供給される。加算器７５には、さらに、教師画像が供給される。加算器７５は、減算器７４の出力を教師画像に加算することにより、教師画像にノイズが付加された画像を生成する。
【００５３】
（４）の方法に係る構成の一例を図７に示す。レベルが一様な画像がＲＦ変調器８１に供給される。ＲＦ変調器８１は、供給される画像にＲＦ変調を施す。ＲＦ変調器８１の出力がアテネータ減衰器８２に供給される。アテネータ減衰器８２は、ＲＦ変調器８１の出力にアテネータ減衰処理を施す。アテネータ減衰器８２の出力はＲＦ復調器８３に供給される。ＲＦ復調器８３は、アテネータ減衰器８２の出力をＲＦ復調する。ＲＦ復調器８３の出力がフレーム加算回路８４と、減算器８５とに供給される。
【００５４】
フレーム加算回路８４は、供給される画像をフレーム加算することによってＲＦ復調器８３の出力からノイズが除去されてなる画像を生成する。フレーム加算回路８４の出力が減算器８５に供給される。減算器８５は、ＲＦ復調器８３の出力とフレーム加算回路８４の出力との差分をとることにより、ＲＦ系におけるノイズ成分を抽出する。減算器８５の出力である、抽出されたノイズ成分は加算器８６に供給される。加算器８６には、さらに、教師画像が供給される。加算器８６は、減算器８５の出力を教師画像に加算することにより、教師画像にノイズが付加された画像を生成する。
【００５５】
次に、タップ配置決定部２６、４６によってなされるタップ位置の決定方法について詳細に説明する。まず、図８を参照して原理的な説明を行う。ここで、水平、垂直方向にそれぞれ、各フレームにおける水平、垂直方向をとり、また、奥に向かう方向に時間をとる。すなわち、時間経過に従ってフレームｆ［−２］，ｆ［−１］，ｆ［０］，ｆ［＋１］，ｆ［＋２］が順に奥に見えるように図示されている。また、この方法を行うためには以下のような前提条件が満たされる必要がある。
【００５６】
（Ｐ）５フレーム程度の微小な時間においては、画像の動きはほぼ等速直線運動である。本願出願人は、実際の画像について（Ｐ）が成り立つことを統計的に確認した。
（Ｑ）ノイズが無い場合、各フレーム間での同じ画素の分散は０であるか、或いは０に極めて近い。
【００５７】
この発明の第１の実施形態では、フレームｆ［−２］〜ｆ［＋２］を通る時空間内での直線を幾つか設定し、各直線上に位置するフレームｆ［−２］〜ｆ［＋２］内の画素値の分散をそれぞれ計算する。そして、分散が最小となる場合の直線を決定し、そのような直線が動きを示すものとする。
【００５８】
より具体的には、図８に示すように、注目フレームｆ［０］上に、注目画素を中心として例えば５×５画素の領域（以下、投票範囲と表記する）を設定し、投票範囲から各画素（以下、投票画素と表記する）を順次取り出し、取り出した投票画素の各々について以下の処理を行う。すなわち、例えばフレームｆ［＋１］上に投票画素に対応する画素位置を中心として探索範囲を設定する。探索範囲は、フレームｆ［＋１］以外のフレーム上に設定しても良い。さらに、投票画素と探索範囲内の各画素（以下、探索画素と表記する）を通る各直線上にあるフレームｆ［−２］〜ｆ［＋２］内の各画素を取り出す。そして、取り出した画素の間で分散を計算し、計算される分散が最小となる時の直線に基づいて動きベクトルを算出する。分散が最小となる時の直線は、投票画素の各々に対応して１個ずつ決まるので、例えば５×５画素の画素領域内から投票画素を設定する場合においては２５個の直線が決められることになる。この内で最も頻度が大きいものを、注目画素の動きを示す直線として最終的に決定する。
【００５９】
処理手順の一例を図１０に示す。ステップＳ１では、注目画素周辺の例えば５×５画素の領域から投票画素を取り出す。ステップＳ２では、例えばｆ［１］上に探索範囲を設定する。ステップＳ３では、探索範囲内の位置を示すパラメータａ，ｂをそれぞれ０と設定する（初期化）。ここで、図８に示すように、ａ，ｂは探索範囲内での例えば水平方向、垂直方向の座標をそれぞれ示すものである。勿論、直行座標系以外座標系を用いて探索範囲内の位置を示すようにしても良い。（ａ，ｂ）が設定される毎に１個の直線が決まる。ステップＳ４では、（ａ，ｂ）によって決まる直線上にある、ｆ［−２］〜ｆ［＋２］内の各画素を取り出す。
【００６０】
ステップＳ５では、ステップＳ４で取り出された画素の間の分散を計算する。ステップＳ６では、ステップＳ５で計算された分散がそれ以前に他の（ａ，ｂ）に対応して計算された分散の内で最小であるか否かを判定する。ステップＳ５で計算された分散がそれ以前に他の（ａ，ｂ）に対応して計算された分散の内で最小であると判定される場合にはステップＳ７に移行し、それ以外の場合にはステップＳ８に移行する。ステップＳ７では、ステップＳ５で計算された分散値およびその時の（ａ，ｂ）を保存し、さらにステップＳ８に移行する。ステップＳ８では、ａ，ｂの値を更新する。
【００６１】
図８に示したようにａ，ｂをとる場合には、ａ，ｂの値の更新は例えばラスタスキャン上に行うことができる。ステップＳ９では、ステップＳ８で更新されたａ，ｂの値がステップＳ２で設定された探索範囲を越えるか否かをチェックする。探索範囲を越える場合には、最早、探索は終了したとの判断の下にステップＳ１０に移行する。それ以外の場合にはステップＳ４に移行し、ステップＳ８で更新されたａ，ｂの値の下での処理を行う。
【００６２】
ステップＳ１０では、ステップＳ７によって保存された、分散を最小とする（ａ，ｂ）を投票する。ここで、投票とは、（ａ，ｂ）の頻度分布を調べる処理である。ステップＳ１１では、ステップＳ１によって投票画素として取り出された全ての画素に対して投票がなされたか否かを判定する。全ての投票画素に対して投票がなされたと判定される場合にはステップＳ１２に移行し、それ以外の場合にはステップＳ１に移行して、投票画素として新たな画素を切出し、切出した画素についての処理を行う。
【００６３】
ステップＳ１２では、投票数の多い、すなわち頻度の大きい直線上にフレーム内におけるクラスタップおよび予測タップが設定される。このようにして、動きを的確に反映したタップ配置が行われる。
【００６４】
ここで、投票によって頻度の大きい（ａ，ｂ）を定めるようにしたので、入力画像におけるノイズに起因して（ａ，ｂ）の値の決定が誤るおそれを回避若しくはその程度を減少させることができる。従って、動きをより精度良く反映したタップ配置が可能とされる。
【００６５】
上述したこの発明の第１の画像は、動画像において動きベクトルを検出し、検出した動きベクトルを参照することによって、ノイズをより的確に除去するようにしたものであるが、この発明は、動きを把握することが必要な各種の画像信号処理を行う場合に適用することができる。
【００６６】
次に、この発明の第２〜第５の実施形態における動きベクトル検出処理の概要について図１１を参照して説明する。図１１では、注目フレームｆ〔０〕を中心として、時間的に先行する２フレームすなわちフレームｆ〔−１〕およびフレームｆ〔−２〕、並びに時間的に後続する２フレームすなわちフレームｆ〔＋１〕およびフレームｆ〔＋２〕上の画素を図示した（各画素を丸で示す）。但し、注目画素は黒丸として図示した。なお、図面が煩雑となるのを避けるため、フレームｆ〔−２〕およびフレームｆ〔＋２〕のみを点線の長方形として図示した。
【００６７】
この発明の第２および第３の実施形態では、注目フレームｆ〔０〕内で注目画素の周囲に投票範囲が設定され、投票範囲内の投票画素の各々について、その画素を通る複数の直線の内で当該直線上に位置する各フレーム内の画素の分散が最小となるものが推定される。そして、投票、すなわち各投票画素について推定される直線パラメータの内で最も頻度が高いものを注目画素の動きの軌跡として採用する処理が行われることにより、動きベクトルが算出される。
【００６８】
また、この発明の第４および第５の実施形態では、注目フレームｆ〔０〕内で注目画素の周囲に領域（以下、管範囲と表記する）を設定し、当該領域内の各画素を通る互いに平行な複数の直線からなる複数種類の直線群が設定される。以下、このような直線群を管と表記する。従って、管は、平行直線を規定する直線パラメータによって規定されることになる。そして、当該管を構成する各直線上に位置する、フレームｆ〔−２〕〜フレームｆ〔＋２〕内の画素の分散の総和が最小となるような管を判定し、判定した管に係る直線パラメータに基づいて動きベクトルが算出される。
【００６９】
以下、この発明の第２の実施形態について詳細に説明する。図１２に、この発明の第２の実施形態に係る構成の一例を示す。入力画像信号は、フレームメモリ部１０に入力される。フレームメモリ部１０は、シフトレジスタ状に接続された５個のフレームメモリｆｍ〔−２〕、ｆｍ〔−１〕、ｆｍ〔０〕、ｆｍ〔＋１〕、ｆｍ〔＋２〕を備えている。フレームメモリｆｍ〔−２〕、ｆｍ〔−１〕、ｆｍ〔０〕、ｆｍ〔＋１〕、ｆｍ〔＋２〕には、それぞれ、入力画像信号内の連続する５個のフレームｆ〔−２〕、フレームｆ〔−１〕、フレームｆ〔０〕、フレームｆ〔＋１〕、フレームｆ〔＋２〕の画像データが記憶される。
【００７０】
注目フレームｆ〔０〕の画像データがフレームメモリｆｍ〔０〕から投票範囲決定部１１内の領域切出し回路１１２に供給される。また、ｆ〔−２〕、フレームｆ〔−１〕、フレームｆ〔０〕、フレームｆ〔＋１〕、フレームｆ〔＋２〕の画像データがそれぞれ、フレームメモリｆｍ〔−２〕、ｆｍ〔−１〕、ｆｍ〔０〕、ｆｍ〔＋１〕、ｆｍ〔＋２〕から動きベクトル算出部１２内の直線上画素切出し回路１２３に供給される。
【００７１】
投票範囲初期設定回路１１１は初期の切出し領域を設定し、設定した初期の切出し領域を示すパラメータを領域切出し回路１１２に供給する。領域切出し回路１１２は、注目フレームｆ〔０〕の画像データから、供給されるパラメータに従って領域を切出す。
【００７２】
領域切出し回路１１２は、切出した領域内の画素データを水平方向ＤＲ計算回路１１３および垂直方向ＤＲ計算回路１１４に供給する。水平方向ＤＲ計算回路１１３は、供給される画素データを水平方向にスキャン（図１３Ａ参照）することによって、水平方向のＤＲ（ダイナミックレンジ）を計算する。水平方向ＤＲ計算回路１１３は、さらに、計算した水平方向のＤＲの内で最大のものを決定して、水平方向のＤＲの最大値を投票範囲決定回路１１６に供給する。
【００７３】
また、垂直方向ＤＲ計算回路１１４は、供給される画素データを垂直方向にスキャン（図１３Ｂ参照）することによって垂直方向のＤＲを計算する。垂直方向ＤＲ計算回路１１４は、さらに、計算した垂直方向のＤＲの内で最大のものを決定して、垂直方向のＤＲの最大値を投票範囲決定回路１１６に供給する。
【００７４】
投票範囲決定回路１１６は、供給される水平方向および垂直方向のＤＲの最大値が共に予め設定されたしきい値を越える際に、その時に切出されている領域を動きベクトル検出のための演算処理に使用する投票範囲として最終的に決定する。
【００７５】
一方、供給される水平方向および垂直方向のＤＲの最大値の内の少なくとも一方が予め設定されたしきい値以下となる場合には、投票範囲決定回路１１６は、その時に切出されている領域を示すパラメータを投票範囲更新回路１１５に供給する。投票範囲更新回路１１５は、供給されるパラメータに基づいて新たな領域を設定し、設定した領域を示すパラメータを領域切出し回路１１２に供給する。領域切出し回路１１２は、供給されるパラメータに基づいて、注目フレームｆ〔０〕の画像データから新たな領域を切出す。
【００７６】
上述したような構成および動作により、水平方向および垂直方向のＤＲの最大値が共に予め設定されたしきい値を越えるという条件を満たすまで、投票範囲の候補として切出される領域を初期設定に係る領域から段階的に拡大する処理が行われる。これにより、動きベクトル検出のための演算処理に使用する投票範囲が最終的に決定される。例えば図１４Ａに示すように、初期に切出される領域が水平および垂直方向にそれぞれ、０番目〜１１番目までの画素からなる矩形の領域とされ、その後、水平方向および垂直方向のＤＲの最大値が共にしきい値を越えるという条件が満たされるまで、水平および垂直方向にそれぞれ０番目〜２２番目、０番目〜３３番目、…の画素を含む矩形の領域が順次切出される。
【００７７】
ここで、初期の切出し領域の大きさ、新たな領域を切出す際の領域の拡大の割合、ＤＲについてのしきい値等は任意に設定することができる。また、新たな領域として、それ以前に切出された領域を拡大したもの以外にも、それ以前に切出された領域を回転或いは縮小したものを用いても良い。
【００７８】
また、投票範囲として切出される領域における画素の密度を変化させるようにしても良い。例えば図１４Ｂに示すように，黒で示した画素を切出しの対象から除外することにより、画素を例えば１個おきに切出すようにすることにより、投票範囲として切出される領域が拡大しても領域内の画素の総数が一定となるようにしても良い。
【００７９】
また、上述の説明では、切出される領域の水平方向および垂直方向のＤＲについてしきい値判定を行うことによって投票範囲を決定するものとしたが、切出される領域全体のＤＲについてしきい値判定を行うことによって投票範囲を決定するようにしても良い。また、切出される領域のアクティビティを表現する量として当該領域全体の分散等を計算し、計算結果に応じて投票範囲を決定するようにしても良い。
【００８０】
投票範囲決定部１１によって決定された投票範囲を示すパラメータが投票範囲決定回路１１６から動きベクトル算出部１２内の投票画素初期設定回路１２１に供給される。投票画素初期設定回路１２１は、投票画素を初期設定し、初期設定に係る投票画素位置を示すパラメータを直線パラメータ初期設定回路１２２に供給する。直線パラメータ初期設定回路１２２は、直線パラメータを初期設定する。初期設定された直線パラメータが画素切出し回路１２３に供給される。
【００８１】
図１５からわかるように、特定の投票画素と、当該投票画素に対する相対的な空間画素位置が（ａ，ｂ）であるような例えばフレームｆ〔１〕内の画素とを通る直線は、（ｘ，ｙ，ｔ）空間内で一意に特定される。従って、投票画素が設定された状況では、直線パラメータは、（ａ，ｂ）として表現することができる。実際の処理においては、例えばフレームｆ〔１〕内に探索範囲を設定し、探索範囲内の探索画素位置によって直線パラメータが表現される。なお、直線パラメータが同一で投票画素が異なる２直線は、互いに平行となる。
【００８２】
画素切出し回路１２３は、フレームメモリｆｍ〔−２〕〜ｆｍ〔＋２〕から、各フレームの画像データを供給される。画素切出し回路１２３は、供給される画像データから、直線パラメータ（ａ，ｂ）によって規定される直線上に位置する各フレーム内の画素データを切出す。切出された画素データは、分散演算および直線パラメータ保持回路１２４に供給される。
【００８３】
分散演算および直線パラメータ保持回路１２４は、供給される画素データに基づいて５個の画素の分散を計算する処理、計算値を比較する処理、並びに、比較結果に応じて計算値およびそれに対応する直線パラメータを保持する処理を行う。そして、分散演算および直線パラメータ保持回路１２４は、最終的に保持された直線パラメータを直線パラメータ投票回路１２５に供給する。また、分散演算および直線パラメータ保持回路１２４は、分散値の計算が完了した直線パラメータについての情報を直線パラメータ更新回路１２６に供給する。直線パラメータ更新回路１２６は、供給される情報に基づいて、画素切出し回路１２３による画素切出しに未だ用いられていない直線を示す直線パラメータを設定し、設定した直線パラメータを画素切出し回路１２３に供給する。
【００８４】
直線パラメータ初期設定回路１２２、画素切出し回路１２３、分散演算および直線パラメータ保持回路１２４、直線パラメータ更新回路１２６の動作の結果として以下のような処理がなされる。探索範囲内の画素位置（ａ，ｂ）として表現される直線パラメータによって特定される直線上に位置する各フレーム内の画素の分散値が初期設定に係る直線パラメータに対応するものから順に計算される。そして、分散値が最小となる際の直線パラメータが直線パラメータ投票回路１２５に供給される。
【００８５】
直線パラメータ投票回路１２５は、直線パラメータを供給される毎に、供給される直線パラメータを示す情報を投票画素更新回路１２７に供給する。かかる情報が供給される毎に、投票画素更新回路１２７が投票画素の更新を行い、更新された投票画素を示す情報を直線パラメータ初期設定回路１２２に供給する。かかる情報に基づいて直線パラメータ初期設定回路１２２、画素切出し回路１２３、分散演算および直線パラメータ保持回路１２４、直線パラメータ更新回路１２６による、上述したような処理が行われる。このようにして、投票範囲内の各画素について、当該投票画素を通る直線の内で当該直線上に位置する各フレーム内の画素の分散が最小となるものに係る直線パラメータが順次決定される。
【００８６】
上述したような処理により、投票範囲内の全ての投票画素に対応して直線パラメータが供給されると、直線パラメータ投票回路１２５は、供給された直線パラメータについて投票すなわち頻度を検出する処理を行う。これにより、最も頻度の大きい直線パラメータが注目画素の動きベクトルの軌跡として採用される。採用された直線パラメータを（ａ0 ，ｂ0 ）とすると、フレームｆ〔−２〕、〔−１〕、ｆ〔０〕、ｆ〔＋１〕、ｆ〔＋２〕における注目画素の動きベクトルは、それぞれ、（−２×ａ0 ，−２×ｂ0 ），（−ａ0 ，−ｂ0 ），（０，０），（ａ0 ，ｂ0 ），（２×ａ0 ，２×ｂ0 ）と演算される（図１６参照）。
【００８７】
上述したこの発明の第２の実施形態は、投票範囲の候補として切出される領域についてＤＲ等を順次計算し、計算値がしきい値以上となる際の領域を投票範囲として採用すると共に、各投票画素について、当該投票画素を通る直線の内で当該直線上に位置する各フレーム内の画素の分散が最小となるものに係る直線パラメータを順次決定し、決定した直線パラメータの内で頻度が最大となるものに基づいて動きベクトルを計算するようにしたものである。
【００８８】
これに対して、投票範囲の候補として切出される領域の各々についてＤＲ等を並列的に算出し、算出値を比較して、比較結果に基づいて投票範囲を決定するようにしても良い。
【００８９】
また、各投票画素について、当該投票画素を通る直線の内で当該直線上に位置する各フレーム内の画素の分散が最小となるものに係る直線パラメータを並列的に決定し、決定した直線パラメータの内で頻度が最大となるものに基づいて動きベクトルを計算するようにしても良い。
【００９０】
このような観点から、以下に説明するこの発明の第３の実施形態が可能である。この発明の第３の実施形態に係る構成の一例を図１７に示す。入力画像信号はフレームメモリ部１０に供給される。フレームメモリ部１０については図１２を参照して上述したので、重複する説明を省略する。フレームメモリｆｍ〔０〕から、注目フレームｆ〔０〕の画像データが投票範囲決定部２１内の領域切出し回路２１２1 ，２１２2 ，‥‥２１２19に供給される。また、フレームメモリｆｍ〔−２〕〜ｆｍ〔＋２〕から、ｆ〔−２〕〜〔＋２〕の画像データが動きベクトル算出部２２内の直線パラメータ推定回路２２１1 ，２２１2 ，‥‥，２２１144 に供給される。
【００９１】
領域切出し回路２１２1 ，２１２2 ，‥‥，２１２19は、注目フレームｆ〔０〕の画像データから、それぞれ水平および垂直方向に０番目〜１１番目、０番目〜２２番目、‥‥、０番目〜２０９（＝１１×１９）番目までの画素を含む矩形の領域を切出す。領域切出し回路２１２1 ，２１２2 ，‥‥２１２19によって切出される画像データは、それぞれ、水平ＤＲ算出回路２１３1 ，２１３2 ，‥‥，２１３19および垂直ＤＲ算出回路２１４1 ，２１４2 ，‥‥，２１４19に供給される。
【００９２】
水平ＤＲ算出回路２１３1 ，２１３2 ，‥‥，２１３19および垂直ＤＲ算出回路２１４1 ，２１４2 ，‥‥，２１４19は、供給される画像データに基づいて、水平方向および垂直方向のＤＲを算出し、算出値を比較回路２１５に供給する。比較回路２１５は、供給される各算出値を比較し、比較結果に応じて投票範囲を決定する。
【００９３】
ここで、投票範囲の候補として切出される領域の大きさ、ＤＲについてのしきい値等は任意に設定することができる。また、図１４Ｂを参照して上述したように、切出される領域における画素の密度を変化させるようにしても良い。
【００９４】
また、上述の説明では、切出される領域の水平方向および垂直方向のＤＲに基づいて投票範囲を決定するものとしたが、切出される領域全体のＤＲや、切出される領域全体の分散等を計算し、計算結果に応じて投票範囲を決定するようにしても良い。
【００９５】
以下の説明は、水平および垂直方向に０番目〜１１番目までの画素を含む領域が投票範囲として採用される場合を例として行う。この場合には、投票画素は、（０，０），（０，１），‥‥，（１１，１１）の１２×１２＝１４４個となる。これらの投票画素の各々に対応して、直線パラメータ推定回路２２１1 ，２２１2 ，‥‥，２２１144 が動きベクトル算出部２２内に設けられている。投票範囲決定部２１によって決定される投票範囲を示すパラメータは、動きベクトル算出部２２内の１４４個の直線パラメータ推定回路２２１1 ，２２１2 ，‥‥，２２１144 に供給される。
【００９６】
直線パラメータ推定回路２２１1 ，２２１2 ，‥‥，２２１144 は、投票範囲内の各画素に対して、当該画素を通る直線の内でその直線上にあるフレームｆ〔−２〕〜フレームｆ〔＋２〕内の画素の分散が最小となるものに係る直線パラメータを推定する。推定される直線パラメータは、投票回路２２２に供給される。
【００９７】
投票回路２２２は、供給される直線パラメータについて頻度を計数し、頻度データを生成する。頻度データは、比較回路２２３に供給される。比較回路２２３は、供給される頻度データに基づいて頻度が最大となる直線パラメータを特定する。動きベクトル演算回路２２４は、比較回路２２３によって特定される直線パラメータに基づいて動きベクトルを演算する。
【００９８】
直線パラメータ推定回路２２１1 ，２２１2 ，‥‥，２２１144 の構成の一例を図１８に示す。画素読込み回路３０１，３０２，３０３，３０４，３０５の各々には、投票範囲決定部２１から供給される投票範囲に関連する画素位置情報が供給される。画素読込み回路３０１〜３０５の各々は、供給される画素位置情報に対応する画素データをそれぞれ、フレームメモリｆｍ〔−２〕〜ｆｍ〔＋２〕から読み出す。この一例では、探索画素は、投票画素位置に対する相対画素位置が（−８，−８），（−７，−８），‥‥，（８，８）であるような２８９個の画素とされている。
【００９９】
画素抽出回路３０６1 ，３０６2 ，‥‥，３０６289 は、それぞれ、探索画素位置（−８，−８），（−７，−８），‥‥，（８，８）によって特定される直線上に位置する各フレーム内の画素を抽出し、抽出した画素データを分散計算回路３０７1 ，３０７2 ，‥‥，３０７289 にそれぞれ供給する。
【０１００】
分散計算回路３０７1 ，３０７2 ，‥‥，３０７289 は、供給される画素データに基づいて分散を計算し、計算値を分散比較回路３０８に供給する。分散比較回路３０８は、供給される分散の計算値を比較することによって計算値が最小となる際の直線パラメータを特定し、特定した直線パラメータを出力する。
【０１０１】
上述の説明は、水平および垂直方向のそれぞれ０番目〜１１番目の画素を含む領域が投票範囲として採用される場合を例とするものである。これに対して、より多くの画素を含む領域が投票範囲として採用される場合にも対応できるように、より多くの直線パラメータ推定回路を設けるようにしても良い。または、直線パラメータ推定回路を、時分割で動作するように制御しても良い。
【０１０２】
また、例えば図１８を参照して上述した一例は、縦、横にそれぞれ１７個ずつ、全部で２８９個の画素を含む領域を探索範囲として用いるようにしたものであるが、探索範囲はこれに限定されるものではなく、任意に設定できる。
【０１０３】
この発明の第２および第３の実施形態は、投票範囲内の各画素について、当該画素を通る直線の内で当該直線上に位置する各フレーム内の画素を抽出し、抽出した画素データの分散が最小となる際の直線に係る直線パラメータを投票に供するようにしたものである。これに対して、抽出した画素データの平均値と各画素値との間の差分の絶対値の総和を計算し、計算値に基づいて投票に供する直線パラメータを決定するようにしても良い。また、抽出した画素データについての隣接画素間の差分絶対値の総和に基づいて投票に供する直線パラメータを決定するようにしても良い。
【０１０４】
また、探索範囲内の画素の内の一部を探索画素として扱う処理によって直線パラメータを粗く推定し、その推定結果を利用して推定された点周辺を詳細に探索するような、階層的探索を行っても良い。このような処理について図１９および図２０を参照して説明する。図１９に示す一例では、探索範囲が水平および垂直方向に１７個（計２８９個）の画素を含んでいる。粗い推定を行う場合には斜線を付して示す３画素おきの画素（計２５個の画素）を探索画素として扱う。すなわち２５個の画素の各々と投票画素とを通る直線上にある、例えば５個のフレーム内の画素の分散を計算し、計算値が最小となる際の探索画素を粗い推定の結果として選択する。
【０１０５】
そして、粗い推定の結果として選択された画素を中心とする水平および垂直方向に５個（計２５個）の画素を含む範囲（影を付して示す）において全ての画素を探索画素として扱う。すなわち、各画素と投票画素とを通る直線上にある、例えば５個のフレーム内の画素の分散を計算し、計算値が最小となる際の探索画素の画素位置に基づいて投票に供する直線パラメータを最終的に決定する。
【０１０６】
また、図２０に示す他の例では、探索範囲が水平および垂直方向に１７個（計２８９個）の画素を含んでいる。粗い推定を行う場合には斜線を付して示す２画素おきの画素（計２５個の画素）を探索画素として扱う。そして、粗い推定の結果として選択された画素を中心とする水平および垂直方向に５個（計２５個）の画素を含む範囲（影を付して示す）において全ての画素を探索画素として扱うことにより、投票に供する直線パラメータを最終的に決定する。
【０１０７】
図１９および図２０を参照して上述したような階層的探索処理を行う場合には、探索範囲内の例えば２５個の画素位置に対応して分散等の計算や計算値の比較を行う構成により、投票に供する直線パラメータを選択することが可能とされる。このため、分散等の計算に係る構成を小規模化することができる。
【０１０８】
次に、この発明の第４の実施形態について説明する。上述したように、この発明の第４の実施形態は、動画像における動きを直線の代わりに管と見たてて動きベクトルを検出するようにしたものである。すなわち、この発明の第４の実施形態では、時空間内の直線の代わりにそれを空間方向の拡大してなる面の分散を演算することにより、ノイズの影響を避け、動きベクトルを正確に算出するようになされている。
【０１０９】
この発明の第４の実施形態の構成の一例を図２１に示す。入力画像はフレームメモリ部１０に入力される。フレームメモリ部１０については、図１２を参照して上述したので重複する説明を省略する。フレームメモリｆｍ〔０〕の記憶内容である、注目フレームｆ〔０〕の画像データが管範囲決定部４１内の管切出し回路４１２に供給される。また、フレームｆ〔−２〕〜ｆ〔＋２〕の画像データがフレームメモリｆｍ〔−２〕〜ｆｍ〔＋２〕から、動きベクトル算出部４２内の直線上画素切出し回路４２３に供給される。
【０１１０】
管範囲初期設定回路４１１が初期の管範囲を設定し、設定した初期の管範囲を示すパラメータを管切出し回路４１２に供給する。管切出し回路４１２は、注目フレームｆ〔０〕の画像データから、供給されるパラメータに従って領域を切出す。
【０１１１】
切出された領域内の画素データが水平方向ＤＲ計算回路４１３および垂直方向ＤＲ計算回路４１４に供給される。水平方向ＤＲ計算回路４１３は、供給される画素データを水平方向にスキャンすることによって、水平方向のＤＲを順次計算する。水平方向ＤＲ計算回路４１３は、さらに、計算した水平方向のＤＲの内で最大のものを決定して、決定した水平方向のＤＲを管範囲決定回路４１６に供給する。
【０１１２】
また、垂直方向ＤＲ計算回路４１４は、供給される画素データを垂直方向にスキャンすることによって垂直方向のＤＲを順次計算する。垂直方向ＤＲ計算回路４１４は、さらに、計算した垂直方向のＤＲの内で最大のものを決定して、決定した垂直方向のＤＲを管範囲決定回路４１６に供給する。管範囲決定回路４１６は、供給される水平および垂直方向のＤＲが共に予め設定されたしきい値を越える際に、その時の管範囲を動きベクトルの算出処理に係る管範囲として最終的に決定する。
【０１１３】
一方、供給される水平および垂直方向のＤＲの内の少なくとも一方が予め設定されたしきい値以下となる場合には、管範囲決定回路４１６は、その時の管範囲を示すパラメータを管範囲更新回路４１５に供給する。管範囲更新回路４１５は、供給されるパラメータに基づいて、新たな領域を切出すためのパラメータを生成し、生成したパラメータを管切出し回路４１２に供給する。管切出し回路４１２は、注目フレームｆ〔０〕の画像データから、新たな設定に係る領域を切出す。
【０１１４】
上述したような構成および動作により、図１４Ａを参照して上述したように、水平方向および垂直方向のＤＲの最大値が共に予め設定されたしきい値を越えるという条件を満たすまで、管範囲の候補として切出される領域を初期設定に係る領域から段階的に拡大する処理が行われ、その結果として、動きベクトル検出のための演算処理に使用する管範囲が最終的に決定される。
【０１１５】
ここで、初期の切出し領域の大きさ、新たな領域を切出す際の領域の拡大の割合、ＤＲについてのしきい値等は任意に設定することができる。また、管範囲の候補として切出される領域の大きさ、ＤＲについてのしきい値等は任意に設定することができる。また、新たな領域として、それ以前に切出された領域を拡大したもの以外にも、切出された領域を回転或いは縮小したものを用いても良い。また、図１４Ｂを参照して上述したように、管範囲の候補として切出される領域における画素の密度を変化させるようにしても良い。
【０１１６】
また、上述の説明では、切出される領域の水平方向および垂直方向のＤＲに基づいて管範囲を決定するものとしたが、切出される領域全体のＤＲや、切出される領域全体の分散等を計算し、計算結果に応じて管範囲を決定するようにしても良い。
【０１１７】
管範囲決定部４１によって決定された管範囲を示すパラメータは、管範囲決定回路４１６から動きベクトル算出部４２内の直線パラメータ初期設定回路４２１に供給される。直線パラメータ初期設定回路４２１は直線パラメータを初期設定し、初期設定した直線パラメータを平行直線初期設定回路４２２に供給する。直線パラメータに対応して、管範囲内の各画素を通るｘ−ｙ−ｔ空間内の互いに平行な直線の集合体としての管が規定される。平行直線初期設定回路４２２は、管を構成する互いに平行な直線の内の１個を初期設定設置直線として指定するパラメータを生成し、生成したパラメータを画素切出し回路４２３に供給する。
【０１１８】
画素切出し回路４２３には、さらに、フレームｆ〔−２〕〜ｆ〔＋２〕から、各フレームの画像データが供給される。画素切出し回路４２３は、初期設置直線上に位置する各フレーム内の画素を切出す。切出された画素に係る画素データは、分散演算および加算回路４２４に供給される。
【０１１９】
分散演算および加算回路４２４は、供給される画素データに基づいて分散を計算する処理、計算値を加算して分散の総和を計算する処理を行う。また、分散演算および加算回路４２４は、画素切出し回路４２３から供給される画像データに基づく分散の計算および加算が完了する毎に、その旨を示す情報を平行直線更新回路４２６に供給する。
【０１２０】
平行直線更新回路４２６は、管を構成する平行直線の内で画素切出し回路４２３による画素切出しに未だ用いられていないものを示すパラメータを生成し、生成したパラメータを画素切出し回路４２３に供給する。画素切出し回路４２３は、供給されるパラメータに対応する直線について、当該直線上に位置する各フレーム内の画素に係る画素データを切出し、切出した画素データを分散演算および加算回路４２４に供給する。
【０１２１】
直線パラメータ初期設定回路４２１、平行直線初期設定回路４２２、画素切出し回路４２３、分散演算および加算回路４２４、平行直線更新回路４２６の動作の結果として以下のような処理がなされる。すなわち、管内の各直線上に位置する各フレーム内の画素の分散が初期設定に係る直線から順に計算され、計算値が加算されて分散の総和が計算される。そして、分散の総和が分散総和判定および直線パラメータ保持回路４２５に供給される。
【０１２２】
分散総和判定および直線パラメータ保持回路４２５は、分散の総和を供給される毎に、その旨を示す情報を直線パラメータ更新回路４２７に供給する。また、分散総和判定および直線パラメータ保持回路４２５は、供給される分散の総和に基づく判定を行い、判定結果に基づいて直線パラメータを保持する。
【０１２３】
直線パラメータ更新回路４２７は、供給される情報に基づいて、未だ分散の総和の計算および分散の総和に基づく判定処理の対象とされていない管に係る直線パラメータを新たに設定し、設定した直線パラメータを平行直線初期設定回路４２２に供給する。かかる直線パラメータに基づいて画素切出し回路４２３、分散演算および加算回路４２４、平行直線更新回路４２６による、上述したような処理が行われる。このようにして、直線パラメータが設定されることによって規定される管の各々について、当該管内の直線上に位置する各フレーム内の画素の分散の総和が順次計算され、計算される分散の総和に基づく判定がなされる。
【０１２４】
分散総和判定および直線パラメータ保持回路４２５は、例えば以下のような処理を行うことにより、分散の総和に基づく判定を行う。まず、分散演算および加算回路４２４から最初に供給される、初期設定された直線パラメータに係る管についての分散の総和を保持すると共に、初期設定された直線パラメータを保持する。
【０１２５】
次に、分散演算および加算回路４２４からさらに供給される、直線パラメータ更新回路４２７によって２番目に設定される直線パラメータに係る管についての分散の総和を、初期設定された直線パラメータによって規定される管についての分散の総和と比較し、小さい方の分散の総和を保持すると共に、小さい方の分散の総和に係る直線パラメータを保持する。
【０１２６】
その後、分散演算および加算回路４２４からさらに供給される、直線パラメータ更新回路４２７によって３番目、４番目‥‥に設定される直線パラメータに係る管についての分散の総和を、その時点で保持されている分散の総和と比較し、小さい方の分散の総和を保持すると共に、当該小さい方の分散の総和に係る直線パラメータを保持する。
【０１２７】
このような処理を平行直線初期設定回路４２２およびに直線パラメータ更新回路４２７によって設定される直線パラメータによって規定される管の各々について行うことにより、最終的に保持される分散の総和として最小の分散が判定される。そして、最小の分散の総和に係る直線パラメータが動きベクトル演算回路４２８に出力される。動きベクトル演算回路４２８は、供給される直線パラメータに基づいて動きベクトルを演算する。
【０１２８】
上述したこの発明の第４の実施形態は、管範囲の候補として切出される領域についてＤＲ等を順次計算し、計算値がしきい値を越える際の領域を管範囲として採用すると共に、直線パラメータによって規定される管における平行直線の各々の上に位置する各フレーム内の画素の分散の総和を順次計算し、計算値が最小となるような管を決定し、決定した管に係る直線パラメータに基づいて動きベクトルを算出するようにしたものである。
【０１２９】
これに対して、管範囲の候補として切出される領域の各々についてＤＲ等を並列的に計算し、各計算値を比較して、比較結果に基づいて管範囲を決定するようにしても良い。
【０１３０】
また、直線パラメータによって規定される管における平行直線の各々の上に位置する各フレーム上の画素の分散の総和を並列的に計算し、計算値を比較することにより、分散の総和が最小となるような管を決定し、決定した管に係る直線パラメータに基づいて動きベクトルを算出するようにても良い。
【０１３１】
このような観点から、以下に説明するこの発明の第５の実施形態が可能である。この発明の第５の実施形態の構成の一例を図２２に示す。入力画像はフレームメモリ部１０に入力される。フレームメモリ部１０については、図１２を参照して上述したので、重複する説明を省略する。注目フレームｆ〔０〕の画像データがフレームメモリｆｍ〔０〕から管範囲決定部５１内の領域切出し回路５１１1 ，５１１2 ，‥‥，５１１19に供給される。また、ｆ〔−２〕〜ｆ〔＋２〕の画像データがフレームメモリｆｍ〔−２〕〜ｆｍ〔＋２〕から、動きベクトル算出部５２内の直線パラメータ推定回路５２１1 ，５２１2 ，‥‥，５２１144 に供給される。
【０１３２】
領域切出し回路５１１1 ，５１１2 ，‥‥，５１１19は、供給される注目フレームｆ〔０〕の画像データから、それぞれ水平および垂直方向に０番目から１１番目、０番目から２２番目、‥‥、０番目から２０９（＝１１×１９）番目の画素を含む矩形の領域を切出す。切出された領域の画像データは、それぞれ、水平ＤＲ算出回路５１３1 ，５１３2 ，‥‥，５１３19および垂直ＤＲ算出回路５１４1 ，５１４2 ，‥‥，５１４19に供給される。
【０１３３】
水平ＤＲ計算回路５１３1 〜５１３19および垂直ＤＲ計算回路５１４1〜５１４19 は、供給される画像データに基づいて、水平方向および垂直方向のＤＲを計算し、計算値を比較回路５１５に供給する。比較回路５１５は、供給される各計算値を比較することにより、管範囲を決定する。
【０１３４】
ここで、初期の切出し領域の大きさ、新たな領域を切出す際の領域の拡大の割合、ＤＲについてのしきい値等は任意に設定することができる。また、新たな領域として、それ以前に切出された領域を拡大したもの以外にも、それ以前に切出された領域を回転或いは縮小したものを用いても良い。また、図１４Ｂを参照して上述したように、切出される領域における画素の密度を変化させるようにしても良い。
【０１３５】
また、上述の説明では、切出される領域の水平方向および垂直方向のＤＲについてしきい値判定を行うことによって管範囲を決定するものとしたが、切出される領域全体のＤＲについてしきい値判定を行うことによって管範囲を決定するようにしても良い。また、切出される領域のアクティビティを表現する量として当該領域全体の分散等を計算し、計算結果に応じて管範囲を決定するようにしても良い。
【０１３６】
管範囲決定部５１によって決定された範囲を示すパラメータは、動きベクトル算出部５２内の画素読込み回路５２１〜５２５に供給される。画素読み込み回路５２１〜５２５の各々は、供給される画素位置情報に対応する画像データを、フレームメモリｆｍ〔−２〕〜ｆｍ〔＋２〕から読み出し、保持する。
【０１３７】
以下の説明は、水平および垂直方向に０番目〜１１番目までの画素を含む領域、すなわち、１２×１２＝１４４個の画素を含む領域が管範囲として採用される場合を例として行う。上述したように、直線パラメータは、管範囲内の画素に対する探索範囲内の画素の相対画素位置として表現される。この一例では、直線パラメータは、（−８，−８），（−７，−８），‥‥，（＋８，＋８）の１７×１７＝２８９個とされている。
【０１３８】
これらの直線パラメータの各々に対応して、画素抽出回路５２６1 ，５２６2 ，‥‥，５２６289 が設けられる。画素抽出回路５２６1 ，５２６2 ，‥‥，５２６289 は、各直線パラメータに係る管内の平行直線（この一例では１個の直線パラメータについて１４４本）上に位置する各フレーム内の画素データを、画素読込み回路５２０１〜５２０５に保持されているデータから抽出する。抽出される画素データは、分散総和計算回路５２７1 ，５２７2 ，‥‥，５２７289 にそれぞれ供給される。
【０１３９】
分散総和計算回路５２７1 〜５２７289 は、供給される画素データに基づいて分散の総和を計算し、計算した分散の総和を分散総和比較回路５２８に供給する。分散総和比較回路５２８は、供給される分散の総和を比較することによって分散の総和が最小となる際の直線パラメータを特定し、特定した直線パラメータを出力する。動きベクトル演算回路５２９は、供給される直線パラメータを動きベクトル演算回路５２９に供給する。動きベクトル演算回路５２９は、供給される直線パラメータに基づいて動きベクトルを演算する。
【０１４０】
分散総和計算回路５２７1 〜５２７289 の構成の一例を図２３に示す。かかる一例は、管範囲が水平および垂直方向に０番目〜１１番目までの画素を含む場合を前提とするものである。分散計算回路６１1 ，６１2 ，‥‥６１144 は、画素読込み回路５２１〜５２５に保持されているデータから、直線パラメータによって特定される管を構成する各直線上に位置する各フレーム内の画素を抽出し、抽出した画素の分散を計算する。
【０１４１】
分散計算回路６１1 ，６１2 ，‥‥６１144 から出力される計算値が加算器６２に供給される。加算器６２は、供給される計算値を加算することにより、分散の総和を算出する。
【０１４２】
図２２および図２３を参照して上述した構成および動作は、水平および垂直方向に０番目〜１１番目までの画素を含む領域が管範囲として採用される場合を前提とするものである。これに対して、より多くの画素を含む領域を管範囲として採用する場合にも、この発明を適用することができる。そのような場合には、より多くの分散計算回路を設ける構成としても良し、または、分散計算回路を時分割で動作させるように制御しても良い。
【０１４３】
また、図２２を参照して上述した構成の一例は、縦、横にそれぞれ１７個ずつ、全部で２８９個の画素を含む領域を探索範囲として用いるようにしたものであるが、探索範囲はこれに限定されるものではなく、任意に設定できる。
【０１４４】
また、上述したこの発明の第４および第５の実施形態は、直線パラメータによって特定される管を構成する平行直線の各々について当該直線上に位置する画素の分散を計算し、計算値の総和が最小となる際の直線パラメータに基づいて動きベクトルを決定するようにしたものである。これに対して、管を構成する平行直線の各々について当該直線上に位置する画素の平均値と各画素値の差分の絶対値の総和を計算し、計算値が最小となる際の直線パラメータに基づいて動きベクトルを決定するようにしても良い。
【０１４５】
また、管を構成する平行直線の各々について当該直線上に位置する画素の隣接画素間差分の総和を計算し、計算値の総和が最小となる際の直線パラメータに基づいて動きベクトルを算出するようにしても良い。また、管を構成する平行直線の各々について当該直線上に位置する画素のＤＲを計算し、計算値に基づいて動きベクトルを算出するようにしても良い。
【０１４６】
また、この発明の第１〜第５の実施形態では、注目フレームを含む５個のフレームの画像データに基づいて動きベクトルを算出するものとしているが、これに限定されるものではない。例えば、注目フレームを含む３個のフレームの画像データに基づいて動きベクトルの算出処理を行うようにしても良い。
【０１４７】
この発明は、上述したこの発明の第１〜第５の実施形態に限定されるものでは無く、この発明の主旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１４８】
【発明の効果】
この発明によれば、時空間内で注目フレーム内の複数の画素を通る複数の直線上に位置する複数のフレーム内の画素の画素値に基づいてなされる演算処理の結果に基づいて動きベクトルが算出される。このため、動きベクトルの算出処理に対するノイズの影響を低減することができる。また、ノイズレベルが様々に変化しても、それに応じた処理が可能となる。
【０１４９】
特に、投票範囲、管範囲等の、直線が通る複数の画素を含む注目フレーム内の領域を、当該領域内の画素の画素値のＤＲ等を規範として可変的に設定するようにした場合には、オブジェクトの大きさに応じて適切な処理を行うことが可能とされる。すなわち、細かいオブジェクトの動きについては、より小さい投票範囲や管範囲を用いることで適切な処理を行うことが可能とされる。
【０１５０】
また、平坦部分ではより大きい投票範囲や管範囲を用いることにより、固定のブロックサイズの下で行われるブロックマッチングでは誤りやすい、平坦部分での動きベクトル検出を適切に行うことが可能とされる。
【０１５１】
また、演算量は一般的には投票範囲や管範囲の大きさに依存するが、多くの場合、ブロックマッチング法に比べてより少ない演算量で精度良い動きベクトル検出が可能とされる。また、ブロックマッチング等を用いる場合と異なり、各フレーム毎に動きを検出する必要がない。
【０１５２】
特に、上述したような方法で動きベクトルを計算し、計算した動きベクトルに応じて、クラス分類適応処理を行う際のクラスタップおよび予測タップの位置を設定するようにした場合には、例えば５フレーム分のタップ配置を一度に決定することができる。また、この場合、クラス分類適応処理の結果として、動き部分における尾を引くような画質劣化を防止若しくは軽減することができると共に、画像に空間的なぼけを生じさせることなくノイズを除去することができる。
【０１５３】
また、この場合、ブロックマッチング等を用いる場合と異なり、動きベクトルの検出が部分的に誤ることに起因して１フレームだけ極端にタップ配置が異なることが無いので、ノイズ除去等の処理を効率よく行うことができる。
【図面の簡単な説明】
【図１】先に提案された、ノイズ除去を行う構成について説明するためのブロック図である。
【図２】図１に示す構成におけるタップ構造について説明するための略線図である。
【図３】この発明の第１の実施形態における、ノイズ除去に係る構成について説明するためのブロック図である。
【図４】この発明の第１の実施形態における、予測係数の生成に係る構成について説明するためのブロック図である。
【図５】ノイズ付加に係る構成の一例を示すブロック図である。
【図６】ノイズ付加に係る構成の他の例を示すブロック図である。
【図７】ノイズ付加に係る構成のさらに他の例を示すブロック図である。
【図８】この発明の第１の実施形態におけるタップ位置の設定について原理的に説明するための略線図である。
【図９】この発明の第１の実施形態における基本的なタップ構造について説明するための略線図である。
【図１０】この発明の第１の実施形態におけるタップ位置の設定に係る処理について説明するためのフローチャートである。
【図１１】この発明の第２〜第５の実施形態の概要を説明するための略線図である。
【図１２】この発明の第２の実施形態の構成について説明するためのブロック図である。
【図１３】投票範囲を設定する処理について説明するための略線図である。
【図１４】設定される投票範囲の例を示す略線図である。
【図１５】直線パラメータについて説明するための略線図である。
【図１６】フレーム毎に算出される動きベクトルについて説明するための略線図である。
【図１７】この発明の第３の実施形態の構成について説明するためのブロック図である。
【図１８】この発明の第３の実施形態の一部の構成について詳細に説明するためのブロック図である。
【図１９】階層的探索の一例について説明するための略線図である。
【図２０】階層的探索の他の例について説明するための略線図である。
【図２１】この発明の第４の実施形態の構成について説明するためのブロック図である。
【図２２】この発明の第５の実施形態の一部の構成について詳細に説明するためのブロック図である。
【図２３】この発明の第５の実施形態の構成について詳細に説明するためのブロック図である。
【図２４】従来の技術について説明するためのブロック図である。
【符号の説明】
２６・・・タップ配置決定部、４６・・・タップ配置決定部、１１５・・・投票範囲更新回路、１１６・・・投票範囲決定回路、１２４・・・分散演算および直線パラメータ保持回路、１２５・・・直線パラメータ投票回路、２２２・・・投票回路、４１５・・・管範囲更新回路、４１６・・・管範囲決定回路，４２５・・・分散総和判定および直線パラメータ保持回路、４２７・・・直線パラメータ更新回路
【発明の属する技術分野】
この発明は、動画像について動きベクトルを検出する動きベクトル検出装置および検出方法、並びに画像信号処理装置および処理方法に関する。
【０００２】
【従来の技術】
画像からノイズを除去するために、従来から動き適応型リカーシブフィルタが使用されている。動き適応型リカーシブフィルタの構成の一例を図２４に示す。注目フレーム、すなわち各時点における入力フレームの画像データが減算回路１１００に供給される。減算回路１１００には、さらに、フレームメモリ１０９９に記憶されている、前フレームすなわち注目フレームに対して１フレーム前のフレームの画像データが供給される。減算回路１１００の出力が絶対値算出回路１１０１に供給されて絶対値に変換され、絶対値がしきい値処理回路１１０２に供給される。しきい値処理回路１１０２は、供給される絶対値を所定のしきい値の下でしきい値処理し、画素毎に動き／静止を判定する。
【０００３】
しきい値処理回路１１０２による判定結果が重み設定値発生回路１１０３に供給される。重み設定値発生回路１１０３は、供給される判定結果に応じて重み設定値ｋの値を設定する。設定されるｋの値は、入力フレームに対する振幅調整を行うアンプ１１０５に供給される。ここで、アンプ１１０４は入力信号をｋ倍し、また、アンプ１１０５はフレームメモリ内の画素データを（１−ｋ）倍する。
【０００４】
しきい値処理回路１１０２によって静止と判定される場合には、ｋの値として０〜０．５の間のある固定値が設定される。このような設定により、アンプ１１０４、１１０５の後段の加算器１１０６の出力は注目フレーム内の画素値と前フレーム内の画素値とが重み付け加算された値とされる。一方、しきい値処理回路１１０２によって動きと判定される場合には、ｋの値として１が設定される。このような設定により、加算器１１０６からは注目フレーム内の画素値がそのまま出力される。
【０００５】
【発明が解決しようとする課題】
上述したような動き適応型リカーシブフィルタにおいては、次の（ａ）〜（ｄ）のような問題がある。（ａ）静止部分に対して、一定の重み（固定値ｋ）の下で重み付け加算を行うだけなので、ノイズの大きさや方向が変化する場合に、それに的確に対応するノイズ除去がなされない。（ｂ）ノイズレベルが大きい場合、静止部分を動きと誤判定してしまうので、ノイズ除去効果が減少する。（ｃ）動き部分を静止と誤判定し、尾引き状の劣化が見られる場合がある。（ｄ）動き部分に対してはノイズ除去ができない。
【０００６】
また、クラス分類適応処理を用いてノイズ除去を行う方法が提案されている。すなわち、ブロックマッチングを行うことによって動きベクトルを検出し、検出した動きベクトルに基づいて、フレーム間で対応する画素を用いたクラス分類適応処理を行うようにしたものである。この場合には、動き適応型リカーシブフィルタにおける問題点は解消若しくはその程度を軽減できるが、以下のような問題がある。
【０００７】
（ｅ）ブロックマッチングを用いているために処理が重い。（ｆ）例えばフレームｔとフレームｔ＋１，フレームｔ＋１とフレームｔ＋２等、各フレーム間でそれぞれブロックマッチングを行う必要がある。それらのブロックマッチングがどれか１個でも誤るとノイズ除去の効果が軽減される。（ｇ）ブロックマッチングでは、ブロック内に含まれてしまうような小さなオブジェクトの動きは検出できないので、そのような動きに起因して的確でない処理が行われるおそれがある。
【０００８】
また、動きベクトル検出に係る動き適応型リカーシブフィルタ以外の従来技術として、ブロックマッチング法、勾配法等が挙げられる。ブロックマッチング法は、探索範囲毎にブロック内の画素差分の総和を計算し、計算値を比較する必要がある。このため、演算量が膨大となり、回路規模の縮小、処理時間の向上等の観点から問題があった。また、ブロック内に含まれるような細かい動きについては、動き量を正確に検出することができない。また、勾配法は、ノイズが加わった画像に対しては、動き量の検出精度が著しく劣化する。
【０００９】
従って、この発明の目的は、動画に対して動きベクトルの算出を的確に行うことが可能な動きベクトル検出装置および検出方法、並びに画像信号処理装置および処理方法を提供することにある。
【００１０】
【課題を解決するための手段】
請求項１の発明は、画像信号内の注目画素および注目画素の周辺に位置する複数の画素を含む対象画素毎に、各対象画素を通り、時間方向に延びる直線上に位置する複数の画素を抽出する抽出手段と、
各注目画素に対する各対象画素に対して、抽出手段によって直線の方向毎に抽出される複数の画素の画素値に基づいて、直線の方向毎に類似度を検出する類似度検出手段と、
対象画素毎の直線の方向毎に検出された類似度に基づいて、注目画素に対する動きベクトルを算出する動きベクトル算出手段とを備えることを特徴とする動きベクトル検出装置である。
【００１１】
請求項１３の発明は、画像信号内の注目画素および注目画素の周辺に位置する複数の画素を含む対象画素毎に、各対象画素を通り、時間方向に延びる直線上に位置する複数の画素を抽出する抽出ステップと、
各注目画素に対する各対象画素に対して、抽出ステップによって直線の方向毎に抽出される複数の画素の画素値に基づいて、直線の方向毎に類似度を検出する類似度検出ステップと、
対象画素毎の直線の方向毎に検出された類似度に基づいて、注目画素に対する動きベクトルを算出する動きベクトル算出ステップとを有することを特徴とする動きベクトル検出方法である。
【００１２】
請求項１４の発明は、画像信号内の注目画素を通り、時間方向に延びる直線と、注目画素の周辺に位置する画素を通り、直線と平行な直線との各々について、当該直線上に位置する複数の画素を抽出する抽出手段と、
抽出手段によって直線の方向毎に抽出される複数の画素に基づいて、直線の方向毎に類似度を検出する類似度検出手段と、
直線の方向毎に検出される類似度に基づいて、注目画素に対する動きベクトルを算出する動きベクトル算出手段とを備えることを特徴とする動きベクトル検出装置である。
【００１３】
請求項１９の発明は、画像信号内の注目画素を通り、時間方向に延びる直線と、注目画素の周辺に位置する画素を通り、直線と平行な直線との各々について、当該直線上に位置する複数の画素を抽出する抽出ステップと、
抽出ステップによって直線の方向毎に抽出される複数の画素に基づいて、直線の方向毎に類似度を検出する類似度検出ステップと、
直線の方向毎に検出される類似度に基づいて、注目画素に対する動きベクトルを算出する動きベクトル算出ステップとを備えることを特徴とする動きベクトル検出方法である。
【００１４】
請求項２０の発明は、画像信号をフレーム毎に記憶する複数個のフレームメモリと、
複数個のフレームメモリに記憶される各フレームから１個または複数個の画素を切出す第１の画像切出し手段と、
第１の画像切出し手段によって切出される画素の画素値に基づいて時空間内での画像レベル分布のパターンを検出し、検出結果に応じてクラス分類を行うクラス分類手段と、
クラス毎に予め決定された予測係数を記憶しており、記憶した予測係数の内から、クラス分類手段によるクラス分類結果に対応するものを出力する係数メモリと、
複数個のフレームメモリに記憶される各フレームから１個または複数個の画素を切出す第２の画像切出し手段と、
係数メモリの出力と、第２の画像切出し手段によって切出される画像領域のデータとに基づいて演算を行うことによって出力画像を生成する出力画像生成手段と、
画像信号内の注目画素および注目画素の周辺に位置する複数の画素を含む対象画素毎に、各対象画素を通り、時間方向に延びる直線上に位置する複数の画素を抽出する抽出手段と、注目画素の各々に対応する各対象画素に対して、抽出手段によって直線の方向毎に抽出される複数の画素の画素値に基づいて、直線の方向毎に類似度を検出する類似度検出手段と、対象画素毎の直線の方向毎に検出された類似度に基づいて、注目画素に対する動きベクトルを算出する動きベクトル算出手段を含む動きベクトル検出手段と、
動きベクトル検出手段によって検出される動きベクトルに基づいて、第１の画像切出し手段および／または第２の画像切出し手段によって切出される画素の位置を設定する切出し位置決定手段とを備えることを特徴とする画像信号処理装置である。
【００１５】
請求項２１の発明は、画像信号をフレーム毎に記憶する記憶ステップと、
記憶ステップによって記憶される各フレームから１個または複数個の画素を切出す第１の画像切出しステップと、
第１の画像切出しステップによって切出される画素の画素値に基づいて時空間内での画像レベル分布のパターンを検出し、検出結果に応じてクラス分類を行うクラス分類ステップと、
クラス毎に予め決定された予測係数を記憶しており、記憶した予測係数の内から、クラス分類手段によるクラス分類結果に対応するものを出力する係数出力ステップと、
記憶ステップによって記憶される各フレームから１個または複数個の画素を切出す第２の画像切出しステップと、
係数出力ステップによる出力と、第２の画像切出しステップによって切出される画像領域のデータとに基づいて演算を行うことによって出力画像を生成する出力画像生成ステップと、
画像信号内の注目画素および注目画素の周辺に位置する複数の画素を含む対象画素毎に、各対象画素を通り、時間方向に延びる直線上に位置する複数の画素を抽出する抽出ステップと、注目画素の各々に対応する各対象画素に対して、抽出ステップによって直線の方向毎に抽出される複数の画素の画素値に基づいて、直線の方向毎に類似度を検出する類似度検出ステップと、対象画素毎の直線の方向毎に検出された類似度に基づいて、注目画素に対する動きベクトルを算出する動きベクトル算出ステップを含む動きベクトル検出ステップと、
動きベクトル検出ステップによって検出される動きベクトルに基づいて、第１の画像切出しステップおよび／または第２の画像切出しステップによって切出される画素の位置を設定する切出し位置決定ステップとを有することを特徴とする画像信号処理方法である。
【００１６】
以上のような発明によれば、時空間内で注目フレーム内の複数の画素を通る複数の直線上に位置する複数のフレーム内の画素の画素値に基づいてなされる演算処理の結果に基づいて動きベクトルが算出される。
【００１７】
【発明の実施の形態】
この発明の第１の実施形態についての説明に先立ち、理解を容易とするために、ブロックマッチングとクラス分類適応処理とを組み合わせることによって動画像について動きを考慮してノイズ除去を行うようにした、先に提案された構成（特願平１０−３０４０５８号参照）についてその概要を説明する。このような構成の一例を図１に示す。ノイズを除去されるべき入力画像信号がフレームメモリ２００に供給される。フレームメモリ２００には、フレームメモリ２０１、２０２がシフトレジスタ状に順次接続されている。これにより、フレームメモリ２００、２０１、２０２には、時間的に連続する３個のフレームの画像データが記憶される。
【００１８】
フレームメモリ２００、２０１は、記憶しているフレームを動きベクトル検出部２０３に供給する。動きベクトル検出部２０３は、供給される２個のフレームに基づいてブロックマッチングを行って動きベクトルを検出し、検出した動きベクトルを領域切出し部２０５および２０６に供給する。また、フレームメモリ２００，２０１、２０２は、記憶しているフレームを領域切出し部２０５および２０６に供給する。動きベクトル検出部２０４は、供給される２個のフレームに基づいてブロックマッチングを行って動きベクトルを検出し、検出した動きベクトルを領域切出し部２０５および２０６に供給する。
【００１９】
領域切出し部２０６には、フレームメモリ２００、２０１および２０２が記憶しているフレームが供給される。領域切出し部２０６は、動きベクトル検出部２０３から供給される動きベクトルおよび動きベクトル検出部２０４から供給される動きベクトルを参照して、供給されるフレームから、所定の位置の画像領域を切出す。切出された画像領域のデータがクラスコード発生部２０７に供給される。クラスコード発生部２０７は、供給されるデータから、例えばＡＤＲＣ(Adaptive Dynamic Range Coding)処理等によって時空間内のパターンを抽出し、抽出したパターンに従って分類されるクラスを示すクラスコードを生成する。
【００２０】
このように、領域切出し部２０６が切出す画像領域は、クラス分類に係る処理に用いられるので、かかる画像領域はクラスタップと称される。クラスコードは、係数メモリ２０８に供給される。係数メモリ２０８は、クラス毎に予め決定された予測係数を記憶しており、記憶している予測係数の内から、クラスコードに対応するものを出力する。係数メモリ２０８の出力は、推定演算部２０９に供給される。
【００２１】
一方、領域切出し部２０５には、フレームメモリ２００，２０１，２０２が記憶しているフレームの画像データが供給される。領域切出し部２０５は、動きベクトル検出部２０４および２０３から供給される動きベクトルを参照して、供給されるフレームの画像データから所定の位置の画像領域を切出し、切出した画像領域のデータを推定演算部２０９に供給する。推定演算部２０９は、領域切出し部２０５から供給されるデータと、係数メモリ２０８から供給される予測係数とに基づいて所定の演算を行い、その結果として出力画像を生成する。この出力画像においてノイズが除去若しくは軽減されている。このように、領域切出し部２０５が切出す画像領域は、出力画像を予測生成するための演算に用いられるので、かかる画像領域はクラスタップと称される。
【００２２】
領域切出し部２０６、２０５によってそれぞれ切出されるクラスタップ、予測タップのタップ構造について図２を参照して説明する。図２において、予測されるべき注目画素を黒丸で示し、クラスタップまたは予測タップとして切出される画素を、影を付した丸で示した。図２Ａには、基本的なクラスタップ構造の一例を示す。注目画素を含む注目フレームｆ［０］と、時間的に注目フレームの前後に位置するフレーム、すなわちｆ［−１］、ｆ［＋１］とから、注目画素と同一の空間位置の画素がクラスタップとして抽出される。また、図２Ｂには、基本的な予測クラスタップ構造の一例を示す。注目フレームの画像データと、時間的に注目フレームの前後に位置するフレームの画像データとから、注目画素と、注目画素の周囲に位置する例えば１２個の計１３個の画素が予測タップとして抽出される。
【００２３】
さらに、図１中の動きベクトル検出部２０３、２０４から出力される動きベクトルに応じて時間的に切出し位置がずらされる場合について図２Ｃ，図２Ｄに示す。図２Ｅに示すように、注目フレームにおける動きベクトルが（０，０）であり、前フレームにおける動きベクトルが（−１、−１）、後フレームにおける動きベクトルが（１、１）である場合に、フレーム全体におけるクラスタップ、予測タップの切出し位置が動きベクトルに従って平行移動させられる。このように、先の出願に係る構成では、クラスタップ、予測タップを切出す処理に先立って動きベクトルを検出する必要がある。この場合、動きベクトルを検出するためのブロックマッチング等の処理には大きな計算量が必要とされ、装置に大きな負荷が掛かるという問題があった。
【００２４】
次に、この発明の第１の実施形態について説明する。この発明の第１の実施形態における、予測推定に係る構成の一例を図３に示す。入力画像信号がフレームメモリ２１に供給される。フレームメモリ２１には、フレームメモリ２２、２３、２４、２５がシフトレジスタ状に順次接続されている。これにより、フレームメモリ２１〜２５に、時間的に連続する５個のフレームの画像データが記憶される。以下の説明では、フレームメモリ２３に記憶される画像データを注目フレームの画像データとして扱うものとする。また、フレームメモリ２４，２５に記憶される画像データを、それぞれ、注目フレームよりそれぞれ１フレーム、２フレーム前のフレームの画像データとして扱い、また、フレームメモリ２２，２１に記憶される画像データを、それぞれ、注目フレームよりそれぞれ１フレーム、２フレーム後のフレームの画像データとして扱うものとする。
【００２５】
フレームメモリ２１、２２、２３、２４、２５が記憶しているフレーム内の画像データがタップ配置決定部２６に供給される。タップ配置決定部２６は、供給されるデータに基づいてクラスタップ、予測タップとして切出すべき画素の位置を決定する。クラスタップとして切出すべき画素の位置に係る情報が領域切出し部２８に供給される。また、予測タップとして切出すべき画素の位置に係る情報が領域切出し部２７に供給される。領域切出し部２７、２８には、フレームメモリ２１〜２５が記憶しているフレームの画像データが供給される。領域切出し部２８は、供給される各フレームから、タップ配置決定部２６から供給される情報に従う位置の画素をクラスタップとして切出す。一方、領域切出し部２７は、供給される各フレームから、タップ配置決定部２６から供給される情報に従う位置の画素を予測タップとして切出す。
【００２６】
領域切出し部２８は、切出したクラスタップのデータをクラスコード発生部２９に供給する。クラスコード発生部２９は、供給されるデータから、例えばＡＤＲＣおよびＤＲ（ダイナミックレンジ）の量子化等の処理を行うことによって時空間内のパターンを抽出し、抽出したパターンに従って分類されるクラスを示すクラスコードを生成する。ノイズのない静止画像の場合、同一画素であればフレーム間での画素値の変動はあり得ない。また、動きに対しても、動きが速い場合についてはぼけ等の劣化が見られるが、基本的に同一画素では時間的な変動はない。
【００２７】
従って、同一画素の値の変動がある場合に、その変動はノイズであると考えられる。このため、時間方向のみに広げたクラスタップ構造の下で１画素のみを切出し、切出した画素のデータに基づいてＡＤＲＣを行うことによって、フレーム毎のノイズ成分を検出することができる。また、ＡＤＲＣによって生成する再量子化コードのビット数が大きい程、ノイズレベルの変動をより的確に検出することができる。また、ＤＲを量子化して、その値とＡＤＲＣによる再量子化コードを含めて、クラスコードを演算することにより、ノイズレベルの違いを区別することができる。
【００２８】
ＡＤＲＣ処理について以下に説明する。ＡＤＲＣは、本来、ＶＴＲ(Video Tape Recorder) 用の高能率符号化のために開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語調で効率的に表現できるという特徴を有する。このため、クラス分類のコードを発生するための、画像信号の時空間内でのパターンの検出に使用することができる。すなわち、以下の式（１）により、クラスタップとして切出される領域内の最大値ＭＡＸと最小値ＭＩＮとの間を指定されたビット数で均等に分割して再量子化する。
【００２９】
ＤＲ＝ＭＡＸ−ＭＩＮ＋１
Ｑ＝〔（Ｌ−ＭＩＮ＋０．５）×２n ／ＤＲ〕 （１）
ここで、ＤＲは領域内のダイナミックレンジである。また、ｎはビット割り当て数であり、例えばｎ＝２とすることができる。また、Ｌは領域内画素のデータレベルであり、Ｑが再量子化コードである。但し、大かっこ（〔‥‥〕）は切り捨て処理を意味する。
【００３０】
これにより、１画素当たり例えば８ビットからなるクラスタップの画素データが例えば２ビットの再量子化コード値に変換される。このようにして生成される再量子化コード値により、クラスタップのデータにおけるレベル分布のパターンがより少ない情報量によって表現される。例えば７画素からなるクラスタップのタップ構造を用いる場合、上述したような処理により、各画素に対応する７個の再量子化コードｑ1 〜ｑ7 が生成される。かかる出力に基づいてクラスコード発生回路４が発生するクラスコードclassは、次の式（２）のようなものである。
【００３１】
【数１】
【００３２】
クラスコードは、係数メモリ３０に供給される。係数メモリ３０はクラス毎に予め決定された予測係数を記憶しており、記憶している予測係数の内から、クラスコードに対応するものを出力する。係数メモリ３０の出力は、推定演算部３１に供給される。一方、領域切出し部２７は、切出した予測タップのデータを推定演算部３１に供給する。推定演算部３１は、領域切出し部２７から供給されるデータと、係数メモリ３０から供給される予測係数とに基づいて以下の式（１）のような演算を行い、その結果として出力画像中の画素値ｙを順次生成する。
【００３３】
ｙ＝ｗ1×ｘ1 ＋ｗ2 ×ｘ2 ＋‥‥＋ｗn ×ｘn （３）
ここで、ｘ1 ，‥‥，ｘn が各予測タップの画素データであり、ｗ1 ，‥‥，ｗn が各予測係数である。
【００３４】
次に、この発明の第１の実施形態における学習、すなわち予測係数を決定する処理について図４を参照して説明する。画像情報変換の結果として生成されるべきノイズを有しない画像（以下、教師画像と表記する）がノイズ付加部４０と、正規方程式加算部５０とに供給される。ノイズ付加部４０は、供給される教師画像にノイズ成分を付加する。ノイズ付加部４０の出力がフレームメモリ４１に供給される。フレームメモリ４１には、フレームメモリ４２、４３、４４、４５がシフトレジスタ状に順次接続されている。これにより、フレームメモリ４１〜４５に、時間的に連続する５個のフレームの画像データが記憶される。以下の説明では、フレームメモリ４３に記憶される画像データを注目フレームの画像データとして扱うものとする。また、フレームメモリ４４，４５に記憶される画像データを、それぞれ、注目フレームよりそれぞれ１フレーム、２フレーム前のフレームの画像データとして扱い、また、フレームメモリ４２，４１に記憶される画像データを、それぞれ、注目フレームよりそれぞれ１フレーム、２フレーム後のフレームの画像データとして扱うものとする。
【００３５】
フレームメモリ４１〜４５が記憶しているフレーム内のデータがタップ配置決定部４６に供給される。タップ配置決定部２６は、図３中のタップ配置決定部４６と同様に、供給されるデータに基づいてクラスタップ、予測タップとして切出すべき画素の位置を決定する。クラスタップとして切出すべき画素の位置に係る情報が領域切出し部４８に供給される。また、予測タップとして切出すべき画素の位置に係る情報が領域切出し部４７に供給される。
【００３６】
また、領域切出し部４７、４８には、フレームメモリ４１〜４５が記憶しているフレームが供給される。領域切出し部４８は、供給される各フレームから、タップ配置決定部４６から供給される情報に従う位置の画素をクラスタップとして切出す。一方、領域切出し部４７は、供給される各フレームから、タップ配置決定部４６から供給される情報に従う位置の画素を予測タップとして切出す。時空間内でクラスタップとして切出される画素位置の一例を図９Ａに示す。また、時空間内で予測タップとして切出される画素位置の一例を図９Ｂに示す。
【００３７】
領域切出し部４８は、切出したクラスタップのデータをクラスコード発生部４９に供給する。クラスコード発生部４９は、供給されるデータから、図３中のクラスコード発生部２９と同様な処理を行うことによって時空間内のパターンを抽出し、抽出したパターンに従って分類されるクラスを示すクラスコードを生成する。クラスコードが正規方程式加算部５０に供給される。
【００３８】
一方、領域切出し部４７は、切出した予測タップのデータを正規方程式加算部５０に供給する。正規方程式加算部５０は、供給される教師画像、予測タップのデータおよびクラスコードに基づいて、予測係数を解とする正規方程式を解くために必要なデータを計算する。正規方程式加算部５０の出力は、予測係数決定部５１に供給される。予測係数決定部５１は、所定の演算を行うことにより、クラス毎の予測係数を決定する。決定された予測係数がメモリ５２に供給され、記憶される。メモリ５２に記憶内容が図３中の係数メモリ３０にロードされることにより、上述したような予測推定が可能とされる。
【００３９】
予測係数を決定するための演算について説明する。図４に示したような構成に対し、複数種類の画像データが供給される。これらの画像データの種類数をｍと表記する場合、式（３）から、以下の式（４）が設定される。
【００４０】
ｙk ＝ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn （４）
（ｋ＝１，２，‥‥，ｍ）
ｍ＞ｎの場合には、ｗ1 ，‥‥，ｗn は一意に決まらないので、誤差ベクトルｅの要素ｅk を以下の式（５）で定義して、式（６）によって定義される誤差ベクトルｅの２乗を最小とするように予測係数を定めるようにする。すなわち、いわゆる最小２乗法によって予測係数を一意に定める。
【００４１】
ｅk ＝ｙk −｛ｗ1 ×ｘk1＋ｗ2 ×ｘk2＋‥‥＋ｗn ×ｘkn｝ （５）
（ｋ＝１，２，‥‥ｍ）
【００４２】
【数２】
式（６）のｅ2 を最小とする予測係数を求めるための実際的な計算方法としては、ｅ2 を予測係数ｗi (i=1,2‥‥)で偏微分し（式（７））、ｉの各値について偏微分値が０となるように各予測係数ｗi を決定すれば良い。
【００４４】
【数３】
式（７）から各予測係数ｗi を決定する具体的な手順について説明する。式（８）、（９）のようにＸji，Ｙi を定義すると、式（７）は、式（１０）の行列式の形に書くことができる。
【００４６】
【数４】
【数５】
【数６】
式（１０）が一般に正規方程式と呼ばれるものである。正規方程式加算部５０は、供給されるデータに基づいて式（８）、（９）に示すような演算を行うことにより、Ｘji，Ｙi （ｉ＝１，２，‥‥，ｎ）をそれぞれ計算する。予測係数決定部５１は、掃き出し法等の一般的な行列解法に従って正規方程式（１０）を解くことにより、予測係数ｗi （ｉ＝１，２，‥‥，ｎ）を算出する。
【００５０】
次に、ノイズ付加部４０における、教師画像にノイズを付加する処理について詳細に説明する。ノイズを付加する方法としては、例えば以下の（１）〜（４）ような方法が考えられる。（１）コンピュータシミュレーション的にランダムノイズを発生させ、発生させたノイズを付加する。（２）教師画像に対してＲＦ系を介してノイズを付加する。（３）レベルが一様な画像と、その画像をＲＦ系を介してなる画像との差分をとり、その差分を教師画像に加算する。（４）レベルが一様な画像をＲＦ系を介してなる画像と、該画像についてフレーム加算を行うことによってノイズ除去をした画像との差分をとることによってノイズ成分を抽出し、抽出したノイズ成分を教師画像に付加する。
【００５１】
（２）の方法に係る構成の一例を図５に示す。教師画像がＲＦ変調器６１に供給される。ＲＦ変調器６１は、教師画像にＲＦ変調を施す。ＲＦ変調器６１の出力がアテネータ減衰器６２に供給される。アテネータ減衰器６２は、ＲＦ変調器６１の出力にアテネータ減衰処理を施す。アテネータ減衰器６２の出力はＲＦ復調器６３に供給される。ＲＦ復調器６３は、アテネータ減衰器６２の出力をＲＦ復調することにより、教師画像にノイズが付加された画像を生成する。なお、（２）の方法においては、教師画像と生徒画像との間での画素位置のずれを考慮する必要がある。
【００５２】
（３）の方法に係る構成の一例を図６に示す。レベルが一様な画像がＲＦ変調器７１と減算器７４とに供給される。ＲＦ変調器７１は、供給される画像にＲＦ変調を施す。ＲＦ変調器７１の出力がアテネータ減衰器７２に供給される。アテネータ減衰器７２は、ＲＦ変調器７１の出力にアテネータ減衰処理を施す。アテネータ減衰器７２の出力はＲＦ復調器７３に供給される。ＲＦ復調器７３は、アテネータ減衰器７２の出力をＲＦ復調する。ＲＦ復調器７３の出力が減算器７４に供給される。減算器７４は、レベルが一様な画像とＲＦ復調器７３の出力との差分をとる。減算器７４の出力が加算器７５に供給される。加算器７５には、さらに、教師画像が供給される。加算器７５は、減算器７４の出力を教師画像に加算することにより、教師画像にノイズが付加された画像を生成する。
【００５３】
（４）の方法に係る構成の一例を図７に示す。レベルが一様な画像がＲＦ変調器８１に供給される。ＲＦ変調器８１は、供給される画像にＲＦ変調を施す。ＲＦ変調器８１の出力がアテネータ減衰器８２に供給される。アテネータ減衰器８２は、ＲＦ変調器８１の出力にアテネータ減衰処理を施す。アテネータ減衰器８２の出力はＲＦ復調器８３に供給される。ＲＦ復調器８３は、アテネータ減衰器８２の出力をＲＦ復調する。ＲＦ復調器８３の出力がフレーム加算回路８４と、減算器８５とに供給される。
【００５４】
フレーム加算回路８４は、供給される画像をフレーム加算することによってＲＦ復調器８３の出力からノイズが除去されてなる画像を生成する。フレーム加算回路８４の出力が減算器８５に供給される。減算器８５は、ＲＦ復調器８３の出力とフレーム加算回路８４の出力との差分をとることにより、ＲＦ系におけるノイズ成分を抽出する。減算器８５の出力である、抽出されたノイズ成分は加算器８６に供給される。加算器８６には、さらに、教師画像が供給される。加算器８６は、減算器８５の出力を教師画像に加算することにより、教師画像にノイズが付加された画像を生成する。
【００５５】
次に、タップ配置決定部２６、４６によってなされるタップ位置の決定方法について詳細に説明する。まず、図８を参照して原理的な説明を行う。ここで、水平、垂直方向にそれぞれ、各フレームにおける水平、垂直方向をとり、また、奥に向かう方向に時間をとる。すなわち、時間経過に従ってフレームｆ［−２］，ｆ［−１］，ｆ［０］，ｆ［＋１］，ｆ［＋２］が順に奥に見えるように図示されている。また、この方法を行うためには以下のような前提条件が満たされる必要がある。
【００５６】
（Ｐ）５フレーム程度の微小な時間においては、画像の動きはほぼ等速直線運動である。本願出願人は、実際の画像について（Ｐ）が成り立つことを統計的に確認した。
（Ｑ）ノイズが無い場合、各フレーム間での同じ画素の分散は０であるか、或いは０に極めて近い。
【００５７】
この発明の第１の実施形態では、フレームｆ［−２］〜ｆ［＋２］を通る時空間内での直線を幾つか設定し、各直線上に位置するフレームｆ［−２］〜ｆ［＋２］内の画素値の分散をそれぞれ計算する。そして、分散が最小となる場合の直線を決定し、そのような直線が動きを示すものとする。
【００５８】
より具体的には、図８に示すように、注目フレームｆ［０］上に、注目画素を中心として例えば５×５画素の領域（以下、投票範囲と表記する）を設定し、投票範囲から各画素（以下、投票画素と表記する）を順次取り出し、取り出した投票画素の各々について以下の処理を行う。すなわち、例えばフレームｆ［＋１］上に投票画素に対応する画素位置を中心として探索範囲を設定する。探索範囲は、フレームｆ［＋１］以外のフレーム上に設定しても良い。さらに、投票画素と探索範囲内の各画素（以下、探索画素と表記する）を通る各直線上にあるフレームｆ［−２］〜ｆ［＋２］内の各画素を取り出す。そして、取り出した画素の間で分散を計算し、計算される分散が最小となる時の直線に基づいて動きベクトルを算出する。分散が最小となる時の直線は、投票画素の各々に対応して１個ずつ決まるので、例えば５×５画素の画素領域内から投票画素を設定する場合においては２５個の直線が決められることになる。この内で最も頻度が大きいものを、注目画素の動きを示す直線として最終的に決定する。
【００５９】
処理手順の一例を図１０に示す。ステップＳ１では、注目画素周辺の例えば５×５画素の領域から投票画素を取り出す。ステップＳ２では、例えばｆ［１］上に探索範囲を設定する。ステップＳ３では、探索範囲内の位置を示すパラメータａ，ｂをそれぞれ０と設定する（初期化）。ここで、図８に示すように、ａ，ｂは探索範囲内での例えば水平方向、垂直方向の座標をそれぞれ示すものである。勿論、直行座標系以外座標系を用いて探索範囲内の位置を示すようにしても良い。（ａ，ｂ）が設定される毎に１個の直線が決まる。ステップＳ４では、（ａ，ｂ）によって決まる直線上にある、ｆ［−２］〜ｆ［＋２］内の各画素を取り出す。
【００６０】
ステップＳ５では、ステップＳ４で取り出された画素の間の分散を計算する。ステップＳ６では、ステップＳ５で計算された分散がそれ以前に他の（ａ，ｂ）に対応して計算された分散の内で最小であるか否かを判定する。ステップＳ５で計算された分散がそれ以前に他の（ａ，ｂ）に対応して計算された分散の内で最小であると判定される場合にはステップＳ７に移行し、それ以外の場合にはステップＳ８に移行する。ステップＳ７では、ステップＳ５で計算された分散値およびその時の（ａ，ｂ）を保存し、さらにステップＳ８に移行する。ステップＳ８では、ａ，ｂの値を更新する。
【００６１】
図８に示したようにａ，ｂをとる場合には、ａ，ｂの値の更新は例えばラスタスキャン上に行うことができる。ステップＳ９では、ステップＳ８で更新されたａ，ｂの値がステップＳ２で設定された探索範囲を越えるか否かをチェックする。探索範囲を越える場合には、最早、探索は終了したとの判断の下にステップＳ１０に移行する。それ以外の場合にはステップＳ４に移行し、ステップＳ８で更新されたａ，ｂの値の下での処理を行う。
【００６２】
ステップＳ１０では、ステップＳ７によって保存された、分散を最小とする（ａ，ｂ）を投票する。ここで、投票とは、（ａ，ｂ）の頻度分布を調べる処理である。ステップＳ１１では、ステップＳ１によって投票画素として取り出された全ての画素に対して投票がなされたか否かを判定する。全ての投票画素に対して投票がなされたと判定される場合にはステップＳ１２に移行し、それ以外の場合にはステップＳ１に移行して、投票画素として新たな画素を切出し、切出した画素についての処理を行う。
【００６３】
ステップＳ１２では、投票数の多い、すなわち頻度の大きい直線上にフレーム内におけるクラスタップおよび予測タップが設定される。このようにして、動きを的確に反映したタップ配置が行われる。
【００６４】
ここで、投票によって頻度の大きい（ａ，ｂ）を定めるようにしたので、入力画像におけるノイズに起因して（ａ，ｂ）の値の決定が誤るおそれを回避若しくはその程度を減少させることができる。従って、動きをより精度良く反映したタップ配置が可能とされる。
【００６５】
上述したこの発明の第１の画像は、動画像において動きベクトルを検出し、検出した動きベクトルを参照することによって、ノイズをより的確に除去するようにしたものであるが、この発明は、動きを把握することが必要な各種の画像信号処理を行う場合に適用することができる。
【００６６】
次に、この発明の第２〜第５の実施形態における動きベクトル検出処理の概要について図１１を参照して説明する。図１１では、注目フレームｆ〔０〕を中心として、時間的に先行する２フレームすなわちフレームｆ〔−１〕およびフレームｆ〔−２〕、並びに時間的に後続する２フレームすなわちフレームｆ〔＋１〕およびフレームｆ〔＋２〕上の画素を図示した（各画素を丸で示す）。但し、注目画素は黒丸として図示した。なお、図面が煩雑となるのを避けるため、フレームｆ〔−２〕およびフレームｆ〔＋２〕のみを点線の長方形として図示した。
【００６７】
この発明の第２および第３の実施形態では、注目フレームｆ〔０〕内で注目画素の周囲に投票範囲が設定され、投票範囲内の投票画素の各々について、その画素を通る複数の直線の内で当該直線上に位置する各フレーム内の画素の分散が最小となるものが推定される。そして、投票、すなわち各投票画素について推定される直線パラメータの内で最も頻度が高いものを注目画素の動きの軌跡として採用する処理が行われることにより、動きベクトルが算出される。
【００６８】
また、この発明の第４および第５の実施形態では、注目フレームｆ〔０〕内で注目画素の周囲に領域（以下、管範囲と表記する）を設定し、当該領域内の各画素を通る互いに平行な複数の直線からなる複数種類の直線群が設定される。以下、このような直線群を管と表記する。従って、管は、平行直線を規定する直線パラメータによって規定されることになる。そして、当該管を構成する各直線上に位置する、フレームｆ〔−２〕〜フレームｆ〔＋２〕内の画素の分散の総和が最小となるような管を判定し、判定した管に係る直線パラメータに基づいて動きベクトルが算出される。
【００６９】
以下、この発明の第２の実施形態について詳細に説明する。図１２に、この発明の第２の実施形態に係る構成の一例を示す。入力画像信号は、フレームメモリ部１０に入力される。フレームメモリ部１０は、シフトレジスタ状に接続された５個のフレームメモリｆｍ〔−２〕、ｆｍ〔−１〕、ｆｍ〔０〕、ｆｍ〔＋１〕、ｆｍ〔＋２〕を備えている。フレームメモリｆｍ〔−２〕、ｆｍ〔−１〕、ｆｍ〔０〕、ｆｍ〔＋１〕、ｆｍ〔＋２〕には、それぞれ、入力画像信号内の連続する５個のフレームｆ〔−２〕、フレームｆ〔−１〕、フレームｆ〔０〕、フレームｆ〔＋１〕、フレームｆ〔＋２〕の画像データが記憶される。
【００７０】
注目フレームｆ〔０〕の画像データがフレームメモリｆｍ〔０〕から投票範囲決定部１１内の領域切出し回路１１２に供給される。また、ｆ〔−２〕、フレームｆ〔−１〕、フレームｆ〔０〕、フレームｆ〔＋１〕、フレームｆ〔＋２〕の画像データがそれぞれ、フレームメモリｆｍ〔−２〕、ｆｍ〔−１〕、ｆｍ〔０〕、ｆｍ〔＋１〕、ｆｍ〔＋２〕から動きベクトル算出部１２内の直線上画素切出し回路１２３に供給される。
【００７１】
投票範囲初期設定回路１１１は初期の切出し領域を設定し、設定した初期の切出し領域を示すパラメータを領域切出し回路１１２に供給する。領域切出し回路１１２は、注目フレームｆ〔０〕の画像データから、供給されるパラメータに従って領域を切出す。
【００７２】
領域切出し回路１１２は、切出した領域内の画素データを水平方向ＤＲ計算回路１１３および垂直方向ＤＲ計算回路１１４に供給する。水平方向ＤＲ計算回路１１３は、供給される画素データを水平方向にスキャン（図１３Ａ参照）することによって、水平方向のＤＲ（ダイナミックレンジ）を計算する。水平方向ＤＲ計算回路１１３は、さらに、計算した水平方向のＤＲの内で最大のものを決定して、水平方向のＤＲの最大値を投票範囲決定回路１１６に供給する。
【００７３】
また、垂直方向ＤＲ計算回路１１４は、供給される画素データを垂直方向にスキャン（図１３Ｂ参照）することによって垂直方向のＤＲを計算する。垂直方向ＤＲ計算回路１１４は、さらに、計算した垂直方向のＤＲの内で最大のものを決定して、垂直方向のＤＲの最大値を投票範囲決定回路１１６に供給する。
【００７４】
投票範囲決定回路１１６は、供給される水平方向および垂直方向のＤＲの最大値が共に予め設定されたしきい値を越える際に、その時に切出されている領域を動きベクトル検出のための演算処理に使用する投票範囲として最終的に決定する。
【００７５】
一方、供給される水平方向および垂直方向のＤＲの最大値の内の少なくとも一方が予め設定されたしきい値以下となる場合には、投票範囲決定回路１１６は、その時に切出されている領域を示すパラメータを投票範囲更新回路１１５に供給する。投票範囲更新回路１１５は、供給されるパラメータに基づいて新たな領域を設定し、設定した領域を示すパラメータを領域切出し回路１１２に供給する。領域切出し回路１１２は、供給されるパラメータに基づいて、注目フレームｆ〔０〕の画像データから新たな領域を切出す。
【００７６】
上述したような構成および動作により、水平方向および垂直方向のＤＲの最大値が共に予め設定されたしきい値を越えるという条件を満たすまで、投票範囲の候補として切出される領域を初期設定に係る領域から段階的に拡大する処理が行われる。これにより、動きベクトル検出のための演算処理に使用する投票範囲が最終的に決定される。例えば図１４Ａに示すように、初期に切出される領域が水平および垂直方向にそれぞれ、０番目〜１１番目までの画素からなる矩形の領域とされ、その後、水平方向および垂直方向のＤＲの最大値が共にしきい値を越えるという条件が満たされるまで、水平および垂直方向にそれぞれ０番目〜２２番目、０番目〜３３番目、…の画素を含む矩形の領域が順次切出される。
【００７７】
ここで、初期の切出し領域の大きさ、新たな領域を切出す際の領域の拡大の割合、ＤＲについてのしきい値等は任意に設定することができる。また、新たな領域として、それ以前に切出された領域を拡大したもの以外にも、それ以前に切出された領域を回転或いは縮小したものを用いても良い。
【００７８】
また、投票範囲として切出される領域における画素の密度を変化させるようにしても良い。例えば図１４Ｂに示すように，黒で示した画素を切出しの対象から除外することにより、画素を例えば１個おきに切出すようにすることにより、投票範囲として切出される領域が拡大しても領域内の画素の総数が一定となるようにしても良い。
【００７９】
また、上述の説明では、切出される領域の水平方向および垂直方向のＤＲについてしきい値判定を行うことによって投票範囲を決定するものとしたが、切出される領域全体のＤＲについてしきい値判定を行うことによって投票範囲を決定するようにしても良い。また、切出される領域のアクティビティを表現する量として当該領域全体の分散等を計算し、計算結果に応じて投票範囲を決定するようにしても良い。
【００８０】
投票範囲決定部１１によって決定された投票範囲を示すパラメータが投票範囲決定回路１１６から動きベクトル算出部１２内の投票画素初期設定回路１２１に供給される。投票画素初期設定回路１２１は、投票画素を初期設定し、初期設定に係る投票画素位置を示すパラメータを直線パラメータ初期設定回路１２２に供給する。直線パラメータ初期設定回路１２２は、直線パラメータを初期設定する。初期設定された直線パラメータが画素切出し回路１２３に供給される。
【００８１】
図１５からわかるように、特定の投票画素と、当該投票画素に対する相対的な空間画素位置が（ａ，ｂ）であるような例えばフレームｆ〔１〕内の画素とを通る直線は、（ｘ，ｙ，ｔ）空間内で一意に特定される。従って、投票画素が設定された状況では、直線パラメータは、（ａ，ｂ）として表現することができる。実際の処理においては、例えばフレームｆ〔１〕内に探索範囲を設定し、探索範囲内の探索画素位置によって直線パラメータが表現される。なお、直線パラメータが同一で投票画素が異なる２直線は、互いに平行となる。
【００８２】
画素切出し回路１２３は、フレームメモリｆｍ〔−２〕〜ｆｍ〔＋２〕から、各フレームの画像データを供給される。画素切出し回路１２３は、供給される画像データから、直線パラメータ（ａ，ｂ）によって規定される直線上に位置する各フレーム内の画素データを切出す。切出された画素データは、分散演算および直線パラメータ保持回路１２４に供給される。
【００８３】
分散演算および直線パラメータ保持回路１２４は、供給される画素データに基づいて５個の画素の分散を計算する処理、計算値を比較する処理、並びに、比較結果に応じて計算値およびそれに対応する直線パラメータを保持する処理を行う。そして、分散演算および直線パラメータ保持回路１２４は、最終的に保持された直線パラメータを直線パラメータ投票回路１２５に供給する。また、分散演算および直線パラメータ保持回路１２４は、分散値の計算が完了した直線パラメータについての情報を直線パラメータ更新回路１２６に供給する。直線パラメータ更新回路１２６は、供給される情報に基づいて、画素切出し回路１２３による画素切出しに未だ用いられていない直線を示す直線パラメータを設定し、設定した直線パラメータを画素切出し回路１２３に供給する。
【００８４】
直線パラメータ初期設定回路１２２、画素切出し回路１２３、分散演算および直線パラメータ保持回路１２４、直線パラメータ更新回路１２６の動作の結果として以下のような処理がなされる。探索範囲内の画素位置（ａ，ｂ）として表現される直線パラメータによって特定される直線上に位置する各フレーム内の画素の分散値が初期設定に係る直線パラメータに対応するものから順に計算される。そして、分散値が最小となる際の直線パラメータが直線パラメータ投票回路１２５に供給される。
【００８５】
直線パラメータ投票回路１２５は、直線パラメータを供給される毎に、供給される直線パラメータを示す情報を投票画素更新回路１２７に供給する。かかる情報が供給される毎に、投票画素更新回路１２７が投票画素の更新を行い、更新された投票画素を示す情報を直線パラメータ初期設定回路１２２に供給する。かかる情報に基づいて直線パラメータ初期設定回路１２２、画素切出し回路１２３、分散演算および直線パラメータ保持回路１２４、直線パラメータ更新回路１２６による、上述したような処理が行われる。このようにして、投票範囲内の各画素について、当該投票画素を通る直線の内で当該直線上に位置する各フレーム内の画素の分散が最小となるものに係る直線パラメータが順次決定される。
【００８６】
上述したような処理により、投票範囲内の全ての投票画素に対応して直線パラメータが供給されると、直線パラメータ投票回路１２５は、供給された直線パラメータについて投票すなわち頻度を検出する処理を行う。これにより、最も頻度の大きい直線パラメータが注目画素の動きベクトルの軌跡として採用される。採用された直線パラメータを（ａ0 ，ｂ0 ）とすると、フレームｆ〔−２〕、〔−１〕、ｆ〔０〕、ｆ〔＋１〕、ｆ〔＋２〕における注目画素の動きベクトルは、それぞれ、（−２×ａ0 ，−２×ｂ0 ），（−ａ0 ，−ｂ0 ），（０，０），（ａ0 ，ｂ0 ），（２×ａ0 ，２×ｂ0 ）と演算される（図１６参照）。
【００８７】
上述したこの発明の第２の実施形態は、投票範囲の候補として切出される領域についてＤＲ等を順次計算し、計算値がしきい値以上となる際の領域を投票範囲として採用すると共に、各投票画素について、当該投票画素を通る直線の内で当該直線上に位置する各フレーム内の画素の分散が最小となるものに係る直線パラメータを順次決定し、決定した直線パラメータの内で頻度が最大となるものに基づいて動きベクトルを計算するようにしたものである。
【００８８】
これに対して、投票範囲の候補として切出される領域の各々についてＤＲ等を並列的に算出し、算出値を比較して、比較結果に基づいて投票範囲を決定するようにしても良い。
【００８９】
また、各投票画素について、当該投票画素を通る直線の内で当該直線上に位置する各フレーム内の画素の分散が最小となるものに係る直線パラメータを並列的に決定し、決定した直線パラメータの内で頻度が最大となるものに基づいて動きベクトルを計算するようにしても良い。
【００９０】
このような観点から、以下に説明するこの発明の第３の実施形態が可能である。この発明の第３の実施形態に係る構成の一例を図１７に示す。入力画像信号はフレームメモリ部１０に供給される。フレームメモリ部１０については図１２を参照して上述したので、重複する説明を省略する。フレームメモリｆｍ〔０〕から、注目フレームｆ〔０〕の画像データが投票範囲決定部２１内の領域切出し回路２１２1 ，２１２2 ，‥‥２１２19に供給される。また、フレームメモリｆｍ〔−２〕〜ｆｍ〔＋２〕から、ｆ〔−２〕〜〔＋２〕の画像データが動きベクトル算出部２２内の直線パラメータ推定回路２２１1 ，２２１2 ，‥‥，２２１144 に供給される。
【００９１】
領域切出し回路２１２1 ，２１２2 ，‥‥，２１２19は、注目フレームｆ〔０〕の画像データから、それぞれ水平および垂直方向に０番目〜１１番目、０番目〜２２番目、‥‥、０番目〜２０９（＝１１×１９）番目までの画素を含む矩形の領域を切出す。領域切出し回路２１２1 ，２１２2 ，‥‥２１２19によって切出される画像データは、それぞれ、水平ＤＲ算出回路２１３1 ，２１３2 ，‥‥，２１３19および垂直ＤＲ算出回路２１４1 ，２１４2 ，‥‥，２１４19に供給される。
【００９２】
水平ＤＲ算出回路２１３1 ，２１３2 ，‥‥，２１３19および垂直ＤＲ算出回路２１４1 ，２１４2 ，‥‥，２１４19は、供給される画像データに基づいて、水平方向および垂直方向のＤＲを算出し、算出値を比較回路２１５に供給する。比較回路２１５は、供給される各算出値を比較し、比較結果に応じて投票範囲を決定する。
【００９３】
ここで、投票範囲の候補として切出される領域の大きさ、ＤＲについてのしきい値等は任意に設定することができる。また、図１４Ｂを参照して上述したように、切出される領域における画素の密度を変化させるようにしても良い。
【００９４】
また、上述の説明では、切出される領域の水平方向および垂直方向のＤＲに基づいて投票範囲を決定するものとしたが、切出される領域全体のＤＲや、切出される領域全体の分散等を計算し、計算結果に応じて投票範囲を決定するようにしても良い。
【００９５】
以下の説明は、水平および垂直方向に０番目〜１１番目までの画素を含む領域が投票範囲として採用される場合を例として行う。この場合には、投票画素は、（０，０），（０，１），‥‥，（１１，１１）の１２×１２＝１４４個となる。これらの投票画素の各々に対応して、直線パラメータ推定回路２２１1 ，２２１2 ，‥‥，２２１144 が動きベクトル算出部２２内に設けられている。投票範囲決定部２１によって決定される投票範囲を示すパラメータは、動きベクトル算出部２２内の１４４個の直線パラメータ推定回路２２１1 ，２２１2 ，‥‥，２２１144 に供給される。
【００９６】
直線パラメータ推定回路２２１1 ，２２１2 ，‥‥，２２１144 は、投票範囲内の各画素に対して、当該画素を通る直線の内でその直線上にあるフレームｆ〔−２〕〜フレームｆ〔＋２〕内の画素の分散が最小となるものに係る直線パラメータを推定する。推定される直線パラメータは、投票回路２２２に供給される。
【００９７】
投票回路２２２は、供給される直線パラメータについて頻度を計数し、頻度データを生成する。頻度データは、比較回路２２３に供給される。比較回路２２３は、供給される頻度データに基づいて頻度が最大となる直線パラメータを特定する。動きベクトル演算回路２２４は、比較回路２２３によって特定される直線パラメータに基づいて動きベクトルを演算する。
【００９８】
直線パラメータ推定回路２２１1 ，２２１2 ，‥‥，２２１144 の構成の一例を図１８に示す。画素読込み回路３０１，３０２，３０３，３０４，３０５の各々には、投票範囲決定部２１から供給される投票範囲に関連する画素位置情報が供給される。画素読込み回路３０１〜３０５の各々は、供給される画素位置情報に対応する画素データをそれぞれ、フレームメモリｆｍ〔−２〕〜ｆｍ〔＋２〕から読み出す。この一例では、探索画素は、投票画素位置に対する相対画素位置が（−８，−８），（−７，−８），‥‥，（８，８）であるような２８９個の画素とされている。
【００９９】
画素抽出回路３０６1 ，３０６2 ，‥‥，３０６289 は、それぞれ、探索画素位置（−８，−８），（−７，−８），‥‥，（８，８）によって特定される直線上に位置する各フレーム内の画素を抽出し、抽出した画素データを分散計算回路３０７1 ，３０７2 ，‥‥，３０７289 にそれぞれ供給する。
【０１００】
分散計算回路３０７1 ，３０７2 ，‥‥，３０７289 は、供給される画素データに基づいて分散を計算し、計算値を分散比較回路３０８に供給する。分散比較回路３０８は、供給される分散の計算値を比較することによって計算値が最小となる際の直線パラメータを特定し、特定した直線パラメータを出力する。
【０１０１】
上述の説明は、水平および垂直方向のそれぞれ０番目〜１１番目の画素を含む領域が投票範囲として採用される場合を例とするものである。これに対して、より多くの画素を含む領域が投票範囲として採用される場合にも対応できるように、より多くの直線パラメータ推定回路を設けるようにしても良い。または、直線パラメータ推定回路を、時分割で動作するように制御しても良い。
【０１０２】
また、例えば図１８を参照して上述した一例は、縦、横にそれぞれ１７個ずつ、全部で２８９個の画素を含む領域を探索範囲として用いるようにしたものであるが、探索範囲はこれに限定されるものではなく、任意に設定できる。
【０１０３】
この発明の第２および第３の実施形態は、投票範囲内の各画素について、当該画素を通る直線の内で当該直線上に位置する各フレーム内の画素を抽出し、抽出した画素データの分散が最小となる際の直線に係る直線パラメータを投票に供するようにしたものである。これに対して、抽出した画素データの平均値と各画素値との間の差分の絶対値の総和を計算し、計算値に基づいて投票に供する直線パラメータを決定するようにしても良い。また、抽出した画素データについての隣接画素間の差分絶対値の総和に基づいて投票に供する直線パラメータを決定するようにしても良い。
【０１０４】
また、探索範囲内の画素の内の一部を探索画素として扱う処理によって直線パラメータを粗く推定し、その推定結果を利用して推定された点周辺を詳細に探索するような、階層的探索を行っても良い。このような処理について図１９および図２０を参照して説明する。図１９に示す一例では、探索範囲が水平および垂直方向に１７個（計２８９個）の画素を含んでいる。粗い推定を行う場合には斜線を付して示す３画素おきの画素（計２５個の画素）を探索画素として扱う。すなわち２５個の画素の各々と投票画素とを通る直線上にある、例えば５個のフレーム内の画素の分散を計算し、計算値が最小となる際の探索画素を粗い推定の結果として選択する。
【０１０５】
そして、粗い推定の結果として選択された画素を中心とする水平および垂直方向に５個（計２５個）の画素を含む範囲（影を付して示す）において全ての画素を探索画素として扱う。すなわち、各画素と投票画素とを通る直線上にある、例えば５個のフレーム内の画素の分散を計算し、計算値が最小となる際の探索画素の画素位置に基づいて投票に供する直線パラメータを最終的に決定する。
【０１０６】
また、図２０に示す他の例では、探索範囲が水平および垂直方向に１７個（計２８９個）の画素を含んでいる。粗い推定を行う場合には斜線を付して示す２画素おきの画素（計２５個の画素）を探索画素として扱う。そして、粗い推定の結果として選択された画素を中心とする水平および垂直方向に５個（計２５個）の画素を含む範囲（影を付して示す）において全ての画素を探索画素として扱うことにより、投票に供する直線パラメータを最終的に決定する。
【０１０７】
図１９および図２０を参照して上述したような階層的探索処理を行う場合には、探索範囲内の例えば２５個の画素位置に対応して分散等の計算や計算値の比較を行う構成により、投票に供する直線パラメータを選択することが可能とされる。このため、分散等の計算に係る構成を小規模化することができる。
【０１０８】
次に、この発明の第４の実施形態について説明する。上述したように、この発明の第４の実施形態は、動画像における動きを直線の代わりに管と見たてて動きベクトルを検出するようにしたものである。すなわち、この発明の第４の実施形態では、時空間内の直線の代わりにそれを空間方向の拡大してなる面の分散を演算することにより、ノイズの影響を避け、動きベクトルを正確に算出するようになされている。
【０１０９】
この発明の第４の実施形態の構成の一例を図２１に示す。入力画像はフレームメモリ部１０に入力される。フレームメモリ部１０については、図１２を参照して上述したので重複する説明を省略する。フレームメモリｆｍ〔０〕の記憶内容である、注目フレームｆ〔０〕の画像データが管範囲決定部４１内の管切出し回路４１２に供給される。また、フレームｆ〔−２〕〜ｆ〔＋２〕の画像データがフレームメモリｆｍ〔−２〕〜ｆｍ〔＋２〕から、動きベクトル算出部４２内の直線上画素切出し回路４２３に供給される。
【０１１０】
管範囲初期設定回路４１１が初期の管範囲を設定し、設定した初期の管範囲を示すパラメータを管切出し回路４１２に供給する。管切出し回路４１２は、注目フレームｆ〔０〕の画像データから、供給されるパラメータに従って領域を切出す。
【０１１１】
切出された領域内の画素データが水平方向ＤＲ計算回路４１３および垂直方向ＤＲ計算回路４１４に供給される。水平方向ＤＲ計算回路４１３は、供給される画素データを水平方向にスキャンすることによって、水平方向のＤＲを順次計算する。水平方向ＤＲ計算回路４１３は、さらに、計算した水平方向のＤＲの内で最大のものを決定して、決定した水平方向のＤＲを管範囲決定回路４１６に供給する。
【０１１２】
また、垂直方向ＤＲ計算回路４１４は、供給される画素データを垂直方向にスキャンすることによって垂直方向のＤＲを順次計算する。垂直方向ＤＲ計算回路４１４は、さらに、計算した垂直方向のＤＲの内で最大のものを決定して、決定した垂直方向のＤＲを管範囲決定回路４１６に供給する。管範囲決定回路４１６は、供給される水平および垂直方向のＤＲが共に予め設定されたしきい値を越える際に、その時の管範囲を動きベクトルの算出処理に係る管範囲として最終的に決定する。
【０１１３】
一方、供給される水平および垂直方向のＤＲの内の少なくとも一方が予め設定されたしきい値以下となる場合には、管範囲決定回路４１６は、その時の管範囲を示すパラメータを管範囲更新回路４１５に供給する。管範囲更新回路４１５は、供給されるパラメータに基づいて、新たな領域を切出すためのパラメータを生成し、生成したパラメータを管切出し回路４１２に供給する。管切出し回路４１２は、注目フレームｆ〔０〕の画像データから、新たな設定に係る領域を切出す。
【０１１４】
上述したような構成および動作により、図１４Ａを参照して上述したように、水平方向および垂直方向のＤＲの最大値が共に予め設定されたしきい値を越えるという条件を満たすまで、管範囲の候補として切出される領域を初期設定に係る領域から段階的に拡大する処理が行われ、その結果として、動きベクトル検出のための演算処理に使用する管範囲が最終的に決定される。
【０１１５】
ここで、初期の切出し領域の大きさ、新たな領域を切出す際の領域の拡大の割合、ＤＲについてのしきい値等は任意に設定することができる。また、管範囲の候補として切出される領域の大きさ、ＤＲについてのしきい値等は任意に設定することができる。また、新たな領域として、それ以前に切出された領域を拡大したもの以外にも、切出された領域を回転或いは縮小したものを用いても良い。また、図１４Ｂを参照して上述したように、管範囲の候補として切出される領域における画素の密度を変化させるようにしても良い。
【０１１６】
また、上述の説明では、切出される領域の水平方向および垂直方向のＤＲに基づいて管範囲を決定するものとしたが、切出される領域全体のＤＲや、切出される領域全体の分散等を計算し、計算結果に応じて管範囲を決定するようにしても良い。
【０１１７】
管範囲決定部４１によって決定された管範囲を示すパラメータは、管範囲決定回路４１６から動きベクトル算出部４２内の直線パラメータ初期設定回路４２１に供給される。直線パラメータ初期設定回路４２１は直線パラメータを初期設定し、初期設定した直線パラメータを平行直線初期設定回路４２２に供給する。直線パラメータに対応して、管範囲内の各画素を通るｘ−ｙ−ｔ空間内の互いに平行な直線の集合体としての管が規定される。平行直線初期設定回路４２２は、管を構成する互いに平行な直線の内の１個を初期設定設置直線として指定するパラメータを生成し、生成したパラメータを画素切出し回路４２３に供給する。
【０１１８】
画素切出し回路４２３には、さらに、フレームｆ〔−２〕〜ｆ〔＋２〕から、各フレームの画像データが供給される。画素切出し回路４２３は、初期設置直線上に位置する各フレーム内の画素を切出す。切出された画素に係る画素データは、分散演算および加算回路４２４に供給される。
【０１１９】
分散演算および加算回路４２４は、供給される画素データに基づいて分散を計算する処理、計算値を加算して分散の総和を計算する処理を行う。また、分散演算および加算回路４２４は、画素切出し回路４２３から供給される画像データに基づく分散の計算および加算が完了する毎に、その旨を示す情報を平行直線更新回路４２６に供給する。
【０１２０】
平行直線更新回路４２６は、管を構成する平行直線の内で画素切出し回路４２３による画素切出しに未だ用いられていないものを示すパラメータを生成し、生成したパラメータを画素切出し回路４２３に供給する。画素切出し回路４２３は、供給されるパラメータに対応する直線について、当該直線上に位置する各フレーム内の画素に係る画素データを切出し、切出した画素データを分散演算および加算回路４２４に供給する。
【０１２１】
直線パラメータ初期設定回路４２１、平行直線初期設定回路４２２、画素切出し回路４２３、分散演算および加算回路４２４、平行直線更新回路４２６の動作の結果として以下のような処理がなされる。すなわち、管内の各直線上に位置する各フレーム内の画素の分散が初期設定に係る直線から順に計算され、計算値が加算されて分散の総和が計算される。そして、分散の総和が分散総和判定および直線パラメータ保持回路４２５に供給される。
【０１２２】
分散総和判定および直線パラメータ保持回路４２５は、分散の総和を供給される毎に、その旨を示す情報を直線パラメータ更新回路４２７に供給する。また、分散総和判定および直線パラメータ保持回路４２５は、供給される分散の総和に基づく判定を行い、判定結果に基づいて直線パラメータを保持する。
【０１２３】
直線パラメータ更新回路４２７は、供給される情報に基づいて、未だ分散の総和の計算および分散の総和に基づく判定処理の対象とされていない管に係る直線パラメータを新たに設定し、設定した直線パラメータを平行直線初期設定回路４２２に供給する。かかる直線パラメータに基づいて画素切出し回路４２３、分散演算および加算回路４２４、平行直線更新回路４２６による、上述したような処理が行われる。このようにして、直線パラメータが設定されることによって規定される管の各々について、当該管内の直線上に位置する各フレーム内の画素の分散の総和が順次計算され、計算される分散の総和に基づく判定がなされる。
【０１２４】
分散総和判定および直線パラメータ保持回路４２５は、例えば以下のような処理を行うことにより、分散の総和に基づく判定を行う。まず、分散演算および加算回路４２４から最初に供給される、初期設定された直線パラメータに係る管についての分散の総和を保持すると共に、初期設定された直線パラメータを保持する。
【０１２５】
次に、分散演算および加算回路４２４からさらに供給される、直線パラメータ更新回路４２７によって２番目に設定される直線パラメータに係る管についての分散の総和を、初期設定された直線パラメータによって規定される管についての分散の総和と比較し、小さい方の分散の総和を保持すると共に、小さい方の分散の総和に係る直線パラメータを保持する。
【０１２６】
その後、分散演算および加算回路４２４からさらに供給される、直線パラメータ更新回路４２７によって３番目、４番目‥‥に設定される直線パラメータに係る管についての分散の総和を、その時点で保持されている分散の総和と比較し、小さい方の分散の総和を保持すると共に、当該小さい方の分散の総和に係る直線パラメータを保持する。
【０１２７】
このような処理を平行直線初期設定回路４２２およびに直線パラメータ更新回路４２７によって設定される直線パラメータによって規定される管の各々について行うことにより、最終的に保持される分散の総和として最小の分散が判定される。そして、最小の分散の総和に係る直線パラメータが動きベクトル演算回路４２８に出力される。動きベクトル演算回路４２８は、供給される直線パラメータに基づいて動きベクトルを演算する。
【０１２８】
上述したこの発明の第４の実施形態は、管範囲の候補として切出される領域についてＤＲ等を順次計算し、計算値がしきい値を越える際の領域を管範囲として採用すると共に、直線パラメータによって規定される管における平行直線の各々の上に位置する各フレーム内の画素の分散の総和を順次計算し、計算値が最小となるような管を決定し、決定した管に係る直線パラメータに基づいて動きベクトルを算出するようにしたものである。
【０１２９】
これに対して、管範囲の候補として切出される領域の各々についてＤＲ等を並列的に計算し、各計算値を比較して、比較結果に基づいて管範囲を決定するようにしても良い。
【０１３０】
また、直線パラメータによって規定される管における平行直線の各々の上に位置する各フレーム上の画素の分散の総和を並列的に計算し、計算値を比較することにより、分散の総和が最小となるような管を決定し、決定した管に係る直線パラメータに基づいて動きベクトルを算出するようにても良い。
【０１３１】
このような観点から、以下に説明するこの発明の第５の実施形態が可能である。この発明の第５の実施形態の構成の一例を図２２に示す。入力画像はフレームメモリ部１０に入力される。フレームメモリ部１０については、図１２を参照して上述したので、重複する説明を省略する。注目フレームｆ〔０〕の画像データがフレームメモリｆｍ〔０〕から管範囲決定部５１内の領域切出し回路５１１1 ，５１１2 ，‥‥，５１１19に供給される。また、ｆ〔−２〕〜ｆ〔＋２〕の画像データがフレームメモリｆｍ〔−２〕〜ｆｍ〔＋２〕から、動きベクトル算出部５２内の直線パラメータ推定回路５２１1 ，５２１2 ，‥‥，５２１144 に供給される。
【０１３２】
領域切出し回路５１１1 ，５１１2 ，‥‥，５１１19は、供給される注目フレームｆ〔０〕の画像データから、それぞれ水平および垂直方向に０番目から１１番目、０番目から２２番目、‥‥、０番目から２０９（＝１１×１９）番目の画素を含む矩形の領域を切出す。切出された領域の画像データは、それぞれ、水平ＤＲ算出回路５１３1 ，５１３2 ，‥‥，５１３19および垂直ＤＲ算出回路５１４1 ，５１４2 ，‥‥，５１４19に供給される。
【０１３３】
水平ＤＲ計算回路５１３1 〜５１３19および垂直ＤＲ計算回路５１４1〜５１４19 は、供給される画像データに基づいて、水平方向および垂直方向のＤＲを計算し、計算値を比較回路５１５に供給する。比較回路５１５は、供給される各計算値を比較することにより、管範囲を決定する。
【０１３４】
ここで、初期の切出し領域の大きさ、新たな領域を切出す際の領域の拡大の割合、ＤＲについてのしきい値等は任意に設定することができる。また、新たな領域として、それ以前に切出された領域を拡大したもの以外にも、それ以前に切出された領域を回転或いは縮小したものを用いても良い。また、図１４Ｂを参照して上述したように、切出される領域における画素の密度を変化させるようにしても良い。
【０１３５】
また、上述の説明では、切出される領域の水平方向および垂直方向のＤＲについてしきい値判定を行うことによって管範囲を決定するものとしたが、切出される領域全体のＤＲについてしきい値判定を行うことによって管範囲を決定するようにしても良い。また、切出される領域のアクティビティを表現する量として当該領域全体の分散等を計算し、計算結果に応じて管範囲を決定するようにしても良い。
【０１３６】
管範囲決定部５１によって決定された範囲を示すパラメータは、動きベクトル算出部５２内の画素読込み回路５２１〜５２５に供給される。画素読み込み回路５２１〜５２５の各々は、供給される画素位置情報に対応する画像データを、フレームメモリｆｍ〔−２〕〜ｆｍ〔＋２〕から読み出し、保持する。
【０１３７】
以下の説明は、水平および垂直方向に０番目〜１１番目までの画素を含む領域、すなわち、１２×１２＝１４４個の画素を含む領域が管範囲として採用される場合を例として行う。上述したように、直線パラメータは、管範囲内の画素に対する探索範囲内の画素の相対画素位置として表現される。この一例では、直線パラメータは、（−８，−８），（−７，−８），‥‥，（＋８，＋８）の１７×１７＝２８９個とされている。
【０１３８】
これらの直線パラメータの各々に対応して、画素抽出回路５２６1 ，５２６2 ，‥‥，５２６289 が設けられる。画素抽出回路５２６1 ，５２６2 ，‥‥，５２６289 は、各直線パラメータに係る管内の平行直線（この一例では１個の直線パラメータについて１４４本）上に位置する各フレーム内の画素データを、画素読込み回路５２０１〜５２０５に保持されているデータから抽出する。抽出される画素データは、分散総和計算回路５２７1 ，５２７2 ，‥‥，５２７289 にそれぞれ供給される。
【０１３９】
分散総和計算回路５２７1 〜５２７289 は、供給される画素データに基づいて分散の総和を計算し、計算した分散の総和を分散総和比較回路５２８に供給する。分散総和比較回路５２８は、供給される分散の総和を比較することによって分散の総和が最小となる際の直線パラメータを特定し、特定した直線パラメータを出力する。動きベクトル演算回路５２９は、供給される直線パラメータを動きベクトル演算回路５２９に供給する。動きベクトル演算回路５２９は、供給される直線パラメータに基づいて動きベクトルを演算する。
【０１４０】
分散総和計算回路５２７1 〜５２７289 の構成の一例を図２３に示す。かかる一例は、管範囲が水平および垂直方向に０番目〜１１番目までの画素を含む場合を前提とするものである。分散計算回路６１1 ，６１2 ，‥‥６１144 は、画素読込み回路５２１〜５２５に保持されているデータから、直線パラメータによって特定される管を構成する各直線上に位置する各フレーム内の画素を抽出し、抽出した画素の分散を計算する。
【０１４１】
分散計算回路６１1 ，６１2 ，‥‥６１144 から出力される計算値が加算器６２に供給される。加算器６２は、供給される計算値を加算することにより、分散の総和を算出する。
【０１４２】
図２２および図２３を参照して上述した構成および動作は、水平および垂直方向に０番目〜１１番目までの画素を含む領域が管範囲として採用される場合を前提とするものである。これに対して、より多くの画素を含む領域を管範囲として採用する場合にも、この発明を適用することができる。そのような場合には、より多くの分散計算回路を設ける構成としても良し、または、分散計算回路を時分割で動作させるように制御しても良い。
【０１４３】
また、図２２を参照して上述した構成の一例は、縦、横にそれぞれ１７個ずつ、全部で２８９個の画素を含む領域を探索範囲として用いるようにしたものであるが、探索範囲はこれに限定されるものではなく、任意に設定できる。
【０１４４】
また、上述したこの発明の第４および第５の実施形態は、直線パラメータによって特定される管を構成する平行直線の各々について当該直線上に位置する画素の分散を計算し、計算値の総和が最小となる際の直線パラメータに基づいて動きベクトルを決定するようにしたものである。これに対して、管を構成する平行直線の各々について当該直線上に位置する画素の平均値と各画素値の差分の絶対値の総和を計算し、計算値が最小となる際の直線パラメータに基づいて動きベクトルを決定するようにしても良い。
【０１４５】
また、管を構成する平行直線の各々について当該直線上に位置する画素の隣接画素間差分の総和を計算し、計算値の総和が最小となる際の直線パラメータに基づいて動きベクトルを算出するようにしても良い。また、管を構成する平行直線の各々について当該直線上に位置する画素のＤＲを計算し、計算値に基づいて動きベクトルを算出するようにしても良い。
【０１４６】
また、この発明の第１〜第５の実施形態では、注目フレームを含む５個のフレームの画像データに基づいて動きベクトルを算出するものとしているが、これに限定されるものではない。例えば、注目フレームを含む３個のフレームの画像データに基づいて動きベクトルの算出処理を行うようにしても良い。
【０１４７】
この発明は、上述したこの発明の第１〜第５の実施形態に限定されるものでは無く、この発明の主旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１４８】
【発明の効果】
この発明によれば、時空間内で注目フレーム内の複数の画素を通る複数の直線上に位置する複数のフレーム内の画素の画素値に基づいてなされる演算処理の結果に基づいて動きベクトルが算出される。このため、動きベクトルの算出処理に対するノイズの影響を低減することができる。また、ノイズレベルが様々に変化しても、それに応じた処理が可能となる。
【０１４９】
特に、投票範囲、管範囲等の、直線が通る複数の画素を含む注目フレーム内の領域を、当該領域内の画素の画素値のＤＲ等を規範として可変的に設定するようにした場合には、オブジェクトの大きさに応じて適切な処理を行うことが可能とされる。すなわち、細かいオブジェクトの動きについては、より小さい投票範囲や管範囲を用いることで適切な処理を行うことが可能とされる。
【０１５０】
また、平坦部分ではより大きい投票範囲や管範囲を用いることにより、固定のブロックサイズの下で行われるブロックマッチングでは誤りやすい、平坦部分での動きベクトル検出を適切に行うことが可能とされる。
【０１５１】
また、演算量は一般的には投票範囲や管範囲の大きさに依存するが、多くの場合、ブロックマッチング法に比べてより少ない演算量で精度良い動きベクトル検出が可能とされる。また、ブロックマッチング等を用いる場合と異なり、各フレーム毎に動きを検出する必要がない。
【０１５２】
特に、上述したような方法で動きベクトルを計算し、計算した動きベクトルに応じて、クラス分類適応処理を行う際のクラスタップおよび予測タップの位置を設定するようにした場合には、例えば５フレーム分のタップ配置を一度に決定することができる。また、この場合、クラス分類適応処理の結果として、動き部分における尾を引くような画質劣化を防止若しくは軽減することができると共に、画像に空間的なぼけを生じさせることなくノイズを除去することができる。
【０１５３】
また、この場合、ブロックマッチング等を用いる場合と異なり、動きベクトルの検出が部分的に誤ることに起因して１フレームだけ極端にタップ配置が異なることが無いので、ノイズ除去等の処理を効率よく行うことができる。
【図面の簡単な説明】
【図１】先に提案された、ノイズ除去を行う構成について説明するためのブロック図である。
【図２】図１に示す構成におけるタップ構造について説明するための略線図である。
【図３】この発明の第１の実施形態における、ノイズ除去に係る構成について説明するためのブロック図である。
【図４】この発明の第１の実施形態における、予測係数の生成に係る構成について説明するためのブロック図である。
【図５】ノイズ付加に係る構成の一例を示すブロック図である。
【図６】ノイズ付加に係る構成の他の例を示すブロック図である。
【図７】ノイズ付加に係る構成のさらに他の例を示すブロック図である。
【図８】この発明の第１の実施形態におけるタップ位置の設定について原理的に説明するための略線図である。
【図９】この発明の第１の実施形態における基本的なタップ構造について説明するための略線図である。
【図１０】この発明の第１の実施形態におけるタップ位置の設定に係る処理について説明するためのフローチャートである。
【図１１】この発明の第２〜第５の実施形態の概要を説明するための略線図である。
【図１２】この発明の第２の実施形態の構成について説明するためのブロック図である。
【図１３】投票範囲を設定する処理について説明するための略線図である。
【図１４】設定される投票範囲の例を示す略線図である。
【図１５】直線パラメータについて説明するための略線図である。
【図１６】フレーム毎に算出される動きベクトルについて説明するための略線図である。
【図１７】この発明の第３の実施形態の構成について説明するためのブロック図である。
【図１８】この発明の第３の実施形態の一部の構成について詳細に説明するためのブロック図である。
【図１９】階層的探索の一例について説明するための略線図である。
【図２０】階層的探索の他の例について説明するための略線図である。
【図２１】この発明の第４の実施形態の構成について説明するためのブロック図である。
【図２２】この発明の第５の実施形態の一部の構成について詳細に説明するためのブロック図である。
【図２３】この発明の第５の実施形態の構成について詳細に説明するためのブロック図である。
【図２４】従来の技術について説明するためのブロック図である。
【符号の説明】
２６・・・タップ配置決定部、４６・・・タップ配置決定部、１１５・・・投票範囲更新回路、１１６・・・投票範囲決定回路、１２４・・・分散演算および直線パラメータ保持回路、１２５・・・直線パラメータ投票回路、２２２・・・投票回路、４１５・・・管範囲更新回路、４１６・・・管範囲決定回路，４２５・・・分散総和判定および直線パラメータ保持回路、４２７・・・直線パラメータ更新回路
Claims (21)
- 画像信号内の注目画素および上記注目画素の周辺に位置する複数の画素を含む対象画素毎に、各対象画素を通り、時間方向に延びる直線上に位置する複数の画素を抽出する抽出手段と、
各注目画素に対する各対象画素に対して、上記抽出手段によって直線の方向毎に抽出される複数の画素の画素値に基づいて、直線の方向毎に類似度を検出する類似度検出手段と、
上記対象画素毎の上記直線の方向毎に検出された上記類似度に基づいて、上記注目画素に対する動きベクトルを算出する動きベクトル算出手段とを備えることを特徴とする動きベクトル検出装置。 - 上記対象画素は、
上記注目画素を含むフレーム内の画像データに基づいて設定されることを特徴とする請求項１の動きベクトル検出装置。 - 上記注目画素を含むフレーム内の複数の画素を切出し、切出した複数の画素の画素値のダイナミックレンジを計算し、計算されるダイナミックレンジに基づいて上記対象画素を決定することを特徴とする請求項２の動きベクトル検出装置。
- 上記注目画素を含むフレーム内の複数の画素を切出し、切出した複数の画素の画素値の分散を計算し、計算値に基づいて上記対象画素を決定することを特徴とする請求項２の動きベクトル検出装置。
- 上記抽出手段は、
上記注目画素を含むフレームを含む３個以上のフレームから、上記直線上に位置する画素を抽出することを特徴とする請求項１の動きベクトル検出装置。 - 上記類似度検出手段は、
上記抽出手段によって上記直線の方向毎に抽出される複数の画素の画素値に基づいて演算を行う演算手段と、
上記演算手段の出力に基づいて上記類似度を検出する類似度検出手段とを備えることを特徴とする請求項１の動きベクトル検出装置。 - 上記演算手段は、
上記複数の画素の画素値の分散を演算することを特徴とする請求項６の動きベクトル検出装置。 - 上記類似度検出手段は、
上記演算手段によって演算される上記複数の画素の画素値の分散が小さい程、上記類似度が大きいことを検出することを特徴とする請求項７の動きベクトル検出装置。 - 上記演算手段は、
上記複数の画素の画素値について、隣接画素間の差分絶対値の総和を演算することを特徴とする請求項６の動きベクトル検出装置。 - 上記演算手段は、
上記複数の画素の画素値について、ダイナミックレンジを演算することを特徴とする請求項６の動きベクトル検出装置。 - 上記演算手段は、
上記複数の画素の画素値の平均値を計算し、計算した平均値と上記複数の画素の画素値の各々との差分絶対値の総和を演算することを特徴とする請求項６の動きベクトル検出装置。 - 上記動きベクトル算出手段は、
上記対象画素毎に、上記類似度が最大となる際の直線に係る直線パラメータを投票する投票手段と、
上記投票手段による投票結果に基づいて、上記注目画素に対する動きベクトルを演算する動きベクトル演算手段とを備えることを特徴とする請求項１の動きベクトル検出装置。 - 画像信号内の注目画素および上記注目画素の周辺に位置する複数の画素を含む対象画素毎に、各対象画素を通り、時間方向に延びる直線上に位置する複数の画素を抽出する抽出ステップと、
各注目画素に対する各対象画素に対して、上記抽出ステップによって上記直線の方向毎に抽出される複数の画素の画素値に基づいて、上記直線の方向毎に類似度を検出する類似度検出ステップと、
上記対象画素毎の上記直線の方向毎に検出された上記類似度に基づいて、上記注目画素に対する動きベクトルを算出する動きベクトル算出ステップとを有することを特徴とする動きベクトル検出方法。 - 画像信号内の注目画素を通り、時間方向に延びる直線と、上記注目画素の周辺に位置する画素を通り、上記直線と平行な直線との各々について、当該直線上に位置する複数の画素を抽出する抽出手段と、
上記抽出手段によって上記直線の方向毎に抽出される複数の画素に基づいて、上記直線の方向毎に類似度を検出する類似度検出手段と、
上記直線の方向毎に検出される類似度に基づいて、上記注目画素に対する動きベクトルを算出する動きベクトル算出手段とを備えることを特徴とする動きベクトル検出装置。 - 上記注目画素の周辺に位置する画素は、
上記注目画素を含むフレーム内の画像データに基づいて設定されることを特徴とする請求項１４の動きベクトル検出装置。 - 上記抽出手段は、
上記注目画素を含むフレームを含む３個以上のフレームから、上記直線上に位置する画素を抽出することを特徴とする請求項１４の動きベクトル検出装置。 - 上記類似度検出手段は、
上記抽出手段によって上記直線の方向毎に抽出される複数の画素の画素値に基づいて演算を行う演算手段と、
上記演算手段の出力に基づいて上記類似度を検出する類似度検出手段とを備えることを特徴とする請求項１４の動きベクトル検出装置。 - 上記演算手段は、
上記抽出手段によって抽出される、上記直線上に位置する複数の画素についての分散と、上記注目画素の周辺に位置する画素を通り、上記直線と平行な直線上に位置する複数の画素についての分散、あるいは注目フレームの画素と他のフレームの画素の差分絶対値和、あるいは隣接画素の差分絶対値の総和をそれぞれ計算し、計算値の総和を算出することを特徴とする請求項１７の動きベクトル検出装置。 - 画像信号内の注目画素を通り、時間方向に延びる直線と、上記注目画素の周辺に位置する画素を通り、上記直線と平行な直線との各々について、当該直線上に位置する複数の画素を抽出する抽出ステップと、
上記抽出ステップによって上記直線の方向毎に抽出される複数の画素に基づいて、上記直線の方向毎に類似度を検出する類似度検出ステップと、
上記直線の方向毎に検出される類似度に基づいて、上記注目画素に対する動きベクトルを算出する動きベクトル算出ステップとを備えることを特徴とする動きベクトル検出方法。 - 画像信号をフレーム毎に記憶する複数個のフレームメモリと、
上記複数個のフレームメモリに記憶される各フレームから１個または複数個の画素を切出す第１の画像切出し手段と、
上記第１の画像切出し手段によって切出される画素の画素値に基づいて時空間内での画像レベル分布のパターンを検出し、検出結果に応じてクラス分類を行うクラス分類手段と、
クラス毎に予め決定された予測係数を記憶しており、記憶した予測係数の内から、上記クラス分類手段によるクラス分類結果に対応するものを出力する係数メモリと、
上記複数個のフレームメモリに記憶される各フレームから１個または複数個の画素を切出す第２の画像切出し手段と、
上記係数メモリの出力と、上記第２の画像切出し手段によって切出される画像領域のデータとに基づいて演算を行うことによって出力画像を生成する出力画像生成手段と、
上記画像信号内の注目画素および上記注目画素の周辺に位置する複数の画素を含む対象画素毎に、各対象画素を通り、時間方向に延びる直線上に位置する複数の画素を抽出する抽出手段と、上記注目画素の各々に対応する各対象画素に対して、上記抽出手段によって上記直線の方向毎に抽出される複数の画素の画素値に基づいて、上記直線の方向毎に類似度を検出する類似度検出手段と、上記対象画素毎の上記直線の方向毎に検出された上記類似度に基づいて、上記注目画素に対する動きベクトルを算出する動きベクトル算出手段を含む動きベクトル検出手段と、
上記動きベクトル検出手段によって検出される動きベクトルに基づいて、上記第１の画像切出し手段および／または上記第２の画像切出し手段によって切出される画素の位置を設定する切出し位置決定手段とを備えることを特徴とする画像信号処理装置。 - 画像信号をフレーム毎に記憶する記憶ステップと、
上記記憶ステップによって記憶される各フレームから１個または複数個の画素を切出す第１の画像切出しステップと、
上記第１の画像切出しステップによって切出される画素の画素値に基づいて時空間内での画像レベル分布のパターンを検出し、検出結果に応じてクラス分類を行うクラス分類ステップと、
クラス毎に予め決定された予測係数を記憶しており、記憶した予測係数の内から、上記クラス分類手段によるクラス分類結果に対応するものを出力する係数出力ステップと、
上記記憶ステップによって記憶される各フレームから１個または複数個の画素を切出す第２の画像切出しステップと、
上記係数出力ステップによる出力と、上記第２の画像切出しステップによって切出される画像領域のデータとに基づいて演算を行うことによって出力画像を生成する出力画像生成ステップと、
上記画像信号内の注目画素および上記注目画素の周辺に位置する複数の画素を含む対象画素毎に、各対象画素を通り、時間方向に延びる直線上に位置する複数の画素を抽出する抽出ステップと、上記注目画素の各々に対応する各対象画素に対して、上記抽出ステップによって上記直線の方向毎に抽出される複数の画素の画素値に基づいて、上記直線の方向毎に類似度を検出する類似度検出ステップと、上記対象画素毎の上記直線の方向毎に検出された上記類似度に基づいて、上記注目画素に対する動きベクトルを算出する動きベクトル算出ステップを含む動きベクトル検出ステップと、
上記動きベクトル検出ステップによって検出される動きベクトルに基づいて、上記第１の画像切出しステップおよび／または上記第２の画像切出しステップによって切出される画素の位置を設定する切出し位置決定ステップとを有することを特徴とする画像信号処理方法。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000020553A JP4403330B2 (ja) | 1999-05-31 | 2000-01-28 | 動きベクトル検出装置および検出方法、並びに画像信号処理装置および処理方法 |
| US09/769,647 US6687388B2 (en) | 2000-01-28 | 2001-01-25 | Picture processing apparatus |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP11-152563 | 1999-05-31 | ||
| JP15256399 | 1999-05-31 | ||
| JP2000020553A JP4403330B2 (ja) | 1999-05-31 | 2000-01-28 | 動きベクトル検出装置および検出方法、並びに画像信号処理装置および処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001053981A JP2001053981A (ja) | 2001-02-23 |
| JP4403330B2 true JP4403330B2 (ja) | 2010-01-27 |
Family
ID=26481439
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000020553A Expired - Fee Related JP4403330B2 (ja) | 1999-05-31 | 2000-01-28 | 動きベクトル検出装置および検出方法、並びに画像信号処理装置および処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4403330B2 (ja) |
-
2000
- 2000-01-28 JP JP2000020553A patent/JP4403330B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001053981A (ja) | 2001-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100492127B1 (ko) | 적응형 움직임 추정장치 및 추정 방법 | |
| US7667778B2 (en) | Image processing apparatus and method, and recording medium and program used therewith | |
| US4703351A (en) | Apparatus for an efficient coding of television signals | |
| US7738556B2 (en) | Apparatus and method for estimating motion vector with gradient method | |
| US20010031069A1 (en) | Picture processing apparatus | |
| US8064522B2 (en) | Motion-vector detecting device, motion-vector detecting method, and computer program | |
| US7848427B2 (en) | Apparatus and method for determining motion vector with effective pixel gradient | |
| KR100303108B1 (ko) | 움직임벡터검출장치및방법 | |
| US6987884B2 (en) | Image processing device and method, and recorded medium | |
| EP1585337B1 (en) | Image processing apparatus and method, recording medium and program | |
| KR20060123438A (ko) | 화상 처리 장치 및 방법, 기록 매체, 및 프로그램 | |
| JP2009509413A (ja) | 不規則な動きベクトルのサンプルに対する時間予測フィルタのための適応動き推定 | |
| JP4224882B2 (ja) | データ処理装置およびデータ処理方法 | |
| JP4517409B2 (ja) | データ処理装置およびデータ処理方法 | |
| JP4407015B2 (ja) | ノイズ除去装置およびノイズ除去方法 | |
| US20090310679A1 (en) | Video processing apparatus and methods | |
| JP2005150903A (ja) | 画像処理装置、ノイズ除去方法及びノイズ除去プログラム | |
| US7522748B2 (en) | Method and apparatus for processing image data and semiconductor storage device | |
| KR100816593B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 기록 매체 | |
| JP4403330B2 (ja) | 動きベクトル検出装置および検出方法、並びに画像信号処理装置および処理方法 | |
| JP3175914B2 (ja) | 画像符号化方法および画像符号化装置 | |
| JP4078806B2 (ja) | 画像処理装置、画像処理方法、学習装置および学習方法 | |
| JP2004078863A (ja) | 画像処理装置および画像処理方法 | |
| JP2980810B2 (ja) | 動きベクトル探索方法と装置 | |
| JP3237815B2 (ja) | 動きベクトル探索方法および装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070116 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090918 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091006 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091019 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121113 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121113 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131113 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |