JP4403330B2 - 動きベクトル検出装置および検出方法、並びに画像信号処理装置および処理方法 - Google Patents
動きベクトル検出装置および検出方法、並びに画像信号処理装置および処理方法 Download PDFInfo
- Publication number
- JP4403330B2 JP4403330B2 JP2000020553A JP2000020553A JP4403330B2 JP 4403330 B2 JP4403330 B2 JP 4403330B2 JP 2000020553 A JP2000020553 A JP 2000020553A JP 2000020553 A JP2000020553 A JP 2000020553A JP 4403330 B2 JP4403330 B2 JP 4403330B2
- Authority
- JP
- Japan
- Prior art keywords
- pixel
- motion vector
- pixels
- straight line
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Picture Signal Circuits (AREA)
Description
【発明の属する技術分野】
この発明は、動画像について動きベクトルを検出する動きベクトル検出装置および検出方法、並びに画像信号処理装置および処理方法に関する。
【0002】
【従来の技術】
画像からノイズを除去するために、従来から動き適応型リカーシブフィルタが使用されている。動き適応型リカーシブフィルタの構成の一例を図24に示す。注目フレーム、すなわち各時点における入力フレームの画像データが減算回路1100に供給される。減算回路1100には、さらに、フレームメモリ1099に記憶されている、前フレームすなわち注目フレームに対して1フレーム前のフレームの画像データが供給される。減算回路1100の出力が絶対値算出回路1101に供給されて絶対値に変換され、絶対値がしきい値処理回路1102に供給される。しきい値処理回路1102は、供給される絶対値を所定のしきい値の下でしきい値処理し、画素毎に動き/静止を判定する。
【0003】
しきい値処理回路1102による判定結果が重み設定値発生回路1103に供給される。重み設定値発生回路1103は、供給される判定結果に応じて重み設定値kの値を設定する。設定されるkの値は、入力フレームに対する振幅調整を行うアンプ1105に供給される。ここで、アンプ1104は入力信号をk倍し、また、アンプ1105はフレームメモリ内の画素データを(1−k)倍する。
【0004】
しきい値処理回路1102によって静止と判定される場合には、kの値として0〜0.5の間のある固定値が設定される。このような設定により、アンプ1104、1105の後段の加算器1106の出力は注目フレーム内の画素値と前フレーム内の画素値とが重み付け加算された値とされる。一方、しきい値処理回路1102によって動きと判定される場合には、kの値として1が設定される。このような設定により、加算器1106からは注目フレーム内の画素値がそのまま出力される。
【0005】
【発明が解決しようとする課題】
上述したような動き適応型リカーシブフィルタにおいては、次の(a)〜(d)のような問題がある。(a)静止部分に対して、一定の重み(固定値k)の下で重み付け加算を行うだけなので、ノイズの大きさや方向が変化する場合に、それに的確に対応するノイズ除去がなされない。(b)ノイズレベルが大きい場合、静止部分を動きと誤判定してしまうので、ノイズ除去効果が減少する。(c)動き部分を静止と誤判定し、尾引き状の劣化が見られる場合がある。(d)動き部分に対してはノイズ除去ができない。
【0006】
また、クラス分類適応処理を用いてノイズ除去を行う方法が提案されている。すなわち、ブロックマッチングを行うことによって動きベクトルを検出し、検出した動きベクトルに基づいて、フレーム間で対応する画素を用いたクラス分類適応処理を行うようにしたものである。この場合には、動き適応型リカーシブフィルタにおける問題点は解消若しくはその程度を軽減できるが、以下のような問題がある。
【0007】
(e)ブロックマッチングを用いているために処理が重い。(f)例えばフレームtとフレームt+1,フレームt+1とフレームt+2等、各フレーム間でそれぞれブロックマッチングを行う必要がある。それらのブロックマッチングがどれか1個でも誤るとノイズ除去の効果が軽減される。(g)ブロックマッチングでは、ブロック内に含まれてしまうような小さなオブジェクトの動きは検出できないので、そのような動きに起因して的確でない処理が行われるおそれがある。
【0008】
また、動きベクトル検出に係る動き適応型リカーシブフィルタ以外の従来技術として、ブロックマッチング法、勾配法等が挙げられる。ブロックマッチング法は、探索範囲毎にブロック内の画素差分の総和を計算し、計算値を比較する必要がある。このため、演算量が膨大となり、回路規模の縮小、処理時間の向上等の観点から問題があった。また、ブロック内に含まれるような細かい動きについては、動き量を正確に検出することができない。また、勾配法は、ノイズが加わった画像に対しては、動き量の検出精度が著しく劣化する。
【0009】
従って、この発明の目的は、動画に対して動きベクトルの算出を的確に行うことが可能な動きベクトル検出装置および検出方法、並びに画像信号処理装置および処理方法を提供することにある。
【0010】
【課題を解決するための手段】
請求項1の発明は、画像信号内の注目画素および注目画素の周辺に位置する複数の画素を含む対象画素毎に、各対象画素を通り、時間方向に延びる直線上に位置する複数の画素を抽出する抽出手段と、
各注目画素に対する各対象画素に対して、抽出手段によって直線の方向毎に抽出される複数の画素の画素値に基づいて、直線の方向毎に類似度を検出する類似度検出手段と、
対象画素毎の直線の方向毎に検出された類似度に基づいて、注目画素に対する動きベクトルを算出する動きベクトル算出手段とを備えることを特徴とする動きベクトル検出装置である。
【0011】
請求項13の発明は、画像信号内の注目画素および注目画素の周辺に位置する複数の画素を含む対象画素毎に、各対象画素を通り、時間方向に延びる直線上に位置する複数の画素を抽出する抽出ステップと、
各注目画素に対する各対象画素に対して、抽出ステップによって直線の方向毎に抽出される複数の画素の画素値に基づいて、直線の方向毎に類似度を検出する類似度検出ステップと、
対象画素毎の直線の方向毎に検出された類似度に基づいて、注目画素に対する動きベクトルを算出する動きベクトル算出ステップとを有することを特徴とする動きベクトル検出方法である。
【0012】
請求項14の発明は、画像信号内の注目画素を通り、時間方向に延びる直線と、注目画素の周辺に位置する画素を通り、直線と平行な直線との各々について、当該直線上に位置する複数の画素を抽出する抽出手段と、
抽出手段によって直線の方向毎に抽出される複数の画素に基づいて、直線の方向毎に類似度を検出する類似度検出手段と、
直線の方向毎に検出される類似度に基づいて、注目画素に対する動きベクトルを算出する動きベクトル算出手段とを備えることを特徴とする動きベクトル検出装置である。
【0013】
請求項19の発明は、画像信号内の注目画素を通り、時間方向に延びる直線と、注目画素の周辺に位置する画素を通り、直線と平行な直線との各々について、当該直線上に位置する複数の画素を抽出する抽出ステップと、
抽出ステップによって直線の方向毎に抽出される複数の画素に基づいて、直線の方向毎に類似度を検出する類似度検出ステップと、
直線の方向毎に検出される類似度に基づいて、注目画素に対する動きベクトルを算出する動きベクトル算出ステップとを備えることを特徴とする動きベクトル検出方法である。
【0014】
請求項20の発明は、画像信号をフレーム毎に記憶する複数個のフレームメモリと、
複数個のフレームメモリに記憶される各フレームから1個または複数個の画素を切出す第1の画像切出し手段と、
第1の画像切出し手段によって切出される画素の画素値に基づいて時空間内での画像レベル分布のパターンを検出し、検出結果に応じてクラス分類を行うクラス分類手段と、
クラス毎に予め決定された予測係数を記憶しており、記憶した予測係数の内から、クラス分類手段によるクラス分類結果に対応するものを出力する係数メモリと、
複数個のフレームメモリに記憶される各フレームから1個または複数個の画素を切出す第2の画像切出し手段と、
係数メモリの出力と、第2の画像切出し手段によって切出される画像領域のデータとに基づいて演算を行うことによって出力画像を生成する出力画像生成手段と、
画像信号内の注目画素および注目画素の周辺に位置する複数の画素を含む対象画素毎に、各対象画素を通り、時間方向に延びる直線上に位置する複数の画素を抽出する抽出手段と、注目画素の各々に対応する各対象画素に対して、抽出手段によって直線の方向毎に抽出される複数の画素の画素値に基づいて、直線の方向毎に類似度を検出する類似度検出手段と、対象画素毎の直線の方向毎に検出された類似度に基づいて、注目画素に対する動きベクトルを算出する動きベクトル算出手段を含む動きベクトル検出手段と、
動きベクトル検出手段によって検出される動きベクトルに基づいて、第1の画像切出し手段および/または第2の画像切出し手段によって切出される画素の位置を設定する切出し位置決定手段とを備えることを特徴とする画像信号処理装置である。
【0015】
請求項21の発明は、画像信号をフレーム毎に記憶する記憶ステップと、
記憶ステップによって記憶される各フレームから1個または複数個の画素を切出す第1の画像切出しステップと、
第1の画像切出しステップによって切出される画素の画素値に基づいて時空間内での画像レベル分布のパターンを検出し、検出結果に応じてクラス分類を行うクラス分類ステップと、
クラス毎に予め決定された予測係数を記憶しており、記憶した予測係数の内から、クラス分類手段によるクラス分類結果に対応するものを出力する係数出力ステップと、
記憶ステップによって記憶される各フレームから1個または複数個の画素を切出す第2の画像切出しステップと、
係数出力ステップによる出力と、第2の画像切出しステップによって切出される画像領域のデータとに基づいて演算を行うことによって出力画像を生成する出力画像生成ステップと、
画像信号内の注目画素および注目画素の周辺に位置する複数の画素を含む対象画素毎に、各対象画素を通り、時間方向に延びる直線上に位置する複数の画素を抽出する抽出ステップと、注目画素の各々に対応する各対象画素に対して、抽出ステップによって直線の方向毎に抽出される複数の画素の画素値に基づいて、直線の方向毎に類似度を検出する類似度検出ステップと、対象画素毎の直線の方向毎に検出された類似度に基づいて、注目画素に対する動きベクトルを算出する動きベクトル算出ステップを含む動きベクトル検出ステップと、
動きベクトル検出ステップによって検出される動きベクトルに基づいて、第1の画像切出しステップおよび/または第2の画像切出しステップによって切出される画素の位置を設定する切出し位置決定ステップとを有することを特徴とする画像信号処理方法である。
【0016】
以上のような発明によれば、時空間内で注目フレーム内の複数の画素を通る複数の直線上に位置する複数のフレーム内の画素の画素値に基づいてなされる演算処理の結果に基づいて動きベクトルが算出される。
【0017】
【発明の実施の形態】
この発明の第1の実施形態についての説明に先立ち、理解を容易とするために、ブロックマッチングとクラス分類適応処理とを組み合わせることによって動画像について動きを考慮してノイズ除去を行うようにした、先に提案された構成(特願平10−304058号参照)についてその概要を説明する。このような構成の一例を図1に示す。ノイズを除去されるべき入力画像信号がフレームメモリ200に供給される。フレームメモリ200には、フレームメモリ201、202がシフトレジスタ状に順次接続されている。これにより、フレームメモリ200、201、202には、時間的に連続する3個のフレームの画像データが記憶される。
【0018】
フレームメモリ200、201は、記憶しているフレームを動きベクトル検出部203に供給する。動きベクトル検出部203は、供給される2個のフレームに基づいてブロックマッチングを行って動きベクトルを検出し、検出した動きベクトルを領域切出し部205および206に供給する。また、フレームメモリ200,201、202は、記憶しているフレームを領域切出し部205および206に供給する。動きベクトル検出部204は、供給される2個のフレームに基づいてブロックマッチングを行って動きベクトルを検出し、検出した動きベクトルを領域切出し部205および206に供給する。
【0019】
領域切出し部206には、フレームメモリ200、201および202が記憶しているフレームが供給される。領域切出し部206は、動きベクトル検出部203から供給される動きベクトルおよび動きベクトル検出部204から供給される動きベクトルを参照して、供給されるフレームから、所定の位置の画像領域を切出す。切出された画像領域のデータがクラスコード発生部207に供給される。クラスコード発生部207は、供給されるデータから、例えばADRC(Adaptive Dynamic Range Coding)処理等によって時空間内のパターンを抽出し、抽出したパターンに従って分類されるクラスを示すクラスコードを生成する。
【0020】
このように、領域切出し部206が切出す画像領域は、クラス分類に係る処理に用いられるので、かかる画像領域はクラスタップと称される。クラスコードは、係数メモリ208に供給される。係数メモリ208は、クラス毎に予め決定された予測係数を記憶しており、記憶している予測係数の内から、クラスコードに対応するものを出力する。係数メモリ208の出力は、推定演算部209に供給される。
【0021】
一方、領域切出し部205には、フレームメモリ200,201,202が記憶しているフレームの画像データが供給される。領域切出し部205は、動きベクトル検出部204および203から供給される動きベクトルを参照して、供給されるフレームの画像データから所定の位置の画像領域を切出し、切出した画像領域のデータを推定演算部209に供給する。推定演算部209は、領域切出し部205から供給されるデータと、係数メモリ208から供給される予測係数とに基づいて所定の演算を行い、その結果として出力画像を生成する。この出力画像においてノイズが除去若しくは軽減されている。このように、領域切出し部205が切出す画像領域は、出力画像を予測生成するための演算に用いられるので、かかる画像領域はクラスタップと称される。
【0022】
領域切出し部206、205によってそれぞれ切出されるクラスタップ、予測タップのタップ構造について図2を参照して説明する。図2において、予測されるべき注目画素を黒丸で示し、クラスタップまたは予測タップとして切出される画素を、影を付した丸で示した。図2Aには、基本的なクラスタップ構造の一例を示す。注目画素を含む注目フレームf[0]と、時間的に注目フレームの前後に位置するフレーム、すなわちf[−1]、f[+1]とから、注目画素と同一の空間位置の画素がクラスタップとして抽出される。また、図2Bには、基本的な予測クラスタップ構造の一例を示す。注目フレームの画像データと、時間的に注目フレームの前後に位置するフレームの画像データとから、注目画素と、注目画素の周囲に位置する例えば12個の計13個の画素が予測タップとして抽出される。
【0023】
さらに、図1中の動きベクトル検出部203、204から出力される動きベクトルに応じて時間的に切出し位置がずらされる場合について図2C,図2Dに示す。図2Eに示すように、注目フレームにおける動きベクトルが(0,0)であり、前フレームにおける動きベクトルが(−1、−1)、後フレームにおける動きベクトルが(1、1)である場合に、フレーム全体におけるクラスタップ、予測タップの切出し位置が動きベクトルに従って平行移動させられる。このように、先の出願に係る構成では、クラスタップ、予測タップを切出す処理に先立って動きベクトルを検出する必要がある。この場合、動きベクトルを検出するためのブロックマッチング等の処理には大きな計算量が必要とされ、装置に大きな負荷が掛かるという問題があった。
【0024】
次に、この発明の第1の実施形態について説明する。この発明の第1の実施形態における、予測推定に係る構成の一例を図3に示す。入力画像信号がフレームメモリ21に供給される。フレームメモリ21には、フレームメモリ22、23、24、25がシフトレジスタ状に順次接続されている。これにより、フレームメモリ21〜25に、時間的に連続する5個のフレームの画像データが記憶される。以下の説明では、フレームメモリ23に記憶される画像データを注目フレームの画像データとして扱うものとする。また、フレームメモリ24,25に記憶される画像データを、それぞれ、注目フレームよりそれぞれ1フレーム、2フレーム前のフレームの画像データとして扱い、また、フレームメモリ22,21に記憶される画像データを、それぞれ、注目フレームよりそれぞれ1フレーム、2フレーム後のフレームの画像データとして扱うものとする。
【0025】
フレームメモリ21、22、23、24、25が記憶しているフレーム内の画像データがタップ配置決定部26に供給される。タップ配置決定部26は、供給されるデータに基づいてクラスタップ、予測タップとして切出すべき画素の位置を決定する。クラスタップとして切出すべき画素の位置に係る情報が領域切出し部28に供給される。また、予測タップとして切出すべき画素の位置に係る情報が領域切出し部27に供給される。領域切出し部27、28には、フレームメモリ21〜25が記憶しているフレームの画像データが供給される。領域切出し部28は、供給される各フレームから、タップ配置決定部26から供給される情報に従う位置の画素をクラスタップとして切出す。一方、領域切出し部27は、供給される各フレームから、タップ配置決定部26から供給される情報に従う位置の画素を予測タップとして切出す。
【0026】
領域切出し部28は、切出したクラスタップのデータをクラスコード発生部29に供給する。クラスコード発生部29は、供給されるデータから、例えばADRCおよびDR(ダイナミックレンジ)の量子化等の処理を行うことによって時空間内のパターンを抽出し、抽出したパターンに従って分類されるクラスを示すクラスコードを生成する。ノイズのない静止画像の場合、同一画素であればフレーム間での画素値の変動はあり得ない。また、動きに対しても、動きが速い場合についてはぼけ等の劣化が見られるが、基本的に同一画素では時間的な変動はない。
【0027】
従って、同一画素の値の変動がある場合に、その変動はノイズであると考えられる。このため、時間方向のみに広げたクラスタップ構造の下で1画素のみを切出し、切出した画素のデータに基づいてADRCを行うことによって、フレーム毎のノイズ成分を検出することができる。また、ADRCによって生成する再量子化コードのビット数が大きい程、ノイズレベルの変動をより的確に検出することができる。また、DRを量子化して、その値とADRCによる再量子化コードを含めて、クラスコードを演算することにより、ノイズレベルの違いを区別することができる。
【0028】
ADRC処理について以下に説明する。ADRCは、本来、VTR(Video Tape Recorder) 用の高能率符号化のために開発された適応的再量子化法であるが、信号レベルの局所的なパターンを短い語調で効率的に表現できるという特徴を有する。このため、クラス分類のコードを発生するための、画像信号の時空間内でのパターンの検出に使用することができる。すなわち、以下の式(1)により、クラスタップとして切出される領域内の最大値MAXと最小値MINとの間を指定されたビット数で均等に分割して再量子化する。
【0029】
DR=MAX−MIN+1
Q=〔(L−MIN+0.5)×2n /DR〕 (1)
ここで、DRは領域内のダイナミックレンジである。また、nはビット割り当て数であり、例えばn=2とすることができる。また、Lは領域内画素のデータレベルであり、Qが再量子化コードである。但し、大かっこ(〔‥‥〕)は切り捨て処理を意味する。
【0030】
これにより、1画素当たり例えば8ビットからなるクラスタップの画素データが例えば2ビットの再量子化コード値に変換される。このようにして生成される再量子化コード値により、クラスタップのデータにおけるレベル分布のパターンがより少ない情報量によって表現される。例えば7画素からなるクラスタップのタップ構造を用いる場合、上述したような処理により、各画素に対応する7個の再量子化コードq1 〜q7 が生成される。かかる出力に基づいてクラスコード発生回路4が発生するクラスコードclassは、次の式(2)のようなものである。
【0031】
【数1】
ここで、nはクラスタップとして切出される画素の数である。また、pの値としては、例えばp=2とすることができる。
【0032】
クラスコードは、係数メモリ30に供給される。係数メモリ30はクラス毎に予め決定された予測係数を記憶しており、記憶している予測係数の内から、クラスコードに対応するものを出力する。係数メモリ30の出力は、推定演算部31に供給される。一方、領域切出し部27は、切出した予測タップのデータを推定演算部31に供給する。推定演算部31は、領域切出し部27から供給されるデータと、係数メモリ30から供給される予測係数とに基づいて以下の式(1)のような演算を行い、その結果として出力画像中の画素値yを順次生成する。
【0033】
y=w1×x1 +w2 ×x2 +‥‥+wn ×xn (3)
ここで、x1 ,‥‥,xn が各予測タップの画素データであり、w1 ,‥‥,wn が各予測係数である。
【0034】
次に、この発明の第1の実施形態における学習、すなわち予測係数を決定する処理について図4を参照して説明する。画像情報変換の結果として生成されるべきノイズを有しない画像(以下、教師画像と表記する)がノイズ付加部40と、正規方程式加算部50とに供給される。ノイズ付加部40は、供給される教師画像にノイズ成分を付加する。ノイズ付加部40の出力がフレームメモリ41に供給される。フレームメモリ41には、フレームメモリ42、43、44、45がシフトレジスタ状に順次接続されている。これにより、フレームメモリ41〜45に、時間的に連続する5個のフレームの画像データが記憶される。以下の説明では、フレームメモリ43に記憶される画像データを注目フレームの画像データとして扱うものとする。また、フレームメモリ44,45に記憶される画像データを、それぞれ、注目フレームよりそれぞれ1フレーム、2フレーム前のフレームの画像データとして扱い、また、フレームメモリ42,41に記憶される画像データを、それぞれ、注目フレームよりそれぞれ1フレーム、2フレーム後のフレームの画像データとして扱うものとする。
【0035】
フレームメモリ41〜45が記憶しているフレーム内のデータがタップ配置決定部46に供給される。タップ配置決定部26は、図3中のタップ配置決定部46と同様に、供給されるデータに基づいてクラスタップ、予測タップとして切出すべき画素の位置を決定する。クラスタップとして切出すべき画素の位置に係る情報が領域切出し部48に供給される。また、予測タップとして切出すべき画素の位置に係る情報が領域切出し部47に供給される。
【0036】
また、領域切出し部47、48には、フレームメモリ41〜45が記憶しているフレームが供給される。領域切出し部48は、供給される各フレームから、タップ配置決定部46から供給される情報に従う位置の画素をクラスタップとして切出す。一方、領域切出し部47は、供給される各フレームから、タップ配置決定部46から供給される情報に従う位置の画素を予測タップとして切出す。時空間内でクラスタップとして切出される画素位置の一例を図9Aに示す。また、時空間内で予測タップとして切出される画素位置の一例を図9Bに示す。
【0037】
領域切出し部48は、切出したクラスタップのデータをクラスコード発生部49に供給する。クラスコード発生部49は、供給されるデータから、図3中のクラスコード発生部29と同様な処理を行うことによって時空間内のパターンを抽出し、抽出したパターンに従って分類されるクラスを示すクラスコードを生成する。クラスコードが正規方程式加算部50に供給される。
【0038】
一方、領域切出し部47は、切出した予測タップのデータを正規方程式加算部50に供給する。正規方程式加算部50は、供給される教師画像、予測タップのデータおよびクラスコードに基づいて、予測係数を解とする正規方程式を解くために必要なデータを計算する。正規方程式加算部50の出力は、予測係数決定部51に供給される。予測係数決定部51は、所定の演算を行うことにより、クラス毎の予測係数を決定する。決定された予測係数がメモリ52に供給され、記憶される。メモリ52に記憶内容が図3中の係数メモリ30にロードされることにより、上述したような予測推定が可能とされる。
【0039】
予測係数を決定するための演算について説明する。図4に示したような構成に対し、複数種類の画像データが供給される。これらの画像データの種類数をmと表記する場合、式(3)から、以下の式(4)が設定される。
【0040】
yk =w1 ×xk1+w2 ×xk2+‥‥+wn ×xkn (4)
(k=1,2,‥‥,m)
m>nの場合には、w1 ,‥‥,wn は一意に決まらないので、誤差ベクトルeの要素ek を以下の式(5)で定義して、式(6)によって定義される誤差ベクトルeの2乗を最小とするように予測係数を定めるようにする。すなわち、いわゆる最小2乗法によって予測係数を一意に定める。
【0041】
ek =yk −{w1 ×xk1+w2 ×xk2+‥‥+wn ×xkn} (5)
(k=1,2,‥‥m)
【0042】
【数2】
【0043】
式(6)のe2 を最小とする予測係数を求めるための実際的な計算方法としては、e2 を予測係数wi (i=1,2‥‥)で偏微分し(式(7))、iの各値について偏微分値が0となるように各予測係数wi を決定すれば良い。
【0044】
【数3】
【0045】
式(7)から各予測係数wi を決定する具体的な手順について説明する。式(8)、(9)のようにXji,Yi を定義すると、式(7)は、式(10)の行列式の形に書くことができる。
【0046】
【数4】
【0047】
【数5】
【0048】
【数6】
【0049】
式(10)が一般に正規方程式と呼ばれるものである。正規方程式加算部50は、供給されるデータに基づいて式(8)、(9)に示すような演算を行うことにより、Xji,Yi (i=1,2,‥‥,n)をそれぞれ計算する。予測係数決定部51は、掃き出し法等の一般的な行列解法に従って正規方程式(10)を解くことにより、予測係数wi (i=1,2,‥‥,n)を算出する。
【0050】
次に、ノイズ付加部40における、教師画像にノイズを付加する処理について詳細に説明する。ノイズを付加する方法としては、例えば以下の(1)〜(4)ような方法が考えられる。(1)コンピュータシミュレーション的にランダムノイズを発生させ、発生させたノイズを付加する。(2)教師画像に対してRF系を介してノイズを付加する。(3)レベルが一様な画像と、その画像をRF系を介してなる画像との差分をとり、その差分を教師画像に加算する。(4)レベルが一様な画像をRF系を介してなる画像と、該画像についてフレーム加算を行うことによってノイズ除去をした画像との差分をとることによってノイズ成分を抽出し、抽出したノイズ成分を教師画像に付加する。
【0051】
(2)の方法に係る構成の一例を図5に示す。教師画像がRF変調器61に供給される。RF変調器61は、教師画像にRF変調を施す。RF変調器61の出力がアテネータ減衰器62に供給される。アテネータ減衰器62は、RF変調器61の出力にアテネータ減衰処理を施す。アテネータ減衰器62の出力はRF復調器63に供給される。RF復調器63は、アテネータ減衰器62の出力をRF復調することにより、教師画像にノイズが付加された画像を生成する。なお、(2)の方法においては、教師画像と生徒画像との間での画素位置のずれを考慮する必要がある。
【0052】
(3)の方法に係る構成の一例を図6に示す。レベルが一様な画像がRF変調器71と減算器74とに供給される。RF変調器71は、供給される画像にRF変調を施す。RF変調器71の出力がアテネータ減衰器72に供給される。アテネータ減衰器72は、RF変調器71の出力にアテネータ減衰処理を施す。アテネータ減衰器72の出力はRF復調器73に供給される。RF復調器73は、アテネータ減衰器72の出力をRF復調する。RF復調器73の出力が減算器74に供給される。減算器74は、レベルが一様な画像とRF復調器73の出力との差分をとる。減算器74の出力が加算器75に供給される。加算器75には、さらに、教師画像が供給される。加算器75は、減算器74の出力を教師画像に加算することにより、教師画像にノイズが付加された画像を生成する。
【0053】
(4)の方法に係る構成の一例を図7に示す。レベルが一様な画像がRF変調器81に供給される。RF変調器81は、供給される画像にRF変調を施す。RF変調器81の出力がアテネータ減衰器82に供給される。アテネータ減衰器82は、RF変調器81の出力にアテネータ減衰処理を施す。アテネータ減衰器82の出力はRF復調器83に供給される。RF復調器83は、アテネータ減衰器82の出力をRF復調する。RF復調器83の出力がフレーム加算回路84と、減算器85とに供給される。
【0054】
フレーム加算回路84は、供給される画像をフレーム加算することによってRF復調器83の出力からノイズが除去されてなる画像を生成する。フレーム加算回路84の出力が減算器85に供給される。減算器85は、RF復調器83の出力とフレーム加算回路84の出力との差分をとることにより、RF系におけるノイズ成分を抽出する。減算器85の出力である、抽出されたノイズ成分は加算器86に供給される。加算器86には、さらに、教師画像が供給される。加算器86は、減算器85の出力を教師画像に加算することにより、教師画像にノイズが付加された画像を生成する。
【0055】
次に、タップ配置決定部26、46によってなされるタップ位置の決定方法について詳細に説明する。まず、図8を参照して原理的な説明を行う。ここで、水平、垂直方向にそれぞれ、各フレームにおける水平、垂直方向をとり、また、奥に向かう方向に時間をとる。すなわち、時間経過に従ってフレームf[−2],f[−1],f[0],f[+1],f[+2]が順に奥に見えるように図示されている。また、この方法を行うためには以下のような前提条件が満たされる必要がある。
【0056】
(P)5フレーム程度の微小な時間においては、画像の動きはほぼ等速直線運動である。本願出願人は、実際の画像について(P)が成り立つことを統計的に確認した。
(Q)ノイズが無い場合、各フレーム間での同じ画素の分散は0であるか、或いは0に極めて近い。
【0057】
この発明の第1の実施形態では、フレームf[−2]〜f[+2]を通る時空間内での直線を幾つか設定し、各直線上に位置するフレームf[−2]〜f[+2]内の画素値の分散をそれぞれ計算する。そして、分散が最小となる場合の直線を決定し、そのような直線が動きを示すものとする。
【0058】
より具体的には、図8に示すように、注目フレームf[0]上に、注目画素を中心として例えば5×5画素の領域(以下、投票範囲と表記する)を設定し、投票範囲から各画素(以下、投票画素と表記する)を順次取り出し、取り出した投票画素の各々について以下の処理を行う。すなわち、例えばフレームf[+1]上に投票画素に対応する画素位置を中心として探索範囲を設定する。探索範囲は、フレームf[+1]以外のフレーム上に設定しても良い。さらに、投票画素と探索範囲内の各画素(以下、探索画素と表記する)を通る各直線上にあるフレームf[−2]〜f[+2]内の各画素を取り出す。そして、取り出した画素の間で分散を計算し、計算される分散が最小となる時の直線に基づいて動きベクトルを算出する。分散が最小となる時の直線は、投票画素の各々に対応して1個ずつ決まるので、例えば5×5画素の画素領域内から投票画素を設定する場合においては25個の直線が決められることになる。この内で最も頻度が大きいものを、注目画素の動きを示す直線として最終的に決定する。
【0059】
処理手順の一例を図10に示す。ステップS1では、注目画素周辺の例えば5×5画素の領域から投票画素を取り出す。ステップS2では、例えばf[1]上に探索範囲を設定する。ステップS3では、探索範囲内の位置を示すパラメータa,bをそれぞれ0と設定する(初期化)。ここで、図8に示すように、a,bは探索範囲内での例えば水平方向、垂直方向の座標をそれぞれ示すものである。勿論、直行座標系以外座標系を用いて探索範囲内の位置を示すようにしても良い。(a,b)が設定される毎に1個の直線が決まる。ステップS4では、(a,b)によって決まる直線上にある、f[−2]〜f[+2]内の各画素を取り出す。
【0060】
ステップS5では、ステップS4で取り出された画素の間の分散を計算する。ステップS6では、ステップS5で計算された分散がそれ以前に他の(a,b)に対応して計算された分散の内で最小であるか否かを判定する。ステップS5で計算された分散がそれ以前に他の(a,b)に対応して計算された分散の内で最小であると判定される場合にはステップS7に移行し、それ以外の場合にはステップS8に移行する。ステップS7では、ステップS5で計算された分散値およびその時の(a,b)を保存し、さらにステップS8に移行する。ステップS8では、a,bの値を更新する。
【0061】
図8に示したようにa,bをとる場合には、a,bの値の更新は例えばラスタスキャン上に行うことができる。ステップS9では、ステップS8で更新されたa,bの値がステップS2で設定された探索範囲を越えるか否かをチェックする。探索範囲を越える場合には、最早、探索は終了したとの判断の下にステップS10に移行する。それ以外の場合にはステップS4に移行し、ステップS8で更新されたa,bの値の下での処理を行う。
【0062】
ステップS10では、ステップS7によって保存された、分散を最小とする(a,b)を投票する。ここで、投票とは、(a,b)の頻度分布を調べる処理である。ステップS11では、ステップS1によって投票画素として取り出された全ての画素に対して投票がなされたか否かを判定する。全ての投票画素に対して投票がなされたと判定される場合にはステップS12に移行し、それ以外の場合にはステップS1に移行して、投票画素として新たな画素を切出し、切出した画素についての処理を行う。
【0063】
ステップS12では、投票数の多い、すなわち頻度の大きい直線上にフレーム内におけるクラスタップおよび予測タップが設定される。このようにして、動きを的確に反映したタップ配置が行われる。
【0064】
ここで、投票によって頻度の大きい(a,b)を定めるようにしたので、入力画像におけるノイズに起因して(a,b)の値の決定が誤るおそれを回避若しくはその程度を減少させることができる。従って、動きをより精度良く反映したタップ配置が可能とされる。
【0065】
上述したこの発明の第1の画像は、動画像において動きベクトルを検出し、検出した動きベクトルを参照することによって、ノイズをより的確に除去するようにしたものであるが、この発明は、動きを把握することが必要な各種の画像信号処理を行う場合に適用することができる。
【0066】
次に、この発明の第2〜第5の実施形態における動きベクトル検出処理の概要について図11を参照して説明する。図11では、注目フレームf〔0〕を中心として、時間的に先行する2フレームすなわちフレームf〔−1〕およびフレームf〔−2〕、並びに時間的に後続する2フレームすなわちフレームf〔+1〕およびフレームf〔+2〕上の画素を図示した(各画素を丸で示す)。但し、注目画素は黒丸として図示した。なお、図面が煩雑となるのを避けるため、フレームf〔−2〕およびフレームf〔+2〕のみを点線の長方形として図示した。
【0067】
この発明の第2および第3の実施形態では、注目フレームf〔0〕内で注目画素の周囲に投票範囲が設定され、投票範囲内の投票画素の各々について、その画素を通る複数の直線の内で当該直線上に位置する各フレーム内の画素の分散が最小となるものが推定される。そして、投票、すなわち各投票画素について推定される直線パラメータの内で最も頻度が高いものを注目画素の動きの軌跡として採用する処理が行われることにより、動きベクトルが算出される。
【0068】
また、この発明の第4および第5の実施形態では、注目フレームf〔0〕内で注目画素の周囲に領域(以下、管範囲と表記する)を設定し、当該領域内の各画素を通る互いに平行な複数の直線からなる複数種類の直線群が設定される。以下、このような直線群を管と表記する。従って、管は、平行直線を規定する直線パラメータによって規定されることになる。そして、当該管を構成する各直線上に位置する、フレームf〔−2〕〜フレームf〔+2〕内の画素の分散の総和が最小となるような管を判定し、判定した管に係る直線パラメータに基づいて動きベクトルが算出される。
【0069】
以下、この発明の第2の実施形態について詳細に説明する。図12に、この発明の第2の実施形態に係る構成の一例を示す。入力画像信号は、フレームメモリ部10に入力される。フレームメモリ部10は、シフトレジスタ状に接続された5個のフレームメモリfm〔−2〕、fm〔−1〕、fm〔0〕、fm〔+1〕、fm〔+2〕を備えている。フレームメモリfm〔−2〕、fm〔−1〕、fm〔0〕、fm〔+1〕、fm〔+2〕には、それぞれ、入力画像信号内の連続する5個のフレームf〔−2〕、フレームf〔−1〕、フレームf〔0〕、フレームf〔+1〕、フレームf〔+2〕の画像データが記憶される。
【0070】
注目フレームf〔0〕の画像データがフレームメモリfm〔0〕から投票範囲決定部11内の領域切出し回路112に供給される。また、f〔−2〕、フレームf〔−1〕、フレームf〔0〕、フレームf〔+1〕、フレームf〔+2〕の画像データがそれぞれ、フレームメモリfm〔−2〕、fm〔−1〕、fm〔0〕、fm〔+1〕、fm〔+2〕から動きベクトル算出部12内の直線上画素切出し回路123に供給される。
【0071】
投票範囲初期設定回路111は初期の切出し領域を設定し、設定した初期の切出し領域を示すパラメータを領域切出し回路112に供給する。領域切出し回路112は、注目フレームf〔0〕の画像データから、供給されるパラメータに従って領域を切出す。
【0072】
領域切出し回路112は、切出した領域内の画素データを水平方向DR計算回路113および垂直方向DR計算回路114に供給する。水平方向DR計算回路113は、供給される画素データを水平方向にスキャン(図13A参照)することによって、水平方向のDR(ダイナミックレンジ)を計算する。水平方向DR計算回路113は、さらに、計算した水平方向のDRの内で最大のものを決定して、水平方向のDRの最大値を投票範囲決定回路116に供給する。
【0073】
また、垂直方向DR計算回路114は、供給される画素データを垂直方向にスキャン(図13B参照)することによって垂直方向のDRを計算する。垂直方向DR計算回路114は、さらに、計算した垂直方向のDRの内で最大のものを決定して、垂直方向のDRの最大値を投票範囲決定回路116に供給する。
【0074】
投票範囲決定回路116は、供給される水平方向および垂直方向のDRの最大値が共に予め設定されたしきい値を越える際に、その時に切出されている領域を動きベクトル検出のための演算処理に使用する投票範囲として最終的に決定する。
【0075】
一方、供給される水平方向および垂直方向のDRの最大値の内の少なくとも一方が予め設定されたしきい値以下となる場合には、投票範囲決定回路116は、その時に切出されている領域を示すパラメータを投票範囲更新回路115に供給する。投票範囲更新回路115は、供給されるパラメータに基づいて新たな領域を設定し、設定した領域を示すパラメータを領域切出し回路112に供給する。領域切出し回路112は、供給されるパラメータに基づいて、注目フレームf〔0〕の画像データから新たな領域を切出す。
【0076】
上述したような構成および動作により、水平方向および垂直方向のDRの最大値が共に予め設定されたしきい値を越えるという条件を満たすまで、投票範囲の候補として切出される領域を初期設定に係る領域から段階的に拡大する処理が行われる。これにより、動きベクトル検出のための演算処理に使用する投票範囲が最終的に決定される。例えば図14Aに示すように、初期に切出される領域が水平および垂直方向にそれぞれ、0番目〜11番目までの画素からなる矩形の領域とされ、その後、水平方向および垂直方向のDRの最大値が共にしきい値を越えるという条件が満たされるまで、水平および垂直方向にそれぞれ0番目〜22番目、0番目〜33番目、…の画素を含む矩形の領域が順次切出される。
【0077】
ここで、初期の切出し領域の大きさ、新たな領域を切出す際の領域の拡大の割合、DRについてのしきい値等は任意に設定することができる。また、新たな領域として、それ以前に切出された領域を拡大したもの以外にも、それ以前に切出された領域を回転或いは縮小したものを用いても良い。
【0078】
また、投票範囲として切出される領域における画素の密度を変化させるようにしても良い。例えば図14Bに示すように,黒で示した画素を切出しの対象から除外することにより、画素を例えば1個おきに切出すようにすることにより、投票範囲として切出される領域が拡大しても領域内の画素の総数が一定となるようにしても良い。
【0079】
また、上述の説明では、切出される領域の水平方向および垂直方向のDRについてしきい値判定を行うことによって投票範囲を決定するものとしたが、切出される領域全体のDRについてしきい値判定を行うことによって投票範囲を決定するようにしても良い。また、切出される領域のアクティビティを表現する量として当該領域全体の分散等を計算し、計算結果に応じて投票範囲を決定するようにしても良い。
【0080】
投票範囲決定部11によって決定された投票範囲を示すパラメータが投票範囲決定回路116から動きベクトル算出部12内の投票画素初期設定回路121に供給される。投票画素初期設定回路121は、投票画素を初期設定し、初期設定に係る投票画素位置を示すパラメータを直線パラメータ初期設定回路122に供給する。直線パラメータ初期設定回路122は、直線パラメータを初期設定する。初期設定された直線パラメータが画素切出し回路123に供給される。
【0081】
図15からわかるように、特定の投票画素と、当該投票画素に対する相対的な空間画素位置が(a,b)であるような例えばフレームf〔1〕内の画素とを通る直線は、(x,y,t)空間内で一意に特定される。従って、投票画素が設定された状況では、直線パラメータは、(a,b)として表現することができる。実際の処理においては、例えばフレームf〔1〕内に探索範囲を設定し、探索範囲内の探索画素位置によって直線パラメータが表現される。なお、直線パラメータが同一で投票画素が異なる2直線は、互いに平行となる。
【0082】
画素切出し回路123は、フレームメモリfm〔−2〕〜fm〔+2〕から、各フレームの画像データを供給される。画素切出し回路123は、供給される画像データから、直線パラメータ(a,b)によって規定される直線上に位置する各フレーム内の画素データを切出す。切出された画素データは、分散演算および直線パラメータ保持回路124に供給される。
【0083】
分散演算および直線パラメータ保持回路124は、供給される画素データに基づいて5個の画素の分散を計算する処理、計算値を比較する処理、並びに、比較結果に応じて計算値およびそれに対応する直線パラメータを保持する処理を行う。そして、分散演算および直線パラメータ保持回路124は、最終的に保持された直線パラメータを直線パラメータ投票回路125に供給する。また、分散演算および直線パラメータ保持回路124は、分散値の計算が完了した直線パラメータについての情報を直線パラメータ更新回路126に供給する。直線パラメータ更新回路126は、供給される情報に基づいて、画素切出し回路123による画素切出しに未だ用いられていない直線を示す直線パラメータを設定し、設定した直線パラメータを画素切出し回路123に供給する。
【0084】
直線パラメータ初期設定回路122、画素切出し回路123、分散演算および直線パラメータ保持回路124、直線パラメータ更新回路126の動作の結果として以下のような処理がなされる。探索範囲内の画素位置(a,b)として表現される直線パラメータによって特定される直線上に位置する各フレーム内の画素の分散値が初期設定に係る直線パラメータに対応するものから順に計算される。そして、分散値が最小となる際の直線パラメータが直線パラメータ投票回路125に供給される。
【0085】
直線パラメータ投票回路125は、直線パラメータを供給される毎に、供給される直線パラメータを示す情報を投票画素更新回路127に供給する。かかる情報が供給される毎に、投票画素更新回路127が投票画素の更新を行い、更新された投票画素を示す情報を直線パラメータ初期設定回路122に供給する。かかる情報に基づいて直線パラメータ初期設定回路122、画素切出し回路123、分散演算および直線パラメータ保持回路124、直線パラメータ更新回路126による、上述したような処理が行われる。このようにして、投票範囲内の各画素について、当該投票画素を通る直線の内で当該直線上に位置する各フレーム内の画素の分散が最小となるものに係る直線パラメータが順次決定される。
【0086】
上述したような処理により、投票範囲内の全ての投票画素に対応して直線パラメータが供給されると、直線パラメータ投票回路125は、供給された直線パラメータについて投票すなわち頻度を検出する処理を行う。これにより、最も頻度の大きい直線パラメータが注目画素の動きベクトルの軌跡として採用される。採用された直線パラメータを(a0 ,b0 )とすると、フレームf〔−2〕、〔−1〕、f〔0〕、f〔+1〕、f〔+2〕における注目画素の動きベクトルは、それぞれ、(−2×a0 ,−2×b0 ),(−a0 ,−b0 ),(0,0),(a0 ,b0 ),(2×a0 ,2×b0 )と演算される(図16参照)。
【0087】
上述したこの発明の第2の実施形態は、投票範囲の候補として切出される領域についてDR等を順次計算し、計算値がしきい値以上となる際の領域を投票範囲として採用すると共に、各投票画素について、当該投票画素を通る直線の内で当該直線上に位置する各フレーム内の画素の分散が最小となるものに係る直線パラメータを順次決定し、決定した直線パラメータの内で頻度が最大となるものに基づいて動きベクトルを計算するようにしたものである。
【0088】
これに対して、投票範囲の候補として切出される領域の各々についてDR等を並列的に算出し、算出値を比較して、比較結果に基づいて投票範囲を決定するようにしても良い。
【0089】
また、各投票画素について、当該投票画素を通る直線の内で当該直線上に位置する各フレーム内の画素の分散が最小となるものに係る直線パラメータを並列的に決定し、決定した直線パラメータの内で頻度が最大となるものに基づいて動きベクトルを計算するようにしても良い。
【0090】
このような観点から、以下に説明するこの発明の第3の実施形態が可能である。この発明の第3の実施形態に係る構成の一例を図17に示す。入力画像信号はフレームメモリ部10に供給される。フレームメモリ部10については図12を参照して上述したので、重複する説明を省略する。フレームメモリfm〔0〕から、注目フレームf〔0〕の画像データが投票範囲決定部21内の領域切出し回路2121 ,2122 ,‥‥21219に供給される。また、フレームメモリfm〔−2〕〜fm〔+2〕から、f〔−2〕〜〔+2〕の画像データが動きベクトル算出部22内の直線パラメータ推定回路2211 ,2212 ,‥‥,221144 に供給される。
【0091】
領域切出し回路2121 ,2122 ,‥‥,21219は、注目フレームf〔0〕の画像データから、それぞれ水平および垂直方向に0番目〜11番目、0番目〜22番目、‥‥、0番目〜209(=11×19)番目までの画素を含む矩形の領域を切出す。領域切出し回路2121 ,2122 ,‥‥21219によって切出される画像データは、それぞれ、水平DR算出回路2131 ,2132 ,‥‥,21319および垂直DR算出回路2141 ,2142 ,‥‥,21419に供給される。
【0092】
水平DR算出回路2131 ,2132 ,‥‥,21319および垂直DR算出回路2141 ,2142 ,‥‥,21419は、供給される画像データに基づいて、水平方向および垂直方向のDRを算出し、算出値を比較回路215に供給する。比較回路215は、供給される各算出値を比較し、比較結果に応じて投票範囲を決定する。
【0093】
ここで、投票範囲の候補として切出される領域の大きさ、DRについてのしきい値等は任意に設定することができる。また、図14Bを参照して上述したように、切出される領域における画素の密度を変化させるようにしても良い。
【0094】
また、上述の説明では、切出される領域の水平方向および垂直方向のDRに基づいて投票範囲を決定するものとしたが、切出される領域全体のDRや、切出される領域全体の分散等を計算し、計算結果に応じて投票範囲を決定するようにしても良い。
【0095】
以下の説明は、水平および垂直方向に0番目〜11番目までの画素を含む領域が投票範囲として採用される場合を例として行う。この場合には、投票画素は、(0,0),(0,1),‥‥,(11,11)の12×12=144個となる。これらの投票画素の各々に対応して、直線パラメータ推定回路2211 ,2212 ,‥‥,221144 が動きベクトル算出部22内に設けられている。投票範囲決定部21によって決定される投票範囲を示すパラメータは、動きベクトル算出部22内の144個の直線パラメータ推定回路2211 ,2212 ,‥‥,221144 に供給される。
【0096】
直線パラメータ推定回路2211 ,2212 ,‥‥,221144 は、投票範囲内の各画素に対して、当該画素を通る直線の内でその直線上にあるフレームf〔−2〕〜フレームf〔+2〕内の画素の分散が最小となるものに係る直線パラメータを推定する。推定される直線パラメータは、投票回路222に供給される。
【0097】
投票回路222は、供給される直線パラメータについて頻度を計数し、頻度データを生成する。頻度データは、比較回路223に供給される。比較回路223は、供給される頻度データに基づいて頻度が最大となる直線パラメータを特定する。動きベクトル演算回路224は、比較回路223によって特定される直線パラメータに基づいて動きベクトルを演算する。
【0098】
直線パラメータ推定回路2211 ,2212 ,‥‥,221144 の構成の一例を図18に示す。画素読込み回路301,302,303,304,305の各々には、投票範囲決定部21から供給される投票範囲に関連する画素位置情報が供給される。画素読込み回路301〜305の各々は、供給される画素位置情報に対応する画素データをそれぞれ、フレームメモリfm〔−2〕〜fm〔+2〕から読み出す。この一例では、探索画素は、投票画素位置に対する相対画素位置が(−8,−8),(−7,−8),‥‥,(8,8)であるような289個の画素とされている。
【0099】
画素抽出回路3061 ,3062 ,‥‥,306289 は、それぞれ、探索画素位置(−8,−8),(−7,−8),‥‥,(8,8)によって特定される直線上に位置する各フレーム内の画素を抽出し、抽出した画素データを分散計算回路3071 ,3072 ,‥‥,307289 にそれぞれ供給する。
【0100】
分散計算回路3071 ,3072 ,‥‥,307289 は、供給される画素データに基づいて分散を計算し、計算値を分散比較回路308に供給する。分散比較回路308は、供給される分散の計算値を比較することによって計算値が最小となる際の直線パラメータを特定し、特定した直線パラメータを出力する。
【0101】
上述の説明は、水平および垂直方向のそれぞれ0番目〜11番目の画素を含む領域が投票範囲として採用される場合を例とするものである。これに対して、より多くの画素を含む領域が投票範囲として採用される場合にも対応できるように、より多くの直線パラメータ推定回路を設けるようにしても良い。または、直線パラメータ推定回路を、時分割で動作するように制御しても良い。
【0102】
また、例えば図18を参照して上述した一例は、縦、横にそれぞれ17個ずつ、全部で289個の画素を含む領域を探索範囲として用いるようにしたものであるが、探索範囲はこれに限定されるものではなく、任意に設定できる。
【0103】
この発明の第2および第3の実施形態は、投票範囲内の各画素について、当該画素を通る直線の内で当該直線上に位置する各フレーム内の画素を抽出し、抽出した画素データの分散が最小となる際の直線に係る直線パラメータを投票に供するようにしたものである。これに対して、抽出した画素データの平均値と各画素値との間の差分の絶対値の総和を計算し、計算値に基づいて投票に供する直線パラメータを決定するようにしても良い。また、抽出した画素データについての隣接画素間の差分絶対値の総和に基づいて投票に供する直線パラメータを決定するようにしても良い。
【0104】
また、探索範囲内の画素の内の一部を探索画素として扱う処理によって直線パラメータを粗く推定し、その推定結果を利用して推定された点周辺を詳細に探索するような、階層的探索を行っても良い。このような処理について図19および図20を参照して説明する。図19に示す一例では、探索範囲が水平および垂直方向に17個(計289個)の画素を含んでいる。粗い推定を行う場合には斜線を付して示す3画素おきの画素(計25個の画素)を探索画素として扱う。すなわち25個の画素の各々と投票画素とを通る直線上にある、例えば5個のフレーム内の画素の分散を計算し、計算値が最小となる際の探索画素を粗い推定の結果として選択する。
【0105】
そして、粗い推定の結果として選択された画素を中心とする水平および垂直方向に5個(計25個)の画素を含む範囲(影を付して示す)において全ての画素を探索画素として扱う。すなわち、各画素と投票画素とを通る直線上にある、例えば5個のフレーム内の画素の分散を計算し、計算値が最小となる際の探索画素の画素位置に基づいて投票に供する直線パラメータを最終的に決定する。
【0106】
また、図20に示す他の例では、探索範囲が水平および垂直方向に17個(計289個)の画素を含んでいる。粗い推定を行う場合には斜線を付して示す2画素おきの画素(計25個の画素)を探索画素として扱う。そして、粗い推定の結果として選択された画素を中心とする水平および垂直方向に5個(計25個)の画素を含む範囲(影を付して示す)において全ての画素を探索画素として扱うことにより、投票に供する直線パラメータを最終的に決定する。
【0107】
図19および図20を参照して上述したような階層的探索処理を行う場合には、探索範囲内の例えば25個の画素位置に対応して分散等の計算や計算値の比較を行う構成により、投票に供する直線パラメータを選択することが可能とされる。このため、分散等の計算に係る構成を小規模化することができる。
【0108】
次に、この発明の第4の実施形態について説明する。上述したように、この発明の第4の実施形態は、動画像における動きを直線の代わりに管と見たてて動きベクトルを検出するようにしたものである。すなわち、この発明の第4の実施形態では、時空間内の直線の代わりにそれを空間方向の拡大してなる面の分散を演算することにより、ノイズの影響を避け、動きベクトルを正確に算出するようになされている。
【0109】
この発明の第4の実施形態の構成の一例を図21に示す。入力画像はフレームメモリ部10に入力される。フレームメモリ部10については、図12を参照して上述したので重複する説明を省略する。フレームメモリfm〔0〕の記憶内容である、注目フレームf〔0〕の画像データが管範囲決定部41内の管切出し回路412に供給される。また、フレームf〔−2〕〜f〔+2〕の画像データがフレームメモリfm〔−2〕〜fm〔+2〕から、動きベクトル算出部42内の直線上画素切出し回路423に供給される。
【0110】
管範囲初期設定回路411が初期の管範囲を設定し、設定した初期の管範囲を示すパラメータを管切出し回路412に供給する。管切出し回路412は、注目フレームf〔0〕の画像データから、供給されるパラメータに従って領域を切出す。
【0111】
切出された領域内の画素データが水平方向DR計算回路413および垂直方向DR計算回路414に供給される。水平方向DR計算回路413は、供給される画素データを水平方向にスキャンすることによって、水平方向のDRを順次計算する。水平方向DR計算回路413は、さらに、計算した水平方向のDRの内で最大のものを決定して、決定した水平方向のDRを管範囲決定回路416に供給する。
【0112】
また、垂直方向DR計算回路414は、供給される画素データを垂直方向にスキャンすることによって垂直方向のDRを順次計算する。垂直方向DR計算回路414は、さらに、計算した垂直方向のDRの内で最大のものを決定して、決定した垂直方向のDRを管範囲決定回路416に供給する。管範囲決定回路416は、供給される水平および垂直方向のDRが共に予め設定されたしきい値を越える際に、その時の管範囲を動きベクトルの算出処理に係る管範囲として最終的に決定する。
【0113】
一方、供給される水平および垂直方向のDRの内の少なくとも一方が予め設定されたしきい値以下となる場合には、管範囲決定回路416は、その時の管範囲を示すパラメータを管範囲更新回路415に供給する。管範囲更新回路415は、供給されるパラメータに基づいて、新たな領域を切出すためのパラメータを生成し、生成したパラメータを管切出し回路412に供給する。管切出し回路412は、注目フレームf〔0〕の画像データから、新たな設定に係る領域を切出す。
【0114】
上述したような構成および動作により、図14Aを参照して上述したように、水平方向および垂直方向のDRの最大値が共に予め設定されたしきい値を越えるという条件を満たすまで、管範囲の候補として切出される領域を初期設定に係る領域から段階的に拡大する処理が行われ、その結果として、動きベクトル検出のための演算処理に使用する管範囲が最終的に決定される。
【0115】
ここで、初期の切出し領域の大きさ、新たな領域を切出す際の領域の拡大の割合、DRについてのしきい値等は任意に設定することができる。また、管範囲の候補として切出される領域の大きさ、DRについてのしきい値等は任意に設定することができる。また、新たな領域として、それ以前に切出された領域を拡大したもの以外にも、切出された領域を回転或いは縮小したものを用いても良い。また、図14Bを参照して上述したように、管範囲の候補として切出される領域における画素の密度を変化させるようにしても良い。
【0116】
また、上述の説明では、切出される領域の水平方向および垂直方向のDRに基づいて管範囲を決定するものとしたが、切出される領域全体のDRや、切出される領域全体の分散等を計算し、計算結果に応じて管範囲を決定するようにしても良い。
【0117】
管範囲決定部41によって決定された管範囲を示すパラメータは、管範囲決定回路416から動きベクトル算出部42内の直線パラメータ初期設定回路421に供給される。直線パラメータ初期設定回路421は直線パラメータを初期設定し、初期設定した直線パラメータを平行直線初期設定回路422に供給する。直線パラメータに対応して、管範囲内の各画素を通るx−y−t空間内の互いに平行な直線の集合体としての管が規定される。平行直線初期設定回路422は、管を構成する互いに平行な直線の内の1個を初期設定設置直線として指定するパラメータを生成し、生成したパラメータを画素切出し回路423に供給する。
【0118】
画素切出し回路423には、さらに、フレームf〔−2〕〜f〔+2〕から、各フレームの画像データが供給される。画素切出し回路423は、初期設置直線上に位置する各フレーム内の画素を切出す。切出された画素に係る画素データは、分散演算および加算回路424に供給される。
【0119】
分散演算および加算回路424は、供給される画素データに基づいて分散を計算する処理、計算値を加算して分散の総和を計算する処理を行う。また、分散演算および加算回路424は、画素切出し回路423から供給される画像データに基づく分散の計算および加算が完了する毎に、その旨を示す情報を平行直線更新回路426に供給する。
【0120】
平行直線更新回路426は、管を構成する平行直線の内で画素切出し回路423による画素切出しに未だ用いられていないものを示すパラメータを生成し、生成したパラメータを画素切出し回路423に供給する。画素切出し回路423は、供給されるパラメータに対応する直線について、当該直線上に位置する各フレーム内の画素に係る画素データを切出し、切出した画素データを分散演算および加算回路424に供給する。
【0121】
直線パラメータ初期設定回路421、平行直線初期設定回路422、画素切出し回路423、分散演算および加算回路424、平行直線更新回路426の動作の結果として以下のような処理がなされる。すなわち、管内の各直線上に位置する各フレーム内の画素の分散が初期設定に係る直線から順に計算され、計算値が加算されて分散の総和が計算される。そして、分散の総和が分散総和判定および直線パラメータ保持回路425に供給される。
【0122】
分散総和判定および直線パラメータ保持回路425は、分散の総和を供給される毎に、その旨を示す情報を直線パラメータ更新回路427に供給する。また、分散総和判定および直線パラメータ保持回路425は、供給される分散の総和に基づく判定を行い、判定結果に基づいて直線パラメータを保持する。
【0123】
直線パラメータ更新回路427は、供給される情報に基づいて、未だ分散の総和の計算および分散の総和に基づく判定処理の対象とされていない管に係る直線パラメータを新たに設定し、設定した直線パラメータを平行直線初期設定回路422に供給する。かかる直線パラメータに基づいて画素切出し回路423、分散演算および加算回路424、平行直線更新回路426による、上述したような処理が行われる。このようにして、直線パラメータが設定されることによって規定される管の各々について、当該管内の直線上に位置する各フレーム内の画素の分散の総和が順次計算され、計算される分散の総和に基づく判定がなされる。
【0124】
分散総和判定および直線パラメータ保持回路425は、例えば以下のような処理を行うことにより、分散の総和に基づく判定を行う。まず、分散演算および加算回路424から最初に供給される、初期設定された直線パラメータに係る管についての分散の総和を保持すると共に、初期設定された直線パラメータを保持する。
【0125】
次に、分散演算および加算回路424からさらに供給される、直線パラメータ更新回路427によって2番目に設定される直線パラメータに係る管についての分散の総和を、初期設定された直線パラメータによって規定される管についての分散の総和と比較し、小さい方の分散の総和を保持すると共に、小さい方の分散の総和に係る直線パラメータを保持する。
【0126】
その後、分散演算および加算回路424からさらに供給される、直線パラメータ更新回路427によって3番目、4番目‥‥に設定される直線パラメータに係る管についての分散の総和を、その時点で保持されている分散の総和と比較し、小さい方の分散の総和を保持すると共に、当該小さい方の分散の総和に係る直線パラメータを保持する。
【0127】
このような処理を平行直線初期設定回路422およびに直線パラメータ更新回路427によって設定される直線パラメータによって規定される管の各々について行うことにより、最終的に保持される分散の総和として最小の分散が判定される。そして、最小の分散の総和に係る直線パラメータが動きベクトル演算回路428に出力される。動きベクトル演算回路428は、供給される直線パラメータに基づいて動きベクトルを演算する。
【0128】
上述したこの発明の第4の実施形態は、管範囲の候補として切出される領域についてDR等を順次計算し、計算値がしきい値を越える際の領域を管範囲として採用すると共に、直線パラメータによって規定される管における平行直線の各々の上に位置する各フレーム内の画素の分散の総和を順次計算し、計算値が最小となるような管を決定し、決定した管に係る直線パラメータに基づいて動きベクトルを算出するようにしたものである。
【0129】
これに対して、管範囲の候補として切出される領域の各々についてDR等を並列的に計算し、各計算値を比較して、比較結果に基づいて管範囲を決定するようにしても良い。
【0130】
また、直線パラメータによって規定される管における平行直線の各々の上に位置する各フレーム上の画素の分散の総和を並列的に計算し、計算値を比較することにより、分散の総和が最小となるような管を決定し、決定した管に係る直線パラメータに基づいて動きベクトルを算出するようにても良い。
【0131】
このような観点から、以下に説明するこの発明の第5の実施形態が可能である。この発明の第5の実施形態の構成の一例を図22に示す。入力画像はフレームメモリ部10に入力される。フレームメモリ部10については、図12を参照して上述したので、重複する説明を省略する。注目フレームf〔0〕の画像データがフレームメモリfm〔0〕から管範囲決定部51内の領域切出し回路5111 ,5112 ,‥‥,51119に供給される。また、f〔−2〕〜f〔+2〕の画像データがフレームメモリfm〔−2〕〜fm〔+2〕から、動きベクトル算出部52内の直線パラメータ推定回路5211 ,5212 ,‥‥,521144 に供給される。
【0132】
領域切出し回路5111 ,5112 ,‥‥,51119は、供給される注目フレームf〔0〕の画像データから、それぞれ水平および垂直方向に0番目から11番目、0番目から22番目、‥‥、0番目から209(=11×19)番目の画素を含む矩形の領域を切出す。切出された領域の画像データは、それぞれ、水平DR算出回路5131 ,5132 ,‥‥,51319および垂直DR算出回路5141 ,5142 ,‥‥,51419に供給される。
【0133】
水平DR計算回路5131 〜51319および垂直DR計算回路5141〜51419 は、供給される画像データに基づいて、水平方向および垂直方向のDRを計算し、計算値を比較回路515に供給する。比較回路515は、供給される各計算値を比較することにより、管範囲を決定する。
【0134】
ここで、初期の切出し領域の大きさ、新たな領域を切出す際の領域の拡大の割合、DRについてのしきい値等は任意に設定することができる。また、新たな領域として、それ以前に切出された領域を拡大したもの以外にも、それ以前に切出された領域を回転或いは縮小したものを用いても良い。また、図14Bを参照して上述したように、切出される領域における画素の密度を変化させるようにしても良い。
【0135】
また、上述の説明では、切出される領域の水平方向および垂直方向のDRについてしきい値判定を行うことによって管範囲を決定するものとしたが、切出される領域全体のDRについてしきい値判定を行うことによって管範囲を決定するようにしても良い。また、切出される領域のアクティビティを表現する量として当該領域全体の分散等を計算し、計算結果に応じて管範囲を決定するようにしても良い。
【0136】
管範囲決定部51によって決定された範囲を示すパラメータは、動きベクトル算出部52内の画素読込み回路521〜525に供給される。画素読み込み回路521〜525の各々は、供給される画素位置情報に対応する画像データを、フレームメモリfm〔−2〕〜fm〔+2〕から読み出し、保持する。
【0137】
以下の説明は、水平および垂直方向に0番目〜11番目までの画素を含む領域、すなわち、12×12=144個の画素を含む領域が管範囲として採用される場合を例として行う。上述したように、直線パラメータは、管範囲内の画素に対する探索範囲内の画素の相対画素位置として表現される。この一例では、直線パラメータは、(−8,−8),(−7,−8),‥‥,(+8,+8)の17×17=289個とされている。
【0138】
これらの直線パラメータの各々に対応して、画素抽出回路5261 ,5262 ,‥‥,526289 が設けられる。画素抽出回路5261 ,5262 ,‥‥,526289 は、各直線パラメータに係る管内の平行直線(この一例では1個の直線パラメータについて144本)上に位置する各フレーム内の画素データを、画素読込み回路5201〜5205に保持されているデータから抽出する。抽出される画素データは、分散総和計算回路5271 ,5272 ,‥‥,527289 にそれぞれ供給される。
【0139】
分散総和計算回路5271 〜527289 は、供給される画素データに基づいて分散の総和を計算し、計算した分散の総和を分散総和比較回路528に供給する。分散総和比較回路528は、供給される分散の総和を比較することによって分散の総和が最小となる際の直線パラメータを特定し、特定した直線パラメータを出力する。動きベクトル演算回路529は、供給される直線パラメータを動きベクトル演算回路529に供給する。動きベクトル演算回路529は、供給される直線パラメータに基づいて動きベクトルを演算する。
【0140】
分散総和計算回路5271 〜527289 の構成の一例を図23に示す。かかる一例は、管範囲が水平および垂直方向に0番目〜11番目までの画素を含む場合を前提とするものである。分散計算回路611 ,612 ,‥‥61144 は、画素読込み回路521〜525に保持されているデータから、直線パラメータによって特定される管を構成する各直線上に位置する各フレーム内の画素を抽出し、抽出した画素の分散を計算する。
【0141】
分散計算回路611 ,612 ,‥‥61144 から出力される計算値が加算器62に供給される。加算器62は、供給される計算値を加算することにより、分散の総和を算出する。
【0142】
図22および図23を参照して上述した構成および動作は、水平および垂直方向に0番目〜11番目までの画素を含む領域が管範囲として採用される場合を前提とするものである。これに対して、より多くの画素を含む領域を管範囲として採用する場合にも、この発明を適用することができる。そのような場合には、より多くの分散計算回路を設ける構成としても良し、または、分散計算回路を時分割で動作させるように制御しても良い。
【0143】
また、図22を参照して上述した構成の一例は、縦、横にそれぞれ17個ずつ、全部で289個の画素を含む領域を探索範囲として用いるようにしたものであるが、探索範囲はこれに限定されるものではなく、任意に設定できる。
【0144】
また、上述したこの発明の第4および第5の実施形態は、直線パラメータによって特定される管を構成する平行直線の各々について当該直線上に位置する画素の分散を計算し、計算値の総和が最小となる際の直線パラメータに基づいて動きベクトルを決定するようにしたものである。これに対して、管を構成する平行直線の各々について当該直線上に位置する画素の平均値と各画素値の差分の絶対値の総和を計算し、計算値が最小となる際の直線パラメータに基づいて動きベクトルを決定するようにしても良い。
【0145】
また、管を構成する平行直線の各々について当該直線上に位置する画素の隣接画素間差分の総和を計算し、計算値の総和が最小となる際の直線パラメータに基づいて動きベクトルを算出するようにしても良い。また、管を構成する平行直線の各々について当該直線上に位置する画素のDRを計算し、計算値に基づいて動きベクトルを算出するようにしても良い。
【0146】
また、この発明の第1〜第5の実施形態では、注目フレームを含む5個のフレームの画像データに基づいて動きベクトルを算出するものとしているが、これに限定されるものではない。例えば、注目フレームを含む3個のフレームの画像データに基づいて動きベクトルの算出処理を行うようにしても良い。
【0147】
この発明は、上述したこの発明の第1〜第5の実施形態に限定されるものでは無く、この発明の主旨を逸脱しない範囲内で様々な変形や応用が可能である。
【0148】
【発明の効果】
この発明によれば、時空間内で注目フレーム内の複数の画素を通る複数の直線上に位置する複数のフレーム内の画素の画素値に基づいてなされる演算処理の結果に基づいて動きベクトルが算出される。このため、動きベクトルの算出処理に対するノイズの影響を低減することができる。また、ノイズレベルが様々に変化しても、それに応じた処理が可能となる。
【0149】
特に、投票範囲、管範囲等の、直線が通る複数の画素を含む注目フレーム内の領域を、当該領域内の画素の画素値のDR等を規範として可変的に設定するようにした場合には、オブジェクトの大きさに応じて適切な処理を行うことが可能とされる。すなわち、細かいオブジェクトの動きについては、より小さい投票範囲や管範囲を用いることで適切な処理を行うことが可能とされる。
【0150】
また、平坦部分ではより大きい投票範囲や管範囲を用いることにより、固定のブロックサイズの下で行われるブロックマッチングでは誤りやすい、平坦部分での動きベクトル検出を適切に行うことが可能とされる。
【0151】
また、演算量は一般的には投票範囲や管範囲の大きさに依存するが、多くの場合、ブロックマッチング法に比べてより少ない演算量で精度良い動きベクトル検出が可能とされる。また、ブロックマッチング等を用いる場合と異なり、各フレーム毎に動きを検出する必要がない。
【0152】
特に、上述したような方法で動きベクトルを計算し、計算した動きベクトルに応じて、クラス分類適応処理を行う際のクラスタップおよび予測タップの位置を設定するようにした場合には、例えば5フレーム分のタップ配置を一度に決定することができる。また、この場合、クラス分類適応処理の結果として、動き部分における尾を引くような画質劣化を防止若しくは軽減することができると共に、画像に空間的なぼけを生じさせることなくノイズを除去することができる。
【0153】
また、この場合、ブロックマッチング等を用いる場合と異なり、動きベクトルの検出が部分的に誤ることに起因して1フレームだけ極端にタップ配置が異なることが無いので、ノイズ除去等の処理を効率よく行うことができる。
【図面の簡単な説明】
【図1】先に提案された、ノイズ除去を行う構成について説明するためのブロック図である。
【図2】図1に示す構成におけるタップ構造について説明するための略線図である。
【図3】この発明の第1の実施形態における、ノイズ除去に係る構成について説明するためのブロック図である。
【図4】この発明の第1の実施形態における、予測係数の生成に係る構成について説明するためのブロック図である。
【図5】ノイズ付加に係る構成の一例を示すブロック図である。
【図6】ノイズ付加に係る構成の他の例を示すブロック図である。
【図7】ノイズ付加に係る構成のさらに他の例を示すブロック図である。
【図8】この発明の第1の実施形態におけるタップ位置の設定について原理的に説明するための略線図である。
【図9】この発明の第1の実施形態における基本的なタップ構造について説明するための略線図である。
【図10】この発明の第1の実施形態におけるタップ位置の設定に係る処理について説明するためのフローチャートである。
【図11】この発明の第2〜第5の実施形態の概要を説明するための略線図である。
【図12】この発明の第2の実施形態の構成について説明するためのブロック図である。
【図13】投票範囲を設定する処理について説明するための略線図である。
【図14】設定される投票範囲の例を示す略線図である。
【図15】直線パラメータについて説明するための略線図である。
【図16】フレーム毎に算出される動きベクトルについて説明するための略線図である。
【図17】この発明の第3の実施形態の構成について説明するためのブロック図である。
【図18】この発明の第3の実施形態の一部の構成について詳細に説明するためのブロック図である。
【図19】階層的探索の一例について説明するための略線図である。
【図20】階層的探索の他の例について説明するための略線図である。
【図21】この発明の第4の実施形態の構成について説明するためのブロック図である。
【図22】この発明の第5の実施形態の一部の構成について詳細に説明するためのブロック図である。
【図23】この発明の第5の実施形態の構成について詳細に説明するためのブロック図である。
【図24】従来の技術について説明するためのブロック図である。
【符号の説明】
26・・・タップ配置決定部、46・・・タップ配置決定部、115・・・投票範囲更新回路、116・・・投票範囲決定回路、124・・・分散演算および直線パラメータ保持回路、125・・・直線パラメータ投票回路、222・・・投票回路、415・・・管範囲更新回路、416・・・管範囲決定回路,425・・・分散総和判定および直線パラメータ保持回路、427・・・直線パラメータ更新回路
Claims (21)
- 画像信号内の注目画素および上記注目画素の周辺に位置する複数の画素を含む対象画素毎に、各対象画素を通り、時間方向に延びる直線上に位置する複数の画素を抽出する抽出手段と、
各注目画素に対する各対象画素に対して、上記抽出手段によって直線の方向毎に抽出される複数の画素の画素値に基づいて、直線の方向毎に類似度を検出する類似度検出手段と、
上記対象画素毎の上記直線の方向毎に検出された上記類似度に基づいて、上記注目画素に対する動きベクトルを算出する動きベクトル算出手段とを備えることを特徴とする動きベクトル検出装置。 - 上記対象画素は、
上記注目画素を含むフレーム内の画像データに基づいて設定されることを特徴とする請求項1の動きベクトル検出装置。 - 上記注目画素を含むフレーム内の複数の画素を切出し、切出した複数の画素の画素値のダイナミックレンジを計算し、計算されるダイナミックレンジに基づいて上記対象画素を決定することを特徴とする請求項2の動きベクトル検出装置。
- 上記注目画素を含むフレーム内の複数の画素を切出し、切出した複数の画素の画素値の分散を計算し、計算値に基づいて上記対象画素を決定することを特徴とする請求項2の動きベクトル検出装置。
- 上記抽出手段は、
上記注目画素を含むフレームを含む3個以上のフレームから、上記直線上に位置する画素を抽出することを特徴とする請求項1の動きベクトル検出装置。 - 上記類似度検出手段は、
上記抽出手段によって上記直線の方向毎に抽出される複数の画素の画素値に基づいて演算を行う演算手段と、
上記演算手段の出力に基づいて上記類似度を検出する類似度検出手段とを備えることを特徴とする請求項1の動きベクトル検出装置。 - 上記演算手段は、
上記複数の画素の画素値の分散を演算することを特徴とする請求項6の動きベクトル検出装置。 - 上記類似度検出手段は、
上記演算手段によって演算される上記複数の画素の画素値の分散が小さい程、上記類似度が大きいことを検出することを特徴とする請求項7の動きベクトル検出装置。 - 上記演算手段は、
上記複数の画素の画素値について、隣接画素間の差分絶対値の総和を演算することを特徴とする請求項6の動きベクトル検出装置。 - 上記演算手段は、
上記複数の画素の画素値について、ダイナミックレンジを演算することを特徴とする請求項6の動きベクトル検出装置。 - 上記演算手段は、
上記複数の画素の画素値の平均値を計算し、計算した平均値と上記複数の画素の画素値の各々との差分絶対値の総和を演算することを特徴とする請求項6の動きベクトル検出装置。 - 上記動きベクトル算出手段は、
上記対象画素毎に、上記類似度が最大となる際の直線に係る直線パラメータを投票する投票手段と、
上記投票手段による投票結果に基づいて、上記注目画素に対する動きベクトルを演算する動きベクトル演算手段とを備えることを特徴とする請求項1の動きベクトル検出装置。 - 画像信号内の注目画素および上記注目画素の周辺に位置する複数の画素を含む対象画素毎に、各対象画素を通り、時間方向に延びる直線上に位置する複数の画素を抽出する抽出ステップと、
各注目画素に対する各対象画素に対して、上記抽出ステップによって上記直線の方向毎に抽出される複数の画素の画素値に基づいて、上記直線の方向毎に類似度を検出する類似度検出ステップと、
上記対象画素毎の上記直線の方向毎に検出された上記類似度に基づいて、上記注目画素に対する動きベクトルを算出する動きベクトル算出ステップとを有することを特徴とする動きベクトル検出方法。 - 画像信号内の注目画素を通り、時間方向に延びる直線と、上記注目画素の周辺に位置する画素を通り、上記直線と平行な直線との各々について、当該直線上に位置する複数の画素を抽出する抽出手段と、
上記抽出手段によって上記直線の方向毎に抽出される複数の画素に基づいて、上記直線の方向毎に類似度を検出する類似度検出手段と、
上記直線の方向毎に検出される類似度に基づいて、上記注目画素に対する動きベクトルを算出する動きベクトル算出手段とを備えることを特徴とする動きベクトル検出装置。 - 上記注目画素の周辺に位置する画素は、
上記注目画素を含むフレーム内の画像データに基づいて設定されることを特徴とする請求項14の動きベクトル検出装置。 - 上記抽出手段は、
上記注目画素を含むフレームを含む3個以上のフレームから、上記直線上に位置する画素を抽出することを特徴とする請求項14の動きベクトル検出装置。 - 上記類似度検出手段は、
上記抽出手段によって上記直線の方向毎に抽出される複数の画素の画素値に基づいて演算を行う演算手段と、
上記演算手段の出力に基づいて上記類似度を検出する類似度検出手段とを備えることを特徴とする請求項14の動きベクトル検出装置。 - 上記演算手段は、
上記抽出手段によって抽出される、上記直線上に位置する複数の画素についての分散と、上記注目画素の周辺に位置する画素を通り、上記直線と平行な直線上に位置する複数の画素についての分散、あるいは注目フレームの画素と他のフレームの画素の差分絶対値和、あるいは隣接画素の差分絶対値の総和をそれぞれ計算し、計算値の総和を算出することを特徴とする請求項17の動きベクトル検出装置。 - 画像信号内の注目画素を通り、時間方向に延びる直線と、上記注目画素の周辺に位置する画素を通り、上記直線と平行な直線との各々について、当該直線上に位置する複数の画素を抽出する抽出ステップと、
上記抽出ステップによって上記直線の方向毎に抽出される複数の画素に基づいて、上記直線の方向毎に類似度を検出する類似度検出ステップと、
上記直線の方向毎に検出される類似度に基づいて、上記注目画素に対する動きベクトルを算出する動きベクトル算出ステップとを備えることを特徴とする動きベクトル検出方法。 - 画像信号をフレーム毎に記憶する複数個のフレームメモリと、
上記複数個のフレームメモリに記憶される各フレームから1個または複数個の画素を切出す第1の画像切出し手段と、
上記第1の画像切出し手段によって切出される画素の画素値に基づいて時空間内での画像レベル分布のパターンを検出し、検出結果に応じてクラス分類を行うクラス分類手段と、
クラス毎に予め決定された予測係数を記憶しており、記憶した予測係数の内から、上記クラス分類手段によるクラス分類結果に対応するものを出力する係数メモリと、
上記複数個のフレームメモリに記憶される各フレームから1個または複数個の画素を切出す第2の画像切出し手段と、
上記係数メモリの出力と、上記第2の画像切出し手段によって切出される画像領域のデータとに基づいて演算を行うことによって出力画像を生成する出力画像生成手段と、
上記画像信号内の注目画素および上記注目画素の周辺に位置する複数の画素を含む対象画素毎に、各対象画素を通り、時間方向に延びる直線上に位置する複数の画素を抽出する抽出手段と、上記注目画素の各々に対応する各対象画素に対して、上記抽出手段によって上記直線の方向毎に抽出される複数の画素の画素値に基づいて、上記直線の方向毎に類似度を検出する類似度検出手段と、上記対象画素毎の上記直線の方向毎に検出された上記類似度に基づいて、上記注目画素に対する動きベクトルを算出する動きベクトル算出手段を含む動きベクトル検出手段と、
上記動きベクトル検出手段によって検出される動きベクトルに基づいて、上記第1の画像切出し手段および/または上記第2の画像切出し手段によって切出される画素の位置を設定する切出し位置決定手段とを備えることを特徴とする画像信号処理装置。 - 画像信号をフレーム毎に記憶する記憶ステップと、
上記記憶ステップによって記憶される各フレームから1個または複数個の画素を切出す第1の画像切出しステップと、
上記第1の画像切出しステップによって切出される画素の画素値に基づいて時空間内での画像レベル分布のパターンを検出し、検出結果に応じてクラス分類を行うクラス分類ステップと、
クラス毎に予め決定された予測係数を記憶しており、記憶した予測係数の内から、上記クラス分類手段によるクラス分類結果に対応するものを出力する係数出力ステップと、
上記記憶ステップによって記憶される各フレームから1個または複数個の画素を切出す第2の画像切出しステップと、
上記係数出力ステップによる出力と、上記第2の画像切出しステップによって切出される画像領域のデータとに基づいて演算を行うことによって出力画像を生成する出力画像生成ステップと、
上記画像信号内の注目画素および上記注目画素の周辺に位置する複数の画素を含む対象画素毎に、各対象画素を通り、時間方向に延びる直線上に位置する複数の画素を抽出する抽出ステップと、上記注目画素の各々に対応する各対象画素に対して、上記抽出ステップによって上記直線の方向毎に抽出される複数の画素の画素値に基づいて、上記直線の方向毎に類似度を検出する類似度検出ステップと、上記対象画素毎の上記直線の方向毎に検出された上記類似度に基づいて、上記注目画素に対する動きベクトルを算出する動きベクトル算出ステップを含む動きベクトル検出ステップと、
上記動きベクトル検出ステップによって検出される動きベクトルに基づいて、上記第1の画像切出しステップおよび/または上記第2の画像切出しステップによって切出される画素の位置を設定する切出し位置決定ステップとを有することを特徴とする画像信号処理方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000020553A JP4403330B2 (ja) | 1999-05-31 | 2000-01-28 | 動きベクトル検出装置および検出方法、並びに画像信号処理装置および処理方法 |
US09/769,647 US6687388B2 (en) | 2000-01-28 | 2001-01-25 | Picture processing apparatus |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP11-152563 | 1999-05-31 | ||
JP15256399 | 1999-05-31 | ||
JP2000020553A JP4403330B2 (ja) | 1999-05-31 | 2000-01-28 | 動きベクトル検出装置および検出方法、並びに画像信号処理装置および処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001053981A JP2001053981A (ja) | 2001-02-23 |
JP4403330B2 true JP4403330B2 (ja) | 2010-01-27 |
Family
ID=26481439
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000020553A Expired - Fee Related JP4403330B2 (ja) | 1999-05-31 | 2000-01-28 | 動きベクトル検出装置および検出方法、並びに画像信号処理装置および処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4403330B2 (ja) |
-
2000
- 2000-01-28 JP JP2000020553A patent/JP4403330B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2001053981A (ja) | 2001-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100492127B1 (ko) | 적응형 움직임 추정장치 및 추정 방법 | |
US7667778B2 (en) | Image processing apparatus and method, and recording medium and program used therewith | |
US4703351A (en) | Apparatus for an efficient coding of television signals | |
US7738556B2 (en) | Apparatus and method for estimating motion vector with gradient method | |
US20010031069A1 (en) | Picture processing apparatus | |
US8064522B2 (en) | Motion-vector detecting device, motion-vector detecting method, and computer program | |
US7848427B2 (en) | Apparatus and method for determining motion vector with effective pixel gradient | |
KR100303108B1 (ko) | 움직임벡터검출장치및방법 | |
US6987884B2 (en) | Image processing device and method, and recorded medium | |
EP1585337B1 (en) | Image processing apparatus and method, recording medium and program | |
KR20060123438A (ko) | 화상 처리 장치 및 방법, 기록 매체, 및 프로그램 | |
JP2009509413A (ja) | 不規則な動きベクトルのサンプルに対する時間予測フィルタのための適応動き推定 | |
JP4224882B2 (ja) | データ処理装置およびデータ処理方法 | |
JP4517409B2 (ja) | データ処理装置およびデータ処理方法 | |
JP4407015B2 (ja) | ノイズ除去装置およびノイズ除去方法 | |
US20090310679A1 (en) | Video processing apparatus and methods | |
JP2005150903A (ja) | 画像処理装置、ノイズ除去方法及びノイズ除去プログラム | |
US7522748B2 (en) | Method and apparatus for processing image data and semiconductor storage device | |
KR100816593B1 (ko) | 화상 처리 장치, 화상 처리 방법, 및 기록 매체 | |
JP4403330B2 (ja) | 動きベクトル検出装置および検出方法、並びに画像信号処理装置および処理方法 | |
JP3175914B2 (ja) | 画像符号化方法および画像符号化装置 | |
JP4078806B2 (ja) | 画像処理装置、画像処理方法、学習装置および学習方法 | |
JP2004078863A (ja) | 画像処理装置および画像処理方法 | |
JP2980810B2 (ja) | 動きベクトル探索方法と装置 | |
JP3237815B2 (ja) | 動きベクトル探索方法および装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070116 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20090918 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091006 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091019 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121113 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121113 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131113 Year of fee payment: 4 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |