JPH05336512A - 動き検出装置 - Google Patents
動き検出装置Info
- Publication number
- JPH05336512A JPH05336512A JP14247092A JP14247092A JPH05336512A JP H05336512 A JPH05336512 A JP H05336512A JP 14247092 A JP14247092 A JP 14247092A JP 14247092 A JP14247092 A JP 14247092A JP H05336512 A JPH05336512 A JP H05336512A
- Authority
- JP
- Japan
- Prior art keywords
- block
- pixels
- pixel
- search
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【目的】 従来よりも少ない計算回数、小さい装置規模
で、検出精度を保持しながら動き検出法を得る。 【構成】 処理画面を複数個のブロックに分割する分割
手段31と、分割手段31により分割されたブロックの
うち動きベクトルを検出しようとする処理ブロックの位
置に対応している参照画面内の位置から所定の検出範囲
を設定し、前記検出範囲内を複数の探索位置間隔を段階
的に定めて探索し、各段階に応じて検出範囲内より処理
ブロックとのパターンマッチングを行なうための参照ブ
ロックを取り出す参照ブロック取り出し手段38と、探
索位置間隔に応じて参照ブロック、および処理ブロック
を構成する全ての画素、あるいは一部の画素を取り出す
画素取り出し手段40と、画素取り出し手段40によっ
て取り出された画素を用いて参照ブロック、および処理
ブロックのパターンマッチングを行なうパターンマッチ
ング手段44と、パターンマッチング手段44の結果よ
り各段階における動きベクトルを決定する手段45を有
する。
で、検出精度を保持しながら動き検出法を得る。 【構成】 処理画面を複数個のブロックに分割する分割
手段31と、分割手段31により分割されたブロックの
うち動きベクトルを検出しようとする処理ブロックの位
置に対応している参照画面内の位置から所定の検出範囲
を設定し、前記検出範囲内を複数の探索位置間隔を段階
的に定めて探索し、各段階に応じて検出範囲内より処理
ブロックとのパターンマッチングを行なうための参照ブ
ロックを取り出す参照ブロック取り出し手段38と、探
索位置間隔に応じて参照ブロック、および処理ブロック
を構成する全ての画素、あるいは一部の画素を取り出す
画素取り出し手段40と、画素取り出し手段40によっ
て取り出された画素を用いて参照ブロック、および処理
ブロックのパターンマッチングを行なうパターンマッチ
ング手段44と、パターンマッチング手段44の結果よ
り各段階における動きベクトルを決定する手段45を有
する。
Description
【0001】
【産業上の利用分野】本発明は映像信号の高能率符号化
などに用いられる動き検出装置に関する。
などに用いられる動き検出装置に関する。
【0002】
【従来の技術】動き検出は画像処理、フレーム間差分を
用いた高能率符号化などに用いられる技術である。動き
検出の一手法としてブロックマッチング法と呼ばれるも
のが従来より知られている。この概念図を図1に示す。
これは処理を行おうとしている処理画面を小ブロックに
分割し、各ブロックにおける動きを、参照に用いる参照
画面中の同位置にあるブロックから一定間隔で位置をず
らしていきながら処理画面のブロックとの予測誤差を順
次計算、比較していき、最も予測誤差の小さくなる位置
をそのブロックに対する動き補正位置とし、処理画面の
ブロックの位置と、そのブロックに対する動き補正位置
との差をそのブロックにおける動きベクトルとする。予
測誤差を求めるブロックの探索方法には代表的なものと
して、3ステップ法などの木探索法がある。図2に従来
の3ステップ法の概念図を示す。
用いた高能率符号化などに用いられる技術である。動き
検出の一手法としてブロックマッチング法と呼ばれるも
のが従来より知られている。この概念図を図1に示す。
これは処理を行おうとしている処理画面を小ブロックに
分割し、各ブロックにおける動きを、参照に用いる参照
画面中の同位置にあるブロックから一定間隔で位置をず
らしていきながら処理画面のブロックとの予測誤差を順
次計算、比較していき、最も予測誤差の小さくなる位置
をそのブロックに対する動き補正位置とし、処理画面の
ブロックの位置と、そのブロックに対する動き補正位置
との差をそのブロックにおける動きベクトルとする。予
測誤差を求めるブロックの探索方法には代表的なものと
して、3ステップ法などの木探索法がある。図2に従来
の3ステップ法の概念図を示す。
【0003】図3に従来の3ステップ法を用いた動き検
出装置の構成図を示す。1はブロック分割器、2は参照
画面蓄積器、3は処理ブロック取り出し器、4は処理ブ
ロック位置設定器、5は探索範囲設定器、6は探索ステ
ップ設定器、7はブロック探索器、8は参照ブロック取
り出し器、9はブロックマッチング器、10は動きベク
トル検出器である。
出装置の構成図を示す。1はブロック分割器、2は参照
画面蓄積器、3は処理ブロック取り出し器、4は処理ブ
ロック位置設定器、5は探索範囲設定器、6は探索ステ
ップ設定器、7はブロック探索器、8は参照ブロック取
り出し器、9はブロックマッチング器、10は動きベク
トル検出器である。
【0004】図2において処理画面中より処理ブロック
位置設定器4で設定した位置の処理ブロックXを処理ブ
ロック取り出し器3を用いて取り出し、そのブロック位
置と、同位置にある参照画面中の探索範囲設定器5で設
定された領域内の位置E1を基準位置としてブロック探
索器7を用いて設定し、E1にあるブロックを参照ブロ
ック取り出し器8を用いて取り出し、探索第1ステップ
の基準参照ブロックとする。
位置設定器4で設定した位置の処理ブロックXを処理ブ
ロック取り出し器3を用いて取り出し、そのブロック位
置と、同位置にある参照画面中の探索範囲設定器5で設
定された領域内の位置E1を基準位置としてブロック探
索器7を用いて設定し、E1にあるブロックを参照ブロ
ック取り出し器8を用いて取り出し、探索第1ステップ
の基準参照ブロックとする。
【0005】第1ステップとして基準位置にできる基準
参照ブロックE1と処理ブロックXとのブロックマッチ
ングをブロックマッチング器9を用いて取り、そこで得
られた予測誤差を動きベクトル検出器10に格納する。
ブロック探索器7に設定した基準位置からの参照ブロッ
クの動きベクトル量もまた同じく動きベクトル検出器1
0に格納する。その後、探索範囲設定器5で設定された
探索領域内を探索ステップ設定器6により設定された探
索画素間隔分である、縦v1画素、横h1画素の一定間
隔で第1ステップの基準参照ブロックE1よりブロック
位置をずらしていきながら新たな参照ブロックを参照ブ
ロック取り出し器8より取り出し、処理ブロックとのマ
ッチングを取り、順次予測誤差を計算し、最小予測誤差
値、および最小予測誤差値を取る場合の参照ブロックの
動きベクトル量を動きベクトル検出器10の値として更
新していく。そして最も予測誤差の小さくなる参照ブロ
ック位置を、A1からJ1の内より第1ステップの最適
ブロック位置として選びだし、この最適ブロック位置を
処理ブロックに対する動き補正位置とする。また基準位
置より最適ブロック位置までの動きベクトル量を処理ブ
ロックにおける第1ステップでの動きベクトルとする。
参照ブロックE1と処理ブロックXとのブロックマッチ
ングをブロックマッチング器9を用いて取り、そこで得
られた予測誤差を動きベクトル検出器10に格納する。
ブロック探索器7に設定した基準位置からの参照ブロッ
クの動きベクトル量もまた同じく動きベクトル検出器1
0に格納する。その後、探索範囲設定器5で設定された
探索領域内を探索ステップ設定器6により設定された探
索画素間隔分である、縦v1画素、横h1画素の一定間
隔で第1ステップの基準参照ブロックE1よりブロック
位置をずらしていきながら新たな参照ブロックを参照ブ
ロック取り出し器8より取り出し、処理ブロックとのマ
ッチングを取り、順次予測誤差を計算し、最小予測誤差
値、および最小予測誤差値を取る場合の参照ブロックの
動きベクトル量を動きベクトル検出器10の値として更
新していく。そして最も予測誤差の小さくなる参照ブロ
ック位置を、A1からJ1の内より第1ステップの最適
ブロック位置として選びだし、この最適ブロック位置を
処理ブロックに対する動き補正位置とする。また基準位
置より最適ブロック位置までの動きベクトル量を処理ブ
ロックにおける第1ステップでの動きベクトルとする。
【0006】次に上記で求めた補正位置を新たな基準位
置として、ブロック探索器7を用いて設定する。ここで
選ばれたブロック位置をB1とすると、探索ステップ設
定器6で設定された第2ステップの新たな基準位置とし
てB1を設定する。ここで改めてB1をE2と定める。
E2を第2ステップの基準位置とし、そこから縦v2画
素、横h2画素離れた位置にできるブロック中で最適な
ブロックをA2からJ2の内より選び出し、前記同様動
きベクトル検出器10により第2ステップの動きベクト
ルを検出する。ここで選ばれたブロック位置をC2とす
る。
置として、ブロック探索器7を用いて設定する。ここで
選ばれたブロック位置をB1とすると、探索ステップ設
定器6で設定された第2ステップの新たな基準位置とし
てB1を設定する。ここで改めてB1をE2と定める。
E2を第2ステップの基準位置とし、そこから縦v2画
素、横h2画素離れた位置にできるブロック中で最適な
ブロックをA2からJ2の内より選び出し、前記同様動
きベクトル検出器10により第2ステップの動きベクト
ルを検出する。ここで選ばれたブロック位置をC2とす
る。
【0007】最後に前記同様探索ステップ設定器3で設
定された第3ステップとして改めてC2をE3とする。
E3を第3ステップの基準位置とし、そこから縦v3,
横h3離れた位置にできるブロック中で最適なブロック
をA3からJ3の内より選び出し、前記同様動きベクト
ル検出器10により動きベクトルを検出する。
定された第3ステップとして改めてC2をE3とする。
E3を第3ステップの基準位置とし、そこから縦v3,
横h3離れた位置にできるブロック中で最適なブロック
をA3からJ3の内より選び出し、前記同様動きベクト
ル検出器10により動きベクトルを検出する。
【0008】
【発明が解決しようとする課題】しかしながら従来の方
法では、検索範囲を広げると計算回数及び時間、ハード
ウェア規模が大きくなる問題点があった。また動き検出
ブロックの大きさを大きくすると計算回数及び時間、ハ
ードウェア規模が大きくなり、検出精度をあげることが
困難となる問題点があった。本発明はかかる点に鑑み、
従来に比べ計算回数を抑えることを可能とする動き検出
方法を提供することを目的とする。
法では、検索範囲を広げると計算回数及び時間、ハード
ウェア規模が大きくなる問題点があった。また動き検出
ブロックの大きさを大きくすると計算回数及び時間、ハ
ードウェア規模が大きくなり、検出精度をあげることが
困難となる問題点があった。本発明はかかる点に鑑み、
従来に比べ計算回数を抑えることを可能とする動き検出
方法を提供することを目的とする。
【0009】
【課題を解決するための手段】この目的を達成するため
に、本発明の動き検出装置は、処理画面を複数個のブロ
ックに分担する分割手段と、前記分割手段により分割さ
れたブロックのうち動きベクトルを検出使用とする処理
ブロックの位置に対応している参照画面内の位置から、
所定の検出範囲を設定し、前記検出範囲内を、複数の探
索位置間隔を段階的に定めて探索し、前記各段階に応じ
て前記検出範囲内より前記処理ブロックとのパターンマ
ッチングを行うための参照ブロックを取り出す参照ブロ
ック取り出し手段と、前記探索位置間隔に応じて前記参
照ブロック、および前記処理ブロックを構成する全ての
画素、あるいは一部の画素を取り出す画素取り出し手段
と、前記画素取り出し手段によって取り出された画素を
用いて前記参照ブロック、および前記処理ブロックのパ
ターンマッチングを行うパターンマッチング手段と、前
記パターンマッチング手段の結果より前記各段階におけ
る動きベクトルを決定する手段を構成要件としている。
に、本発明の動き検出装置は、処理画面を複数個のブロ
ックに分担する分割手段と、前記分割手段により分割さ
れたブロックのうち動きベクトルを検出使用とする処理
ブロックの位置に対応している参照画面内の位置から、
所定の検出範囲を設定し、前記検出範囲内を、複数の探
索位置間隔を段階的に定めて探索し、前記各段階に応じ
て前記検出範囲内より前記処理ブロックとのパターンマ
ッチングを行うための参照ブロックを取り出す参照ブロ
ック取り出し手段と、前記探索位置間隔に応じて前記参
照ブロック、および前記処理ブロックを構成する全ての
画素、あるいは一部の画素を取り出す画素取り出し手段
と、前記画素取り出し手段によって取り出された画素を
用いて前記参照ブロック、および前記処理ブロックのパ
ターンマッチングを行うパターンマッチング手段と、前
記パターンマッチング手段の結果より前記各段階におけ
る動きベクトルを決定する手段を構成要件としている。
【0010】
【作用】本発明によれば動きベクトル探索に用いる画素
の配置を行うことにより、より少ない計算回数、小さい
装置規模で検出精度を保持しながら動き検出法を得るこ
とができる。
の配置を行うことにより、より少ない計算回数、小さい
装置規模で検出精度を保持しながら動き検出法を得るこ
とができる。
【0011】
【実施例】図4は本発明の第1の実施例を説明するため
の動き検出装置の構成図である。
の動き検出装置の構成図である。
【0012】図において31はブロック分割器、32は
参照画面蓄積器、33は処理ブロック取り出し器、34
は処理ブロック位置設定器、35は探索範囲設定器、3
6は探索ステップ設定器、37はブロック探索器、38
は参照ブロック取り出し器、39,40は画素取り出し
器、41,42はフィルタ、43は画素配置器、44は
ブロックマッチング器、45は動きベクトル検出器であ
る。参照ブロック、および処理ブロックを縦16画素、
横16画素、計256画素(16×16画素)で構成
し、また探索ステップが3である場合を示す。また参照
画面内の探索範囲を縦、横±7画素とし、ステップ1,
2、および3の場合の参照画面内の探索範囲をそれぞれ
縦、横±4,±2、および±1画素とする。なお3つの
ステップの参照画面内の探索間隔をそれぞれ記号(v
1,h1)(v2,h2)(v3,h3)で示す。入力
した処理画面をブロック分割器31により分割し、その
中で処理ブロック位置設定器34によって設定された位
置のブロックを処理ブロック取り出し器33から取り出
す。また参照画面を参照画面蓄積器32により蓄積す
る。蓄積された参照画面内から、処理ブロック位置設定
器34で設定された位置を探索範囲設定器35に設定
し、その位置より探索範囲を設定する。そして探索範囲
設定器35に設定された位置を基準位置として設定され
た範囲より、処理ブロックと同位置にある参照画面内の
位置を基準位置としてブロック探索器37を用いて設定
する。そして設定された位置のブロックを参照ブロック
とする。
参照画面蓄積器、33は処理ブロック取り出し器、34
は処理ブロック位置設定器、35は探索範囲設定器、3
6は探索ステップ設定器、37はブロック探索器、38
は参照ブロック取り出し器、39,40は画素取り出し
器、41,42はフィルタ、43は画素配置器、44は
ブロックマッチング器、45は動きベクトル検出器であ
る。参照ブロック、および処理ブロックを縦16画素、
横16画素、計256画素(16×16画素)で構成
し、また探索ステップが3である場合を示す。また参照
画面内の探索範囲を縦、横±7画素とし、ステップ1,
2、および3の場合の参照画面内の探索範囲をそれぞれ
縦、横±4,±2、および±1画素とする。なお3つの
ステップの参照画面内の探索間隔をそれぞれ記号(v
1,h1)(v2,h2)(v3,h3)で示す。入力
した処理画面をブロック分割器31により分割し、その
中で処理ブロック位置設定器34によって設定された位
置のブロックを処理ブロック取り出し器33から取り出
す。また参照画面を参照画面蓄積器32により蓄積す
る。蓄積された参照画面内から、処理ブロック位置設定
器34で設定された位置を探索範囲設定器35に設定
し、その位置より探索範囲を設定する。そして探索範囲
設定器35に設定された位置を基準位置として設定され
た範囲より、処理ブロックと同位置にある参照画面内の
位置を基準位置としてブロック探索器37を用いて設定
する。そして設定された位置のブロックを参照ブロック
とする。
【0013】探索ステップ設定器36で探索ステップを
第1ステップに初期化し、かつ、探索ステップ設定器3
6より第1ステップでの探索画素間隔であるv1,h1
およびブロック内の画素配置位置を設定する。取り出さ
れた第1ステップ1での画素間隔で、探索範囲設定器3
5で設定した探索範囲をブロック探索器37により探索
し、その範囲内の参照ブロックを参照ブロック取り出し
器38より取り出す。処理ブロック取り出し器33より
取り出された処理ブロック、および参照ブロック取り出
し器38より取り出された参照ブロックの双方のブロッ
クを構成する画素に低域通過フィルタをフィルタ41,
42を用いて掛け、フィルタの掛かった画素の内、探索
ステップ設定器36で設定された画素を画素配置器43
により配置する。配置された参照ブロックおよび処理ブ
ロック双方の画素を画素取り出し器39,40を用いて
取り出し、ブロックマッチング器44を用いてマッチン
グを行う。図5には参照ブロック,処理ブロックなどの
ブロックを構成する画素Px、および画素取り出し器3
9から取り出された各ステップごとの画素P1,P2,
P3を示す。図5内で白丸で示したものが画素取り出し
器59から取り出された画素である。なおここでは各ス
テップごとに取り出された画素数をそれぞれ32,6
3,128とした。
第1ステップに初期化し、かつ、探索ステップ設定器3
6より第1ステップでの探索画素間隔であるv1,h1
およびブロック内の画素配置位置を設定する。取り出さ
れた第1ステップ1での画素間隔で、探索範囲設定器3
5で設定した探索範囲をブロック探索器37により探索
し、その範囲内の参照ブロックを参照ブロック取り出し
器38より取り出す。処理ブロック取り出し器33より
取り出された処理ブロック、および参照ブロック取り出
し器38より取り出された参照ブロックの双方のブロッ
クを構成する画素に低域通過フィルタをフィルタ41,
42を用いて掛け、フィルタの掛かった画素の内、探索
ステップ設定器36で設定された画素を画素配置器43
により配置する。配置された参照ブロックおよび処理ブ
ロック双方の画素を画素取り出し器39,40を用いて
取り出し、ブロックマッチング器44を用いてマッチン
グを行う。図5には参照ブロック,処理ブロックなどの
ブロックを構成する画素Px、および画素取り出し器3
9から取り出された各ステップごとの画素P1,P2,
P3を示す。図5内で白丸で示したものが画素取り出し
器59から取り出された画素である。なおここでは各ス
テップごとに取り出された画素数をそれぞれ32,6
3,128とした。
【0014】マッチングにより得られた参照ブロック、
処理ブロック間の予測誤差を動きベクトル検出器45に
格納する。探索範囲設定器35に設定した基準位置から
の参照ブロックの動きベクトル量も同じく動きベクトル
検出器45に格納する。
処理ブロック間の予測誤差を動きベクトル検出器45に
格納する。探索範囲設定器35に設定した基準位置から
の参照ブロックの動きベクトル量も同じく動きベクトル
検出器45に格納する。
【0015】その後、探索範囲設定器35で設定された
探索領域内を探索ステップ設定器36により設定された
探索画素間隔分の一定間隔でずらしていきながら新たな
参照ブロックを参照ブロック取り出し器38を用いて取
り出し、双方のブロックを構成する画素に低域通過フィ
ルタをフィルタ41,42を用いて掛け、フィルタの掛
かった画素の内、探索ステップ設定器36で設定された
画素を画素配置器43により配置する。配置された参照
ブロックおよび処理ブロック双方の画素を画素取り出し
器39,40を用いて取り出し、ブロックマッチング器
44を用いてマッチングを行う。マッチングによって得
られた予測誤差を順次計算し、最低予測誤差値、および
最低予測誤差値を取る場合の動きベクトル量を動きベク
トル検出器45の値として更新していく。そして最も予
測誤差の小さくなる参照ブロックの位置を最適ブロック
位置とし、この最適ブロック位置を処理ブロックに対す
る動き補正位置とする。また基準位置より最適マクロブ
ロック位置までの動きベクトル量を処理ブロックにおけ
る第1ステップでの動きベクトルとする。
探索領域内を探索ステップ設定器36により設定された
探索画素間隔分の一定間隔でずらしていきながら新たな
参照ブロックを参照ブロック取り出し器38を用いて取
り出し、双方のブロックを構成する画素に低域通過フィ
ルタをフィルタ41,42を用いて掛け、フィルタの掛
かった画素の内、探索ステップ設定器36で設定された
画素を画素配置器43により配置する。配置された参照
ブロックおよび処理ブロック双方の画素を画素取り出し
器39,40を用いて取り出し、ブロックマッチング器
44を用いてマッチングを行う。マッチングによって得
られた予測誤差を順次計算し、最低予測誤差値、および
最低予測誤差値を取る場合の動きベクトル量を動きベク
トル検出器45の値として更新していく。そして最も予
測誤差の小さくなる参照ブロックの位置を最適ブロック
位置とし、この最適ブロック位置を処理ブロックに対す
る動き補正位置とする。また基準位置より最適マクロブ
ロック位置までの動きベクトル量を処理ブロックにおけ
る第1ステップでの動きベクトルとする。
【0016】次に上記求めた補正位置を新たな基準位置
としてブロック探索器37に設定する。そして探索画素
間隔、処理ブロック、および参照ブロック内の画素配置
位置を探索ステップ設定器36より新たに第2ステップ
とし設定し、上記第1ステップの場合と同様に処理ブロ
ックにおける第2ステップでの動きベクトルを求める。
としてブロック探索器37に設定する。そして探索画素
間隔、処理ブロック、および参照ブロック内の画素配置
位置を探索ステップ設定器36より新たに第2ステップ
とし設定し、上記第1ステップの場合と同様に処理ブロ
ックにおける第2ステップでの動きベクトルを求める。
【0017】また同様に第2ステップで求めた補正位置
を次の第3ステップの基準位置とし第3ステップでの動
きベクトルを求める。
を次の第3ステップの基準位置とし第3ステップでの動
きベクトルを求める。
【0018】なお、以上の第1の実施例において、探索
ステップ回数を3回としたが、探索ステップ回数は任意
である。また、参照画面内の探索範囲を縦、横±7画
素、および探索間隔を各ステップごとにそれぞれ縦、横
±4,±2,±1画素としたが、探索範囲および探索間
隔は任意である。また、画素配置器43で配置される画
素数の配置位置を図5に示したが、画素の配置位置は任
意である。
ステップ回数を3回としたが、探索ステップ回数は任意
である。また、参照画面内の探索範囲を縦、横±7画
素、および探索間隔を各ステップごとにそれぞれ縦、横
±4,±2,±1画素としたが、探索範囲および探索間
隔は任意である。また、画素配置器43で配置される画
素数の配置位置を図5に示したが、画素の配置位置は任
意である。
【0019】なお、以上の第1の実施例において、参照
ブロック取り出し器38、および処理ブロック取り出し
器33より取り出されたブロックの大きさをV0×H
0、また画素取り出し器59,60から取り出された各
ステップごとの画素数をV1×H1,V2×H2,V3
×H3とした場合、V0,H0,V1,H1,V2,H
2,V3,H3は任意である。但し、V1,V2,V3
はV0以下、またH1,H2,H3はH0以下でなけれ
ばならない。また、予測誤差を得る際に行う計算方法と
して、例えば画素取り出し器59,60から取り出され
た双方の御そのそれぞれの差の絶対値和を求める方法な
どがあるが、予測誤差を得る際に行う計算方法は任意で
ある。
ブロック取り出し器38、および処理ブロック取り出し
器33より取り出されたブロックの大きさをV0×H
0、また画素取り出し器59,60から取り出された各
ステップごとの画素数をV1×H1,V2×H2,V3
×H3とした場合、V0,H0,V1,H1,V2,H
2,V3,H3は任意である。但し、V1,V2,V3
はV0以下、またH1,H2,H3はH0以下でなけれ
ばならない。また、予測誤差を得る際に行う計算方法と
して、例えば画素取り出し器59,60から取り出され
た双方の御そのそれぞれの差の絶対値和を求める方法な
どがあるが、予測誤差を得る際に行う計算方法は任意で
ある。
【0020】図6は本発明の第2の実施例を説明するた
めの動き検出装置の構成図である。図において51はブ
ロック分割器、52は参照画像蓄積器、53は処理ブロ
ック取り出し器、54は処理ブロック位置設定器、55
は探索範囲設定器、56は探索ステップ設定器、57は
探索器、58は参照基準位置設定器、59,60は画素
取り出し器、61,62はフィルタ、63は画素配置
器、64はマッチング器、65は動きベクトル検出器で
ある。処理ブロックを縦16画素、横16画素、計25
6画素(16×16画素)で構成し、また探索ステップ
が3である場合を示す。また参照画面内の探索範囲を
縦、横±7画素とし、ステップ1,2、および3の場合
の参照画面内の探索範囲をそれぞれ縦、横±4,±2,
および±1画素とする。なお3つのステップの参照画面
内の探索間隔をそれぞれ記号(v1,h1)(v2,h
2)(v3,h3)で示す。
めの動き検出装置の構成図である。図において51はブ
ロック分割器、52は参照画像蓄積器、53は処理ブロ
ック取り出し器、54は処理ブロック位置設定器、55
は探索範囲設定器、56は探索ステップ設定器、57は
探索器、58は参照基準位置設定器、59,60は画素
取り出し器、61,62はフィルタ、63は画素配置
器、64はマッチング器、65は動きベクトル検出器で
ある。処理ブロックを縦16画素、横16画素、計25
6画素(16×16画素)で構成し、また探索ステップ
が3である場合を示す。また参照画面内の探索範囲を
縦、横±7画素とし、ステップ1,2、および3の場合
の参照画面内の探索範囲をそれぞれ縦、横±4,±2,
および±1画素とする。なお3つのステップの参照画面
内の探索間隔をそれぞれ記号(v1,h1)(v2,h
2)(v3,h3)で示す。
【0021】入力した処理画面をブロック分割器51に
より分割し、その中で処理ブロック位置設定器54によ
って設定された位置のブロックを処理ブロック取り出し
器53から取り出す。また参照画面を参照画面蓄積器5
2により蓄積する。蓄積された参照画面内より、処理ブ
ロック位置設定器54で設定された位置より探索範囲設
定器55を用いて探索範囲を設定する。また、処理ブロ
ック位置設定器54で設定された位置を、第1ステップ
基準位置として、参照基準位置設定器58に設定する。
より分割し、その中で処理ブロック位置設定器54によ
って設定された位置のブロックを処理ブロック取り出し
器53から取り出す。また参照画面を参照画面蓄積器5
2により蓄積する。蓄積された参照画面内より、処理ブ
ロック位置設定器54で設定された位置より探索範囲設
定器55を用いて探索範囲を設定する。また、処理ブロ
ック位置設定器54で設定された位置を、第1ステップ
基準位置として、参照基準位置設定器58に設定する。
【0022】探索ステップ設定機56で探索ステップを
第1ステップに初期化し、かつ、探索ステップ設定器5
6より第1ステップでの探索画素間隔であるv1,h
1、およびブロック内の画素配置位置を設定する。取り
出された第1ステップ1での画素間隔で、探索範囲設定
器55での設定した探索範囲を探索器57により探索
し、その範囲内の参照位置を参照基準位置設定器58に
より設定する。
第1ステップに初期化し、かつ、探索ステップ設定器5
6より第1ステップでの探索画素間隔であるv1,h
1、およびブロック内の画素配置位置を設定する。取り
出された第1ステップ1での画素間隔で、探索範囲設定
器55での設定した探索範囲を探索器57により探索
し、その範囲内の参照位置を参照基準位置設定器58に
より設定する。
【0023】処理ブロックの取り出し器53より取り出
された処理ブロックを構成する画素に低域通過フィルタ
をフィルタ61を用いて掛け、フィルタの掛かった画素
の内、探索ステップ設定器56で設定された画素を画素
配置器63により配置する。配置された処理ブロック中
の画素を画素取り出し器59を用いて取り出す。また前
記参照基準位置設定器58で設定された参照位置より、
探索ステップ設定器56で設定された画素を画素配置器
63により配置し、配置された画素を画素取り出し器6
0を用いて取り出すが、取り出す際に、取り出す画素の
近傍画素に低域通過フィルタをフィルタ62を用いて掛
けた後に取り出す。
された処理ブロックを構成する画素に低域通過フィルタ
をフィルタ61を用いて掛け、フィルタの掛かった画素
の内、探索ステップ設定器56で設定された画素を画素
配置器63により配置する。配置された処理ブロック中
の画素を画素取り出し器59を用いて取り出す。また前
記参照基準位置設定器58で設定された参照位置より、
探索ステップ設定器56で設定された画素を画素配置器
63により配置し、配置された画素を画素取り出し器6
0を用いて取り出すが、取り出す際に、取り出す画素の
近傍画素に低域通過フィルタをフィルタ62を用いて掛
けた後に取り出す。
【0024】画素取り出し器59,60を用いて取り出
した参照画面内の画素、および処理ブロック中の画素の
マッチングを、マッチング器64を用いて行う。図5に
は処理ブロックのブロックを構成する画素Px、および
画素取り出し器59から取り出された各ステップごとの
画素P1,P2,P3を示す。図5内で白丸で示したも
のが画素取り出し器59から取り出された画素である。
なおここでは各ステップごとに取り出される画素数をそ
れぞれ32,64,128とした。マッチングにより得
られた予測誤差を動きベクトル検出器65に格納する。
参照基準位置設定器58に設定した第1ステップ基準位
置から、同じく参照基準位置設定器58で設定された参
照位置までの動きベクトル量もまた同じく動きベクトル
検出器65に格納する。その後、探索範囲設定器55で
設定された探索領域内を探索ステップ設定器56により
設定された探索画素間隔分の一定時間でずらしていきな
がら新たな参照位置を参照基準位置設定器58で設定
し、処理ブロック取り出し器53より取り出された処理
ブロックを構成する画素に低域通過フィルタをフィルタ
61を用いて掛け、フィルタの掛かった画素の内、探索
ステップ設定器56で設定された画素を画素配置器63
により配置する。配置された処理ブロック中の画素を画
素取り出し器59を用いて取り出す。また前記参照基準
位置設定器58で設定された参照位置より、探索ステッ
プ設定器56で設定された画素を画素配置器63により
配置し、配置された画素を画素取り出し器60を用いて
取り出すが、取り出す際に、取り出す画素の近傍画素に
低域通過フィルタをフィルタ62を用いて掛けた後に取
り出す。取り出した処理ブロック中の画素と、参照画像
中の画素とのマッチングをマッチング器64を用いて取
り、順次予測誤差を計算し、最低予測誤差値、および最
低予測誤差値を取る場合の動きベクトル量を動きベクト
ル検出器53の値として更新していく。そして最も予測
誤差の小さくなる参照位置を処理ブロックに対する動き
補正位置とし、また第1ステップ基準位置から動き補正
位置までの動きベクトル量を処理ブロックにおける第1
ステップでの動きベクトルとする。
した参照画面内の画素、および処理ブロック中の画素の
マッチングを、マッチング器64を用いて行う。図5に
は処理ブロックのブロックを構成する画素Px、および
画素取り出し器59から取り出された各ステップごとの
画素P1,P2,P3を示す。図5内で白丸で示したも
のが画素取り出し器59から取り出された画素である。
なおここでは各ステップごとに取り出される画素数をそ
れぞれ32,64,128とした。マッチングにより得
られた予測誤差を動きベクトル検出器65に格納する。
参照基準位置設定器58に設定した第1ステップ基準位
置から、同じく参照基準位置設定器58で設定された参
照位置までの動きベクトル量もまた同じく動きベクトル
検出器65に格納する。その後、探索範囲設定器55で
設定された探索領域内を探索ステップ設定器56により
設定された探索画素間隔分の一定時間でずらしていきな
がら新たな参照位置を参照基準位置設定器58で設定
し、処理ブロック取り出し器53より取り出された処理
ブロックを構成する画素に低域通過フィルタをフィルタ
61を用いて掛け、フィルタの掛かった画素の内、探索
ステップ設定器56で設定された画素を画素配置器63
により配置する。配置された処理ブロック中の画素を画
素取り出し器59を用いて取り出す。また前記参照基準
位置設定器58で設定された参照位置より、探索ステッ
プ設定器56で設定された画素を画素配置器63により
配置し、配置された画素を画素取り出し器60を用いて
取り出すが、取り出す際に、取り出す画素の近傍画素に
低域通過フィルタをフィルタ62を用いて掛けた後に取
り出す。取り出した処理ブロック中の画素と、参照画像
中の画素とのマッチングをマッチング器64を用いて取
り、順次予測誤差を計算し、最低予測誤差値、および最
低予測誤差値を取る場合の動きベクトル量を動きベクト
ル検出器53の値として更新していく。そして最も予測
誤差の小さくなる参照位置を処理ブロックに対する動き
補正位置とし、また第1ステップ基準位置から動き補正
位置までの動きベクトル量を処理ブロックにおける第1
ステップでの動きベクトルとする。
【0025】次に上記で求めた最終的な動き補正位置を
新たに第2ステップ基準位置として参照基準位置設定器
58に設定する。そして探索画素間隔,処理ブロック、
および参照画面内の画素配置位置を探索ステップ設定器
56より新たに第2ステップとして設定し、上記第1ス
テップの場合と同様に処理ブロックにおける第2ステッ
プでの動きベクトルを求める。また同様に第2ステップ
で求めた動き補正位置を次の第3ステップの第3ステッ
プ基準位置とし第3ステップでの動きベクトルを求め
る。
新たに第2ステップ基準位置として参照基準位置設定器
58に設定する。そして探索画素間隔,処理ブロック、
および参照画面内の画素配置位置を探索ステップ設定器
56より新たに第2ステップとして設定し、上記第1ス
テップの場合と同様に処理ブロックにおける第2ステッ
プでの動きベクトルを求める。また同様に第2ステップ
で求めた動き補正位置を次の第3ステップの第3ステッ
プ基準位置とし第3ステップでの動きベクトルを求め
る。
【0026】なお、以上の第2の実施例において、探索
ステップ回数を3回としたが、探索ステップ回数は任意
である。また、参照画面内の探索範囲を縦、横±7画
素、および探索間隔を各ステップごとにそれぞれ縦、横
±4,±2,±1画素としたが、探索範囲および探索間
隔は任意である。また、画素配置器63で配置される画
素の配置位置を図5に示したが、画素の配置位置は任意
である。
ステップ回数を3回としたが、探索ステップ回数は任意
である。また、参照画面内の探索範囲を縦、横±7画
素、および探索間隔を各ステップごとにそれぞれ縦、横
±4,±2,±1画素としたが、探索範囲および探索間
隔は任意である。また、画素配置器63で配置される画
素の配置位置を図5に示したが、画素の配置位置は任意
である。
【0027】また、処理ブロック取り出し器53より取
り出されたブロックの大きさをV0×H0、また画素取
り出し器59,60から取り出された各ステップごとの
画素数をV1×H1,V2×H2,V3×H3とした場
合、V0,H0,V1,H1,V2,H2,V3,H3
は任意である。但し、V1,V2,V3はV0以下、ま
たH1,H2,H3はH0以下でなければならない。ま
た、予測誤差を得る際に行う計算方法として、例えば画
素取り出し器59,60から取り出された双方の御その
それぞれの差の絶対値和を求める方法などがあるが、予
測誤差を得る際に行う計算方法は任意である。
り出されたブロックの大きさをV0×H0、また画素取
り出し器59,60から取り出された各ステップごとの
画素数をV1×H1,V2×H2,V3×H3とした場
合、V0,H0,V1,H1,V2,H2,V3,H3
は任意である。但し、V1,V2,V3はV0以下、ま
たH1,H2,H3はH0以下でなければならない。ま
た、予測誤差を得る際に行う計算方法として、例えば画
素取り出し器59,60から取り出された双方の御その
それぞれの差の絶対値和を求める方法などがあるが、予
測誤差を得る際に行う計算方法は任意である。
【0028】実施例において段階的に探索を行う際の段
階数をs、1段階毎の探索領域数m,1ブロック当りの
構成画素数nとすると、従来の技術では1ブロックの動
きベクトルを検出する際に例えばsが3、つまり3段階
によって探索を行うとすれば3×m×n×2の演算が必
要であった。しかしながら、構成画素数nの内、段階
1,2,3において配置する画総数をそれぞれn1,n
2,n3とすると、演算回数は本発明ではm×(n1+
n2+n3)×2となる。ただしn≧n1,n≧n2,
n≧n3である。
階数をs、1段階毎の探索領域数m,1ブロック当りの
構成画素数nとすると、従来の技術では1ブロックの動
きベクトルを検出する際に例えばsが3、つまり3段階
によって探索を行うとすれば3×m×n×2の演算が必
要であった。しかしながら、構成画素数nの内、段階
1,2,3において配置する画総数をそれぞれn1,n
2,n3とすると、演算回数は本発明ではm×(n1+
n2+n3)×2となる。ただしn≧n1,n≧n2,
n≧n3である。
【0029】
【発明の効果】本発明は前記した構成により1動きベク
トル検出のための演算回数は従来より((3×n−(n
1+n2+n3))×m×2)回削減可能となる。また
実施例においてはマッチングに用いる画素を取り出す際
にフィルタを用いたが、このフィルタを用いずに装置規
模の減少を図ることもできる。
トル検出のための演算回数は従来より((3×n−(n
1+n2+n3))×m×2)回削減可能となる。また
実施例においてはマッチングに用いる画素を取り出す際
にフィルタを用いたが、このフィルタを用いずに装置規
模の減少を図ることもできる。
【図1】本発明の一実施例の動き検出装置の動き検出の
一手法であるブロックマッチング法の概念図
一手法であるブロックマッチング法の概念図
【図2】従来の動きベクトル検出法の一例である3ステ
ップ法の概念図
ップ法の概念図
【図3】従来の3ステップ法を用いた動き検出装置の構
成図
成図
【図4】本発明の第1の実施例を説明するための動き検
出装置の構成図
出装置の構成図
【図5】ブロックマッチングに用いた場合に基準となる
ブロックを構成する画素、および実際にブロックマッチ
ングに用いる画素の配置を示す概念図
ブロックを構成する画素、および実際にブロックマッチ
ングに用いる画素の配置を示す概念図
【図6】本発明の第2の実施例を説明するための動き検
出装置の構成図
出装置の構成図
31 ブロック分割器 39 画素取り出し器 43 画素配置器 44 ブロックマッチング器 45 動きベクトル検出器
Claims (6)
- 【請求項1】 入力画像信号の画面のうち、処理画面と
参照画面との間における動きベクトルの検出を行なう動
き検出装置において、前記処理画面を複数個のブロック
に分割する分割手段と、前記分割手段により分割された
ブロックのうち動きベクトルを検出しようとする処理ブ
ロックの位置に対応している前記参照画面内の位置か
ら、所定の検出範囲を設定し、前記検出範囲内を、複数
の探索位置間隔を段階的に定めて探索し、前記各段階に
応じて前記検出範囲内より前記処理ブロックとのパター
ンマッチングを行うための参照ブロックを取り出す参照
ブロック取り出し手段と、前記探索位置間隔に応じて前
記参照ブロック、および前記処理ブロックを構成する全
ての画素、あるいは一部の画素を取り出す画素取り出し
手段と、前記画素取り出し手段によって取り出された画
素を用いて前記参照ブロック、および前記処理ブロック
のパターンマッチングを行うパターンマッチング手段
と、前記パターンマッチング手段の結果より前記各段階
における動きベクトルを決定する手段を有することを特
徴とする動き検出装置。 - 【請求項2】 画素取り出し手段に、探索位置間隔が狭
まるにつれて、取り出す画素数を増やす手段を接続した
請求項1記載の動き検出装置。 - 【請求項3】 画素取り出し手段として、参照ブロッ
ク、および処理ブロックを構成する画素に低域通過フィ
ルタを掛け、前記低域通過フィルタを掛けた画素のう
ち、全ての画素、あるいは少ない画素数の画素を取り出
す手段を用いた請求項1記載の動き検出装置。 - 【請求項4】 入力画像信号の画面のうち、処理画面と
参照画面との間における動きベクトルの検出を行う動き
検出装置において、前記処理画面を複数個のブロックに
分割する分割手段と、前記分割手段により分割されたブ
ロックのうち動きベクトルを検出しようとする処理ブロ
ックの位置に対応している前記参照画面内の位置から、
所定の検出範囲を設定し、前記検出範囲内を、複数の探
索位置間隔を段階的に定めて探索し、前記各段階に応じ
て前記検出範囲内により前記処理ブロックとのパターン
マッチングを行うための参照基準位置を設定する参照基
準位置設定手段と、前記探索位置間隔に応じて前記参照
基準位置設定手段により設定された基準位置より参照画
面内の画素である参照画素の取り出しを設定する参照画
素取出手段と、前記各段階に応じて前記処理ブロックを
構成する処理ブロック内の全ての画素、あるいは一部の
画素を取り出す処理画素取り出し手段と、前記参照画素
取り出し手段、および前記処理画素取り出し手段によっ
て取り出された画素を用いて前記参照ブロック、および
前記処理ブロックのパターンマッチングを行うパターン
マッチング手段と、前記パターンマッチング手段の結果
より前記各段階における動きベクトルを決定する手段を
有することを特徴とする動き検出装置。 - 【請求項5】 画素取り出し手段に、探索位置間隔が狭
まるにつれて、取り出す画素数を増やす手段を接続した
請求項4記載の動き検出装置。 - 【請求項6】 参照画素取り出し手段と、処理画素取り
出し手段として、前記参照画素に低域通過フィルタを掛
け、探索位置間隔に応じて参照位置設定手段により設定
された基準位置より参照画素の取り出しを設定する手段
と、処理ブロックを構成する画素に低域通過フィルタを
掛け、前記低域通過フィルタを掛けた画素のうち、全て
の画素、あるいは少ない画素数の画素を取り出す手段を
備えた請求項4記載の動き検出装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14247092A JPH05336512A (ja) | 1992-06-03 | 1992-06-03 | 動き検出装置 |
US08/409,965 US5475446A (en) | 1992-03-09 | 1995-03-24 | Picture signal motion detector employing partial decimation of pixel blocks |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14247092A JPH05336512A (ja) | 1992-06-03 | 1992-06-03 | 動き検出装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH05336512A true JPH05336512A (ja) | 1993-12-17 |
Family
ID=15316070
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP14247092A Pending JPH05336512A (ja) | 1992-03-09 | 1992-06-03 | 動き検出装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH05336512A (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6912296B2 (en) | 2000-07-28 | 2005-06-28 | Samsung Electronics Co., Ltd. | Motion estimation method |
KR100505377B1 (ko) * | 1996-12-25 | 2005-11-22 | 가부시끼가이샤 히다치 세이사꾸쇼 | 화상프로세서,화상처리장치및화상처리방법 |
JP2010146208A (ja) * | 2008-12-17 | 2010-07-01 | Fuji Xerox Co Ltd | 情報処理装置及びプログラム |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02224490A (ja) * | 1989-02-27 | 1990-09-06 | Victor Co Of Japan Ltd | 動きベクトル検出回路 |
JPH02274083A (ja) * | 1989-04-17 | 1990-11-08 | Nec Corp | 動ベクトル検出装置 |
-
1992
- 1992-06-03 JP JP14247092A patent/JPH05336512A/ja active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH02224490A (ja) * | 1989-02-27 | 1990-09-06 | Victor Co Of Japan Ltd | 動きベクトル検出回路 |
JPH02274083A (ja) * | 1989-04-17 | 1990-11-08 | Nec Corp | 動ベクトル検出装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100505377B1 (ko) * | 1996-12-25 | 2005-11-22 | 가부시끼가이샤 히다치 세이사꾸쇼 | 화상프로세서,화상처리장치및화상처리방법 |
US6912296B2 (en) | 2000-07-28 | 2005-06-28 | Samsung Electronics Co., Ltd. | Motion estimation method |
JP2010146208A (ja) * | 2008-12-17 | 2010-07-01 | Fuji Xerox Co Ltd | 情報処理装置及びプログラム |
US8340467B2 (en) | 2008-12-17 | 2012-12-25 | Fuji Xerox Co., Ltd. | Information processor, information processing method, and computer readable medium |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210020171A1 (en) | Digital Video Fingerprinting Using Motion Segmentation | |
US20010014124A1 (en) | Motion vector estimation circuit and method | |
US4809349A (en) | Method of automatically extracting a contrasting object in a digital image | |
US5184216A (en) | Image sensing apparatus having camera-shake detection function | |
JPS5839357B2 (ja) | パタ−ンの位置検出方法 | |
US7953151B2 (en) | Motion vector detecting apparatus | |
JPH09102910A (ja) | 動画像処理装置および方法 | |
JP5364264B2 (ja) | ニューラルネットワークを用いたブロック性欠陥の位置検出 | |
US5475446A (en) | Picture signal motion detector employing partial decimation of pixel blocks | |
JPH05336512A (ja) | 動き検出装置 | |
JPH05159064A (ja) | 画像探索装置 | |
JP4330914B2 (ja) | 動物体検出装置および動物体検出方法 | |
JPH07154801A (ja) | 階層型動きベクトル検出方法 | |
JP4228705B2 (ja) | 動きベクトル探索方法および装置 | |
JP4537645B2 (ja) | 物体追跡装置および物体追跡装置制御方法 | |
JPH05328335A (ja) | 動き検出装置 | |
JPH04157577A (ja) | 位置合わせ装置 | |
JP3524007B2 (ja) | 動画場面転換部検出装置および方法、動画場面転換部検出制御プログラムを記憶した媒体、ならびに動画処理装置 | |
JPH09224249A (ja) | 動きベクトル検出装置 | |
JPH096947A (ja) | 物体追跡装置 | |
JPH0549023A (ja) | 動画像の動き情報検出方式 | |
JP2006197387A (ja) | 動きベクトル探索装置及び動きベクトル探索プログラム | |
JPS623475B2 (ja) | ||
JPH0746457A (ja) | 動き量検出装置及び動き量検出方法 | |
JPH05168002A (ja) | 動き検出装置 |