JPH10191352A - 動きベクトル検出装置および方法 - Google Patents

動きベクトル検出装置および方法

Info

Publication number
JPH10191352A
JPH10191352A JP34192896A JP34192896A JPH10191352A JP H10191352 A JPH10191352 A JP H10191352A JP 34192896 A JP34192896 A JP 34192896A JP 34192896 A JP34192896 A JP 34192896A JP H10191352 A JPH10191352 A JP H10191352A
Authority
JP
Japan
Prior art keywords
motion vector
cumulative addition
value
circuit
cumulative
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP34192896A
Other languages
English (en)
Other versions
JP3631868B2 (ja
Inventor
Tsuyoshi Nishikawa
川 剛 志 西
Yoshiro Tsuboi
井 芳 朗 坪
Masashi Takahashi
橋 真 史 高
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP34192896A priority Critical patent/JP3631868B2/ja
Priority to US08/993,747 priority patent/US6031582A/en
Publication of JPH10191352A publication Critical patent/JPH10191352A/ja
Application granted granted Critical
Publication of JP3631868B2 publication Critical patent/JP3631868B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/557Motion estimation characterised by stopping computation or iteration based on certain criteria, e.g. error magnitude being too large or early exit
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

(57)【要約】 【課題】 動きベクトル検出のためのパイプライン構成
による並列処理における不要な累積加算を適宜省略し、
処理の高速化と低消費電力化を図る。 【解決手段】 画像データのフレーム(フィールド)内
における所定の範囲をマクロブロックとし、このマクロ
ブロック内から複数の動きベクトル候補を選択し原画像
と参照画像のそれぞれの動きベクトル候補に対応する画
素の信号強度差を算出し、この信号強度差をパイプライ
ン状に並列接続された累積加算回路12a〜12nによ
り並列的に累積結果を求める累積加算手段1と、累積加
算手段の累積加算を各々の累積加算回路n毎に停止させ
る個別停止回路11を有する累積加算停止手段10と、
各々の累積加算回路に対する動きベクトル候補に関する
原画像データと参照画像データの供給を制御すると共に
原画像と参照画像の画素の信号値の差分の絶対値の累積
加算値が所定の値を超えた場合に直ちにその累積加算回
路の動きベクトル候補に関する累積加算動作を停止させ
る個別の停止信号を累積加算停止手段に出力させる制御
手段5と、を備える。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、動画像情報のフレ
ームまたはフィールド内の所定の範囲であるマクロブロ
ックの動きベクトルを求める動きベクトル検出回路およ
び方法に係り、特に前記マクロブロック内の動きベクト
ル候補に対して原画像および参照画像の全ての画素の信
号強度差を累積加算して累積結果が最小のものを動きベ
クトルとして選択する動きベクトル検出回路および方法
に関する。
【0002】
【従来の技術】動画像処理の技術分野において、マクロ
ブロック内の動きベクトルを検出演算する際に、ある動
きベクトル候補に対して原画像と参照画像における特定
の領域内の対応する画素毎の信号強度を比較し、信号強
度の差を表す値をマクロブロック内の全ての画素につい
て累積加算し、この演算動作を全ての動きベクトル候補
について行ない、各々の動きベクトル候補に関して得ら
れた累積結果を逐次的に比較し、累積結果が最小となる
候補を動きベクトルとして選択する手法が提案されてい
る。前記参照画像は、原画像のマクロブロックを動きベ
クトルに相当するだけ平行移動したマクロブロックに対
応する画像のことをいう。
【0003】上記手法においては、累積加算処理を小さ
いデータ量により高速で行なうために、累積加算回路を
連続的に並列に配置し、各累積加算回路毎にそれぞれ動
きベクトル候補の演算を割り当てて、累積結果のデータ
をパイプライン状に出力させるように構成した動きベク
トル検出回路が従来より提案されている。この例による
累積加算回路は信号強度差の演算を原画像データと参照
画像データの輝度値の差により行なっており、具体的に
は「原画像画素輝度値−参照画像画素輝度値」の演算が
各累積加算回路において行なわれている。
【0004】図16は、従来の動きベクトル検出回路の
構成を示すブロック図であり、同図において、累積加算
手段1は、パイプライン状に並列接続された第1,第2
ないし第nの差分絶対値累積加算回路1a,1bないし
1nと、隣接する各差分絶対値累積加算回路の間に設け
られた(n−1)個のパイプライン用レジスタ3a,3
b,3(n−2)および3(n−1)と、を備えてい
る。この動きベクトル検出回路は上記累積加算手段1に
加えて、各差分絶対値累積加算回路の出力を受け入れて
最小値情報を管理する最小値情報管理回路4と、この最
小値情報管理回路の出力に基づいて次の動きベクトル候
補に関する原画像データD1および参照画像データD2
を出力する制御回路と、を備えている。
【0005】上記構成に基づく従来の動きベクトル検出
回路の動作を説明する。動きベクトルの検出のために
は、所定範囲の動きベクトルの全てを少なくとも一度ず
つ動きベクトル候補として繰り返して累積加算を行な
い、その累積加算値の評価を行なう必要がある。そこ
で、まず上記制御回路5が累積加算手段1を構成する各
累積加算回路2aないし2nに対して適切な原画像デー
タD1および参照画像データD2を供給する。この原画
像データD1はパイプライン用レジスタ3aないし3
(n−1)間で順次転送され、累積加算回路2aないし
2nは転送されてきた原画像データD1と制御回路5よ
り供給される参照画像データD2との差の絶対値を信号
強度差の値として算出し、この信号強度差の値を累積加
算していく。
【0006】累積加算回路2aないし2nは、対応する
動きベクトルに関する累積加算が全て終了した時点で、
累積加算値信号S1 を出力し、最小値情報管理回路4は
最初の動きベクトル候補に対応する累積加算値信号S1
により初期化されてから、この累積加算値信号S1 と予
め保持している最小値とを比較する。比較の結果、累積
加算値信号S1 が最小値情報管理回路4の保持している
値よりも小さい場合には、累積加算値S1 を新たな保持
値として更新する。最小情報管理回路4の保持値の更新
が行われるたびに、比較結果信号S2 が制御回路5に出
力される。各累積加算回路2aないし2nは新しい動き
ベクトル候補の演算の開始に当たって初期化される。
【0007】全ての動きベクトル候補の検討が終了した
時点で、動きベクトルの検出は終了する。したがって、
従来の動きベクトル検出回路によれば、最小値の逐次評
価を行なうまでの間にマクロブロック、あるいは間引か
れたマクロブロックの全ての領域を走査できるサイクル
数だけ累積加算のために動作させる必要があり、入力画
像の品質に拘らず常に固定サイクル回の累積加算動作が
必要となる。
【0008】上記従来の動きベクトル検出装置の動作に
ついて、図17を用いて補足説明する。上記パイプライ
ン方式で動きベクトルの検出を行なう場合、それぞれの
動きベクトルに対応させて領域に対する評価値の累積加
算を行ない、所定の動きベクトル候補の全てに対して同
様の評価を行ない、その中から最小(または最大)の評
価値を与える動きベクトル候補を動きベクトルとして選
択している。一度に評価できる動きベクトル候補の数を
並列数と定義すると、全ての動きベクトル候補の数を並
列数で除した回数だけ累積加算を繰り返すことにより動
きベクトルの検出が終了する。したがって、並列数mで
処理する場合、動きベクトル候補の中から候補をm個ず
つ選択して残る候補が無くなるまでこの処理を繰り返す
ことになる。例えば、動きベクトルの総数が1024個
で16並列あった場合、64回の累積加算を繰り返すこ
とによって動きベクトルの検出が終了することになる。
【0009】図17において、最初に動きベクトル候補
1〜mに対する累積加算値の1回目の評価を行ない、次
いで2回目の評価からn回目の評価までを連続的に繰り
返して、1回目からn回目までの評価を全て行なわなけ
れば動きベクトルの検出は終了しないことになる。
【0010】
【発明が解決しようとする課題】上述のように従来の動
きベクトル検出回路は入力画像の品質とは関係なく必ず
固定サイクル数だけの累積加算動作を行なわなければな
らず、動きベクトル検出サイクル数と動きベクトル検出
に要する電力消費において、一定のコストを支払わねば
ならなかった。。
【0011】また、累積加算を行なっても無意味な場合
でも原画像および参照画像データを供給して累積加算動
作を行なわせているので、動きベクトル検出の所定の動
作を行なう間に無駄なデータフローが行なわれるという
問題点もあった。
【0012】上記問題点を解決するため、本発明は原画
像と参照画像の画素の信号値の差分の絶対値の累積加算
値が所定の値を超えた場合に直ちにその動きベクトル候
補に関する累積加算動作を停止させることにより、累積
加算のサイクル数を可変にして電力消費量を節約すると
共に、少ないデータフローでも動きベクトルの検出を行
うことのできる動きベクトル検出回路および方法を提供
することを目的としている。
【0013】
【課題を解決するための手段】上記目的を達成するた
め、本発明に係る動きベクトル検出装置は、画像データ
におけるフレームまたはフィールド内における所定の範
囲の画像をマクロブロックとし、このマクロブロック内
のある動きベクトル候補を選択し、原画像と参照画像の
動きベクトル候補に対応する画素の信号強度差を算出
し、前記マクロブロック内の画素について算出された信
号強度差を累積加算して累積結果を求め、マクロブロッ
ク内のさらに特定範囲内の動きベクトル候補の中から極
大値または極小値となる累積結果を与える動きベクトル
候補を動きベクトルとして選択する動きベクトル検出装
置において、前記動きベクトル候補に関する原画像デー
タと参照画像データとを並列的に入力して複数の動きベ
クトルに関する累積加算を並列に処理するパイプライン
状に接続された複数の累積加算回路よりなる累積加算手
段と、前記累積加算手段の累積加算処理動作を、各々の
累積加算回路毎に停止させる累積加算個別停止手段と、
前記累積加算手段の各々の累積加算回路に対して前記動
きベクトル候補に関する原画像データと参照画像データ
の供給を制御すると共に、前記累積加算個別停止回路に
対して個別の累積加算を停止させるべき個別の停止信号
を出力させて対応する累積加算回路の累積加算処理の停
止を制御する制御手段と、を備えることを特徴とする。
【0014】請求項2に係る動きベクトル検出装置は、
請求項1に記載の装置において、前記累積加算手段にお
ける各累積加算回路は、所定の識別閾値を有し、累積加
算の途中の値をこの識別閾値との大小を少なくとも1回
は比較して、その比較結果から累積加算値の有効/無効
を判定する判定回路を備え、前記停止手段は、前記判定
回路の判定結果が無効である場合に対応する累積加算回
路を新たな動きベクトル候補に関する累積加算動作が開
始されるときまで停止させる個別停止回路を備えている
ことを特徴としている。
【0015】請求項3に係る動きベクトル検出装置は、
請求項2に記載の装置において、前記累積加算手段は、
並列処理により前記識別閾値と比較検討されている全て
の累積加算値が前記判定回路により全て無効であるもの
と判定された場合に、現在検討中の動きベクトル候補は
全て失格であるものとして新たな動きベクトル候補に関
する累積加算の処理動作を直ちに開始させる開始回路を
備えていることを特徴としている。
【0016】請求項4に係る動きベクトル検出装置は、
請求項3に記載の装置において、前記停止手段は、動き
ベクトルの検出が終了した時点で、動きベクトル検出終
了信号を出力して、動きベクトル検出要求信号が外部よ
り入力されるまで前記累積加算手段の動作を停止させる
停止回路を備えていることを特徴としている。
【0017】請求項5に係る動きベクトル検出装置は、
請求項4に記載の装置において、前記累積加算手段は、
それまでに検討した累積加算値の中から最大または最小
の値に基づいて、前記識別閾値を決定することを特徴と
している。
【0018】請求項6に係る動きベクトル検出装置は、
請求項4に記載の装置において、前記累積加算手段は、
固定値すなわち累積加算値が理論上取り得る最大値の、
例えば1/2,1/3,1/4などの、一定割合となる
ような動きベクトル検出中に変化しない固定値に基づい
て前記識別閾値を決定することを特徴としている。
【0019】請求項7に係る動きベクトル検出装置は、
請求項6に記載の装置において、前記累積加算手段の各
累積加算回路は、フリップフロップに保持でき得る最大
数を前記識別閾値と等しくし、この累積加算回路の最上
位桁のキャリーアウト信号を前記識別閾値との大小比較
信号として取り扱うことにより累積加算値保持用のフリ
ップフロップの桁数を少なく構成していることを特徴と
している。
【0020】請求項8に係る動きベクトル検出方法は、
フレームまたはフィールド内における所定範囲の画像を
マクロブロックとして指定すると共にこのマクロブロッ
ク内に存在する複数の動きベクトル候補を選択するステ
ップと、指定された前記マクロブロック内の前記複数の
動きベクトル候補のうちから所定の並列数の動きベクト
ル候補に関する原画像と参照画像におけるそれぞれ対応
する画素の信号強度差を並列的に算出して並列処理され
ている特定の動きベクトル候補毎に累積加算するステッ
プと、前記並列処理されている並列数の動きベクトル候
補の何れかについて極小値または極大値になる累積結果
を与えるものが特定されたときにその動きベクトル候補
についての累積加算を停止させるステップと、を備える
ことを特徴としている。
【0021】また、請求項9に係る動きベクトル検出方
法は、請求項8に記載の方法において、前記累積加算を
停止させるステップが、前記並列処理されている個々の
動きベクトル候補の累積加算途中値と所定の識別閾値と
の大小を少なくとも1回の回数で比較するステップと、
その比較結果に基づいて前記個々の動きベクトル候補に
関する累積加算値の有効/無効を判定するステップと、
無効と判定された場合には該当する動きベクトル候補に
ついての累積加算動作を新たな動きベクトル候補に関す
る累積加算開始時まで停止するステップと、を含むこと
を特徴としている。
【0022】さらに、請求項10に係る動きベクトル検
出方法は、請求項8に記載の方法において、前記累積加
算を停止させるステップの後に、前記並列処理されてい
る全ての動きベクトル候補に関する累積加算結果が全て
停止させられた場合に、並列処理により累積加算中の動
きベクトル候補は全て失格なものとして、新たな動きベ
クトル候補に対する並列処理を即座に開始するステップ
を備えることを特徴としている。
【0023】
【発明の実施の形態】以下、本発明に係る動きベクトル
検出回路および方法の好適な実施形態について添付図面
を用いて詳細に説明する。
【0024】図1は本発明の第1実施形態に係る動きベ
クトル検出装置の構成を示すブロック図である。この第
1実施形態においては、動きベクトルを検出するために
累積加算される信号強度差の値として画素の輝度値を用
いるものとし、したがって信号強度差値は「原画像画素
輝度値−参照画像画素輝度値」の絶対値を累積加算して
いく場合を例にして説明する。
【0025】図1において、動きベクトル検出装置は、
原画像データD1および参照画像データD2の画素輝度
値の差の絶対値を順次累積加算する累積加算手段1と、
この累積加算手段1を構成する第1ないし第nの差分絶
対値累積加算回路2aないし2nと、累積加算手段1よ
り出力される累積加算信号S1 を入力して前記差分絶対
値のそれまでの最小値と比較してその比較結果信号S2
を出力する最小値情報管理回路4と前記原画像データD
1 および参照画像データD2 を出力すると共に、累積加
算手段1を構成する何れかの差分絶対値累積加算回路の
出力が無効である場合にその累積加算回路の演算動作を
停止させる停止制御信号S3 を出力する制御手段5と、
この制御手段5より出力される停止制御信号S3 に基づ
いて、第1ないし第nの差分絶対値累積加算回路2aな
いし2nの中からその出力が無効となっている何れかの
回路を停止させる停止信号S4 を出力する累積加算停止
手段10と、を備えている。累積加算停止手段10は、
第1から第nの差分絶対値累積加算回路2aないし2n
毎に個別に累積加算処理を停止させる複数の個別停止回
路11を備えている。
【0026】上記第1実施形態に係る動きベクトル検出
装置においては、制御手段5の停止信号S4 の出力と累
積加算停止手段10とが追加されている点が図16によ
り説明した従来の動きベクトル検出回路の構成と相違し
ている箇所である。また、累積加算停止手段10は個別
停止回路11の各々の出力に基づいて、全ての差分絶対
値累積加算回路2aないし2nが停止されたときに直ち
に次の動きベクトル候補についての並列処理を開始させ
るための全候補無効信号S5 を制御手段5に出力してい
る点も従来の動きベクトル検出装置と異なっている。
【0027】次に、図1に示された累積加算手段1およ
び累積加算停止手段10のより詳細な構成を備える第2
実施形態に係る動きベクトル検出装置について図2を参
照しながら説明する。図2において、累積加算手段1
は、第1ないし第nの差分絶対値累積加算回路2aない
し2nに加えて、図10により説明した従来の動きベク
トル検出装置と同様にパイプライン用レジスタ3aない
し3(n−1)を備えている。また、累積加算停止手段
10は、個別停止回路11としての無効情報保持部12
aないし12nを備えており、これら無効情報保持部1
2aないし12nはそれぞれ第1ないし第nの差分絶対
値累積加算回路2aないし2nに対応してそれぞれの回
路に関する無効情報を保持して各々の累積加算回路2a
ないし2nの累積加算が無効である場合には停止信号S
4 を出力してその累積加算回路を停止させる。
【0028】制御手段5より無効情報保持部12aない
し12nに供給される無効制御(判定)信号S3 は無効
情報保持部12aないし12nより出力される停止信号
S4の活性化/不活性化を制御するものである。なお、
この第2実施形態に係る動きベクトル検出装置は第1実
施形態に係る装置と異なり、全候補無効信号S5 を制御
手段11側に出力しない。
【0029】そこで、図3に示す第3実施形態に係る動
きベクトル検出装置によれば、累積加算停止手段10が
全候補無効判定手段13を備えている点で第2実施形態
に係る動きベクトル検出装置と異なる。この全候補無効
判定手段13は、各々の無効情報保持部12aないし1
2nより対応する差分絶対値累積加算回路2aないし2
nに出力される停止信号S4 を受け入れて論理積をとる
アンド回路より構成されている。
【0030】上記第3実施形態に係る動きベクトル検出
装置の動作を説明する。動きベクトルの検出のために
は、所定範囲の動きベクトルの全てを少なくとも1度ず
つ動きベクトル候補として繰り返して累積加算値の評価
を行なう必要がある。制御手段5は、累積加算回路2a
ないし2nに対して適切な原画像データD1 および参照
画像データD2 を供給する。この参照画像データD2
は、パイプライン用レジスタ3aないし3(n−1)間
で順次に転送される。累積加算回路2aないし2nは、
原画像データD1 と参照画像データD2 の輝度差の絶対
値を信号差値として算出し、この信号差値を累積加算し
ていく。第1ないし第nの差分絶対値累積加算回路2a
ないし2nは、新しい動きベクトル候補についての演算
を開始する際に初期化される。各々の累積加算回路2a
ないし2nは対応する動きベクトルに関する累積加算が
全て終了した時点で、累積加算値S1 を最小値情報管理
回路4に出力する。
【0031】最小値情報管理回路4は、最初の動きベク
トル候補に対応する累積加算値S1によって初期化さ
れ、それ以後は内部に保持されているそれまでの最小累
積加算値と、個々の累積加算回路2aないし2nより出
力されてくる累積加算値S1 とを比較して、供給されて
きた累積加算値が内部に保持されている保持値よりも小
さい場合には供給されてきた小さい方の累積加算値を新
たな保持値として入れ替えを行ない、最処置情報管理回
路4の保持値の入れ替えが発生する度に、比較結果信号
S2 は活性化される。制御手段5は、比較結果信号S2
が活性化されている場合に、現時点で有効な動きベクト
ルに対応する記憶情報を更新する。
【0032】初回の動きベクトル候補の計算時の動作
は、図4に示すように、従来のものと同様に行なわれ
る。2回目以降の動きベクトル候補に関する演算を行な
う際には累積加算が全て終了した時点で比較を行なう以
前に、各々の累積加算回路2aないし2nに対して1回
以上の比較結果信号S2 が、累積加算値S1 の取得を行
ない、このとき最小情報管理回路4はデータの入れ替え
を伴わない最小保持値との比較を行なう。累積加算値S
1 の途中の値が最小値管理回路4の保持する値以上であ
るという比較結果信号S2 が出力された場合には、制御
手段5はこの動きベクトルは無効であるものと判断し
て、無効判定信号S3 を活性化すると共に、対応する累
積加算停止信号S4 を活性化して累積加算回路2aない
し2nのうちの対応する回路の動作を停止させることに
なる。
【0033】全ての累積加算回路2aないし2nに供給
される累積加算停止信号S4 が活性化されたときには、
全ての累積加算信号S4 が入力されているアンド回路1
3より成る全候補無効判定手段13の論理積出力である
全無効判定信号S5 が活性化される。この全無効判定信
号S5 が制御手段5に入力されると、制御手段5は無効
情報保持部12aないし12nと第1ないし第nの差分
絶対値累積加算回路2aないし2nの初期化を開始する
と共に、次のサイクルから新たな動きベクトル候補に対
応する原画像データD1 および参照画像データD2 を累
積加算手段1に供給する。このような動作を所定サイク
ル繰り返すことにより全ての動きベクトル候補に対する
検討が終了した時点で、動きベクトルの検出動作が終了
することになる。
【0034】上記累積加算評価記動作について、パイプ
ライン状の累積加算手段が8並列の場合を例にして従来
の累積加算手段と本発明に係る累積加算手段との動作時
間の差異を補足説明する。この比較例は8並列のもので
あるので、時刻Ta において動きベクトル候補8個に対
応する累積加算動作を開始するものとする。
【0035】従来例の場合、累積加算を行なうべき要素
が全て加算された状態を順次比較することになる。この
例においては、時刻Tb において候補1,3,5,8が
逐次に有効であるものと判断され、最小累積加算値とし
て最小値情報管理回路4に保持され、古い値が破棄され
る。さらに、時刻Tb からは次の動きベクトル候補8個
が選択されて対応する累積加算動作を開始する。この例
の場合、時刻Tb からの累積加算の結果、時刻Tc にお
いて、候補8が最終的に有効なものと判断されて、最小
累積加算値として保持される。時刻Tc においては次の
8個の動きベクトル候補に対応する累積加算動作が開始
され、この場合には何れも無効であるものと判断され
て、時刻Td での累積加算結果の入れ替えは行なわれな
い。従来の動きベクトル検出装置の場合には累積加算を
停止するという概念自体が発想されていないので、時刻
Ta から時刻Td までに3つのサイクルの累積加算評価
が行なわれたことになる。
【0036】この従来例に対して本発明に係る動きベク
トル検出装置における累積加算動作を説明すると、初回
の累積加算動作すなわち時刻Ta から時刻Tb までは従
来と同じ動作を行なう。本発明においては2回目以降の
累積加算を行なう際に、累積加算すべき全ての要素の累
積加算が終了するまでに複数回の比較が行なわれる。あ
る累積加算回路に保持される累積加算途中の加算値が、
すでにその時刻での最小累積加算値を上回るなどの理由
により無効なものと判断された場合、当該数値を保持す
る累積加算回路における以後の累積加算動作は無意味な
ことになる。そこで、このような累積加算回路の動作は
その場で停止させて累積加算動作に費やす処理時間を節
約することになる。すなわち、時刻Te において動きベ
クトル候補5に対応する累積加算途中値は無効なものと
判断されたために、第5の累積加算回路は、新たな動き
ベクトル候補に関する累積加算開始時まで停止されるこ
とになる。
【0037】また、累積加算すべき全ての要素の加算が
終了した時点で、8つの累積加算値の全てが無効なもの
と判断される場合がある。すなわち従来例の3回目の累
積加算動作に相当するような場合であるが、このような
場合、本発明に係る動きベクトル検出装置においては、
累積加算途中で8つの累積加算途中値のすべてが無効な
ものと判断された時点で新たな動きベクトル候補に対応
する累積加算を開始する。この図4に示される例におい
ては、時刻Td*において累積加算途中値2が無効である
と判断されたことにより、8つの累積加算途中値の全て
が無効であるものと判断されたために即座に新たな動き
ベクトル候補に対する累積加算が開始されている。
【0038】予定よりも早く動きベクトル検出が終了し
た場合、動きベクトル検出動作そのものを停止すること
もできる。集積回路等により構成された動きベクトル検
出装置においては、クロック電源を止めるなどの手法に
よって動きベクトル検出動作を停止することにより種々
のコストが低下するものもあり、このような回路に本発
明を適用することにより著しい効果が得られる。
【0039】上記第1ないし第3実施形態においては、
識別閾値を最小値情報管理回路4の保持値と等しくして
いるために、累積加算途中値と保持値との比較判定に用
いられる比較器を従来の回路のもので兼用することがで
き、回路構成の大幅な増加を要しないという点から特に
有効である。このように、第1ないし第3実施形態に係
る動きベクトル検出装置によれば、各累積加算回路2a
ないし2nの活性化率を上げることができ、さらに消費
電力を低減することもできる。
【0040】なお、上述した第1ないし第3実施形態に
係る動きベクトル検出装置においては、可変である無効
判定信号S3 を識別閾値としていたが、本発明はこれに
限定されず以下に説明する実施形態のように固定値によ
る識別閾値を用いるようにしても良い。
【0041】図5は、第4実施形態に係る動きベクトル
検出装置を示すブロック図であり、この第4実施形態
は、図2に示される第2実施形態に係る動きベクトル検
出装置から無効判定信号S3 の信号線を除去して識別閾
値を固定値としたものである。図5においては、無効判
定信号S3 が省略されているばかりでなく、各々の累積
加算回路2a,2b,2(n−1)および2nから出力
される各々の累積加算値信号S1 の途中値を識別閾値と
なる固定値と比較する比較回路14a,14b,14
(n−1)および14nがそれぞれ設けられている。こ
のような構成によりこの第4実施形態に係る動きベクト
ル検出装置においては、各累積加算回路2aないし2n
毎に無効判定信号S6 が作成され、この無効判定信号S
6 に基づいて各累積加算回路2aないし2nの累積加算
を停止させる停止信号S4 が出力される。
【0042】上記第4実施形態に係る動きベクトル検出
装置においては、各々の累積加算回路2aないし2nの
累積加算値信号S1 が、比較回路14aないし14nの
うちの対応するものにより無効であるものと判定された
時点で、その比較回路より出力されている無効判定信号
S6 が活性化され、対応する累積加算回路の累積加算動
作は停止させられる。
【0043】なお、第4実施形態に係る動きベクトル検
出装置においては、比較回路14aないし14nを対応
する累積加算回路2aないし2n毎に設けるようにして
いるが、本発明はこれに限定されず、全ての累積加算回
路に共通して適用できる1つの比較回路を設け、これを
時分割使用するようにしても良い。この第4実施形態に
係る動きベクトル検出装置によっても、累積加算回路2
aないし2nの活性化率を向上させて、消費電力を低減
させることができる。
【0044】次に、図6に示す第5実施形態に係る動き
ベクトル検出装置を説明する。この第5実施形態に係る
動きベクトル検出装置は、第4実施形態の動きベクトル
検出装置の構成に加えて、無効情報保持部12aないし
12nよりそれぞれ出力される停止信号S4 の論理積を
とるアンド回路より成る全候補無効判定手段13を設け
たものである。したがって、この第5実施形態に係る動
きベクトル検出装置は図3に示される第3実施形態の動
作と同様に、以下のような動作を行なう。
【0045】すなわち、全ての累積加算回路2aないし
2nに供給される累積加算停止信号S4 が活性化された
ときには、全ての累積加算停止信号S4 が入力されてい
るアンド回路より成る全候補無効判定手段13の論理積
出力である全無効判定信号S5 が活性化される。この全
無効判定信号S5 が制御手段5に入力されると、制御手
段5は無効情報保持部12aないし12nと第1ないし
第nの差分絶対値累積加算回路2aないし2nの初期化
を開始すると共に、次のサイクルから新たな動きベクト
ル候補に対応する原画像データD1 および参照画像デー
タD2 を累積加算手段1に供給する。このような動作を
所定サイクル繰り返すことにより全ての動きベクトル候
補に対する検討が終了した時点で、動きベクトルの検出
動作が終了することになる。
【0046】図5および図6に示された第4および第5
実施形態に係る動きベクトル検出装置においては、識別
閾値を固定値としているので、累積加算回路が保持でき
る最大の数と同じになるように固定値を設定しておいた
場合、極めて低コストで各累積加算回路2aないし2n
毎に比較器を組み込むことができる。図7は、第4およ
び第5実施形態に係る動きベクトル検出装置に組み込み
可能な比較器を含む第6実施形態に係る動きベクトル検
出装置を示している。
【0047】第6実施形態に係る動きベクトル検出装置
を示す図7において、個別の累積化加算回路2は、原画
像データD1 および参照画像データD2 との信号差を算
出して信号差値を生成する信号差値生成回路21と、こ
の信号差値とこの個別の累積加算回路2の出力とを加算
する加算器22と、加算器22の加算結果を保持する累
積加算値保持用のフリップフロップ23と、を備えてい
る。この累積加算回路の動作について以下に説明する。
【0048】信号差値生成回路21は、原画像データD
1 と参照画像データD2 との差を演算して信号差値を加
算器22に出力し、加算器22はこの信号差値とこの累
積加算回路2の最終出力である以前の累積加算値S1 と
を加算する。フリップフロップ23は、次の累積加算動
作のために加算された累積加算値S1 を保持すると共
に、今回のこの累積加算値S1 を順次前回までの累積加
算値に累積させて出力する。なお、加算器22はフリッ
プフロップ23により保持される桁数よりも1桁大きい
数を加算結果として出力することが可能なように作成さ
れており、この加算器22の最上位の桁に相当する出力
によって、累積加算値が識別閾値すなわちフリップフロ
ップ23の保持できる最大値を上まわったとことを判断
できる。したがって、加算器22は最上位桁に相当する
出力を「累積加算値>識別閾値」を判定する判定信号S
7 として出力している。
【0049】上記加算器22の最上位の桁が活性化され
た場合、「累積加算値>識別閾値」となったことにな
り、判定信号S7 が活性化される一方で、フリップフロ
ップ回路23に保持されている値は、正しくない値とな
るが累積加算値が無効であるという情報は累積加算回路
2の外部で保持されているためにこの値は使用されず実
質上の問題点はない。
【0050】次に、本発明の第7実施形態に係る動きベ
クトル検出装置について図8を参照しながら説明する。
この第7実施形態に係る動きベクトル検出装置は、図8
に示すように、動作要求信号S8 が入力されると共に検
出終了信号S9 が出力される動きベクトル検出回路6を
備えている。上述した第1ないし第7実施形態に係る動
きベクトル検出装置の処理サイクル数は、最悪値が定ま
った不定値となっている。最悪値のサイクル数経過した
後に動きベクトルを得るという手法もあるが、動きベク
トル検出が終わり次第、次の処理を開始した方が統計的
に高速処理が可能になることはいうまでもない。この第
7実施形態に係る動きベクトル検出装置においては、上
述の構成を備えることにより高速動作を可能にしてい
る。
【0051】すなわち、動作要求信号S8 が活性化され
たときに、動きベクトル検出回路6は動作を開始し、図
示されない累積加算回路により動きベクトルを検出し続
けた後、動きベクトルの検出が終了する際に、検出終了
信号S9 を活性化させる。検出終了信号S9 を活性化さ
せると、動きベクトル検出回路5は動きベクトルと最小
累積加算値の出力を適宜行ない、次に動作要求信号S8
が活性化されるまでの間、例えばクロックを停止させる
等の手段により動きベクトル検出回路6そのものの動作
を停止する。
【0052】以上のように、この第7実施形態に係る動
きベクトル検出装置によっても、動作終了信号S9 の出
力とその際の動きベクトル検出回路全体の動作停止とに
より動きベクトル検出回路の消費電力を大幅に低減させ
ることが可能となる。
【0053】次に、本発明の第8実施形態に係る動きベ
クトル検出装置について図9を参照しながら詳細に説明
する。この第8実施形態に係る動きベクトル検出装置
は、識別閾値を複数設定することにより、より効果的な
電力の節約が可能となる。この第8実施形態に係る動き
ベクトル検出装置は、第2実施形態と第4実施形態とを
組み合わせた構成となっている。すなわち、図9におい
て、動きベクトル検出装置は、累積加算手段1、最小値
情報管理回路4、制御回路5および累積加算停止手段1
0を備え、この累積加算停止手段10以外の構成は上述
した各実施形態に係る動きベクトル検出装置と同一であ
る。
【0054】本第8実施形態に係る動きベクトル検出装
置における累積加算停止手段10は対応する差分絶対値
累積加算回路2aないし2nより出力された累積加算値
信号S1 を固定値の識別閾値と比較して無効判定信号S
6 を出力する比較回路14aないし14nと、比較回路
14aないし14より出力された固定値による無効判定
信号S6 と制御回路5より出力された可変値による無効
判定信号S3 との論理和をとるオア回路より成る停止判
定回路15aないし15nがそれぞれの無効情報保持部
12aないし12n毎に設けられている。
【0055】上記停止判定回路15aないし15nは、
制御回路5および対応する比較回路14aないし14n
からのそれぞれ可変値および固定値の無効判定信号S3
およびS6 の論理和をとり、少なくとも何れか一方の信
号が無効であるものと判定されている場合には、停止判
定信号S10を対応する差分絶対値累積加算回路2aない
し2nに対して出力する。すなわち、固定値としての識
別閾値を保持する比較回路14aないし14nは、対応
する差分絶対値累積加算回路2aないし2nが識別閾値
を超えて累積加算値信号S1 が無効となる場合には、固
定値による無効判定信号S6 を活性化する。また、制御
回路5は、最小値情報管理回路4から出力された比較結
果信号S2 に基づいて、累積加算回路を停止させる場合
には可変の識別閾値による無効判定信号S3 を活性化す
る。対応する差分絶対値累積加算回路2aないし2nの
累積加算値信号S1 の途中値が累積加算を停止させるべ
き状態となった場合、停止判定回路15aないし15n
は停止判定信号S10を活性化させて対応する差分絶対値
累積加算回路2aないし2nを停止させる。
【0056】したがって、この第8実施形態に係る動き
ベクトル検出装置によれば、有効/無効の識別閾値を可
変値または固定値の何れか一方とした動きベクトル検出
装置に比べて、より効率的な累積加算値の有効/無効の
判断を行なうことができ、迅速な動きベクトル検出動作
を可能にすると共に、消費電力の大幅な節約を図ること
ができる。
【0057】なお、この第8実施形態についても、第3
および第5実施形態の動きベクトル検出装置と同様に、
全候補無効判定信号S5 を制御回路5に出力するように
構成しても良い。
【0058】図10は、本発明の第9実施形態に係る動
きベクトル検出装置を示しており、同図において、動き
ベクトル検出装置は、累積加算停止手段10にアンド回
路が設けられている点を除いて図9の第8実施形態に係
る動きベクトル検出装置と略同一の構成を有している。
すなわち、累積加算停止手段10は対応する差分絶対値
累積加算回路2aないし2nより出力された累積加算値
信号S1 を固定値の識別閾値と比較して無効判定信号S
6 を出力する比較回路14aないし14nと、比較回路
14aないし14より出力された固定値による無効判定
信号S6 と制御回路5より出力された可変値による無効
判定信号S3 との論理和をとるオア回路より成る停止判
定回路15aないし15nがそれぞれの無効情報保持部
12aないし12n毎に設けられている。また、各無効
情報保持部12aないし12nよりそれぞれ出力される
停止信号S4 の論理積をとるアンド回路より成る全候補
無効判定手段13を設けたものである。したがって、こ
の第9実施形態に係る動きベクトル検出装置は、図3お
よび図6に示される第3および第5実施形態の動作と同
様に、以下のような動作を行なう。
【0059】すなわち、全ての累積加算回路2aないし
2nに供給される累積加算停止信号S4 が活性化された
ときには、全ての累積加算停止信号S4 が入力されてい
るアンド回路より成る全候補無効判定手段13の論理積
出力である全無効判定信号S5 が活性化される。この全
無効判定信号S5 が制御手段5に入力されると、制御手
段5は無効情報保持部12aないし12nと第1ないし
第nの差分絶対値累積加算回路2aないし2nの初期化
を開始すると共に、次のサイクルから新たな動きベクト
ル候補に対応する原画像データD1 および参照画像デー
タD2 を累積加算手段1に供給する。このような動作を
所定サイクル繰り返すことにより全ての動きベクトル候
補に対する検討が終了した時点で、動きベクトルの検出
動作が終了することになる。
【0060】なお、上述した実施形態においては、原画
像データと参照画像データとから求める信号強度差を輝
度差信号により求めるものとして説明したが、本発明は
これに限定されず、信号における他の属性、例えば色差
信号を用いるようにしても良いし、将来異なる体系の映
像信号規格が採用された場合には、フレーム内宇の特定
位置における画素情報を表す別の名称の信号を利用する
ことも可能である。
【0061】以上、本発明に係る動きベクトル検出装置
の幾つかの実施形態について説明したが、本発明はこの
動きベクトル検出装置と密接不可分の関係を有するもの
として上記種々の構成に係る動きベクトル検出装置にお
ける動きベクトル検出方法としても把握することが可能
である。
【0062】図11は本発明の第10実施形態に係る動
きベクトル検出方法を示すフローチャートである。図1
1に示すように、まず、ステップST1においてフレーム
またはフィールド内における所定範囲の画像をマクロブ
ロックとして指定すると共にこのマクロブロック内に存
在する複数の動きベクトル候補を選択し、次にステップ
ST2では、指定された前記マクロブロック内の前記複数
の動きベクトル候補のうちから所定の並列数の動きベク
トル候補に関する原画像と参照画像におけるそれぞれ対
応する画素の信号強度差を並列的に算出し、並列処理さ
れている特定の動きベクトル候補毎に累積加算される。
次のステップST3においては、前記並列処理されている
並列数の動きベクトル候補の何れかについて極小値また
は極大値になる累積結果を与えるものが特定されたか否
かが判断され、極小値または極大値が特定されていない
場合には累積加算を繰り返すことになる。ステップST3
において、何れかの動きベクトル候補の累積加算途中値
が極小値または極大値として特定されたときには、ステ
ップST4において、その動きベクトル候補についての累
積加算が停止させられる。
【0063】図11において、ある動きベクトル候補に
対して累積加算を停止させるステップST4は、さらに以
下のステップを含んでいても良い。すなわち、前記並列
処理されている個々の動きベクトル候補の累積加算途中
値と所定の識別閾値との大小を少なくとも1回の回数で
比較するステップST5と、ステップST5の比較結果に基
づいて前記個々の動きベクトル候補に関する累積加算値
の有効/無効を判定するステップST6と、無効と判定さ
れた場合には該当する動きベクトル候補についての累積
加算動作を新たな動きベクトル候補に関する累積加算開
始時まで停止するステップST7と、を含んでいる。
【0064】また、前記累積加算を停止させるステップ
ST7の後に、前記並列処理されている全ての動きベクト
ル候補に関する累積加算結果が全て停止させられた場合
に、並列処理により累積加算中の動きベクトル候補は全
て失格なものとして、新たな動きベクトル候補に対する
並列処理を即座に開始するステップST8を備えるように
しても良い。
【0065】図12は本発明の第11実施形態に係る動
きベクトル検出方法を示すフローチャートである。この
第11実施形態に係る動きベクトル検出方法は第10実
施形態に係る動きベクトル検出方法よりも、より細かい
演算処理動作を行なうものである。図12において、ま
ず並列数に応じた差分絶対値累積加算回路の最小累積値
を初期化し(ステップST11)、適当な動きベクトル候補
1−nを決定する(ステップST12)。次に、累積加算値
1−nをゼロにして初期化すると共に無効情報1−nを
オフにして初期化した後(ステップST13)、動きベクト
ル候補1−nに対応する累積加算を実行し(ステップST
14)、無効情報がオンになっていない累積加算途中値を
適宜選択する(ステップST15)。
【0066】次の判断ステップST16において、選択され
た累積加算途中値が有効であるか否か判断され、無効の
場合は選択された累積加算途中値に対応する無効情報を
オン(ステップST17)した後、ステップST18において、
無効情報1−nは全てオンであるか否かが判断される。
判断ステップST16において、選択された累積加算途中値
が有効であるものと判断された場合には、そのまま次の
判断ステップST18に進む。この判断ステップST18におい
て、無効情報1−nが全てオンしているものと判断され
た場合には、再びステップST12に戻りステップST12ない
しST17の処理を繰り返す。判断ステップST18において、
無効情報1−nの全てがオンとなっていないものと判断
された場合には、被累積要素の全てが加算されているか
否かが判断され、全てが加算されていない場合には、ス
テップST14に戻って再びステップST14ないしST19の処理
動作を繰り返すことになる。
【0067】判断ステップST19において、被累積要素の
全てが加算されたものと判断された場合には、有効かつ
未検討の累積加算値を順次選択する(ステップST20)。
次に判断ステップST21において、選択された累積加算値
に対応するのは最初に検討する動きベクトル候補である
か否かが判断され、選択された累積加算値に対応するの
が最初に検討する動きベクトル候補ではないものと判断
された場合には、次の判断ステップST22において、選択
された累積加算値は最小累積加算値より小さいか否かが
判断される。このステップST22において、選択された累
積加算値は最小累積加算値よりも小さくないものと判断
された場合には再びステップST20に戻ってステップST20
ないしST22を繰り返す。
【0068】もしもステップST21において選択された累
積加算値に対応するのは最初に検討する動きベクトル候
補であるものと判断された場合、またはステップST22に
おいて選択された累積加算値は最小累積加算値よりも小
さいものと判断された場合には、次のステップST23にお
いて、選択された累積加算値を最小累積加算値として対
応する動きベクトル候補を記録する。次に、ステップST
24において累積加算結果の中で未検討のものがまだ残っ
ているか否かが判断され、累積加算結果の中で未検討の
ものが残されている場合には、ステップST20に戻って、
ステップST20ないしST24の動作を再び繰り返すことにな
るが、ステップST24において、累積加算結果の中で未検
討のものがもはや存在しないものと判断された場合に
は、最後の判断ステップST25において、所定の動きベク
トル範囲の探索が終了したか否かが判断される。判断ス
テップST25において、所定の動きベクトル範囲の探索が
終了していないものと判断された場合には、ステップST
14に戻り、再びステップST14ないしST25の処理動作を繰
り返し、ステップST15において、所定の動きベクトル範
囲の探索が終了したものと判断された場合には、一連の
処理ルーチンを終了することになる。
【0069】最後に、本発明の適用分野について図13
ないし図15を用いて説明する。図13は本発明に係る
動きベクトル検出装置をセキュリティシステムに用いた
例を示している。図13において、警備員30の所持す
る防犯カメラ31内には、本発明に係る動きベクトル検
出装置が搭載されたMPEG4等の標準化にしたがった
LSI(Large Scale Integrated circuit)チップが用
いられており、カメラ31のアンテナ32を介して中央
監視室内の制御盤のアンテナ33に無線通信により画像
が伝送されている。中央監視室においては制御盤に設置
された表示用CRT(Cathode Ray Tube―陰極線管
―)に警備員30の撮影した画像が表示される。中央監
視室では別の警備員35がCRT34の画面上の画像を
監視することができる。この際の動き検出動作に本発明
に係る動きベクトル検出装置が適用されているので、動
き検出を低電力消費により迅速に行なうことができると
共により長時間にわたるカメラの連続使用が可能とな
る。
【0070】次に、本発明に係る動きベクトル検出装置
を携帯情報端末に適用した第2の適用例を図14に従い
説明する。図14において、符号40および45はカメ
ラつきの携帯電話等より成る携帯情報端末であり、この
携帯情報端末40または45は、CCD(Charge Coupl
ed Device ―電荷結合素子―)等より成る小型カメラ4
1または46と、公衆回線を介して客先等のモニタとし
ての相手方の携帯情報端末との間で情報の通信を行なう
ためのアンテナ42または47と、音声を入力するため
のマイクロフォン43または48と、音声を出力するた
めのスピーカ44または49と、を備えている。この第
2の適用例としては、同一構成の携帯情報端末40およ
び45を用いるものとして説明したが、相手方の端末は
携帯用でなくとも良い。この携帯情報端末40または4
5には、MPEG4等のLSIが採用されており、電力
消費量を低減させて、より長時間の動作を可能にするこ
とができる。
【0071】本発明に係る動きベクトル検出装置の第3
の適用例として、図15に示されるDVD(Digital Ve
rsatile Disc)装置について説明する。このDVD装置
50は、携帯用として構成されており、前面のローディ
ング部51にDVD52を載置して図示しないモニタ等
に画像を再生して鑑賞するものである。モニタも小型の
携帯用液晶表示モニタ等を採用することにより、屋外等
においても良好な鑑賞空間を送出することができるよう
になる。その際DVD装置としてのMPEG2用画像レ
コーダデッキに本発明に係る動きベクトル検出装置を組
み込んだ画像圧縮用LSIを搭載することにより、デッ
キの消費電力が減り、画像再生のための動き補償等を確
実に行なうことが可能となる。
【0072】さらに、図示説明は控えるが、本発明に係
る動きベクトル検出装置は秘密裏の監視等を目的とした
監視カメラや防犯カメラ等にも搭載することができる。
このような用途に用いられるビデオカメラは、例えば鉢
植えや縫いぐるみ人形等に組み込むようにしているが、
その際電力供給が困難な場合が多く、主にバッテリ等に
より駆動されることが多くなる。したがって、本発明に
係る動きベクトル検出装置をMPEG4用のLSIに採
用することにより、消費電力を減らすと共に、電池寿命
を伸ばすことができ、より長時間の監視が可能となる。
【0073】ここで、本発明の適用分野としてしばしば
引用されているMPEGについて簡単な説明を加える。
MPEG(Moving Picture Experts Groupe )は、カラ
ー動画像蓄積用符号化方式の標準化作業を進める組織の
呼称であり、転じてMPEGで標準化作業が進められて
いる符号化方式の呼称としても用いられている。MPE
Gの符号化方式としては、転送速度が1.5Mビット/
秒程度で主にCD−ROMなどの蓄積メディアを適用対
象としたMPEG1や、転送速度が数M〜数十Mビット
/秒を対象とし次世代テレビ放送や広帯域ISDNを利
用した映像伝送などを適用対象としたMPEG2や、転
送速度が数kビット/秒という低ビットレートを対象に
した映像符号化方式となるMPEG4等がある。
【0074】MPEG4は、主に移動通信での利用を想
定したものであり、無線通信の帯域は小さい(0〜28
kbps程度)ため精細な画像の細かい動きは余り期待
しない規格となっている。具体的には、QCIF―Quar
ter Common Intermediate Format―( 176画素× 144画
素)、CIF―Common Intermediate Format―(352画
素× 288画素)などの大きさの画像を、10〜15フレ
ーム/秒程度の率で送信することを目標としている。こ
の目標はそれ程困難でないように見えるが、転送帯域が
極めて小さいので、相当効率の良い圧縮法を採用しない
と実現が難しいことになる。したがって、MPEG2と
は全く異なる圧縮法が採用される可能性があり、その場
合には送信装置における演算量がかなり増加してしまう
可能性もある。また、無線通信に用いられるため圧縮方
法の効率化ばかりでなく、符号のエラー耐性についての
要求も為されている。
【0075】本発明に係る動きベクトル検出装置および
方法は、このようなMPEG2およびMPEG4に適用
されることを考慮して為されているものであり、特に動
画像無線通信に用いられるMPEG4は最も適用の可能
性の高い分野である。
【0076】
【発明の効果】以上、詳細に説明したように、本発明に
係る動きベクトル検出装置および方法によれば、累積加
算を適当な基準によって停止させることにより電力消費
量を節約することができる。
【0077】また、動きベクトル検出装置全体における
消費電力をも節約することができると共に動きベクトル
の検出時間を短縮することができ、動きベクトル検出速
度を統計的に向上させることができる。
【0078】さらに、実質的に不要な演算を行なわなく
ともよいので、この点においても電力消費量および動作
時間を節約することができる。また、従来の回路構成に
僅かな付加や変更を行なうだけで、無駄な演算動作の省
略と動きベクトル検出の迅速化を図ることができ、特に
MPEG4等の動画像無線伝送技術の分野において画期
的な技術を提供することができる。
【図面の簡単な説明】
【図1】本発明の第1実施形態に係る動きベクトル検出
装置を示すブロック図。
【図2】本発明の第2実施形態に係る動きベクトル検出
装置を示すブロック図。
【図3】本発明の第3実施形態に係る動きベクトル検出
装置を示すブロック図。
【図4】第3実施形態の動きベクトル検出装置の動作を
説明するタイムチャート。
【図5】本発明の第4実施形態に係る動きベクトル検出
装置を示すブロック図。
【図6】本発明の第5実施形態に係る動きベクトル検出
装置を示すブロック図。
【図7】本発明の第6実施形態に係る動きベクトル検出
装置の累積加算回路を示すブロック図。
【図8】本発明の第7実施形態に係る動きベクトル検出
装置を示すブロック図。
【図9】本発明の第8実施形態に係る動きベクトル検出
装置を示すブロック図。
【図10】本発明の第9実施形態に係る動きベクトル検
出装置を示すブロック図。
【図11】第10実施形態に係る動きベクトル検出方法
を示すフローチャート。
【図12】第11実施形態に係る動きベクトル検出方法
を示すフローチャート。
【図13】本発明に係る動きベクトル検出装置の第1の
適用例を示す斜視図。
【図14】本発明に係る動きベクトル検出装置の第2の
適用例を示す斜視図。
【図15】本発明に係る動きベクトル検出装置の第3の
適用例を示す斜視図。
【図16】従来の動きベクトル検出装置を示すブロック
図。
【図17】従来の動きベクトル検出装置の動作を説明す
るタイムチャート。
【符号の説明】
1 累積加算手段 2a〜2n 第1ないし第nの差分絶対値累積加算回路 3a〜3(n−1) 第1〜第(n−1)パイプライン
用レジスタ 4 最小値情報管理回路 5 制御手段(回路) 10 累積加算停止手段 11 個別停止回路 12a〜12n 無効情報保持部 13 全候補無効判定手段(アンド回路) 14a〜14n 比較回路 21 信号差値生成回路 22 加算器 23 フリップフロップ 15a〜15n 停止判定回路

Claims (10)

    【特許請求の範囲】
  1. 【請求項1】画像データにおけるフレームまたはフィー
    ルド内における所定の範囲の画像をマクロブロックと
    し、このマクロブロック内のある動きベクトル候補を選
    択し、原画像と参照画像の動きベクトル候補に対応する
    画素の信号強度差を算出し、前記マクロブロック内の画
    素について算出された信号強度差を累積加算して累積結
    果を求め、マクロブロック内のさらに特定範囲内の動き
    ベクトル候補の中から極大値または極小値となる累積結
    果を与える動きベクトル候補を動きベクトルとして選択
    する動きベクトル検出装置において、 前記動きベクトル候補に関する原画像データと参照画像
    データとを並列的に入力して複数の動きベクトルに関す
    る累積加算を並列に処理するパイプライン状に接続され
    た複数の累積加算回路よりなる累積加算手段と、 前記累積加算手段の累積加算処理動作を、各々の累積加
    算回路毎に個別に停止させる累積加算停止手段と、 前記累積加算手段の各々の累積加算回路に対して前記動
    きベクトル候補に関する原画像データと参照画像データ
    の供給を制御すると共に、前記累積加算個別回路に対し
    て個別の累積加算を停止させるべき個別の停止信号を出
    力してその累積加算回路の累積加算処理の停止を制御す
    る制御手段と、 を備えることを特徴とする動きベクトル検出装置。
  2. 【請求項2】前記累積加算手段における各累積加算回路
    は、所定の識別閾値を有し、累積加算の途中の値をこの
    識別閾値との大小を少なくとも1回は比較して、その比
    較結果から累積加算値の有効/無効を判定する判定回路
    を備えると共に、 前記停止手段は、前記判定回路の判定結果が無効である
    場合に対応する累積加算回路を新たな動きベクトル候補
    に関する累積加算動作が開始されるときまで停止させる
    個別停止回路を備えていることを特徴とする請求項1に
    記載の動きベクトル検出装置。
  3. 【請求項3】前記累積加算手段は、並列処理により前記
    識別閾値と比較検討されている全ての累積加算値が前記
    判定回路により全て無効であるものと判定された場合
    に、現在検討中の動きベクトル候補は全て失格であるも
    のとして新たな動きベクトル候補に関する累積加算の処
    理動作を直ちに開始させる開始回路を備えていることを
    特徴とする請求項2に記載の動きベクトル検出装置。
  4. 【請求項4】前記停止手段は、動きベクトルの検出が終
    了した時点で、動きベクトル検出終了信号を出力して、
    動きベクトル検出要求信号が外部より入力されるまで前
    記累積加算手段の動作を停止させる停止回路を備えてい
    ることを特徴とする請求項3に記載の動きベクトル検出
    装置。
  5. 【請求項5】前記累積加算手段は、それまでに検討した
    累積加算値の中から最大または最小の値に基づいて、前
    記識別閾値を決定することを特徴とする請求項4に記載
    の動きベクトル検出装置。
  6. 【請求項6】前記累積加算手段は、累積加算値が理論上
    取りうる最大値に対する所定の割合に基づいて、動きベ
    クトル検出過程において変化しない固定値によって前記
    識別閾値を決定することを特徴とする請求項4に記載の
    動きベクトル検出装置。
  7. 【請求項7】前記累積加算手段の各累積加算回路はフリ
    ップフロップに保持でき得る最大数を前記識別閾値と等
    しくし、この累積加算回路の最上位桁のキャリーアウト
    信号を前記識別閾値との大小比較信号として取り扱うこ
    とにより累積加算値保持用のフリップフロップの桁数を
    少なく構成していることを特徴とする請求項6に記載の
    動きベクトル検出装置。
  8. 【請求項8】フレームまたはフィールド内における所定
    範囲の画像をマクロブロックとして指定すると共に、こ
    のマクロブロック内に存在する複数の動きベクトル候補
    を選択するステップと、 指定された前記マクロブロック内の前記複数の動きベク
    トル候補のうちから所定の並列数の動きベクトル候補に
    関する原画像と参照画像におけるそれぞれ対応する画素
    の信号強度差を並列的に算出し、並列処理されている特
    定の動きベクトル候補毎に累積加算するステップと、 前記並列処理されている並列数の動きベクトル候補の何
    れかについて極小値または極大値になる累積結果を与え
    るものが特定されたときに、その動きベクトル候補につ
    いての累積加算を停止させるステップと、 を備えることを特徴とする動きベクトル検出方法。
  9. 【請求項9】前記累積加算を停止させるステップは、前
    記並列処理されている個々の動きベクトル候補の累積加
    算途中値と所定の識別閾値との大小を少なくとも1回の
    回数で比較するステップと、その比較結果に基づいて前
    記個々の動きベクトル候補に関する累積加算値の有効/
    無効を判定するステップと、無効と判定された場合には
    該当する動きベクトル候補についての累積加算動作を新
    たな動きベクトル候補に関する累積加算開始時まで停止
    するステップと、を含むことを特徴とする請求項8に記
    載の動きベクトル検出方法。
  10. 【請求項10】前記累積加算を停止させるステップの後
    に、前記並列処理されている全ての動きベクトル候補に
    関する累積加算結果が全て停止させられた場合に、並列
    処理により累積加算中の動きベクトル候補は全て失格な
    ものとして、新たな動きベクトル候補に対する並列処理
    を即座に開始するステップを備えることを特徴とする請
    求項8に記載の動きベクトル検出方法。
JP34192896A 1996-12-20 1996-12-20 動きベクトル検出装置および方法 Expired - Fee Related JP3631868B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP34192896A JP3631868B2 (ja) 1996-12-20 1996-12-20 動きベクトル検出装置および方法
US08/993,747 US6031582A (en) 1996-12-20 1997-12-19 System and method for estimating motion vector in macro block

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP34192896A JP3631868B2 (ja) 1996-12-20 1996-12-20 動きベクトル検出装置および方法

Publications (2)

Publication Number Publication Date
JPH10191352A true JPH10191352A (ja) 1998-07-21
JP3631868B2 JP3631868B2 (ja) 2005-03-23

Family

ID=18349846

Family Applications (1)

Application Number Title Priority Date Filing Date
JP34192896A Expired - Fee Related JP3631868B2 (ja) 1996-12-20 1996-12-20 動きベクトル検出装置および方法

Country Status (2)

Country Link
US (1) US6031582A (ja)
JP (1) JP3631868B2 (ja)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000106674A (ja) * 1998-09-29 2000-04-11 Mitsubishi Electric Corp 動き検出方法および装置
JP2002218539A (ja) * 2001-01-16 2002-08-02 Mega Chips Corp 画像処理用集積回路
US6618441B1 (en) 1999-11-11 2003-09-09 Nec Corporation Motion vector detection apparatus
JP2004078862A (ja) * 2002-08-15 2004-03-11 Sony Corp 画像処理装置および画像処理方法
US6788741B1 (en) 1999-10-20 2004-09-07 Nec Corporation Device and method of retrieving high-speed motion
WO2005025230A1 (ja) * 2003-08-28 2005-03-17 Hitachi Ulsi Systems Co., Ltd. 画像処理装置
JP2005525028A (ja) * 2002-05-03 2005-08-18 クゥアルコム・インコーポレイテッド デジタルビデオの動き予測のための早期終了方法
US7154950B2 (en) 2000-06-07 2006-12-26 Intel Corporation Adaptive early exit techniques in image correlation
US7236523B2 (en) 2001-09-06 2007-06-26 Nokia Corporation Method for performing motion estimation in video encoding, a video encoding system and a video encoding device
CN100352282C (zh) * 2000-06-07 2007-11-28 英特尔公司 用于图像相关性最小失真计算的自适应尽快退出技术
US7522748B2 (en) 2002-08-15 2009-04-21 Sony Corporation Method and apparatus for processing image data and semiconductor storage device
JP2010210212A (ja) * 2009-03-12 2010-09-24 Toshiba Corp 対象物識別装置
US7885329B2 (en) 2004-06-25 2011-02-08 Panasonic Corporation Motion vector detecting apparatus and method for detecting motion vector
US8804844B2 (en) 2000-06-07 2014-08-12 Analog Devices, Inc. Adaptive early exit techniques in image correlation

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6456337B1 (en) * 1997-03-06 2002-09-24 Fujitsu General Limited Moving image correcting circuit for display device
US6792148B1 (en) * 1999-10-18 2004-09-14 Telefonaktiebolaget Lm Ericsson (Publ) Method and apparatus for providing a camera accessory with compression
US6567469B1 (en) * 2000-03-23 2003-05-20 Koninklijke Philips Electronics N.V. Motion estimation algorithm suitable for H.261 videoconferencing applications
US6646676B1 (en) 2000-05-17 2003-11-11 Mitsubishi Electric Research Laboratories, Inc. Networked surveillance and control system
JP3739274B2 (ja) * 2000-10-31 2006-01-25 Kddi株式会社 2系統映像の位置ずれ補正装置
US20030123844A1 (en) * 2001-12-28 2003-07-03 Tadamasa Toma Data reproduction apparatus and data reproduction method
US7940844B2 (en) * 2002-06-18 2011-05-10 Qualcomm Incorporated Video encoding and decoding techniques
DE102004060694A1 (de) * 2004-11-26 2006-06-14 Siemens Ag Elektronische Vorrichtung
JP5286805B2 (ja) * 2008-01-31 2013-09-11 沖電気工業株式会社 動きベクトル検出装置及び方法、動画像符号化装置及び方法、並びに、動画像復号化装置及び方法
JP5441812B2 (ja) * 2010-05-12 2014-03-12 キヤノン株式会社 動画像符号化装置、及びその制御方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69217150T2 (de) * 1991-09-30 1997-07-17 Philips Electronics Nv Bewegungsvektorschätzung, Bewegungsbildkodierung- und -speicherung
KR100330797B1 (ko) * 1993-09-08 2002-07-31 톰슨 멀티미디어 에스 에이 블록매칭을이용한모션추정방법및장치
TW321748B (ja) * 1994-02-23 1997-12-01 Rca Thomson Licensing Corp
KR100226684B1 (ko) * 1996-03-22 1999-10-15 전주범 반화소 움직임 추정장치
US5719642A (en) * 1996-05-07 1998-02-17 National Science Council Of R.O.C. Full-search block matching motion estimation processor
US5652625A (en) * 1996-06-19 1997-07-29 United Microelectronics Corp. Multi-stage pipeline architecture for motion estimation block matching

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6687299B2 (en) 1998-09-29 2004-02-03 Renesas Technology Corp. Motion estimation method and apparatus for interrupting computation which is determined not to provide solution
JP2000106674A (ja) * 1998-09-29 2000-04-11 Mitsubishi Electric Corp 動き検出方法および装置
US6788741B1 (en) 1999-10-20 2004-09-07 Nec Corporation Device and method of retrieving high-speed motion
US6618441B1 (en) 1999-11-11 2003-09-09 Nec Corporation Motion vector detection apparatus
US8804844B2 (en) 2000-06-07 2014-08-12 Analog Devices, Inc. Adaptive early exit techniques in image correlation
US7154950B2 (en) 2000-06-07 2006-12-26 Intel Corporation Adaptive early exit techniques in image correlation
CN100352282C (zh) * 2000-06-07 2007-11-28 英特尔公司 用于图像相关性最小失真计算的自适应尽快退出技术
JP2002218539A (ja) * 2001-01-16 2002-08-02 Mega Chips Corp 画像処理用集積回路
JP2012070461A (ja) * 2001-09-06 2012-04-05 Nokia Corp ビデオ符号化時の動き予測の実行方法、ビデオ符号化システム、及び、ビデオ符号化装置
US7236523B2 (en) 2001-09-06 2007-06-26 Nokia Corporation Method for performing motion estimation in video encoding, a video encoding system and a video encoding device
JP2007336590A (ja) * 2001-09-06 2007-12-27 Nokia Corp ビデオ符号化時の動き予測の実行方法、ビデオ符号化システム、及び、ビデオ符号化装置
JP2005525028A (ja) * 2002-05-03 2005-08-18 クゥアルコム・インコーポレイテッド デジタルビデオの動き予測のための早期終了方法
JP2004078862A (ja) * 2002-08-15 2004-03-11 Sony Corp 画像処理装置および画像処理方法
US7522748B2 (en) 2002-08-15 2009-04-21 Sony Corporation Method and apparatus for processing image data and semiconductor storage device
WO2005025230A1 (ja) * 2003-08-28 2005-03-17 Hitachi Ulsi Systems Co., Ltd. 画像処理装置
US7885329B2 (en) 2004-06-25 2011-02-08 Panasonic Corporation Motion vector detecting apparatus and method for detecting motion vector
JP2010210212A (ja) * 2009-03-12 2010-09-24 Toshiba Corp 対象物識別装置

Also Published As

Publication number Publication date
JP3631868B2 (ja) 2005-03-23
US6031582A (en) 2000-02-29

Similar Documents

Publication Publication Date Title
JPH10191352A (ja) 動きベクトル検出装置および方法
JP3431331B2 (ja) 動画像符号化装置及び動画像伝送装置並びにテレビ会議装置
US6456335B1 (en) Multiple picture composing method and multiple picture composing apparatus
US20080159409A1 (en) Low Complexity Real-time Video Coding
JPH09179987A (ja) 動きベクトル検出方法及び動きベクトル検出装置
US20070025443A1 (en) Moving picture coding apparatus, method and program
US9179166B2 (en) Multi-protocol deblock engine core system and method
JP2022097392A (ja) 密度と品質との間のより良好なトレードオフのためのハードウェアへのビデオ符号化プロセスのオフロード
US8498331B2 (en) Motion picture receiving device, motion picture transmitting device, motion picture decoding method, and motion picture encoding method
US7262807B2 (en) Signal processing device for providing multiple output images in one pass
US20100158105A1 (en) Post-processing encoding system and method
JPH089347A (ja) 動画像伝送装置
TW522738B (en) Adaptive early exit techniques in image correlation
US20090080527A1 (en) Method and Apparatus for Providing a Fast Motion Estimation Process
US10827198B2 (en) Motion estimation method, apparatus, and storage medium
JP2002218474A (ja) 画像データ符号化装置
US20040146213A1 (en) System and method for video data compression
JPH11308617A (ja) ディジタル画像符号化装置とこれに用いる動きベクトル検出装置
JPH1023420A (ja) 動き検出方法および動き検出装置
JP2000115762A (ja) 監視装置
Huang et al. An adaptively refined block matching algorithm for motion compensated video coding
JP2021013145A (ja) 動画像伝送装置、動画像伝送方法
JP2003125410A (ja) 画像符号化装置、画像復号装置並びにその方法及び画像符号化プログラム、画像復号プログラム
Huong et al. A Practical High Efficiency Video Coding Solution for Visual Sensor Network using Raspberry Pi Platform
KR100584537B1 (ko) Mpeg4를 이용한 감시용 카메라 정보 저장 방법

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040326

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040618

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040812

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20040903

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041104

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20041109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041214

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041220

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071224

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081224

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091224

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091224

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101224

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111224

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121224

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees