JP2883034B2 - 相関度演算装置及び相関度演算方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像データの動き
ベクトル検出に有効である、２種類の画像データの相関
度を演算する相関度演算装置、並列相関度演算装置及び
相関度演算方法に関する。

【０００２】

【従来の技術】動画像の画像圧縮を実現する方法とし
て、１つ前の画面中のある部分が現在の画面ではどの場
所に移動したのかを示す情報（動きベクトル）を用い
て、時間的冗長性を削減するという方法がある。

【０００３】この動きベクトルを抽出するための１つの
方法として、現フレーム画像（参照画像フレーム）と前
フレーム画像（候補フレーム）とを比較し、現フレーム
画像のあるブロック（参照画像ブロック）と似かよった
（すなわち相関が高い）ブロックを前フレーム画像から
抽出して動きベクトルを検出するという、いわゆるブロ
ックマッチング法がある。このブロックマッチング法
は、画像圧縮符号化の動き補償予測に広く用いられてい
る。

【０００４】ブロックマッチング法では、１つの参照画
像ブロックに対し前フレーム画像内の複数個の候補ブロ
ックとの相関度をそれぞれ演算し、相関度が最も高い候
補ブロックを選択して動きベクトルを検出する。ここ
で、２つの画像ブロック間の相関を求めるためには、各
画像ブロックの画素データを各々演算しなければならな
い。また、最近の画像圧縮技術では、相関度の高いブロ
ックを選出する可能性を高めるために、探索領域を広げ
て候補ブロックの数を増やす傾向にある。このため、２
つの画像ブロックの相関度を高速に演算することができ
る相関度演算装置のニーズが高まっている。

【０００５】従来の相関度演算装置として、相関度を演
算する複数個の演算器を備え、これらを並列動作させる
ことにより、高速化を図ったものがある。

【０００６】例えば、特開平６−１４１３０４に開示さ
れた相関度演算装置は、次のような構成からなる。参照
画像ブロックのサイズが（Ｍ×Ｎ）画素であり、候補ブ
ロック数もまた（Ｍ×Ｎ）個である場合に、画素値格納
用レジスタとマルチプレクサと差分絶対値演算器とから
なる（Ｍ×Ｎ）個の演算ユニットをＭ×Ｎの行列状に配
置し、各演算ユニットの出力データ線を加算器を介して
パイプライン接続して、参照画像ブロック及び候補ブロ
ックの画素データを一定の順序で差分絶対値演算器に供
給する。これにより、相関度の評価指標である差分絶対
値和をクロックサイクル毎に順次出力することが可能に
なり、相関度演算の高速化が実現されている。

【０００７】

【発明が解決しようとする課題】しかしながら、従来の
相関度演算装置には、以下のような問題がある。

【０００８】前記の相関度演算装置によると、（Ｍ×
Ｎ）画素の参照画像ブロックに対して（Ｍ×Ｎ）個の候
補ブロックの相関度しか演算することができない。この
ため、相関度の高い候補ブロックを選出する可能性を高
めるために、探索領域を広げて候補ブロックの数を増や
すことは極めて困難であった。

【０００９】画像圧縮の国際規格であるＭＰＥＧに従っ
て画像を圧縮する場合、少ない符号量によって高い画質
を実現するために、例えば、１６×１６画素の参照画像
ブロックに対して候補ブロックの数を３２×３２個又は
４８×４８個として探索領域を広げることが一般的に行
われている。したがって、探索領域を広げた場合にも高
速な処理が実行でき、しかも回路面積が小さい相関度演
算装置が不可欠である。

【００１０】前記の問題に鑑み、本発明は、探索領域の
拡張が容易であり、探索領域を広げた場合にも高速な処
理が実行でき、しかも簡易な構成で実現できる相関度演
算装置を提供することを課題とする。

【００１１】

【課題を解決するための手段】前記の課題を解決するた
め、請求項１の発明が講じた解決手段は、（Ｍ×Ｎ）画
素の参照画像ブロックに対し、ブロックマッチング法に
よって（（ｍ×Ｍ）×Ｌ）個の候補ブロックとの相関度
を演算する相関度演算装置として（ただし、Ｍ，Ｎ，
Ｌ，ｍは自然数，Ｌ≧Ｎ，ｍ≧２）、相関度の演算を
（Ｍ×Ｌ）個の候補ブロックからなる候補ブロック群毎
にパイプライン処理によって行い、一の候補ブロック群
に対する演算に必要な画素データと前記一の候補ブロッ
ク群に対する演算に続いて処理される他の候補ブロック
群に対する演算に必要な画素データとを同一クロックサ
イクルにおいてパイプライン処理に用いるようにしたも
のであり、これにより各候補ブロック群毎のパイプライ
ン処理を連続して行うことができ、（Ｍ×Ｎ）画素の参
照画像ブロックに対する（（ｍ×Ｍ）×Ｌ）個の候補ブ
ロックの相関度が１クロックサイクル毎に順次出力可能
になる。したがって、探索領域の拡張が容易であり、探
索領域を広げた場合にも高速な処理が実行できる。

【００１２】請求項２の発明は、請求項１の発明を具体
的に実現したものであり、（Ｍ×Ｎ）画素の参照画像ブ
ロックに対し、ブロックマッチング法によって（（ｍ×
Ｍ）×Ｌ）個の候補ブロックとの相関度を演算する相関
度演算装置として（ただし、Ｍ，Ｎ，Ｌ，ｍは自然数，
Ｌ≧Ｎ，ｍ≧２）、（（ｍ×Ｍ）×Ｌ）個の候補ブロッ
クを含む探索領域の画素データを格納する探索領域メモ
リと、（Ｍ×Ｎ）画素の参照画像ブロックの画素データ
を保持し、参照画像ブロックと候補ブロックとの相関度
の演算を、保持した参照画像ブロックの画素データ及び
前記探索領域メモリから出力された各候補ブロックの画
素データを用いて、（Ｍ×Ｌ）個の候補ブロックからな
る候補ブロック群毎にパイプライン処理によって行う相
関度演算部とを備え、前記探索領域メモリは、一の候補
ブロック群に対する演算に必要な画素データと前記一の
候補ブロック群に対する演算に続いて処理される他の候
補ブロック群に対する演算に必要な画素データとを前記
相関度演算部に同一クロックサイクルにおいて出力する
機能を有しているものである。これにより、前記相関度
演算部は各候補ブロック群に対する演算を連続して実行
可能となり、（Ｍ×Ｎ）画素の参照画像ブロックに対す
る（（ｍ×Ｍ）×Ｌ）個の候補ブロックの相関度が１ク
ロックサイクル毎に順次出力可能になる。

【００１３】請求項３の発明は、前記請求項２の発明に
係る相関度演算装置において、前記探索領域メモリは、
（（ｍ×Ｍ）×Ｌ）個の候補ブロックからなる（（ｍ＋
１）×Ｍ−１）列（Ｌ＋Ｎ−１）行の探索領域の画素デ
ータの中から、前記一の候補ブロック群に対する演算に
必要な画素データである，第１の画素データ及び該第１
の画素データより１行上で且つＭ列右にある第２の画素
データと、前記他の候補ブロック群に対する演算に必要
な画素データである，第３の画素データ及び該第３の画
素データより１行上で且つＭ列右にある第４の画素デー
タとを前記相関度演算部に同一クロックサイクルにおい
て出力する機能を有するものである。

【００１４】請求項４の発明は、前記請求項３の発明に
係る相関度演算装置において、前記第３の画素データ
は、前記第１の画素データよりＬ行上で且つＭ列右にあ
るものとする。

【００１５】請求項５の発明は、請求項１の発明を具体
的に実現したものであり、（Ｍ×Ｎ）画素の参照画像ブ
ロックに対し、ブロックマッチング法によって（（ｍ×
Ｍ）×Ｌ）個の候補ブロックとの相関度を演算する相関
度演算装置として（ただし、Ｍ，Ｎ，Ｌ，ｍは自然数、
Ｌ≧Ｎ，ｍ≧２）、与えられたクロックを基にしてメモ
リ制御信号及び演算制御信号を生成して出力するメイン
制御部と、（（ｍ×Ｍ）×Ｌ）個の候補ブロックを含む
探索領域の画素データを格納しており、前記メイン制御
部から出力されたメモリ制御信号の指示に従って格納し
た画素データを出力する探索領域メモリと、（Ｍ×Ｎ）
画素の参照画像ブロックの画素データを保持し、参照画
像ブロックと候補ブロックとの相関度の演算を、保持し
た参照画像ブロックの画素データ及び前記探索領域メモ
リから出力された画素データを用いて（Ｍ×Ｌ）個の候
補ブロックからなる候補ブロック群ごとにパイプライン
処理によって行う相関度演算部と、前記メイン制御部か
ら出力された演算制御信号の指示に従って前記相関度演
算部を制御する演算制御部とを備え、前記探索領域メモ
リは、一の候補ブロック群に対する演算に必要な画素デ
ータと前記一の候補ブロック群に対する演算に続いて処
理される他の候補ブロック群に対する演算に必要な画素
データとを前記相関度演算部に同一クロックサイクルに
おいて同時に供給する機能を有しているものである。こ
れにより、前記相関度演算部は、各候補ブロック群に対
する演算を連続して実行可能となり、（Ｍ×Ｎ）画素の
参照画像ブロックに対する（（ｍ×Ｍ）×Ｌ）個の候補
ブロックの相関度が１クロックサイクル毎に順次出力可
能になる。

【００１６】請求項６の発明は、前記請求項５の発明に
係る相関度演算装置において、前記探索領域メモリは、
（（ｍ×Ｍ）×Ｌ）個の候補ブロックからなる（（ｍ＋
１）×Ｍ−１）列（Ｌ＋Ｎ−１）行の探索領域の画素デ
ータの中から、前記一の候補ブロック群に対する演算に
必要な画素データである，第１の画素データ及び該第１
の画素データより１行上で且つＭ列右にある第２の画素
データと、前記他の候補ブロック群に対する演算に必要
な画素データである，第３の画素データ及び該第３の画
素データより１行上で且つＭ列右にある第４の画素デー
タとを前記相関度演算部に同一クロックサイクルにおい
て同時に出力する機能を有するものとする。

【００１７】請求項７の発明は、前記請求項６の発明に
係る相関度演算装置において、前記第３の画素データは
前記第１の画素データよりＬ行上で且つＭ列右にあるも
のとする。

【００１８】請求項８の発明は、請求項５の発明に係る
相関度演算装置において、前記探索領域メモリは１クロ
ックサイクルにつき４個の画素データを出力する機能を
有するものとする。

【００１９】請求項９の発明は、前記請求項８の相関度
演算装置において、前記探索領域メモリは、（（ｍ×
Ｍ）×Ｌ）個の候補ブロックからなる（（ｍ＋１）×Ｍ
−１）列（Ｌ＋Ｎ−１）行の探索領域を（Ｍ×（Ｌ＋Ｎ
−１））画素毎に分割して得られた（ｍ＋１）個の部分
探索領域の画素データを各々記憶しており、前記メイン
制御部から出力されたメモリ制御信号によるアクセスの
指示に従って画素データを読み出す（ｍ＋１）個の記憶
素子部と、前記（ｍ＋１）個の記憶素子部から読み出さ
れた画素データを、タイミングを調整した上で前記相関
度演算部に出力するタイミング調整手段とを備え、前記
メイン制御部は、１クロックサイクルにおいて２回のア
クセスを行うよう前記メモリ制御信号によって前記探索
領域メモリに指示するものとし、前記タイミング調整手
段は、前記（ｍ＋１）個の記憶素子部から１回のアクセ
スで読み出された画素データのうち２個を選択し、タイ
ミングを調整した上で１クロックサイクルにつき４個の
画素データを出力するものとする。

【００２０】請求項９の発明により、（ｍ＋１）個の記
憶素子部においてアドレスを共通化することができ、前
記相関度演算部が要求する画素データを容易に出力する
ことができる。また、（ｍ＋１）個の記憶素子部を１つ
のメモリによって構成することも可能になる。

【００２１】請求項１０の発明は、前記請求項９の相関
度演算装置におけるタイミング調整手段は、前記（ｍ＋
１）個の記憶素子部の中の第１〜第ｍの記憶素子部から
読み出された画素データのうち１つを選択して出力する
第１のメモリ選択器と、前記（ｍ＋１）個の記憶素子部
の中の第２〜第（ｍ＋１）の記憶素子部から読み出され
た画素データのうち１つを選択して出力する第２のメモ
リ選択器と、前記第１のメモリ選択器によって選択出力
された画素データに対し、前記第２のメモリ選択器によ
って選択出力された画素データをＭクロックサイクル遅
延させる遅延手段とを備えたものとする。

【００２２】請求項１０の発明により、タイミング調整
手段は２つのメモリ選択器と遅延手段とによって簡易に
構成されるので、探索領域メモリを面積の小さな回路に
よって実現できる。

【００２３】請求項１１の発明は、前記請求項８の相関
度演算装置における相関度演算部は、前記探索領域メモ
リから出力された４個の画素データのうち異なる１つの
画素データを各々選択出力する２個の第１の選択器と、
参照画像ブロックの画素データを各々保持し、前記２個
の第１の選択器によって選択出力された２個の画素デー
タのうち１つを選択して、保持した画素データとの評価
値を演算するＭ個の画素演算部とをそれぞれ有している
Ｎ個のライン演算部を備え、各画素演算部によって演算
された評価値を累積することによって（Ｍ×Ｎ）画素の
参照画像ブロックと各候補ブロックとの相関度を求める
ように構成したものとする。

【００２４】請求項１１の発明により、探索領域を拡張
した場合にも画素演算部に１クロックサイクル毎に画素
データが供給されるので、処理の高速化が実現される。
また、同じ構成からなるライン演算部を配置するだけで
相関度演算部が構成されるので、相関度演算装置の構成
の簡略化が実現される。

【００２５】請求項１２の発明は、前記請求項１１の相
関度演算装置における画素演算部はそれぞれ、入力され
た参照画像ブロックの画素データを保持する参照画像格
納部と、前記２個の第１の選択器によって選択出力され
た２つの画素データのうち１つを選択する第２の選択器
と、前記参照画像格納部に保持された画素データと前記
第２の選択器によって選択された画素データとの評価値
を演算する演算器と、前記演算器によって演算された評
価値と前段の画素演算部から出力された累積された評価
値とを加算する加算器と、前記加算器の出力データを一
旦格納し、次段の画素演算部に出力するレジスタとを備
えたものとする。

【００２６】請求項１３の発明は、前記請求項１１の相
関度演算装置における各ライン演算部において、Ｍ個の
画素演算部が、第１の選択器によって選択出力された画
素データを転送するバスの両側に対称的に２列に配置さ
れているものとする。

【００２７】請求項１４の発明は、前記請求項１３の相
関度演算装置において、評価値が、一の列の画素演算部
において，前記第１の選択器が配置されている方の端に
位置する画素演算部から前記第１の選択器が配置されて
いない方の端に位置する画素演算部へ、続いて他の列の
前記第１の選択器が配置されていない方の端に位置する
画素演算部へ、続いて、前記他の列の画素演算部におい
て，前記第１の選択器が配置されていない方の端に位置
する画素演算部から前記第１の選択器が配置されている
方の端に位置する画素演算部へ、順次転送されて累積さ
れるものとする。

【００２８】請求項１３及び１４の発明により、各ライ
ン演算部内のＭ個の画素演算部を接続する配線及び各ラ
イン演算部間の配線の長さが短縮され、相関度演算部の
構成が簡略化される。

【００２９】請求項１５の発明は、前記請求項８の相関
度演算装置における相関度演算部は、参照画像ブロック
の画素データを各々保持し、前記探索領域メモリから出
力された４個の画素データのうち１つを選択して、保持
している画素データとの評価値を演算する（Ｍ×Ｎ）個
の画素演算部を備え、各画素演算部によって演算された
評価値を累積することによって、（Ｍ×Ｎ）画素の参照
画像ブロックと各候補ブロックとの相関度を求めるよう
に構成したものとする。

【００３０】請求項１５の発明により、探索領域を拡張
した場合にも画素演算部に１クロックサイクル毎に画素
データが供給されるので、処理の高速化が実現される。
また、同じ構成からなるライン演算部を配置するだけで
相関度演算部が構成されるので、相関度演算装置の構成
の簡略化が実現される。

【００３１】請求項１６の発明は、前記請求項１５の相
関度演算装置における画素演算部は、入力された参照画
像ブロックの画素データを保持する参照画像格納部と、
前記探索領域メモリから出力された４個の画素データの
うち１つを選択する選択器と、前記参照画像格納部に保
持された画素データと前記選択器によって選択された画
素データとの評価値を演算する演算器と、前記演算器に
よって演算された評価値と前段の画素演算部から出力さ
れた累積された評価値とを加算する加算器と、前記加算
器の出力データを一旦格納し、次段の画素演算部に出力
するレジスタとを備えたものとする。

【００３２】請求項１７の発明は、前記請求項８の相関
度演算装置において、前記相関度演算部は、参照画像ブ
ロックの各行のＭ個の画素データを保持し、前記探索領
域メモリから出力された画素データと保持した画素デー
タとの評価値を演算するＮ個のライン演算部を備え、前
記演算制御部は、前記Ｎ個のライン演算部を各々制御す
るＮ個のライン制御部を備えたものとする。

【００３３】請求項１７の発明により、ライン演算部と
ライン制御部とを組み合わせて配置するだけで相関度演
算部及び演算制御部が構成されるので、相関度演算装置
の構成の簡略化が実現される。

【００３４】請求項１８の発明は、前記請求項１７の相
関度演算装置において、前記Ｎ個のライン制御部はカス
ケード接続されており、前記演算制御部に入力された演
算制御信号が前記Ｎ個のライン制御部を順次転送される
ように構成したものとする。

【００３５】請求項１９の発明は、前記請求項１８の相
関度演算装置において、前記ライン演算部はそれぞれ、
前記探索領域メモリから出力された４個の画素データの
うち異なる１つの画素データを各々選択出力する２個の
第１の選択器と、参照画像ブロックの画素データを各々
保持しており，前記２個の第１の選択器によって選択出
力された２つの画素データのうち１つを選択し，保持し
ている画素データとの評価値を演算するＭ個の画素演算
部とを備え、前記ライン制御部はそれぞれ、前記２個の
第１の選択器を制御する第１の制御部と、前記Ｍ個の画
素演算部を各々制御するＭ個の第２の制御部とを備えた
ものとする。

【００３６】請求項２０の発明は、前記請求項１９の相
関度演算装置において、各ライン制御部において前記Ｍ
個の第２の制御部はカスケード接続されており、当該ラ
イン制御部に入力された演算制御信号が前記Ｍ個の第２
の制御部を順次転送され、入力されてからＭクロックサ
イクル後に出力されるように構成したものとする。

【００３７】請求項２１の発明は、（Ｍ×Ｎ）画素の参
照画像ブロックに対し、ブロックマッチング法によって
複数の候補ブロックとの相関度を演算する相関度演算装
置として（ただし、Ｍ，Ｎ，Ｌは自然数）、演算対象の
各候補ブロックを含む探索領域の画素データを格納して
いる探索領域メモリと、（Ｍ×Ｎ）画素の参照画像ブロ
ックの画素データを保持し、該参照画像ブロックと各候
補ブロックとの相関度の演算を、保持した参照画像ブロ
ックの画素データ及び前記探索領域メモリから出力され
た各候補ブロックの画素データを用いてパイプライン処
理によって行う相関度演算部と、入力された演算制御信
号に従って前記相関度演算部を制御する演算制御部とを
備え、前記相関度演算部は、前記参照画像ブロックの画
素データを各々保持し、保持した画素データと前記探索
領域メモリから出力された画素データとの評価値を演算
するＭ個の画素演算部をそれぞれ有するＮ個のライン演
算部からなり、これら（Ｍ×Ｎ）個の画素演算部はカス
ケード接続されており、各画素演算部の演算結果の評価
値が順次加算されながら転送されるように構成してお
り、前記演算制御部は、前記Ｎ個のライン演算部を各々
制御するＮ個のライン制御部からなる構成とするもので
ある。

【００３８】請求項２２の発明は、前記請求項２１の相
関度演算装置において、前記Ｎ個のライン制御部はカス
ケード接続されており、前記演算制御部に入力された演
算制御信号が前記Ｎ個のライン制御部を順次転送される
ように構成したものとする。

【００３９】請求項２３の発明は、前記請求項２２の相
関度演算装置において、前記ライン制御部はそれぞれ、
前記Ｍ個の画素演算部を各々制御するＭ個の制御部を備
えたものとする。

【００４０】請求項２４の発明は、前記請求項２３の相
関度演算装置における各ライン制御部において前記Ｍ個
の制御部はカスケード接続されており、当該ライン制御
部に入力された演算制御信号が前記Ｍ個の制御部を順次
転送され、入力されてからＭクロックサイクル後に出力
されるように構成したものとする。

【００４１】

【００４２】

【００４３】

【００４４】また、請求項２５の発明が講じた解決手段
は、（Ｍ×Ｎ）画素の参照画像ブロックに対し、ブロッ
クマッチング法によって（（ｍ×Ｍ）×Ｌ）個の候補ブ
ロックとの相関度を演算する相関度演算方法として（た
だし、Ｍ，Ｎ，Ｌ，ｍは自然数，Ｌ≧Ｎ，ｍ≧２）、
（（ｍ×Ｍ）×Ｌ）個の候補ブロックを（Ｍ×Ｌ）個の
候補ブロックから成るｍ個の候補ブロック群に分け、各
候補ブロック群に対し、水平方向に連続して折り重なっ
て並ぶＭ個の候補ブロックについて参照画像ブロックと
のブロックマッチングをとる第１のステップと、前記第
１のステップを垂直方向に移動しながらＬ回繰り返す第
２のステップとを行うものとする。

【００４５】請求項２６の発明は、前記請求項２５の相
関度演算方法において、一の候補ブロック群に対する演
算に必要な画素データと前記一の候補ブロック群に対す
る演算に続いて処理される他の候補ブロック群に対する
演算に必要な画素データとを同時に用いるものとする。

【００４６】また、請求項２７の発明が講じた解決手段
は、（Ｍ×Ｎ）画素の参照画像ブロックに対し、ブロッ
クマッチング法によって（（ｍ×Ｍ）×Ｌ）個の候補ブ
ロックとの相関度を演算する相関度演算装置として（た
だし、Ｍ，Ｎ，Ｌ，ｍは自然数，Ｌ≧Ｎ，ｍ≧２）、相
関度の演算を、それぞれ（Ｍ×Ｌ）個の候補ブロックか
らなり、かつ、水平方向および垂直方向のうちいずれか
一方の方向に連なるｍ個の候補ブロック群毎にパイプラ
イン処理によって行い、各候補ブロック群における相関
度の演算は、前記一方の方向に連続して折り重なって並
ぶＭ個の候補ブロックについて参照画像ブロックとのブ
ロックマッチングをとるステップを、他方の方向に移動
しながらＬ回繰り返すものであり、一の候補ブロック群
に対する演算に必要な画素データと前記一の候補ブロッ
ク群に対する演算に続いて処理される他の候補ブロック
群に対する演算に必要な画素データとを同一クロックサ
イクルにおいてパイプライン処理に用いるように構成し
たものである。

【００４７】また、請求項２８の発明が講じた解決手段
は、（Ｍ×Ｎ）画素の参照画像ブロックに対し、ブロッ
クマッチング法によって（（ｍ×Ｍ）×Ｌ）個の候補ブ
ロックとの相関度を演算する相関度演算方法として（た
だし、Ｍ，Ｎ，Ｌ，ｍは自然数、Ｌ≧Ｎ，ｍ≧２）、
（（ｍ×Ｍ）×Ｌ）個の候補ブロックを、それぞれ（Ｍ
×Ｌ）個の候補ブロックからなり、かつ、水平方向およ
び垂直方向のうちいずれか一方の方向に連なるｍ個の候
補ブロック群に分け、各候補ブロック群に対し、前記一
方の方向に連続して折り重なって並ぶＭ個の候補ブロッ
クについて参照画像ブロックとのブロックマッチングを
とる第１のステップと、前記第１のステップを、他方の
方向に移動しながらＬ回繰り返す第２のステップとを行
うものであり、一の候補ブロック群に対する演算に必要
な画素データと前記一の候補ブロック群に対する演算に
続いて処理される他の候補ブロック群に対する演算に必
要な画素データとを同時に用いるものとする。

【００４８】

【発明の実施の形態】

（第１の実施形態） 本発明の第１の実施形態に係る相関度演算装置につい
て、図面を参照して説明する。

【００４９】本実施形態は、ブロックマッチング法によ
って全探索で動きベクトルを求めるとき、（Ｍ×Ｎ）画
素の参照画像ブロックに対して（（ｍ×Ｍ）×Ｌ）個の
候補ブロック各々の相関度を求めるものである。この場
合、探索領域の大きさは（（ｍ＋１）×Ｍ−１）×（Ｌ
＋Ｎ−１）画素である。ここで、Ｍ，Ｎ，Ｌ，ｍは、そ
れぞれ任意の自然数（ただしＬ≧Ｎ，ｍ≧２）である。

【００５０】以下、説明のため、Ｍ＝４，Ｎ＝３，Ｌ＝
３，ｍ＝２，すなわち参照画像ブロックのブロックサイ
ズを４×３画素、候補ブロックの数を（２×４）×３個
とする。また、相関度の評価指標として、参照画像ブロ
ックと候補ブロックとの画素データの差分絶対値の和を
求めるものとする。

【００５１】図１は、ブロックマッチング法及び動きベ
クトルを説明するための図である。図１において、Ｆｐ
は参照画像フレーム（現在の画面）、Ｂｐは参照画像ブ
ロック、Ｆｂは候補フレーム（１つ前の画面）、Ｂｂは
候補ブロック、Ｅは探索領域、ＭＶは動きベクトルであ
る。また、ｒは参照画像ブロックＢｐの各画素、Ｃは探
索領域Ｅの各画素を表す。

【００５２】動きベクトルとは、１つ前の画面中のある
部分が現在の画面ではどこに移動したのかを示す情報で
ある。ブロックマッチング法では、参照画像ブロックＢ
ｐと最も相関度の高い候補ブロックＢｂを探索領域Ｅの
中から検出し、その位置のずれを示すベクトルを動きベ
クトルとする。本実施形態では、相関度の評価指標であ
る差分絶対値の和が最小となる候補ブロックＢｂを求
め、動きベクトルＭＶを検出する。

【００５３】本実施形態に係る相関度演算装置の演算動
作及び構成の概略は、以下のとおりである。

【００５４】相関度の評価指標を計算する各演算部は、
まず、参照画像ブロックの各画素のデータを保持し、次
に各候補ブロックの画素データをクロックサイクル毎に
受け、保持している参照画像ブロックの画素データと入
力された候補ブロックの画素データとの差分絶対値を演
算した後、前段の演算部から出力された差分絶対値との
加算を行い、加算結果を次段の演算部に出力する。すな
わち、各演算部はいわゆるカスケード接続の構成をとっ
ている。

【００５５】また、本実施形態に係る相関度演算装置
は、候補ブロックの探索順序、並びにこの探索順序を実
現するための各演算部へのデータ供給手段、このデータ
供給手段を制御する手段、及び各手段の配置構成に特徴
がある。

【００５６】図２（ａ）は、探索領域Ｅ内の各候補ブロ
ックＢｂの範囲を示す図である。例えば、候補ブロック
Ｂｂ0,0 は探索領域Ｅの左上隅に当たり、画素Ｃ0,0 〜
Ｃ3,0 ，Ｃ0,1 〜Ｃ3,1 及びＣ0,2 〜Ｃ3,2 からなる。
また、候補ブロックＢｂ7,2は探索領域Ｅの右下隅に当
たり、画素Ｃ7,2 〜Ｃa,2 ，Ｃ7,3 〜Ｃa,3 及びＣ7,4
〜Ｃa,4 からなる。８×３個の候補ブロックＢｂによっ
て１１×５画素の探索領域Ｅが構成されている。

【００５７】図２（ｂ）及び（ｃ）は、本実施形態にお
ける候補ブロックＢｂの探索順序を示す図である。図２
（ｂ）及び（ｃ）において、各候補ブロックＢｂの左上
隅の画素をその候補ブロックＢｂの代表点とし、代表点
の動きを示す矢印によって候補ブロックＢｂの探索順序
を表している。

【００５８】図２（ｂ）に示すように、まず、探索領域
Ｅ内の左上の候補ブロックＢｂ0,0から始めて、水平方
向に４（＝Ｍ）個の候補ブロックＢｂ0,0 ，Ｂｂ1,0 ，
Ｂｂ2,0 ，Ｂｂ3,0 を順に処理する（ステップ１）。次
に、垂直方向に１段下がって候補ブロックＢｂ0,1 から
水平方向に４個の候補ブロックを処理する。同様の処理
を３（＝Ｌ）回繰り返す（ステップ２）ことによって、
１２（＝Ｍ×Ｌ）個の候補ブロックＢｂ0,0 〜Ｂｂ3,2
を処理する。

【００５９】次に、図２（ｃ）に示すように、候補ブロ
ックＢｂ4,0 から始めて、水平方向に４（＝Ｍ）個の候
補ブロックＢｂ4,0 ，Ｂｂ5,0 ，Ｂｂ6,0 ，Ｂｂ7,0 を
順に処理し、次に、垂直方向に１段下がって候補ブロッ
クＢｂ4,1 から水平方向に４個の候補ブロックを処理す
る、といった動作を３（＝Ｌ）回繰り返す。これによ
り、１２（＝Ｍ×Ｌ）個の候補ブロックＢｂ4,0 〜Ｂｂ
7,2 を処理する。

【００６０】従来の相関度演算装置を用いてパイプライ
ン処理を行った場合、図２（ｂ）に示す処理と図２
（ｃ）に示す処理とを連続して処理することができず、
このため、数サイクル（図２に示した候補ブロックでは
１２サイクル）の相関度が算出されない期間が存在して
しまう。

【００６１】ところが本実施形態に係る相関度演算装置
によると、（ｍ×Ｍ）×Ｌ（＝（４×２）×３）個の候
補ブロックを連続して処理することができる。なお、本
実施形態では、Ｎ＝Ｌ＝３として説明の簡略化を図った
が、ＬはＮ以上の自然数であれば、なんら問題ない。

【００６２】図３は、本実施形態に係る相関度演算装置
の構成を示すブロック図である。図３において、１０は
探索領域メモリ、２０はメイン制御部、３０は相関度演
算部、４０は演算制御部である。

【００６３】探索領域メモリ１０は、記憶素子部１１ａ
〜１１ｃ、第１のメモリ選択器１２ａ，第２のメモリ選
択器１２ｂ及び遅延手段１３によって構成されている。
記憶素子部１１ａ〜１１ｃには探索領域の画素データが
格納されており、探索領域メモリ１０は、メイン制御部
２０から出力されたメモリ制御信号２４に従って探索領
域内の４個の画素データをバスＡ1 ，Ａ2 ，Ｂ1 ，Ｂ2
を介して相関度演算部３０に出力する。遅延手段１３
は、遅延回路１３ａ〜１３ｄ及びＭ画素遅延回路１３
ｅ，１３ｆによって構成されている。また、第１のメモ
リ選択器１２ａ，第２のメモリ選択器１２ｂ及び遅延手
段１３によってタイミング調整手段が構成されている。

【００６４】メイン制御部２０は、クロック生成回路２
５、カウンタ２６、及びアドレス解析器２７によって構
成されており、探索領域メモリ１０にメモリ制御信号２
４を出力し、演算制御部４０に演算制御信号２３を出力
する。

【００６５】クロック生成回路２５は、入力されたクロ
ック２１を基にしてクロック２１と同位相のクロック
（奇数クロック）２４ａ、クロック２１と逆位相のクロ
ック（偶数クロック）２４ｂ及びクロック２１の２倍の
周波数を持つ２倍クロック２４ｃを生成し、探索領域メ
モリ１０に出力する。カウンタ２６は開始信号２２の指
示に従って２倍クロック２４ｃに同期して計数を開始
し、計数データをアドレス解析器２７に出力する。アド
レス解析器２７はカウンタ２６の計数データを基にして
アドレス２４ｄ及び演算制御信号２３を生成するデコー
ダであり、演算制御部４０に演算制御信号２３を出力
し、探索領域メモリ１０にアドレス２４ｄを出力する。
メモリ制御信号２４は、奇数クロック２４ａ，偶数クロ
ック２４ｂ，２倍クロック２４ｃ及びアドレス２４ｄか
らなる。

【００６６】記憶素子部１１ａ〜１１ｃには、メイン制
御部２０から出力された２倍クロック２４ｃ及びアドレ
ス２４ｄが与えられる。与えられたアドレス２４ｄに従
って、各記憶素子部１１ａ〜１１ｃから２倍クロック２
４ｃのサイクル毎に画素データが読み出される。また、
第１及び第２のメモリ選択器１２ａ，１２ｂは奇数クロ
ック２４ａによって切り替えが行われる。２倍クロック
２４ｃが奇数サイクルのとき、第１のメモリ選択器１２
ａは記憶素子部１１ａから読み出された画素データを選
択して遅延回路１３ａに出力し、第２のメモリ選択器１
２ｂは記憶素子部１１ｂから読み出された画素データを
選択して遅延回路１３ｃに出力する。一方、２倍クロッ
ク２４ｃが偶数サイクルのとき、第１のメモリ選択器１
２ａは記憶素子部１１ｂから読み出された画素データを
選択して遅延回路１３ｂに出力し、第２のメモリ選択器
１２ｂは記憶素子部１１ｃから読み出された画素データ
を選択して遅延回路１３ｄに出力する。このような動作
により、クロック２１の１サイクル毎に記憶素子部１１
ａ〜１１ｃから４個の画素データを読み出すことができ
る。

【００６７】遅延回路１３ａ，１３ｃは奇数クロック２
４ａによって画素データが入力され、遅延回路１３ｂ，
１３ｄは偶数クロック２４ｂによって画素データが入力
される。遅延回路１３ａ，１３ｂは入力された画素デー
タをそれぞれバスＡ1 ，Ａ2に出力する。また、遅延回
路１３ｃ，１３ｄは入力された画素データをそれぞれＭ
画素遅延回路１３ｅ，１３ｆに出力する。Ｍ画素遅延回
路１３ｅ，１３ｆは、入力された画素データをＭ（＝
４）クロック分遅延した後、それぞれバスＢ1 ，Ｂ2 に
出力する。

【００６８】相関度演算部３０は、与えられた（Ｍ×
Ｎ）画素の参照画像ブロック５１に対し、各候補ブロッ
クとの相関度をバスＡ1 ，Ａ2 ，Ｂ1 ，Ｂ2 を介して入
力された画素データを用いてパイプライン処理によって
演算し、相関度データ３１ｍを出力する。

【００６９】演算制御部４０は、メイン制御部２０から
出力された演算制御信号２３の指示に従って、格納制御
信号４１ａ〜４１ｌ、第１の切り替え信号４２ａ〜４２
ｆ及び第２の切り替え信号４３ａ〜４３ｌを相関度演算
部３０に出力する。

【００７０】相関度演算部３０及び演算制御部４０につ
いて、図４〜図７を用いてさらに詳細に説明する。

【００７１】図４は、相関度演算部３０の内部構成を示
すブロック図である。図４に示すように、相関度演算部
３０は４（＝Ｍ）個の画素演算部と２個の第１の選択器
とをそれぞれ有する３（＝Ｎ）個のライン演算部によっ
て構成されている。ライン演算部３２〜３４の内部構成
は同一であり、また、画素演算部３２ａ〜３２ｄ，３３
ａ〜３３ｄ，３４ａ〜３４ｄの内部構成は同一である。

【００７２】ライン演算部３２は、画素演算部３２ａ〜
３２ｄ及び第１の選択器３２ｅ，３２ｆによって構成さ
れている。第１の選択器３２ｅはバスＡ1 ，Ａ2 を転送
された２つの画素データのうち１つを選択してバス３２
Ａに出力し、第１の選択器３２ｆはバスＢ1 ，Ｂ2 を転
送された２つの画素データのうち１つを選択してバス３
２Ｂに出力する。画素演算部３２ａ〜３２ｄは参照画像
ブロック５１の画素データをそれぞれ蓄積しており、バ
ス３２Ａ又は３２Ｂを転送される候補ブロックの画素デ
ータを読み込んで参照画像ブロックの画素データとの差
分絶対値を演算する。

【００７３】画素演算部３２ａは、相関度データの初期
値３１ａ（図４では“０”）に演算結果を加算し、加算
結果データ３１ｂを次段の画素演算器３２ｂに出力す
る。画素演算部３２ｂはデータ３１ｂに演算結果を加算
して加算結果データ３１ｃを出力し、同様に、画素演算
部３２ｃはデータ３１ｃに演算結果を加算して加算結果
データ３１ｄを出力し、画素演算部３２ｄはデータ３１
ｄに演算結果を加算して加算結果データ３１ｅを出力す
る。データ３１ｅは、ライン演算部３３の画素演算部３
３ａに与えられる。

【００７４】ライン演算部３３の画素演算部３３ａ〜３
３ｄ、ライン演算部３４の画素演算部３４ａ〜３４ｄも
同様の動作を行い、画素演算部３４ｄから相関度データ
３１ｍが出力される。

【００７５】図５は、演算制御部４０の内部構成を示す
回路図である。図５に示すように、演算制御部４０は１
個の第１の制御部と４（＝Ｍ）個の第２の制御部とをそ
れぞれ有する３（＝Ｎ）個のライン制御部によって構成
されている。ライン制御部４４〜４６は同一の構成から
なるので、図５ではライン制御部４５，４６の構成を省
略している。

【００７６】ライン制御部４４は第１の制御部４４ｅ及
び第２の制御部４４ａ〜４４ｄによって構成されてお
り、第２の制御部４４ａ〜４４ｄはそれぞれ、図４に示
すライン演算部３２内の画素演算部３２ａ〜３２ｄの制
御を行う。メイン制御部２０から演算制御信号２３が入
力されると、第１の制御部４４ｅは第２の制御部４４ａ
〜４４ｄを動作させ、第２の制御部４４ａ〜４４ｄはそ
れぞれ、格納制御信号４１ａ〜４１ｄ及び第２の切り替
え信号４３ａ〜４３ｄを画素演算部３２ａ〜３２ｄに出
力する。また、第１の制御部４４ｅは、ライン演算部３
２内の第１の選択器３２ｅ，３２ｆを切り替える第１の
切り替え信号４２ａ，４２ｂを出力する。

【００７７】さらに、第１の制御部４４ｅは、Ｍ（＝
４）クロック後に次段のライン制御部４５に演算制御信
号４４ｊを出力する。ライン制御部４５の第１の制御部
も同様の制御を行い、Ｍ（＝４）クロック後に次段のラ
イン制御部４６に演算制御信号４５ｊを出力する。

【００７８】ここで、演算制御部４０による相関度演算
部３０の制御についてさらに詳細に説明する。

【００７９】まず、第１の制御部による第１の選択器の
制御について説明する。ここでは、第１の制御部４４ｅ
による第１の選択器３２ｅ，３２ｆの制御を例にとって
説明する。

【００８０】図５に示すように、ライン制御部４４に演
算制御信号２３が入力されると、第１のレジスタ４４ｆ
は格納許可信号４４ｉを第１の切り替え信号４２ａとし
て出力する。第１の切り替え信号４２ａは、図４に示す
ように第１の選択器３２ｅに与えられ、第１の選択器３
２ｅはバスＡ1 及びバスＡ2 のいずれか一方を選択し、
選択したバスのデータをバス３２Ａに出力する。

【００８１】また、図５に示すように、第１の切り替え
信号４２ａが出力されてから４（＝Ｍ）クロック後に、
第２のレジスタ４４ｇは第２の制御部４４ｄの出力信号
４４ｏによって同期された第１の切り替え信号４２ｂを
出力する。第１の切り替え信号４２ｂは、図４に示すよ
うに第１の選択器３２ｆに与えられ、第１の選択器３２
ｆはバスＢ1 及びバスＢ2 のいずれか一方を選択し、選
択したバスのデータをバス３２Ｂに出力する。

【００８２】また、図５に示すように、第２の制御部４
４ｄから出力信号４４ｏが出力されるとＯＲゲート４４
ｈから初期化信号４４ｋが再び出力され、以降、同様の
動作が繰り返される。

【００８３】次に、第２の制御部による画素演算部の制
御について説明する。ここでは、第２の制御部４４ｂに
よる画素演算部３２ｂの制御を例にとって説明する。

【００８４】演算制御信号２３が演算制御部４０に入力
されると、参照画像ブロックの画素データの格納及び候
補ブロックの画素データの分配の制御に起動がかかる。
図５において、ライン制御部４４に演算制御信号２３が
入力されると、第１のレジスタ４４ｆは第２の制御部４
４ａ〜４４ｄに格納許可信号４４ｉを出力する。また、
演算制御信号２３はＯＲゲート４４ｈにも入力され、Ｏ
Ｒゲート４４ｈは第２の制御部４４ａ〜４４ｄに初期化
信号４４ｋを出力する。この初期化信号４４ｋによっ
て、第２の制御部４４ａ〜４４ｄはそれぞれ初期化され
る。

【００８５】図６は、第２の制御部４４ｂの内部構成を
示す回路図である。図６に示すように、第２の制御部４
４ｂはＡＮＤゲート４４ｐ、切替回路４４ｑ及び伝播回
路４４ｒによって構成されている。また図７は、第２の
画素演算部３２ｂの内部構成を示す回路図である。図７
に示すように、画像演算部３２ｂは参照画像格納部８
１、第２の選択器８２、差分絶対値演算器８３、差分絶
対値加算器８４及びパイプラインレジスタ８５によって
構成されている。

【００８６】図６に示すように、第２の制御部４４ｂは
初期化信号４４ｋが入力された１サイクル後に、前段の
第２の制御部４４ａの出力信号４４ｌを伝搬回路４４ｒ
によって奇数クロック２４ａのタイミングで受ける。Ａ
ＮＤゲート４４ｐは、伝搬回路４４ｒの出力信号及び格
納許可信号４４ｉを入力とし、格納制御信号４１ｂを出
力する。

【００８７】格納制御信号４１ｂは、図７に示すよう
に、画素演算部３２ｂ内の参照画像格納部８１に与えら
れる。

【００８８】また、第２の制御部４４ｂは、初期化信号
４４ｋが入力された１サイクル後に、前段の第２の制御
部４４ａの出力信号４４ｌによって切替回路４４ｑの同
期をとり、切替回路４４ｑは第２の切り替え信号４３ｂ
を出力する。

【００８９】第２の切り替え信号４３ｂは、図７に示す
ように、画素演算部３２ｂ内の第２の選択器８２に与え
られ、第２の選択器８２は、第２の切り替え信号４３ｂ
に従って選択するバスを切り替える。

【００９０】伝搬回路４４ｒの出力信号４４ｍは、次段
の第２の制御部４４ｃに出力される。第２の制御部４４
ｃもまた同様に動作した後、信号４４ｎを次段の第２の
制御部４４ｄに出力する。このように、第２の制御部４
４ａ〜４４ｄの動作は１サイクル毎に伝搬していく。ま
た、ライン制御部４５，４６内の第２の制御部も同様の
動作を行う。

【００９１】画素演算器３２ｂは次のように動作する。
図７に示すように、差分絶対値演算器８３は、第２の選
択器８２によって選択された候補ブロックの画素データ
と参照画像格納部８１に格納された参照画像ブロックの
画素データとの差分絶対値（ＡＥ）を演算する。差分絶
対値加算器８４は、差分絶対値演算器８３から出力され
た差分絶対値８６と、前段の画素演算部３２ａから与え
られた差分絶対値和（ＳＡＥ）３１ｂとを加算する。加
算の結果得られた差分絶対値和３１ｃは、次のクロック
サイクルにおいて、パイプラインレジスタ８５を介して
次段の画素演算器３２ｃに出力される。この動作を１２
クロックサイクル繰り返すことにより、参照画像ブロッ
クと各候補ブロックとの相関度データ３１ｍを得ること
ができる。

【００９２】以下、本実施形態に係る相関度演算装置の
動作を具体的に説明する。ここでは図１及び図２に示す
ような参照画像ブロックＢｐと候補ブロックＢｂとの相
関度を演算するものとする。

【００９３】まず、探索領域メモリ１０内の記憶素子部
１１ａ〜１１ｃには探索領域Ｅの画素データが格納され
る。図８は、記憶素子部１１ａ〜１１ｃに各々格納され
た画素データを示す図である。図８において、部分探索
領域Ｅ1 の画素データは記憶素子部１１ａに格納され、
部分探索領域Ｅ2 の画素データは記憶素子部１１ｂに格
納され、部分探索領域Ｅ3 の画素データは記憶素子部１
１ｃに格納される。このとき、記憶素子部１１ａ〜１１
ｃに対するアドレスを共通化するために、記憶素子部１
１ａには部分探索領域Ｅ1 の画素データがＣ0,0 ，Ｃ1,
0 ，Ｃ2,0 ，Ｃ3,0 ，Ｃ0,1 ，・・・，Ｃ2,4 ，Ｃ3,4
の順に格納されており、記憶素子部１１ｂには部分探索
領域Ｅ2 の画素データがＣ4,0 ，Ｃ5,0 ，Ｃ6,0 ，Ｃ7,
0 ，Ｃ4,1 ，・・・，Ｃ6,4 ，Ｃ7,4 の順に格納されて
おり、さらに、記憶素子部１１ｃには部分探索領域Ｅ3
の画素データがＣ8,0 ，Ｃ9,0 ，Ｃa,0 ，Ｃb,0 （ダミ
ーデータ），Ｃ8,1 ，・・・，Ｃa,4 ，Ｃb,4 （ダミー
データ）の順に格納されている。

【００９４】図９は、本実施形態に係る相関度演算装置
によって実現されるパイプライン処理を表す図であり、
各サイクルにおいて各画素演算部（ＰＥ）３２ａ〜３４
ｄが要求する探索領域Ｅ内の画素データＣを示してい
る。画素データＣの添字は、図１及び図８に示す探索領
域Ｅ内の画素データＣの添字に対応する。図９におい
て、階段状の太線より左側の処理は図２（ｂ）に示す処
理に相当し、階段状の太線より右側の処理は図２（ｃ）
に示す処理に相当する。

【００９５】ここで例えば、時間１８のときに各画素演
算部が要求する画素データ（図９において太破線で囲ん
でいる箇所）はＣ4,1 ，Ｃ8,0 ，Ｃ4,3 ，Ｃ0,4 の４個
であり、図８において丸で囲んで示している。従来の相
関度演算装置では、時間１８のときのように４個の画素
データを各画素演算部に同時に供給することができなか
ったので、階段状の太線より右側の処理と左側の処理と
を連続してパイプライン処理することが出来ず、相関度
が演算されない数サイクルの期間が存在した。

【００９６】本実施形態に係る相関度演算装置は、パイ
プライン処理が途絶えることなく行えるよう各画素演算
部にデータを供給する手段を実現している。

【００９７】図１０は、本実施形態に係る相関度演算装
置の動作を説明するための図である。同図中、（ａ）は
メイン制御部２０の動作を説明するための図、（ｂ）は
各記憶素子部１１ａ〜１１ｃから読み出される画素デー
タを示す図、（ｃ）は探索領域メモリ１０の各バスから
出力される画素データを示す図、（ｄ）は相関度演算部
３０内の第１の選択器が選択するバスを示す図である。

【００９８】開始信号２２が入力されると、カウンタ２
６はクロック生成回路２５から出力された２倍クロック
２４ｃの計数を開始し、計数データをアドレス解析器２
７に出力する。図１０（ａ）では、外部から与えられる
クロック２１のサイクル毎に時間を表しているので、カ
ウンタ２６はサイクル毎に奇数クロック２４ａ及び偶数
クロック２４ｂのタイミングによって２つの計数データ
を出力する。カウンタ２６の計数が開始されると、アド
レス解析器２７は探索領域メモリ１０にアドレス２４ｄ
を出力する。奇数クロック２４ａのタイミングで出力さ
れるアドレス２４ｄは「１」から始まる一方、偶数クロ
ック２４ｂのタイミングで出力されるアドレス２４ｄは
「９」から始まり、各々順次インクリメントされる。ま
た、各々のアドレス２４ｄは、「２０」までインクリメ
ントされると次のサイクルでは「１」になり、再びイン
クリメントされる。

【００９９】各記憶素子部１１ａ〜１１ｃからアドレス
２４ｄによって読み出される画素データは、図１０
（ｂ）のようになる。例えば、奇数クロック２４ａのタ
イミングでアドレス「１」が出力されると、記憶素子部
１１ａから画素データＣ0,0 が、記憶素子部１１ｂから
画素データＣ4,0 が、記憶素子部１１ｃから画素データ
Ｃ8,0 が読み出され、第１のメモリ選択器１２ａによっ
て画素データＣ0,0 が遅延回路１３ａに出力され、第２
のメモリ選択器１２ｂによって画素データＣ4,0 が遅延
回路１３ｃに出力される。

【０１００】次に、偶数クロック２４ｂのタイミングで
アドレス「９」が出力されると、記憶素子部１１ａから
画素データＣ0,2 が、記憶素子部１１ｂから画素データ
Ｃ4,2 が、記憶素子部１１ｃから画素データＣ8,2 が読
み出され、第１のメモリ選択器１２ａによって画素デー
タＣ4,2 が遅延回路１３ｂに出力され、第２のメモリ選
択器１２ｂによって画素データＣ8,2 が遅延回路１３ｄ
に出力される。

【０１０１】ただし、時間１〜１２のときに遅延回路１
３ｂ，１３ｄに出力された画素データは相関度演算には
不要である。また、時間２１〜３２のときに遅延回路１
３ａ，１３ｃに出力された画素データも相関度演算には
不要である。図１０（ｂ）では、実際に相関度演算に用
いられる画素データを太線の枠で囲っている。また、遅
延回路に出力されるが相関度演算には用いられない画素
データを破線の枠で囲っている。

【０１０２】ここで、アドレス２４ｄの最大値「２０」
は、各記憶素子部１１ａ〜１１ｃに格納された画素デー
タの数、すなわち各部分探索領域Ｅ1 〜Ｅ3 の画素数に
当たる。一般的には、次のような式で表される。 また、図１０（ａ）において太線で囲んである時間１３
〜２０の８サイクルの期間（奇数クロック２４ａのタイ
ミングでアドレス「１３」から「２０」まで出力され、
偶数クロック２４ｂのタイミングでアドレス「１」から
「８」まで出力される期間）は、探索領域メモリ１０が
４個の画素データを出力する期間である。また、奇数ク
ロック２４ａのタイミングで出力されるアドレスと偶数
クロック２４ｂのタイミングで出力されるアドレスとの
差は１２である。一般的には、次のような式で表され
る。

【０１０３】 さらに、カウンタ２６の値が「２５」及び「２６」のと
き、アドレス２４ｄは奇数クロック２４ａのタイミング
で「１３」、偶数クロック２４ｂのタイミングで「１」
になる。

【０１０４】一般的にいうと、カウンタ２６の値が「２
×（Ｍ×Ｌ）＋１」及び「２×（Ｍ×Ｌ）＋２」のと
き、アドレス２４ｄは奇数クロック２４ａのタイミング
で「Ｍ×Ｌ＋１」、偶数クロック２４ｂのタイミングで
「１」になり、以降、奇数クロック２４ａのタイミング
で「Ｍ×（Ｎ＋Ｌ−１）」、偶数クロック２４ｂのタイ
ミングで「Ｍ×（Ｎ−１）」となるまでのＭ×（Ｎ−
１）サイクルの期間が、探索領域メモリ１０が４個の画
素データを出力する期間である。

【０１０５】すなわち、図１０（ｂ）から分かるよう
に、最初のＭ×Ｌ（＝１２）サイクルの間に奇数クロッ
ク２４ａのタイミングで記憶素子部１１ａ，１１ｂから
読み出された画素データと、続いてＭ×（Ｎ−１）（＝
８）サイクルの間に奇数クロック２４ａのタイミングで
記憶素子部１１ａ，１１ｂから読み出された画素データ
及び偶数クロック２４ｂのタイミングで記憶素子部１１
ｂ，１１ｃから読み出された画素データと、続いてＭ×
Ｌ（＝１２）サイクルの間に偶数クロック２４ｂのタイ
ミングで記憶素子部１１ｂ，１１ｃから読み出された画
素データとが、相関度の演算に用いられる。

【０１０６】遅延回路１３ａに入力された画素データは
１サイクル後にバスＡ1 に出力され、遅延回路１３ｂに
入力された画素データは１サイクル後にバスＡ2 に出力
される。また、遅延回路１３ｃに入力された画素データ
は１サイクル後にＭ画素遅延回路１３ｅに出力され、Ｍ
画素遅延回路１３ｅによってＭ（＝４）クロック分遅延
された後、バスＢ1 に出力される。遅延回路１３ｄに入
力された画素データは１サイクル後にＭ画素遅延回路１
３ｆに出力され、Ｍ画素遅延回路１３ｆによってＭ（＝
４）クロック分遅延された後、バスＢ2 に出力される。

【０１０７】図１０（ｃ）は、バスＡ1 ，Ａ2 ，Ｂ1 ，
Ｂ2 に出力された画素データを示している。バスＢ1 ，
Ｂ2 に出力された画素データはＭ画素遅延回路１３ｅ，
１３ｆによってＭクロック分遅延されているので、記憶
素子部１１ａ〜１１ｃから同時に読み出された画素デー
タよりもＭサイクル遅れて出力されている。なお、図１
０（ｃ）は、図１０（ｂ）の実線太枠内の画素データに
ついてのみ示している。

【０１０８】ここで、時間１８における画素データ（図
１０（ｃ）の太線で囲まれた箇所）をみると、バスＡ1
に画素データＣ0,4 が、バスＢ1 に画素データＣ4,3
が、バスＡ2 に画素データＣ4,1 が、バスＢ2 に画素デ
ータＣ8,0 が出力されているのがわかる。これらの画素
データは、図８において丸で囲まれた画素データに相当
し、図９において太破線で囲まれた画素データに相当す
る。また、図１０（ｂ）において丸で囲まれた画素デー
タに相当する。

【０１０９】画素データＣ4,3 は、同じサイクル（時間
１３）に記憶素子部１１ａから読み出された画素データ
Ｃ0,3 よりも４サイクル遅延され、バスＡ1 に出力され
た画素データＣ0,4 と同一サイクルにバスＢ1 に出力さ
れる。また、画素データＣ8,0 は、同じサイクル（時間
１３）に記憶素子部１１ｂから読み出された画素データ
Ｃ4,0 よりも４サイクル遅延され、バスＡ2 に出力され
た画素データＣ4,1 と同一サイクルにバスＢ2 に出力さ
れる。

【０１１０】このように画素データを相関度演算部に供
給することにより、図２に示す候補ブロックの処理順序
における水平方向の折り返しのとき、パイプライン処理
が途切れることがない。例えば、候補ブロックＢｂ3,0
から候補ブロックＢｂ0,1 への折り返しのとき、画素デ
ータＣ4,0 と画素データＣ0,1 とを同時に相関度演算部
に供給できるので、パイプライン処理は途切れない。

【０１１１】また、画素データＣ0,4 及びＣ4,3 と画素
データＣ4,1 及びＣ8,0 とが同時に相関度演算部３０に
出力されることにより、候補ブロックの処理順序におけ
る垂直方向の折り返しのとき、パイプライン処理が途切
れることがない。例えば、候補ブロックＢｂ3,2 から候
補ブロックＢｂ4,0 への折り返しのとき、パイプライン
処理が途切れることがない。したがって、相関度演算部
３０は相関度を連続して演算することができる。

【０１１２】相関度演算部３０は、１サイクル当たり最
大４個の画素データをバスＡ1 ，Ａ2 ，Ｂ1 ，Ｂ2 から
同一サイクルに入力する。第１の選択器３２ｅ〜３４ｆ
は、図１０（ｄ）に示すように、演算制御部４０から出
力された第１の切り替え信号４２ａ〜４２ｆに従って４
種類のバスＡ1 、Ａ2 、Ｂ1 、Ｂ2 のいずれかを選択す
る。選択されたバスの信号は、第１の選択器３２ｅ〜３
４ｆがそれぞれ接続されたバス３２Ａ〜３４Ｂに出力さ
れる。この動作によって、各画素演算部３２ａ〜３４ｄ
が必要とする画素データが各ライン演算部３２〜３４内
のバスに各々供給されることになる。

【０１１３】画素演算部３２ａ〜３４ｄ内の第２の選択
器は、ライン演算部内の画素データが転送されている２
本のバスの内の一方を選択し、相関度の演算に必要とす
る画素データを入力する。例えば、ライン演算部３２の
場合、画素演算部３２ａ〜３２ｄ内の第２の選択器は、
バス３２Ａ及びバス３２Ｂのいずれか一方を選択し、画
素データを入力する。

【０１１４】以上のような動作の結果、各画素演算部に
入力される画素データは図９のようになり、連続してパ
イプライン処理を行うことが可能になる。

【０１１５】また、開始信号２２が入力されると、参照
画像ブロック用バスは参照画像ブロックＢｐの１２（＝
４×３＝Ｍ×Ｎ）個の画素データｒ0,0 〜ｒ3,2 を１２
サイクルかけて順に転送し、画素演算部３２ａ〜３４ｄ
に１個ずつ格納させる。この動作は格納制御信号４１ａ
〜４１ｌによって制御される。各画素演算部は、格納し
た参照画像ブロックＢｐの画素データを少なくとも候補
ブロックＢｂの数（ここでは８×３個）のサイクルの間
保持し、入力される候補ブロックＢｂの画素データとの
演算を行う。この結果、図９に示すような順序で１サイ
クル毎に各候補ブロックＢｂに対する差分絶対値和を求
めることができる。求めた差分絶対値和を大小比較する
ことによって最も相関度の高い候補ブロックを求めるこ
とができ、これにより動きベクトルを求めることができ
る。

【０１１６】なお、８×３サイクル経過した後は、同様
に、次の参照画像ブロックＢｐの各画素データを順に画
素演算部に入力し、相関度を演算することも可能であ
る。

【０１１７】以上説明したように、本実施形態に係る相
関度演算装置によると、（Ｍ×Ｎ）画素の参照画像ブロ
ックに対し、（Ｍ×ｍ）×Ｌ個の候補ブロックとの相関
度の演算をパイプライン処理によって連続して行うこと
ができる。

【０１１８】次に、相関度演算部３０及び演算制御部４
０の配置構成について、図４及び図５を用いて説明す
る。

【０１１９】本実施形態に係る相関度演算装置には、同
じ構成の画素演算器を数多く配置する必要がある。画素
演算器の配置構成は回路面積に大きく関わってくるの
で、相関度演算装置を設計製造するとき充分に考慮する
必要がある。

【０１２０】図４に示すように、ライン演算部３２〜３
４は同じ構成のため並列に配置しており、ライン演算部
相互の配線は相関度データを転送する線のみである。ま
た、各ライン演算部の内部は、参照画像ブロックの画素
データを転送するバス及び候補ブロックの画素データを
転送するバスに対して画素演算部を線対称に配置してい
る。このような配置によりバスの長さを短縮できる上、
相関度データを転送する線を折り返して接続することに
よって配線の長さを最小限に抑えることができる。

【０１２１】また、図５に示すように、演算制御部４０
は各ライン演算部の制御を行うライン制御部４４〜４６
から構成されているので、ライン演算部とライン制御部
とを１対にしてブロックを構成すると、このブロックを
並列に配置するだけで相関度演算部３０及び演算制御部
４０が構成される。しかも、ライン数を増加させた場合
にも外部に制御回路を付加する必要がなく、簡易な構成
により相関度演算装置を実現することができる。

【０１２２】ここで、本実施形態で採用した図２に示す
ような候補ブロックＢｂの処理順序による効果につい
て、探索領域Ｅを水平方向に端まで順次走査する方法と
比較して説明する。

【０１２３】図１１は、図１に示す参照画像ブロックＢ
ｐと探索領域Ｅとにおいて、探索領域Ｅを水平方向に端
まで順次走査する方法によって参照画像ブロックＢｐと
の各候補ブロックＢｂとの相関度を演算するために用い
る相関度演算部の内部構成を示すブロック図である。ま
た、図１２は、図１１に示す相関度演算部によるパイプ
ライン処理の流れを示す図である。

【０１２４】本実施形態に係る処理を示した図９と図１
２とを比較すると、各画素演算部の使用効率が格段に悪
くなっているのがわかる。また、２４個の候補ブロック
に対する相関度を求めるために５６サイクルを要してお
り、本実施形態の場合の３６サイクルに比べて１．５倍
以上も処理が遅くなる。また、図１２からわかるよう
に、演算途中で７（＝ｍ×Ｍ−１）サイクルの遅延が２
回必要になるので、図１１に示すように７段のレジスタ
７１，７２を備える必要がある。このため、装置全体の
面積が増大する。

【０１２５】したがって、図２に示すような候補ブロッ
クＢｂの処理順序を採用することによって、処理速度を
速めることができると共に相関度演算装置の装置面積を
小さく抑えることができる。

【０１２６】 （第２の実施形態） 本発明の第２の実施形態に係る相関度演算装置について
説明する。

【０１２７】図１３は、本実施形態に係る相関度演算装
置における相関度演算部３５の内部構成を示すブロック
図である。本実施形態に係る相関度演算装置は、図３に
示す相関度演算装置において相関度演算部３０が図１３
に示すような相関度演算部３５に代わるのみであり、こ
れ以外の構成要素は同一である。

【０１２８】相関度演算部３５は、４（＝Ｍ）個の画素
演算部をそれぞれ有する３（＝Ｎ）個のライン演算部に
よって構成されている。ライン演算部３６〜３８の内部
構成は同一であり、また、画素演算部３６ａ〜３６ｄ，
３７ａ〜３７ｄ，３８ａ〜３８ｄの内部構成は同一であ
る。

【０１２９】図１３に示す相関度演算部３５が図４に示
す相関度演算部３０と異なるのは、バスＡ1 ，Ａ2 ，Ｂ
1 ，Ｂ2 を選択する手段を各画素演算部３６ａ〜３８ｄ
の内部に備えている点である。ライン演算部３６を例に
とると、第１の選択器がなく、バスＡ1 ，Ａ2 ，Ｂ1 ，
Ｂ2 は画素演算部３６ａ〜３６ｄに直接接続されてい
る。また、第１の切り替え信号４２ａ，４２ｂも画素演
算部３６ａ〜３６ｄに入力されている。

【０１３０】図１４は、画素演算部３６ｂの内部構成を
示すブロック図である。図１４において、第３の選択器
８７は、第１の切り替え信号４２ａ，４２ｂ及び第２の
切り替え信号４３ｂに従って、バスＡ1 ，Ａ2 ，Ｂ1 ，
Ｂ2 のうち１つを選択し、選択したバスの画素データを
差分絶対値演算器８３に出力する。

【０１３１】このような構成により、本実施形態に係る
相関度演算装置は第１の実施形態に係る相関度演算装置
と同様の動作を行うことができる。

【０１３２】 （第３の実施形態） 図１５は、本発明の第３の実施形態に係る並列相関度演
算装置の構成を示すブロック図である。図１５におい
て、６１は第１の相関度演算装置，６２は第２の相関度
演算装置、６３は相関度加算器であり、第１の相関度演
算装置６１及び第２の相関度演算装置は、図３に示す第
１の実施形態に係る相関度演算装置である。第１の相関
度演算装置６１は参照画像ブロック５１ａに対して相関
度１を演算し、第２の相関度演算装置６２は参照画像ブ
ロック５１ｂに対して相関度２を演算する。相関度加算
器６３は相関度１及び相関度２を加算して相関度３を出
力する。これにより、探索領域を２分割した際の各々の
相関度と探索領域全域の相関度とを同時に算出する場合
の、処理の高速化が実現できる。

【０１３３】ＭＰＥＧ２の動きベクトル検出では、１フ
レームを構成する２種類のフィールドを基に求められる
２つの動きベクトルと、フレームを単位として求められ
る動きベクトルとの３種類の動きベクトルを求めること
が期待されている。

【０１３４】図１５に示す並列相関度演算装置では、２
個の相関度演算装置によってそれぞれのフィールドの評
価値が演算でき、各評価値を加算するだけでフレームの
評価値を演算することができる。このような簡易な構成
によって３種類の評価値を演算することができるのは、
本発明の相関度演算装置が１サイクル毎に評価値を演算
できるからである。

【０１３５】なお、第１〜第３の実施形態では、Ｍ＝
４，Ｎ＝３，ｍ＝２，Ｌ＝３の場合、すなわち参照画像
ブロックＢｐのブロックサイズが４×３画素、候補ブロ
ックＢｂの数が（２×４）×３個の場合について説明し
たが、本発明はこれに限るものではなく、（Ｍ×Ｎ）画
素の参照画像ブロックＢｐに対して（（ｍ×Ｍ）×Ｌ）
個の候補ブロックＢｂについてパイプライン処理を連続
して行うことができる。また、任意の個数の参照画像ブ
ロックについても同様の処理を切れ目なく連続して実現
する事ができる。ただし、Ｍ、Ｎ、Ｌ、ｍは自然数、Ｌ
はＮ以上、ｍは２以上である。

【０１３６】また、第１〜第３の実施形態では、相関度
の評価データとして差分絶対値和を用いる場合を例にと
って説明したが、本発明はこれに限るものではなく、例
えば、差分自乗和を用いたり大小比較器を用いたりする
など相関度の評価計算を行う装置であるなら、どのよう
なものでも適用できる。

【０１３７】また、第１〜第３の実施形態では、探索領
域メモリの面積を削減するために記憶素子部の数を最小
にし、記憶素子部から出力されたデータをタイミング調
整手段によって制御することにより各画素演算部に画素
データを供給しているが、記憶素子部を多数備え、各画
素演算部が必要とする順番に画素データを記憶素子部に
格納しておいてもなんら問題ない。

【０１３８】また、第１〜第３の実施形態では、各画素
演算部は演算効率を上げるためパイプライン処理を連続
して行っているが、図９に示す階段状の太線の左右の処
理は、必ずしも連続していなくてもなんら問題ない。

【０１３９】なお、相関度演算部の高速化のために、複
数段のパイプラインレジスタを挿入してもなんら問題な
い。

【０１４０】

【発明の効果】以上のように本発明によると、（Ｍ×
Ｎ）画素の参照画像ブロックに対し、（（ｍ×Ｍ）×
Ｌ）個の候補ブロックとの相関度の演算をパイプライン
処理によって連続して実行可能になる。また、探索領域
を広げた場合でも、相関度演算装置を構成する探索領域
メモリ、相関度演算部、演算制御部は簡易な構成によっ
て実現することができる。したがって、探索領域の拡張
が容易であり、探索領域を広げても高速な処理が可能で
あり、しかも構成の簡易な相関度演算装置が実現でき
る。

【図面の簡単な説明】

【図１】ブロックマッチング法及び動きベクトルを説明
するための図であり、参照画像ブロック、候補ブロック
及び探索領域を示す図である。

【図２】（ａ）は探索領域Ｅ内の各候補ブロックＢｂを
示す図、（ｂ）及び（ｃ）は本発明の実施形態における
候補ブロックＢｂの探索順序を示す図である。

【図３】本発明の実施形態に係る相関度演算装置の構成
を示すブロック図である。

【図４】本発明の第１の実施形態に係る相関度演算装置
における相関度演算部の構成を示すブロック図である。

【図５】本発明の第１の実施形態に係る相関度演算装置
における演算制御部の構成を示すブロック図である。

【図６】図５に示す演算制御部における第２の制御部の
構成を示す回路図である。

【図７】図４に示す相関度演算部における画素演算部の
構成を示すブロック図である。

【図８】本発明の実施形態に係る相関度演算装置におけ
る、探索領域メモリの各記憶素子部に格納される画素デ
ータを示す図である。

【図９】本発明の実施形態に係る相関度演算装置によっ
て実現されるパイプライン処理を示す図であり、各クロ
ックサイクルにおいて画素演算部が要求する画素データ
を示す図である。

【図１０】本発明の第１の実施形態に係る相関度演算装
置の動作を説明するための図であり、（ａ）はメイン制
御部の動作を示す図、（ｂ）は各記憶素子部から読み出
される画素データを示す図、（ｃ）は探索領域から出力
される画素データを示す図、（ｄ）は相関度演算部内の
第１の選択器が選択するバスを示す図である。

【図１１】探索領域を水平方向に端まで順次走査する方
法によって、参照画像ブロックと各候補ブロックとの相
関度を演算するために用いる相関度演算部の内部構成を
示すブロック図である。

【図１２】図１１に示す相関度演算部によるパイプライ
ン処理の流れを示す図である。

【図１３】本発明の第２の実施形態に係る相関度演算装
置における、相関度演算部の構成を示すブロック図であ
る。

【図１４】本発明の第２の実施形態に係る相関度演算装
置における相関度演算部内の、画素演算部の構成を示す
ブロック図である。

【図１５】本発明の第３の実施形態に係る並列相関度演
算装置の構成を示すブロック図である。

【符号の説明】

Ｆｐ 参照画像フレーム Ｂｐ 参照画像ブロック Ｆｂ 候補フレーム Ｂｂ 候補ブロック Ｅ 探索領域 １０ 探索領域メモリ １１ａ〜１１ｃ 記憶素子部 １２ａ 第１のメモリ選択器 １２ｂ 第２のメモリ選択器 １３ 遅延手段 ２０ メイン制御部 ２３ 演算制御信号 ２４ メモリ制御信号 ３０ 相関度演算部 ３２〜３４ ライン演算部 ３２ａ〜３２ｄ，３３ａ〜３３ｄ，３４ａ〜３４ｄ 画
素演算部 ３２ｅ，３２ｆ，３３ｅ，３３ｆ，３４ｅ，３４ｆ 第
１の選択器 ４０ 演算制御部 ４１ａ〜４１ｌ 格納制御信号 ４２ａ〜４２ｆ 第１の切り替え信号 ４３ａ〜４３ｌ 第２の切り替え信号 ４４〜４６ ライン制御部 ４４ａ〜４４ｄ 第２の制御部 ４４ｅ 第１の制御部 ６１ 第１の相関度演算装置 ６２ 第２の相関度演算装置 ６３ 相関度加算器 ８２ 第２の選択器

フロントページの続き (72)発明者 青木 勝司 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 (72)発明者 吉田 久人 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 (72)発明者 祇園 雅弘 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 (72)発明者 生形 篤 大阪府門真市大字門真1006番地 松下電 器産業株式会社内 (56)参考文献 特開 平５−328332（ＪＰ，Ａ) 特開 平６−339135（ＪＰ，Ａ) 1991年電子情報通信学会春季全国大会 講演論文集分冊７、ｐ．64 ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ ｃｉｒｃｕｉｔｓ ａｎｄ ｓ ｙｓｔｅｍｓ，Ｖｏｌ．36，Ｎｏ．10, ｐ．1309−1316 (58)調査した分野(Int.Cl.⁶，ＤＢ名) H04N 7/24 - 7/68

Claims (28)

(57)【特許請求の範囲】
1. 【請求項１】 （Ｍ×Ｎ）画素の参照画像ブロックに対
   し、ブロックマッチング法によって（（ｍ×Ｍ）×Ｌ）
   個の候補ブロックとの相関度を演算する相関度演算装置
   であって（ただし、Ｍ，Ｎ，Ｌ，ｍは自然数，Ｌ≧Ｎ，
   ｍ≧２）、 相関度の演算を（Ｍ×Ｌ）個の候補ブロックからなる候
   補ブロック群毎にパイプライン処理によって行い、一の
   候補ブロック群に対する演算に必要な画素データと前記
   一の候補ブロック群に対する演算に続いて処理される他
   の候補ブロック群に対する演算に必要な画素データとを
   同一クロックサイクルにおいてパイプライン処理に用い
   るように構成したことを特徴とする相関度演算装置。
2. 【請求項２】 （Ｍ×Ｎ）画素の参照画像ブロックに対
   し、ブロックマッチング法によって（（ｍ×Ｍ）×Ｌ）
   個の候補ブロックとの相関度を演算する相関度演算装置
   であって（ただし、Ｍ，Ｎ，Ｌ，ｍは自然数，Ｌ≧Ｎ，
   ｍ≧２）、 （（ｍ×Ｍ）×Ｌ）個の候補ブロックを含む探索領域の
   画素データを格納する探索領域メモリと、 （Ｍ×Ｎ）画素の参照画像ブロックの画素データを保持
   し、参照画像ブロックと候補ブロックとの相関度の演算
   を、保持した参照画像ブロックの画素データ及び前記探
   索領域メモリから出力された各候補ブロックの画素デー
   タを用いて、（Ｍ×Ｌ）個の候補ブロックからなる候補
   ブロック群毎にパイプライン処理によって行う相関度演
   算部とを備え、 前記探索領域メモリは、一の候補ブロック群に対する演
   算に必要な画素データと前記一の候補ブロック群に対す
   る演算に続いて処理される他の候補ブロック群に対する
   演算に必要な画素データとを同一クロックサイクルにお
   いて前記相関度演算部に出力する機能を有し、 前記相関度演算部は、各候補ブロック群に対する演算を
   連続して実行可能に構成されていることを特徴とする相
   関度演算装置。
3. 【請求項３】 請求項２に記載の相関度演算装置におい
   て、前記探索領域メモリは、 （（ｍ×Ｍ）×Ｌ）個の候補ブロックからなる（（ｍ＋
   １）×Ｍ−１）列（Ｌ＋Ｎ−１）行の探索領域の画素デ
   ータの中から、前記一の候補ブロック群に対する演算に
   必要な画素データである，第１の画素データ及び該第１
   の画素データより１行上で且つＭ列右にある第２の画素
   データと、前記他の候補ブロック群に対する演算に必要
   な画素データである，第３の画素データ及び該第３の画
   素データより１行上で且つＭ列右にある第４の画素デー
   タとを前記相関度演算部に同一クロックサイクルにおい
   て出力する機能を有することを特徴とする相関度演算装
   置。
4. 【請求項４】 請求項３に記載の相関度演算装置におい
   て、 前記第３の画素データは、前記第１の画素データよりＬ
   行上で且つＭ列右にあることを特徴とする相関度演算装
   置。
5. 【請求項５】 （Ｍ×Ｎ）画素の参照画像ブロックに対
   し、ブロックマッチング法によって（（ｍ×Ｍ）×Ｌ）
   個の候補ブロックとの相関度を演算する相関度演算装置
   であって（ただし、Ｍ，Ｎ，Ｌ，ｍは自然数、Ｌ≧Ｎ，
   ｍ≧２）、 与えられたクロックを基にしてメモリ制御信号及び演算
   制御信号を生成して出力するメイン制御部と、 （（ｍ×Ｍ）×Ｌ）個の候補ブロックを含む探索領域の
   画素データを格納しており、前記メイン制御部から出力
   されたメモリ制御信号の指示に従って格納した画素デー
   タを出力する探索領域メモリと、 （Ｍ×Ｎ）画素の参照画像ブロックの画素データを保持
   し、参照画像ブロックと候補ブロックとの相関度の演算
   を、保持した参照画像ブロックの画素データ及び前記探
   索領域メモリから出力された画素データを用いて（Ｍ×
   Ｌ）個の候補ブロックからなる候補ブロック群ごとにパ
   イプライン処理によって行う相関度演算部と、 前記メイン制御部から出力された演算制御信号の指示に
   従って前記相関度演算部を制御する演算制御部とを備
   え、 前記探索領域メモリは、一の候補ブロック群に対する演
   算に必要な画素データと前記一の候補ブロック群に対す
   る演算に続いて処理される他の候補ブロック群に対する
   演算に必要な画素データとを前記相関度演算部に同一ク
   ロックサイクルにおいて出力する機能を有し、 前記相関度演算部は、各候補ブロック群に対する演算を
   連続して実行可能に構成されていることを特徴とする相
   関度演算装置。
6. 【請求項６】 請求項５に記載の相関度演算装置におい
   て、前記探索領域メモリは、 （（ｍ×Ｍ）×Ｌ）個の候補ブロックからなる（（ｍ＋
   １）×Ｍ−１）列（Ｌ＋Ｎ−１）行の探索領域の画素デ
   ータの中から、前記一の候補ブロック群に対する演算に
   必要な画素データである，第１の画素データ及び該第１
   の画素データより１行上で且つＭ列右にある第２の画素
   データと、前記他の候補ブロック群に対する演算に必要
   な画素データである，第３の画素データ及び該第３の画
   素データより１行上で且つＭ列右にある第４の画素デー
   タとを前記相関度演算部に同一クロックサイクルにおい
   て出力する機能を有することを特徴とする相関度演算装
   置。
7. 【請求項７】 請求項６に記載の相関度演算装置におい
   て、 前記第３の画素データは、前記第１の画素データよりＬ
   行上で且つＭ列右にあることを特徴とする相関度演算装
   置。
8. 【請求項８】 探索領域メモリは、１クロックサイクル
   につき４個の画素データを出力する機能を有することを
   特徴とする請求項５に記載の相関度演算装置。
9. 【請求項９】 請求項８に記載の相関度演算装置におい
   て、 前記探索領域メモリは、 （（ｍ×Ｍ）×Ｌ）個の候補ブロックからなる（（ｍ＋
   １）×Ｍ−１）列（Ｌ＋Ｎ−１）行の探索領域を（Ｍ×
   （Ｌ＋Ｎ−１））画素毎に分割して得られた（ｍ＋１）
   個の部分探索領域の画素データを各々記憶しており、前
   記メイン制御部から出力されたメモリ制御信号によるア
   クセスの指示に従って画素データを読み出す（ｍ＋１）
   個の記憶素子部と、 前記（ｍ＋１）個の記憶素子部から読み出された画素デ
   ータを、タイミングを調整した上で前記相関度演算部に
   出力するタイミング調整手段とを備え、 前記メイン制御部は、１クロックサイクルにおいて２回
   のアクセスを行うよう前記メモリ制御信号によって前記
   探索領域メモリに指示するものであり、 前記タイミング調整手段は、前記（ｍ＋１）個の記憶素
   子部から１回のアクセスで読み出された画素データのう
   ち２個を選択し、タイミングを調整した上で１クロック
   サイクルにつき４個の画素データを出力するものである
   ことを特徴とする相関度演算装置。
10. 【請求項１０】 請求項９に記載の相関度演算装置にお
    いて、 前記タイミング調整手段は、 前記（ｍ＋１）個の記憶素子部の中の第１〜第ｍの記憶
    素子部から読み出された画素データのうち１つを選択し
    て出力する第１のメモリ選択器と、 前記（ｍ＋１）個の記憶素子部の中の第２〜第（ｍ＋
    １）の記憶素子部から読み出された画素データのうち１
    つを選択して出力する第２のメモリ選択器と、 前記第１のメモリ選択器によって選択出力された画素デ
    ータに対し、前記第２のメモリ選択器によって選択出力
    された画素データをＭクロックサイクル遅延させる遅延
    手段とを備えたことを特徴とする相関度演算装置。
11. 【請求項１１】 請求項８に記載の相関度演算装置にお
    いて、 前記相関度演算部は、 前記探索領域メモリから出力された４個の画素データの
    うち異なる１つの画素データを各々選択出力する２個の
    第１の選択器と、 参照画像ブロックの画素データを各々保持し、前記２個
    の第１の選択器によって選択出力された２個の画素デー
    タのうち１つを選択して、保持している画素データとの
    評価値を演算するＭ個の画素演算部とをそれぞれ有して
    いるＮ個のライン演算部を備え、 各画素演算部によって演算された評価値を累積すること
    によって、（Ｍ×Ｎ）画素の参照画像ブロックと各候補
    ブロックとの相関度を求めるように構成されていること
    を特徴とする相関度演算装置。
12. 【請求項１２】 請求項１１に記載の相関度演算装置に
    おいて、 前記画素演算部は、それぞれ、 入力された参照画像ブロックの画素データを保持する参
    照画像格納部と、 前記２個の第１の選択器によって選択出力された２つの
    画素データのうち１つを選択する第２の選択器と、 前記参照画像格納部に保持された画素データと前記第２
    の選択器によって選択された画素データとの評価値を演
    算する演算器と、 前記演算器によって演算された評価値と前段の画素演算
    部から出力された累積された評価値とを加算する加算器
    と、 前記加算器の出力データを一旦格納し、次段の画素演算
    部に出力するレジスタとを備えたことを特徴とする相関
    度演算装置。
13. 【請求項１３】 各ライン演算部において、 Ｍ個の画素演算部が、第１の選択器によって選択出力さ
    れた画素データを転送するバスの両側に対称的に２列に
    配置されていることを特徴とする請求項１１に記載の相
    関度演算装置。
14. 【請求項１４】 請求項１３に記載の相関度演算装置に
    おいて、 評価値が、一の列の画素演算部において，前記第１の選
    択器が配置されている方の端に位置する画素演算部から
    前記第１の選択器が配置されていない方の端に位置する
    画素演算部へ、続いて他の列の前記第１の選択器が配置
    されていない方の端に位置する画素演算部へ、続いて、
    前記他の列の画素演算部において，前記第１の選択器が
    配置されていない方の端に位置する画素演算部から前記
    第１の選択器が配置されている方の端に位置する画素演
    算部へ、順次転送されて累積されることを特徴とする相
    関度演算装置。
15. 【請求項１５】 請求項８に記載の相関度演算装置にお
    いて、 前記相関度演算部は、 参照画像ブロックの画素データを各々保持し、前記探索
    領域メモリから出力された４個の画素データのうち１つ
    を選択して、保持している画素データとの評価値を演算
    する（Ｍ×Ｎ）個の画素演算部を備え、 各画素演算部によって演算された評価値を累積すること
    によって、（Ｍ×Ｎ）画素の参照画像ブロックと各候補
    ブロックとの相関度を求めるように構成されていること
    を特徴とする相関度演算装置。
16. 【請求項１６】 請求項１５に記載の相関度演算装置に
    おいて、 前記画素演算部は、 入力された参照画像ブロックの画素データを保持する参
    照画像格納部と、 前記探索領域メモリから出力された４個の画素データの
    うち１つを選択する選択器と、 前記参照画像格納部に保持された画素データと前記選択
    器によって選択された画素データとの評価値を演算する
    演算器と、 前記演算器によって演算された評価値と前段の画素演算
    部から出力された累積された評価値とを加算する加算器
    と、 前記加算器の出力データを一旦格納し、次段の画素演算
    部に出力するレジスタとを備えていることを特徴とする
    相関度演算装置。
17. 【請求項１７】 請求項８に記載の相関度演算装置にお
    いて、 前記相関度演算部は、 参照画像ブロックの各行のＭ個の画素データを保持し、
    前記探索領域メモリから出力された画素データと保持し
    た画素データとの評価値を演算するＮ個のライン演算部
    を備え、 前記演算制御部は、 前記Ｎ個のライン演算部を各々制御するＮ個のライン制
    御部を備えたことを特徴とする相関度演算装置。
18. 【請求項１８】 請求項１７に記載の相関度演算装置に
    おいて、 前記Ｎ個のライン制御部はカスケード接続されており、
    前記演算制御部に入力された演算制御信号が前記Ｎ個の
    ライン制御部を順次転送されるように構成したことを特
    徴とする相関度演算装置。
19. 【請求項１９】 請求項１８に記載の相関度演算装置に
    おいて、 前記ライン演算部は、それぞれ、 前記探索領域メモリから出力された４個の画素データの
    うち異なる１つの画素データを各々選択出力する２個の
    第１の選択器と、 参照画像ブロックの画素データを各々保持しており，前
    記２個の第１の選択器によって選択出力された２つの画
    素データのうち１つを選択し，保持している画素データ
    との評価値を演算するＭ個の画素演算部とを備え、 前記ライン制御部は、それぞれ、 前記２個の第１の選択器を制御する第１の制御部と、 前記Ｍ個の画素演算部を各々制御するＭ個の第２の制御
    部とを備えたことを特徴とする相関度演算装置。
20. 【請求項２０】 請求項１９に記載の相関度演算装置に
    おいて、 各ライン制御部において前記Ｍ個の第２の制御部はカス
    ケード接続されており、当該ライン制御部に入力された
    演算制御信号が前記Ｍ個の第２の制御部を順次転送さ
    れ、入力されてからＭクロックサイクル後に出力される
    ように構成したことを特徴とする相関度演算装置。
21. 【請求項２１】 （Ｍ×Ｎ）画素の参照画像ブロックに
    対し、ブロックマッチング法によって複数の候補ブロッ
    クとの相関度を演算する相関度演算装置であって（ただ
    し、Ｍ，Ｎは自然数）、 演算対象の各候補ブロックを含む探索領域の画素データ
    を格納している探索領域メモリと、 （Ｍ×Ｎ）画素の参照画像ブロックの画素データを保持
    し、該参照画像ブロックと各候補ブロックとの相関度の
    演算を、保持した参照画像ブロックの画素データ及び前
    記探索領域メモリから出力された各候補ブロックの画素
    データを用いてパイプライン処理によって行う相関度演
    算部と、 入力された演算制御信号に従って前記相関度演算部を制
    御する演算制御部とを備え、 前記相関度演算部は、前記参照画像ブロックの画素デー
    タを各々保持し、保持した画素データと前記探索領域メ
    モリから出力された画素データとの評価値を演算するＭ
    個の画素演算部をそれぞれ有するＮ個のライン演算部か
    らなり、これら（Ｍ×Ｎ）個の画素演算部はカスケード
    接続されており、各画素演算部の演算結果の評価値が順
    次加算されながら転送されるように構成しており、 前記演算制御部は、前記Ｎ個のライン演算部を各々制御
    するＮ個のライン制御部からなることを特徴とする相関
    度演算装置。
22. 【請求項２２】 請求項２１に記載の相関度演算装置に
    おいて、 前記Ｎ個のライン制御部はカスケード接続されており、
    前記演算制御部に入力された演算制御信号が前記Ｎ個の
    ライン制御部を順次転送されるように構成したことを特
    徴とする相関度演算装置。
23. 【請求項２３】 請求項２２に記載の相関度演算装置に
    おいて、 前記ライン制御部は、それぞれ、 前記Ｍ個の画素演算部を各々制御するＭ個の制御部を備
    えたことを特徴とする相関度演算装置。
24. 【請求項２４】 請求項２３に記載の相関度演算装置に
    おいて、 各ライン制御部において前記Ｍ個の制御部はカスケード
    接続されており、当該ライン制御部に入力された演算制
    御信号が前記Ｍ個の制御部を順次転送され、入力されて
    からＭクロックサイクル後に出力されるように構成した
    ことを特徴とする相関度演算装置。
25. 【請求項２５】 （Ｍ×Ｎ）画素の参照画像ブロックに
    対し、ブロックマッチング法によって（（ｍ×Ｍ）×
    Ｌ）個の候補ブロックとの相関度を演算する相関度演算
    方法であって（ただし、Ｍ，Ｎ，Ｌ，ｍは自然数、Ｌ≧
    Ｎ，ｍ≧２）、 （（ｍ×Ｍ）×Ｌ）個の候補ブロックを（Ｍ×Ｌ）個の
    候補ブロックから成るｍ個の候補ブロック群に分け、各
    候補ブロック群に対し、 水平方向に連続して折り重なって並ぶＭ個の候補ブロッ
    クについて参照画像ブロックとのブロックマッチングを
    とる第１のステップと、 前記第１のステップを、垂直方向に移動しながらＬ回繰
    り返す第２のステップとを行うことを特徴とする相関度
    演算方法。
26. 【請求項２６】 請求項２５に記載の相関度演算方法に
    おいて、 一の候補ブロック群に対する演算に必要な画素データと
    前記一の候補ブロック群に対する演算に続いて処理され
    る他の候補ブロック群に対する演算に必要な画素データ
    とを同時に用いることを特徴とする相関度演算方法。
27. 【請求項２７】 （Ｍ×Ｎ）画素の参照画像ブロックに
    対し、ブロックマッチング法によって（（ｍ×Ｍ）×
    Ｌ）個の候補ブロックとの相関度を演算する相関度演算
    装置であって（ただし、Ｍ，Ｎ，Ｌ，ｍは自然数，Ｌ≧
    Ｎ，ｍ≧２）、 相関度の演算を、それぞれ（Ｍ×Ｌ）個の候補ブロック
    からなり、かつ、水平方向および垂直方向のうちいずれ
    か一方の方向に連なるｍ個の候補ブロック群毎にパイプ
    ライン処理によって行い、 各候補ブロック群における相関度の演算は、前記一方の
    方向に連続して折り重なって並ぶＭ個の候補ブロックに
    ついて参照画像ブロックとのブロックマッチングをとる
    ステップを、他方の方向に移動しながらＬ回繰り返すも
    のであり、 一の候補ブロック群に対する演算に必要な画素データと
    前記一の候補ブロック群に対する演算に続いて処理され
    る他の候補ブロック群に対する演算に必要な画素データ
    とを同一クロックサイクルにおいてパイプライン処理に
    用いるように構成したことを特徴とする相関度演算装
    置。
28. 【請求項２８】 （Ｍ×Ｎ）画素の参照画像ブロックに
    対し、ブロックマッチング法によって（（ｍ×Ｍ）×
    Ｌ）個の候補ブロックとの相関度を演算する相関度演算
    方法であって（ただし、Ｍ，Ｎ，Ｌ，ｍは自然数、Ｌ≧
    Ｎ，ｍ≧２）、 （（ｍ×Ｍ）×Ｌ）個の候補ブロックを、それぞれ（Ｍ
    ×Ｌ）個の候補ブロックからなり、かつ、水平方向およ
    び垂直方向のうちいずれか一方の方向に連なるｍ個の候
    補ブロック群に分け、各候補ブロック群に対し、 前記一方の方向に連続して折り重なって並ぶＭ個の候補
    ブロックについて参照画像ブロックとのブロックマッチ
    ングをとる第１のステップと、 前記第１のステップを、他方の方向に移動しながらＬ回
    繰り返す第２のステップとを行うものであり、 一の候補ブロック群に対する演算に必要な画素データと
    前記一の候補ブロック群に対する演算に続いて処理され
    る他の候補ブロック群に対する演算に必要な画素データ
    とを同時に用いることを特徴とする相関度演算方法。