JPH09182088A - 動き検出システムに於けるマトリックス配列データ処理方法 - Google Patents

Abstract

(57)【要約】 【課題】本発明は、シストリック配列へのデータの供給
を最適化することを目的とする。 【解決手段】 動き検出システムに於てマトリックス配
列でデータを処理する方法は、配列の各々が現在の画像
の画素ブロックに対して歪みを計算し、該現在の画像の
少なくとも２つの隣接ブロックに対して該計算を行うよ
うに少なくとも２つの配列を直列に配置し、それらのブ
ロックの全体に対応する参照ウィンドウを該配列の第１
の配列に画素のバンドとして供給し該直列の配列内を配
列から配列へと伝播させ、配列に供給されたバンドの最
後の部分が第１の配列に割り当てられたブロックのウィ
ンドウの一部に対応するようにブロックを配列に割り当
てかつ配列へのバンドの供給の方向を決めることを特徴
とする。本発明は特に、画像圧縮の分野に適用される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、動き検出システム
に於て、マトリックス配列でデータを処理する方法に関
する。本発明による方法は、特に、動き補償を行うテレ
ビ画像符号化器で用いられる。マトリックス配列による
複数ブロック並列処理に関する「動き検出方法及び装
置」と題された特許出願と、本発明は共に出願されるも
のである。

【０００２】

【従来の技術】画像圧縮システムの多くは、画素のブロ
ックについて処理を行うことを基本にしている。ＭＰＥ
Ｇ２（Motion Picture Expert Group ）に於ては、画像
は８ｘ８画素のブロックに分割され、４つのブロックが
纏められて１６ｘ１６画素のマクロブロックを形成す
る。ブロック或いはマクロブロックに対して種々の処理
が行われ、画像間或いは画像内での冗長性を削減する。
動き検出は、そのような処理の一つである。この処理に
おいては、過去或いは未来の画像に関して、現在の画像
の一部分が移動する際の動きを検出する。このようにし
て、動きを表現する一つ或いは複数の動きベクトルが求
められる。これらの動きベクトルを用いて、過去或いは
未来の画像に基づき現在の画像を予測することが出来
る。この予測と現在の画像との差を検出し、後段の圧縮
においてはこの差を用いる。現状では動きベクトルは、
所謂「画像間」及び「両方向」画像に対して用いられる
が、伝送エラーの影響を削減するために所謂「画像内」
画像に用いてもよい。

【０００３】動き検出は一般に、各マクロブロックに対
して行われる。過去の画像を用いる代わりに、符号化器
に格納された参照画像を用いることも可能であり、この
参照画像は復号化器で復号化された画像に対応する（即
ち、圧縮による情報損失を含んだ画像である）。参照画
像での最良のマクロブロックを決定するためには、現在
のマクロブロックを参照画像の各マクロブロックと比較
することが行われる。マクロブロックが参照画像内で取
りうる各位置に対して誤差関数Ｅｒｒを計算し、これを
比較の際の基準として用いる。関数Ｅｒｒの最小値を与
える位置が、動きベクトルを決定する。動きベクトルの
精度は、利用可能な演算能力や、動きベクトル符号化の
ために確保される帯域によって異なる。１画素以下の精
度は、画素間内挿を行うことで達成できる。動きベクト
ルの大きさが制限されている場合には、適当な大きさの
探索ウィンドウが、現在のマクロブロック位置の周りに
配置される。

【０００４】動きベクトルの計算には膨大な計算を必要
とし、その計算量は、望まれる精度、画像の解像度、動
きベクトルの頻度等の増大と共に増加する。従来用いら
れる誤差関数は、 であり、ここでｉ及びｊはマクロブロック内の位置、ｍ
及びｎは動きベクトルの座標位置を示し、またａ及びｂ
は各々、現在のマクロブロック画素の輝度値及びウィン
ドウ或いは探索画像の移動されたマクロブロック画素の
輝度値を示す。

【０００５】関数Ｄは例えばＤ（ｘ，ｙ）＝｜ｘ−ｙ｜
である。

【０００６】

【発明が解決しようとする課題】シストリック配列に基
づいた動き検出プロセッサ及びコプロセッサが、1994年
8 月19日にトムソンコンシューマーエレクトロニクスが
出願した仏国特許出願に示されている。シストリック配
列は、現在の画素のブロックと、過去或いは未来の画像
に於ける探索ウィンドウの同じ大きさのブロックとの間
の歪みを評価する回路である。シストリック配列は、現
在のブロックを格納する格納要素を有し、これら現在の
ブロックが参照ウィンドウにおける同一の大きさのブロ
ックと比較される。参照画像のブロックは、シストリッ
ク配列に画素のバンドとして供給され、配列内部を一列
毎に伝播していく。

【０００７】コプロセッサの種々のシストリック配列
が、様々な動作モードにおいて用いられる。特に、直列
接続の複数のシストリック配列を、異なった現在のブロ
ックを処理するように構成することが出来る。本発明の
目的は、シストリック配列へのデータの供給を最適化す
ることである。

【０００８】

【課題を解決するための手段】本発明に於ては、動き検
出システムに於てマトリックス配列でデータを処理する
方法は、配列の各々が現在の画像の画素ブロックに対し
て歪みを計算し、該現在の画像の少なくとも２つの隣接
ブロックに対して該計算を行うように少なくとも２つの
配列を直列に配置し、それらのブロックの全体に対応す
る参照ウィンドウを該配列の第１の配列に画素のバンド
として供給し該直列の配列内を配列から配列へと伝播さ
せ、配列に供給されたバンドの最後の部分が第１の配列
に割り当てられたブロックのウィンドウの一部に対応す
るようにブロックを配列に割り当てかつ配列へのバンド
の供給の方向を決めることを特徴とする。

【０００９】ある実施例においては、参照ウィンドウ
は、現在のブロックの位置を略中心としており、従って
隣接する２つのブロックのウィンドウは１ブロックだけ
ずれている。ある実施例においては、異なったウィンド
ウは同一の大きさを有し、異なった配列によって計算さ
れた歪みの最初の結果が同時に得られるように、配列へ
のブロックの割り当て及び配列へのバンドの供給方向が
決定される。

【００１０】ある実施例においては、水平方向に隣接す
る第１のブロックと第２のブロックは各々、この順番で
直列に配置された第１の配列及び第２の配列によって処
理され、第２のブロックに対するウィンドウに一致する
バンドの部分が最初に供給されるように画素のバンドは
第１の配列の方向から供給される。ある実施例において
は、画素のバンドの終端があるブロックを処理している
配列では考慮する必要のない参照ウィンドウ部分に対応
するときであっても、該ウィンドウ部分に対応するデー
タから求めた計算結果を考慮することで、該配列が処理
するブロックに通常に対応する参照ウィンドウを広げ
る。

【００１１】本発明の他の特徴及び利点は、添付の図面
に示される限定を意図しない実施例を説明することによ
って、明らかになるであろう。

【００１２】

【発明の実施の形態】本発明の動き検出プロセッサの一
例を、まず最初に説明する。更に、各動きベクトルに対
する誤差を計算する要素であるコプロセッサを、より重
点的に説明する。ＭＰＥＧ標準の画像圧縮に於ける動き
ベクトルに関する更なる情報については、「Informatio
n technology, Generic coding of moving pictures an
d associated audio」1993年11月のH.262 勧告ISO/IEC1
3818-2（ビデオ）委員会草案を参照されたい。

【００１３】動き検出プロセッサを用いることで、ＭＰ
ＥＧ標準の要求に応じた様々なタイプの動きベクトルを
計算することが可能である。即ち、フレーム或いは画像
に対するベクトル、過去の画像から現在の画像へのベク
トル（前向きベクトル）或いは未来の画像から現在の画
像へのベクトル（後向きベクトル）等を計算することが
出来る。そこで説明を簡潔にするために、過去の画像か
ら現在の画像へのベクトル（前向きベクトル）を例とし
て用いる。勿論、本発明はここに示される実施例に限定
されるものではない。

【００１４】図１は、動き検出プロセッサ１０１を機能
的に示す。プロセッサ１０１は、ＲＩＳＣ（Reduced In
struction Set Computer）コントローラ１０２、シスト
リック配列コプロセッサ１０３、画像を読み込むための
３つの独立な入力ポート１０４、１０５、及び１０６、
動きベクトルを出力する出力ポート１０７、更にローカ
ルＲＡＭ及びローカルＲＯＭ（各々１０８及び１０９で
参照される）。

【００１５】複数の独立な入力ポートを設けることで、
それだけの数の独立ビデオ源に対応できる。変形例に於
ては、各入力ポートには、階層的動き検出を実現するた
めにサブサンプリング回路が設けられる。上記の種々の
要素はデータバス１１１を介して通信し、このデータバ
ス１１１は他の要素及び外部ＤＲＡＭメモリ１１０に接
続される。メモリ管理ユニット１１２は、ローカルメモ
リ間のデータ転送を行う。画像（参照画像或いは現在の
画像）に対応するデータは、ＤＲＡＭメモリ１１０に転
送される。このデータはその後読み出され、処理に間に
合うようにコプロセッサ１０３に渡される。コプロセッ
サ１０３によって計算された動きベクトルは、バッファ
メモリＭＶＢＵＦ１１４を介してＤＲＡＭメモリ１１０
に送られる。それらのベクトルは、適宜都合の良いとき
に読み出され、出力ポート１０７から送出される。

【００１６】プロセッサ１０１はまたマイクロプロセッ
サインターフェース１１５を備えており、これはコード
及び計算パラメータを読み込んで、ＲＩＳＣコントロー
ラ１０２をプログラムして設定するために用いられる。
ＤＲＡＭメモリ１１０に格納された動きベクトルはま
た、インターフェース１１５を介してアクセスすること
が出来る。

【００１７】ユニットＭＡＸ−ＡＶＲ１１３は、各画像
に対して平均動きベクトルと最大動きベクトルを計算す
る。ＲＩＳＣコントローラ１０２は、この実施例におい
ては、６４個のレジスタと６４ワードのデータメモリを
含む１９ビットのプロセッサである。コントローラ１０
２の役割は、プロセッサ１０１の様々なユニットからの
要求を処理し、それらのユニットを適宜動作させること
である。

【００１８】ＲＩＳＣコントローラ１０２はローカルＲ
ＡＭ１０８とローカルＲＯＭ１０９に接続され、ローカ
ルＲＯＭ１０９は共通使用のルーチンを格納する。コプ
ロセッサ１０３は複数のシストリック配列を含み、これ
らの配列はプログラムされた設定に応じて並列或いは直
列に動作する。以下に於て、まず単一のシストリック配
列の動作について説明する。この説明によって、本実施
例に於ては８つの配列を統合したコプロセッサ１０３の
動作をより良く理解できるであろう。

【００１９】図２（Ａ）は、シストリック配列に於ける
情報の流れの最も単純な場合を示す。この配列の基本的
機能は、現在の画素ブロックと参照ウィンドウの内容と
を比較することである。現在のブロックは、シストリッ
ク配列２０１に格納される。可能な全ての位置に対し
て、誤差関数Ｅｒｒが計算される。要素２０２は、一つ
の現在のブロックに対して、探索ウィンドウから抽出さ
れる複数の異なったブロックに関する複数の誤差関数の
値を基にして、最も適切なベクトルを一つ決定する。こ
の要素については、後に詳しく説明する。

【００２０】図２（Ｂ）は、シストリック配列に供給さ
れるバンドを決定する処理を示す。各バンドは複数のピ
クセル行からなり、この行の数は配列の並びの数（本実
施例では４）に一致する。第１のバンドは、参照ウィン
ドウの最初の４つの行を含む。この第１のバンドの処理
が終了すると、処理は次のバンドに対して続行される。
この次のバンドは、第１のバンドの最後の３つの行と、
第１のバンドの直後の行を含む。従って各バンドは、直
前のバンドに対して１行だけずれることになる。

【００２１】各バンドは、シストリック配列に一列毎に
供給される。これにより各バンドと同じ数の行を有する
現在のブロックは、各バンドの同一サイズの全てのブロ
ックと比較される。最終的には、現在のブロックは、参
照ウィンドウの同一サイズの全ブロックと比較されるこ
とになる。誤差関数の値がその数分だけ計算されて、要
素２０２に伝送される。

【００２２】２つのバンドは、画素１行だけ異なること
に注意すべきである。この冗長性を後の処理で利用し
て、メモリ１０からのデータの読み出し量を制限する。
図３は、４行５列のシストリック配列を示す。この配列
は、所謂「Ｓ」セルと、バッファＢと、加算器Ａｄｄ
と、バイパスセル３０１と、最終バイパスセル３０２を
含む。

【００２３】Ｓセルは、｜ａ−ｂ｜の計算を行う。ここ
でａ及びｂは各々、現在のブロックの画素値と、参照ウ
ィンドウの画素値である。同一行の各Ｓセルの出力は、
次のＳセルの入力にバッファＢにより接続される。バッ
ファＢはまた、各行の第１のＳセルの前に配置される。
画素値ｂは、同一行に於てあるバッファから次のバッフ
ァへと、各サイクル毎に伝播する。Ｓセルが計算を実行
する間、バッファは値ｂを保持する。

【００２４】各Ｓセルはまた、演算｜ａ−ｂ｜の結果を
転送する出力Ｃを有する。出力Ｃは、同様にバッファＢ
に結合される。同一列のバッファＢの全ては、一つの加
算器Ａｄｄに接続される。従って、列の数と同じ数だけ
の加算器が存在する。加算器の出力は、直列に接続され
た３つのバッファＢによって次の加算器の入力に接続さ
れる。選択された動作モードに応じて、これら３つのバ
ッファの最後のバッファを、バイパスセル３０１により
短絡する。

【００２５】最終バイパスセルは、インターレースでな
い通常の動作に於ては各サイクル毎に誤差関数の値を送
出し、インターレースモードに於ては２サイクル毎に誤
差関数の値を送出する。後者の場合には、この最終バイ
パスセル３０２に組み込まれた加算器が、連続する２つ
の誤差関数同士を加算する。変形例においては、加算器
Ａｄｄは、３入力のキャリー保持加算器として実現され
る。

【００２６】図４は、Ｓセルの機能をより詳細に示す。
Ｓセルは、入力４０１と、入力４０１に直接につながる
出力４０２と、２つの入力を処理する計算ユニット４０
３を含み、この２つの入力のうちの一つは入力４０１に
接続され、もう一方はマルチプレクサ４０４の出力に接
続されることによって、選択線４０５によりバッファ４
０６の内容かバッファ４０７の内容の何れかを選択する
ことが出来る。バッファ４０６及び４０７の入力は、セ
ルの入力４０１に接続される。

【００２７】これら２つのバッファの各々は、現在のブ
ロックの画素値を含む。それらの値は、入力４０１から
適宜読み込まれる。バッファの制御回路は通常のもので
あるので、詳細な説明はしない。２つのバッファが並列
に存在していることによって、例えば、単一のシストリ
ック配列に２つの現在ブロックを同時に格納することが
出来る。従って、参照ウィンドウのある位置に対して、
２つの比較を行うことが出来る。ＤＲＡＭメモリ１０及
びコプロセッサ３の間を転送されるデータ量を、このよ
うにして削減することが出来る。

【００２８】各Ｓセルに２つのバッファを設けることに
よって更に、所謂インターレース動作を行うことが可能
となり、これによって、シストリック配列の行数に対し
て現在のブロックの行数を２倍にすることが出来る。こ
の動作については、後ほど説明する。計算ユニットは、
その入力に与えられた２つの値の差の絶対値を出力す
る。

【００２９】この実施例に於て、参照ウィンドウの画素
値ｂはＳセルの間のバッファＢに格納され、一方、現在
のブロックの画素値ａはＳセルのバッファに格納される
ことに注意すべきである。また、Ｓセルが生成した中間
結果を加算していく機能は、Ｓセルの各列の下にある加
算器が実行することに注意すべきである。

【００３０】シストリック配列の通常動作（非インター
レース動作）を、図５の単純な例を用いて説明する。こ
の例に於ては、シストリック配列は１つの行と８つの列
からなる。行数がこれより多い配列の動作は略同様であ
り、各Ｓセルの出力結果（出力Ｓ）が加算器と同一のタ
イミングで提供される。通常動作においては、２つのバ
ッファだけが、列の終わりの各加算器の間に必要とな
る。例を簡潔にするために、第３のバッファ及びバイパ
スセルは図示されない。

【００３１】画素値ａは、配列に既に格納されている。
値ｂは、各サイクル毎に配列の入力に供給される。表１
に、複数のサイクルに渡っての出力Ｃの様子を示す。

【００３２】

【表１】

【００３３】サイクル０の間に、値ｂ０が、配列の入力
に於ける第１のバッファＢ（参照番号５０１）に格納さ
れる。サイクル１になって始めて、第１のＳセルの結果
が、出力Ｃ０のバッファ５０２に格納される。サイクル
１の間に、値ｂ０が同様に第２のバッファＢ５０３に格
納される。配列の動作の任意の時点において、参照ウィ
ンドウ内の現在ブロック（この例では８画素の行）の位
置に対応する差の絶対値の総和が、最後の加算器の出力
から得られる必要がある。参照ウィンドウの第１行に対
して加算器レベルで加算されるべき結果が、この表にお
いては太文字で示される。

【００３４】この加算機能を考えることによって、加算
器間のバッファ５０４の遅れの適切な値を決定すること
が出来る。加算器のレベルに於て結果の伝播が適切に行
われるためには、２サイクルの遅れが必要であることが
容易にわかる。これによって、何故２つのバッファが加
算器間に設けられているのが説明される。各バッファ
は、１サイクルの遅れをもたらす。別の言い方をすれ
ば、最初の２つの加算器の間のバッファ５０４及び５０
５は、バッファ５０１及び５０２による遅れを相殺す
る。

【００３５】１５番目のサイクルの終わりに、現在のブ
ロックの第１の位置に対する関数Ｅｒｒの値が、配列の
出力５０６に与えられる。このように動作するとき、各
Ｓセルに格納される２つの値ａのうちで、一つだけが用
いられることに注意すべきである。変形例においては、
現在のブロックの画素値を格納する唯一つのバッファ
が、各Ｓセルに設けられる。

【００３６】図６及び表２は、所謂インターレースモー
ドにおけるシストリック配列の動作を示す。このモード
を用いることによって、シストリック配列の行数の２倍
の行数を含む現在ブロックに対して、誤差関数を求める
ことが可能になる。各Ｓセルに付加的なバッファを加
え、また各加算器の間にも付加的なバッファを加えるこ
とで、これを実現することが出来る。

【００３７】図６は図５と同様であるが、付加的なバッ
ファが各加算器の間に挿入されることが異なる。更に、
各Ｓセルは、図４に示される２つの内部バッファを含
む。偶数サイクルの間は、各Ｓセルの第１のバッファの
内容が対応する計算ユニットに選択供給され、奇数サイ
クルの間は、第２のバッファの内容が用いられる。２倍
の大きさの現在ブロックは、垂直に重ねられた２つのサ
ブブロックａ及びａ’に分離される。第１のサブブロッ
クａは、各Ｓセルの第１のバッファに格納され、第２の
サブブロックａ’は、各Ｓセルの第２のバッファに格納
される。

【００３８】参照ウィンドウのバンドは、同じように２
倍の数の行を含む。上部サブバンドｂと下部サブバンド
ｂ’が含まれる。偶数サイクルの間は、サブバンドｂの
列がシストリック配列の入力に供給され、奇数サイクル
の間は、サブバンドｂ’の列が供給される。表２に、各
サイクル終了時の出力Ｃの様子を示す。前と同様に、サ
ブブロックに対応する誤差関数を求めるために加算すべ
き中間結果を、太字で示す。

【００３９】２つのサブブロックと２つのサブバンドと
を交代させることによって、非インターレース動作の場
合と比較して、加算器の出力に現われるある位置に対応
する誤差の和と、次の加算器の入力に対応する中間結果
との間に１サイクルの更なる遅れが現われる。このため
に、各加算器の間に第３のバッファが挿入される。図６
の配列の最後の加算器６０１は、一方が加算器６０２の
第１の入力に接続され、他方がバッファ６０３に接続さ
れる。バッファ６０３の出力は、加算器６０２の第２の
入力に接続される。

【００４０】サブブロックに対応する誤差関数は、（配
列が正しく初期化されたなら）各サイクルにおいて加算
器６０１の出力に供給される。サブブロックａ’に対応
する誤差関数値は、サブブロックａに対応するものに対
して１サイクル遅れることが、表２に示される。これら
２つの値が、完全なブロックａ＋ａ’に対応する誤差関
数値を求めるために、加算される必要がある。第１のサ
イクルの間に、ａに対応する値がバッファ６０３に格納
される。次のサイクルにおいて、ブロックａ’に対応す
る値が、加算器６０１の出力に供給される。加算器６０
２が加算を実行する。従って２サイクル毎に、加算器６
０２の出力に正しい結果が現われることになる。

【００４１】この所謂インターレースモードの動作は極
めて有用であり、何故なら、画素のバンドをコプロセッ
サに伝送するデータバスの大きさを削減することが可能
になるからである。変形例において、シストリック配列
は、配列の行数のＮ倍の行数からなる現在ブロックを処
理するように設計され、ここでＮは２より大きな整数で
ある。この場合、必要なだけのバッファが各Ｓセルに用
意される。

【００４２】

【表２】

【００４３】図７は、本実施例の第１の変形例によるコ
プロセッサの概略を示す。この変形例においては、コプ
ロセッサは、１０個の先読み先出しスタック（ＦＩＦＯ
スタック）７０１乃至７１０を含み、これらはデータバ
ス１１に並列に接続される。１つのＦＩＦＯあたりのデ
ータワード数によって、探索ウィンドウの画素の列数が
決定される。スタック７０１乃至７１０の出力は、スイ
ッチ回路７１２に接続され、このスイッチ回路７１２は
１０個の入力と８個の出力７１４乃至７２１を有する。

【００４４】回路７１２によって、１０個のＦＩＦＯの
任意の一つの出力を、回路の８個の出力の任意の一つに
繋げる事ができる。各ＦＩＦＯは、探索ウィンドウの１
行の全てを含む。ある時点で出力に結合される８個のＦ
ＩＦＯは、処理される探索ウィンドウのバンドの行に対
応する。結合されてない２つのＦＩＦＯには、メモリ１
０に格納されたデータが、データバスを介して読み込ま
れる。読み込まれるデータは、現在処理されるバンドと
は異なる探索ウィンドウの行に対応するものである。

【００４５】例えば、探索ウィンドウの８行Ｌ１乃至Ｌ
８からなる第１のバンドが、ＦＩＦＯ７０１乃至７０８
に格納されるとする。これら８行の処理中に、行Ｌ９が
ＦＩＦＯ７０９に読み込まれる。第１のバンドの処理が
終了すると，ＦＩＦＯ７０１に格納される行Ｌ１は無用
になる。実際のところ、第２のバンドは行Ｌ２乃至Ｌ９
を含む。従って、バンドの全体がＦＩＦＯに格納されて
いるので、この第２のバンドの処理はアイドル時間中に
開始される。「クロスオーバー」型のスイッチ回路８０
２は、シストリック配列７２２乃至７２５に供給する前
に、格納された行の順番を正しい順に並べ直す。

【００４６】バンドが８個の行を含む場合には、９個の
ＦＩＦＯがあれば、上述の動作のためには十分である。
１０番目のＦＩＦＯは、４行からなる２つのバンドを並
列に処理する場合等に用いられる。本変形例において
は、４行１６列の４つのシストリック配列７２２乃至７
２５が、スイッチ回路の出力に結合される。習慣に従っ
て、出力７１４が８行のバンドの一番上の行に対応し、
出力７２１が一番下の行に対応するものとする。第１及
び第３の配列（７２２及び７２４）が、４つの上部出力
７１４乃至７１７に結合され、一方、第２及び第４の配
列（７２３及び７２５）が、４つの下部出力７１８乃至
７２１に結合される。

【００４７】上述の構成によって、異なったサイズの現
在ブロックを、柔軟な形で処理することが出来る。４つ
の配列は実際、異なった形に考えることが出来る。即
ち、４ｘ８要素の８個の配列であり、４ｘ１６要素の各
配列は４ｘ８要素の現在ブロックを２つ処理する；８ｘ
８要素の４個の配列；８ｘ１６要素の２個の配列；及び
１６ｘ１６要素の２個の配列。

【００４８】後者の場合、配列はインターレースモード
で動作し、１６個ではなく８個の出力のみが使用でき
る。８個の出力は、参照ウィンドウの上部バンドの８つ
の画素列と、下部バンドの８つの画素列を交互に送出す
る。当然ながら、（次の行を読み込むためのＦＩＦＯは
除いて）８個ではなく１６個のＦＩＦＯを用いることが
考えられる。

【００４９】前述のように、ＦＩＦＯの深さが参照ウィ
ンドウの幅を決定する。４ｘ８要素のＦＩＦＯを用いる
場合、ＦＩＦＯをペアにグループ化して、各ＦＩＦＯの
ペアに２倍の長さ分の画素行を格納することが出来る。
図７には更に、４ｘ１６要素の各配列の出力において、
動作モードに応じて計算結果をグループ化する様子が矢
印で示される。

【００５０】図８は、第２の変形例を示す。９つのＦＩ
ＦＯ（参照番号８０１として纏められる）がスイッチ回
路８０２に出力を供給する。この例においてコプロセッ
サは、４ｘ８要素の８つのシストリック配列８０３乃至
８１０を含む。実際のところ、図８の２つの接続された
４ｘ８配列は、図７の１つの４ｘ１６配列に等価であ
る。図８は、４ｘ８要素の８つの現在ブロックが並列に
処理される際の各配列からの計算結果の流れを、より分
かり易く示す。上部配列８０３及び８０４を例として説
明する。配列８０３の出力の最終結果（即ち誤差関数の
値）が、配列８０４に直接に伝送される。４ｘ８の８つ
の現在ブロックであるか８ｘ８の４つの現在ブロックで
あるかに応じて、配列８０３の出力の結果が後の処理で
必要であるか否かが決まる。４ｘ８の８つの現在ブロッ
クを処理する場合、この結果は、配列８０３で処理され
る現在ブロックに対して動きベクトルを求めるために必
要である。

【００５１】本変形例においては、セルＭは、４ｘ８要
素の配列の各々に対応付けられる。各セルＭは、ブロッ
クに対応する全ての誤差値から、配列の一つによる誤差
関数出力の最小値を決定し、対応する動きベクトルの座
標値をメモリに保持する。結果は専用データバス８１１
を介して通信される。配列８０３及び８０４、８０７及
び８０８の出力は各々が、２入力のマルチプレクサの入
力に接続され、その出力は対応するセルＭの入力に接続
される。それらの配列の各々の出力は更に、２入力加算
器の入力に接続され、加算器の他方の出力は、すぐ下に
ある配列からの出力を受け取る。配列８０３、８０４、
８０７、及び８０８は、各々、配列８０５、８０６、８
０９、及び８１０からの出力を受け取る。

【００５２】プロセッサが４ｘ８画素の８つの現在ブロ
ックを処理するとき、各配列の出力は対応するセルＭに
直接に接続される。各セルＭは、誤差関数の最小値及び
動きベクトルを自己充足的なやり方で求める。結果とし
て８つの個別のベクトルが得られる。配列８０３、８０
５、８０７、及び８０９の誤差関数出力値は、直列に後
続する配列には転送されない。

【００５３】プロセッサが８ｘ８画素の４つの現在ブロ
ックを処理するとき、マルチプレクサは切り替えられ
て、同一のブロックを処理する２つの配列が計算した誤
差関数値の和が、それら２つの配列に対応する一つのセ
ルＭに供給される。例えば配列８０３に対応するセルＭ
は、配列８０３及び８０５が処理する８ｘ８のブロック
に対応する誤差関数値を基にして、計算を行う。一つの
ベクトルが結果として得られる。前段落の場合と同様
に、配列の第１列からの誤差関数値は、第２列には転送
されない。

【００５４】プロセッサが８ｘ１６画素の２つのブロッ
クを処理する場合、配列８０４及び８０８に対応するセ
ルＭだけが用いられる。４ｘ８の配列の対、８０３及び
８０４、８０５及び８０６、８０７及び８０８、更に８
０９及び８１０は、単に４ｘ１６の大きさの連続的な配
列を形成するものと見做される。例えば配列８０４に対
応する加算器は、配列８０４及び８０６からの誤差値を
加算する。配列８０３及び８０５が計算した誤差関数値
は、配列８０４及び８０６が計算した誤差関数値に含ま
れるものであり、配列８０３と８０４の間及び配列８０
５と８０６の間の結合を介して後ろの配列に転送され
る。

【００５５】この原理は、インターレースモードの場合
も同じである。簡単に言えば、一つ或いは複数のセルＭ
は、各ブロックに対して一つずつ、計２つの動きベクト
ルを格納する。図１のコントローラ２が、選択された動
作モードに応じて、マルチプレクサの切り換えを指示す
る。

【００５６】図９は、２つの現在ブロックが処理される
際の２つの参照ウィンドウの配置を示す。それらの現在
ブロックは、参照番号１及び２で示される。Ｘ１Ｍｉｎ
及びＸ１Ｍａｘは、ブロック１に対応する参照ウィンド
ウの横軸座標を示し、Ｘ２Ｍｉｎ及びＸ２Ｍａｘは、ブ
ロック２に対応するウィンドウの横軸座標を示す。ブロ
ック１及び２の位置は、この例においては、ウィンドウ
の略中間にある。２つのウィンドウは、横軸座標Ｘ２Ｍ
ｉｎ及びＸ１Ｍａｘの間にある部分を全て共有すること
が分かる。

【００５７】シストリックコプロセッサを用いることに
よって、ブロック１及び２に関する計算をするために、
横軸座標Ｘ１Ｍｉｎ及びＸ２Ｍａｘの間にある画素を唯
一度転送するだけで処理が可能になる。前述のように、
（例えば２つの配列８０３及び８０４のような）直列の
２つのシストリック配列は、２つの別のブロックを処理
することが出来る。画素データは、ある配列から次の配
列へと明確な形で受け渡されるのに対して、第１の配列
が計算した誤差関数値は、単純に次の配列に転送される
わけではない。第１及び第２の配列に対応する２つのセ
ルＭは、それら２つの配列の各々に対応する誤差関数値
を別々に格納する。

【００５８】図１０は、直列の２つのシストリック配列
に画素データを供給するときの配置の第１の例を示す。
横軸座標Ｘ１Ｍｉｎ及びＸ２Ｍａｘの間に位置する画素
の上部バンドが図に示される。Ａ及びＢは、現在ブロッ
クと比較される２つの参照ウィンドウの第１のブロック
の位置を示し、データが配列に供給される様子を示す。

【００５９】ブロック１を第１のシストリック配列（例
えば配列８０３）で処理して、ブロック２を第２の配列
（例えば８０４）で処理することが自然にみえる。従っ
てこの配置は、現在画像におけるブロック１及び２の自
然な配置に一致する。更に、一つのブロック１或いは２
の大きさに対して２倍の大きさのブロックを、（別の動
作モードにおいて）２つの配列が直列に処理する場合に
も、この配置は全く自然である。

【００６０】しかしながらこの配置は、図１１に示され
以下に説明される発明の方法に関しては不利である。表
１を見れば分かるように、８画素の長さの配列の場合、
第１の参照ブロックの最後の列に対しては、サイクル１
５になって初めて計算が実行される。図１０の配置で考
えた場合、ブロックＡ及びブロック１に対する計算はサ
イクル１５の後に終了する。ブロック２及びＢに対応す
る計算は、ブロックＢが第１の配列を通過したサイクル
１７において初めて開始される。

【００６１】従って、第１の配列からの（ブロックＡに
対応する）最初の有効な結果は、第２の配列からの（ブ
ロックＢに対応する）最初の有効な結果とは同時には得
られないことが分かる。従って２つの配列の各々からの
結果を並び変える管理が必要になり、システムがより複
雑になる。

【００６２】更に、図１０のブロックＣが完全に第１の
配列内に入るまで、配列内でバンドを通過させる必要が
ある。従って、2 x (X2Max - X1Min + X2Min - X1Min)
だけのサイクルが、全バンドを処理するために必要にな
る。ブロックＣが第２の配列に入っていく間、第１の配
列は不要な計算をすることになり、また逆に、ブロック
Ｂの画素の最初の列が第１の配列を通過してくるまで、
第２の配列は不要の計算をすることになる。変形例にお
いては、バンドを一つずつ間隙なくシストリック配列に
挿入して、画像の全てのバンドを連続的に処理すること
によって、この問題の影響を最大限に抑さえる。

【００６３】図１１は、本発明による方法の一例を示
す。現在画像とは逆の配置で２つのブロック１及び２が
格納される。この例では、ブロック２は第１の配列に格
納され、ブロック１は次の配列に格納される。従って、
ブロックＡは第２の配列で処理されるのと同時にブロッ
クＢは第１の配列で処理され、同じバンドに対する結果
は両方のブロックに対して同時かつ並列に得られる。ブ
ロックＡの画素の最初の列が第２の配列に到達していな
い間は、２つの配列が実行する計算は、（前のバンドの
計算が終了する直前ではあるけれども）不要なものであ
る。しかしながら、ブロックＣは第１の配列でのみ処理
されるので、ブロックＣがこの第１の配列を完全に通過
するまで待つ必要がない。従って連続的にバンドを供給
することを考えた場合、バンド毎、或いは画像毎に、一
つのブロック（１６サイクル）分に対応する処理時間の
節約になる。

【００６４】本発明の変形例においては、ブロックＡに
対応する画素に関するものであっても、第１の配列から
送出される結果は全て用いられる。従って、ブロック２
の位置に関して参照ウィンドウが非対称になる。この非
対象性が問題でないかぎりは（検出された動きベクトル
の最大振幅は正方向と負方向とで等しい大きさとならな
いが）、このような構成は全体の計算時間を増加するこ
となく参照フィールドを広げることが出来る。この構成
は、バンドの先頭に適用すると同様に、終端にも適用す
ることが出来る。しかしながらこの場合、２つのブロッ
クに対する結果が同時に得られるという利点は失われ
る。

【００６５】図１０の配置に対してブロック１及び２を
逆にすることは、図１０の配置をそのままにして、画素
のバンドを逆方向にして供給することと同じである。即
ち、横座標Ｘ２Ｍａｘの画素から開始して、横座標Ｘ１
Ｍｉｎの画素で終了する。この場合、現在のブロック１
及び２の各々において、画素を逆転しておく。この実施
例は図１２に示される。

【００６６】本発明は、此処に説明されたシストリック
配列の例に限定されることなく、動き検出のためのほか
の配列にも適用することが出来る。更に、２つ以上の配
列を直列に配置することが出来る。

【図面の簡単な説明】

【図１】動き検出プロセッサの機能的構造を示す図であ
る。

【図２】（Ａ）及び（Ｂ）は、実施例に従って用いる比
較手法を概略的に示す図である。

【図３】動きベクトルの計算に用いられるシストリック
配列の機能的構造を示す図である。

【図４】図３のシストリック配列の所謂Ｓセルの機能的
構造を示す図である。

【図５】非インターレースモードでの動作を示す単純化
されたシストリック配列の機能的構造を示す図である。

【図６】インターレースモードでの動作を示す単純化さ
れたシストリック配列の機能的構造を示す図である。

【図７】第１の変形例によるコプロセッサの機能的構造
を示す図である。

【図８】第２の変形例によるコプロセッサの機能的構造
を示す図である。

【図９】２つの隣接する現在ブロックに対応する２つの
参照ウィンドウの配置を示す図である。

【図１０】直列に配置された２つのシストリック配列に
データを供給する第１の例を示す図である。

【図１１】本発明の第１の実施例に従って直列に配置さ
れた２つのシストリック配列にデータを供給する様子を
示す図である。

【図１２】本発明の第２の実施例に従って直列に配置さ
れた２つのシストリック配列にデータを供給する様子を
示す図である。

【符号の説明】

１０１ プロセッサ １０２ ＲＩＳＣコントローラ １０３ シストリック配列コプロセッサ １０４、１０５、１０６ 入力ポート １０７ 出力ポート １０８ ローカルＲＡＭ １０９ ローカルＲＯＭ １１０ 外部ＤＲＡＭメモリ １１１ データバス １１２ メモリ管理ユニット １１３ ＭＡＸ−ＡＶＲユニット １１４ バッファメモリ １１５ マイクロプロセッサインターフェース ２０１ シストリック配列 ２０２ ベクトル検出要素 ３０１ バイパスセル ３０２ 最終バイパスセル ４０１ 入力 ４０２ 出力 ４０３ 計算ユニット ４０４ マルチプレクサ ４０５ 選択線 ４０６、４０７ バッファ ５０１、５０２、５０３、５０４、５０５ バッファ ５０６ 配列出力 ６０１、６０２ 加算器 ６０３ バッファ ７０１、７１０ ＦＩＦＯ ７１２ スイッチ回路 ７１４、７１５、７１６、７１７、７１８、７１９、７
２０、７２１ 出力 ７２２、７２３、７２４、７２５ シストリック配列 ８０１ ＦＩＦＯ ８０２ スイッチ回路 ８０３、８０４、８０５、８０６、８０７、８０８、８
０９、８１０ シストリック配列 ８１１ 専用データバス Ｓ セル Ｂ バッファ Ａｄｄ 加算器

Claims (5)

【特許請求の範囲】
1. 【請求項１】 配列（８０３、８０４）の各々が現在の
   画像の画素ブロック（１、２）に対して歪み（Ｅｒｒ）
   を計算し、 該現在の画像の少なくとも２つの隣接ブロック（１、
   ２）に対して該計算を行うように少なくとも２つの配列
   （８０３、８０４）を直列に配置し、 それらのブロックの全体に対応する参照ウィンドウを該
   配列の第１の配列（８０３）に画素のバンドとして供給
   し該直列の配列内を配列から配列へと伝播させ、 配列に供給されたバンドの最後の部分（Ｃ或いはＡ）が
   第１の配列（８０３）に割り当てられたブロック（２或
   いは１）のウィンドウの一部に対応するようにブロック
   （１、２）を配列に割り当てかつ配列へのバンドの供給
   の方向を決めることを特徴とする動き検出システムに於
   てマトリックス配列でデータを処理する方法。
2. 【請求項２】 参照ウィンドウは現在のブロックの位置
   を略中心としており、隣接する２つのブロックのウィン
   ドウは１ブロックだけずれていることを特徴とする請求
   項１記載の方法。
3. 【請求項３】 異なったウィンドウは同一の大きさを有
   し、異なった配列によって実行された歪み計算の最初の
   結果を同時に得られるように、配列へのブロック（１、
   ２）の割り当て及び配列へのバンドの供給方向を決定す
   ることを特徴とする請求項２記載の方法。
4. 【請求項４】 水平方向に隣接する第１のブロック
   （１）と第２のブロック（２）を各々、この順番で直列
   に配置された第１の配列（８０３）及び第２の配列（８
   ０４）によって処理し、第２のブロック（２）に対応す
   るウィンドウのバンドの部分が最初に供給されるように
   画素のバンドを第１の配列の方向から供給することを特
   徴とする請求項２又は３記載の方法。
5. 【請求項５】 画素のバンドの終端が、あるブロックを
   処理している配列では考慮する必要のない参照ウィンド
   ウの部分に対応するときであっても、該ウィンドウ部分
   に対応するデータから求めた計算結果を考慮すること
   で、該配列が処理するブロックに通常に対応する参照ウ
   ィンドウを広げることを特徴とする請求項１乃至４いず
   れか一項記載の方法。