JP4570532B2 - 動き検出装置、動き検出方法、集積回路およびプログラム - Google Patents

Description

本発明は、参照ピクチャを用いて動き検出を行う動き検出装置に関するものである。

近年、音声、画像、その他の画素値を統合的に扱うマルチメディア時代を迎え、従来からの情報メディア、つまり新聞、雑誌、テレビ、ラジオ、電話等の情報を人に伝達する手段がマルチメディアの対象として取り上げられるようになってきた。一般に、マルチメディアとは、文字だけでなく、図形、音声、特に画像等を同時に関連づけて表すことをいうが、上記従来の情報メディアをマルチメディアの対象とするには、その情報をディジタル形式にして表すことが必須条件となる。

ところが、上記各情報メディアの持つ情報量をディジタル情報量として見積もってみると、文字の場合１文字当たりの情報量は１〜２バイトであるのに対し、音声の場合１秒当たり６４Ｋｂｉｔｓ（電話品質）、さらに動画については１秒当たり１００Ｍｂｉｔｓ（現行テレビ受信品質）以上の情報量が必要となり、上記情報メディアでその膨大な情報をディジタル形式でそのまま扱うことは現実的では無い。例えば、テレビ電話は、６４Ｋｂｉｔ／ｓ〜１．５Ｍｂｉｔ／ｓの伝送速度を持つサービス総合ディジタル網（ＩＳＤＮ : Integrated Services Digital Network）によってすでに実用化されているが、テレビ・カメラの映像をそのままＩＳＤＮで送ることは不可能である。

そこで、必要となってくるのが情報の圧縮技術であり、例えば、テレビ電話の場合、ＩＴＵ‐Ｔ（国際電気通信連合 電気通信標準化部門）で勧告されたＨ．２６１やＨ．２６３規格の動画圧縮技術が用いられている。また、ＭＰＥＧ‐１規格の情報圧縮技術によると、通常の音楽用ＣＤ（コンパクト・ディスク）に音声情報とともに画像情報を入れることも可能となる。

ここで、ＭＰＥＧ（Moving Picture Experts Group）とは、ＩＳＯ／ＩＥＣ（国際標準化機構 国際電気標準会議）で標準化された動画像信号圧縮の国際規格であり、ＭＰＥＧ‐１は、動画像信号を１．５Ｍｂｐｓまで、つまりテレビ信号の情報を約１００分の１にまで圧縮する規格である。また、ＭＰＥＧ‐１規格では対象とする品質を伝送速度が主として約１．５Ｍｂｐｓで実現できる程度の中程度の品質としたことから、さらなる高画質化の要求をみたすべく規格化されたＭＰＥＧ‐２では、動画像信号を２〜１５ＭｂｐｓでＴＶ放送品質を実現する。さらに現状では、ＭＰＥＧ‐１、ＭＰＥＧ‐２と標準化を進めてきた作業グループ（ISO/IEC JTC1/SC29/WG11）によって、ＭＰＥＧ‐１、ＭＰＥＧ‐２を上回る圧縮率を達成し、更に物体単位で符号化・復号化・操作を可能とし、マルチメディア時代に必要な新しい機能を実現するＭＰＥＧ‐４が規格化された。ＭＰＥＧ‐４では、当初、低ビットレートの符号化方法の標準化を目指して進められたが、現在はインタレース画像も含む高ビットレートも含む、より汎用的な符号化に拡張されている。

更に、２００３年に、ＩＳＯ／ＩＥＣとＩＴＵ‐Ｔが共同でより高圧縮率の画像符号化方式として、ＭＰＥＧ‐４ＡＶＣおよびＨ．２６４が標準化されている（例えば、非特許文献１参照）。Ｈ．２６４規格は、現在ＨＤ（High Definition）画像などに適したHigh Profile対応の改正規格案を策定中である。Ｈ．２６４規格のアプリケーションとしては、ＭＰＥＧ‐２やＭＰＥＧ‐４と同様にディジタル放送、ＤＶＤ（Digital Versatile Disk）プレーヤ／レコーダ、ハードディスクプレーヤ／レコーダ、カムコーダ、テレビ電話などに広がることが予想されている。

一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とする画面間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と符号化対象ピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは１枚の画面を表す用語であり、プログレッシブ画像ではフレームを意味し、インタレース画像ではフレームもしくはフィールドを意味する。ここで、インタレース画像とは、１つのフレームが時刻の異なる２つのフィールドから構成される画像である。インタレース画像の符号化や復号化処理においては、１つのフレームをフレームのまま処理したり、２つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。

参照画像を持たず画面内予測符号化を行うものをＩピクチャと呼ぶ。また、１枚の参照画像のみを参照し画面間予測符号化を行うものをＰピクチャと呼ぶ。また、同時に２枚の参照画像を参照して画面間予測符号化を行うことのできるものをＢピクチャと呼ぶ。Ｂピクチャは表示時間が前方もしくは後方から任意の組み合わせとして２枚のピクチャを参照することが可能である。参照画像（参照ピクチャ）は符号化の基本単位であるマクロブロックごとに指定することができるが、符号化を行ったビットストリーム中に先に記述される方の参照ピクチャを第１参照ピクチャ、後に記述される方を第２参照ピクチャとして区別する。ただし、これらのピクチャを符号化する場合の条件として、参照するピクチャが既に符号化されている必要がある。

Ｐピクチャ又はＢピクチャの符号化には、動き補償画面間予測符号化が用いられている。動き補償画面間予測符号化とは、画面間予測符号化に動き補償を適用した符号化方式である。動き補償とは、単純に参照フレームの画素値から予測するのではなく、ピクチャ内の各部の動き量（以下、これを動きベクトルと呼ぶ）を検出し、当該動き量を考慮した予測を行うことにより予測精度を向上すると共に、データ量を減らす方式である。例えば、符号化対象ピクチャの動きベクトルを検出し、その動きベクトルの分だけシフトした予測値と符号化対象ピクチャとの予測残差を符号化することによりデータ量を減している。この方式の場合には、復号化の際に動きベクトルの情報が必要になるため、動きベクトルも符号化されて記録又は伝送される。

動きベクトルはマクロブロック単位で検出されており、具体的には、符号化対象ピクチャ側のマクロブロック（基準ブロック）を固定しておき、参照ピクチャ側のマクロブロック（参照ブロック）を探索範囲内で移動させ、基準ブロックと最も似通った参照ブロックの位置を見つけることにより、動きベクトルが検出される。

図１４は、従来の画像符号化装置の構成を示すブロック図である。
この画像符号化装置８００は、動き検出部８０１と、マルチフレームメモリ８０２と、減算器８０３と、減算器８０４と、動き補償部８０５と、符号化部８０６と、加算器８０７と、動きベクトルメモリ８０８と、動きベクトル予測部８０９とを備えている。

動き検出部８０１は、マルチフレームメモリ８０２から出力される動き検出参照画素ＭＥｐを画面信号Ｖｉｎと比較し、動きベクトルＭＶと参照フレーム番号ＲＮを出力する。

参照フレーム番号ＲＮは、複数の参照画像の中から選択された、符号化対象画像に対して参照される参照画像を特定するための識別信号である。

動きベクトルＭＶは、動きベクトルメモリ８０８に一時的に記憶されたのち近傍動きベクトルＰｖＭＶとして出力される。この近傍動きベクトルＰｖＭＶは、動きベクトル予測部８０９にて予測動きベクトルＰｄＭＶを予測するために参照される。

減算器８０４は、動きベクトルＭＶから予測動きベクトルＰｄＭＶを減算し、その差を動きベクトル予測差分ＤＭＶとして出力する。

一方、マルチフレームメモリ８０２は、参照フレーム番号ＲＮおよび動きベクトルＭＶで示される画素を動き補償参照画素ＭＣｐ１として出力し、動き補償部８０５は小数画素精度の参照画素を生成して参照画面画素ＭＣｐ２を出力する。減算器８０３は、画面信号Ｖｉｎから参照画面画素ＭＣｐ２を減算し、画面予測誤差ＤＰを出力する。

符号化部８０６は、画面予測誤差ＤＰと動きベクトル予測差分ＤＭＶと参照フレーム番号ＲＮを可変長符号化し、符号化信号Ｓｔｒを出力する。なお、符号化時に、画面予測誤差ＤＰの復号化結果である復号画面予測誤差ＲＤＰも同時に出力する。復号画面予測誤差ＲＤＰは画面予測誤差ＤＰに符号化誤差が重畳されたものであり、画像復号化装置で符号化信号Ｓｔｒを復号化して得られる画面間予測誤差と一致する。

加算器８０７は、参照画面画素ＭＣｐ２に復号画面予測誤差ＲＤＰを加算し、復号画面ＲＰとしてマルチフレームメモリ８０２に記憶させる。但し、マルチフレームメモリ８０２の容量を有効に利用するため、マルチフレームメモリ８０２に記憶されている画面の領域は不要な場合は開放され、またマルチフレームメモリ８０２に記憶する必要が無い画面の復号画面ＲＰはマルチフレームメモリ８０２に記憶されない。

図１５は、従来の画像復号化装置を説明するためのブロック図である。なお、同図において、図１４と同一の符号を付して示すものは、図１４と同一のものを示し、その説明を省略する。

図１５に示す従来の画像復号化装置９００は、図１４の従来の画像符号化装置８００で符号化された符号化信号Ｓｔｒを復号化して復号画面信号Ｖｏｕｔを出力するものであり、マルチフレームメモリ９０１と、動き補償部９０２と、加算器９０３と、加算器９０４と、動きベクトルメモリ９０５と、動きベクトル予測部９０６と、復号化部９０７とを有している。

復号化部９０７は、符号化信号Ｓｔｒを復号化し、復号画面予測誤差ＲＤＰ、動きベクトル予測差分ＤＭＶ、および参照フレーム番号ＲＮを出力する。

加算器９０４は、動きベクトル予測部９０６から出力される予測動きベクトルＰｄＭＶと動きベクトル予測差分ＤＭＶを加算し、動きベクトルＭＶを復号する。

マルチフレームメモリ８０２は、参照フレーム番号ＲＮおよび動きベクトルＭＶで示される画素を動き補償参照画素ＭＣｐ１として出力し、動き補償部９０２は小数画素精度の参照画素を生成して参照画面画素ＭＣｐ２を出力する。加算器９０３は、参照画面画素ＭＣｐ２に復号画面予測誤差ＲＤＰを加算し、加算結果を復号画面ＲＰ（復号画面信号Ｖｏｕｔ）としてマルチフレームメモリ９０１に記憶させる。但し、マルチフレームメモリ９０１の容量を有効に利用するため、マルチフレームメモリ９０１に記憶されている画面の領域は不要な場合は開放され、またマルチフレームメモリ９０１に記憶する必要が無い画面の復号画面ＲＰはマルチフレームメモリ９０１に記憶されない。以上のようにして、復号画面信号Ｖｏｕｔ、すなわち復号画面ＲＰを符号化信号Ｓｔｒから正しく復号化することができる。

ところで、図１４に示す従来の画像符号化装置８００をＬＳＩ（Large Scale Integration）に実装するための構成が提案されている（例えば、特許文献１参照。）。上記特許文献１において示されているように、画像符号化装置をＬＳＩなどで実装する場合には、図１４に示す従来の画像符号化装置８００のマルチフレームメモリ８０２は、ＬＳＩ外の外部フレームメモリと、動き検出部８０１でブロックマッチング探索時に直接アクセスされるＬＳＩ内部のローカルメモリに分割して実装される。

図１６は、ＬＳＩを用いて構成される画像符号化装置を説明するための説明図である。なお、同図において、図１４に示す従来の画像符号化装置８００と同一の符号を付して示すものは、図１４と同一のものを示し、その説明を省略する。

画像符号化装置８００ａは、ＬＳＩ８１０と、外部マルチフレームメモリ８２０とから構成される。外部マルチフレームメモリ８２０はＬＳＩ８１０に接続されるメモリである。

ＬＳＩ８１０は、画像符号化装置８００のマルチフレームメモリ８０２以外の各構成要素を備え、マルチフレームメモリ８０２の代わりに参照用ローカルメモリ８１１を備えている。参照用ローカルメモリ８１１は、動き検出部８０１でブロックマッチング探索時に直接アクセスされるＬＳＩ８１０内部のローカルメモリである。なお、図１６では、参照用ローカルメモリ８１１および動き検出部８０１以外のＬＳＩ８１０に含まれる各構成要素を省略している。

図１６において動き検出部８０１が動き検出を行う場合、まず外部マルチフレームメモリ８２０から探索対象となる画像領域が外部接続バスＢｕｓ１を介して参照用ローカルメモリ８１１に転送される。次に参照用ローカルメモリ８１１から内部バスＢｕｓ２を介してデータが読み出され、動き検出部８０１によって動き検出が行われる。このような構成をとることによって、外部接続バスＢｕｓ１の画素転送量やＬＳＩ８１０の内部メモリ容量を削減している。

図１７は、上述の外部マルチフレームメモリ８２０および参照用ローカルメモリ８１１を有する画像符号化装置の構成を詳細に示す構成図である。

画像符号化装置８００ａは、画像符号化装置８００のマルチフレームメモリ８０２の代わりに、外部マルチフレームメモリ８２０および参照用ローカルメモリ８１１を備えるとともに、これらを制御するための参照メモリ制御部８１２を備えている。

前述の図１４の画像符号化装置８００の動作と同様、加算器８０７からの加算結果である復号画面ＲＰは、外部マルチフレームメモリ８２０に記憶される。次に、外部マルチフレームメモリ８２０は、動き補償予測等で用いる領域を参照用ローカルメモリ８１１に出力する。また、参照メモリ制御部８１２は、前述の外部マルチフレームメモリ８２０と参照用ローカルメモリ８１１間のデータ転送を制御する。

このような画像符号化装置８００ａにおいて、動き検出部８０１、参照用ローカルメモリ８１１、および参照メモリ制御部８１２から従来の動き検出装置８５０が構成される。

ここで、上記の画像符号化装置８００ａの応用例を説明する。
図１８は、Ｈ．２６４レコーダを実現するＡＶ処理装置のブロック図である。

ＡＶ処理装置７００は、メモリ７１０と、ディジタル圧縮された音声及び画像を再生するＤＶＤレコーダやハードディスクレコーダなどとして構成されるＬＳＩ７２０とを備えている。

メモリ７１０は、音声と画像を示すストリームデータＳｔや、符号化データや復号化データなどのデータを格納するメモリであり、図１７に示す外部マルチフレームメモリ８２０の領域を含むものである。

ＬＳＩ７２０は、バスＢと、画像符号化復号化部７２１と、音声符号化復号化部７２２と、画像処理部７２３と、画像入出力部７２４と、音声処理部７２５と、音声入出力部７２６と、ストリーム入出力部７２７と、メモリ入出力部７２８と、ＡＶ制御部７２９とを備えている。

バスＢは、ストリームデータＳｔや、音声・画像の復号データなどのデータを転送するために用いられる。ストリーム入出力部７２７は、前述のストリームデータＳｔを入力し、バスＢを介して出力する。画像符号化復号化部７２１は、バスＢに接続されており、画像の符号化及び復号化を行う。音声符号化復号化部７２２は、バスＢに接続されており、音声の符号化及び復号化を行う。メモリ入出力部７２８は、バスＢに接続されており、メモリ７１０に対するデータ信号の入出力インターフェースを図る。

画像処理部７２３は、バスＢに接続されており、画像信号に対してプレ処理及びポスト処理を行う。画像入出力部７２４は、画像処理部７２３で処理されたもしくは画像処理部７２３で処理されずに通過された画像信号を、外部に画像入出力信号ＶＳとして出力したり、外部からの画像入出力信号ＶＳを取り込んだりする。

音声処理部７２５は、バスＢに接続されており、音声信号に対してプレ処理及びポスト処理を行う。音声入出力部７２６は、音声処理部７２５で処理されたもしくは音声処理部７２５で処理されずに通過された音声信号を、外部に音声入出力信号ＡＳとして出力したり、外部からの音声入出力信号ＡＳを取り込んだりする。ＡＶ制御部７２９は、ＬＳＩ７２０の全体制御を行う。

ここで、このようなＡＶ処理装置７００の符号化動作を説明する。まず、画像入出力信号ＶＳが画像入出力部７２４に入力され、音声入出力信号ＡＳが音声入出力部７２６に入力される。

画像処理部７２３は、画像入出力部７２４に入力された画像入出力信号ＶＳに対して、フィルタ処理や符号化のための特徴量抽出などを行い、処理された画像入出力信号ＶＳを、メモリ入出力部７２８を介してメモリ７１０に原画像として格納する。次に、画像符号化復号化部７２１は、メモリ入出力部７２８を介して、メモリ７１０から原画像と参照画像を取得するとともに、メモリ７１０に対して、画像符号化復号化部７２１で符号化した画像ストリームデータ（符号化信号Ｓｔｒ）と局所復元データを送信する。

ここで、画像符号化復号化部７２１は、図１７に示す画像符号化装置８００ａの外部マルチフレームメモリ８２０を除く各構成要素と、図１５に示す画像復号化装置９００（マルチフレームメモリ９０１をローカルメモリに置き換えたもの）とを備えている。

一方、音声処理部７２５は、音声入出力部７２６に入力された音声入出力信号ＡＳに対して、フィルタ処理や符号化のための特徴量抽出などを行い、処理された音声入出力信号ＡＳを、メモリ入出力部７２８を介してメモリ７１０に原音声データとして格納する。次に、音声符号化復号化部７２２は、メモリ入出力部７２８を介して、メモリ７１０から原音声データを取り出して符号化し、音声ストリームデータとしてメモリ７１０に格納する。

最後に、画像ストリームデータ、音声ストリームデータ及びその他のストリーム情報は、一つのストリームデータＳｔとして処理され、ストリーム入出力部７２７を介して出力される。そして、このようなストリームデータＳｔは、光ディスクやハードディスクなどの蓄積メディアに書き込まれる。
特許第２９６３２６９号公報 ISO/IEC 14496-10, International Standard: "Information technology - Coding of audio-visual objects - Part 10 : Advanced video coding"(2004-10-01)

しかしながら、上記特許文献１の画像符号化装置に備えられた動き検出装置では、外部マルチフレームメモリ８２０の総データ転送レートのうち、動き検出のために使用されるデータ転送レートが大きな割合を占めることがあり、その結果、ＡＶ処理装置のシステム全体が破綻してしまう可能性があるという問題がある。

Ｈ．２６４規格では、画面間予測符号化を行う際には、多くのピクチャを参照しても良いことになっているため、高画質を求める場合にはフレーム構造のピクチャでは規格上最高１６枚、フィールド構造のピクチャでは最高３２枚ものピクチャを参照することが考えられる。従って、参照されるピクチャの枚数（参照枚数）が多い場合には、図１６における外部接続バスＢｕｓ１のデータ転送能力がボトルネックとなることが当然考えられる。

図１９は、動き検出のために参照されるピクチャの枚数を説明するための説明図である。

ＭＰＥＧ−２やＭＰＥＧ−４では図１９（ａ）で示すように、例えばＢピクチャＢ５に対して、ＰピクチャＰ３とＰピクチャＰ６の２枚のピクチャしか参照されない。ところが、Ｈ．２６４では図１９（ｂ）に示すように、例えばＢピクチャＢ５に対して、ＩピクチャＩ０とＢピクチャＢ１とＢピクチャＢ２とＰピクチャＰ３とＢピクチャＢ４とＰピクチャＰ６の６枚のピクチャが参照されることがある。ここで、もともとピクチャの参照枚数をＭＰＥＧ−２と同様の枚数に制限をかけた符号化を行うことも可能ではあるが、この場合には、外部マルチフレームメモリ８２０（メモリ７１０）のデータ転送能力に関わりなく画一的に画質が低下する。したがって、高画質を求める場合にはやはり参照枚数を増やす必要がある。

またさらに、メディア処理を行う場合には、外部マルチフレームメモリ８２０には画面間予測符号化処理で用いる参照ピクチャの転送以外の画像処理を始めとし、ストリームデータ処理、オーディオ処理、全体制御処理など多くのアクセス要求が存在するため、データ転送能力が不足し、システムが破綻してしまう可能性がある。

そこで本発明は、かかる問題に鑑みてなされたものであって、復号化されるピクチャの画質を画一的に低下させることなくシステムの破綻を防ぐことが可能な動き検出装置を提供することを目的とする。

上記目的を達成するために、本発明に係る動き検出装置は、ピクチャを符号化するために符号化対象ピクチャの画像の動きを検出する動き検出装置であって、画像データを記憶している外部メモリのデータ転送能力に応じて、前記外部メモリから転送されるべき前記画像データのデータ転送量を制限する制限手段と、内部メモリと、前記制限手段により制限されたデータ転送量だけ、前記外部メモリに記憶されている画像データの少なくとも一部を前記内部メモリに転送する転送手段と、前記内部メモリに転送された画像データの少なくとも一部を参照することにより前記符号化対象ピクチャの動き検出を行う動き検出手段とを備え、前記外部メモリは、前記符号化対象ピクチャの動き検出のために参照される予定の複数の参照予定ピクチャを前記画像データとして記憶しており、前記制限手段は、前記外部メモリのデータ転送能力に応じて、前記外部メモリから転送されるべき前記参照予定ピクチャの数を設定することにより、前記データ転送量を制限する。
また、上記目的を達成するために、本発明に係る動き検出装置は、ピクチャを符号化するために符号化対象ピクチャの画像の動きを検出する動き検出装置であって、画像データを記憶している外部メモリのデータ転送能力に応じて、前記外部メモリから転送されるべき前記画像データのデータ転送量を制限する制限手段と、内部メモリと、前記制限手段により制限されたデータ転送量だけ、前記外部メモリに記憶されている画像データの少なくとも一部を前記内部メモリに転送する転送手段と、前記内部メモリに転送された画像データの少なくとも一部を参照することにより前記符号化対象ピクチャの動き検出を行う動き検出手段とを備えることを特徴とする。例えば、前記外部メモリは、前記符号化対象ピクチャの動き検出のために参照される予定の複数の参照予定ピクチャを前記画像データとして記憶しており、前記制限手段は、前記参照予定ピクチャの数を少なくすることによって前記データ転送量を制限する。

具体的に、外部メモリのデータ転送能力が高いときには、画像データのデータ転送量が制限されないことにより、外部メモリにある複数の参照予定ピクチャの全てを参照ピクチャとして参照して符号化対象ピクチャの動き検出を行うことができ、その動き検出により符号化されたピクチャが復号化されたときには、そのピクチャの画質の低下を防ぐことができる。さらに、外部メモリのデータ転送能力が低いときには、画像データのデータ転送量が制限されて、外部メモリにある複数の参照予定ピクチャのうち例えば１枚の参照予定ピクチャしか参照ピクチャとして内部メモリに転送されないため、外部メモリを他の処理と共用するシステム全体の破綻を防ぐことができる。その結果、復号化されるピクチャの画質を画一的に低下させることなくシステムの破綻を防ぐことができる。さらに、システム設計者は、外部メモリのアクセス状態をあまり意識することなくシステムを設計することができる。

また、前記制限手段は、前記符号化対象ピクチャと画像データとの間の参照関係を変更することによって前記データ転送量を制限することを特徴としてもよい。

例えば、フィールド構造では外部メモリの画像データを多くのデータ転送量で内部メモリに転送する必要があるが、フレーム構造ではそのデータ転送量は少ない。したがって、本発明のように、フィールド構造をフレーム構造に変更するように参照関係を変更することによっても、前記外部メモリから転送されるべき画像データのデータ転送量は制限され、その結果、上述と同様、復号化されるピクチャの画質を画一的に低下させることなくシステムの破綻を防ぐことができる。

また、前記動き検出装置は、さらに、前記外部メモリの総データ転送レートのうち、動き検出に割当可能なデータ転送レートを算出する算出手段を備え、前記制限手段は、前記転送手段によって前記外部メモリから転送される画像データのデータ転送レートが前記算出手段により算出されたデータ転送レートに収まるように、前記データ転送量を制限することを特徴としてもよい。

これにより、転送手段によって転送される画像データのデータ転送レートが、動き検出に割当可能なデータ転送レートに収まるため、確実にシステムの破綻を防ぐことができる。

また、前記算出手段は、前記動き検出に割当可能なデータ転送レートが変動する可能性が発生するタイミングを検出し、前記タイミングに、前記動き検出に割当可能なデータ転送レートを算出することを特徴としてもよい。

これにより、例えばイベント発生時やシーケンスの開始時などが、動き検出に割当可能なデータ転送レートが変動する可能性が発生するタイミングとして検出され、そのときにそのデータ転送レートの算出が行われるため、随時適切なデータ転送レートを算出して、画像データのデータ転送量を適切に制限することができる。即ち、データ転送量の過剰な制限を防ぐことができるとともに、システムの破綻を確実に防ぐことができる。

また、前記転送手段は、前記画像データに記憶されている画像データを、前記動き検出手段で参照される領域ごとに転送し、前記制限手段は、前記領域を狭くすることにより前記データ転送量を制限することを特徴としてもよい。

これにより、制限手段によってその各領域が狭くされるため、前記外部メモリから転送されるべき画像データのデータ転送量は制限され、その結果、上述と同様、復号化されるピクチャの画質を画一的に低下させることなくシステムの破綻を防ぐことができる。

なお、本発明は、このような動き検出装置として実現することができるだけでなく、その動き検出装置を含む画像符号化装置や、それらの装置の動作方法、プログラム、そのプログラムを格納する記憶媒体、集積回路としても実現することができる。

本発明の動き検出装置は、復号化されるピクチャの画質を画一的に低下させることなくシステムの破綻を防ぐことができるという作用効果を奏する。

以下、本発明の実施の形態における動き検出装置を備えた画像符号化装置について、図面を参照しながら説明する。

図１は、本発明の実施の形態における動き検出装置を備えた画像符号化装置のブロック図である。

本実施の形態における画像符号化装置１００は、動き検出部１０１、減算器１０３、減算器１０４、動き補償部１０５、符号化部１０６、加算器１０７、動きベクトルメモリ１０８、動きベクトル予測部１０９、参照用ローカルメモリ１１１、参照メモリ制御部１１２、外部マルチフレームメモリ１２０、能力判定部１３１、および参照ピクチャ設定部１３２を備えている。

また、本実施の形態における動き検出装置１００Ａは、復号化されるピクチャの画質を画一的に低下させることなくシステムの破綻を防ぐ装置であって、動き検出部１０１、参照用ローカルメモリ１１１、参照メモリ制御部１１２、能力判定部１３１、および参照ピクチャ設定部１３２を備えている。

このような本実施の形態の動き検出装置１００Ａは、符号化対象ピクチャに対して規格などにより規定される参照ピクチャ（参照予定ピクチャ）の枚数を制限し、その制限された参照ピクチャを用いて符号化対象ピクチャの動き検出を行う。

動き検出部１０１は、参照用ローカルメモリ１１１から動き検出参照画素ＭＥｐ（参照ピクチャまたはその一部の探索領域の画像データ）を取得し、その動き検出参照画素ＭＥｐと画面信号Ｖｉｎとを比較することにより、動きベクトルＭＶを検出する。そして、動き検出部１０１は、その動きベクトルＭＶと、その動きベクトルＭＶに対応する参照ピクチャ（フレーム）を示す参照フレーム番号ＲＮとを出力する。

即ち、動き検出部１０１は、画面信号Ｖｉｎの示す符号化対象ピクチャのマクロブロックごとに、そのマクロブロックと近似する画像を有する領域を、参照用ローカルメモリ１１１に格納されている参照ピクチャ（または、その参照ピクチャの一部の探索領域）から探索して、つまり参照ピクチャを参照して、その領域を示す動きベクトルＭＶを検出する。ここで、動き検出部１０１は、符号化対象ピクチャに対して規格などにより規定される参照ピクチャ（参照予定ピクチャ）の全てを参照することなく、それらの参照ピクチャのうち参照ピクチャ設定部１３２によって設定された参照ピクチャのみを参照して動きベクトルＭＶを検出する。

動き検出部１０１によって検出された動きベクトルＭＶは動きベクトルメモリ１０８に一時的に記憶される。動きベクトル予測部１０９は、動きベクトルメモリ１０８に記憶されている動きベクトルＭＶを近傍動きベクトルＰｖＭＶとして取得し、その近傍動きベクトルＰｖＭＶを用いて予測動きベクトルＰｄＭＶを予測して出力する。

減算器１０４は、動きベクトルＭＶから予測動きベクトルＰｄＭＶを減算し、その差を動きベクトル予測差分ＤＭＶとして出力する。

参照用ローカルメモリ１１１は、外部マルチフレームメモリ１２０から参照ピクチャＲｆＰを取得して、その参照ピクチャＲｆＰにおいて参照フレーム番号ＲＮおよび動きベクトルＭＶで示される領域の画像データを動き補償参照画素ＭＣｐ１として動き補償部１０５に出力する。ここで、参照用ローカルメモリ１１１は、外部マルチフレームメモリ１２０から参照ピクチャＲｆＰ全体を一度に取得せずに、符号化対象マクロブロックの符号化処理ごとに、その符号化対象マクロブロックに対応する参照ピクチャＲｆＰの探索領域を取得する。以下、参照ピクチャＲｆＰとは、参照ピクチャ全体またはその一部の探索領域の画像データを示す。

動き補償部１０５は、参照用ローカルメモリ１１１から取得した動き補償参照画素ＭＣｐ１から小数画素精度の参照画素を生成し、その結果得られる参照画面画素ＭＣｐ２を出力する。

減算器１０３は、画面信号Ｖｉｎから参照画面画素ＭＣｐ２を減算し、画面予測誤差ＤＰを出力する。

符号化部１０６は、画面予測誤差ＤＰと動きベクトル予測差分ＤＭＶと参照フレーム番号ＲＮとを可変長符号化し、符号化信号Ｓｔｒを出力する。また、符号化部１０６は、画面予測誤差ＤＰの符号化の際に、その符号化された画面予測誤差ＤＰの復号化も行っており、その復号結果である復号画面予測誤差ＲＤＰも出力する。

加算器１０７は、参照画面画素ＭＣｐ２に復号画面予測誤差ＲＤＰを加算して、加算結果である復号画面ＲＰを外部マルチフレームメモリ１２０に出力する。

外部マルチフレームメモリ１２０は、加算器１０７からの復号画面ＲＰをピクチャ（参照ピクチャ）として格納する。ただし、外部マルチフレームメモリ１２０の容量を有効に利用するため、外部マルチフレームメモリ１２０に記憶されている画像領域は不要な場合は開放され、また外部マルチフレームメモリ１２０に記憶させる必要が無い、つまり参照される予定のない復号画面ＲＰは外部マルチフレームメモリ１２０に記憶されない。

能力判定部１３１は、外部マルチフレームメモリ１２０のデータ転送能力（総データ転送レート）を判定するとともに、そのデータ転送能力のうち、動き検出に割当可能なデータ転送レートを算出して、その算出したデータ転送レートを参照ピクチャ設定部１３２に通知する。

参照ピクチャ設定部１３２は、符号化対象ピクチャに対して規格などにより規定される参照ピクチャ（参照予定ピクチャ）のうち、動き検出などの符号化処理を行うために実際に参照される参照ピクチャを、能力判定部１３１から通知されたデータ転送レートに応じたデータ転送量に基づいて選択する。例えば、参照ピクチャ設定部１３２は、実際に参照される複数の参照ピクチャを、リスト形式の参照リストとして設定する。そして、参照ピクチャ設定部１３２は、その設定された参照リストを参照メモリ制御部１１２および動き検出部１０１に通知する。

参照メモリ制御部１１２は、参照ピクチャ設定部１３２によって設定された参照ピクチャが、外部マルチフレームメモリ１２０から参照用ローカルメモリ１１１に転送されるように、外部マルチフレームメモリ１２０および参照用ローカルメモリ１１１を制御する。

即ち、本実施の形態における参照ピクチャ設定部１３２は、外部マルチフレームメモリ１２０から参照用ローカルメモリ１１１に転送される参照ピクチャのデータ転送レートが、能力判定部１３１から通知されたデータ転送レート以下となるように、上記規格などにより規定される参照ピクチャの数を少なくすることで、その参照ピクチャのデータ転送量を制限している。

図２は、本実施の形態の画像符号化装置１００を有するＡＶ処理装置の構成を示す構成図である。

ＡＶ処理装置２００は、外部マルチフレームメモリ１２０とＬＳＩ２２０とを備えている。

ＬＳＩ２２０は、バスＢ、画像符号化復号化部２２１、音声符号化復号化部７２２、画像処理部７２３、画像入出力部７２４、音声処理部７２５、音声入出力部７２６、ストリーム入出力部７２７、メモリ入出力部２２２、およびＡＶ制御部７２９を備えている。

即ち、本実施の形態におけるＡＶ処理装置２００のＬＳＩ２２０は、従来例に示すＡＶ処理装置７００のメモリ入出力部７２８と画像符号化復号化部７２１の代わりに、メモリ入出力部２２２と画像符号化復号化部２２１を備えている。

画像符号化復号化部２２１は、上述の画像符号化装置１００の外部マルチフレームメモリ１２０以外の各構成要素と、その画像符号化装置１００によって符号化された符号化信号Ｓｔｒを復号化する画像復号化装置とを備えている。

メモリ入出力部２２２は、バスＢに接続されており、外部マルチフレームメモリ１２０に対するデータの入出力インターフェースを図るとともに、画像符号化復号化部２２１に対して情報信号ＡＩを出力する。情報信号ＡＩは、外部マルチフレームメモリ１２０のデータ転送能力を判定するための動作周波数、メモリバス幅、およびメモリ動作プロトコルなどを示す情報や、音声符号化復号化部７２２やＡＶ制御部７２９などの各構成要素による外部マルチフレームメモリ１２０へのアクセス状態などを示す。

図３は、本実施の形態における動き検出装置１００Ａの全体的な動作を示すフローチャートである。

まず、動き検出装置１００Ａの能力判定部１３１は、データ転送能力（総データ転送レート）を判定するタイミングであるかどうかを判別する（ステップＳ１００）。例えば、能力判定部１３１は、動き検出部１０１に入力される画面信号Ｖｉｎのシーケンスや、ピクチャ、マクロブロックの符号化開始時期、もしくはイベントの発生時期が、データ転送能力を判定するタイミングであると判別する。イベントの発生とは、例えば特殊再生の開始終了などを意味する。

ここで、能力判定のタイミングであると判別すると（ステップＳ１００のＹｅｓ）、能力判定部１３１は、無動作時（アクセスされていないとき）の外部マルチフレームメモリ１２０のデータ転送能力を判定して（ステップＳ１０２）、動き検出処理（符号化処理）に割り当てることが可能なデータ転送レートを算出する（ステップＳ１０４）。

ステップＳ１０４によってデータ転送レートが算出されると、参照ピクチャ設定部１３２は、そのデータ転送レートに応じたデータ転送量からマージンなどを考慮に入れて、符号化対象ピクチャの動き検出処理に実際に参照される参照ピクチャを所定の設定形式で設定する（Ｓ１０６）。ステップＳ１０６によって参照ピクチャが設定されると、参照メモリ制御部１１２は、その設定された参照ピクチャＲｆＰを外部マルチフレームメモリ１２０から参照用ローカルメモリ１１１に転送させるとともに、動き検出部１０１は、参照用ローカルメモリ１１１に転送された参照ピクチャＲｆＰを用いて動き検出を行う（ステップＳ１０８）。これにより動き検出部１０１は、動きベクトルＭＶと参照フレーム番号ＲＮを決定する。

そして、動き検出装置１００Ａは、動き検出部１０１に対する画面信号Ｖｉｎの入力に応じて動き検出処理を終了すべきか否かを判別し（ステップＳ１１０）、終了すべきと判別したときには（ステップＳ１１０のＹｅｓ）、全ての動き検出の処理を終了し、終了すべきでないと判別したときには（ステップＳ１１０のＮｏ）、ステップＳ１００からの処理を繰り返し実行する。

なお、動き検出装置１００Ａは、ステップＳ１００でデータ転送能力を判定するタイミングでないと判別すると（ステップＳ１００のＮｏ）、予め規格などにより規定された参照ピクチャに基づいて、ステップＳ１０８からの処理を実行する。

このように本実施の形態における動き検出装置１００Ａは、ＡＶ処理装置２００の起動中、常時、情報信号ＡＩに基づいてデータ転送能力を判定するタイミングであるか否かを判別して、動的に参照ピクチャの枚数を制限する。即ち、この動き検出装置１００Ａは、動き検出処理に割当可能なデータ転送レートが変動する可能性が発生したときに、そのデータ転送レートの算出を行う。

図４は、図３のステップＳ１０２におけるメモリ転送能力の判定処理を詳細に示すフローチャートである。

まず、能力判定部１３１は、メモリ入出力部２２２から送信される情報信号ＡＩに基づいて、外部マルチフレームメモリ１２０の動作周波数を特定する（ステップＳ２００）。なお、動き検出装置１００Ａが持つ基準クロックを用いたタイミング計測による値を用いて、外部マルチフレームメモリ１２０の動作周波数を特定しても良いし、内部のＰＬＬの動作を変化させて外部マルチフレームメモリ１２０の動作周波数と一致するポイントを求めることによりその動作周波数を特定しても良い。また、ＡＶ処理装置２００を設計する設計者やユーザが明示的に動作周波数を指定しても良い。

次に、能力判定部１３１は、上述と同様に、情報信号ＡＩに基づいて、外部マルチフレームメモリ１２０とメモリ入出力部２２２（参照用ローカルメモリ１１１）とを接続するメモリバスのビット幅を特定する（ステップＳ２０２）。なお、ダミーアクセスにより書込みと読出し動作を行った結果でどのビットが有効であるかを調査することによりビット幅を特定しても良い。また、ＡＶ処理装置２００を設計する設計者やユーザが明示的にビット幅を指定しても良い。

さらに、能力判定部１３１は、上述と同様に、情報信号ＡＩに基づいて、外部マルチフレームメモリ１２０に対するメモリアクセスのプロトコルを特定する（ステップＳ２０４）なお、上述と同様に、ダミーアクセスを行うことによりプロトコルを特定しても良いし、外部マルチフレームメモリ１２０が持つメーカコードの読み取りからプロトコルを特定しても良い。また、ＡＶ処理装置２００を設計する設計者やユーザが明示的にプロトコルを指定しても良い。

そして、能力判定部１３１は、ステップＳ２００〜Ｓ２０４での特定結果から、外部マルチフレームメモリ１２０のデータ転送能力、つまり総データ転送レートを判定する（ステップＳ２０６）。

なお、ステップＳ２００〜Ｓ２０４の処理順序はどのような順序であってもよい。また、ＡＶ処理装置２００を設計する設計者やユーザが明示的にデータ転送能力を指定しても良い。

図５は、図３のステップＳ１０４におけるデータ転送レートの算出処理を詳細に示すフローチャートである。

まず、能力判定部１３１は、メモリ入出力部２２２から送信される情報信号ＡＩに基づいて、動き検出処理以外に同時実行される処理を特定する（ステップＳ３００）。なお、ＡＶ処理装置２００を設計する設計者やユーザが明示的に同時実行処理を指定しても良い。

次に、能力判定部１３１は、同時実行処理に割り当てられるデータ転送レートを決定する（ステップＳ３０２）。例えば、能力判定部１３１は、各処理に対して固有のデータ転送レートを記憶しておき、ステップＳ３００で特定された同時実行処理に対応するデータ転送レートを、その記憶しているデータ転送レートの中から決定する。なお、能力判定部１３１は、ステップＳ３００で特定された同時実行処理に実際に使用されているデータ転送レートを検出しても良い。

さらに、能力判定部１３１は、図３に示すステップＳ１０２で判定されたデータ転送能力（総データ転送レート）から、ステップＳ３０２で決定された同時実行処理に割り当てられるデータ転送レートを減算する（ステップＳ３０４）。

そして、能力判定部１３１は、ステップＳ３０４で求められた差を、動き検出処理の同時実行数で除算する（ステップＳ３０６）。例えば、２つの画面信号Ｖｉｎに対して動き検出処理（符号化処理）が同時に行われているときには、能力判定部１３１は、ステップＳ３０４で求められた差を２で除算する。

これにより、１つの動き検出処理に割当可能なデータ転送レートが算出される。
なお、ＡＶ処理装置２００を設計する設計者やユーザが明示的に同時実行処理を指定する場合は、ＡＶ制御部７２９やその他のシステム制御を行うコントローラなどからレジスタ設定を行うことなどによって実現される。

また、動き検出処理に割当可能なデータ転送レートの算出に関しては、外部マルチフレームメモリ１２０のデータ転送状態に基づいて算出するのではなく、例えばＭＰＥＧ−２からＨ．２６４の符号化規格へのストリーム変換などに基づいて算出してもよい。つまり、低電力もしくは高速で行いたい時には割当可能なデータ転送レートが少なくなるように算出し、最大限圧縮率を上げたいときには割当可能なデータ転送レートが多くなるように算出する。

ここで、図３のステップＳ１０８における転送処理および動き検出処理について詳細に説明する。

図６は、転送処理および動き検出処理の概要を説明するための説明図である。なお、図６中、縦軸は処理時刻を示し、横軸はパイプラインステージを示す。

参照ピクチャ設定部１３２によって参照ピクチャＲｆＰ１〜ＲｆＰＮが設定されると、参照メモリ制御部１１２は、まず、参照ピクチャＲｆＰ１を外部マルチフレームメモリ１２０から参照用ローカルメモリ１１１に転送する。

動き検出部１０１は、その参照用ローカルメモリ１１１に転送された参照ピクチャＲｆＰ１を参照して動き検出処理を行う。また、このとき、参照メモリ制御部１１２は、次の参照ピクチャＲｆＰ２を外部マルチフレームメモリ１２０から参照用ローカルメモリ１１１に転送しておく。

動き検出部１０１は、その参照用ローカルメモリ１１１に転送された参照ピクチャＲｆＰ２を参照して動き検出処理を行い、参照メモリ制御部１１２は、さらに次の参照ピクチャＲｆＰ３を外部マルチフレームメモリ１２０から参照用ローカルメモリ１１１に転送しておく。

このように、参照メモリ制御部１１２および動き検出部１０１は、それぞれ転送処理と動き検出処理をパイプライン処理により実行する。

図７は、参照メモリ制御部１１２によって行われる転送処理を示すフローチャートである。

まず、参照メモリ制御部１１２は、参照ピクチャＲｆＰに関する処理ループの値ｎを０に初期化する（ステップＳ４００）。次に、参照メモリ制御部１１２は、ｎ枚目の参照ピクチャＲｆＰが参照ピクチャ設定部１３２で設定された参照リストに含まれているかどうかを判別する（ステップＳ４０２）。参照リストに含まれていると判別したときには（ステップＳ４０２のＹｅｓ）、参照メモリ制御部１１２は、ｎ枚目の参照ピクチャＲｆＰを外部マルチフレームメモリ１２０から参照用ローカルメモリ１１１に転送する（ステップＳ４０４）。そして、参照メモリ制御部１１２は、符号化対象ピクチャに対して規格やアルゴリズムなどにより規定された全ての参照ピクチャについてステップＳ４０２の処理が行われたか否か、即ち転送処理を継続すべきか否かを判別する（ステップＳ４０６）。

一方、ステップＳ４０２で参照リストに含まれていなと判別したときには（ステップＳ４０２のＮｏ）、参照メモリ制御部１１２は、ｎ枚目の参照ピクチャＲｆＰを転送することなくステップＳ４０６の処理を実行する。

参照メモリ制御部１１２は、ステップＳ４０６で継続すべきと判別したときには（ステップＳ４０６のＹｅｓ）、ｎに対してインクリメントを行い（ステップＳ４０８）、ステップＳ４０２からの処理を繰り返し実行する。また、継続すべきでないと判別したときには（ステップＳ４０６のＮｏ）、参照メモリ制御部１１２は全ての転送処理を終了する。

図８は、動き検出部１０１によって行われる動き検出処理を示すフローチャートである。

まず、動き検出部１０１は、参照ピクチャＲｆＰに関する処理ループの値ｎを０に初期化する（ステップＳ４５０）。次に、動き検出部１０１は、ｎ枚目の参照ピクチャＲｆＰが参照ピクチャ設定部１３２で設定された参照リストに含まれているかどうかを判別する（ステップＳ４５２）。参照リストに含まれていると判別したときには（ステップＳ４５２のＹｅｓ）、動き検出部１０１は、ｎ枚目の参照ピクチャＲｆＰに対して動き検出を行う（ステップＳ４５４）。そして、動き検出部１０１は、符号化対象ピクチャに対して規格やアルゴリズムなどにより規定された全ての参照ピクチャについてステップＳ４５２の処理が行われたか否か、即ち動き検出処理を継続すべきか否かを判別する（ステップＳ４５６）。

一方、ステップＳ４５２で参照リストに含まれていないと判別したときには（ステップＳ４５２のＮｏ）、動き検出部１０１は、ｎ枚目の参照ピクチャＲｆＰに対して動き検出を行うことなくステップＳ４５６の処理を実行する。

動き検出部１０１は、ステップＳ４５６で継続すべきと判別したときには（ステップＳ４５６のＹｅｓ）、ｎに対してインクリメントを行い（ステップＳ４５８）、ステップＳ４５２からの処理を繰り返し実行する。また、継続すべきでないと判別したときには（ステップＳ４５６のＮｏ）、動き検出部１０１は全ての動き検出処理を終了する。

このような本実施の形態における動き検出処理を従来の動き検出処理と比較して説明する。

図９は、従来の動き検出処理を示すフローチャートである。
従来の動き検出部は、ｎを初期化して（ステップＳ９５０）、ｎ枚目の参照ピクチャＲｆＰに対して動き検出を行う（ステップＳ９５２）。そして、動き検出部は、規格やアルゴリズムなどにより規定された全ての参照ピクチャＲｆＰに対してステップＳ９５２の処理を実行したか否か、即ち動き検出処理を継続すべきか否かを判別し（ステップＳ９５４）、継続すべきと判別したときには（ステップＳ９５４のＹｅｓ）、ｎに対してインクリメントを行って（ステップＳ９５６）、ステップＳ９５２からの処理を繰り返し実行する。

このような従来の動き検出処理と比較して、本実施の形態の動き検出処理では、処理内容に大きな違いがなく、図８に示すステップＳ４５２の処理が含まれていることだけが異なる。したがって、本実施の形態の動き検出処理を、従来の基本的な動き検出処理から簡単に実現することができる。

このように本実施の形態では、外部マルチフレームメモリ１２０のデータ転送能力が高いときには、即ち、動き検出処理に割当可能なデータ転送レートが十分あるときには、参照ピクチャの枚数が制限されないことにより、外部マルチフレームメモリ１２０にある複数の参照予定ピクチャの全てを参照ピクチャとして参照して符号化対象ピクチャの動き検出を行うことができ、その動き検出により符号化されたピクチャが復号化されたときには、そのピクチャの画質の低下を防ぐことができる。さらに、外部マルチフレームメモリ１２０のデータ転送能力が低いときには、即ち、動き検出処理に割当可能なデータ転送レートが少ないときには、参照ピクチャの枚数が制限されて、外部メモリにある複数の参照予定ピクチャのうち例えば１枚の参照予定ピクチャしか参照ピクチャとして内部メモリに転送されないため、外部マルチフレームメモリ１２０を他の処理と共用するシステム全体の破綻を防ぐことができる。その結果、復号化されるピクチャの画質を画一的に低下させることなくシステムの破綻を防ぐことができる。さらに、システム設計者は、外部メモリのアクセス状態をあまり意識することなくシステムを設計することができる。

つまり、本実施の形態では、外部マルチフレームメモリ１２０へアクセス可能なデータ転送能力を最大限利用することが出来るようになり、データ転送レートに余裕がある時には動き検出で参照されるピクチャ枚数を増やすことが出来るようになるので、動き検出装置１００Ａを用いたＡＶレコーダなどにおいてシステム動作を破綻させることが無い範囲で符号化画質を最大限に高めることが可能となる。さらに、本実施の形態に示した方法では、ＧＯＰ（Group Of Picture）構造を変更することなくピクチャ枚数を最適なものにすることが可能となる。

以上に説明したように、動き検出装置１００Ａと外部マルチフレームメモリ１２０とが接続された状態において、データ転送能力を最大限利用したシステムを構成することができるようになり、動き検出装置１００Ａを用いたＡＶレコーダなどのシステム設計者が接続する外部マルチフレームメモリ１２０の転送能力をあまり意識することなく最良の符号化画質を得ることが可能となる。

（変形例１）
ここで、上記実施の形態における第１の変形例を説明する。

上記実施の形態の参照ピクチャ設定部１３２は、符号化対象ピクチャに対して参照される複数の参照ピクチャを参照リストとして設定した。本変形例に係る参照ピクチャ設定部は、実際に参照される参照ピクチャの最大数（設定枚数）を設定する。そして、参照ピクチャ設定部は、外部マルチフレームメモリ１２０から参照用ローカルメモリ１１１に転送された参照ピクチャの枚数がその設定枚数に達したときに、参照メモリ制御部１１２に参照ピクチャの転送を停止させる。

この場合、本変形例に係る動き検出部は、参照ピクチャ設定部によって設定された設定枚数の参照ピクチャに基づいて動き検出処理を行う。

図１０は、本変形例に係る動き検出部によって行われる動き検出処理を示すフローチャートである。

まず、動き検出部は、参照ピクチャ設定部によって設定された設定枚数Ｎが０でないか否かを判別する（ステップＳ５００）。設定枚数Ｎが０でないと判別したときには（ステップＳ５００のＹｅｓ）、動き検出部は、参照ピクチャＲｆＰに関する処理ループの値ｎを０に初期化する（ステップＳ５０２）。一方、設定枚数Ｎが０であると判別したときには（ステップＳ５００のＮｏ）、動き検出部は、符号化対象ピクチャを画面内予測するための処理を実行する（ステップＳ５０４）。

ステップＳ５０２でｎが初期化されると、動き検出部は、ｎがＮよりも小さいか否かを判別する（ステップＳ５０６）。動き検出部は、Ｎよりも小さいと判別したときには（ステップＳ５０６のＹｅｓ）、ｎ枚目の参照ピクチャＲｆＰに対して動き検出を行って（ステップＳ５０８）、ｎに対してインクリメントを行い（ステップＳ５１０）、ステップＳ５０６からの処理を繰り返し実行する。一方、Ｎ以上であると判別したときには（ステップＳ５０６のＮｏ）、ｎ枚目の参照ピクチャＲｆＰに対して動き検出を行うことなく動き検出処理を終了する。

このように本変形例においても、参照ピクチャの最大数を設定することにより、上記実施の形態と同様の効果を得ることができる。

（変形例２）
ここで、上記実施の形態における第２の変形例を説明する。

上記実施の形態では、動き検出装置１００Ａは、ＡＶ処理装置２００が起動中、データ転送能力を判定するタイミングであるか否かを随時判別し、そのタイミングであるときにデータ転送能力の判定、および動き検出処理に割当可能なデータ転送レートの算出を行った。即ち、上記実施の形態の動き検出装置１００Ａは、ＡＶ処理装置２００の起動中、動き検出処理に割当可能なデータ転送レートを動的に変更させていた。

本変形例に係る動き検出装置は、ＡＶ処理装置の起動時、つまり動き検出装置の初期化時にのみデータ転送能力の判定等を行う。即ち、本変形例に係る動き検出装置は、ＡＶ処理装置の起動中には、動き検出処理に割当可能なデータ転送レートを変更させずに固定させる。

図１１は、本変形例に係る動き検出装置の全体的な動作を示すフローチャートである。
本変形例に係る動き検出装置の能力判定部は、ＡＶ処理装置の起動時に、情報信号ＡＩに基づいて、無動作時（アクセスされていないとき）の外部マルチフレームメモリ１２０のデータ転送能力を判定して（ステップＳ６００）、動き検出処理（符号化処理）に割当可能なデータ転送レートを算出する（ステップＳ６０２）。

ステップＳ６０２によってデータ転送レートが算出されると、動き検出装置の参照ピクチャ設定部は、そのデータ転送レートに応じたデータ転送量からマージンなどを考慮に入れて、符号化対象ピクチャの動き検出処理に実際に参照される参照ピクチャを設定する（ステップＳ６０４）。ステップＳ６０４で参照ピクチャが設定されると、動き検出装置は、その設定された参照ピクチャＲｆＰを外部マルチフレームメモリ１２０から参照用ローカルメモリ１１１に転送させるとともに、参照用ローカルメモリ１１１に転送された参照ピクチャＲｆＰを用いて動き検出を行う（ステップＳ６０６）。

そして、動き検出装置は、画面信号Ｖｉｎの入力に応じて動き検出処理を終了すべきか否かを判別し（ステップＳ６０８）、終了すべきと判別したときには（ステップＳ６０８のＹｅｓ）、全ての動き検出処理を終了し、終了すべきでないと判別したときには（ステップＳ６０８のＮｏ）、ステップＳ６０４からの処理を繰り返し実行する。

このように本変形例に係る動き検出装置は、ＡＶ処理装置の起動時に、動き検出処理に割当可能なデータ転送レートを算出し、ＡＶ処理装置の起動中は、その起動時に算出されたデータ転送レートに応じた参照ピクチャを設定する。つまり、動き検出装置は、ＡＶ処理装置が起動中であるときは、ＡＶ処理装置にイベントが発生しても、データ転送レートを改めて算出することなく、起動時に算出されたデータ転送レートに応じた参照ピクチャを設定する。また、本変形例におけるステップＳ６０４〜Ｓ６０８の処理は、上記実施の形態の図３に示すステップＳ１０６〜Ｓ１１０の処理と同様である。

なお、本変形例では、ＡＶ処理装置の起動時にデータ転送レートを算出したが、ＡＶ処理装置をシステム設計者が設計する時点で、外部マルチフレームメモリ１２０に応じて動き検出処理に割当可能なデータ転送レートを固定的に定めても良い。

（変形例３）
ここで、本実施の形態における第３の変形例を説明する。

上記実施の形態では、参照ピクチャ設定部は、規格などにより規定された参照ピクチャのうち、実際に参照される参照ピクチャを選択して設定し、上記変形例１では、参照ピクチャ設定部は、実際に参照される参照ピクチャの最大数を設定した。

本変形例の参照ピクチャ設定部は、動き検出処理に割当可能なデータ転送レートに応じて符号化信号ＳｔｒのＧＯＰ（Group Of Picture）構造を変更する。例えば、参照ピクチャ設定部はＧＯＰ構造をフィールド構造からフレーム構造に変更する。

図１２は、ＧＯＰ構造が変更されることを説明するための模式図である。
例えば、規格などに従って生成されるべき符号化信号Ｓｔｒは、図１２（ａ）に示すようにフィールド構造となる。このような符号化信号Ｓｔｒでは、フィールドＩｔ１，Ｐｂ１がＩピクチャを構成し、フィールドＢｔ２，Ｂｂ２と、フィールドＢｔ３，Ｂｂ３と、フィールドＢｔ５，Ｂｂ５と、フィールドＢｔ６，Ｂｂ６とがそれぞれＢピクチャを構成し、フィールドＰｔ４，Ｐｂ４とフィールドＰｔ７，Ｐｂ７とがそれぞれＰピクチャを構成する。また、各フィールドは、フィールドＩｔ１，Ｐｂ１，Ｐｔ４，Ｐｂ４，Ｂｔ２，Ｂｂ２，Ｂｔ３，Ｂｂ３，Ｐｔ７，Ｐｂ７，Ｂｔ５，Ｂｂ５，Ｂｔ６，Ｂｂ６の順で符号化され、図１２（ａ）に示す順序で表示される。また、フィールドＩｔ１，Ｐｂ１，Ｂｔ２，Ｂｂ２，Ｂｔ３，Ｂｂ３は符号化済みではあるが参照には用いられなくなったフィールドであり、フィールドＰｔ４，Ｐｂ４，Ｂｔ５，Ｂｂ５，Ｐｔ７，Ｐｂ７は符号化における参照のために用いられるフィールドであり、フィールドＢｔ６は現在の符号化対象のフィールドである。さらに、フィールドＢｂ６は符号化されていないフィールドである。

即ち、ＢピクチャのフィールドＢｔ６を符号化する場合、ＰピクチャのフィールドＰｔ４，Ｐｂ４、ＰピクチャのフィールドＰｔ７，Ｐｂ７、およびＢピクチャのフィールドＢｔ５，Ｂｂ５の６枚のフィールドが参照ピクチャとして参照される。さらに、ＢピクチャのフィールドＢｂ６を符号化する場合にも、上述と同様、ＰピクチャのフィールドＰｔ４，Ｐｂ４、ＰピクチャのフィールドＰｔ７，Ｐｂ７、およびＢピクチャのフィールドＢｔ５，Ｂｂ５の６枚のフィールドが参照ピクチャとして参照される。したがって、フィールド構造では、Ｂピクチャの符号化（動き検出）を行うにあたり、６ピクチャ分の画像データを転送する必要がある。

参照ピクチャ設定部は、このようなフィールド構造の符号化信号Ｓｔｒを、図１２（ｂ）に示すように、フレーム構造に変更する。このような符号化信号Ｓｔｒでは、各ピクチャは、ＩピクチャＩ１、ＰピクチャＰ４、ＢピクチャＢ２、ＢピクチャＢ３、ＰピクチャＰ７、ＢピクチャＢ５、ＢピクチャＢ６の順で符号化され、図１２（ｂ）に示す順序で表示される。また、ピクチャＩ１，Ｂ２，Ｂ３は符号化済みではあるが参照には用いられなくなったピクチャであり、ピクチャＰ４，Ｂ５，Ｐ７は符号化における参照のために用いられるピクチャであり、ピクチャＢ６は現在の符号化対象のピクチャである。

即ち、ＢピクチャＢ６を符号化する場合、ＰピクチャＰ４、ＰピクチャＰ７及びＢピクチャＢ５の３枚のピクチャが参照ピクチャとして参照される。したがって、フレーム構造では、Ｂピクチャの符号化（動き検出）を行うにあたり、３ピクチャ分の画像データを転送する必要がある。

このように本変形例では、ＡＶ処理装置において参照ピクチャのデータ転送レートが十分に確保できない場合には、図１２（ｂ）に示すようなＧＯＰ構造とすることによって、即ち参照関係を変更することによって、システムの破綻を防ぐことができる。なお、本例では、ＩピクチャやＰピクチャを超えた参照も認めないＧＯＰ構造を仮定している。

（変形例４）
ここで、上記実施の形態における第４の変形例を説明する。

上記実施の形態の参照ピクチャ設定部１３２は、符号化対象ピクチャに対して実際に参照される参照ピクチャを参照リストとして設定し、変形例１の参照ピクチャ設定部は、実際に参照される参照ピクチャの最大数を設定した。即ち、上記実施の形態および変形例１では、参照ピクチャの枚数を制限することにより、その参照ピクチャのデータ転送レートを、外部マルチフレームメモリ１２０の動き検出処理に割当可能なデータ転送レートに抑えた。

本変形例の参照ピクチャ設定部は、参照ピクチャの枚数を制限せずに、参照ピクチャの動き検出の対象となる範囲（探索範囲）を狭くする。このように探索範囲を狭くすることによって、参照ピクチャのデータ転送量は少なくなる。その結果、その参照ピクチャのデータ転送レートを、外部マルチフレームメモリ１２０の動き検出処理に割当可能なデータ転送レートに収めることができる。

図１３は、探索範囲を狭くすることを説明するための説明図である。
符号化対象ピクチャに対する動き検出処理は例えばマクロブロックごとに行われる。参照ピクチャの探索範囲は、図１３（ａ）に示すように、検出対象マクロブロックに対応する位置にあるマクロブロックを中心とする３×３マクロブロックである。

参照メモリ制御部１１２は、参照ピクチャのこの探索範囲の画像データを、外部マルチフレームメモリ１２０から参照用ローカルメモリ１１１に転送し、参照用ローカルメモリ１１１に記憶させる。動き検出部１０１は、参照用ローカルメモリ１１１に記憶されている探索範囲の画像データを用いて、検出対象マクロブロックの画像に最も近似する画像を有する領域を、この探索範囲から検出する。

ここで、符号化対象ピクチャの検出対象マクロブロックが右隣に移ると、図１３（ｂ）に示すように、参照ピクチャ中の探索範囲も１マクロブロック分だけ右側に移る。

即ち、参照メモリ制御部１１２は、移行された探索範囲に新たに含まれる領域（図中、網掛けされた領域）の画像データを、外部マルチフレームメモリ１２０から参照用ローカルメモリ１１１に転送し、参照用ローカルメモリ１１１に記憶させる。さらに、参照メモリ制御部１１２は、参照用ローカルメモリ１１１に記憶されている既に探索範囲から外れた領域の画像データを、その参照用ローカルメモリ１１１から消去させる。

このように、参照メモリ制御部１１２は、検出対象マクロブロックが切り替わるごとに、探索範囲に新たに含まれる領域の画像データを、外部マルチフレームメモリ１２０から参照用ローカルメモリ１１１に転送する。この新たに含まれる領域の画像データは３マクロブロックである。したがって、簡単のため画面境界部分の転送も内部マクロブロック領域と同様の転送が行われるとすれば、参照ピクチャが１００マクロブロックから構成されている場合、１参照ピクチャあたり３００マクロブロック分の画像データが転送される。

本変形例に係る参照ピクチャ設定部は、探索範囲を３×３マクロブロックから２×３マクロブロックとするように、参照メモリ制御部１１２および動き検出部１０１に指示する。

このような指示を受けた参照メモリ制御部１１２は、図１３（ｃ）に示すように、２×３マクロブロックを探索範囲として、その探索範囲の画像データを、外部マルチフレームメモリ１２０から参照用ローカルメモリ１１１に転送し、参照用ローカルメモリ１１１に記憶させる。動き検出部１０１は、上述と同様、参照用ローカルメモリ１１１に記憶されている探索範囲の画像データを用いて、検出対象マクロブロックの画像に最も近似する画像を有する領域を、この探索範囲から検出する。

ここで、符号化対象ピクチャの検出対象マクロブロックが右隣に移ると、図１３（ｄ）に示すように、参照ピクチャ中の探索範囲も１マクロブロック分だけ右側に移る。つまり、参照メモリ制御部１１２は、上述と同様、検出対象マクロブロックが切り替わるごとに、探索範囲に新たに含まれる領域（図中、網掛けされた領域）の画像データを、外部マルチフレームメモリ１２０から参照用ローカルメモリ１１１に転送する。この新たに含まれる領域の画像データは２マクロブロックである。したがって、前述と同様に画面境界部分の転送も内部マクロブロック領域と同様の転送が行われるとすれば、参照ピクチャが１００マクロブロックから構成されている場合、１参照ピクチャあたり２００マクロブロック分の画像データが転送される。

このように、探索範囲を狭くすることによって、参照メモリのデータ転送量を少なくすることができ、その結果、その参照ピクチャのデータ転送レートを、外部マルチフレームメモリ１２０の動き検出処理に割当可能なデータ転送レートに収めることができる。

なお、上記各実施の形態に示すブロック図（図１や図２など）の各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い（例えばメモリ以外の機能ブロックが１チップ化されていても良い。）が、図１の外部マルチフレームメモリ１２０や図２のメモリ１２０は、大量のデータを保持する必要があるため、一般的にはＬＳＩに外付けする大容量のＤＲＡＭなどで実装されるが、技術の向上により１パッケージ化や１チップ化されることも有り得る。

ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用しても良い。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。

本発明の動き検出装置は、復号化されるピクチャの画質を画一的に低下させることなくシステムの破綻を防ぐことができるという効果を奏し、接続される外部マルチフレームメモリの転送能力を最大限利用した動き検出を行うことができるようになり、例えばＨ．２６４規格を用いた複数の参照ピクチャを用いた画面間予測画像符号化を行うＤＶＤレコーダやハードディスクレコーダやカムコーダ等を実現するために有効である。

本発明の実施の形態における動き検出装置を備えた画像符号化装置のブロック図である。 同上の画像符号化装置を有するＡＶ処理装置の構成を示す構成図である。 同上の動き検出装置の全体的な動作を示すフローチャートである。 同上のメモリ転送能力の判定処理を詳細に示すフローチャートである。 同上のデータ転送レートの算出処理を詳細に示すフローチャートである。 同上の転送処理および動き検出処理の概要を説明するための説明図である。 同上の参照メモリ制御部によって行われる転送処理を示すフローチャートである。 同上の動き検出部によって行われる動き検出処理を示すフローチャートである。 従来の動き検出処理を示すフローチャートである。 本発明の実施の形態における第１の変形例に係る動き検出部によって行われる動き検出処理を示すフローチャートである。 同上の第２の変形例に係る動き検出装置の全体的な動作を示すフローチャートである。 同上の第３の変形例に係るＧＯＰ構造が変更されることを説明するための模式図である。 同上の第４の変形例に係る探索範囲を狭くすることを説明するための説明図である。 従来の画像符号化装置の構成を示すブロック図である。 従来の画像復号化装置を説明するためのブロック図である。 従来のＬＳＩを用いて構成される画像符号化装置を説明するための説明図である。 従来の外部マルチフレームメモリおよび参照用ローカルメモリを有する画像符号化装置の構成を詳細に示す構成図である。 従来のＨ．２６４レコーダを実現するＡＶ処理装置のブロック図である。 動き検出のために参照されるピクチャの枚数を説明するための説明図である。

符号の説明

１００ 画像符号化装置
１００Ａ 動き検出装置
１０１ 動き検出部
１０３ 減算器
１０４ 減算器
１０５ 動き補償部
１０６ 符号化部
１０７ 加算器
１０８ 動きベクトルメモリ
１０９ 動きベクトル予測部
１１１ 参照用ローカルメモリ
１１２ 参照メモリ制御部
１２０ 外部マルチフレームメモリ
１３１ 能力判定部
１３２ 参照ピクチャ設定部

Claims (18)

1. ピクチャを符号化するために符号化対象ピクチャの画像の動きを検出する動き検出装置であって、
   画像データを記憶している外部メモリのデータ転送能力に応じて、前記外部メモリから転送されるべき前記画像データのデータ転送量を制限する制限手段と、
   内部メモリと、
   前記制限手段により制限されたデータ転送量だけ、前記外部メモリに記憶されている画像データの少なくとも一部を前記内部メモリに転送する転送手段と、
   前記内部メモリに転送された画像データの少なくとも一部を参照することにより前記符号化対象ピクチャの動き検出を行う動き検出手段と
   を備え、
   前記外部メモリは、前記符号化対象ピクチャの動き検出のために参照される予定の複数の参照予定ピクチャを前記画像データとして記憶しており、
   前記制限手段は、前記外部メモリのデータ転送能力に応じて、前記外部メモリから転送されるべき前記参照予定ピクチャの数を設定することにより、前記データ転送量を制限する
   ことを特徴とする動き検出装置。
2. 前記制限手段は、前記参照予定ピクチャの転送に必要なデータ転送レートが、前記外部メモリのデータ転送能力以下となるように、前記外部メモリから転送されるべき前記参照予定ピクチャの数を設定する
   ことを特徴とする請求項１記載の動き検出装置。
3. 前記制限手段は、前記外部メモリに記憶されている前記複数の参照予定ピクチャから、前記転送手段により参照ピクチャとして転送される１つまたは複数の参照予定ピクチャを選択することによって、前記複数の参照予定ピクチャの数を設定する
   ことを特徴とする請求項２記載の動き検出装置。
4. 前記制限手段は、前記外部メモリに記憶されている前記複数の参照予定ピクチャの数よりも小さい最大数を設定し、前記転送手段により参照ピクチャとして転送された参照予定ピクチャの数が前記最大数に達したときに、前記転送手段による転送を停止させる
   ことを特徴とする請求項２記載の動き検出装置。
5. 前記転送手段は、前記制限手段によって前記最大数が０に設定されたときには、前記複数の参照予定ピクチャの何れも参照ピクチャとして転送せず、
   前記動き検出手段は、符号化対象ピクチャに対する面内符号化のために、前記符号化対象ピクチャの動き検出を禁止する
   ことを特徴とする請求項４記載の動き検出装置。
6. 前記制限手段は、前記符号化対象ピクチャと画像データとの間の参照関係を、フィールド構造の参照関係からフレーム構造の参照関係に変更することによって前記データ転送量を制限する
   ことを特徴とする請求項１記載の動き検出装置。
7. 前記動き検出装置は、さらに、
   前記外部メモリの総データ転送レートのうち、動き検出に割当可能なデータ転送レートを算出する算出手段を備え、
   前記制限手段は、前記転送手段によって前記外部メモリから転送される画像データのデータ転送レートが前記算出手段により算出されたデータ転送レートに収まるように、前記データ転送量を制限する
   ことを特徴とする請求項１記載の動き検出装置。
8. 前記算出手段は、
   前記外部メモリの総データ転送レートを特定する転送能力特定手段と、
   前記転送能力特定手段により特定された総データ転送レートのうち、動き検出に割当可能なデータ転送レートを算出するレート算出手段とを備える
   ことを特徴とする請求項７記載の動き検出装置。
9. 前記転送能力特定手段は、前記外部メモリのデータ転送に使用されるバスの幅、前記外部メモリの動作周波数、および前記外部メモリの動作プロトコルを用いて、前記総データ転送レートを特定する
   ことを特徴とする請求項８記載の動き検出装置。
10. 前記レート算出手段は、
    動き検出以外の目的で前記外部メモリに対して、前記転送手段による転送と同時にアクセスを行う同時実行処理を特定し、特定した同時実行処理に基づいて、前記動き検出に割当可能なデータ転送レートを算出する
    ことを特徴とする請求項９記載の動き検出装置。
11. 前記レート算出手段は、
    前記総データ転送レートのうち前記同時実行処理に割り当てられるデータ転送レートを、前記総データ転送レートから減算して、前記動き検出に割当可能なデータ転送レートを算出する
    ことを特徴とする請求項１０記載の動き検出装置。
12. 前記レート算出手段は、
    前記減算によって得られる差を、同時に行われる動き検出の処理の数で除算することにより、前記動き検出に割当可能なデータ転送レートを算出する
    ことを特徴とする請求項１１記載の動き検出装置。
13. 前記算出手段は、前記動き検出装置の初期化時に、前記動き検出に割当可能なデータ転送レートを算出する
    ことを特徴とする請求項７記載の動き検出装置。
14. 前記算出手段は、前記動き検出に割当可能なデータ転送レートが変動する可能性が発生するタイミングを検出し、前記タイミングに、前記動き検出に割当可能なデータ転送レートを算出する
    ことを特徴とする請求項７記載の動き検出装置。
15. 前記転送手段は、前記外部メモリに記憶されている画像データを、前記動き検出手段で参照される領域ごとに転送し、
    前記制限手段は、前記参照予定ピクチャの転送に必要なデータ転送レートが、前記外部メモリのデータ転送能力以下となるように、前記領域の大きさを設定することにより前記データ転送量を制限する
    ことを特徴とする請求項１記載の動き検出装置。
16. ピクチャを符号化するために符号化対象ピクチャの画像の動きを検出する動き検出方法であって、
    前記符号化対象ピクチャの動き検出のために参照される予定の、外部メモリから転送されるべき参照予定ピクチャの数を、前記外部メモリのデータ転送能力に応じて設定する制限ステップと、
    前記制限ステップで設定された数の参照予定ピクチャを、前記外部メモリから内部メモリに転送する転送ステップと、
    前記内部メモリに転送された参照予定ピクチャを参照することにより前記符号化対象ピクチャの動き検出を行う動き検出ステップと
    を含むことを特徴とする動き検出方法。
17. ピクチャを符号化するために符号化対象ピクチャの画像の動きを検出する集積回路であって、
    画像データを記憶している外部メモリのデータ転送能力に応じて、前記外部メモリから転送されるべき前記画像データのデータ転送量を制限する制限手段と、
    内部メモリと、
    前記制限手段により制限されたデータ転送量だけ、前記外部メモリに記憶されている画像データの少なくとも一部を前記内部メモリに転送する転送手段と、
    前記内部メモリに転送された画像データの少なくとも一部を参照することにより前記符号化対象ピクチャの動き検出を行う動き検出手段と
    を備え、
    前記外部メモリは、前記符号化対象ピクチャの動き検出のために参照される予定の複数の参照予定ピクチャを前記画像データとして記憶しており、
    前記制限手段は、前記外部メモリのデータ転送能力に応じて、前記外部メモリから転送されるべき前記参照予定ピクチャの数を設定することにより、前記データ転送量を制限する
    ことを特徴とする集積回路。
18. ピクチャを符号化するために符号化対象ピクチャの画像の動きを検出するためのプログラムであって、
    前記符号化対象ピクチャの動き検出のために参照される予定の、外部メモリから転送されるべき参照予定ピクチャの数を、前記外部メモリのデータ転送能力に応じて設定する制限ステップと、
    前記制限ステップで設定された数の参照予定ピクチャを、前記外部メモリから内部メモリに転送する転送ステップと、
    前記内部メモリに転送された参照予定ピクチャを参照することにより前記符号化対象ピクチャの動き検出を行う動き検出ステップと
    をコンピュータに実行させることを特徴とするプログラム。

Images