JP2000287214A - 動き検出方法および装置 - Google Patents

Abstract

(57)【要約】 【課題】高速メモリの容量削減と演算量および消費電力
の削減を図り、さらにフレームメモリからの参照画素読
み出し時のメモリバンド幅を低減できる動き検出装置を
提供する。 【解決手段】フレームメモリ１０２内の符号化対象画像
から符号化ブロックを読み出して符号化ブロック用高速
メモリ１２７に格納し、参照画像から動き検出範囲を垂
直方向または水平方向に複数に分割した各分割領域毎に
参照ブロックを読み出して参照ブロック用高速メモリ１
１０に格納し、これら高速メモリ１２７，１１０内の符
号化ブロックと参照ブロックとの間で類似度を評価して
類似度評価値および対応する動きベクトルを求め、一つ
の符号化ブロックと検出範囲内の全ての分割領域の参照
ブロックとの類似度評価が終了した時点で得られた最も
高い類似度評価値を与える動きベクトルを出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ＭＰＥＧ方式など
の動き補償予測を用いた動画像符号化装置において必要
な動画像の画面間の動き検出を行うための動き検出方法
およびその方法を実施する動き検出装置に関する。

【０００２】

【従来の技術】動画像圧縮技術の国際標準であるＭＰＥ
Ｇ規格に基づく動画像符号化（以下、ＭＰＥＧ符号化と
いう）においては、動き補償予測のために動画像の画面
間の動きを検出して動きベクトルを生成することが必須
である。このような動き検出方法として、ブロックマッ
チング法が知られている。ブロックマッチング法では、
符号化対象画像内に設定した符号化ブロックと参照画像
内に設定した参照ブロックの間で画素毎に差分をとり、
その差分の絶対値の累積和や２乗の累積和を類似度評価
値として用い、この評価値に基づき動きベクトルを検出
する。

【０００３】参照画像内の参照ブロックを設定する範
囲、つまり動きベクトル候補位置の設定範囲は、求めた
い動きの速さに依存しており、速い動きに追随するため
には、動きベクトル候補の位置を広い範囲にする必要が
ある。また、動き量を精度よく求めるためには、動きベ
クトル候補の間隔を密にする必要がある。

【０００４】図１１に、このような動き検出装置の一般
的な構成を示す。フレームメモリ１には、動画像である
入力画像が格納される。アドレス生成部２は、フレーム
メモリ１の入力画像の書込アドレス、参照画像の読出ア
ドレス、符号化対象画像の読出アドレスを発生する。参
照ブロック用高速メモリ３および符号化ブロック用高速
メモリ４には、フレームメモリ１から読み出された参照
画像のうちの参照ブロックおよび符号化対象画像のうち
の符号化ブロックがそれぞれ書き込まれる。

【０００５】動き検出用ブロックマッチング回路５で
は、参照ブロック用高速メモリ３から読み出される参照
ブロックと符号化ブロック用高速メモリ４から読み出さ
れる符号化ブロックとの間で画素毎に差分がとられ、そ
の差分の絶対値の累積和や２乗の累積和を類似度評価値
が求められる。そして、この評価値に基づき動きベクト
ル判定回路６で動きベクトルが求められる。

【０００６】ブロックマッチング演算時には、参照ブロ
ック用高速メモリ３および符号化ブロック用高速メモリ
４から、動き検出範囲内の画素の信号を何度も繰り返し
高速に読み出す必要がある。このため参照ブロック用高
速メモリ３はＲＡＭベースで構成され、また符号化ブロ
ック用高速メモリ４はＳＲＡＭベース・レジスタファイ
ルベースおよびレジスタ群で構成される。一方、フレー
ムメモリ１は大量の動画像データを格納する必要がある
ため、安価なＤＲＡＭベースのメモリが用いられる。こ
のため、メモリバンド幅があまり大きくなく、ランダム
アクセス時には特にメモリバンド幅が低下する。

【０００７】動き補償予測を用いた動画像符号化装置に
おいて、動き検出範囲および動き検出精度は、符号化効
率に大きく影響を与えるパラメータである。また、ＭＰ
ＥＧ符号化では動き補償に用いる参照画像と符号化対象
画像の画面間隔が離れていることがあるため、Ｍフレー
ム離れた参照画像と符号化対象画像の間で、１フレーム
離れた参照画像と符号化対象画像の間と同一の動き量を
検出するためには、水平・垂直ともにＭ倍の動き検出範
囲を設定する必要があり、動きベクトルの検出に際して
の探索面積はＭ² 倍になる。

【０００８】動きベクトルの検出方式として、フルサー
チ（全探索）とテレスコピックサーチという二つの手法
が知られている。図１２および図１３に、ＭＰＥＧ符号
化でよく用いられるＭ＝３の場合に動き検出を行う際の
動き検出範囲を示す。図１２はフルサーチ、図１３はテ
レスコピックサーチの場合をそれぞれ示しており、図中
のＣ（ｉ）は符号化画像中のｉ番目の符号化ブロック、
Ｃ（ｉ＋１）は符号化画像中のｉ＋１番目の符号化ブロ
ック、Ｒ（ｉ）は参照画像中の符号化ブロックＣ（ｉ）
に対する動き検出範囲、Ｒ（ｉ＋１）は参照画像中の符
号化ブロックＣ（ｉ＋１）に対する動き検出範囲を示し
ている。図１３において、破線で示した領域はテレスコ
ピックサーチにおいて動き検出可能な範囲を示してい
る。

【０００９】ここで、フルサーチよる動き検出とテレス
コピックサーチによる動き検出でのそれぞれのブロック
マッチング演算量を比較してみる。フルサーチでは、３
フレーム離れた画面間での動きを求めるために、１フレ
ーム離れた画面間での動き検出範囲に対し、動き検出範
囲を水平・垂直共に３倍にする必要があり、演算量は９
倍必要である。これに対し、テレスコピックサーチで
は、直前のフレーム（すなわち、２フレーム離れたフレ
ーム間）での同一位置のブロックの動きベクトルを探索
中心とするため、動き検出範囲は１フレーム分で済む。
従って、演算量は１倍のままである。また、参照画素を
一旦保存する参照ブロック用高速メモリ３である高速Ｓ
ＲＡＭの容量は、フルサーチではテレスコピックサーチ
の９倍必要となる。

【００１０】次に、フルサーチとテレスコピックサーチ
でそれぞれ参照ブロック用高速メモリ３から読み出す画
素数を比較してみる。フルサーチでは、隣接する符号化
ブロックＣ（ｉ）とＣ（ｉ＋１）に対する動き検出範囲
Ｒ（ｉ）およびＲ（ｉ＋１）の大部分が重なっており、
Ｒ（ｉ）を高速ＳＲＡＭでキャッシングしているため、
Ｃ（ｉ＋１）の動き検出のために新たにフレームメモリ
１から読み込むべき画素は、Ｒ（ｉ＋１）∩（／Ｒ
（ｉ））の領域の画素となる。但し、（／Ｒ（ｉ））は
Ｒ（ｉ）を除く範囲を意味する。

【００１１】一方、テレスコピックサーチでは、直前の
フレームでの同一位置のブロックでの動きベクトルが同
一方向である保証がないため、図１３に示すようにＲ
（ｉ）とＲ（ｉ＋１）とが重ならない可能性がある。こ
の場合、Ｒ（ｉ）のキャッシングが効かず、Ｃ（ｉ＋
１）の動き検出のために新たにフレームメモリ１から読
み込むべき画素はＲ（ｉ＋１）となる。従って、テレス
コピックサーチを行う際には、フレームメモリ１からの
参照画素の読み出しバンド幅が増加する。

【００１２】図１４に、ＮＴＳＣ信号（７２０画素×４
８０画素×２９．９７フレーム／秒）に対し、１フレー
ム当たりの動き検出範囲を水平±４８画素、垂直±３２
画素としたときに、３フレーム離れた符号化対象画像と
参照画像間で動き検出を行う際の演算量・高速ＳＲＡＭ
容量・フレームメモリから参照ブロックを読み出す際の
メモリバンド幅を示す。同図に示されるように、フルサ
ーチではテレスコピックサーチに比較して動き検出演算
量および参照ブロック用高速メモリ３の容量が膨大にな
り、テレスコピックサーチではフルサーチに比較してフ
レームメモリ１からの参照画素の読み出しのためのメモ
リバンド幅が増大する。

【００１３】フレームメモリ１は一般にＤＲＡＭベース
で構成されているため、メモリバンド幅を増加させるに
はビット幅を広くする必要があり、動き検出装置を構成
するＬＳＩの外部にフレームメモリ１を構成するＤＲＡ
Ｍを接続する場合、ＬＳＩとＤＲＡＭ間のデータピン数
が増加することにより、ＬＳＩのコスト増・消費電力増
を招いたり、実装上の難易度が増加するという問題点が
ある。動き検出装置を構成するＬＳＩの内部にＤＲＡＭ
を混載する場合でも、多ビット化によるセンスアンプ数
の増加やメモリアクセス量の増加に伴う消費電力の増加
という問題が生じる。

【００１４】

【発明が解決しようとする課題】上述したように、離れ
たフレーム間で動き検出を行う場合、フルサーチでは動
き検出のための演算量および高速メモリの容量が膨大に
なものとなるため、動き検出部の回路規模が増加した
り、消費電力が増加するという問題点があった。

【００１５】一方、テレスコピックサーチではフレーム
メモリからの参照画素の読み出しのためのメモリバンド
幅が増大するため、一般にＤＲＡＭベースで構成される
フレームメモリのメモリバンド幅を増加させるにはビッ
ト幅を広くする必要があり、動き検出を行うＬＳＩの外
部にＤＲＡＭを接続する場合は、ＬＳＩとＤＲＡＭ間の
データピン数の増加によるＬＳＩのコスト増・消費電力
増および実装上の難易度が増加し、動き検出を行うＬＳ
Ｉの内部にＤＲＡＭを混載する場合は、多ビット化によ
るセンスアンプ数の増加やメモリアクセス量の増加に伴
う消費電力の増加という問題点があった。

【００１６】本発明は、高速メモリの容量を削減し、演
算量および消費電力を削減することもでき、さらにフレ
ームメモリからの参照画素読み出しのためのメモリバン
ド幅を低減できる動き検出方法および動き検出装置を提
供することを目的とする。

【００１７】

【課題を解決するための手段】上記課題を解決するた
め、本発明は符号化対象画像を複数の符号化ブロックに
分割し、各符号化ブロックと参照画像内に設定した動き
検出範囲内の参照ブロックとの間で類似度を評価して動
画像の画面間の動きを検出するために、符号化対象画像
および参照画像を格納する第１のメモリ（フレームメモ
リ）に格納された符号化対象画像から符号化ブロックを
読み出して第２のメモリ（符号化ブロック用高速メモ
リ）に格納し、フレームメモリに格納された参照画像か
ら動き検出範囲を垂直方向または水平方向に複数に分割
した各分割領域毎に参照ブロックを読み出して第３のメ
モリ（参照ブロック用高速メモリ）に格納する。

【００１８】そして、符号化ブロック用高速メモリ内の
符号化ブロックと参照ブロック用高速メモリ内の参照ブ
ロックとの間で類似度を評価して類似度評価値および対
応する動きベクトルを求め、一つの符号化ブロックと検
出範囲内の全ての分割領域の参照ブロックとの類似度評
価が終了した時点で得られた最も高い類似度評価値を与
える動きベクトルを当該符号化ブロックに対応する動き
ベクトルとして出力する。

【００１９】さらに、具体的には本発明では符号化ブロ
ック用高速メモリ内の符号化ブロックと参照ブロック用
高速メモリ内の参照ブロックとの間で類似度を評価して
類似度評価値および対応する動きベクトルを求め、類似
度評価の中間結果である最も大きな類似度評価値および
対応する動きベクトルを第４のメモリ（中間結果保存メ
モリ）に格納する。

【００２０】ここで、同一符号化ブロックに対して新た
に求められた類似度評価値と中間結果保存メモリに中間
結果として格納されている類似度評価値のうち、類似度
が高い方を新たな中間結果として中間結果保存メモリに
格納するとともに、符号化ブロックの位置を水平方向ま
たは垂直方向に移動させて類似度評価を行い、一つの符
号化ブロックと動き検出範囲内の全ての分割領域の参照
ブロックとの類似度評価が終了した時点で得られた最も
高い類似度評価値を与える動きベクトルを当該符号化ブ
ロックに対応する動きベクトルとして出力する。

【００２１】このようにフレームメモリから動き検出範
囲内の参照画像を例えばＳＲＡＭで構成される参照ブロ
ック用高速メモリに読み出す際、動き検出範囲を分割し
た領域毎に読み出して動き検出を行うことにより、参照
画像の領域分割数をＮとしたとき、一回のブロックマッ
チング演算で探索する動き検出範囲は１／Ｎになるた
め、参照ブロック用高速メモリの容量をほぼ１／Ｎに削
減できる。

【００２２】また、本発明は類似度評価において、
（ａ）符号化ブロック用高速メモリおよび参照ブロック
用高速メモリ内の全ての符号化ブロックおよび参照ブロ
ックのデータを用いて類似度評価を行う、（ｂ）符号化
ブロック用高速メモリおよび参照ブロック用高速メモリ
内の一部の符号化ブロックおよび参照ブロックのデータ
を用いて類似度評価を行う、および（ｃ）類似度評価を
行わない、のいずれかを適応的に切り替えることを特徴
とする。

【００２３】このようにすると、例えばテレスコピック
サーチのように動き検出範囲に制限を加えても実効的な
動き検出範囲が広い場合、演算が不要な部分での動作を
停止して消費電力を削減したり、（ｃ）の場合に次のブ
ロックマッチング演算にスキップして演算器の稼働率を
上げることにより、演算器の回路規模を削減することが
可能になる。

【００２４】さらに、本発明は類似度評価において、フ
レームメモリから各分割領域毎に読み出された参照ブロ
ックを参照ブロック用高速メモリに格納する毎に、符号
化ブロック用高速メモリ内の垂直方向または水平方向に
特定の間隔だけ位置をずらせた複数の符号化ブロックと
参照ブロック用高速メモリ内の参照ブロックとの間で類
似度を評価することを特徴とする。すなわち、一回の水
平方向（または垂直方向）にＮ分割された参照画像の読
み込みに対し、垂直方向（または水平方向）に特定の間
隔だけ位置をずらした複数の符号化ブロックを用いて動
き検出の類似度評価を行う。

【００２５】前述のＮ分割処理では、参照画素および符
号化ブロック共にそれぞれＮ回フレームメモリから読み
込みを行う必要があるが、このようにすると参照画素の
読み込みは一回だけで済むようになる。動き検出におけ
るフレームメモリアクセスは参照画素の読み込み量が支
配的であるため、こうすることによりフレームメモリア
クセスのメモリバンド幅はほぼ１／Ｎに削減されること
になる。

【００２６】さらに、本発明においては、動き検出範囲
を垂直方向または水平方向に複数に分割した分割領域の
数を符号化対象画像と参照画像との画面間隔の整数倍に
設定してもよい。

【００２７】

【発明の実施の形態】以下、図面を用いて本発明の実施
の形態を説明する。 （第１の実施形態）まず、図１を参照して本発明の第１
の実施形態に係る動き検出装置について説明する。この
動き検出装置は、動き補償予測を用いた動画像符号化シ
ステムに適用されるものであり、フレームメモリ１０
２、フレームメモリアドレス生成回路１０３、符号化用
高速メモリ１２７参照ブロック用高速メモリ１１０、高
速メモリアドレス生成回路１１１、動き検出用ブロック
マッチング回路１０７、類似度評価回路１１７、中間結
果保存メモリ１１８、動きベクトル量算出回路１２５か
ら構成される。

【００２８】フレームメモリ１０２および中間結果保存
メモリ１１８は、フレームメモリアドレス生成回路１０
３から与えられるアドレス情報に従って書き込み／読み
出し動作を行い、参照ブロック用高速メモリ１１０およ
び符号化ブロック用高速メモリ１２７は、高速メモリア
ドレス生成回路１１１から与えられるアドレス情報に従
って書き込み／読み出し動作を行う。

【００２９】動画像信号であるディジタル化された入力
画像信号１０１は、符号化対象画像または参照画像であ
り、フレームメモリ１０２のフレームメモリアドレス生
成回路１０３で生成された入力画像書込アドレス１０４
で示された位置に書き込まれて保存される。ここで、符
号化対象画像はこれから符号化しようとする画像、参照
画像は動き検出のために参照される画像である。参照画
像は、例えば既に符号化が終了した画像であり、具体的
には動画像符号化データを局部復号して得られる画像が
用いられる。

【００３０】フレームメモリ１０２からは、まずフレー
ムメモリアドレス生成回路１０３から与えられる符号化
ブロック読出アドレス１０に従って符号化ブロック１０
６が読み出され、この符号化ブロック１０６が符号化ブ
ロック用高速メモリ１２７の高速メモリアドレス生成回
路１１１で生成された符号化画素書込アドレス１３０で
示された位置に書き込まれて保存される。

【００３１】さらに、フレームメモリ１０２にフレーム
メモリアドレス生成回路１０３から動き検出範囲をＮ分
割した分割領域のうちのｉ番目の分割領域を読み出すた
めの参照画素読出アドレス１０８が与えられ、これに基
づいてフレームメモリ１０２から読み出された参照画素
データ１０９が参照ブロック用高速メモリ１１０の高速
メモリアドレス生成回路１１１で生成された参照画素書
込アドレス１１２で示された位置に書き込まれて保存さ
れる。

【００３２】高速メモリアドレス生成回路１１１からは
符号化ブロック読出アドレス１２８および参照画素読出
アドレス１１３が符号化ブロック用高速メモリ１２７お
よび参照ブロック用高速メモリ１１０にそれぞれ与えら
れ、これに従って符号化ブロック用高速メモリ１２７お
よび参照ブロック用高速メモリ１１０から読み出された
符号化ブロック１２９および参照ブロック１１４が動き
検出用ブロックマッチング回路１０７に出力される。

【００３３】動き検出用ブロックマッチング回路１０７
は、符号化ブロック１０６と参照ブロック１１４の間で
ブロックマッチングを行い、符号化ブロック１０６と参
照ブロック１１４の各ブロック間の類似度評価値１１５
とこれに対応する動きベクトルを示す各ブロック間のブ
ロック内相対アドレス１１６を類似度評価回路１１７に
出力する。

【００３４】類似度評価回路１１７は、中間結果保存メ
モリ１１８に保存されている後述する符号化ブロックア
ドレス１２０で示された最も類似度が高かった類似度評
価値１１９と、動き検出用ブロックマッチング回路１０
７から入力される類似度評価値１１５の類似度を比較す
る。この比較の結果、類似度評価値１１９に対して動き
検出用ブロックマッチング回路１０７から入力された類
似度評価値１１５の類似度が低ければ、中間結果保存メ
モリ１１８の結果は変化させず、類似度評価値１１５の
類似度が高ければ、中間結果保存メモリ１１８の符号化
ブロックアドレス１２０で示された位置へ類似度評価値
１２２とこれに対応する動きベクトルであるブロック内
相対アドレス１２１を保存する。中間結果保存メモリ１
１８に与えられる符号化ブロックアドレス１２０は、現
在符号化しようとしている符号化ブロックのアドレスを
示す情報であり、フレームアドレス生成回路１０３で生
成される。

【００３５】Ｎ分割された当該符号化ブロックの評価が
終了すると、次の隣接する符号化ブロックに移動し（水
平方向にＮ分割の場合は垂直方向に移動し、垂直方向に
Ｎ分割の場合は水平方向に移動する）、上述の処理を行
う。

【００３６】１画面分、または垂直１ブロックライン
（水平方向分割時）、または水平１ブロックライン（垂
直方向分割時）の符号化ブロックの移動が終了すると、
Ｎ分割した分割領域のうちの（ｉ＋１）番目の分割領域
に対して同様の処理を行う。

【００３７】全ての分割領域に対して処理が終了する
と、中間結果保存メモリ１１８に保存された動きベクト
ルであるブロック内相対アドレス１２３と、フレームメ
モリアドレス生成回路１０３から出力されたブロックア
ドレスオフセット値１２４が動きベクトル量算出回路１
２５に入力され、ここで両者が加算されて真の動きベク
トル値１２６が算出されて出力される。

【００３８】次に、図２に示すフローチャートを用いて
本実施形態における処理手順を説明する。なお、以下の
一連の処理は図示しないＣＰＵを用いて構成されたコン
トローラからの制御に従って行われる。

【００３９】まず、始めに符号化ブロック毎に保存され
る中間結果メモリ１１８の内容を初期化し（ステップＳ
１０１）、最も類似度が低い類似度評価値と対応する動
きベクトルが保存されるようにする。次に、Ｎ分割した
動き検出範囲の各分割領域のインデックスを示す値ｉを
０に初期化する（ステップＳ１０２）。次に、符号化ブ
ロックの位置を示すインデックスｊを０に初期化する
（ステップＳ１０３）。

【００４０】次に、ｉ（＝０）番目の分割領域に対し動
きベクトルの評価を行うため、フレームメモリ１０２か
ら符号化ブロックｊと参照画素を読み出す（ステップＳ
１０４〜Ｓ１０５）。図３に、動き検出範囲を垂直方向
に２分割した場合のｉ＝０におけるある符号化ブロック
ｊと参照画素（動きベクトル候補点）の関係を示す。

【００４１】次に、動き検出用マッチング回路１０７に
より、各動きベクトル候補点に対しブロックマッチング
演算を行って類似度評価値を算出し（ステップＳ１０
６）、中間結果保存メモリ１１８に保存されている符号
化ブロックｊに対する類似度評価値と比較する（ステッ
プＳ１０７）。ここで、中間結果保存メモリ１１８に保
存されている符号化ブロックｊに対する類似度評価値に
対して、ステップＳ１０６で算出された動きベクトル候
補点の類似度評価値の方が高ければ、後者の類似度評価
値と対応するブロック内相対アドレスを中間結果保存メ
モリ１１８に保存して中間結果保存メモリ１１８の内容
を更新し（ステップＳ１０８）、低ければ何もせずに次
の処理に移る。

【００４２】ｉ番目の分割領域内に含まれる全ての動き
ベクトル候補点の類似度評価が終了しているかどうかを
判断し（ステップＳ１０９）、終了していなければ次の
候補点の処理に移ってステップＳ１０６〜Ｓ１０８の処
理を繰り返し、終了していれば次の符号化ブロック（ｊ
＋１）の処理に移る（ステップＳ１１０）。

【００４３】すなわち、次にフレームメモリ１０２から
符号化ブロック（ｊ＋１）と参照画素を読み出す（ステ
ップＳ１０４〜Ｓ１０５）。図４に、符号化ブロック
（ｊ＋１）と参照画素（図４では、分割参照領域と記載
されている）の関係を示す。参照ブロック用高速メモリ
１１０内に符号化ブロックｊの参照画素がキャッシング
されているため、符号化ブロック（ｊ＋１）の処理のた
めに新規にフレームメモリ１０２から読み込むデータ
は、図４中の斜線を施した部分だけで良い。

【００４４】次に、動き検出用ブロックマッチング回路
１０７により、ある動きベクトル候補点に対しブロック
マッチング演算を行って類似度評価値を算出し（ステッ
プＳ１０６）、中間結果保存メモリ１１８に保存されて
いる符号化ブロックｊに対する類似度評価値と比較する
（ステップＳ１０７）。ここで、中間結果保存メモリ１
１８に保存されている符号化ブロックｊに対する類似度
評価値に対して、ステップＳ１０６で算出された動きベ
クトル候補点の類似度評価値の方が高ければ、後者の類
似度評価値と対応するブロック内相対アドレスを中間結
果保存メモリ１１８に保存して中間結果保存メモリ１１
８の内容を更新し（ステップＳ１０８）、低ければ何も
せずに次の処理に移る。

【００４５】次に、ｉ番目の分割領域内に含まれる全て
の動きベクトル候補点の類似度評価が終了しているかど
うかを判断し（ステップＳ１０９）、終了していなけれ
ば次の候補点の処理に移ってステップＳ１０６〜Ｓ１０
８の処理を繰り返し、終了していれば次の符号化ブロッ
ク（ｊ＋２）の処理に移る（ステップＳ１１０）。

【００４６】以下、符号化ブロックの位置を水平方向に
移動しながら、画面の右端になるまで、つまりステップ
Ｓ１１１でブロックラインが終了したと判断されるまで
同様の処理を行う。符号化ブロックの位置が画面の右端
に来たら、分割領域のインデックスｉをインクリメント
し（ステップＳ１１２）、ｉ＝１の分割領域に対する動
き検出を行う。まず、符号化ブロックの位置を示すイン
デックスｊを０に初期化する。次に、ｉ（＝１）番目の
分割領域に対し動きベクトルの評価を行うため、フレー
ムメモリ１０２から符号化ブロックｊと参照画素を読み
出す（ステップＳ１０４〜Ｓ１０５）。図５に、動き検
出範囲を垂直方向に２分割した場合のｉ＝１におけるあ
る符号化ブロックｊの符号化ブロックと参照画素（動き
ベクトル候補点）の関係を示す。

【００４７】次に、動き検出用ブロックマッチング回路
１０７により、ある候補点に対しブロックマッチング演
算を行って類似度評価値を算出し（ステップＳ１０
６）、中間結果保存メモリ１１８に保存されている符号
化ブロックｊに対する評価値と比較する（ステップＳ１
０７）。ここで、中間結果保存メモリ１１８に保存され
ている符号化ブロックｊに対する類似度評価値に対し
て、ステップＳ１０６で算出された動きベクトル候補点
の類似度評価値の方が高ければ、後者の類似度評価値と
対応するブロック内相対アドレスを中間結果保存メモリ
１１８に保存して中間結果保存メモリ１１８の内容を更
新し（ステップＳ１０８）、低ければ何もせずに次の処
理に移る。

【００４８】ｉ番目の分割領域内に含まれる全ての動き
ベクトル候補点の類似度評価が終了しているかどうかを
判断し（ステップＳ１０９）、終了していなければ次の
候補点の処理に移ってステップＳ１０６〜Ｓ１０８の処
理を繰り返し、終了していれば次の符号化ブロック（ｊ
＋１）の処理に移る（ステップＳ１１０）。

【００４９】以下、符号化ブロックの位置を水平方向に
移動しながら、画面の右端になるまで、つまりステップ
Ｓ１１１でブロックラインが終了したと判断されるまで
同様の処理を行う。符号化ブロックの位置が画面の右端
に来たら、分割領域のインデックスｉをインクリメント
する（ステップＳ１１２、この場合、ｉ＝２となる）。

【００５０】本実施形態では、動き検出範囲の分割数Ｎ
は２であり、ステップＳ１１３でｉ＝Ｎが成立するた
め、中間結果保存メモリ１１８に保存されたブロック内
相対アドレスから動きベクトル量算出回路１２５で動き
ベクトルの値を算出して出力する（ステップＳ１１
４）。

【００５１】次に、画面内の全てのブロックラインの処
理が終了したかを判定し（ステップＳ１１５）、終了し
ていなければブロックラインの位置を移動して分割領域
のインデックスｉを０に初期化し（ステップＳ１０
２）、画面内の全ての符号化ブロックの処理が終了する
まで同様の処理を行う。

【００５２】本実施形態では、分割領域のインデックス
ｉのインクリメント単位をブロックライン毎としたが、
一画面を通して分割領域ｉの処理を行った後、ｉをイン
クリメントして分割領域（ｉ＋１）の処理を行っても構
わない。また、ステップＳ１１４の動きベクトル量算出
処理を符号化ブロックｊの全ての分割領域の処理が終了
した直後に行っても構わない。

【００５３】次に、本発明の他の実施形態を説明する。
なお、以下の実施形態では動き検出装置の構成は基本的
に第１の実施形態と同様、図１に示した通りであり、処
理手順のみが異なる。

【００５４】（第２の実施形態）図６は、本発明の第２
の実施形態に係る動き検出装置における処理手順を示す
フローチャートであり、図２に示したフローチャートに
対して類似度評価実行の有無を判定するステップＳ１２
０の処理が追加されている点が異なる。

【００５５】本実施形態では、図１の動きベクトル検出
用ブロックマッチング回路１０７および類似度評価回路
１１７において、（ａ）符号化ブロック用高速メモリ１
２７および参照ブロック用高速メモリ１１０内の全ての
符号化ブロックおよび参照ブロックのデータを用いて類
似度評価を行う、（ｂ）符号化ブロック用高速メモリ１
２７および参照ブロック用高速メモリ１１０内の一部の
符号化ブロックおよび参照ブロックのデータを用いて類
似度評価を行う、および（ｃ）類似度評価を行わない、
のいずれかを適応的に切り替えることが特徴である。

【００５６】例えば、テレスコピックサーチを用いて動
き検出範囲を制限した場合、図７に示すように、参照ブ
ロック用高速メモリ１１０内には○および●で示した参
照画素が読み込まれるが、実際に動き検出に使用される
のは●で示した参照画素だけである。このような場合、
○の動きベクトル候補点は演算しなくても良い。

【００５７】そこで、本実施形態ではステップＳ１２０
の類似度評価実行の有無判定で○（実行せず）と判定さ
れた動きベクトル候補点については、ステップＳ１０７
の類似度比較を行わず、直ちにステップＳ１０９に移る
ようにしている。このように本実施形態によると、テレ
スコピックサーチのように動き検出範囲に制限を加えて
も実効的な動き検出範囲が広い場合、演算が不要な部分
での動作を停止して消費電力を削減したり、上記（ｃ）
の場合に次のブロックマッチング演算にスキップして演
算器の稼働率を上げることにより、演算器の回路規模を
削減することができる。

【００５８】（第３の実施形態）図８は、本発明の第３
の実施形態に係る動き検出装置における処理手順を示す
フローチャートである。本実施形態では、図２に示した
フローチャートに対して処理の順序を変えている。

【００５９】すなわち、フレームメモリ１０２からある
分割参照領域ブロック（ｊ）を参照ブロック用高速メモ
リ１１０に読み込むと（ステップＳ１２１）、ステップ
Ｓ１２２でｋ＝０とした後、分割参照領域ブロック
（ｊ）を分割領域として参照する全ての符号化ブロック
（ｊ，ｋ）を読み出し（ステップＳ１２３）、符号化ブ
ロック（ｊ，ｋ）に対する類似度評価値の算出を行う
（ステップＳ１０６）。

【００６０】そして、ステップＳ１０６で算出された類
似度評価値と、中間結果保存メモリ１１８に保存されて
いる符号化ブロックｊに対する評価値と比較し（ステッ
プＳ１０７）、中間結果保存メモリ１１８に保存されて
いる符号化ブロックｊに対する類似度評価値に対して、
ステップＳ１０６で算出された動きベクトル候補点の類
似度評価値の方が高ければ、後者の類似度評価値と対応
するブロック内相対アドレスを中間結果保存メモリ１１
８に保存して中間結果保存メモリ１１８の内容を更新し
（ステップＳ１０８）、低ければ何もせずに次の処理に
移る。

【００６１】ｉ番目の分割領域内に含まれる全ての動き
ベクトル候補点の類似度評価が終了しているかどうかを
判断し（ステップＳ１０９）、終了していなければ次の
候補点の処理に移ってステップＳ１２３〜Ｓ１０８の処
理を繰り返し、終了していればｋをインクリメントし
（ステップＳ１２４）、さらにｊをインクリメントして
次の符号化ブロック（ｊ＋１）の処理に移る（ステップ
Ｓ１１０）。そして、ステップＳ１２５でｋ＝Ｎと判定
されるまで同様の処理を繰り返す。

【００６２】図９に、分割数をＮ＝２としたときの類似
度評価の順序を示す。この例では、参照領域を垂直方向
に２分割し、分割参照ブロック（ｊ）を読み出して参照
ブロック用高速メモリ１１０に与え（ステップＳ１２
１）、まず上半分を分割参照領域とする符号化ブロック
（ｊ，ｋ）の類似度評価を行い、次に下半分を分割参照
領域とする符号化ブロック（ｊ，ｋ＋１）の類似度評価
を行う。

【００６３】次に、分割参照ブロックの位置を水平方向
に１個ずらし、分割参照ブロック（ｊ＋１）で新たに必
要となる領域（新規読込領域）を参照ブロック用高速メ
モリ１１０に読み込み、この領域を上半分の分割参照領
域とする符号化ブロック（ｊ＋１，ｋ）の類似度評価を
行い、次に、この領域を下半分の分割参照領域とする符
号化ブロック（ｊ＋１，ｋ＋１）の類似度評価を行う。
以下、同様に処理を行うことにより、動きベクトルを検
出する。

【００６４】第１および第２の実施形態では、参照画素
および符号化ブロック共にそれぞれＮ回ずつフレームメ
モリ１０２からの読み込みを行う必要があったが、本実
施形態によると参照画素の読み込みは１回だけで済む。
動き検出におけるフレームメモリ１０２のアクセスは、
参照画素の読み込み量が支配的であるため、フレームメ
モリアクセスのメモリバンド幅はほぼ１／Ｎに削減され
る。

【００６５】このように本実施形態では、フレームメモ
リ１０２から分割領域毎に読み出された参照ブロックを
参照ブロック用高速メモリ１１０に格納する毎に、符号
化ブロック用高速メモリ１２７内の垂直方向または水平
方向に特定の間隔だけ位置をずらせた複数の符号化ブロ
ックと参照ブロック用高速メモリ１１０内の参照ブロッ
クとの間で類似度を評価することにより、フレームメモ
リ１０２からの参照画素の読み込みは１回のみでよく、
フレームメモリアクセスのメモリバンド幅を削減するこ
とができる。

【００６６】（第４の実施形態）図１０は、本発明の第
４の実施形態に係る動き検出装置における参照領域の分
割方法を示した図である。この例では、符号化対象画像
と参照画像の画面間隔Ｍと、参照画像の領域分割数を同
じにしてあり、垂直方向に分割を行っている。

【００６７】すなわち、図１０（ａ）（ｂ）（ｃ）にそ
れぞれ示すように、Ｍ＝１の場合は領域分割数を１（分
割なし）、Ｍ＝２の場合は領域分割数を２、Ｍ＝３の場
合は分割数を３としている。全ての場合において、図中
の破線で囲ったテレスコピックサーチでの探索領域は、
最大で２個の分割領域にまたがっている。従って、全く
処理が行われない領域（Ｍ＝３の一番下の分割領域）の
処理をスキップすることが可能になる。

【００６８】

【発明の効果】以上説明したように、本発明によれば
（ａ）参照画像を一次保存する参照ブロック用高速メモ
リ高速ＳＲＡＭの容量を削減することができ、また
（ｂ）動き検出のための演算量および消費電力を削減す
ることができる。さらに、（ｃ）フレームメモリからの
参照画素読み出しのためのメモリバンド幅を低減するこ
とが可能となり、動き検出装置の回路規模削減や、動き
検出ソフトウェアの処理時間を短縮できる。

【００６９】従って、本発明によると結果的に動き検出
情報を用いて情報量を圧縮する動画像符号化装置のコス
トを下げることが可能になる。

【図面の簡単な説明】

【図１】本発明の第１の実施形態に係る動き検出装置の
構成を示すブロック図

【図２】本発明の第１の実施形態の処理手順を示すフロ
ーチャート

【図３】本発明の第１の実施形態における参照画像の上
側の分割領域を示す図

【図４】本発明の第１の実施形態における参照画像の分
割領域の新規読込領域を示す図

【図５】本発明の第１の実施形態における参照画像の下
側の分割領域を示す図

【図６】本発明の第２の実施形態の処理手順を示すフロ
ーチャート

【図７】本発明の第２の実施形態における動きベクトル
候補点の類似度評価の有無を示す図

【図８】本発明の第３の実施形態の処理手順を示すフロ
ーチャート

【図９】本発明の第３の実施形態における類似度評価を
行う順序の例を示す図

【図１０】本発明の第４の実施形態における参照画像と
分割数の例を示す図

【図１１】従来の動き検出装置の構成を示すブロック図

【図１２】３フレーム離れた場合のフルサーチでの参照
領域と符号化ブロックの関係を示す図

【図１３】３フレーム離れた場合のテレスコピックサー
チでの参照領域と符号化ブロックの関係を示す図

【図１４】従来の動き検出装置で必要な演算量・高速メ
モリ容量・フレームメモリアクセスバンド幅について示
す図

【符号の説明】

１０１…入力画像 １０２…フレームメモリ １０３…フレームメモリアドレス生成部 １０４…入力画像書込アドレス １０５…符号化ブロック読出アドレス １０６…符号化ブロックデータ １０７…動き検出用ブロックマッチング回路 １０８…参照画素読出アドレス １０９…参照画素データ １１０…参照ブロック用高速メモリ １１１…高速メモリアドレス生成回路 １１２…参照画素書込アドレス １１３…参照画素読出アドレス １１４…参照ブロック画素データ １１５…類似度評価値 １１６…ブロック内相対アドレス １１７…類似度評価回路 １１８…中間結果保存メモリ １１９…最も類似度が高かった評価値 １２０…符号化ブロックアドレス １２１…ブロック内相対アドレス １２２…類似度評価値 １２３…ブロック内相対アドレス １２４…ブロックアドレスオフセット値 １２５…動きベクトル量算出回路 １２６…動きベクトル値 １２７…符号化ブロック用高速メモリ １２８…符号化ブロック読出アドレス １２９…符号化ブロックデータ １３０…符号化画素書込アドレス

Claims (6)

【特許請求の範囲】
1. 【請求項１】符号化対象画像を複数の符号化ブロックに
   分割し、各符号化ブロックと参照画像内に設定した動き
   検出範囲内の参照ブロックとの間で類似度を評価して動
   画像の画面間の動きを検出する動き検出方法において、 符号化対象画像および参照画像を格納する第１のメモリ
   に格納された符号化対象画像から符号化ブロックを読み
   出して第２のメモリに格納し、 前記第１のメモリに格納された参照画像から前記動き検
   出範囲を垂直方向または水平方向に複数に分割した各分
   割領域毎に参照ブロックを読み出して第３のメモリに格
   納し、 前記第２のメモリ内の符号化ブロックと前記第３のメモ
   リ内の参照ブロックとの間で類似度を評価して類似度評
   価値および対応する動きベクトルを求め、一つの符号化
   ブロックと検出範囲内の全ての分割領域の参照ブロック
   との類似度評価が終了した時点で得られた最も高い類似
   度評価値を与える動きベクトルを当該符号化ブロックに
   対応する動きベクトルとして出力することを特徴とする
   動き検出方法。
2. 【請求項２】符号化対象画像を複数の符号化ブロックに
   分割し、各符号化ブロックと参照画像内に設定した動き
   検出範囲内の参照ブロックとの間で類似度を評価して動
   画像の画面間の動きを検出する動き検出方法において、 符号化対象画像および参照画像を第１のメモリに格納す
   るステップと、 前記第１のメモリに格納された符号化対象画像から符号
   化ブロックを読み出すステップと、 前記第１のメモリに格納された参照画像から前記動き検
   出範囲を垂直方向または水平方向に複数に分割した各分
   割領域毎に参照ブロックを読み出すステップと、 前記第１のメモリから読み出された符号化ブロックを第
   ２のメモリに格納するステップと、 前記第１のメモリから前記各分割領域毎に読み出された
   参照ブロックを第３のメモリに格納するステップと、 前記第２のメモリ内の符号化ブロックと前記第３のメモ
   リ内の参照ブロックとの間で類似度を評価して類似度評
   価値および対応する動きベクトルを求める類似度評価ス
   テップと、 前記類似度評価ステップにおける類似度評価の中間結果
   である最も大きな類似度評価値および対応する動きベク
   トルを第４のメモリに格納するステップとを有し、 同一符号化ブロックに対して前記類似度評価ステップで
   求められた類似度評価値と前記第４のメモリに中間結果
   として格納されている類似度評価値のうち、類似度が高
   い方を新たな中間結果として前記第４のメモリに格納す
   るとともに、符号化ブロックの位置を水平方向または垂
   直方向に移動させて前記類似度評価ステップによる類似
   度評価を行い、 前記類似度評価ステップにより一つの符号化ブロックと
   前記検出範囲内の全ての前記分割領域の参照ブロックと
   の前記類似度評価が終了した時点で得られた最も高い類
   似度評価値を与える動きベクトルを当該符号化ブロック
   に対応する動きベクトルとして出力することを特徴とす
   る動き検出方法。
3. 【請求項３】符号化対象画像を複数の符号化ブロックに
   分割し、各符号化ブロックと参照画像内に設定した動き
   検出範囲内の参照ブロックとの間で類似度を評価して動
   画像の画面間の動きを検出する動き検出装置において、 符号化対象画像および参照画像を格納する第１のメモリ
   と、 前記第１のメモリに格納された符号化対象画像から符号
   化ブロックを読み出す手段と、 前記第１のメモリに格納された参照画像から前記動き検
   出範囲を垂直方向または水平方向に複数に分割した各分
   割領域毎に参照ブロックを読み出す手段と、 前記第１のメモリから読み出された符号化ブロックを格
   納する第２のメモリと、 前記第１のメモリから前記各分割領域毎に読み出された
   参照ブロックを格納する第３のメモリと、 前記第２のメモリ内の符号化ブロックと前記第３のメモ
   リ内の参照ブロックとの間で類似度を評価して類似度評
   価値および対応する動きベクトルを求める類似度評価手
   段と、 前記類似度評価手段における類似度評価の中間結果であ
   る最も大きな類似度評価値および対応する動きベクトル
   を格納する第４のメモリとを有し、 同一符号化ブロックに対して前記類似度評価手段で求め
   られた類似度評価値と前記第４のメモリに中間結果とし
   て格納されている類似度評価値のうち、類似度が高い方
   を新たな中間結果として前記第４のメモリに格納すると
   ともに、符号化ブロックの位置を水平方向または垂直方
   向に移動させて前記類似度評価手段による類似度評価を
   行い、 前記類似度評価手段により一つの符号化ブロックと前記
   動き検出範囲内の全ての分割領域の参照ブロックとの前
   記類似度評価が終了した時点で得られた最も高い類似度
   評価値を与える動きベクトルを当該符号化ブロックに対
   応する動きベクトルとして出力することを特徴とする動
   き検出装置。
4. 【請求項４】前記類似度評価手段は、（ａ）前記第２お
   よび第３のメモリ内の全ての符号化ブロックおよび参照
   ブロックのデータを用いて類似度評価を行う、（ｂ）前
   記第２および第３のメモリ内の一部の符号化ブロックお
   よび参照ブロックのデータを用いて類似度評価を行う、
   および（ｃ）類似度評価を行わない、のいずれかを適応
   的に切り替えることを特徴とする請求項３記載の動き検
   出装置。
5. 【請求項５】前記類似度評価手段は、前記第１のメモリ
   から前記各分割領域毎に読み出された参照ブロックを前
   記第３のメモリに格納する毎に、前記第２のメモリ内の
   垂直方向または水平方向に特定の間隔だけ位置をずらせ
   た複数の符号化ブロックと前記第３のメモリ内の参照ブ
   ロックとの間で類似度を評価することを特徴とする請求
   項３または４記載の動き検出装置。
6. 【請求項６】前記動き検出範囲を垂直方向または水平方
   向に複数に分割した分割領域の数を前記符号化対象画像
   と前記参照画像との画面間隔の整数倍に設定したことを
   特徴とする請求項３乃至５のいずれか１項記載の動き検
   出装置。