JPH1023420A

JPH1023420A - 動き検出方法および動き検出装置

Info

Publication number: JPH1023420A
Application number: JP17247596A
Authority: JP
Inventors: Toshiya Takahashi; 俊也高橋
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1996-07-02
Filing date: 1996-07-02
Publication date: 1998-01-23

Abstract

(57)【要約】【課題】計算量を増加させることなく、動き探索範囲
を拡大し、動きの大きな画像でも画質劣化なく画像圧縮
符号化することを目的とする。【解決手段】画像の動きの大きさを示す時間的に前に
検出された動き探索範囲決定用情報である前フレームの
２次元ブロック毎の動きベクトルを入力し、各２次元ブ
ロックの動きベクトルのうち最大値を示すブロック数を
カウントし、その値が総数の５０％を超えているときに
動き探索範囲を２倍にし、動きベクトルを検出する。こ
の際、画像データは１／２にサブサンプリングする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、デジタル画像を圧
縮して伝送、記録する際に用いる動き検出方法および動
き検出装置に関するものである。

【０００２】

【従来の技術】画像圧縮符号化はデジタル画像の伝送、
記録にとって必須の技術である。現在、一般的に用いら
れているのは、動き補償を行ってフレーム間差分を計算
し、その差分信号を２次元ＤＣＴ（離散コサイン変換）
する方式である。以下、ＩＴＵ−ＴＨ．２６１規格を
例にとり、上述した動き補償フレーム間差分２次元ＤＣ
Ｔを用いた画像符号化方法、およびそこで用いる動き検
出方法を説明する。

【０００３】図８は動き補償フレーム間差分２次元ＤＣ
Ｔのブロック図である。図８において、１０１はＤＣＴ
回路、１０２は量子化器、１０３は逆量子化器、１０４
は逆ＤＣＴ回路、１０５はフレームメモリ、１０６は動
き補償フレーム間予測回路、１０７Ｃは動き検出装置、
１０８はフレーム内・フレーム間切り替え信号である。
また、動き検出装置１０７Ｃは、バッファメモリ１、誤
差計算回路２、誤差比較回路３、アドレス発生回路４か
らなる。

【０００４】以上のように構成された従来の画像符号化
装置について、以下その動作を説明する。符号化の最初
のフレーム、すなわち第１フレームは、フレーム内・フ
レーム間切り替え信号１０８により、フレーム内符号化
に切り替えられ、差分が取られることなく、フレームご
とにフレーム内符号化される。すなわち、画像データ
は、２次元ブロック単位でＤＣＴ回路１０１で変換係数
に変換され、量子化器１０２で変換係数を量子化された
後、伝送路に送出される。一般的に、画像は相関が高い
ため、ＤＣＴを行うと、低い周波数成分に対応する変換
係数にエネルギーが集中する。したがって、視覚的に目
立たない高い周波数成分を粗く、重要な成分である低い
周波数成分を細かく量子化を行うことで、画質劣化を最
小限にとどめ、かつデータ量を減らすことが可能とな
る。上記伝送路に送出した量子化後の変換係数は、同時
に逆量子化器１０３、逆ＤＣＴ変換回路１０４を経て実
時間データに戻され、フレームメモリ１０５に蓄えられ
る。

【０００５】一方、第２フレーム以降の画像は、フレー
ム内・フレーム間切り替え信号１０８により、フレーム
間符号化に切り替えられ、動き補償された上で前フレー
ムの画像との差分が取られ、フレームごとにフレーム間
の画像信号の差分が符号化される。つまり、フレームメ
モリ５に格納した前フレームの画像データと動き検出装
置１０７Ｃで検出した２次元ブロック単位の動きベクト
ルとに基づいて第２フレーム以降の画像の予測値が動き
補償フレーム間予測回路１０６で生成され、第２フレー
ム以降の画像と動き補償フレーム間予測回路１０６で生
成された第２フレーム以降の予測値との差分である予測
誤差が、２次元ブロック単位でＤＣＴ回路１０１で変換
係数に変換され、量子化器１０２で変換係数を量子化さ
れた後、伝送路に送出される。上記伝送路に送出した量
子化後の変換係数は、同時に逆量子化器１０３、逆ＤＣ
Ｔ変換回路１０４を経て実時間データに戻し、フレーム
メモリ１０５に蓄える。

【０００６】つぎに、動き検出装置１０７Ｃについて詳
しく説明する。この動き検出装置１０７Ｃでは、例えば
良く知られた、全探索方法を用いて、２次元ブロック単
位にフレーム間の動きベクトルを求める構成となってい
る。図９は動き検出装置の動作を示す説明図で、以下、
図９を参照しながら動き検出動作を説明する。図９にお
いて、１１１は第２フレームのある１つの２次元ブロッ
クでｍ画素（水平方向）×ｎ画素（垂直方向）の矩形ブ
ロックからなる。１１２Ａ，１１２Ｂは誤差計算を行う
ための第１フレームの２次元ブロックであり、大きさは
２次元ブロック１１１と同じ大きさである。１１３は動
き検出によって求めた動きベクトルで、２次元ブロック
１１１の中心座標と２次元ブロック１１２Ｂの中心座標
を結ぶものである。

【０００７】図９における二次元ブロック１１１は、第
２フレームにおける中心座標(x,y,2) を有する２次元ブ
ロックであり、二次元ブロックを中心座標に対応した記
号S(x,y,2)で表す。また、２次元ブロック１１２Ａ，１
１２Ｂは第１フレームにおける中心座標(x,y,1) ，(x+m
x,y+my,1) をそれぞれ有する２次元ブロックであり、同
様に二次元ブロックを中心座標に対応した記号S(x,y,
2)，S(x+mx,y+my,1)で表す。ただし、ｘはフレームの中
心を原点とする水平方向の画素座標を示し、ｙはフレー
ムの中心を原点とする垂直方向の画素座標を示し、ｘ，
ｙの後の１，２の数字はフレーム番号を示す。また、１
１４は動きベクトルを計算する２次元ブロックを示す矩
形（水平方向２ｈ、垂直方向２ｖ）の動き探索範囲であ
り、ｘｈは動き探索範囲の中心（図では、座標(x,y,1)
）を原点とする水平方向の局部画素座標を示し、ｙｖ
は動き探索範囲の中心（図では、座標(x,y,1) ）を原点
とする垂直方向の局部画素座標を示している。

【０００８】第２フレームの画像データは、フレーム間
符号化されるときに、同時にバッファメモリ１に入力す
る。なお、第１フレームの画像データは、既にバッファ
メモリ１に格納されている。今、基準を第２フレーム
（現フレーム）の２次元ブロック１１１とし、第１フレ
ーム（前フレーム）の２次元ブロック１１２Ｂと第２フ
レーム（現フレーム）の２次元ブロック１１１の間の動
きベクトル１１３を検出する。バッファメモリ１に入力
した第１，第２フレームの画像は、ｍ×ｎ画素ずつの２
次元ブロック単位で読み出し、２次元ブロック単位で動
きベクトルを検出する。

【０００９】以下、座標を用いて動きベクトルの検出手
順について、具体的に説明する。アドレス発生回路４に
より、第２フレームにおける中心座標(x,y,2) を有する
２次元ブロックS(x,y,2)の画像データを読み出し、この
２次元ブロックS(x,y,2)を基準ブロックにとり、以下の
手順でこの基準ブロックと第１フレームとの間の動きを
検出する。バッファメモリ１には上述したように第１フ
レームの画像データも格納してあり、つぎに第１フレー
ムにおける中心座標(x,y,1) を有する２次元ブロックS
(x,y,1)の各画像データを読み出す。誤差計算回路２で
は、前記２つの２次元ブロックS(x,y,2)，S(x,y,1)にお
ける画像データの振幅の２乗誤差の和（以下、単に誤差
という）σ(x,y)(0,0)を〔数１〕で計算し、誤差比較回
路３に送る。

【００１０】

【数１】

【００１１】つぎに、アドレス発生回路４は、第１フレ
ームにおける水平方向１画素隣のｍ×ｎブロックすなわ
ち中心座標(x+1,y,1) の二次元ブロックS(x+1,y,1)のア
ドレスを発生する。誤差計算回路２では、同様にσ(x,
y)(+1,0) を計算し、誤差比較回路３に送る。誤差比較
回路３では、σ(x,y)(0,0)とσ(x,y)(+1,0) を比較し、
小さい方を選択する。以下同様に、−ｈ＜ｘｈ＜ｈ、−
ｖ＜ｙｖ＜ｖの範囲でアドレスを逐次変更しながら２次
元ブロックの画像データを読み出し、σ(x,y)(xh,yv)を
計算する。

【００１２】誤差比較回路３は、以上で計算された誤差
σ(x,y)(xh,yv)から最小値をとる誤差σ(x,y)(mx,my)を
選択し、同時にアドレスmx，myを出力する。したがっ
て、２次元ブロックS(x,y,2)における動きベクトル１１
３はmv(mx, my)となる。以下、第２フレーム内におい
て、複数に分割された２次元ブロックの全てについて上
記した動作を繰り返すことにより、第２フレーム内の全
ての２次元ブロックの動きベクトルが求まる。

【００１３】動き補償フレーム間予測回路１０６は、第
２フレームについて各２次元ブロック毎に検出した動き
ベクトルを用いて、第２フレームの動き補償した予測値
を２次元ブロック単位で生成する。第２フレームの画像
は、まず第１フレームの画像データと第２フレームの動
きベクトルから上述した方法で生成した予測値との差
分、すなわち予測誤差を計算する。その後、前述した予
測誤差をフレーム毎に、第１フレームと同様の方法で符
号化する。第３フレーム以降は、第２フレームと同様の
方法で予測誤差を符号化する。

【００１４】以上のような構成により、現フレームを分
割した２次元ブロックの位置を中心とする前フレームの
所定の動き探索範囲内で、現フレームを分割した２次元
ブロックと同じ大きさの２次元ブロックの画像データを
逐次位置を変更しながら抽出し、前フレームの所定の動
き探索範囲内の各２次元ブロックの画像データと現フレ
ームの分割した２次元ブロックの画像データとの誤差計
算および前フレームの所定の動き探索範囲内の位置の異
なる２次元ブロックについての誤差比較を行うことによ
り、現フレームを分割した２次元ブロックに対して画像
データの誤差がもっとも最も少ない前フレームの所定の
動き探索範囲内の２次元ブロックの位置を探索し、現フ
レームを分割した２次元ブロックの位置と現フレームを
分割した２次元ブロックに対して画像データの誤差がも
っとも最も少ない前フレームの所定の動き探索範囲内の
２次元ブロックの位置とから現フレームを分割した２次
元ブロックの前フレームからの画面上の動きを示す動き
ベクトルを計算することになる。

【００１５】以上の方法によれば、予測誤差を符号化す
ることになるので、フレーム内符号化のように、画像デ
ータを直接符号化する場合に比べ、エネルギーが減少
し、さらに高効率な符号化が可能となる（例えば、ITU-
T Recommendation H.261, "Codec for audiovisual ser
vices at px64 kbit/s", Geneva, 1990 ）。

【００１６】

【発明が解決しようとする課題】しかしながら、上記の
動き検出方法は以下のような問題点を有していた。ま
ず、動きの大きさは画像の内容に依存し、スポーツなど
では早い動きすなわちフレーム間で大きな動きが多く、
一方風景などでは静止に近い画像が多い。動きの大きな
場合に備え、動き探索範囲を広く取ることが望ましい
が、従来の技術で述べたように、計算量は探索範囲に比
例するため、大きな探索範囲はハードウェアの増大につ
ながる。また、従来の動き検出装置で求めた動きベクト
ルでは、探索範囲外の動きが生じた場合、フレーム間差
分が大きくなり、画質の劣化をもたらす。

【００１７】本発明の目的は、大きな動きに対応するこ
とができ、画質を劣化させない動き検出方法および動き
検出装置を提供することである。本発明の目的は、大き
な動きへの対応に伴うハードウェアの増加を最小限にと
どめることができる動き検出方法および動き検出装置を
提供することである。

【００１８】

【課題を解決するための手段】請求項１記載の動き検出
方法は、現フレームを分割した２次元ブロックの位置を
中心とする前フレームの所定の動き探索範囲内で、現フ
レームを分割した２次元ブロックの前フレームからの画
面上の動きを示す動きベクトルを計算する動き検出方法
であって、画像の動きの大きさを示す時間的に前に検出
された動き探索範囲決定用情報を入力し、動き探索範囲
決定用情報に基づいて動き探索範囲を定めることを特徴
とする。

【００１９】この方法によると、画像の動きに応じて動
き探索範囲を変えることができ、大きな動きに対応する
ことができてフレーム間差分を小さくすることができ、
画質を劣化させない。請求項２記載の動き検出方法は、
請求項１記載の動き検出方法において、動き探索範囲の
変更を、フレーム単位で行うことを特徴とする。

【００２０】この方法によると、フレーム毎に動き探索
範囲の変更を行うことが可能で、画像の動きの変化に速
やかに対応することができ、画質を劣化させない。請求
項３記載の動き検出方法は、請求項１記載の動き検出方
法において、動き探索範囲の変更を、フレームを分割し
た２次元ブロック単位で行うことを特徴とする。

【００２１】この方法によると、２次元ブロック単位で
動き探索範囲の変更を行うことが可能で、画像の動きの
変化にいっそう速やかに対応することができる。請求項
４記載の動き検出方法は、請求項１記載の動き検出方法
において、動き探索範囲決定用情報が、前フレーム以前
の１または複数のフレームについて２次元ブロック単位
毎に既に計算した動きベクトルであることを特徴とす
る。

【００２２】この方法によれば、動きベクトルに基づい
て動き探索範囲を定めることができる。請求項５記載の
動き検出方法は、請求項１記載の動き検出方法におい
て、動き探索範囲決定用情報が、前フレーム以前の１ま
たは複数のフレームについて２次元ブロック単位毎に既
に動きベクトルを計算した際に計算した誤差であること
を特徴とする。

【００２３】この方法によれば、動きベクトルを計算し
た際の誤差に基づいて動き探索範囲を定めることができ
る。請求項６記載の動き検出方法は、請求項１記載の動
き検出方法において、動き探索範囲決定用情報が、前フ
レーム以前の１または複数のフレームについて２次元ブ
ロック単位毎に既に計算した動きベクトルを用いて動き
補償する際の動き補償モードを、動き補償を行わないイ
ントラモードに設定した２次元ブロックの個数であるこ
とを特徴とする。

【００２４】この方法によると、前フレームの動き補償
結果に基づいて動き探索範囲を定めることができ、動き
探索範囲をより精度よく決めることができる。請求項７
記載の動き検出装置は、現フレームを分割した２次元ブ
ロックの位置を中心とする前フレームの所定の動き探索
範囲内で、現フレームを分割した２次元ブロックの前フ
レームからの画面上の動きを示す動きベクトルを計算す
る動き検出装置であって、画像の動きの大きさを示す時
間的に前に検出された動き探索範囲決定用情報を入力
し、動き探索範囲決定用情報から動き探索範囲を計算す
る動き探索範囲計算手段を設けたことを特徴とする。

【００２５】この構成によると、画像の動きに応じて動
き探索範囲を変えることができ、大きな動きに対応する
ことができてフレーム間差分を小さくすることができ、
画質を劣化させない。請求項８記載の動き検出方法は、
現フレームを分割した２次元ブロックの前フレームから
の画面上の動きを示す動きベクトルを計算する動き検出
方法であって、画像の動きの大きさを示す時間的に前に
検出された動き探索範囲決定用情報を入力し、動き探索
範囲決定用情報に基づいて動き探索範囲を定めるとき
に、時間的に前に動きベクトルを計算した際の演算量を
超えないようにすることを特徴とする。

【００２６】この方法によると、画像の動きに応じて動
き探索範囲を変えることができ、大きな動きに対応する
ことができてフレーム間差分を小さくすることができ、
画質を劣化させない。しかも、動きベクトルの計算のた
めの演算量が増えないので、動きベクトル演算のための
ハードウェア量が増えることはない。請求項９記載の動
き検出方法は、請求項８記載の動き検出方法において、
動きベクトルの探索範囲をＮ倍に拡大する際は、入力す
る画像を１／Ｎでサブサンプリングすることを特徴とす
る。

【００２７】この方法によると、サブサンプリングによ
って動き探索範囲内の画素数が同じとなり、動きベクト
ルの計算のための演算量が増えない。請求項１０記載の
動き検出方法は、請求項８記載の動き検出方法におい
て、動きベクトルの探索範囲を水平方向にＮ倍に拡大す
る際は、垂直方向に１／Ｎ倍の探索範囲とし、垂直方向
にＮ倍に拡大する際は水平方向に１／Ｎ倍の探索範囲と
することを特徴とする。

【００２８】この方法によると、動き探索範囲を水平も
しくは垂直方向に拡大したときは、それと直交する方向
には拡大比の逆数で縮小するので、動き探索範囲内の画
素数が同じとなり、動きベクトルの計算のための演算量
が増えない。請求項１１記載の動き検出装置は、現フレ
ームを分割した２次元ブロックの位置を中心とする前フ
レームの所定の動き探索範囲内で、現フレームを分割し
た２次元ブロックの前フレームからの画面上の動きを示
す動きベクトルを計算する動き検出装置であって、画像
の動きの大きさを示す時間的に前に検出された動き情報
を入力し、動き探索範囲決定用情報から動き探索範囲を
計算するときに、時間的に前に動きベクトルを計算した
際の演算量を超えないようにする動き探索範囲計算手段
を設けたことを特徴とする。

【００２９】この構成によると、符号化の際に画像の動
きに応じて動き探索範囲を変えることができ、大きな動
きに対応することができてフレーム間差分を小さくする
ことができ、画質を劣化させない。請求項１２記載の画
像圧縮符号化装置は、請求項１まはた請求項８記載の動
き検出方法によって求めた動きベクトルを用いて、画像
圧縮符号化する。

【００３０】この構成によると、圧縮符号化の際に符号
化の際に画像の動きに応じて動き探索範囲を変えること
ができ、大きな動きに対応することができてフレーム間
差分を小さくすることができ、画質を劣化させない。請
求項１３記載の画像復号化装置は、請求項１２記載の画
像圧縮符号化装置より圧縮符号化した圧縮画像データを
復号する。

【００３１】この構成によると、圧縮画像データを復号
する際に、画質の劣化を少なくできる。請求項１４記載
の画像記録媒体は、請求項１２記載の画像圧縮符号化装
置より圧縮符号化した圧縮画像データを記録する。この
構成によると、圧縮画像データを記録する際に、画質の
劣化を少なくできる。

【００３２】請求項１５記載の回路規模見積もり方法
は、請求項１２記載の画像圧縮符号化装置より圧縮符
号化した圧縮画像データを伝送する。この構成による
と、圧縮画像データを伝送する際に、画質の劣化を少な
くできる。

【００３３】

【発明の実施の形態】以下、本発明の第１の実施の形態
における動き検出方法および動き検出装置について、図
面を参照しながら説明する。図１は本発明の第１の実施
の形態における動き検出装置１０７Ａのブロック図で、
バッファメモリ１、誤差計算回路２、誤差比較回路３、
アドレス発生回路４、ＣＰＵ５で構成する。図１におい
て、誤差比較回路３からＣＰＵ４へ入力されているライ
ンは第１の実施の形態における動き検出で用いる動きベ
クトルの入力経路を示し、誤差計算回路２からＣＰＵ４
へ入力されているラインは後述の第２の実施の形態にお
ける動き検出で用いる誤差の入力経路を示しており、図
１を第１および第２の実施の形態の説明で参照するため
に、便宜上２本のラインを記載しているが、いずれか一
方が選択的に設けられものである。また図２はＣＰＵ５
の動作を示す説明図である。画像符号化装置全体の構成
については、動き検出装置１０７Ａ以外図８に示したも
のと同様である。

【００３４】以上のように構成された動き検出装置１０
７Ａについて以下図１および図２を用いて説明する。図
１において、バッファメモリ１、誤差計算回路２、誤差
比較回路３、アドレス発生回路４の動作は従来例とほぼ
同様であり、第２フレームの動きベクトルにいては、従
来例と同様にブロック単位に計算する。ところが、第３
フレーム以降の各フレームの動きベクトルを計算すると
きの手順が従来例とは異なる。第３フレーム以降の各フ
レームの動きベクトルを計算する際に、この実施の形態
では、前フレーム（第３フレームの場合には、第２フレ
ーム）の動きベクトルを、画像の動きの大きさを示す時
間的に前に検出された動き探索範囲決定用情報としてＣ
ＰＵ５に入力し、以下に示すような演算処理を行って、
アドレス発生回路４を制御することにより動き探索範囲
を変更する。この際、ＣＰＵ５が動き探索範囲決定用情
報から動き探索範囲を計算する動き探索範囲計算手段と
して機能する。

【００３５】図２は本発明の第１の実施の形態における
動き検出方法にかかるＣＰＵ５の処理動作を示すフロー
チャートである。図２について説明すると、ステップ２
１で前フレーム（例えば、第２フレーム）の全２次元ブ
ロックの動きベクトルを読み込み、ステップ２２で通常
時の動き探索範囲の水平方向の最大値ｈを示す動きベク
トルの個数をカウントする。ステップ２３で個数が全ブ
ロックの５０以上かどうかを判定し、個数が全ブロック
の５０％以上である場合には画像の動きが大きいものと
して水平方向の動き探索範囲を例えば２ｈに拡大する。
動き探索範囲を２倍に拡大するためには、ステップ２４
に示したように誤差計算回路２への入力を１サンプル毎
に間引いて、すなわち１／２にサブサンプルして入力す
るようにアドレス発生回路４を制御する。このようにす
ることにより、各２次元ブロック当たりの計算量は１／
２になるので、動き探索範囲が２倍になっても、総計算
量は動き探索範囲を広げない場合と等しくなる。また、
ステップ２５に示すようにｈ／２を超える動きベクトル
の個数も同時にカウントしておき、ステップ２６でｈ／
２を超える動きベクトルの個数が１０％以下であるか判
定し、１０％以下であるときは、動きが少ないものとし
て動き探索範囲をｈ／２とする。この場合には、誤差計
算回路２へは間引かずに入力する（ステップ２７）。な
お、ｈを超える動きベクトルが５０％未満で、かつｈ／
２を超える動きベクトルの個数が１０％を超えている場
合は、動き探索範囲の変更を行わず、サブサンプリング
は行わない。

【００３６】上記動作により、画像の動きが大きいとき
には計算量を増加させることなく探索範囲を広げること
が可能となる。一般的に、サブサンプルした画像から動
き検出を行うと、動きの検出精度が低下するため画質劣
化につながる。しかしながら動きの大きな場合は、動き
が追従しないことに起因する画質劣化の方が影響が大き
いため、サブサンプルした画像であっても動き探索範囲
を拡大した方が画質は向上する。また、この実施の形態
によれば動きの少ないときはサブサンプルしない画像で
動き検出を行うので、画質劣化を生ずることはなく、さ
らに動き探索範囲を狭めているので、探索に要する処理
時間を短くできる。

【００３７】なお、第１の実施の形態では、ベクトルの
最大値で動き検出範囲変更の判断を行ったが、これに限
るものではなく、例えばベクトルの平均値、メジアン、
分散を利用し、これらを実験により定めた閾値と比較
し、その比較結果を動き検出範囲変更の判断基準とする
こともできる。また、範囲の拡大は２倍であったが、３
倍以上の整数Ｎ倍であってもよい。

【００３８】この実施の形態によると、画像の動きに応
じて動き探索範囲を変えることができ、大きな動きに対
応することができてフレーム間差分を小さくすることが
でき、画質を劣化させない。しかも、動きベクトルの計
算のための演算量が増えないので、動きベクトル演算の
ためのハードウェア量が増えることはない。図３は本発
明の第２の実施の形態における動き検出方法にかかるＣ
ＰＵ５の動作を示すフローチャートである。動き検出装
置１０７Ａの構成については、図１と同じで、ＣＰＵ５
の処理動作のみ第１の実施の形態と異なる。第１の実施
の形態と異なるのは、動きベクトルの検出のための動き
探索範囲の拡大を動きベクトルを統計的処理して判定す
るのではなく、誤差計算回路２の出力である動き検出誤
差で行う点である。

【００３９】動きベクトルの検出の際に得られる誤差、
つまり従来例における誤差σ(x,y)(mx,my)は動きベクト
ル検出後の残差を示し、画像の動きが大きく、動き探索
範囲を超え、動きが当たらないような場合は誤差σ(x,
y)(mx,my)が大きくなる。第２の実施の形態では、動き
ベクトルの検出の際に得られる誤差σ(x,y)(mx,my)を利
用して動き探索範囲の変更を行う。具体的には、２次元
ブロック単位に生成される動き検出誤差σ(x,y)(mx,my)
をフレーム全体で合計し合計値をまず求める（ステップ
３１，３２）。つぎに、あらかじめ実験的に定めた閾値
Ｔｍａｘ，Ｔｍａｘ／２と上記合計値を比較し（ステッ
プ３３，３４）、合計値が閾値Ｔｍａｘより大きい場合
は動きが大きいと判断し、探索範囲を例えば２倍に拡
大、すなわち誤差計算回路２の入力を１／２にサブサン
プリングする（ステップ３４）。逆に、合計値が閾値Ｔ
ｍａｘの１／２より小さい場合、誤差計算回路２の入力
をサブサンプリングしないこととする（ステップ３
６）。

【００４０】以上のような実施の形態によっても、第１
の実施の形態と同様の効果を得ることができる。図４は
本発明の第３の実施の形態における動き検出装置１０７
Ｂを用いた画像符号化装置のブロック図、図５は動き検
出装置１０７Ｂの動き検出方法にかかるＣＰＵ５の動作
を示すフローチャートである。

【００４１】図４において、符号１０１〜１０６、１０
８で示す要素は図８の従来の画像符号化装置と同様の動
作を行う。また、動き検出装置１０７Ｂについては、図
１の動き検出装置０７Ａとほぼ同様であるが、前フレー
ムの２次元ブロックごとの動き補償モードを示す信号を
動き補償フレーム間予測回路１０６から入力する点が異
なる。

【００４２】この実施の形態では、動き探索範囲の切り
替えを前フレームの２次元ブロックごとの動き補償モー
ドを示す信号を統計処理することで行う。動きが大きく
動きが当たらない場合、動き補償しても動き補償後の誤
差σ(x,y)(mx,my)が大きくなるのは第２の実施の形態で
述べたとおりであり、そのような誤差σ(x,y)(mx,my)の
大きな動きベクトルを動き補償に用いても動き補償を的
確に行えないので、動き補償予測フレーム間予測回路１
０６では、一般的に、予測誤差、すなわち予測値（動き
補償して生成した２次元ブロック）と符号化対象ブロッ
クとの誤差の大きさを実験で定めた閾値と比較し、動き
ベクトルの大きさあるいは誤差σ(x,y)(mx,my)の大きさ
が閾値より小さいときには、動きベクトルを用いて動き
補償を行うが、閾値より大きくなって動きが当たらない
場合に自動的に、動き補償しないモード、すなわちイン
トラモードをそのブロックで選択するように構成されて
いるが、２次元ブロック単位の動き補償モードを示す信
号を動き補償フレーム間予測回路１０６からＣＰＵ５に
入力し、フレームの２次元ブロックのうちイントラモー
ドが選択されたブロック数をカウントし、その数を閾値
と比較し、その比較結果を動き探索範囲を決める基準と
している。

【００４３】ここで、ＣＰＵ５の処理動作について図５
を参照して説明する。図５では、ＣＰＵ５は、前フレー
ムの動き補償モードを示す信号をステップ５１で読み込
み、ステップ５２でイントラモードが選択されたブロッ
ク数を１フレーム内で合計し、ステップ５３で全ブロッ
ク中の５０％以上がイントラブロックであるかどうかを
判断し、５０％以上である場合は動きが大きいと判断
し、動き探索範囲を例えば２倍に拡大、すなわち誤差計
算回路２の入力をサブサンプリングする。５０％未満で
あれば、動き探索範囲は元のままで、サブサンプリング
も行わない。

【００４４】以上の実施の形態によっても、動き探索範
囲の切り替えを行うことができる。この実施の形態で
は、動き探索範囲を狭くすることはできないが、第２の
実施の形態に比べ、実際に画像符号化した結果を用いる
ため、より精度の高い判定が可能となる。なお、以上で
は第１、第２、第３の実施の形態を分けて説明したが、
これらの実施の形態の条件を組み合わせて用いることも
可能である。

【００４５】また、以上の実施の形態では、動き探索範
囲を切り替えるための閾値として、動きベクトルの最大
値を示す個数が全ブロックの５０％、動きベクトル検出
の際の誤差σ(x,y)(mx,my)の合計値が閾値Ｔｍａｘの１
／２、イントラブロックが全ブロック中の５０％などを
例として説明しているが、これらに限るものではなく、
実際の利用形態にあわせて調節することができる。

【００４６】さらに、以上の実施の形態において、動き
検出誤差は２乗誤差を加算して得たが、絶対値誤差を用
いることもできる。図６は本発明の第４の実施の形態に
おける動き検出装置１０７Ａの動き検出方法にかかるＣ
ＰＵ５の動作を示すフローチャートである。この実施の
形態では、動き探索範囲の拡大に伴う演算量の増大を、
サブサンプリングによるのではなく、水平、垂直の動き
探索範囲を同時に変更することによって行う。図６にお
いて、ステップ６１〜６３で前フレームまでの動き探索
範囲（水平方向の動き探索範囲→ｈ、垂直方向の動き探
索範囲→ｖ）を設定し、ｈ×ｖ→Ｓの演算を行う。計算
量は動き探索範囲の面積に比例するため水平方向ｈと、
垂直方向のｖを掛け合わせた値Ｓは総計算量に比例す
る。ステップ６４，６５で現フレームについての水平、
垂直の新しい動き探索範囲を判定し、水平方向の動き探
索範囲ｈ’，垂直方向の動き探索範囲ｖ’を別々に求め
る。範囲判定方法は実施の形態１〜３のいずれかの方法
を用いる。つぎに、ステップ６６でｈ’×ｖ’と先に計
算したＳの比較を行い、Ｓを超えた際、水平探索範囲を
２倍に拡大する場合は、垂直探索範囲を１／２にし（ス
テップ６７，６８）、垂直探索範囲を２倍にする場合
は、水平探索範囲を１／２にする（ステップ６９，７
０）。また、水平、垂直とも２倍に拡大と判定した場合
は、両方とも拡大しない（ステップ７１，７２）。

【００４７】実際の画像では、動きが大きい際、水平あ
るいは垂直どちらか一方向のみの場合が多く、この実施
の形態によって、ハードウェアを増加させることなく圧
縮画像の画質向上を図ることが可能となる。また以上の
実施の形態では、すべて前フレームの動き検出、あるい
は動き補償のモードを利用するとしたが、これに限るも
のではなく、時間的に前に検出された情報ならば何でも
利用できる。例えば、ハードウェアの応答が十分早けれ
ば、同じフレーム内の時間的に前の２次元ブロックの動
き検出情報を用いることも可能である。あるいは、前フ
レームの情報からだけでなく、時間的に前の複数フレー
ムの情報を用いて、判定することもまた可能である。

【００４８】さらに、蓄積メディアに対する符号化など
複数回の符号化が可能な場合には、１回目の符号化で得
た動き情報から動き探索範囲をあらかじめ計算し、２回
目の符号化で１回目で定めた動き探索範囲を用いて動き
ベクトルを検出することもできる。図７は本発明の第５
の実施の形態における動き検出装置１０７Ｂを用いた画
像符号化装置７０、記録媒体７１、伝送路７２、画像復
号化装置７３を説明するためのブロック図である。な
お、動き検出装置１０７Ａを用いて画像符号化装置７０
を構成してもよいのは当然であり、動き探索範囲の変更
の際に、サブサンプリング等の処理を行わないもので、
画像符号化装置を構成してもよいのはいうまでもない。

【００４９】第５の実施の形態における画像符号化装置
７０は第３の実施の形態で用いた画像符号化装置と同様
のものである。第５の実施の形態では、第３の実施の形
態における画像符号化装置７０により生成した符号化出
力を記録媒体７１に記録、あるいは伝送路７２を通して
伝送し、画像復号化装置７３にて復号し、実時間画像デ
ータに戻している。

【００５０】画像符号化装置７０において、ＤＣＴ回路
１０２，量子化器１０３等が次フレームの画像データと
動き補償フレーム間予測回路から出力される予測値の予
測誤差を符号化する符号化手段を構成し、逆量子化器１
０３および逆ＤＣＴ回路１０４が符号化手段の出力を復
号化する復号化手段を構成し、復号化手段の出力と動き
補償フレーム間予測回路の出力とを加えた次フレームの
画像データでフレームメモリ１０５を更新するようにし
ている。

【００５１】画像復号化装置７３は、動き補償回路１１
０以外の、逆量子化器１０３Ｂ、逆ＤＣＴ回路１０４
Ｂ、フレームメモリ１０５Ｂは画像符号化装置７０の逆
量子化器１０３、逆ＤＣＴ回路１０４、フレームメモリ
１０５と同様のものを用いている。動き補償回路１１０
は、画像符号化装置における動き補償フレーム間予測回
路１０６から、モード選択部分の機能を除いた回路であ
る。復号化時には、モードがあらかじめ定まっているた
め、符号化出力に多重されているモード信号を用いて動
き補償を行う。従来の画像復号化装置と異なるのは、動
き補償の範囲を拡大した場合にも対応できる点である。
なお、上記の動き補償回路１１０は、フレームメモリと
アドレス発生回路とからなり、従来例と異なるのは、動
き補償の範囲を拡げ得ること、つまり従来例より大きな
アドレスを発生し得るアドレス発生回路を備えている点
である。

【００５２】この実施の形態によれば、第１〜第４の実
施の形態の動き補償装置、ならびに画像圧縮装置により
生成した圧縮符号化出力を記録、伝送、復号することが
可能となり、効果は先の実施の形態と同様である。

【００５３】

【発明の効果】請求項１記載の動き検出方法によれば、
画像の動きの大きさを示す時間的に前に検出された動き
探索範囲決定用情報を入力し、動き探索範囲決定用情報
に基づいて動き探索範囲を定めるので、画像の動きに応
じて動き探索範囲を拡大することができ、動きの大きな
画像でも画質劣化のない圧縮符号化が可能となる。

【００５４】請求項２記載の動き検出方法によれば、フ
レーム毎に動き探索範囲の変更を行うことが可能で、画
像の動きの変化に速やかに対応することができ、画質を
劣化させない。請求項３記載の動き検出方法によれば、
２次元ブロック単位で動き探索範囲の変更を行うことが
可能で、画像の動きの変化にいっそう速やかに対応する
ことができる。

【００５５】請求項４記載の動き検出方法によれば、動
きベクトルに基づいて動き探索範囲を定めることがで
き、画像の動きに対応して動き探索範囲を容易に定める
ことができる。請求項５記載の動き検出方法によれば、
動きベクトルを計算した際の誤差に基づいて動き探索範
囲を定めることができ、画像の動きに対応して動き探索
範囲を容易に定めることができる。

【００５６】請求項６記載の動き検出方法によれば、前
フレームの動き補償結果に基づいて動き探索範囲を定め
ることができ、動き探索範囲をより精度よく決めること
ができる。請求項７記載の動き検出装置によれば、画像
の動きの大きさを示す時間的に前に検出された動き探索
範囲決定用情報を入力し、動き探索範囲決定用情報に基
づいて動き探索範囲を定めるので、画像の動きに応じて
動き探索範囲を拡大することができ、動きの大きな画像
でも画質劣化のない圧縮符号化が可能となる。

【００５７】請求項８記載の動き検出方法によれば、画
像の動きの大きさを示す時間的に前に検出された動き探
索範囲決定用情報を入力し、動き探索範囲決定用情報に
基づいて動き探索範囲を定めるときに、時間的に前に動
きベクトルを計算した際の演算量を超えないようにする
ので、画像の動きに応じて動き探索範囲を拡大すること
ができ、動きの大きな画像でも画質劣化のない圧縮符号
化が可能となり、しかも計算量を増加させることはな
く、ハードウェアが増大することはない。

【００５８】請求項９記載の動き検出方法によれば、サ
ブサンプリングによって動き探索範囲内の画素数が同じ
となり、動きベクトルの計算のための演算量が増えな
い。請求項１０記載の動き検出方法によれば、動き探索
範囲を水平もしくは垂直方向に拡大したときは、それと
直交する方向には拡大比の逆数で縮小するので、動き探
索範囲内の画素数が同じとなり、動きベクトルの計算の
ための演算量が増えない。

【００５９】請求項１１記載の動き検出装置によれば、
画像の動きの大きさを示す時間的に前に検出された動き
探索範囲決定用情報を入力し、動き探索範囲決定用情報
に基づいて動き探索範囲を定めるときに、時間的に前に
動きベクトルを計算した際の演算量を超えないようにす
るので、画像の動きに応じて動き探索範囲を拡大するこ
とができ、動きの大きな画像でも画質劣化のない圧縮符
号化が可能となり、しかも計算量を増加させることはな
く、ハードウェアが増大することはない。

【００６０】請求項１２記載の画像圧縮符号化装置によ
れば、符号化の際に画像の動きに応じて動き探索範囲を
変えることができ、大きな動きに対応することができて
フレーム間差分を小さくすることができ、画質を劣化さ
せない。しかも、動きベクトルの計算のための演算量が
増えないので、動きベクトル演算のためのハードウェア
量が増えることはない。

【００６１】請求項１３記載の画像復号化装置によれ
ば、圧縮画像データを復号する際に、画質の劣化を少な
くできる。請求項１４記載の画像記録媒体によれば、圧
縮画像データを記録する際に、画質の劣化を少なくでき
る。請求項１５記載の画像伝送媒体によれば、圧縮画像
データを伝送する際に、画質の劣化を少なくできる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態における動き検出装
置のブロック図である。

【図２】本発明の第１の実施の形態における動き検出装
置のＣＰＵの動作を示すフローチャートである。

【図３】本発明の第２の実施の形態における動き検出装
置のＣＰＵの動作を示すフローチャートである。

【図４】本発明の第３の実施の形態における動き検出装
置を用いた画像符号化装置のブロック図である。

【図５】本発明の第３の実施の形態における動き検出装
置のＣＰＵの動作を示すフローチャートである。

【図６】本発明の第４の実施の形態における動き検出装
置のＣＰＵの動作を示すフローチャートである。

【図７】本発明の第５の実施の形態における動き検出装
置を用いた画像符号化装置、記録媒体、伝送路、画像復
号装置のブロック図である。

【図８】従来の動き補償フレーム間差分２次元ＤＣＴの
ブロック図である。

【図９】従来の動き検出装置のブロック図である。

【符号の説明】

１バッファメモリ２誤差計算回路３誤差比較回路４アドレス発生回路５ＣＰＵ７０画像符号化装置７１記録媒体７２伝送路７３画像復号化装置１０１ＤＣＴ回路１０２量子化器１０３逆量子化器１０４逆ＤＣＴ回路１０５フレームメモリ１０６動き補償フレーム間予測回路１０７Ａ動き検出装置１０７Ｂ動き検出装置１１０動き補償回路

Claims

【特許請求の範囲】

【請求項１】現フレームを分割した２次元ブロックの
位置を中心とする前記前フレームの所定の動き探索範囲
内で、前記現フレームを分割した２次元ブロックの前フ
レームからの画面上の動きを示す動きベクトルを計算す
る動き検出方法であって、画像の動きの大きさを示す時
間的に前に検出された動き探索範囲決定用情報を入力
し、前記動き探索範囲決定用情報に基づいて前記動き探
索範囲を定めることを特徴とする動き検出方法。
【請求項２】動き探索範囲の変更を、フレーム単位で
行うことを特徴とする請求項１記載の動き検出方法。
【請求項３】動き探索範囲の変更を、フレームを分割
した２次元ブロック単位で行うことを特徴とする請求項
１記載の動き検出方法。
【請求項４】動き探索範囲決定用情報が、前フレーム
以前の１または複数のフレームについて２次元ブロック
単位毎に既に計算した動きベクトルであることを特徴と
する請求項１記載の動き検出方法。
【請求項５】動き探索範囲決定用情報が、前フレーム
以前の１または複数のフレームについて２次元ブロック
単位毎に既に動きベクトルを計算した際に計算した誤差
であることを特徴とする請求項１記載の動き検出方法。
【請求項６】動き探索範囲決定用情報が、前フレーム
以前の１または複数のフレームについて２次元ブロック
単位毎に既に計算した動きベクトルを用いて動き補償す
る際の動き補償モードを、動き補償を行わないイントラ
モードに設定した前記２次元ブロックの個数であること
を特徴とする請求項１記載の動き検出方法。
【請求項７】現フレームを分割した２次元ブロックの
位置を中心とする前記前フレームの所定の動き探索範囲
内で、前記現フレームを分割した２次元ブロックの前フ
レームからの画面上の動きを示す動きベクトルを計算す
る動き検出装置であって、画像の動きの大きさを示す時
間的に前に検出された動き探索範囲決定用情報を入力
し、前記動き探索範囲決定用情報から前記動き探索範囲
を計算する動き探索範囲計算手段を設けたことを特徴と
する動き検出装置。
【請求項８】現フレームを分割した２次元ブロックの
位置を中心とする前記前フレームの所定の動き探索範囲
内で、前記現フレームを分割した２次元ブロックの前フ
レームからの画面上の動きを示す動きベクトルを計算す
る動き検出方法であって、画像の動きの大きさを示す時
間的に前に検出された動き探索範囲決定用情報を入力
し、前記動き探索範囲決定用情報に基づいて前記動き探
索範囲を定めるときに、時間的に前に前記動きベクトル
を計算した際の演算量を超えないようにすることを特徴
とする動き検出方法。
【請求項９】動きベクトルの探索範囲をＮ倍に拡大す
る際は、入力する画像を１／Ｎでサブサンプリングする
ことを特徴とする請求項８記載の動き検出方法。
【請求項１０】動きベクトルの探索範囲を水平方向に
Ｎ倍に拡大する際は、垂直方向に１／Ｎ倍の探索範囲と
し、垂直方向にＮ倍に拡大する際は水平方向に１／Ｎ倍
の探索範囲とすることを特徴とする請求項８記載の動き
検出方法。
【請求項１１】現フレームを分割した２次元ブロック
の位置を中心とする前記前フレームの所定の動き探索範
囲内で、前記現フレームを分割した２次元ブロックの前
フレームからの画面上の動きを示す動きベクトルを計算
する動き検出装置であって、画像の動きの大きさを示す
時間的に前に検出された動き情報を入力し、前記動き探
索範囲決定用情報から前記動き探索範囲を計算するとき
に、時間的に前に前記動きベクトルを計算した際の演算
量を超えないようにする動き探索範囲計算手段を設けた
ことを特徴とする動き検出装置。
【請求項１２】請求項１まはた請求項８記載の動き検
出方法によって求めた動きベクトルを用いて、画像圧縮
符号化する画像圧縮符号化装置。
【請求項１３】請求項１２記載の画像圧縮符号化装置
より圧縮符号化した圧縮画像データを復号する画像復号
化装置。
【請求項１４】請求項１２記載の画像圧縮符号化装置
より圧縮符号化した圧縮画像データを記録する画像記録
媒体。
【請求項１５】請求項１２記載の画像圧縮符号化装置
より圧縮符号化した圧縮画像データを伝送する画像伝送
媒体。