JPH0818974A - 動画像符号化装置および動画像の動き検出装置 - Google Patents

Abstract

(57)【要約】 【目的】カメラ操作による画像全体の動きと被写体の動
きを補償でき、また動きベクトルの符号量を極力小さく
できる動画像符号化装置を提供する。 【構成】画像フレーム内の指定された領域の動きを示す
グローバル動きパラメータを検出する動きパラメータ検
出回路２１と、グローバル動きパラメータを用いて動き
補償フレーム間予測を行い予測画像信号を生成する予測
画像生成回路２３と、予測画像信号１０７と入力動画像
信号１０１との差分を検出する予測誤差検出回路２４
と、領域を予測誤差が閾値以上の領域と該閾値に満たな
い領域とに分割する領域分割回路２５とを備え、予測誤
差が閾値以上の領域について動きパラメータ検出・予測
画像生成・予測誤差検出および領域分割の動作を所数回
数繰り返し、最終的に得られた動きパラメータと予測誤
差および領域を示す情報を符号化する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動き補償フレーム間予
測符号化方式よる動画像符号化装置および動画像の動き
検出装置に関する。

【０００２】

【従来の技術】動画像を高能率に圧縮符号化する代表的
な方式の一つとして、動き補償フレーム間予測符号化方
式が知られている。この符号化方式は、動画像の動きを
示す動きベクトルを用いて前フレームの画像から現フレ
ームの画像を予測し、この予測画像と現フレームの画像
との差分である予測誤差を符号化する方式である。この
場合、予測誤差の符号とは別に動きベクトルの符号を伝
送するため、動きベクトルの符号量もできるだけ削減す
る必要がある。

【０００３】動きベクトルの符号量を削減する方法とし
て、従来より、カメラ操作によるパン・チルト・ズーム
・回転等の画面全体の動きを表すパラメータ（グローバ
ル動きパラメータ）を検出してそれを伝送し、画像を定
められた大きさに分割した小ブロック毎に動きベクトル
を展開して動き補償フレーム間予測を行う方式が考えら
れている。その一例として、例えば特開平４−３５９５
号「動画像の動き情報検出方式および動画像の動き補償
フレーム間予測符号化方式」には、画面全体の動きを記
述したアフィン変換を特徴づける動きパラメータを、小
ブロック毎に検出した動きベクトルから検出する方式が
示されている。この方式では、検出した動きパラメータ
から画素毎または小ブロック毎の動きベクトルを展開
し、その動きベクトルを用いて動き補償フレーム間予測
符号化を行うことにより、動きベクトルの符号量を削減
している。また、展開した動きベクトルを基準値として
画素毎または小ブロック毎の動きベクトルを検出し、該
動きベクトルを用いて動き補償フレーム間予測を行うこ
とにより、誤りの少ない動きベクトルの検出を可能とす
ることも示されている。

【０００４】

【発明が解決しようとする課題】画面全体から検出した
動きパラメータを用いて動き補償予測を行う方式では、
カメラ操作によるパン・チルト・ズーム・回転等の画面
全体の動きを補償することが可能であるが、画面内の被
写体の動きを補償することはできない。

【０００５】一方、画面全体から検出した動きパラメー
タから展開した動きベクトルを基準値として画素毎また
は小ブロック毎に検出した動きベクトルを用いれば、画
面内の被写体の動きを補償することが可能であるが、動
きベクトルの符号量が増加するという問題がある。

【０００６】また、画像フレーム全体に対してグローバ
ル動き補償を行って予測画像を生成すると、予測画像の
一部分に対して対応する参照画像が存在しないために予
測画像が欠落することがある。このような場合、予測画
像と入力動画像との予測誤差の符号化（残差符号化）に
必要な符号量が増大してしまうという問題がある。

【０００７】また、小ブロック毎に求めた動きベクトル
から画面全体の動きパラメータを求める方式は、画面内
における移動する被写体の面積の割合が大きい場合に、
必ずしも正確な動きパラメータが求まらないという欠点
があった。

【０００８】本発明の第１の目的は、カメラ操作による
画像全体の動きのみならず、被写体の動きをも補償で
き、しかも動きベクトルの符号量を極力小さくできる動
き補償フレーム間予測符号化を用いた動画像符号化装置
を提供することにある。

【０００９】本発明の第２の目的は、画像フレーム全体
に対してグローバル動き補償を行って予測画像を生成す
る場合に予測画像の欠落が少なく、残差符号化に必要な
符号量が増大しない動画像符号化装置を提供することに
ある。

【００１０】本発明の第３の目的は、画面内における移
動する被写体の面積の割合にかかわらず正確な動きパラ
メータを得ることができる動画像の動き検出装置を提供
することにある。

【００１１】

【課題を解決するための手段】上記の課題を解決するた
め、第１の発明に係る動画像符号化装置は、画像フレー
ム全体または画像フレーム内の所定の領域の動きを示す
動きパラメータ（グローバル動きパラメータ）を検出す
る動きパラメータ検出手段と、前記動きパラメータを用
いて動き補償フレーム間予測を行うことにより入力動画
像信号に対する予測画像信号を生成する予測画像生成手
段と、前記予測画像信号と入力動画像信号との差分を予
測誤差として検出する予測誤差検出手段と、前記領域を
前記予測誤差が所定の閾値以上の領域と該閾値に満たな
い領域とに分割する領域分割手段と、前記動きパラメー
タと前記予測誤差および前記領域を示す情報を符号化す
る符号化手段とを備え、前記予測誤差が所定の閾値以上
の領域について前記動きパラメータ検出手段、前記予測
画像生成手段、前記予測誤差検出手段および前記領域分
割手段の動作を所数回数繰り返し、最終的に得られた前
記動きパラメータと前記予測誤差および前記領域を示す
情報を前記符号化手段により符号化することを特徴とす
る。

【００１２】また、第１の発明において動きパラメータ
検出手段、予測画像生成手段、予測誤差検出手段および
領域分割手段の第１回目に動作する領域を画像フレーム
全体とすることを特徴とする。

【００１３】さらに、第１の発明において動きパラメー
タ検出手段、予測画像生成手段、予測誤差検出手段およ
び領域分割手段の動作を少なくとも一回行った後、予測
誤差の大きい領域について動きパラメータ検出手段およ
び予測画像生成手段の動作を行うことを特徴とする。

【００１４】第２の発明に係る動画像符号化装置は、画
像フレーム全体の動きを示す動きパラメータ（グローバ
ル動きパラメータ）を検出する動きパラメータ検出手段
と、前記画像フレーム内の画像信号とその周辺部の画像
信号を参照画像信号として記憶する記憶手段と、前記動
きパラメータを用いて前記記憶手段に記憶されている参
照画像信号全体に対して動き補償フレーム間予測を行う
ことにより予測画像信号を生成するとともに、該予測画
像信号によって前記記憶手段の内容を更新する予測画像
信号生成手段と、前記予測画像信号と入力動画像信号と
の差分を予測誤差として検出する予測誤差検出手段と、
前記前記動きパラメータおよび前記予測誤差を符号化す
る符号化手段とを具備することを特徴とする。

【００１５】また、第２の発明において画像メモリに画
像フレームよりも大きく、画像フレームの画素間を補間
して得られる画像信号およびその周辺部の画像信号を記
憶するようにしたことを特徴とする。

【００１６】第３の発明に係る動画像の動き検出装置
は、画像フレーム全体の動きを示す動きパラメータを発
生する動きパラメータ発生手段と、この動きパラメータ
発生手段から発生される動きパラメータに従って参照画
像信号を変換する手段と、この手段によって変換された
参照画像信号と入力動画像信号との差分画像信号を得る
手段と、この手段により得られた差分画像信号の画素毎
の誤差情報が予め設定された第１の閾値以上となる画素
の数と、該差分画像信号を分割して得られる小領域内の
誤差情報が予め設定された第２の閾値以上となる小領域
の数の少なくとも一方の関数を歪み評価関数として、前
記動きパラメータ発生手段から発生される動きパラメー
タを探索する手段とを備えたことを特徴とする。

【００１７】

【作用】第１の発明は、画像フレーム内の動き補償の対
象とする領域が、それぞれ異なるグローバル動きパラメ
ータによって動きが記述されるような複数の領域より構
成されている場合に有効である。すなわち、第１の発明
では、まず第１回目のグローバル動きパラメータの検出
により、画像フレーム内の動き補償の対象とする複数の
領域のうちの１つの領域のグローバル動きパラメータを
検出し、このグローバル動きパラメータを用いて動き補
償フレーム間予測を行う。次に、予測画像信号と入力動
画像信号との差分から領域分割を行うことによって、第
１回目に検出されたグローバル動きパラメータによって
動きが記述される領域を除く領域を抽出する。さらに、
この抽出された領域に対して第２回目のグローバル動き
パラメータの検出・動き補償フレーム予測・領域分割を
行うことにより、抽出された領域を構成する動きの異な
る複数の領域のうちの１つの領域のグローバル動きパラ
メータを検出し、該領域を除く領域を抽出する。以下、
同様の動作を適切な回数だけ繰り返すことによって、画
像の複雑な動きを少ないパラメータで記述することがで
きる。

【００１８】この場合、動きパラメータ検出手段、予測
画像生成手段、予測誤差検出手段および領域分割手段の
第１回目に動作する領域を画像フレーム全体とすれば、
第１回目のグローバル動きパラメータとしてカメラの動
きを検出し、画像フレーム全体の動きを補償することが
できる。

【００１９】また、第２回目以降のグローバル動きパラ
メータの検出および動き補償フレーム間予測を行った
後、それ以上領域を分割する必要がない場合には、領域
の分割を行わないようにすることによって、領域分割の
情報に必要な符号量を削減することができる。

【００２０】第２の発明では、画像フレームとその周辺
の画像を記憶することができる画像メモリを備え、グロ
ーバル動き補償予測を行う際に必要な参照画像信号とし
て画像フレームの画像信号とその周辺部の画像信号から
なる画像フレームよりも広い範囲の参照画像信号を記憶
するため、予測画像の欠落が少なくなり、残差符号化に
必要な符号量が削減される。

【００２１】ここで、１画素よりも細かい精度でグロー
バル動き補償を行う場合は、まず画像フレーム内の画素
間を補間して得られる画像信号とその周辺部の画像信号
の画素間を補間して得られる画像信号を、拡大した参照
画像信号として生成して画像メモリに記憶し、その参照
画像信号を用いてグローバル動きパラメータの検出を行
う。次に、拡大した参照画像信号に対してグローバル動
き補償を行って予測画像信号を生成し、この予測画像信
号をサブサンプリングにより元の大きさに戻して画像メ
モリに記憶されている参照画像信号を更新する。この場
合、グローバル動きパラメータによっては、拡大する際
に補間した画素をサンプリングすることとなり、画像メ
モリ内の画像の解像度が低下するが、画像メモリに補間
した参照画像信号を記憶しているため、その画像メモリ
の内容を更新する際に、画像信号の拡大・縮小処理を行
う必要がなく、解像度の低下は生じない。

【００２２】第３の発明では、グローバル動きパラメー
タの探索を行う際の歪みの評価関数として、誤差情報が
第１の閾値以上となる画素数と、誤差情報が第２の閾値
以上となる領域数の少なくとも一方を用いている。これ
により、誤差情報が閾値以下となる面積が最大となると
きに値が最小となるような歪みの評価関数を設定するこ
とが可能であり、動き補償の対象とする領域内で最も広
い範囲の動きを記述するグローバル動きパラメータをそ
の他の領域の画像の動きの影響を受けずに検出すること
ができる。

【００２３】

【実施例】以下、本発明の実施例を説明する。 （実施例１）図１は、本発明の一実施例に係る動き補償
フレーム間予測符号化方式による動画像符号化装置の構
成を示すブロック図である。この動画像符号化装置は、
減算器１１、グローバル動き補償回路１２、加算器１
３、フレームメモリ１４、および符号変換回路１５によ
り構成され、また入力として符号化すべき入力動画像信
号１０１、第１回目にグローバル動き補償を行う領域を
示す領域情報１０３および領域分割の基準となる閾値１
０９が与えられている。

【００２４】グローバル動き補償回路１２は、入力動画
像信号１０１、フレームメモリ１３から出力される参照
画像信号１０２、第１回目にグローバル動き補償を行う
領域を示す領域情報１０３および領域分割の基準となる
閾値１０９を入力として、グローバル動きパラメータ１
０６と、このグローバル動きパラメータ１０６によって
第２回目以降に動き補償を行う領域を示す領域情報１１
０および予測画像信号１０７を出力する。

【００２５】一方、減算器１２は入力動画像信号１０１
と予測画像信号１０７との差分を予測誤差として検出
し、予測誤差信号１１１を出力する。加算器１３は、予
測画像信号１０７と予測誤差信号１１１を加算して局部
再生信号１１２を出力する。フレームメモリ１４は、局
部再生信号１１２を１フレーム分記憶保持し、それを参
照画像信号１０２として出力する。符号化回路１５は、
予測誤差信号１１１とグローバル動きパラメータ１０６
および領域情報１１０を符号化して符号１１３を出力す
る。

【００２６】図２は、図１におけるグローバル動き補償
回路１２の詳細な構成を示すブロック図である。このグ
ローバル動き補償回路１２は、グローバル動きパラメー
タ検出回路２１、スイッチ２２、予測画像生成回路２
３、加算器２４、および領域分割回路２５からなる。

【００２７】グローバル動きパラメータ検出回路２１に
は、入力動画像信号１０１と参照画像信号１０２が入力
される。スイッチ２２は、第１回目にグローバル動きパ
ラメータの検出を行う際には、領域情報１０３を選択す
る。グローバル動き検出回路２１では、画像フレーム内
の領域情報１１０によって指定された領域全体の動きを
示すグローバル動きパラメータ１０６を入力動画像信号
１０１および参照画像信号１０２から検出し、予測画像
生成回路２３に供給する。予測画像生成回路２３は、グ
ローバル動きパラメータ１０６に従って参照画像信号１
０２に動き補償を行い、スイッチ２２で選択された領域
情報１０５により指定された領域の予測画像信号１０７
を生成して出力する。領域分割回路２５は、予測画像信
号１０７と入力動画像信号１０１との差分である予測誤
差信号１０８から、閾値１０９を用いてスイッチ２２で
選択された領域情報１０５により指定された領域を誤差
の大きい領域（誤差が閾値１０９以上の領域）と、誤差
の小さい領域（誤差が閾値１０９に満たない領域）とに
分割して、誤差の大きい領域を示す領域情報１０４と誤
差の小さい領域を示す領域情報１１０を出力する。

【００２８】第２回目以降は、スイッチ２２は誤差の大
きい領域を示す領域情報１０４を選択し、上記と同様の
動作を繰り返す。そして、最終的に得られたグローバル
動きパラメータ１０６と予測誤差信号１１１および領域
情報１１０を符号化回路１５で符号化して符号１１３と
して出力する。

【００２９】このように本実施例では、第１回目のグロ
ーバル動きパラメータの検出に際しては、画像フレーム
内の領域情報１０３で指定された領域全体のグローバル
動きパラメータ１０６を検出し、このグローバル動きパ
ラメータ１０６を用いて動き補償フレーム間予測を行
う。次に、予測画像信号１０７と入力動画像信号１０１
との差分である予測画像信号１０８から領域分割を行う
ことによって、第１回目に検出されたグローバル動きパ
ラメータ１０６によって動きが記述される領域を除く領
域、つまり誤差の大きい領域を抽出し、領域情報１０４
を出力する。さらに、この領域情報１０４で指定された
領域に対して第２回目のグローバル動きパラメータの検
出・動き補償フレーム予測・領域分割を行う。以下、同
様の動作を適切な回数だけ繰り返すことによって、画像
の複雑な動きを少ないパラメータで記述することができ
る。

【００３０】（実施例２）本実施例では、図１および図
２の構成において、領域情報１０３によって指定される
第１回目にグローバル動き補償を行う領域を画像フレー
ム全体とする。

【００３１】（実施例３）本実施例では、図１および図
２の構成において、グローバル動きパラメータの検出・
予測画像の生成・領域分割を少なくとも１回繰り返した
後、グローバル動きパラメータの検出と予測画像信号の
生成のみを行う。

【００３２】（実施例４）図３は、本実施例に係る動き
補償フレーム間予測符号化方式による動画像符号化装置
のブロック図である。この動画像符号化装置は、減算器
１１、グローバル動き補償回路１２、加算器１３、画像
メモリ１６、および符号変換回路１５により構成されて
いる。画像メモリ１６は、画像フレーム内の画像信号と
その周辺部の画像信号を参照画像信号として記憶するも
のであり、通常のフレームメモリとは画像フレームの周
辺部の画像信号をも記憶する点で異なる。

【００３３】減算器１１は、入力動画像信号１０１と予
測画像信号１０７の画像フレーム内の部分との差分を予
測誤差として検出し、予測誤差信号１１１を出力する。
グローバル動き補償回路１２は、入力動画像信号１０１
について画像フレーム全体の動きを示すグローバル動き
パラメータ１０６を検出するグローバル動きパラメータ
検出回路２１と、グローバル動きパラメータ１０６を用
いて画像メモリ１６に記憶されている参照画像信号に動
き補償フレーム間予測を行って予測画像信号１０７を生
成するとともに、予測画像信号１０７によって画像メモ
リ１６の内容を更新する予測画像生成回路２３により構
成される。

【００３４】加算器１３は、予測画像信号１０７の画像
フレーム内の部分と、予測誤差信号１１１を加算して局
部再生信号１１２を出力する。画像メモリ１６は、局部
再生信号１１２を画像フレーム内画像信号とし、これと
その周辺部の画像の画像信号を参照画像信号として記憶
保持し、参照画像信号１０２として出力する。符号化回
路１５は、予測誤差信号１１１および画像フレーム全体
の動きを示すグローバル動きパラメータ１０６を符号化
して符号１１３を出力する。

【００３５】次に、本実施例の具体的な動作例を図４お
よび図５を用いて説明する。従来のグローバル動き補償
では、図５（ａ）に示す参照画像信号５０１に対して、
次に入力された画像が左下に動いていた場合、グローバ
ル動き補償を行うと図５（ｂ）に示す予測画像信号５０
２が得られる。ここで、斜線部５０３は参照画像が存在
しないために予測画像信号を作ることができない部分で
ある。この斜線部５０３は残差符号化（予測誤差信号の
符号化）により再生され、図５（ｃ）に示す参照画像信
号５０４が得られる。一方、次に入力された画像が上に
動いていた場合、グローバル動き補償を行うと図５
（ｄ）に示す予測画像信号５０５が得られ、斜線部５０
６で表される予測画像信号の欠落が再び生じる。このた
め、残差符号化に必要な符号量が増大する。

【００３６】これに対して、本実施例では画像メモリ１
６に図４（ａ）に示すような画像フレーム４０２内の画
像信号とその周辺部４０３の画像信号が参照画像信号４
０１として記憶されている。従って、画像メモリ１６内
の画像フレーム４０２の部分に記憶されている画像信号
に対して、図５（ａ）の参照画像信号５０１に対して行
ったのと同様のグローバル動き補償を行った場合、図４
（ｂ）の画像フレーム内に相当する予測画像信号４０４
が得られ、破線で囲まれた領域で表される画像フレーム
の外に出た画像信号４０５は画像メモリ１６に記憶され
る。

【００３７】次に、予測画像信号４０４に残差符号化を
行って再生された画像信号を用いて画像メモリ１６の内
容を更新し、図４（ｃ）に示す参照画像信号４０６を得
る。さらに、この参照画像信号４０６に対して、図５
（ｃ）の再生画像信号５０４に対して行ったのと同じグ
ローバル動き補償を行った場合、図４（ｄ）に示すよう
な画像フレーム内に相当する予測画像信号４０７が得ら
れる。

【００３８】このように本実施例では、画像フレーム内
の画像信号４０２とその周辺部の画像信号４０３を参照
画像信号４０１として記憶する画像メモリ１６を用いた
ことにより、図４（ｄ）の予測画像信号４０７の欠落４
０８は、図５（ｄ）の予測画像信号５０５の欠落５０６
と比較して小さくなる。従って、予測画像信号の欠落が
減少した分だけ残差符号化に必要な符号量が減少し、符
号化効率が向上するという利点がある。

【００３９】（実施例５）図６は、実施例４を変形した
本実施例に係る補償フレーム間予測符号化方式による動
画像符号化装置の要部のみ示すブロック図である。本実
施例は、図３に示した実施例４における減算器１１およ
び加算器１３を取り除いた以外、実施例４と同様であ
る。

【００４０】すなわち、本実施例は入力動画像信号１０
１について画像フレーム全体の動きを示すグローバル動
きパラメータ１０６を検出するグローバル動きパラメー
タ検出回路２１と、グローバル動きパラメータ１０６を
用いて画像メモリ１６に記憶されている参照画像信号に
動き補償フレーム間予測を行って予測画像信号１０７を
生成するとともに、予測画像信号１０７によって画像メ
モリ１６の内容を更新する予測画像生成回路２３と、予
測画像信号１０７を画像フレーム内画像信号とし、これ
とその周辺部の画像の画像信号を参照画像信号として記
憶保持し、参照画像信号１０２として出力する画像メモ
リ１６を有する。そして、画像メモリ１６は予測画像信
号１０７によってその内容が更新される。

【００４１】（実施例６）図７は、本実施例に係る動き
補償フレーム間予測符号化方式による動画像符号化装置
のブロック図である。この動画像符号化装置は、減算器
１１、グローバル動き補償回路１２、加算器１３、画像
メモリ１６、符号変換回路１５、補間回路３１、および
サブサンプリング回路３２により構成されている。画像
メモリ１６は、画像フレーム内の画素間を補間して得ら
れる画像信号と、その周辺部の画像信号の画素間を補間
して得られる画像信号を参照画像信号として記憶するも
のである。

【００４２】減算器１１は、入力動画像信号１０１と予
測画像信号１０７の画像フレーム内の部分との差分を予
測誤差として検出し、予測誤差信号１１１を出力する。
グローバル動き補償回路１２は、入力動画像信号１０１
について画像フレーム全体の動きを示すグローバル動き
パラメータ１０６を検出するグローバル動きパラメータ
検出回路２１と、グローバル動きパラメータ１０６を用
いて画像メモリ１６に記憶されている参照画像信号に動
き補償フレーム間予測を行って予測画像信号１２３を生
成するとともに、予測画像信号１２３によって画像メモ
リ１６の内容を更新する予測画像生成回路２３により構
成される。

【００４３】サブサンプリング回路３２は、予測画像生
成回路２３で生成される予測画像信号１２３に対しサブ
サンプリングを行って、画像フレームの大きさの予測画
像信号１０７を生成し、減算器１１に供給する。

【００４４】加算器１３は、サブサンプリング回路３２
からの予測画像信号１０７と減算器１１からの予測誤差
信号１１１を加算して画像フレームの大きさの局部再生
信号１１２を出力する。

【００４５】補間回路３１は、加算器１３からの局部再
生信号１１２の画素間を補間することにより、拡大され
た局部再生信号１２１を生成し、この局部再生信号１２
１によって画像メモリ１６に記憶されている参照画像信
号中の画像フレームの部分をを更新する。

【００４６】本実施例によると、実施例５の効果に加え
て次の効果が得られる。すなわち、本実施例では１画素
よりも細かい精度でグローバル動き補償を行う場合、ま
ず画像フレーム内の画素間を補間して得られる画像信号
とその周辺部の画像信号の画素間を補間して得られる画
像信号を、拡大した参照画像信号として補間回路３１で
生成して画像メモリ１６に記憶し、その参照画像信号を
用いてグローバル動きパラメータの検出を行う。

【００４７】次に、拡大した参照画像信号に対してグロ
ーバル動き補償を行って予測画像信号を生成し、この予
測画像信号をサブサンプリング回路３２により元の大き
さに戻して画像メモリ１６に記憶されている参照画像信
号を更新する。この場合、グローバル動きパラメータに
よっては、拡大する際に補間した画素をサンプリングす
ることとなり、画像メモリ１６内の画像の解像度が低下
するが、画像メモリ１６に補間した参照画像信号を記憶
しているため、その画像メモリ１５の内容を更新する際
に、画像信号の拡大・縮小処理を行う必要がなく、解像
度の低下は生じないという効果が得られる。

【００４８】（実施例７）図８は、実施例６を変形した
本実施例に係る補償フレーム間予測符号化方式による動
画像符号化装置の要部のみ示すブロック図である。本実
施例は、図７に示した実施例６における減算器１１、加
算器１３および補間回路３１を取り除いた以外、実施例
６と同様である。

【００４９】すなわち、本実施例は入力動画像信号１０
１について画像フレーム全体の動きを示すグローバル動
きパラメータ１０６を検出するグローバル動きパラメー
タ検出回路２１と、グローバル動きパラメータ１０６を
用いて画像メモリ１６に記憶されている参照画像信号に
動き補償フレーム間予測を行って予測画像信号１２３を
生成するとともに、予測画像信号１２３によって画像メ
モリ１６の内容を更新する予測画像生成回路２３と、予
測画像信号１２３を画像フレーム内画像信号とし、これ
とその周辺部の画像の画像信号を参照画像信号として記
憶保持し、参照画像信号１２２として出力する画像メモ
リ１６と、予測画像信号１２３に対してサブサンプリン
グを行って画像フレームの大きさの予測画像信号１０７
を生成して出力するサブサンプリング回路３２を有す
る。そして、画像メモリ１６は予測画像信号１２３によ
ってその内容が更新される。ただし、画像メモリ１６に
は画像フレームの大きさの画像信号の画素間を補間して
得られる画像信号と、その周辺の画像の画像信号の画素
間を補間して得られる画像信号とが記憶されているもの
とする。

【００５０】（実施例８）図９は、本実施例に係る動画
像の動き情報検出装置のブロック図である。この動き情
報検出装置は、予測画像生成回路４１、グローバル動き
パラメータ発生回路４２、減算器４３、画素数検出回路
４４、領域数検出回路４５、評価関数演算回路４６、お
よび歪み評価回路４７により構成され、参照画像信号２
０２と入力動画像信号２０４と画素毎の誤差情報の閾値
（第１の閾値）２０６と小領域毎の誤差情報の閾値（第
２の閾値）２０８とを入力とし、グローバル動きパラメ
ータの探索を行って、グローバル動きパラメータ２１２
を出力する。

【００５１】予測画像生成回路４１では、グローバル動
きパラメータ発生回路４２より供給されたグローバル動
きパラメータ２０１に従って参照画像信号２０２を変換
し、予測画像信号２０３を生成する。

【００５２】差分画像生成回路４３では、予測画像信号
２０３と入力動画像信号２０４の差分画像信号２０５を
生成する。画素数検出回路４４では、差分画像信号２０
５の画素の中で、その誤差情報が閾値２０６よりも大き
くなるような画素数を示す画素数信号２０７を検出す
る。領域数検出回路４５では、差分画像信号２０５を小
ブロックあるいは小領域に分割して小ブロックあるいは
小領域毎の誤差情報を求め、誤差情報が閾値２０８より
も大きくなるような小領域数を示す領域数信号２０９を
検出する。

【００５３】評価関数演算回路４６では、画素数信号２
０７および領域数信号２０９の関数である歪み評価関数
値２１０を計算する。歪み評価回路４７では、現在まで
に評価された中で評価関数の値が最小であったグローバ
ル動きパラメータ２１１とその時の評価関数の値とを記
憶しており、新たに供給された歪み評価関数値２１０と
記憶していた値を比較して、歪み評価関数値２１０の方
が小さければ、グローバル動きパラメータ２０１および
歪み評価関数値２１０によって記憶内容を更新する。

【００５４】グローバル動きパラメータの探索が終了し
た場合は、現在までに評価された中で評価関数の値が最
小であったグローバル動きパラメータ２１１を探索結果
のグローバル動きパラメータ２１２として出力し、終了
していない場合はグローバル動きパラメータ２１１を参
照してグローバル動きパラメータ発生回路４２より発生
されたグローバル動きパラメータ２０１について探索を
繰り返す。

【００５５】本実施例によれば、グローバル動きパラメ
ータの探索を行う際の歪みの評価関数として、誤差情報
が第１の閾値以上となる画素数と、誤差情報が第２の閾
値以上となる小領域数を用いているため、誤差情報が閾
値以下となる面積が最大となるときに値が最小となるよ
うな歪みの評価関数を設定することが可能であり、動き
補償の対象とする領域内で最も広い範囲の動きを記述す
るグローバル動きパラメータを他の領域の画像の動きの
影響を受けずに検出することができる。

【００５６】

【発明の効果】第１の発明によれば、多段階にグローバ
ル動き補償を行うことにより、カメラのパン・チルト・
ズーム・回転などによる画像全体の動きのみでなく、画
像フレーム内の複数の物体の動きをも少ないパラメータ
で記述することができるため、動き補償フレーム間予測
に用いる動き情報の量を減らすことができる。

【００５７】第２の発明によれば、グローバル動き補償
によってフレームの外に出た画像を画像メモリに記憶し
ておくことによって、グローバル動き補償に伴う予測画
像の欠落を小さくすることが可能となり、符号化効率が
向上する。

【００５８】第３の発明によれば、画面内において動き
を正確に記述することができる領域が最大となるような
グローバル動きパラメータの検出を精度良く行うことが
できる。

【図面の簡単な説明】

【図１】実施例１〜３に係る動画像符号化装置の構成を
示すブロック図

【図２】図１におけるグローバル動き補償回路の詳細な
構成を示すブロック図

【図３】実施例４に係る動画像符号化装置の構成を示す
ブロック図

【図４】実施例４におけるグローバル動き補償を説明す
るための図

【図５】従来のグローバル動き補償の問題点を説明する
ための図

【図６】実施例５に係る動画像符号化装置の要部の構成
を示すブロック図

【図７】実施例６に係る動画像符号化装置の構成を示す
ブロック図

【図８】実施例７に係る動画像符号化装置の要部の構成
を示すブロック図

【図９】実施例８に係る動画像の動き検出装置の構成を
示すブロック図

【符号の説明】

１１…減算器 １２…グローバル
動き補償回路 １３…加算器 １４…フレームメ
モリ １５…符号変換回路 １６…画像メモリ ２１…グローバル動きパラメータ検出回路 ２２…スイッチ ２３…予測画像生
成回路 ２４…減算器 ２５…領域分割回
路 ３１…補間回路 ３２…サブサンプ
リング回路 ４１…予測画像生成回路 ４２…グローバル動きパラメータ発生回路 ４３…減算器 ４４…画素数検出
回路 ４５…領域数検出回路 ４６…評価関数演
算回路 ４７…歪み評価回路 １０１…入力動画像信号 １０２…参照画像
信号 １０３…領域情報 １０４…領域情報 １０５…領域情報 １０６…グローバ
ル動きパラメータ １０７…予測画像信号 １０８…予測画像
信号 １０９…閾値 １１０…領域情報 １１１…予測誤差信号 １１２…局部再生
信号 １１３…符号 １２１…局部再生
信号 １２２…参照画像信号 １２３…予測画像
信号 ２０１…グローバル動きパラメータ ２０２…参照画像
信号 ２０３…予測画像信号 ２０４…入力動画
像信号 ２０５…差分画像信号 ２０６…閾値 ２０７…画素数信号 ２０８…閾値 ２０９…領域数信号 ２１０…歪み評価
関数値 ２１１…グローバル動きパラメータ ２１２…グローバ
ル動きパラメータ ４０１…参照画像信号 ４０２…画像フレ
ーム ４０３…周辺部 ４０４…予測画像
信号 ４０５…画像フレーム外画像信号 ４０６…参照画像
信号 ４０７…予測画像信号 ４０８…欠落

フロントページの続き (72)発明者 中條 健 神奈川県川崎市幸区小向東芝町１番地 株 式会社東芝研究開発センター内

Claims (3)

【特許請求の範囲】
1. 【請求項１】画像フレーム内の指定された領域の動きを
   示す動きパラメータを検出する動きパラメータ検出手段
   と、 前記動きパラメータを用いて動き補償フレーム間予測を
   行うことにより入力動画像信号に対する予測画像信号を
   生成する予測画像生成手段と、 前記予測画像信号と入力動画像信号との差分を予測誤差
   として検出する予測誤差検出手段と、 前記領域を前記予測誤差が所定の閾値以上の領域と該閾
   値に満たない領域とに分割する領域分割手段と、 前記動きパラメータと前記予測誤差および前記領域を示
   す情報を符号化する符号化手段とを備え、 前記予測誤差が所定の閾値以上の領域について前記動き
   パラメータ検出手段、前記予測画像生成手段、前記予測
   誤差検出手段および前記領域分割手段の動作を所数回数
   繰り返し、最終的に得られた前記動きパラメータと前記
   予測誤差および前記領域を示す情報を前記符号化手段に
   より符号化することを特徴とする動画像符号化装置。
2. 【請求項２】画像フレーム全体の動きを示す動きパラメ
   ータを検出する動きパラメータ検出手段と、 前記画像フレーム内の画像信号とその周辺部の画像信号
   を参照画像信号として記憶する記憶手段と、 前記動きパラメータを用いて前記記憶手段に記憶されて
   いる参照画像信号全体に対して動き補償フレーム間予測
   を行うことにより入力動画像信号に対する予測画像信号
   を生成するとともに、該予測画像信号によって前記記憶
   手段の内容を更新する予測画像信号生成手段と、 前記予測画像信号と入力動画像信号との差分を予測誤差
   として検出する予測誤差検出手段と、 前記前記動きパラメータおよび前記予測誤差を符号化す
   る符号化手段とを具備することを特徴とする動画像符号
   化装置。
3. 【請求項３】画像フレーム全体の動きを示す動きパラメ
   ータを発生する動きパラメータ発生手段と、 この動きパラメータ発生手段から発生される動きパラメ
   ータに従って参照画像信号を変換する手段と、 この手段によって変換された参照画像信号と入力動画像
   信号との差分画像信号を得る手段と、 この手段により得られた差分画像信号の画素毎の誤差情
   報が予め設定された第１の閾値以上となる画素の数と、
   該差分画像信号を分割して得られる小領域内の誤差情報
   が予め設定された第２の閾値以上となる小領域の数の少
   なくとも一方の関数を歪み評価関数として、前記動きパ
   ラメータ発生手段から発生される動きパラメータを探索
   する手段とを備えたことを特徴とする動画像の動き検出
   装置。