JPH0818974A - 動画像符号化装置および動画像の動き検出装置 - Google Patents
動画像符号化装置および動画像の動き検出装置Info
- Publication number
- JPH0818974A JPH0818974A JP14356394A JP14356394A JPH0818974A JP H0818974 A JPH0818974 A JP H0818974A JP 14356394 A JP14356394 A JP 14356394A JP 14356394 A JP14356394 A JP 14356394A JP H0818974 A JPH0818974 A JP H0818974A
- Authority
- JP
- Japan
- Prior art keywords
- image signal
- motion
- motion parameter
- area
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【目的】カメラ操作による画像全体の動きと被写体の動
きを補償でき、また動きベクトルの符号量を極力小さく
できる動画像符号化装置を提供する。 【構成】画像フレーム内の指定された領域の動きを示す
グローバル動きパラメータを検出する動きパラメータ検
出回路21と、グローバル動きパラメータを用いて動き
補償フレーム間予測を行い予測画像信号を生成する予測
画像生成回路23と、予測画像信号107と入力動画像
信号101との差分を検出する予測誤差検出回路24
と、領域を予測誤差が閾値以上の領域と該閾値に満たな
い領域とに分割する領域分割回路25とを備え、予測誤
差が閾値以上の領域について動きパラメータ検出・予測
画像生成・予測誤差検出および領域分割の動作を所数回
数繰り返し、最終的に得られた動きパラメータと予測誤
差および領域を示す情報を符号化する。
きを補償でき、また動きベクトルの符号量を極力小さく
できる動画像符号化装置を提供する。 【構成】画像フレーム内の指定された領域の動きを示す
グローバル動きパラメータを検出する動きパラメータ検
出回路21と、グローバル動きパラメータを用いて動き
補償フレーム間予測を行い予測画像信号を生成する予測
画像生成回路23と、予測画像信号107と入力動画像
信号101との差分を検出する予測誤差検出回路24
と、領域を予測誤差が閾値以上の領域と該閾値に満たな
い領域とに分割する領域分割回路25とを備え、予測誤
差が閾値以上の領域について動きパラメータ検出・予測
画像生成・予測誤差検出および領域分割の動作を所数回
数繰り返し、最終的に得られた動きパラメータと予測誤
差および領域を示す情報を符号化する。
Description
【0001】
【産業上の利用分野】本発明は、動き補償フレーム間予
測符号化方式よる動画像符号化装置および動画像の動き
検出装置に関する。
測符号化方式よる動画像符号化装置および動画像の動き
検出装置に関する。
【0002】
【従来の技術】動画像を高能率に圧縮符号化する代表的
な方式の一つとして、動き補償フレーム間予測符号化方
式が知られている。この符号化方式は、動画像の動きを
示す動きベクトルを用いて前フレームの画像から現フレ
ームの画像を予測し、この予測画像と現フレームの画像
との差分である予測誤差を符号化する方式である。この
場合、予測誤差の符号とは別に動きベクトルの符号を伝
送するため、動きベクトルの符号量もできるだけ削減す
る必要がある。
な方式の一つとして、動き補償フレーム間予測符号化方
式が知られている。この符号化方式は、動画像の動きを
示す動きベクトルを用いて前フレームの画像から現フレ
ームの画像を予測し、この予測画像と現フレームの画像
との差分である予測誤差を符号化する方式である。この
場合、予測誤差の符号とは別に動きベクトルの符号を伝
送するため、動きベクトルの符号量もできるだけ削減す
る必要がある。
【0003】動きベクトルの符号量を削減する方法とし
て、従来より、カメラ操作によるパン・チルト・ズーム
・回転等の画面全体の動きを表すパラメータ(グローバ
ル動きパラメータ)を検出してそれを伝送し、画像を定
められた大きさに分割した小ブロック毎に動きベクトル
を展開して動き補償フレーム間予測を行う方式が考えら
れている。その一例として、例えば特開平4−3595
号「動画像の動き情報検出方式および動画像の動き補償
フレーム間予測符号化方式」には、画面全体の動きを記
述したアフィン変換を特徴づける動きパラメータを、小
ブロック毎に検出した動きベクトルから検出する方式が
示されている。この方式では、検出した動きパラメータ
から画素毎または小ブロック毎の動きベクトルを展開
し、その動きベクトルを用いて動き補償フレーム間予測
符号化を行うことにより、動きベクトルの符号量を削減
している。また、展開した動きベクトルを基準値として
画素毎または小ブロック毎の動きベクトルを検出し、該
動きベクトルを用いて動き補償フレーム間予測を行うこ
とにより、誤りの少ない動きベクトルの検出を可能とす
ることも示されている。
て、従来より、カメラ操作によるパン・チルト・ズーム
・回転等の画面全体の動きを表すパラメータ(グローバ
ル動きパラメータ)を検出してそれを伝送し、画像を定
められた大きさに分割した小ブロック毎に動きベクトル
を展開して動き補償フレーム間予測を行う方式が考えら
れている。その一例として、例えば特開平4−3595
号「動画像の動き情報検出方式および動画像の動き補償
フレーム間予測符号化方式」には、画面全体の動きを記
述したアフィン変換を特徴づける動きパラメータを、小
ブロック毎に検出した動きベクトルから検出する方式が
示されている。この方式では、検出した動きパラメータ
から画素毎または小ブロック毎の動きベクトルを展開
し、その動きベクトルを用いて動き補償フレーム間予測
符号化を行うことにより、動きベクトルの符号量を削減
している。また、展開した動きベクトルを基準値として
画素毎または小ブロック毎の動きベクトルを検出し、該
動きベクトルを用いて動き補償フレーム間予測を行うこ
とにより、誤りの少ない動きベクトルの検出を可能とす
ることも示されている。
【0004】
【発明が解決しようとする課題】画面全体から検出した
動きパラメータを用いて動き補償予測を行う方式では、
カメラ操作によるパン・チルト・ズーム・回転等の画面
全体の動きを補償することが可能であるが、画面内の被
写体の動きを補償することはできない。
動きパラメータを用いて動き補償予測を行う方式では、
カメラ操作によるパン・チルト・ズーム・回転等の画面
全体の動きを補償することが可能であるが、画面内の被
写体の動きを補償することはできない。
【0005】一方、画面全体から検出した動きパラメー
タから展開した動きベクトルを基準値として画素毎また
は小ブロック毎に検出した動きベクトルを用いれば、画
面内の被写体の動きを補償することが可能であるが、動
きベクトルの符号量が増加するという問題がある。
タから展開した動きベクトルを基準値として画素毎また
は小ブロック毎に検出した動きベクトルを用いれば、画
面内の被写体の動きを補償することが可能であるが、動
きベクトルの符号量が増加するという問題がある。
【0006】また、画像フレーム全体に対してグローバ
ル動き補償を行って予測画像を生成すると、予測画像の
一部分に対して対応する参照画像が存在しないために予
測画像が欠落することがある。このような場合、予測画
像と入力動画像との予測誤差の符号化(残差符号化)に
必要な符号量が増大してしまうという問題がある。
ル動き補償を行って予測画像を生成すると、予測画像の
一部分に対して対応する参照画像が存在しないために予
測画像が欠落することがある。このような場合、予測画
像と入力動画像との予測誤差の符号化(残差符号化)に
必要な符号量が増大してしまうという問題がある。
【0007】また、小ブロック毎に求めた動きベクトル
から画面全体の動きパラメータを求める方式は、画面内
における移動する被写体の面積の割合が大きい場合に、
必ずしも正確な動きパラメータが求まらないという欠点
があった。
から画面全体の動きパラメータを求める方式は、画面内
における移動する被写体の面積の割合が大きい場合に、
必ずしも正確な動きパラメータが求まらないという欠点
があった。
【0008】本発明の第1の目的は、カメラ操作による
画像全体の動きのみならず、被写体の動きをも補償で
き、しかも動きベクトルの符号量を極力小さくできる動
き補償フレーム間予測符号化を用いた動画像符号化装置
を提供することにある。
画像全体の動きのみならず、被写体の動きをも補償で
き、しかも動きベクトルの符号量を極力小さくできる動
き補償フレーム間予測符号化を用いた動画像符号化装置
を提供することにある。
【0009】本発明の第2の目的は、画像フレーム全体
に対してグローバル動き補償を行って予測画像を生成す
る場合に予測画像の欠落が少なく、残差符号化に必要な
符号量が増大しない動画像符号化装置を提供することに
ある。
に対してグローバル動き補償を行って予測画像を生成す
る場合に予測画像の欠落が少なく、残差符号化に必要な
符号量が増大しない動画像符号化装置を提供することに
ある。
【0010】本発明の第3の目的は、画面内における移
動する被写体の面積の割合にかかわらず正確な動きパラ
メータを得ることができる動画像の動き検出装置を提供
することにある。
動する被写体の面積の割合にかかわらず正確な動きパラ
メータを得ることができる動画像の動き検出装置を提供
することにある。
【0011】
【課題を解決するための手段】上記の課題を解決するた
め、第1の発明に係る動画像符号化装置は、画像フレー
ム全体または画像フレーム内の所定の領域の動きを示す
動きパラメータ(グローバル動きパラメータ)を検出す
る動きパラメータ検出手段と、前記動きパラメータを用
いて動き補償フレーム間予測を行うことにより入力動画
像信号に対する予測画像信号を生成する予測画像生成手
段と、前記予測画像信号と入力動画像信号との差分を予
測誤差として検出する予測誤差検出手段と、前記領域を
前記予測誤差が所定の閾値以上の領域と該閾値に満たな
い領域とに分割する領域分割手段と、前記動きパラメー
タと前記予測誤差および前記領域を示す情報を符号化す
る符号化手段とを備え、前記予測誤差が所定の閾値以上
の領域について前記動きパラメータ検出手段、前記予測
画像生成手段、前記予測誤差検出手段および前記領域分
割手段の動作を所数回数繰り返し、最終的に得られた前
記動きパラメータと前記予測誤差および前記領域を示す
情報を前記符号化手段により符号化することを特徴とす
る。
め、第1の発明に係る動画像符号化装置は、画像フレー
ム全体または画像フレーム内の所定の領域の動きを示す
動きパラメータ(グローバル動きパラメータ)を検出す
る動きパラメータ検出手段と、前記動きパラメータを用
いて動き補償フレーム間予測を行うことにより入力動画
像信号に対する予測画像信号を生成する予測画像生成手
段と、前記予測画像信号と入力動画像信号との差分を予
測誤差として検出する予測誤差検出手段と、前記領域を
前記予測誤差が所定の閾値以上の領域と該閾値に満たな
い領域とに分割する領域分割手段と、前記動きパラメー
タと前記予測誤差および前記領域を示す情報を符号化す
る符号化手段とを備え、前記予測誤差が所定の閾値以上
の領域について前記動きパラメータ検出手段、前記予測
画像生成手段、前記予測誤差検出手段および前記領域分
割手段の動作を所数回数繰り返し、最終的に得られた前
記動きパラメータと前記予測誤差および前記領域を示す
情報を前記符号化手段により符号化することを特徴とす
る。
【0012】また、第1の発明において動きパラメータ
検出手段、予測画像生成手段、予測誤差検出手段および
領域分割手段の第1回目に動作する領域を画像フレーム
全体とすることを特徴とする。
検出手段、予測画像生成手段、予測誤差検出手段および
領域分割手段の第1回目に動作する領域を画像フレーム
全体とすることを特徴とする。
【0013】さらに、第1の発明において動きパラメー
タ検出手段、予測画像生成手段、予測誤差検出手段およ
び領域分割手段の動作を少なくとも一回行った後、予測
誤差の大きい領域について動きパラメータ検出手段およ
び予測画像生成手段の動作を行うことを特徴とする。
タ検出手段、予測画像生成手段、予測誤差検出手段およ
び領域分割手段の動作を少なくとも一回行った後、予測
誤差の大きい領域について動きパラメータ検出手段およ
び予測画像生成手段の動作を行うことを特徴とする。
【0014】第2の発明に係る動画像符号化装置は、画
像フレーム全体の動きを示す動きパラメータ(グローバ
ル動きパラメータ)を検出する動きパラメータ検出手段
と、前記画像フレーム内の画像信号とその周辺部の画像
信号を参照画像信号として記憶する記憶手段と、前記動
きパラメータを用いて前記記憶手段に記憶されている参
照画像信号全体に対して動き補償フレーム間予測を行う
ことにより予測画像信号を生成するとともに、該予測画
像信号によって前記記憶手段の内容を更新する予測画像
信号生成手段と、前記予測画像信号と入力動画像信号と
の差分を予測誤差として検出する予測誤差検出手段と、
前記前記動きパラメータおよび前記予測誤差を符号化す
る符号化手段とを具備することを特徴とする。
像フレーム全体の動きを示す動きパラメータ(グローバ
ル動きパラメータ)を検出する動きパラメータ検出手段
と、前記画像フレーム内の画像信号とその周辺部の画像
信号を参照画像信号として記憶する記憶手段と、前記動
きパラメータを用いて前記記憶手段に記憶されている参
照画像信号全体に対して動き補償フレーム間予測を行う
ことにより予測画像信号を生成するとともに、該予測画
像信号によって前記記憶手段の内容を更新する予測画像
信号生成手段と、前記予測画像信号と入力動画像信号と
の差分を予測誤差として検出する予測誤差検出手段と、
前記前記動きパラメータおよび前記予測誤差を符号化す
る符号化手段とを具備することを特徴とする。
【0015】また、第2の発明において画像メモリに画
像フレームよりも大きく、画像フレームの画素間を補間
して得られる画像信号およびその周辺部の画像信号を記
憶するようにしたことを特徴とする。
像フレームよりも大きく、画像フレームの画素間を補間
して得られる画像信号およびその周辺部の画像信号を記
憶するようにしたことを特徴とする。
【0016】第3の発明に係る動画像の動き検出装置
は、画像フレーム全体の動きを示す動きパラメータを発
生する動きパラメータ発生手段と、この動きパラメータ
発生手段から発生される動きパラメータに従って参照画
像信号を変換する手段と、この手段によって変換された
参照画像信号と入力動画像信号との差分画像信号を得る
手段と、この手段により得られた差分画像信号の画素毎
の誤差情報が予め設定された第1の閾値以上となる画素
の数と、該差分画像信号を分割して得られる小領域内の
誤差情報が予め設定された第2の閾値以上となる小領域
の数の少なくとも一方の関数を歪み評価関数として、前
記動きパラメータ発生手段から発生される動きパラメー
タを探索する手段とを備えたことを特徴とする。
は、画像フレーム全体の動きを示す動きパラメータを発
生する動きパラメータ発生手段と、この動きパラメータ
発生手段から発生される動きパラメータに従って参照画
像信号を変換する手段と、この手段によって変換された
参照画像信号と入力動画像信号との差分画像信号を得る
手段と、この手段により得られた差分画像信号の画素毎
の誤差情報が予め設定された第1の閾値以上となる画素
の数と、該差分画像信号を分割して得られる小領域内の
誤差情報が予め設定された第2の閾値以上となる小領域
の数の少なくとも一方の関数を歪み評価関数として、前
記動きパラメータ発生手段から発生される動きパラメー
タを探索する手段とを備えたことを特徴とする。
【0017】
【作用】第1の発明は、画像フレーム内の動き補償の対
象とする領域が、それぞれ異なるグローバル動きパラメ
ータによって動きが記述されるような複数の領域より構
成されている場合に有効である。すなわち、第1の発明
では、まず第1回目のグローバル動きパラメータの検出
により、画像フレーム内の動き補償の対象とする複数の
領域のうちの1つの領域のグローバル動きパラメータを
検出し、このグローバル動きパラメータを用いて動き補
償フレーム間予測を行う。次に、予測画像信号と入力動
画像信号との差分から領域分割を行うことによって、第
1回目に検出されたグローバル動きパラメータによって
動きが記述される領域を除く領域を抽出する。さらに、
この抽出された領域に対して第2回目のグローバル動き
パラメータの検出・動き補償フレーム予測・領域分割を
行うことにより、抽出された領域を構成する動きの異な
る複数の領域のうちの1つの領域のグローバル動きパラ
メータを検出し、該領域を除く領域を抽出する。以下、
同様の動作を適切な回数だけ繰り返すことによって、画
像の複雑な動きを少ないパラメータで記述することがで
きる。
象とする領域が、それぞれ異なるグローバル動きパラメ
ータによって動きが記述されるような複数の領域より構
成されている場合に有効である。すなわち、第1の発明
では、まず第1回目のグローバル動きパラメータの検出
により、画像フレーム内の動き補償の対象とする複数の
領域のうちの1つの領域のグローバル動きパラメータを
検出し、このグローバル動きパラメータを用いて動き補
償フレーム間予測を行う。次に、予測画像信号と入力動
画像信号との差分から領域分割を行うことによって、第
1回目に検出されたグローバル動きパラメータによって
動きが記述される領域を除く領域を抽出する。さらに、
この抽出された領域に対して第2回目のグローバル動き
パラメータの検出・動き補償フレーム予測・領域分割を
行うことにより、抽出された領域を構成する動きの異な
る複数の領域のうちの1つの領域のグローバル動きパラ
メータを検出し、該領域を除く領域を抽出する。以下、
同様の動作を適切な回数だけ繰り返すことによって、画
像の複雑な動きを少ないパラメータで記述することがで
きる。
【0018】この場合、動きパラメータ検出手段、予測
画像生成手段、予測誤差検出手段および領域分割手段の
第1回目に動作する領域を画像フレーム全体とすれば、
第1回目のグローバル動きパラメータとしてカメラの動
きを検出し、画像フレーム全体の動きを補償することが
できる。
画像生成手段、予測誤差検出手段および領域分割手段の
第1回目に動作する領域を画像フレーム全体とすれば、
第1回目のグローバル動きパラメータとしてカメラの動
きを検出し、画像フレーム全体の動きを補償することが
できる。
【0019】また、第2回目以降のグローバル動きパラ
メータの検出および動き補償フレーム間予測を行った
後、それ以上領域を分割する必要がない場合には、領域
の分割を行わないようにすることによって、領域分割の
情報に必要な符号量を削減することができる。
メータの検出および動き補償フレーム間予測を行った
後、それ以上領域を分割する必要がない場合には、領域
の分割を行わないようにすることによって、領域分割の
情報に必要な符号量を削減することができる。
【0020】第2の発明では、画像フレームとその周辺
の画像を記憶することができる画像メモリを備え、グロ
ーバル動き補償予測を行う際に必要な参照画像信号とし
て画像フレームの画像信号とその周辺部の画像信号から
なる画像フレームよりも広い範囲の参照画像信号を記憶
するため、予測画像の欠落が少なくなり、残差符号化に
必要な符号量が削減される。
の画像を記憶することができる画像メモリを備え、グロ
ーバル動き補償予測を行う際に必要な参照画像信号とし
て画像フレームの画像信号とその周辺部の画像信号から
なる画像フレームよりも広い範囲の参照画像信号を記憶
するため、予測画像の欠落が少なくなり、残差符号化に
必要な符号量が削減される。
【0021】ここで、1画素よりも細かい精度でグロー
バル動き補償を行う場合は、まず画像フレーム内の画素
間を補間して得られる画像信号とその周辺部の画像信号
の画素間を補間して得られる画像信号を、拡大した参照
画像信号として生成して画像メモリに記憶し、その参照
画像信号を用いてグローバル動きパラメータの検出を行
う。次に、拡大した参照画像信号に対してグローバル動
き補償を行って予測画像信号を生成し、この予測画像信
号をサブサンプリングにより元の大きさに戻して画像メ
モリに記憶されている参照画像信号を更新する。この場
合、グローバル動きパラメータによっては、拡大する際
に補間した画素をサンプリングすることとなり、画像メ
モリ内の画像の解像度が低下するが、画像メモリに補間
した参照画像信号を記憶しているため、その画像メモリ
の内容を更新する際に、画像信号の拡大・縮小処理を行
う必要がなく、解像度の低下は生じない。
バル動き補償を行う場合は、まず画像フレーム内の画素
間を補間して得られる画像信号とその周辺部の画像信号
の画素間を補間して得られる画像信号を、拡大した参照
画像信号として生成して画像メモリに記憶し、その参照
画像信号を用いてグローバル動きパラメータの検出を行
う。次に、拡大した参照画像信号に対してグローバル動
き補償を行って予測画像信号を生成し、この予測画像信
号をサブサンプリングにより元の大きさに戻して画像メ
モリに記憶されている参照画像信号を更新する。この場
合、グローバル動きパラメータによっては、拡大する際
に補間した画素をサンプリングすることとなり、画像メ
モリ内の画像の解像度が低下するが、画像メモリに補間
した参照画像信号を記憶しているため、その画像メモリ
の内容を更新する際に、画像信号の拡大・縮小処理を行
う必要がなく、解像度の低下は生じない。
【0022】第3の発明では、グローバル動きパラメー
タの探索を行う際の歪みの評価関数として、誤差情報が
第1の閾値以上となる画素数と、誤差情報が第2の閾値
以上となる領域数の少なくとも一方を用いている。これ
により、誤差情報が閾値以下となる面積が最大となると
きに値が最小となるような歪みの評価関数を設定するこ
とが可能であり、動き補償の対象とする領域内で最も広
い範囲の動きを記述するグローバル動きパラメータをそ
の他の領域の画像の動きの影響を受けずに検出すること
ができる。
タの探索を行う際の歪みの評価関数として、誤差情報が
第1の閾値以上となる画素数と、誤差情報が第2の閾値
以上となる領域数の少なくとも一方を用いている。これ
により、誤差情報が閾値以下となる面積が最大となると
きに値が最小となるような歪みの評価関数を設定するこ
とが可能であり、動き補償の対象とする領域内で最も広
い範囲の動きを記述するグローバル動きパラメータをそ
の他の領域の画像の動きの影響を受けずに検出すること
ができる。
【0023】
【実施例】以下、本発明の実施例を説明する。 (実施例1)図1は、本発明の一実施例に係る動き補償
フレーム間予測符号化方式による動画像符号化装置の構
成を示すブロック図である。この動画像符号化装置は、
減算器11、グローバル動き補償回路12、加算器1
3、フレームメモリ14、および符号変換回路15によ
り構成され、また入力として符号化すべき入力動画像信
号101、第1回目にグローバル動き補償を行う領域を
示す領域情報103および領域分割の基準となる閾値1
09が与えられている。
フレーム間予測符号化方式による動画像符号化装置の構
成を示すブロック図である。この動画像符号化装置は、
減算器11、グローバル動き補償回路12、加算器1
3、フレームメモリ14、および符号変換回路15によ
り構成され、また入力として符号化すべき入力動画像信
号101、第1回目にグローバル動き補償を行う領域を
示す領域情報103および領域分割の基準となる閾値1
09が与えられている。
【0024】グローバル動き補償回路12は、入力動画
像信号101、フレームメモリ13から出力される参照
画像信号102、第1回目にグローバル動き補償を行う
領域を示す領域情報103および領域分割の基準となる
閾値109を入力として、グローバル動きパラメータ1
06と、このグローバル動きパラメータ106によって
第2回目以降に動き補償を行う領域を示す領域情報11
0および予測画像信号107を出力する。
像信号101、フレームメモリ13から出力される参照
画像信号102、第1回目にグローバル動き補償を行う
領域を示す領域情報103および領域分割の基準となる
閾値109を入力として、グローバル動きパラメータ1
06と、このグローバル動きパラメータ106によって
第2回目以降に動き補償を行う領域を示す領域情報11
0および予測画像信号107を出力する。
【0025】一方、減算器12は入力動画像信号101
と予測画像信号107との差分を予測誤差として検出
し、予測誤差信号111を出力する。加算器13は、予
測画像信号107と予測誤差信号111を加算して局部
再生信号112を出力する。フレームメモリ14は、局
部再生信号112を1フレーム分記憶保持し、それを参
照画像信号102として出力する。符号化回路15は、
予測誤差信号111とグローバル動きパラメータ106
および領域情報110を符号化して符号113を出力す
る。
と予測画像信号107との差分を予測誤差として検出
し、予測誤差信号111を出力する。加算器13は、予
測画像信号107と予測誤差信号111を加算して局部
再生信号112を出力する。フレームメモリ14は、局
部再生信号112を1フレーム分記憶保持し、それを参
照画像信号102として出力する。符号化回路15は、
予測誤差信号111とグローバル動きパラメータ106
および領域情報110を符号化して符号113を出力す
る。
【0026】図2は、図1におけるグローバル動き補償
回路12の詳細な構成を示すブロック図である。このグ
ローバル動き補償回路12は、グローバル動きパラメー
タ検出回路21、スイッチ22、予測画像生成回路2
3、加算器24、および領域分割回路25からなる。
回路12の詳細な構成を示すブロック図である。このグ
ローバル動き補償回路12は、グローバル動きパラメー
タ検出回路21、スイッチ22、予測画像生成回路2
3、加算器24、および領域分割回路25からなる。
【0027】グローバル動きパラメータ検出回路21に
は、入力動画像信号101と参照画像信号102が入力
される。スイッチ22は、第1回目にグローバル動きパ
ラメータの検出を行う際には、領域情報103を選択す
る。グローバル動き検出回路21では、画像フレーム内
の領域情報110によって指定された領域全体の動きを
示すグローバル動きパラメータ106を入力動画像信号
101および参照画像信号102から検出し、予測画像
生成回路23に供給する。予測画像生成回路23は、グ
ローバル動きパラメータ106に従って参照画像信号1
02に動き補償を行い、スイッチ22で選択された領域
情報105により指定された領域の予測画像信号107
を生成して出力する。領域分割回路25は、予測画像信
号107と入力動画像信号101との差分である予測誤
差信号108から、閾値109を用いてスイッチ22で
選択された領域情報105により指定された領域を誤差
の大きい領域(誤差が閾値109以上の領域)と、誤差
の小さい領域(誤差が閾値109に満たない領域)とに
分割して、誤差の大きい領域を示す領域情報104と誤
差の小さい領域を示す領域情報110を出力する。
は、入力動画像信号101と参照画像信号102が入力
される。スイッチ22は、第1回目にグローバル動きパ
ラメータの検出を行う際には、領域情報103を選択す
る。グローバル動き検出回路21では、画像フレーム内
の領域情報110によって指定された領域全体の動きを
示すグローバル動きパラメータ106を入力動画像信号
101および参照画像信号102から検出し、予測画像
生成回路23に供給する。予測画像生成回路23は、グ
ローバル動きパラメータ106に従って参照画像信号1
02に動き補償を行い、スイッチ22で選択された領域
情報105により指定された領域の予測画像信号107
を生成して出力する。領域分割回路25は、予測画像信
号107と入力動画像信号101との差分である予測誤
差信号108から、閾値109を用いてスイッチ22で
選択された領域情報105により指定された領域を誤差
の大きい領域(誤差が閾値109以上の領域)と、誤差
の小さい領域(誤差が閾値109に満たない領域)とに
分割して、誤差の大きい領域を示す領域情報104と誤
差の小さい領域を示す領域情報110を出力する。
【0028】第2回目以降は、スイッチ22は誤差の大
きい領域を示す領域情報104を選択し、上記と同様の
動作を繰り返す。そして、最終的に得られたグローバル
動きパラメータ106と予測誤差信号111および領域
情報110を符号化回路15で符号化して符号113と
して出力する。
きい領域を示す領域情報104を選択し、上記と同様の
動作を繰り返す。そして、最終的に得られたグローバル
動きパラメータ106と予測誤差信号111および領域
情報110を符号化回路15で符号化して符号113と
して出力する。
【0029】このように本実施例では、第1回目のグロ
ーバル動きパラメータの検出に際しては、画像フレーム
内の領域情報103で指定された領域全体のグローバル
動きパラメータ106を検出し、このグローバル動きパ
ラメータ106を用いて動き補償フレーム間予測を行
う。次に、予測画像信号107と入力動画像信号101
との差分である予測画像信号108から領域分割を行う
ことによって、第1回目に検出されたグローバル動きパ
ラメータ106によって動きが記述される領域を除く領
域、つまり誤差の大きい領域を抽出し、領域情報104
を出力する。さらに、この領域情報104で指定された
領域に対して第2回目のグローバル動きパラメータの検
出・動き補償フレーム予測・領域分割を行う。以下、同
様の動作を適切な回数だけ繰り返すことによって、画像
の複雑な動きを少ないパラメータで記述することができ
る。
ーバル動きパラメータの検出に際しては、画像フレーム
内の領域情報103で指定された領域全体のグローバル
動きパラメータ106を検出し、このグローバル動きパ
ラメータ106を用いて動き補償フレーム間予測を行
う。次に、予測画像信号107と入力動画像信号101
との差分である予測画像信号108から領域分割を行う
ことによって、第1回目に検出されたグローバル動きパ
ラメータ106によって動きが記述される領域を除く領
域、つまり誤差の大きい領域を抽出し、領域情報104
を出力する。さらに、この領域情報104で指定された
領域に対して第2回目のグローバル動きパラメータの検
出・動き補償フレーム予測・領域分割を行う。以下、同
様の動作を適切な回数だけ繰り返すことによって、画像
の複雑な動きを少ないパラメータで記述することができ
る。
【0030】(実施例2)本実施例では、図1および図
2の構成において、領域情報103によって指定される
第1回目にグローバル動き補償を行う領域を画像フレー
ム全体とする。
2の構成において、領域情報103によって指定される
第1回目にグローバル動き補償を行う領域を画像フレー
ム全体とする。
【0031】(実施例3)本実施例では、図1および図
2の構成において、グローバル動きパラメータの検出・
予測画像の生成・領域分割を少なくとも1回繰り返した
後、グローバル動きパラメータの検出と予測画像信号の
生成のみを行う。
2の構成において、グローバル動きパラメータの検出・
予測画像の生成・領域分割を少なくとも1回繰り返した
後、グローバル動きパラメータの検出と予測画像信号の
生成のみを行う。
【0032】(実施例4)図3は、本実施例に係る動き
補償フレーム間予測符号化方式による動画像符号化装置
のブロック図である。この動画像符号化装置は、減算器
11、グローバル動き補償回路12、加算器13、画像
メモリ16、および符号変換回路15により構成されて
いる。画像メモリ16は、画像フレーム内の画像信号と
その周辺部の画像信号を参照画像信号として記憶するも
のであり、通常のフレームメモリとは画像フレームの周
辺部の画像信号をも記憶する点で異なる。
補償フレーム間予測符号化方式による動画像符号化装置
のブロック図である。この動画像符号化装置は、減算器
11、グローバル動き補償回路12、加算器13、画像
メモリ16、および符号変換回路15により構成されて
いる。画像メモリ16は、画像フレーム内の画像信号と
その周辺部の画像信号を参照画像信号として記憶するも
のであり、通常のフレームメモリとは画像フレームの周
辺部の画像信号をも記憶する点で異なる。
【0033】減算器11は、入力動画像信号101と予
測画像信号107の画像フレーム内の部分との差分を予
測誤差として検出し、予測誤差信号111を出力する。
グローバル動き補償回路12は、入力動画像信号101
について画像フレーム全体の動きを示すグローバル動き
パラメータ106を検出するグローバル動きパラメータ
検出回路21と、グローバル動きパラメータ106を用
いて画像メモリ16に記憶されている参照画像信号に動
き補償フレーム間予測を行って予測画像信号107を生
成するとともに、予測画像信号107によって画像メモ
リ16の内容を更新する予測画像生成回路23により構
成される。
測画像信号107の画像フレーム内の部分との差分を予
測誤差として検出し、予測誤差信号111を出力する。
グローバル動き補償回路12は、入力動画像信号101
について画像フレーム全体の動きを示すグローバル動き
パラメータ106を検出するグローバル動きパラメータ
検出回路21と、グローバル動きパラメータ106を用
いて画像メモリ16に記憶されている参照画像信号に動
き補償フレーム間予測を行って予測画像信号107を生
成するとともに、予測画像信号107によって画像メモ
リ16の内容を更新する予測画像生成回路23により構
成される。
【0034】加算器13は、予測画像信号107の画像
フレーム内の部分と、予測誤差信号111を加算して局
部再生信号112を出力する。画像メモリ16は、局部
再生信号112を画像フレーム内画像信号とし、これと
その周辺部の画像の画像信号を参照画像信号として記憶
保持し、参照画像信号102として出力する。符号化回
路15は、予測誤差信号111および画像フレーム全体
の動きを示すグローバル動きパラメータ106を符号化
して符号113を出力する。
フレーム内の部分と、予測誤差信号111を加算して局
部再生信号112を出力する。画像メモリ16は、局部
再生信号112を画像フレーム内画像信号とし、これと
その周辺部の画像の画像信号を参照画像信号として記憶
保持し、参照画像信号102として出力する。符号化回
路15は、予測誤差信号111および画像フレーム全体
の動きを示すグローバル動きパラメータ106を符号化
して符号113を出力する。
【0035】次に、本実施例の具体的な動作例を図4お
よび図5を用いて説明する。従来のグローバル動き補償
では、図5(a)に示す参照画像信号501に対して、
次に入力された画像が左下に動いていた場合、グローバ
ル動き補償を行うと図5(b)に示す予測画像信号50
2が得られる。ここで、斜線部503は参照画像が存在
しないために予測画像信号を作ることができない部分で
ある。この斜線部503は残差符号化(予測誤差信号の
符号化)により再生され、図5(c)に示す参照画像信
号504が得られる。一方、次に入力された画像が上に
動いていた場合、グローバル動き補償を行うと図5
(d)に示す予測画像信号505が得られ、斜線部50
6で表される予測画像信号の欠落が再び生じる。このた
め、残差符号化に必要な符号量が増大する。
よび図5を用いて説明する。従来のグローバル動き補償
では、図5(a)に示す参照画像信号501に対して、
次に入力された画像が左下に動いていた場合、グローバ
ル動き補償を行うと図5(b)に示す予測画像信号50
2が得られる。ここで、斜線部503は参照画像が存在
しないために予測画像信号を作ることができない部分で
ある。この斜線部503は残差符号化(予測誤差信号の
符号化)により再生され、図5(c)に示す参照画像信
号504が得られる。一方、次に入力された画像が上に
動いていた場合、グローバル動き補償を行うと図5
(d)に示す予測画像信号505が得られ、斜線部50
6で表される予測画像信号の欠落が再び生じる。このた
め、残差符号化に必要な符号量が増大する。
【0036】これに対して、本実施例では画像メモリ1
6に図4(a)に示すような画像フレーム402内の画
像信号とその周辺部403の画像信号が参照画像信号4
01として記憶されている。従って、画像メモリ16内
の画像フレーム402の部分に記憶されている画像信号
に対して、図5(a)の参照画像信号501に対して行
ったのと同様のグローバル動き補償を行った場合、図4
(b)の画像フレーム内に相当する予測画像信号404
が得られ、破線で囲まれた領域で表される画像フレーム
の外に出た画像信号405は画像メモリ16に記憶され
る。
6に図4(a)に示すような画像フレーム402内の画
像信号とその周辺部403の画像信号が参照画像信号4
01として記憶されている。従って、画像メモリ16内
の画像フレーム402の部分に記憶されている画像信号
に対して、図5(a)の参照画像信号501に対して行
ったのと同様のグローバル動き補償を行った場合、図4
(b)の画像フレーム内に相当する予測画像信号404
が得られ、破線で囲まれた領域で表される画像フレーム
の外に出た画像信号405は画像メモリ16に記憶され
る。
【0037】次に、予測画像信号404に残差符号化を
行って再生された画像信号を用いて画像メモリ16の内
容を更新し、図4(c)に示す参照画像信号406を得
る。さらに、この参照画像信号406に対して、図5
(c)の再生画像信号504に対して行ったのと同じグ
ローバル動き補償を行った場合、図4(d)に示すよう
な画像フレーム内に相当する予測画像信号407が得ら
れる。
行って再生された画像信号を用いて画像メモリ16の内
容を更新し、図4(c)に示す参照画像信号406を得
る。さらに、この参照画像信号406に対して、図5
(c)の再生画像信号504に対して行ったのと同じグ
ローバル動き補償を行った場合、図4(d)に示すよう
な画像フレーム内に相当する予測画像信号407が得ら
れる。
【0038】このように本実施例では、画像フレーム内
の画像信号402とその周辺部の画像信号403を参照
画像信号401として記憶する画像メモリ16を用いた
ことにより、図4(d)の予測画像信号407の欠落4
08は、図5(d)の予測画像信号505の欠落506
と比較して小さくなる。従って、予測画像信号の欠落が
減少した分だけ残差符号化に必要な符号量が減少し、符
号化効率が向上するという利点がある。
の画像信号402とその周辺部の画像信号403を参照
画像信号401として記憶する画像メモリ16を用いた
ことにより、図4(d)の予測画像信号407の欠落4
08は、図5(d)の予測画像信号505の欠落506
と比較して小さくなる。従って、予測画像信号の欠落が
減少した分だけ残差符号化に必要な符号量が減少し、符
号化効率が向上するという利点がある。
【0039】(実施例5)図6は、実施例4を変形した
本実施例に係る補償フレーム間予測符号化方式による動
画像符号化装置の要部のみ示すブロック図である。本実
施例は、図3に示した実施例4における減算器11およ
び加算器13を取り除いた以外、実施例4と同様であ
る。
本実施例に係る補償フレーム間予測符号化方式による動
画像符号化装置の要部のみ示すブロック図である。本実
施例は、図3に示した実施例4における減算器11およ
び加算器13を取り除いた以外、実施例4と同様であ
る。
【0040】すなわち、本実施例は入力動画像信号10
1について画像フレーム全体の動きを示すグローバル動
きパラメータ106を検出するグローバル動きパラメー
タ検出回路21と、グローバル動きパラメータ106を
用いて画像メモリ16に記憶されている参照画像信号に
動き補償フレーム間予測を行って予測画像信号107を
生成するとともに、予測画像信号107によって画像メ
モリ16の内容を更新する予測画像生成回路23と、予
測画像信号107を画像フレーム内画像信号とし、これ
とその周辺部の画像の画像信号を参照画像信号として記
憶保持し、参照画像信号102として出力する画像メモ
リ16を有する。そして、画像メモリ16は予測画像信
号107によってその内容が更新される。
1について画像フレーム全体の動きを示すグローバル動
きパラメータ106を検出するグローバル動きパラメー
タ検出回路21と、グローバル動きパラメータ106を
用いて画像メモリ16に記憶されている参照画像信号に
動き補償フレーム間予測を行って予測画像信号107を
生成するとともに、予測画像信号107によって画像メ
モリ16の内容を更新する予測画像生成回路23と、予
測画像信号107を画像フレーム内画像信号とし、これ
とその周辺部の画像の画像信号を参照画像信号として記
憶保持し、参照画像信号102として出力する画像メモ
リ16を有する。そして、画像メモリ16は予測画像信
号107によってその内容が更新される。
【0041】(実施例6)図7は、本実施例に係る動き
補償フレーム間予測符号化方式による動画像符号化装置
のブロック図である。この動画像符号化装置は、減算器
11、グローバル動き補償回路12、加算器13、画像
メモリ16、符号変換回路15、補間回路31、および
サブサンプリング回路32により構成されている。画像
メモリ16は、画像フレーム内の画素間を補間して得ら
れる画像信号と、その周辺部の画像信号の画素間を補間
して得られる画像信号を参照画像信号として記憶するも
のである。
補償フレーム間予測符号化方式による動画像符号化装置
のブロック図である。この動画像符号化装置は、減算器
11、グローバル動き補償回路12、加算器13、画像
メモリ16、符号変換回路15、補間回路31、および
サブサンプリング回路32により構成されている。画像
メモリ16は、画像フレーム内の画素間を補間して得ら
れる画像信号と、その周辺部の画像信号の画素間を補間
して得られる画像信号を参照画像信号として記憶するも
のである。
【0042】減算器11は、入力動画像信号101と予
測画像信号107の画像フレーム内の部分との差分を予
測誤差として検出し、予測誤差信号111を出力する。
グローバル動き補償回路12は、入力動画像信号101
について画像フレーム全体の動きを示すグローバル動き
パラメータ106を検出するグローバル動きパラメータ
検出回路21と、グローバル動きパラメータ106を用
いて画像メモリ16に記憶されている参照画像信号に動
き補償フレーム間予測を行って予測画像信号123を生
成するとともに、予測画像信号123によって画像メモ
リ16の内容を更新する予測画像生成回路23により構
成される。
測画像信号107の画像フレーム内の部分との差分を予
測誤差として検出し、予測誤差信号111を出力する。
グローバル動き補償回路12は、入力動画像信号101
について画像フレーム全体の動きを示すグローバル動き
パラメータ106を検出するグローバル動きパラメータ
検出回路21と、グローバル動きパラメータ106を用
いて画像メモリ16に記憶されている参照画像信号に動
き補償フレーム間予測を行って予測画像信号123を生
成するとともに、予測画像信号123によって画像メモ
リ16の内容を更新する予測画像生成回路23により構
成される。
【0043】サブサンプリング回路32は、予測画像生
成回路23で生成される予測画像信号123に対しサブ
サンプリングを行って、画像フレームの大きさの予測画
像信号107を生成し、減算器11に供給する。
成回路23で生成される予測画像信号123に対しサブ
サンプリングを行って、画像フレームの大きさの予測画
像信号107を生成し、減算器11に供給する。
【0044】加算器13は、サブサンプリング回路32
からの予測画像信号107と減算器11からの予測誤差
信号111を加算して画像フレームの大きさの局部再生
信号112を出力する。
からの予測画像信号107と減算器11からの予測誤差
信号111を加算して画像フレームの大きさの局部再生
信号112を出力する。
【0045】補間回路31は、加算器13からの局部再
生信号112の画素間を補間することにより、拡大され
た局部再生信号121を生成し、この局部再生信号12
1によって画像メモリ16に記憶されている参照画像信
号中の画像フレームの部分をを更新する。
生信号112の画素間を補間することにより、拡大され
た局部再生信号121を生成し、この局部再生信号12
1によって画像メモリ16に記憶されている参照画像信
号中の画像フレームの部分をを更新する。
【0046】本実施例によると、実施例5の効果に加え
て次の効果が得られる。すなわち、本実施例では1画素
よりも細かい精度でグローバル動き補償を行う場合、ま
ず画像フレーム内の画素間を補間して得られる画像信号
とその周辺部の画像信号の画素間を補間して得られる画
像信号を、拡大した参照画像信号として補間回路31で
生成して画像メモリ16に記憶し、その参照画像信号を
用いてグローバル動きパラメータの検出を行う。
て次の効果が得られる。すなわち、本実施例では1画素
よりも細かい精度でグローバル動き補償を行う場合、ま
ず画像フレーム内の画素間を補間して得られる画像信号
とその周辺部の画像信号の画素間を補間して得られる画
像信号を、拡大した参照画像信号として補間回路31で
生成して画像メモリ16に記憶し、その参照画像信号を
用いてグローバル動きパラメータの検出を行う。
【0047】次に、拡大した参照画像信号に対してグロ
ーバル動き補償を行って予測画像信号を生成し、この予
測画像信号をサブサンプリング回路32により元の大き
さに戻して画像メモリ16に記憶されている参照画像信
号を更新する。この場合、グローバル動きパラメータに
よっては、拡大する際に補間した画素をサンプリングす
ることとなり、画像メモリ16内の画像の解像度が低下
するが、画像メモリ16に補間した参照画像信号を記憶
しているため、その画像メモリ15の内容を更新する際
に、画像信号の拡大・縮小処理を行う必要がなく、解像
度の低下は生じないという効果が得られる。
ーバル動き補償を行って予測画像信号を生成し、この予
測画像信号をサブサンプリング回路32により元の大き
さに戻して画像メモリ16に記憶されている参照画像信
号を更新する。この場合、グローバル動きパラメータに
よっては、拡大する際に補間した画素をサンプリングす
ることとなり、画像メモリ16内の画像の解像度が低下
するが、画像メモリ16に補間した参照画像信号を記憶
しているため、その画像メモリ15の内容を更新する際
に、画像信号の拡大・縮小処理を行う必要がなく、解像
度の低下は生じないという効果が得られる。
【0048】(実施例7)図8は、実施例6を変形した
本実施例に係る補償フレーム間予測符号化方式による動
画像符号化装置の要部のみ示すブロック図である。本実
施例は、図7に示した実施例6における減算器11、加
算器13および補間回路31を取り除いた以外、実施例
6と同様である。
本実施例に係る補償フレーム間予測符号化方式による動
画像符号化装置の要部のみ示すブロック図である。本実
施例は、図7に示した実施例6における減算器11、加
算器13および補間回路31を取り除いた以外、実施例
6と同様である。
【0049】すなわち、本実施例は入力動画像信号10
1について画像フレーム全体の動きを示すグローバル動
きパラメータ106を検出するグローバル動きパラメー
タ検出回路21と、グローバル動きパラメータ106を
用いて画像メモリ16に記憶されている参照画像信号に
動き補償フレーム間予測を行って予測画像信号123を
生成するとともに、予測画像信号123によって画像メ
モリ16の内容を更新する予測画像生成回路23と、予
測画像信号123を画像フレーム内画像信号とし、これ
とその周辺部の画像の画像信号を参照画像信号として記
憶保持し、参照画像信号122として出力する画像メモ
リ16と、予測画像信号123に対してサブサンプリン
グを行って画像フレームの大きさの予測画像信号107
を生成して出力するサブサンプリング回路32を有す
る。そして、画像メモリ16は予測画像信号123によ
ってその内容が更新される。ただし、画像メモリ16に
は画像フレームの大きさの画像信号の画素間を補間して
得られる画像信号と、その周辺の画像の画像信号の画素
間を補間して得られる画像信号とが記憶されているもの
とする。
1について画像フレーム全体の動きを示すグローバル動
きパラメータ106を検出するグローバル動きパラメー
タ検出回路21と、グローバル動きパラメータ106を
用いて画像メモリ16に記憶されている参照画像信号に
動き補償フレーム間予測を行って予測画像信号123を
生成するとともに、予測画像信号123によって画像メ
モリ16の内容を更新する予測画像生成回路23と、予
測画像信号123を画像フレーム内画像信号とし、これ
とその周辺部の画像の画像信号を参照画像信号として記
憶保持し、参照画像信号122として出力する画像メモ
リ16と、予測画像信号123に対してサブサンプリン
グを行って画像フレームの大きさの予測画像信号107
を生成して出力するサブサンプリング回路32を有す
る。そして、画像メモリ16は予測画像信号123によ
ってその内容が更新される。ただし、画像メモリ16に
は画像フレームの大きさの画像信号の画素間を補間して
得られる画像信号と、その周辺の画像の画像信号の画素
間を補間して得られる画像信号とが記憶されているもの
とする。
【0050】(実施例8)図9は、本実施例に係る動画
像の動き情報検出装置のブロック図である。この動き情
報検出装置は、予測画像生成回路41、グローバル動き
パラメータ発生回路42、減算器43、画素数検出回路
44、領域数検出回路45、評価関数演算回路46、お
よび歪み評価回路47により構成され、参照画像信号2
02と入力動画像信号204と画素毎の誤差情報の閾値
(第1の閾値)206と小領域毎の誤差情報の閾値(第
2の閾値)208とを入力とし、グローバル動きパラメ
ータの探索を行って、グローバル動きパラメータ212
を出力する。
像の動き情報検出装置のブロック図である。この動き情
報検出装置は、予測画像生成回路41、グローバル動き
パラメータ発生回路42、減算器43、画素数検出回路
44、領域数検出回路45、評価関数演算回路46、お
よび歪み評価回路47により構成され、参照画像信号2
02と入力動画像信号204と画素毎の誤差情報の閾値
(第1の閾値)206と小領域毎の誤差情報の閾値(第
2の閾値)208とを入力とし、グローバル動きパラメ
ータの探索を行って、グローバル動きパラメータ212
を出力する。
【0051】予測画像生成回路41では、グローバル動
きパラメータ発生回路42より供給されたグローバル動
きパラメータ201に従って参照画像信号202を変換
し、予測画像信号203を生成する。
きパラメータ発生回路42より供給されたグローバル動
きパラメータ201に従って参照画像信号202を変換
し、予測画像信号203を生成する。
【0052】差分画像生成回路43では、予測画像信号
203と入力動画像信号204の差分画像信号205を
生成する。画素数検出回路44では、差分画像信号20
5の画素の中で、その誤差情報が閾値206よりも大き
くなるような画素数を示す画素数信号207を検出す
る。領域数検出回路45では、差分画像信号205を小
ブロックあるいは小領域に分割して小ブロックあるいは
小領域毎の誤差情報を求め、誤差情報が閾値208より
も大きくなるような小領域数を示す領域数信号209を
検出する。
203と入力動画像信号204の差分画像信号205を
生成する。画素数検出回路44では、差分画像信号20
5の画素の中で、その誤差情報が閾値206よりも大き
くなるような画素数を示す画素数信号207を検出す
る。領域数検出回路45では、差分画像信号205を小
ブロックあるいは小領域に分割して小ブロックあるいは
小領域毎の誤差情報を求め、誤差情報が閾値208より
も大きくなるような小領域数を示す領域数信号209を
検出する。
【0053】評価関数演算回路46では、画素数信号2
07および領域数信号209の関数である歪み評価関数
値210を計算する。歪み評価回路47では、現在まで
に評価された中で評価関数の値が最小であったグローバ
ル動きパラメータ211とその時の評価関数の値とを記
憶しており、新たに供給された歪み評価関数値210と
記憶していた値を比較して、歪み評価関数値210の方
が小さければ、グローバル動きパラメータ201および
歪み評価関数値210によって記憶内容を更新する。
07および領域数信号209の関数である歪み評価関数
値210を計算する。歪み評価回路47では、現在まで
に評価された中で評価関数の値が最小であったグローバ
ル動きパラメータ211とその時の評価関数の値とを記
憶しており、新たに供給された歪み評価関数値210と
記憶していた値を比較して、歪み評価関数値210の方
が小さければ、グローバル動きパラメータ201および
歪み評価関数値210によって記憶内容を更新する。
【0054】グローバル動きパラメータの探索が終了し
た場合は、現在までに評価された中で評価関数の値が最
小であったグローバル動きパラメータ211を探索結果
のグローバル動きパラメータ212として出力し、終了
していない場合はグローバル動きパラメータ211を参
照してグローバル動きパラメータ発生回路42より発生
されたグローバル動きパラメータ201について探索を
繰り返す。
た場合は、現在までに評価された中で評価関数の値が最
小であったグローバル動きパラメータ211を探索結果
のグローバル動きパラメータ212として出力し、終了
していない場合はグローバル動きパラメータ211を参
照してグローバル動きパラメータ発生回路42より発生
されたグローバル動きパラメータ201について探索を
繰り返す。
【0055】本実施例によれば、グローバル動きパラメ
ータの探索を行う際の歪みの評価関数として、誤差情報
が第1の閾値以上となる画素数と、誤差情報が第2の閾
値以上となる小領域数を用いているため、誤差情報が閾
値以下となる面積が最大となるときに値が最小となるよ
うな歪みの評価関数を設定することが可能であり、動き
補償の対象とする領域内で最も広い範囲の動きを記述す
るグローバル動きパラメータを他の領域の画像の動きの
影響を受けずに検出することができる。
ータの探索を行う際の歪みの評価関数として、誤差情報
が第1の閾値以上となる画素数と、誤差情報が第2の閾
値以上となる小領域数を用いているため、誤差情報が閾
値以下となる面積が最大となるときに値が最小となるよ
うな歪みの評価関数を設定することが可能であり、動き
補償の対象とする領域内で最も広い範囲の動きを記述す
るグローバル動きパラメータを他の領域の画像の動きの
影響を受けずに検出することができる。
【0056】
【発明の効果】第1の発明によれば、多段階にグローバ
ル動き補償を行うことにより、カメラのパン・チルト・
ズーム・回転などによる画像全体の動きのみでなく、画
像フレーム内の複数の物体の動きをも少ないパラメータ
で記述することができるため、動き補償フレーム間予測
に用いる動き情報の量を減らすことができる。
ル動き補償を行うことにより、カメラのパン・チルト・
ズーム・回転などによる画像全体の動きのみでなく、画
像フレーム内の複数の物体の動きをも少ないパラメータ
で記述することができるため、動き補償フレーム間予測
に用いる動き情報の量を減らすことができる。
【0057】第2の発明によれば、グローバル動き補償
によってフレームの外に出た画像を画像メモリに記憶し
ておくことによって、グローバル動き補償に伴う予測画
像の欠落を小さくすることが可能となり、符号化効率が
向上する。
によってフレームの外に出た画像を画像メモリに記憶し
ておくことによって、グローバル動き補償に伴う予測画
像の欠落を小さくすることが可能となり、符号化効率が
向上する。
【0058】第3の発明によれば、画面内において動き
を正確に記述することができる領域が最大となるような
グローバル動きパラメータの検出を精度良く行うことが
できる。
を正確に記述することができる領域が最大となるような
グローバル動きパラメータの検出を精度良く行うことが
できる。
【図1】実施例1〜3に係る動画像符号化装置の構成を
示すブロック図
示すブロック図
【図2】図1におけるグローバル動き補償回路の詳細な
構成を示すブロック図
構成を示すブロック図
【図3】実施例4に係る動画像符号化装置の構成を示す
ブロック図
ブロック図
【図4】実施例4におけるグローバル動き補償を説明す
るための図
るための図
【図5】従来のグローバル動き補償の問題点を説明する
ための図
ための図
【図6】実施例5に係る動画像符号化装置の要部の構成
を示すブロック図
を示すブロック図
【図7】実施例6に係る動画像符号化装置の構成を示す
ブロック図
ブロック図
【図8】実施例7に係る動画像符号化装置の要部の構成
を示すブロック図
を示すブロック図
【図9】実施例8に係る動画像の動き検出装置の構成を
示すブロック図
示すブロック図
11…減算器 12…グローバル
動き補償回路 13…加算器 14…フレームメ
モリ 15…符号変換回路 16…画像メモリ 21…グローバル動きパラメータ検出回路 22…スイッチ 23…予測画像生
成回路 24…減算器 25…領域分割回
路 31…補間回路 32…サブサンプ
リング回路 41…予測画像生成回路 42…グローバル動きパラメータ発生回路 43…減算器 44…画素数検出
回路 45…領域数検出回路 46…評価関数演
算回路 47…歪み評価回路 101…入力動画像信号 102…参照画像
信号 103…領域情報 104…領域情報 105…領域情報 106…グローバ
ル動きパラメータ 107…予測画像信号 108…予測画像
信号 109…閾値 110…領域情報 111…予測誤差信号 112…局部再生
信号 113…符号 121…局部再生
信号 122…参照画像信号 123…予測画像
信号 201…グローバル動きパラメータ 202…参照画像
信号 203…予測画像信号 204…入力動画
像信号 205…差分画像信号 206…閾値 207…画素数信号 208…閾値 209…領域数信号 210…歪み評価
関数値 211…グローバル動きパラメータ 212…グローバ
ル動きパラメータ 401…参照画像信号 402…画像フレ
ーム 403…周辺部 404…予測画像
信号 405…画像フレーム外画像信号 406…参照画像
信号 407…予測画像信号 408…欠落
動き補償回路 13…加算器 14…フレームメ
モリ 15…符号変換回路 16…画像メモリ 21…グローバル動きパラメータ検出回路 22…スイッチ 23…予測画像生
成回路 24…減算器 25…領域分割回
路 31…補間回路 32…サブサンプ
リング回路 41…予測画像生成回路 42…グローバル動きパラメータ発生回路 43…減算器 44…画素数検出
回路 45…領域数検出回路 46…評価関数演
算回路 47…歪み評価回路 101…入力動画像信号 102…参照画像
信号 103…領域情報 104…領域情報 105…領域情報 106…グローバ
ル動きパラメータ 107…予測画像信号 108…予測画像
信号 109…閾値 110…領域情報 111…予測誤差信号 112…局部再生
信号 113…符号 121…局部再生
信号 122…参照画像信号 123…予測画像
信号 201…グローバル動きパラメータ 202…参照画像
信号 203…予測画像信号 204…入力動画
像信号 205…差分画像信号 206…閾値 207…画素数信号 208…閾値 209…領域数信号 210…歪み評価
関数値 211…グローバル動きパラメータ 212…グローバ
ル動きパラメータ 401…参照画像信号 402…画像フレ
ーム 403…周辺部 404…予測画像
信号 405…画像フレーム外画像信号 406…参照画像
信号 407…予測画像信号 408…欠落
フロントページの続き (72)発明者 中條 健 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝研究開発センター内
Claims (3)
- 【請求項1】画像フレーム内の指定された領域の動きを
示す動きパラメータを検出する動きパラメータ検出手段
と、 前記動きパラメータを用いて動き補償フレーム間予測を
行うことにより入力動画像信号に対する予測画像信号を
生成する予測画像生成手段と、 前記予測画像信号と入力動画像信号との差分を予測誤差
として検出する予測誤差検出手段と、 前記領域を前記予測誤差が所定の閾値以上の領域と該閾
値に満たない領域とに分割する領域分割手段と、 前記動きパラメータと前記予測誤差および前記領域を示
す情報を符号化する符号化手段とを備え、 前記予測誤差が所定の閾値以上の領域について前記動き
パラメータ検出手段、前記予測画像生成手段、前記予測
誤差検出手段および前記領域分割手段の動作を所数回数
繰り返し、最終的に得られた前記動きパラメータと前記
予測誤差および前記領域を示す情報を前記符号化手段に
より符号化することを特徴とする動画像符号化装置。 - 【請求項2】画像フレーム全体の動きを示す動きパラメ
ータを検出する動きパラメータ検出手段と、 前記画像フレーム内の画像信号とその周辺部の画像信号
を参照画像信号として記憶する記憶手段と、 前記動きパラメータを用いて前記記憶手段に記憶されて
いる参照画像信号全体に対して動き補償フレーム間予測
を行うことにより入力動画像信号に対する予測画像信号
を生成するとともに、該予測画像信号によって前記記憶
手段の内容を更新する予測画像信号生成手段と、 前記予測画像信号と入力動画像信号との差分を予測誤差
として検出する予測誤差検出手段と、 前記前記動きパラメータおよび前記予測誤差を符号化す
る符号化手段とを具備することを特徴とする動画像符号
化装置。 - 【請求項3】画像フレーム全体の動きを示す動きパラメ
ータを発生する動きパラメータ発生手段と、 この動きパラメータ発生手段から発生される動きパラメ
ータに従って参照画像信号を変換する手段と、 この手段によって変換された参照画像信号と入力動画像
信号との差分画像信号を得る手段と、 この手段により得られた差分画像信号の画素毎の誤差情
報が予め設定された第1の閾値以上となる画素の数と、
該差分画像信号を分割して得られる小領域内の誤差情報
が予め設定された第2の閾値以上となる小領域の数の少
なくとも一方の関数を歪み評価関数として、前記動きパ
ラメータ発生手段から発生される動きパラメータを探索
する手段とを備えたことを特徴とする動画像の動き検出
装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14356394A JP3490142B2 (ja) | 1994-06-24 | 1994-06-24 | 動画像符号化方法及び装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP14356394A JP3490142B2 (ja) | 1994-06-24 | 1994-06-24 | 動画像符号化方法及び装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003148133A Division JP3834014B2 (ja) | 2003-05-26 | 2003-05-26 | 動画像符号化方法及び装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0818974A true JPH0818974A (ja) | 1996-01-19 |
JP3490142B2 JP3490142B2 (ja) | 2004-01-26 |
Family
ID=15341661
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP14356394A Expired - Fee Related JP3490142B2 (ja) | 1994-06-24 | 1994-06-24 | 動画像符号化方法及び装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3490142B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004048390A (ja) * | 2002-07-11 | 2004-02-12 | Matsushita Electric Ind Co Ltd | 動画像符号化装置及び方法 |
WO2007026457A1 (ja) * | 2005-08-30 | 2007-03-08 | Mitsubishi Electric Corporation | 画像符号化装置、カメラ、携帯端末機器および画像符号化方法 |
KR100714698B1 (ko) * | 2005-08-29 | 2007-05-07 | 삼성전자주식회사 | 향상된 움직임 추정 방법, 상기 방법을 이용한 비디오인코딩 방법 및 장치 |
JP2010517416A (ja) * | 2007-01-26 | 2010-05-20 | テレフオンアクチーボラゲット エル エム エリクソン(パブル) | 発見フレーム領域についての動き推定 |
-
1994
- 1994-06-24 JP JP14356394A patent/JP3490142B2/ja not_active Expired - Fee Related
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004048390A (ja) * | 2002-07-11 | 2004-02-12 | Matsushita Electric Ind Co Ltd | 動画像符号化装置及び方法 |
KR100714698B1 (ko) * | 2005-08-29 | 2007-05-07 | 삼성전자주식회사 | 향상된 움직임 추정 방법, 상기 방법을 이용한 비디오인코딩 방법 및 장치 |
US8571105B2 (en) | 2005-08-29 | 2013-10-29 | Samsung Electronics Co., Ltd. | Enhanced motion estimation method, video encoding method and apparatus using the same |
WO2007026457A1 (ja) * | 2005-08-30 | 2007-03-08 | Mitsubishi Electric Corporation | 画像符号化装置、カメラ、携帯端末機器および画像符号化方法 |
JP2010517416A (ja) * | 2007-01-26 | 2010-05-20 | テレフオンアクチーボラゲット エル エム エリクソン(パブル) | 発見フレーム領域についての動き推定 |
US9860554B2 (en) | 2007-01-26 | 2018-01-02 | Telefonaktiebolaget Lm Ericsson (Publ) | Motion estimation for uncovered frame regions |
Also Published As
Publication number | Publication date |
---|---|
JP3490142B2 (ja) | 2004-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4724459B2 (ja) | 適応時間予測を用いた動きベクトル検出 | |
JP2801559B2 (ja) | 動き大小に適応する動き補償符号化方法及びその装置 | |
JPH1175195A (ja) | 動きベクトル検出方法および装置 | |
JP3271101B2 (ja) | ディジタル画像信号処理装置および処理方法 | |
JP3201079B2 (ja) | インターレース動画像信号の動き補償予測方法、符号化方法及び装置 | |
JP2743434B2 (ja) | 動き補償フレーム間予測符号化回路 | |
JP3681784B2 (ja) | 映像信号符号化装置 | |
JP3490142B2 (ja) | 動画像符号化方法及び装置 | |
JP3175914B2 (ja) | 画像符号化方法および画像符号化装置 | |
JP3834014B2 (ja) | 動画像符号化方法及び装置 | |
JP2006311603A (ja) | 動画像符号化方法と装置及び動画像復号化方法と装置 | |
JPH0262178A (ja) | 画像処理装置の動き検出方式 | |
JPS58107785A (ja) | 動き補償フレ−ム間符号化装置 | |
JPH0332185A (ja) | 動画像符号化装置及び動画像復号化装置 | |
JP3006107B2 (ja) | 動き補償予測回路 | |
JP3201343B2 (ja) | インターレース動画像の動き補償予測装置 | |
JP4470282B2 (ja) | 画像処理装置および画像処理方法 | |
JPH08205171A (ja) | 動画像符号化装置 | |
JPH0984017A (ja) | 動画像の動き補償予測符号化方法 | |
KR0174455B1 (ko) | 화소단위 움직임예측을 이용하는 영상신호 부호화 방법 및 장치 | |
JPH0730901A (ja) | 動画像符号化方式および動画像復号化方式 | |
JPH04266292A (ja) | 画像信号の動き補償予測方法 | |
JP3201344B2 (ja) | インターレース動画像信号の動き補償予測方法及び符号化装置 | |
JP2005354174A (ja) | 動き探索装置 | |
JP3171249B2 (ja) | 動画像符号化の動きベクトル探索方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071107 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081107 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091107 Year of fee payment: 6 |
|
LAPS | Cancellation because of no payment of annual fees |