JPH07177514A - 動画像圧縮装置 - Google Patents

Abstract

(57)【要約】 【目的】 受信側で欠落したフレームを正確に再生する
ことのできる動画像圧縮装置を実現する。 【構成】 動画像処理装置は、フレーム間引きされた画
像データから動きベクトルを求める動き検出部１１、送
信側で伝送フレーム数を間引く処理を行なうフレーム間
引き処理部１２、加算器１３、ＤＣＴ演算部１４、量子
化部１５、エントロピー符号化部１６、バッファ１７及
び動きフレーム間予測部１８等からなる符号化器１と、
バッファ２３、エントロピー復号化部２４、逆量子化部
２５、ＩＤＣＴ演算部２６、加算器２７、予測器２８及
び動きベクトルにより補間フレームの内挿を行ない、画
像出力として外部に出力する動画内挿部２９等からなる
復号器２から構成され、動画内挿部２９は、隣接伝送フ
レームから求めた動きベクトルから動きを曲線に近似
し、隣接伝送フレーム間の距離の比から内挿すべき補間
フレームを再構成する処理を行なう。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、動画像圧縮処理等に用
いられる動画像補間装置に係り、詳細には、受信側で欠
落したフレームを正確に再生することのできる動画像補
間装置に関する。

【０００２】

【従来の技術】動画像補間装置は、おもにテレビ電話装
置やテレビ会議などで使用することが考えられている。

【０００３】従来の動画像処理装置では、受信側で欠落
したフレームを再生する動画像内挿装置が用いられる。
従来のフレーム内挿方式を用いた装置では、受信したフ
レーム毎に動きを検出し、内挿すべきフレームと受信し
た前後のフレームとの距離の比を求め、動きをその比か
ら分割を行ない、分割に基づいて内挿すべき補間フレー
ムを再構成していた。

【０００４】その一例は図５で示される。図５は、被伝
送フレーム（隣接伝送フレーム）Ｐと被伝送フレームＮ
との間に補間フレームＭが２枚ある場合の従来のフレー
ム内挿方式を示す図である。図５中、矢印は動きベクト
ルＭVを示し、ＢP，ＢN，ＢMは各フレーム上のブロック
を示す。また、被伝送フレームＰと被伝送フレームＮと
の距離を１とし、被伝送フレームＰと被伝送フレームＮ
側の補間フレームＭとの距離をａとする。

【０００５】図５において、被伝送フレームをブロック
分割し、被伝送フレームＰと被伝送フレームＮとの間で
被伝送フレームＰの各ブロックにおいて被伝送フレーム
Ｎ上の最も類似したブロックを求め（図５では、ブロッ
クＢPとブロックＢN）その移動量をＭVとし、動きベク
トルとする。そしてこれら被伝送フレームＰ，Ｎ上で動
きベクトルによって対応づけられた２つのブロックから
内挿すべき補間フレームＭのブロックＢMを被伝送フレ
ームＰと被伝送フレームＮの距離の比により求めるとい
うものである。

【０００６】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の動画像処理装置にあっては、動きベクトルの
検出は直線近似による内挿方式であったため、移動物体
の直線的な動きには対応できるものの、回転運動や放物
運動等の曲線的な運動には対応できないという問題点が
あった。このような曲線運動や回転運動等に対応できな
いと受信側で欠落したフレームを正確に再生することが
できない。

【０００７】そこで本発明は、受信側で欠落したフレー
ムを正確に再生することのできる動画像補間装置を提供
することを目的とする。

【０００８】

【課題を解決するための手段】請求項１記載の発明は、
上記目的達成のため、複数のフレーム画像情報と共に各
フレーム間の動き情報からなる動画像情報から各フレー
ム間のフレーム画像を予測補間する動画像補間装置にお
いて、上記各フレーム間の動き情報を非線形近似して上
記各フレーム間のフレーム画像を予測補間するようにし
ている。

【０００９】請求項２記載の発明は、複数のフレーム画
像情報からなる動画像情報から各フレーム間のフレーム
画像を予測補間する動画像補間装置において、前記各フ
レーム間画像の動き情報を検出し、この動き情報を非線
形近似して上記各フレーム間のフレーム画像を予測補間
するようにしている。

【００１０】前記動き情報は、例えば請求項３に記載さ
れているように、各フレーム間の所定フレーム画像情報
のブロックに対して他のフレーム画像情報のうち最も類
似したブロックに対応する移動量であってもよい。

【００１１】前記補間は、例えば請求項４に記載されて
いるように、各フレーム間の時間的距離の比から予測補
間するものであってもよい。

【００１２】

【作用】請求項１記載の発明では、例えば、テレビ電話
等における低レートの動画像の圧縮に際し、送信側から
フレーム数を間引かれた動画像情報が送信されると、受
信側では動画像情報が復号化されるとともに、間引きさ
れて送られてきたフレームから動きが検出され、その動
きが非直線近似される。そして、近似された曲線上で間
引きされたフレームが再構成される。

【００１３】したがって、曲線運動や回転運動等に対応
することができ、受信側で欠落したフレームを正確に再
生することが可能になる。

【００１４】請求項２、３及び４記載の発明では、動き
検出手段により間引きされて送られてきたフレームから
動きベクトルが検出され、補間手段により検出された動
きベクトルに基づいて動きが非直線近似され、動きを非
直線近似することによって間引きされたフレームが再構
成される。この場合、補間手段は、動き検出手段により
検出された動きベクトルの始点と終点の３点を通る曲線
を求め、内挿すべきフレームと被伝送フレームとの距離
の比から該３点を通る曲線（例えば、２次曲線）上に内
挿すべきフレームのブロックを補間するようにしてもよ
い。

【００１５】したがって、曲線運動や回転運動等に対応
することができ、受信側で欠落したフレームを正確に再
生することが可能になる。

【００１６】

【実施例】以下、本発明を図面に基づいて説明する。

【００１７】図１〜図４は本発明に係る動画像補間装置
の一実施例を示す図である。

【００１８】先ず、構成を説明する。図１は動画像補間
装置のブロック図であり、この図において、動画像補間
装置は、送信側の符号化器１と受信側の復号器２とから
なる。

【００１９】図１において、動画像処理装置の符号化器
１は、動き検出部１１、フレーム間引き処理部１２、加
算器１３、ＤＣＴ演算部１４、量子化部１５、エントロ
ピー符号化部１６、バッファ１７及び動きフレーム間予
測部１８等により構成される。

【００２０】符号化器１には、図示しない画像メモリか
ら画像データが入力される。画像メモリは、データ圧縮
すべき画像データを記憶して、フレーム間引き処理部１
２に出力する。

【００２１】画像メモリから読み出された画像データ
は、フレーム間引き処理部１２に入力され、フレーム間
引き処理部１２は、テレビ電話装置等における低レート
の動画像の圧縮に際し送信側で伝送フレーム数を間引く
処理を行なうものである。間引かれたフレームは後述す
る受信側の動画内挿部２９によって欠落したフレームが
正確に再生される。

【００２２】フレーム間引き処理部１２でフレーム間引
きされた画像データは、加算器１３に入力され、加算器
１３は、フレーム間引き処理部１２でフレーム間引きさ
れた画像データと動きフレーム間予測部１８での動き補
償フレーム間予測処理による予測結果を加算して、その
加算結果をＤＣＴ演算部１４に出力する。

【００２３】ＤＣＴ演算部１４は、加算器１３による加
算結果の画像データに対してＤＣＴ演算を行ない、その
演算結果を量子化部１５に出力する。

【００２４】量子化部１５は、コントローラで決定され
た量子化幅に従ってＤＣＴ演算部１４による演算データ
を量子化テーブルＲＯＭの値に従って一定の誤差の範囲
内で量子化し、動きフレーム間予測部１８及びエントロ
ピー符号化部１６に出力する。図示しない量子化テーブ
ルＲＯＭには、各ＤＣＴ係数毎に大きさの異なった量子
化マトリックス値を有する量子化テーブルが予め格納さ
れている。

【００２５】エントロピー符号化部１６は、エントロピ
ー符号化用テーブルＲＯＭの値に従って量子化部１５の
出力に対してエントロピー符号化を施し、各ブロックの
発生符号量をデータバッファ１７に書き込む。

【００２６】エントロピー符号化部１６は、この符号化
に際して、各ブロック毎にＤＣＴ係数をエネルギの集中
する係数から順にジグザグ・スキャンして１次元配列に
変換し、ブロック内の最後のＡＣ係数が０のときには、
最終有効係数に対する符号の次にＥＯＢを付けている。

【００２７】また、この画像データと共に動き検出部１
１からの動きベクトルを所定フォーマットにして送出す
る。

【００２８】バッファ１７は、変動する情報発生を一定
レートに平滑化して、コントローラに出力し、また画像
データを伝送路を通して後述する受信側の復号器２、他
の動画像処理装置に伝送される。

【００２９】動き検出部１１は、フレーム間引き処理部
１２でフレーム間引きされた画像データから動きベクト
ルを求めてエントロピー符号化部１６及び後述する予測
器２２に出力する。

【００３０】動きフレーム間予測部１８は、動き検出部
１１により検出された動きベクトルを基に周期的なフレ
ーム内符号化フレームを基本とした動き補償予測を行な
うもので、逆量子化部１９、ＩＤＣＴ演算部（ＩＤＣ
Ｔ）２０、加算器２１及び予測器２２で構成されてい
る。

【００３１】逆量子化部１９は、量子化部１５により量
子化された画像データを逆量子化して、量子化前の画像
データに戻し、ＩＤＣＴ演算部２０に出力する。

【００３２】ＩＤＣＴ演算部２０は、逆量子化部１９に
より量子化前の状態に戻された画像データに対して逆Ｄ
ＣＴ（ＩＤＣＴ）演算を施し、加算器２１に出力する。

【００３３】加算器２１は、ＩＤＣＴ演算部２０により
ＤＣＴ処理される前の状態に戻された画像データに動き
補償フレーム間処理による予測結果を加算して、予測器
２２に出力する。

【００３４】なお、予測器２２の入出力段には、スイッ
チ（図示略）が設けられており、コントローラからの画
像モードと予測モードに従って信号経路を切り換える。
例えば、スイッチは、予測モードで、その対応によりオ
ン／オフされて、予測器２２を加算器１３に接続する。

【００３５】予測器２２は、動き検出部１１により検出
された動きベクトルにより動き補償予測を行なう。

【００３６】ここで、上記符号化器１は、図示しないコ
ントローラによって制御され、コントローラには画像メ
モリからの画像データ、バッファ１７からの情報及び差
分値等が入力され、コントローラは、画像モード、予測
モード及び各種制御信号を出力して、システム全体を制
御する。なお、上記動き検出部１１はこのコントローラ
の機能の一部として構成するようにしてもよい。

【００３７】また、本実施例の動画像処理装置は、上記
符号化器１とは逆の動作を行なう復号器２を備えてお
り、バッファ２３、エントロピー復号化部２４、逆量子
化部２５、ＩＤＣＴ演算部２６、加算器２７、予測器２
８及び動画内挿部２９から構成されている。

【００３８】バッファ２３には、上記符号化器１等から
圧縮データが入力され、バッファ２３は、変動する情報
発生を一定レートに平滑して、画像データを記憶装置に
出力する。

【００３９】エントロピー復号化部２４は、バッファ２
３から入力される復号化すべき画像データを前記エント
ロピー符号化部１６の処理と逆の処理を行なって復号化
し、逆量子化部２５に出力するとともに、所定フォーマ
ットから動きベクトルを抽出して出力する。

【００４０】逆量子化部２５は、決定された量子化幅に
従ってエントロピー復号化部２４から出力される画像デ
ータに対して逆量子化し、ＩＤＣＴ演算部２６に出力す
る。

【００４１】ＩＤＣＴ演算部２６は、逆量子化部２５で
逆量子化されたデータに対して逆ＤＣＴ演算を施し、そ
の演算結果を加算器２７に出力する。

【００４２】加算器２７は、ＩＤＣＴ演算部２６の出力
に予測結果を加算して、予測器２８等に出力する。な
お、予測器２８の入出力段には、スイッチ（図示略）が
設けられており、符号化器１のスイッチ同様にコントロ
ーラからの画像モードと予測モードに従って信号経路を
切り換える。

【００４３】予測器２８は、エントロピー復号化部２４
で算出された動きベクトルにより動き補償予測を行な
う。この予測器２８における動き補償予測において、後
述する動きベクトルが使用される。

【００４４】動画内挿部２９は、エントロピー復号化部
２４で算出された動きベクトルにより補間フレームの内
挿を行ない、画像出力として外部に出力する。動画内挿
部２９は、隣接伝送フレームから求めた動きベクトルか
ら動きを曲線に近似し、隣接伝送フレーム間の距離の比
から内挿すべき補間フレームを再構成する処理を行な
う。

【００４５】次に、本実施例の動作を説明する。

【００４６】図２〜図４は、本実施例の動画像処理装置
のフレーム内挿動作を説明するための図であり、図２は
被伝送フレームＰと被伝送フレームＮとの間に補間フレ
ームＭ1，Ｍ2が、被伝送フレームＮと被伝送フレームＡ
との間に補間フレームＭ3，Ｍ4がそれぞれ２枚ある場合
のフレーム内挿方式を示す図である。

【００４７】図２中、ＭVPは被伝送フレームＰから被伝
送フレームＮへの動きベクトルを、ＭVNは被伝送フレー
ムＮから被伝送フレームＡへの動きベクトルを示し、Ｂ
P，ＢN，ＢA,ＢMiは各フレーム上のブロックを示す。ま
た、被伝送フレームＰと被伝送フレームＮとの距離及び
被伝送フレームＮと被伝送フレームＡとの距離をそれぞ
れ１とし、被伝送フレームＰと補間フレームＭ2との距
離をａとし、被伝送フレームＮと補間フレームＭ3との
距離をｓとし、さらに、被伝送フレームＰと補間フレー
ムＭ1との距離をｂとし、被伝送フレームＮと補間フレ
ームＭ4との距離をｔとする。

【００４８】図２において、被伝送フレームＮのブロッ
クＢNに対して隣接被伝送フレームＰと被伝送フレーム
Ａの間で類似したブロックＢP及びＢAに基づく動きベク
トルＭVP及びＭVNとが伝送されてくる。

【００４９】この場合のフレーム内挿処理は次のような
ものである。まず、これらの動きベクトルＭVP，ＭVNの
始点と終点の３点を通る曲線を求め、内挿すべきフレー
ムと被伝送フレームとの距離の比から曲線上にブロック
を補間する。ブロックとしては、図２ではＢM1，ＢM2，
ＢM3，ＢM4が相当する。また、補間するブロックは、例
えばＢM1，ＢM2はＢPとＢNの各画素の平均を画素に持つ
ようなブロックとすればよい。

【００５０】次に曲線の求め方について説明する。例え
ば水平方向の動きは上から見ると図３に示すようにな
る。そして、図３のように曲線上にブロックを補間する
場合には、動きベクトルＭVPとＭVNから被伝送フレーム
のブロックＢNを原点として図４のように２次元の直交
座標系を設定する。

【００５１】具体的には、それぞれの座標をＰ（ｘP，
ＶP）、Ｍ1（ｘM1，ＶM1）、Ｍ2（ｘM2，ＶM2）、Ｍ3
（ｘM3，ＶM3）、Ｍ4（ｘM4，ＶM4）、Ａ（ｘA，ＶA）
で与えると、Ａ，Ｐ，Ｏ（原点）を通る曲線を求めれ
ば、ｘP，ｘM1〜ｘM4，ｘAはフレーム間の距離の比から
既知であり、ＶPはＭVPの水平成分、ＶAはＭVNの水平成
分であるからＶM1〜ＶM4を求めればよいこととなる。

【００５２】この曲線は３点を通るものとなるので、２
次曲線として表わされる。例えば、２次曲線をｙ＝ａｘ
2＋ｂｘ＋ｃなる曲線の式１で表現するとＡ，Ｐ，Ｏを
通ることからそれぞれを曲線の式１に代入して連立一次
方程式を解き、係数ａ，ｂ，ｃを求めれば、ＶM1，ＶM
2，ＶM3，ＶM4を求めることができる。また、回転運動
を仮定した場合もｘ2＋ｙ2＋ａｘ＋ｂｙ＋ｃ＝０なる式
２から同様にＶM1，ＶM2，ＶM3，ＶM4を求めることがで
きる。

【００５３】また、垂直方向の動きに対しても同様な方
法により曲線上にその動きを設定できる。

【００５４】これら水平、垂直成分から補間すべきブロ
ックの位置を決定し、ブロックを補間し内挿フレームを
形成していく。

【００５５】以上の一連の動作は、伝送路から送られて
きた情報源を復号化部２４で復号化された後の後処理と
して図１の動画内挿部２９で行なわれる。

【００５６】すなわち、図１に示す動き補償ＤＣＴによ
る予測符号化方式を用いた例では、送信側の符号化器１
で入力画像をフレーム間引を行なってエントロピー符号
化し、受信側では復号器２によって復号画像を再生す
る。また、符号化器１で画像データと共に符号化され、
復号化に際して復号化された動き情報としての動きベク
トルを用いて（図２におけるＭVPとＭVNがこれに相当す
る）、上述した方式にしたがって内挿画像を構成し、画
像を出力する。

【００５７】図３における動き補償ＤＣＴによる予測符
号化方式を用いた例では、送信側で入力画像を所定の形
式にブロック変換を行ない、これにしたがってフレーム
間／内予測を行ないエントロピー符号化する。受信側で
もブロック変換によって得られたフォーマットに従って
復号化し、出力画像を得る。

【００５８】以上説明したように、本実施例に係る動画
像処理装置は、フレーム間引きされた画像データから動
きベクトルを求める動き検出部１１、送信側で伝送フレ
ーム数を間引く処理を行なうフレーム間引き処理部１
２、加算器１３、ＤＣＴ演算部１４、量子化部１５、エ
ントロピー符号化部１６、バッファ１７及び動きフレー
ム間予測部１８等からなる符号化器１と、バッファ２
３、エントロピー復号化部２４、逆量子化部２５、ＩＤ
ＣＴ演算部２６、加算器２７、予測器２８及び動きベク
トルにより補間フレームの内挿を行ない、画像出力とし
て外部に出力する動画内挿部２９等からなる復号器２か
ら構成され、動画内挿部２９は、隣接伝送フレームから
求めた動きベクトルから動きを曲線に近似し、隣接伝送
フレーム間の距離の比から内挿すべき補間フレームを再
構成する処理を行なうようにしているので、移動物体の
直線的な動きには対応できることは勿論のこと、曲線運
動や回転運動等に対応でき、受信側で欠落したフレーム
を正確に再生することができる。

【００５９】なお、本実施例では、被伝送フレームＮと
被伝送フレームＡとの間に補間フレームＭ3，Ｍ4がそれ
ぞれ２枚ある場合のフレーム内挿の例であるが、動きを
曲線に近似することによって間引きされたフレームを再
構成するものであれば、いかなるフレーム内挿であって
も適用可能である。また、動きが直線に近似していれば
従来例と同様に動きベクトルを用いた直線による補間を
行なうことは言うまでもない。

【００６０】また、本実施例では、動きベクトルを送信
側から伝送するものについて説明したが、これに限るこ
とはなく、例えば動きベクトルを受信側で検出するもの
であってもよい。この場合、図２で説明すると、被伝送
フレームＮのブロックＢNに対して隣接被伝送フレーム
Ｐと被伝送フレームＡの間である設定した範囲内で最も
類似したブロックをそれぞれ求める。図２ではブロック
ＢPとブロックＢAがこれに相当する。そして、これらの
ブロックＢP，ＢAに対して移動量が検出される。これら
移動量を図２中の動きベクトルＭVP，ＭVNするものであ
る。

【００６１】また、本実施例で示した被伝送フレームと
補間フレームとの関係は一例であり、フレームの数、位
置、動きの方向等は前述した実施例に限られないことは
勿論である。

【００６２】また、本実施例では、動画像補間装置をテ
レビ電話装置等における低レートの動画像の圧縮に適用
したものであるが、受信側で欠落したフレームを正確に
再生する装置であれば全ての装置に適用可能であり、例
えばＭＰＥＧアルゴリズムに基づく動画像補間装置に適
用してもよいことは言うまでもない。

【００６３】さらに、上記動画像補間装置を構成する回
路や部材の数、種類などは前述した実施例に限られない
ことは言うまでもなく、ソフトウェア（例えば、Ｃ言
語）により実現するようにしてもよい。

【００６４】

【発明の効果】請求項１記載の発明によれば、送られて
きた動きを曲線に近似し、動きを曲線に近似することに
よって各フレーム間を再構成するようにしているので、
曲線運動や回転運動等に対応することができ、受信側で
欠落したフレームを正確に再生することが可能になる。

【００６５】請求項２、３及び４記載の発明によれば、
検出された動きベクトルに基づいて動きを曲線に近似
し、動きを曲線に近似することによって各フレーム間を
再構成するようにしているので、曲線運動や回転運動等
に対応することができ、受信側で欠落したフレームを正
確に再生することが可能になる。

【図面の簡単な説明】

【図１】本発明に係る動画像補間装置の第１実施例のブ
ロック構成を示す図である。

【図２】同実施例の動画像補間装置のフレーム内挿動作
を説明するための図である。

【図３】同実施例の動画像補間装置のフレーム内挿動作
を説明するための図である。

【図４】同実施例の動画像補間装置のフレーム内挿動作
を説明するための図である。

【図５】従来の動画像補間装置のフレーム内挿動作を示
す図である。

【符号の説明】

１ 符号化器 ２ 復号器 １１ 動き検出部 １２ フレーム間引き処理部 １３，２１，２７ 加算器 １４ ＤＣＴ演算部 １５ 量子化部 １６ エントロピー符号化部 １７，２３ バッファ １８ 動きフレーム間予測部 １９ 逆量子化部 ２０，２６ ＩＤＣＴ演算部（ＩＤＣＴ） ２２，２８ 予測器 ２４ エントロピー復号化部 ２５ 逆量子化部 ２９ 動画内挿部

Claims (4)

【特許請求の範囲】
1. 【請求項１】 複数のフレーム画像情報と共に各フレー
   ム間の動き情報からなる動画像情報から各フレーム間の
   フレーム画像を予測補間する動画像補間装置において、 上記各フレーム間の動き情報を非線形近似して上記各フ
   レーム間のフレーム画像を予測補間することを特徴とす
   る動画像補間装置。
2. 【請求項２】 複数のフレーム画像情報からなる動画像
   情報から各フレーム間のフレーム画像を予測補間する動
   画像補間装置において、 前記各フレーム間画像の動き情報を検出し、この動き情
   報を非線形近似して上記各フレーム間のフレーム画像を
   予測補間することを特徴とする動画像補間装置。
3. 【請求項３】 前記動き情報は、各フレーム間の所定フ
   レーム画像情報のブロックに対して他のフレーム画像情
   報のうち最も類似したブロックに対応する移動量である
   ことを特徴とする請求項１又は請求項２の何れかに記載
   の動画像補間装置。
4. 【請求項４】 前記補間は、各フレーム間の時間的距離
   の比から予測補間することを特徴とする請求項１、請求
   項２又は請求項３の何れかに記載の動画像補間装置。