JPH07177514A - 動画像圧縮装置 - Google Patents
動画像圧縮装置Info
- Publication number
- JPH07177514A JPH07177514A JP34431293A JP34431293A JPH07177514A JP H07177514 A JPH07177514 A JP H07177514A JP 34431293 A JP34431293 A JP 34431293A JP 34431293 A JP34431293 A JP 34431293A JP H07177514 A JPH07177514 A JP H07177514A
- Authority
- JP
- Japan
- Prior art keywords
- frame
- motion
- section
- interpolation
- moving image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【目的】 受信側で欠落したフレームを正確に再生する
ことのできる動画像圧縮装置を実現する。 【構成】 動画像処理装置は、フレーム間引きされた画
像データから動きベクトルを求める動き検出部11、送
信側で伝送フレーム数を間引く処理を行なうフレーム間
引き処理部12、加算器13、DCT演算部14、量子
化部15、エントロピー符号化部16、バッファ17及
び動きフレーム間予測部18等からなる符号化器1と、
バッファ23、エントロピー復号化部24、逆量子化部
25、IDCT演算部26、加算器27、予測器28及
び動きベクトルにより補間フレームの内挿を行ない、画
像出力として外部に出力する動画内挿部29等からなる
復号器2から構成され、動画内挿部29は、隣接伝送フ
レームから求めた動きベクトルから動きを曲線に近似
し、隣接伝送フレーム間の距離の比から内挿すべき補間
フレームを再構成する処理を行なう。
ことのできる動画像圧縮装置を実現する。 【構成】 動画像処理装置は、フレーム間引きされた画
像データから動きベクトルを求める動き検出部11、送
信側で伝送フレーム数を間引く処理を行なうフレーム間
引き処理部12、加算器13、DCT演算部14、量子
化部15、エントロピー符号化部16、バッファ17及
び動きフレーム間予測部18等からなる符号化器1と、
バッファ23、エントロピー復号化部24、逆量子化部
25、IDCT演算部26、加算器27、予測器28及
び動きベクトルにより補間フレームの内挿を行ない、画
像出力として外部に出力する動画内挿部29等からなる
復号器2から構成され、動画内挿部29は、隣接伝送フ
レームから求めた動きベクトルから動きを曲線に近似
し、隣接伝送フレーム間の距離の比から内挿すべき補間
フレームを再構成する処理を行なう。
Description
【0001】
【産業上の利用分野】本発明は、動画像圧縮処理等に用
いられる動画像補間装置に係り、詳細には、受信側で欠
落したフレームを正確に再生することのできる動画像補
間装置に関する。
いられる動画像補間装置に係り、詳細には、受信側で欠
落したフレームを正確に再生することのできる動画像補
間装置に関する。
【0002】
【従来の技術】動画像補間装置は、おもにテレビ電話装
置やテレビ会議などで使用することが考えられている。
置やテレビ会議などで使用することが考えられている。
【0003】従来の動画像処理装置では、受信側で欠落
したフレームを再生する動画像内挿装置が用いられる。
従来のフレーム内挿方式を用いた装置では、受信したフ
レーム毎に動きを検出し、内挿すべきフレームと受信し
た前後のフレームとの距離の比を求め、動きをその比か
ら分割を行ない、分割に基づいて内挿すべき補間フレー
ムを再構成していた。
したフレームを再生する動画像内挿装置が用いられる。
従来のフレーム内挿方式を用いた装置では、受信したフ
レーム毎に動きを検出し、内挿すべきフレームと受信し
た前後のフレームとの距離の比を求め、動きをその比か
ら分割を行ない、分割に基づいて内挿すべき補間フレー
ムを再構成していた。
【0004】その一例は図5で示される。図5は、被伝
送フレーム(隣接伝送フレーム)Pと被伝送フレームN
との間に補間フレームMが2枚ある場合の従来のフレー
ム内挿方式を示す図である。図5中、矢印は動きベクト
ルMVを示し、BP,BN,BMは各フレーム上のブロック
を示す。また、被伝送フレームPと被伝送フレームNと
の距離を1とし、被伝送フレームPと被伝送フレームN
側の補間フレームMとの距離をaとする。
送フレーム(隣接伝送フレーム)Pと被伝送フレームN
との間に補間フレームMが2枚ある場合の従来のフレー
ム内挿方式を示す図である。図5中、矢印は動きベクト
ルMVを示し、BP,BN,BMは各フレーム上のブロック
を示す。また、被伝送フレームPと被伝送フレームNと
の距離を1とし、被伝送フレームPと被伝送フレームN
側の補間フレームMとの距離をaとする。
【0005】図5において、被伝送フレームをブロック
分割し、被伝送フレームPと被伝送フレームNとの間で
被伝送フレームPの各ブロックにおいて被伝送フレーム
N上の最も類似したブロックを求め(図5では、ブロッ
クBPとブロックBN)その移動量をMVとし、動きベク
トルとする。そしてこれら被伝送フレームP,N上で動
きベクトルによって対応づけられた2つのブロックから
内挿すべき補間フレームMのブロックBMを被伝送フレ
ームPと被伝送フレームNの距離の比により求めるとい
うものである。
分割し、被伝送フレームPと被伝送フレームNとの間で
被伝送フレームPの各ブロックにおいて被伝送フレーム
N上の最も類似したブロックを求め(図5では、ブロッ
クBPとブロックBN)その移動量をMVとし、動きベク
トルとする。そしてこれら被伝送フレームP,N上で動
きベクトルによって対応づけられた2つのブロックから
内挿すべき補間フレームMのブロックBMを被伝送フレ
ームPと被伝送フレームNの距離の比により求めるとい
うものである。
【0006】
【発明が解決しようとする課題】しかしながら、このよ
うな従来の動画像処理装置にあっては、動きベクトルの
検出は直線近似による内挿方式であったため、移動物体
の直線的な動きには対応できるものの、回転運動や放物
運動等の曲線的な運動には対応できないという問題点が
あった。このような曲線運動や回転運動等に対応できな
いと受信側で欠落したフレームを正確に再生することが
できない。
うな従来の動画像処理装置にあっては、動きベクトルの
検出は直線近似による内挿方式であったため、移動物体
の直線的な動きには対応できるものの、回転運動や放物
運動等の曲線的な運動には対応できないという問題点が
あった。このような曲線運動や回転運動等に対応できな
いと受信側で欠落したフレームを正確に再生することが
できない。
【0007】そこで本発明は、受信側で欠落したフレー
ムを正確に再生することのできる動画像補間装置を提供
することを目的とする。
ムを正確に再生することのできる動画像補間装置を提供
することを目的とする。
【0008】
【課題を解決するための手段】請求項1記載の発明は、
上記目的達成のため、複数のフレーム画像情報と共に各
フレーム間の動き情報からなる動画像情報から各フレー
ム間のフレーム画像を予測補間する動画像補間装置にお
いて、上記各フレーム間の動き情報を非線形近似して上
記各フレーム間のフレーム画像を予測補間するようにし
ている。
上記目的達成のため、複数のフレーム画像情報と共に各
フレーム間の動き情報からなる動画像情報から各フレー
ム間のフレーム画像を予測補間する動画像補間装置にお
いて、上記各フレーム間の動き情報を非線形近似して上
記各フレーム間のフレーム画像を予測補間するようにし
ている。
【0009】請求項2記載の発明は、複数のフレーム画
像情報からなる動画像情報から各フレーム間のフレーム
画像を予測補間する動画像補間装置において、前記各フ
レーム間画像の動き情報を検出し、この動き情報を非線
形近似して上記各フレーム間のフレーム画像を予測補間
するようにしている。
像情報からなる動画像情報から各フレーム間のフレーム
画像を予測補間する動画像補間装置において、前記各フ
レーム間画像の動き情報を検出し、この動き情報を非線
形近似して上記各フレーム間のフレーム画像を予測補間
するようにしている。
【0010】前記動き情報は、例えば請求項3に記載さ
れているように、各フレーム間の所定フレーム画像情報
のブロックに対して他のフレーム画像情報のうち最も類
似したブロックに対応する移動量であってもよい。
れているように、各フレーム間の所定フレーム画像情報
のブロックに対して他のフレーム画像情報のうち最も類
似したブロックに対応する移動量であってもよい。
【0011】前記補間は、例えば請求項4に記載されて
いるように、各フレーム間の時間的距離の比から予測補
間するものであってもよい。
いるように、各フレーム間の時間的距離の比から予測補
間するものであってもよい。
【0012】
【作用】請求項1記載の発明では、例えば、テレビ電話
等における低レートの動画像の圧縮に際し、送信側から
フレーム数を間引かれた動画像情報が送信されると、受
信側では動画像情報が復号化されるとともに、間引きさ
れて送られてきたフレームから動きが検出され、その動
きが非直線近似される。そして、近似された曲線上で間
引きされたフレームが再構成される。
等における低レートの動画像の圧縮に際し、送信側から
フレーム数を間引かれた動画像情報が送信されると、受
信側では動画像情報が復号化されるとともに、間引きさ
れて送られてきたフレームから動きが検出され、その動
きが非直線近似される。そして、近似された曲線上で間
引きされたフレームが再構成される。
【0013】したがって、曲線運動や回転運動等に対応
することができ、受信側で欠落したフレームを正確に再
生することが可能になる。
することができ、受信側で欠落したフレームを正確に再
生することが可能になる。
【0014】請求項2、3及び4記載の発明では、動き
検出手段により間引きされて送られてきたフレームから
動きベクトルが検出され、補間手段により検出された動
きベクトルに基づいて動きが非直線近似され、動きを非
直線近似することによって間引きされたフレームが再構
成される。この場合、補間手段は、動き検出手段により
検出された動きベクトルの始点と終点の3点を通る曲線
を求め、内挿すべきフレームと被伝送フレームとの距離
の比から該3点を通る曲線(例えば、2次曲線)上に内
挿すべきフレームのブロックを補間するようにしてもよ
い。
検出手段により間引きされて送られてきたフレームから
動きベクトルが検出され、補間手段により検出された動
きベクトルに基づいて動きが非直線近似され、動きを非
直線近似することによって間引きされたフレームが再構
成される。この場合、補間手段は、動き検出手段により
検出された動きベクトルの始点と終点の3点を通る曲線
を求め、内挿すべきフレームと被伝送フレームとの距離
の比から該3点を通る曲線(例えば、2次曲線)上に内
挿すべきフレームのブロックを補間するようにしてもよ
い。
【0015】したがって、曲線運動や回転運動等に対応
することができ、受信側で欠落したフレームを正確に再
生することが可能になる。
することができ、受信側で欠落したフレームを正確に再
生することが可能になる。
【0016】
【実施例】以下、本発明を図面に基づいて説明する。
【0017】図1〜図4は本発明に係る動画像補間装置
の一実施例を示す図である。
の一実施例を示す図である。
【0018】先ず、構成を説明する。図1は動画像補間
装置のブロック図であり、この図において、動画像補間
装置は、送信側の符号化器1と受信側の復号器2とから
なる。
装置のブロック図であり、この図において、動画像補間
装置は、送信側の符号化器1と受信側の復号器2とから
なる。
【0019】図1において、動画像処理装置の符号化器
1は、動き検出部11、フレーム間引き処理部12、加
算器13、DCT演算部14、量子化部15、エントロ
ピー符号化部16、バッファ17及び動きフレーム間予
測部18等により構成される。
1は、動き検出部11、フレーム間引き処理部12、加
算器13、DCT演算部14、量子化部15、エントロ
ピー符号化部16、バッファ17及び動きフレーム間予
測部18等により構成される。
【0020】符号化器1には、図示しない画像メモリか
ら画像データが入力される。画像メモリは、データ圧縮
すべき画像データを記憶して、フレーム間引き処理部1
2に出力する。
ら画像データが入力される。画像メモリは、データ圧縮
すべき画像データを記憶して、フレーム間引き処理部1
2に出力する。
【0021】画像メモリから読み出された画像データ
は、フレーム間引き処理部12に入力され、フレーム間
引き処理部12は、テレビ電話装置等における低レート
の動画像の圧縮に際し送信側で伝送フレーム数を間引く
処理を行なうものである。間引かれたフレームは後述す
る受信側の動画内挿部29によって欠落したフレームが
正確に再生される。
は、フレーム間引き処理部12に入力され、フレーム間
引き処理部12は、テレビ電話装置等における低レート
の動画像の圧縮に際し送信側で伝送フレーム数を間引く
処理を行なうものである。間引かれたフレームは後述す
る受信側の動画内挿部29によって欠落したフレームが
正確に再生される。
【0022】フレーム間引き処理部12でフレーム間引
きされた画像データは、加算器13に入力され、加算器
13は、フレーム間引き処理部12でフレーム間引きさ
れた画像データと動きフレーム間予測部18での動き補
償フレーム間予測処理による予測結果を加算して、その
加算結果をDCT演算部14に出力する。
きされた画像データは、加算器13に入力され、加算器
13は、フレーム間引き処理部12でフレーム間引きさ
れた画像データと動きフレーム間予測部18での動き補
償フレーム間予測処理による予測結果を加算して、その
加算結果をDCT演算部14に出力する。
【0023】DCT演算部14は、加算器13による加
算結果の画像データに対してDCT演算を行ない、その
演算結果を量子化部15に出力する。
算結果の画像データに対してDCT演算を行ない、その
演算結果を量子化部15に出力する。
【0024】量子化部15は、コントローラで決定され
た量子化幅に従ってDCT演算部14による演算データ
を量子化テーブルROMの値に従って一定の誤差の範囲
内で量子化し、動きフレーム間予測部18及びエントロ
ピー符号化部16に出力する。図示しない量子化テーブ
ルROMには、各DCT係数毎に大きさの異なった量子
化マトリックス値を有する量子化テーブルが予め格納さ
れている。
た量子化幅に従ってDCT演算部14による演算データ
を量子化テーブルROMの値に従って一定の誤差の範囲
内で量子化し、動きフレーム間予測部18及びエントロ
ピー符号化部16に出力する。図示しない量子化テーブ
ルROMには、各DCT係数毎に大きさの異なった量子
化マトリックス値を有する量子化テーブルが予め格納さ
れている。
【0025】エントロピー符号化部16は、エントロピ
ー符号化用テーブルROMの値に従って量子化部15の
出力に対してエントロピー符号化を施し、各ブロックの
発生符号量をデータバッファ17に書き込む。
ー符号化用テーブルROMの値に従って量子化部15の
出力に対してエントロピー符号化を施し、各ブロックの
発生符号量をデータバッファ17に書き込む。
【0026】エントロピー符号化部16は、この符号化
に際して、各ブロック毎にDCT係数をエネルギの集中
する係数から順にジグザグ・スキャンして1次元配列に
変換し、ブロック内の最後のAC係数が0のときには、
最終有効係数に対する符号の次にEOBを付けている。
に際して、各ブロック毎にDCT係数をエネルギの集中
する係数から順にジグザグ・スキャンして1次元配列に
変換し、ブロック内の最後のAC係数が0のときには、
最終有効係数に対する符号の次にEOBを付けている。
【0027】また、この画像データと共に動き検出部1
1からの動きベクトルを所定フォーマットにして送出す
る。
1からの動きベクトルを所定フォーマットにして送出す
る。
【0028】バッファ17は、変動する情報発生を一定
レートに平滑化して、コントローラに出力し、また画像
データを伝送路を通して後述する受信側の復号器2、他
の動画像処理装置に伝送される。
レートに平滑化して、コントローラに出力し、また画像
データを伝送路を通して後述する受信側の復号器2、他
の動画像処理装置に伝送される。
【0029】動き検出部11は、フレーム間引き処理部
12でフレーム間引きされた画像データから動きベクト
ルを求めてエントロピー符号化部16及び後述する予測
器22に出力する。
12でフレーム間引きされた画像データから動きベクト
ルを求めてエントロピー符号化部16及び後述する予測
器22に出力する。
【0030】動きフレーム間予測部18は、動き検出部
11により検出された動きベクトルを基に周期的なフレ
ーム内符号化フレームを基本とした動き補償予測を行な
うもので、逆量子化部19、IDCT演算部(IDC
T)20、加算器21及び予測器22で構成されてい
る。
11により検出された動きベクトルを基に周期的なフレ
ーム内符号化フレームを基本とした動き補償予測を行な
うもので、逆量子化部19、IDCT演算部(IDC
T)20、加算器21及び予測器22で構成されてい
る。
【0031】逆量子化部19は、量子化部15により量
子化された画像データを逆量子化して、量子化前の画像
データに戻し、IDCT演算部20に出力する。
子化された画像データを逆量子化して、量子化前の画像
データに戻し、IDCT演算部20に出力する。
【0032】IDCT演算部20は、逆量子化部19に
より量子化前の状態に戻された画像データに対して逆D
CT(IDCT)演算を施し、加算器21に出力する。
より量子化前の状態に戻された画像データに対して逆D
CT(IDCT)演算を施し、加算器21に出力する。
【0033】加算器21は、IDCT演算部20により
DCT処理される前の状態に戻された画像データに動き
補償フレーム間処理による予測結果を加算して、予測器
22に出力する。
DCT処理される前の状態に戻された画像データに動き
補償フレーム間処理による予測結果を加算して、予測器
22に出力する。
【0034】なお、予測器22の入出力段には、スイッ
チ(図示略)が設けられており、コントローラからの画
像モードと予測モードに従って信号経路を切り換える。
例えば、スイッチは、予測モードで、その対応によりオ
ン/オフされて、予測器22を加算器13に接続する。
チ(図示略)が設けられており、コントローラからの画
像モードと予測モードに従って信号経路を切り換える。
例えば、スイッチは、予測モードで、その対応によりオ
ン/オフされて、予測器22を加算器13に接続する。
【0035】予測器22は、動き検出部11により検出
された動きベクトルにより動き補償予測を行なう。
された動きベクトルにより動き補償予測を行なう。
【0036】ここで、上記符号化器1は、図示しないコ
ントローラによって制御され、コントローラには画像メ
モリからの画像データ、バッファ17からの情報及び差
分値等が入力され、コントローラは、画像モード、予測
モード及び各種制御信号を出力して、システム全体を制
御する。なお、上記動き検出部11はこのコントローラ
の機能の一部として構成するようにしてもよい。
ントローラによって制御され、コントローラには画像メ
モリからの画像データ、バッファ17からの情報及び差
分値等が入力され、コントローラは、画像モード、予測
モード及び各種制御信号を出力して、システム全体を制
御する。なお、上記動き検出部11はこのコントローラ
の機能の一部として構成するようにしてもよい。
【0037】また、本実施例の動画像処理装置は、上記
符号化器1とは逆の動作を行なう復号器2を備えてお
り、バッファ23、エントロピー復号化部24、逆量子
化部25、IDCT演算部26、加算器27、予測器2
8及び動画内挿部29から構成されている。
符号化器1とは逆の動作を行なう復号器2を備えてお
り、バッファ23、エントロピー復号化部24、逆量子
化部25、IDCT演算部26、加算器27、予測器2
8及び動画内挿部29から構成されている。
【0038】バッファ23には、上記符号化器1等から
圧縮データが入力され、バッファ23は、変動する情報
発生を一定レートに平滑して、画像データを記憶装置に
出力する。
圧縮データが入力され、バッファ23は、変動する情報
発生を一定レートに平滑して、画像データを記憶装置に
出力する。
【0039】エントロピー復号化部24は、バッファ2
3から入力される復号化すべき画像データを前記エント
ロピー符号化部16の処理と逆の処理を行なって復号化
し、逆量子化部25に出力するとともに、所定フォーマ
ットから動きベクトルを抽出して出力する。
3から入力される復号化すべき画像データを前記エント
ロピー符号化部16の処理と逆の処理を行なって復号化
し、逆量子化部25に出力するとともに、所定フォーマ
ットから動きベクトルを抽出して出力する。
【0040】逆量子化部25は、決定された量子化幅に
従ってエントロピー復号化部24から出力される画像デ
ータに対して逆量子化し、IDCT演算部26に出力す
る。
従ってエントロピー復号化部24から出力される画像デ
ータに対して逆量子化し、IDCT演算部26に出力す
る。
【0041】IDCT演算部26は、逆量子化部25で
逆量子化されたデータに対して逆DCT演算を施し、そ
の演算結果を加算器27に出力する。
逆量子化されたデータに対して逆DCT演算を施し、そ
の演算結果を加算器27に出力する。
【0042】加算器27は、IDCT演算部26の出力
に予測結果を加算して、予測器28等に出力する。な
お、予測器28の入出力段には、スイッチ(図示略)が
設けられており、符号化器1のスイッチ同様にコントロ
ーラからの画像モードと予測モードに従って信号経路を
切り換える。
に予測結果を加算して、予測器28等に出力する。な
お、予測器28の入出力段には、スイッチ(図示略)が
設けられており、符号化器1のスイッチ同様にコントロ
ーラからの画像モードと予測モードに従って信号経路を
切り換える。
【0043】予測器28は、エントロピー復号化部24
で算出された動きベクトルにより動き補償予測を行な
う。この予測器28における動き補償予測において、後
述する動きベクトルが使用される。
で算出された動きベクトルにより動き補償予測を行な
う。この予測器28における動き補償予測において、後
述する動きベクトルが使用される。
【0044】動画内挿部29は、エントロピー復号化部
24で算出された動きベクトルにより補間フレームの内
挿を行ない、画像出力として外部に出力する。動画内挿
部29は、隣接伝送フレームから求めた動きベクトルか
ら動きを曲線に近似し、隣接伝送フレーム間の距離の比
から内挿すべき補間フレームを再構成する処理を行な
う。
24で算出された動きベクトルにより補間フレームの内
挿を行ない、画像出力として外部に出力する。動画内挿
部29は、隣接伝送フレームから求めた動きベクトルか
ら動きを曲線に近似し、隣接伝送フレーム間の距離の比
から内挿すべき補間フレームを再構成する処理を行な
う。
【0045】次に、本実施例の動作を説明する。
【0046】図2〜図4は、本実施例の動画像処理装置
のフレーム内挿動作を説明するための図であり、図2は
被伝送フレームPと被伝送フレームNとの間に補間フレ
ームM1,M2が、被伝送フレームNと被伝送フレームA
との間に補間フレームM3,M4がそれぞれ2枚ある場合
のフレーム内挿方式を示す図である。
のフレーム内挿動作を説明するための図であり、図2は
被伝送フレームPと被伝送フレームNとの間に補間フレ
ームM1,M2が、被伝送フレームNと被伝送フレームA
との間に補間フレームM3,M4がそれぞれ2枚ある場合
のフレーム内挿方式を示す図である。
【0047】図2中、MVPは被伝送フレームPから被伝
送フレームNへの動きベクトルを、MVNは被伝送フレー
ムNから被伝送フレームAへの動きベクトルを示し、B
P,BN,BA,BMiは各フレーム上のブロックを示す。ま
た、被伝送フレームPと被伝送フレームNとの距離及び
被伝送フレームNと被伝送フレームAとの距離をそれぞ
れ1とし、被伝送フレームPと補間フレームM2との距
離をaとし、被伝送フレームNと補間フレームM3との
距離をsとし、さらに、被伝送フレームPと補間フレー
ムM1との距離をbとし、被伝送フレームNと補間フレ
ームM4との距離をtとする。
送フレームNへの動きベクトルを、MVNは被伝送フレー
ムNから被伝送フレームAへの動きベクトルを示し、B
P,BN,BA,BMiは各フレーム上のブロックを示す。ま
た、被伝送フレームPと被伝送フレームNとの距離及び
被伝送フレームNと被伝送フレームAとの距離をそれぞ
れ1とし、被伝送フレームPと補間フレームM2との距
離をaとし、被伝送フレームNと補間フレームM3との
距離をsとし、さらに、被伝送フレームPと補間フレー
ムM1との距離をbとし、被伝送フレームNと補間フレ
ームM4との距離をtとする。
【0048】図2において、被伝送フレームNのブロッ
クBNに対して隣接被伝送フレームPと被伝送フレーム
Aの間で類似したブロックBP及びBAに基づく動きベク
トルMVP及びMVNとが伝送されてくる。
クBNに対して隣接被伝送フレームPと被伝送フレーム
Aの間で類似したブロックBP及びBAに基づく動きベク
トルMVP及びMVNとが伝送されてくる。
【0049】この場合のフレーム内挿処理は次のような
ものである。まず、これらの動きベクトルMVP,MVNの
始点と終点の3点を通る曲線を求め、内挿すべきフレー
ムと被伝送フレームとの距離の比から曲線上にブロック
を補間する。ブロックとしては、図2ではBM1,BM2,
BM3,BM4が相当する。また、補間するブロックは、例
えばBM1,BM2はBPとBNの各画素の平均を画素に持つ
ようなブロックとすればよい。
ものである。まず、これらの動きベクトルMVP,MVNの
始点と終点の3点を通る曲線を求め、内挿すべきフレー
ムと被伝送フレームとの距離の比から曲線上にブロック
を補間する。ブロックとしては、図2ではBM1,BM2,
BM3,BM4が相当する。また、補間するブロックは、例
えばBM1,BM2はBPとBNの各画素の平均を画素に持つ
ようなブロックとすればよい。
【0050】次に曲線の求め方について説明する。例え
ば水平方向の動きは上から見ると図3に示すようにな
る。そして、図3のように曲線上にブロックを補間する
場合には、動きベクトルMVPとMVNから被伝送フレーム
のブロックBNを原点として図4のように2次元の直交
座標系を設定する。
ば水平方向の動きは上から見ると図3に示すようにな
る。そして、図3のように曲線上にブロックを補間する
場合には、動きベクトルMVPとMVNから被伝送フレーム
のブロックBNを原点として図4のように2次元の直交
座標系を設定する。
【0051】具体的には、それぞれの座標をP(xP,
VP)、M1(xM1,VM1)、M2(xM2,VM2)、M3
(xM3,VM3)、M4(xM4,VM4)、A(xA,VA)
で与えると、A,P,O(原点)を通る曲線を求めれ
ば、xP,xM1〜xM4,xAはフレーム間の距離の比から
既知であり、VPはMVPの水平成分、VAはMVNの水平成
分であるからVM1〜VM4を求めればよいこととなる。
VP)、M1(xM1,VM1)、M2(xM2,VM2)、M3
(xM3,VM3)、M4(xM4,VM4)、A(xA,VA)
で与えると、A,P,O(原点)を通る曲線を求めれ
ば、xP,xM1〜xM4,xAはフレーム間の距離の比から
既知であり、VPはMVPの水平成分、VAはMVNの水平成
分であるからVM1〜VM4を求めればよいこととなる。
【0052】この曲線は3点を通るものとなるので、2
次曲線として表わされる。例えば、2次曲線をy=ax
2+bx+cなる曲線の式1で表現するとA,P,Oを
通ることからそれぞれを曲線の式1に代入して連立一次
方程式を解き、係数a,b,cを求めれば、VM1,VM
2,VM3,VM4を求めることができる。また、回転運動
を仮定した場合もx2+y2+ax+by+c=0なる式
2から同様にVM1,VM2,VM3,VM4を求めることがで
きる。
次曲線として表わされる。例えば、2次曲線をy=ax
2+bx+cなる曲線の式1で表現するとA,P,Oを
通ることからそれぞれを曲線の式1に代入して連立一次
方程式を解き、係数a,b,cを求めれば、VM1,VM
2,VM3,VM4を求めることができる。また、回転運動
を仮定した場合もx2+y2+ax+by+c=0なる式
2から同様にVM1,VM2,VM3,VM4を求めることがで
きる。
【0053】また、垂直方向の動きに対しても同様な方
法により曲線上にその動きを設定できる。
法により曲線上にその動きを設定できる。
【0054】これら水平、垂直成分から補間すべきブロ
ックの位置を決定し、ブロックを補間し内挿フレームを
形成していく。
ックの位置を決定し、ブロックを補間し内挿フレームを
形成していく。
【0055】以上の一連の動作は、伝送路から送られて
きた情報源を復号化部24で復号化された後の後処理と
して図1の動画内挿部29で行なわれる。
きた情報源を復号化部24で復号化された後の後処理と
して図1の動画内挿部29で行なわれる。
【0056】すなわち、図1に示す動き補償DCTによ
る予測符号化方式を用いた例では、送信側の符号化器1
で入力画像をフレーム間引を行なってエントロピー符号
化し、受信側では復号器2によって復号画像を再生す
る。また、符号化器1で画像データと共に符号化され、
復号化に際して復号化された動き情報としての動きベク
トルを用いて(図2におけるMVPとMVNがこれに相当す
る)、上述した方式にしたがって内挿画像を構成し、画
像を出力する。
る予測符号化方式を用いた例では、送信側の符号化器1
で入力画像をフレーム間引を行なってエントロピー符号
化し、受信側では復号器2によって復号画像を再生す
る。また、符号化器1で画像データと共に符号化され、
復号化に際して復号化された動き情報としての動きベク
トルを用いて(図2におけるMVPとMVNがこれに相当す
る)、上述した方式にしたがって内挿画像を構成し、画
像を出力する。
【0057】図3における動き補償DCTによる予測符
号化方式を用いた例では、送信側で入力画像を所定の形
式にブロック変換を行ない、これにしたがってフレーム
間/内予測を行ないエントロピー符号化する。受信側で
もブロック変換によって得られたフォーマットに従って
復号化し、出力画像を得る。
号化方式を用いた例では、送信側で入力画像を所定の形
式にブロック変換を行ない、これにしたがってフレーム
間/内予測を行ないエントロピー符号化する。受信側で
もブロック変換によって得られたフォーマットに従って
復号化し、出力画像を得る。
【0058】以上説明したように、本実施例に係る動画
像処理装置は、フレーム間引きされた画像データから動
きベクトルを求める動き検出部11、送信側で伝送フレ
ーム数を間引く処理を行なうフレーム間引き処理部1
2、加算器13、DCT演算部14、量子化部15、エ
ントロピー符号化部16、バッファ17及び動きフレー
ム間予測部18等からなる符号化器1と、バッファ2
3、エントロピー復号化部24、逆量子化部25、ID
CT演算部26、加算器27、予測器28及び動きベク
トルにより補間フレームの内挿を行ない、画像出力とし
て外部に出力する動画内挿部29等からなる復号器2か
ら構成され、動画内挿部29は、隣接伝送フレームから
求めた動きベクトルから動きを曲線に近似し、隣接伝送
フレーム間の距離の比から内挿すべき補間フレームを再
構成する処理を行なうようにしているので、移動物体の
直線的な動きには対応できることは勿論のこと、曲線運
動や回転運動等に対応でき、受信側で欠落したフレーム
を正確に再生することができる。
像処理装置は、フレーム間引きされた画像データから動
きベクトルを求める動き検出部11、送信側で伝送フレ
ーム数を間引く処理を行なうフレーム間引き処理部1
2、加算器13、DCT演算部14、量子化部15、エ
ントロピー符号化部16、バッファ17及び動きフレー
ム間予測部18等からなる符号化器1と、バッファ2
3、エントロピー復号化部24、逆量子化部25、ID
CT演算部26、加算器27、予測器28及び動きベク
トルにより補間フレームの内挿を行ない、画像出力とし
て外部に出力する動画内挿部29等からなる復号器2か
ら構成され、動画内挿部29は、隣接伝送フレームから
求めた動きベクトルから動きを曲線に近似し、隣接伝送
フレーム間の距離の比から内挿すべき補間フレームを再
構成する処理を行なうようにしているので、移動物体の
直線的な動きには対応できることは勿論のこと、曲線運
動や回転運動等に対応でき、受信側で欠落したフレーム
を正確に再生することができる。
【0059】なお、本実施例では、被伝送フレームNと
被伝送フレームAとの間に補間フレームM3,M4がそれ
ぞれ2枚ある場合のフレーム内挿の例であるが、動きを
曲線に近似することによって間引きされたフレームを再
構成するものであれば、いかなるフレーム内挿であって
も適用可能である。また、動きが直線に近似していれば
従来例と同様に動きベクトルを用いた直線による補間を
行なうことは言うまでもない。
被伝送フレームAとの間に補間フレームM3,M4がそれ
ぞれ2枚ある場合のフレーム内挿の例であるが、動きを
曲線に近似することによって間引きされたフレームを再
構成するものであれば、いかなるフレーム内挿であって
も適用可能である。また、動きが直線に近似していれば
従来例と同様に動きベクトルを用いた直線による補間を
行なうことは言うまでもない。
【0060】また、本実施例では、動きベクトルを送信
側から伝送するものについて説明したが、これに限るこ
とはなく、例えば動きベクトルを受信側で検出するもの
であってもよい。この場合、図2で説明すると、被伝送
フレームNのブロックBNに対して隣接被伝送フレーム
Pと被伝送フレームAの間である設定した範囲内で最も
類似したブロックをそれぞれ求める。図2ではブロック
BPとブロックBAがこれに相当する。そして、これらの
ブロックBP,BAに対して移動量が検出される。これら
移動量を図2中の動きベクトルMVP,MVNするものであ
る。
側から伝送するものについて説明したが、これに限るこ
とはなく、例えば動きベクトルを受信側で検出するもの
であってもよい。この場合、図2で説明すると、被伝送
フレームNのブロックBNに対して隣接被伝送フレーム
Pと被伝送フレームAの間である設定した範囲内で最も
類似したブロックをそれぞれ求める。図2ではブロック
BPとブロックBAがこれに相当する。そして、これらの
ブロックBP,BAに対して移動量が検出される。これら
移動量を図2中の動きベクトルMVP,MVNするものであ
る。
【0061】また、本実施例で示した被伝送フレームと
補間フレームとの関係は一例であり、フレームの数、位
置、動きの方向等は前述した実施例に限られないことは
勿論である。
補間フレームとの関係は一例であり、フレームの数、位
置、動きの方向等は前述した実施例に限られないことは
勿論である。
【0062】また、本実施例では、動画像補間装置をテ
レビ電話装置等における低レートの動画像の圧縮に適用
したものであるが、受信側で欠落したフレームを正確に
再生する装置であれば全ての装置に適用可能であり、例
えばMPEGアルゴリズムに基づく動画像補間装置に適
用してもよいことは言うまでもない。
レビ電話装置等における低レートの動画像の圧縮に適用
したものであるが、受信側で欠落したフレームを正確に
再生する装置であれば全ての装置に適用可能であり、例
えばMPEGアルゴリズムに基づく動画像補間装置に適
用してもよいことは言うまでもない。
【0063】さらに、上記動画像補間装置を構成する回
路や部材の数、種類などは前述した実施例に限られない
ことは言うまでもなく、ソフトウェア(例えば、C言
語)により実現するようにしてもよい。
路や部材の数、種類などは前述した実施例に限られない
ことは言うまでもなく、ソフトウェア(例えば、C言
語)により実現するようにしてもよい。
【0064】
【発明の効果】請求項1記載の発明によれば、送られて
きた動きを曲線に近似し、動きを曲線に近似することに
よって各フレーム間を再構成するようにしているので、
曲線運動や回転運動等に対応することができ、受信側で
欠落したフレームを正確に再生することが可能になる。
きた動きを曲線に近似し、動きを曲線に近似することに
よって各フレーム間を再構成するようにしているので、
曲線運動や回転運動等に対応することができ、受信側で
欠落したフレームを正確に再生することが可能になる。
【0065】請求項2、3及び4記載の発明によれば、
検出された動きベクトルに基づいて動きを曲線に近似
し、動きを曲線に近似することによって各フレーム間を
再構成するようにしているので、曲線運動や回転運動等
に対応することができ、受信側で欠落したフレームを正
確に再生することが可能になる。
検出された動きベクトルに基づいて動きを曲線に近似
し、動きを曲線に近似することによって各フレーム間を
再構成するようにしているので、曲線運動や回転運動等
に対応することができ、受信側で欠落したフレームを正
確に再生することが可能になる。
【図1】本発明に係る動画像補間装置の第1実施例のブ
ロック構成を示す図である。
ロック構成を示す図である。
【図2】同実施例の動画像補間装置のフレーム内挿動作
を説明するための図である。
を説明するための図である。
【図3】同実施例の動画像補間装置のフレーム内挿動作
を説明するための図である。
を説明するための図である。
【図4】同実施例の動画像補間装置のフレーム内挿動作
を説明するための図である。
を説明するための図である。
【図5】従来の動画像補間装置のフレーム内挿動作を示
す図である。
す図である。
1 符号化器 2 復号器 11 動き検出部 12 フレーム間引き処理部 13,21,27 加算器 14 DCT演算部 15 量子化部 16 エントロピー符号化部 17,23 バッファ 18 動きフレーム間予測部 19 逆量子化部 20,26 IDCT演算部(IDCT) 22,28 予測器 24 エントロピー復号化部 25 逆量子化部 29 動画内挿部
Claims (4)
- 【請求項1】 複数のフレーム画像情報と共に各フレー
ム間の動き情報からなる動画像情報から各フレーム間の
フレーム画像を予測補間する動画像補間装置において、 上記各フレーム間の動き情報を非線形近似して上記各フ
レーム間のフレーム画像を予測補間することを特徴とす
る動画像補間装置。 - 【請求項2】 複数のフレーム画像情報からなる動画像
情報から各フレーム間のフレーム画像を予測補間する動
画像補間装置において、 前記各フレーム間画像の動き情報を検出し、この動き情
報を非線形近似して上記各フレーム間のフレーム画像を
予測補間することを特徴とする動画像補間装置。 - 【請求項3】 前記動き情報は、各フレーム間の所定フ
レーム画像情報のブロックに対して他のフレーム画像情
報のうち最も類似したブロックに対応する移動量である
ことを特徴とする請求項1又は請求項2の何れかに記載
の動画像補間装置。 - 【請求項4】 前記補間は、各フレーム間の時間的距離
の比から予測補間することを特徴とする請求項1、請求
項2又は請求項3の何れかに記載の動画像補間装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP34431293A JPH07177514A (ja) | 1993-12-17 | 1993-12-17 | 動画像圧縮装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP34431293A JPH07177514A (ja) | 1993-12-17 | 1993-12-17 | 動画像圧縮装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH07177514A true JPH07177514A (ja) | 1995-07-14 |
Family
ID=18368272
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP34431293A Abandoned JPH07177514A (ja) | 1993-12-17 | 1993-12-17 | 動画像圧縮装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH07177514A (ja) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6600835B1 (en) | 1999-02-10 | 2003-07-29 | Nec Corporation | Moving-picture compressing technique |
WO2005062623A1 (ja) * | 2003-12-18 | 2005-07-07 | Nec Corporation | 動画像再生方法及び装置並びにプログラム |
WO2005076630A1 (ja) * | 2004-02-03 | 2005-08-18 | Matsushita Electric Industrial Co., Ltd. | 復号化装置、符号化装置、補間フレーム生成システム、集積回路装置、復号化プログラムおよび符号化プログラム |
JP2007274679A (ja) * | 2006-03-09 | 2007-10-18 | Sony Corp | フレームレート変換システム,フレームレート変換方法,送信装置,受信装置 |
JP2008177834A (ja) * | 2007-01-18 | 2008-07-31 | Nippon Hoso Kyokai <Nhk> | 符号化装置、及びプログラム |
JP2010062955A (ja) * | 2008-09-04 | 2010-03-18 | Japan Science & Technology Agency | 映像信号変換システム |
JP2010062957A (ja) * | 2008-09-04 | 2010-03-18 | Japan Science & Technology Agency | 動画処理装置及び動画処理方法 |
JP2010062953A (ja) * | 2008-09-04 | 2010-03-18 | Japan Science & Technology Agency | フレームレート変換装置、フレームレート変換方法及びフレームレート変換プログラム |
US8204104B2 (en) | 2006-03-09 | 2012-06-19 | Sony Corporation | Frame rate conversion system, method of converting frame rate, transmitter, and receiver |
-
1993
- 1993-12-17 JP JP34431293A patent/JPH07177514A/ja not_active Abandoned
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6600835B1 (en) | 1999-02-10 | 2003-07-29 | Nec Corporation | Moving-picture compressing technique |
WO2005062623A1 (ja) * | 2003-12-18 | 2005-07-07 | Nec Corporation | 動画像再生方法及び装置並びにプログラム |
WO2005076630A1 (ja) * | 2004-02-03 | 2005-08-18 | Matsushita Electric Industrial Co., Ltd. | 復号化装置、符号化装置、補間フレーム生成システム、集積回路装置、復号化プログラムおよび符号化プログラム |
US8160143B2 (en) | 2004-02-03 | 2012-04-17 | Panasonic Corporation | Decoding device, encoding device, interpolation frame creating system, integrated circuit device, decoding program, and encoding program |
JP2007274679A (ja) * | 2006-03-09 | 2007-10-18 | Sony Corp | フレームレート変換システム,フレームレート変換方法,送信装置,受信装置 |
US8204104B2 (en) | 2006-03-09 | 2012-06-19 | Sony Corporation | Frame rate conversion system, method of converting frame rate, transmitter, and receiver |
JP2008177834A (ja) * | 2007-01-18 | 2008-07-31 | Nippon Hoso Kyokai <Nhk> | 符号化装置、及びプログラム |
JP4628374B2 (ja) * | 2007-01-18 | 2011-02-09 | 日本放送協会 | 符号化装置、及びプログラム |
JP2010062955A (ja) * | 2008-09-04 | 2010-03-18 | Japan Science & Technology Agency | 映像信号変換システム |
JP2010062957A (ja) * | 2008-09-04 | 2010-03-18 | Japan Science & Technology Agency | 動画処理装置及び動画処理方法 |
JP2010062953A (ja) * | 2008-09-04 | 2010-03-18 | Japan Science & Technology Agency | フレームレート変換装置、フレームレート変換方法及びフレームレート変換プログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JPH0537915A (ja) | 画像信号符号化方法と画像信号符号化装置 | |
JPH05137131A (ja) | フレーム間動き予測方法 | |
JP2001204026A (ja) | 画像情報変換装置及び方法 | |
JP2006279573A (ja) | 符号化装置と方法、ならびに復号装置と方法 | |
JPH1093966A (ja) | 画像符号化装置 | |
JP2900998B2 (ja) | ブロック間内挿予測符号化装置、復号化装置、符号化方法及び復号化方法 | |
JP3348612B2 (ja) | ブロック間予測符号化装置、ブロック間予測復号化装置、ブロック間予測符号化方法、ブロック間予測復号化方法、及びブロック間予測符号化復号化装置 | |
JP2006279917A (ja) | 動画像符号化装置、動画像復号装置及び動画像伝送システム | |
JPH11168731A (ja) | 動きベクトル検出方法及びその方法を実施する装置 | |
KR970078653A (ko) | 화상복호화장치와 그 방법 및 화상재생장치 | |
JPH07177514A (ja) | 動画像圧縮装置 | |
KR100202538B1 (ko) | 엠펙 비디오 코덱 장치 | |
KR20050085730A (ko) | 탄력 저장 | |
JPH10136381A (ja) | 動画像符号化復号化装置及びその方法 | |
WO1995001053A1 (en) | Image processor | |
KR100203281B1 (ko) | 강제적 한방향 운동보상에 근거한 동화상 복호화장치 | |
JPH08154250A (ja) | 動画像符号化装置 | |
JPH0332185A (ja) | 動画像符号化装置及び動画像復号化装置 | |
KR0181067B1 (ko) | 호환성을 갖는 동영상 부호화기 | |
JPH10126794A (ja) | 動き予測フレーム間画像信号圧縮装置 | |
JP4326758B2 (ja) | 動画像符号化装置及び動画像復号化装置 | |
JPH06105299A (ja) | 動画像圧縮装置 | |
JP3186406B2 (ja) | 画像合成符号化方法及び画像合成装置 | |
JPH11136683A (ja) | 映像信号符号化装置 | |
JP2004140676A (ja) | 信号処理装置、その方法およびそのプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20040625 |