JP2866222B2 - 動き補償予測方式 - Google Patents
動き補償予測方式Info
- Publication number
- JP2866222B2 JP2866222B2 JP16777491A JP16777491A JP2866222B2 JP 2866222 B2 JP2866222 B2 JP 2866222B2 JP 16777491 A JP16777491 A JP 16777491A JP 16777491 A JP16777491 A JP 16777491A JP 2866222 B2 JP2866222 B2 JP 2866222B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- encoding target
- motion compensation
- target frame
- block
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【産業上の利用分野】この発明は画像符号化処理装置、
特にテレビ会議やテレビ電話等の画像通信機器に用いら
れる動き補償予測方式に関するものである。
特にテレビ会議やテレビ電話等の画像通信機器に用いら
れる動き補償予測方式に関するものである。
【０００２】
【従来の技術】一般的に画像符号化処理は、「村上篤道
著 高能率符号化技術」（テレビジョン学会誌 Ｖｏ
ｌ．４２ ＃１１ Ｐ．１１９８〜）に示されるよう
に、動画像を静止画像（以下、フレーム）の連続と考
え、フレームを構成する画像信号系列を近接する複数個
毎にまとめたブロックを符号化処理の単位として、これ
に多様な符号化処理の組み合わせ（以下、符号化アルゴ
リズム）を適用することで画像が持つ情報量の高能率圧
縮を図る。特に、動き補償予測は、フレーム間の強い相
関を利用した処理の一つである。
著 高能率符号化技術」（テレビジョン学会誌 Ｖｏ
ｌ．４２ ＃１１ Ｐ．１１９８〜）に示されるよう
に、動画像を静止画像（以下、フレーム）の連続と考
え、フレームを構成する画像信号系列を近接する複数個
毎にまとめたブロックを符号化処理の単位として、これ
に多様な符号化処理の組み合わせ（以下、符号化アルゴ
リズム）を適用することで画像が持つ情報量の高能率圧
縮を図る。特に、動き補償予測は、フレーム間の強い相
関を利用した処理の一つである。
【０００３】以下に、一般的な画像符号化器の動作を説
明する。図５は、上記の論文の内容を簡略化して表現し
た一般的な画像符号化器の構成図であり、図中、１はＡ
／Ｄ変換部、２はフォーマット変換部、３は情報源符号
化部、４は伝送路符号化部、５は送信制御部、６は伝送
路、７は受信制御部、８は伝送路復号部、９は情報源復
号化部、１０はフォーマット逆変換部、１１はＤ／Ａ変
換部である。
明する。図５は、上記の論文の内容を簡略化して表現し
た一般的な画像符号化器の構成図であり、図中、１はＡ
／Ｄ変換部、２はフォーマット変換部、３は情報源符号
化部、４は伝送路符号化部、５は送信制御部、６は伝送
路、７は受信制御部、８は伝送路復号部、９は情報源復
号化部、１０はフォーマット逆変換部、１１はＤ／Ａ変
換部である。
【０００４】図５において、ＴＶカメラ等から入力する
画像信号は、Ａ／Ｄ変換部１でディジタル化され、更に
フォーマット変換部２で情報源符号化に適するように並
べ変えられて、入力ブロックを構成する。情報源符号化
部３では、各入力ブロック毎に予測信号系列（以下、予
測ブロック）を生成し、前記入力ブロックと該予測ブロ
ックの差分信号系列（以下、予測誤差ブロック）につい
て符号化アルゴリズムを適用することで情報量の削減を
図る。
画像信号は、Ａ／Ｄ変換部１でディジタル化され、更に
フォーマット変換部２で情報源符号化に適するように並
べ変えられて、入力ブロックを構成する。情報源符号化
部３では、各入力ブロック毎に予測信号系列（以下、予
測ブロック）を生成し、前記入力ブロックと該予測ブロ
ックの差分信号系列（以下、予測誤差ブロック）につい
て符号化アルゴリズムを適用することで情報量の削減を
図る。
【０００５】各種符号化データは伝送路符号化部４でエ
ントロピー符号化、多重化されて、送信制御部５の制御
により伝送路６に送出される。受信制御部７では、通信
相手からのエントロピー符号化、多重化された符号化デ
ータを伝送路６から受信し、伝送路復号部８で各種符号
化データを分離復号する。情報源復号化部９では、各種
符号化データをもとに、情報源符号化部３における符号
化処理と逆の手順で、入力ブロックを復号する。復号さ
れた入力ブロックは、フォーマット逆変換部１０で元の
信号系列に変換され、Ｄ／Ａ変換部１１でアナログ量に
変換される。以上が一般的な画像符号化器における画像
信号の流れである。
ントロピー符号化、多重化されて、送信制御部５の制御
により伝送路６に送出される。受信制御部７では、通信
相手からのエントロピー符号化、多重化された符号化デ
ータを伝送路６から受信し、伝送路復号部８で各種符号
化データを分離復号する。情報源復号化部９では、各種
符号化データをもとに、情報源符号化部３における符号
化処理と逆の手順で、入力ブロックを復号する。復号さ
れた入力ブロックは、フォーマット逆変換部１０で元の
信号系列に変換され、Ｄ／Ａ変換部１１でアナログ量に
変換される。以上が一般的な画像符号化器における画像
信号の流れである。
【０００６】次に、情報源符号化部３の動作の詳細を説
明する。符号化アルゴリズムは、入力ブロックと予測ブ
ロックの残差である予測誤差ブロックに施され、符号化
対象の予測誤差ブロックを平均値、偏差成分、量子化符
号化値等の符号化データに展開する。これらの符号化デ
ータは、予測ブロックの識別子とともに、エントロピー
符号化、多重化の対象になる。ただし、以下に示すよう
な評価基準を用いて、“無効”と識別された予測誤差ブ
ロックについては、この限りではない。
明する。符号化アルゴリズムは、入力ブロックと予測ブ
ロックの残差である予測誤差ブロックに施され、符号化
対象の予測誤差ブロックを平均値、偏差成分、量子化符
号化値等の符号化データに展開する。これらの符号化デ
ータは、予測ブロックの識別子とともに、エントロピー
符号化、多重化の対象になる。ただし、以下に示すよう
な評価基準を用いて、“無効”と識別された予測誤差ブ
ロックについては、この限りではない。
【０００７】 ・平均値＞Ｔｈ1 または、偏差成分＞Ｔｈ2 …有効 ・上記以外 …無効 ここで、Ｔｈ1 、Ｔｈ2 は各々符号化対象の予測誤差ブ
ロックを平均値、偏差成分の有効／無効閾値であり、こ
れら閾値により符号化画像の品質（画質、送信駒数等）
を制御する。また、上記評価基準が示すように、入力ブ
ロックに対する予測の精度は、符号化画像の品質に大き
な影響を与える要因のひとつである。
ロックを平均値、偏差成分の有効／無効閾値であり、こ
れら閾値により符号化画像の品質（画質、送信駒数等）
を制御する。また、上記評価基準が示すように、入力ブ
ロックに対する予測の精度は、符号化画像の品質に大き
な影響を与える要因のひとつである。
【０００８】符号化画像の品質は、Ｔｈ1 、Ｔｈ2 の値
や入力ブロックに対する予測の精度に応じた、符号化対
象フレーム当りの符号情報発生量に大きく影響される。
一般に、符号情報発生量が多いほどフレーム毎の画質が
良好で、送信駒数が減少する傾向にある。Ｔｈ1 、Ｔｈ
2 は、符号化対象フレーム当りの符号情報発生量をなる
べく均等になるように制御し、符号化画像の品質を均一
に近付ける作用をする。よって、入力ブロックに対する
予測の精度が悪いときは、予測精度の悪い領域における
符号情報発生量が大幅に増加し、Ｔｈ1 、Ｔｈ2 は局所
的に増加した符号情報発生量を制御すべく値を上げるの
で、フレーム毎の画質が劣化し、送信駒数が減少するこ
とになる。ここで、送信駒数の減少は、連続する符号化
対象フレーム間相関の減少を意味する。
や入力ブロックに対する予測の精度に応じた、符号化対
象フレーム当りの符号情報発生量に大きく影響される。
一般に、符号情報発生量が多いほどフレーム毎の画質が
良好で、送信駒数が減少する傾向にある。Ｔｈ1 、Ｔｈ
2 は、符号化対象フレーム当りの符号情報発生量をなる
べく均等になるように制御し、符号化画像の品質を均一
に近付ける作用をする。よって、入力ブロックに対する
予測の精度が悪いときは、予測精度の悪い領域における
符号情報発生量が大幅に増加し、Ｔｈ1 、Ｔｈ2 は局所
的に増加した符号情報発生量を制御すべく値を上げるの
で、フレーム毎の画質が劣化し、送信駒数が減少するこ
とになる。ここで、送信駒数の減少は、連続する符号化
対象フレーム間相関の減少を意味する。
【０００９】動画像を符号化するときは、連続するフレ
ーム間の相関を利用して情報量の削減を図ることが多
い。つまり、入力ブロックの予測に、フレーム間の動き
補償予測を適用することで、符号化画像の品質向上が期
待できる。図６には、動き補償の概念図を示す。動き補
償の概念は、入力ブロックに対して、複数の動き補償予
測ブロックまたはパターン予測ブロックから成る参照ブ
ロック群を用意して、最近似予測ブロックを一つ選択
し、これを予測ブロックとするものである。最近似予測
ブロックは、例えば、評価関数に歪み演算（差分絶対値
歪み等）を用いて、参照ブロック群の中からトーナメン
ト方式で選択される。尚、トーナメント方式としては、
全探索方式や多段マッチング方式等が提案されている。
ーム間の相関を利用して情報量の削減を図ることが多
い。つまり、入力ブロックの予測に、フレーム間の動き
補償予測を適用することで、符号化画像の品質向上が期
待できる。図６には、動き補償の概念図を示す。動き補
償の概念は、入力ブロックに対して、複数の動き補償予
測ブロックまたはパターン予測ブロックから成る参照ブ
ロック群を用意して、最近似予測ブロックを一つ選択
し、これを予測ブロックとするものである。最近似予測
ブロックは、例えば、評価関数に歪み演算（差分絶対値
歪み等）を用いて、参照ブロック群の中からトーナメン
ト方式で選択される。尚、トーナメント方式としては、
全探索方式や多段マッチング方式等が提案されている。
【００１０】ここで、参照ブロック群のうち、動き補償
予測ブロックの参照範囲がフレーム全域に渡ることはな
く、入力ブロックの同一位置を基準として、その近傍に
固定されることが多い。例えば、ＣＣＩＴＴ勧告 Ｈ．
２６１における動き補償予測ブロック参照範囲は、入力
ブロックの同一位置に対して±１５画素以内に限定され
ている。
予測ブロックの参照範囲がフレーム全域に渡ることはな
く、入力ブロックの同一位置を基準として、その近傍に
固定されることが多い。例えば、ＣＣＩＴＴ勧告 Ｈ．
２６１における動き補償予測ブロック参照範囲は、入力
ブロックの同一位置に対して±１５画素以内に限定され
ている。
【００１１】以下に、従来の動き補償予測方式を用いた
情報源符号化部の構成例を挙げる。図４は、従来の動き
補償予測方式を用いた情報源符号化部の機能ブロック図
であり、図中、２はフォーマット変換部、３は情報源符
号化部、２２はブロック化部、３３は動き補償予測部、
３４は高能率符号化部、３５は局部復号部、３６はフレ
ームメモリ、３７は参照ブロック生成部である。以下
に、各機能ブロックの動作概要を図について説明する。
ビデオ信号はブロック化部２２を通過することで入力ブ
ロックを構成し、情報源符号化部３に送出される。情報
源符号化部３では、入力ブロックに対して、動き補償予
測部３３で動き補償予測を行う。参照ブロックとして、
参照ブロック生成部３７がフレームメモリ３６をアクセ
スし、前符号化対象フレームの局部復号信号から、あら
かじめ設定されている参照範囲内の信号系列を出力す
る。
情報源符号化部の構成例を挙げる。図４は、従来の動き
補償予測方式を用いた情報源符号化部の機能ブロック図
であり、図中、２はフォーマット変換部、３は情報源符
号化部、２２はブロック化部、３３は動き補償予測部、
３４は高能率符号化部、３５は局部復号部、３６はフレ
ームメモリ、３７は参照ブロック生成部である。以下
に、各機能ブロックの動作概要を図について説明する。
ビデオ信号はブロック化部２２を通過することで入力ブ
ロックを構成し、情報源符号化部３に送出される。情報
源符号化部３では、入力ブロックに対して、動き補償予
測部３３で動き補償予測を行う。参照ブロックとして、
参照ブロック生成部３７がフレームメモリ３６をアクセ
スし、前符号化対象フレームの局部復号信号から、あら
かじめ設定されている参照範囲内の信号系列を出力す
る。
【００１２】動き補償予測後の予測誤差ブロックは、高
能率符号化部３４において、各種符号化データに展開さ
れ、伝送路符号化部と局部復号部３５に転送される。局
部復号部３５においては、高能率符号化部３４における
処理の逆手順で、各種符号化データを局部的に復号し、
次符号化対象フレームの動き補償予測に備えて、フレー
ムメモリ３６に格納する。
能率符号化部３４において、各種符号化データに展開さ
れ、伝送路符号化部と局部復号部３５に転送される。局
部復号部３５においては、高能率符号化部３４における
処理の逆手順で、各種符号化データを局部的に復号し、
次符号化対象フレームの動き補償予測に備えて、フレー
ムメモリ３６に格納する。
【００１３】
【発明が解決しようとする課題】従来の動き補償予測を
用いた画像符号化器は、以上のように構成されているの
で、送信駒数が多く、符号情報発生量が適切である符号
化対象フレームにおける動き補償予測では、あらかじめ
設定されている動き補償予測ブロックの参照範囲内の微
小偏動領域から最近似予測ブロックが選択されることが
予測されるため、微小偏動領域から外れた範囲での評価
関数演算が画像符号化処理のオーバーヘッドになる。ま
た、送信駒数が少なく、符号情報発生量の大きい符号化
対象フレームでの動き補償予測では、必要とする動き補
償予測ブロックの参照範囲が、設定範囲を越えることが
考えられるので、入力ブロックに対する予測精度が悪化
するという問題点があった。
用いた画像符号化器は、以上のように構成されているの
で、送信駒数が多く、符号情報発生量が適切である符号
化対象フレームにおける動き補償予測では、あらかじめ
設定されている動き補償予測ブロックの参照範囲内の微
小偏動領域から最近似予測ブロックが選択されることが
予測されるため、微小偏動領域から外れた範囲での評価
関数演算が画像符号化処理のオーバーヘッドになる。ま
た、送信駒数が少なく、符号情報発生量の大きい符号化
対象フレームでの動き補償予測では、必要とする動き補
償予測ブロックの参照範囲が、設定範囲を越えることが
考えられるので、入力ブロックに対する予測精度が悪化
するという問題点があった。
【００１４】この発明が解決しようとする課題は、評価
関数演算が画像符号化処理に対するオーバーヘッドにな
ることなく、入力ブロックに対する予測精度が高い動き
補償予測方法を提供することにある。
関数演算が画像符号化処理に対するオーバーヘッドにな
ることなく、入力ブロックに対する予測精度が高い動き
補償予測方法を提供することにある。
【００１５】
【課題を解決するための手段】この第１発明に係る動き
補償予測方式は、符号化対象フレームのディジタル画像
信号系列をブロック化した入力ブロックと、前符号化対
象フレームの局部復号信号系列で、前記入力ブロックに
対して同一位置またはその近傍に位置する動き補償予測
ブロックを複数集合した参照ブロック群より評価関数を
用いて選択した１つの動き補償予測ブロックとの差分で
ある予測誤差ブロックを符号化対象とする動き補償付き
画像符号化方式において、前記符号化対象フレームにフ
レーム単位にシーケンス番号を付し、現符号化対象フレ
ームと該フレームに対して遅延した前符号化フレームと
のシーケンス番号の差分値に応じて上記参照ブロック群
の参照範囲を適応制御するものである。
補償予測方式は、符号化対象フレームのディジタル画像
信号系列をブロック化した入力ブロックと、前符号化対
象フレームの局部復号信号系列で、前記入力ブロックに
対して同一位置またはその近傍に位置する動き補償予測
ブロックを複数集合した参照ブロック群より評価関数を
用いて選択した１つの動き補償予測ブロックとの差分で
ある予測誤差ブロックを符号化対象とする動き補償付き
画像符号化方式において、前記符号化対象フレームにフ
レーム単位にシーケンス番号を付し、現符号化対象フレ
ームと該フレームに対して遅延した前符号化フレームと
のシーケンス番号の差分値に応じて上記参照ブロック群
の参照範囲を適応制御するものである。
【００１６】また、この第２の発明に係る動き補償予測
方式は、前記動き補償予測ブロック群の基準位置とし
て、前記入力ブロック位置を補正して用いるときに、現
符号化対象フレームのシーケンス番号と過去の符号化対
象フレームのシーケンス番号との差分値に応じて、前記
入力ブロックと同一位置における過去の符号化対象フレ
ームの動きベクトルをモディファイし、これを初期変位
量として前記入力ブロック位置を補正するものである。
方式は、前記動き補償予測ブロック群の基準位置とし
て、前記入力ブロック位置を補正して用いるときに、現
符号化対象フレームのシーケンス番号と過去の符号化対
象フレームのシーケンス番号との差分値に応じて、前記
入力ブロックと同一位置における過去の符号化対象フレ
ームの動きベクトルをモディファイし、これを初期変位
量として前記入力ブロック位置を補正するものである。
【００１７】また、この第３の発明に係る動き補償予測
方式は、前記動き補償予測ブロック群の基準位置および
参照範囲を、現符号化対象フレームのシーケンス番号と
過去の符号化対象フレームのシーケンス番号との差分値
に応じて適応制御するものである。
方式は、前記動き補償予測ブロック群の基準位置および
参照範囲を、現符号化対象フレームのシーケンス番号と
過去の符号化対象フレームのシーケンス番号との差分値
に応じて適応制御するものである。
【００１８】
【作用】この第１の発明によれば、符号化対象フレーム
の所定のフレームレートにおけるシーケンス番号（Ｔ
Ｒ：正の整数）を識別し、前符号化対象フレームと現符
号化対象フレームのＴＲ値の差異から、前符号化対象フ
レームと現符号化対象フレームのフレーム間相関の強さ
を判断するとともに、フレーム間の強さに応じて、動き
補償予測ブロックの参照範囲を可変とすることにより、
微小動領域においては動き補償予測評価関数演算数を削
減し、動領域においては予測精度を向上させる。
の所定のフレームレートにおけるシーケンス番号（Ｔ
Ｒ：正の整数）を識別し、前符号化対象フレームと現符
号化対象フレームのＴＲ値の差異から、前符号化対象フ
レームと現符号化対象フレームのフレーム間相関の強さ
を判断するとともに、フレーム間の強さに応じて、動き
補償予測ブロックの参照範囲を可変とすることにより、
微小動領域においては動き補償予測評価関数演算数を削
減し、動領域においては予測精度を向上させる。
【００１９】また、この第２の発明によれば、動き補償
予測ブロック参照範囲の基準位置を、過去の符号化対象
フレームにおける動きベクトルと、前符号化対象フレー
ムと現符号化対象フレームのフレーム間相関の強さから
決まるパラメータで補正することで、予測精度が高く、
動き補償予測ブロックの参照範囲が持つ冗長度を削減で
き、かつ被写体の動きの種類によらないという効果を有
する。
予測ブロック参照範囲の基準位置を、過去の符号化対象
フレームにおける動きベクトルと、前符号化対象フレー
ムと現符号化対象フレームのフレーム間相関の強さから
決まるパラメータで補正することで、予測精度が高く、
動き補償予測ブロックの参照範囲が持つ冗長度を削減で
き、かつ被写体の動きの種類によらないという効果を有
する。
【００２０】また、この第３の発明によれば前記動き補
償予測ブロック群の基準位置および参照範囲を現符号化
対象フレームのＴＲと過去の符号化対象フレームのＴＲ
との差分値に応じて適応制御することで評価関数演算数
を削減し、入力ブロックに対する予測精度を向上させ
る。
償予測ブロック群の基準位置および参照範囲を現符号化
対象フレームのＴＲと過去の符号化対象フレームのＴＲ
との差分値に応じて適応制御することで評価関数演算数
を削減し、入力ブロックに対する予測精度を向上させ
る。
【００２１】
【実施例】以下に、本発明の動き補償予測方式について
説明する。図１は、本発明による動き補償予測方式を用
いた情報源符号化部の構成例であり、図中、２ａはフォ
ーマット変換部、３ａは情報源符号化部、２１はシーケ
ンスナンバ付加部、２２はブロック化部、３１はフレー
ム間相関識別部、３２は遅延回路、３３は動き補償予測
部、３４は高能率符号化部、３５は局部復号部、３６は
フレームメモリ、３７は参照ブロック生成部である。第
１図に示す各機能ブロックの動作概要は次のとおり。
説明する。図１は、本発明による動き補償予測方式を用
いた情報源符号化部の構成例であり、図中、２ａはフォ
ーマット変換部、３ａは情報源符号化部、２１はシーケ
ンスナンバ付加部、２２はブロック化部、３１はフレー
ム間相関識別部、３２は遅延回路、３３は動き補償予測
部、３４は高能率符号化部、３５は局部復号部、３６は
フレームメモリ、３７は参照ブロック生成部である。第
１図に示す各機能ブロックの動作概要は次のとおり。
【００２２】ビデオ信号はブロック化部２２を通過する
ことで入力ブロックを構成し、更にシーケンスナンバ付
加部２１でフレーム単位のシーケンスナンバ：ＴＲが付
加された後、情報源符号化部３ａに送出される。情報源
符号化部３ａでは、入力ブロックに対して、動き補償予
測部３３で動き補償予測を行う。参照ブロックとして、
参照ブロック生成部３７がフレームメモリ３６をアクセ
スし、前符号化対象フレームの局部復号信号から参照範
囲内の信号系列を出力する。尚、該参照範囲は、現符号
化対象フレームと前符号化対象フレームの相関に応じた
適応制御によって可変である。現符号化対象フレームと
前符号化対象フレームのフレーム間相関は、現符号化対
象フレームと前符号化フレームのＴＲを、フレーム間相
関識別部３１に入力することで判断する。
ことで入力ブロックを構成し、更にシーケンスナンバ付
加部２１でフレーム単位のシーケンスナンバ：ＴＲが付
加された後、情報源符号化部３ａに送出される。情報源
符号化部３ａでは、入力ブロックに対して、動き補償予
測部３３で動き補償予測を行う。参照ブロックとして、
参照ブロック生成部３７がフレームメモリ３６をアクセ
スし、前符号化対象フレームの局部復号信号から参照範
囲内の信号系列を出力する。尚、該参照範囲は、現符号
化対象フレームと前符号化対象フレームの相関に応じた
適応制御によって可変である。現符号化対象フレームと
前符号化対象フレームのフレーム間相関は、現符号化対
象フレームと前符号化フレームのＴＲを、フレーム間相
関識別部３１に入力することで判断する。
【００２３】ここで、前符号化対象フレームのＴＲは、
遅延回路３２において、現符号化対象フレームのＴＲに
フレーム単位の遅延を与えることで得る。動き補償予測
後の予測誤差ブロックは、高能率符号化部３４におい
て、各種符号化データに展開され、伝送路符号化部と局
部復号部３５に転送される。局部復号部３５において
は、高能率符号化部３４における処理の逆手順で、各種
符号化データを局部的に復号し、次符号化対象フレーム
の動き補償予測に備えて、フレームメモリ３６に格納す
る。
遅延回路３２において、現符号化対象フレームのＴＲに
フレーム単位の遅延を与えることで得る。動き補償予測
後の予測誤差ブロックは、高能率符号化部３４におい
て、各種符号化データに展開され、伝送路符号化部と局
部復号部３５に転送される。局部復号部３５において
は、高能率符号化部３４における処理の逆手順で、各種
符号化データを局部的に復号し、次符号化対象フレーム
の動き補償予測に備えて、フレームメモリ３６に格納す
る。
【００２４】次に、フレーム間相関識別部３１における
フレーム間相関識別の一例を挙げる。前記のとおり、符
号化対象フレームの各々には、フレームレート対応のＴ
Ｒが付加されており、現符号化対象フレームと前符号化
対象フレームのＴＲの差異は、両フレーム間の時間的な
隔りを示す。
フレーム間相関識別の一例を挙げる。前記のとおり、符
号化対象フレームの各々には、フレームレート対応のＴ
Ｒが付加されており、現符号化対象フレームと前符号化
対象フレームのＴＲの差異は、両フレーム間の時間的な
隔りを示す。
【００２５】ここで、移動する被写体を撮影した動画像
の符号化処理を考える。２枚のフレーム間で、同一位置
における相関（自己相関）は、フレーム間での被写体の
空間的なずれ距離に応じて減少することから、フレーム
間の時間的な隔りが自己相関に影響することがわかる。
本実施例では、被写体の空間的なずれ距離を、フレーム
間の時間的隔り（フレーム間ＴＲ差異）の比例関数で近
似した。尚、被写体の空間的なずれ距離は、フレーム間
ＴＲ差異の比例関数以外で近似しても良い。
の符号化処理を考える。２枚のフレーム間で、同一位置
における相関（自己相関）は、フレーム間での被写体の
空間的なずれ距離に応じて減少することから、フレーム
間の時間的な隔りが自己相関に影響することがわかる。
本実施例では、被写体の空間的なずれ距離を、フレーム
間の時間的隔り（フレーム間ＴＲ差異）の比例関数で近
似した。尚、被写体の空間的なずれ距離は、フレーム間
ＴＲ差異の比例関数以外で近似しても良い。
【００２６】動き補償予測の評価対象である動き補償予
測ブロック群の参照範囲の適応制御の１例について、以
下に説明する。前記のとおり、現符号化対象フレームと
前符号化対象フレームのＴＲ差異が被写体の空間的なず
れ距離に比例するので、入力ブロックの同一位置を基準
とする動き補償予測ブロック群の参照範囲は、ＴＲ差異
に対応して拡大・縮小することになる。本実施例では、
異なる参照範囲を複数用意して、ＴＲ差異としきい値：
Ｔａとの比較結果に応じてこれを選択することで、動き
補償予測ブロック群の参照範囲の拡大・縮小に対応す
る。
測ブロック群の参照範囲の適応制御の１例について、以
下に説明する。前記のとおり、現符号化対象フレームと
前符号化対象フレームのＴＲ差異が被写体の空間的なず
れ距離に比例するので、入力ブロックの同一位置を基準
とする動き補償予測ブロック群の参照範囲は、ＴＲ差異
に対応して拡大・縮小することになる。本実施例では、
異なる参照範囲を複数用意して、ＴＲ差異としきい値：
Ｔａとの比較結果に応じてこれを選択することで、動き
補償予測ブロック群の参照範囲の拡大・縮小に対応す
る。
【００２７】図２に、２つの参照範囲を適応的に切り換
える場合の概念を、従来の参照範囲と対比して示す。図
において、座標原点：０は、動き補償予測ブロック群の
参照範囲の基準位置に相当し、基準位置からの偏位は画
素単位とする。尚、しきい値：Ｔａは、固定パラメータ
である必要はない。
える場合の概念を、従来の参照範囲と対比して示す。図
において、座標原点：０は、動き補償予測ブロック群の
参照範囲の基準位置に相当し、基準位置からの偏位は画
素単位とする。尚、しきい値：Ｔａは、固定パラメータ
である必要はない。
【００２８】他の動き補償予測ブロック群の参照範囲の
適応制御例を以下に挙げる。本制御例では、ＴＲ差異に
対応して拡大・縮小する動き補償予測ブロック群の参照
範囲に対して、参照範囲の基準位置を適確に制御するこ
とで、基準位置周辺の参照範囲の削減を図る。ここで、
参照範囲の基準位置は、入力ブロックの同一位置をＴＲ
差異に応じた空間偏位成分（以下、初期偏位）で補正す
ることで求める。入力ブロックの同一位置を補正する初
期偏位の演算は、該同一位置における動きベクトルの時
間的な変化と、現符号化対象フレームと前符号化対象フ
レームのＴＲ差異から推定する。ここで、参照する動き
ベクトルは、過去の符号化対象フレームにおけるパター
ンインデックス以外の動きベクトルである。
適応制御例を以下に挙げる。本制御例では、ＴＲ差異に
対応して拡大・縮小する動き補償予測ブロック群の参照
範囲に対して、参照範囲の基準位置を適確に制御するこ
とで、基準位置周辺の参照範囲の削減を図る。ここで、
参照範囲の基準位置は、入力ブロックの同一位置をＴＲ
差異に応じた空間偏位成分（以下、初期偏位）で補正す
ることで求める。入力ブロックの同一位置を補正する初
期偏位の演算は、該同一位置における動きベクトルの時
間的な変化と、現符号化対象フレームと前符号化対象フ
レームのＴＲ差異から推定する。ここで、参照する動き
ベクトルは、過去の符号化対象フレームにおけるパター
ンインデックス以外の動きベクトルである。
【００２９】図３には、本制御例の概念を、従来の参照
範囲と対比して示す。図において、座標原点：０は、入
力ブロックの同一位置に相当し、基準位置からの偏位は
画素単位とする。また、座標原点：０から座標原点：
０’へのベクトルが初期偏位に相当する。現符号化対象
フレームに対して、１つ前の符号化対象フレームを参照
することで、等速度で移動する被写体の補正が可能とな
り、２つ以上前の符号化対象フレームを参照すること
で、被写体の加速度を考慮した補正が可能である。尚、
本制御例では、参照する過去の符号化対象フレームの履
歴は問わない。
範囲と対比して示す。図において、座標原点：０は、入
力ブロックの同一位置に相当し、基準位置からの偏位は
画素単位とする。また、座標原点：０から座標原点：
０’へのベクトルが初期偏位に相当する。現符号化対象
フレームに対して、１つ前の符号化対象フレームを参照
することで、等速度で移動する被写体の補正が可能とな
り、２つ以上前の符号化対象フレームを参照すること
で、被写体の加速度を考慮した補正が可能である。尚、
本制御例では、参照する過去の符号化対象フレームの履
歴は問わない。
【００３０】また、動き補償予測ブロック群の参照範囲
として、その基準位置を入力ブロックの同一位置を符号
化対象フレーム間のＴＲ差異に応じた初期偏位で補正し
た上で、前記ＴＲ差異に対応した可変領域を与えること
も効果的である。
として、その基準位置を入力ブロックの同一位置を符号
化対象フレーム間のＴＲ差異に応じた初期偏位で補正し
た上で、前記ＴＲ差異に対応した可変領域を与えること
も効果的である。
【００３１】
【発明の効果】以上のように、この発明は、次に示す効
果を有する。
果を有する。
【００３２】前記符号化対象フレームにフレーム単位に
シーケンス番号を付し、現符号化対象フレームと該フレ
ームに対して遅延した前符号化フレームとのシーケンス
番号の差分値に応じて上記参照ブロック群の参照範囲を
適応制御するようにしたので、送信駒数の多い微小動領
域においては動き補償予測評価関数演算数を削減して画
像符号化処理のオーバヘッドを無くし、送信駒数の少な
い動領域においては入力ブロックに対する予測精度を向
上させることができる。
シーケンス番号を付し、現符号化対象フレームと該フレ
ームに対して遅延した前符号化フレームとのシーケンス
番号の差分値に応じて上記参照ブロック群の参照範囲を
適応制御するようにしたので、送信駒数の多い微小動領
域においては動き補償予測評価関数演算数を削減して画
像符号化処理のオーバヘッドを無くし、送信駒数の少な
い動領域においては入力ブロックに対する予測精度を向
上させることができる。
【００３３】他の方式として、過去の符号化対象フレー
ムにおける動きベクトルと、前符号化対象フレームと現
符号化対象フレームのフレーム間相関の強さから決まる
パラメータで動き補償予測ブロック参照範囲の基準位置
を補正するので、予測精度が高く、動き補償予測ブロッ
クの参照範囲が持つ冗長度を削減でき、かつ被写体の動
きの種類によらないという効果を有する。
ムにおける動きベクトルと、前符号化対象フレームと現
符号化対象フレームのフレーム間相関の強さから決まる
パラメータで動き補償予測ブロック参照範囲の基準位置
を補正するので、予測精度が高く、動き補償予測ブロッ
クの参照範囲が持つ冗長度を削減でき、かつ被写体の動
きの種類によらないという効果を有する。
【図１】本発明にかかる動き補償方式を用いた情報源符
号化部の機能ブロック図である。
号化部の機能ブロック図である。
【図２】本発明にかかる動き補償方式で動き補償予測ブ
ロックの参照範囲を適応制御する１例を示す図である。
ロックの参照範囲を適応制御する１例を示す図である。
【図３】本発明にかかる動き補償方式で用いる動き補償
予測ブロックの参照範囲を適応制御する他の例を示す図
である。
予測ブロックの参照範囲を適応制御する他の例を示す図
である。
【図４】従来の動き補償方式を用いた情報源符号化部の
機能ブロック図である。
機能ブロック図である。
【図５】一般的な画像符号化器の機能ブロック図であ
る。
る。
【図６】動き補償予測の概念図である。
２ａ フォーマット変換部 ３ａ 情報源符号化部 ２１ シーケンスナンバ付加部 ２２ ブロック化部 ３１ フレーム間相関識別部 ３２ 遅延回路 ３３ 動き補償予測部 ３４ 高能率符号化部 ３５ 局部復号部 ３６ フレームメモリ ３７ 参照ブロック生成部
Claims (3)
- 【請求項１】 符号化対象フレームのディジタル画像信
号系列をブロック化した入力ブロックと、前符号化対象
フレームの局部復号信号系列で、前記入力ブロックに対
して同一位置またはその近傍に位置する動き補償予測ブ
ロックを複数集合した参照ブロック群より評価関数を用
いて選択した１つの動き補償予測ブロックとの差分であ
る予測誤差ブロックを符号化対象とする動き補償付き画
像符号化方式において、前記符号化対象フレームにフレ
ーム単位にシーケンス番号を付し、現符号化対象フレー
ムと該フレームに対して遅延した前符号化フレームとの
シーケンス番号の差分値に応じて上記参照ブロック群の
参照範囲を適応制御することを特徴とする動き補償予測
方式。 - 【請求項２】 前記動き補償予測ブロック群の基準位置
として、前記入力ブロック位置を補正して用いるとき
に、現符号化対象フレームのシーケンス番号と過去の符
号化対象フレームのシーケンス番号との差分値に応じ
て、前記入力ブロックと同一位置における過去の符号化
対象フレームの動きベクトルをモディファイし、これを
初期変位量として前記入力ブロック位置を補正すること
を特徴とする請求項１記載の動き補償予測方式。 - 【請求項３】 前記動き補償予測ブロック群の基準位置
および参照範囲を、現符号化対象フレームのシーケンス
番号と過去の符号化対象フレームのシーケンス番号との
差分値に応じて適応制御することを特徴とする請求項１
または請求項２いずれかに記載の動き補償予測方式。
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16777491A JP2866222B2 (ja) | 1991-06-12 | 1991-06-12 | 動き補償予測方式 |
| CA 2070757 CA2070757C (en) | 1991-06-12 | 1992-06-09 | Motion compensated predicting apparatus |
| AU18132/92A AU658889B2 (en) | 1991-06-12 | 1992-06-10 | MC predicting apparatus |
| US07/896,327 US5251030A (en) | 1991-06-12 | 1992-06-10 | MC predicting apparatus |
| EP19920109813 EP0518314B1 (en) | 1991-06-12 | 1992-06-11 | Motion compensated predicting apparatus |
| DE1992631678 DE69231678T2 (de) | 1991-06-12 | 1992-06-11 | Bewegungskompensierte Prädiktionseinrichtung |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16777491A JP2866222B2 (ja) | 1991-06-12 | 1991-06-12 | 動き補償予測方式 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH05227038A JPH05227038A (ja) | 1993-09-03 |
| JP2866222B2 true JP2866222B2 (ja) | 1999-03-08 |
Family
ID=15855863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16777491A Expired - Fee Related JP2866222B2 (ja) | 1991-06-12 | 1991-06-12 | 動き補償予測方式 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US5251030A (ja) |
| EP (1) | EP0518314B1 (ja) |
| JP (1) | JP2866222B2 (ja) |
| AU (1) | AU658889B2 (ja) |
| CA (1) | CA2070757C (ja) |
| DE (1) | DE69231678T2 (ja) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5475446A (en) * | 1992-03-09 | 1995-12-12 | Matsushita Electric Industrial Co., Ltd. | Picture signal motion detector employing partial decimation of pixel blocks |
| JPH06209466A (ja) * | 1992-10-07 | 1994-07-26 | Canon Inc | 動ベクトル検出装置 |
| EP0614317A3 (en) * | 1993-03-05 | 1995-01-25 | Sony Corp | Decoding video signals. |
| KR0128860B1 (ko) * | 1993-07-16 | 1998-04-10 | 배순훈 | 저비트율의 영상전화 시스템의 부호화장치 |
| WO1995004432A1 (en) * | 1993-07-30 | 1995-02-09 | British Telecommunications Plc | Coding image data |
| WO1995004433A1 (en) * | 1993-07-30 | 1995-02-09 | British Telecommunications Public Limited Company | Processing image data |
| US5473379A (en) * | 1993-11-04 | 1995-12-05 | At&T Corp. | Method and apparatus for improving motion compensation in digital video coding |
| KR100292475B1 (ko) * | 1993-12-08 | 2001-06-01 | 구자홍 | 디지탈 영상 흔들림 보상 장치 |
| US5592226A (en) * | 1994-01-26 | 1997-01-07 | Btg Usa Inc. | Method and apparatus for video data compression using temporally adaptive motion interpolation |
| EP0720383B1 (en) * | 1994-12-30 | 2000-09-13 | Daewoo Electronics Co., Ltd | Method and apparatus for detecting motion vectors in a frame decimating video encoder |
| US5933535A (en) * | 1995-10-05 | 1999-08-03 | Microsoft Corporation | Object-based video compression process employing arbitrarily-shaped features |
| US5787203A (en) * | 1996-01-19 | 1998-07-28 | Microsoft Corporation | Method and system for filtering compressed video images |
| US5799113A (en) * | 1996-01-19 | 1998-08-25 | Microsoft Corporation | Method for expanding contracted video images |
| US5692063A (en) * | 1996-01-19 | 1997-11-25 | Microsoft Corporation | Method and system for unrestricted motion estimation for video |
| US5778098A (en) * | 1996-03-22 | 1998-07-07 | Microsoft Corporation | Sprite coding |
| US5764814A (en) * | 1996-03-22 | 1998-06-09 | Microsoft Corporation | Representation and encoding of general arbitrary shapes |
| US6075875A (en) * | 1996-09-30 | 2000-06-13 | Microsoft Corporation | Segmentation of image features using hierarchical analysis of multi-valued image data and weighted averaging of segmentation results |
| US5748789A (en) * | 1996-10-31 | 1998-05-05 | Microsoft Corporation | Transparent block skipping in object-based video coding systems |
| US6400831B2 (en) | 1998-04-02 | 2002-06-04 | Microsoft Corporation | Semantic video object segmentation and tracking |
| US20030023910A1 (en) * | 2001-07-25 | 2003-01-30 | Myler Harley R. | Method for monitoring and automatically correcting digital video quality by reverse frame prediction |
| JP4496209B2 (ja) | 2003-03-03 | 2010-07-07 | モービリゲン コーポレーション | メモリワードアレイ構成およびメモリアクセス予測結合 |
| JP2006311366A (ja) * | 2005-04-28 | 2006-11-09 | Matsushita Electric Ind Co Ltd | 画像記録装置及び画像記録装置の駆動方法 |
| US7965773B1 (en) * | 2005-06-30 | 2011-06-21 | Advanced Micro Devices, Inc. | Macroblock cache |
| US8447256B2 (en) * | 2011-08-11 | 2013-05-21 | Fujitsu Semiconductor Limited | Digital voltage-controlled attenuator |
| US10085016B1 (en) | 2013-01-18 | 2018-09-25 | Ovics | Video prediction cache indexing systems and methods |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2050752B (en) * | 1979-06-07 | 1984-05-31 | Japan Broadcasting Corp | Motion compensated interframe coding system |
| US4670851A (en) * | 1984-01-09 | 1987-06-02 | Mitsubishi Denki Kabushiki Kaisha | Vector quantizer |
| JPS60189388A (ja) * | 1984-03-09 | 1985-09-26 | Fujitsu Ltd | 動き補償符号化装置 |
| AU579550B2 (en) * | 1985-06-10 | 1988-11-24 | Nec Corporation | Movement compensation predictive encoder for a moving picture signal with a reduced amount of information |
| EP0624985B1 (en) * | 1987-04-28 | 2001-03-14 | Mitsubishi Denki Kabushiki Kaisha | Image coding and decoding system |
| JP2822454B2 (ja) * | 1989-06-02 | 1998-11-11 | 日本電気株式会社 | フレーム間予測符号化方式 |
| CA2016641C (en) * | 1989-05-12 | 1995-07-11 | Toshiyuki Tanoi | Adaptive interframe prediction coded video communications system |
| JP2520306B2 (ja) * | 1989-05-24 | 1996-07-31 | 三菱電機株式会社 | 変換符号化装置 |
| EP0424026B1 (en) * | 1989-10-14 | 1997-07-23 | Sony Corporation | Video signal transmitting system and method |
| JPH03229586A (ja) * | 1990-02-02 | 1991-10-11 | Fujitsu Ltd | 処理量適応型の動き補償動画像符号化方式 |
| JPH0411481A (ja) * | 1990-04-28 | 1992-01-16 | Sanyo Electric Co Ltd | 画像符号化装置 |
-
1991
- 1991-06-12 JP JP16777491A patent/JP2866222B2/ja not_active Expired - Fee Related
-
1992
- 1992-06-09 CA CA 2070757 patent/CA2070757C/en not_active Expired - Fee Related
- 1992-06-10 AU AU18132/92A patent/AU658889B2/en not_active Ceased
- 1992-06-10 US US07/896,327 patent/US5251030A/en not_active Expired - Lifetime
- 1992-06-11 DE DE1992631678 patent/DE69231678T2/de not_active Expired - Fee Related
- 1992-06-11 EP EP19920109813 patent/EP0518314B1/en not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| AU1813292A (en) | 1992-12-17 |
| US5251030A (en) | 1993-10-05 |
| DE69231678T2 (de) | 2001-07-05 |
| CA2070757A1 (en) | 1992-12-13 |
| AU658889B2 (en) | 1995-05-04 |
| CA2070757C (en) | 1998-05-26 |
| JPH05227038A (ja) | 1993-09-03 |
| EP0518314A2 (en) | 1992-12-16 |
| EP0518314A3 (en) | 1993-08-11 |
| DE69231678D1 (de) | 2001-03-15 |
| EP0518314B1 (en) | 2001-02-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2866222B2 (ja) | 動き補償予測方式 | |
| EP0556507B1 (en) | Image signal coding and decoding apparatus | |
| KR100203710B1 (ko) | 비트 발생량 조절기능을 갖는 영상 부호화 시스템 | |
| EP1010330A1 (en) | Transcoding | |
| JPH0955945A (ja) | 動きベクトル特定方法及び装置 | |
| JPH09271026A (ja) | 画像符号化装置 | |
| JP2008124772A (ja) | 符号化装置及び符号化方法 | |
| JPH10336662A (ja) | ピクチャ中央の画質を最適化するためのビデオ符号化方法、システムおよびコンピュータ・プログラム製品 | |
| JPH0564177A (ja) | 画像符号化装置 | |
| JPH1093975A (ja) | 動画像符号化装置における動き補償フレーム間予測方法 | |
| WO2003056838A1 (en) | Moving picture compression/coding apparatus and motion vector detection method | |
| US6480544B1 (en) | Encoding apparatus and encoding method | |
| JPH01228384A (ja) | 領域分割を用いた動画像符号化方式 | |
| KR0128859B1 (ko) | 적응적인 영상부호화 제어장치 | |
| JPH07336695A (ja) | 動画像の符号化及び復号化方法 | |
| JP3589481B2 (ja) | 映像信号符号化方式 | |
| JPH11122619A (ja) | 動画像符号化および復号化方法 | |
| JPH09182081A (ja) | 動き補償予測符号化装置 | |
| JPH10290461A (ja) | レート制御装置及びレート制御方法 | |
| JPH10210480A (ja) | 動画像符号化方式 | |
| JPH0662391A (ja) | 動画像予測符号化方法 | |
| JPH05227513A (ja) | 映像信号伝送装置 | |
| JP3636216B2 (ja) | 動きベクトル検索方法、及び映像信号符号化方法 | |
| KR100203709B1 (ko) | 비트 발생량 조절기능을 갖는 영상 부호화 시스템 | |
| JP2001258039A (ja) | 可変画像レート符号化装置、可変画像レート復号化装置、可変画像レート符号化方法、及び可変画像レート復号化方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20071218 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20081218 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091218 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20091218 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101218 Year of fee payment: 12 |
|
| LAPS | Cancellation because of no payment of annual fees |