JPH0366278A - 映像信号の高能率符号化方法 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 産業上の利用分野 本発明は映像信号の高能率符号化方法に関する。

従来の技術 テレビジョン信号のような映像信号で（上　連続する２
フレ一ム間の時間差が小さいた取　これらのフレーム間
の画像の変化は少ないと考えられもフレーム間符号化（
よ　このようなフレーム間の相関を利用して高能率化を
図るものであり、通常は連続する２フレ一ム間の差分信
号を量子（１，符号化して伝送し　受信側ではフレーム
間差分値を蓄積することによりテレビジョン信号を再生
する。

この方法に加えて、動きによる差分値の急な増大を防ぐ
ために　動き補償やフレーム間・フレーム内適応符号化
などが考案されている。

発明が解決しようとする課題 しかしながら、従来のフレーム間符号化、あるいはフレ
ーム間・フレーム内適応符号化で（上　時間軸方向の差
分を取っているた吹　一般に特殊再生を容易に行なうこ
とは困難であっ１゜ 例えば任意のフレームまでサーチしたい場合、まずフレ
ーム間差分を取る元となる原信号部分までさかのぼって
復号し　そこからサーチのスピードに応じて画面を復元
していく必要がある。ここで原信号部分とＧ；Ｌｐｃｍ
符号化など比較的劣化や誤り伝搬の影響の少ないフレー
ム内符号化にてリフレッシュを行なっている部分の事を
指す。

また　静止画配線　伝送において、階層的な符号化方法
が知られていも　−例として第７図に示すラプラシアン
・ピラミッド符号化法と称される方法について述べる。

まず原画像Ｑｅを柑域制限しサブザンプルして得られた
ものをガウシアンプレーンＧ１とする。この処理を繰り
返し適用してガウシアンプレーンＧ１）＝Ｇ−１を得る
。次に各ガウシアンプレーンＧ１を補間し　これを−階
層下のガウシアンプレーンＧ　ｌ−１から差し引いて得
られたものをラプラシアンプレーンＬ　ｌ−１として、
得られたラプラシアン・ピラミッドＬａ〜Ｉ、　ｍ−＋
を上位階層から順次符号化し　伝送する。

この方法は　種々の画面サイズに応じて段階的に画面表
示が可能であり、動画像に適用しても高速サーチなどに
効果があると考えられる力交　従来の方法をそのまま動
画像に適用すると、データレートが多きくなりすぎる可
能性がある。

本発明は　かかる点に鑑へ　サーチなどの特殊再生に適
した高能率符号化方法　動画像への適用に適した階層的
な符号化方法を提供することを目的とする。

課題を解決するための手段 本発明（よ　符号化を行なう最初のフレーム　あるいは
リフレッシュを行なうフレームについては、縦横にそれ
ぞれ２：ｌにサブサンプルして得られた１／４画面を符
号化　復号化し　この結果を復号化１／４画面と称し　
この復号化１／４画面を縦横にそれぞれ２倍に補間した
画面と、原画面の差分を取り、この差分信号を補間差分
信号と称しこの補間差分信号を符号化　復号化し　前記
補間差分信号の符号化結果と前記１／４画面の符号化結
果を伝送・記録するものとし　これ以降のフレームにつ
いては、　縦横にそれぞれ２：１にサブサンプルして得
られた１／４画面と、前フレームの復号化１／４画面と
の差分信号を求め、　これを符号化　復号化し　この差
分信号の復号化結果と前フレームの復号化１／４画面を
加えることにより該フレームの復号化１７４画面を求め
、　この復号化１／４画面を縦横にそれぞれ２倍に補間
した画面と、原画面の差分を取り、この補間差分信号と
、前フレームの復号化された補間差分信号との２次差分
信号を得てこれを符号化　復号化し　この２次差分信号
の符号化結果と前述した１／４画面の差分信号の符号化
結果を伝送・記録することを特徴とする映像信号の高能
率符号化方法である。

また　さらに縦横に複数回サブサンプルを繰り返して１
／４画眠　ｌ／１６画面、ｌ／６４画直・両派／４Ｎ画
面を求め、　最も小さい画面から順に請求項（１）と同
様の操作、すなわち、１／４Ｎ画面と、前フレームの復
号化１／４Ｎ画面との差分信号を求め、これを符号化、
復号化し、この差分信号の復号化結果と前フレームの復
号化１／４”画面を加えることにより該フレームの復号
化１／４Ｎ画面を求め、この復号化１／４”画面を縦横
にそれぞれ２倍に補間した画面と　１　／４（ＮＮ−１
）画面の差分を取り、この補間差分信号と、前フレーム
１　／　４（ＮＮ−１）画面の復号化された補間差分信
号との２次差分信号を得てこれを符号（Ｌ　　復号化す
る操作を繰り返すことを特徴とする映像信号の高能率符
号化方法であり、１／４画面を符号化する際に　その画
面を複数ブロックに分割し　各ブロック内の平均値を求
め、各ブロック内の信号から同ブロックの平均値を減じ
た後に　フレーム間差分及び符号化を行な（＼求めた平
均値を別に伝送・記録することを特徴とする映像信号の
高能率符号化方法である。また１７４画面のフレーム間
差分を求める際に　その画面を複数ブロックに分割し　
各ブロック毎に動きベクトルを求め、　動き補償を行し
＼　さら（４）１／４画面のフレーム間差分を求める際
にも、該当する位置の１／４画面のブロックにおける動
きベクトルを用いて動き補償を行なうことを特徴とする
映像信号の高能率符号化方法である。また１／４（Ｎ′
画面のフレーム間差分信号や補間差分信号のフレーム間
差分信号や補間差分信号を符号化する際に　画面を複数
のブロックに分割１．、１／４Ｎ画直　補間差分信号の
それぞれに対して、各ブロック内のフレーム間差分信号
の合計あるいは平均値に対してある閾値を設け、また各
ブロック内のフレーム内信号の合計あるいは平均値壱求
め、　これらを比較することにより、フレーム間差分信
号の符号化結果とフレーム内信号の符号化結果のいずれ
を伝送するかを判定し切り換えることを特徴とする映像
信号の高能率符号化方法である。また　周萌的す９− ０− フレッシュとして、フレーム間差分信号を送ら１−直接
１／４画面の符号化結果と補間差分信号を伝送するよう
切り替える際に　１／４画面のフレーム内符号化結果を
送るフレームと補間差分信号のフレーム内符号化結果を
送るフレームをある一定のフレーム数だけずらすことを
特徴とする映像信号の高能率符号化方法である。また　
補間差分信号を符号化する際に　画面を複数のブロック
に分割し　ブロック内の補間差分信号の合計あるいは平
均値あるいは二乗の累計に対してある閾値を設け、その
閾値以下である場合には　補間差分信号を伝送しないよ
うに切り換えることを特徴とする映像信号の高能率符号
化方法である。また　補間差分信号のフレーム間差分信
号や補間差分信号を符号化する際に　画面を複数のブロ
ックに分割し　ブロック内の２次差分信号の合計あるい
は平均値あるいは二乗の累計に対してある閾値を設け、
その閾値以下である場合には、　２次差分信号を伝送し
ないように切り換えることを特徴とする映像信号の高能
率符号化方法である。

作用 本発明は上記の手段により、情報量を抑えつつ階層的な
符号化が可能となり、サーチなどの特殊再生時にも速度
に応じた階層まで復号することにより、従来の方法より
も容易に対応することができる。また　再生する画面の
大きさや必要な画質に応じて階層を切り換えることがで
きる。また各階層ごとにリフレッシュするフレームをず
らすことにより、あるフレームにビット数が集中するこ
とが可能となり、画質のばらつきを抑えることができる
。また　補間差分、２次差分信号を伝送せずに済むブロ
ックが発生することによ・リビット数の低減が図れる。

また　それぞれの大きさの画面に対して動きベクトルを
伝送する必要がなく、ビット数を削減することができる
。

実施例 以下に　本発明の実施例について図面を参照しながら説
明する。

第１図は本発明の第１の実施例における符号化方法を説
明するための図である。図において１、１ １２− １３はフレームメモリ、　２は帯域制限フィル久３はサ
ブサンモル歌　４．８は１／４フレームメモリ、５は補
間フィル久　６、１）は符号化器７、１２は復号化機　
９、１６、１７はスイッチ、ｌＯｌ　１４、１５は減算
＠１８、１９は加算機２０．２１はバッファメモリであ
る。

フレームメモリ１に蓄えられたｌフレーム分の画像信号
は　帯域制限フィルタ２により帯域制限されたのちサブ
サンプル器３により縦横それぞれ１／２にサブサンプル
され　１／４フレームメモリ４に蓄えられる。

符号化を行なう最初のフレーム　あるいはリフレッシュ
を行なうフレームにおいて（よ　スイッチ９、１６、１
７はそれぞれａ側に接続しており、このｌ／４画面信号
（よ　符号化器６により符号化され　出力されるととも
砿　復号化器７により復号化され　１／４フレームメモ
リ８に蓄えられる。

次にスイッチ９がｂ倶ＩＬ　　スイッチ１６がＣ側に接
続され　１／４フレームメモリ８に蓄えられた復号化１
／４画面信号（よ　補間フィルタ５により元のｌフレー
ム分の大きさに補間され　減算器ｌＯによりフレームメ
モリｌの信号との差分を取る。

この補間差分信号は符号化器１）により符号化され　出
力されるとともに　復号化器１２により復号化され　フ
レームメモリ１３に蓄えられる。

符号化を行なう最初のフレーム以へ　あるいはリフレッ
シュを行なうフレーム以外のフレームにおいてｃヨ　　
スイッチ１６、１７はそれぞれｂ側に接続しており、フ
レームメモリ１に蓄えられる第ｎフレームの信号はサブ
サンプルされて１／４フレームメモリ４に蓄えら札　こ
れと１／４フレームメモリ８に蓄えられた第（ｎ−１）
フレームの復号１／４画面信号との差分を減算器１４に
より求める。この１／４画面フレーム間差分信号ζよ符
号化器６により符号化され　出力されるととも番う　　
復号化器７により復号化され　加算器１８により第（ｎ
−１）フレームの復号１／４画面信号と加算され　第ｎ
フレームの復号１７４画面信号として１／４フレームメ
モリ８に蓄えられる。

次にスイッチ９がｂ侃　スイッチ１６がＣ側に３− ４− 接続さｈ　　１／４フレームメモリ８に蓄えられた復号
化１／４画面信号（よ　補間フィルタ５により元の１フ
レ一ム分の大きさに補間され　減算器１０によりフレー
ムメモリ１の信号との差分を取る。

この補間差分信号とフレームメモリ１３に蓄えられた第
（ｎ−１）フレームの復号補間差分信号との２次差分が
減算器１５により求められ　符号化器１）により符号化
され　出力されるととも鴫復号化器１２により復号化さ
れ　加算器１９により第（ｎ−１）フレームの復号補間
差分信号と加算され　第ｎフレームの復号補間差分信号
としてフレームメモリ１３に蓄えられる。

なお本実施例において、　１／４画面と補間差分信号の
符号化器　復号化器を別に設置した力丈　これはその前
後にスイッチ及びバッファメモリを設置し　符号化器　
復号化器への入出力のタイミングを制御する事により１
組の符号化器　復号化器を共有することができる。

また　同様の構成を組み合わせることにより、１／１６
画ｆｆｉ　　１／８４画面など、さらに上位の階層を分
離して送ることも可能となる。

第２図は本発明の第２の実施例における符号化方法を説
明するための図である。図において２２はブロック化滑
　２３は累積加算器　２４は判定法　２５は打ち切り符
号発生器である。

１／４フレームメモリ４に蓄えられた第ｎフレームにお
ける１／４画面信号はブロック化器２２により小ブロッ
クに分割される。ここでブロックの大きさは８＊８とす
る。１／４フレームメモリ８に蓄えられた復号化１／４
画面信号を、補間フィルタ５により元の１フレ一ム分の
大きさに補間し　減算器１０によりフレームメモリｌの
信号との差分を取る際に　それぞれのブロックの補間差
分信号を累積加算器２３により累積し　累積結果を判定
器２４により予め定めた閾値と比較することにより、そ
れぞれのブロックの補間差分信号を符号化するか否かを
判定し　符号化しない場合には代わりに打ち切り符号発
生器２５により打ち切り符号を送る。

復号器側で（よ　打ち切り符号が送られてきた場１５− ６− 合には、　そのブロックには補間差分信号を用いず、復
号１／４画面信号を補間したもののみをもって複合信号
とする。これにより補間差分信号を伝送せずに済むブロ
ックが発生することによりビット数の低減が図れる。

な耘　本実施例においてブロックの大きさを８＊８とし
た力ｔ　本発明はブロックの大きさに依存しな鶏 また　累積加算器を用いて、補間差分信号の累積結果に
より判定した力曳　これは平均値や二乗の累積を用いて
もよｌ、％ 第３図は本発明の第３の実施例における符号化方法を説
明するための図である。図において２６はブロック化歌
　２７は累積加算器　２８は判定器である。

減算器ＩＯにより求められた補間差分信号とフレームメ
モリ１３に蓄えられた第（ｎ−１）フレームの復号補間
差分信号との２次差分を減算器１５により求める際に　
それぞれのブロックの２次差分信号を累積加算器２７に
より累積し　累積結果を判定器２８により予め定めた閾
値と比較することにより、それぞれのブロックの補間差
分信号を符号化するか否かを判定し　符号化しない場合
には代わりに打ち切り符号発生器２５により打ち切り符
号を送る。

復号器側で（よ　打ち切り符号が送られてきた場合に１
よ　そのブロックには２次差分信号を用いずミ前フレー
ムの補間差分信号をもってそのフレームの補間差分信号
とする。これにより２次差分信号を伝送せずに済むブロ
ックが発生ずることによりビット数の低減が図れる。

な抵　累積加算器を用いて、２次差分信号の累積結果に
より判定した力丈　これは平均値や二乗の累積を用いて
もよ０゜ 第４図は本発明の第４の実施例における符号化方法を説
明するための図である。図において２９は平均値分離法
　３０はバッファメモリである。

１／４フレームメモリ４に蓄えられた第ｎフレームにお
ける１／４画面信号はブロック化器２４により小ブロッ
クに分割される。ここでブロック１７〜 ８− の大きさは８＊８とする。次に平均値分離器２９により
それぞれのブロック内の平均値を求吹　各ブロック内の
信号からそのブロックの平均値を減じた後に　平均値は
バッファメモリ３０に　平均値分離後の信号は符号化器
６にそれぞれ送られる。

符号化器６に送られた信号（よ　符号化　復号化された
後に　それぞれのブロックより分離した平均値を加えて
、復号信号として復元する。これにより各ブロック内を
変換符号化などで符号化した際に　ブロック内の値がす
べて平均値に近いような場合など、第２、第３の実施例
と同様に平均値分離後の信号を伝送せずに済むブロック
が発生することによりビット数の低減が図れる。また　
この平均値は１／４画面に対する上位の階層（８＊８画
素ブロックなら１／６４画面）ととらえることもできも 第５図は本発明の第５の実施例における符号化方法を説
明するための図である。図に示すように周期的リフレッ
シュとして、直接１／４画面の符号化結果と補間差分信
号を伝送するよう切り替え９− る際に　１／４画面のフレーム内符号化結果を送るフレ
ームと補間差分信号のフレーム内符号化結果を送るフレ
ームをある一定のフレーム数だけずらす。これにより、
リフレッシュフレームの部分に必要なビット数を分散さ
せることができ、　リフレッシュフレームとそれ以外の
フレームの画質のばらつきを防ぐことができる。

第６図は本発明の第６の実施例における符号化方法を説
明するための図である。図において３１は動きベクトル
検出法３２、３３は予測ブロック取り出し沫　３４は動
きベクトル拡犬鼎である。

減算器１４により、　１／４画面のフレーム間差分を求
める際に　３１によって各ブロック毎に動きベクトルを
求め、　これを用いて３２により動きベクトル分だけ移
動した位置のブロックの信号を取り出し　この信号との
差分を符号化器に送る。

さら（４）１／４画面のフレーム間差分を求める際にＬ
　該当する位置の１／４画面のブロックにおける動きベ
クトルを用いて、　３４により動きベクトルを拡大する
ことにより動き補償を行なう。

こ−ｍ− れにより、それぞれの大きさの画面に対して動きベクト
ルを伝送する必要がなく、ビット数を削減することがで
きる。

発明の詳細 な説明したように本発明によれば　情報量を抑えつつ階
層的な符号化が可能となり、サーチなどの特殊再生時に
も速度に応じた階層まで復号することにより、従来の方
法よりも容易に対応することができる。また　再生する
画面の大きさや必要な画質に応じて階層を切り換えるこ
とができもまた　各階層ごとにリフレッシュするフレー
ムをずらすことにより、あるフレームにビット数が集中
することが可能となり、画質のばらつきを抑えることが
できも

【図面の簡単な説明】

第１図は本発明の第１の実施例の符号化の方法を示した
ブロックは　第２図は本発明の第２の実施例を示したブ
ロックは　第３図は本発明の第３の実施例の符号化の方
法を示した阻　第４図は本発明の第４の実施例を示した
ブロック＠　第５図は本発明の第５の実施例を示したブ
ロック＠　第６図は本発明の第６の実施例を示したブロ
ック阻第７図は従来のラプラシアン・ピラミッド符号化
の方法を説明するための図である。 １．１３・・・フレームメモリ、　２・・・帯域制限フ
ィル久　３・・・サブサンプル器　４、８・・・１／４
フレーノ＼メモリ、　５・・・補曲フィル久　６、１）
・・・符号化器　７、１２・・・復号化法　９、１６、
１７・・・スイッチ、　２２、２８・・・ブロック化器
　２３、２７・・・累積加算器　２９・・・平均値分離
後３１・・・動きベクトル検出縁３２、３３・・・ブロ
ック取り出し器　３４・・・動きベクトル拡大器。

Claims (8)

【特許請求の範囲】
1. （１）符号化を行なう最初のフレーム、あるいはリフレ
   ッシュを行なうフレームについては、縦横にそれぞれ２
   ：１にサブサンプルして得られた１／４画面を符号化、
   復号化し、この結果を復号化１／４画面と称し、この復
   号化１／４画面を縦横にそれぞれ２倍に補間した画面と
   、原画面の差分を取り、この差分信号を補間差分信号と
   称し、この補間差分信号を符号化、復号化し、前記補間
   差分信号の符号化結果と前記１／４画面の符号化結果を
   伝送・記録するものとし、これ以降のフレームについて
   は、縦横にそれぞれ２：１にサブサンプルして得られた
   １／４画面と、前フレームの復号化１／４画面との差分
   信号を求め、これを符号化、復号化し、この差分信号の
   復号化結果と前フレームの復号化１／４画面を加えるこ
   とにより該フレームの復号化１／４画面を求め、この復
   号化１／４画面を縦横にそれぞれ２倍に補間した画面と
   、原画面の差分を取り、この補間差分信号と、前フレー
   ムの復号化された補間差分信号との２次差分信号を得て
   これを符号化、復号化し、この２次差分信号の符号化結
   果と前述した１／４画面の差分信号の符号化結果を伝送
   ・記録することを特徴とする映像信号の高能率符号化方
   法。
2. （２）更に縦横に複数回サブサンプルを繰り返して１／
   ４画面、１／１６画面、１／６４画面、・・１／４＾Ｎ
   画面を求め、最も小さい画面から順に請求項（１）と同
   様の操作、すなわち、１／４＾Ｎ画面と、前フレームの
   復号化１／４＾Ｎ画面との差分信号を求め、これを符号
   化、復号化し、この差分信号の復号化結果と前フレーム
   の復号化１／４＾Ｎ画面を加えることにより該フレーム
   の復号化１／４＾Ｎ画面を求め、この復号化１／４＾Ｎ
   画面を縦横にそれぞれ２倍に補間した画面と、１／４＾
   （＾Ｎ＾−＾１＾）画面の差分を取り、この補間差分信
   号と、前フレーム１／４＾（＾Ｎ＾−＾１＾）画面の復
   号化された補間差分信号との２次差分信号を得てこれを
   符号化、復号化する操作を繰り返すことを特徴とする請
   求項１記載の映像信号の高能率符号化方法。
3. （３）１／４画面を符号化する際に　その画面を複数ブ
   ロックに分割し、各ブロック内の平均値を求め、各ブロ
   ック内の信号から同ブロックの平均値を減じた後に、フ
   レーム間差分及び符号化を行ない、求めた平均値を別に
   伝送・記録することを特徴とする請求項１記載の映像信
   号の高能率符号化方法。
4. （４）１／４画面のフレーム間差分を求める際に、その
   画面を複数ブロックに分割し、各ブロック毎に動きベク
   トルを求め、動き補償を行い、さらに補間差分信号のフ
   レーム間差分を求める際にも、該当する位置の１／４画
   面のブロックにおける動きベクトルを用いて動き補償を
   行なうことを特徴とする映像信号の高能率符号化方法。
5. （５）１／４＾Ｎ画面のフレーム間差分信号や補間差分
   信号のフレーム間２次差分信号を符号化する際に、画面
   を複数のブロックに分割し、１／４＾Ｎ画面、補間差分
   信号のそれぞれに対して、各ブロック内のフレーム間差
   分信号の合計あるいは平均値に対してある閾値を設け、
   また各ブロック内のフレーム内信号の合計あるいは平均
   値を求め、これらを比較することにより、フレーム間差
   分信号の符号化結果とフレーム内信号の符号化結果のい
   ずれを伝送するかを判定し切り換えることを特徴とする
   請求項１または２記載の映像信号の高能率符号化方法。
6. （６）周期的リフレッシュとして、フレーム間差分信号
   を送らず、直接１／４画面の符号化結果と補間差分信号
   を伝送するよう切り替える際に、１／４画面のフレーム
   内符号化結果を送るフレームと補間差分信号のフレーム
   内符号化結果を送るフレームをある一定のフレーム数だ
   けずらすことを特徴とする請求項１または２記載の映像
   信号の高能率符号化方法。
7. （７）補間差分信号を符号化する際に　画面を複数のブ
   ロックに分割し、ブロック内の補間差分信号の合計ある
   いは平均値あるいは二乗の累計に対してある閾値を設け
   、その閾値以下である場合には、補間差分信号を伝送し
   ないように切り換えることを特徴とする請求項１または
   ２記載の映像信号の高能率符号化方法。
8. （８）補間差分信号のフレーム間２次差分信号を符号化
   する際に、画面を複数のブロックに分割し、ブロック内
   の２次差分信号の合計あるいは平均値あるいは二乗の累
   計に対してある閾値を設け、その閾値以下である場合に
   は、２次差分信号を伝送しないように切り換えることを
   特徴とする請求項１または２記載の映像信号の高能率符
   号化方法。