JPS6382079A - 動画像信号の符号化方法とその装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 （産業上の利用分野） 本発明は、動画像信号を高能率に圧縮符号化する符号化
方法およびその装置に関するものである。

（従来の技術） 従来、直交変換符号化とフレーム間予測符号化とを組み
合わせた動画像信号の符号化方式として、ＩＥＥＥ　）
ランザクションズ・オン・コミュニケーションズ（ＩＥ
ＥＥ　Ｔｒａｎｓａｃｔｉｏｎｓ　ｏｎ　Ｃｏｍｍｕｎ
ｉｃａｔｉｏｎｓ）誌、ｖｏｌ、ｃＯＭ−３３，ｐｐ、
１２９１−１３０２（１９８５年１２月）（文献１）に
言己載のものが知られている。前記論文に記載の方式に
おいては、符号化側では画像信号の直交変換係数をフレ
ーム間符号化し、復号化側では直交変換係数をフレーム
間復号化しこれを逆直交変換して復号化画像信号を得て
いる。直交変換係数のフレーム間差分値を符号化する時
には、全直交変換係数を同一の量子化特性で量子化して
おり、発生情報量の制御は、量子化特性のステップサイ
ズとデッドゾーンの大きさを変えて行っている。この他
、第２回インターナショナル・テクニカル・シンポジウ
ム・オン・オプティカル・アンド・エレクトロオプティ
カル・アプライド・サイエンス・アンド・エンジＥｎｇ
ｉｎｅａｒｉｎｇ）ＳＰＩＥ　Ｃｏｎｆ、Ｂ５９４　Ｉ
ｍａｇｅ　Ｃｏｄｉｎｇ　（１９８５年１２月）（文献
２）には、画像信号のフレーム間差分信号を直交変換符
号化する符号化方式が記載されている。文献２の直交変
換係数の符号化方法においては、まず直交変換係数をい
くつかの組に分けて分散を測り、分散の小さな直交変換
係数は切り捨ててしまうことで、復号化画像信号の画質
の劣化をできるだけ抑えながら、一定ビツトレートで符
号化が行われるように工夫されている。

（発明が解決しようとする問題点） 直交変換係数をフレーム間符号化する符号化方式におい
て、切り捨てる係数の数を増やせば少ない情報量で符号
化を行うことができる。係数を切り捨てれば、符号化歪
みが生じるが、現フレーム信号を直交変換したとき得ら
れる係数のうち値の小さなものに対して切り捨てを行う
なら歪みは小さい。ところで従来方式では、フレーム間
差分の値の大きさにもとづいてどの係数を切り捨てるか
を判定していた。したがって従来方式においては前フレ
ームの直交変換係数は大きいが現フレームの直交変換係
数が小さい場合、フレーム差分は大きいのでその直交変
換係数を切り捨てずに符号化していた。すなわちこの場
合従来方式では現フレームの直交変換係数が小さくその
係数を切り捨てて全く符号化しないのが適切であるのに
もかかわらず、フレーム差分が大きいがために符号化す
ることになり、不必要な符号を発生していた。

本発明の目的は、フレーム差分が大きくとも現フレーム
の直交変換係数の値が小さければ、その係数を切り捨て
ることにより、符号化歪みを小さく押えつつ発生符号量
を削減するより高能率な動画像信号の符号化方法とその
符号化装置を提供することにある。

（問題を解決するための手段） 本発明の符号化方式は、入力画像信号に直交変換を施し
、この直交変換係数と前フレームの直交変換係数から予
測される現フレームの変換係数すなわち符号化側の予測
直交変換係数との差をとり、この差信号と前記予測直交
変換係数との和をとって現フレームの直交変換係数を局
部復号化して次のフレームの直交変換係数を予測するの
に用い、前記差信号を符号化画像信号として出力する動
画像信号の符号化方法において、入力信号をもとにして
どの係数を切り捨てるかを判定し、この判定結果をもと
にして係数を切り捨てることを特徴としている。

本発明による符号化装置としては、入力画像信号を直交
変換する手段と、前記直交変換により得られる直交変換
係数とフレーム間予測器の出力信号との差をとる手段と
、前記差をとる手段の出力信号の一部の係数を切り捨て
る係数切り捨て手段と、前記係数切り捨て手段の出力信
号と前記フレーム間予測器の出力信号との和をとる手段
と、前記和をとる手段の出力信号から次のフレームの信
号を予測するフレーム間予測器と、前記係数切り捨て手
段の出力信号を符号化画像として出力する手段と、前記
係数切り捨て手段においてどの係数を切り捨てるかを入
力信号にもとづき判定し、それをモード情報として出力
する手段とからなることを特徴とするものと、入力画像
信号を直交変換し、その一部の係数を切り捨てる手段と
、前記係数切り捨て手段の出力信号とフレーム間予測器
の出力信号との差をとる手段と、前記差をとる手段の出
力信号と前記フレーム間予測器の出力信号との和をとる
手段と、前記和をとる手段の出力信号から次のフレーム
の信号を予測するフレーム間予測器と、前記差をとる手
段の出力信号を符号化画像信号として出力する手段と、
前記係数切り捨て手段においてどの係数を切り捨てるか
を入力信号にもとづき判定し、それをモード情報として
出力する手段とからなることを特徴とするものと、入力
画像信号を直交変換する手段と、゛前記直交度゛換によ
り得られる直交変換係数とフレーム間予測器の出力信号
との差をとる手段と、前記差をとる手段の出力信号と前
記フレーム間予測器の出力信号との和をとる手段と、前
記和をとる手段の出力信号から次のフレームの信号を予
測するフレーム間予測器と、前記差をとる手段の出力信
号の一部の係数を切り捨てる係数切り捨て手段と、前記
係数切り捨て手段の出力信号を符号化画像信号として出
力する手段と、前記係数切り捨て手段においてどの係数
を切り捨てるかを入力画像信号にもとづき判定し、それ
をモード情報として出力する手段とからなることを特徴
とするものとの３つの構成がある。

（作用） 前フレームの直交変換係数は大きいが現フレームの直交
変換係数が小さい場合に、前フレームの直交変換係数の
大きさを現フレームの符号化において符号化するのを抑
圧するために、本発明においては、どの直交変換係数を
切り捨てるかを判定するときに、フレーム間差分をとる
前の入力信号の直交変換係数の大きさをもとにして判定
している。入力信号の直交変換係数のうち小さい値のも
のは切り捨てることにより、前フレームの直交変換係数
の大きさに関係なく切り捨てる係数が決まり、前フレー
ムの直交変換係数の大きさを現フレームの符号化におい
て符号化することはなくなり、この分情＠量を削減する
ことができる。

（実施例） 第１図は、本発明による符号化装置の実施例を示すブロ
ック図である。第１図（ａ）において、入力端子１００
から入力される画像信号は直交変換回路１において直交
変換された後、減算器３においてフレーム間予測器２の
出力信号との差がとられる。減算器３の出力信号は、切
り捨て係数判定回路８１が出力するモード情報にもとづ
いて係数切り捨て回路５において係数の２部が切り捨て
られる。係数切り捨て回路５の出力信号は、符号化画像
信号として端子２００より出力される。切り捨て係数判
定回路８１では、どの係数を切り捨てるかを指示するモ
ード情報を生成する。モード情報は出力端子２１０よ、
り出力される。加算器４においては、係数切り捨て回路
５の出力信号と、フレーム間予測器２の出力信号との和
がとられる。フレーム間予測器２では、加算器４の出力
信号より次のフレームの信号を予測し出力する。

第１図（ｂ）においては、入力端子１００より入力され
る画像信号は、直交変換回路１において、直交変換され
た後、係数切り捨て回路５において切り捨て係数判定回
路８１が出力するモード情報に基づいて係数の一部が切
り捨てられる。係数切り捨て回路５の出力信号は、減算
器３においてフレーム間予測器２の出力信号との差がと
られた後、符号化画像信号として端子２００より出力さ
れる。加算器４においては、減算器３の出力信号とフレ
ーム間予測器２の出力信号との和がとられる。フレーム
間予測器２においては、加算器４の出力信号より次のフ
レームの信号を予測し出力する。切り捨て係数判定回路
８においては、どの係数を切り捨てるかを指示するモー
ド情報を生成する。モード情報は、出力端子２１０より
出力される。。

第１図（Ｃ）においては、入力端子１００がら入力され
る画像信号は、直交変換回路１において直交変換された
後、減算器３において、フレーム間予測器２の出力信号
との差がとられる。減算器３の出力信号は加算５４にお
いてフレーム間予測器２の出力信号との和がとられる。

フレーム間予測器２においては、加算器４の出力信号よ
り次のフレームの信号を予測し出力する。係数切り捨て
回路５においては、切り捨て係数判定回路８１の出力す
るモード情報に基づいて減算器３の出力信号の一部を切
り捨てる。係数切り捨て回路５の出力信号は、符号化画
像信号として出力端子２００より出力される。切り捨て
係数判定回路８１では、どの係数を切り捨てるかを指示
するモード情報を生成する。モード情報は、出力端子２
１０より出力される。

第１図（ａ）、　（ｂ）、　（ｃ）に各々示した構成は
、係数切り捨て回路５の入る位置が異なる点を除くと同
じ構成である。係数切り捨て回路５は、切り捨て係数判
定回路８１の出すモー、ド情報に基づいて係数の切り捨
てを行い、係数切り捨て回路５自゛身の入力信号から切
り捨て係数を判定しているのではない。切り捨て係数判
定回路８１における判定方法の例としては、入力画像信
号の絵柄たとえば入力画像信号の直交変換係数のうちの
大きな係数がどのように分布しているかによって切り捨
てる係数を決める方法がある。例としては、絶対値が閾
値より小さな係数は切り捨てる係数と判定する方法があ
る。また別な例としては、絶対値の大きな係数の分布が
第２図（ａ）、　（ｂ）、　（ｃ）、　（ｄ）、　（ｅ
）のような係数パターンのうちどのパターンに近いかを
判定し、この判定結果をもとにして切り捨てる係数を決
める。このようなパターンとしては、フレーム内の直交
変換符号化においては、テレビジョン学会誌Ｖｏ１．３
９．　Ｎｏ、１０　ｐｐ。

８９４〜９０４（１９８５年１０月）（文献３）に記載
のものが知られている。どのパターンを選ぶかの選択方
法の例としては、各直交変換係数のブロックに対して、
第２図のパターン内の平均電力を計算し、その電力が最
大のパターンを選択する方法があげられる。

モード情報としては、このパターンの番号の他、パター
ンの番号とどの広さまで送るかの情報と組み合せた符号
としてもよい。文献３も本発明も直交変換を行うことと
係数の切り捨てを行うことは共通してる。しかし、文献
３は静止画像に対する符号化方式であるのでフレーム間
符号化は使えないのに対し、本発明は動画像に対する符
号化方式であるので、フレーム間符号化により符号化効
率を大幅にアラ１できる。文献３と第１図（ａ）の本発
明との相違は、直交変換係数を切り捨てた後にフレーム
間符号化を用いている点である。文献３の方法と第１図
（ｂ）の本発明との相違は、係数切り捨てをフレーム間
符号化のループの内で行っている点であり、係数切り捨
てがフレーム間符号化の動作にも影響している。文献３
の方法と第１図（ｅ）の本発明との相違は、直交変換と
係数切り捨てとの間にフレーム間符号化が入ることであ
る。第１図（ａ）、　（ｂ）、　（ｃ）においては、モ
ード情報を端子２１０より出力するようになっている。

しかし、モード情報は切り捨てる係数を指示する専用の
情報である必要はなく、他の符号化情報から導き出せる
信号であってもよいので、そのような場合には、端子２
１０は不要である。

第３図は、本発明の符号化装置に対応する復号化装置の
例である。第３図においては、入力端子３００がら入力
される符号化画像信号は、加算器１１においてフレーム
間予測器１５の出力信号との和がとられる。フレーム間
予測器１５では、加算器１１の出力信号から次のフレー
ムの信号を予測し出力する。加算器１１の出力信号は、
係数切り捨て回路１４において、入力端子３１０より入
力されるモード情報にもとづいて係数の一部を切り捨て
られた後、逆直交変換回路１３において逆直交変換され
、復号化画像信号として端子４００より出力される。

第４図は、本発明の第１図（ａ）の符号化装置と第３図
の復号化装置を用いた符号化復号化装置の一実施例を示
すブロック図である。第４図においては、第１図（ａ）
の符号化装置と第３図の復号化装置の実施例に量子化器
・逆量子化器とマルチプレクサ・デマルチプレクサが加
わっている意思外は特に変更はない。第４図（ａ）は、
符号化装置のブロック図で、５３は量子化器、７１は逆
量子化器、６０は量子化器５３の出力する符号化画像信
号と、量子化器５３における量子化特性の情報と、切り
捨て係数判定回路８１の出力するモード情報とを出力端
子２９０に出力するためのマルチプレクサである。第４
図（ｂ）は復号化装置のブロック図で、３９０は入力端
子、６１は入力端子３９０からの信号を符号化画像信号
と、量子化特性の情報とモード情報とに分離するデマル
チプレクサ、７２は逆量子化器である。符号化装置第４
図（ａ）における量子化器５３と逆量子化器７１とマル
チプレクサ６０とは、第１図の他の符号化装置（ｂ）、
（ｃ）にも組み込むことができる。フレーム間予測器２
の一実施例としては、入力信号を単純に次のフレームま
で遅延して出力することにより実現できる。このとき、
復号化側のフレーム間予測器１５としても、入力信号を
単純に次のフレームまで遅延して出力することになる。

第５図（ａ）は、第１図（ａ）の符号化装置において、
フレーム間予測器２として、動き補償の手法を導入した
実施例を示している。加算器４の出力信号は、逆直交変
換器３１で逆直交変換される。

回路３３においては、逆直交変換器３１の出力信号に、
動き検出回路３４で検出される画像の移動量分だけ補正
して、次のフレームの信号として出力する。回路３３の
出力信号は、直交変換器３２で直交変換される。この直
交変換５３２の出力信号が、フレーム間予測器２の出力
画像信号となる。動き検出回路３４では、入力画像信号
から画像の移動量を計算し、動き情報として、回路３３
やマルチプレクサ６０に出力する。マルチプレクサ６０
では、動き情報を、符号化画像信号やモード情報とマル
チプレクサして出力端子２９０に出力する。

第５図（ｂ）では、第３図の復号化装置において、フレ
ーム間予測器１５として、動き補償の手法を導入した実
施例を示している。入力端子３９０から入力される信号
は、デマルチプレクサ６１において、符号化画像信号と
モード情報と動き情報とに分離される。加算５１１の出
力信号は、逆直交変換器４１で逆直交変換される。回路
４３においては、デマルチプレクサ６１より出力される
動き情報にもとづいて、逆直交変換回路４１の出力信号
を補正し、次のフレームの予測信号として出力する。回
路４３の出力信号は、直交変換器４２で直交変換される
。この直交変換器４２の出力信号が、フレーム間予測器
１５の出力信号となる。

（発明の効果） 従来方式では、前フレームの直交変換係数が大きいとき
、現フレームの直交変換係数が小さい場合でも、直交変
換係数を切り捨てずに符号化していたが、本発明におい
ては、そのような場合には、直交変換係数を切り捨てる
ので、符号化歪みを小さく押えつつ少ない情報量で動画
像信号を符号化することができ、その効果は極めて大き
い。

【図面の簡単な説明】

第１図（ａ）、　（ｂ）、　（ｃ）は本発明の符号化装
置のブロック図、第２図（ａ）〜（ｅ）は切り捨て係数
判定回路による切り捨て係数の判定例を示す説明図、第
３図は復号化装置の例を示すブロック図、第４図（ａ）
、　（ｂ）、第５図（ａ）、　（ｂ）は本発明の実施例
を示すブロック図である。 図ニオいて、１は直交変換回路、２はフレーム間予測器
、３は減算器、４は加算器、５は係数切り捨て回第１図 第１図 第２図 （ａ）　　　　　　　　　　　（ｂ） （Ｃ）　　　　　　（ｄ） （ｅ） 第３図 第４図 （ａ） （ｂ） 第５図 （ａ） （ｂ）

Claims (4)

【特許請求の範囲】
1. （１）符号化側においては、入力画像信号に直交変換を
   施し、この直交変換係数と前フレームの直交変換係数か
   ら予測される現フレームの変換係数すなわち符号化側の
   予測直交変換係数との差をとり、この差信号と前記予測
   直交変換係数との和をとって現フレームの直交変換係数
   を局部復号化して次のフレームの直交変換係数を予測す
   るのに用い、前記差信号を符号化画像信号として出力す
   る動画像信号の符号化方法において、入力信号をもとに
   して、どの係数はフレーム間符号化し、どの係数は切り
   捨てるかを判定し、この判定結果をもとにして係数を切
   り捨てることを特徴とする動画像信号の符号化方法。
2. （２）入力画像信号を直交変換する手段と、前記直交変
   換により得られる直交変換係数とフレーム間予測器の出
   力信号との差をとる手段と、前記差をとる手段の出力信
   号の一部の係数を切り捨てる係数切り捨て手段と、前記
   係数切り捨て手段の出力信号とフレーム間予測器の出力
   信号との和をとる手段と、前記和をとる手段の出力信号
   から次のフレームの信号を予測するフレーム間予測器と
   、前記係数切り捨て手段の出力信号を符号化画像信号と
   して出力する手段と、前記係数切り捨て手段においてど
   の係数を切り捨てるかを入力画像信号にもとづき判定し
   、それをモード情報として出力する手段とからなること
   を特徴とする動画像信号の符号化装置。
3. （３）入力画像信号を直交変換し、その一部の係数を切
   り捨てる手段と、前記係数切り捨て手段の出力信号とフ
   レーム間予測器の出力信号との差をとる手段と、前記差
   をとる手段の出力信号とフレーム間予測器の出力信号と
   の和をとる手段と、前記和をとる手段の出力信号から次
   のフレームの信号を予測するフレーム間予測器と、前記
   差をとる手段の出力信号を符号化画像信号として出力す
   る手段と、前記係数切り捨て手段においてどの係数を切
   り捨てるかを入力信号にもとづき判定し、それをモード
   情報として出力する手段とからなることを特徴とする動
   画像信号の符号化装置。
4. （４）入力画像信号を直交変換する手段と、前記直交変
   換により得られる直交変換係数とフレーム間予測器の出
   力信号との差をとる手段と、前記差をとる手段の出力信
   号と前記フレーム間予測器の出力信号との和をとる手段
   と、前記和をとる手段の出力信号から次のフレームの信
   号を予測するフレーム間予測器と、前記差をとる手段の
   出力信号の一部の係数を切り捨てる係数切り捨て手段と
   、前記係数切り捨て手段の出力信号を符号化画像信号と
   して出力する手段と、前記係数切り捨て手段においてど
   の係数を切り捨てるかを入力画像信号にもとづき判定し
   、それをモード情報として出力する手段とからなること
   を特徴とする動画像信号の符号化装置。