JPH088499B2

JPH088499B2 - 静止画像の符号化方式

Info

Publication number: JPH088499B2
Application number: JP61293082A
Authority: JP
Inventors: 真喜子田之上; 修川井; 伊藤　　隆; 喜一松田; 俊隆津田
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 1986-12-09
Filing date: 1986-12-09
Publication date: 1996-01-29
Anticipated expiration: 2011-01-29
Also published as: JPS63146518A

Description

【発明の詳細な説明】〔概要〕本発明は、静止画像を階層的に量子化して伝送すると
いう符号化方式において、量子化に要する時間を短縮す
るため、原画と予測再生画面との誤差をベクトル量子化
し、このときの量子化コードをコードブックに記憶して
おいて、次のベクトル量子化に利用し、そのコードブッ
クを更新して行くことにより誤差信号のデータ量を減少
させたものである。

〔産業上の利用分野〕

本発明は、静止画像の符号化方式に関し、特に原画を
サブサンプルし量子化し可変長符号化して伝送するとと
もに、次段画面からは再生画面を予測して該次段画面と
のサブサンプル誤差信号を量子化し可変長符号化して伝
送することを繰り返す静止画像の符号化方式に関するも
のである。

画像伝送を画像データベースの検索やテレビ会議にお
ける静止画像伝送等に利用する場合、間引いた、即ち、
サブサンプルした低解像度の画像から徐々に高解像度の
画像が再生できるような階層的な伝送が可能であれば、
画像データベースの検索においては、不必要な画像は初
期の段階で捨てることができるため必要な画像を高速で
検索できるとともに、静止画伝送では初期の段階で見た
い画像の概要を知ることができるため、かかる階層的な
符号化が必要である。

〔従来の技術〕

従来から知られた静止画像の符号化方式の概略構成が
第10図に示されており、図の上半分は送信側を示し、下
半分は受信側を示している。

第10図において、11、14は送信側のサブサンプラー、
19は受信側のサブサンプラー、12及び21はそれぞれ送信
側及び受信側のスカラ量子化器、13及び17はそれぞれ送
信側及び受信側のエントロピーコーダ（可変長符号化
器）及びエントロピーデコーダ（可変長復号化器）、15
及び20はそれぞれ送信側及び受信側で再生画面を記憶す
るフレームメモリ、16及び18はそれぞれ送信側及び受信
側で再生画面を再生するための補間器、を示している。

第11図は第10図で行うサブサンプルの動作を説明する
ためのもので、図中、（１）〜（６）はそれぞれ画像の
１段目〜６段目の伝送段階での画像全体の一部のブロッ
ク（８×８画素）を示しており、○は新たに伝送する画
素（サブサンプルする位置の画素）、●（斜線で示す黒
丸）は既に伝送した画素であることを示している。

また、第12図は画面再生のための補間動作を説明する
ための図である。

次にこの従来例の動作を説明すると、まず、１段目に
伝送する画面では、静止原画を第11図（１）のように第
10図の送信側のサブサンプラー11でサブサンプルした
後、スカラ量子化器12で量子化した上、エントロピーコ
ーダ13で可変長符号化して伝送路Ｌに送出する。

伝送路Ｌからのデータを受信側では送信側と逆の動作
を行う。即ち、エントロピーコーダ17でデコードし、ス
カラ量子化器21で逆量子化して第12図（１）に●で示す
画面データが得られ、補間器18で第12図（１）〜（３）
に示す順に補間してフレーム画面全体を埋め、再生画面
を得るとともにフレームメモリ20にその再生画面を格納
する。

一方、送信側でも、スカラ量子化器12で量子化された
データは補間器16に送られて受信側の補間器18で行われ
た補間動作と同じ補間が行われて第12図（３）に示す同
様の再生画面がフレームメモリ15に格納される。

２段目に伝送する画面では、第11図（２）に示すよう
にサブサンプラー11で○画素がサブサンプルされるが、
１段目と異なり、今度はこれと同期してサブサンプラー
14でもフレームメモリ15に格納された同じ○画素がサブ
サンプルされる。

従って、スカラ量子化器12では両サブサンプラー11と
14の補間誤差信号がスカラ量子化されエントロピーコー
ダ13を経て伝送されることになり、サブサンプラー14か
らの出力信号は再生画面を予測したものであるので誤差
信号が小さければ小さいほど伝送量は削減できる。

この２段目の画面の場合には、受信側においてもフレ
ームメモリ20に既に格納されていた画面を送信側のサブ
サンプラー11及び14と同期してサブサンプラー19でサブ
サンプルしスカラ量子化器21の出力に加えて補間器18に
より第12図（２）及び（３）に示す順に補間されて２段
目の画面と近似したフレーム画面全体が再生され、フレ
ームメモリ20に格納される。

これと同様の動作が送信側においても、サブサンプラ
ー14及びスカラ量子化器12の両出力を加えて補間器16で
補間することにより行われ、フレームメモリ15に格納さ
れる。

以下、同様にして３段目から６段目までの静止画面が
第11図（３）〜（６）に示すようにサブサンプルして行
く。この場合、３段目は第12図（４）及び（５）、４段
目は第12図（３）、５段目は第12図（５）の各順序で補
間され、６段目で１組の（実際は６枚の）静止画面につ
いての伝送処理が終了する。

〔発明が解決しようとする問題点〕

かかる従来の静止画像の符号化方式では、静止画像の
歪の大きい部分も小さい部分もサブサンプルした画素全
てについてスカラ量子化を行って伝送していたため、情
報量が大きくなってしまい伝送所要時間が長くなってし
まうという問題点があった。

一方、画像情報を低ビットレートで符号化して伝送す
る高能率な符号化方式として、ベクトル量子化を用いる
ことが考えられる。

即ち、第13図に示すように予め作成した固定的なベク
トル量子化コードブック30を用意しておき、誤差信号に
応じてベクトル量子化器31においてコードブック30の中
から最も誤差が小さくなるものを選択しそのインデック
スのみを伝送しようとするものである。

しかしながら、この方式もコードブックが固定的であ
るため、誤差を小さくできない不適切なコードブックを
選択せざるを得ないという問題点が残ってしまう。

従って、本発明の目的は、伝送情報量を少なくするこ
とにより伝送時間を削減できる歪の少ない静止画像の符
号化方式を実現することに在る。

〔問題点を解決するための手段〕

第１図は上記の目的を達成するための本発明に係る静
止画像の符号化方式を概念的に示した図で、原画を第１
サブサンプラー11でサブサンプルし量子化器１で量子化
しエントロピーコーダ13で可変長符号化して伝送すると
ともに、次段画面からは再生画面を予測器２で作成し第
１サブサンプラー11と同期して第２サブサンプラー14に
より前記再生画面をサブサンプルし、次段画面のサブサ
ンプル信号との誤差信号を量子化器１で量子化すること
を繰り返す静止画像の符号化方式を改良したものであ
る。

即ち、本発明では、量子化器１が、サブサンプル信号
同士の誤差信号をブロック化しベクトル量子化してその
インデックスを送出するベクトル量子化器３と、このベ
クトル量子化器３の出力に応じて次段画面の誤差信号に
対応しベクトル量子化の際に参照されるコードブックを
作成するコードブック作成手段４と、を備えている。

〔作用〕

第１図において、原画をサブサンプルしたものと、再
生予測画面をサブサンプルしたものとの誤差信号がベク
トル量子化され、このとき、コードブック作成手段４に
格納されたベクトル量子化コードが次段のサブサンプル
誤差信号に対応してベクトル量子化器３で参照される。
そして、最も量子化誤差の小さいコードブックが選択さ
れてそのインデックスのみが伝送路を介して受信側に送
られる。受信側では、上記の送信側と逆の動作が行われ
る。

〔実施例〕

以下、本願発明に係る静止画像の符号化方式の実施例
を説明する。

第２図は、第１図に概念的に示した本発明の静止画像
の符号化方式の一実施例を示しており、第２図では、第
１図に示した予測器２は上記の従来例と同様に補間器16
とフレームメモリ15とで構成されており、また、コード
ブック作成手段４は、ベクトル量子化器３の出力に応じ
て補間する補間器５と、この補間されたデータからサブ
サンプルするサブサンプラー６と、サブサンプルされた
値を記憶更新するコードブック７と、で構成されてい
る。

一方、受信側は第３図に示すように、上記の従来例に
おけるスカラ量子化器の代わりに、送信側と同様にベク
トル量子化器3a、補間器5a、サブサンプラー6a、及びコ
ードブック7aによる閉ループを形成している。

次に、第２図に示した実施例におけるコードブック７
を更新するための送信側（符号化側）の動作を第４図を
参照して説明する。

第４図（１）は補間誤差信号が発生開始する第11図
（２）の２段目画面をサブサンプルするときの様子を示
したもので、図中、○印を付けた画素がサブサンプラー
11及び14でサブサンプルされ、その補間誤差としてベク
トル量子化器３に入力される。尚、図を見易くするた
め、以下、サブサンプル点の信号レベル（適当に選択し
てある）のみを示すこととする。

ベクトル量子化器３では第４図（１）のサブサンプル
点の信号レベルを第４図（２）に示すようにソフトウェ
ア概念的に詰め替えてブロック化し、当初から用意され
ているコードブック７のデータを参照して最も誤差の少
ないベクトル量子化コードを第４図（３）に示すように
選択する。このベクトル量子化コードは後述のように３
段目の画面処理に使用されることとなる。尚、この第４
図（３）のベクトル量子化コードも適当に選択した数で
ある。

この選択されたベクトル量子化コードはインデックス
の形で受信側に伝送されるとともに、送信側の補間器５
に入力され、もう一度２段目のサブサンプル前の画素位
置（第11図（２）の●画素＝第４図（４）の△印で示し
た画素）に戻した上、第12図（１）〜（３）に示す順に
補間（少数点以下は四捨五入）して第４図（４）に示す
画面データをサブサンプラー６に与える。サブサンプラ
ー６では、この画面データから第11図（３）の○画素に
相当する画素（第４図（４）では○画素）をサブサンプ
ルして第４図（５）に示すような、３段目で使用される
新しいブロックコートをコードブック７に格納する。

このように、本発明の量子化器１のサブサンプラー６
ではサブサンプラー11、14より１段先にサブサンプルし
て量子化１へ入力される誤差信号を最適に量子化するた
めに備えている。

次に、サブサンプラー11及び14により第11図（３）に
示す３段目のサブサンプルが行われて誤差信号がベクト
ル量子化器３に入力されると、第４図（６）に示したサ
ブサンプル画素の誤差信号が第４図（７）に示すように
ブロック化され、コードブック７に記憶されているブロ
ックコードと比較されて最小の誤差となるような新たな
ベクトル量子化コードが第４図（８）に示すように選択
される。

そして、このベクトル量子化コードのインデックスが
伝送されるとともに、補間器５で第12図（２）及び
（３）の補間が行われて第４図（９）に示す画面データ
がサブサンプラー６に送られる。この場合も同様に第４
図（８）のブロックコードは第４図（９）の△印で示し
た画素（第11図（４）の●画素）に戻って配置され、○
画素がサブサンプルされることとなる。このサブサンプ
ルにより第４図（10）に示す４段目用の新しいベクトル
量子化コードが作成される。

以下、同様にして第４図（11）〜（15）により５段目
のサブサンプル用の新しいベクトル量子化コード、第４
図（16）〜（20）により６段目のサブサンプル用の新し
いベクトル量子化コード、がそれぞれ作成され、６段目
の画面伝送を行って一組の静止画像伝送が終了する。

尚、第３図に示した受信側のサブサンプル動作も全く
同様に行われるので、説明は省略する。

第５図（１）〜（５）はコードブック７の更新の一例
を示しており、Ｉは伝送する画面の大きさ（縦又は横の
画素数）であり、ｎは元からあるベクトル量子化コード
の数を示している。そして、第５図（１）〜（５）は２
段目から６段目のベクトル量子化に使用されるコードブ
ック７の内訳を示しており、新しく作成されたベクトル
量子化コードを古いコードに追加して行く過程が示され
ている。

ここでＩ×Ｉの大きさを有する画面の中に８×８画素
のブロックは（Ｉ×Ｉ）／（８×８）個できる。８×８
のブロックの中からサブサンプルするのは２段目では第
11図（２）によると２個であるから、全画面からサブサ
ンプルする点は、２×（Ｉ×Ｉ）／（８×８）となる。

サブサンプルする点を集めてブロック化し、ベクトル
量子化をかけるときに、例えばベクトル量子化コードが
４×４＝16画素を１ブロックとするとき、２段目におい
てベクトル量子化をかけるべき全ブロック数は、２×
（Ｉ×Ｉ）／（８×８）（４×４）＝Ｉ×I/512個とな
る。

２段目の１個のベクトル量子化コードから新しいベク
トル量子化コードは２つ出来るので、３段目に使用する
コードブックに新たに付け加わったのは、２×（Ｉ×
Ｉ）/512＝Ｉ×I/256個となる。

従って、第５図（１）〜（５）では段数が増えるに従
ってベクトル量子化コードのブロック数が増えて行くこ
とが示されている。

その他、第６図（１）〜（５）に示されるように、新
しいベクトル量子化コードのみでベクトル量子化を行う
方法や、第７図（１）〜（５）に示されるように、付け
加えたベクトル量子化コードのみの書き替えながらベク
トル量子化を行う方法等が考えられる。

以上の実施例では、量子化器１としてベクトル量子化
器のみを用いる方式を説明したが、ベクトル量子化だけ
でなく、スカラ量子化も採り入れたハイブリッド量子化
が第８図（１）及び（２）に示されている。第８図では
量子化１の部分のみを示しており、この場合のコードブ
ック７の更新は第９図（１）〜（５）に示すように、例
えば５段目に伝送したベクトル量子化コードとスカラ量
子化コードから６段目で用いるベクトル量子化コードを
更新するものである。

〔発明の効果〕

以上のように、本発明の静止画像の符号化方式によれ
ば、補間誤差にベクトル量子化をかけ、それから得たブ
ロックコードのインデックスのみを伝送するとともにコ
ードブックを用意して常に最適なベクトル量子化ができ
るように更新できるように構成したので、スカラ量子化
のように逐一サブサンプルデータを伝送する必要がなく
伝送時間を短縮でき、固定的なコードブックを用いたと
きのベクトル量子化によるベクトル量子化歪をも減少さ
せることができるという効果がある。

【図面の簡単な説明】

第１図は本発明に係る静止画像の符号化方式の原理ブロ
ック図、第２図は第１図に示した静止画像の符号化方式の一実施
例を示すブロック図、第３図は第２図の送信側に対応する受信側の実施例を示
すブロック図、第４図（１）〜（20）は本発明に用いるコードブロック
の更新過程を説明するための図、第５図乃至第７図はそれぞれコードブックの更新につい
ての実施例を示す図、第８図（１）及び（２）は本発明の別の実施例を示すブ
ロック図、第９図（１）〜（５）は第８図の実施例の場合のコード
ブックの更新動作例を示す図、第10図は従来の静止画像の符号化方式の一例を示すブロ
ック図、第11図（１）〜（６）は画面伝送の各段におけるサブサ
ンプルの方法を説明するための図、第12図（１）〜（５）は補間の方法を説明するための
図、第13図はベクトル量子化と固定コードブックとを組み合
わせた場合のブロック図、である。第１図、第２図及び第８図において、１は量子化器、２は予測器、３はベクトル量子化器、４はコードブック作成手段、５は補間器、６、11はサブサンプラー、７はコードブック、８はスカラ量子化器、をそれぞれ示す。尚、図中、同一符号は同一又は相当部分を示す。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁶ 識別記号庁内整理番号ＦＩ技術表示箇所 // Ｇ１０Ｌ 9/18 ＥＨ０４Ｂ 14/06 Ｇ (72)発明者松田喜一神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (72)発明者津田俊隆神奈川県川崎市中原区上小田中1015番地富士通株式会社内 (56)参考文献特開昭63−198478（ＪＰ，Ａ) 特開昭63−193680（ＪＰ，Ａ) 特公昭63−26951（ＪＰ，Ｂ２)

Claims

【特許請求の範囲】

【請求項１】原画を第１サブサンプラー（11）でサブサ
ンプルし量子化器（１）で量子化しエントロピーコーダ
（13）で可変長符号化して伝送するとともに、次段画面
からは再生画面を予測器（２）で作成し前記第１サブサ
ンプラー（11）と同期して第２サブサンプラー（14）に
より前記再生画面をサブサンプルし、次段画面のサブサ
ンプル信号との誤差信号を前記量子化器（１）で量子化
することを繰り返す静止画像の符号化方式において、前記量子化器（１）が、前記誤差信号をブロック化しベクトル量子化してそのイ
ンデックスを送出するベクトル量子化器（３）と、該ベクトル量子化器（３）の出力に応じて次段画面の誤
差信号に対応しベクトル量子化の際に参照されるコード
ブックを作成するコードブック作成手段（４）と、を備えたことを特徴とする静止画像の符号化方式。
【請求項２】前記コードブック作成手段（４）が、前記
ベクトル量子化した値を補間器（５）で補間し、第３サ
ブサンプラー（６）でサブサンプルした後、コードブッ
ク（７）を更新するものである特許請求の範囲第１項記
載の静止画像の符号化方式。
【請求項３】前記第３サブサンプラー（６）が、次段画
面について予めサブサンプルするものである特許請求の
範囲第２項記載の静止画像の符号化方式。
【請求項４】前記量子化器（１）が、ベクトル量子化器
（３）によるベクトル量子化とスカラ量子化器（８）に
よるスカラ量子化とを組み合わせた量子化を行う特許請
求の範囲第１項記載の静止画像の符号化方式。
【請求項５】前記コードブック（７）が、前記第３サブ
サンプラー（６）の出力を蓄積して行くことにより更新
されるものである特許請求の範囲第１項記載の静止画像
の符号化方式。
【請求項６】前記コードブック（７）が、前記第３サブ
サンプラー（６）の出力を書き替えて行くことにより更
新されるものである特許請求の範囲第１項記載の静止画
像の符号化方式。