JPH0237889A - 画像符号化伝送装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 【産業上の利用分野］ 本発明は画像符号化伝送装置、特にテレビ会議、テレビ
電話等のテレビ通信に用いられる画像符号化伝送装置の
改良に関するものである。

［従来の技術］ 以下、従来の画像符号化伝送装置を図面に基づいて説明
する。

第８図には、「動画像符号化における画質適応制御；伊
藤敦他（１９８６年画像符号化シンポジウム予稿６．３
）Ｊに開示された画像符号化伝送装置のブロック構成が
示されている。

同図に示されるように、該画像符号化伝送装置は、前処
理部（Ａ）と、動き補償部（Ｂ）と、ベクトル量子化符
号化部（Ｃ）と、ベクトル復号化部ＣＤ”）と、からな
っている。

そして、前記前処理部（Ａ）は、１フレーム毎に同画像
信号を読み込みアナログ／デジタル変換（以下Ａ／Ｄ変
換という）して画素信号（１０１）を生成するＡ／Ｄ変
換器（１）と、画像上近接した位置にある画素を所定数
ずつブロック化し、該ブロック毎に画素信号（１０１）
群からなる画像ベクトル信号（１０２）を生成するブロ
ック分割器（２）とからなっている。

また、動き補償部（Ｂ）は、前フレームの復号化再生信
号（１１２）を記憶するフレームメモリ（３）と、該フ
レームメモリ（３）に記憶された前フレームの復号化再
生信号（１１２）から現ブロック位置を基準とする複数
個の参照ブロック（１０３）を生成し、前記画像ベクト
ル信号（１０２）に最も近似する参照ブロック（１０４
ａ）および動き位置情報（１０４ｂ）を探索出力する動
き補償処理部（１０４）と、からなっている。

ベクトル量子化符号化部（Ｃ）は、前記画像ベクトル信
号（１（）　２）と前記選択された参照ブロック（１０
４ａ）とを差演算して差分ベクトル信号（１０５）を出
力する減算器（５）と、前記差分ベクトル信号（１０５
）の大きさを示す評価値を演算し、該評価値としきい値
との比較を行い、前記評価値がしきい値の範囲内の場合
には前記画像ベクトル信号（１０２）と前記参照ブロッ
ク（１０４ａ）が同一であると判断してブロック判定情
報を無効情報とし、前記評価値がしきい値の範囲外であ
る場合には要送信ブロックとしてブロック判定情報を有
効情報とする有効／無効ブロック識別部（６）と、前記
有効／無効ブロック識別部（６）にて有効情報と判定さ
れた差分ベクトル信号（１０５）のみをベクトル符号化
して符号化ベクトル信号（１０７）を出力するベクトル
符号化部（７）と、該符号化ベクトル信号（１０７）お
よび動き位置情報（１０４ｂ）を多重化して可変長符号
化する可変長符号化部（８）とからなっている。

そして、前記可変長符号化部（８）より出力される多重
化符号化データ（１０ｇ）は送信バッファ（９）を介し
て通信回線に出力される。

またベクトル復号化部（Ｄ）は、前記ベクトル符号化信
号（１０７）をベクトル復号化してベクトル復号信号（
１１０）を出力するベクトル復号化部（１０）と、ベク
トル復号化信号（１１０）と前記探索された参照ブロッ
ク（１０４ａ）とを加演算して復号化再生信号（１１１
）を出力する加算器（１１）とからなっている。

また、空間フィルタ（１２）は前記復号化再生信号（１
１１）の平滑化処理を行うフィルタである。

次に該従来の画像符号化伝送装置の動作について説明す
る。

まず、第１フレームの動画像信号（１００）は前記Ａ／
Ｄ変換器（１）に入力され画素信号（１０１）に変換さ
れ、ブロック分割器（２）に入力される。

そして、前記ブロック分割器（２）にて、画像上近接し
た位置にある前記画素信号（１０１）を所定数ずつまと
めて画像ベクトル信号（１０２）を生成して出力する。

次に、前記画像ベクトル信号（１０２）は、減算器（５
）をそのまま通過し、ベクトル符号化部（７）に入力さ
れる。

そして、ベクトル符号化部（７）は、前記画像ベクトル
信号（１０２）のベクトル量子化符号化を以下のように
行う。

まず、前記画像ベクトル信号（１０２）の平均値ｍを算
出する。そして、該平均値ｍに基づき平均値分離化を行
い平均値分離ベクトルを出力する。

そして、前記平均値分離ベクトルに最も近似するベクト
ルをパターンベクトルを複数個記憶しているコードブッ
クから探索してベクトル信号（１０２）の符号化ベクト
ル（１０７）として出力する。

そして、前記ベクトル量子化符号化されたベクトル信号
（１０７）はベクトル量子化符号化されベクトル信号（
１０７）は、可変長符号化された後送信バッファ（９）
を介して送信符号化データ（１０９ａ）として通信回線
に出力される。

一方、前記ベクトル符号化信号（１０７）はベクトル復
号化部（１Ｇ）に入力され復号化された後、加算器（１
１）を通過した後空間フィルタ（１２）にて平滑化処理
されフレームメモリ（３）に書き込まれる。

そして、第２フレームの動画像信号（１０２）は、前処
理回路（Ａ）にて画像ベクトル信号（１０２）に変換出
力され、該画像ベクトル信号（１０２）は前記減算器（
５）に入力される。

また、前記ベクトル信号（１０２）は動き補償処理部（
４）に入力される。

一方、前記フレームメモリ（３）に記憶された復号化再
生信号（１１２）から該入力ブロックと同一位置にある
ベクトル信号含む複数個の参照ブロック信号（１０３）
が生成され動き補償処理部（４）入力される。

そして、動き補償処理部にて、前記ベクトル信号（１０
２）と前記各参照ブロック信号（，１０３）との歪み演
算がなされ、最も小さい歪値を与える参照ブロックが選
択されその参照ブロック信号（１０４ａ）と動き位置情
報（１０４ｂ）がそれぞれ出力される。

そして、減算器（５）にて、前記ベクトル信号（１０２
）と前記参照ブロック信号（１０４ａ）とを差演算して
差分ベクトル信号（１０５）を生成し、ベクトル符号化
部（７）および有効／無効ブロック識別部（６）に出力
する。

そして、有効／無効ブロック識別部（６）では次式のよ
うな判定を行う。

ｄ　：評価値 εｌ　：差分ベクトル信号の要素 ｄ　＞Ｔｈ　　ならば有効 ｄくＴｈ　ならば無効 そして、前記有効／無効ブロック識別部（６）の判定が
有効であった場合は、要送信情報として前記差分ベクト
ル信号（１０５）のベクトル量子化符号化を行う。

また、前記有効／無効ブロック識別部（６）の判定が無
効であった場合は、前記選択された参照ブロック（１０
４ａ）と前記画像ベクトル信号（１０２）が同一である
と見なし、前記動き位置情報（１０４ｂ）のみを伝送す
る。

次に、符号化ベクトル信号（１０７）は、前記動き位置
情報（１０４ｂ）とを多重化した後可変長符号化部（８
）にて発生確率の高いものには短い符号を発生確率の低
い信号には長い符号値を割り当てる可変長符号化が行わ
れ送信バッファ（９）に出力される。

一方、前記符号化ベクトル信号（１０７）はベクトル復
号化部（１０）にて、復号化ベクトル信号（１１０）に
変換され更に加算器（１１）にて前記参照ブロック信号
（１０４ａ）と加算され復号化再生ベクトル信号（１１
１）に変換される。

更に、前記復号化再生信号（１１１）は動き位置情報（
１０４ｂ）の大きい時には平滑化処理がなされ、フレー
ムメモリ（３）に記憶される。ここで、前記空間フィル
タ（１２）の平滑化処理は、動き補償により得られた動
き位置情報（１０４ｂ）に基づきなされ同領域に対して
のみ平滑化処理を行い静止領域に対しては弔滑化処理を
行わないように制御される。

［発明が解決しようとする課題］ 従来の画像符号化伝送装置は、以上のように構成されて
いるので、入力した動画像信号に近い復号化画像となる
ような精度の高い符号化がなされた部分に対してもフィ
ルタによって平滑化処理がほどこされる一方、動きベク
トル情報によりフィルタのオンオフを行うために静止領
域については平滑化処理がなされず粗く符号化された静
止領域に対する符号化雑音が蓄積して復号化画像の品質
の低下を招くという問題点があった。

本発明に係る画像符号化伝送装置は上記問題点を解決す
ることを課題としてなされたものであり、符号化雑音を
効果的に抑圧できるとともに再生画像の品質を局所的に
制御できる画像符号化伝送装置を堤供することを目的と
する。

［課題を解決するための手段］ 上記目的を達成するために、本発明に係る画像符号化伝
送装置は、送信バッファに一時記憶される符号化された
画像ベクトル信号の送信符号化情報量に応じて、前記ベ
クトル量子化符号化部の符号化精度を所定周期で切り換
える符号化精度制御部と、前記復号化再生信号の各画素
値に近接する画素値を所定の割合で取り込んだ画素値と
する前記復号化再生信号の平滑化処理を行う適用空間フ
ィルタと、前記動き位置情報に基づいて前記適用空間フ
ィルタの平滑化処理のオンオフを制御し、また前記符号
化精度の低いときには前記適用空間フィルタの平滑度を
強くし、前記符号化精度の高いときには前記平滑度を弱
くする平滑化特性制御部と、を備えたものである。

１作用］ 本発明における画像符号化伝送装置は、フレーム間符号
化ループ内の空間フィルタ特性を画像ブロック単位に符
号化制度に基づいて制御するので、符号化雑音が効果的
に抑圧され符号化画像品質が向上する。

［実施例］ 以下、本発明に係る画像符号化伝送装置に好適な一実施
例を図面に基づいて説明する。

第１図は本発明の本実施例による画像符号化伝送装置の
送信部の構成を示すブロック構成図である。

また、第２図にはベクトル量子化符号化部の詳細なブロ
ック構成が示されている。

なお図において、従来の第８図従来例と同一部分には同
一符号を付しその説明を省略する。

同図に示されるように、該ベクトル量子化符号化部（７
）は、前記有効／無効ブロック識別部（６）より出力さ
れた判定情報（１０６）及び送信、（ッファ（９）に−
時記憶される前フレームの送信データの情報量（１０９
ｂ）に基づき量子化特性を制御する量子化制御部（１０
７ａ）と、量子化制御部（７ａ）より出力される有効差
分ベクトル信号（１０７ａ）の平均値ｍ＠算出し、前記
差分ベクトル信号（１０７ａ）の平均値分離化を行う平
均値分離部（７ｂ）と、前記平均値分離部（７ｂ）より
出力される平均値分離ベクトル信号（１０７ｂ２）をベ
クトル量子化する内積ベクトル量子化部（７Ｃ）と、複
数個のパターンベクトルを記憶するコードブック（７ｄ
）とからなっている。

従って、量子化制御部（７ａ）は、前記情報（１・０６
）が有効である時は差分ベクトル信号（１０５）をその
まま有効差分ベクトル信号（１０７ａ）として出力し、
無効の場合はゼロベクトルを有効差分ベクトル（１０７
ａ）として出力する。

そして、前記平均値分離部（７ａ）は、前記算出された
平均値ｍに基づいて前記有効差分ベクトル信号（１０７
）を平均値分離する。平均値分離部（７ｂ）は、前記の
平均値ｍを前記量子化制御（７ａ）より出力される量子
化特性に基づいて平均値量子化番号（１０７ｂｌ）を出
力する。

そして、前記平均値分離部（７ｂ）より出力される平均
値分離ベクトル（１０７ｂ２）を内積ベクトル量子化部
（７Ｃ）に出力する。

次に前記内積ベクトル量子化部（７Ｃ）は、第３図に示
されるように、既構造に配列された複数個の平均値分離
ベクトルのパターンベクトルを記憶するコードブック（
７ｄ）を用いて前記平均値分離ベクトル（１０７ｂ）と
を内積演算することにより最も内積値小さいパターンベ
クトルを選択する。

また、ベクトル量子化復号化部（１０）の詳細なブロッ
ク構成が第４図に示されており、前記ベクトル量子化復
号化部（１０）は、前記量子化符号化された平均値ｍ（
１０７ｂｌ）を前記量子化制御部（７ａ）より出力され
た量子化特性に基づいて復号化を行う平均値復号化部（
１０ｂ）と、前記量子化特性に従って振幅利得を復号化
する振幅利得復号化部（１０ｃ）と、インデックス復号
化部（１０ａ）と、からなっている。

次に実施例の動作について説明する。差分ベクトル信号
（１０５）の生成までは、従来と同様の手順なのでその
説明を省略する。

従来と同様の手順により得られた差分ベクトル信号（１
０５）は、従来と同様に、冑効／無効ブロック識別部（
６）とベクトル量子化符号化部（７）へ出力される。

そして、前記量子化制御部（７ａ）に入力された差分ベ
クトル信号（１０５）は、有効／無効ブロック情報（１
０６）に基づいてベクトルの各要素の値が調整される。

すなわち、有効ブロックの場合は、前記差分ベクトル信
号（１０５）の値がそのまま有効差分ベクトル信号（１
０７ａ）として平均値分離（７ｂ）へ出力されるのに対
し、無効ブロックの場合は各要素に全てＯが代入された
有効差分ベクトル信号（１０７ａ）が出力される。

無効ブロックに対してはベクトル量子化符号化は適用さ
れず、以下有効ブロックのベクトル量子化符号化を述べ
る。

前記量子化制御部（７ａ）は、前フレームの送信情報量
であるバッファ蓄積情報ｆｆ１（１０９ｂ）が入力され
、該バッファ蓄積ｆｆ１（１０９ｂ）に基づいて量子化
ステップ幅を規定する量子化特性信号（Ｓｌ）を符号化
対象ブロック単位で周期的に出力する。

そして、平均値分離部（７ｂ）は、前記有効差分ベクト
ル信号（１０７ａ）の平均値ｍを算出し、前量子化特性
信号（Ｓｌ）に基づき量子化し平均値量子化番号（１０
７ｂｌ）として出力するとともに、前記平均値ｍに基づ
いて前記有効差分ベクトルの平均値分離を行い平均値分
離ベクトル（１０７ｂ２）として内積ベクトル量子化部
（７Ｃ）に出力する。

次に、内積ベクトル量子化部（７ｃ）では、前記有効差
分ベクトル（１０７ａ）とコードブック（７ｄ）内の平
均値０、大きさ１に正規化されたパターンベクトルとの
内積を計算し内積が最大となるコードベクトルのインデ
ックス（１０７Ｃ２）とその最大内積値で与えられる振
幅利得（１０７Ｃ１）が求められ、前記量子化特性信号
（ＳＬ　）に基づいて量子化される。

ここで前記ベクトル量子化過程で、最大内積を与えるコ
ードベクトル（量子化代表ベクトル）探索時の演算高速
化のために、第３図に示すようにパターンベクトルを本
構造に構成し、上位のベクトルが下位の代表ベクトルと
なるように予め設計されている。

各段において、前記有効差分ベクトル（１０７ａ）との
内積値が大きい方のコードベクトルを２つの内から１つ
選択する操作を再上位から最下位まで順次実行し、最終
的なベクトルを決定する。

２進木構造に配列されたパターンベクトルの場合、各節
からの分岐の方向に従ってＯまたは１が割り当てられて
おり、最下位の量子化代表ベクトルに至るまでの経路を
表す二進数列が該量子化代表ベクトルのインデックス（
１０７Ｃ２）に対応する。

さらに、得られた振幅利得σの大きさに応じてインデッ
クス（１０７Ｃ２）の下位ビットを切り捨てた新しいイ
ンデックス（１０７Ｃ２）が伝送される。

従って、ベクトル量子化符号化においては、振幅利得の
大きさに応じてベクトル量子化の精度も可変制御される
ため、振幅利得量子化番号（１０７Ｃ１）を符号化精度
とみなすことができる。

以」二のように、ベクトル量子化符号化部（１０７）よ
り出力される符号化ベクトル信号（１０７）は、平均値
量子化番号（１０７ｂｌ）と、振幅利得量子化番号（１
０７ｃｌ）と、インデックス（１０７Ｃ２）とから構成
され前記可変調符号化部（８）に出力され前記動き情報
（１０４ｂ）と多重化され送信バッファ（９）に出力さ
れ送信情報として通信回線に出力される。

次に、′Ｍ４４図に基づいてベクトル量子化復号化部（
Ｄ）の動作について説明する。

有効ブロックに関しては、符号化ベクトル信号（１０７
）中の平均値量子化番号＜１０７ｂ）、振幅利得量子化
番号（１０７ｃ）、インデックス（１０７Ｃ２）がそれ
ぞれ平均値復号化部（１０）において復号化され乗算器
（１０ｅ）、加算器（１０ｆ）による積和演算により前
記有効差分ベクトル信号（１０７ａ）に復号化され、復
号化信号（１１０）として出力される。

なお、平均値および振幅利得の復号化には、量子化ステ
ップ幅を規定する量子化特性信号（Ｓｌ）が用いられる
。

一方、無効ブロックに関しては、０信号生成部（１０ｇ
）から生成される０信号（１１０ｇ）がセレタ（４２）
より出力され、前記復号化された有効差分ベクトル信号
（１０７ａ）に復号化され、復号化ベクトル信号（１１
０）として出力されるそして、前記復号化ベクトル信号
（１１０）は、加算Ｗ　（１１）にて、前記参照ブロッ
クと加算され、復号化再生信号（１１１）として出力さ
れる。

次に、第５図に適応型空間フィルタとして二次元空間フ
ィルタを用いる場合の二次元空間フィルタに対する入力
信号サンプル画素の画面上の配列を示し該適応型空間フ
ィルタを説明する。

ここで、平滑化され、出力されるべき着目サンプル値を
Ｘ１該サンプルに対し二次元配列上で隣接する参照サン
プル画素値を左上方から右方向に向って順にそれぞれＡ
ＳＢＳＣ，Ｄ、ＥＳＦＳＧ。

Ｈとすると平滑処理は次式に従って実行される。

但し、　（ａ、＋８２＋ａ３＝１） 但し、又は平滑された着目画素サンプル値、すなわちフ
ィルタ出力信号サンプル値であり、ａｌ、ａ２、ａ３は
平滑化特性を制御するための平滑化特性係数である。そ
して、前記平滑化特性係数を大きくするほど平滑作用が
弱くなり、小さくするほど平滑作用が強くなる。

以下、適応型空間フィルタ（２２）の適応的制御方法の
一例を示す。

前記適応型空間フィルタ（２２）の適応制御パラメータ
として、動き位置情報（１０４ｂ）と、ベクトル量子化
符号化の際に符号化対象ブロックの符号化精度を示す振
幅利得量子化番号（１０７Ｃ１）と、バッファ蓄積量（
１０９ｂ）と、それぞれ適応型空間フィルタ（２２）に
入力される。

この適応型空間フィルタ（２２）では、第６図に示すよ
うに、振幅利得量子化番号（１０７Ｃ１）で示される符
号化精度の高低に基づいて、フィルタ特性が符号化対象
ブロック毎に適応的に制御され、符号化対象ブロック内
の画素を処理単位として平滑化処理がなされる。

但し、動き補償処理にて、動き位置情報（１０４ｂ）が
“Ｏ”で、かつ前記有効／無効ブロック情報（１０Ｂ）
が無効ブロックである場合には、静止領域の高域減衰を
避ける必要があるため、その動き補償対象ブロック内の
全符号化対象ブロックに対する平滑化処理は行わない。

なお、上記実施例では、ブロック符号化手法としてベク
トル量子化符号化方法を用いた場合の適応型空間フィル
タ（２２）の適用例について説明したが、変換符号化手
法等を用いた場合に対しても、この適応型フィルタ（２
２）に適用することが可能であり、この場合符号化精度
情報として符号化対象ブロックの変換係数量子化符号化
後の符号化長を適応制御パラロータに用いることにより
」二記実施例と同様の効果を得る。

また、上記実施例では適応空間フィルタ（２２）をフレ
ーム間符号化伝送装置に対して適用した例を示したが、
フレーム内符号化伝送装置に対して適用しても、上記実
施例と同様の効果を奏する。

第８図に、本発明の他の実施例として、フレーム内符号
化伝送装置に、本発明の適応型空間フィルタ（２２）を
適用した装置野ブロック構成例を示す。

本実施例装置では、ブロック符号化部（７）にて、有効
／無効ブロック情報（１０６）に基づいてを効ブロック
に対してブロック符号化がフレーム内で行われる。

そして、人力された有効／無効ブロック情報（１０６）
が有効ブロックである場合に、フレーム内復号化ベクト
ル信号（１１０）と参照ブロック（１０４ａ）との加算
を行う一方、無効ブロックに対しては人力された参照ブ
ロック（１０４ａ）をそのまま復号化再生信号として出
力する適応型加算器である。そして符号化精度情報に応
じて適応型空間フィルタ（２２）の制御を行う。

なお、上記実施例は、適応型空間フィルタ（２２）をル
ープ内フィルタとして用いた場合の実施例を示したが、
適応型空間フィルタ（２２）を受信側の復号化装置に適
用しても同様の効果を奏する。

［発明の効果］ 以上説明したように、本発明に係る画像符号化伝送装置
によれば、画像符号化伝送装置内に適応型空間フィルタ
を配置し、符号化精度、動きベクトル情報および有効／
無効ブロック情報に基づきブロック単位に適応型空間フ
ィルタの平滑特性を適用的に制御するように構成したの
で、復号化画像の解像度を低下せずに符号化雑音を除去
できるため有効な復号化画像品質が得られる効果がある
。

【図面の簡単な説明】

第１図は本発明に係る画像符号化伝送装置の好適な一実
施例によるブロック構成図、第２図は第１図実施例装置
のベクトル量子化符号化部の詳細説明図、第３図はベク
トル量子化符号化およびベクトル量子化復号化の際に使
用するコードブックの説明図、第４図はベクトル量子化
符号化部のブロツ図、第５図は適応型空間フィルタの画
素配置を示す説明図、第６図は適応型空間フィルタのフ
ィルタの平滑特性制御例の説明図、第７図は他の実施例
による画像符号化伝送装置のブロック構成図、第８図は
従来の画像符号化伝送装置の構成を示すブロック図であ
る。 図において、（Ａ）は前処理部、（Ｂ）は動き補償部、
（Ｃ）はベクトル量子化符号化部、（Ｄ）はベクトル量
子化復号化部、（６）はを効／無効ブロック識別部、（
７）はベクトル量子符号化部（ブロック符号化Ｓ）、（
１Ｇ）はベクトル量子化復号化部（ブロック復号化部）
、（２２）は適用空間フィルタ、（９）は送信バッファ
である。 なお、図中、同一符号は同一、又は相当部分を示す。 代理人　弁理士　大　岩　増　雄 （他　２名） 第３図 第２ 図 明細書

Claims (1)

1. 【特許請求の範囲】 １フレーム毎に動画像信号を読み込み、Ａ／Ｄ変換して
   画素信号を生成し、画像上近接した位置にある画素を所
   定数ずつブロック化し、該ブロック毎に画素信号群から
   なる画像ベクトル信号を生成する前処理部と、 前フレームの復号化再生信号から現ブロック位置を基準
   とする複数個の参照ブロックを生成し、前記画像ベクト
   ル信号に最も近似する参照ブロックを探索して前記画像
   ベクトル信号の動き位置情報を検出する動き補償部と、 フレーム間の相関関係を利用し、前記探索された参照ブ
   ロックおよび動き位置情報に基づいて前記画像ベトクル
   信号を圧縮・符号化するベクトル量子化符号化部と、 前記符号化された画像ベクトル信号を１フレームずつ通
   信回線に送出する送信バッファと、前記ベクトル量子化
   符号化部にて符号化された画像ベクトル信号を復号化し
   、得られた復号化ベクトル信号に前記探索された参照ブ
   ロックのベクトル信号を加算して復号化再生信号を生成
   するベクトル復号化部と、 を備え、動き補償処理を含む画像符号化伝送装置におい
   て、 送信バッファに一時記憶される符号化された画像ベクト
   ル信号の送信符号化情報量に応じて、前記ベクトル量子
   化符号化部の符号化精度を所定周期で切替える符号化精
   度制御部と、 前記復号化再生信号の各画素値に近接する画素値を所定
   の割合いで取込んだ画素値とする、前記復号化再生信号
   の平滑化処理を行う空間適応フィルタと、 前記動き位置情報に基づいて前記適応空間フィルタの平
   滑化処理のオン／オフを制御し、また前記符号化精度の
   低いときには前記適応空間フィルタの平滑化度を強くし
   、前記符号化精度の高いときには前記平滑化度を弱くす
   る平滑化特性制御部と、 を備えたことを特徴とする画像符号化伝送装置。