JP2865801B2 - 動画像符号化伝送装置 - Google Patents

Description

【発明の詳細な説明】 〔産業上の利用分野〕 この発明は、動画像のビデオ信号を圧縮符号化して伝
送する動画像符号化伝送装置に関するものである。

〔従来の技術〕

第８図は、例えば三菱電機技報の第60巻第10号（三菱
電機株式会社1986年発行）の第38〜41頁に掲載の論文
“テレビ会議システム”に示された、従来の動画像符号
化伝送装置を示すブロック図である。図において、１は
入力される動画像のビデオ信号を１符号化映像フレーム
毎に符号化して送出する送信装置、２はその符号化され
たビデオ信号を受信して復号する受信装置であり、３は
この送信装置１と受信装置２の間を接続している伝送回
線である。

４は入力ビデオ信号を送信装置１に入力するビデオ信
号入力端子であり、５はこのビデオ信号入力端子４より
入力されたビデオ信号をディジタル化し、輝度／色差成
分の分離処理を行うアナログ入力部である。６はアナロ
グ入力部５にて処理された１フレーム分の映像データを
蓄積する送信フレームメモリであり、７は１フレーム前
の映像データが格納されるフレームメモリである。８は
送信フレームメモリ６から読み出した現フレームの映像
データと、フレームメモリ７から読み出した１フレーム
前の映像データとの差分を演算する減算器である。

９はこの減算器８からのフレーム間差分信号を、所定
のアルゴリズムに従って圧縮符号化する符号化器であ
り、10は符号化器９からの符号化データを一時蓄えてお
く送信バッファである。11はこの送信バッファ10に蓄え
られた符号化データを伝送回線３の伝送速度に合わせて
送出する送信インタフェース部であり、12はその送信イ
ンタフェース部11より伝送回線３への符号化データが出
力される符号化データ出力端子である。

13は前記符号化器９からの符号化データを符号化器９
の逆手順で復号して、フレーム間差分信号を再生する復
号化器である。14はこの復号化器13で再生されたフレー
ム間差分信号に、前記フレームメモリ７に格納されてい
た１フレーム前の映像データを加算して現フレームの映
像データを生成し、それを次のフレームのフレーム間差
分信号の演算のためにフレームメモリ７に再格納する加
算器である。

15は前記伝送回線３からの符号化データを受信装置２
に入力する符号化データ入力端子であり、16は伝送回線
３の伝送速度に合わせてその符号化データを受信する受
信インタフェース部である。17は受信インタフェース部
16で受信された符号化データを一時蓄えておく受信バッ
ファであり、18は受信バッファ17に蓄えられた符号化デ
ータを、送信装置１の符号化器９の逆手順で復号して、
フレーム間差分信号を復元する復号化器である。

19は１フレーム前の映像データが格納されるフレーム
メモリであり、20は前記復号化器18で復元されたフレー
ム間差分信号に、このフレームメモリ19に格納されてい
た１フレーム前の映像データを加算して現フレームの映
像データを復元する加算器である。この加算器20で復元
された映像データは、次のフレームのデータの復元のた
めフレームメモリ19に再格納される。

21は加算器20にて復元された現フレームの映像データ
を蓄積する受信フレームメモリであり、22はこの受信フ
レームメモリ21に蓄積された映像データをビデオ信号の
映像レートに従った速度で順次読み出してアナログ化す
るアナログ出力部である。23はこのアナログ出力部22か
らのビデオ信号が出力されるビデオ信号出力端子であ
る。

次に動作について説明する。ビデオ信号入力端子４よ
り送信装置１に入力されたビデオ信号は、アナログ入力
部５にてアナログ信号からディジタル信号に変換され、
輝度成分と色差成分とに分離処理されたのち、送信フレ
ームメモリ６に書き込まれる。送信フレームメモリ６で
は、入力されるビデオ信号の映像レート（例えばNTSCカ
ラーテレビジョン方式では毎秒30フレーム）と、後段の
符号化器９での符号化映像レートとの差の吸収と、ラス
タ走査から符号化に適した形式への走査変換が行われ
る。

この後、送信フレームメモリ６から読み出された現フ
レームの映像データと、フレームメモリ７から読み出さ
れた１フレーム前の映像データが減算器８に送られてそ
の差分が演算され、フレーム間差分信号として出力され
る。このフレーム間差分信号は１フレーム前の映像デー
タと現フレームの映像データの間の変化成分であるた
め、その絶対値は現フレームの映像データそのものより
はるかに小さな値となり情報量の削減が行われる。

このフレーム間差分信号は符号化器９に入力されて所
定の符号化アルゴリズムに基づいて圧縮符号化され、よ
り一層の情報量削減が行われる。この符号化結果は符号
化データとして送信バッファ10に一旦蓄えられたのち、
伝送回線３により定められた伝送速度に従って、送信イ
ンタフェース部11を経由して、符号化データ出力端子12
より伝送回線３へ送出される。

一方、符号化器９にて符号化された符号化データは次
のフレームの符号化動作に備えて、当該復号化器13にお
ける符号化とは逆手順による復号処理を受け、フレーム
間差分信号として再生される。この再生されたフレーム
間差分信号は、加算器14にてフレームメモリ７から出力
される１フレーム前の映像データに加算され、現フレー
ムの映像データとしてフレームメモリ７に再び格納され
る。この映像データは次フレームにおける符号化時には
前フレームの映像データとして前述の手順による符号化
のために利用される。

送信装置１は以上のように動作する。

次に、伝送回線３を経由して伝送された符号化データ
は符号化データ入力端子15より受信装置２に入力され、
受信インタフェース部16を経由して伝送回線３により定
められた伝送速度に従って受信バッファ17に書込まれ
る。その後、受信された符号化データは送信装置１の復
号化器13と同じ構成の復号化器18にて復号処理を受け、
フレーム間差分信号として復元される。この復元後のフ
レーム間差分信号は加算器20にてフレームメモリ19から
出力される１フレーム前の映像データと加算され、現フ
レームの映像データとして復元される。

この復元された映像データは受信フレームメモリ21に
一旦書込まれ、ビデオ信号の映像レートに従った速度で
順次読出され、アナログ出力部22に送られる。アナログ
出力部ではそれをアナログ信号に変換してビデオ信号と
して再生し、ビデオ信号出力端子23より出力する。

一方、加算器20にて復元された現フレームの映像デー
タは、フレームメモリ19に再び書き込まれ、次のフレー
ムの復号動作時に１フレーム前の映像データとして利用
される。

受信装置２は以上のように動作する。

次に符号化器９の動作について述べる。符号化器９に
入力されるフレーム間差分信号は、前述の通り現フレー
ムの映像データそのものよりははるかに小さな値となる
が、すべての情報を伝送するとした場合には、その再生
情報量は伝送回線３の容量をはかるに越えてしまう。

例えば、符号化方式としてベクトル量子化方式を用
い、一画面を336画素×240ラインで構成した場合につい
て考える。ここで、例えばスペクトラムVol.01,NO.05,1
988−05P99の第13図にあるように、１ブロックを４画素
×４ラインの構成にて、コードブック内から変換パター
ンを求め、コードブックに予め格納されたパターン数が
4096パターンとすると、4096＝2¹²であるから、１ブロ
ックを表現するのに12ビット必要とする。この１ブロッ
ク４画素×４ラインからなるブロック群は、前記336画
素×240ライン中には 存在することになり、１ブロックを12ビットで表現すれ
ば、 5040×12＝60,480ビット ものデータが発生することになる。

この60,480ビットというデータを、例えば64Kbpsの伝
送回線３にて伝送した場合には、１秒当りの送信駒数
は、 となり、もはや動画と呼べる状態ではなくなる。

このため、符号化器９では、１画面内にてより変化の
激しい箇所（フレーム間差分信号の大きい箇所）を優先
的に符号化し、変化の少ない箇所は前フレームの映像デ
ータの値をそのまま使用するという判定動作を行い、前
述した5000ブロック強の中から例えば500ブロックのみ
を符号化伝送することにより、１秒当りの送信駒数を増
加させ、より自然な動画に近づけるように制御する。即
ち、5040ブロック中の500ブロックのみ符号化すると、 となる。

ところが、入力ビデオ信号は時々刻々変化しているた
め、符号化器９に入力されるフレーム間差分信号の大き
さも１フレーム毎に変化する。この中から一定数のブロ
ックを選択するため、符号化するか否かを決定する判定
用の閾値も１フレーム毎に変化させ、変化の激しいとき
は閾値を上げ、変化の少ないときは閾値を下げるように
制御することで、１秒当りの送信駒数の変動を抑えてい
る。

〔発明が解決しようとする課題〕

従来の動画像符号化伝送装置は以上の様に構成されて
いるので、入力ビデオ信号の変化に対しても一定の送信
駒数を確保し、より自然な動きを有する動画像を伝送再
生できる可能性があるが、符号化を行うか否かの判定閾
値が変動することにより、その再生画像の画質も１映像
フレーム毎に変動し、判定閾値が高いとき、即ち入力画
像の変化が大きいときは、結果として判定閾値に達する
程ではないがある程度の変化が発生しているという箇所
は符号化されないため、最終的な符号化歪が増大するこ
とになり、特に前述のベクトル量子化を用いている場
合、視認されやすい高域成分の符号化歪が発生する傾向
にあるため、むやみに判定閾値を上げることができず、
最終的な送信駒数を一定以下に制限しなければならない
という課題があった。

この発明は、上記の様な課題を解消するためになされ
たもので、入力画像の変化が大きいことにより、符号化
を行うか否かの判定閾値が高い値を示し、符号化画像デ
ータ中の高域符号化歪が増大しても、最終的に装置から
出力されるビデオ信号中の高域歪成分を除去し、より自
然な動画像を得るとともに、入力ビデオ信号の変化が少
ないときには、入力ビデオ信号中の本来の高域信号を出
力するように動作する動画像符号化伝送装置を得ること
を目的とする。

〔課題を解決するための手段〕

この発明に係る動画像符号化伝送装置は送信装置に、
ビデオ信号の符号化時に生ずる符号化歪の量を示す符号
化歪値信号を生成する歪値信号生成部と、その符号化歪
値信号を符号化されたビデオ信号に多重化する多重化部
とを持たせ、受信装置に、多重化された符号化歪値信号
と符号化ビデオ信号とを分離する分離部と、分離された
符号化歪値信号によってその遮断周波数が制御される、
復号ビデオ信号のフィルタリングを行う低域通過フィル
タとを持たせたものである。

〔作用〕

この発明における受信装置は、復号ビデオ信号をフィ
ルタリングする遮断周波数の制御が可能な低域通過フィ
ルタを備え、送信装置より送られてくる、符号化時に発
生した符号化歪の発生量を示す符号化歪値信号に基づい
て、この低域通過フィルタの遮断周波数を制御し、符号
化歪の大きなときには遮断周波数を下げて高域の歪成分
を除去し、符号化歪の小さなときには遮断周波数を通常
の値に戻して本来の高域信号成分を再現することによ
り、より自然な動画像が得られる動画像符号化伝送装置
を実現する。

〔実施例〕

以下、この発明の一実施例を図について説明する。第
１図において、１は送信装置、２は受信装置、３は伝送
回線、４はビデオ信号入力端子、５はアナログ入力部、
６は送信フレームメモリ、７はフレームメモリ、８は減
算器、11は送信インタフェース部、12は符号化データ出
力端子、13は復号化器、14は加算器、15は符号化データ
入力端子、16は受信インタフェース部、18は復号化器、
19はフレームメモリ、20は加算器、21は受信フレームメ
モリ、22はアナログ出力部、23はビデオ信号出力端子で
あり、第８図に同一符号を付した従来のそれらと同一、
あるいは相当部分であるため詳細な説明は省略する。

24は前記減算器８からのフレーム間差分信号を、所定
のアルゴリズムに従って圧縮符号化する符号化器、25は
この符号化器24に内蔵され、その符号化に際して発生す
る符号化歪の量を示す符号化歪値信号を生成する歪値信
号生成部であり、符号化器24はこの歪値信号生成部25を
内蔵している点で、第８図に示す従来の符号化器９とは
異なっている。26は符号化器24からの符号化データに、
歪値信号生成部25の生成した符号化歪値信号を多重化し
て一時蓄積しておく多重化部としての送信バッファであ
る。

27は前記受信インタフェース部16が受信した、多重化
された符号化データと符号化歪値信号を一時蓄え、それ
らを分離して出力する分離部としての受信バッファであ
る。28はこの受信バッファ27にて分離された符号化歪値
信号に従ってその遮断周波数が制御され、前記復号化器
18によって復号されたフレーム間差分信号に基づいて復
元された映像データのフィルタリングを行う低域通過フ
ィルタである。

次に動作について説明する。ここで、第２図はこの低
域通過フィルタ28の周波数特性を示す特性図であり、第
３図は符号化歪発生時のビデオ信号の周波数成分を示す
説明図、第４図は第３図に示す周波数成分のビデオ信号
を低域通過フィルタ28を通過させて得られる信号の周波
数成分を示す説明図である。

送信装置１において、入力ビデオ信号がアナログ入力
部５にてディジタル化されたのち、後段の各処理にて圧
縮符号化される過程、又、受信装置２において、受信イ
ンタフェース部16を通して伝送回線３から受信された符
号化データを順次復元し、加算器20から映像データとし
て出力されるまでの動作は従来の場合と同様である。

ここで符号化器24では、符号化の過程において、従来
の場合と同様に、１画面中の符号化対象画素の中から変
化の大きい箇所を優先的に符号化するための判定動作を
行う。歪値信号生成部25はこの符号化器24における符号
化するか否かの判定閾値の情報を符号化歪値信号として
出力する。この符号化歪値信号は送信バッファ26に送ら
れて、符号化器24からの符号化データとともに多重化さ
れて一時蓄積され、送信インタフェース部11を経由して
符号化データ出力端子12より伝送回線３に出力される。

一方、受信装置２では、受信インタフェース部16で受
け取った、多重化された符号化データと符号化歪値信号
を受信バッファ27に一旦蓄わえ、それらを分離して符号
化データを復号化器18に、符号化歪値信号を低域通過フ
ィルタ28に送る。復号化器18に入力された符号化データ
は前述のように従来の場合同様にしてフレーム間差分信
号に復元される。また、低域通過フィルタ28に入力され
た符号化歪値信号は、低域通過フィルタ28の制御情報と
してその遮断周波数を変更するように作用する。

第２図は、この低域通過フィルタ28の遮断周波数が変
更される様子を示したものであり、通常は実線で示され
るように周波数_０を遮断周波数とする低域通過特性を
有し、_０〔HZ〕以上の周波数成分を減衰させる。ま
た、入力された符号化歪値信号が大きい値を示したとき
には、遮断周波数が_１（_１＜_０）に変更され、
_１〔HZ〕以上の周波数成分を減衰させる。

次に、この低域通過フィルタ28に入力される復元され
た映像データの性質に注目して、低域通過フィルタ28の
動作を説明する。第３図は、低域通過フィルタ28に加算
器20より入力される復元された映像データの周波数成分
の分布を示している。

送信装置１において、入力ビデオ信号のフレーム間の
変化が多いときには、前述のように従来の場合と同様に
して、符号化情報量の増大を抑えるため符号化を行うか
否かの判定閾値を上げることにより、実際は変化がある
が符号化されないという領域が画面内にて増加し、結果
として本来の画像との誤差が符号化歪として大量に発生
することとなる。このときの符号化歪の周波数成分は、
従来の場合と同様のベクトル量子化を符号化方式として
用いると、ビデオ信号中の高域部分に目につきやすい歪
が発生する傾向にある。第３図では、_１〜_０の範囲
にこの高域歪成分が存在していることを示している。

この第３図に示すスペクトラムを有する信号を、第２
図の特性を有する低域通過フィルタ28に通すと、遮断周
波数が_１に変更されていれば、_１〔HZ〕以上の周波
数成分が通過しなくなるため、結果として第４図に示す
様に、符号化歪の高域成分が減衰した信号が得られる。
この高域歪成分が除かれた信号は受信フレームメモリ21
に蓄積され、アナログ出力部22にてアナログ変換されて
ビデオ信号出力端子23より出力される。従って、画質の
向上した再生動画像を得ることができる。

なお、上記実施例では、低域通過フィルタ28の遮断周
波数を_０と_１の２つを切り換えて変更するものを示
したが、符号化歪値信号の値が連続的に変化する構成と
し、多種類の遮断周波数を符号化歪値信号の値に従って
切り換えてゆくようにしてもよく、この場合は１コマ毎
の画質の急変が防止できるという効果がある。

また、上記実施例では、符号化歪値信号として、符号
化器24にて符号化を行うか否かの判定閾値を用いた場合
を示したが、送信装置１の復号化器13にて局部的に復号
したフレーム間差分信号と、符号化器24に入力されるフ
レーム間差分信号との誤差を求め、その誤差信号の１映
像フレーム当りの累積値を符号化歪値信号として用いて
もよい。

第５図はそのような実施例における送信装置１の構成
例を示すブロック図である。図において、29は復号化器
13にて局部的に復号されたフレーム間差分信号と、符号
化器９に入力されるフレーム間差分信号の誤差を検出す
る減算器であり、30は減算器29で検出された誤差を１映
像フレーム分累積する累積器である。歪値信号生成部25
はこの減算器29と累積器30とによって形成されている。

このように構成された送信装置１において、復号化器
13で局部的に復号されたフレーム間差分信号は符号化歪
を含んでいるため、減算器29に入力して符号化器９に入
力されるフレーム間差分信号との間で差分を求めると、
減算器29からは符号化歪成分のみが出力される。この符
号化歪成分を累積器30にて１映像フレーム分積算してゆ
くと、当該映像フレーム中の符号化歪がどの程度発生し
ているかを直接的に求めることができる。歪値信号生成
部25はそれを符号化歪値信号として送信バッファ26に通
知する。以後の送信装置１および受信装置２における動
作は第１図に示す実施例の場合と同様である。

又、第１図の実施例では遮断周波数が制御可能な低域
通過フィルタ28を、受信フレームメモリ21の前段に配置
したものを示したが、受信フレームメモリ21とアナログ
出力部22との間に配置しても、またアナログ出力部22の
内部に配置してもよい。

第６図は、当該低域通過フィルタ28をアナログ出力部
22内に配置した場合の実施例におけるアナログ出力部22
の構成例を示すブロック図である。図において、31は受
け取った映像データをアナログ変換するDA変換器であ
り、32は複数個並列に配置された各々遮断周波数の異っ
た低域通過型の個別フィルタであり、33は符号化歪信号
に基づいて、各個別フィルタ32の出力中の１つを選択す
るスイッチである。遮断周波数が変更可能な低域通過フ
ィルタ28は、これら複数の個別フィルタ32とスイッチ33
とで構成されている。

このように構成されたアナログ出力部22では、DA変換
器31に受信フレームメモリ21からの映像データが入力さ
れると、それをアナログ信号に変換して、低域通過フィ
ルタ28の各個別フィルタ32に並列に入力する。各個別フ
ィルタ32はそれぞれ異なった遮断周波数でそのフィルタ
リングを行い、当該遮断周波数以上の周波数成分を除去
する。一方、スイッチ33は符号化歪値信号が大きな値を
示すとき遮断周波数の低い個別フィルタ32からの出力を
選択し、符号化歪値信号が小さな値を示すとき遮断周波
数の高い個別フィルタ32からの出力を選択するようにそ
の動作が設定されている。従って、第１図に示す実施例
と同様に動作して、画質の向上した再生動画像が得られ
る。

また、第６図では複数の個別フィルタ32を並列に配置
してそのうち１系統をスイッチ33で選択する構成として
いるが、第７図の様に直列配置した個別フィルタ32の出
力をスイッチ33で選択する構成にしてもよい。

〔発明の効果〕

以上のように、この発明によれば、符号化時に発生し
た符号化歪の発生量を示す符号化歪値信号を送信装置よ
り送出し、受信装置では復号したビデオ信号をフィルタ
リングする、遮断周波数が制御可能な低域通過フィルタ
の遮断周波数を、この符号化歪値信号によって制御し
て、符号化歪の大きなときには遮断周波数を下げて高域
の歪成分を除去し、符号化歪の小さなときには遮断周波
数を通常の値に戻して本来の高域信号成分を再現するよ
うに構成したので、入力ビデオ信号の変化が多くなって
符号化データ中の高域歪成分が増大してもそれが再生出
力に現れることはなく、このことにより符号化を行うか
否かの判定閾値を高めに推移させることも可能となるこ
とから、送信コマ数を増加させることが可能となって、
動きが滑らかで歪の少ない、より自然な動画像を再生で
きる動画像符号化伝送装置が得られる効果がある。

【図面の簡単な説明】

第１図はこの発明の一実施例による動画像符号化伝送装
置を示すブロック図、第２図はその低域通過フィルタの
周波数特性を示す特性図、第３図は符号化歪発生時のビ
デオ信号の周波数成分を示す説明図、第４図は第３図に
示す周波数成分のビデオ信号を低域通過フィルタを通過
させて得られる信号の周波数成分を示す説明図、第５図
はこの発明の他の実施例による送信装置の構成を示すブ
ロック図、第６図および第７図はこの発明のさらに他の
実施例によるアナログ出力部の構成を示すブロック図、
第８図は従来の動画像符号化伝送装置を示すブロック図
である。 １は送信装置、２は受信装置、３は伝送回線、9,24は符
号化器、18は復号化器、25は歪値信号生成部、26は多重
化部（送信バッファ）、27は分離部（受信バッファ）、
28は低域通過フィルタ。 なお、図中、同一符号は同一、又は相当部分を示す。

Claims (1)

(57)【特許請求の範囲】
1. 【請求項１】入力される動画像のビデオ信号を、符号化
   器によって１符号化映像フレーム毎に符号化して伝送回
   線に送出する送信装置と、前記伝送回線より受け取っ
   た、前記符号化されたビデオ信号を復号化器によって復
   号して出力する受信装置とを備えた動画像符号化伝送装
   置において、前記送信装置に、前記符号化器によって前
   記入力されたビデオ信号を符号化する際に発生した符号
   化歪の量を示す符号化歪値信号を生成する歪値信号生成
   部と、前記歪値信号生成部の生成した符号化歪値信号
   を、前記符号化器によって符号化された前記ビデオ信号
   に多重化する多重化部とを持たせ、前記受信装置に、前
   記多重化部で多重化された、前記符号化歪値信号と前記
   符号化されたビデオ信号とを分離する分離部と、前記分
   離部にて分離された前記符号化歪値信号に従ってその遮
   断周波数が制御され、前記復号化器によって復号された
   前記ビデオ信号のフィルタリングを行う低域通過フィル
   タとを持たせたことを特徴とする動画像符号化伝送装
   置。