JPH10155155A

JPH10155155A - 画像信号伝送装置

Info

Publication number: JPH10155155A
Application number: JP8310394A
Authority: JP
Inventors: Satoru Date; 哲伊達; Taizo Kinoshita; 泰三木下
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 1996-11-21
Filing date: 1996-11-21
Publication date: 1998-06-09

Abstract

(57)【要約】【目的】通信路を介して動画像などを可変レートで伝送
するシステムにおいて、所望の帯域内に伝送レートを制
御し、実時間の双方向通信を実現する。【構成】離散コサイン変換器３と、量子化器６と、可変
長符号化器６と、情報量監視部１０器と、演算部１１と
制御部１２から構成される。演算部１１では、過去に発
生した情報量から以後に発生する情報量を予測し、実時
間で発生情報量を制御部１２で制御する。発生情報量を
予測する手段において、逐次発生する情報量の平均値を
用い、さらに、処理時間の重みづけを行い、制御パラメ
ータを得る手段を設けている。【効果】遅延時間が少なく、ＴＶ会議など、実時間の臨
場感溢れる双方向通信を実現できる。また、高速・広帯
域ネットワークであるＡＴＭ回線上での可変レート伝送
に対応しており低レートで高画質な画像を得ることがで
きる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は画像信号伝送装置、更に
詳しく言えば、画像信号をＭＰＥＧのような符号化方式
による冗長情報を圧縮して符号化した信号を可変レート
伝送で伝送する装置、特に、ＡＴＭ（Asynchronous Tra
nsfer Mode）回線を用いた遠隔地間でのＴＶ会議システ
ムなど、動画像を実時間伝送する画像信号伝送装置に関
する。

【０００２】

【従来の技術】画像は情報量が多く、遠隔地に伝送する
際には広帯域の伝送媒体が必要となる。そのため、画像
信号をディジタルデータとして伝送する場合、信号の必
要伝送帯域を抑圧するために画像信号の圧縮符号化を行
っている。画像信号は一定の情報量を有しているが圧縮
符号化することにより伝送情報量が低減されるが、画像
の内容により単位時間当りの伝送情報量が変動する。一
方伝送媒体であるＩＳＤＮは固定伝送レートによる伝送
を行っており、圧縮符号化した画像情報をＩＳＤＮ回線
で伝送する場合、圧縮符号化した画像情報を単位時間の
当りの情報量が一定になる、すなわち固定レートの伝送
になるように制御しなければならない。固定レート伝送
方式については、国際標準化会議（ＩＳＯ−ＩＥＣ／Ｊ
ＴＣ１／ＳＣ２９／ＷＧ１１）での勧告があり、文献に
詳細が述べられているので、ここで、図面１を用いて、
簡単に説明する。

【０００３】ディジタル化された画像信号ａは、差分演
算器２で前フレームとの差分が求められ、時間軸方向の
圧縮が行われる。差分の信号は、離散コサイン（DCT:Di
screte Cosine Transform）変換器３で、ＤＣＴ係数ｂ
に変換され、空間軸方向の圧縮が行われる。ＤＣＴ係数
ｂは低周波成分に集中するという性質があり、高周波成
分は係数が疎らになる。従って、ＤＣＴ係数ｂを低周波
成分から順に高周波となるように並び換えて、さらに量
子化器５で量子化することにより０の係数が並ぶように
なる。これを２次元ハフマン符号化等の可変長符号化回
路６により高能率圧縮した符号ｃ得る。ここでハフマン
符号化は出現頻度の多い信号に対して短い符号を割当
て、頻度の低い信号に対しては長い符号を割当てること
により圧縮を実現している。従って、符号化により発生
する情報量は量子化器５における量子化値で決定され
る。

【０００４】従来の画像伝送装置は、固定レートの伝送
を実現するために出力の前にバッファ回路８を設けてい
る。バッファ回路８に蓄えられる情報量に対応したしき
い値を設定し、それぞれのしきい値に対応した適切な量
子化値を与える。図２にしきい値と量子化制御の関係図
を示す。この量子化値はしきい値Ｔｈ.３のときは符号
化信号ｃの情報量を抑圧するような量子化値ｑ３を設定
し、しきい値Ｔｈ.２のときはそれよりやや抑圧効果が
少ない量子化値ｑ２を、そしてしきい値Ｔｈ.１のとき
は符号化信号ｃの情報量が増加するような量子化値ｑ１
を設定する。このしきい値の制御により、バッファ回路
８内の情報量がしきい値Ｔｈ.３を越えないように働
き、しきい値Ｔｈ.１を下回らないようになり、結果的
に一定範囲内の情報量が蓄えられるようになる。

【０００５】例えば、バッファの容量を伝送速度の２倍
と仮定すると、符号化信号がバッファに蓄えられている
時間が最大２倍となる。一般的にテレビ会議システムな
どにおいて、双方向通信に影響を与えない許容遅延時間
は３００ｍｓ程度と言われている。従って、大容量のバ
ッファを用いてレート制御を行うと大きな遅延を生じ、
双方向通信に影響を与えることになる。また、通信路の
伝送速度が低いときはバッファの容量は小量で済むが、
ＡＴＭ回線など高速回線を用いた時は大容量のバッファ
が必要となり、それだけ回路規模が大きくなる。

【０００６】上記遅延時間を低減し、バッファの容量を
小さくする技術として、バッファの出力から符号化情報
量を検出して量子化器を制御技術を述べた文献として、
テレビジョン学会誌、画像情報工学と放送技術、Vol. N
o.4 1995,第562〜569頁「ATM伝送方式における画像符号
化器の制御方法」がある。

【０００７】

【発明が解決しようとする課題】上記従来技術では、バ
ッファを設けることにより処理の遅延時間が避けられな
い。遅延時間は実時間の双方向通信に対して影響を与え
ることになる。従って、円滑な通信品質を確保するに
は、この遅延時間を減少させる必要がある。また、通信
路の伝送速度が低い場合はバッファ容量は小量で済む
が、高速な通信路を利用する時はバッファ容量を大きく
する必要があり、それだけ回路規模が大きくなる。従っ
て、本発明の目的は、バッファの容量を最小限にし、バ
ッファよる遅延を大幅に減少させ、円滑な通信品質を確
保することができる画像信号の狭帯域伝送に適した画像
信号伝送装置を実現することである。

【０００８】

【課題を解決するための手段】上記目的を達成するた
め、本発明の画像信号伝送装置は、ＭＰＥＧにおけるマ
クロブロック等のように、画像信号の符号化処理を画面
をブロックにわけて符号化を行うブロック毎に、過去の
期間符号化信号の発生情報量を検出する情報量監視手段
と、上記過去に発生した発生情報量を基に以後の特定期
間で発生する発生情報量を予測する演算手段と、上記予
測した発生情報量に基づいて上記量子化部の量子化値を
制御する制御手段とを設け、所定の帯域内で画像信号を
伝送できるように符号化信号の発生情報量を抑える構成
とした。

【０００９】本発明の好ましい実施の形態によれば、画
像信号伝送装置は、入力された画像信号を時間軸方向に
圧縮する差分演算器と、空間軸方向に圧縮する離散コサ
イン変換器と、動き補償器と、ＤＣＴ係数を量子化する
量子化器と、量子化された信号の可変長符号化を行う符
号化器と、符号化信号の発生情報量をフレーム周期より
短い時間単位、例えばマクロブロック毎に、逐次検出す
る情報量監視手段と、上記情報量監視手段で検出された
発生情報量に基づき以後の一定期間に発生する情報量を
予測する演算器と、上記演算器の出力によって上記量子
化部の量子化値を制御する制御回路とを設ける。

【００１０】本発明では、符号化信号の発生情報量を逐
次監視し、過去の発生情報量を基に以後の発生情報量を
演算によって予測して予測発生情報量に基づいて量子化
値を制御するもの、つまり、現在の発生情報量の発生割
合がが上昇傾向にあるか、それとも下降傾向にあるかを
演算し、精度の高い制御を行うことができる。従来の過
去の発生情報量のみによって量子化値を制御するものと
異なり、以後の発生情報量を予測して量子化値を制御す
るため、原理的には画像情報の均一化のためのバッファ
を不要とする。勿論他の目的のためにはバッファを設け
る場合があるが、容量は極めて小さくできる。そのた
め、処理により生ずる遅延時間を減少し、臨場感溢れる
実時間の双方向通信を実現できる。また、容量の大きな
バッファを省略することにより、画像伝送装置の回路規
模の小型化が達成できる。

【００１１】

【発明の実施の形態】

＜実施形態１＞図３は、本発明による画像信号伝送装置
の符号化部の一実施形態の構成を示すブロック図であ
る。本実施の形態では、ＭＰＥＧによる画像信号の符号
化において、マクロブロックの毎に符号化信号の発生情
報量を検出し、画像信号フレームの最初のマクロブロッ
クから発生情報量の検出時点のマクロブロック迄の発生
情報量の累積値を求め、累積値に基づいて、以後の一定
区間（フレーム期間内）における予測発生情報量を演算
によって求め、すなわち予測を行う時点における上記累
積値の変化を求めることにより以後に発生する符号化信
号の発生情報量を予測する演算を行い、その予測値によ
って量子化器の量子化値を制御するものである。

【００１２】同図において、図１と実質的に同じ構成、
機能部は図１と同じ番号を付している。ディジタル化さ
れた画像信号ａは、差分演算器２で前フレームの局部復
号信号ｄとの差分の信号に変換される。差分信号は、離
散コサイン変換器３で周波数成分を表すＤＣＴ係数に変
換される。ＤＣＴ係数ｂは、一般的に低周波成分に集中
する傾向があるので、低周波成分から高周波成分の順に
量子化器５に入力される。量子化器５はＤＣＴ係数ｂを
予め与えられた量子化値で量子化する。量子化されたＤ
ＣＴ係数は、高周波成分ほど０の係数が連続する傾向に
あるので、この性質を利用し、０の係数が続いた個数と
次の非０係数の値を組合せ、可変長符号化器６で可変長
符号に符号化される。また、量子化されたＤＣＴ係数
ｂ’は、次のフレームの予測信号として逆量子化器１に
入力される。逆量子化された信号は、加算演算器９によ
り前フレームとの和が求められ、局部復号画像になる。
局部復号画像信号はフレームメモリ４に一旦蓄えられ、
動き補償器７の動き探索や入力信号ａの予測信号として
利用される。離散コサイン変換回路３、量子化回路５及
び可変長符号化回路６は、マクロブロック単位に信号処
理を行い、符号化信号ｃを出力する。

【００１３】本実施の形態では、可変長符号化回路６の
出力部に設けられた情報量監視部１０部、情報量監視部
１０部で検出された発生情報量に基づき以後の一定時間
に発生する予測情報量を演算によって求める演算部１１
及び予測発生情報量によって量子化部５の量子化値を制
御する信号を得る制御部１２を設けている。

【００１４】図４は、符号化信号ｃのマクロブロック毎
の発生情報量（符号化信号のビット数）を示したグラフ
である。横軸はマクロブロック番号ｋ、縦軸は第ｋマク
ロブロックに発生した発生情報量ｂｋ（単位はビット）
を示している。この図から発生する情報量は絵柄（画
素）により変化することが分かる。

【００１５】図５は、情報量監視部１０、演算部１１及
び制御部１２の構成を示すブロック図である。可変長符
号化器６から８ビットの可変長符号ｃが出力線２０を介
して、ＡＴＭセルを作る回路（図示せず）に送られる。
情報量監視部１０は、可変長符号化器６からのビット数
をマクロブロック毎に計数し、過去の一定期間（例えば
画像フレーム最初のマクロブロックから検出時点のマク
ロブロックまで）の発生情報量を計測する。また、制御
信号線２１にはフレーム同期信号、マクロブロックを示
す信号を含む制御信号が伝送される。情報量監視部１０
のカウンタ１３は制御線１６のマクロブロックアドレス
信号ｅが発生する毎に符号化信号ｃのカウント値ｂｋを
積算器１４に書き込み、カウント値ｂｋをリセットす
る。積算器１４は画像フレームの最初のマクロブロック
から検出時のマクロブロックの迄の積算値すなわち累積
発生情報量Ｓｊをえる。すなわち式（１）の加算を行
う。

【００１６】ここでＳｊは第0マクロブロックから第ｊマクロブロッ
クまでの一定期間に発生した情報量の総和（累積符号化
情報量）を表す。積算器１４の値はフレーム同期信号ｆ
によってリセットされる。

【００１７】演算部１１は検出時点のマクロブロック順
位ｊを計数するカウンタ１５と、積算器１４からの積算
値すなわち累積発生情報量Ｓｊとカウンタ１５の計数値
ｊを入力し、以後の画像フレームの最終マクロブロック
で発生する発生情報量を予測する演算を行う予測演算回
路１６をもつ。

【００１８】予測演算回路１６の演算は、フレームの最
後のマクロブロックを第ｎマクロブロックとすると、第
ｎマクロブロック時の予測発生情報量の予測値Ｌ（ｎ）
を次式（２）の演算によって算出する。Ｌ（ｎ）＝（Ｓｊ−Ｓｊ−１）（ｎ−ｊ）＋Ｓｊ（２）制御部１２の比較器１７は、予測された予測発生情報量
Ｌ（ｎ）と、許容情報量１９と比較して、その大小の判
別値を量子化値設定部１８に入力する。量子化値設定部
１８は、判別値に基づいて、量子化器５の量子化値を制
御する制御信号ｇに変換する。

【００１９】図６は符号化情報量Ｓｊと予測符号化情報
量Ｌ（ｎ）の関係を示す図である。１フレームのマクロ
ブロック数をｎとして、現在処理しているマクロブロッ
クを第ｊマクロブロックとする。第ｊ番目における接線
２２を求める。この接線２２の第ｎマクロブロックでの
値を予測発生情報量Ｌ（ｎ）とする。

【００２０】図７は、に量子化値制御部１２のアルゴリ
ズムを示す。ここで、ｑ_maxは量子化値の最大値、ｑ
_defaultは予め決められた量子化値である。また、ｒは
１フレームの許容最大情報量を表している。予測発生情
報量Ｌ（ｎ）が１フレームの最大情報量ｒを越え、か
つ、現在の量子化値ｑが量子化値の最大ｑ_maxを越えて
いなければ、量子化値を粗くする処理２３を行い、逆に
予測値Ｌ（ｎ）が最大情報量ｒを下回っていて、量子化
値ｑがあらかじめ決めておいた量子化値ｑ_defaultより
も粗い場合に量子化を細かくする処理２４を行う。

【００２１】＜実施形態２＞図８は、本発明による画像
信号伝送装置の他の実施形態における演算部の演算を説
明するグラフで、マクロブロック毎の平均発生情報量の
グラフを示す。本実施の形態では、制御精度を高めるた
めに、マクロブロック毎に発生した情報量から予測値を
求めるのではなく、マクロブロック毎の平均発生情報量
から求めた値（この値は予測値ではなくなるので、ここ
では制御パラメータと呼ぶ）を用いて制御を均一にする
ものである。図８のグラフは第０から第ｊマクロブロッ
クまでに発生した各マクロブロック迄の平均の情報量を
表している。通信路の伝送帯域をｍ、フレーム周波数を
ｆとすると、画像信号の１フレームの処理を終了したと
きに、平均発生情報量ｐが、ｐ＝ｍ／（ｆ・ｎ）になる
ように量子化値を変えるようにする。つまり、平均発生
情報量ｐを用いて、図７に示したアルゴリズムと同様の
量子化値制御をする。第ｊマクロブロックでの接線の傾
きをＴとして、このときの制御パラメータを式で表す
と、Ｔ・（ｍ−ｊ）＋Ｓｊ／ｊ（３）となる。

【００２２】演算回路が式（３）による演算を行う制御
では、第１の実施の形態の制御と比較して制御精度を高
めることができる。すなわち、第１の実施の形態の総和
による予測値を用いる方法では、画像信号の絵柄によっ
て、フレームの初期の処理では発生情報量の変動の予測
値に与える影響がフレームの後半に比べて大きくなる場
合がある。その場合、フレーム処理の初期に発生情報量
を必要以上に抑圧し、後半は抑圧度が緩やかになること
がある。第２の実施の形態ではこのような問題は少なく
なる。

【００２３】＜実施形態３＞図９は、本発明による画像
信号伝送装置の更に他の実施形態における量子化制御の
原理を説明するグラフである。本実施の形態は、演算手
段が画像フレームの最初から発生量検出時点迄における
発生情報量発生情報量の累積平均値と、上記発生量検出
時点におけ累積平均値の経時変化を演算し上記累積平均
値の経時変化に符号化処理時間の重み付けを行い以後の
予測した発生情報量を演算するものである。

【００２４】同図において、縦軸、横軸は図８と同じで
ある。本実施の形態では、グラフ中の点（ｊ、Ｓｊ／
ｊ）での接線８０の傾きを反転したものを求め、図中の
直線１００の縦軸との切片の値を制御パラメータ１０１
として上記制御を行うことにより均一な制御を実現す
る。すなわち、演算回路では式（４）の演算を行なう。（１＋１／ｊ）Ｓｊ−（１＋１／（ｊ−１））Ｓｊ−１（４）これは制御パラメータを求めるグラフが第ｊマクロブロ
ックまでに発生した情報量の平均から求めているので、
フレーム処理の初期状態では制御パラメータがマクロブ
ロックで発生した情報量そのものになり、フレーム処理
の先頭で過制御になるためである。これは処理開始時間
付近では隣接するマクロブロックの発生情報量の差が少
しであっても、得られる制御パラメータが大きく変動す
るため処理開始近辺で過制御となる。そこで処理前半に
対する制御を小さめに、処理後半に対する制御を大きめ
にして均一な処理を実現する。

【００２５】本実施の形態は、実施形態２でも、フレー
ム処理の初期状態で必要以上に抑圧し、従って復号した
ときの画像は情報の画質劣化が激しくなる場合に有効で
ある。すなわち、実施形態２でも制御パラメータを求め
るグラフが第ｊマクロブロックまでに発生した情報量の
平均から求めているので、フレーム処理の初期状態では
制御パラメータがマクロブロックで発生した情報量その
ものになり、フレーム処理の先頭で過制御になることが
あるが、本実施の形態はこのような過制御が回避され
る。

【００２６】以上本発明の実施の形態について説明した
が、本発明が上記実施の形態に限定されるものではな
く、多くの部分はマイクロプロセッサによって実現して
もよい。

【００２７】

【発明の効果】本発明によれば、符号化部の処理時間に
よる遅延時間を減少し、実時間の臨場感溢れる双方向通
信を実現することができる。さらに、高速回線を利用し
た時の大きい容量のバッファを省略することにより、符
号化部の回路規模を縮小し、装置の小型化が実現でき
る。また、可変レート伝送することにより、会議など動
きの少ない画像を入力とした場合、低レートで高画質画
像の伝送が可能となる。従って、通信路において、画像
伝送に必要な帯域を少なくすることができ、残りの帯域
を他の信号の伝送に割り当てることができる。

【００２８】符号化信号の発生情報量は、現在までに発
生した情報量に加えて現在の発生した情報量の増加傾向
を考慮して量子化値を求めているので、精度良い制御を
実現できる。

【図面の簡単な説明】

【図１】従来の画像信号伝送装置の構成を示すブロック
図

【図２】従来のバッファによる量子化値とバッファ内の
情報量の制御を説明する図

【図３】本発明による画像信号伝送装置の一実施形態の
構成を示すブロック図

【図４】符号化信号の情報量の発生状況を示す図

【図５】本発明による画像信号伝送装置の一実施形態の
要部構成を示すブロック図

【図６】図５の演算回路の動作説明のためのグラフ

【図７】図５の量子化回路の制御を説明のための信号処
理フロー図

【図８】本発明による画像信号伝送装置の他の実施形態
における演算回路の動作説明のためのグラフ

【図９】本発明による画像信号伝送装置のさらに他の実
施形態における演算回路の動作説明のためのグラフ

【符号の説明】

１…逆量子化器、２…差分演算器、３…離散コサイン変
換器、４…フレームメモリ、５…量子化器、、６…可変
長符号化器、７…動き補償器、８…固定レート用バッフ
ァ、９…加算器、１０…情報量監視部、１１…演算部、
１２…量子化制御部、１３…カウンタ、１４…メモリ、
１５…加算器、１６…演算部、１７…比較器、１８…量
子化値設定部、１９…許容値設定部、２０…信号線、２
１…制御信号線、２２・２５・２６…接線、２３…量子
化値を粗くする処理、２４…量子化値を細かくする処
理。

Claims

【特許請求の範囲】

【請求項１】画像信号を量子化する量子化部と、量子化
された信号を符号化する符号化部と、上記符号化部の出
力から発生情報量を監視する情報量監視手段と、上記発
生情報量を基に上記量子化部を制御する制御手段をもつ
画像信号伝送装置において、上記情報量監視手段が画像信号のブロック毎の発生情報
量を逐次検出する手段をもち、上記制御手段が過去の発
生情報量によって、以後の特定時点で発生する発生情報
量を予測する演算手段と、上記予測した発生情報量に基
づいて上記量子化部の量子化値を制御する手段をもつこ
とを特徴とする画像信号伝送装置。
【請求項２】上記量子化部の入力部に、入力されたディ
ジタル画像信号と局部復号画像信号との差分を得る差分
演算器と、差分演算器の出力を離散コサイン変換し、上
記量子化部に入力するDCT変換器と、上記量子化部の出
力を復号し上記局部復号画像信号を得る局部復号部をも
ち、画像信号伝送装置がＭＰＥＧ画像信号の画像信号伝
送装置であって、上記ブロックがマクロブロックで、上
記過去の発生情報量は画像フレームの最初から発生量検
出時点迄であり、上記特定時点が画像フレームの最後の
時点であるあることを特徴とする請求項１記載の画像信
号伝送装置。
【請求項３】上記演算手段が画像フレームの最初から発
生量検出時点迄における発生情報量の総和と、上記発生
量検出時点における発生情報量の総和の変化を演算し、
上記変化による以後の予測した発生情報量を演算する演
算器で構成されたことを特徴とする請求項１又は２記載
の画像信号伝送装置。
【請求項４】上記演算手段が画像フレームの最初から発
生量検出時点迄における発生情報量発生情報量の累積平
均値と、上記発生量検出時点におけ累積平均値の経時変
化を演算し上記累積平均値の経時変化による以後の予測
した発生情報量を演算する演算器で構成されたことを特
徴とする請求項１又は２記載の画像信号伝送装置。
【請求項５】上記演算手段が画像フレームの最初から発
生量検出時点迄における発生情報量発生情報量の累積平
均値と、上記発生量検出時点におけ累積平均値の経時変
化を演算し上記累積平均値の経時変化に符号化処理時間
の重み付けを行い以後の予測した発生情報量を演算する
演算器で構成されたことを特徴とする請求項１又は２記
載の画像信号伝送装置。