JPH1141608A

JPH1141608A - 画像伝送装置および画像符号化方法および画像符号化装置

Info

Publication number: JPH1141608A
Application number: JP19671697A
Authority: JP
Inventors: Noboru Katsuta; 昇勝田; Toshiaki Mori; 敏昭森
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1997-07-23
Filing date: 1997-07-23
Publication date: 1999-02-12

Abstract

(57)【要約】【課題】限られた帯域内で複数のエンコーダで符号化
したデータの画質を均一に保ちながら伝送する。【解決手段】多重化部１０は、中間バッファ７，８，
９にあるデータを多重タイミング毎に多重伝送バッファ
に取り込み、伝送路へ一定レートで出力する。その際、
バッファ占有量(伝送遅延量）を各エンコーダに送る。
各エンコーダは、それに基づき受信側でオーバーフロー
アンダーフローしないようにレート制御および多重化部
１０への送出量を制御する。エンコーダが分散した構成
が可能であり、ネットワーク上でのVBR伝送が実現でき
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、映像信号のディジ
タル圧縮符号化装置および符号化したデータを効率よく
伝送する伝送装置に関するものであり、特に衛星通信に
おける映像の多チャンネル伝送あるいはLANなどのよう
なネットワーク上での映像伝送といった限られた帯域内
に複数の画像データを圧縮符号化して伝送する技術に関
する。

【０００２】

【従来の技術】複数の画像データを伝送する従来の技術
としては、個々の画像にそれぞれ固定の帯域を割り当
て、各符号化装置は、決められた帯域で符号化をおこな
いそれを多重化するものがあった。しかし、画像の複雑
さは、時間的に変化していくため、常に劣化の目立たな
いように符号化して伝送するためには、割り当てる帯域
を最も難しい画像が入力された場合でも画質の劣化がめ
だたない程度にする必要があり、伝送効率の悪い伝送に
なっていた。そこで符号化している画像の符号化困難さ
に応じて帯域を変動させて簡単な画像のときは帯域を下
げて伝送することで効率のよい伝送を行い同じ伝送帯域
幅でより多くのチャンネルを伝送する方法が従来より試
みられていた。従来の技術の例としては、たとえば、WO
95/32565にその記述がある。図１３は、従来の画像伝
送装置の構成図である。図１３で１０１、１０２、１０
３は、映像符号化部、１０４は、多重化部である。

【０００３】上記構成においてその動作を説明する。映
像符号化部１０１、１０２、１０３は、多重化部１０４
から指示される目標レートにしたがって入力映像を符号
化する。多重化部１０４は、映像符号化部１０１、１０
２、１０３からの符号化データを多重して伝送路に出力
するとともに各映像符号化部に、目標レートを指示す
る。この目標レートは、その合計値が伝送レートに一致
するよう設定される。その際、各映像符号化部は、一定
周期毎に符号化にともなう符号化歪み量を多重化部１０
４に送る。多重化部１０４は、全体の目標レートの合計
は伝送レートを守りながら、各エンコーダの歪みの量に
応じて、歪みの多い映像には、設定する目標レートを上
げ、歪みが少ないところの目標レートを下げる。したが
って、各符号化部で符号化された映像は、その符号化の
困難さに応じてビットレートが割り当てられる。

【０００４】

【発明が解決しようとする課題】しかしながら上記のよ
うな構成では、歪みが発生してからそれを是正するよう
にレートに修正を行っていくため、符号化が難しいシー
ンへの変わりめなどにおいては画質が劣化してしまう問
題があった。

【０００５】また、多重化部で全符号化部でのひずみ情
報に基づき、各符号化部に割り当てる目標のレートを計
算する必要があるため、多重化部に接続する符号化部の
数が多い場合は、レートを振り分ける計算量が増加する
問題があるし、また、各符号化部がネットワーク上に分
散して存在し、ネットワーク上で映像データを伝送する
場合には、その歪み情報を集め、各符号化部のレートを
設定するのは困難である問題があった。

【０００６】本発明は上記問題を解決し、各符号化部で
符号化される映像の画質をシーンの変わりめにおいても
均一性を保ち、また、各エンコーダが分散して存在する
場合においても、その全体で許される帯域内で、それぞ
れ入力される映像に応じてレートが割り当てられ、画質
が均一化されるような映像伝送方法および装置を提供す
ることを目的とする。

【０００７】

【課題を解決するための手段】上記目的を達成するため
に、本発明の画像伝送装置は、複数の画像符号化部と伝
送処理部を具備し、前記伝送処理部は、多重タイミング
毎に各画像符号化部から指示される符号化データを多重
化し所定の伝送路に伝送するとともに、前記各画像符号
化部の符号化データ量に基づいて計算され、デコーダに
伝送されるまでの遅延量が計算できる多重化情報を前記
各画像符号化部に送り、前記複数の画像符号化部は、前
記伝送処理部からの多重化情報に基づき、画像の符号化
における量子化の際の量子化幅を決定し、前記画像を符
号化するとともに前記符号化データを前記多重タイミン
グ毎に伝送処理部に伝送し指示することを特徴とするも
のである。

【０００８】また、本発明の伝送処理部は、伝送用バッ
ファを具備し、多重タイミング毎に各画像符号化部が指
示する符号化データを伝送用バッファに取り込み、取り
込み順に所定の伝送レートにしたがって出力するととも
に符号化データの伝送用バッファ中の占有量を多重化情
報として出力することを特徴とするものである。

【０００９】また、本発明の画像符号化部は、量子化幅
決定手段と前記量子化幅決定手段により指示される量子
化幅で量子化することによって画像を符号化する基本符
号化処理部をもち、前記量子化幅決定手段は、前記各画
像符号化部から伝送処理部を通して伝送された符号化デ
ータを受信する複数のデコーダのデコーダバッファ占有
量を多重化情報より算出し、算出したデコーダバッファ
占有量および符号化後未伝送にある符号化データの量に
基づき量子化幅を設定することを特徴とするものであ
る。

【００１０】また、本発明の画像符号化部はさらに、符
号化データを一時記憶する符号化データ記憶部をもち、
前記符号化データ記憶部は、伝送タイミング毎に前記符
号化データのうち、伝送処理部に送られていない未伝送
データを一時記憶し、予め全画像符号化部で設定してお
かれた上限値、あるいは受信側で想定されるデコーダバ
ッファサイズより多重化情報に基づき算出されたデコー
ダ占有量を減算したものの値を上限値として前記符号化
データを伝送処理部に伝送することを特徴とするもので
ある。

【００１１】また、本発明の画像伝送装置は、伝送路上
の帯域管理を行う帯域管理部と１つ以上の画像符号化部
からなり、前記帯域管理部は、伝送路上にある前記１つ
以上の画像符号化部の伝送レートの総計の帯域を定め、
伝送タイミング毎にある画像符号化部で伝送要求される
符号化データの送信を許可し、その許可にしたがって変
化する送信遅延に関する伝送情報を伝送路上の別の画像
符号化部に送信し、前記１つ以上の画像符号化部はそれ
ぞれ、前記伝送情報および未送信の符号化データおよび
想定される受信側のバッファサイズに基づいた量子化幅
で量子化することによって画像を符号化することを特徴
とするものである。

【００１２】

【発明の実施の形態】以下、本発明の実施の形態につい
て図１から図１２を用いて説明する。

【００１３】（実施の形態１）図１は、本発明の実施の
形態である画像伝送装置の構成図である。図１において
１、２、３は、入力画像を符号化する映像符号化部であ
り、それぞれ符号化部４、５、６および中間バッファ
７、８、９からなり、１０は、多重化部であり、読み込
み送出制御部１０aと送出バッファ１０ｂで構成され
る。

【００１４】以上の構成において以下その動作をする。
映像符号化部１、２、３は、それぞれ入力された映像信
号を圧縮符号化する。各映像符号化部中の符号化部４、
５、６は、ＭＰＥＧ２エンコーダであり、映像信号をＩ
ＳＯ／ＩＥＣ13818−2（通称ＭＰＥＧ２ビデオ）のＭ
Ｐ＠ＭＬに準拠した映像信号に符号化し、多重タイミン
グ毎に中間出力バッファ７、８、９にそれぞれ次の多重
周期内に多重化したい符号化データを出力する。多重化
部１０は、多重送出バッファ１０ｂを具備し、読み出し
送出制御部１０aの制御に基づき多重周期毎に各映像符
号化部１、２、３の中間バッファ７、８、９にある符号
化データをすべて送出バッファ内に取り込み、送出バッ
ファ内の取り込み順に応じて伝送路に伝送レートにした
がってデータを送出する。この際の各映像符号化部中の
バッファからの取り込み順序は、この期間の符号化デー
タを送出バッファに取り込みさえすれば特に順序は制限
されない。そして、さらに取り込みが完了した時点での
送出バッファ１０ｂ内にある符号化データのバッファ占
有量値Ｂｍｕｘ_oｃを各映像符号化部に送る。このBmux
_oc値から出力伝送レートをRとするとBmux_oc／Rによっ
て各符号化部は多重化した符号化データの相対的な伝送
遅延時間を見積もることができ、これを用いて各映像符
号化部は、入力映像を符号化する。以下、各映像符号化
部での符号化処理を説明する。

【００１５】映像符号化部では、映像信号をMPEG2ビデ
オデータに圧縮符号化する。MPEG2における符号化で
は、映像信号は、フレーム間の予測符号化されたのち、
予測誤差成分がDCT（離散コサイン変換）符号化され
る。符号化データの符号量は、DCT係数を量子化する際
の量子化幅を増減させることで行われる。量子化幅が小
さい場合は、発生符号量は増加するが、より原画像に近
い圧縮画像に符号化される。一方、量子化幅を大きくし
た場合は、発生符号量は少なくなるが量子化誤差による
歪みにより劣化の目立った画像となる。したがって、よ
り原画像に近く均一な画質に符号化するためには、量子
化幅をできるだけ小さくかつできるだけ一定に近いよう
に変化量を少なく制御する必要がある。本実施の形態に
おいては、量子化幅によって画質および発生符号量の制
御を行うため、量子化幅の制御以外は、符号化部の詳細
については公知の技術（例えば「最新ＭＰＥＧ教科書」
（アスキー出版、１９９５年）第１０３〜１０５ペー
ジ）で行うものとして以下で量子化幅の制御について詳
細を説明する。

【００１６】図２は、映像符号化部内の符号化部の構成
図である。図２において１１は、基本符号化部であり、
差分処理部１１a、DCT処理部１１b、量子化処理部１１
ｃ、可変長符号化部１１ｄ、およびフレーム間予測部１
１ｅで構成され、１２は、ビットカウンタ、１３は、符
号化されたデータを一時記憶し送出するバッファ、１４
は、制御部である。

【００１７】基本符号化部１１は、ＭＰＥＧ２ビデオフ
ォーマットに符号化する基本符号化部であり、フレーム
間予測部１１eからの予測値の予測誤差を差分処理部１
１aで算出し、DCT処理部１１ｂでDCT処理し、量子化処
理部１１cで量子化したのち可変長符号化部１１ｄで符
号化する。この際、基本符号化部１１は、量子化処理部
１１cに制御部１４から量子化幅を受け取り、その量子
化幅にしたがって入力映像信号を符号化し、生成データ
をバッファ１３に伝送する。ビットカウンタ１２は、基
本符号化部１１の生成するデータのビット数をカウント
し、多重タイミング毎に発生ビット数を制御部１４に送
る。制御部１４は、多重化部１０からのバッファ占有量
値Ｂｍｕｘ_ocとビットカウンタ１２からのビット発生
量値に基づき量子化幅を決定し、基本符号化部１１に送
るとともに中間バッファに送る送出ビット数を算出しバ
ッファ１３にそれを指示する。バッファ１３は、基本符
号化部１１からのデータを制御部１４が示す送出バッフ
ァ数にしたがって出力し、中間バッファ７、８、９に送
る。

【００１８】図３は、制御部１４での量子化幅の算出処
理の説明図である。図３において、２０１は、開始処
理、２０２は、基準量子化幅、符号化部内バッファ占有
量、中間バッファ占有量およびパラメータDiの初期化処
理、２０３は、符号化終了検出処理、２０４は終了処
理、２０５は、量子化幅算出処理、２０６は、ビット発
生量検出処理、２０７は、送出ビット数算出処理、２０
８は、パラメータBmuｘ_oc受信処理、２０９は、パラメ
ータDi算出処理、２１０は、アンダーフロー回避処理、
２１１は、符号化スキップ処理である。図１における符
号化部群は、入力映像に対して同一動作を行うものであ
り、ここでは以下代表してｉ番目の映像符号化部の処理
として説明する。制御部１４は、初期化処理の後、符号
化が終了するまで、ｉ番目の映像符号化部が符号化した
データを再生する受信側の想定デコーダのバッファサイ
ズをＢdec_sizeとして、各多重周期毎の量子化幅を以下
の式で計算する。

【００１９】

【数１】

【００２０】ここでq_stは、基準となる量子化幅で初期
化の段階で予め設定するものであり、実現したい画質が
得られる程度の量子化幅に設定する。Diは、多重周期毎
に変わる変数であり、その算出方法を説明する。符号化
部は、各多重周期毎に符号化データを中間バッファBmi
に送出する。この際、制御部１４は、その期間のビット
発生量をビットカウンタ１２より検出し、それ以前に未
送出となっているデータのビット数REMiとの合計が中間
バッファのサイズより小さい場合には、符号化されてい
るデータを規格書にある上限レートを超えない範囲（た
とえば、MP@MLの場合１５Mbps）ですべて中間バッファ
に送出する（REMiと発生ビット数との和）ことをバッフ
ァ１３に送出指示量Bmiとして指示する。中間バッファ
サイズより大きい場合は、中間バッファの容量をBmiの
値として指示し、残りを未送出データとして保持する。
また、Bmux_ocから算出できるこの多重周期で多重され
た場合に受信側到着時でのこの符号化部で符号化されて
未再生状態にあるデータ量（例えば、Bmux_ocがBmux_si
zeのとき遅延時間なしで再生されるように再生時刻のタ
イムスタンプをつけている場合には、（Bmux_size−Bmu
x_oc）／R時刻内で発生したｂTの合計値で求められ
る。）がBdec_size以上となる場合は、未再生状態のデ
ータ量からBdec_sizeを引いた値がREMiとなるようにBmi
を設定する（すなわち、未再生データで受信側に到着し
ているデータ量がBdec_sizeになるようにしてオーバー
フローしないようにする。）。つまり、符号化データの
上限値をデコーダバッファサイズよりデコーダ占有量を
減算したものとする。そして、未送出データのビット数
を以下の式で算出する。

【００２１】

【数２】

【００２２】ただし、ｂTは、多重周期内で発生したビ
ット数である。次に現在の多重化部１０の送出バッファ
のデータ占有量Bmux_ocを受け取り、Diを以下の式で算
出する。

【００２３】

【数３】

【００２４】ただし、

【００２５】

【数４】

【００２６】とする。以上のように算出したDiから（数
１）にしたがって量子化幅を算出し符号化を行う。ま
た、Bdec_size−Ｄｉが０以下にならないように、Bdec_
size−Ｄｉが閾値K以下になった場合は、基本符号化部
１１にスキップ処理を指示し、基本符号化部１１は、そ
のときデータを符号化しないでスキップ処理をおこな
う。

【００２７】多重化部１０では、各映像符号化部の中間
バッファ内のデータを多重タイミング毎に取り込みISO/
IEC１３８１８−１(通称MPEG2 TSストリーム）にパケッ
ト化多重し、伝送路に出力する。なお、その際、各映像
の再生タイミングを示すタイムスタンプは、伝送バッフ
ァの占有量にしたがってつけるものとし、送信バッファ
容量いっぱいで多重化されるデータが遅延時間なしで再
生されるタイミングを基準としタイムスタンプをつけ送
信する。

【００２８】以上のように動作する実施の形態において
以下その有効性を説明する。多重化部１０の最初の送信
開始時刻、送出バッファサイズBmux_sizeなどは、多重
化部１０に接続されている符号部の数Nや伝送レートな
どによって変更すべきであるが、ここでは、Bmux_size
＝N×Bdec_size、符号化直後のデータが送出バッファの
占有量が０のときに多重化されデコーダに到達した際に
Xピクチャー後に再生されるとする（すなわち、デコー
ダには、最大Xピクチャー分のデータが溜まる可能性が
ある）。送出バッファの占有量Bmux_ocで多重されるデ
ータのBmux_ocが０のときを基準とした相対的な遅延時
間は、Bmux_oc／Rで計算されるため、そのデータがデコ
ーダに到達したときにデコーダ内にあるピクチャーデー
タ数は、ｘ・（Bmux_size−Bmux_oc（ｔ））／Bmux_siz
eとなる（ただし、未送信データが０の場合）。このと
き、各映像データが受信側でアンダーフローすることな
く到達することを説明する。

【００２９】まず、REMi＝０のとき、（数１）（数３）
より

【００３０】

【数５】

【００３１】となり、Bmux_ocがBmux_sizeに近づくと量
子化幅が大きくなり、ビット発生量が抑制され、アンダ
ーフローが起こらない。また、極端に複雑な映像入力に
対しても図３にあるスキップ処理がはたらき、常にBmux
_ocがBmux_sizeより小さく制御されるため、アンダーフ
ローがおこらない。

【００３２】次にREMi≠０のとき、

【００３３】

【数６】

【００３４】となり、REMiがBdec_size×（Bmux_size−
Bmux_oc）／Bmux_sizeより小さくエンコーダは制御され
る。また、図３では、極端に複雑な映像が入力された場
合においても強制的にスキップ処理（ステップ２１１）
してビット発生量を減らして、REMiがBdec_size×（Bmu
x_size−Bmux_oc）／Bmux_sizeより小さく制御する。一
方、他の符号化部全部が最大のデータ量の多重を要求し
てきても、各符号化部は、少なくとも伝送レートを符号
化部の数で割った平均レートでの多重は可能である。Bd
ec_size×（Bmux_size−Bmux_oc）／Bmux_sizeは、（Bm
ux_size−Bmux_oc）／R時間内に平均レートで送ること
ができるデータに相当するため、受信側でアンダーフロ
ーしない。

【００３５】また、デコーダのバッファ容量を越えるデ
ータは、未送信データとなるため、オーバーフローも起
こらず各映像符号化部で符号化されたデータは、それぞ
れ正しく再生可能である。

【００３６】以上のような構成では、各映像符号化部が
同じ基準に従って量子化幅を決定するため未送信データ
がない場合には、すべてのエンコーダの量子化幅は、入
力映像に関わらず同じになるため、入力されている各映
像は、ほぼ同じ画質で符号化することができる。また、
特定の入力画像にシーンチェンジ等が発生した場合で
も、量子化幅により制御しているため、その時点で画質
が極端に劣化することなく、その困難さの増加に応じて
ビットが割り当てられる一方、そのビット増加分は、全
映像符号化部でのビット発生量にしたがって量子化幅を
制御するため、その影響も小さく画質の変化も小さい。
また、各映像符号化部は、符号化したデータが受信側で
オーバーフローアンダーフローしないようにそのビット
発生量および多重データ量を制御するため、多重化部１
０は、従来のように全映像データについての情報を処理
することなく規則的にそれを多重化するのみとなり、処
理が分散されて、装置構成が容易にできる。

【００３７】なお、本実施の形態では、量子化幅の計算
式を（数１）としたが、Bdec_size−Ｄｉ＞０が保てる
ような特性であれば、ほかのものでもよい。

【００３８】また、ｆ（REMi）＝REMiは異なる関数にし
てもよいし、特定の映像信号の画質をより高く維持する
ため、意図的に特定の符号化部の量子化幅の決定特性や
ｆ（REMi)を変更してもよい。たとえば、特定のｊ番目
の符号化部について中間バッファの容量をM倍にした場
合、ｆ（REMi）＝REMi／Mとしてもよい。こうすること
で本実施の形態において許されるREMiの約M倍に近い量
まで未多重データを増やすことができる。通常全体の平
均よりも複雑な映像が入力されている場合、Bmux_ocの
時点で多重化されたデータがデコーダに到達した時点で
すでに符号化されているｘ・（Bmux_size−Bmux_oc
（ｔ））／Bmux_sizeピクチャー分のデータの大きさ
は、Bdec_size＋REMiで制限されるため、未送信データ
量が多く持てることで符号化が困難な画像に対してより
相対的に多くのビットを割り当てることが可能になる。

【００３９】また、本実施の形態においての多重周期で
あるが、周期を短くすれば、より精度よく制御できる
が、MPEG2データにおける数マクロブロックあるいは、
数スライス(映像信号の数ライン周期）程度が適当であ
るが、さらに１ピクチャーなど長い周期で制御してもよ
い。

【００４０】また、本実施の形態では、すべての映像符
号化部の符号化方法およびデータ送出方法を同一にした
が特定の基本符号化部の処理のみ他の標準的なものより
異なった画質制御を行うことも可能である。例えば、
（数１）の量子化幅の決定関数は、Diの増加にしたがっ
て量子化幅を増加させる関数であればよく、量子化幅の
変化率を少なくしてより画質を均一化することもできる
し、大半の映像符号化部を実施の形態のように動作させ
ておけば、特定の映像符号化部が量子化幅を固定にして
画質を均一化したり、固定レートの符号化を行ってビッ
トを発生させても全体としては、Diの増加にしたがって
ビット発生量が減少する傾向が支配的となり、全体の帯
域は伝送帯域内にすることができる。

【００４１】（実施の形態２）次に本発明の第２の実施
の形態を図４から図９を用いて説明する。図４は、本発
明の第２の実施の形態の画像伝送装置の説明図である。
同図において、１５は、LAN上の帯域制御を行う帯域管
理ノード、１６、１７、１８、１９は、画像符号化部を
もったLAN上に接続されたノードである。ノード１６、
１７、１８、１９は画像符号化部と共に画像再生部をも
ち、画像符号化部は送信先のノードがもつ画像再生部の
デコーダバッファサイズBdec_size及びデコーダバッフ
ァ占有量を想定して画像符号化する。

【００４２】上記の構成において以下その動作を説明す
る。本実施の形態は、画像符号化部が、ローカルエリア
ネットワーク（LAN）上に分散して接続されているノー
ド上に接続されており、LAN上のほかのノードへ符号化
した映像信号を伝送するものである。ネットワーク上で
は、パケット化されたデータが伝送される。パケット
は、伝送に必要なヘッダ情報と送信データからなる。図
５に、ヘッダフォーマットを示す。ヘッダ情報として
は、データを正しく送るために必要な情報、すなわち、
公知と考えられるLAN上で必要な情報も含まれるが、こ
こでは送信側アドレス、受信側アドレス、映像パケット
フラグ、伝送周期Ｎｏ．についてのみ説明する。ネット
ワークは、一方向の伝送路が各ノード間に接続され、リ
ング状の構成をとっている。パケットの生成は、帯域管
理ノードが制御しており、各ノードからのリクエストに
応じて帯域を確保し、その送信用パケットを生成する。
図６は、各ノード間の通信方法の説明図である。ノード
１からノード４へ通信する場合、帯域管理ノードは、送
信側アドレスに１、受信側アドレスに４を書き込んだパ
ケットを生成して空いているパケットタイミングでネッ
トワーク上に出力する。各ノードは、自分に関係ないパ
ケットの場合、何もせずに隣のノードにパケットを伝送
する。ノード１は、送信側アドレス１のパケットを受け
たとき、送信したいデータを送信データ内に載せ、隣の
ノードに送る。ノード２、３は、何もせずにパケットを
順に送る。ノード４は、受信側アドレスに自分のアドレ
スを検出すると送信データを受信し、パケットを解放す
る。

【００４３】次に、映像データの通信について図７から
図１１を用いて説明する。帯域管理ノードは、ネットワ
ーク内の伝送する映像データの全体の帯域を割り当て
る。たとえば、ネットワーク内の映像データを送信する
ノードが４つで平均レートをそれぞれ３Mbps程度と考え
た場合には、１２Mbpsの帯域を映像帯域として帯域管理
ノードは確保し、１２Mbps分映像伝送用パケットを送出
する。その際、映像伝送用パケットに多重周期番号を設
け、一定時刻毎に各ノードがその多重周期番号内に送出
したい映像データのパケット数を申告させる。

【００４４】図７は、パケット数申告パケットの伝送例
を示している。パケットの送受信側アドレスをともにｆ
ｆとし、映像パケットフラグを１としてパケット数申告
パケットとして各ノードに識別させる。そして、伝送周
期番号を表示した期間に伝送したいパケット数を各ノー
ドに表示させる。ネットワーク上を一周したパケットを
帯域管理ノードが読み取る。

【００４５】その伝送周期番号のついた映像データを伝
送するパケットは、申告値の数だけ出力する。図８は、
映像伝送パケットによる映像データ伝送例を示してい
る。帯域管理ノードは、映像パケットフラグを１とし、
伝送周期番号を示してネットワーク上に生成する。この
パケットは、映像伝送を申告したどのノードも利用可能
であり、その伝送周期に送りたいデータがある場合、そ
のパケットの送受信側アドレスをヘッダに書き込み、映
像データを載せて目的のノードに映像データを送る。図
８では、ノード１からノード４への伝送を示している。
ノード４は、受信後パケットを解放する。帯域管理ノー
ドに最も近いノード１がヘッダに示された伝送周期内に
送りたいパケットをすべて伝送したら、それ以降の同じ
伝送周期番号がついたパケットは、そのまま通過させ
る。そして、次に近いノード２が伝送周期内のデータを
先のノード１と同様に映像パケットによりデータ伝送す
る。そのように申告したパケット数どおり帯域管理ノー
ドに近いノードから順にその伝送周期内に送るべきデー
タを映像パケットにより伝送していく。同じ伝送周期番
号のついたパケット数は、各ノードから申告されている
ので、各ノードの伝送周期内に送るべきデータを伝送す
るためのパケットは過不足なく生成される。その後、次
の多重周期のパケットが各ノードからの申告にしたがっ
て生成される。

【００４６】この多重周期は、第1の実施の形態の多重
タイミング周期に相当し、実際にその多重周期番号の付
いたパケットを帯域管理ノードが生成するまでの遅延時
間をその申告に基づき算出する。例えば、多重周期をT
とし、ｋ多重周期後の遅延データ量をDD（ｋT）とする
とDD（（ｋ＋１）T）は、そのときの申告パケット数の
和をPn、１パケットあたりのデータ量をP_DATAとしたと
き

【００４７】

【数７】

【００４８】で算出する。Ｒは帯域管理ノードが確保し
た、映像伝送用の帯域である。そして、申告されたノー
ド数Nから多重仮想バッファサイズBmux_sizeを

【００４９】

【数８】

【００５０】で相対遅延パラメータdelay_muxを

【００５１】

【数９】

【００５２】で算出し、生成する映像伝送用パケット中
に図５のフォーマットにしたがって載せる。

【００５３】delay_initは、遅延データ量DDが０のとき
伝送されたデータが到着してから再生されるまでの遅延
時間であり、ネットワーク内の各ノードで共有されてい
る値である。計算された値は、直ちにその後に生成され
るパケットのヘッダーに載せられて伝送される。

【００５４】図９は、帯域管理ノードが生成するパケッ
トを説明した図である。パケット数申告パケットは、一
定周期で生成される。映像伝送パケットは、パケット数
申告パケットによって申告されたパケット数を帯域管理
ノードが確保している映像全体で確保しているレートR
で生成する。したがって、伝送周期内に申告されたパケ
ット数を生成できないときでもそのまま申告数になるま
でその伝送周期番号のついたパケットを生成する。ただ
し、遅延データ量DDがdelay_init×Rを超える場合は、d
elay_init×Rと一致した時点で申告数に満たない場合で
も多重番号を更新してパケットを生成する。多重周期内
に申告パケット数を生成し終えた場合、次の多重周期に
なってから多重周期番号を更新したパケットを生成す
る。以上のように各ノードで申告されたパケット数の映
像データは、多重遅延量DDがdelay_init×Rを超えない
範囲で伝送される。

【００５５】次に、映像伝送を行う各ノード内の処理を
説明する。図１０は、ノード内の構成図である。２０
は、パケットの入出力処理をするパケット処理部、２１
は、制御部、２２は、中間バッファ、２３は、符号化
部、２４は映像再生部である。パケット処理部２０は、
ネットワーク中から送られてくるパケットを受信し、そ
のヘッダを検出する。受信アドレスが自分のアドレスの
場合、制御部２１へ送るとともに、パケット中のパラメ
ータをリセットして送出する。受信したパケットのヘッ
ダ中の送信側アドレスが自分である場合は、制御部２１
の制御のもと、制御部あるい中間バッファ２２の情報に
基づきパケットを書き変えて送出する。また、ヘッダ情
報がパケット数申告パケットを示す場合は、制御部２１
に伝送周期番号とともに検出信号を送る。制御部２１
は、この伝送周期の申告値をパケット処理部２０に送
る。各伝送周期の申告値は、符号化部２３が、伝送周期
毎に中間バッファに送るデータ量を中間バッファがカウ
ントし、制御部２１は、その値をその伝送周期の申告値
とする。パケット処理部２０は、その申告値をパケット
に書き込み伝送する。

【００５６】受信データが映像データの場合、制御部２
１は、そのまま映像再生部２４に受信データを送って映
像を再生する。

【００５７】次に、受信パケットが映像伝送パケットの
場合、パケット処理部２０から検出信号を受けた制御部
２１は、その送信周期信号を読み取り、その伝送周期中
に送出したパケット数が申告値に満たない場合、映像書
き込み指示と受信側アドレスをパケット処理部２０に送
る。パケット処理部２０は、送信側アドレスに自分のア
ドレスを、受信側アドレスに送り先のアドレスを書き込
み、１パケット分の映像データを中間バッファ取り込み
パケットのデータ部に書き込んで送出する。伝送周期内
のデータがすべて送り出されたら、制御部２１は、伝送
周期番号を更新する。送られていたパケットの更新周期
番号のデータがすでに送出されている場合は、制御部２
１は、パケット処理部２０に送出指示信号を送り、その
パケットに何も処理せずに送出させる。また、映像伝送
パケットを受け取ったとき制御部２１は、パケット処理
部２０から多重仮想バッファサイズおよび相対遅延パラ
メータを受け取り、符号化部２３に送る。これは、伝送
タイミングに関係なく常に検出し、先に読んだ値と異な
っている場合に直ちに送る。

【００５８】次に、符号化部２３の動作を説明する。符
号化部２３は、第1の実施の形態における図２の符号化
部とほぼ同じ動作をする。図2の構成において制御部１
４は、図１０の制御部２１より多重仮想バッファサイズ
Bmux_sizeおよび相対遅延パラメータdelay_muxを受け取
る。これをそれぞれ第1の実施の形態における多重化部
１０のバッファサイズBmux_sizeおよび多重化部１０内
のバッファ占有量Bmux_ocに置き換えて実施の形態１の
動作と同じ動作をする。そのとき、帯域管理ノード１５
が設定したRが実施の形態１の多重化部１０が送出する
伝送路の伝送レートと等価になるため、ネットワーク上
にある符号化部で生成されるデータレートは、Rとな
り、各符号化部で符号化されたデータは、受信側でオー
バーフローアンダーフローすることなく再生可能なタイ
ミングで伝送される。

【００５９】以上のように本実施の形態によれば、ネッ
トワーク上で伝送している映像信号の画質をほぼ均一に
して伝送することができる。図１１は、従来のネットワ
ーク上での可変レートの映像データの伝送と本実施の形
態によるものとの帯域の利用度の比較を説明する図であ
る。従来のネットワーク上の可変レートデータの伝送の
場合、画像符号化部がその画像の難しさに応じて符号化
したデータについてその帯域を伝送路上で確保するもの
であり、図中（ａ）のように有効に利用できない帯域が
できる。本実施の形態のように行えば、常に帯域いっぱ
いで符号化を行うので帯域をすべて有効に利用すること
ができ、各映像データも多くのビット量を使って符号化
されることになり、高画質を実現できる。また、同等の
画質であれば、より多くの映像をネットワーク上で伝送
することができる。

【００６０】なお、本実施の形態では、各ノードが環状
に接続されたネットワーク上での形態を示したが、伝送
路上の映像に割り当てられるレートが保証され、伝送す
る際の遅延量が各ノードに送られ、符号化部が決めたデ
ータを伝送可能なネットワークであれば、他の形状のネ
ットワーク、伝送プロトコルが異なるネットワークでも
同様のことが行える。また、delay_initで示された遅延
時間は、Bmux_size−（delay_init×R）≧０の範囲内で
任意に設定できる。特に等号が成立するときは、最も効
率的な可変長符号化が行える。また、実施の形態１と同
様、特定の符号化部の設定を変えることで特定の映像の
み高画質に符号化することができる。また、本発明の方
法によれば、伝送周期毎に許される最大のデータ量を多
重することで少なくとも全帯域をそのエントリー数で割
った平均レートを確保することが可能であるため、平均
レートで符号化した映像信号を伝送することができる。

【００６１】また、本実施の形態では、伝送を行ってい
る映像数が変化していないときを説明したが、伝送する
映像数が途中で変ってもよい。そのときは、Bmux_size
およびdelay_mux値を更新してやればよい。また、delay
_mux値が映像の伝送数の変化によって負になってしまう
場合には、新たな映像を追加する前に、delay_mux値を
（数９）に基づいた値よりも小さく設定していき、新た
な映像を追加しても負にならない程度の遅延量を減らし
た後追加すればよい。

【００６２】また、本実施の形態における各ノードは、
図１２に示すように、汎用のコンピュータに本実施の形
態で示したようなアルゴリズムをソフトウエアとして搭
載して実現することも可能であり、カメラで撮り込まれ
てくる映像信号、あるいは汎用コンピュータのハードデ
ィスクなどの記憶装置内の映像信号を符号化するような
構成も考えらる。

【００６３】

【発明の効果】以上で説明したように本発明は、全体の
符号化量に基づき個々の符号化部が、その符号量および
多重するデータ量を制御するため、多重化部では、単純
な処理により規則的に多重するだけでよく、可変レート
での映像データ多重処理が各符号化部に分散された構成
となるため、特に処理能力が大きいプロセッサを多重化
部に用意する必要もなく実現が容易になる。各符号化部
が同じ多重化情報に基づき符号化するため、各符号化部
は、ほぼ同じ量子化幅で符号化することになり、多重化
される各映像信号は、その複雑さに応じて均等にデータ
が割り当てられることになり、多重化する映像の画質を
均等にすることができる。

【００６４】また、シーンチェンジなどの予期せぬ場合
であっても、その複雑さの増加に見合った符号量が割り
当てられ画質を維持できる。

【００６５】また、本発明をLANのようなネットワーク
上での映像伝送に適用すると帯域を無駄無く各映像デー
タに分けて伝送が行うことができ、多チャンネルで高画
質で映像の途切れのない映像伝送が可能にでき、本発明
の実用的効果は大きい。

【図面の簡単な説明】

【図１】本発明の第1の実施の形態における画像伝送装
置の構成図

【図２】本発明の第1の実施の形態における映像符号化
部内にある符号化部の構成図

【図３】本発明の第1の実施の形態における制御部１４
での量子化幅の算出処理の説明図

【図４】本発明の第2の実施の形態における画像伝送装
置の説明図

【図５】本発明の第2の実施の形態におけるパケットの
ヘッダフォーマットの説明図

【図６】本発明の第2の実施の形態における各ノード間
の通信方法の説明図

【図７】本発明の第2の実施の形態における反応係数制
御部の説明図

【図８】本発明の第2実施の形態において映像伝送パケ
ットのによる映像データ伝送例の説明図

【図９】本発明の第2の実施の形態における帯域管理ノ
ードが生成するパケットを説明する図

【図１０】本発明の第2の実施の形態におけるノードの
構成図

【図１１】従来技術と第2の実施の形態によるものとの
帯域の利用度の比較の説明図

【図１２】本発明を汎用のコンピュータにアルゴリズム
を搭載したときの構成図

【図１３】従来の画像伝送装置の構成図

【符号の説明】

１，２，３映像符号化部４，５，６符号化部７，８，９中間出力バッファ１０多重化部１０ａ読み込み送出制御部１０ｂ送出バッファ１１基本符号化部１１ａ差分処理部１１ｂ DCT処理部１１ｃ量子化処理部１１ｄ可変長符号化部１１ｅフレーム間予測部１２ビットカウンタ１３バッファ１４制御部１５帯域管理ノード１６，１７，１８，１９ノード２０パケット処理部２１制御部２２中間バッファ２３符号化部２４映像再生部１０１，１０２，１０３映像符号化部１０４多重化部画像並び替え処理部

Claims

【特許請求の範囲】

【請求項１】複数の画像符号化部と伝送処理部を具備
し、前記伝送処理部は、多重タイミング毎に各画像符号化部
から指示される符号化データを多重化し所定の伝送路に
伝送するとともに、前記各画像符号化部の符号化データ
量に基づいて計算され、デコーダに伝送されるまでの遅
延量が計算できる多重化情報を前記各画像符号化部に送
り、前記複数の画像符号化部は、前記伝送処理部からの多重
化情報に基づき、画像の符号化における量子化の際の量
子化幅を決定し、前記画像を符号化するとともに前記符
号化データを前記多重タイミング毎に伝送処理部に伝送
し指示することを特徴とする画像伝送装置。
【請求項２】伝送処理部は、伝送用バッファを具備
し、多重タイミング毎に各画像符号化部が指示する符号化デ
ータを伝送用バッファに取り込み、取り込み順に所定の
伝送レートにしたがって出力するとともに符号化データ
の伝送用バッファ中の占有量を多重化情報として出力す
ることを特徴とする請求項１記載の画像伝送装置。
【請求項３】各画像符号化部は、量子化幅決定手段と
前記量子化幅決定手段により指示される量子化幅で量子
化することによって画像を符号化する基本符号化処理部
をもち、前記量子化幅決定手段は、前記各画像符号化部から伝送
処理部を通して伝送された符号化データを受信する複数
のデコーダのデコーダバッファ占有量を多重化情報より
算出し、算出したデコーダバッファ占有量および符号化
後未伝送にある符号化データの量に基づき量子化幅を設
定することを特徴とする請求項１記載の画像伝送装置。
【請求項４】各画像符号化部はさらに、符号化データ
を一時記憶する符号化データ記憶部をもち、前記符号化データ記憶部は、伝送タイミング毎に前記符
号化データのうち、伝送処理部に送られていない未伝送
データを一時記憶し、予め全画像符号化部で設定してお
かれた上限値、あるいは受信側で想定されるデコーダバ
ッファサイズより多重化情報に基づき算出されたデコー
ダ占有量を減算したものの値を上限値として前記符号化
データを伝送処理部に伝送することを特徴とする請求項
１記載の画像伝送装置。
【請求項５】複数の画像符号化部から符号化データを
入力する伝送処理装置であって、伝送用バッファを具備
し多重タイミング毎に各画像符号化部が指示する符号化
データを伝送用バッファに取り込み、取り込み順に伝送
レートにしたがって出力するとともに、符号化データの
伝送用バッファ中の占有量を多重化情報として出力する
ことを特徴とした伝送処理装置。
【請求項６】量子化幅決定手段と前記量子化幅決定手
段により指示される量子化幅で量子化することによって
画像を符号化する基本符号化処理部をもち、前記量子化幅決定手段は、仮想デコーダに伝送されるま
での遅延量が計算できる多重化情報と、前記多重化情報
より算出した仮想デコーダバッファ占有量と、符号化後
未伝送にある符号化データの量とに基づき量子化幅を決
定することを特徴とする画像符号化装置。
【請求項７】符号化データを一時記憶する符号化デー
タ記憶部をさらにもち、前記符号化データ記憶部は、伝送タイミング毎に前記符
号化データのうち、まだ送られていない未伝送データを
一時記憶し、予め画像符号化装置で設定しておかれた上
限値、あるいは受信側で想定されるデコーダバッファサ
イズより多重化情報に基づき算出された仮想デコーダバ
ッファ占有量を減算したものの値を上限値として前記符
号化データを出力することを特徴とする請求項６記載の
画像符号化装置。
【請求項８】伝送路上の帯域管理を行う帯域管理部と
１つ以上の画像符号化部からなり、前記帯域管理部は、伝送路上にある前記１つ以上の画像
符号化部の伝送レートの総計の帯域を定め、伝送タイミ
ング毎にある画像符号化部で伝送要求される符号化デー
タの送信を許可し、その許可にしたがって変化する送信
遅延に関する伝送情報を伝送路上の別の画像符号化部に
送信し、前記１つ以上の画像符号化部はそれぞれ、前記伝送情報
および未送信の符号化データおよび想定される受信側の
バッファサイズに基づいた量子化幅で量子化することに
よって画像を符号化することを特徴とする画像伝送装
置。
【請求項９】複数の画像符号化部の伝送レートを管理
する帯域管理装置であって、伝送路上のすべての画像符号化部の伝送レートの総計の
帯域を定め、伝送タイミング毎にある画像符号化部で伝
送要求される符号化データの送信を許可し、その許可に
したがって変化する送信遅延に関する伝送情報を伝送路
上の別の画像符号化部に送信することを特徴とする帯域
管理装置。
【請求項１０】送信許可量にしたがって変化する送信
遅延に関する伝送情報および未送信の符号化データおよ
び想定される受信側のバッファサイズに基づき量子化す
る量子化幅を設定し画像を符号化することを特徴とする
画像符号化装置。
【請求項１１】量子化幅決定ステップと前記量子化幅
決定ステップにより指示される量子化幅で量子化するこ
とによって画像を符号化する基本符号化処理ステップを
もち、前記量子化幅決定ステップは、仮想デコーダに伝送され
るまでの遅延量が計算できる多重情報と、前記多重化情
報より算出した仮想デコーダバッファ占有量と、符号化
後未伝送にある符号化データの量に基づき量子化幅を設
定することを特徴とする画像符号化方法。
【請求項１２】伝送タイミング毎に、符号化データの
うちまだ送られていない未伝送データを一時記憶し、予
め画像符号化装置で設定しておかれた上限値、あるいは
受信側で想定されるデコーダバッファサイズより多重化
情報に基づき算出されたデコーダ占有量を減算したもの
値を上限値として前記符号化データを出力することを特
徴とする請求項１１記載の画像符号化方法。
【請求項１３】送信許可量にしたがって変化する送信
遅延に関する伝送情報および未送信の符号化データおよ
び想定される受信側のバッファサイズに基づき量子化す
る量子化幅を設定し画像を符号化することを特徴とする
画像符号化方法。