JP5286050B2 - 符号化−復号化装置および映像伝送システム - Google Patents

Description

本発明は動画像圧縮符号化システム、復号化システム、映像符号化−復号化装置、映像伝送システムおよびその方法に関する。

放送局などで使用される映像伝送システムでは、カメラで撮影した画像データを送信側（エンコーダ側）で圧縮符号化して伝送路に伝送し、伝送された画像データを受信側で復号化して一旦フレームメモリに蓄積した後に、モニタの垂直同期信号に同期させて画像データを出力することにより、撮像した画像データが動画像として表示される。このような映像伝送システムは、典型的には、撮像データを符号化して伝送する機能を備えたカメラと、符号化された画像情報を復号化して出力する機能を備えたカメラ制御ユニットにより構成される。通常、エンコーダは撮像機能を担ういわゆるカメラと一体化される。また、カメラとカメラ制御ユニットとは、有線の伝送路で接続される。画像データの圧縮符号化方式には各種の規格があるが、放送・通信分野では、主としてＭＰＥＧ−２ ＴＳ（MPEG-2 Transport Stream）という規格が採用されている。

放送や通信の分野では、送信側から絶え間無くデータが送信されるためにエンコーダ側（送信側）とデコーダ側（受信側）でシステムクロックの同期を取る必要がある。送信側と受信側でシステムクロックの同期が取れていない場合、映像のフレームレートにずれが生じたり、デコーダ側入力バッファでオーバーフローまたはアンダーフローなどのバッファ破綻が生じる等の問題が生じる。

従来、ＭＰＥＧ−２ ＴＳでは、ＰＣＲ（Program Clock Reference）、ＰＴＳ（Presentation Time Stamp）、ＤＴＳ（Decoding Time Stamp）などの時刻情報を、伝送対象である映像データ、音声データに含めてエンコーダ側からデコーダ側へ伝送することにより、エンコーダ側とデコーダ側とでシステムクロックを同期させている。ここで、ＰＣＲ、ＰＴＳ、ＤＴＳは、伝送対象となる映像データ・音声データに各種の処理が実行された日時を示す時刻情報で、ＴＳパケットのヘッダに格納されて伝送される。ＰＣＲは、デコーダ側のシステム時刻の基準値となる情報であり、デコーダ側のシステム基準時刻であるＳＴＣ（System Time Clock）に対し、時刻の同期とクロックの同期を取るために使用される。ＰＴＳはデコードした映像の表示時刻を示す時刻情報であり、ピクチャごとに付与される。ＤＴＳはデコード時刻を示すタイミング情報であり、双方向予測の動き補償によって符号化されたピクチャのような、該当ピクチャの表示時刻とデコード時刻が異なるピクチャに対して付与される。

デコーダはＳＴＣの時刻とＰＴＳまたはＤＴＳの時刻とを比較することにより、各ピクチャの表示時刻とデコード時刻を知ることが出来る。また、デコーダ側入力バッファの破綻を回避するために、エンコーダ側ではＶＢＶ（Video Buffering Verifier）と呼ばれる制御を行う。ＶＢＶでは、デコーダ側の入力バッファを仮想的にエンコーダ側で生成し、当該仮想的に生成した入力バッファ（ＶＢＶバッファと称する）をエンコーダが監視することにより、デコーダ側の入力バッファの使用量（以下、ＶＢＶバッファ占有量）を推定する。エンコーダは、ＶＢＶバッファが破綻しないように、ＶＢＶバッファ占有量にもとづきデコーダ側に伝送する画像情報のサイズを制御する。画像情報のサイズは、符号化の際の量子化パラメータを制御することにより制御可能である。上で説明した従来の発生符号量制御手法は、ＶＢＶバッファと入力バッファのバッファ占有量が一致することを前提とし、このため、ＰＣＲ、ＰＴＳ、ＤＴＳなどの時刻情報が必要となる。

また、従来技術においては、復号化された画像情報は、デコーダの後段に配置されたフレームメモリに一旦格納された後、画像表示装置に出力される。例えば、特開平５−１９１８０１号公報（特許文献１）には、復号化された画像情報をフレームメモリ内のメモリバンクにフレーム毎に格納し、フレームの読み出しないし書き込みをメモリバンク毎に独立して行うことにより、コマ落ちのない滑らかなフレーム読み出しを可能とする技術が開示されている。

このように、従来技術では、ＰＣＲやタイムスタンプ（ＰＴＳやＤＴＳ等）などの時刻情報を用いてエンコーダ側とデコーダ側の動作を同期させている。同時に、復号画像をフレームメモリに一旦格納した後、垂直同期信号に合わせてモニタに表示することにより、復号化された画像情報を動画像として表示することが可能となる。

特開平５−１９１８０１号公報

従来の映像伝送システムは、フレームメモリに格納した復号画像を所定のフレームレート（典型的には、動画像の垂直同期信号に同期した周期）で読み出して動画像を表示しており、画像データを表示する前には、復号データをフレームメモリに格納する処理と、フレームメモリからデータを読み出す処理の２つが実行される。従って、画像の撮像から表示までの間に格納処理と読み出し処理分の遅延が生じる。映像伝送システムでは、撮像から表示までの遅延時間がなるべく短いことが求められるため、低遅延という観点から見てフレームメモリの使用は好ましいものではない。

また、映像伝送システムは、被写体のある場所へ持ち込んで使用されることが多く、小型であることが望まれる。しかしながら、復号化された画像データを蓄積するためのフレームメモリは、デコーダ側入力バッファの容量と比較して著しく大きい容量が必要である。よってデコーダとフレームメモリのワンチップ化は困難であり、システムの小型化および低コスト化の障害になる。

また、従来の映像伝送システムでは、ＰＣＲ、ＰＴＳ、ＤＴＳなどの時刻情報によりエンコーダとデコーダの同期制御が行われるため、送信側と受信側の双方でこれらの時刻情報を処理するための部品や回路などが必要になる。従って、時刻情報に頼った制御はエンコーダとデコーダの回路構成を複雑化する要因であり、低コスト化の障害となっている。

そこで本発明は、時刻情報とフレームメモリを使用せずに、エンコーダ、デコーダ間およびデコーダの出力信号とフレームレートの同期を確保することが可能な符号化−復号化装置を実現することを目的とする。更に、当該符号化−復号化装置を搭載した映像伝送システムを実現することを目的とする。

本発明は、撮像した画像データを符号化し出力するカメラと、符号化された画像データを復号化し出力するカメラ制御ユニットとにより構成される符号化−復号化装置を備える映像伝送システムにおいて、システム全体の動作スケジュールをフレーム表示周期を基準として調整するための基準信号をカメラ制御ユニットに供給し、カメラの動作がフレーム表示周期を基準とする所定のスケジュールに従うように、カメラ側に対してカメラ制御ユニット側から指示することにより前記の課題を解決する。これにより、カメラとカメラ制御ユニットの動作が基準信号に従って調整されることになり、復号化画像をフレーム表示周期に同期して出力することが可能となる。

このため、カメラ制御ユニットは符号化された画像データの復号開始時刻を上記の基準信号から復号化に必要な時間だけ前の時刻に開始し、カメラは、被写体の画像データの取得開始（言い換えれば、画像データの符号化器への供給開始時刻）を上記の基準信号から所定時間だけ遡った時刻に開始する。以上の一連の動作は、上記基準信号のアサート周期内に発生するよう制御される。

更に、カメラ制御ユニットは、システム全体の動作スケジュールを上記基準信号の周期に同期させるためのタイミング調整量を、上記基準信号に基づき生成してカメラ側に伝送する。

本発明により、撮像開始から動画像表示までの遅延時間が従来よりも少ない符号化−復号化装置および映像伝送システムが実現可能となる。更に、回路構成が簡素で、従って小型化に有利で低コストな映像符号化−復号化装置および映像伝送システムが実現可能となる。

図１に、本実施例の映像伝送システムの基本構成を概略図で示す。図１に示した映像伝送システムは、カメラ１１０１、カメラ制御ユニット１１０２、モニタ等の画像出力装置１１０３、上位システム制御装置１１０４とを備え、互いに伝送ケーブルを介して接続されている。ただし上位システム制御装置１１０４は、カメラ制御ユニット１１０２と画像出力装置１１０３とのみ結線される。上位システム制御装置とカメラが結線された場合、カメラに接続されるケーブルが２本となり、カメラの可搬性が著しく低下するためである。伝送ケーブルの長さは種々の長さを取りうるが、一般的には、数１００ｍから数ｋｍ程度である。なお、伝送ケーブルの長さは規格により定まっている。カメラ制御ユニット１１０２と上位システム制御装置１１０４および画像出力装置１１０３は、カメラ１１０１に比べて、互いに近接して設置される場合が多い。また、カメラ制御ユニット１１０２と画像出力装置１１０３との間には、スイッチャなどの装置要素が配置される場合もある。

図中の点線は、カメラ１１０１とカメラ制御ユニット１１０２とが符号化−復号化装置を構成することを示すための線である。以降の説明において「符号化−復号化装置」と言った場合、カメラとカメラ制御ユニットの組により構成される装置構成を意味する。また、「映像伝送システム」といった場合には、カメラ、カメラ制御ユニット、上位システム制御装置および出力装置を含むシステムを意味するが、出力装置は必ずしも画像出力装置を意味しない。出力装置として、スイッチャなど画像出力装置以外の要素が配置される場合があるためである。

上位システム制御装置１１０４は、画像出力装置１１０３のフレーム表示周期に同期した信号を生成し、システムの各部に伝送する。破線の矢印１１０５は、基準信号の伝送方向を示す。矢印１１０６および１１０７は、符号化データないし復号化データの伝送方向を示し、カメラ１１０１は、符号化された撮像データを基準信号に基づき算出される所定のタイミングでカメラ制御ユニット１１０２に送信する。同様に、カメラ制御ユニット１１０２は、受信した符号化データを基準信号に基づき算出される所定のタイミングで演算処理することにより復号化し、画像出力装置１１０３に送信する。

図２は、図１に示したカメラ１１０１とカメラ制御ユニット１１０２の内部構成を示す機能ブロック図である。信号伝送を示す関係上、図２では、出力装置１１８と上位システム制御装置も併せて示してある。

図２に示す映像伝送システム１００は、大きく分けて４つの装置要素を備えており、撮像したデータを符号化して伝送する機能を備えたカメラ１０１、受信した符号化データに対して復号処理など各種の画像演算処理を施す機能を備えたカメラ制御ユニット１０２、画像演算処理された画像データを動画像として表示する画像出力装置１１８およびシステム全体の制御を行う上位システム制御装置１２０などにより構成される。カメラ１０１とカメラ制御ユニット１０２、及び上位システム制御装置１２０とカメラ制御ユニット１０２、上位システム制御装置１２０と画像出力装置１１８は、双方向通信が可能な伝送ケーブル１０８により接続される。

上位システム制御装置１２０は、画像出力装置１１８のフレーム表示周期、すなわちモニタの垂直同期信号にシステム全体を同期させるためのシステム同期信号１０を生成し、システム各部に出力する。図２に示すように、システム同期信号１０は、カメラ制御ユニット１０２と出力装置１１８に対しては上位システム制御装置１２０から直接伝送され、カメラ部１０１に対しては、一度カメラ制御ユニット１０２を経由した後、カメラ部１０１へ転送される。

システム同期信号１０の伝送順序を、カメラ制御ユニット１０２、カメラ部１０１の順にすることにより、カメラ１０１とカメラ制御ユニット１０２との間の通信トラブルに対するシステムの耐性を強くすることが出来る。結線距離が長いため、映像伝送システム１００における各装置要素間で通信トラブルがもっとも発生しやすいのは、一般的にカメラ１０１とカメラ制御ユニット１０２の間である。カメラ１０１とカメラ制御ユニット１０２との間の通信トラブル（例えば、ケーブルの断線や伝送制御部１１０、１０６の動作不良など）が発生した場合、システム同期信号１０がカメラ１０１側からカメラ制御ユニット１０２側に伝送される状況を想定すると、カメラ制御ユニット１０２および出力装置１１８にはシステム同期信号１０が供給されないことになってしまい基準信号が失われるため、表示画像に乱れが発生する。

一方、本実施例のようにシステム同期信号１０をカメラ制御ユニット１０２側からカメラ１０１側に供給することにより、通信トラブルの影響が上位システム制御装置１２０からみて最も下流側の装置要素であるカメラ部１０１に局所化され、カメラ制御ユニット１０３と出力装置１１８に対する制御性は確保される。すなわち、通信トラブルが発生しても、単に通信トラブルの間に伝送されなかった画像データの表示に影響が出るだけであり、各種のエラーコンシールメント技術を適用することも出来るので、影響は比較的小さくて済む。なお、通信トラブルが発生する蓋然性が高い箇所がカメラ１０１とカメラ制御ユニット１０２間以外の箇所であった場合には、それに応じてシステム同期信号１０の伝送順序を変えることは言うまでもない。

上位システム制御装置１２０は、映像伝送システム１００全体の同期制御の他、カメラ、カメラ制御ユニットおよび画像出力装置で必要になる各種の制御パラメータを各装置要素に対して出力する。そのため、各種制御パラメータを入力するためのユーザインターフェースを備える。

カメラ１０１は、伝送制御部１１０、同期抽出／位相調整部１１２、撮像部１１４、エンコーダシステム部１１６およびケーブル接続のための端子を備え、画像を撮像し、撮像により得られた画像データを符号化し、カメラ制御ユニットへ出力する機能を有する装置である。各部の動作は、システム同期信号１０を基準として制御される。また、各種の信号は、物理的には上記の端子を通って入出力される。

撮像部１１４は、被写体の映像を取り込みデジタル信号に変換して出力する装置であり、ＣＣＤやＣＭＯＳセンサなどの光学素子とＡＤ変換器とを備える。得られた画像データは、システム同期信号１０から算出されるカメラ出力用基準信号に同期したタイミングで周期的に、エンコーダシステム部１１６に出力される。カメラ出力用基準信号とは、撮像部１１４の映像出力のタイミング調整に使用される信号であり、同期抽出／位相調整部１１２により生成され撮像部１１４に対して供給される。撮像部１１４は、カメラ出力用基準信号に従って画像データをエンコーダシステム部１１６に出力する。

同期抽出／位相調整部１１２は、入力されたシステム同期信号からカメラ出力用基準信号を生成する。カメラ出力用基準信号の生成に際しては、システム同期信号の他、カメラ制御ユニット１２０から伝送される位相調整量なども使用される。生成されたカメラ出力用基準信号は、撮像部１１４へ周期的に出力される。

エンコーダシステム部１１６は、撮像部１１４から入力された映像や音声データを圧縮符号化し、ストリームデータに変換して伝送制御部１１０へ出力する。圧縮符号化の際には、撮像部１１４から入力される画像データの他、上位システム制御装置１２０やカメラ制御ユニット１２０から伝送される制御パラメータなどが使用されることもある。

伝送制御部１１０は、エンコーダ側の伝送制御装置であり、双方向伝送路１０８における受信、送信の制御を行う。送信制御では、伝送制御部１１０は、ストリームデータとクロック情報などを多重化してＴＳパケットを生成し、双方向伝送路１０８へ出力する。また、受信制御では、伝送制御部１１０は、受信パケットからヘッダ以外のボディ部を切り出して、システム同期信号などの戻りデータを抽出する。戻りデータとは、位相調整量、エンコーダシステム部１１６へ入力するパラメータ情報などの各種の制御パラメータのことであり、システム同期信号１０も戻りデータの一つである。抽出された各種の情報は、カメラ１０１の各部に出力される。

カメラ制御ユニット１０２は、デコーダシステム部１０３、戻りデータ生成部１０４、デコーダ側の伝送制御部１０６を備え、カメラ１０１から伝送されたＴＳパケットを受け取り、システム同期信号１０や各種制御パラメータに基づく復号化制御を行い、復号化した画像データを出力装置１１８に対して出力する機能を有する装置である。また、カメラ制御ユニット１０２は、システム同期信号１０や各種制御パラメータ、カメラ制御ユニット１０２で生成した各種パラメータなどをカメラ１０１へ出力する。

カメラ部１０１同様、カメラ制御ユニット１０２も端子を備えるが、カメラ制御ユニット１０２は、カメラ１０１に対する接続用の第１の端子、出力装置１１８に対する接続用の第２の端子、上位システム制御装置１２０に対する接続用の第３の端子の３つの端子を備える。

伝送制御部１０６の動作、機能は、カメラ部側の伝送制御部１１０とほぼ同じであるので説明は省略する。

デコーダシステム部１０３は、ストリームデータを伝送制御部１０６から受信し、システム同期信号１０から定まる所定のタイミングで復号化し、後段の装置に出力する装置要素である。戻りデータ生成部１０４は、各種の戻りデータを生成する。

出力装置１１８は、カメラ制御ユニット１０２から出力された画像データを表示する装置である。上位システム制御ユニット１２０は、モニタの垂直同期信号に応じてシステム同期信号を生成するため、出力装置１１８のフレーム表示周期は、システム同期信号１０に同期する。出力装置１１８としては、モニタの他、スイッチャ、別の符号化装置（トランスコーダ）などが該当するが、いずれもシステム同期信号１０に同期して動作する。

本実施例では、カメラ制御ユニット１０２とカメラ１０１とは双方向伝送路１０８で接続される。双方向伝送路とは、双方向伝送のデータ転送規格による伝送路であり、上流側と下流側間のデータ送信は、時分割によって配分して行われる。伝送制御部１０６と伝送制御部１１０とによる伝送制御により、カメラ１０１からカメラ制御ユニット１０２へのストリームデータの送信時に、符号化された画像データの画像情報を持たないマージンの部分の送信が省略され、その省略により出来た時間で、システム同期信号などの戻りデータがカメラ制御ユニット１０２からカメラ１０１へ送信される。双方向伝送として時分割ではなく周波数分割の伝送方式もありえるが、時分割による双方向通信の方が、周波数分割方式よりも長距離伝送に適している。

これにより、１つの伝送ケーブルで、符号化された画像データの送信と、システム同期信号などの戻りデータの送信を行うことが出来、システムの構成が単純化され、また、カメラ１０１の移動が容易になる。双方向伝送路１０８には、伝送ケーブルとして電線や光ファイバを用いることができる。

以上の説明では、出力装置１１８と上位システム制御装置１２０は別々の装置であるとしたが、これらはカメラ制御ユニット１０２の部分と同じ筐体に入っていても良い。また、大容量画像データの高速処理の必要上、カメラ制御ユニット１０２の各構成要素と、エンコーダシステム部１１６，同期抽出／位相調整部１１２および伝送制御部１１０は、ハードウェア実装される場合が多いが、高速なプロセッサを搭載してソフトウェア実装することも可能である。

次に、図３を用いてＶＢＶバッファの動作について説明する。前述の通り、エンコーダシステム部１１６は、ＶＢＶバッファを仮想的に生成し、ＶＢＶバッファの使用量を監視することにより、デコーダ側の入力バッファの使用量を推定する。図３の縦軸はＶＢＶバッファ占有量Ｂｏを示し、その最大値はＶＢＶバッファ容量Ｃｖである。なお、ＶＢＶバッファ容量Ｃｖは入力バッファ２１０の容量に等しい。横軸はＶＢＶバッファがストリーム受信を開始した瞬間を基準時刻０とした時刻Ｔを示す。縦の破線で示した仮想デコード開始タイミングは、デコーダがフレーム先頭のストリームデータを入力バッファから引き抜いてデコードを開始する仮想的な時刻を示しており、その周期はフレーム表示周期Ｔｆｒである。ここでは、デコーダはフレームをＮ分割した所定画像サイズＳｎのデコード時間（Ｔｆｒ／Ｎ）に一回の頻度でＶＢＶバッファからデータを引き抜くことを想定した。なお、Ｎは任意の自然数であり、図３ではＮ＝５としている。グラフの傾きは伝送レートＲｔであり、時刻Ｔに依存しないので一定である。

次に、図３の実線で示されるＶＢＶバッファ内のデータ量の推移を説明する。まず、ＶＢＶバッファがストリームデータの受信を開始してから所定時間だけストリームデータを蓄積し続けたと仮定する。上述の所定時間は、初段階の蓄積時間という意味でＶＢＶ初期遅延時間Ｔｄと呼ぶ。時刻０からＴｄまでの間、実線は傾き一定の直線で上昇する。ストリームデータの受信開始時刻（図３では時刻０とした）を得る手段としては、ストリーム中の各フレームデータの先頭に付与されるＡＵデリミタの検出などがある。

ＶＢＶ初期遅延時間Ｔｄの経過後にデコードが開始される。１回のデコードにつき、入力バッファ２１０からは、画像サイズＳｎ分のストリームデータがＴｆｒ／Ｎの周期で引き抜かれる。従って、ＶＢＶバッファは、ＶＢＶ初期遅延時間Ｔｄ経過後よりＴｆｒの周期で定期的に、各フレームの先頭データを出力することになる。図３に示す例ではＮ＝５である。時刻０からＴｄ経過後、実線は、ＴｄからＴｄ＋ｎ×Ｔｆｒ／Ｎ（ｎ；１〜５の整数）の間は傾き一定で上昇し、時刻Ｔｄ＋ｎ×Ｔｆｒ／ＮにおいてＳｎ分だけ下降するというジグザグ状の軌跡を描く。以下では、フレームの先頭データを出力する時刻を、仮想デコード開始基準タイミングと呼び、この時刻に同期したパルス信号（デコード開始用基準信号：後述）が、エンコーダ装置２００およびデコーダ装置２１２内で生成される。デコード開始用基準信号は、デコードシステム部１０３内の制御に使用される。

ＰＣＲ、ＰＴＳ、ＤＴＳを使用する従来の符号化−復号化装置では、ＰＴＳまたはＤＴＳというタイムスタンプをエンコーダ側からデコーダ側に伝送することにより、デコーダ側が実際にデコードを開始する時刻をエンコーダ側で指定している。一方、本実施例の符号化−復号化装置では、タイムスタンプなどの時刻情報を使用しないため、何らかの方法で、エンコーダ側の予測する仮想デコード開始基準タイミングとデコーダ側の先頭フレームのデコード開始時刻とを一致させなければならない。一致しない場合、ある時刻ＴにおけるＶＢＶバッファのバッファ占有量とデコード側の入力バッファのバッファ占有量が一致しないことになるため、ＶＢＶバッファを監視しながら符号化を行っていてもどこかでバッファのオーバーフローまたはアンダーフローが発生することになる。そこで、以下では、図４と図５を用いて、タイムスタンプなどの時刻情報を用いずに入力バッファ破綻を回避する制御方法について説明する。

初めに、エンコーダ側の動作について説明する。図４は、図２で示した映像伝送システム１００の各装置要素の動作を示すタイミングチャートである。ここで、図４に付した各信号の番号は図２に示される各信号の引出番号と対応する。また、図５は、図２に示したエンコーダシステム部１１６およびデコーダシステム部１０３の内部構成を示す詳細図である。

映像伝送システムを用いて撮像を行う際、上位システム制御装置１２０はシステム同期信号１０を生成してカメラ制御ユニット１０２および出力装置１１８に伝送する。カメラ１０１に対しては、システム同期信号１０はカメラ制御ユニット１０２から双方向伝送路１０８を通じて転送される。システム同期信号１０は、周期が映像のフレーム表示周期Ｔｆｒに一致するパルス信号であり、上位システム制御装置１２０は最終的に表示される動画像の垂直同期信号の特性情報（周期、周波数など）に基づき、周期が一致するようにシステム同期信号１０を生成する。

図４において、システム同期信号１２は、カメラ制御ユニット１０２からカメラ１０１に伝送された後のシステム同期信号であり、カメラ１０１の同期抽出／位相調整部１１２で抽出される。双方向伝送路１０８の長さのため、システム同期信号１２は、システム同期信号１０に対して伝送遅延時間Ｔｄｕだけ遅延した信号となる。実際には、Ｔｄｕには伝送制御部でのパケット処理時間および同期抽出／位相調整部１１２での信号処理時間も含まれるが、無視できる程度の量と考えて良い。

システム同期信号１２を受信すると、カメラ１０１の伝送制御部１１０はヘッダとボディ部の切り分け処理を行い同期抽出／位相調整部１１２に転送する。
同期抽出／位相調整部１１２は、転送されたシステム同期信号１２を基準として位相調整量Ｔｐだけ遅延させた信号を、カメラ出力用基準信号１４として生成する。カメラ出力用基準信号１４とは、同期抽出／位相調整部１１２で生成される位相調整後の同期基準信号であり、撮像部１１４に対し、エンコーダシステム部１１６への映像出力のタイミングを与える信号である。また、位相調整量Ｔｐとは、デコーダからの復号化データの出力開始時刻がフレーム同期信号と同期するように、撮像部からの画像出力時刻をエンコーダ側で微調整するためのあわせ調整量のことである。位相調整量Ｔｐは、カメラ制御ユニット１０２の戻りデータ制御部１０４で生成され、戻りデータとしてカメラ１０１の同期抽出／位相調整部１１２に入力される。生成されたカメラ出力用基準信号１４は、撮像部１１４に供給される。

カメラ出力用基準信号１４を受信すると、撮像部１１４はエンコーダシステム部１１６に対して撮像した画像データの送信を開始する。すなわち、撮像部１１４の映像出力開始タイミングは、システム同期信号１０と戻りデータから算出されるカメラ出力用基準信号１４により制御される。エンコーダシステム部１１６は、撮像部１１４から送信された画像データを順次符号化して伝送制御部１１０に出力する。

実際の符号化処理は、エンコーダシステム部１１６内のエンコーダ装置２００により、クロック生成手段２０２から供給される所定のクロックに基づき実行される。エンコーダシステム部１１６内は、図５に示すようにエンコーダ装置２００、クロック生成手段２０２、オーディオデータ等の処理装置２０４、ＴＳ多重化処理部２０６等により構成されている。

ＥＳ処理装置２０４はオーディオＥＳ（Elementary Stream）やシステム制御の補助情報を生成し、出力する。ＴＳ多重化処理部２０６はエンコーダ装置２００の出力であるストリーム（ビデオＥＳ）とオーディオデータ等の処理装置２０４の出力であるオーディオＥＳやシステムの補助情報を多重化し、ストリームデータを生成する。

クロック生成手段２０２が供給するクロックは、エンコーダシステム部１１６内でエンコーダ装置２００以外の構成要素にも使用される。本クロック生成はエンコーダシステム部１１６の内部で行っても良いし、ＨＤ−ＳＤＩ（High Definition Serial Digital Interface）などの信号規格で入力画像を入力する場合にはそこからクロックを抽出して生成してもよい。

エンコーダシステム部１１６から出力されるストリームデータの出力状態は、図４にエンコーダ出力データ１６として示されている。基本的には、出力開始後は、ストリームデータは撮像部１１４が撮像を停止するまで出力され続ける。エンコーダシステム部１１６からのストリームデータの出力開始時刻は、カメラ出力用基準信号１４に対し、エンコーダシステム部１１６の符号化処理時間Ｔｅｎｃだけ遅延した時刻となる。Ｔｅｎｃはエンコーダシステム部１１６の性能に依存して定まる固有の時間であり、同期抽出／位相調整部１１２や戻りデータ生成部１０４内のレジスタなどに格納され、各種制御の際に参照される。

伝送制御部１１０に伝送されたストリームデータは、ヘッダ処理を施されてＴＳパケットとして伝送路１０８に送信される。

次に、カメラ制御ユニット１０２側の動作について説明する。ＴＳパケットがカメラ制御ユニット１０２に到達すると、デコーダ側伝送制御部１０６でヘッダ処理を施された後、デコーダシステム部１０３に転送される。

デコーダシステム部１０３へ入力されるストリームデータの入力状態は、図４にデコータ入力データ１８として示されている。ストリームデータの入力開始時刻は、エンコーダ出力データ１６上でのストリームデータの出力開始時刻に対し、伝送制御部１１０でのパケット化処理時間、双方向伝送路１０８での伝送遅延時間Ｔｄｄおよび伝送制御部１１０でのヘッダ処理時間分だけ遅延するが、伝送遅延時間Ｔｄｄが支配的である。Ｔｄｄの大きさは双方向伝送路１０８に使用するケーブルの長さに依存して定まる。

撮像開始に際してシステム同期信号１０を受信すると、デコーダシステム部１０３はデコード開始用基準信号１９を内部生成する。デコード開始用基準信号１９は、デコーダシステム部１０３が入力バッファ２１０に蓄積されたデータのデコードを実際に開始する時刻を示すパルス信号である。
図５に示すように、デコーダシステム部１０３は、ＴＳ分離処理部２０８、入力バッファ２１０、デコーダ装置２１２、オーディオデータ等の処理装置２１４などにより構成される。

デコーダ装置２１２は、映像のストリームデータをデコード、すなわち伸張復号化し、復号映像、すなわち伸張複合化された画像データを後段の出力装置１１８に出力する。また、入力バッファ２１０はビデオＥＳ、すなわち映像のストリームデータを格納し、デコーダ装置２１２からのリクエスト信号に応じて、格納したストリームデータを出力する。

デコード開始用基準信号１９は、実際にはデコーダ装置２１２で生成される。システム同期信号１０が供給されるため、デコーダ装置２１２は、システム同期信号１０の周期から、次の信号立ち上がり時刻を予測できる。そこで、デコーダ装置２１２は、システム同期信号１０の信号立ち上がり時刻から入力バッファから引き抜く画像データの復号化に必要な所要時間Ｔｄｅｃだけ前に信号が立ち上がるようなパルス信号を、デコード開始用基準信号１９として生成し内部でカウントする。デコード開始用基準信号１９の立ち上がり時刻は、デコータ入力データ１８上でのストリームデータ入力開始時刻に比べて時間Ｔｄだけ遅れて立ち上がる。Ｔｄｅｃは、デコーダシステム部１０３の性能により定まる固有の値である。また、Ｔｄは入力バッファ量にストリームデータを蓄積する初期時間であり、ＶＢＶバッファの初期遅延時間Ｔｄと一致する。

デコード開始用基準信号１９の信号立ち上がりを検出すると、デコーダ装置２１２は入力バッファ２１０にリクエスト信号を送信する。入力バッファ２１０は、リクエスト信号にあわせて所定量（例えばＳｎ）の画像データをデコーダ装置２１２に送信する。デコーダ装置２１２は入力バッファ２１０から送信されたストリームデータを復号し、後段の出力装置１１８に伝送する。

ＴＳ分離処理部２０８は、カメラ１０１から伝送されてきたＴＳを、ビデオＥＳ、オーディオＥＳ、その他システム制御の補助情報に分離する。また、ＥＳ処理装置２１４はシステム制御の補助情報の処理や、オーディオＥＳを復号化して音声データの出力等を行う。ここで、復号映像の出力タイミングの周期とシステム同期信号１０のアサート周期はフレーム表示周期と等しい。

図４において、デコータ出力データ２０は、デコーダシステム部１０３から後段の出力装置１１８への復号化データの出力状態を示す。復号化データの出力は、デコード開始用基準信号１９のパルス立ち上がり時刻から復号化処理時間Ｔｄｅｃだけ経過した後に開始され、システム同期信号のパルス立ち上がり時刻と一致する。これはデコード開始用基準信号１９が、システム同期信号のパルス立ち上がり時刻からＴｄｅｃだけ遡ったタイミングで立ち上がるように設定されているためである。

以上説明したように、本実施例の符号化−復号化装置では、デコーダ側であるカメラ制御ユニット１０２がエンコーダ側であるカメラ１０１を制御する構成を取る。システムの動作スケジュール同期制御のために必要な制御パラメータのうち、Ｔｆｒ、Ｔｄｕ、Ｔｅｎｃ、Ｔｄｄ、Ｔｄｅｃは映像伝送システムのハードウェア性能により定まる固定値であり、可変な調整量ではない。また、Ｔｄは可変な調整可能量ではあるが、調整量の上限は入力バッファの容量によって制限される。従ってカメラ制御ユニット１０２は、システム同期信号１０が供給されさえすれば、ストリームデータのデコーダシステム部１０３への入力開始時刻もデコード開始用基準信号１９の立ち上がり時刻も予測・設定することができる。また、カメラ１０１も、システム同期信号１０と位相調整量Ｔｐとが供給されさえすれば、カメラ出力用基準信号１４の立ち上がり時刻もストリームデータのエンコーダシステム部１１６からの出力開始時刻も予測・設定することができる。

なお、図４に示したタイミングを実現するための位相調整量Ｔｐは、以下の式（１）により算出すればよい。

Ｔｐ＝Ｔｆｒ−Ｔｄｕ−Ｔｅｎｃ−Ｔｄｄ−Ｔｄ−Ｔｄｅｃ ・・・（１）

以上、図４，図５を用いて説明したように、本実施例の符号化−復号化装置は、デコーダのデコード開始時刻をフレーム表示周期に同期させて設定し、撮像部１１４からの画像データの出力開始時刻をデコード開始時刻にあわせて調整することにより、バッファ破綻を回避し、かつ垂直同期した動画像表示を実現している。

なお、以上の説明ではデコード開始用基準信号１９はデコーダ装置２１２内で内部生成されるとして説明したが、上位システム制御装置１２０で生成してカメラ制御ユニット１０２に送信してもよい。また、説明の都合上、撮像部１１４からの画像データの出力開始時刻をデコード開始時刻（あるいはシステム同期信号１０）にあわせて調整するとして説明したが、実質的に映像出力のタイミングを制御できるのであれば、調整の対象は撮像部の映像出力のタイミングには限られない。

図６には、図５に示したエンコーダ装置２００の更に詳しい内部構成を示す機能ブロック図を示した。ＭＰＥＧ符号化方式では、画面内予測と画面間予測の二つの予測を用いた符号化を行う。

画面内予測を使用した符号化は、画面内予測処理、直交変換処理、量子化処理、逆量子化処理、逆直交変換処理、可変長符号化処理を行うことにより、ストリームを生成する。一方、画面間予測では、動き探索処理、動き補償処理、直交変換処理、量子化処理、逆量子化処理、逆直交変換処理、可変長符号化処理により、ストリームを生成する。

次に、図６の各処理部の内容を説明する。画面内予測部３０２は、入力画像である入力画像３０４から、画面内予測情報３０６と、入力画像を予測する予測画像３０８を生成する。直交変換部３１０は、予測画像３０８と入力画像３０４の差分である予測残差３１２から、直交変換によって周波数成分を生成する。量子化部３１４は、量子化パラメータ３１６を基に周波数成分を量子化し情報量を削減する。逆量子化部３１８は、量子化された周波数成分に対して、逆量子化を行い、周波数成分の復元を行う。逆直交変換部３２０は、復元された周波数成分に対して、逆直交変換を行い、予測残差を復元する。復元された予測残差と予測画像３０８は、和を取り、参照画像３２２として記憶する。一方、動き探索部３２４は、過去または未来の入力画像から生成された参照画像３２２内で、入力画像３０４内の各領域と類似した領域を探索し、類似した領域の位置を表す動きベクトル３２６を生成する。動き補償部３２８は、動きベクトル３２６で示す位置を元に、参照画像３２２を参照し、フィルタ処理によって、予測画像３０８を生成する。可変長符号化部３３０は、量子化された周波数成分と画面内予測情報３０６と動きベクトル３２６を、より少ないデータ量のデータ列に符号化し、送信バッファ３３２に記憶する。送信バッファ３３２は可変長符号化部３３０から取得した符号データ量（以下、実発生符号量３３４）を符号量制御部３３６へ出力し、また、符号データを所定時間蓄えてからストリーム３３８として外部へ出力する。符号量制御部３３６は実発生符号量３３４を基にＶＢＶバッファの状態を更新し、ＶＢＶバッファの監視を行いながら量子化パラメータ３１６を決定する。

以上の通り、本実施例の映像伝送システムないし符号化−復号化装置により、フレームメモリが不要で低遅延の装置が実現される。また、カメラ制御ユニットから出力される復号化データの出力タイミングがフレームレートと同期するため、デコーダシステム部１０３からの動画像の出力をそのまま出力装置１１８で表示させることができる。従って、フレームメモリから画像を読み出すための特殊な制御回路なども一切不要である。

更に、ＰＣＲ、ＰＴＳ、ＤＴＳなどの処理のための回路要素が不要で回路構成の簡単な符号化−復号化装置が、ＰＣＲ、ＰＴＳ、ＤＴＳを使用した場合と同等な機能を保ったまま実現することが可能となる。例えば、本実施例の映像伝送システム１００では、ＶＢＶバッファのバッファ容量の最大値までバッファ占有量の変動を許容する柔軟な符号化を実現することが可能となる。

実施例２では、長さの異なる伝送ケーブルにも対応可能な映像伝送システムないし映像符号化−復号化装置の構成例について説明する。

電気信号の伝達速度は有限であるため伝送ケーブルの長さが変わると、カメラ制御ユニット１０２とカメラ１０１との間の伝送遅延時間が変化する。図７には、伝送ケーブルの長さが実施例１に比べて短くなった状況下における映像伝送システム内部の各装置要素の動作を示すタイミングチャートを示す。図中の参照番号と図２の引出番号との関係は図４と同様である。

伝送ケーブルの長さが短くなったため伝送遅延時間が小さくなり、従ってデコーダ入力データ１８のデータ入力タイミングとデコード開始用基準信号との間にＴｄ＋ΔＴｄの時間差が生じる。便宜上、カメラ制御ユニットからカメラへの信号伝送を上り、逆の向きを下りと表現すると、ＶＢＶ初期遅延時間Ｔｄの変動ΔＴｄは、上り伝送遅延時間の変動ΔＴｄｕおよび下り伝送遅延時間の変動ΔＴｄｄを用いて、以下の式（２）で表される。

ΔＴｄ＝ΔＴｄｕ＋ΔＴｄｄ ・・・（２）

図８には、伝送遅延時間の変動が入力バッファおよびＶＢＶバッファ占有量に与える影響を示す。図８(Ａ)にはＶＢＶバッファ占有量の遷移を、図８(Ｂ)にはデコーダ側入力バッファ占有量の遷移をそれぞれ示す。説明の都合上、図８(Ａ)、図８(Ｂ)共に送信バッファ３３２からのデータ送信開始時刻、すなわち、エンコーダ出力データ１６におけるデータ出力開始のタイミングを基準時刻０としている。

ＶＢＶバッファ上でフレームの先頭データを受信開始した時刻をＴｉと表すと、仮想デコードタイミングである時刻Ｔｏは時刻ＴｉよりＶＢＶ初期遅延時間Ｔｄ経過後の時刻として表される。本実施例では、ＶＢＶ初期遅延時間ＴｄをＶＢＶバッファ占有量がＶＢＶバッファ容量Ｃｖの１／２に到達するまでの時間と設定した。

一方、入力バッファ上でフレームの先頭データを受信開始した時刻をＴｉ’と表し、フレームの先頭データが引き抜かれた時刻、すなわちデコード開始用基準信号の立ち上がり時刻をＴｏ’と表すと、時刻Ｔｉ’から時刻Ｔｏ’までの時間は図８で示した時間差ΔＴｄを用いてＴｄ＋ΔＴｄと表される。このとき、入力バッファに蓄積されるストリームデータの初期占有量は、長さが変わる前のケーブルを想定して設定された占有量Ｃｖ／２に比べて、以下の式（３）で表されるオフセット量ΔＯｃだけ変動する。

ΔＯｃ＝Ｒｔ×ΔＴｄ ・・・（３）

ここで、Ｒｔは伝送レートである。また、以降の説明では、この本来の初期占有量をバッファ変動中心と呼ぶ。

バッファ占有量の予測値にオフセット量が重畳されることは、バッファ占有量の制御を適切に行わないと、バッファ変動中心オフセット量ΔＯｃ分のずれに起因してバッファ破綻が発生する可能性があることを意味する。本実施例では、想定されるバッファ変動中心オフセット量ΔＯｃの最大値分だけのＶＢＶバッファ余裕を予め設定し、符号量制御を行うことにより、バッファ破綻を回避する。具体的には、図８(Ａ)のようにＶＢＶバッファ上限値ＢｈおよびＶＢＶバッファ下限値Ｂｌを設定し、ＶＢＶバッファ占有量がＶＢＶバッファ上限値ＢｈおよびＶＢＶバッファ下限値Ｂｌの範囲内で変動するようにエンコーダ側で発生符号量を制御する。

次に、ＶＢＶバッファ余裕を予め設定した符号量制御手段を備えた符号化−復号化装置の構成例について説明する。映像伝送システム全体および符号化−復号化装置の構成は、図１、図２，図５に示す構成と同様であるので説明は繰り返さない。

図９は、図６に示す符号量制御部３３６の機能ブロック図である。すなわち、本実施例の映像伝送システムは、ハードウェア上は、実施例１と比べてエンコーダ装置２００が異なることになる。図９の符号量制御部３３６は、ＶＢＶバッファ占有量算出処理部５００、ＶＢＶバッファ容量上限／下限設定処理部５０２、ＶＢＶバッファモデル置換処理部５０４、発生符号量制御処理部５０６部とを備える。また、図示されてはいないが、エンコーダ装置２００は、ＶＢＶバッファ容量Ｃｖ、ＶＢＶバッファ上限余裕Ｃｍｈ、ＶＢＶバッファ下限余裕Ｃｍｌ、ＶＢＶ初期遅延時間Ｔｄ、伝送レートＲｔの各制御パラメータを格納するためのレジスタを備えている。

以上の制御パラメータは、上位システム制御装置１２０からカメラ制御ユニットを介してカメラ部１０１に供給される。このため、上位システム制御装置１２０は、上記の制御パラメータを入力するためのユーザインターフェースが設けられる。

ＶＢＶバッファ占有量算出処理部５００では、ＶＢＶ初期遅延時間Ｔｄ、伝送レートＲｔ、送信バッファ３３２からの実発生符号量３３４を入力とし、時刻ＴにおけるＶＢＶバッファ占有量Ｂｏ(Ｔ)を算出する。ここで、実発生符号量３３４はＶＢＶバッファからのストリームデータ引き抜き量に該当する。

ＶＢＶバッファ容量上限／下限設定処理部５０２は、ＶＢＶバッファ容量Ｃｖ、ＶＢＶバッファ上限余裕Ｃｍｈ、ＶＢＶバッファ下限余裕Ｃｍｌを入力とし、ＶＢＶバッファ上限値ＢｈおよびＶＢＶバッファ下限値Ｂｌを算出し、エンコーダ装置２００内のレジスタにＢｈとＢｌとを格納する。ＶＢＶバッファ下限値ＢｌおよびＶＢＶバッファ上限値Ｂｈは次の式（４）および式（５）によって算出する。

Ｂｌ＝Ｃｍｌ ・・・（４）
Ｂｈ＝Ｃｖ−Ｃｍｈ ・・・（５）

なお、外部入力として与えるパラメータは、前記ＶＢＶバッファ上限余裕ＣｍｈおよびＶＢＶバッファ下限余裕Ｃｍｌに限定されるものではなく、ＶＢＶバッファ上限値ＢｈおよびＶＢＶバッファ下限値Ｂｌを決定できるパラメータであれば何を用いてもよい。

ＶＢＶバッファモデル置換処理部５０４は、ＶＢＶバッファ容量上限／下限設定処理５０２で算出されエンコーダ装置２００内のレジスタに格納されたＶＢＶバッファ上限値ＢｈおよびＶＢＶバッファ下限値Ｂｌを入力とし、ＶＢＶバッファ上限値ＢｈとＶＢＶバッファ下限値Ｂｌの差分を新たなＶＢＶバッファ容量として出力し、さらにＶＢＶバッファ占有量算出処理部５００で算出した前記ＶＢＶバッファ占有量Ｂｏ(Ｔ)からＶＢＶバッファ下限値Ｂｌを差し引いた値を新たなＶＢＶバッファ占有量として出力する。すなわち、ＶＢＶバッファモデル置換処理部５０４はＶＢＶバッファのモデルをＶＢＶバッファ上限値ＢｈとＶＢＶバッファ下限値Ｂｌを取り込んだ新たなＶＢＶバッファモデルに置き換える処理を行う。

発生符号量制御処理部５０６は、ＶＢＶバッファモデル置換処理部５０４から出力される新たなＶＢＶバッファ容量を用いて、ＶＢＶバッファ上限値ＢｈおよびＶＢＶバッファ下限値Ｂｌの範囲内でＶＢＶバッファの占有量が推移するように量子化パラメータを決定する。これにより、伝送ケーブルの長さが変化しても、ＰＣＲ、ＰＴＳ、ＤＴＳを用いることなく、デコーダの入力バッファのオーバーフローやアンダーフローを防ぐことができる。

ここで、最適なＶＢＶバッファ上限値ＢｈおよびＶＢＶバッファ下限値Ｂｌを設定するには、ＶＢＶバッファ上限余裕ＣｍｈとＶＢＶバッファ下限余裕Ｃｍｌの両者を最適設定する必要がある。ＶＢＶバッファ上限余裕Ｃｍｈは、基準とした伝送ケーブル長よりも短い伝送ケーブルを使用した際に想定される最大のバッファ変動中心オフセット量以上の容量が設定される必要があり、ＶＢＶバッファ下限余裕Ｃｍｌは基準とした伝送ケーブル長よりも長い伝送ケーブルを使用した際に想定される最大のバッファ変動中心オフセット量以上の容量が設定される必要がある。

よって、デコーダの入力バッファの破綻を回避し、かつ最小容量である最適なＶＢＶバッファ余裕の設定値は、システムが許容できる最長の伝送ケーブル長をＬmax、ケーブル内の信号伝搬速度をＶ、用いられる最大の伝送レートをＲｔとして、

Ｃｍｈ＋Ｃｍｌ＝（２Ｌmax×Ｒｔ）／Ｖ ・・・（６）

の条件を満たす。

例えば、基準とする伝送ケーブル長を０ｍと設定した場合、有限の長さの伝送ケーブルを用いるとバッファ変動中心オフセットは必ず入力バッファ占有量が減少する側に加わる。従って、ＶＢＶバッファ上限余裕Ｃｍｈは０となる。一方、ＶＢＶバッファ下限余裕Ｃｍｌは式（６）に従い、（２Ｌmax×Ｒｔ）／Ｖとなる。

ここで、基準伝送ケーブル長を０ｍとした場合に必要なバッファ余裕を双方向伝送ケーブルであるトライアキシャルケーブルの規格に準じて見積もってみると、最大ケーブル長が１．５ｋｍ、信号伝搬速度Ｖが光速度３０万ｋｍ／秒、最大伝送レートが３００Ｍｂｐｓとして、ＶＢＶバッファ下限余裕Ｃｍｌの最適値は３キロバイト程度の容量となる。この値は、入力バッファの容量すなわちＶＢＶバッファ容量Ｃｖに対して十分小さく、従って、バッファ占有量の変動が、実質的にはＶＢＶバッファのバッファ容量のほぼ最大値まで許容可能となる。よって、本実施例の符号量制御により、長さの異なる伝送ケーブルにも柔軟に対応可能な映像伝送システムないし映像符号化−復号化装置を実現することが出来る。

なお、位相調整量Ｔｐやデコード開始用基準信号１９、あるいはカメラ出力用基準信号１４の生成は、実施例１と同様に決めればよいので説明は省略する。

上述のＶＢＶバッファ容量Ｃｖ、ＶＢＶバッファ上限余裕Ｃｍｈ、ＶＢＶバッファ下限余裕Ｃｍｌ、ＶＢＶ初期遅延時間Ｔｄ、伝送レートＲｔの各制御パラメータは、上位システム制御装置１２０に格納され、撮像開始時にシステム同期信号と一緒にカメラ制御ユニットに伝送される。

伝送された情報は戻りデータ生成部１０４により取得され、更にカメラ１０１に転送される。転送された情報は、伝送制御部１１０を介して、エンコーダシステム部１１６内の符号量制御部３３６に伝送され、最終的にＶＢＶバッファ容量上限／下限設定処理部５０２に入力される。

以上の説明では、上位システム制御装置１２０がＶＢＶバッファ上限余裕ＣｍｈおよびＶＢＶバッファ下限余裕Ｃｍｌの各制御パラメータを送信しているが、上位システム制御装置１２０に格納される情報は、双方向伝送路１０８に用いられる伝送ケーブルの長さの情報であっても良い。この場合、上位システム制御装置１２０が、伝送ケーブルの長さの情報から、ＶＢＶバッファ上限余裕ＣｍｈおよびＶＢＶバッファ下限余裕Ｃｍｌを計算し、計算結果を符号量制御部３３６に伝送する。

或いは、上位システム制御装置１２０伝送ケーブルの長さの情報をカメラ１０１に伝送し、エンコーダ装置２００が伝送ケーブルの長さの情報からＣｍｈおよびＣｍｌを計算しても良い。伝送ケーブルの長さ情報はＣｍｈ、Ｃｍｌよりも直感的に分かり易い量であるため、上位システム制御装置１２０への制御パラメータ入力の際に、ユーザの負担が軽減される。

以上のように、本実施例の符号量制御を適用した映像伝送システムないし符号化−復号化装置により、長さの異なる伝送ケーブルにも柔軟に対応可能な映像伝送システムないし映像符号化−復号化装置を実施例１のシステム・装置と同等の機能を保ったまま実現することが可能となる。

実施例３では、異なる複数の映像フレームレートに対応可能な映像伝送システムないし符号化−復号化装置の構成例について説明する。

産業上使用される映像には６０ｉ、２４ｐ、６０ｐなど様々なフォーマットがあり、それに伴い様々なフレームレートがある。ここで、ｉやｐは、インターレース、あるいはプログレッシブを示すための添字である。

複数のフレームレートに対応するためには、フレーム表示周期Ｔｆｒが異なった場合でもシステム側が対応できることが必要である。図１１には、図４と同じ位相調整量Ｔｐが設定されている映像伝送システム１００において、より低いフレームレートの映像が伝送された場合のタイミングチャートを示す。図中の参照番号と図２の引出番号との関係は図４と同様である。

実施例１で説明したように、Ｔｆｒ、Ｔｄｕ、Ｔｅｎｃ、Ｔｄｄ、Ｔｄｅｃは映像伝送システムのハードウェア性能により定まる固定値であり、可変な調整量ではない。そこで、フレーム表示周期の変動をＴｄに吸収させた場合の状況を考えてみる。

今、フレーム表示周期がＴｆｒからＴｆｒ＋ΔＴｆｒへ変化したとき、変化分が全てＴｄに載ったとすると、デコーダ入力データ１８上のストリームデータの入力開始時刻とデコード開始用基準信号１９の立ち上がり時刻の時間差はＴｄ＋ΔＴｆｒとなる。各装置要素の同期スケジュールが６０ｐの映像フォーマットに調整されている場合、例えば６０ｉの映像フォーマットの映像データを伝送すると、ΔＴｆｒは１６ｍｓｅｃ程度となる。伝送レート３００Ｍｂｐｓを仮定すると、この時間差により伝送される画像データ量は約４．８Ｍビット程度となる。このオーダーは入力バッファ容量とほぼ同等であるから、ＶＢＶバッファ余裕を考慮した符号量制御を行ってもバッファ破綻を来すことになる。また、装置のワンチップ化および高画質化の観点でも好ましくない。

そこで、本実施例では、フレームレートに応じて適切な位相調整量Ｔｐを設定する機能を備えることにより、複数のフレームレートに対応した、映像伝送システムおよび映像符号化−復号化装置を実現する。

本実施例の映像伝送システム全体および符号化−復号化装置のハードウェア構成は、図１、図２，図５に示す構成と概ね同様であるので説明は省略する。ただし、本実施例の場合には、上位システム制御装置１２０内には、複数の画像フォーマットに対応した複数のフレームレート情報が格納される。映像伝送システムの操作者が画像フォーマットを切り替えると判断して、例えば、上位システム制御装置のユーザインタフェースに設けられたボタンを押すと、上位システム制御装置１２０は、切り替え後の画像フォーマットに対応したフレームレート情報をカメラ制御ユニット１０２および出力装置１１８に伝送する。

図１２には、本実施例の映像伝送システム内部の各装置要素の動作を示すタイミングチャートを示す。図１２から分かるように、本実施例の映像伝送システムではフレームレートの変化を位相調整量Ｔｐに吸収させている。従って、フレーム表示周期がＴｆｒからＴｆｒ＋ΔＴｆｒへ変化したとき、位相調整量はＴｐ＋ΔＴｆｒとなる。

位相調整量Ｔｐは、カメラ制御ユニット１０２の戻りデータ制御部１０４にて、式（１）に準じて以下のように算出される。

位相調整量＝（Ｔｆｒ＋ΔＴｆｒ）−Ｔｄｕ−Ｔｅｎｃ−Ｔｄｄ−Ｔｄ−Ｔｄｅｃ＝Ｔｐ＋ΔＴｆｒ

これにより、デコーダ入力データ１８のストリームデータ入力開始時刻とデコード開始用基準信号１９の立ち上がり時刻の時間差をＶＢＶ初期遅延時間Ｔｄのままとすることができ、従って、実施例１や実施例２の入力バッファ占有量の制御手法がそのまま適用可能となる。

以上のように、本実施例の位相調整量制御を適用した映像伝送システムないし符号化−復号化装置により、複数の映像フレームレートに対応可能な映像伝送システムないし映像符号化−復号化装置を実施例１、２のシステム・装置と同じ機能を保ったまま実現することが可能となる。これは、ＶＢＶバッファに対してＶＢＶバッファ余裕の追加が必要なしに、言い換えれば入力バッファのバッファ容量を大きくする必要なしに、複数の映像フレームレートへの対応が可能であることを示しており、装置のワンチップ化および高画質化の観点からは極めて効果的である。

実施例４では、複数の符号化―復号化装置に対応可能な映像伝送システムの構成例について説明する。複数台の符号化―復号化装置がスイッチャを介して１つのモニタを共有する映像伝送システムを考えると、映像切替時にモニタの映像が乱れないようにするためには、全ての符号化―復号化装置の映像出力タイミングを出力装置のフレーム表示周期に同期させる必要がある。ここで、スイッチャとは、映像信号出力の切り替え機構のことである。

従来は、タイミング調整のために符号化―復号化装置とスイッチャの間に同期調整用のフレームメモリが必要であり、装置の小型化、低コスト化、低電力化には不利であった。そこで本実施例では、複数台の符号化―復号化装置を備えた場合においても同期調整用のフレームメモリが不要な映像伝送システムの構成を説明する。

図１３は本実施例の映像伝送システムの全体構成を示す模式図である。図１と同じ引出番号が付された構成要素の動作・機能は、図１と同一である。図１３において、破線１２０１は、カメラ１１０１とカメラ制御ユニット１１０２によって構成される符号化―復号化装置を意味する。図１と同様、カメラ１１０１とカメラ制御ユニット１１０２の間は伝送ケーブルで接続されている。複数の符号化―復号化装置１２０１とモニタ１１０３の間には、スイッチャ１２０２が配置される。従って、符号化―復号化装置１２０１から見れば、出力装置はスイッチャ１２０２となる。なお、符号化―復号化装置１２０１の内部構成は、実施例１〜３で説明した構成と同じであるので、説明は省略する。

上位システム制御装置１１０４は、表示装置１１０３のフレーム表示周期に同期したシステム同期信号１１０５を生成し、全ての符号化―復号化装置１２０１へ送信する。システム同期信号１１０５は、周期がモニタの垂直同期信号に同期するように生成される。各符号化―復号化装置１２０１は、モニタの垂直同期信号に同期したタイミングで復号化した画像データを出力する。一方、スイッチャ１２０２に対しても、上位システム制御装置１１０４はモニタのフレーム表示周期に同期したタイミングで映像切替信号１２０３を送信する。

以上の制御により、全ての符号化―復号化装置１２０１から出力される復号化画像の先頭フレームがスイッチャへ出力される時刻と、スイッチャが各符号化―復号化装置に接続を切り替える時刻とを、フレームメモリを使用せずに一致させることができる。従って、映像切替時にモニタの表示画像が乱れることがない。また、各符号化―復号化装置に実施例３の位相調整量制御を適用すれば、各符号化―復号化装置で異なるフォーマットで画像を取得していても、表示画像の乱れのないスムーズな画像切り替えが可能な映像伝送システムを実現することが可能となる。

本発明を適用した本映像伝送システムは、動画像撮像装置、放送機器として使用される。

実施例１の映像伝送システムの全体図。 図１の符号化−復号化装置の内部構成図。 実施例１のＶＢＶバッファ制御に基づくバッファ占有量遷移を示す概念図。 実施例１の符号化−復号化装置のスケジュール同期を示すタイミングチャート 符号化装置、復号化装置の内部構成を示す機能ブロック図。 エンコーダ装置の内部構成を示す詳細機能ブロック図。 実施例２の符号化−復号化装置のスケジュール同期を示すタイミングチャート 実施例２の課題を示すためのＶＢＶバッファとデコーダ側入力バッファの占有量遷移を示す概念図。 実施例２の符号量制御部の機能ブロック図 実施例２の構成が適用された場合のＶＢＶバッファの占有量遷移を示す概念図。 実施例３の課題を示すための符号化−復号化装置のスケジュール同期を示すタイミングチャート。 実施例３の構成が適用された場合の符号化−復号化装置のスケジュール同期を示すタイミングチャート。 実施例４の映像伝送システムの全体図。

符号の説明

１０：デコーダ側のシステム同期信号、１２：エンコーダ側のシステム同期信号、１４：カメラ出力用基準信号、１６：エンコーダ出力データ、１８：デコーダ入力データ、２０：デコーダ出力データ、１００：映像伝送システム、１０３：デコーダシステム部、１０４：戻りデータ生成部、１０６：デコーダ側の伝送制御部、１０８：双方向伝送路、１１０：エンコーダ側の伝送制御部、１１２：同期抽出／位相調整部、１１４：撮像部、１１６：エンコーダシステム部、１１８：出力装置、
２００：エンコーダ装置、２０２：クロック生成手段、２０４：ＥＳ処理装置、２０６，２０８：ＴＳ分離処理部、２１０：入力バッファ、２１２：デコーダ装置、２１４：ＥＳ処理装置、
３０２：画面内予測部、３０４：入力画像、３０６：画面内予測情報、３０８：予測画像、３１０：直交変換部、３１２：予測残差、３１４：量子化部、３１６：量子化パラメータ、３１８：逆量子化部、３２０：逆直交変換部、３０８：予測画像、３２２：参照画像、３２４：動き探索部、３２６：動きベクトル、３２８：動き補償部、３３０：可変長符号化部、３３０は、３３２：送信バッファ３３２、３３４：実発生符号量、３３６：符号量制御部、３３８：ストリーム、
５００：ＶＢＶバッファ占有量算出処理部、５０２：ＶＢＶバッファ容量上限／下限設定処理部、５０４：ＶＢＶバッファモデル置換処理部、５０６：発生符号量制御処理部、
１１０１：カメラ、１１０２：カメラ制御ユニット、１１０３：画像出力装置、１１０４：上位システム制御装置、１１０５：基準信号の伝送方向、１１０６、１１０７：符号化データないし復号化データの伝送方向、１２０１：符号化−復号化装置、１２０２：スイッチャ、１２０３：映像切替信号

Claims (3)

1. 撮像された画像情報を符号化する機能を有するカメラと、当該符号化された画像情報を復号化する機能を有するカメラ制御ユニットと、当該復号化された画像情報を所定のフレーム表示周期で当該カメラ制御ユニットから受信することにより、前記画像情報を動画像として表示する画像表示手段とを備えた映像伝送システムにおいて、
   前記フレーム表示周期に対応した、システムを同期させるための基準信号を生成する上位システム制御装置を備え、
   前記カメラが前記基準信号に基づいて算出されるタイミングで、符号化された画像情報を前記カメラユニットに送信することにより、前記動画像が前記フレーム表示周期に一致して表示され、
   前記上位システム制御装置と前記カメラ制御ユニットを接続する第１のケーブルと、前記カメラ制御ユニットと前記カメラとを接続する第２のケーブルを備え、
   前記基準信号が前記上位システム制御装置から当該カメラ制御ユニットを介して前記カメラに供給され、
   前記カメラは、前記撮像を実行し前記画像情報を生成する撮像部と、前記符号化を実行するエンコーダとを備え、
   前記カメラ制御ユニットは、前記符号化された画像情報を蓄積する入力バッファと、当該入力バッファに蓄積された符号化画像情報を取り出し復号化するデコーダとを備え、
   前記撮像部からエンコーダへの前記画像情報の供給開始時刻と、前記エンコーダにおける前記符号化開始時刻と、前記デコーダにおける前記復号化開始時刻とのタイミングが、前記基準信号に基づき調整され、
   前記撮像部からエンコーダへの前記画像情報の供給開始時刻を調整するための位相調整量が前記カメラ制御ユニットから前記カメラに送信され、
   前記上位システム制御部は、前記第２のケーブルの長さによる変動値と、システムの性能によって定まる固定値とに基づいて、前記位相調整量を算出することを特徴とする映像伝送システム。
2. 請求項１に記載の映像伝送システムにおいて、
   前記上位システム制御部は、前記位相調整量を入力するためのユーザインタフェースを備えることを特徴とする映像伝送システム。
3. 請求項２に記載の映像伝送システムにおいて、
   前記上位システム制御部は、前記ケーブルの長さを入力するためのユーザインタフェースを備えることを特徴とする映像伝送システム。

Images