JPWO2008093698A1 - 情報処理装置および方法 - Google Patents

情報処理装置および方法 Download PDF

Info

Publication number
JPWO2008093698A1
JPWO2008093698A1 JP2008556125A JP2008556125A JPWO2008093698A1 JP WO2008093698 A1 JPWO2008093698 A1 JP WO2008093698A1 JP 2008556125 A JP2008556125 A JP 2008556125A JP 2008556125 A JP2008556125 A JP 2008556125A JP WO2008093698 A1 JPWO2008093698 A1 JP WO2008093698A1
Authority
JP
Japan
Prior art keywords
unit
data
encoded data
control unit
coefficient
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008556125A
Other languages
English (en)
Inventor
福原　隆浩
隆浩 福原
淳哉 荒木
淳哉 荒木
和寿 保坂
和寿 保坂
聡史 椿
聡史 椿
保 宗像
保 宗像
浩二 神谷
浩二 神谷
丈治 藤田
丈治 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of JPWO2008093698A1 publication Critical patent/JPWO2008093698A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/64—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by ordering of coefficients or of bits for transmission

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本発明は、符号化データを低遅延で伝送することができるようにする情報処理装置および方法に関する。データ制御部137は、低域成分より順に供給される符号化データをメモリ部301に一時的に蓄積させるとともにその蓄積させた符号化データの符号量をカウントし、その符号量が所定の量に達した段階で符号化データの取得を打ち切り、それまでにメモリ部301に蓄積させた符号化データの一部または全部を読み出して、リターン用の符号化データとしてパケット化部302に供給する。本発明は、例えば、デジタルトライアックスシステムに適用することができる。

Description

本発明は、情報処理装置および方法に関し、特に、符号化データを低遅延で伝送することができるようにした情報処理装置および方法に関する。
従来、ビデオ映像の送受信装置として、放送局やスタジアムでのスポーツ中継等に使用されているトライアックスシステムというものがある。これまでのトライアックスシステムは、アナログ映像を対象とするものが主流であったが、近年の画像処理のデジタル化に伴い、今後はデジタル映像を対象とするデジタルトライアックスシステムが普及するものと考えられている。
一般的なデジタルトライアックスシステムでは、カメラヘッドにおいてビデオ映像がキャプチャされて伝送路に送出され（本線ビデオ映像）、カメラコントロールユニットにより、その本線ビデオ映像が受信されて、映像が画面に出力される。
カメラコントロールユニットは、また、この本線ビデオ映像とは別系統で、リターンビデオ映像をカメラヘッド側に送信する。リターンビデオ映像は、カメラヘッドより供給された本線ビデオ映像を変換したものであってもよいし、カメラコントロールユニットにおいて外部から入力されたビデオ映像であってもよい。カメラヘッドはこのリターンビデオ映像を例えば画面に出力させる。
一般的には、カメラヘッドとカメラコントロールユニットとの間の伝送路は帯域が限られており、その伝送路を伝送させるためにビデオ映像は圧縮することが必要になる。例えば、カメラヘッドからカメラコントロールユニットに向かって伝送される本線ビデオ映像がHDTV（High Definition Television）信号（現信号は1.5Gbps程度）である場合、これを約10分の1の150Mbps程度に圧縮することが現実的である。
このような映像の圧縮方法は、様々なものがあり、例えば、MPEG（Moving Picture Experts Group）等がある（例えば特許文献1参照）。このように映像を圧縮する場合の従来のデジタルトライアックスシステムの例を図1に示す。
カメラヘッド11は、カメラ21、エンコーダ22、およびデコーダ23を有しており、カメラ21において撮影されて得られた映像データ（動画像）を、エンコーダ22において符号化し、その符号化データを、伝送ケーブルの1系統である本線D10を介してカメラコントロールユニット12に供給する。カメラコントロールユニット12は、デコーダ41およびエンコーダ42を有しており、カメラヘッド11より供給された符号化データを取得すると、それをデコーダ41において復号し、その復号された映像データを、ケーブルD11を介して本線映像用のディスプレイであるメインビュー51に供給し、画像を表示させる。
また、カメラヘッド11より送出させた映像をカメラコントロールユニット12が受信したか否かを、カメラヘッド11のユーザに確認させるために、映像データは、リターンビデオ映像としてカメラコントロールユニット12からカメラヘッド11に再送される。一般的には、このリターンビデオ映像を伝送するリターン回線D13の帯域幅は本線D10と比較して狭いので、カメラコントロールユニット12は、デコーダ41において復号された映像データをエンコーダ42において再度符号化し、所望のビットレート（通常の場合、本線を伝送させるときよりも低いビットレート）の符号化データを生成し、この符号化データをリターンビデオ映像として、伝送ケーブルの1系統であるリターン回線D13を介してカメラヘッド11に供給する。
カメラヘッド11は、その符号化データ（リターンビデオ映像）を取得すると、デコーダ23において復号し、その復号された映像データを、ケーブルD14を介してリターンビデオ映像用のディスプレイであるリターンビュー31に供給し、画像を表示させる。
以上がデジタルトライアックスシステムの基本構成と動作である。
特開平9-261633号公報
しかしながら、このような方法では、エンコーダ22において符号化が開始されてから（カメラ21においてビデオ映像信号が得られてから）、デコーダ23より復号映像データの出力が開始されるまで遅延時間が長くなってしまう恐れがあった。また、カメラコントロールユニット12にもエンコーダ42が必要になり、回路規模やコストが増大する恐れがあった。
映像データに対して行われる各処理のタイミングの関係を図2に示す。
図2に示されるように、カメラヘッド11のエンコーダ22の処理開始タイミングと、カメラコントロールユニット12のデコーダ41の出力開始タイミングとでは、仮に、カメラヘッド11およびカメラコントロールユニット12間の伝送に要する時間を0としても、エンコードやデコードの処理等により、例えばP［msec］の遅延が生じる。
そして、エンコーダ42が、このデコードされた映像データを、直ぐに符号化したとしても、エンコードやデコードの処理等により、カメラヘッド11のデコーダ23が出力を開始するまでに、さらにP［msec］の遅延が生じる。
つまり、エンコーダ22において符号化が開始されてから、デコーダ23より復号映像データの出力が開始されるまでに、本線ビデオ映像において生じる遅延の2倍となる（P×2）[msec]の遅延が生じる。低遅延が求められるシステムにおいては、このような方法では十分に遅延時間を短くすることができない。
本発明は、このような従来の実情に鑑みて提案されたものであり、符号化データを低遅延で伝送することができるようにする。
本発明の一側面は、画像データを符号化して符号化データを生成する情報処理装置であって、周波数帯域毎に分解された係数データを、最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の画像データを含むラインブロック毎に、周波数帯域に分解された複数のサブバンドの係数データを合成して画像データを生成する合成処理を実行する順に予め並び替える並び替え手段と、前記並び替え手段により並び替えられた係数データを、ラインブロック毎に符号化して符号化データを生成する符号化手段と、前記符号化手段により生成された符号化データを記憶する記憶手段と、前記記憶手段により前記符号化データが前記ラインブロック複数分記憶される度に、前記符号化データの符号量の総和を算出する算出手段と、前記算出手段により算出された符号量の総和が前記目標符号量に達した場合、前記記憶手段に記憶されている前記符号化データを出力する出力手段とを備える情報処理装置である。
前記出力手段は、前記符号化データのビットレートを変更することができる。
前記並び替え手段は、前記係数データを、ラインブロック毎に、低域成分から高域成分の順に並び替えることができる。
前記並び替え手段および前記符号化手段を、ラインブロック毎にそれぞれ並列動作させるように制御する制御手段を更に備えるようにすることができる。
前記並び替え手段および前記符号化手段は、並列的に各処理を行うことができる。
前記画像データに対して、ラインブロック毎にフィルタ処理を行い、周波数帯域毎に分解された係数データからなる複数のサブバンドを生成するフィルタ手段を更に備えるようにすることができる。
前記符号化データを復号する復号手段を更に備えるようにすることができる。
前記符号化データを互いに異なる周波数領域で変調して変調信号を生成する変調手段と、前記変調手段により生成された変調信号を周波数多重化して増幅させる増幅手段と、前記変調手段により増幅された変調信号を合成して伝送する伝送手段とを更に備えるようにすることができる。
周波数領域の減衰率に基づいて、前記変調手段の変調方式を設定する変調制御手段を更に備えるようにすることができる。
周波数領域の減衰率が閾値以上の場合に、高域成分に対する信号点距離を大きく設定する制御手段を更に備えるようにすることができる。
周波数領域の減衰率が閾値以上の場合に、高域成分に対するエラー訂正ビットの割当量を多く設定する制御手段を更に備えるようにすることができる。
周波数領域の減衰率が閾値以上の場合に、高域成分に対する圧縮率を高く設定する制御手段を更に備えるようにすることができる。
変調手段は、OFDM方式で変調することができる。
データ量が閾値より少ない画像データを用いて、前記符号化手段と前記符号化データを復号する復号手段との間で同期タイミングの制御を行う同期制御部を更に備えるようにすることができる。
前記データ量が閾値より少ない画像データは、全画素が黒の１ピクチャ分の画像であるようにすることができる。
本発明の一側面は、また、画像データを符号化して符号化データを生成する情報処理装置の情報処理方法であって、周波数帯域毎に分解された係数データを、最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の画像データを含むラインブロック毎に、周波数帯域に分解された複数のサブバンドの係数データを合成して画像データを生成する合成処理を実行する順に予め並び替え、並び替えられた係数データを、ラインブロック毎に符号化して符号化データを生成し、生成された符号化データを記憶し、前記符号化データが前記ラインブロック複数分記憶される度に、前記符号化データの符号量の総和を算出し、算出された符号量の総和が前記目標符号量に達した場合、記憶されている前記符号化データを出力するステップを含む情報処理方法。
本発明の一側面においては、周波数帯域毎に分解された係数データが、最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の画像データを含むラインブロック毎に、周波数帯域に分解された複数のサブバンドの係数データを合成して画像データを生成する合成処理を実行する順に予め並び替えられ、並び替えられた係数データが、ラインブロック毎に符号化されて符号化データが生成され、生成された符号化データが記憶され、前記符号化データが前記ラインブロック複数分記憶される度に、前記符号化データの符号量の総和が算出され、算出された符号量の総和が前記目標符号量に達した場合、記憶されている前記符号化データが出力される。
本発明によれば、伝送させるデータのビットレートを容易に制御することができる。特に、符号化データを復号せずに、容易に、そのビットレートを変更させることができる。
従来のデジタルトライアックスシステムの構成例を示すブロック図である。 図1のデジタルトライアックスシステムにおいて、映像データに対して行われる各処理のタイミングの関係を示す図である。 本発明を適用したデジタルトライアックスシステムの構成例を示すブロック図である。 図3のビデオ信号符号化部の詳細な構成例を示すブロック図である。 ウェーブレット変換について概略的に説明するための略線図である。 ウェーブレット変換について概略的に説明するための略線図である。 5×3フィルタのリフティングによるフィルタリングを分解レベル＝2まで実行した例を示す略線図である。 この発明によるウェーブレット変換およびウェーブレット逆変換の流れを概略的に示す略線図である。 符号化データの授受の様子の例を説明する模式図である。 パケットの構成例を示す図である。 図3のデータ変換部の詳細な構成例を示すブロック図である。 図3のビデオ信号復号部の構成例を示すブロック図である。 並列動作の例を概略的に示す略線図である。 ビットレート変換の様子の例を説明する図である。 図3のデジタルトライアックスシステムにおいて、映像データに対して行われる各処理のタイミングの関係を示す図である。 図11のデータ制御部の詳細な構成例を示すブロック図である。 図3のデジタルトライアックスシステム全体において実行される主な処理の流れの例を説明するフローチャートである。 符号化処理の詳細な流れの例を説明するフローチャートである。 復号処理の詳細な流れの例を説明するフローチャートである。 ビットレート変換処理の詳細な流れの例を説明するフローチャートである。 図3のビデオ信号符号化部の他の例を示すブロック図である。 ウェーブレット係数の並び替え処理をビデオ信号符号化部で行う場合の処理の流れを説明するための略線図である。 ウェーブレット係数の並び替え処理をビデオ信号復号部で行う場合の処理の流れを説明するための略線図である。 データ量のカウントの様子の例を説明する図である。 データ量のカウントの様子の他の例を説明する図である。 データ制御部の他の構成例を示すブロック図である。 ビットレート変換処理の他の例を説明するフローチャートである。 本発明を適用したデジタルトライアックスシステムの他の構成例を示すブロック図である。 図28のデジタルトライアックスシステムに対応する従来のデジタルトライアックスシステムの構成例を示すブロック図である。 カメラコントロールユニットの他の構成例を示すブロック図である。 本発明を適用した通信システムの構成例を示すブロック図である。 表示画面の例を示す模式図である。 変調信号の周波数分布の例を示す図である。 トライアックスケーブルの減衰特性の例を示す図である。 デジタルトライアックスシステムのさらに他の構成例を示すブロック図である。 レート制御処理の流れの例を説明するフローチャートである。 デジタルトライアックスシステムのさらに他の構成例を示すブロック図である。 伝送されるデータの様子の例を説明する図である。 デジタルトライアックスシステムのさらに他の構成例を示すブロック図である。 制御処理の流れの例を説明するフローチャートである。 本発明を適用した情報処理システムの構成例を示す図である。
符号の説明
100 デジタルトライアックスシステム， 120 ビデオ信号符号化部， 136 ビデオ信号復号部， 137 データ制御部， 138 データ変換部， 301 メモリ部， 302 パケット化部， 321 デパケタイズ部， 353 ラインブロック判定部， 354 累積値カウント部， 355 累積結果判定部， 356 符号化データ蓄積制御部， 357 第1符号化データ出力部， 358 第2符号化データ出力部， 453 符号化データ蓄積制御部， 454 蓄積判定部， 456 グループ判定部， 457 累積値カウント部， 458 累積結果判定部， 459 第1符号化データ出力部， 460 第2符号化データ出力部， 512 カメラコントロールユニット， 543 データ制御部， 544 メモリ部， 581 カメラコントロールユニット， 601 通信装置， 602 通信装置， 623 データ制御部， 643 データ制御部， 1113 レート制御部， 1401 変調制御部， 1402 符号化制御部， 1403 C/N比測定部， 1404 エラーレート測定部， 1405 測定結果判定部， 1761 同期制御部， 1771 同期制御部
以下、本発明の実施の形態について説明する。
図3は、本発明を適用したデジタルトライアックスシステムの構成例を示すブロック図である。
図3において、デジタルトライアックスシステム100は、テレビジョン放送局や制作スタジオなどにおいて、スタジオ収録や中継などの際に、ビデオカメラと、カメラコントロールユニットやスイッチャとを接続する1本の同軸ケーブルで、映像信号、音声信号、送り返し（リターン）の映像信号、同期信号など複数の信号を重畳させて送信すると共に、電源の供給も行うようにしたシステムである。
このデジタルトライアックスシステム100においては、送信ユニット110とカメラ制御部112とがトライアックスケーブル（同軸ケーブル）111を介して接続される。送信ユニット110からカメラ制御部112に対する、実際に放映されたり素材として用いられたりするデジタルビデオ信号およびデジタルオーディオ信号（以下、本線信号と呼ぶ）の送出、カメラ制御部112からビデオカメラ部113に対する、インカム用のオーディオ信号およびリターン用のデジタルビデオ信号の送出が、トライアックスケーブル111を介して行われる。
送信ユニット110は、例えば図示されないビデオカメラ装置に内蔵される。これに限らず、送信ユニット110がビデオカメラ装置に対する外部装置として、ビデオカメラ装置と所定の方法で接続されて用いられるものとしてもよい。また、カメラ制御部112は、例えば一般的にCCU(Camera Control Unit)と呼ばれる装置である。
なお、デジタルオーディオ信号については、この発明の主旨と関わりが少ないので、煩雑さを避けるための説明を省略する。
ビデオカメラ部113は、例えば図示されないビデオカメラ装置内に構成され、レンズ、フォーカス機構、ズーム機構、アイリス調整機構などを有する光学系150を介して入射された被写体からの光を、CCD(Charge Coupled Device)などからなる図示されない撮像素子で受光する。撮像素子は、受光された光を光電変換で電気信号に変換し、さらに所定の信号処理を施してベースバンドのデジタルビデオ信号を出力する。このデジタルビデオ信号は、例えばHD-SDI(High Definition-Serial Data Interface)のフォーマットにマッピングして出力される。
また、ビデオカメラ部113は、モニタとして用いられる表示部151と、外部と音声によるやりとりを行うためのインカム152が接続される。
送信ユニット110は、ビデオ信号符号化部120およびビデオ信号復号部121、デジタル変調部122およびデジタル復調部123、アンプ124およびアンプ125、並びに、ビデオ分離／合成部126を有する。
送信ユニット110において、ビデオカメラ部113から、例えばHD-SDIのフォーマットにマッピングされたベースバンドのデジタルビデオ信号が供給される。このデジタルビデオ信号は、本線ビデオ映像のデータであり、ビデオ信号符号化部120において圧縮符号化され、符号化データ（符号化ストリーム）とされてデジタル変調部122に供給される。デジタル変調部122は、供給された符号化ストリームを、トライアックスケーブル111を介した伝送に適した形式の信号に変調して出力する。デジタル変調部122から出力された信号は、アンプ124を介してビデオ分離／合成部126に供給される。ビデオ分離／合成部126は、供給された信号をトライアックスケーブル111に送出する。この信号は、トライアックスケーブル111を介してカメラ制御部112に供給される。
また、そのカメラ制御部112から出力された信号が、トライアックスケーブル111を介して送信ユニット110に供給されて受信される。その受信された信号は、ビデオ分離／合成部126に供給され、デジタルビデオ信号の部分とその他の信号の部分とが分離される。受信信号のうちデジタルビデオ信号の部分は、アンプ125を介してデジタル復調部123に供給され、カメラ制御部112側でトライアックスケーブル111を介した伝送に適した形式の信号に変調された信号を復調し、符号化ストリームを復元する。
符号化ストリームは、ビデオ信号復号部121に供給され、圧縮符号を復号され、ベースバンドのデジタルビデオ信号とされる。この復号されたデジタルビデオ信号は、HD-SDIのフォーマットにマッピングされて出力され、リターン用のデジタルビデオ信号（リターンビデオ映像のデータ）としてビデオカメラ部113に供給される。このリターン用のデジタルビデオ信号は、ビデオカメラ部113に接続される表示部151に供給され、撮影者のためのリターンビデオ映像のモニタなどに利用される。
カメラ制御部112は、ビデオ分離／合成部130、アンプ131およびアンプ132、フロントエンド部133、デジタル復調部134およびデジタル変調部135、並びに、ビデオ信号復号部136およびデータ制御部137を有する。
送信ユニット110から出力された信号は、トライアックスケーブル111を介してカメラ制御部112に供給されて受信される。その受信された信号は、ビデオ分離／合成部130に供給される。ビデオ分離／合成部130は、供給された信号を、アンプ131およびフロントエンド部133を介してデジタル復調部134に供給する。なお、フロントエンド部133は、入力信号のゲインを調整するゲイン制御部や、入力信号に対して所定のフィルタ処理を施すフィルタ部などを有する。
デジタル復調部134は、送信ユニット110側でトライアックスケーブル111を介した伝送に適した形式の信号に変調された信号を復調し、符号化ストリームを復元する。この符号化ストリームは、ビデオ信号復号部136に供給され、圧縮符号を復号され、ベースバンドのデジタルビデオ信号とされる。この復号されたデジタルビデオ信号は、HD-SDIのフォーマットにマッピングされて出力され、本線用のデジタルビデオ信号として外部に出力される。
外部からカメラ制御部112に対して、デジタルオーディオ信号が供給される。デジタルオーディオ信号は、例えば、撮影者のインカム152に供給され、外部から撮影者に対する音声による指示を伝達するのに用いられる。また、ビデオ信号復号部136は、デジタル復調部134より供給された符号化ストリームを復号するとともに、その復号前の符号化ストリームをデータ制御部137に供給する。データ制御部137は、その符号化ストリームをリターン用のデジタルビデオ信号の符号化ストリームとして処理するために、そのビットレートを適切な値に変換する。
なお、以下において、説明の便宜上、ビデオ信号復号部136とデータ制御部137とをまとめてデータ変換部138とも称する。すなわち、データ変換部138は、ビデオ信号復号部136とデータ制御部137とを含む、例えば復号やビットレート変換等の、データの変換に関する処理を行う処理部である。もちろん、データ変換部138がこれ以外の変換処理を行うようにしてもよい。
一般的に、リターン用のデジタルビデオ信号は、本線用のデジタルビデオ信号よりも画質が低くても構わないとされている場合が多い。そのため、データ制御部137は、供給された符号化ストリームのビットレートを所定の値まで低下させる。データ制御部137の詳細については後述する。データ制御部137により、ビットレートを変更された符号化ストリームは、デジタル変調部135に供給される。デジタル変調部135は、供給された符号化ストリームを、トライアックスケーブル111を介した伝送に適した形式の信号に変調して出力する。デジタル変調部135から出力された信号は、フロントエンド部133およびアンプ132を介してビデオ分離／合成部130に供給される、ビデオ分離／合成部130は、この信号を他の信号と多重化し、トライアックスケーブル111に送出する。この信号は、リターン用のデジタルビデオ信号としてトライアックスケーブル111を介して送信ユニット110に供給される。
ビデオ分離／合成部126は、その供給された信号を、アンプ125を介してデジタル復調部123に供給する。デジタル復調部123は、供給された信号を復調し、リターン用のデジタルビデオ信号の符号化ストリームを復元し、それをビデオ信号復号部121に供給する。ビデオ信号復号部121は、供給されたリターン用のデジタルビデオ信号の符号化ストリームを復号し、リターン用のデジタルビデオ信号を得ると、それをビデオカメラ部113に供給する。ビデオカメラ部113は、上述したように、そのリターン用のデジタルビデオ信号を表示部151に供給し、リターンビデオ映像を表示させる。
詳細については後述するが、このように、データ制御部137が、本線信号のデジタルビデオ信号の符号化ストリームを復号せずにそのビットレートを変更するので、ビットレートを変更された符号化ストリームをリターン用のデジタルビデオ信号の符号化ストリームとして利用し、ビデオカメラ部113に転送することができる。これにより、デジタルトライアックスシステム100は、リターンビデオ映像を表示部151に表示させるまでの遅延時間をより短くすることができる。また、カメラ制御部112において、リターン用のデジタルビデオ信号のためのエンコーダを設ける必要がなくなるので、カメラ制御部112の回路規模やコストを低減させることができる。
図4は、図3のビデオ信号符号化部120の詳細な構成例を示すブロック図である。
図4において、ビデオ信号符号化部120は、ウェーブレット変換部210、途中計算用バッファ部211、係数並び替え用バッファ部212、係数並び替え部213、量子化部214、エントロピ符号化部215、レート制御部216、およびパケット化部217を有する。
入力された画像データは、途中計算用バッファ部211に一時的に溜め込まれる。ウェーブレット変換部210は、途中計算用バッファ部211に溜め込まれた画像データに対してウェーブレット変換を施す。すなわち、ウェーブレット変換部210は、途中計算用バッファ部211から画像データを読み出して分析フィルタによりフィルタ処理を施して低域成分および高域成分の係数のデータを生成し、生成された係数データを途中計算用バッファ部211に格納する。ウェーブレット変換部210は、水平分析フィルタと垂直分析フィルタとを有し、画像データ群に対して、画面水平方向と画面垂直方向の両方について分析フィルタ処理を行う。ウェーブレット変換部210は、途中計算用バッファ部211に格納された低域成分の係数データを再度読み出し、読み出した係数データに対して分析フィルタによるフィルタ処理を施して、高域成分および低域成分の係数のデータをさらに生成する。生成された係数データは、途中計算用バッファ部211に格納される。
ウェーブレット変換部210は、この処理を繰り返して分解レベルが所定レベルに達したら、途中計算用バッファ部211から係数データを読み出し、読み出された係数データを係数並び替え用バッファ部212に書き込む。
係数並び替え部213は、係数並び替え用バッファ部212に書き込まれた係数データを所定の順序で読み出し、量子化部214に供給する。量子化部214は、供給される係数データを量子化し、それをエントロピ符号化部215に供給する。エントロピ符号化部215は、供給された係数データを、例えばハフマン符号化や算術符号化といった所定のエントロピ符号化方式で符号化する。
エントロピ符号化部215は、レート制御部216と連動的に動作し、出力される圧縮符号化データのビットレートが略一定値となるように制御される。すなわち、レート制御部216は、エントロピ符号化部215からの符号化データ情報に基づき、エントロピ符号化部215により圧縮符号化されたデータのビットレートが目標値に達した時点あるいは目標値に達する直前でエントロピ符号化部215による符号化処理を終了するように制御する制御信号を、エントロピ符号化部215に対して供給する。エントロピ符号化部215は、レート制御部216から供給される制御信号に応じて符号化処理が終了した時点で、符号化データをパケット化部217に供給する。パケット化部217は、供給された符号化データを順次パケット化し、図3のデジタル変調部122に出力する。
次に、ウェーブレット変換部210で行われる処理について、より詳細に説明する。先ず、ウェーブレット変換について、概略的に説明する。画像データに対するウェーブレット変換では、図5に概略的に示されるように、画像データを空間周波数の高い帯域と低い帯域とに分割する処理を、分割の結果得られる空間周波数の低い帯域のデータに対して再帰的に繰り返す。こうして、空間周波数の低い帯域のデータをより小さな領域に追い込んでいくことで、効率的な圧縮符号化を可能とする。
なお、図5は、画像データの最低域成分領域に対する低域成分の領域Lおよび高域成分の領域Hへの分割処理を3回、繰り返し、分割レベル＝3とした場合の例である。図5において、"L"および"H"は、それぞれ低域成分および高域成分を表し、"L"および"H"の順序は、前側が横方向に分割した結果の帯域を示し、後側が縦方向に分割した結果の帯域を示す。また、"L"および"H"の前の数字は、その領域の分割レベルを示す。
また、図5の例から分かるように、画面の右下の領域から左上の領域にかけて段階的に処理がなされ、低域成分が追い込まれていく。すなわち、図5の例では、画面の右下の領域が最も低域成分の少ない（高域成分が最も多く含まれる）領域3HHとされる、画面が4分割された左上の領域は、さらに4分割され、この4分割された領域のうち左上の領域がさらに4分割される。最も左上隅の領域は、最も低域成分を多く含む領域0LLとされる。
低域成分に対して繰り返し変換および分割を行うのは、画像のエネルギが低域成分に集中しているためである。このことは、図6のAに一例が示される分割レベル＝1の状態から、図6のBに一例が示される分割レベル＝3の状態のように分割レベルを進めていくに従って、図6のBに示されるようにしてサブバンドが形成されていくことからも、理解される。例えば、図5におけるウェーブレット変換の分割レベルは3であり、この結果、10個のサブバンドが形成されている。
ウェーブレット変換部210は、通常、低域フィルタと高域フィルタとから構成されるフィルタバンクを用いて、上述のような処理を行う。なお、デジタルフィルタは、通常、複数タップ長のインパルス応答すなわちフィルタ係数を持っているため、フィルタ処理を行えるだけの入力画像データまたは係数データを予めバッファリングしておく必要がある。また、ウェーブレット変換を多段にわたって行う場合も同様に、前段で生成したウェーブレット変換係数を、フィルタ処理が行える数だけバッファリングしておく必要がある。
このウェーブレット変換の具体的な例として、5×3フィルタを用いた方法について説明する。この5×3フィルタを用いた方法は、従来技術で既に説明したJPEG（Joint Photographic Experts Group）2000規格でも採用されており、少ないフィルタタップ数でウェーブレット変換を行うことができる点で、優れた方法である。
5×3フィルタのインパルス応答（Z変換表現）は、次の式（1）および式（2）に示すように、低域フィルタH0（z）と、高域フィルタH1（z）とから構成される。式（1）および式（2）から、低域フィルタH0（z）は、5タップで、高域フィルタH1（z）は、3タップであることが分かる。
H0（z）＝(-1+2z-1+6z-2+2z-3-z-4)/8 ・・・（1）
H1（z）＝(-1+2z-1-z-2)/2 ・・・（2）
これら式（1）および式（2）によれば、低域成分および高域成分の係数を、直接的に算出することができる。ここで、リフティング(Lifting)技術を用いることで、フィルタ処理の計算を減らすことができる。
次に、このウェーブレット変換方法について、より具体的に説明する。図7は、5×3フィルタのリフティングによるフィルタ処理を、分解レベル＝2まで実行した例を示している。なお、図7において、図の左側に分析フィルタとして示される部分は、ビデオ信号符号化部120におけるウェーブレット変換部210のフィルタである。また、図の右側に合成フィルタとして示される部分は、後述するビデオ信号復号部136におけるウェーブレット逆変換部のフィルタである。
なお、以下の説明では、例えば表示デバイスなどにおいて画面の左上隅の画素を先頭として、画素が画面の左端から右端に向けて走査されて1ラインが構成され、ライン毎の走査が画面の上端から下端に向けて行われて1画面が構成されるものとする。
図7において、左端列は、原画像データのライン上の対応する位置にある画素データが縦方向に並べられて示されている。すなわち、ウェーブレット変換部210におけるフィルタ処理は、垂直フィルタを用いて画面上を画素が縦に走査されて行われる。左端から1列目乃至3列目が分割レベル＝1のフィルタ処理を示し、4列目乃至6列目が分割レベル＝2のフィルタ処理を示す。左端から2列目は、左端の原画像データの画素に基づく高域成分出力、左端から3列目は、原画像データおよび高域成分出力に基づく低域成分出力を示す。分割レベル＝2のフィルタ処理は、左端から4列目乃至6列目に示されるように、分割レベル＝1のフィルタ処理の出力に対して処理がなされる。
分解レベル＝1のフィルタ処理において、第1段階のフィルタ処理として、原画像データの画素に基づき高域成分の係数データが算出され、第2段階のフィルタ処理として、第1段階のフィルタ処理で算出された高域成分の係数データと、原画像データの画素とに基づき低域成分の係数データが算出される。分解レベル＝1の一例のフィルタ処理を、図7における左側（分析フィルタ側）の第1列目乃至第3列目に示す。算出された高域成分の係数データは、図4で説明した係数並び替え用バッファ部212に格納される。また、算出された低域成分の係数データは、途中計算用バッファ部211に格納される。
図7においては、一点鎖線で囲まれているデータが係数並び替え用バッファ部212に一時的に保存され、点線で囲まれているデータが途中計算用バッファ部211に一時的に保存される。
途中計算用バッファ部211に保持された分解レベル＝1のフィルタ処理の結果に基づき、分解レベル＝2のフィルタ処理が行われる。分解レベル＝2のフィルタ処理では、分解レベル＝1のフィルタ処理において低域成分の係数として算出された係数データを、低域成分および高域成分を含んだ係数データと見做して、分解レベル＝1と同様のフィルタ処理を行う。分解レベル＝2のフィルタ処理により算出された、高域成分の係数データおよび低域成分の係数データは、図4で説明した係数並び替え用バッファ部212に格納される。
ウェーブレット変換部210では、上述したようなフィルタ処理を、画面の水平方向および垂直方向にそれぞれ行う。例えば、先ず、分解レベル＝1のフィルタ処理を水平方向に行い、生成された高域成分および低域成分の係数データを途中計算用バッファ部211に格納する。次に、途中計算用バッファ部211に格納された係数データに対して、垂直方向に分解レベル＝1のフィルタ処理を行う。この分解レベル＝1の水平および垂直方向の処理により、高域成分をさらに高域成分および低域成分に分解した係数データのそれぞれによる領域HHおよび領域HLと、低域成分をさらに高域成分および低域成分に分解した係数データのそれぞれによる領域LHおよび領域LLとの4領域が形成される。
そして、分解レベル＝2では、水平方向および垂直方向のそれぞれについて、分解レベル＝1で生成された低域成分の係数データに対してフィルタ処理が行われる。すなわち、分解レベル＝2では、分解レベル＝1で分割されて形成された領域LLがさらに4分割され、領域LL内にさらに領域HH、領域HL、領域LHおよび領域LLが形成される。
ウェーブレット変換部210は、ウェーブレット変換によるフィルタ処理を、画面の縦方向について、数ライン毎の処理に分割して、複数回に分けて段階的に行うようにしている。図7の例では、画面上の第1ラインからの処理になる1回目の処理は、7ラインについてフィルタ処理を行い、8ライン目からの処理になる2回目以降の処理は、4ライン毎にフィルタ処理を行っている。このライン数は、高域成分と低域成分とに2分解した後に、1ライン分の最低域成分が生成されるために必要なライン数に基づく。
なお、以下において、この最低域成分の1ライン分（最低域成分のサブバンドの1ライン分の係数データ）を生成するために必要な、他のサブバンドも含めたラインの集まりを、ラインブロック（またはプレシンクト）と称する。ここでラインとは、ウェーブレット変換前の画像データに対応するピクチャ若しくはフィールド内、または各サブバンド内において形成される1行分の画素データ若しくは係数データのことを示す。すなわち、ラインブロック（プレシンクト）とは、ウェーブレット変換前の元の画像データにおける、ウェーブレット変換後の最低域成分のサブバンド1ライン分の係数データを生成するために必要なライン数分の画素データ群、または、その画素データ群をウェーブレット変換して得られる各サブバンドの係数データ群のことを示す。
図7によれば、分解レベル＝2のフィルタ処理結果で得られる係数C5は、係数C4および途中計算用バッファ部211に格納された係数Caに基づき算出され、係数C4は、途中計算用バッファ部211に格納された係数Ca、係数Cbおよび係数Ccに基づき算出される。さらに、係数Ccは、係数並び替え用バッファ部212に格納される係数C2および係数C3、並びに、第5ラインの画素データに基づき算出される。また、係数C3は、第5ライン乃至第7ラインの画素データに基づき算出される。このように、分割レベル＝2における低域成分の係数C5を得るためには、第1ライン乃至第7ラインの画素データが必要とされる。
これに対して、2回目以降のフィルタ処理においては、前回までのフィルタ処理で既に算出され係数並び替え用バッファ部212に格納されている係数データを用いることができるので、必要なライン数が少なくて済む。
すなわち、図7によれば、分解レベル＝2のフィルタ処理結果で得られる低域成分の係数のうち、係数C5の次の係数である係数C9は、係数C4および係数C8、並びに、途中計算用バッファ部211に格納された係数Ccに基づき算出される。係数C4は、上述した1回目のフィルタ処理により既に算出され、係数並び替え用バッファ部212に格納されている。同様に、係数Ccは、上述の1回目のフィルタ処理により既に算出され、途中計算用バッファ部211に格納されている。したがって、この2回目のフィルタ処理においては、係数C8を算出するためのフィルタ処理のみが、新たになされることになる。この新たなフィルタ処理は、第8ライン乃至第11ラインがさらに用いられてなされる。
このように、2回目以降のフィルタ処理は、前回までのフィルタ処理により算出され途中計算用バッファ部211および係数並び替え用バッファ部212に格納されたデータを用いることができるので、それぞれ4ライン毎の処理で済むことになる。
なお、画面上のライン数が符号化のライン数と合致しない場合は、原画像データのラインを所定の方法で複製してライン数を符号化のライン数と合わせて、フィルタ処理を行う。
このように、最低域成分1ライン分の係数データが得られるだけのフィルタ処理を段階的に、画面全体のラインに対して複数回に分けて（ラインブロック単位で）行うことで、符号化データを伝送した際に低遅延で復号画像を得ることを可能としている。
ウェーブレット変換を行うためには、ウェーブレット変換そのものを実行するために用いられる第1のバッファと、所定の分割レベルまで処理を実行する間に生成される係数を格納するための第2のバッファとが必要とされる。第1のバッファは、途中計算用バッファ部211に対応し、図7においては点線で囲まれているデータが一時的に保存される。また、第2のバッファは、係数並び替え用バッファ部212に対応し、図7においては一点鎖線に囲まれているデータが一時的に保存される。第2のバッファに格納された係数は、復号の際に用いられるため、後段のエントロピ符号化処理の対象とされる。
係数並び替え部213の処理について説明する。上述したように、ウェーブレット変換部210で算出された係数データは、係数並び替え用バッファ部212に格納され、係数並び替え部213により順序を並び替えられて読み出され、量子化部214に送出される。
既に説明したように、ウェーブレット変換においては、高域成分側から低域成分側へと係数が生成されていく。図7の例では、1回目において、原画像の画素データにより、分解レベル＝1のフィルタ処理で、高域成分の係数C1、係数C2および係数C3が順次生成される。そして、分解レベル＝1のフィルタ処理で得られた低域成分の係数データに対して分解レベル＝2のフィルタ処理を行い、低域成分の係数C4および係数C5が順次生成される。すなわち、第1回目では、係数C1、係数C2、係数C3、係数C4、係数C5の順に、係数データが生成される。この係数データの生成順は、ウェーブレット変換の原理上、必ずこの順序（高域から低域の順）になる。
これに対して、復号側では、低遅延で即座に復号を行うためには低域成分から画像の生成および出力を行う必要がある。そのため、符号化側で生成された係数データを最低域成分側から高域成分側に向けて並び替えて復号側に供給することが望ましい。
図7の例を用いて、より具体的に説明する。図7の右側は、ウェーブレット逆変換を行う合成フィルタ側を示す。復号側の、出力画像データの第1ライン目を含む1回目の合成処理（ウェーブレット逆変換処理）は、符号化側の1回目のフィルタ処理で生成された最低域成分の係数C4および係数C5と、係数C1とを用いて行われる。
すなわち、1回目の合成処理においては、係数C5、係数C4、係数C1の順に符号化側から復号側に係数データを供給し、復号側では、分解レベル＝2に対応する合成処理である合成レベル＝2の処理で、係数C5および係数C4に対して合成処理を行って係数Cfを生成し、バッファに格納する。そして、分解レベル＝1に対応する合成処理である合成レベル＝1の処理で、この係数Cfと係数C1に対して合成処理を行って、第1ラインを出力する。
このように、第1回目の合成処理においては、符号化側で係数C1、係数C2、係数C3、係数C4、係数C5の順に生成され係数並び替え用バッファ部212に格納された係数データが、係数C5、係数C4、係数C1、・・・の順に並び替えられて復号側に供給される。
なお、図7の右側に示す合成フィルタ側では、符号化側から供給される係数について、括弧内に符号化側での係数の番号を記し、括弧外に合成フィルタのライン順を記す。例えば係数C1（5）は、図7の左側の分析フィルタ側では係数C5であって、合成フィルタ側では第1ライン目であることを示す。
符号化側の2回目以降のフィルタ処理で生成された係数データによる復号側の合成処理は、前回の合成処理の際に合成あるいは符号化側から供給された係数データを用いて行うことができる。図7の例では、符号化側の2回目のフィルタ処理で生成された低域成分の係数C8および係数C9を用いて行う、復号側の2回目の合成処理は、符号化側の1回目のフィルタ処理で生成された係数C2および係数C3がさらに必要とされ、第2ライン乃至第5ラインが復号される。
すなわち、2回目の合成処理においては、係数C9、係数C8、係数C2、係数C3の順に符号化側から復号側に係数データを供給する。復号側では、合成レベル＝2の処理において、係数C8および係数C9と、1回目の合成処理の際に符号化側から供給された係数C4とを用いて係数Cgを生成し、バッファに格納する。この係数Cgと、上述の係数C4と、1回目の合成処理により生成されバッファに格納された係数Cfとを用いて係数Chを生成し、バッファに格納する。
そして、合成レベル＝1の処理において、合成レベル＝2の処理で生成されバッファに格納された係数Cgおよび係数Chと、符号化側から供給された係数C2（合成フィルタでは係数C6（2）と示されている）および係数C3（合成フィルタでは係数C7（3）と示されている）とを用いて合成処理が行われ、第2ライン乃至第5ラインが復号される。
このように、第2回目の合成処理においては、符号化側で係数C2、係数C3、（係数C4、係数C5）、係数C6、係数C7、係数C8、係数C9の順に生成された係数データが、係数C9、係数C8、係数C2、係数C3、・・・の順に並び替えられて復号側に供給される。
3回目以降の合成処理においても、同様にして、係数並び替え用バッファ部212に格納された係数データが所定の順序に並び替えられて復号部に供給され、4ラインずつ、ラインが復号される。
なお、符号化側において画面の下端のラインを含むフィルタ処理（以下、最後の回と呼ぶ）に対応する復号側の合成処理では、それまでの処理で生成されバッファに格納された係数データを全て出力することになるため、出力ライン数が多くなる。図7の例では、最後の回に8ラインが出力される。
なお、係数並び替え部213による係数データの並び替え処理は、例えば、係数並び替え用バッファ部212に格納された係数データを読み出す際の読み出しアドレスを、所定の順序に設定することでなされる。
図8を用いて、上述までの処理をより具体的に説明する。図8は、5×3フィルタを用いて、分解レベル＝2までウェーブレット変換によるフィルタ処理を施した例である。ウェーブレット変換部210において、図8のAに一例が示されるように、入力画像データの第1ラインから第7ラインに対して1回目のフィルタ処理が水平および垂直方向にそれぞれ行われる（図8のAのIn-1）。
1回目のフィルタ処理の分解レベル＝1の処理において、係数C1、係数C2、および係数C3の3ライン分の係数データが生成され、図8のBに一例が示されるように、分解レベル＝1で形成される領域HH、領域HLおよび領域LHのそれぞれに配置される（図8のBのWT-1）。
また、分解レベル＝1で形成される領域LLは、分解レベル＝2による水平および垂直方向のフィルタ処理でさらに4分割される。分解レベル＝2で生成される係数C5および係数C4は、分解レベル＝1による領域LL内において、領域LLに係数C5による1ラインが配置され、領域HH、領域HLおよび領域LHのそれぞれに、係数C4による1ラインが配置される。
ウェーブレット変換部210による2回目以降のフィルタ処理では、4ライン毎にフィルタ処理が行われ（図8のAのIn-2・・・）、分解レベル＝1で2ラインずつの係数データが生成され（図8のBのWT-2）、分解レベル＝2で1ラインずつの係数データが生成される。
図7の2回目の例では、分解レベル＝1のフィルタ処理で係数C6および係数C7の2ライン分の係数データが生成され、図8のBに一例が示されるように、分解レベル1で形成される領域HH、領域HLおよび領域LHの、1回目のフィルタ処理で生成された係数データの次から配置される。同様に、分解レベル＝1による領域LL内において、分解レベル＝2のフィルタ処理で生成された1ライン分の係数C9が領域LLに配置され、1ライン分の係数C8が領域HH、領域HLおよび領域LHにそれぞれ配置される。
図8のBのようにウェーブレット変換されたデータを復号した際には、図8のCに一例が示されるように、符号化側の第1ライン乃至第7ラインによる1回目のフィルタ処理に対して、復号側の1回目の合成処理による第1ラインが出力される（図8のCのOut-1）。以降、符号化側の2回目から最後の回の前までのフィルタ処理に対して、復号側で4ラインずつが出力される（図8のCのOut-2・・・）。そして、符号化側の最後の回のフィルタ処理に対して、復号側で8ラインが出力される。
ウェーブレット変換部210で高域成分側から低域成分側へと生成された係数データは、係数並び替え用バッファ部212に順次格納される。係数並び替え部213は、上述した係数データの並び替えが可能となるまで係数並び替え用バッファ部212に係数データが蓄積されると、係数並び替え用バッファ部212から合成処理に必要な順に並び替えて係数データを読み出す。読み出された係数データは、量子化部214に順次、供給される。
量子化部214は、係数並び替え部213から供給された係数データに対して、量子化を行う。この量子化の方法としてはどのようなものを用いても良く、例えば、一般的な手段、つまり、以下の式（3）に示されるような、係数データWを量子化ステップサイズΔで除算する手法を用いれば良い。
量子化係数＝W/Δ ・・・（3）
エントロピ符号化部215は、以上のように量子化されて供給された係数データに対して、レート制御部216から供給される制御信号に基づき出力データのビットレートが目標ビットレートになるように符号化動作を制御して、エントロピ符号化を施す。エントロピ符号化された符号化データは、復号側に供給される。符号化方式としては、既知の技術であるハフマン符号化や算術符号化などが考えられる。勿論、これらに限らず、可逆的な符号化処理が可能であれば、他の符号化方式を用いてもよい。
図7および図8を用いて説明したように、ウェーブレット変換部210は、画像データの複数ライン毎（ラインブロック毎）にウェーブレット変換処理を行う。エントロピ符号化部215では符号化された符号化データは、このラインブロック毎に出力される。すなわち、上述の、5×3フィルタを用い、分解レベル＝2まで処理を行った場合には、1画面のデータの出力において、最初が1ライン、2回目以降最後の回の前までが4ラインずつ、最後の回が8ラインの出力が得られる。
なお、係数並び替え部213で並び替えられた後の係数データをエントロピ符号化する場合、例えば図7で示した1回目のフィルタ処理では、最初の係数C5のラインをエントロピ符号化する際には、未だ過去のラインすなわち既に係数データが生成されたラインが存在していない。したがって、この場合には、この1ラインだけをエントロピ符号化する。これに対して、係数C1のラインを符号化する際には、係数C5および係数C4のラインが過去のラインとなっている。これら近接する複数ラインは、似たデータで構成されていることが考えられるので、これら複数ラインを纏めてエントロピ符号化することは、有効である。
また、上述では、ウェーブレット変換部210において、5×3フィルタを用いてウェーブレット変換によるフィルタ処理を行う例について説明したが、これはこの例に限られない。例えば、ウェーブレット変換部210では、例えば9×7フィルタといった、さらにタップ数の長いフィルタを用いることができる。この場合、フィルタのタップ数が長ければ、フィルタに蓄積されるライン数も多くなるので、画像データの入力から符号化データの出力までの遅延時間が長くなることになる。
また、上述では、説明のためウェーブレット変換の分解レベルを分解レベル＝2としたが、これはこの例に限られず、さらに分解レベルを上げることができる。分解レベルを上げるほど、より高圧縮率を実現することができる。例えば、一般的には、ウェーブレット変換においては、分解レベル＝4までフィルタ処理が繰り返される。なお、分解レベルが上がれば、遅延時間も増大することになる。
したがって、実際のシステムにこの発明を適用する際には、当該システムに要求される遅延時間や復号画像の画質などに応じて、フィルタのタップ数や、分解レベルを決めることが好ましい。このフィルタのタップ数や、分解レベルは、固定値とせずに、適応的に選択するようにすることもできる。
以上のようにウェーブレット変換されて、並び替えられた係数データは、量子化部214において量子化され、エントロピ符号化部215により符号化される。そして、得られた符号化データは、デジタル変調部122、アンプ124、およびビデオ分離／合成部126等を介して、カメラ制御部112に伝送される。その際、符号化データは、パケット化部217においてパケット化され、パケットとして伝送される。
図9は、その符号化データの授受の様子の例を説明する模式図である。上述したように画像データは、ラインブロック毎に、所定のライン数分だけ入力されながらウェーブレット変換される（サブバンド251）。そして、所定のウェーブレット変換分解レベルまで達した際に、最低域サブバンドから最高域サブバンドまでの係数ラインが、生成された順序とは逆に、つまり低域から高域の順番に並び替えられる。
図9のサブバンド251において、斜め線、縦線、および波線の模様分けされた部分は、それぞれ異なるラインブロックである（矢印で示されるように、サブバンド251の白ヌキ部分も同様にラインブロック毎に分割して処理される）。並び替えられた後のラインブロックの係数が上述した様にエントロピ符号化され、符号化データが生成される。
ここで、例えば送信ユニット110が符号化データをそのまま送出すると、カメラ制御部112が各ラインブロックの境界を識別することが困難な（若しくは煩雑な処理が必要になる）場合がある。パケット化部217が符号化データに例えばラインブロック単位でヘッダを付加し、ヘッダと符号化データとから成るパケットを生成し、そのパケットを送出するようにすることにより、データの授受に関する処理を容易化することができる。
送信ユニット110は、図9に示されるように、1番目のラインブロック（Lineblock-1）の符号化データ（エンコードデータ）を生成すると、それをパケット化し、送信パケット261としてカメラ制御部112に送出する。カメラ制御部112は、そのパケットを受信すると（受信パケット271）、そのパケットをデパケタイズして符号化データを取り出し、その符号化データを復号（デコード）する。
同様に、送信ユニット110は、2番目のラインブロック（Lineblock-2）の符号化データを生成すると、それをパケット化し、送信パケット262としてカメラ制御部112に送出する。カメラ制御部112は、そのパケットを受信すると（受信パケット272）、その符号化データを復号（デコード）する。さらに同様に、送信ユニット110は、3番目のラインブロック（Lineblock-3）の符号化データを生成すると、それをパケット化し、送信パケット263としてカメラ制御部112に送出する。カメラ制御部112は、そのパケットを受信すると（受信パケット273）、その符号化データを復号（デコード）する。
送信ユニット110およびカメラ制御部112は、以上のような処理を、X番目の最終ラインブロック（Lineblock-X）まで繰り返す（送信パケット264、受信パケット274）。以上のようにしてカメラ制御部112において復号画像281が生成される。
図10にヘッダの構成例を示す。上述したようにパケットはヘッダ（Header）291と符号化データにより構成されるが、そのヘッダ291には、ラインブロックの番号（NUM）293とそのラインブロックを構成するサブバンド毎の符号量を示す符号化データ長（LEN）294の記述が含まれている。さらに、そのラインブロックを構成するサブバンド毎の量子化ステップサイズ（Δ1乃至ΔN）292の記述が符号化に関する情報（符号化情報）として付加される。
パケットを受信するカメラ制御部112は、受信した符号化データに付加されたヘッダに含まれるこれらの情報を読み取ることにより、各ラインブロックの境界を容易に識別することができ、復号処理の負荷や処理時間を低減させることができる。また、符号化情報を読み取ることにより、カメラ制御部112は、サブバンド毎の逆量子化を行うことができ、よりきめ細かな画質制御を行うことが出来る。
送信ユニット110およびカメラ制御部112は、符号化、パケット化、パケットの送受信、および復号等の各処理を、ラインブロック毎に、同時並行的に（パイプライン化して）実行するようにしてもよい。
このようにすることにより、カメラ制御部112において画像出力が得られるまでの遅延時間を大幅に低減させることができる。図9においては一例として、インタレース動画（60フィールド/秒）での動作例を示している。この例において、1フィールドの時間は、1秒÷60＝約16.7msecであるが、同時並行的に各処理を行うようにすることにより、約5msecの遅延時間で画像出力が得られるようにすることが出来る。
次に、図3のデータ変換部138について説明する。図11は、データ変換部138の詳細な構成例を示すブロック図である。
データ変換部138は、上述したようにビデオ信号復号部136およびデータ制御部137を有する。さらに、データ変換部138は、図11に示されるように、メモリ部301およびパケット化部302を有する。
メモリ部301は、RAM（Random Access Memory）等の書き替え可能な記憶媒体を有しており、データ制御部137より供給される情報を記憶し、データ制御部137の要求に基づいて、記憶している情報をデータ制御部137に供給する。
パケット化部302は、データ制御部137より供給されるリターン用の符号化データをパケット化し、そのパケットをデジタル変調部135に供給する。このパケット化部302の構成および動作は、図4に示されるパケット化部217と基本的に同様である。
ビデオ信号復号部136は、デジタル復調部134より供給される符号化データのパケットを取得するとデパケタイズを行い、符号化データを抽出する。そしてビデオ信号復号部136は、その符号化データの復号処理を行うとともに、その復号処理を行う前の符号化データを、バスD15を介してデータ制御部137に供給する。データ制御部137は、その符号化データを、バスD26を介してメモリ部301に供給して蓄積させたり、メモリ部301に蓄積させた符号化データを、バスD27を介して取得してリターン用のデータとしてパケット化部302に供給したりして、リターン用の符号化データのビットレートを制御する。
このビットレートの変換に関する処理の詳細については後述するが、データ制御部137は、低域成分より順に供給される符号化データをメモリ部301に一時的に蓄積させ、所定のデータ量に達した段階で、そのメモリ部301に蓄積させた符号化データの一部または全部を読み出して、リターン用の符号化データとしてパケット化部302に供給する。つまり、データ制御部137は、メモリ部301を用いて、供給される符号化データよりその一部を抽出して出力し、残りを破棄することにより、符号化データのビットレートを低減させる（変更する）。なお、ビットレートを変更しない場合、データ制御部137は、供給される符号化データの全てを出力する。
パケット化部302は、データ制御部137より供給される符号化データを例えば所定のサイズ毎にパケット化し、デジタル変調部135に供給する。このとき、符号化データのヘッダに関する情報は、デパケタイズを行うビデオ信号復号部136より供給される。パケット化部302は、その供給されたヘッダに関する情報をデータ制御部137において行われたビットレートの変換処理内容に適宜対応させてパケット化を行う。
なお、以上においては、符号化データがデータ制御部137よりメモリ部301に供給されるときに使用されるバスD26と、メモリ部301より読み出された符号化データがデータ制御部137に供給されるときに使用されるバスD27とを互いに独立した2系統のバスとして説明したが、この符号化データの授受を双方向に伝送可能な1系統のバスにより行うようにしてもよい。
また、例えばデータ制御部137がビットレートの変換に利用する際の変数等、符号化データ以外のデータもメモリ部301に保存されるようにしてもよい。
図12は、ビデオ信号復号部136の構成例を示すブロック図である。ビデオ信号復号部136は、ビデオ信号符号化部120に対応する復号部であり、図12に示されるように、デパケタイズ部321、エントロピ復号部322、逆量子化部323、係数バッファ部324、およびウェーブレット逆変換部325を有している。
ビデオ信号符号化部120のパケット化部217から出力された符号化データのパケットは、各種の処理部を介してビデオ信号復号部136のデパケタイズ部321に供給される。デパケタイズ部321は、供給されたパケットをデパケタイズし、符号化データを抽出する。デパケタイズ部321は、その符号化データを、エントロピ復号部322に供給するとともに、データ制御部137にも供給する。
エントロピ復号部322は、符号化データを取得すると、ライン毎にその符号化データをエントロピ復号し、得られた係数データを逆量子化部323に供給する。逆量子化部323は、供給された係数データに対して、デパケタイズ部321より取得した量子化に関する情報に基づいて、逆量子化を行い、得られた係数データを係数バッファ部324に供給し、格納させる。ウェーブレット逆変換部325は、係数バッファ部324に格納された係数データを用いて、合成フィルタによる合成フィルタ処理を行い、合成フィルタ処理の結果を再び係数バッファ部324に格納する。ウェーブレット逆変換部325は、この処理を分解レベルに応じて繰り返して、復号された画像データ（出力画像データ）を得る。ウェーブレット逆変換部325は、この出力画像データを、ビデオ信号復号部136の外部に出力する。
一般的なウェーブレット逆変換の方法の場合、処理対象の分解レベルの全係数に対して、まず、画面水平方向に水平合成フィルタリング処理を行い、次に画面垂直方向に垂直合成フィルタリング処理を行っていた。つまり、各合成フィルタリング処理の度に、その合成フィルタリング処理の結果をバッファに保持させる必要があるが、その際、バッファは、その時点の分解レベルの合成フィルタリング結果と、次の分解レベルの全係数を保持する必要があり、多大なメモリ容量を必要とすることになる（保持するデータ量が多い）。
また、この場合、ピクチャ（インタレース方式の場合フィールド）内において全てのウェーブレット逆変換が終了するまで画像データ出力が行われないので、入力から出力までの遅延時間が増大する。
これに対して、ウェーブレット逆変換部325の場合、ラインブロック単位で垂直合成フィルタリング処理および水平合成フィルタリング処理をレベル1まで連続して行うので、従来の方法と比較して、一度に（同時期に）バッファリングする必要のあるデータの量が少なく、用意すべきバッファのメモリ量を大幅に低減させることができる。また、レベル1まで合成フィルタリング処理（ウェーブレット逆変換処理）が行われることにより、ピクチャ内の全画像データが得られる前に（ラインブロック単位で）画像データを順次出力させることができ、従来の方法と比較して遅延時間を大幅に低減させることができる。
なお、送信ユニット110のビデオ信号復号部121（図3）も、このビデオ信号復号部136と基本的に同様の構成を有し、同様の処理を実行する。従って、図12を参照して上述した説明は、基本的にビデオ信号復号部121にも適用させることができる。ただし、ビデオ信号復号部121の場合、デパケタイズ部321からの出力は、エントロピ復号部322に供給されるのみであり、データ制御部137への供給は行われない。
以上のような図3に示される各部により実行される各種処理は、例えば、図13に示されるように、適宜、並列的に実行される。
図13は、図3に示される各部により実行される処理の各要素の並列動作の例を概略的に示す図である。この図13は、上述した図8と対応するものである。画像データの入力In-1（図13のA）に対して、ウェーブレット変換部210（図4）で1回目のウェーブレット変換WT-1が施される（図13のB）。図7を参照し説明したように、この1回目のウェーブレット変換WT-1は、最初の3ラインが入力された時点で開始され、係数C1が生成される。すなわち、画像データIn-1の入力からウェーブレット変換WT-1が開始されるまで、3ライン分の遅延が生じる。
生成された係数データは、係数並び替え用バッファ部212（図4）に格納される。以降、入力された画像データに対してウェーブレット変換が施され、1回目の処理が終了すると、そのまま2回目のウェーブレット変換WT-2に処理が移行する。
2回目のウェーブレット変換WT-2のための画像データIn-2の入力と、当該2回目のウェーブレット変換WT-2の処理と並列的に、係数並び替え部213（図4）により3個の、係数C1、係数C4、および係数C5の並び替えOrd-1が実行される（図13のC）。
なお、ウェーブレット変換WT-1の終了から並び替えOrd-1が開始されるまでの遅延は、例えば、並び替え処理を係数並び替え部213に指示する制御信号の伝達に伴う遅延や、制御信号に対する係数並び替え部213の処理開始に要する遅延、プログラム処理に要する遅延といった、装置やシステム構成に基づく遅延であって、符号化処理における本質的な遅延ではない。
係数データは、並び替えが終了した順に係数並び替え用バッファ部212から読み出され、エントロピ符号化部215（図4）に供給され、エントロピ符号化EC-1が行われる（図13のD）。このエントロピ符号化EC-1は、3個の、係数C1、係数C4、および係数C5の、全ての並び替えの終了を待たずに開始することができる。例えば、最初に出力される係数C5による1ラインの並び替えが終了した時点で、当該係数C5に対するエントロピ符号化を開始することができる。この場合、並び替えOrd-1の処理開始からエントロピ符号化EC-1の処理開始までの遅延は、1ライン分となる。
エントロピ符号化部215によるエントロピ符号化EC-1が終了した符号化データは、所定の信号処理が施された後、トライアックスケーブル111を介してカメラ制御部112に伝送される（図13のE）。このとき、符号化データは、パケット化されて伝送される。
送信ユニット110のビデオ信号符号化部120に対して、1回目の処理による7ライン分の画像データ入力に続けて、画面上の下端のラインまで画像データが順次、入力される。ビデオ信号符号化部120では、画像データの入力In-n（nは2以上）に伴い、上述したようにして、4ライン毎にウェーブレット変換WT-n、並び替えOrd-nおよびエントロピ符号化EC-nを行う。ビデオ信号符号化部120における最後の回の処理に対する並び替えOrdおよびエントロピ符号化ECは、6ラインに対して行われる。これらの処理は、ビデオ信号符号化部120において、図13のA乃至図13のDに例示されるように、並列的に行われる。
ビデオ信号符号化部120によるエントロピ符号化EC-1により符号化された符号化データのパケットは、カメラ制御部112に伝送され、所定の信号処理が施された後、ビデオ信号復号部136に供給される。デパケタイズ部321は、パケットより符号化データを抽出するとそれをエントロピ復号部322に供給する。エントロピ復号部322は、供給された、エントロピ符号化EC-1により符号化された符号化データに対して、順次、エントロピ符号の復号iEC-1を行い、係数データを復元する（図13のF）。復元された係数データは、逆量子化部323において逆量子化された後、順次、係数バッファ部324に格納される。ウェーブレット逆変換部325は、係数バッファ部324にウェーブレット逆変換が行えるだけ係数データが格納されたら、係数バッファ部324から係数データを読み出して、読み出された係数データを用いてウェーブレット逆変換iWT-1を行う（図13のG）。
図7を参照して説明したように、ウェーブレット逆変換部325によるウェーブレット逆変換iWT-1は、係数C4および係数C5が係数バッファ部324に格納された時点で開始することができる。したがって、エントロピ復号部322による復号iEC-1が開始されてからウェーブレット逆変換部325によるウェーブレット逆変換iWT-1が開始されるまでの遅延は、2ライン分となる。
ウェーブレット逆変換部325において、1回目のウェーブレット変換による3ライン分のウェーブレット逆変換iWT-1が終了すると、ウェーブレット逆変換iWT-1で生成された画像データの出力Out-1が行われる（図13のH）。出力Out-1では、図7および図8を用いて説明したように、第1ライン目の画像データが出力される。
ビデオ信号復号部136に対して、ビデオ信号符号化部120における1回目の処理による3ライン分の符号化された係数データの入力に続けて、エントロピ符号化EC-n（nは2以上）により符号化された係数データが順次、入力される。ビデオ信号復号部136では、入力された係数データに対して、上述したようにして、4ライン毎にエントロピ復号iEC-nおよびウェーブレット逆変換iWT-nを行い、ウェーブレット逆変換iWT-nにより復元された画像データの出力Out-nを順次、行う。ビデオ信号符号化部120の最後の回に対応するエントロピ復号iECおよびウェーブレット逆変換iWTは、6ラインに対して行われ、出力Outは、8ラインが出力される。これらの処理は、ビデオ信号復号部136において、図13のF乃至図13のHに例示されるように、並列的に行われる。
上述のようにして、画面上部から下部の方向に順番に、ビデオ信号符号化部120およびビデオ信号復号部136における各処理を並列的に行うことで、画像圧縮処理および画像復号処理をより低遅延で行うことが可能となる。
図13を参照して、5×3フィルタを用いて分解レベル＝2までウェーブレット変換を行った場合の、画像入力から画像出力までの遅延時間を計算してみる。第1ライン目の画像データがビデオ信号符号化部120に入力されてから、この第1ライン目の画像データがビデオ信号復号部136から出力されるまでの遅延時間は、下記の各要素の総和となる。なお、ここでは、伝送路における遅延や、装置各部の実際の処理タイミングに伴う遅延などの、システムの構成により異なる遅延は、除外している。
（1）最初のライン入力から7ライン分のウェーブレット変換WT-1が終了するまでの遅延D_WT
（2）3ライン分の計数並び替えOrd-1に伴う時間D_Ord
（3）3ライン分のエントロピ符号化EC-1に伴う時間D_EC
（4）3ライン分のエントロピ復号iEC-1に伴う時間D_iEC
（5）3ライン分のウェーブレット逆変換iWT-1に伴う時間D_iWT
図13を参照して、上述の各要素による遅延の計算を試みる。（1）の遅延D_WTは、10ライン分の時間である。（2）の時間D_Ord、（3）の時間D_EC、（4）の時間D_iEC、および（5）の時間D_iWTは、それぞれ3ライン分の時間である。また、ビデオ信号符号化部120において、並び替えOrd-1が開始されてから1ライン後には、エントロピ符号化EC-1を開始することができる。同様に、ビデオ信号復号部136において、エントロピ復号iEC-1が開始されてから2ライン後には、ウェーブレット逆変換iWT-1を開始することができる。また、エントロピ復号iEC-1は、エントロピ符号化EC-1で1ライン分の符号化が終了した時点で処理を開始することができる。
したがって、この図13の例では、ビデオ信号符号化部120に第1ライン目の画像データが入力されてから、ビデオ信号復号部136から当該第1ライン目の画像データが出力されるまでの遅延時間は、10+1+1+2+3=17ライン分となる。
遅延時間について、より具体的な例を挙げて考察する。入力される画像データがHDTV(High Definition Television)のインタレースビデオ信号の場合、例えば1920画素×1080ラインの解像度で1フレームが構成され、1フィールドは、1920画素×540ラインとなる。したがって、フレーム周波数を30Hzとした場合、1フィールドの540ラインが16.67msec（＝1sec/60フィールド）の時間に、ビデオ信号符号化部120に入力されることになる。
したがって、7ライン分の画像データの入力に伴う遅延時間は、0.216msec（＝16.67msec×7/540ライン）であり、例えば1フィールドの更新時間に対して非常に短い時間となる。また、上述した（1）の遅延D_WT、（2）の時間D_Ord、（3）の時間D_EC、（4）の時間D_iEC、および（5）の時間D_iWTの総和についても、処理対象のライン数が少ないため、遅延時間が非常に短縮される。各処理を行う要素をハードウェア化すれば、処理時間をさらに短縮することも可能である。
次に、データ制御部137の動作について説明する。
上述したように、画像データは、ビデオ信号符号化部120においてラインブロック単位でウェーブレット変換され、得られた各サブバンドの係数データが低域から高域の順に並び替えられた後、量子化され、符号化されてデータ変換部138に供給される。
例えば、ビデオ信号符号化部120において図14のAのように分割処理を2回繰り返すウェーブレット変換（分割レベル＝2とする場合のウェーブレット変換）が行われるとし、得られる各サブバンドを低域からLLL、LHL、LLH、LHH、HL、LH、HHとすると、これらのサブバンドの符号化データは、図14のBおよび図14のCに示されるように、ラインブロック毎に、低域から高域の順にデータ変換部138に供給される。つまり、データ制御部137にも同様の順でデパケタイズされた符号化データが供給される。
図14のBおよび図14のCは、データ制御部137に供給される符号化データの（サブバンドの）順序を示しており、左から順に供給されることを示している。つまり、最初に、図14のAにおいて右上左下の斜め線で示される、ベースバンドの画像データにおいて画像内の一番上のラインブロックである第1ラインブロックの各サブバンドの符号化データが、図14のBに示されるように、低域のサブバンドから高域のサブバンドの順に、データ制御部137に供給される。
図14のBにおいて、1LLLは、第1ラインブロックのサブバンドLLLを示しており、1LHLは、第1ラインブロックのサブバンドLHLを示しており、1LLHは、第1ラインブロックのサブバンドLLHを示しており、1LHHは、第1ラインブロックのサブバンドLHHを示しており、1HLは、第1ラインブロックのサブバンドHLを示しており、1LHは、第1ラインブロックのサブバンドLHを示しており、1HHは、第1ラインブロックのサブバンドHHを示している。この図14のBの例においては、最初に1LLLの符号化データ（1LLLの係数データを符号化して得られた符号化データ）が供給され、その後、1LHLの符号化データ、1LLHの符号化データ、1LHHの符号化データ、1HLの符号化データ、1LHの符号化データの順で供給され、最後に1HHの符号化データが供給される。
そして、第1ラインブロックのデータが全て供給されると、次に、図14のAにおいて右下左上の斜め線で示される、ベースバンドの画像データにおいて第1ラインブロックの1つ下のラインブロックである第2ラインブロックの各サブバンドの符号化データが、図14のCに示されるように、低域のサブバンドから高域のサブバンドの順に、データ制御部137に供給される。
図14のCにおいて、2LLLは、第2ラインブロックのサブバンドLLLを示しており、2LHLは、第2ラインブロックのサブバンドLHLを示しており、2LLHは、第2ラインブロックのサブバンドLLHを示しており、2LHHは、第2ラインブロックのサブバンドLHHを示しており、2HLは、第2ラインブロックのサブバンドHLを示しており、2LHは、第2ラインブロックのサブバンドLHを示しており、2HHは、第2ラインブロックのサブバンドHHを示している。この図14のCの例においては、図14のBの場合と同様に、各サブバンドの符号化データが、2LLL（第2ラインブロックのサブバンドLLL）、2LHL、2LLH、2LHH、2HL、2LH、2HHの順で供給される。
以上のように、符号化データは、ラインブロック毎に、ベースバンドの画像データにおいて画像の上のラインブロックから順に供給される。つまり、第3ラインブロック以降の各ラインブロックの各サブバンドの符号化データも、図14のBおよび図14のCの場合と同様の順で供給される。
なお、このサブバンド毎の順序は、低域から高域であれば良いので、例えば、LLL、LLH、LHL、LHH、LH、HL、HHの順で供給されるようにしてもよいし、その他の順序でもよい。また、分解レベルが3以上の場合も同様に低域のサブバンドから高域のサブバンドの順に供給される。
このような順序で供給される符号化データに対して、データ制御部137は、ラインブロック毎に、その符号化データをメモリ部301に蓄積させながら、その蓄積させた符号化データの符号量の総和をカウントし、その符号量が目標値に達した場合、その直前のサブバンドまでの符号化データを、メモリ部301より読み出してパケット化部302に供給する。
図14のBおよび図14のCの例で説明すると、最初に、図14のBの矢印331に示されるように、第1ラインブロックの符号化データに対して、データ制御部137は、供給される順に符号化データをメモリ部301に蓄積し、その蓄積した符号化データの符号量の総和である累積値をカウント（算出）する。つまり、データ制御部137は、符号化データをメモリ部301に蓄積する毎に、その蓄積した符号化データの符号量を累積値に加算する。
データ制御部137は、累積値が予め定められた目標符号量に達するまで、符号化データをメモリ部301に蓄積し、累積値が目標符号量に達すると、符号化データの蓄積を終了し、直前のサブバンドまでの符号化データをメモリ部301より読み出して出力する。この目標符号量は、所望のビットレートに従って設定される。
図14のBの例の場合、データ制御部137は、供給される符号化データを矢印331のようにその符号量をカウントしながら順次蓄積し、累積値が目標符号量に達するコードストリーム打ち切り点P1まで蓄積すると、符号化データの蓄積を終了し、矢印332に示されるように、先頭のサブバンドの符号化データから、現在蓄積中のサブバンドの直前のサブバンドまでの符号化データ（図14のBの例の場合、1LLL、1LHL、1LLH、1LHH、および1HL）を読み出して出力し、現在のサブバンドの先頭である点P2から点P1までのデータ（図14のBの例の場合、1LHの一部）を破棄する。
このように、データ制御部137がサブバンド単位でデータ出力を制御するのは、ビデオ信号復号部121において復号することができるようにするためである。エントロピ符号化部215は、少なくともサブバンド単位で復号することができるような方法で係数データの符号化を行っており、その符号化データは、ビデオ信号復号部121において復号可能な形式により構成されている。従って、データ制御部137は、符号化データのその形式を変更しないように、サブバンド単位で符号化データの取捨選択を行う。
ラインブロック単位で行われるウェーブレット変換（ウェーブレット逆変換）の場合、そのラインブロック内の全てのサブバンドの係数データが揃っていなくても、ウェーブレット逆変換時にデータ補間等を行うことにより、ベースバンドの画像データをある程度復元することができる。つまり、図14のAの例において低域のサブバンドであるLLL，LHL，LLH、およびLHHの係数データのみ存在し、高域のサブバンドHL，LH、およびHHの係数データが存在しないような場合であっても、例えば、低域のサブバンドであるLLL，LHL，LLH、およびLHHの係数データを用いて、高域のサブバンドHL，LH、およびHHの係数データを代替することにより、ウェーブレット変換前の画像をある程度復元することができる。ただし、この場合、画像の高周波成分が存在しないことになるので、補間の方法にもよるが、一般的には元の画像と比較して復元された画像の画質は劣化する（解像度が低下する）。しかしながら、ウェーブレット変換においては、図6を参照して説明したように、基本的に低域成分に画像のエネルギが集中する。従って、画像を視聴するユーザにとって、高域成分の損失による画質劣化の影響は少ない。
データ制御部137は、供給される符号化データがこのような性質を有することを利用して符号化データのビットレートを制御する。つまり、データ制御部137は、供給される符号化データより、その供給順に従って、先頭から目標符号量に達するまでの符号化データをリターン用の符号化データとして抽出する。目標符号量が元の符号化データの符号量より少ない場合、つまり、データ制御部137がビットレートを低下させる場合、このリターン用の符号化データは、元の符号化データの低域成分により構成される。換言すれば、元の符号化データより一部の高域成分が除去されたものが、リターン用の符号化データとして抽出される。
データ制御部137は、以上の処理を各ラインブロックに対して行う。つまり、図14のBに示されるように第1ラインブロックについて処理が終了すると、データ制御部137は、図14のCに示されるように次に供給される第2ラインブロックについて同様に処理を行い、矢印333に示されるように先頭から目標符号量に達するまで、供給される符号化データをメモリ部301に蓄積させながら累積値をカウントし、コードストリーム打ち切り点P3に達した時点で、矢印334に示されるように、現在蓄積中のサブバンドの符号化データ（図14のCの例の場合、2HL）を破棄し、先頭から直前のサブバンドまでの符号化データ（図14のCの例の場合、2LLL、2LHL、2LLH、および2LHH）をメモリ部301より読み出して、リターン用の符号化データとして出力する。
第2ラインブロックの次のラインブロックである第3ラインブロック以降の各ラインブロックについても同様にビットレートの変換処理が行われる。
なお、各サブバンドの符号量は、ラインブロック毎に独立しているため、図14のBおよび図14のCに示されるように、コードストリーム打ち切り点（P1やP3）の位置も互いに独立している（互いに異なる場合もあれば互いに一致する場合もある）。従って、破棄するサブバンド（つまり、図14のBおよび図14のCにおける点P2や点P4の位置）も互いに独立している。
なお、目標符号量は固定値であってもよいし、可変としてもよい。例えば、同一画像内のラインブロック間や、フレーム間において解像度が極端に異なると、その画質の差が目立つ（画像を視聴するユーザにとって画質劣化とされる）ことも考えられる。このような現象を抑制するために、例えば画像の内容などに基づいて、目標符号量（つまりビットレート）を適宜制御するようにしてもよい。また、例えばトライアックスケーブル111等の伝送路における帯域、伝送先の送信ユニット110の処理能力や負荷状況、または、リターンビデオ映像として要求される画質等、任意の外部条件に基づいて目標符号量を適宜制御するようにしてもよい。
以上のようにしてデータ制御部137は、供給された符号化データを復号することなく、リターン用の符号化データを、供給された符号化データのビットレートと互いに独立した所望のビットレートで作成することができる。また、データ制御部137は、このビットレート変換処理を、符号化データをその供給順に先頭から抽出して出力するという簡易な処理によって行うことができるため、容易かつ高速に符号化データのビットレートを変換することができる。
つまり、データ制御部137は、本線のデジタルビデオ信号が供給されてから、リターン用のデジタルビデオ信号を送信ユニット110に返すまでの遅延時間をより短縮させることができる。
図15は、図3に示されるデジタルトライアックスシステム100の各部において実行される各処理のタイミングの関係を示す模式図であり、図2に対応する図である。図15の一番上の段に示される、送信ユニット110のビデオ信号符号化部120におけるエンコード処理や、図15の上から2番目の段に示される、カメラ制御部112のビデオ信号復号部136におけるデコード処理は、図2に示される場合と同様のタイミングで実行されるので、エンコード処理が開始されてから、デコード処理結果が出力されるまでの遅延時間はP［msec］である。
その後、データ制御部137は、図15の上から3番目の段に示されるように、デコード結果の出力が開始されてからT［msec］後にリターン用の符号化データを出力し、ビデオ信号復号部121は、図15の一番下の段に示されるように、L［msec］後に、そのリターン用の符号化データを復号し、画像を出力する。
つまり、本線用のビデオ映像のエンコード開始から、リターン回線のビデオ映像のデコード画像の出力開始までの時間は、（P＋T＋L）[msec]になるが、ここで、T+Lの時間がPより短ければ、図2の場合よりも遅延時間が短縮されていることになる。
P［msec］は、エンコード処理とデコード処理に要する時間の和（エンコード処理に必要な最低な情報が集まるまでの時間とエンコード処理に必要な最低な情報が集まるまでの時間の和）であり、L［msec］は、デコード処理に要する時間（デコード処理に必要な最低な情報が集まるまでの時間）である。つまり、T［msec］がエンコード処理に要する時間より短ければ、図2の場合よりも遅延時間が短縮されていることになる。
エンコード処理においては、図4等を参照して説明したように、ウェーブレット変換、係数並び替え、およびエントロピ符号化などの処理が行われる。ウェーブレット変換においては、分割処理が再帰的に繰り返され、その間途中計算用バッファ部211に何度もデータが蓄積される。また、ウェーブレット変換により得られた係数データは、係数並び替え用バッファ部212に、少なくとも1ラインブロック分のデータが蓄積されるまで保持される。そして、さらに、係数データにはエントロピ符号化が行われる。従って、エンコード処理に要する時間は、入力画像データが1ラインブロック分入力される時間よりも明らかに長い。
これに対して、T［msec］は、データ制御部137において、符号化データの一部を抽出して伝送を開始するまでの時間である。例えば、本線の符号化データが150Mbpsであり、リターン用の符号化データが50Mbpsである場合、供給される150Mbpsのデータ50Mbpsのデータを先頭より蓄積し、50Mbps分の符号化データが蓄積された時点で出力が開始される。このデータの取捨選択の時間がT［msec］である。つまり、T［msec］は、150Mbpsの符号化データが1ラインブロック分供給される時間よりも短くなる。
従って、T［msec］は、エンコード処理に要する時間よりも明らかに短く、本線用のビデオ映像のエンコード開始から、リターン回線のビデオ映像のデコード画像の出力開始までの遅延時間は、図2の場合よりも図15の場合の方が明らかに短くなる。
なお、上述したようにデータ制御部137の処理は容易であり、その詳細な構成については後述するが、図1に示される従来のようにエンコーダを用いる場合よりも、明らかにその回路構成を小規模なものとすることができる。つまり、このデータ制御部137を適用することにより、カメラ制御部112の回路規模やコストを低減させることもできる。
次に、このような処理を行うデータ制御部137の内部の構成について説明する。図16は、データ制御部137の詳細な構成例を示すブロック図である。図16において、データ制御部137は、累積値初期化部351、符号化データ取得部352、ラインブロック判定部353、累積値カウント部354、累積結果判定部355、符号化データ蓄積制御部356、第1符号化データ出力部357、第2符号化データ出力部358、および終了判定部359を有している。なお、図中、実線の矢印は、符号化データの移動方向を含むブロック間の関係を示しており、点線の矢印は、符号化データの移動方向を含まないブロック間の制御関係を示している。
累積値初期化部351は、累積値カウント部354においてカウントされる累積値371の値を初期化する。累積値とは、メモリ部301に蓄積した符号化データの符号量の総和である。累積値初期化部351は、累積値の初期化を行うと、符号化データ取得部352に符号化データの取得を開始させる。
符号化データ取得部352は、累積値初期化部351および符号化データ蓄積制御部356に制御され、ビデオ信号復号部136より供給される符号化データを取得し、それをラインブロック判定部353に供給し、ラインブロックの判定を行わせる。
ラインブロック判定部353は、符号化データ取得部352より供給された符号化データが、現在取得中のラインブロックの最後の符号化データであるか否かを判定する。例えば、ビデオ信号復号部136のデパケタイズ部321からは、符号化データとともに、そのパケットのヘッダ情報の一部または全部が供給される。ラインブロック判定部353は、そのような情報に基づいて、供給された符号化データが現在のラインブロックの最後の符号化データであるか否かを判定する。最後の符号化データではないと判定した場合、ラインブロック判定部353は、符号化データを累積値カウント部354に供給し、累積値のカウントを実行させる。逆に、最後の符号化データであると判定した場合、ラインブロック判定部353は、符号化データを第2符号化データ出力部358に供給し、符号化データの出力を開始させる。
累積値カウント部354は、図示せぬ記憶部を内蔵しており、その記憶部に、メモリ部301に蓄積させた符号化データの符号量の総和を示す変数である累積値を保持している。累積値カウント部354は、ラインブロック判定部353より符号化データが供給されると、その符号化データの符号量を累積値に加算し、その加算結果を累積結果判定部355に供給する。
累積結果判定部355は、その累積値が、予め定められたリターン用の符号化データのビットレートに対応する目標符号量に達したか否かを判定し、達していないと判定した場合、累積値カウント部354を制御し、符号化データを符号化データ蓄積制御部356に供給させ、さらに、符号化データ蓄積制御部356を制御し、その符号化データをメモリ部301に蓄積させる。また、累積値が目標符号量に達したと判定した場合、累積結果判定部355は、第1符号化データ出力部357を制御し、符号化データの出力を開始させる。
符号化データ蓄積制御部356は、累積値カウント部354より符号化データを取得すると、それをメモリ部301に供給して蓄積させる。符号化データを蓄積させると、符号化データ蓄積制御部356は、符号化データ取得部352に新たな符号化データの取得を開始させる。
第1符号化データ出力部357は、累積結果判定部355に制御されると、メモリ部301に蓄積されている符号化データの内、最初の符号化データから現在処理中のサブバンドの直前のサブバンドの符号化データまでを読み出してデータ制御部137の外部に出力する。符号化データを出力すると、第1符号化データ出力部357は、終了判定部359に処理終了を判定させる。
第2符号化データ出力部358は、ラインブロック判定部353より符号化データが供給されると、さらに、メモリ部301に蓄積されている符号化データを全て読み出し、それらの符号化データをデータ制御部137の外部に出力する。符号化データを出力すると、第2符号化データ出力部358は、終了判定部359に処理終了を判定させる。
終了判定部359は、符号化データの入力が終了したか否かを判定し、終了していないと判定した場合、累積値初期化部351を制御して、累積値371を初期化させる。また、終了したと判定した場合、終了判定部359は、ビットレート変換処理を終了する。
次に、図3の各部において実行される処理の流れについて具体的な例を説明する。図17は、デジタルトライアックスシステム100全体（送信ユニット110とカメラ制御部112）において実行される主な処理の流れの例を示すフローチャートである。
図17に示されるように、送信ユニット110は、ステップS1において、ビデオカメラ部113より供給される画像データを符号化し、ステップS2において、その符号化により得られた符号化データを、変調したり信号増幅したりして、カメラ制御部112に供給する。
カメラ制御部112は、ステップS21において、符号化データを取得すると、信号増幅や復調等の処理を行い、さらにステップS22において、符号化データを復号し、ステップS23において符号化データのビットレートを変換し、ステップS24において、そのビットレートを変換した符号化データを、変調したり信号増幅したりして、送信ユニット110に送信する。
送信ユニット110は、ステップS3において、その符号化データを取得する。符号化データを取得した送信ユニット110は、その後、信号増幅や復調等の処理を行い、さらに符号化データを復号し、画像を表示部151に表示する等の処理を行う。
なお、ステップS1の画像データの符号化処理、ステップS22の符号化データ復号処理、およびステップS23のビットレート変換処理の詳細な流れについては後述する。また、送信ユニット110においてステップS1乃至ステップS3の各処理は互いに並行して実行されるようにしてもよい。また、カメラ制御部112においても、同様に、ステップS21乃至ステップS24の各処理が互いに並行して実行されるようにしてもよい。
次に、図18のフローチャートを参照して、図17のステップS1において実行される符号化処理の詳細な流れの例を説明する。
符号化処理が開始されると、ウェーブレット変換部210は、ステップS41において、処理対象ラインブロックの番号Aを初期設定にする。通常の場合、番号Aは「1」に設定される。設定が終了すると、ウェーブレット変換部210は、ステップS42において、最低域サブバンドにおいて上からA番目の1ラインを生成するのに必要なライン数（すなわち、1ラインブロック）の画像データを取得し、その画像データに対して、ステップS43において画面垂直方向に並ぶ画像データに対して分析フィルタリングを行う垂直分析フィルタリング処理を行い、ステップS44において画面水平方向に並ぶ画像データに対して分析フィルタリング処理を行う水平分析フィルタリング処理を行う。
ステップS45においてウェーブレット変換部210は、分析フィルタリング処理を最終レベルまで行ったか否かを判定し、分解レベルが最終レベルに達していないと判定した場合、処理をステップS43に戻し、現在の分解レベルに対して、ステップS43およびステップS44の分析フィルタリング処理を繰り返す。
ステップS45において、分析フィルタリング処理が最終レベルまで行われたと判定した場合、ウェーブレット変換部210は、処理をステップS46に進める。
ステップS46において、係数並び替え部213は、ラインブロックA（ピクチャ（インタレース方式の場合フィールド）の上からA番目のラインブロック）の係数を低域から高域の順番に並び替える。量子化部214は、ステップS47において、その並び替えられた係数に対して所定の量子化係数を用いて量子化を行う。エントロピ符号化部215は、ステップS48において、その係数に対してライン毎にエントロピ符号化する。エントロピ符号化が終了すると、パケット化部217は、ステップS49において、ラインブロックAの符号化データをパケット化し、ステップS50において、そのパケット（ラインブロックAの符号化データ）を外部に送出する。
ウェーブレット変換部210は、ステップS51において番号Aの値を「1」インクリメントして次のラインブロックを処理対象とし、ステップS52において、処理対象のピクチャ（インタレース方式の場合フィールド）について、未処理の画像入力ラインが存在するか否かを判定し、存在すると判定した場合、処理をステップS42に戻し、新たな処理対象のラインブロックに対してそれ以降の処理を繰り返す。
以上のようにステップS42乃至ステップS52の処理が繰り返し実行され、各ラインブロックが符号化される。そして、ステップS52において、未処理の画像入力ラインが存在しないと判定した場合、ウェーブレット変換部210は、そのピクチャに対する符号化処理を終了する。次のピクチャに対しては新たに符号化処理が開始される。
このように、ウェーブレット変換部210は、ラインブロック単位で垂直分析フィルタリング処理および水平分析フィルタリング処理を最終レベルまで連続して行うので、従来の方法と比較して、一度に（同時期に）保持する（バッファリングする）必要のあるデータの量が少なく、用意すべきバッファのメモリ量を大幅に低減させることができる。また、最終レベルまで分析フィルタリング処理が行われることにより、後段の係数並び替えやエントロピ符号化等の処理も行うことができる（つまり、係数並び替えやエントロピ符号化をラインブロック単位で行うことができる）。従って、画面全体に対してウェーブレット変換を行う方法と比較して遅延時間を大幅に低減させることができる。
次に、図19のフローチャートを参照して、図17のステップS22において実行される復号処理の詳細な流れの例を説明する。この復号処理は、図18のフローチャートに示される符号化処理に対応する。
復号処理が開始されると、ステップS71において、デパケタイズ部321が取得したパケットをデパケタイズして符号化データを取得する。ステップS72において、エントロピ復号部322は、ライン毎に符号化データをエントロピ復号する。ステップS73において、逆量子化部323は、エントロピ復号されて得られた係数データに対して逆量子化を行う。ステップS74において、係数バッファ部324は、その逆量子化された係数データを保持する。ステップS75においてウェーブレット逆変換部325は、係数バッファ部324に1ラインブロック分の係数が蓄積されたか否かを判定し、蓄積されていないと判定した場合、処理をステップS71に戻し、それ以降の処理を実行させ、係数バッファ部324に1ラインブロック分の係数が蓄積されるまで待機する。
ステップS75において係数バッファ部324に1ラインブロック分の係数が蓄積されたと判定した場合、ウェーブレット逆変換部325は、処理をステップS76に進め、係数バッファ部324に保持されている係数を1ラインブロック分読み出す。
そしてその読み出した係数に対して、ウェーブレット逆変換部325は、ステップS77において、画面垂直方向に並ぶ係数に対して合成フィルタリング処理を行う垂直合成フィルタリング処理を行い、ステップS78において、画面水平方向に並ぶ係数に対して合成フィルタリング処理を行う水平合成フィルタリング処理を行い、ステップS79において、合成フィルタリング処理がレベル1（分解レベルの値が「1」のレベル）まで終了したか否か、すなわち、ウェーブレット変換前の状態まで逆変換したか否かを判定し、レベル1まで達していないと判定した場合、処理をステップS77に戻し、ステップS77およびステップS78のフィルタリング処理を繰り返す。
ステップS79において、レベル1まで逆変換処理が終了したと判定した場合、ウェーブレット逆変換部325は、処理をステップS80に進め、逆変換処理により得られた画像データを外部に出力する。
ステップS81において、エントロピ復号部322は、復号処理を終了するか否かを判定し、デパケタイズ部321を介しての符号化データの入力が継続しており、復号処理を終了しないと判定した場合、処理をステップS71に戻し、それ以降の処理を繰り返す。また、ステップS81において、符号化データの入力が終了するなどして復号処理を終了すると判定した場合、エントロピ復号部322は、復号処理を終了する。
以上のように、ウェーブレット逆変換部325の場合、ラインブロック単位で垂直合成フィルタリング処理および水平合成フィルタリング処理をレベル1まで連続して行うので、画面全体に対してウェーブレット逆変換を行う方法と比較して、一度に（同時期に）バッファリングする必要のあるデータの量が少なく、用意すべきバッファのメモリ量を大幅に低減させることができる。また、レベル1まで合成フィルタリング処理（ウェーブレット逆変換処理）が行われることにより、ピクチャ内の全画像データが得られる前に（ラインブロック単位で）画像データを順次出力させることができ、画面全体に対してウェーブレット逆変換を行う方法と比較して遅延時間を大幅に低減させることができる。
次に図20のフローチャートを参照して、図17のステップS23において実行されるビットレート変換処理の流れの例を説明する。
ビットレート変換処理が開始されると、累積値初期化部351は、ステップS101において、累積値371の値を初期化する。ステップS102において、符号化データ取得部352は、ビデオ信号復号部136より供給される符号化データを取得する。ステップS103において、ラインブロック判定部353は、ラインブロック内の最後の符号化データか否かを判定する。最後の符号化データでないと判定された場合、処理はステップS104に進む。ステップS104において、累積値カウント部354は、新たに取得された符号化データの符号量を保持している累積値に加算することにより累積値をカウントする。
ステップS105において、累積結果判定部355は、現在の累積値である累積結果が、予め処理対象のラインブロックに割り当てられた符号量、すなわち、処理対象のラインブロックの目標符号量である割り当て符号量に達したか否かを判定する。割り当て符号量に達していないと判定された場合、処理はステップS106に進む。ステップS106において、符号化データ蓄積制御部356は、ステップS102において取得された符号化データをメモリ部301に供給し、蓄積させる。ステップS106の処理を終了すると、処理はステップS102に戻る。
また、ステップS105において、累積結果が割り当て符号量に達したと判定された場合、処理はステップS107に進む。ステップS107において、第1符号化データ出力部357は、メモリ部301に記憶されている符号化データの内、先頭のサブバンドから、ステップS102において取得された符号化データが属するサブバンドの直前のサブバンドまでの符号化データを読み出して出力する。ステップS107の処理を終了すると、処理はステップS109に進む。
また、ステップS103において、ステップS102の処理により取得された符号化データがラインブロック内の最後の符号化データであると判定された場合、処理はステップS108に進む。ステップS108において第2符号化データ出力部358は、メモリ部301に蓄積されている、処理対象のラインブロック内の全ての符号化データを読み出し、ステップS102の処理により取得された符号化データとともに出力する。ステップS108の処理を終了すると、処理はステップS109に進む。
ステップS109において、終了判定部359は、全てのラインブロックを処理したか否かを判定する。未処理のラインブロックが存在すると判定された場合、処理はステップS101に戻り、次の未処理のラインブロックに対してそれ以降の処理が繰り返される。また、ステップS109において、全てのラインブロックが処理されたと判定された場合、ビットレート変換処理は終了する。
以上のようにビットレート変換処理を行うことにより、データ制御部137は、符号化データを復号せずに、容易に、低遅延で、そのビットレートを所望の値に変換することができる。これにより、デジタルトライアックスシステム100は、図17のフローチャートにおいて、ステップS1の処理が開始されてから、ステップS3の処理が終了するまでの遅延時間を容易に低減させることができる。また、このようにすることにより、リターン用の符号化データのためにエンコードを用意する必要がなく、カメラ制御部112の回路規模やコストを低減させることもできる。
図4においては、係数の並び替えをウェーブレット変換の直後（量子化の前）に行うように説明したが、符号化データが低域から高域の順にビデオ信号復号部136に供給されればよく（つまり、低域のサブバンドに属する係数データを符号化して得られる符号化データから、高域のサブバンドに属する係数データを符号化して得られる符号化データの順に供給されればよく）、並び替えのタイミングは、ウェーブレット変換の直後以外であってもよい。
例えば、エントロピ符号化によって得られる符号化データの順序を並び替えるようにしてもよい。図21は、その場合のビデオ信号符号化部120の構成例を示すブロック図である。
図21の場合、ビデオ信号符号化部120は、図4の場合と同様に、ウェーブレット変換部210、途中計算用バッファ部211、量子化部214、エントロピ符号化部215、レート制御部216、およびパケット化部217を有するが、図4の係数並び替え用バッファ部212および係数並び替え部213の代わりに、符号並び替え用バッファ部401および符号並び替え部402を有する。
符号並び替え用バッファ部401は、エントロピ符号化部215において符号化された符号化データの出力順を並び替えるためのバッファであり、符号並び替え部402は、その符号並び替え用バッファ部401に蓄積される符号化データを所定の順に読み出すことにより、符号化データの出力順の並び替えを行う。
つまり、図21の場合、ウェーブレット変換部210より出力されるウェーブレット係数は、量子化部214に供給されて量子化される。量子化部214の出力はエントロピ符号化部215に供給されて符号化される。その符号化により得られた各符号化データが、順次、符号並び替え用バッファ部401に供給され、並び替えのために一時的に蓄積される。
符号並び替え部402は、符号並び替え用バッファ部401に書き込まれた符号化データを、所望の順序で読み出し、パケット化部217に供給する。
図21の例の場合、エントロピ符号化部215は、ウェーブレット変換部210による出力順に、各係数データの符号化を行い、得られた符号化データを符号並び替え用バッファ部401に書き込む。つまり、符号並び替え用バッファ部401には、符号化データが、ウェーブレット変換部210によるウェーブレット係数の出力順に対応する順序で格納される。通常の場合、1つのラインブロックに属する係数データ同士を比較すると、ウェーブレット変換部210は、より高域のサブバンドに属する係数データほど先に出力し、より低域のサブバンドに属する係数データほど後に出力する。つまり、符号並び替え用バッファ部401には、各符号化データが、高域のサブバンドに属する係数データをエントロピ符号化して得られた符号化データから、低域のサブバンドに属する係数データをエントロピ符号化して得られた符号化データに向かう順に記憶される。
これに対して、符号並び替え部402は、この順序とは独立して、任意の順序でその符号並び替え用バッファ部401に蓄積された各符号化データを読み出すことにより、符号化データの並び替えを行う。
例えば、符号並び替え部402は、低域のサブバンドに属する係数データを符号化して得られた符号化データほど優先的に読み出し、最後に、最も高域のサブバンドに属する係数データを符号化して得られた符号化データを読み出す。このように、符号化データを低域から高域に向かって読み出すことにより、符号並び替え部402は、ビデオ信号復号部136が、取得した順で各符号化データを復号することができるようにし、ビデオ信号復号部136による復号処理おいて生じる遅延時間を低減させるようにすることができる。
符号並び替え部402は、符号並び替え用バッファ部401に蓄積されている符号化データを読み出し、それをパケット化部217に供給する。
なお、図21に示されるビデオ信号符号化部120で符号化され出力されたデータは、図13を用いて既に説明したビデオ信号復号部136により、図4のビデオ信号符号化部120より出力される符号化データの場合と同様に復号することができる。
また、並び替えの処理を行うタイミングは、上述した以外であってもよい。例えば、図22において一例が示されるように、ビデオ信号符号化部120において行うようにしてもよいし、図23において一例が示されるように、ビデオ信号復号部136において行うようにしてもよい。
ウェーブレット変換で生成された係数データを並び替える処理では、係数並び替え用バッファの記憶容量として比較的大容量が必要となると共に、係数並び替えの処理自体にも、高い処理能力が要求される。この場合でも、送信ユニット110の処理能力がある程度以上高い場合には何ら問題は生じない。
ここで、携帯電話端末やPDA(Personal Digital Assistant)といった所謂モバイル端末などの、比較的処理能力の低い機器に送信ユニット110が搭載される場合について考える。例えば、近年では、携帯電話端末に対して撮像機能を付加した製品が広く普及している（カメラ機能付き携帯電話端末と呼ぶ）。このようなカメラ機能付き携帯電話端末で撮像された画像データをウェーブレット変換およびエントロピ符号化により圧縮符号化し、無線あるいは有線通信を介して伝送することが考えられる。
このような例えばモバイル端末は、CPU（Central Processing Unit）の処理能力も限られ、また、メモリ容量にもある程度の上限がある。そのため、上述したような係数並び替えに伴う処理の負荷などは、無視できない問題となる。
そこで、図23に一例が示されるように、並び替え処理をカメラ制御部112に組み入れることで、送信ユニット110の負荷が軽くなり、送信ユニット110をモバイル端末などの比較的処理能力が低い機器に搭載することが可能となる。
また、以上においてはラインブロック単位でデータ量制御を行うように説明したが、これに限らず、例えば、複数個のラインブロックを単位としてデータ量制御を行うようにしてもよい。一般的に、複数個のラインブロックを単位としてデータ量制御を行う場合の方が、ラインブロック単位でデータ量制御を行う場合よりも画質が向上するが、その分、遅延時間は長くなる。
図24はN個（Nは整数）のラインブロック内の各サブバンドをバッファリングした後に、低域から高域の順番にデータ量をカウントする様子を図示したものである。図24のAにおいて、右上左下の斜線で示される部分は第1ラインブロックの各サブバンドを示しており、右下左上の斜線で示される部分は第Nラインブロックの各サブバンドを示している。
データ制御部137は、このように連続するN個のラインブロックを1つのグループとしてデータ制御を行うようにしてもよい。このとき、符号化データの並び順も、N個のラインブロックを1つのグループとして並べられる。図24のBにその並び順の一例を示す。
上述したように、データ制御部137には、符号化データが、ラインブロック単位で、低域のサブバンドに属する係数データに対応する符号化データから、高域のサブバンドに属する符号化データに向かう順で供給される。データ制御部137は、その符号化データをNラインブロック分、メモリ部301に蓄積させる。
そして、データ制御部137は、そのメモリ部301に蓄積されたNラインブロック分の符号化データを読み出す際に、図24のBの例に示されるように、まず、第1ラインブロック乃至第Nラインブロックの最低域（レベル1）のサブバンドLLLの符号化データ（1LLL,2LLL,・・・,NLLL）を読み出し、次に、第1ラインブロック乃至第NラインブロックのサブバンドLHLの符号化データ（1LHL,2LHL,・・・,NLHL）を読み出し、第1ラインブロック乃至第NラインブロックのサブバンドLLHの符号化データ（1LLH,2LLH,・・・,NLLH）を読み出し、第1ラインブロック乃至第NラインブロックのサブバンドLHHの符号化データ（1LHH,2LHH,・・・,NLHH）を読み出す。
レベル1の符号化データの読み出しが終了すると、データ制御部137は、次に、1つ上のレベル2の符号化データの読み出しを行う。つまり、データ制御部137は、図24のBに示されるように、第1ラインブロック乃至第Nラインブロックのレベル2のサブバンドHLの符号化データ（1HL,2HL,・・・,NHL）を読み出し、次に、第1ラインブロック乃至第NラインブロックのサブバンドLHの符号化データ（1LH,2LH,・・・,NLH）を読み出し、第1ラインブロック乃至第NラインブロックのサブバンドHHの符号化データ（1HH,2HH,・・・,NHH）を読み出す。
以上のように、データ制御部137は、N個のラインブロックを1グループとし、そのグループ内の各ラインブロックの符号化データを、並列的に、最低域のサブバンドから最高域のサブバンドに向かって順に読み出す。
つまり、データ制御部137は、メモリ部301に記憶されている符号化データを、（1LLL,2LLL,・・・,NLLL,1LHL,2LHL,・・・,NLHL,1LLH,2LLH,・・・,NLLH,1LHH,2LHH,・・・,NLHH,1HL,2HL,・・・,NHL,1LH,2LH,・・・,NLH,1HH,2HH,・・・,NHH,・・・）の順に読み出して出力する。
データ制御部137は、そのN個のラインブロックの符号化データを読み出しながら、その符号量の総和をカウントし、目標符号量に達した場合、読み出しを終了し、それ以降のデータを破棄する。そして、そのN個のラインブロックに対する処理が終了すると、データ制御部137は、次のN個のラインブロックに対して同様の処理を行う。つまり、データ制御部137は、N個のラインブロック毎に符号量を制御する（ビットレートを変換する）。
このように、N個のラインブロック毎に符号量を制御することにより、ラインブロック間の画質の差を低減させ、表示画像における局部的な解像度の大幅な低下等を抑制することができるので、表示画像の画質を向上させることができる。
図25に、符号化データの読み出し順の異なる例を示す。図25のAに示されるように、データ制御部137は、図24の場合と同様に、符号化データを、N個（Nは整数）のラインブロック毎に処理する。つまり、この場合も、データ制御部137は、連続するN個のラインブロックを1つのグループとしてデータ制御を行う。このとき、符号化データの並び順も、N個のラインブロックを1つのグループとして並べられる。図25のBにその並び順の一例を示す。
上述したように、データ制御部137には、符号化データがラインブロック単位で、低域のサブバンドに属する係数データに対応する符号化データから、高域のサブバンドに属する符号化データに向かう順で供給される。データ制御部137は、その符号化データをNラインブロック分、メモリ部301に蓄積させる。
そして、データ制御部137は、そのメモリ部301に蓄積されたNラインブロック分の符号化データを読み出す際に、図24のBの場合と同様に、まず、第1ラインブロック乃至第Nラインブロックの最低域（レベル1）のサブバンドLLLの符号化データ（1LLL,2LLL,・・・,NLLL）を読み出す。
ここからは図24のBの場合と異なり、データ制御部137は、図25のBに示されるように、レベル1の残りのサブバンドの符号化データ（LHL,LLH,LHH）をラインブロック毎に読み出す。つまり、データ制御部137は、サブバンドLLLの符号化データを読み出した後、第1ラインブロックのレベル1の残りのサブバンドの符号化データ（1LHL,1LLH,1LHH）を読み出し、次に、第2ラインブロックについて同様に符号化データ（2LHL,2LLH,2LHH）を読み出し、以降、第Nラインブロックの符号化データ（NLHL,NLLH,NLHH）を読み出すまで繰り返す。
以上のような順で、第1ラインブロック乃至第Nラインブロックのレベル1のサブバンドについて符号化データを全て読み出すと、データ制御部137は、次に、1つ上のレベル2の符号化データの読み出しを行う。このとき、データ制御部137は、レベル2の残りのサブバンドの符号化データ（HL,LH,HH）をラインブロック毎に読み出す。つまり、データ制御部137は、第1ラインブロックのレベル2の残りのサブバンドの符号化データ（1HL,1LH,1HH）を読み出し、次に、第2ラインブロックについて同様に符号化データ（2HL,2LH,2HH）を読み出し、以降、第Nラインブロックの符号化データ（NHL,NLH,NHH）を読み出すまで繰り返す。
データ制御部137は、以降のレベルについても同様に、上述したような順で符号化データを最高域のサブバンドまで読み出す。
つまり、データ制御部137は、メモリ部301に記憶されている符号化データを、（1LLL,2LLL,・・・,NLLL,1LHL,1LLH,1LHH,2LHL,2LLH,2LHH,・・・,NLHL,NLLH,NLHH,1HL,1LH,1HH,2HL,2LH,2HH,・・・,NHL,NLH,NHH,・・・）の順に読み出して出力する。
データ制御部137は、そのN個のラインブロックの符号化データを読み出しながら、その符号量の総和をカウントし、目標符号量に達した場合、読み出しを終了し、それ以降のデータを破棄する。そして、そのN個のラインブロックに対する処理が終了すると、データ制御部137は、次のN個のラインブロックに対して同様の処理を行う。つまり、データ制御部137は、N個のラインブロック毎に符号量を制御する（ビットレートを変換する）。
このようにすることにより、さらに、サブバンド毎の割り当ての偏りを抑制することができ、表示画像の視覚的な違和感を低減させ、画質を向上させることができる。
図24および図25を参照して説明したようにN個のラインブロック毎にビットレートを変換する場合の、データ制御部137の詳細な構成例を図26に示す。
図26において、データ制御部137は、累積値初期化部451、符号化データ取得部452、符号化データ蓄積制御部453、蓄積判定部454、符号化データ読み出し部455、グループ判定部456、累積値カウント部457、累積結果判定部458、第1符号化データ出力部459、第2符号化データ出力部460、および終了判定部461を有している。
累積値初期化部451は、累積値カウント部457においてカウントされる累積値481の値を初期化する。累積値481の初期化を行うと、累積値初期化部451は、符号化データ取得部452に符号化データの取得を開始させる。
符号化データ取得部452は、累積値初期化部451および蓄積判定部454に制御され、ビデオ信号復号部136より供給される符号化データを取得し、それを符号化データ蓄積制御部453に供給し、符号化データの蓄積を行わせる。符号化データ蓄積制御部453は、その符号化データ取得部452より供給された符号化データをメモリ部301に蓄積し、その旨を蓄積判定部454に通知する。蓄積判定部454は、符号化データ蓄積制御部453からの通知に基づいて、ラインブロックN個分の符号化データがメモリ部301に蓄積されたか否かを判定する。そして、N個のラインブロック分の符号化データを蓄積していないと判定した場合、蓄積判定部454は、符号化データ取得部452を制御し、新たな符号化データを取得させる。また、メモリ部301にN個のラインブロック分の符号化データが蓄積されたと判定した場合、蓄積判定部454は、符号化データ読み出し部455を制御し、メモリ部301に蓄積された符号化データの読み出しを開始させる。
符号化データ読み出し部455は、蓄積判定部454または累積結果判定部458に制御され、メモリ部301に蓄積されている符号化データを読み出し、その読み出した符号化データをグループ判定部456に供給する。このとき、符号化データ読み出し部455は、ラインブロックN個分の符号化データを1グループとし、グループ毎に符号化データを所定の順序で読み出す。つまり、符号化データ蓄積制御部453が1グループ分の符号化データをメモリ部301に記憶させると、符号化データ読み出し部455は、そのグループを処理対象とし、そのグループの符号化データを所定の順序で読み出す。
グループ判定部456は、符号化データ読み出し部455により読み出された符号化データが、処理対象のグループ内の最後のラインブロックの最後のデータであるか否かを判定する。そして、供給された符号化データが、その符号化データが属するグループの中で最後に読み出される符号化データでないと判定した場合、グループ判定部456は、供給された符号化データを累積値カウント部457に供給する。また、供給された符号化データが、その符号化データが属するグループの中で最後に読み出される符号化データであると判定した場合、グループ判定部456は、第2符号化データ出力部460を制御する。
累積値カウント部457は、図示せぬ記憶部を内蔵しており、グループ判定部456より供給される符号化データの符号量の総和をカウントし、その記憶部にそのカウント値を累積値481として保持するとともに、その累積値481を累積結果判定部458に供給する。
累積結果判定部458は、その累積値481が、予め定められたリターン用の符号化データのビットレートに対応する目標符号量に達したか否かを判定し、達していないと判定した場合、符号化データ読み出し部455を制御し、新たな符号化データを読み出させる。また、累積値481が、そのグループに割り当てられた目標符号量に達したと判定した場合、累積結果判定部458は、第1符号化データ出力部459を制御する。
第1符号化データ出力部459は、累積結果判定部458に制御され、処理対象のグループに属する符号化データの内、先頭から直前までのサブバンドに属する全ての符号化データを読み出してデータ制御部137の外部に出力する。
図24のBや図25のBを参照して説明したように、メモリ部301に蓄積されている符号化データは、各ラインブロックのサブバンド単位で読み出される。従って、例えば、m番目に読み出されるサブバンドに属する符号化データが読み出された際に、累積値481が目標符号量に達したと判定された場合、第1符号化データ出力部459は、メモリ部301より1番目乃至（m-1）番目に読み出されるサブバンドに属する符号化データを読み出してデータ制御部137の外部に出力する。
符号化データを出力すると、第1符号化データ出力部459は、終了判定部461に処理終了を判定させる。
第2符号化データ出力部460は、グループ判定部456に制御され、符号化データ読み出し部455により読み出された符号化データが属するグループの符号化データを全て読み出してデータ制御部137の外部に出力する。符号化データを出力すると、第2符号化データ出力部460は、終了判定部461に処理終了を判定させる。
終了判定部461は、符号化データの入力が終了したか否かを判定し、終了していないと判定した場合、累積値初期化部451を制御して、累積値481を初期化させる。また、終了したと判定した場合、終了判定部461は、ビットレート変換処理を終了する。
次に図27のフローチャートを参照して、この図26に示されるデータ制御部137によるビットレート変換処理の流れの例を説明する。このビットレート変換処理は図20のフローチャートに示されるビットレート変換処理に対応する処理である。なお、このビットレート変換処理以外の処理は、図17乃至図19を参照して説明した場合と同様に実行される。
ビットレート変換処理が開始されると、累積値初期化部451は、ステップS131において、累積値481の値を初期化する。ステップS132において、符号化データ取得部452は、ビデオ信号復号部136より供給される符号化データを取得する。ステップS133において、符号化データ蓄積制御部453は、ステップS132において取得された符号化データをメモリ部301に蓄積させる。ステップS134において、蓄積判定部454は、ラインブロックN個分の符号化データを蓄積したか否かを判定する。メモリ部301に符号化データがラインブロックN個分蓄積されていないと判定された場合、処理はステップS132に戻り、それ以降の処理が繰り返される。また、ステップS134において、メモリ部301にラインブロックN個分の符号化データが蓄積されたと判定された場合、処理は、ステップS135に進む。
メモリ部301にラインブロックN個分の符号化データが蓄積されると、ステップS135において、符号化データ読み出し部455は、蓄積したN個のラインブロックを1グループとし、そのグループの符号化データを所定の順で読み出す。
グループ判定部456は、ステップS136において、ステップS135において読み出された符号化データが、処理対象のグループの、最後に読み出される符号化データであるか否かを判定する。処理対象のグループの最後の符号化データでないと判定された場合、処理はステップS137に進む。
ステップS137において、累積値カウント部457は、ステップS132において取得された符号化データの符号量を保持している累積値481に加算し、累積値をカウントする。ステップS138において、累積結果判定部458は、累積結果が、そのグループに割り当てられた目標符号量（割り当て符号量）に達したか否かを判定する。累積結果が割り当て符号量に達していないと判定された場合、処理はステップS135に戻り、次の新しい符号化データについてステップS135以降の処理が繰り返される。
また、ステップS138において、累積結果が割り当て符号量に達したと判定された場合、処理はステップS139に進む。ステップS139において、第1符号化データ出力部459は、直前のサブバンドまでの符号化データをメモリ部301より読み出して出力する。ステップS139の処理が終了すると、処理は、ステップS141に進む。
また、ステップS136において、グループ内の最後の符号化データが読み出されたと判定された場合、処理はステップS140に進む。ステップS140において、第2符号化データ出力部460は、グループ内の全符号化データをメモリ部301より読み出して出力する。ステップS140の処理が終了すると、処理は、ステップS141に進む。
ステップS141において、終了判定部461は、全てのラインブロックを処理したか否かを判定する。未処理のラインブロックが存在すると判定された場合、処理はステップS131に戻り、次の未処理のラインブロックに対してそれ以降の処理が繰り返される。また、ステップS141において、全てのラインブロックが処理されたと判定された場合、ビットレート変換処理は終了する。
以上のようにビットレート変換処理を行うことにより、データ制御部137は、ビットレート変換後のデータより得られる画像の画質を向上させることができる。
図3においては、デジタルトライアックスシステム100が、1台の送信ユニット110と1台のカメラ制御部112により構成されるように説明したが、送信ユニットとカメラ制御部の台数はそれぞれ複数台であってもよい。
図28は、本発明を適用したデジタルトライアックスシステムの他の構成例を示す図である。図28においてデジタルトライアックスシステムは、X台（Xは整数）のカメラヘッド（カメラヘッド511-1乃至カメラヘッド511-X）と、1台のカメラコントロールユニット512とを有するシステムであり、図3のデジタルトライアックスシステム100に対応するシステムである。
図3のデジタルトライアックスシステム100においては、1台のカメラ制御部112によって1台の送信ユニット110（ビデオカメラ部113）を制御していたのに対し、図28のデジタルトライアックスシステムにおいては、1台のカメラコントロールユニット512により、複数のカメラヘッド（カメラヘッド511-1乃至カメラヘッド511-X）を制御する。つまり、カメラヘッド511-1乃至カメラヘッド511-Xは、図3の送信ユニット110に対応し、カメラコントロールユニット512は、カメラ制御部112に対応する。
カメラヘッド511-1は、カメラ部521-1、エンコーダ522-1、およびデコーダ523-1を有しており、カメラ部521-1において撮影されて得られた映像データ（動画像）を、エンコーダ522-1において符号化し、その符号化データを、伝送ケーブルの1系統である本線D510-1を介してカメラコントロールユニット512に供給する。また、カメラヘッド511-1は、リターン回線D513-1を介してカメラコントロールユニット512より供給される符号化データを、デコーダ523-1において復号し、得られた動画像を、リターン映像用のディスプレイであるリターンビュー531-1に表示させる。
カメラヘッド511-2乃至カメラヘッド511-Xもカメラヘッド511-1と同様の構成を有しており、同様の処理を行う。例えば、カメラヘッド511-2は、カメラ部521-2、エンコーダ522-2、およびデコーダ523-2を有しており、カメラ部521-2において撮影されて得られた映像データ（動画像）を、エンコーダ522-2において符号化し、その符号化データを、伝送ケーブルの1系統である本線D510-2を介してカメラコントロールユニット512に供給する。また、カメラヘッド511-2は、リターン回線D513-2を介してカメラコントロールユニット512より供給される符号化データを、デコーダ523-2において復号し、得られた動画像を、リターン映像用のディスプレイであるリターンビュー531-2に表示させる。
カメラヘッド511-Xも、カメラ部521-X、エンコーダ522-X、およびデコーダ523-Xを有しており、カメラ部521-Xにおいて撮影されて得られた映像データ（動画像）を、エンコーダ522-Xにおいて符号化し、その符号化データを、伝送ケーブルの1系統である本線D510-Xを介してカメラコントロールユニット512に供給する。また、カメラヘッド511-Xは、リターン回線D513-Xを介してカメラコントロールユニット512より供給される符号化データを、デコーダ523-Xにおいて復号し、得られた動画像を、リターン映像用のディスプレイであるリターンビュー531-Xに表示させる。
カメラコントロールユニット512は、スイッチ部（SW）541、デコーダ542、データ制御部543、メモリ部544、およびスイッチ部（SW）545を有している。本線D510-1乃至本線D510-Xを介して供給される符号化データは、スイッチ部（SW）541に供給される。スイッチ部（SW）541は、それらの中から一部を選択し、選択した回線を介して供給される符号化データをデコーダ542に供給する。デコーダ542は、その符号化データを復号し、その復号された映像データを、ケーブルD511を介して本線映像用のディスプレイであるメインビュー546に供給し、画像を表示させる。
また、各カメラヘッドより送出された映像をカメラコントロールユニット512が受信したか否かをカメラヘッドのユーザに確認させるために、映像データは、リターンビデオ映像としてカメラヘッドに再送される。一般的には、このリターンビデオ映像を伝送するリターン回線D513-1乃至リターン回線D513-Xの帯域幅は本線D510-1乃至本線D510-Xと比較して狭い。
そこで、カメラコントロールユニット512は、デコーダ542において復号される前の符号化データをデータ制御部543に供給し、そのビットレートを所望の値に変換させる。データ制御部543は、図16等を参照して説明した場合と同様に、メモリ部544を用いて、供給された符号化データのビットレートを所望の値に変換し、そのビットレート変換後の符号化データをスイッチ部（SW）545に供給する。なお、ここでは説明の簡略化のため、パケット化についての説明は省略する。つまり、リターン用の符号化データをパケット化するパケット化部（パケット化部302に対応）は、データ制御部543に含まれるものとして説明する。
スイッチ部（SW）545は、リターン回線D513-1乃至リターン回線D513-Xの内、一部の回線をデータ制御部543に接続する。つまり、スイッチ部（SW）545は、リターン用の符号化データの送信先を制御する。例えば、スイッチ部（SW）545は、符号化データの供給元のカメラヘッドと接続されるリターン回線をデータ制御部543に接続し、リターン用の符号化データを、その符号化データの供給元のカメラヘッドにリターンビデオ映像として供給する。
その符号化データ（リターンビデオ映像）を取得したカメラヘッドは、内蔵するデコーダにおいて復号し、その復号された映像データを、リターンビューに供給し、画像を表示させる。例えば、リターン用の符号化データが、スイッチ部（SW）545よりリターン回線D513-1を介してカメラヘッド511-1に供給されると、デコーダ523-1は、その符号化データを復号し、ケーブルD514-1を介してリターン映像用のディスプレイであるリターンビュー531-1に供給し、画像を表示させる。
カメラヘッド511-2乃至カメラヘッド511-Xに符号化データを送信する場合も同様である。なお、以下において、カメラヘッド511-1乃至カメラヘッド511-Xを互いに区別して説明する必要の無い場合、単にカメラヘッド511と称する。同様に、カメラ部521-1乃至カメラ部521-Xを互いに区別して説明する必要の無い場合、単にカメラ部521と称し、エンコーダ522-1乃至エンコーダ522-Xを互いに区別して説明する必要の無い場合、単にエンコーダ522と称し、デコーダ523-1乃至デコーダ523-Xを互いに区別して説明する必要の無い場合、単にデコーダ523と称し、本線D510-1乃至本線D510-Xを互いに区別して説明する必要の無い場合、単に本線D510と称し、リターン回線D513-1乃至リターン回線D513-Xを互いに区別して説明する必要の無い場合、単にリターン回線D513と称し、リターンビュー531-1乃至リターンビュー531-Xを互いに区別して説明する必要の無い場合、単にリターンビュー531と称する。
以上のように、図28に示されるカメラコントロールユニット512は、図3に示されるカメラ制御部112と同様の構成を有するとともに、スイッチ部（SW）541およびスイッチ部（SW）545を介して符号化データの授受を行うことにより、その符号化データの授受の相手となるカメラヘッド511を選択することができる。つまり、カメラコントロールユニット512により制御対象として選択されているカメラヘッド511のユーザ、つまり撮影者は、撮影を行いながら、その撮影画像がカメラコントロールユニット512側（メインビュー546）においてどのように表示されているかを確認することができる。
このように複数のカメラヘッド511を制御するシステムにおいても、カメラコントロールユニット512は、データ制御部543を用いてリターン用の動画像データのビットレートを容易に制御することができ、符号化データを低遅延で伝送することができる。
図29に示される従来のデジタルトライアックスシステムの場合、カメラコントロールユニット561は、データ制御部543の代わりにエンコーダ562を有しており、デコーダ542においてデコードされて得られた動画像データを、このエンコーダ562によって再度エンコードして出力する。従って、図28に示されるカメラコントロールユニット512は、図29に示されるカメラコントロールユニット561よりも容易に動画像データのビットレートを所望の値に変換させることができ、符号化データを低遅延で伝送することができる。
つまり、図28のシステムの場合の方が、図29のシステムの場合よりも、撮影からリターン用の動画像がリターンビューに表示されるまでの遅延時間が短いので、カメラヘッド511のユーザである撮影者は、リターン用の動画像を、低遅延で確認することができる。従って、撮影者は、リターン用の動画像を確認しながらの撮影作業を容易に行うことができる。特に、図28に示されるデジタルトライアックスシステムの場合のように、カメラコントロールユニット512が複数のカメラヘッド511を制御する場合、制御対象の切り替えが生じるため、その切り替えの間隔に対して、撮影からリターン用の動画像が表示されるまでの遅延時間が長すぎると、撮影者はほとんどその動画像を確認できずに撮影を行わなければならない恐れもある。つまり、図28に示されるように、カメラコントロールユニット512が符号化データのビットレートを容易に制御することによりこの遅延時間を短縮させることがより一層重要な意味を持つことになる。
なお、カメラコントロールユニット512は、複数のカメラヘッド511を同時に制御することができるようにしてもよい。その場合、カメラコントロールユニット512が、各カメラヘッド511より供給された各動画像の符号化データ、すなわち互いに異なる符号化データをそれぞれの供給元に伝送するようにしてもよいし、各カメラヘッド511より供給された各動画像を同時に表示する1つの動画像の符号化データ、すなわち共通の符号化データを全ての供給元に伝送するようにしてもよい。
また、図30に示されるように、カメラコントロールユニット561の代わりに、データ制御部543とエンコーダ562の両方を有するカメラコントロールユニット581を用いるようにしてもよい。カメラコントロールユニット581は、任意にデータ制御部543またはエンコーダ562のいずれかを選択し、リターン用の符号化データの生成に利用する。例えば、カメラコントロールユニット581は、リターン用の符号化データのビットレートを本線の符号化データのビットレートより下げる場合、データ制御部543を選択し、デコード前の符号化データを供給してビットレート変換させることで容易かつ高速にビットレートの変換を行うことができる。また、例えば、カメラコントロールユニット581は、リターン用の符号化データのビットレートを本線の符号化データのビットレートより上げる場合、エンコーダを選択し、デコード後の動画像データを供給してビットレート変換させることで適切にビットレートの変換を行うことができる。
このようなデジタルトライアックスシステムは、例えば、放送局等で利用されたり、スポーツやコンサート等のイベントの中継等に利用されたりする。また、施設に設置された監視カメラを集中管理するシステムとしても利用可能である。
なお、上述したデータ制御部は、どのようなシステムや装置に適用するようにしてもよく、例えば、データ制御部を単体で装置としてもよい。つまり、ビットレート変換装置として機能するようにしてもよい。また、例えば、画像データを符号化する画像符号化装置において、データ制御部が、符号化処理を行う符号化部の出力ビットレートを制御するようにしてもよい。また、例えば、画像データが符号化された符号化データを復号する画像復号装置において、データ制御部が、復号処理を行う復号部の入力ビットレートを制御するようにしてもよい。
また、例えば、図31に示されるように、本線の画像データを授受する通信装置同士でリターン用画像を互いに送受信するシステムに適用するようにしてもよい。
図31に示される通信システムにおいては、通信装置601および通信装置602が動画像データの授受を行う。通信装置601は、カメラ611において撮像されて得られた動画像データを本線の動画像データとして通信装置602に供給するとともに、通信装置602より供給される、本線の動画像データと、通信装置601自身が供給した本線の動画像データに対応するリターン用の動画像データを取得し、それらの画像をモニタ612に表示させる。
通信装置601は、エンコーダ621、本線用デコーダ622、データ制御部623、およびリターン用デコーダ624を有している。通信装置601は、カメラ611より供給される動画像データを符号化して、得られた符号化データを通信装置602に供給する。また、通信装置601は、本線用デコーダ622において、通信装置602より供給される本線用の符号化データをデコードし、その画像をモニタ612に表示させる。また、通信装置601は、データ制御部623において、その通信装置602より供給されたデコード前の符号化データのビットレートを変換し、リターン用の符号化データとして通信装置602に供給する。さらに、通信装置601は、通信装置602より供給されたリターン用の符号化データを取得し、リターン用デコーダ624において復号し、その画像をモニタ612に表示させる。
同様に、通信装置602は、エンコーダ641、本線用デコーダ642、データ制御部643、およびリターン用デコーダ644を有している。通信装置602は、カメラ631より供給される動画像データを符号化して、得られた符号化データを通信装置601に供給する。また、通信装置602は、本線用デコーダ622において、通信装置601より供給される本線用の符号化データをデコードし、その画像をモニタ632に表示させる。また、通信装置602は、データ制御部643において、その通信装置601より供給されたデコード前の符号化データのビットレートを変換し、リターン用の符号化データとして通信装置601に供給する。さらに、通信装置602は、通信装置601より供給されたリターン用の符号化データを取得し、リターン用デコーダ644において復号し、その画像をモニタ632に表示させる。
このエンコーダ621およびエンコーダ641は、図3のビデオ信号符号化部120に対応し、本線用デコーダ622および本線用デコーダ642は、図3のビデオ信号復号部136に対応し、データ制御部623およびデータ制御部643は、図3のデータ制御部137に対応し、リターン用デコーダ624およびリターン用デコーダ644は、図3のビデオ信号復号部121に対応する。
つまり、通信装置601および通信装置602は、どちらも、図3の送信ユニット110およびカメラ制御部112の両方の構成および機能を有し、互いに自分側のカメラ（カメラ611またはカメラ631）において得られた撮影画像の符号化データを相手側に供給するとともに、相手側より供給された、相手側のカメラにおいて撮影された撮影画像である本線用の動画像と、自分自身が相手側に転送した撮影画像のリターン用の動画像の符号化データを取得する。
このとき、通信装置601および通信装置602は、図3の場合と同様に、データ制御部623またはデータ制御部643を用いることにより、リターン用の符号化データのビットレートを容易かつ高速に制御することができ、リターン用の符号化データをより低遅延で伝送することができる。
なお、通信装置601、通信装置602、カメラ611、モニタ612、カメラ631、およびモニタ632間の矢印はそれぞれデータの転送方向を示しており、バス（またはケーブル）そのものを示しているのではない。つまり、各装置間のバス（またはケーブル）の本数は任意である。
図32にモニタ612またはモニタ632における画像の表示例を示す。図32に示される表示画面651には、カメラ631において撮影される通信相手の動画像661の他に、カメラ611において撮影される自分自身の動画像662と、リターン用の動画像663が表示される。動画像662は、通信相手となる通信装置に対して本線用として供給する動画像であり、動画像663は、その動画像662に対応するリターン用の動画像である。つまり、動画像663は、動画像662が通信相手のモニタにどのように表示されるかを確認するための画像である。
従って、通信装置601側のユーザはカメラ611とモニタ612を用い、通信装置602側のユーザはカメラ631とモニタ632を用いて、互いに通信（動画像の授受）を行うことができる。なお、音声については説明の簡略化のため省略する。これにより、各ユーザは、図32に例が示されるような画像を見ることができ、相手側の撮影画像だけでなく、自分側のカメラにおいて撮影された撮影画像、さらに、その撮影画像が相手側においてどのように表示されているかを確認するための画像を同時に見ることができる。
動画像662と動画像663は、同じ内容の動画像であるが、上述したように、通信装置間の通信においては、動画像データは圧縮符号化されて伝送される。従って、通常の場合、相手側において表示される際の画像（動画像663）は、撮影時のとき（動画像662）よりも画質が劣化しており、その見え方が異なる恐れもあり、それによってユーザ同士の会話が成立しなくなる恐れもある。例えば、動画像662において確認できる絵柄が動画像663において確認することができず、その画像に基づいてユーザ同士が会話することができなくなる恐れもある。そのため、相手側において動画像がどのように表示されているかを確認することができることは大変重要になる。
そのとき、その確認用の動画像の表示までに長い遅延時間が生じると（つまり、動画像662と動画像663との間の遅延時間が長すぎると）、ユーザが、その画像の確認を行いながら会話（通話）を行うことが困難になる恐れがある。従って、通信装置601および通信装置602がリターン用の符号化データを寄り低遅延で伝送することができることは、動画像663を確認しながら通話を行う必要がある場合ほど重要になる。
また、リターン用の符号化データの制御を容易に行うことができることにより、リターン用の符号化データの転送に要する帯域を容易に低減させることができる。つまり、例えば、伝送路の帯域制限やモニタにおける表示画面の都合等に応じてリターン用の符号化データを適切なビットレートで伝送させることが可能になる。その場合も符号化データを低遅延で伝送させることができる。
このようなシステムは、例えば、互いに離れた会議室間で動画像を授受するためのテレビ会議システムや、医者が遠隔地の患者を診察するための遠隔医療システム等に利用することができる。上述したように、図31に示されるシステムは、リターン用の符号化データを低遅延で伝送させることができるので、例えば、プレゼンテーションや指示を効率よく行ったり、診察を正確に行ったりすることができる。
なお、以上においては、データ制御部137において符号化データのビットレートを制御する場合、そのデータ制御部137が符号量をカウントするように説明したが、例えば、エンコーダであるビデオ信号符号化部120において、伝送する符号化データの、変換後のビットレートに対応する目標符号量に達する位置に所定の方法でマーキングを行うようにしてもよい。つまり、ビデオ信号符号化部120が、データ制御部137におけるコードストリーム打ち切り点を決定する。この場合、データ制御部137は、そのマーキング位置を検出するだけで容易にそのコードストリーム打ち切り点を特定することができる。つまり、データ制御部137は、符号量のカウントを省略することができる。このマーキングは、どのような方法により行われるようにしてもよい。例えば、パケットのヘッダにコードストリーム打ち切り点の位置を示すためのフラグ情報を設けるようにしてもよい。その他の方法であってももちろんよい。
また、以上においては、データ制御部137において、符号化データが一時的に蓄積されるように説明したが、データ制御部137は、取得した符号化データの符号量をカウントし、必要な符号量分の符号化データを出力すればよく、必ずしも取得した符号化データを一時的に蓄積する必要はない。例えば、データ制御部137が、低域成分から順に供給される符号化データを取得し、その取得した符号化データの符号量をカウントするとともにその符号化データを出力するようにし、カウント値が目標符号量に達した時点で符号化データの出力を停止するようにしてもよい。
さらに、以上に説明した各システムにおいて、バスやネットワーク等、データの伝送路は有線であってもよいし無線であってもよい。
以上のように、本発明は、多様な形態に適用することができ、容易に多様な用途に応用することができる（すなわち汎用性が高い）ことも大きな効果である。
ところで、上述したデジタルトライアックスシステムにおいて、トライアックスケーブル（同軸ケーブル）を介してデータ伝送では、OFDM（Orthogonal Frequency Division Multiplexing（直交波周波数分割多重））を利用している。OFDMは、デジタル変調方式の1つであり、直交性を利用して複数の搬送波を互いに干渉しないように密に並べ、データを周波数軸上で並列に伝送する方式である。OFDMは、直交性を利用することにより、周波数の利用効率を向上させることができ、狭い周波数の範囲を効率的に利用した広帯域伝送を実現する。上述したデジタルトライアックスシステムにおいては、このようなOFDMを複数用い、変調された各信号を周波数多重してデータ伝送を行うことにより、さらに大容量でデータ伝送を実現する。
図33に、デジタルトライアックスシステムにおいて伝送されるデータの周波数分布の例を示す。上述したように伝送されるデータは、複数のOFDM変調器により互いに異なる周波数帯域において変調される。従って、変調されたデータは、図33に示されるように、互いに帯域が異なる複数のOFDMチャンネル（OFDMチャンネル1001、OFDMチャンネル1002、OFDMチャンネル1003、OFDMチャンネル1004、・・・）に分布する。図33において矢印1001Aは、OFDMチャンネル1001の帯域の中心を示す。同様に、矢印1002A乃至矢印1004Aは、それぞれ、OFDMチャンネル1002乃至OFDMチャンネル1004の帯域の中心を示す。矢印1001A乃至矢印1004A（各OFDMチャンネルの中心）の周波数と、各OFDMチャンネルの帯域幅は、予め互いに重ならないように定められている。
このように、デジタルトライアックスシステムにおいては、データは、複数の帯域で伝送されるが、トライアックスケーブルにおけるデータ伝送の場合、例えば渡来アックスケーブルのケーブル長、太さ、材質等、各種の要因により、高域の利得が減衰しやすいという特性がある。
図34に示すグラフは、トライアックスケーブルにおける、ケーブル長による利得の減衰の様子の例を示したものである。図34のグラフにおいて、線1011は、トライアックスケーブルのケーブル長が短い場合の周波数毎の利得の様子を示しており、線1012は、トライアックスケーブルのケーブル長が長い場合の周波数毎の利得の様子を示している。線1011に示されるように、ケーブル長が短い場合、高域成分の利得は、低域成分の利得と略同じである。これに対して、線1012に示されるように、ケーブル長が長い場合、高域成分の利得は、低域成分の利得と比べて小さくなる。
つまり、ケーブル長が長い場合、高域成分の減衰率が低域成分に比べて大きくなり、雑音成分の増加によりデータ伝送においてシンボルの誤り率が高くなり、結果として復号処理においてエラー発生率が高くなる恐れがある。デジタルトライアックスシステムにおいては、1つのデータを複数のOFDMチャンネルに割り当てるため、高域成分において復号処理に失敗すると、画像全体の復号を正しく行うことできなくなる（つまり復号画像が劣化する）恐れがある。
デジタルトライアックスシステムにおいては、上述したように低遅延のデータ伝送が求められるため、再送制御や冗長データのバッファリング等によりシンボル誤り率の低減化を行うことは事実上不可能である。
そこで復号処理の失敗を回避するためには、エラー訂正ビットの割当量を増やす等して、伝送レートを低下させ、より安定的にデータ伝送を行う必要があるが、減衰率が大きいのが高域成分のみであり、低域成分において十分な利得が得られている場合、高域成分に合わせてレート制御を行うと、不要に伝送効率を下げてしまう恐れがある。上述したように、デジタルトライアックスシステムにおいては低遅延のデータ伝送が求められるため、データ伝送の効率は高いほど望ましい。
そこで、レート制御のためのOFDMの制御を高域側と低域側とで分けて行うようにしてもよい。図35は、その場合のデジタルトライアックスシステムの構成例を示すブロック図である。図35に示されるデジタルトライアックスシステム1100は、図3に示されるデジタルトライアックスシステム100と基本的に同様のシステムであり、デジタルトライアックスシステム100と基本的に同様の構成を有するが、図35においては、説明に必要な部分のみ示されている。
デジタルトライアックスシステム1100は、互いにトライアックスケーブル1111により接続された送信ユニット1110およびカメラ制御部1112を有する。送信ユニット1110は図3の送信ユニット110と基本的に同様の構成を有し、トライアックスケーブル1111は図3のトライアックスケーブル111と基本的に同様の同軸ケーブルであり、カメラ制御部1112は図3のカメラ制御部112と基本的に同様の構成を有する。
図35においては、説明の便宜上、送信ユニット1110が図示せぬビデオカメラ部より供給されたビデオ信号を符号化してOFDM方式で変調し、その変調信号を、トライアックスケーブル1111を介してカメラ制御部1112に伝送し、カメラ制御部1112が受信した変調信号を復調して復号し、後段のシステムに出力する動作に関する構成のみ示されている。
つまり、送信ユニット1110は、送信ユニット110のビデオ信号符号化部120と同様のビデオ信号符号化部1120、送信ユニット110のデジタル変調部122と同様のデジタル変調部1122、送信ユニット110のアンプ124と同様のアンプ1124、および、送信ユニット110のビデオ分離／合成部126と同様のビデオ分離／合成部1126を有する。
ビデオ信号符号化部1120は、図示せぬビデオカメラ部より供給されたビデオ信号を、図4等を参照して説明したビデオ信号符号化部120と同様の方法で圧縮符号化し、符号化データ（符号化ストリーム）をデジタル変調部1122に供給する。
デジタル変調部1122は、図35に示されるように、低域変調部1201と高域変調部1202を有し、低域と高域の2つの周波数帯域で符号化データをOFDM方式で変調する（以下、OFDM方式で変調することを「OFDMする」と称する）。つまり、デジタル変調部1122は、ビデオ信号符号化部1120より供給された符号化データを2つに分割し、低域変調部1201と高域変調部1202を用いて、図33を参照して説明したように、それぞれを互いに異なる帯域（OFDMチャンネル）で変調する（当然、低域変調部1201は、高域変調部1202より低域においてOFDMを行う）。
なお、ここでは、説明の便宜上、デジタル変調部1122が2つの変調部（低域変調部1201と高域変調部1202）を有し、2つのOFDMチャンネルにおいて変調を行うものとして説明しているが、デジタル変調部1122が有する変調部の数（つまり、OFDMチャンネルの数）は、複数、かつ、実現可能な数であればいくつであってもよい。
低域変調部1201と高域変調部1202は、符号化データがOFDMされた変調信号を、それぞれアンプ1124に供給する。
アンプ1124は、それらの変調信号を図33に示されるように周波数多重化して増幅し、ビデオ分離／合成部1126に供給する。ビデオ分離／合成部1126は、供給されたビデオ信号の変調信号を、その変調信号とともに伝送する他の信号と合成し、その合成された信号を、トライアックスケーブル1111を介してカメラ制御部1112に送信する。
このようにOFDMされたビデオ信号は、トライアックスケーブル1111を介してカメラ制御部1112に伝送される。
カメラ制御部1112は、カメラ制御部112のビデオ分離／合成部130と同様のビデオ分離／合成部1130、カメラ制御部112のアンプ131と同様のアンプ1131、カメラ制御部112のフロントエンド部133と同様のフロントエンド部1133、カメラ制御部112のデジタル復調部134と同様のデジタル復調部1134、および、カメラ制御部112のビデオ信号復号部136と同様のビデオ信号復号部1136を有する。
ビデオ分離／合成部1130は、送信ユニット1110より伝送された信号を受信すると、その信号からビデオ信号の変調信号を分離して抽出し、アンプ1131に供給する。アンプ1131は、その信号を増幅し、フロントエンド部1133に供給する。フロントエンド部1133は、フロントエンド部133と同様に、入力信号のゲインを調整するゲイン制御部や、入力信号に対して所定のフィルタ処理を施すフィルタ部を有しており、アンプ1131より供給された変調信号に対して、ゲイン調整やフィルタ処理等を行い、処理後の信号をデジタル復調部1134に供給する。
デジタル復調部1134は、図35に示されるように低域復調部1301と高域復調部1302を有しており、その低域復調部1301と高域復調部1302を用いて、低域と高域の2つの周波数帯域（OFDMチャンネル）でOFDMされた変調信号をそれぞれの帯域で、OFDM方式により復調する（当然、低域復調部1301は、高域復調部1302より低域のOFDMチャンネルの変調信号の復調を行う）。
なお、ここでは、デジタル復調部1134が2つの復調部（低域復調部1301と高域復調部1302）を有し、2つのOFDMチャンネルにおいて復調を行うものとして説明しているが、デジタル復調部1134が有する復調部の数（つまり、OFDMチャンネルの数）は、デジタル変調部1122が有する変調部の数（つまり、OFDMチャンネルの数）と同数であればいくつであってもよい。
低域復調部1301と高域復調部1302は、復調されて得られた符号化データを、それぞれビデオ信号復号部1136に供給する。
ビデオ信号復号部1136は、低域復調部1301と高域復調部1302より供給された符号化データをその分割方法に対応する方法で1つに合成し、その符号化データを、図12等を参照して説明したビデオ信号復号部136と同様の方法で伸張復号する。ビデオ信号復号部1136は、得られたビデオ信号を後段の処理部に出力する。
なお、デジタルトライアックスシステム1100は、上述したような、トライアックスケーブル1111を介した送信ユニット1110およびカメラ制御部1112間のデータ伝送の系に対して、図35に示されるように、さらに、そのデータ伝送を破綻が生じないように（復号処理が失敗しないように）安定的に行わせるように制御を行うレート制御部1113を有する。
レート制御部1113は、図35に示されるように、変調制御部1401、符号化制御部1402、C/N比（Carrier to Noise ratio）測定部1403、およびエラーレート測定部1404を有する。
変調制御部1401は、デジタル変調部1122（低域変調部1201および高域変調部1202）が行う変調の、コンスタレーション信号点距離とエラー訂正ビット割当量を制御する。OFDMにおいては、PSK（Phase Shift Keying：位相変調）（DPSK（Differential Phase Shift Keying：差動位相変調）を含む）やQAM（Quadrature Amplitude Modulation：直交振幅変調）等のデジタル変調方式が採用されている。コンスタレーションは、主にこのようなデジタル変調波の観測方法の1つであり、互いに直交するI-Q座標上において、理想の信号点間を行き交うように描かれる信号の軌跡の広がりを観測するものである。コンスタレーション信号点距離とは、このI-Q座標上における信号点間の距離を示す。
コンスタレーションにおいて、信号に含まれるノイズ成分が大きくなると、信号の軌跡はより大きく広がる。つまり、一般的に信号点距離が短いほど、ノイズ成分によってシンボル誤りが発生しやすくなり、復号処理のノイズ成分に対する耐性が弱くなる（復号処理が失敗しやすくなる）。
そこで変調制御部1401は、高域成分と低域成分のそれぞれの減衰率に基づいて、シンボル誤り率の過度の上昇を抑制し安定的にデータ伝送を行うことができるように、低域変調部1201および高域変調部1202に対して変調方式をそれぞれ設定することにより、それぞれの変調処理における信号点距離の長さを制御する。なお、変調制御部1401が設定する減衰率が小さい場合および大きい場合のそれぞれの変調方式は予め定められている。
さらに、変調制御部1401は、高域成分と低域成分のそれぞれの減衰率に基づいて、シンボル誤り率の過度の上昇をさらに抑制し、さらに安定的にデータ伝送を行うことができるように、低域変調部1201および高域変調部1202に対して、データに対するエラー訂正ビットの割当量（データに割り当てるエラー訂正ビット長）をそれぞれ設定する。エラー訂正ビットの割当量を増やす（エラー訂正ビット長を長くする）ことにより、本来不要なデータ量が増加するためデータ伝送効率は低減するものの、ノイズ成分によるシンボル誤り率を低減させることができるため、復号処理のノイズ成分に対する耐性をより強くすることができる。なお、変調制御部1401が設定する減衰率が小さい場合および大きい場合のそれぞれのエラー訂正ビットの割当量は予め定められている。
符号化制御部1402は、ビデオ信号符号化部1120が行う圧縮符号化の、圧縮率を制御する。符号化制御部1402は、ビデオ信号符号化部1120を制御し、圧縮率の設定を行うが、減衰率が大きい場合、その圧縮率の設定を高くして、符号化データのデータ量を低減させ、データ伝送レートを低減させる。なお、符号化制御部1402が設定する減衰率が小さい場合の圧縮率、および大きい場合の圧縮率の各値は、予め定められている。
C/N比測定部1403は、ビデオ分離／合成部1130において受信され、アンプ1131に供給される変調信号について、搬送波と雑音の比であるC/N比を測定する。CN比（CNR）は例えば次の式（4）で求めることができる。単位は［dB］である。
CNR［dB］＝10log(PC/PN) ・・・（4）
ただし、PNは雑音電力［W］，PCは搬送波電力［W］
C/N比測定部1403は、測定結果（C/N比）を測定結果判定部1405に供給する。
エラーレート測定部1404は、デジタル復調部1134（低域復調部1301と高域復調部1302）による復調処理の処理結果に基づいて、その復調処理のエラーレート（シンボル誤り発生率）を測定する。エラーレート測定部140は、その測定結果（エラーレート）を測定結果判定部1405に供給する。
測定結果判定部1405は、C/N比測定部1403により測定された、カメラ制御部1112において受信された伝送データのC/N比と、エラーレート測定部1404により測定された、復調処理のエラーレートのうち、少なくとも一方に基づいて伝送データの低域成分と高域成分の減衰率をそれぞれ判定し、その判定結果を変調制御部1401および符号化制御部1402に供給する。変調制御部1401および符号化制御部1402は、その判定結果（例えば、高域成分の減衰率が低域成分に比べて明らかに大きいか否か）に基づいて、それぞれ、上述したような制御を行う。
このレート制御部1113により実行されるレート制御処理の流れの例を図36のフローチャートを参照して説明する。
レート制御処理は、例えば、送信ユニット1110とカメラ制御部1112とのデータ伝送開始時等、所定のタイミングで実行される。レート制御処理が開始されると、変調制御部1401は、ステップS201において、デジタル変調部1122を制御し、コンスタレーション信号点距離およびエラー訂正ビットの割当量を、減衰率が大きくない場合に設定するように予め定められた、全帯域で共通の値に設定する。つまり、変調制御部1401は、低域変調部1201および高域変調部1202のそれぞれに対して、互いに同一の変調方式と、互いに同一のエラー訂正ビット割当量を設定する。
ステップS202において、符号化制御部1402は、ビデオ信号符号化部1120を制御し、圧縮率を、減衰率が大きくない場合に設定するように予め定められた所定の初期値に設定する。
このように、低域と高域に対して互いに同一に設定された状態において、変調制御部1401および符号化制御部1402は、ステップS203において、送信ユニット1110の各部を制御し、設定した値で各処理を実行させ、予め定められた所定の圧縮データをカメラ制御部1112に伝送させる。
例えば、レート制御部1113（変調制御部1401および符号化制御部1402）は、予め定められた所定のビデオ信号（画像データ）を送信ユニット1110に入力させ、ビデオ信号符号化部1120にそのビデオ信号を符号化させ、デジタル変調部1122に符号化データをOFDMさせ、アンプ1124に変調信号を増幅させ、ビデオ分離／合成部1126にその信号を送信させる。そのように伝送された伝送データは、トライアックスケーブル1111を介して伝送され、カメラ制御部1112に受信される。
C/N比測定部1403は、ステップS204において、このように伝送された伝送データのC/N比をOFDMチャンネル毎に測定し、その測定結果を測定結果判定部1405に供給する。エラーレート測定部1404は、ステップS205において、デジタル復調部1134による復調処理のシンボル誤りの発生率（エラーレート）をOFDMチャンネル毎に測定し、その測定結果を測定結果判定部1405に供給する。
測定結果判定部1405は、ステップS206において、C/N比測定部1403より供給されたC/N比、および、エラーレート測定部1404より供給されたエラーレートに基づいて、伝送されたデータの高域成分の減衰率が予め定められた所定の閾値以上であるか否かを判定する。伝送されたデータの高域の減衰率が低域の減衰率と比較して明らかに大きく、高域の減衰率が閾値以上であると判定された場合、測定結果判定部1405は、処理をステップS207に進める。
変調制御部1401は、ステップS207において、高域変調部1202の変調方式を変更し、高域成分のコンスタレーション信号点距離を広くするようにし、さらに、ステップS208において、高域変調部1202のエラー訂正ビット割当量を増やすように設定を変更する。
また、符号化制御部1402は、ステップS208において、ビデオ信号符号化部1120を制御し、圧縮率を高くする。
以上のように、設定を変更すると、レート制御部1113は、レート制御処理を終了する。
また、ステップS206において、高域の減衰率が低域と同程度であり、高域の減衰率が閾値より小さいと判定された場合、測定結果判定部1405は、ステップS207乃至ステップS209の処理を省略し、レート制御処理を終了する。
以上のように、レート制御部1113が、変調部毎（OFDMチャンネル毎）に、信号点距離（変調方式）やエラービット割当量を制御することにより、送信ユニット1110およびカメラ制御部1112は、より安定的かつより効率的にデータ伝送を行うことができる。これにより、より安定的な、低遅延なデジタルトライアックスシステムを実現することができる。
なお、以上においては、説明の便宜上、OFDMチャンネルが2つの場合（デジタル変調部1122が低域変調部1201および高域変調部1202の2つの変調部を有する場合）について説明したが、OFDMチャンネルの数（変調部の数）は任意であり、例えば、変調部が3つ以上存在するようにしてもよい。このとき、それらの変調部をOFDMチャンネルの帯域によって高域と低域の2つのグループに分割し、図36のフローチャートを参照して説明したように、各グループに対して上述したようにレート制御を行うようにしてもよいが、図36のフローチャートを参照して説明したレート制御は、3つ以上の変調部（またはグループ）に対して行うようにしてもよい。
例えば、変調部が3つ存在する場合に、それらの変調部毎に減衰率を判定するようにしてもよい。つまりこの場合、低域、中域、および高域の3つについて伝送データのC/N比やエラーレートが測定される。そして各変調部の設定は、初期値において上述したように全帯域共通の値（方式）に設定され、高域のみ減衰率が大きい場合、高域の変調部のみ設定が変更され、高域と中域の減衰率が大きい場合は、高域と中域の変調部のみ設定が変更される。ビデオ信号符号化部1120の圧縮率の設定は、減衰率が大きい帯域が多いほど圧縮率が大きくなるようにする。
このようにより細かな帯域で制御を行うことにより、トライアックスケーブルの減衰特性により適した制御を行うことができ、安定した状態で、データ伝送の効率をより向上させることができる。
なお、レート制御はトライアックスケーブルの減衰特性に対してより適した制御となるような方法であればどのようなものであってもよく、上述したように3つ以上の変調部に対してレート制御を行う場合、その制御方法は、例えば、エラー訂正ビットの割当量を帯域毎に変える等、上述した以外の方法であってもよい。
また、以上においては、レート制御をデータ伝送開始時等の所定のタイミングで行うように説明したが、このレート制御のタイミングや実行回数は任意であり、例えば、レート制御部1113が、実際のデータ伝送時においても減衰率（C/N比やエラーレート）を測定し、変調方式、エラー訂正ビットの割当量、並びに圧縮率のうち少なくとも1つをリアルタイムに（即時的に）制御するようにしてもよい。
さらに、減衰率を判定するための指標として、C/N比やエラーレートを測定するように説明したが、どのようなパラメータをどのように用いて減衰率を算出したり判定したりするかは任意である。したがって、例えば、S/N比（Signal Noise Ratio）等、上述した以外のパラメータを測定するようにしてもよい。
また、図35においては、レート制御部1113が、送信ユニット1110からカメラ制御部1112に対してトライアックスケーブル1111を介して行われるデータ伝送を制御する場合についてのみ説明したが、上述したように、デジタルトライアックスシステムにおいては、カメラ制御部1112から送信ユニット1110に向けてデータ伝送が行われる場合もある。レート制御部1113が、そのような伝送系に対してもレート制御を行うようにしてもよい。その場合も、伝送系のデータ伝送は、方向が変わるものの、方法が図35の場合と基本的に同様であるので、レート制御部1113は、図35や図36を参照して説明した場合と同様にレート制御を行うことができる。
さらに、以上においては、レート制御部1113が、送信ユニット1110およびカメラ制御部1112と別体として構成されるように説明したが、レート制御部1113の各部の構成方法は任意であり、例えば、レート制御部1113が送信ユニット1110またはカメラ制御部1112のいずれか一方に内蔵されるようにしてもよい。また、例えば、変調制御部1401と符号化制御部1402が送信ユニット1110に内蔵され、C/N比測定部1403、エラーレート測定部1404、および測定結果判定部1405がカメラ制御部1112に内蔵される等、送信ユニット1110とカメラ制御部1112が、レート制御部1113の、互いに異なる一部を内蔵するようにしてもよい。
ところで、例えば図3に示されるようなデジタルトライアックスシステムは、図37に示されるように、実際には、複数のカメラと複数のCCUが組み合わされたより大きなシステムとして実現される場合が多い。例えば、図37に示されるデジタルトライアックスシステム1500は、図3に示される構成が3つ合成された構成となっている。つまり、デジタルトライアックスシステム1500は、図3のビデオカメラ部113や送信ユニット110に対応するカメラ1511乃至カメラ1513が、それぞれ、図3のトライアックスケーブル111に対応するトライアックスケーブル1521乃至トライアックスケーブル1523により、図3のカメラ制御部112に対応するCCU1531乃至CCU1533に接続されており、図3に示される伝送システムと同様の伝送システムが3つ形成されている。なお、CCU1531乃至CCU1533のそれぞれより出力されるデータは、スイッチャ1541による選択操作により1系統のデータとしてまとめられる。
例えば、図3を参照して説明したような伝送系が1系統のデジタルトライアックスシステムであれば、カメラにより撮像（画像データ生成）が行われてから、CCUよりその画像データが出力されるまでの遅延を低遅延にするために、各カメラに内蔵されるエンコーダと、CCUに内蔵されるデコーダをそれぞれ独自の同期信号に基づいて動作させ、エンコーダが、カメラによる撮像により画像データが得られたらエンコード処理を実行し、デコーダが、CCUに符号化データが伝送されたら、その符号化データを復号するようにすればよい。しかしながら、図37に示されるような伝送系を複数有するシステムにおいては、スイッチャ1541においてまとめるために、各CCUより出力される画像データのタイミング（位相）を互いに合わせる必要がある。
そこで、図37に示されるように、外部同期信号であるリファレンス信号1551を各CCU経由で各CCUだけでなく各カメラにも供給するようにする。つまり、各カメラに内蔵されるエンコーダと、各CCUに内蔵されるデコーダの動作を全てこのリファレンス信号1551に同期させる。このようにすることにより、不要なバッファリングなどを行わずに、各系統のデータ伝送、つまり、各CCUからの画像データの出力タイミングを互いに同期させることができる。つまり、低遅延を維持しながら、系統間の同期をとることができる。
しかしながら、一般的に、カメラからCCUまでのデータ伝送を無遅延で行うことはできない。つまり、不要なバッファリングを行わない（すなわち、遅延の増大を抑制する）ようにするためには、CCUに内蔵されるデコーダによるデコード処理の実行タイミングが、カメラに内蔵されるエンコーダによるエンコード処理の実行タイミングに対して若干遅れるのが望ましい。
この実行タイミングの適切な遅延時間は、伝送系の遅延時間に依存するため、例えばケーブル長等、各種要因により各系統で互いに異なる恐れがある。そこで、例えば、各系統について、この遅延時間の適切な値を求め、その値に基づいてエンコーダとデコーダの同期タイミングの設定を系統毎に行うようにしてもよい。このように系統毎に同期タイミングの設定を行うことにより、さらに低遅延を維持しながら、リファレンス信号に基づいて系統間の同期をとることができる。
遅延時間の算出は、画像データを実際と同様にカメラからCCUに伝送させることにより行う。このとき、伝送させる画像データのデータ量が必要以上に大きい（例えば画像の内容が複雑であったりする）と、遅延時間が、実際にデータ伝送を行うときに必要な遅延時間よりも大きく設定されてしまう恐れがある。つまり、データ伝送において不要な遅延時間が発生する恐れがある。
図38は、図37のデジタルトライアックスシステム1500におけるデータ伝送の様子の例を示す図であり、画像データをカメラからCCUに伝送する際の各処理工程時の処理タイミングの様子の例を示している。図38において、各段のT1乃至T5は、リファレンス信号の同期タイミングを表わしている。
図38において、一番上の段は、カメラにおいて撮像により画像データが得られたとき（画像入力）のデータの様子を示している。ここで示されるように、T1乃至T4のそれぞれのタイミングにおいて、1フレーム分の画像データ（画像データ1601乃至画像データ1604）が入力される。
図38において、上から2番目の段は、カメラに内蔵されるエンコーダによる符号化処理が行われたとき（符号化）のデータの様子を示している。ここで示されるように、タイミングT1において、カメラに内蔵されるエンコーダが、図4等を参照して説明したような符号化方式で画像データ1601を符号化すると、2パケット分の符号化データ（パケット1611およびパケット1612）が生成される。ここで「パケット」とは、符号化データを所定のデータ量毎に分割したもの（符号化データの部分データ）を示す。同様に、タイミングT2においては、画像データ1602から5パケット分の符号化データ（パケット1613乃至パケット1617）が生成され、タイミングT3においては、画像データ1603から2パケット分の符号化データ（パケット1618およびパケット1619）が生成され、タイミングT4においては、画像データ1604から1パケット分の符号化データ（パケット1620）が生成される。ここで、四角で囲まれたパケット1611、パケット1613、パケット1618、およびパケット1620は、各フレームの画像データの先頭のパケットを示す。
図38において、上から3番目の段は、カメラからCCUに伝送するとき（伝送）のデータの様子を示している。ここで示されるように、カメラからCCUへの伝送ではその伝送レートの上限が定められており、各タイミングにおいて最大3つのパケットを伝送することができるとすると、上から2番目の段おいて点線で囲った、タイミングT2の2つのパケット（パケット1616およびパケット1617）は、次のタイミングT3で伝送することになる。つまり、矢印1651に示されるように、伝送タイミングが1タイミング分ずれることになる。これにより、矢印1652に示されるように、先頭パケット1618がタイミングT3の最後に伝送され、上から2番目の段において点線で囲まれたパケット1619は、次のタイミングT4において伝送される。
先頭パケット1620は、矢印1653に示されるように、タイミングT4の最後に伝送される。
以上のように、符号量が多いとデータ伝送に時間を要し、1タイミング内にデータ伝送を終了させることができなくなる場合がある。図38において、一番下の段は、CCUに内蔵されているデコーダにより伝送された符号化データを復号するときのデータの様子の例を示している。このようなことが発生した場合、画像データ1602より生成されたパケット1613乃至パケット1617は、タイミングT3においてCCU側で揃うため、これらに対する復号処理は、タイミングT3において行われる。
従って、連続して復号することができるように、画像データ1601より生成されたパケット1611およびパケット1612は、タイミングT2において復号され、画像データ1603より生成されたパケット1618およびパケット1619は、タイミングT4において復号され、画像データ1604より生成されたパケット1620は、タイミングT5において復号される。
以上のように、例えば、画像データ1602のようなデータ量が多い画像データを用いて遅延時間を測定すると、不要な遅延時間を計測してしまう恐れがある。そこで、遅延時間の測定のために画像データを伝送する場合、例えば黒画像や白画像のようにデータ量の少ない画像データを用いるようにしてもよい。
図39は、その場合のデジタルトライアックスシステムの構成例を示すブロック図である。図39に示されるデジタルトライアックスシステム1700は、図37を参照して説明したデジタルトライアックスシステム1500の一部に対応するシステムであり、基本的に図3のデジタルトライアックスシステム100と同様の構成を有する。図39においては、説明に必要な構成のみ示している。
図39に示されるように、デジタルトライアックスシステム1700は、例えばデジタルトライアックスシステム1500（図37）のカメラ1511に対応するビデオカメラ部1713および送信ユニット1710、例えばデジタルトライアックスシステム1500（図37）のトライアックスケーブル1521に対応するトライアックスケーブル1711、例えばデジタルトライアックスシステム1500（図37）のCCU1531に対応するカメラ制御部1712を有する。なお、ビデオカメラ部1713は、デジタルトライアックスシステム100（図3）のビデオカメラ部113にも対応し、送信ユニット1710は、デジタルトライアックスシステム100（図3）の送信ユニット110にも対応し、トライアックスケーブル1711は、デジタルトライアックスシステム100（図3）のトライアックスケーブル111にも対応し、カメラ制御部1712は、デジタルトライアックスシステム100（図3）のカメラ制御部112にも対応する。
送信ユニット1710は、送信ユニット110のビデオ信号符号化部120と同等のビデオ信号符号化部1720を有し、カメラ制御部1712は、カメラ制御部112のビデオ信号復号部136と同等のビデオ信号復号部1736を有する。送信ユニット1710のビデオ信号符号化部1720は、ビデオカメラ部1713より供給された画像データを、図4等を参照して説明したビデオ信号符号化部120と同様の方法で符号化する。さらに、送信ユニット1710は、得られた符号化データをOFDMし、得られた変調信号を、トライアックスケーブル1711を介してカメラ制御部1712に送信する。カメラ制御部1712は、その変調信号を受信すると、それをOFDM方式で復調する。そしてカメラ制御部1712のビデオ信号復号部1736は復調して得られた符号化データを復号し、得られた画像データを後段のシステム（例えばスイッチャ等）に出力する。
なお、カメラ制御部1712には、外部同期信号1751が供給される。また、その外部同期信号1751は、トライアックスケーブル1711を介して送信ユニット1710にも供給される。送信ユニット1710およびカメラ制御部1712は、この外部同期信号に同期して動作する。
また、送信ユニット1710は、カメラ制御部1712との同期タイミングを制御する同期制御部1771を有する。同様に、カメラ制御部1712は、送信ユニット1710との同期タイミングを制御する同期制御部1761を有する。当然、外部同期信号1751は、これらの同期制御部1761および同期制御部1771にも供給される。同期制御部1761および同期制御部1771は、それぞれ、カメラ制御部1712および送信ユニット1710が、この外部同期信号1751に同期しながら、かつ相互の同期タイミングが適切となるように制御を行う。
この制御処理の流れの例を図40のフローチャートを参照して説明する。
制御処理が開始されると、カメラ制御部1712の同期制御部1761は、ステップS301において、同期制御部1771と通信を行い、制御コマンドを授受することができるように、コマンド通信を確立する。これに対応して送信ユニット1710の同期制御部1771も同様に、ステップS321において、同期制御部1761と通信を行い、コマンド通信を確立する。
制御コマンドが授受できるようになると、同期制御部1761は、ステップS302において、同期制御部1771に対し、エンコーダに全画素が黒の1ピクチャ分の画像である黒画を入れさせる。同期制御部1771は、データ量の少ない黒画（全画素が黒の1ピクチャ分の画像）の画像データ1781（以下、黒画1781と称する）を有しており、ステップS322において、同期制御部1761よりその指示を受けると、ステップS323において、この黒画1781をビデオ信号符号化部1720（エンコーダ）に供給し、ステップS324において、ビデオ信号符号化部1720を制御し、ビデオカメラ部1713より供給される画像データの場合（実際の場合）と同様にその黒画1781を符号化させる。さらに、同期制御部1771は、ステップS325において、送信ユニット1710を制御し、得られた符号化データのデータ伝送を開始させる。より具体的には、同期制御部1771は、送信ユニット1710を制御し、その符号化データを実際の場合と同様にOFDMさせ、得られた変調信号を、トライアックスケーブル1711を介してカメラ制御部1712に伝送させる。
同期制御部1761は、同期制御部1771に対して指示を出した後、ステップS303およびステップS304において、変調信号が送信ユニット1710からカメラ制御部1712に伝送されるまで待機する。ステップS304において、カメラ制御部1712がデータ（変調信号）を受信したと判定した場合、同期制御部1761は、処理をステップS305に進め、カメラ制御部1712を制御し、その変調信号をOFDM方式で復調させ、ビデオ信号復号部1736に、得られた符号化データのデコード（復号）を開始させる。デコードを開始させると、同期制御部1761は、ステップS306およびステップS307において、そのデコードが完了するまで待機する。ステップS307において、デコードが完了し、黒画が得られたと判定した場合、同期制御部1761は、処理をステップS308に進める。
ステップS308において、同期制御部1761は、以上のようにステップS302において指示を出してからステップS307においてデコードが完了したと判定するまでの時間に基づいて、ビデオ信号復号部1736のデコード開始タイミング（ビデオ信号符号化部1720のエンコード開始タイミングに対する相対的なタイミング）を設定する。もちろんこのタイミングは、外部同期信号1751に同期する。
ステップS309において、同期制御部1761は、同期制御部1771に対して、ビデオカメラ部1713からの撮像画像をエンコーダに入れさせるように指示を出す。ステップS326においてその指示を取得すると、同期制御部1771は、ステップS327において、送信ユニット1710を制御し、ビデオカメラ部1713より供給される撮像画像の画像データを所定のタイミングでビデオ信号符号化部1720に供給させる。
ビデオ信号符号化部1720は、その供給タイミングに対応する所定のタイミングで撮像画像の符号化を開始する。また、ビデオ信号復号部1736は、ステップS308において行われた設定に基づいて、そのエンコード開始タイミングに対応する所定のタイミングでデコードを開始する。
以上のように、同期制御部1761および同期制御部1771は、データ量の少ない画像データを用いてエンコーダとデコーダとの間の同期タイミングの制御を行うことにより、この同期タイミングの設定による不要な遅延時間の増大を抑制することができる。これにより、デジタルトライアックスシステム1700は、低遅延を維持し、データ伝送に必要なバッファの増大を抑制しながら、画像データの出力を他の系統と同期させることができる。
なお、以上においては、同期タイミングの制御に黒画を用いるように説明したが、データ量が小さい画像であればよく、例えば、全画素が白色の画像である白画など、どのような画像を用いるようにしてもよい。
また、以上においては、カメラ制御部1712に内蔵される同期制御部1761が送信ユニット1710に内蔵される同期制御部1771にエンコード開始等の指示を出すように説明したが、これに限らず、同期制御部1771が主体となって制御処理を行うようにし、デコードの開始等の指示を出すようにしても良い。また、同期制御部1761および同期制御部1771を、送信ユニット1710およびカメラ制御部1712と別体として構成するようにしてもよい。また、同期制御部1761および同期制御部1771を1つの処理部として構成するようにしてもよく、その際、同期制御部1761および同期制御部1771を、送信ユニット1710に内蔵させるようにしてもよいし、カメラ制御部1712に内蔵させるようにしてもよいし、それらとは別体として構成されるようにしてもよい。
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ、または、複数の装置よりなる情報処理システムの情報処理装置などに、プログラム記録媒体からインストールされる。
図41は、上述した一連の処理をプログラムにより実行する情報処理システムの構成の例を示すブロック図である。
図41に示されるように、情報処理システム2000は、情報処理装置2001、その情報処理装置2001とPCIバス2002によって接続された、記憶装置2003、複数台のビデオテープレコーダ（VTR）であるVTR2004-1乃至VTR2004-S、ユーザがこれらに対する操作入力を行うためのマウス2005、キーボード2006、並びに操作コントローラ2007により構成されるシステムであり、インストールされたプログラムによって、上述したような画像符号化処理や画像復号処理等を行うシステムである。
例えば情報処理システム2000の情報処理装置2001は、RAID（Redundant Arrays of Independent Disks）でなる大容量の記憶装置2003に記憶されている動画コンテンツを符号化して得られた符号化データを記憶装置2003に記憶させたり、記憶装置2003に記憶されている符号化データを復号して得られた復号画像データ（動画コンテンツ）を記憶装置2003に記憶させたり、符号化データや復号画像データをVTR2004-1乃至VTR2004-Sを介してビデオテープに記録したりすることができる。また、情報処理装置2001は、VTR2004-1乃至VTR2004-Sに装着されたビデオテープに記録された動画コンテンツを記憶装置2003に取り込み得るようにもなされている。その際、情報処理装置2001が、動画コンテンツを符号化するようにしてもよい。
情報処理装置2001は、マイクロプロセッサ2101、GPU（Graphics Processing Unit）2102、XDR（Extreme Data Rate）-RAM2103、サウスブリッジ2104、HDD（Hard Disk Drive）2105、USB（Universal Serial Bus）インタフェース（USB I/F（Interface））2106、およびサウンド入出力コーデック2107を有している。
GPU2102は専用のバス2111を介してマイクロプロセッサ2101に接続される。XDR-RAM2103は専用のバス2112を介してマイクロプロセッサ2101に接続される。サウスブリッジ2104は、専用のバスを介してマイクロプロセッサ2101のI/O（In/Out）コントローラ2144に接続される。このサウスブリッジ2104には、HDD2105、USBインタフェース2106、および、サウンド入出力コーデック2107も接続されている。このサウンド入出力コーデック2107にはスピーカ2121が接続されている。また、GPU2102にはディスプレイ2122が接続されている。
またサウスブリッジ2104には、さらに、PCIバス2002を介して、マウス2005、キーボード2006、VTR2004-1乃至VTR2004-S、記憶装置2003、並びに、操作コントローラ2007が接続されている。
マウス2005およびキーボード2006は、ユーザの操作入力を受け、PCIバス2002およびサウスブリッジ2104を介して、ユーザの操作入力の内容を示す信号を、マイクロプロセッサ2101に供給する。記憶装置2003およびVTR2004-1乃至VTR2004-Sは、所定のデータを記録または再生できるようになされている。
PCIバス2002にはさらに、必要に応じてドライブ2008が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア2011が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じてHDD2105にインストールされる。
マイクロプロセッサ2101は、OS（Operating System）等の基本プログラムを実行する汎用のメインCPUコア2141と、メインCPUコア2141に内部バス2145を介して接続された複数（この場合8個）のRISC（Reduced Instruction Set Computer）タイプの信号処理プロセッサである、サブCPUコア2142-1乃至サブCPUコア2142-8と、例えば256[MByte]の容量を持つXDR-RAM2103に対するメモリコントロールを行うメモリコントローラ2143と、サウスブリッジ2104との間でデータの入出力を管理するI/Oコントローラ2144とが1チップに集積されたマルチコア構成でなり、例えば動作周波数4[GHz]を実現している。
このマイクロプロセッサ2101は、起動時、HDD2105に格納された制御プログラムに基づき、HDD2105に格納されている必要なアプリケーションプログラムを読み出してXDR-RAM2103に展開し、この後このアプリケーションプログラム及びオペレータ操作に基づいて必要な制御処理を実行する。
また、マイクロプロセッサ2101は、ソフトウェアを実行することにより、例えば、上述した各実施の形態の画像符号化処理や画像復号処理を実現し、エンコードの結果得られた符号化ストリームを、サウスブリッジ2104を介して、HDD2105に供給して記憶させたり、デコードした結果得られる動画像コンテンツの再生映像を、GPU2102へデータ転送して、ディスプレイ2122に表示させたりすることができる。
マイクロプロセッサ2101内の各CPUコアの使用方法は任意であるが、例えば、メインCPUコア2141が、データ制御部137が行うビットレート変換処理の制御に関する処理を行い、8個のサブCPUコア2142-1乃至サブCPUコア2142-8の一部または全部を制御し、例えば符号量のカウント等の、ビットレート変換処理の詳細の処理を実行させるようにしてもよい。複数のCPUコアを用いることにより、例えば複数の処理を同時並列的に行うことが可能になり、より高速にビットレート変換処理を行うことができる。
また、画像符号化処理、画像復号処理、または通信に関する処理等の様に、ビットレート変換以外の処理がマイクロプロセッサ2101内の任意のCPUコアにおいて行われるようにしてもよい。その際、各CPUコアにおいて互いに異なる処理が同時並列的に実行されるようにしてもよく、これにより、各処理の効率を向上させ、処理全体の遅延時間を短縮させ、さらに、負荷、処理時間、および、処理に必要なメモリ容量を低減させるようにしてもよい。
また、例えば、PCIバス2002に、独立したエンコーダまたはデコーダ、もしくは、コーデック処理装置が接続されている場合、マイクロプロセッサ2101の8個のサブCPUコア2142-1乃至サブCPUコア2142-8が、サウスブリッジ2104およびPCIバス2002を介して、これらの装置が実行する処理を制御するようにしてもよい。さらに、これらの装置が複数接続されている場合、または、これらの装置が複数のデコーダまたはエンコーダを含んでいる場合、マイクロプロセッサ2101の8個のサブCPUコア2142-1乃至サブCPUコア2142-8は、複数のデコーダまたはエンコーダが実行する処理を、分担して制御するようにしてもよい。
このときメインCPUコア2141は、8個のサブCPUコア2142-1乃至サブCPUコア2142-8の動作を管理し、各サブCPUコア2142に対して処理を割り当てたり、処理結果を引き取ったりする。さらに、メインCPUコア2141は、これらのサブCPUコア2142-1乃至サブCPUコア2142-8が行う以外の処理も行う。例えば、メインCPUコア2141は、サウスブリッジ2104を介してマウス2005、キーボード2006、または、操作コントローラ2007から供給された命令を受け付け、命令に応じた種々の処理を実行する。
GPU2102は、ディスプレイ2122に表示する動画コンテンツの再生映像を動かすときのテクスチャの張り込みなどに関する最終的なレンダリング処理に加えて、動画コンテンツの再生映像及び静止画コンテンツの静止画像をディスプレイ2122に一度に複数表示するときの座標変換計算処理や、動画コンテンツの再生映像及び静止画コンテンツの静止画像に対する拡大・縮小処理等を行う機能を司り、マイクロプロセッサ2101の処理負担を軽減させるようになされている。
GPU2102は、マイクロプロセッサ2101の制御のもとに、供給された動画コンテンツの映像データや静止画コンテンツの画像データに対して所定の信号処理を施し、その結果得られた映像データや画像データをディスプレイ2122へ送出して、画像信号をディスプレイ2122へ表示させる。
ところで、マイクロプロセッサ2101における8個のサブCPUコア2142-1乃至サブCPUコア2142-8で同時並列的にデコードされた複数の動画コンテンツにおける再生映像は、バス2111を介してGPU2102へデータ転送されるが、このときの転送速度は、例えば、最大30[Gbyte/sec]であり、特殊効果の施された複雑な再生映像であっても高速かつ滑らかに表示し得るようになされている。
また、マイクロプロセッサ2101は、動画コンテンツの映像データ及び音声データのうち音声データに対して音声ミキシング処理を施し、その結果得られた編集音声データを、サウスブリッジ2104およびサウンド入出力コーデック2107を介して、スピーカ2121へ送出することにより、音声信号に基づく音声をスピーカ2121から出力させることもできる。
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。
この記録媒体は、例えば、図41に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disc - Read Only Memory）,DVD（Digital Versatile Disc）を含む）、光磁気ディスク（MD（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア2011により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているHDD2105や記憶装置2003等で構成される。もちろん、記録媒体は、ROMやフラッシュメモリ等の半導体メモリであってもよい。
以上においては、マイクロプロセッサ2101内に8個のサブCPUコアが構成されるように説明したが、これに限らず、サブCPUコアの数は任意である。また、マイクロプロセッサ2101が、メインCPUコア2141とサブCPUコア2142-1乃至サブCPUコア2142-8のような複数のコアにより構成されていなくてもよく、シングルコア（1つのコア）により構成されるCPUを用いるようにしてもよい。また、マイクロプロセッサ2101の代わりに複数のCPUを用いるようにしてもよいし、複数の情報処理装置を用いる（すなわち、本発明の処理を実行するプログラムを、互いに連携して動作する複数の装置において実行する）ようにしてもよい。
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本明細書において、システムとは、複数のデバイス（装置）により構成される装置全体を表わすものである。
なお、以上において、1つの装置として説明した構成を分割し、複数の装置として構成するようにしてもよい。逆に、以上において複数の装置として説明した構成をまとめて1つの装置として構成されるようにしてもよい。また、各装置の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置の構成の一部を他の装置の構成に含めるようにしてもよい。
本発明は、例えば、デジタルトライアックスシステムに適用することが可能である。

Claims (16)

  1. 画像データを符号化して符号化データを生成する情報処理装置であって、
    周波数帯域毎に分解された係数データを、最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の画像データを含むラインブロック毎に、周波数帯域に分解された複数のサブバンドの係数データを合成して画像データを生成する合成処理を実行する順に予め並び替える並び替え手段と、
    前記並び替え手段により並び替えられた係数データを、ラインブロック毎に符号化して符号化データを生成する符号化手段と、
    前記符号化手段により生成された符号化データを記憶する記憶手段と、
    前記記憶手段により前記符号化データが前記ラインブロック複数分記憶される度に、前記符号化データの符号量の総和を算出する算出手段と、
    前記算出手段により算出された符号量の総和が前記目標符号量に達した場合、前記記憶手段に記憶されている前記符号化データを出力する出力手段と
    を備える情報処理装置。
  2. 前記出力手段は、前記符号化データのビットレートを変更する
    請求項１に記載の情報処理装置。
  3. 前記並び替え手段は、前記係数データを、ラインブロック毎に、低域成分から高域成分の順に並び替える
    請求項１に記載の情報処理装置。
  4. 前記並び替え手段および前記符号化手段を、ラインブロック毎にそれぞれ並列動作させるように制御する制御手段を更に備える
    請求項１に記載の情報処理装置。
  5. 前記並び替え手段および前記符号化手段は、並列的に各処理を行う
    請求項１に記載の情報処理装置。
  6. 前記画像データに対して、ラインブロック毎にフィルタ処理を行い、周波数帯域毎に分解された係数データからなる複数のサブバンドを生成するフィルタ手段を更に備える
    請求項１に記載の情報処理装置。
  7. 前記符号化データを復号する復号手段を更に備える
    請求項１に記載の情報処理装置。
  8. 前記符号化データを互いに異なる周波数領域で変調して変調信号を生成する変調手段と、
    前記変調手段により生成された変調信号を周波数多重化して増幅させる増幅手段と、
    前記変調手段により増幅された変調信号を合成して伝送する伝送手段と
    を更に備える請求項１に記載の情報処理装置。
  9. 周波数領域の減衰率に基づいて、前記変調手段の変調方式を設定する変調制御手段を更に備える
    請求項８に記載の情報処理装置。
  10. 周波数領域の減衰率が閾値以上の場合に、高域成分に対する信号点距離を大きく設定する制御手段を更に備える
    請求項８に記載の情報処理装置。
  11. 周波数領域の減衰率が閾値以上の場合に、高域成分に対するエラー訂正ビットの割当量を多く設定する制御手段を更に備える
    請求項８に記載の情報処理装置。
  12. 周波数領域の減衰率が閾値以上の場合に、高域成分に対する圧縮率を高く設定する制御手段を更に備える
    請求項８に記載の情報処理装置。
  13. 変調手段は、OFDM方式で変調する
    請求項８に記載の情報処理装置。
  14. データ量が閾値より少ない画像データを用いて、前記符号化手段と前記符号化データを復号する復号手段との間で同期タイミングの制御を行う同期制御部を更に備える
    請求項１に記載の情報処理装置。
  15. 前記データ量が閾値より少ない画像データは、全画素が黒の1ピクチャ分の画像である
    請求項１４に記載の情報処理装置。
  16. 画像データを符号化して符号化データを生成する情報処理装置の情報処理方法であって、
    周波数帯域毎に分解された係数データを、最低域成分のサブバンドの１ライン分の係数データを生成するのに必要なライン数分の画像データを含むラインブロック毎に、周波数帯域に分解された複数のサブバンドの係数データを合成して画像データを生成する合成処理を実行する順に予め並び替え、
    並び替えられた係数データを、ラインブロック毎に符号化して符号化データを生成し、
    生成された符号化データを記憶し、
    前記符号化データが前記ラインブロック複数分記憶される度に、前記符号化データの符号量の総和を算出し、
    算出された符号量の総和が前記目標符号量に達した場合、記憶されている前記符号化データを出力する
    ステップを含む情報処理方法。
JP2008556125A 2007-01-31 2008-01-30 情報処理装置および方法 Pending JPWO2008093698A1 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2007020523 2007-01-31
JP2007020523 2007-01-31
PCT/JP2008/051353 WO2008093698A1 (ja) 2007-01-31 2008-01-30 情報処理装置および方法

Publications (1)

Publication Number Publication Date
JPWO2008093698A1 true JPWO2008093698A1 (ja) 2010-05-20

Family

ID=39674007

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008556125A Pending JPWO2008093698A1 (ja) 2007-01-31 2008-01-30 情報処理装置および方法

Country Status (4)

Country Link
US (1) US20100166053A1 (ja)
JP (1) JPWO2008093698A1 (ja)
CN (1) CN101543077B (ja)
WO (1) WO2008093698A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8411766B2 (en) 2008-04-09 2013-04-02 Wi-Lan, Inc. System and method for utilizing spectral resources in wireless communications
US8274885B2 (en) * 2008-10-03 2012-09-25 Wi-Lan, Inc. System and method for data distribution in VHF/UHF bands
US8107391B2 (en) 2008-11-19 2012-01-31 Wi-Lan, Inc. Systems and etiquette for home gateways using white space
JP5286050B2 (ja) * 2008-11-28 2013-09-11 株式会社日立国際電気 符号化−復号化装置および映像伝送システム
US8335204B2 (en) * 2009-01-30 2012-12-18 Wi-Lan, Inc. Wireless local area network using TV white space spectrum and long term evolution system architecture
JP2010239288A (ja) 2009-03-30 2010-10-21 Sony Corp 情報処理装置および方法
US20100309317A1 (en) * 2009-06-04 2010-12-09 Wi-Lan Inc. Device and method for detecting unused tv spectrum for wireless communication systems
US8937872B2 (en) 2009-06-08 2015-01-20 Wi-Lan, Inc. Peer-to-peer control network for a wireless radio access network
JP2011071649A (ja) * 2009-09-24 2011-04-07 Sony Corp 画像処理装置および方法
JP5263621B2 (ja) * 2009-09-24 2013-08-14 ソニー株式会社 画像処理装置および方法
JP5289376B2 (ja) * 2010-04-12 2013-09-11 株式会社日立国際電気 映像信号伝送装置
DE102010029030A1 (de) * 2010-05-17 2012-03-01 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Vorrichtung zur Verarbeitung von Daten in einem Fahrzeug
JPWO2012046435A1 (ja) * 2010-10-04 2014-02-24 パナソニック株式会社 画像処理装置、画像符号化方法および画像処理方法
WO2013020165A2 (en) * 2011-08-05 2013-02-14 HONEYWELL INTERNATIONAL INC. Attn: Patent Services Systems and methods for managing video data
US9253230B2 (en) * 2012-08-30 2016-02-02 Qualcomm Technologies International, Ltd. Reducing latency in multiple unicast transmissions
JP2014075680A (ja) * 2012-10-03 2014-04-24 Sony Corp 画像処理装置、画像処理方法およびプログラム
JP6178099B2 (ja) 2013-04-05 2017-08-09 ソニー株式会社 中間ユニットおよびカメラシステム
JP2015109071A (ja) * 2013-10-25 2015-06-11 トヨタ自動車株式会社 制御装置
MX2018001335A (es) * 2015-07-31 2019-04-01 Zebware Ab Detección y corrección de la integridad de los datos.
JP6722995B2 (ja) * 2015-10-23 2020-07-15 キヤノン株式会社 符号化方法及び符号化装置、撮像装置及びプログラム
JP6494055B2 (ja) * 2015-10-30 2019-04-03 株式会社日立国際電気 伝送装置
US20170148291A1 (en) * 2015-11-20 2017-05-25 Hitachi, Ltd. Method and a system for dynamic display of surveillance feeds
WO2017138520A1 (ja) * 2016-02-10 2017-08-17 株式会社日立国際電気 映像信号伝送装置
JP6516034B2 (ja) * 2018-03-15 2019-05-22 ソニー株式会社 中間ユニットおよびカメラシステム
JP7466042B1 (ja) 2023-07-19 2024-04-11 Kddi株式会社 情報処理システム、情報処理装置及び情報処理方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07283757A (ja) * 1994-04-14 1995-10-27 Matsushita Electric Ind Co Ltd 音声データ通信装置
JP2002165098A (ja) * 2000-11-27 2002-06-07 Sony Corp 画像符号化装置及び画像符号化方法
JP2003234905A (ja) * 2002-02-06 2003-08-22 Ricoh Co Ltd 固定長画像符号化装置及び固定長画像復号化装置
JP2003244443A (ja) * 2002-02-19 2003-08-29 Ricoh Co Ltd 画像符号化装置及び画像復号装置
JP2003258646A (ja) * 2002-02-27 2003-09-12 Sony Corp ５×３ウェーブレット変換装置
JP2003298846A (ja) * 2002-04-05 2003-10-17 Sony Corp ２次元サブバンド符号化装置
JP2004088164A (ja) * 2002-08-22 2004-03-18 Ricoh Co Ltd 画像処理装置
JP2005039793A (ja) * 2003-06-27 2005-02-10 Ricoh Co Ltd 画像符号化装置、プログラム及び記憶媒体
JP2005130101A (ja) * 2003-10-22 2005-05-19 Ricoh Co Ltd 画像処理装置
WO2006077933A1 (ja) * 2005-01-21 2006-07-27 Matsushita Electric Industrial Co., Ltd. 無線通信装置及び無線通信方法
JP2007295538A (ja) * 2006-03-29 2007-11-08 Hitachi Kokusai Electric Inc 双方向信号伝送システム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0545651A3 (en) * 1991-12-02 1993-08-11 Matsushita Electric Industrial Co., Ltd. Recorder and player for video digital video signals
US6141446A (en) * 1994-09-21 2000-10-31 Ricoh Company, Ltd. Compression and decompression system with reversible wavelets and lossy reconstruction
GB2295936B (en) * 1994-12-05 1997-02-05 Microsoft Corp Progressive image transmission using discrete wavelet transforms
JP3213222B2 (ja) * 1995-11-02 2001-10-02 株式会社リコー 符号化方法
JP3213582B2 (ja) * 1997-05-29 2001-10-02 シャープ株式会社 画像符号化装置及び画像復号装置
US6707948B1 (en) * 1997-11-17 2004-03-16 The Regents Of The University Of California Image compression for memory-constrained decoders
JP4420415B2 (ja) * 1998-07-03 2010-02-24 キヤノン株式会社 符号化方法及び符号化装置
CN1170437C (zh) * 1999-06-08 2004-10-06 松下电器产业株式会社 图像信号混洗装置和方法
CN1159916C (zh) * 1999-06-22 2004-07-28 日本胜利株式会社 活动图象编码装置及其方法
US6965695B2 (en) * 2000-03-23 2005-11-15 Ricoh Company, Ltd. Method and system for processing character edge area data
EP1655971A2 (en) * 2000-09-19 2006-05-10 Matsushita Electric Industrial Co., Ltd. Image signal transmitter
US7010276B2 (en) * 2001-04-11 2006-03-07 Tropian, Inc. Communications signal amplifiers having independent power control and amplitude modulation
US6735254B2 (en) * 2001-06-29 2004-05-11 Qualcomm, Inc. DCT compression using Golomb-Rice coding
JP4003945B2 (ja) * 2002-08-26 2007-11-07 株式会社リコー 画像処理装置、画像処理方法、プログラム及び記憶媒体
JP2004104694A (ja) * 2002-09-12 2004-04-02 Sony Corp 符号化装置と符号化方法と符号化プログラムおよび復号化装置と復号化方法と復号化プログラム
US7483575B2 (en) * 2002-10-25 2009-01-27 Sony Corporation Picture encoding apparatus and method, program and recording medium
US20050089092A1 (en) * 2003-10-22 2005-04-28 Yasuhiro Hashimoto Moving picture encoding apparatus
JP3856792B2 (ja) * 2004-01-16 2006-12-13 松下電器産業株式会社 信号処理装置
JP2006108923A (ja) * 2004-10-01 2006-04-20 Ntt Docomo Inc 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、動画像復号プログラム
JP4254866B2 (ja) * 2007-01-31 2009-04-15 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体
JP4254867B2 (ja) * 2007-01-31 2009-04-15 ソニー株式会社 情報処理装置および方法、プログラム、並びに記録媒体

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07283757A (ja) * 1994-04-14 1995-10-27 Matsushita Electric Ind Co Ltd 音声データ通信装置
JP2002165098A (ja) * 2000-11-27 2002-06-07 Sony Corp 画像符号化装置及び画像符号化方法
JP2003234905A (ja) * 2002-02-06 2003-08-22 Ricoh Co Ltd 固定長画像符号化装置及び固定長画像復号化装置
JP2003244443A (ja) * 2002-02-19 2003-08-29 Ricoh Co Ltd 画像符号化装置及び画像復号装置
JP2003258646A (ja) * 2002-02-27 2003-09-12 Sony Corp ５×３ウェーブレット変換装置
JP2003298846A (ja) * 2002-04-05 2003-10-17 Sony Corp ２次元サブバンド符号化装置
JP2004088164A (ja) * 2002-08-22 2004-03-18 Ricoh Co Ltd 画像処理装置
JP2005039793A (ja) * 2003-06-27 2005-02-10 Ricoh Co Ltd 画像符号化装置、プログラム及び記憶媒体
JP2005130101A (ja) * 2003-10-22 2005-05-19 Ricoh Co Ltd 画像処理装置
WO2006077933A1 (ja) * 2005-01-21 2006-07-27 Matsushita Electric Industrial Co., Ltd. 無線通信装置及び無線通信方法
JP2007295538A (ja) * 2006-03-29 2007-11-08 Hitachi Kokusai Electric Inc 双方向信号伝送システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
CSNB200800372001; 福原 隆浩 ＴＡＫＡＨＩＲＯ ＦＵＫＵＨＡＲＡ: ＪＰＥＧ２０００詳細解説 初版 第１版, 20040915, ｐ．１４，ｐ．１０７-１１０, ＣＱ出版株式会社 増田 久喜 *
JPN6013015983; 福原 隆浩 ＴＡＫＡＨＩＲＯ ＦＵＫＵＨＡＲＡ: ＪＰＥＧ２０００詳細解説 初版 第１版, 20040915, ｐ．１４，ｐ．１０７-１１０, ＣＱ出版株式会社 増田 久喜 *

Also Published As

Publication number Publication date
CN101543077A (zh) 2009-09-23
CN101543077B (zh) 2011-01-19
WO2008093698A1 (ja) 2008-08-07
US20100166053A1 (en) 2010-07-01

Similar Documents

Publication Publication Date Title
JPWO2008093698A1 (ja) 情報処理装置および方法
US7701365B2 (en) Encoding device and method, composite device and method, and transmission system
US8000548B2 (en) Wavelet transformation device and method, wavelet inverse transformation device and method, program, and recording medium for performing wavelet transformation at a plurality of division levels
US8031960B2 (en) Wavelet transformation device and method, wavelet inverse transformation device and method, program, and recording medium
US8254707B2 (en) Encoding device, encoding method, encoding program, decoding device, decoding method, and decoding program in interlace scanning
US8665943B2 (en) Encoding device, encoding method, encoding program, decoding device, decoding method, and decoding program
US8107755B2 (en) Information processing apparatus and method
US8432967B2 (en) Information processing apparatus and method for encoding image data to generate encoded data
JP5162939B2 (ja) 情報処理装置および方法、並びにプログラム
JP4488027B2 (ja) 情報処理装置および方法、並びに、情報処理システム
JP5024178B2 (ja) 画像処理装置、及び画像処理方法
KR20090113171A (ko) 정보 처리 장치 및 방법
JP2000209592A (ja) 画像伝送装置と方法及びシステムとその制御方法
JP2008187571A (ja) 情報処理装置および方法、並びにプログラム
JP2020072390A (ja) 画像符号化装置、及びこれらの制御方法、並びにプログラム
JP2008187572A (ja) 情報処理装置および方法、並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20101207

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130404

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20130730