従来、遅延時間を最小にする映像データ伝送方式として非圧縮映像データ伝送方式があるが、大きなサイズの映像データを送るには高速な伝送路を必要とする。これに対し映像データを圧縮して伝送する方式が提案されているが、一定の高画質を維持しようとすると圧縮率は映像データに依存して変化するため、想定される圧縮映像データにあわせた高速な伝送路が必要となり、そのために高速送信部や高速受信部の電力消費が大きく、低電力化が困難である。
以下の実施例では、映像データの伝送において、映像送信装置が送信する映像データを圧縮して送信する際に、その圧縮映像データに基づいて、送信クロック周波数をリアルタイムに制御または、有効データを送信および受信していない期間中に送信部または受信部のクロック周波数を低減又はクロック停止、あるいは電源供給を止めるなどにより、電力消費を抑えた動作モードに切換える。以下、この実施例を、図面を用いて説明する。
以下本実施例における映像送信装置および映像受信装置について説明する。
図6は、本実施例の映像送信システムを示すブロック図であり、映像送信装置901と映像受信装置903をケーブル902、905、906で接続した構成である。
映像送信装置901は、映像データを伝送する映像送信装置であり、デジタル放送を受信し視聴できるようにデコードした映像データや、カメラなどで撮影した映像データをHDMIケーブルなどにより、他の機器に映像データを出力する機器である。映像送信装置901の一例として、レコーダや、レコーダ機能を内蔵したデジタルTVや、レコーダ機能を内蔵したパソコンや、カムコーダや、カメラ機能を搭載した携帯電話などがある。
映像受信装置903は、HDMIケーブル等を使用して、映像データを入力しモニタに画像を出力する表示機器である。映像受信装置903の一例として、デジタルTVや、ディスプレイ、プロジェクタなどがある。
ケーブル902と905,906は独立していてもよいが束ねたケーブルとして取り扱うと使い勝手がよい。ケーブル902と905、906を束ねたケーブルは、映像送信装置901と映像受信装置903の機器間で映像データ等のデータ通信を行うデータ伝送路である。この束ねたケーブル一例として、HDMI規格や、DisplayPort規格に対応した有線ケーブルがある。また、この束ねたケーブルに替えて、無線方式でデータ通信を行うように構成してもよい。
まず、映像送信装置901の構成について説明する。
入力部911、912、913は、映像データを映像送信装置901に入力するための入力部である。入力部911に入力され、チューナー受信処理部915で処理される映像データの一例としては、放送局または放送用衛星などの中継局からの電波として入力されるデジタル放送がある。入力部911には、この放送局または放送用衛星などの中継局からの電波が入力される。
入力部912に入力され、ネットワーク受信処理部916で処理される映像データの一例としては、インターネットのブロードバンド接続を利用して、ネットワーク経由で配信されてくるデジタル放送や、情報コンテンツなどがある。
入力部913に入力され、記録メディア制御部917で処理される映像データの一例としては、入力部913に接続された外部の記録メディアに記録されているコンテンツがある。また、記録メディア制御部917で処理される映像データの一例としては、映像送信装置901内に内蔵された記録メディア918に記録されているコンテンツもある。入力部913に接続された外部の記録メディア、もしくは映像送信装置901内に内蔵された記録メディア918の一例としては、光ディスク、磁気ディスク、半導体メモリなどがある。
チューナー受信処理部915は、入力された電波をビットストリームに変換する受信処理部であり、ここでRF帯域(Radio Frequency)の電波はIF帯域 (Intermediate Frequency) に周波数変換され、受信チャネルに依存しない一定の帯域の信号として、復調されたビットストリームに伝送のために施された変調操作を復調する。
ビットストリームの一例としては、MPEG2トランスポートストリーム(以降MPEG2−TSとする)や、MPEG2−TSに準じたフォーマットのビットストリーム等がある。以降のビットストリームは、MPEG2−TSを代表として説明を行う。
前記チューナー受信処理部915は、さらに伝送途中で発生した符合の誤りを検出し訂正し、誤り訂正されたMPEG2−TSにつきスクランブルの解除を行った後、視聴もしくは記録を行うプログラムが多重化されている1トランスポンダ周波数を選択し、この選択した1トランスポンダ内のビットストリームを1プログラムのオーディオとビデオのパケットに分離化する。
前記チューナー受信処理部915からのMPEG2−TSは、ストリーム制御部921に供給される。ストリーム制御部921は、前記チューナー受信処理部915においてパケットを受信した時の間隔を保時する為に、受信したパケット内から時刻管理情報であるPTS(Presentation Time Stamp)と、MPEGシステムの基準復号器内部のSTC(System Time Clock)を検出し、検出結果により補正したタイミングでタイムスタンプを付加する。前記タイムスタンプを付加したパケットを視聴処理においてはデコーダ922へ、記録メディアへの記録時には、記録メディア制御部917へ供給する。
入力部912に入力されるコンテンツはネットワーク受信処理部916が受信処理して、MPEG2−TSとしてストリーム制御部へ入力される。
入力部913に接続された外部の記録メディア、もしくは映像送信装置901内に内蔵された記録メディア918に記録されているデジタル放送もしくはデジタルコンテンツは、記録メディア制御部917によりMPEG2−TSとして読み出され、前記ストリーム制御部921へ入力される。前記ストリーム制御部921は、これらの入力のうち少なくとも1つを選択し、デコーダ922に出力する。
デコーダ922は、前記ストリーム制御部921から入力されたMPEG2−TSをデコードし、生成した映像データを表示処理部923に出力する。表示処理部923は、入力された映像データに対して、例えばOSD(On Screen Display)の重畳処理や、拡大もしくは縮小処理を施した後、映像送信部924に出力する。
映像送信部924は、映像データを伝送に適した形式の信号に変換して出力部927から出力を行う。伝送に適した形式の信号の一例として、ケーブルによる伝送に適した形式がHDMI規格に記載されている。HDMIにおいて、映像データは、TMDS方式のデータ伝送フォーマットが採用されている。
入力部914は、映像送信装置901の動作を制御するための信号を入力するための入力部である。入力部914の一例として、リモコンから送信される信号の受信部や、装置本体に備え付けられたボタンなどがある。入力部914からの制御信号は、ユーザーIF919に供給される。前記ユーザーIF919は、入力部914からの信号を制御部910に出力する。
制御部910は、入力部914の信号に従い、映像送信装置901全体を制御する。制御部910の一例としては、マイクロプロセッサなどがある。映像送信装置901からの映像データは、ケーブル902を介して映像受信装置903に供給する。
読出し部925は、端子928を介して、映像受信装置903に関する情報を読み出す。この情報は、例えばVESAが定義したEDID(Extended Display Identification Data)の構成を用いる。読み出した映像急進装置903に関する情報を制御部910に伝え、制御部910はこの情報に基づいて、映像受信装置903へ提供する映像データの形式を決定し、表示処理部923や映像送信部924を制御する。
双方向通信部926は、端子929を通じて映像受信装置903とメッセージを交換する通信部であり、その通信内容は制御部910が制御する。このメッセージ交換により、映像送信装置901と映像受信装置903は連係動作をおこなうことができる。例えば、HDMI規格ではCEC(Consumer Electronics Control))として定義されている。
次に映像受信装置903の構成について説明する。
入力部931は、伝送に適した形式の信号が入力される。前記入力部931に入力された信号は、映像受信部935に供給される。映像受信部935は伝送に適した形式の信号を映像データに変換して、表示処理部936に出力する。
表示処理部936は、入力された映像データに対して表示処理を施す。表示処理の一例としては、OSD重畳処理、表示部937の解像度に変換するための拡大もしくは縮小処理、フレームレート変換処理、高画質化処理(雑音抑圧、色補正、階調補正、輪郭補正など)などがある。表示処理部936の出力は表示部937に出力する。
表示部937は、入力された映像データを表示方式にあわせた信号に変換し画面に表示する。表示部937の一例として、液晶ディスプレイや、プラズマディスプレイや、有機EL(Electro−Luminescence)ディスプレイなどの表示部がある。
入力部934は、映像受信装置903の動作を制御するための信号を入力するための入力部である。入力部934の一例として、リモコンから送信される信号の受信部や、装置本体に備え付けられたボタンなどがある。入力部934からの制御信号は、ユーザーIF940に供給される。前記ユーザーIF940は、入力部934からの信号を制御部941に出力する。制御部941は、入力部934の信号に従い、映像受信装置903全体を制御する制御部である。
EDID記憶部938は、映像受信装置903に関する情報を記憶させるブロックであり、映像送信装置901が読み出しを要求すれば、端子932から該当情報を出力する。映像受信装置903に関する情報は、映像受信装置の受信状態によって変化する場合は、制御部941の指示で記憶情報を書きかえてもよい。
双方向通信部939は、端子933を通じて映像送信装置901とメッセージを交換する通信部であり、その通信内容は制御部941が制御する。このメッセージ交換により、映像送信装置901と映像受信装置903は連係動作をおこなうことができる。
次に、映像送信装置901の映像送信部924と、映像受信装置903の映像受信部935について、図1を用いて説明する。
図1は、本実施例の映像送受信部の一例を示すブロック図であり、映像送信部11と映像受信部21を電線311と312、313、314を含むケーブルで接続した構成である。
映像送信部11は、映像送信装置内の映像信号源から入力された映像データを送信する映像送信部である。
映像受信部21は、ケーブルを介して映像送信部11から送信された映像データを受信して、映像受信装置内の例えば表示部へ出力する映像受信部である。
電線311と312、313、314を含むケーブルは、映像送信部11から映像受信部21へ映像データ等のデータ通信を行うデータ伝送路である。このケーブルの一例として、HDMI規格や、DisplayPort規格に対応した有線ケーブルもしくは、無線方式のデータ通信を行うデータ伝送路などがある。
まず、映像送信部11の構成について説明する。
付加情報部116は映像送信部11が送信する映像データのカラリメトリやフォーマット情報、映像圧縮に関する情報、音声データなどの付加情報を提供する情報供給部である。例えば、映像送信部11を持つ映像送信装置内の映像信号源からカラリメトリやフォーマット情報などの映像に関する情報を入手し、送信部11が送信する映像圧縮方式やその圧縮パラメータなどの映像圧縮に関する情報と合わせた付加情報を提供する。
圧縮部114は、映像装置内の映像信号源から入力される非圧縮のRGB原色映像データまたはYCbCr輝度色差映像データを圧縮する圧縮符号化部である。圧縮は可逆圧縮であっても、非可逆圧縮であってもよい。
並べ替え部115は、圧縮部114が出力する圧縮映像データを各伝送路に振り分ける並び替え部である。一般に、RGB原色映像データまたはYCbCr輝度色差信号を圧縮すると、RGB原色間またはYCbCr輝度色差信号間で圧縮率が異なり、データ量のアンバランスを生じる。並び替え部115は、圧縮映像データをほぼ均等に3系統の伝送路に並び替えることによって、伝送路の使用効率を高めることができる。また、圧縮映像データが2/3以下または1/3以下と少ない場合は、3系統の内1系統または2系統へのデータ提供を停止させて消費電力を低減させることもできる。どのように並び替えたかの情報を、圧縮映像に関する情報パケットで受信側に伝えるために、この並び替え情報を付加情報部116に伝える。
選択部111、112、113は、映像装置内の映像信号源から入力される非圧映像データと、並べ替え部114で並び替えられた圧縮映像データ、付加情報部116が提供する付加情報を選択する選択部である。映像送信部11が非圧縮映像データを送信する場合は、映像信号期間中に非圧縮映像データを、帰線期間中に付加情報を選択する。映像送信部11が圧縮映像データを送信する場合は、映像信号期間中に圧縮映像データを、帰線期間中に付加情報を選択する。
付加情報部116は、カラリメトリや映像フォーマット情報や、圧縮映像に関する情報、音声データを記憶または一時記憶して、帰線期間中にパケットとして伝送できるようにデータを提供する。
クロック制御部117は、映像装置内の映像信号源から入力された映像クロックを基に、各部に必要なクロックを作成する制御部である。映像送信部11が非圧縮映像データを送信する場合は、例えば該映像クロックを基準クロックとして出力回路124へ、それを10逓倍したクロックをシリアライザ125と126、127へ提供する。
映像送信部11が圧縮映像データを送信する場合も同様にしてもよいし、例えば圧縮部114で映像データが1/n以下になる場合、映像クロックをn分周した基準クロックを出力回路124へ、その基準クロックを10逓倍したクロックをシリアライザ125と126、127へ提供してもよい。クロック周波数を1/nとすることにより、シリアライザ125と126、127および出力回路121と122、123の電力消費を低減できる。
シリアライザ125と126、127はそれぞれ選択部111と112、113が出力するパラレルデータをシリアル化するシリアライザである。例えば、TMDS方式などを用いるとよい。
出力回路121と122、123はそれぞれシリアライザ125と126、127から入力されるデータを所定の信号レベルやインピーダンスに合わせてそれぞれ電線311と312、313へ出力する出力回路である。出力回路124は、クロック制御部116から入力されるクロックを電線314へ出力する出力回路である。これらの出力回路には、信頼性を向上させるために、差動出力や、ケーブルで減衰する高周波成分をあらかじめ補償するプリエンファシス、ケーブルでの減衰が少ない低周波成分をあらかじめ減衰させるデエンファシスなどの機能を有してもよい。
尚、前述したように、並べ替え部が1系統または2系統へのデータ提供を停止する場合は、データ提供が停止されるシリアライザ126または/かつ127と、出力回路122または/かつ123へのクロック供給または電源を停止させて消費電力を低減させることもできる。
次に映像受信部21の構成について説明する。
入力回路211と212、213、214はそれぞれ電線311と312、313、314から入力された信号を受信する入力回路である。例えば、差動信号を所定のインピーダンスを持つ終端回路で受け、所定の信号レベルに変換するとよい。また、ケーブルで減衰する高周波成分を補償するイコライザなどの機能を有してもよい。
デシリアライザ215と216、217は、それぞれ入力回路211と212、213が出力するシリアルデータをパラレルデータ化するデシリアライザである。例えばTMDS方式のデータを復元する。
PLL218は、入力回路214が出力する基準クロックから所定の位相や周波数関係を持つデータクロックや映像クロックを生成するPhase Lock Loop(PLL))である。例えばTMDS方式の基準クロックを受信する場合、その基準クロックを10逓倍したデータクロックを作成する。基準クロックはそのまま映像クロックとしても利用される。
情報抽出部224はデシリアライザ215と216、217の出力データから、映像データのカラリメトリやフォーマット情報、映像圧縮に関する情報、音声データなどの付加情報を抽出する信号処理部である。
クロック制御部219は、PLL218から入力された基準クロックとそれを10逓倍したデータクロックを基に、映像受信部内の各部が必要とするクロックを生成する制御部である。情報抽出部224で抽出した情報がデータクロック周波数を1/nとしたことを示す場合は、デシリアライザ215と216、217へ供給するデータクロック周波数を1/nとすることによりデシリアライザの消費電力を低減することができる。
並べ替え部225は、情報抽出部224で抽出された並べ替え情報を基に、デシリアライザ215と216、217の出力データを並べ替える信号処理部である。この並べ替え情報が所定の系統にデータが無いことを示す場合は、該当する入力回路211または212、213とデシリアライザ215または216.217への電源供給を停止させるか、クロック制御部219の該当するデータクロック出力を停止させて消費電力を低減させてもよい。
復元部226は、並び替え部225で並び替えた出力データを復元して非圧縮映像信号を出力する信号処理部である。
選択部221と222、223は、それぞれデシリアライザ215と216、217の出力データと復元部226の出力データを切換えて出力する選択部である。情報抽出部224で抽出された圧縮映像に関する情報を基に、非圧縮映像データが受信している場合は、デシリアライザ215と216,217の出力を選択し、圧縮映像データを受信している場合は、復元部226の出力を選択する。
選択部221と222、223は、映像受信部21を持つ映像受信装置内の表示部などへ非圧縮映像データを供給する。
このように、映像送信部又は映像受信部のクロック周波数を低減またはクロック停止、電源供給停止により、低消費電力な高精細映像伝送を実現することができる。
以上、クロック周波数を1/nにする場合を例にとって説明してきたが、nの条件について、以下説明を行う。
映像受信部21のPLL218の引き込み時間が長くなることを考慮すると、nは映像のライン単位やフレーム単位で変化させることは好ましくない。そこで、映像コンテンツが必要とする画質と圧縮部の圧縮性能を基に、nの最小値mを決める。映像クロックをm分周した基準クロックを出力回路124へ、映像クロックを10/n逓倍(または基準クロックを10・m/n逓倍)したデータクロックをシリアライザ125と126、127へ提供すると、ケーブル314で伝送されるクロック周波数が一定となるので、映像受信部21のPLL218が定常動作となり安定になる。
ここで、nやmは整数であれば、上記説明のように分周動作であるが、有理数であってもよい。有理数の場合は分周器に変えてPLLで構成すればよい。受信側では、デシリアライザが必要とするデータクロックは、基準クロックを10m/n逓倍して得る。n/mが整数となるように設定すれば、PLL218は非圧縮映像データ伝送時と同じ10逓倍動作を行わせ、それをクロック制御部219でn/m分周させれば、デシリアライザが必要とするデータクロックを安定に得ることができる。
尚、PLL218は映像クロック再生として基準クロックをm逓倍するPLLも必要となる。これを考慮すると、PLL218が基準クロックを10m逓倍し、クロック制御部219がそれをn分周してデシリアライザが必要とするデータクロックを、10分周して映像クロックを得るように構成してもよい。この場合、mは有理数、nは整数であることが必要である。
上記のように、mを有理数とし、n/mまたはnが整数であれば、安定なクロック伝送ができることがわかる。nやmの値は、圧縮に関する情報パケットに記述して伝送するとよい。また、n/mとnのどちらを整数とした伝送を行うかはあらかじめ決めておく必要がある。
出力回路124の出力する基準クロックを映像クロックの1/mとする場合を例にとって説明してきたが、あらかじめ決められた独立の固定周波数を用いてもよい。例えばDisplayPort規格では基準クロックに固定周波数を用いており、出力回路124やケーブル314、入力回路214が省略され、基準クロックはデータに重畳されている。固定周波数を用いる場合は、データクロックはn(nは整数)分周して用いればよい。
図2は、第1実施例における、映像送信部11へ入力される入力映像(a)と、映像送信部11が出力する非圧縮伝送(b)または圧縮伝送1(c)、圧縮伝送2(d)、圧縮伝送3(e)のタイミングの一例を示している。551と553は水平映像期間、552と554は水平帰線期間を示している。図2を用いて映像データと付加データのタイミングを説明する。
入力映像(a)は、水平映像期間内の映像信号506と507、および水平帰線期間内の水平同期信号501と502、503から構成される。
非圧縮映像伝送(b)は、水平映像期間内の非圧縮映像データ516と517、および水平帰線期間内の音声データ511と512、513から構成される。非圧縮映像データ516と517は、映像信号506と507を例えばTMDS方式でシリアル化したものである。音声パケット511と512、513は、入力映像(a)と共に映像送信部11へ入力される音声信号を、例えばHDMIで決められた音声パケットとして伝送されるものである。尚、非圧縮映像伝送(b)では図示を省略しているが、水平同期信号501と502、503のタイミングで、同様に水平同期データを伝送している。
圧縮伝送1(c)は、水平映像期間をはみ出した圧縮映像データ526と527、および水平帰線期間内の圧縮に関する情報パケット521と522、523、音声パケット511と512、513から構成される。圧縮映像データ526と527が、非圧縮映像データ516と517を伝送する水平映像期間551と553より長い圧縮映像データ伝送期間561と563を割り当てている。これは、可逆圧縮を想定した場合、圧縮に失敗すると非圧縮データに非圧縮であることを示す付加データがついてデータ量が増えることを考慮したものである。圧縮映像データが少ない場合は、圧縮映像データ領域の残余期間はダミーデータを割り当てればよい。
圧縮に関する情報パケットや音声パケット、図示していない他のパケットはパケット伝送期間562と564に伝送される。パケット伝送期間は水平帰線期間よりも短くなっている。圧縮映像データ期間では水平同期信号を伝送できないので、パケット伝送期間で水平同期信号を伝送する必要がある。最小パケット伝送期間は、送るべきパケット数と水平同期信号期間のどちらか長い期間で決まる。映像クロックと伝送の基準クロックが同一周波数である場合に、例えば、圧縮に関する情報パケット1個と音声パケット2個の合計3パケットを伝送することを想定すると、パケット当り32クロックと前後の識別期間32クロックの合計128クロック相当期間となる。一方、水平同期期間は、例えば、4k2k映像信号の場合88クロック分なので、最小パケット伝送期間は128クロック相当期間となる。例えば4k2k映像信号の総水平画素数は4400とすると、最大圧縮映像データ伝送期間は4272クロック相当期間とすることができる。上記の4k2k映像信号の水平表示画素数は3840なので、水平映像期間は3840クロック相当分であるから、最大圧縮映像データ伝送期間は水平映像期間より約11%増やすことができる。
圧縮に関する情報パケット内に、圧縮映像データ伝送期間を示す情報を入れておくと、各映像ラインの圧縮映像データ伝送期間の長さを変えることができる。映像受信部では、圧縮に関する情報パケットから圧縮映像データ伝送期間を示す情報を抽出して、圧縮映像データを受信する設定準備をする期間が必要なので、圧縮に関する情報パケットは圧縮映像データ伝送期間開始より所定のクロック数だけ早い時間までに送信完了する必要があるので、音声パケットなどパケットに先立って伝送するのがよい。
図5は、映像データを圧縮した場合に、ライン毎に圧縮映像データ量が変化することを説明した図である。400は垂直周期、401は垂直パケット期間、402は垂直映像データ期間、403は水平周期、404は水平パケット期間、405は水平映像データ期間、411は垂直同期信号、412は水平同期信号、407と408はパケット伝送領域、409は圧縮映像データ、410は無データである。このように、圧縮映像データ量はライン単位で大きく変化することが考えられる。
図2の圧縮伝送2(d)は、圧縮映像データ期間をライン単位で変えた場合の一例である。圧縮伝送1(c)では圧縮データが無い期間538と539をダミーデータとした圧縮映像データ526と527を伝送していたが、圧縮伝送2(d)では伝送期間を短縮した圧縮映像データ536と537を伝送している。圧縮データが無い期間538と539の範囲内において、図1のシリアライザ125と126、127、出力回路121と122、123、入力回路211と212、213、デシリアライザ215と216、217の全てまたは一部を省電力モードへ移行されることで、消費電力を低減させることができる。省電力モードへの移行は、各ブロックへの電源供給停止、電源電圧低減、クロック停止、クロック周波数低減などの手法を用いるとよい。尚、圧縮映像データが無い期間538と539においても、出力回路124と入力回路214、PLL218は継続動作させておくことで、続くパケット伝送期間でも、PLLから安定なクロック再生が続けられる。
圧縮伝送3(e)は、圧縮映像データ量が半分以下のラインにおいて、圧縮映像データの伝送クロックを半減させる場合の一例である。伝送クロックはパラレル圧縮映像データの伝送単位を示すクロックであり、TMDS方式でシリアライザに使われるデータクロックの1/10の周波数である。圧縮映像データが伝送できる最大量の半分を超える圧縮映像データ536は圧縮伝送2(d)と同様に伝送する。圧縮映像データが伝送できる最大量の半分以下の圧縮映像データ537は伝送クロックおよびデータクロック周波数を半減させて2倍の時間をかけて圧縮映像データ(クロック半減)547として伝送する。
伝送クロック周波数半減期間563の間は、図1のクロック制御部117と219がシリアライザ125と126、127、デシリアライザ215と216、217へ供給するデータクロック周波数を半減させることにより、消費電力を低減させる。また、伝送速度が下がるので、圧縮映像データの信頼性も向上する。伝送クロック周波数を半減させる情報は、圧縮に関する情報パケット541と542、543に記述しておくとよい。
続くパケット伝送期間中も伝送クロック周波数を半減させてもよいが、パケット伝送期間における伝送データ量の変化は少ないので、パケット伝送期間では常に伝送クロック周波数を半減させない期間としておいてもよい。伝送クロック周波数を半減した圧縮映像データ期間563においても、出力回路124と入力回路214、PLL218は基準クロック周波数を変えないで定常動作させておくことで、伝送クロック周波数が変化直後の伝送期間でも、PLLから安定なクロック再生が続けられる。
圧縮映像データが無い期間は圧縮伝送2(d)と同様に省電力モードとしてもよい。圧縮伝送3(e)では所定のダミーデータ548と549を伝送する例を示している。ダミーデータの送受信には出力回路121と122、123、および入力回路211と212、213を継続動作させ、シリアライザ125と126、127、デシリアライザ215と216、217の全部または一部を省電力モードとすればよい。ダミーデータの送受信で出力回路と入力回路を継続動作させておくことにより、安定な定常状態に入るために時間を要する例えばエンファシスやイコライザの安定な動作を期待できる。
図3はパケットと映像データを送るタイミングを示した一例である。図2のパケット伝送期間を中心に時間軸を拡大したものである。(B)は図2の非圧縮伝送(b)、(C)は図2の圧縮伝送1〜3(c)(d)(e)に相当している。以下、図3のタイミングについて説明する。
非圧縮映像伝送(B)は、従来の伝送方法であり、例えばHDMI規格では、CTL Period 626と628、Data island period 627、Video Data period 629で構成される。
CTL Period 626は有効データが存在しない無データ611と、次の期間の属性を示すPreamble613から構成されている。Data island Period 627は、2つのパケットPacket 1 616とPacket 2 617、およびその前後にそれぞれ配置されるガードバンド GB 614と618で構成される。2つのパケットは例えば、音声パケットであり、図2の非圧縮伝送(b)における音声パケット511または512、513に相当する。
CTL Period 628は無データ619と、次の期間の属性を示すPreamble620から構成されている。Video Data period 629はガードバンドGB 621と映像データVideo 622で構成される。映像データVideo 622は、図2の非圧縮伝送(b)における非圧縮映像データ516または517に相当する。従って、Video Data Period 629は、図2の非圧縮伝送(b)の映像期間553よりもガードバンドGB 621分だけ長くなる。
本実施例の圧縮映像伝送(C)は、従来の非圧縮映像伝送(B)と同様に、CTL Period 646と648、Data island period 647、Video Data period 649と645で構成される。非圧縮映像伝送(B)との差異は、圧縮に関する情報パケットとしてPacket 0 635が音声パケットであるPacket 1 636の前に追加し、映像データ期間 Video 642と630の占める期間が長くしたこと、さらに無データ期間の終了またはクロック周波数半減期間の終了を示すガードバンド GB 632を追加した点である。
例えば、圧縮に関する情報パケットPacket 0 635は図2の圧縮伝送3(e)の圧縮に関する情報パケット542、音声パケット Packet 1 636とPacket 2 637は図2の圧縮伝送3(e)の音声パケット512、映像データVideo 642は図2の圧縮伝送3(e)の圧縮映像データ547、映像データVideo 630は図2の圧縮伝送3(e)の圧縮映像データ536、無データ631は図2の圧縮伝送3(e)のダミーデータ548に相当する。
伝送クロック周波数半減を示す、圧縮に関する情報パケットPacket 0 635の後、Video Data Period 649のガードバンドGB 641と映像データ Video 642、それに続くCTL Periodの無データとガードバンド GB(図示せず)が伝送クロック周波数半減の対象となる。映像データ Video 630と無データ631、ガードバンド GB 632が伝送クロック周波数半減の対象とすると、それに続くPreamble 633から伝送クロック周波数半減を解除する。従って、Data island Period 647を含む、Preamble 633から640までの期間は伝送クロック周波数半減を常に解除することで常に安定なパケット伝送の維持できる。さらに、Data island period が長くならないので、急に圧縮映像データが増えた場合でもData island Period 期間を長く確保しやすい利点がある。
CTL Period 646中のガードバンドGB 632は、次の期間の属性を示すPreamble 633を確実に伝送することを目的に設けており、無データ631における伝送データ停止や伝送クロック周波数半減 などの低電力モードからの復帰がやりやすくなる。従って、ガードバンド GB 632は、クロック周波数半減前後双方で受信できるように、クロック周波数半減後では”0101010101”、基準クロックでは”0011001100” ”1100110011”となるようなパターンを用いるとよい。
受信側での低電力モードからの復帰タイミングは、例えば、その直前の圧縮に関する情報パケットから抽出された最大圧縮映像データ期間に関する情報を基に、低電力モード中も継続して送信されているクロック数をカウントすることによって得られる。
映像コンテンツ保護として、映像送信装置が所定の機器認証を行った映像受信装置にのみ、暗号化した映像データを供給し、所定の機器認証ができない映像受信装置へは映像データを供給しないことが考えられる。機器認証中に映像データの復号鍵を同期させるので、機器認証は映像データの送受信をしていない期間中に実施するとの映像受信部の構成が簡単になる。このため、機器認証は映像データを送受信していない期間中から始めるが、映像データを送受信していない期間中に認証が終了しない場合もあることを考慮しておく。さらに、機器認証は、映像データの送受を行うケーブルと異なるケーブルによる双方向で行うと、暗号解読されにくくなり、コンテンツ保護を強化できる。
図7は、圧縮に関する情報パケットのヘッダの一例を示している。最初のヘッダブロックHB0に本発明の圧縮符号化伝送方式に関する情報であることを示す共通のヘッダタイプ0Bhを記述する。HB1の各bit4〜7とHB2のBit0〜6は将来拡張用として0としている。HB2のBit0〜3は本パケットのデータ構成のバージョン番号を示しており、図7ではVer.1を意味している。HB2のBit7に示すH/Vは、ライン単位かフレーム単位のデータパケットを識別している。H/V=“0”はフレーム単位を示し垂直パケット期間に送信され、受信側で同パケットが失われたフレームがある場合は直前に受信したパケットデータを使用する。H/V=“1”は水平パケット期間に送信され、受信側で同パケットが失われたフレームがある場合は直前に受信したパケットデータを使用する。受信側でフレーム内にHB0=“0Bh”のパケットが1つも無い場合は従来の非圧縮映像伝送であると判断すればよい。
図8は圧縮に関する情報パケットのボディの一例を示す。図7に示したヘッダに続けて伝送される28byteのデータであり、H/V=“0”のフレーム単位の圧縮に関する情報パケットのボディである。PB0とPB1は、圧縮映像データの有効ライン数を示す。PB2とPB3は映像圧縮データ終了後からパケット伝送までのライン数を、PB4とPB5は垂直パケットを伝送するライン数を、PB6とPB7はパケット伝送後から圧縮映像データ開始までのライン数を示している。
PB8とPB9は、圧縮映像データの最大伝送期間の基準クロック数を示しており、図3のVideo Data Period649、645の最大値に相当する。PB10とPB11は映像圧縮データの最大伝送期間終了後からパケット伝送までの基準クロック数を示しており、図3のCTL Period 646の最小値に相当する。PB12とPB13は水平パケット伝送期間の基準クロック数を示しており、図3のData island Period 647に相当する。PB14とPB15はパケット伝送後から圧縮映像データ開始までの基準クロック数を示しており、図3のCTL Period 648に相当する。PB16は圧縮方式を示しており、PB17〜PB27は将来の拡張用の予約領域である。
図9は圧縮に関する情報パケットのボディの一例を示す。図7に示したヘッダに続けて伝送される28byteのデータであり、H/V=“1”のライン単位の圧縮に関する情報パケットのボディである。PB0とPB1は圧縮映像データの有効データ伝送期間の基準クロック数を示しており、図3のData island Period 649に相当する。
PB2はライン単位で異なる圧縮方式を用いる場合の圧縮方式を示している。フレーム単位で記載した圧縮方式を使う場合は00hを記述する。PB3は、映像クロックに対する基準クロック比を示しており、Bit4〜7が分子、Bit0〜3を分母とする。PB4は、基準クロックに対する圧縮映像データの伝送クロックの分周比を示している。PB5〜PB27は将来の拡張用の予約領域である。
図10は、図6のEDID記憶部938から読み出されるEDIDのデータ記述例を示したものである。映像受信装置が対応する圧縮符号化伝送方式と省電力機能をHDMI−VSDBと称される領域へ拡張して記述している。6Byte目のBit2に本実施例の圧縮符号化伝送方式への対応可否を示すCompressedフラグを設ける。本領域は予約領域として扱われてきたので、非対応のレガシー機器では0と記載されており、対応機器のみ1と記載することによって後方互換性を維持できる。このCompressedフラグが1の場合、Byte9とByte10の記述が有効となる。
Byte9のBit2〜7は、所定の6種の圧縮方式に対して対応できる場合は“1”、非対応の場合は“0”を記述する。Byte9のBit0と1のMax Dividing numberは、基準クロックに対する圧縮映像データの伝送クロックの最大分周比から1を引いた数を記入する。例えば“1”であれば、2分周のみ対応し、“3”であれば、2、3、4分周いずれにも対応できることを示す。
Byte10は、映像クロックに対する基準クロックの各比率への対応できる場合に“1”、未対応の場合に“0”を記述する。
このように、映像受信装置が伝送クロック周波数低減できる圧縮映像データに対応していることを、映像送信装置に知らせることにより、映像送信装置は、映像コンテンツの画質と消費電力低減効果、映像データの伝送信頼性などから総合的に判断して、適切な映像データ伝送方式を選んで映像データを映像受信装置に送信することができる。
以上、述べてきたように、映像データを圧縮して送信する伝送方式において、映像送信装置が送信する映像データを圧縮して送信する際に、その圧縮映像データ量に合わせて、送信クロック周波数をリアルタイムに制御または、有効データを送信および受信していない期間中に送信部または受信部のクロック周波数を低減又はクロック停止、あるいは電源供給を止めるなどにより電力消費を抑えた動作モードに切換えることにより、高精細な映像を低消費電力で伝送することができる。
次に、静止画コンテンツの伝送における、映像送受信部の消費電力低減について説明する。
図11は本実施例における映像受信装置と映像受信装置の一例を示すブロック図である。静止画コンテンツを出力する映像送信装置904と、映像受信装置905から構成されている。図6のブロック図と同様な動作を行うブロックは同じ番号を付与しており、説明は省略する。図6との差異は、映像受信装置内にフレームメモリ951と機器認証部952、映像送信装置内に機器認証部953を追加した点である。
フレームメモリ951は映像データを1フレーム分記憶するものであり、表示処理部936が表示処理のために有するフレームメモリを兼用してもよい。また、表示部937自身がメモリ機能を持つ場合は、そのメモリ機能とフレームメモリ951を兼用させることもできる。表示部自身がメモリ機能を持つ例として、電子ペーパーなどがある。
機器認証部は952と953は、所定のコンテンツ保護に適応した映像受信装置であることを確認して映像送信装置が映像を送信すること目的として、互いの機器を認証するために用いられる。認証は、EDID読出し用のケーブルを共用してメッセージを交換することによって得られる。コンテンツ保護の仕組みとして、例えばDCP(Digital Content Protection)が規定するHDCP(High-bandwidth Digital Content Protection)がある。
映像送信装置904の入力部911や912、913に入力される映像コンテンツや、記録メディアに記録されている映像コンテンツが静止画であり、それを静止画として映像送信部924から送信する場合を想定する。映像送信装置904が静止画であることを伝えると、映像受信装置905は受信する静止画映像をフレームメモリ951に記憶させて表示部937に供給すると共に、静止画記憶済みであることを映像送信装置に伝えて映像受信部を待機モードに移行させて低電力化する。静止画記憶済みであることを伝えられた映像送信装置904は、映像送信部924を待機モードへ移行させて低電力化する。このように、静止画映像はフレームメモリ951に記憶後、映像が他の静止画または動画に切換るまで、映像送受信部を待機状態に移行させられるので、低電力化を実現できる。
低電力化の方法については、例えば他の実施例で説明したようなクロック信号の周波数を分周する、回路の一部を停止する等の方法があるが、他の方法を用いて低電力化を図ってもよい。
映像送信装置904の送信映像がコンテンツ保護の対象である場合は、機器認証部952と953の間で初期認証を行って適切な映像機器であることを確認後、対象の静止画映像を送信する。フレームメモリ951が静止画を記憶後も、機器認証部952と953は定期的に、例えば2秒程度毎に中間認証を継続する。
中間認証が続く間はフレームメモリに記憶させ、中間認証が失敗またはケーブル接続が切断された場合は直ちに静止画映像をフレームメモリから削除することによって、コンテンツ保護の機能を活かすことができる。さらに所定時間毎に、例えば1分程度毎に、映像送受信を行い、フレームメモリの記憶を更新してもよいこの記憶更新により、フレームメモリ上の記憶が経時変化で劣化した場合でもリフレッシュできる。
さらに、前記所定時毎に映像送受信によるフレームメモリの記憶更新が実行されない場合は、フレームメモリの記憶を削除し、その旨を警告表示する映像に置き換えてもよい。機器認証相手が入れ替わって機器認証が継続してしまう場合があったとしても、フレームメモリの記憶を消せるので、コンテンツ保護の機能を強化できる。
フレームメモリへの静止画記憶指示と記憶完了の情報を、双方向通信部926と939の間で交換される通信メッセージの一例を図12と図13に示す。通信メッセージはOpcodeとParameterから構成され、図12がOpcodeの一例、図13がParameterの一例である。
<Save Image>は映像送信装置904が映像受信装置905のフレームメモリ951に静止画記憶を求めるOpcodeであり、Parameter の[Memory Action]が付与される。[Memory Action]は1byte長で、0x00は通常動画受信を、0x01はフレームメモリの状態を変えないで現在の状態を報告する返信の要求、0x02は静止画記憶要求を示し、その他の値は将来拡張用に予約されている。
<Report Image Memory>は、映像受信装置905が映像送信装置904へフレームメモリ951の状態を報告するOpcodeであり、Parameterの[Memory State]が付与される。[Memory State]は1byte長で、0x00は通常動画受信を、0x01はフレームメモリへの記憶機能なし、0x02は記憶機能を有するが、今回は失敗を、0x03は記憶準備または実行中で記憶未終了を、0x04は記憶完了を示し、その他の値は将来拡張用に予約されている。
<Request Normal Image>は、映像受信装置905が通常動画送受信モードへの移行を要求するOpcodeで、Parameterは無い。映像受信装置905がフレームメモリを他の用途に使う場合や、記憶した映像が損傷を受けたと判断した場合に用いられる。
図14は、メッセージ送受信の一例を示す図である。映像送信装置904と映像受信装置905間で初期認証を成功(801)させる。初期認証成功後、映像送信装置904は映像信号を送信開始(841)する。844は映像送信装置904の映像送信期間を示している。映像送信装置904の映像信号送信開始を受けて映像信号を受信開始(851)する。
映像送信装置904がメッセージ<Save Image> [“Memory Image”] 802で映像受信装置905にフレームメモリ記憶を要求する。映像受信装置905がフレームメモリ記憶準備に所定の時間、例えば0.5秒以上必要な場合はメッセージ<Report Image Memory> [“Wait to Save”]803で、映像送信の継続を映像送信装置904へ要求する。映像表示装置905がフレームメモリ記憶(852)完了すると、メッセージ<Report Image Memory> [“Success to Save”]804 で映像送信装置904へ報告する。報告を受けた映像送信装置904は映像信号を送信停止(843)し、映像送信部を待機モードとし低電力化を図る。映像送信装置905もフレームメモリ記憶期間853は、映像受信部を待機モードとして低電力化する。
フレームメモリ記憶期間853の間、中間認証を所定の間隔、例えば2秒毎に継続し所定の映像送信装置904と映像受信装置905が接続され続けていることを確認する。中間認証成功805、806を繰り返している場合はフレームメモリ記憶を継続する。中間認証に失敗(807)すると、初期認証を開始する。
初期認証に成功(808)すると、映像送信装置904は映像信号送信開始(845)する。846は映像送信装置904の映像送信期間を示している。映像送信装置904の映像信号送信開始を受けて映像信号を受信開始(854)する。尚、中間認証失敗807から映像信号送信開始845までの時間が所定の時間、例えば30秒以内であれば、表示部の画面がブラックアウトすることを防ぐ為にフレームメモリ記憶を続けるようにしてもよい。しかし、所定の時間を超えた場合は、コンテンツ保護の観点からフレームメモリ記憶を消去して、入力映像が無いことをユーザに知らせる表示を行うようにしてもよい。
再度、映像送信装置904がメッセージ<Save Image> [“Memory Image”] 809で映像受信装置905にフレームメモリ記憶を要求する。映像表示装置905がフレームメモリ記憶(855)完了すると、メッセージ<Report Image Memory> [“Success to Save”] 810で映像送信装置904へ報告する。報告を受けた映像送信装置904は映像信号を送信停止(847)し、映像送信部を待機モードとし低電力化を図る。856はフレームメモリ記憶期間を示している。
映像受信装置905が、フレームメモリ記憶機能を提供できなくなった場合や、記憶画像に損傷を検出した場合、所定時間例えば1分以上次の映像を受信しないでフレームメモリに記憶続けた場合は、メッセージ<Request Normal image>811で、映像送信装置904に通常動画送信モードへの復帰を要求する。映像送信装置904は映像信号送信開始(848)し、メッセージ<Save Image> [“Normal Image”]812で、映像受信装置905へフレームメモリ記憶を中止して通常受信への移行を要求する。この要求を受けた映像受信装置905は通常受信857へ移行し、メッセージ<Report Image Memory> [“Normal Image”]813で、映像送信装置904へフレームメモリ記憶を削除して通常受信に移行したことを報告する。849は映像信号送信期間を示している。
待機モード時は、実施例1や2で述べたように、基準クロックを継続して伝送クロック周波数を低減することで低電力化してもよいし、電源を停止又は低電圧化して低電力化を実現してもよい。
このように、静止画伝送において、映像受信装置のフレームメモリ記憶を活用して、フレームメモリ記憶期間中は映像送信装置の映像送信部や映像受信装置の映像受信部を待機モードへ移行させ、低電力化することができる。
尚、コンテンツ保護の認証の仕様によっては、待機時に複数の映像データ伝送チャネルを全て止めると中間認証を失敗することがあるので、その場合は同期信号または制御信号を伝送するチャネルのみ継続動作させ、その他のチャネルの動作を止めて待機電力モードとしてもよい。
映像信号送信時に、実施例1や実施例2の方法を実施例3に適用してもよい。