図1は、本発明を適用したスケーラブルTV(Television)システム(システムとは、複数の装置が論理的に集合した物をいい、各構成の装置が同一筐体中にあるか否かは問わない)の一実施の形態の構成例を示す斜視図である。
図1Aの実施の形態では、スケーラブルTVシステムは、9台のテレビジョン受像機1、並びに211,212,213,221,223,231,232,233で構成されている。また、図1Bの実施の形態では、スケーラブルTVシステムは、25台のテレビジョン受像機1、並びに211,212,213,214,215,221,222,223,224,225,231,232,234,235,241,242,243,244,245,251,252,253,254,255で構成されている。
ここで、スケーラブルTVシステムを構成するテレビジョン受像機の数は、9台や25台に限定されるものではない。即ち、スケーラブルTVシステムは、任意の複数台のテレビジョン受像機によって構成することが可能である。また、スケーラブルTVシステムを構成するテレビジョン受像機の配置は、図1に示したように、横×縦が、3×3や5×5に限定されるものではない。即ち、スケーラブルTVシステムを構成するテレビジョン受像機の配置は、その他、例えば、横×縦が、1×2や、2×1、2×3などとすることも可能である。また、スケーラブルTVシステムを構成するテレビジョン受像機の配置形状は、図1に示したように、格子状(マトリクス状)に限定されるものではなく、例えば、ピラミッド状であっても良い。
このようにスケーラブルTVシステムは、任意の複数台のテレビジョン受像機を、横と縦それぞれに、任意の台数だけ配置して構成することができることから、「スケーラブル」なシステムであるということができる。
スケーラブルTVシステムを構成するテレビジョン受像機には、他のテレビジョン受像機を制御することができる親のテレビジョン受像機(以下、適宜、親機という)と、他のテレビジョン受像機から制御することができるが、他のテレビジョン受像機を制御することができない子のテレビジョン受像機(以下、適宜、子機という)の2種類が存在する。
スケーラブルTVシステムが、後述する各種の処理を行うには、スケーラブルTVシステムを構成するテレビジョン受像機が、スケーラブルTVシステムに対応したもの(以下、適宜、スケーラブル対応機という)であり、かつ、そのうちの少なくとも1つが親機であることが条件となっている。このため、図1Aおよび図1Bの実施の形態では、スケーラブルTVシステムを構成するテレビジョン受像機のうち、例えば、中心に配置されるテレビジョン受像機が親機1とされている。
以上から、スケーラブルTVシステムを構成するテレビジョン受像機の中に、スケーラブル対応機でないテレビジョン受像機が存在する場合には、そのテレビジョン受像機によっては、スケーラブルTVシステムの機能を享受することができない。さらに、スケーラブルTVシステムを構成するテレビジョン受像機がスケーラブル対応機であっても、そのすべてが子機である場合には、スケーラブルTVシステムの機能を享受することはできない。
従って、ユーザは、スケーラブルTVシステムの機能を享受するためには、少なくとも、1台以上の親機、または1台の親機と1台以上の子機を購入する必要がある。
なお、親機は、子機の機能も有しており、従って、スケーラブルTVシステムを構成するテレビジョン受像機の中に、複数台の親機が存在していてもかまわない。
図1Aの実施の形態では、3×3台のテレビジョン受像機のうち、中心(左から2番目で、上から2番目)に配置されているテレビジョン受像機1が親機となっており、他の8台のテレビジョン受像機211,212,213,221,223,231,232,233が子機になっている。また、図1Bの実施の形態では、5×5台のテレビジョン受像機のうち、中心(左から3番目で、上から3番目)に配置されているテレビジョン受像機1が親機となっており、他の24台の211,212,213,214,215,221,222,223,224,225,231,232,234,235,241,242,243,244,245,251,252,253,254,255が子機になっている。
従って、図1の実施の形態では、親機1は、スケーラブルTVシステムを構成するテレビジョン受像機の中心に配置されているが、親機1の位置は、スケーラブルTVシステムを構成するテレビジョン受像機の中心に限定されるものではなく、親機1は、左上や右下その他の任意の位置に配置することが可能である。
なお、スケーラブルTVシステムにおいては、親機1がいずれの位置に配置されている場合であっても、その中心に配置されているテレビジョン受像機を親機とみなして、後述する各処理を行うようにすることが可能である。
ここで、以下においては、説明を簡単にするため、スケーラブルTVシステムは、図1Aに示したように、3×3台のテレビジョン受像機で構成されるものとし、さらに、親機1は、スケーラブルTVシステムを構成するテレビジョン受像機の中心に配置されるものとする。
なお、スケーラブルTVシステムを構成する子機2ijのサフィックスijは、その子機2ijが、スケーラブルTVシステムにおいて、第i列第j行(上からi行目の、左からj列目)に配置されているものであることを表す。
また、以下、適宜、子機2ijを特に区別する必要がない限り、子機2と記述する。
次に、図2は、親機1であるテレビジョン受像機の構成例を示す斜視図である。
親機1は、その表示画面のサイズが、例えば、14インチ(inch)または15インチなどのテレビジョン受像機であり、その正面中央部分に、画像を表示するCRT(Cathode Ray Tube)11が設けられており、また、その正面の左端と右端に、音声を出力するスピーカユニット12Lと12Rがそれぞれ設けられている。
そして、図示せぬアンテナで受信されたテレビジョン放送信号における画像が、CRT11で表示され、また、その画像に付随する音声のL(Left)チャンネルとR(Right)チャンネルが、スピーカユニット12Lと12Rから、それぞれ出力される。
親機1には、赤外線IR(Infrared Ray)を出射するリモートコマンダ(以下、適宜、リモコンという)15が付随しており、ユーザは、このリモコン15を操作することにより、受信チャンネルや音量の変更、その他各種のコマンドを、親機1に与えることができるようになっている。
なお、リモコン15は、赤外線通信を行うものに限定されるものではなく、例えば、BlueTooth(商標)その他の無線通信を行うものを採用することが可能である。
また、リモコン15は、親機1のみならず、子機2を制御することも可能である。
次に、図3は、図2の親機1の構成例を示す6面図である。
図3Aは親機1の正面を、図3Bは親機1の上面を、図3Cは親機1の底面を、図3Dは親機1の左側面を、図3Eは親機1の右側面を、図3Fは親機1の背面を、それぞれ示している。
親機1の上面(図3B)、底面(図3C)、左側面(図3D)、および右側面(図3E)には、固定機構が設けられている。後述するように、子機2であるテレビジョン受像機の上面、底面、左側面、および右側面にも、同様の固定機構が設けられており、親機1の上面側、底面側、左側面側、または右側面側に、子機2や他の親機が配置されると、親機1の上面、底面、左側面、または右側面に設けられた固定機構と、子機2や他の親機の対向する面に設けられた固定機構とが、例えば嵌合し、親機1と、子機2や他の親機とが、容易に離れないように固定される。これにより、スケーラブルTVシステムを構成するテレビジョン受像機の位置ずれなどを防止するようになっている。
なお、固定機構は、機械的な機構で構成することもできるし、その他、例えば、磁石などによって構成することも可能である。
親機1の背面には、図3Fに示すように、端子パネル21、アンテナ端子22、入力端子23、および出力端子24が設けられている。
端子パネル21には、親機1と、図1AのスケーラブルTVシステムを構成する8台の子機211,212,213,221,223,231,232,233それぞれとを電気的に接続するための8つのIEEE(Institute of Electrical and Electronics Engineers)1394端子2111,2112,2113,2121,2123,2131,2132,2133が設けられている。
ここで、図3Fの実施の形態では、親機1が、図1AのスケーラブルTVシステムでの子機2ijの位置を把握するため、端子パネル21においては、ユーザが、スケーラブルTVシステムを、その背面側から見た場合に、図1AのスケーラブルTVシステムでの子機2ijの位置に対応する位置に、その子機2ijと接続されるIEEE1394端子21ijが設けられている。
従って、図1AのスケーラブルTVシステムにおいては、子機211はIEEE1394端子2111を、子機212はIEEE1394端子2112を、子機213はIEEE1394端子2113を、子機221はIEEE1394端子2121を、子機223はIEEE1394端子2123を、子機231はIEEE1394端子2131を、子機232はIEEE1394端子2132を,子機233はIEEE1394端子2133を、それぞれ経由して、親機1と接続するように、ユーザに接続を行ってもらう。
なお、図1AのスケーラブルTVシステムにおいて、子機ijを、端子パネル21のどのIEEE1394端子と接続するかは、特に限定されるものではない。但し、子機ijを、IEEE1394端子21ij以外のIEEE1394端子と接続する場合には、その子機ijが、図1AのスケーラブルTVシステムの第i列第j行に配置されているものであることを、親機1に設定する必要がある(ユーザに設定してもらう必要がある)。
また、図3Fの実施の形態では、端子パネル21に、8つのIEEE1394端子2111乃至2133を設け、親機1と、8台の子機211乃至233それぞれとを、パラレルに接続するようにしたが、親機1と、8台の子機211乃至233とは、シリアルに接続することも可能である。即ち、子機2ijは、他の子機2i'j'を経由して、親機1と接続することが可能である。但し、この場合も、子機ijが、図1AのスケーラブルTVシステムの第i列第j行に配置されているものであることを、親機1に設定する必要がある。従って、端子パネル21に設けるIEEE1394端子の数は、8つに限定されるものではない。
さらに、スケーラブルTVシステムを構成するテレビジョン受像機どうしの電気的な接続は、IEEE1394に限定されるものではなく、その他、例えば、LAN(IEEE802)などを採用することが可能である。また、スケーラブルTVシステムを構成するテレビジョン受像機どうしの電気的な接続は、有線ではなく、無線で行うことも可能である。
アンテナ端子22には、図示せぬアンテナに接続されているケーブルが接続され、これにより、アンテナで受信されたテレビジョン放送信号が、親機1に入力される。入力端子23には、例えば、VTR(Video Tape Recorder)等から出力される画像データおよび音声データが入力される。出力端子24からは、例えば、親機1で受信されているテレビジョン放送信号としての画像データおよび音声データが出力される。
次に、図4は、子機2であるテレビジョン受像機の構成例を示す斜視図である。
子機2は、図2の親機1と同一の表示画面サイズのテレビジョン受像機であり、その正面中央部分に、画像を表示するCRT(Cathode Ray Tube)31が設けられており、また、その正面の左端と右端に、音声を出力するスピーカユニット32Lと32Rがそれぞれ設けられている。なお、親機1と子機2とでは、異なる表示画面サイズを採用することも可能である。
そして、図示せぬアンテナで受信されたテレビジョン放送信号における画像が、CRT31で表示され、また、その画像に付随する音声のL(Left)チャンネルとR(Right)チャンネルが、スピーカユニット32Lと32Rから、それぞれ出力される。
子機2にも、親機1と同様に、赤外線IRを出射するリモコン35が付随しており、ユーザは、このリモコン35を操作することにより、受信チャンネルや音量の変更、その他各種のコマンドを、子機2に与えることができるようになっている。
なお、リモコン35は、子機2のみならず、親機1の制御も行うことができるようになっている。
また、図1AのスケーラブルTVシステムを構成するには、ユーザは、1台の親機1と、8台の子機211乃至233を購入する必要があるが、この場合に、親機1にリモコン15が付随し、8台の子機211乃至233それぞれにリモコン35が付随するのでは、ユーザは、9台のリモコンを所有することとなり、その管理が煩雑になる。
そこで、子機2のリモコン35は、子機2のオプションとして、別売りにすることが可能である。また、親機1のリモコン15も、親機1のオプションとして、別売りにすることが可能である。
ここで、上述したように、リモコン15と35は、親機1および子機2のいずれも制御することが可能であり、従って、リモコン15または35のうちのいずれか一方しか所有していなくても、親機1および子機2のすべてを制御することが可能である。
次に、図5は、図4の子機2の構成例を示す6面図である。
図5Aは子機2の正面を、図5Bは子機2の上面を、図5Cは子機2の底面を、図5Dは子機2の左側面を、図5Eは子機2の右側面を、図5Fは子機2の背面を、それぞれ示している。
子機2の上面(図5B)、底面(図5C)、左側面(図5D)、および右側面(図5E)には、固定機構が設けられており、子機2の上面側、底面側、左側面側、または右側面側に、親機1や他の子機が配置されると、子機2の上面、底面、左側面、または右側面に設けられた固定機構と、親機1や他の子機の対向する面に設けられた固定機構とが嵌合し、子機2と、他の子機や親機1とが、容易に離れないように固定される。
子機2の背面には、図5Fに示すように、端子パネル41、アンテナ端子42、入力端子43、および出力端子44が設けられている。
端子パネル41には、親機1と子機2とを電気的に接続するための1つのIEEE1394端子411が設けられている。子機2が、図1AのスケーラブルTVシステムにおける、例えば左上に配置される子機211である場合には、端子パネル41のIEEE1394端子411は、図示せぬIEEE1394ケーブルを介して、図3Fにおける端子パネル21のIEEE1394端子2111と接続される。
なお、端子パネル41に設けるIEEE1394端子の数は、1つに限定されるものではない。
アンテナ端子42には、図示せぬアンテナに接続されているケーブルが接続され、これにより、アンテナで受信されたテレビジョン放送信号が、子機2に入力される。入力端子43には、例えば、VTR等から出力される画像データおよび音声データが入力される。出力端子44からは、例えば、子機2で受信されているテレビジョン放送信号としての画像データおよび音声データが出力される。
以上のように構成される1台の親機1と8台の子機211乃至233の合計9台のテレビジョン受像機が、横方向と縦方向に、それぞれ3台ずつ配置されることにより、図1AのスケーラブルTVシステムが構成される。
なお、図1AのスケーラブルTVシステムは、親機または子機としてのテレビジョン受像機の上、下、左、または右に、他のテレビジョン受像機を直接配置して構成する他、例えば、図6に示すスケーラブルTVシステム専用のラックに、テレビジョン受像機を配置して構成することも可能である。このように専用のラックを使用する場合には、スケーラブルTVシステムを構成するテレビジョン受像機の位置ずれなどを、より強固に防止することができる。
ここで、親機または子機としてのテレビジョン受像機の上、下、左、または右に、他のテレビジョン受像機を直接配置することによりスケーラブルTVシステムを構成する場合には、例えば、親機1は、少なくとも、子機232が存在しないと、図1Aに示したように、第2行第2列に配置することができない。これに対して、図6のスケーラブルTVシステム専用のラックを用いる場合には、子機232が存在しなくても、親機1を、第2行第2列に配置することができる。
次に、図7は、リモコン15の構成例を示す平面図である。
セレクトボタンスイッチ51は、上下左右方向の4つの方向の他、その中間の4つの斜め方向の合計8個の方向に操作(方向操作)することができる。さらに、セレクトボタンスイッチ51は、リモコン15の上面に対して垂直方向にも押下操作(セレクト操作)することができる。メニューボタンスイッチ54は、親機1のCRT11(または子機2のCRT31)に、各種の設定(例えば、上述した、子機ijが、スケーラブルTVシステムの第i列第j行に配置されているものであることの設定)や、所定の処理を行うことを指令するコマンドの入力を行うためのメニュー画面を表示させるときに操作される。
ここで、メニュー画面が表示された場合には、そのメニュー画面における項目等を指示するカーソルが、CRT11に表示される。このカーソルは、セレクトボタンスイッチ51を方向操作することで、その操作に対応する方向に移動する。また、カーソルが、所定の項目上の位置にあるときに、セレクトボタンスイッチ51がセレクト操作されると、その項目の選択が確定される。なお、本実施の形態では、後述するように、メニューに表示される項目の中にアイコンがあり、セレクトボタンスイッチ51は、アイコンをクリックするときも、セレクト操作される。
なお、メニュー画面に表示される項目やアイコン等については、その項目やアイコン等に対応するボタンスイッチを、リモコン15に設けるようにすることが可能である。この場合、ユーザは、メニュー画面を表示させなくても、リモコン15を直接操作することで、メニュー画面に表示される項目やアイコン等の指定を行うことができる。
イグジットボタンスイッチ55は、メニュー画面から元の通常の画面に戻る場合などに操作される。
ボリウムボタンスイッチ52は、ボリウムをアップまたはダウンさせるときに操作される。チャンネルアップダウンボタンスイッチ53は、受信する放送チャンネルの番号を、アップまたはダウンするときに操作される。
0乃至9の数字が表示されている数字ボタン(テンキー)スイッチ58は、表示されている数字を入力するときに操作される。エンタボタンスイッチ57は、数字ボタンスイッチ58の操作が完了したとき、数字入力終了の意味で、それに続いて操作される。なお、チャンネルを切り換えたときは、親機1のCRT11(もしくは子機2のCRT31)に、新たなチャンネルの番号などが、所定の時間、OSD(On Screen Display)表示される。ディスプレイボタン56は、現在選択しているチャンネルの番号や、現在の音量等のOSD表示のオン/オフを切り換えるときに操作される。
テレビ/ビデオ切換ボタンスイッチ59は、親機1(もしくは子機2)の入力を、後述する図10の内蔵するチューナ121(もしくは後述する図11のチューナ141)、または図3の入力端子23(もしくは図5の入力端子43)からの入力に切り換えるときに操作される。テレビ/DSS切換ボタンスイッチ60は、チューナ121において地上波による放送を受信するテレビモード、または衛星放送を受信するDSS(Digital Satellite System(Hughes Communications社の商標))モードを選択するときに操作される。数字ボタンスイッチ58を操作してチャンネルを切り換えると、切り換え前のチャンネルが記憶され、ジャンプボタンスイッチ61は、この切り換え前の元のチャンネルに戻るときに操作される。
ランゲージボタン62は、2カ国語以上の言語により放送が行われている場合において、所定の言語を選択するときに操作される。ガイドボタンスイッチ63は、EPG(Electric Program Guide)を表示させるときに操作される。フェイバリッドボタンスイッチ64は、あらかじめ設定されたユーザの好みのチャンネルを選択する場合に操作される。
ケーブルボタンスイッチ65、テレビスイッチ66、およびDSSボタンスイッチ67は、リモコン15から出射される赤外線に対応するコマンドコードの機器カテゴリを切り換えるためのボタンスイッチである。即ち、リモコン15は(リモコン35も同様)、親機1や子機2としてのテレビジョン受像機の他、図示せぬSTBやIRDを遠隔制御することができるようになっており、ケーブルボタンスイッチ65は、CATV網を介して伝送されてくる信号を受信するSTB(Set Top Box)を、リモコン15によって制御する場合に操作される。ケーブルボタンスイッチ65の操作後は、リモコン15からは、STBに割り当てられた機器カテゴリのコマンドコードに対応する赤外線が出射される。同様に、テレビボタンスイッチ66は、親機1(または子機1)を、リモコン15によって制御する場合に操作される。DSSボタンスイッチ67は、衛星を介して伝送されている信号を受信するIRD(Integrated Receiver and Decoder)を、リモコン15によって制御する場合に操作される。
LED(Light Emitting Diode)68,69,70は、それぞれケーブルボタンスイッチ65、テレビボタンスイッチ66、またはDSSボタンスイッチ67がオンにされたとき点灯し、これにより、リモコン15が、現在、どのカテゴリの装置の制御が可能になっているのかが、ユーザに示される。なお、LED68,69,70は、それぞれケーブルボタンスイッチ65、テレビボタンスイッチ66、またはDSSボタンスイッチ67がオフにされたときは消灯する。
ケーブル電源ボタンスイッチ71、テレビ電源ボタンスイッチ72、DSS電源ボタンスイッチ73は、STB、親機1(もしくは子機2)、またはIRDの電源をオン/オフするときに操作される。
ミューティングボタンスイッチ74は、親機1(または子機2)のミューティング状態を設定または解除するときに操作される。スリープボタンスイッチ75は、所定の時刻になった場合、または所定の時間が経過した場合に、自動的に電源をオフするスリープモードを設定または解除するときに操作される。
次に、図8は、子機2のリモコン35の構成例を示す平面図である。
リモコン35は、図7のリモコン15におけるセレクトボタンスイッチ51乃至スリープボタンスイッチ75とそれぞれ同様に構成されるセレクトボタンスイッチ81乃至スリープボタンスイッチ105から構成されるため、その説明は省略する。
次に、図9は、親機1のリモコン15の他の構成例を示す平面図である。
図9の実施の形態では、図7における8方向に操作可能なセレクトボタンスイッチ51に代えて、上下左右の4方向の方向ボタンスイッチ111,112,113,114と、セレクト操作を行うためのボタンスイッチ110が設けられている。さらに、図9の実施の形態では、ケーブルボタンスイッチ65、テレビボタンスイッチ66、およびDSSボタンスイッチ67が内照式とされ、図7におけるLED68乃至70が省略されている。但し、ボタンスイッチ65乃至67の裏側には、図示せぬLEDが配置されており、ボタンスイッチ65乃至67が操作されると、その操作に対応して、その裏側に配置されているLEDがそれぞれ点灯または消灯するようになっている。
その他のボタンスイッチは、その配置位置は異なるものの、基本的には図7に示した場合と同様である。
なお、子機2のリモコン35も、図9における場合と同様に構成することが可能である。
また、リモコン15には、その移動を検出するジャイロを内蔵させるようにすることができる。この場合、リモコン15では、その内蔵するジャイロによって、リモコン15の移動方向と移動量を検出し、メニュー画面において表示されるカーソルを、その移動方向と移動量に対応して移動させるようにすることが可能である。このように、リモコン15にジャイロを内蔵させる場合には、図7の実施の形態では、セレクトボタンスイッチ51を8方向に移動することができるように構成する必要がなくなり、また、図9の実施の形態では、方向ボタンスイッチ111乃至114を設ける必要がなくなる。同様に、リモコン35にも、ジャイロを内蔵させるようにすることが可能である。
次に、図10は、親機1の電気的構成例を示している。
図示せぬアンテナで受信されたテレビジョン放送信号は、チューナ121に供給され、CPU129の制御の下、検波、復調される。チューナ121の出力は、QPSK(Quadrature Phase Shift Keying)復調回路122に供給され、CPU129の制御の下、QPSK復調される。QPSK復調回路122の出力は、エラー訂正回路123に供給され、CPU129の制御の下、エラーが検出、訂正され、デマルチプレクサ124に供給される。
デマルチプレクサ124は、CPU129の制御の下、エラー訂正回路123の出力を、必要に応じてデスクランブルし、さらに、所定のチャンネルのTS(Transport Stream)パケットを抽出する。そして、デマルチプレクサ124は、画像データ(ビデオデータ)のTSパケットを、MPEG(Moving Picture Experts Group)ビデオデコーダ125に供給するととともに、音声データ(オーディオデータ)のTSパケットを、MPEGオーディオデコーダ126に供給する。また、デマルチプレクサ124は、エラー訂正回路123の出力に含まれるTSパケットを、必要に応じて、CPU129に供給する。さらに、デマルチプレクサ124は、CPU129から供給される画像データまたは音声データ(TSパケットの形にされているものを含む)を受信し、MPEGビデオデコーダ125またはMPEGオーディオデコーダ126に供給する。
MPEGビデオデコーダ125は、デマルチプレクサ124から供給される画像データのTSパケットを、MPEGデコードし、信号処理部127に供給する。MPEGオーディオデコーダ126は、デマルチプレクサ124から供給される音声データのTSパケットを、MPEGデコードする。MPEGオーディオデコーダ126でのデコードにより得られるLチャンネルとRチャンネルの音声データは、信号処理部127に供給される。
信号処理部127は、MPEGビデオデコーダ125からの画像データを、マトリクス回路128に供給するとともに、MPEGオーディオデコーダ126からの音声データ(音響データ)を、アンプ137に供給する。
さらに、信号処理部127は、DSP(Digital Signal Processor)127A,EEPROM(Electrically Erasable Programmable Read Only Memory)127B,RAM(Random Access Memory)127Cなどで構成されており、CPU129の制御の下、そこに供給される画像データや音声データに対して、各種のディジタル信号処理を施す。
即ち、DSP127Aは、EEPROM127Bに記憶されたプログラムにしたがい、必要に応じて、EEPROM127Bに記憶されたデータを用いて、各種の信号処理を行う。EEPROM127Bは、DSP127Aが各種の処理を行うためのプログラムや必要なデータを記憶している。RAM137Cは、DSP137Aが各種の処理を行う上で必要なデータやプログラムを一時記憶する。
なお、EEPROM127Bに記憶されたデータやプログラムは、そこに上書きすることで、バージョンアップすることができる。
マトリクス回路128は、信号処理部127から供給される画像データを、RGB(Red,Green,Blue)の画像データに変換し、CRTに供給して表示させる。なお、マトリクス回路128は、D/A(Digital/Analog)変換器を有しており、画像データをD/A変換してから出力する。
CPU129は、EEPROM130や、ROM(Read Only Memory)131に記憶されているプログラムにしたがって各種の処理を実行し、これにより、例えば、チューナ121、QPSK復調回路122、エラー訂正回路123、デマルチプレクサ124、信号処理部127、IEEE1394インタフェース133、IRインタフェース135、およびモデム136を制御する。また、CPU129は、デマルチプレクサ124から供給されるデータを、IEEE1394インタフェース133に供給し、IEEE1394インタフェース133から供給されるデータを、デマルチプレクサ124や信号処理部127に供給する。さらに、CPU129は、フロントパネル134やIRインタフェース135から供給されるコマンドに対応した処理を実行する。また、CPU129は、モデム136を制御することにより、電話回線を通じて、図示せぬサーバにアクセスし、バージョンアップされたプログラムや必要なデータを取得する。
EEPROM130は、電源オフ後も保持しておきたいデータやプログラムを記憶する。ROM131は、例えば、IPL(Initial Program Loader)のプログラムを記憶している。なお、EEPROM130に記憶されたデータやプログラムは、そこに上書きすることで、バージョンアップすることができる。
RAM132は、CPU129の動作上必要なデータやプログラムを一時記憶する。
IEEE1394インタフェース133は、端子パネル21(のIEEE1394端子2111乃至2133(図3))に接続されており、IEEE1394の規格に準拠した通信を行うためのインタフェースとして機能する。これにより、IEEE1394インタフェース133は、CPU129から供給されるデータを、IEEE1394の規格に準拠して、外部に送信する一方、外部からIEEE1394の規格に準拠して送信されてくるデータを受信し、CPU129に供給する。
フロントパネル134は、図2および図3では図示していないが、親機1の、例えば正面の一部に設けられている。そして、フロントパネル134は、リモコン15(図7、図9)に設けられたボタンスイッチの一部を有しており、即ち、例えば、ボリウムボタンスイッチ52、チャンネルアップダウンボタンスイッチ53、メニューボタンスイッチ54、数字ボタンスイッチ58、およびテレビ電源ボタンスイッチ72などに対応するボタンスイッチを有しており、フロントパネル134のボタンスイッチが操作された場合には、その操作に対応する操作信号が、CPU129に供給される。この場合、CPU129は、フロントパネル134からの操作信号に対応した処理を行う。
IRインタフェース135は、リモコン15の操作に対応して、リモコン15から送信されてくる赤外線を受信(受光)する。さらに、IRインタフェース135は、その受信した赤外線を光電変換し、その結果得られる信号を、CPU129に供給する。この場合、CPU129は、IRインタフェース135からの信号に対応した処理、即ち、リモコン15の操作に対応した処理を行う。また、IRインタフェース135は、CPU129の制御にしたがい、赤外線を発光する。即ち、本実施の形態では、親機1は、上述のIEEE1394インタフェース133によるIEEE1394通信、および後述するモデム136による通信の他、IRインタフェース135による赤外線通信も行うことができるようになっている。
モデム136は、電話回線を介しての通信制御を行い、これにより、CPU129から供給されるデータを、電話回線を介して送信するとともに、電話回線を介して送信されてくるデータを受信し、CPU129に供給する。
アンプ137は、信号処理部127から供給される音声データを必要に応じて増幅し、スピーカユニット12Lおよび12Rに供給して出力させる。なお、アンプ137は、D/A変換器を有しており、音声データをD/A変換してから出力する。
以上のように構成される親機1では、次のようにして、テレビジョン放送番組としての画像と音声が出力される(画像が表示され、音声が出力される)。
即ち、アンテナで受信されたテレビジョン放送信号としてのトランスポートストリームが、チューナ121,QPSK復調回路122、およびエラー訂正回路123を介して、デマルチプレクサ124に供給される。デマルチプレクサ124は、トランスポートストリームから、所定の番組のTSパケットを抽出し、画像データのTSパケットを、MPEGビデオデコーダ125に供給するとともに、音声データのTSパケットを、MPEGオーディオデコーダ126に供給する。
MPEGビデオデータコーダ125では、デマルチプレクサ124からのTSパケットがMPEGデコードされる。そして、その結果得られる画像データが、MPEGビデオデコーダ125から、信号処理部127およびマトリクス回路128を経由して、CRT11に供給されて表示される。
一方、MPEGオーディオデコーダ126では、デマルチプレクサ124からのTSパケットがMPEGデコードされる。そして、その結果得られる音声データが、MPEGオーディオデコーダ126から、信号処理部127およびアンプ137を経由して、スピーカユニット12Lおよび12Rに供給されて出力される。
次に、図11は、子機2の電気的構成例を示している。
子機2は、図10のチューナ121乃至アンプ137とそれぞれ同様に構成されるチューナ141乃至アンプ157から構成されるため、その説明は省略する。
なお、親機1と子機2は、図3Fと図5Fに示したように、それぞれ独立して、アンテナ端子22と42を有するので、図1のスケーラブルTVシステムを構成するテレビジョン受像機としての親機1と子機2には、それぞれに、アンテナ(からのケーブル)を接続することが可能である。しかしながら、親機1と子機2それぞれに、アンテナを接続する場合には、配線が煩雑になるおそれがある。そこで、スケーラブルTVシステムにおいては、そのスケーラブルTVシステムを構成するテレビジョン受像機のうちのいずれか1つにアンテナを接続し、そのテレビジョン受像機で受信されたテレビジョン放送信号を、例えば、IEEE1394通信によって、他のテレビジョン受像機に分配するようにすることが可能である。
次に、本実施の形態では、親機1の端子パネル21のIEEE1394端子21ij(図3)と、子機2ijの端子パネル41のIEEE1394端子411(図5)とが、IEEE1394ケーブルによって接続されることにより、親機1と子機2とが、電気的に接続され、これにより、親機1と子機2との間で、IEEE1394通信(IEEE1394の規格に準拠した通信)が行われ、各種のデータ等がやりとりされる。
そこで、図12乃至図21を参照して、IEEE1394通信について説明する。
IEEE1394は、シリアルバス規格の1つであり、IEEE1394通信は、データのアイソクロナス(isochronous)転送を行うことができることから、画像や音声といったリアルタイムで再生する必要のあるデータの転送に適している。
即ち、IEEE1394インタフェースを有する機器(IEEE1394機器)どうしの間では、125μs(マイクロ秒)周期で、最大で、100μsの伝送帯域(時間ではあるが、帯域と呼ばれる)を使用して、データのアイソクロナス転送を行うことができる。また、上述の伝送帯域の範囲内であれば、複数チャンネルで、アイソクロナス転送を行うことができる。
図12は、IEEE1394通信プロトコルのレイヤ構造を示している。
IEEE1394プロトコルは、トランザクション層(Transaction Layer)、リンク層(Link Layer)、および物理層(Physical Layer)の3層の階層構造を有する。各階層は、相互に通信し、また、それぞれの階層は、シリアルバス管理(Serial Bus Management)と通信を行う。さらに、トランザクション層およびリンク層は、上位のアプリケーションとの通信も行う。この通信に用いられる送受信メッセージは、要求(Request)、指示(表示)(Indication)、応答(Response)、確認(Confirmation)の4種類があり、図12における矢印は、この通信を示している。
なお、矢印の名称の最後に".req"がついた通信は要求を表し、".ind"は指示を表す。また、".resp"は応答を、".conf"は確認をそれぞれ表す。例えば、TR_CONT.reqは、シリアルバス管理から、トランザクション層に送られる、要求の通信である。
トランザクション層は、アプリケーションからの要求により、他のIEEE1394機器(IEEE1394インタフェースを有する機器)とデータ通信を行う為のアシンクロナス(asynchronous)伝送サービスを提供し、ISO/IEC13213で必要とされるリクエストレスポンスプロトコル(Request Response Protocol)を実現する。即ち、IEEE1394規格によるデータ転送方式としては、上述したアイソクロナス伝送の他、アシンクロナス伝送があり、トランザクション層は、アシンクロナス伝送の処理を行う。アシンクロナス伝送で伝送されるデータは、トランザクション層のプロトコルに要求する処理の単位であるリードトランザクション(read Transaction)、ライトトランザクション(write Transaction)、ロックトランザクション(lock Transaction)の3種類のトランザクションによって、IEEE1394機器間で伝送される。
リンク層は、アクノリッジ(Acknowledge)を用いたデータ伝送サービス、アドレス処理、データエラー確認、データのフレーミング等の処理を行う。リンク層が行う1つのパケット伝送はサブアクションと呼ばれ、サブアクションには、アシンクロナスサブアクション(Asynchronous Subaction)およびアイソクロナスサブアクション(Isochronous Subaction)の2種類がある。
アシンクロナスサブアクションは、ノード(IEEE1394においてアクセスできる単位)を特定する物理ID(Physical Identification)、およびノード内のアドレスを指定して行われ、データを受信したノードは、アクノリッジを返送する。但し、IEEE1394シリアルバス内の全てのノードにデータを送るアシンクロナスブロードキャストサブアクションでは、データを受信したノードは、アクノリッジを返送しない。
一方、アイソクロナスサブアクションでは、データが、一定周期(前述したように、125μs)で、チャンネル番号を指定して伝送される。なお、アイソクロナスサブアクションでは、アクノリッジは返送されない。
物理層は、リンク層で用いる論理シンボルを電気信号に変換する。さらに、物理層は、リンク層からのアービトレーション(IEEE1394通信を行うノードが競合したときの調停)の要求に対する処理を行ったり、バスリセットに伴うIEEE1394シリアルバスの再コンフィグレーションを実行し、物理IDの自動割り当てを行ったりする。
シリアスバス管理では、基本的なバス制御機能の実現とISO/IEC13212のCSR(Control&Status Register Architecture)が提供される。シリアスバス管理は、ノードコントローラ(Node Controller)、アイソクロナスリソースマネージャ(Isochronous Resource Manager)、およびバスマネージャ(Bus Manager)の機能を有する。ノードコントローラは、ノードの状態、物理ID等を制御するとともに、トランザクション層、リンク層、および物理層を制御する。アイソクロナスリソースマネージャは、アイソクロナス通信に用いられるリソースの利用状況を提供するもので、アイソクロナス通信を行うためには、IEEE1394シリアルバスに接続された機器の中に少なくとも1つ、アイソクロナスリソースマネージャの機能を有するIEEE1394機器が必要である。バスマネージャは、各機能の中では、最も高機能であり、IEEE1394シリアルバスの最適利用を図ることを目的とする。なお、アイソクロナスリソースマネージャとバスマネージャの存在は、任意である。
IEEE1394機器どうしは、ノード分岐とノードディジーチェインのいずれの接続も可能であるが、IEEE1394機器が新たに接続されたりすると、バスリセットが行われ、ツリー識別や、ルートノード、物理ID、アイソクロナスリソースマネージャ、サイクルマスタ、バスマネージャの決定等が行われる。
ここで、ツリー識別においては、IEEE1394機器としてのノード間の親子関係が決定される。また、ルートノードは、アービトレーションによってIEEE1394シリアルバスを使用する権利を獲得したノードの指定等を行う。物理IDは、self-IDパケットと呼ばれるパケットが、各ノードに転送されることにより決定される。なお、self-IDパケットには、ノードのデータ転送レートや、ノードがアイソクロナスリソースマネージャになれるかどうかといった情報が含まれる。
アイソクロナスリソースマネージャは、上述したように、アイソクロナス通信に用いられるリソースの利用状況を提供するノードで、後述する帯域幅レジスタ(BANDWIDTH_AVAILABLEレジスタ)や、チャンネル番号レジスタ(CHANNELS_AVAILABLEレジスタ)を有する。さらに、アイソクロナスリソースマネージャは、バスマネージャとなるノードの物理IDを示すレジスタも有する。なお、IEEE1394シリアルバスで接続されたIEEE1394機器としてのノードの中に、バスマネージャが存在しない場合には、アイソクロナスリソースマネージャが、簡易的なバスマネージャとして機能する。
サイクルマスタは、アイソクロナス伝送の周期である125μsごとに、IEEE1394シリアルバス上に、サイクルスタートパケットを送信する。このため、サイクルマスタは、その周期(125μs)をカウントするためのサイクルタイムレジスタ(CYCLE_TIMEレジスタ)を有する。なお、ルートノードがサイクルマスタになるが、ルートノードがサイクルマスタとしての機能を有していない場合には、バスマネージャがルートノードを変更する。
バスマネージャは、IEEE1394シリアルバス上における電力の管理や、上述したルートノードの変更等を行う。
バスリセット後に、上述したようなアイソクロナスリソースマネージャの決定等が行われると、IEEE1394シリアルバスを介してのデータ伝送が可能な状態となる。
IEEE1394のデータ伝送方式の1つであるアイソクロナス伝送では、伝送帯域および伝送チャンネルが確保され、その後、データが配置されたパケット(アイソクロナスパケット)が伝送される。
即ち、アイソクロナス伝送では、サイクルマスタが125μs周期でサイクルスタートパケットを、IEEE1394シリアルバス上にブロードキャストする。サイクルスタートパケットがブロードキャストされると、アイソクロナスパケットの伝送を行うことが可能な状態となる。
アイソクロナス伝送を行うには、アイソクロナスリソースマネージャの提供する伝送帯域確保用の帯域幅レジスタと、チャンネル確保用のチャンネル番号レジスタを書き換えて、アイソクロナス伝送のための資源の確保を宣言する必要がある。
ここで、帯域幅レジスタおよびチャンネル番号レジスタは、ISO/IEC13213で規定されている64ビットのアドレス空間を有する、後述するCSR(Control&Status Register)の1つとして割り当てられる。
帯域幅レジスタは、32ビットのレジスタで、上位19ビットは予約領域とされており、下位13ビットが、現在使用することが可能な伝送帯域(bw_remaining)を表す。
即ち、帯域幅レジスタの初期値は、00000000000000000001001100110011B(Bは、その前の値が2進数であることを表す)(=4915)となっている。これは、次のような理由による。即ち、IEEE1394では、1572.864Mbps(bit per second)で、32ビットの伝送に要する時間が、1として定義されており、上述の125μsは、00000000000000000001100000000000B(=6144)に相当する。しかしながら、IEEE1394では、アイソクロナス伝送に使用することのできる伝送帯域は、1周期である125μsのうちの80%であることが定められている。従って、アイソクロナス伝送で使用可能な最大の伝送帯域は、100μsであり、100μsは、上述のように、00000000000000000001001100110011B(=4915)となる。
なお、125μsから、アイソクロナス伝送で使用される最大の伝送帯域である100μsを除いた残りの25μsの伝送帯域は、アシンクロナス伝送で使用される。アシンクロナス伝送は、帯域幅レジスタやチャンネル番号レジスタの記憶値を読み出すとき等に用いられる。
アイソクロナス伝送を開始するためには、そのための伝送帯域を確保する必要がある。即ち、例えば、1周期である125μsのうちの、10μsの伝送帯域を使用してアイソクロナス伝送を行う場合には、その10μsの伝送帯域を確保する必要がある。この伝送帯域の確保は、帯域幅レジスタの値を書き換えることで行われる。即ち、上述のように、10μsの伝送帯域を確保する場合には、その10μsに相当する値である492を、帯域幅レジスタの値から減算し、その減算値を、帯域幅レジスタにセットする。従って、例えば、いま、帯域幅レジスタの値が4915になっていた場合(アイソクロナス伝送が、まったく行われていない場合)に、10μsの伝送帯域を確保するときには、帯域幅レジスタの値が、上述の4915から、その4915から10μsに相当する492を減算した4423(=00000000000000000001000101000111B)に書き換えられる。
なお、帯域幅レジスタの値から、確保(使用)しようとする伝送帯域を減算した値が0よりも小さくなる場合は、伝送帯域を確保することができず、従って、帯域幅レジスタの値は書き換えられないし、さらに、アイソクロナス伝送を行うこともできない。
アイソクロナス伝送を行うには、上述したような伝送帯域の確保を行う他、伝送チャンネルも確保しなければならない。この伝送チャンネルの確保は、チャンネル番号レジスタを書き換えることで行われる。
チャンネル番号レジスタは、64ビットのレジスタで、各ビットが、各チャンネルに対応している。即ち、第nビット(最下位ビットからn番目のビット)は、その値が1であるときは、第n−1チャンネルが未使用状態であることを表し、0であるときは、第n−1チャンネルが使用状態であることを表す。従って、どのチャンネルも使用されていない場合には、チャンネル番号レジスタは、1111111111111111111111111111111111111111111111111111111111111111Bとなっており、例えば、第1チャンネルが確保されると、チャンネル番号レジスタは、1111111111111111111111111111111111111111111111111111111111111101Bに書き換えられる。
なお、チャンネル番号レジスタは、上述のように64ビットであるから、アイソクロナス伝送では、最大で、第0乃至第63チャンネルの64チャンネルの確保が可能であるが、第63チャンネルは、アイソクロナスパケットをブロードキャストする場合に用いられる。
以上のように、アイソクロナス伝送は、伝送帯域および伝送チャンネルの確保を行った上で行われるから、伝送レートを保証したデータ伝送を行うことができ、上述したように、画像や音声といったリアルタイムで再生する必要のあるデータ伝送に特に適している。
次に、IEEE1394通信は、上述したように、ISO/IEC13213で規定された64ビットのアドレス空間を有するCSRアーキテクチャに準拠している。
図13は、CSRアーキテクチャのアドレス空間を示している。
CSRの上位16ビットは、各ノードを示すノードIDであり、残りの48ビットは、各ノードに与えられたアドレス空間の指定に使われる。この上位16ビットは、さらにバスIDの10ビットと物理ID(狭義のノードID)の6ビットに分かれる。すべてのビットが1となる値は、特別な目的で使用されるため、1023個のバスと63個のノードを指定することができる。
CSRの下位48ビットにて規定される256テラバイトのアドレス空間のうちの上位20ビットで規定される空間は、2048バイトのCSR特有のレジスタやIEEE1394特有のレジスタ等に使用されるイニシャルレジスタスペース(Initial Register Space)、プライベートスペース(Private Space)、およびイニシャルメモリスペース(Initial Memory Space)などに分割され、下位28ビットで規定される空間は、その上位20ビットで規定される空間が、イニシャルレジスタスペースである場合、コンフィギレーションROM(Configuration ROM)、ノード特有の用途に使用されるイニシャルユニットスペース(Initial Unit Space)、プラグコントロールレジスタ(Plug Control Register(PCRs))などとして用いられる。
ここで、図14は、主要なCSRのオフセットアドレス、名前、および働きを示している。
図14において、「オフセット」の欄は、イニシャルレジスタスペースが始まるFFFFF0000000h(hは、その前の値が16進数であることを表す)番地からのオフセットアドレスを示している。オフセット220hを有する帯域幅レジスタは、上述したように、アイソクロナス通信に割り当て可能な帯域を示しており、アイソクロナスリソースマネージャとして動作しているノードの値だけが有効とされる。即ち、図13のCSRは、各ノードが有しているが、帯域幅レジスタについては、アイソクロナスリソースマネージャのものだけが有効とされる。従って、帯域幅レジスタは、実質的に、アイソクロナスリソースマネージャだけが有する。
オフセット224h乃至228hのチャンネル番号レジスタは、上述したように、その各ビットが0乃至63番のチャンネル番号のそれぞれに対応し、ビットが0である場合には、そのチャンネルが既に割り当てられていることを示している。チャンネル番号レジスタも、アイソクロナスリソースマネージャとして動作しているノードのもののみが有効である。
図13に戻り、イニシャルレジスタスペース内のアドレス400h乃至800hに、ゼネラルROMフォーマットに基づいたコンフィギレーションROMが配置される。
ここで、図15は、ゼネラルROMフォーマットを示している。
IEEE1394上のアクセスの単位であるノードは、ノードの中にアドレス空間を共通に使用しつつ独立して動作をするユニットを複数個有することができる。ユニットディレクトリ(unit directories)は、このユニットに対するソフトウェアのバージョンや位置を示すことができる。バスインフォブロック(bus info block)とルートディレクトリ(root directory)の位置は固定されているが、その他のブロックの位置はオフセットアドレスによって指定される。
ここで、図16は、バスインフォブロック、ルートディレクトリ、およびユニットディレクトリの詳細を示している。
バスインフォブロック内のCompany IDには、機器の製造者を示すID番号が格納される。Chip IDには、その機器固有の、他の機器と重複のない世界で唯一のIDが記憶される。また、IEC1833の規格により、IEC1883を満たした機器のユニットディレクトリのユニットスペックID(unit spec id)の、ファーストオクテットには00hが、セカンドオクテットにはA0hが、サードオクテットには2Dhが、それぞれ書き込まれる。さらに、ユニットスイッチバージョン(unit sw version)のファーストオクテットには、01hが、サードオクテットのLSB(Least Significant Bit)には、1が書き込まれる。
ノードは、図13のイニシャルレジスタスペース内のアドレス900h乃至9FFhに、IEC1883に規定されるPCR(Plug Control Register)を有する。これは、アナログインタフェースに類似した信号経路を論理的に形成するために、プラグという概念を実体化したものである。
ここで、図17は、PCRの構成を示している。
PCRは、出力プラグを表すoPCR(output Plug Control Resister)と、入力プラグを表すiPCR(input Plug Control Register)を有する。また、PCRは、各機器固有の出力プラグまたは入力プラグの情報を示すレジスタoMPR(output Master Plug Register)とiMPR(input Master Plug Register)を有する。IEEE1394機器は、oMPRおよびiMPRをそれぞれ複数持つことはないが、個々のプラグに対応したoPCRおよびiPCRを、IEEE1394機器の能力によって複数持つことが可能である。図17に示したPCRは、それぞれ31個のoPCR#0乃至#30およびiPCR#0乃至#30を有する。アイソクロナスデータの流れは、これらのプラグに対応するレジスタを操作することによって制御される。
図18は、oMPR,oPCR,iMPR、およびiPCRの構成を示している。
図18AはoMPRの構成を、図18BはoPCRの構成を、図18CはiMPRの構成を、図18DはiPCRの構成を、それぞれ示している。
oMPRおよびiMPRのMSB側の2ビットのデータレートケイパビリティ(data rate capability)には、その機器が送信または受信可能なアイソクロナスデータの最大伝送速度を示すコードが格納される。oMPRのブロードキャストチャンネルベース(broadcast channel base)は、ブロードキャスト出力に使用されるチャンネルの番号を規定する。
oMPRのLSB側の5ビットのナンバーオブアウトプットプラグス(number of output plugs)には、その機器が有する出力プラグ数、即ち、oPCRの数を示す値が格納される。iMPRのLSB側の5ビットのナンバーオブインプットプラグス(number of input plugs)には、その機器が有する入力プラグ数、即ち、iPCRの数を示す値が格納される。non-persistent extension fieldおよびpersistent extension fieldは、将来の拡張の為に定義された領域である。
oPCRおよびiPCRのMSBのオンライン(on-line)は、プラグの使用状態を示す。即ち、その値が1であればそのプラグがON-LINEであり、0であればOFF-LINEであることを示す。oPCRおよびiPCRのブロードキャストコネクションカウンタ(broadcast connection counter)の値は、ブロードキャストコネクションの有り(1)または無し(0)を表す。oPCRおよびiPCRの6ビット幅を有するポイントトウポイントコネクションカウンタ(point-to-point connection counter)が有する値は、そのプラグが有するポイントトウポイントコネクション(point-to-point connection)の数を表す。
oPCRおよびiPCRの6ビット幅を有するチャンネルナンバー(channel number)が有する値は、そのプラグが接続されるアイソクロナスチャンネルの番号を示す。oPCRの2ビット幅を有するデータレート(data rate)の値は、そのプラグから出力されるアイソクロナスデータのパケットの現実の伝送速度を示す。oPCRの4ビット幅を有するオーバーヘッドID(overhead ID)に格納されるコードは、アイソクロナス通信のオーバーのバンド幅を示す。oPCRの10ビット幅を有するペイロード(payload)の値は、そのプラグが取り扱うことができるアイソクロナスパケットに含まれるデータの最大値を表す。
次に、以上のようなIEEE1394通信を行うIEEE1394機器については、その制御のためのコマンドとして、AV/Cコマンドセットが規定されている。そこで、本実施の形態でも、親機1は、このAV/Cコマンドセットを利用して、子機2を制御するようになっている。但し、親機1から子機2を制御するにあたっては、AV/Cコマンドセット以外の独自のコマンド体系を用いることも可能である。
ここで、AV/Cコマンドセットについて、簡単に説明する。
図19は、アシンクロナス転送モードで伝送されるAV/Cコマンドセットのパケットのデータ構造を示している。
AV/Cコマンドセットは、AV(Audio Visual)機器を制御するためのコマンドセットで、AV/Cコマンドセットを用いた制御系では、ノード間において、AV/Cコマンドフレームおよびレスポンスフレームが、FCP(Function Control Protocol)を用いてやり取りされる。バスおよびAV機器に負担をかけないために、コマンドに対するレスポンスは、100ms以内に行うことになっている。
図19に示すように、アシンクロナスパケットのデータは、水平方向32ビット(=1 quadlet)で構成されている。図中上段はパケットのヘッダ部分(packet header)を示しており、図中下段はデータブロック(data block)を示している。destination_IDは、宛先を示している。
CTSはコマンドセットのIDを示しており、AV/CコマンドセットではCTS=“0000”である。ctype/responseは、パケットがコマンドの場合はコマンドの機能分類を示し、パケットがレスポンスの場合はコマンドの処理結果を示す。コマンドは大きく分けて、(1)機能を外部から制御するコマンド(CONTROL)、(2)外部から状態を問い合わせるコマンド(STATUS)、(3)制御コマンドのサポートの有無を外部から問い合わせるコマンド(GENERAL INQUIRY(opcodeのサポートの有無)およびSPECIFIC INQUIRY(opcodeおよびoperandsのサポートの有無))、(4)状態の変化を外部に知らせるよう要求するコマンド(NOTIFY)の4種類が定義されている。
レスポンスはコマンドの種類に応じて返される。CONTROLコマンドに対するレスポンスには、NOT INPLEMENTED(実装されていない)、ACCEPTED(受け入れる)、REJECTED(拒絶)、およびINTERIM(暫定)がある。STATUSコマンドに対するレスポンスには、NOT INPLEMENTED、REJECTED、IN TRANSITION(移行中)、およびSTABLE(安定)がある。GENERAL INQUIRYおよびSPECIFIC INQUIRYコマンドに対するレスポンスには、IMPLEMENTED(実装されている)、およびNOT IMPLEMENTEDがある。NOTIFYコマンドに対するレスポンスには、NOT IMPLEMENTED,REJECTED,INTERIM、およびCHANGED(変化した)がある。
subunit typeは、機器内の機能を特定するために設けられており、例えば、tape recorder/player,tuner等が割り当てられる。同じ種類のsubunitが複数存在する場合の判別を行うために、判別番号としてsubunit id(subunit typeの後に配置される)でアドレッシングを行う。opcodeはコマンドを表しており、operandはコマンドのパラメータを表している。Additional operandsは追加のoperandが配置されるフィールドである。paddingはパケット長を所定のビット数とするためにダミーのデータが配置されるフィールドである。data CRC(Cyclic Redundancy Check)はデータ伝送時のエラーチェックに使われるCRCが配置される。
次に、図20は、AV/Cコマンドの具体例を示している。
図20Aは、ctype/responseの具体例を示している。図中上段がコマンド(Command)を表しており、図中下段がレスポンス(Response)を表している。“0000”にはCONTROL、“0001”にはSTATUS、“0010”にはSPECIFIC INQUIRY、“0011”にはNOTIFY、“0100”にはGENERAL INQUIRYが割り当てられている。“0101乃至0111”は将来の仕様のために予約確保されている。また、“1000”にはNOT INPLEMENTED、“1001”にはACCEPTED、“1010”にはREJECTED、“1011”にはIN TRANSITION、“1100”にはIMPLEMENTED/STABLE、“1101”にはCHNGED、“1111”にはINTERIMが割り当てられている。“1110”は将来の仕様のために予約確保されている。
図20Bは、subunit typeの具体例を示している。“00000”にはVideo Monitor、“00011”にはDisk recorder/Player、“00100”にはTape recorder/Player、“00101”にはTuner、“00111”にはVideo Camera、“11100”にはVendor unique、“11110”にはSubunit type extended to next byteが割り当てられている。なお、“11111”にはunitが割り当てられているが、これは機器そのものに送られる場合に用いられ、例えば電源のオンオフなどが挙げられる。
図20Cは、opcodeの具体例を示している。各subunit type毎にopcodeのテーブルが存在し、ここでは、subunit typeがTape recorder/Playerの場合のopcodeを示している。また、opcode毎にoperandが定義されている。ここでは、“00h”にはVENDOR-DEPENDENT、“50h”にはSEACH MODE、“51h”にはTIMECODE、“52h”にはATN、“60h”にはOPEN MIC、“61h”にはREAD MIC、“62h”にはWRITE MIC、“C1h”にはLOAD MEDIUM、“C2h”にはRECORD、“C3h”にはPLAY、“C4h”にはWINDが、それぞれ割り当てられている。
図21は、AV/Cコマンドとレスポンスの具体例を示している。
例えば、ターゲット(コンスーマ)(制御される側)としての再生機器に再生指示を行う場合、コントローラ(制御する側)は、図21Aのようなコマンドをターゲットに送る。このコマンドは、AV/Cコマンドセットを使用しているため、CTS=“0000”となっている。ctypeは、機器を外部から制御するコマンド(CONTROL)を用いるため、“0000”となっている(図20A)。subunit typeは、Tape recorder/Playerであることより、“00100”となっている(図20B)。idは、ID#0の場合を示しており、000となっている。opcodeは、再生を意味する“C3h”となっている(図20C)。operandは、FORWARDを意味する“75h”となっている。そして、再生されると、ターゲットは、図21Bのようなレスポンスをコントローラに返す。ここでは、受け入れを意味するacceptedがresponseに配置されており、responseは、“1001”となっている(図20A)。responseを除いて、他は図21Aと同じであるので説明は省略する。
スケーラブルTVシステムにおいて、親機1と子機2との間では、上述のようなAV/Cコマンドセットを用いて、各種の制御が行われる。但し、本実施の形態では、親機1と子機2との間で行われる制御のうち、既定のコマンドとレスポンスで対処できないものについては、新たなコマンドとレスポンスが定義されており、その新たなコマンドとレスポンスを用いて、各種の制御が行われる。
なお、以上のIEEE1394通信およびAV/Cコマンドセットについては、「WHITE SERISE No.181 IEEE1394マルチメディアインタフェース」株式会社トリケップス発行、にその詳細が説明されている。
次に、図10で説明したように、親機1のIRインタフェース135は、赤外線を受信する他、送信することもできるようになっており、このように赤外線を送受信することができるIRインタフェース135に対応して、親機1のリモコン15も、赤外線を送信するだけでなく、受信することもできるようになっている。
即ち、図22は、リモコン15の電気的構成例を示している。
操作部161は、図7または図9で説明したリモコン15に設けられている各種のボタンスイッチであり、操作されたボタンスイッチに対応する操作信号を、制御部162に供給する。
制御部162は、操作部161からの操作信号を受信し、その操作信号によって要求される処理を表すコマンドのコード(コマンドコード)を、フレーム生成部163に供給する。また、制御部162は、受信処理部167の出力に基づいて各種の処理を行う。さらに、制御部162は、デバイスコード記憶部168にデバイスコードを記憶させる。
フレーム生成部163は、制御部162から供給されるコマンドコードと、デバイス記憶部168に記憶されたデバイスコードを配置したフレーム構造のデータ(フレームデータ)を生成し、送信処理部164に供給する。
送信処理部164は、フレーム生成部163から供給されるフレームデータに基づき、所定の周波数のキャリアを変調し、その結果得られる変調信号に基づいて、発光部165を駆動する。
発光部165は、例えばLEDで構成され、送信処理部164によって駆動されることにより、赤外線を発光する。ここで、この発光部165で発光された赤外線が、例えば、IRインタフェース135(図10)で受光される。
受光部166は、赤外線を受光して光電変換し、その結果得られる信号を、受信処理部167に供給する。ここで、受光部166は、例えば、IRインタフェース135で発光された赤外線を受光する。
受信処理部167は、受光部166の出力を復調し、その結果得られるフレームデータを、制御部162に供給する。
次に、図23は、フレーム生成部163で生成されるフレームデータのフレームフォーマットを示している。
フレームデータは、その先頭に、フレームリーダが配置され、さらに、その後に、2つのデータ部#1および#2が配置されて構成される。
フレームリーダには、フレームの先頭を表す所定のビット列でなるデータが配置される。
データ部#1には、デバイスコードとコマンドコードとが配置される。
ここで、デバイスコードは、フレームデータをやりとりする装置に割り当てられるコードで、フレームデータを受信した装置では、そのフレームデータに配置されたデバイスコードと、自身に割り当てられたデバイスコードとが一致する場合に、そのフレームデータが自身宛のものであるとして、そのフレームデータに配置されたコマンドコードに対応する処理を行う。
即ち、図22のリモコン15において、制御部162は、受信処理部167からフレームデータが供給されると、そのフレームデータに配置されたデバイスコードと、デバイスコード記憶部168に記憶されたデバイスコードとを比較し、両者が一致する場合にのみ、そのフレームデータに配置されたコマンドコードに対応する処理を行う。
なお、制御部162は、受信処理部167からのフレームデータに配置されたデバイスコードと、デバイスコード記憶部168に記憶されたデバイスコードとが一致しない場合は、そのフレームデータを無視(破棄)する。従って、この場合、制御部162では、特に、処理は行われない。
データ部#2には、データ部#1と同一のデータが配置される。
ここで、図22のリモコン15において、制御部162は、受信処理部167からフレームデータが供給されると、そのフレームデータに配置されたデータ部#1と#2とを比較し、両者が一致する場合にのみ、上述したデバイスコードの比較を行う。従って、フレームデータに配置されたデータ部#1と#2とが一致しない場合、制御部162では、特に、処理は行われない。
このように、制御部162では、フレームデータに配置されたデータ部#1と#2とが一致しない場合に処理を行わないようにすることで、正常受信されなかったフレームデータ(誤りのあるフレームデータ)に基づいて処理が行われることを防止するようになっている。
次に、上述したように、子機2のIRインタフェース155(図11)も、図10の親機1のIRインタフェース135と同様に構成されており、従って、赤外線を送受信することができるようになっている。このように赤外線を送受信することができるIRインタフェース155に対応して、子機2のリモコン35も、赤外線を送信するだけでなく、受信することもできるようになっている。
即ち、図24は、リモコン35の電気的構成例を示している。
リモコン35は、図22の操作部161乃至デバイスコード記憶部168と同様に構成される操作部171乃至デバイスコード記憶部178で構成されているため、その説明は、省略する。
次に、図25は、親機1のIRインタフェース135(図10)の詳細構成例を示している。
制御部182は、CPU129(図10)からのコマンドを受信し、そのコマンドに対応するコマンドコードを、フレーム生成部183に供給する。また、制御部182は、受信処理部187から供給されるフレームデータを受信し、そのフレームデータ(図23)のデータ部#1と#2とが一致しているかどうかを判定する。さらに、制御部182は、フレームデータのデータ部#1と#2とが一致している場合、フレームデータのデバイスコード(図23)と、デバイスコード記憶部188に記憶されたデバイスコードとを比較し、両者が一致している場合、そのフレームデータのコマンドコード(図23)に対応するコマンドを、CPU129に供給する。
その他、制御部182は、デバイスコード記憶部188にデバイスコードを記憶させる。
フレーム生成部183は、制御部182から供給されるコマンドコードと、デバイス記憶部188に記憶されたデバイスコードを配置したフレームデータ(図23)を生成し、送信処理部184に供給する。
送信処理部184は、フレーム生成部183から供給されるフレームデータに基づき、所定の周波数のキャリアを変調し、その結果得られる変調信号に基づいて、発光部185を駆動する。
発光部185は、例えばLEDで構成され、送信処理部184によって駆動されることにより、赤外線を発光する。ここで、この発光部185で発光された赤外線が、例えば、リモコン15の受光部166(図22)で受光される。
受光部186は、赤外線を受光して光電変換し、その結果得られる信号を、受信処理部187に供給する。ここで、受光部186は、例えば、リモコン15の発光部165(図22)で発光された赤外線を受光する。
受信処理部187は、受光部186の出力を復調し、その結果得られるフレームデータを、制御部182に供給する。
なお、子機2のIRインタフェース155も、図25に示した親機1のIRインタフェース135と同様に構成される。
次に、図26のフローチャートを参照して、図22の親機1のリモコン15の処理(リモコン処理)について説明する。なお、図24の子機2のリモコン35でも、同様の処理が行われる。
制御部162は、ステップS1において、操作部161がユーザによって操作され、これにより、操作部161からコマンドとしての操作信号が供給されたかどうかを判定する。
ステップS1において、コマンドとしての操作信号が供給されていないと判定された場合、即ち、リモコン15が操作されていない場合、ステップS2に進み、制御部162は、フレームデータを受信したかどうかを判定する。
ステップS2において、フレームデータを受信していないと判定された場合、ステップS1に戻り、以下、同様の処理が繰り返される。
また、ステップS2において、フレームデータを受信したと判定された場合、即ち、受光部166で赤外線が受光され、受信処理部167から制御部162に対して、その赤外線に対応するフレームデータが供給された場合、ステップS3に進み、制御部162は、そのフレームデータのデバイスコードと、デバイスコード記憶部168に記憶されたデバイスコードとが一致するかどうかを判定する。
ステップS3において、フレームデータのデバイスコードと、デバイスコード記憶部168に記憶されたデバイスコードとが一致しないと判定された場合、ステップS1に戻り、以下、同様の処理が繰り返される。
また、ステップS3において、フレームデータのデバイスコードと、デバイスコード記憶部168に記憶されたデバイスコードとが一致すると判定された場合、ステップS4に進み、制御部162は、そのフレームデータに配置されたコマンドコードに対応する処理を行い、ステップS1に戻る。
一方、ステップS1において、コマンドとしての操作信号が供給されたと判定された場合、即ち、ユーザが操作部161を操作し、その操作に対応する操作信号が、制御部162に供給された場合、ステップS5に進み、制御部162は、その操作信号が、デバイスコードの設定を要求するものであるかどうかを判定する。
ここで、デバイスコード記憶部168には、デフォルトのデバイスコードが記憶されているが、そのデバイスコードは、ユーザが変更することができるようになっている。即ち、リモコン15のデバイスコードは、所定の操作として、例えば、ユーザが、リモコン15のメニューボタンスイッチ54およびテレビ電源ボタンスイッチ72(図7)を同時に操作することにより設定することができるようになっている。そこで、ステップS5では、操作信号が、メニューボタンスイッチ54およびテレビ電源ボタンスイッチ72を同時に操作することによる、デバイスコードの設定を要求するものであるかどうかが判定される。
ステップS5において、操作部161からの操作信号が、デバイスコードの設定を要求するものでないと判定された場合、制御部162は、その操作信号に対応するコマンドコードを、フレーム生成部163に供給して、ステップS6に進む。
ステップS6では、フレーム生成部163は、制御部162からのコマンドコードと、デバイス記憶部168に記憶されたデバイスコードとを配置することによって、図23に示したフォーマットのフレームデータを生成し、送信処理部164に供給して、ステップS7に進む。
ステップS7では、送信処理部164は、フレーム生成部163からのフレームデータに対応して、発光部165を駆動し、ステップS1に戻る。これにより、発光部165は、フレームデータに対応する赤外線を発光する。
一方、ステップS5において、操作部161からの操作信号が、デバイスコードの設定を要求するものであると判定された場合、即ち、ユーザが、リモコン15のメニューボタンスイッチ54およびテレビ電源ボタンスイッチ72(図7)を同時に操作した場合、ステップS8に進み、制御部162は、操作部161から、デバイスコードに対応する操作信号が供給されるのを待って、その操作信号を受信し、その操作信号に対応するデバイスコードを、デバイスコード記憶部168に設定する(上書きする)。そして、ステップS1に戻り、以下、同様の処理が繰り返される。
ここで、デバイスコードとしては、例えば、所定の桁数の数字を採用することができ、この場合、ユーザは、リモコン15の、例えば、数字ボタンスイッチ58(図7)を操作することにより、デバイスコードを入力することになる。
次に、図27のフローチャートを参照して、図25の親機1のIRインタフェース135の処理(IRインタフェース処理)について説明する。なお、子機2のIRインタフェース155(図11)でも、同様の処理が行われる。
制御部182は、ステップS21において、CPU129からコマンドが供給されたかどうかを判定する。
ステップS21において、コマンドが供給されていないと判定された場合、ステップS22に進み、制御部182は、受信処理部187から、フレームデータを受信したかどうかを判定する。
ステップS22において、フレームデータを受信していないと判定された場合、ステップS21に戻り、以下、同様の処理が繰り返される。
また、ステップS22において、フレームデータを受信したと判定された場合、即ち、受光部186で、例えば、リモコン15からの赤外線が受光され、受信処理部187から制御部182に対して、その赤外線に対応するフレームデータが供給された場合、ステップS23に進み、制御部182は、そのフレームデータのデバイスコードと、デバイスコード記憶部188に記憶されたデバイスコードとが一致するかどうかを判定する。
ステップS23において、フレームデータのデバイスコードと、デバイスコード記憶部188に記憶されたデバイスコードとが一致しないと判定された場合、ステップS21に戻り、以下、同様の処理が繰り返される。
また、ステップS23において、フレームデータのデバイスコードと、デバイスコード記憶部188に記憶されたデバイスコードとが一致すると判定された場合、ステップS24に進み、制御部182は、そのフレームデータに配置されたコマンドコードに対応するコマンドを、CPU129に転送し、ステップS21に戻る。
従って、この場合、CPU129では、IRインタフェース135(制御部182)から供給されるコマンドに対応する処理が行われる。
一方、ステップS21において、CPU129からコマンドが供給されたと判定された場合、ステップS25に進み、制御部182は、そのコマンドが、デバイスコードの設定を要求するものであるかどうかを判定する。
ここで、デバイスコード記憶部188においても、図22のデバイスコード記憶部168における場合と同様に、デフォルトのデバイスコードが記憶されているが、そのデバイスコードは、ユーザが変更することができるようになっている。即ち、IRインタフェース135のデバイスコードは、所定の操作として、例えば、ユーザが、フロントパネル134(図10)における、リモコン15のメニューボタンスイッチ54およびテレビ電源ボタンスイッチ72(図7)に対応する2つのボタンスイッチを同時に操作することにより設定することができるようになっている。そこで、ステップS25では、CPU129からのコマンドが、そのような2つのボタンスイッチが同時に操作されることによる、デバイスコードの設定を要求するものであるかどうかが判定される。
ステップS25において、CPU129からのコマンドが、デバイスコードの設定を要求するものでないと判定された場合、制御部182は、そのコマンドに対応するコマンドコードを、フレーム生成部183に供給して、ステップS26に進む。
ステップS26では、フレーム生成部183は、制御部182からのコマンドコードと、デバイス記憶部188に記憶されたデバイスコードとを配置することによって、図23に示したフォーマットのフレームデータを生成し、送信処理部184に供給して、ステップS27に進む。
ステップS27では、送信処理部184は、フレーム生成部183からのフレームデータに対応して、発光部185を駆動し、ステップS21に戻る。これにより、発光部185は、フレームデータに対応する赤外線を発光する。なお、この赤外線は、例えば、リモコン15で受光される。
一方、ステップS25において、CPU129からのコマンドが、デバイスコードの設定を要求するものであると判定された場合、即ち、ユーザが、フロントパネル134(図10)における、リモコン15のメニューボタンスイッチ54およびテレビ電源ボタンスイッチ72(図7)に対応する2つのボタンスイッチを同時に操作した場合、ステップS28に進み、制御部182は、CPU129から、デバイスコードが供給されるのを待って、そのデバイスコードを受信し、デバイスコード記憶部188に設定する(上書きする)。そして、ステップS21に戻り、以下、同様の処理が繰り返される。
ここで、親機1においては、ユーザが、例えば、フロントパネル134(図10)における、リモコン15の数字ボタンスイッチ58に対応するボタンスイッチを操作することにより、デバイスコードを入力することができる。
以上のように、リモコン15および35、並びに親機1のIRインタフェース135および子機2のIRインタフェース155には、ユーザが、デバイスコードを設定することができ、さらに、それらの間でのコマンドコードのやりとりは、デバイスコードが一致するものどうしでのみ可能になっている。
従って、例えば、リモコン15において、親機1を制御したい場合には、リモコン15と親機1のIRインタフェース135のデバイスコードを同一の値に設定すれば良い。また、例えば、リモコン15において、子機2を制御したい場合には、リモコン15と子機2のIRインタフェース155のデバイスコードを同一の値に設定すれば良い。さらに、例えば、リモコン15と、親機1のIRインタフェース135および子機2のIRインタフェース155のデバイスコードを、すべて同一にした場合には、ユーザがリモコン15を操作すると、親機1と子機2で同一の処理が行われることになる。
また、例えば、ユーザがリモコン15だけを有している場合でも、スケーラブルTVシステムを構成するテレビジョン受像機としての親機1と各子機2ijそれぞれに、異なるデバイスコードを設定しておけば、リモコン15のデバイスコードを、所望のテレビジョン受像機のデバイスコードに一致するように設定することにより、ユーザは、1つのリモコン15によって、スケーラブルTVシステムを構成するテレビジョン受像機としての親機1と各子機2ijそれぞれを、独立に遠隔制御することができる。
次に、図28のフローチャートを参照して、図10の親機1の処理について説明する。
まず最初に、ステップS41において、CPU129は、端子パネル21に、何らかの機器が接続されるか、または、IEEE1394インタフェース133もしくはIRインタフェース135等から、何らかのコマンドが供給されるというイベントが生じたかどうかを判定し、何らのイベントも生じていないと判定した場合、ステップS41に戻る。
また、ステップS41において、端子パネル21に機器が接続されるイベントが生じたと判定された場合、ステップS42に進み、CPU129は、後述する図29の認証処理を行い、ステップS41に戻る。
ここで、端子パネル21に機器が接続されたかどうかを判定するには、端子パネル21に機器が接続されたことを検出する必要があるが、この検出は、例えば、次のようにして行われる。
即ち、端子パネル21(図3)に設けられたIEEE1394端子21ijに、(IEEE1394ケーブルを介して)機器が接続されると、そのIEEE1394端子21ijの端子電圧が変化する。IEEE1394インタフェース133は、この端子電圧の変化を、CPU129に報告するようになっており、CPU129は、IEEE1394インタフェース133から、端子電圧の変化の報告を受けることによって、端子パネル21に機器が新たに接続されたことを検出する。なお、CPU129は、例えば、同様の手法で、端子パネル21から機器が切り離されたことを認識する。
一方、ステップS41において、IEEE1394インタフェース133もしくはIRインタフェース135等から、何らかのコマンドが供給されるイベントが生じたと判定された場合、ステップS43に進み、親機1では、そのコマンドに対応した処理が行われ、ステップS41に戻る。
次に、図29のフローチャートを参照して、親機1が図28のステップS42で行う認証処理について説明する。
親機1の認証処理では、端子パネル21に新たに接続された機器(以下、適宜、接続機器という)が、正当なIEEE1394機器であるかどうかについての認証と、そのIEEE1394機器が、親機または子機となるテレビジョン受像機(スケーラブル対応機)であるかどうかいついての認証の2つの認証が行われる。
即ち、親機1の認証処理では、まず最初に、ステップS51において、CPU129は、IEEE1394インタフェース133を制御することにより、接続機器に対して、相互認証を行うことを要求する認証要求コマンドを送信させ、ステップS52に進む。
ステップS52では、CPU129は、認証要求コマンドに対応するレスポンスが、接続機器から返ってきたかどうかを判定する。ステップS52において、認証要求コマンドに対応するレスポンスが、接続機器から返ってきていないと判定された場合、ステップS53に進み、CPU129は、タイムオーバとなったかどうか、即ち、認証要求コマンドを送信してから所定の時間が経過したかどうかを判定する。
ステップS53において、タイムオーバであると判定された場合、即ち、認証要求コマンドを、接続機器に送信してから、所定の時間が経過しても、その接続機器から、認証要求コマンドに対応するレスポンスが返ってこない場合、ステップS54に進み、CPU129は、接続機器が正当なIEEE1394機器でなく、認証に失敗したとして、動作モードを、その接続機器との間では、何らのデータのやりとりも行わないモードである単体モードに設定して、リターンする。
従って、親機1は、その後、正当なIEEE1394機器でない接続機器との間では、IEEE1394通信は勿論、何らのデータのやりとりも行わない。
一方、ステップS53において、タイムオーバでないと判定された場合、ステップS52に戻り、以下、同様の処理を繰り返す。
そして、ステップS52において、認証要求コマンドに対応するレスポンスが、接続機器から返ってきたと判定された場合、即ち、接続機器からのレスポンスが、IEEE1394インタフェース133で受信され、CPU129に供給された場合、ステップS55に進み、CPU129は、所定のアルゴリズムにしたがって、乱数(疑似乱数)R1を生成し、IEEE1394インタフェース133を介して、接続機器に送信する。
その後、ステップS56に進み、CPU129は、ステップS55で送信した乱数R1に対して、その乱数R1を、所定の暗号化アルゴリズム(例えば、DES(Data Encryption Standard)や、FEAL(Fast data Encipherment Algorithm)、RC5などの秘密鍵暗号化方式)で暗号化した暗号化乱数E'(R1)が、接続機器から送信されてきたかどうかを判定する。
ステップS56において、接続機器から暗号化乱数E'(R1)が送信されてきていないと判定された場合、ステップS57に進み、CPU129は、タイムオーバとなったかどうか、即ち、乱数R1を送信してから所定の時間が経過したかどうかを判定する。
ステップS57において、タイムオーバであると判定された場合、即ち、乱数R1を、接続機器に送信してから、所定の時間が経過しても、その接続機器から、暗号化乱数E'(R1)が送信されてこない場合、ステップS54に進み、CPU129は、上述したように、接続機器が正当なIEEE1394機器でないとして、動作モードを単体モードに設定して、リターンする。
一方、ステップS57において、タイムオーバでないと判定された場合、ステップS56に戻り、以下、同様の処理を繰り返す。
そして、ステップS56において、接続機器から暗号化乱数E'(R1)が送信されてきたと判定された場合、即ち、接続機器からの暗号化乱数E'(R1)が、IEEE1394インタフェース133で受信され、CPU129に供給された場合、ステップS58に進み、CPU129は、ステップS55で生成した乱数R1を、所定の暗号化アルゴリズムで暗号化し、暗号化乱数E(R1)を生成して、ステップS59に進む。
ステップS59では、CPU129は、接続機器から送信されてきた暗号化乱数E'(R1)と、自身がステップS58で生成した暗号化乱数E(R1)とが等しいかどうかを判定する。
ステップS59において、暗号化乱数E'(R1)とE(R1)とが等しくないと判定された場合、即ち、接続機器で採用されている暗号化アルゴリズム(必要に応じて、暗号化に用いられる秘密鍵も含む)が、CPU129で採用されている暗号化アルゴリズムと異なるものである場合、ステップS54に進み、CPU129は、上述したように、接続機器が正当なIEEE1394機器でないとして、動作モードを単体モードに設定して、リターンする。
また、ステップS59において、暗号化乱数E'(R1)とE(R1)とが等しいと判定された場合、即ち、接続機器で採用されている暗号化アルゴリズムが、CPU129で採用されている暗号化アルゴリズムと等しいものである場合、ステップS60に進み、CPU129は、接続機器が親機1の認証を行うための乱数R2が、接続機器から送信されてきたかどうかを判定する。
ステップS60において、乱数R2が送信されてきていないと判定された場合、ステップS61に進み、CPU129は、タイムオーバとなったかどうか、即ち、例えば、ステップS59で暗号化乱数E'(R1)とE(R1)とが等しいと判定されてから、所定の時間が経過したかどうかを判定する。
ステップS61において、タイムオーバであると判定された場合、即ち、相当の時間が経過しても、接続機器から、乱数R2が送信されてこない場合、ステップS54に進み、CPU129は、上述したように、接続機器が正当なIEEE1394機器でないとして、動作モードを単体モードに設定して、リターンする。
一方、ステップS61において、タイムオーバでないと判定された場合、ステップS60に戻り、以下、同様の処理を繰り返す。
そして、ステップS60において、接続機器から、乱数R2が送信されてきたと判定された場合、即ち、接続機器からの乱数R2が、IEEE1394インタフェース133で受信され、CPU129に供給された場合、ステップS62に進み、CPU129は、乱数R2を所定の暗号化アルゴリズムで暗号化し、暗号化乱数E(R1)を生成して、IEEE1394インタフェース133を介して、接続機器に送信する。
ここで、ステップS60において、接続機器から乱数R2が送信されてきた時点で、接続機器が正当なIEEE1394機器であることの認証が成功する。
その後、ステップS63に進み、CPU129は、IEEE1394インタフェース133を制御することにより、接続機器の機器IDと機能情報を要求する機能情報要求コマンドとともに、自身の機器IDと機能情報を、接続機器に送信する。
ここで、機器IDは、親機1や子機2となるテレビジョン受像機を特定するユニークなIDである。
また、機能情報は、自身の機能に関する情報で、例えば、外部から受け付けるコマンドの種類(例えば、電源のオン/オフ、音量調整、チャンネル、輝度、シャープネスなどを制御するコマンドのうちのいずれを外部から受け付けるか)、管面表示(OSD表示)が可能かどうか、ミュート状態になり得るかどうか、スリープ状態となり得るかどうかなどといった情報が含まれる。さらに、機能情報には、自身が親機としての機能を有するのか、または子機としての機能を有するのかといった情報も含まれる。
なお、親機1では、機器IDおよび機能情報は、例えば、EEPROM130や、図15に示したコンフィギレーションROMのvendor_dependent_informationなどに記憶させておくことができる。
その後、ステップS64に進み、CPU129は、ステップS63で接続機器に送信した機能情報要求コマンドに対応して、その接続機器が、機器IDと機能情報を送信してくるのを待って、その機器IDと機能情報を、IEEE1394インタフェース133を介して受信し、EEPROM130に記憶させて、ステップS65に進む。
ステップS65では、CPU129は、EEPROM130に記憶された機能情報を参照することにより、接続機器が子機であるかどうかを判定する。ステップS65において、接続機器が子機であると判定された場合、即ち、接続機器が子機であることの認証に成功した場合、ステップS66およびS67をスキップして、ステップS68に進み、CPU129は、動作モードを、その子機である接続機器とともに、後述する仮想的な多視点表示の機能を提供しうる多視点表示可能モードに設定して、リターンする。
一方、ステップS65において、接続機器が子機でないと判定された場合、ステップS66に進み、CPU129は、EEPROM130に記憶された機能情報を参照することにより、接続機器が親機であるかどうかを判定する。ステップS66において、接続機器が親機であると判定された場合、即ち、接続機器が親機であることの認証に成功した場合、ステップS67に進み、CPU129は、親機である接続機器との間で親子調整処理を行う。
即ち、この場合、親機1に、他の親機が接続されていることから、スケーラブルTVシステムを構成するテレビジョン受像機の中に、親機として機能するものが、2台存在することになる。本実施の形態では、スケーラブルTVシステムにおける親機は1台である必要があり、このため、ステップS67では、親機1と、接続機器としての親機との間で、いずれが親機としてのテレビジョン受像機として機能するかを決定する親子調整処理が行われる。
具体的には、例えば、より早く、スケーラブルTVシステムを構成することとなった親機、つまり、本実施の形態では、親機1が、親機としてのテレビジョン受像機として機能するように決定される。なお、親機として機能するように決定された親機1でない方の他の親機は、子機として機能することとなる。
ステップS67で親子調整処理が行われた後は、ステップS68に進み、CPU129は、上述したように、動作モードを、多視点表示可能モードに設定して、リターンする。
一方、ステップS66において、接続機器が親機でないと判定された場合、即ち、接続機器が親機および子機のいずれでもなく、従って、接続機器が親機または子機であることの認証に失敗した場合、ステップS69に進み、CPU129は、動作モードを、接続機器との間で、既定のAV/Cコマンドセットのやりとりは可能であるが、多視点表示の機能を提供するための制御コマンドのやりとりはできない通常機能コマンド受付/提供モードに設定して、リターンする。
即ち、この場合、接続機器は、親機および子機のいずれでもないため、そのような接続機器が、親機1に接続されても、多視点表示の機能は提供されない。但し、この場合、接続機器は、正当なIEEE1394機器ではあることから、親機1と接続機器との間における既定のAV/Cコマンドセットのやりとりは許可される。従って、この場合、親機1と接続機器については、他方(あるいは、親機1に接続されている他のIEEE1394機器)から、既定のAV/Cコマンドセットによって制御することは可能である。
次に、図30のフローチャートを参照して、図11の子機2の処理について説明する。
まず最初に、ステップS71において、CPU149は、端子パネル41に、何らかの機器が接続されるか、または、IEEE1394インタフェース153もしくはIRインタフェース155から、何らかのコマンドが供給されるというイベントが生じたかどうかを判定し、何らのイベントも生じていないと判定した場合、ステップS71に戻る。
また、ステップS71において、端子パネル41に機器が接続されるイベントが生じたと判定された場合、ステップS72に進み、CPU149は、後述する図31の認証処理を行い、ステップS71に戻る。
ここで、端子パネル41に機器が接続されたかどうかを判定するには、端子パネル41に機器が接続されたことを検出する必要があるが、この検出は、例えば、図28のステップS41で説明した場合と同様に行われる。
一方、ステップS71において、IEEE1394インタフェース153もしくはIRインタフェース155から、何らかのコマンドが供給されるイベントが生じたと判定された場合、ステップS73に進み、子機2では、そのコマンドに対応した処理が行われ、ステップS71に戻る。
次に、図31のフローチャートを参照して、子機2が図30のステップS72で行う認証処理について説明する。
子機2の認証処理では、端子パネル41に新たに接続された機器(接続機器)が、正当なIEEE1394機器であるかどうかについての認証と、そのIEEE1394機器が、親機であるかどうかいついての認証の2つの認証が行われる。
即ち、子機2の認証処理では、まず最初に、ステップS81において、CPU149は、接続機器から、相互認証を行うことを要求する認証要求コマンドが送信されてきたかどうかを判定し、送信されてきていないと判定した場合、ステップS82に進む。
ステップS82では、CPU149は、タイムオーバとなったかどうか、即ち、認証処理を開始してから所定の時間が経過したかどうかを判定する。
ステップS82において、タイムオーバであると判定された場合、即ち、認証処理を開始してから、所定の時間が経過しても、接続機器から、認証要求コマンドが送信されてこない場合、ステップS83に進み、CPU149は、接続機器が正当なIEEE1394機器でなく、認証に失敗したとして、動作モードを、その接続機器との間では、何らのデータのやりとりも行わないモードである単体モードに設定して、リターンする。
従って、子機2は、親機1と同様に、正当なIEEE1394機器でない接続機器との間では、IEEE1394通信は勿論、何らのデータのやりとりも行わない。
一方、ステップS82において、タイムオーバでないと判定された場合、ステップS81に戻り、以下、同様の処理を繰り返す。
そして、ステップS81において、認証要求コマンドが、接続機器から送信されてきたと判定された場合、即ち、図29のステップS51で接続機器としての親機1から送信されてくる認証要求コマンドが、IEEE1394インタフェース153で受信され、CPU149に供給された場合、ステップS84に進み、CPU149は、IEEE1394インタフェース153を制御することにより、認証要求コマンドに対するレスポンスを、接続機器に送信させる。
ここで、本実施の形態では、図29におけるステップS51乃至S53の処理を親機1に、図31のステップS81,S82、およびS84の処理を子機2に、それぞれ行わせるようにしたが、図29におけるステップS51乃至S53の処理は子機2に、図31のステップS81,S82、およびS84の処理は親機1に、それぞれ行わせるようにすることも可能である。即ち、認証要求コマンドの送信は、親機1および子機2のうちのいずれが行ってもよい。
その後、ステップS85に進み、CPU149は、接続機器から、乱数R1が送信されてきたかどうかを判定し、送信されてきていないと判定した場合、ステップS86に進む。
ステップS86では、CPU149は、タイムオーバとなったかどうか、即ち、ステップS84で認証要求コマンドに対するレスポンスを送信してから所定の時間が経過したかどうかを判定する。
ステップS86において、タイムオーバであると判定された場合、即ち、認証コマンドに対するレスポンスを送信してから、所定の時間が経過しても、接続機器から、乱数R1が送信されてこない場合、ステップS83に進み、CPU149は、上述したように、接続機器が正当なIEEE1394機器でないとして、動作モードを、その接続機器との間では、何らのデータのやりとりも行わないモードである単体モードに設定して、リターンする。
一方、ステップS86において、タイムオーバでないと判定された場合、ステップS85に戻り、以下、同様の処理を繰り返す。
そして、ステップS85において、接続機器から乱数R1が送信されてきたと判定された場合、即ち、図29のステップS55で接続機器としての親機1から送信されてくる乱数R1が、IEEE1394インタフェース153で受信され、CPU149に供給された場合、ステップS87に進み、CPU149は、その乱数R1を、所定の暗号化アルゴリズムで暗号化し、暗号化乱数E'(R1)を生成する。さらに、ステップS87では、CPU149は、IEEE1394インタフェース153を制御することにより、暗号化乱数E'(R1)を、接続機器に送信し、ステップS89に進む。
ステップS89では、CPU149は、乱数(疑似乱数)R2を生成し、IEEE1394インタフェース153を制御することにより、乱数R2を接続機器に送信させ、ステップS90に進む。
ステップS90では、CPU149は、接続機器としての親機1が図29のステップS62で生成する、乱数R2を暗号化した暗号化乱数E(R2)が、接続機器から送信されてきたかどうかを判定する。
ステップS90において、接続機器から暗号化乱数E(R2)が送信されてきていないと判定された場合、ステップS91に進み、CPU149は、タイムオーバとなったかどうか、即ち、乱数R2を送信してから所定の時間が経過したかどうかを判定する。
ステップS91において、タイムオーバであると判定された場合、即ち、乱数R2を、接続機器に送信してから、所定の時間が経過しても、その接続機器から、暗号化乱数E(R2)が送信されてこない場合、ステップS83に進み、CPU149は、上述したように、接続機器が正当なIEEE1394機器でないとして、動作モードを単体モードに設定して、リターンする。
一方、ステップS91において、タイムオーバでないと判定された場合、ステップS90に戻り、以下、同様の処理を繰り返す。
そして、ステップS90において、接続機器から暗号化乱数E(R2)が送信されてきたと判定された場合、即ち、接続機器からの暗号化乱数E(R2)が、IEEE1394インタフェース153で受信され、CPU149に供給された場合、ステップS92に進み、CPU149は、ステップS89で生成した乱数R2を、所定の暗号化アルゴリズムで暗号化し、暗号化乱数E'(R2)を生成して、ステップS93に進む。
ステップS93では、CPU149は、接続機器から送信されてきた暗号化乱数E(R2)と、自身がステップS92生成した暗号化乱数E'(R2)とが等しいかどうかを判定する。
ステップS93において、暗号化乱数E(R2)とE'(R2)とが等しくないと判定された場合、即ち、接続機器で採用されている暗号化アルゴリズム(必要に応じて、暗号化に用いられる秘密鍵も含む)が、CPU149で採用されている暗号化アルゴリズムと異なるものである場合、ステップS83に進み、CPU149は、上述したように、接続機器が正当なIEEE1394機器でないとして、動作モードを単体モードに設定して、リターンする。
また、ステップS93において、暗号化乱数E(R2)とE'(R2)とが等しいと判定された場合、即ち、接続機器で採用されている暗号化アルゴリズムが、CPU149で採用されている暗号化アルゴリズムと等しいものであり、これにより、接続機器が正当なIEEE1394機器であることの認証が成功した場合、ステップS94に進み、CPU149は、接続機器としての親機1が、図29のステップS63で機能情報要求コマンドとともに送信してくる機器IDおよび機能情報を、IEEE1394インタフェース153を介して受信し、EEPROM150に記憶させる。
そして、ステップS95に進み、CPU149は、IEEE1394インタフェース153を制御することにより、ステップS94で受信した接続機器からの機能情報要求コマンドに対応して、自身の機器IDと機能情報を、接続機器に送信させ、ステップS96に進む。
ここで、子機2では、機能IDと機能情報は、図29で説明した親機1における場合と同様に、EEPROM150や、図15に示したコンフィギレーションROMのvendor_dependent_informationなどに記憶させておくことができる。
ステップS96では、CPU149は、EEPROM150に記憶された機能情報を参照することにより、接続機器が親機であるかどうかを判定する。ステップS96において、接続機器が親機であると判定された場合、即ち、接続機器が親機であることの認証に成功した場合、ステップS97に進み、CPU149は、動作モードを、その親機である接続機器とともに、仮想的な多視点表示の機能を提供しうる多視点表示可能モードに設定して、リターンする。
一方、ステップS96において、接続機器が親機でないと判定された場合、即ち、接続機器が親機であることの認証に失敗した場合、ステップS98に進み、CPU149は、動作モードを、接続機器との間で、既定のAV/Cコマンドセットのやりとりは可能であるが、多視点表示の機能による処理を行うための制御コマンドのやりとりはできない通常機能コマンド受付/提供モードに設定して、リターンする。
即ち、この場合、接続機器は、親機でないため、そのような接続機器が、子機2に接続されても、多視点表示の機能は提供されない。従って、子機2に、他の子機が接続されただけでは、多視点表示の機能は提供されない。但し、この場合、接続機器は、正当なIEEE1394機器ではあることから、子機2と接続機器との間における既定のAV/Cコマンドセットのやりとりは許可される。従って、この場合、子機2と接続機器(他の子機を含む)については、他方から、既定のAV/Cコマンドセットによって制御することは可能である。
次に、親機1と子機2で、図29と図31で説明した認証処理がそれぞれ成功し、親機1および子機2が、その動作モードを、多視点表示可能モードとした後に、ユーザが、リモコン15(またはリモコン35)を操作することにより、多視点表示を要求すると、親機1および子機2では、後述する仮想多視点表示処理が行われる。
ここで、仮想多視点表示処理を行うことの指示は、例えば、メニュー画面から行うことができるようになっている。
即ち、上述したように、ユーザが、リモコン15(図7)のメニューボタンスイッチ54(またはリモコン35(図8)のメニューボタンスイッチ84)を操作した場合、親機1のCRT11(または子機2のCRT31)には、メニュー画面が表示されるが、このメニュー画面には、例えば、仮想多視点表示処理を表すアイコン(以下、適宜、仮想多視点表示アイコンという)が表示されるようになっており、ユーザが、この仮想多視点表示アイコンを、リモコン15を操作してクリックした場合、親機1と子機2それぞれにおいて、仮想多視点表示処理が行われる。
そこで、図32は、仮想多視点表示処理を行う親機1における信号処理部127(図10)の第1の機能的構成例を示している。ここで、親機1のCPU129は、仮想多視点表示アイコンがクリックされると、信号処理部127を制御することにより、DSP127Aに、EEPROM127Bに記憶された所定のプログラムを実行させる。図32の機能的構成は、このように、DSP127Aが、EEPROM127Bに記憶されたプログラムを実行することで実現される。後述する信号処理部127の他の機能的構成も同様である。
フレームメモリ191,192,193は、MPEGビデオデコーダ125(図10)が出力する画像データとしての輝度信号Y、色信号R−Y,B−Yそれぞれを、フレーム単位(またはフィールド単位)で一時記憶する。即ち、MPEGデコーダ125は、デマルチプレクサ124が出力する所定のチャンネルの番組の画像データのTSパケットをMPEGデコードし、そのデコード結果として、輝度信号Y、色信号R−Y,B−Yでなる画像データを出力するようになっている。フレームメモリ191,192,193は、そのようにしてMPEGビデオデコーダ125が出力する輝度信号Y、色信号R−Y,B−Yを、それぞれ記憶する。
ここで、図32の実施の形態では、フレームメモリ191乃至193それぞれは、少なくとも2フレーム(またはフィールド)分の画像データを記憶することのできる記憶容量を有している。即ち、フレームメモリ191乃至193それぞれは、1フレームの画像データを記憶することのできるバンクを2つ有しており、その2つのバンクに、交互に、画像データを記憶する。
従って、フレームメモリ191に記憶された最新のフレームを、現フレームというものとすると、フレームメモリ191では、常時、現フレームと、その1フレーム前のフレーム(以下、適宜、前フレームという)の画像データが記憶される。フレームメモリ192および193においても、同様である。
フレームメモリ194,195,196は、フレームメモリ191,192,193に記憶され、メモリ制御部197から転送されてくる1フレーム(またはフィールド)の画像データの輝度信号Y、色信号R−Y,B−Yを、それぞれ記憶する。
メモリ制御部197は、システムコントローラ201によって制御され、フレームメモリ191乃至193に記憶された現フレームの画像データ(輝度信号Y、色信号R−Y,B−Y)を、フレームメモリ194乃至196にそれぞれ転送し、上書きする形で記憶させる。
差分検出部198は、フレームメモリ191に記憶された現フレームと前フレームの画像データの輝度信号Yの差分を、現フレームの画像データの特徴として求め、システムコントローラ201に供給する。即ち、差分検出部198は、例えば、現フレームの各画素の輝度信号Yと、前フレームの対応する画素の輝度信号Yとの差分絶対値和を、現フレームの画像データの特徴として求め、システムコントローラ201に供給する。
カウンタ部199は、システムコントローラ201の制御にしたがって、所定の値のカウント(計数)を行い、そのカウント値を、システムコントローラ201に供給する。また、カウンタ部199は、システムコントローラ201の制御にしたがい、そのカウント値をリセットする。
出力制御部200は、システムコントローラ201の制御にしたがい、フレームメモリ194乃至196に記憶された1フレームの画像データの輝度信号Y、色信号R−Y,B−Yを読み出し、CPU129に供給する。
システムコントローラ201は、メモリ制御部197、カウンタ部199、および出力制御部200を制御する。
即ち、システムコントローラ201は、差分検出部198から供給される、現フレームの画像データの特徴としての差分絶対値和と所定の閾値とを比較し、その比較結果に基づいて、カウンタ部199を制御する。また、システムコントローラ201は、カウンタ部199からのカウント値に基づいて、メモリ制御部197および出力制御部200を制御する。
なお、ここでは、システムコントローラ201において、輝度信号Yの差分絶対値和に基づいて、カウンタ部199を制御するようにしたが、その他、例えば、差分検出部198において、色信号R−YやB−Yの差分絶対値和を求めるようにし、システムコントローラ201では、その色信号R−YやB−Yの差分絶対値和をも加味して、カウンタ部199を制御するようにすることも可能である。
ここで、MPEGビデオデコーダ125(図10)が出力する画像データとしての輝度信号Y、色信号R−Y,B−Yは、フレームメモリ191乃至193にそれぞれ供給される他、信号処理部127の後段のマトリクス回路128にも供給されるようになっており、マトリクス回路128では、このようにして供給される輝度信号Y、色信号R−Y,B−Yが、RGBの画像データに変換される。
また、図32には、親機1におけるMPEGオーディオデコーダ126(図10)が出力する音声データについて図示していないが、MPEGオーディオデコーダ126が出力する音声データは、例えば、そのまま、後段のアンプ137に供給されるようになっている。
次に、図33のフローチャートを参照して、図32の信号処理部127による親機の仮想多視点表示処理について説明する。
まず最初に、ステップS101において、フレームメモリ191乃至193は、MPEGビデオデコーダ125(図10)から、1フレームの画像データとしての輝度信号Y、色信号R−Y,B−Yが供給されるのを待って、その輝度信号Y、色信号R−Y,B−Yをそれぞれ記憶し、ステップS102に進む。
ステップS102では、差分検出部198では、直前のステップS101でフレームメモリ191に記憶された画像データの輝度信号Y、即ち、現フレームの画像データの輝度信号Yと、前回のステップS101でフレームメモリ191に記憶された画像データの輝度信号Y、即ち、前フレームの画像データの輝度信号Yとの差分絶対値和(以下、適宜、現フレームについての差分絶対値和という)を、現フレームの画像データの特徴として検出し(求め)、システムコントローラ201に供給して、ステップS103に進む。
ステップS103では、システムコントローラ201は、現フレームについての差分絶対値和が、ほとんど0に等しいかどうか、即ち、小さな正の値の閾値以下(または未満)であるかどうかを判定する。
ステップS103において、現フレームについての差分絶対値和が、0または0に近い値でないと判定された場合、ステップS104乃至S108をスキップして、ステップS109に進む。
また、ステップS103において、現フレームについての差分絶対値和が、0または0に近い値であると判定された場合、即ち、現フレームの画像が、前フレームの画像からほとんど(または、まったく)変化しておらず、従って、現フレームの画像が静止画であるとみなせる場合、ステップS104に進み、システムコントローラ201は、カウンタ部199を制御することにより、そのカウント値を1だけインクリメントさせ、ステップS105に進む。
ステップS105では、システムコントローラ201が、カウンタ部199のカウント値を参照し、そのカウント値が、所定の閾値Thc(例えば、5など)より大きい(または以上)であるかどうかを判定する。
ステップS105において、カウンタ部199のカウント値が閾値Thcより大きくないと判定された場合、ステップS106乃至S108をスキップして、ステップS109に進む。
また、ステップS105において、カウンタ部199のカウント値が閾値Thcより大きいと判定された場合、即ち、MPEGビデオデコーダ125が出力した所定数のフレームの画像データが動きのないものである場合、ステップS106に進み、システムコントローラ201は、メモリ制御部197を制御することにより、フレームメモリ191乃至193に記憶された現フレームの画像データ(輝度信号Y、色信号R−Y,B−Y)を、フレームメモリ194乃至196にそれぞれ転送し、上書きする形で記憶させ、ステップS107に進む。
ステップS107では、システムコントローラ201は、カウンタ部199のカウント値を0にリセットし、ステップS108に進む。ステップS108では、システムコントローラ201が、出力制御部200を制御することにより、フレームメモリ194乃至196に記憶された1フレームの画像データの輝度信号Y、色信号R−Y,B−Yを読み出させ、CPU129に供給させる。さらに、ステップS108では、システムコントローラ201は、画像データを所定の子機2ijで表示することを指令する表示要求コマンドを、CPU129に供給して、ステップS109に進む。
ここで、CPU129は、システムコントローラ201から表示要求コマンドを受信すると、IEEE1394インタフェース133を制御することにより、出力制御部200から供給される1フレームの画像データ(の輝度信号Y、色信号R−Y,B−Y)を、その画像データの表示を指令する表示要求コマンドとともに、子機2ijに送信する。仮想多視点表示処理を行っている子機2ijは、親機1から表示要求コマンドと画像データを受信すると、後述するように、その画像データを表示する。
従って、例えば、上述の閾値Thcが5であるとすると、連続する6フレームの画像データがほとんど同一のものである場合には、その6フレーム目の画像データが、親機1から子機2ijに転送されて表示される。
ステップS109では、システムコントローラ201が、CPU129から、仮想多視点表示処理の終了を指令する終了コマンドを受信したかどうかを判定する。
ステップS109において、終了コマンドを受信していないと判定された場合、ステップS101に戻り、以下、同様の処理が繰り返される。
また、ステップS109において、終了コマンドを受信したと判定された場合、即ち、例えば、ユーザが、リモコン15(図7)を操作することにより、CRT11にメニュー画面を表示させ、さらに、そのメニュー画面における仮想多視点表示アイコンを再クリックし、これにより、CPU129に対して、仮想多視点表示処理の終了が指令され、CPU129が、終了コマンドを、システムコントローラ201に供給した場合、親機の仮想多視点表示処理を終了する。
次に、図34は、仮想多視点表示処理を行う子機2ijにおける信号処理部147(図11)の機能的構成例を示している。ここで、親機1のCPU129は、上述したように、仮想多視点表示アイコンがクリックされると、IEEE1394インタフェース133(図10)を制御することにより、子機の仮想多視点表示処理を行うことを指令する開始コマンドを、各子機2ijに送信する。子機2ijでは、CPU149(図11)が、IEEE1394インタフェース153を介して、開始コマンドを受信すると、信号処理部147のDSP147Aに、EEPROM147Bに記憶された所定のプログラムを実行させる。図34の機能的構成は、このように、DSP147Aが、EEPROM147Bに記憶されたプログラムを実行することで実現される。後述する信号処理部147の他の機能的構成も同様である。
フレームメモリ211,212,213は、CPU149から供給される1フレーム(またはフィールド)の画像データの輝度信号Y、色信号R−Y,B−Yそれぞれを一時記憶する。
即ち、図33で説明した親機の仮想多視点表示処理によれば、CPU129は、システムコントローラ201から表示要求コマンドを受信すると、IEEE1394インタフェース133を制御することにより、出力制御部200から供給される1フレームの画像データ(の輝度信号Y、色信号R−Y,B−Y)を、表示要求コマンドとともに、子機2ijに送信するが、子機2ijでは、この表示要求コマンドと1フレームの画像データが、IEEE1394インタフェース153(図11)を介して、CPU149で受信される。そして、CPU149は、表示要求コマンドを、後述するシステムコントローラ219に供給するとともに、1フレームの画像データの輝度信号Y、色信号R−Y,B−Yを、フレームメモリ211乃至213にそれぞれ供給するが、フレームメモリ211乃至213は、このようにして、CPU149から供給される1フレームの画像データの輝度信号Y、色信号R−Y,B−Yそれぞれを一時記憶する。
フレームメモリ214,215,216は、フレームメモリ211,212,213に記憶され、メモリ制御部217から転送されてくる1フレーム(またはフィールド)の画像データの輝度信号Y、色信号R−Y,B−Yを、それぞれ記憶する。
メモリ制御部217は、システムコントローラ219によって制御され、フレームメモリ211乃至213に記憶された1フレームの画像データ(の輝度信号Y、色信号R−Y,B−Y)を、フレームメモリ214乃至216にそれぞれ転送し、上書きする形で記憶させる。
セレクタ218は、システムコントローラ219の制御にしたがい、フレームメモリ214乃至216にそれぞれ記憶された1フレームの画像データの輝度信号Y、色信号R−Y,B−Y、または子機2ijのMPEGビデオデコーダ145(図11)が出力する画像データの輝度信号Y、色信号R−Y,B−Yを選択し、後段のマトリクス回路148(図11)に供給する。
従って、子機2ijのCRT31では、セレクタ218が、MPEGビデオデコーダ145(図11)が出力する画像データを選択している場合には、チューナ141(図11)で選局されているチャンネルの番組の画像データが表示され、セレクタ218がフレームメモリ214乃至216に記憶された画像データを選択している場合には、その画像データ、即ち、上述したようにして、親機1から送られてきた画像データが表示される。
システムコントローラ219は、CPU149の制御の下、メモリ制御部217およびセレクタ218を制御する。
なお、図34には、図32における場合と同様に、子機2ijにおけるMPEGオーディオデコーダ146(図11)が出力する音声データについて図示していないが、MPEGオーディオデコーダ146が出力する音声データは、例えば、そのまま、後段のアンプ157に供給されるようになっている。
次に、図35のフローチャートを参照して、図34の信号処理部147による子機の仮想多視点表示処理について説明する。
まず最初に、ステップS121において、システムコントローラ219は、セレクタ218を制御することにより、フレームメモリ214乃至216にそれぞれ記憶された1フレームの画像データの輝度信号Y、色信号R−Y,B−Yを選択させ、その表示を開始させる。即ち、これにより、セレクタ218は、フレームメモリ214乃至216にそれぞれ記憶された1フレームの画像データの輝度信号Y、色信号R−Y,B−Yを繰り返し読み出し、後段のマトリクス回路148(図11)に供給する。これにより、子機2ijのCRT32では、図33で説明したようにして親機1から転送されてくる画像データが表示される。
なお、セレクタ218は、子機2において仮想多視点表示処理が行われていない場合、MPEGビデオデコーダ145(図11)が出力する画像データを選択し、後段のマトリクス回路148に出力しており、従って、この場合、子機2のCRT31では、チューナ141で選局されているチャンネルの番組の画像データが表示される。
その後、ステップS122に進み、システムコントローラ219は、CPU149(図11)から、表示要求コマンドとともに、1フレームの画像データが供給されたかどうかを判定する。
ステップS122において、表示要求コマンドおよび画像データが供給されてきていないと判定された場合、ステップS123およびS124をスキップして、ステップS125に戻り、以下、同様の処理を繰り返す。
また、ステップS122において、表示要求コマンドおよび画像データが供給されたと判定された場合、即ち、図33で説明した親機の仮想多視点表示処理によって、親機1から子機2ijに対して、表示要求コマンドと画像データが送信されてきた場合、ステップS123に進み、フレームメモリ211乃至213は、その画像データの輝度信号Y、色信号R−Y,B−Yをそれぞれ記憶し、ステップS124に進む。
ステップS124では、システムコントローラ219は、メモリ制御部217を制御することにより、セレクタ218によるフレームメモリ214乃至216それぞれからの1フレーム分の画像データの読み出しが終了するのを待って、直前のステップS123でフレームメモリ211乃至213に記憶された画像データの輝度信号Y、色信号R−Y,B−Yを、フレームメモリ214乃至216にそれぞれ転送し、上書きする形で記憶させて、ステップS125に進む。
これにより、セレクタ218では、次のフレームの表示タイミングからは、フレームメモリ214乃至216に新たに記憶された画像データが読み出される。そして、その画像データは、後段のマトリクス回路148を介してCRT31に供給されて表示される。
ステップS125では、システムコントローラ219は、CPU149(図11)から、終了コマンドが供給されたかどうかを判定する。
即ち、親機1のCPU129(図10)は、図33で説明したように、仮想多視点表示処理の終了が指令されると、終了コマンドを、システムコントローラ201に供給するが、このとき、同時に、IEEE1394インタフェース133(図10)を制御することにより、終了コマンドを、子機2ijにも送信する。子機2ijでは、親機1からの終了コマンドが、IEEE1394インタフェース153を介して、CPU149で受信され、CPU149は、終了コマンドを受信すると、システムコントローラ219に転送する。ステップS125では、このようにして、CPU149からシステムコントローラ219に対して、終了コマンドが供給されたかどうかが判定される。
ステップS125において、CPU149から終了コマンドが供給されていないと判定された場合、ステップS122に戻り、以下、同様の処理が繰り返される。
また、ステップS125において、CPU149から終了コマンドが供給されたと判定された場合、ステップS126に進み、システムコントローラ219は、セレクタ218を制御することにより、その選択状態を、ステップS121で変更する前の元の状態に戻し、子機の仮想多視点表示処理を終了する。
図32乃至図35で説明した仮想多視点表示処理によれば、図36Aに示すように、親機1において、ある番組の画像データが表示されている場合において、動きの(ほとんど)ないフレームが連続すると、図36Bに示すように、その動きのないフレームの画像データが、スケーラブルTVシステムを構成するいずれかの子機としての、例えば、親機1から子機211に転送され、そのCRT31に表示される。
その後、再び、親機1で表示されている画像データに、動きのないフレームが連続すると、図36Cに示すように、その動きのないフレームの画像データが、親機1から子機211に転送され、そのCRT31において、それまで表示されていた画像データに代えて表示される。
ここで、図36Aでは、親機1において、プロ野球中継のテレビジョン放送番組の画像データが表示されている。また、図36Bでは、親機1において、プロ野球中継のテレビジョン放送番組の画像データの表示が続行され、子機211において、動きのないフレームの画像データとして、スコアボートの画像データが表示されている。さらに、図36Cでは、親機1において、プロ野球中継のテレビジョン放送番組の画像データの表示が続行され、子機211において、動きのないフレームの画像データとして、ベンチの状態が撮影された画像データが表示されている。
即ち、図36の実施の形態では、親機1では、プロ野球中継のテレビジョン放送番組の画像データが、通常のテレビジョン受像機と同様に表示されている(図36A乃至図36C)。そして、プロ野球中継のテレビジョン放送番組において、カメラが切り換えられ、スコアボードのアップのシーンとなり、そのシーンが数フレーム連続したため、親機1において、そのスコアボードの画像データが、子機211に転送され、子機211において、その画像データが表示された状態となっている(図36B)。さらに、その後、プロ野球中継のテレビジョン放送番組において、カメラが切り換えられ、ベンチの様子を撮影したシーンとなり、そのシーンが数フレーム連続したため、親機1において、そのスコアボードの画像データが、子機211に転送され、子機211において、その画像データが表示された状態となっている(図36C)。
このように、図32乃至図35で説明した仮想多視点表示処理によれば、親機1で表示された番組において、動きのないフレームが連続すると、そのフレームの画像データが子機2に転送されて表示される。従って、ユーザは、親機1で表示されている画像データと、その画像データとは別のシーンを視聴すること、即ち、いわば、別の視点から撮影された画像データを、同時に視聴することができる。
ここで、一般に、プロ野球中継では、回の初めに、スコアボードのアップのシーンを映すことがある。この場合、仮想多視点表示処理によれば、ユーザが、親機1で表示される、回の初めのスコアボードのアップのシーンを見逃してしまっても、そのシーンは、子機2に表示されるため、ユーザは、即座に、スコアを認識することができる。
なお、図36の実施の形態においては、常に、親機1から子機211に対して、画像データを転送して表示させるようにしたが、親機1から画像データを転送して表示させる子機2ijは変更することが可能である。
即ち、例えば、最初の動きのないフレームの画像データは、図37Aに示すように、親機1から子機211に転送して表示させ、次の動きのないフレームの画像データは、図37Bに示すように、親機1から子機212に転送して表示させ、以下、同様にして、画像データを転送して表示させる子機ijを順次変更するようにすることが可能である。この場合、図37Cに示すように、すべての子機2ijに画像データを転送して表示させた後は、次の動きのないフレームの画像データは、例えば、最初に画像データを転送して表示させた子機211に転送し、それまでに表示されていた画像データに代えて表示させるようにすることができる。
この場合、ユーザは、親機1で表示されている画像データと、その画像データとは別の、より多くのシーンを、同時に視聴することができる。
なお、図37の実施の形態では、スケーラブルTVシステムを構成するすべての子機2ijに、親機1から画像データを転送して表示させるようにしたが、親機1から画像データを転送して表示させる子機2ijは、スケーラブルTVシステムを構成する、幾つかの子機2ijに制限することが可能である。どの子機2ijに制限するかは、例えば、メニュー画面において設定することができる。
次に、図38は、仮想多視点表示処理を行う親機1における信号処理部127(図10)の第2の機能的構成例を示している。なお、図中、図32における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図38の信号処理部127は、カウンタ部199が設けられていない他は、基本的に、図32における場合と同様に構成されている。
次に、図39のフローチャートを参照して、図38の信号処理部127による親機の仮想多視点表示処理について説明する。
ステップS131またはS132では、図33のステップS101または102における場合とそれぞれ同様の処理が行われる。
そして、ステップS132において、差分検出部198が、現フレームについての差分絶対値和を、現フレームの画像データの特徴として検出し、システムコントローラ201に供給した後は、ステップS133に進み、システムコントローラ201は、現フレームについての差分絶対値和が、所定の閾値Th1より大(以上)であるかどうかを判定する。
ステップS133において、現フレームについての差分絶対値和が閾値Th1より大でないと判定された場合、ステップS134およびS135をスキップして、ステップS136に進む。
また、ステップS133において、現フレームについての差分絶対値和が閾値Th1より大であると判定された場合、即ち、現フレームの画像が、前フレームの画像から大きく変化しており、従って、現フレームにおいてシーンチェンジがあった場合、ステップS134に進み、システムコントローラ201は、図33のステップS106における場合と同様に、メモリ制御部197を制御することにより、フレームメモリ191乃至193に記憶された現フレームの画像データの輝度信号Y、色信号R−Y,B−Yを、フレームメモリ194乃至196にそれぞれ転送し、上書きする形で記憶させ、ステップS135に進む。
ステップS135では、システムコントローラ201が、出力制御部200を制御することにより、フレームメモリ194乃至196に記憶された1フレームの画像データの輝度信号Y、色信号R−Y,B−Yを読み出させ、CPU129に供給させる。さらに、ステップS135では、システムコントローラ201は、画像データを所定の子機2ijで表示することを指令する表示要求コマンドを、CPU129に供給して、ステップS136に進む。
ここで、CPU129は、システムコントローラ201から表示要求コマンドを受信すると、上述したように、IEEE1394インタフェース133を制御することにより、出力制御部200から供給される1フレームの画像データ(の輝度信号Y、色信号R−Y,B−Y)を、表示要求コマンドとともに、子機2ijに送信する。この場合、子機2ijの信号処理部147は、図34に示したように構成され、図35で説明した仮想多視点表示処理を行っており、従って、子機2ijでは、親機1から表示要求コマンドとともに転送されている画像データが、図36や図37で説明したように表示される。
そして、図39の実施の形態では、上述したことから、シーンチェンジ後の最初のフレームが、親機1から子機2ijに転送されるため、子機2ijでは、親機1で表示された番組の、いわばダイジェストが表示されることになる。
ステップS136では、システムコントローラ201が、CPU129から、仮想多視点表示処理の終了を指令する終了コマンドを受信したかどうかを判定する。
ステップS136において、終了コマンドを受信していないと判定された場合、ステップS131に戻り、以下、同様の処理が繰り返される。
また、ステップS131において、終了コマンドを受信したと判定された場合、即ち、例えば、ユーザが、リモコン15(図7)を操作することにより、CRT11にメニュー画面を表示させ、さらに、そのメニュー画面における仮想多視点表示アイコンを再クリックし、これにより、CPU129に対して、仮想多視点表示処理の終了が指令され、CPU129が、終了コマンドを、システムコントローラ201に供給した場合、親機の仮想多視点表示処理を終了する。
次に、図40は、仮想多視点表示処理を行う親機1における信号処理部127(図10)の第3の機能的構成例を示している。なお、図中、図32における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図40の信号処理部127は、フレームメモリ192乃至196、メモリ制御部197、および出力制御部200が設けられていない他は、基本的に、図32における場合と同様に構成されている。
次に、図41のフローチャートを参照して、図40の信号処理部127による親機の仮想多視点表示処理について説明する。
ステップS141乃至S145では、図33のステップS101乃至S105における場合とそれぞれ同様の処理が行われる。但し、ステップS141では、MPEGビデオデコーダ125(図10)が出力する画像データのうちの輝度信号Yだけが、フレームメモリ191に記憶される。
そして、ステップS145において、カウンタ部199のカウント値が閾値Thcより大きくないと判定された場合、ステップS146およびS147をスキップして、ステップS148に進む。
また、ステップS145において、カウンタ部199のカウント値が閾値Thcより大きいと判定された場合、即ち、MPEGビデオデコーダ125が出力した所定数のフレームの画像データが動きのないものである場合、ステップS146に進み、システムコントローラ201は、子機2ijにおいて、親機1のチューナ121で選局されているチャンネル(現チャンネル)を選局し、そのチャンネルで放送されている番組の画像データのフレームをフリーズして表示することを指令するフリーズコマンドを、CPU129に供給して、ステップS147に進む。
ここで、CPU129は、システムコントローラ201からフリーズコマンドを受信すると、IEEE1394インタフェース133を制御することにより、そのフリーズコマンドを、子機2ijに送信する。後述するように、仮想多視点表示処理を行っている子機2ijは、親機1からフリーズコマンドを受信すると、そのフリーズコマンドで指示されているチャンネルを受信し、そのチャンネルの番組の画像データを記憶して表示する。
従って、図32および図33の実施の形態では、親機1において表示されている画像データが、数フレーム連続して変化の(ほとんど)ないものである場合には、その変化のない画像データが、親機1から子機2ijに転送されて表示されるようになっていたが、図40および図41の実施の形態では、親機1から子機2ijには、画像データは転送されず、その画像データの番組が放送されているチャンネルを含むフリーズコマンドが送信される。そして、子機2ijでは、後述するように、そのフリーズコマンドに含まれるチャンネルが、チューナ141で選局され、そのチャンネルで放送されている番組の画像データが記憶されて表示される。
ステップS147では、システムコントローラ201は、カウンタ部199のカウント値を0にリセットし、ステップS148に進む。
ステップS148では、システムコントローラ201が、CPU129から、仮想多視点表示処理の終了を指令する終了コマンドを受信したかどうかを判定する。
ステップS148において、終了コマンドを受信していないと判定された場合、ステップS141に戻り、以下、同様の処理が繰り返される。
また、ステップS148において、終了コマンドを受信したと判定された場合、即ち、例えば、ユーザが、リモコン15(図7)を操作することにより、CRT11にメニュー画面を表示させ、さらに、そのメニュー画面における仮想多視点表示アイコンを再クリックし、これにより、CPU129に対して、仮想多視点表示処理の終了が指令され、CPU129が、終了コマンドを、システムコントローラ201に供給した場合、親機の仮想多視点表示処理を終了する。
次に、図42は、親機1の信号処理部127が図40に示したように構成される場合の、子機2ijの信号処理部147(図11)の機能的構成例を示している。なお、図中、図34における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図42の信号処理部147は、図34における場合と基本的に同様に構成されている。
但し、図42の実施の形態においては、フレームメモリ211乃至213には、CPU149(図11)が出力する画像データではなく、MPEGビデオデコーダ145(図11)が出力する画像データが供給されるようになっている。
次に、図43のフローチャートを参照して、図42の信号処理部147による子機の仮想多視点表示処理について説明する。
まず最初に、ステップS151において、システムコントローラ219は、セレクタ218を制御することにより、フレームメモリ214乃至216にそれぞれ記憶された画像データの輝度信号Y、色信号R−Y,B−Yを選択させ、その表示を開始させる。即ち、これにより、セレクタ218は、フレームメモリ214乃至216にそれぞれ記憶された1フレームの画像データの輝度信号Y、色信号R−Y,B−Yを繰り返し読み出し、後段のマトリクス回路148(図11)に供給する。これにより、子機2ijのCRT32では、フレームメモリ214乃至216に記憶された画像データが表示される。
ここで、図43の実施の形態では、仮想多視点表示処理が開始される前には、フレームメモリ214乃至216には、例えば、黒レベルの画像データが記憶されているものとする。この場合、ステップS151の処理が行われた直後は、子機2ijのCRT32には、黒レベルの画像データが表示される。
その後、ステップS152に進み、システムコントローラ219が、フリーズコマンドを受信したかどうかを判定し、受信していないと判定した場合、ステップS153およびS154をスキップして、ステップS155に進む。
また、ステップS152において、フリーズコマンドを受信したと判定された場合、即ち、親機1が、図41のステップS146で送信するフリーズコマンドが、IEEE1394インタフェース153(図11)を介して、CPU149で受信され、システムコントローラ219に供給された場合、ステップS153に進み、システムコントローラ219は、CPU149に対して、フリーズコマンドに含まれるチャンネルを、チューナ141で受信するように要求する。CPU149は、システムコントローラ219からの要求にしたがい、フリーズコマンドに含まれるチャンネルを受信するように、チューナ141を制御する。
これにより、チューナ141では、フリーズコマンドに含まれるチャンネルが受信され、QPSK復調回路142、エラー訂正回路143、およびデマルチプレクサ144を介し、さらに、MPEGビデオデコーダ145とMPEGオーディオデコーダ146をそれぞれ介して、信号処理部147に供給される。
そして、信号処理部147のフレームメモリ211乃至213では、上述のようにして供給される、フリーズコマンドに含まれるチャンネルの画像データの記憶が開始され、ステップS154に進む。
なお、フレームメモリ211乃至213は、その後、そこに供給される画像データのフレームを、順次、上書きする形で記憶していく。
ステップS154では、システムコントローラ219は、メモリ制御部217を制御することにより、フレームメモリ211乃至213に、最新のフレームの画像データが記憶されるのを待って、その画像データの輝度信号Y、色信号R−Y,B−Yを、フレームメモリ214乃至216にそれぞれ転送し、上書きする形で記憶させて、ステップS155に進む。
これにより、セレクタ218では、ステップS154で、フレームメモリ211乃至213に新たに記憶された画像データが読み出されることになり、従って、子機2ijのCRT31では、そのフレームメモリ214乃至216に新たに記憶された画像データ、即ち、親機1において動きの(ほとんど)ない画像データが数フレーム連続して表示された直後の、その親機1において受信されているチャンネルと同一チャンネルの画像データが表示されることになる。
ステップS155では、システムコントローラ219は、CPU149(図11)から、終了コマンドが供給されたかどうかを判定する。
即ち、上述したように、親機1のCPU129(図10)は、終了コマンドを、システムコントローラ201に供給するのと同時に、子機2ijにも送信するようになっており、子機2ijでは、親機1からの終了コマンドが、IEEE1394インタフェース153を介して、CPU149で受信される。CPU149は、終了コマンドを受信すると、その終了コマンドを、システムコントローラ219に転送する。ステップS155では、このようにして、CPU149からシステムコントローラ219に対して、終了コマンドが供給されたかどうかが判定される。
ステップS155において、CPU149から終了コマンドが供給されていないと判定された場合、ステップS152に戻り、以下、同様の処理が繰り返される。
また、ステップS155において、CPU149から終了コマンドが供給されたと判定された場合、ステップS156に進み、システムコントローラ219は、チューナ141を制御することにより、その選局状態を、仮想多視点表示処理が開始される直前の元の状態に戻し、ステップS157に進む。
ステップS157では、システムコントローラ219は、セレクタ218を制御することにより、その選択状態を、ステップS151で変更する前の元の状態に戻し、子機の仮想多視点表示処理を終了する。
図40乃至図43で説明した仮想多視点表示処理によっても、図32乃至図35で説明した仮想多視点表示処理における場合と同様に、親機1において表示されている番組の画像データとして、動きの(ほとんど)ないフレームが連続すると、その動きのないフレームの画像データが、図36や図37で説明したように、子機2で表示される。
次に、図44は、仮想多視点表示処理を行う親機1における信号処理部127(図10)の第4の機能的構成例を示している。なお、図中、図38における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図44の信号処理部127は、フレームメモリ192乃至196、メモリ制御部197、および出力制御部200が設けられていない他は、基本的に、図38における場合と同様に構成されている。
ここで、図38および図39の実施の形態では、親機1において表示されている画像データに、シーンチェンジが生じると、そのシーンチェンジ直後のフレームの画像データが、親機1から子機2ijに転送されて表示されるようになっていたが、図44の実施の形態では、親機1から子機2ijには、画像データは転送されず、図40および図41における場合と同様に、親機1で受信されているチャンネルを含むフリーズコマンドが送信される。そして、子機2ijでは、図42および図43で説明した場合と同様に、親機1からのフリーズコマンドに含まれるチャンネルが、チューナ141で選局され、そのチャンネルで放送されている番組の画像データが、即座に記憶されて表示される。
即ち、図45は、図44の信号処理部127による親機の仮想多視点表示処理を説明するフローチャートである。
ステップS161乃至S163では、図39のステップS131乃至S133における場合とそれぞれ同様の処理が行われる。
そして、ステップS163において、現フレームについての差分絶対値和が閾値Th1より大でないと判定された場合、ステップS164をスキップして、ステップS165に進む。
また、ステップS163において、現フレームについての差分絶対値和が閾値Th1より大であると判定された場合、即ち、現フレームの画像が、前フレームの画像から大きく変化しており、従って、現フレームにおいてシーンチェンジがあった場合、ステップS164に進み、システムコントローラ201は、図41のステップS146における場合と同様にフリーズコマンドを、CPU129に供給して、ステップS165に進む。
ここで、CPU129は、システムコントローラ201からフリーズコマンドを受信すると、IEEE1394インタフェース133を制御することにより、そのフリーズコマンドを、子機2ijに送信する。
この場合、子機2ijの信号処理部147は、図42に示したように構成され、図43で説明した仮想多視点表示処理を行っており、従って、親機1からのフリーズコマンドを受信した子機2ijでは、親機1で受信されているチャンネルの受信が、即座に開始され、さらに、そのチャンネルの番組の画像データが、即座に記憶されて表示される。即ち、この場合も、図38および図39の実施の形態で説明した場合と同様に、子機2ijでは、親機1で表示された番組の、いわばダイジェストが表示されることになる。
ステップS165では、システムコントローラ201が、CPU129から、仮想多視点表示処理の終了を指令する終了コマンドを受信したかどうかを判定する。
ステップS165において、終了コマンドを受信していないと判定された場合、ステップS161に戻り、以下、同様の処理が繰り返される。
また、ステップS165において、終了コマンドを受信したと判定された場合、即ち、例えば、ユーザが、リモコン15(図7)を操作することにより、CRT11にメニュー画面を表示させ、さらに、そのメニュー画面における仮想多視点表示アイコンを再クリックし、これにより、CPU129に対して、仮想多視点表示処理の終了が指令され、CPU129が、終了コマンドを、システムコントローラ201に供給した場合、親機の仮想多視点表示処理を終了する。
次に、図40乃至図45の実施の形態では、親機1から子機2ijへのフリーズコマンドの送信を、IEEE1394通信によって行うようにしたが、このフリーズコマンドの送信は、その他、例えば、図46に示すように、リモコン15(または35)を介した赤外線通信によって行うことも可能である。
即ち、図46の実施の形態では、親機1のCPU129において、IRインタフェース135に対して、子機2ijへのフリーズコマンドの転送が指令される。IRインタフェース135は、CPU129からの指令に対応して、フリーズコマンドを、子機2ijに転送することを指令する転送コマンドに対応する赤外線を出射する。この赤外線は、リモコン15で受信され、リモコン15は、受信した赤外線に対応する転送コマンドに応じて、子機2ijに、フリーズコマンドに対応する赤外線を出射する。この赤外線は、子機2ijのIRインタフェース155で受信され、IRインタフェース155は、その赤外線に対応するフリーズコマンドを、CPU149に供給する。
ここで、親機1のIRインタフェース135と、リモコン15は、図23で説明したフォーマットのフレームデータを赤外線で送信するが、いま、IRインタフェース135が送信するフレームデータをF1とし、リモコン15が送信するフレームデータをF2で表すこととすると、フレームデータF1には、IRインタフェース135およびリモコン15に設定されたデバイスコードが配置されており、これにより、IRインタフェース135が送信するフレームデータF1は、リモコン15で受信される。
また、いまの場合、IRインタフェース135からリモコン15に送信されるフレームデータF1は、子機2ijへのフリーズコマンドの転送を要求するものである。従って、フレームデータF1には、子機2ijへの転送を指令する転送コマンドの他、その転送対象のコマンドであるフリーズコマンド、さらには、転送先の子機2ijのデバイスコードが含まれている必要がある。
そこで、フレームデータF1のコマンドコードには、転送コマンドのコマンドコードが、いわゆるオペコードとして含まれ、さらに、フリーズコマンドのコマンドコード、および転送コマンドによってフリーズコマンドを転送する転送先のデバイスコード(ここでは、子機2ijのIRインタフェース155のデバイスコード)が、いわゆるオペランドとして含まれている。
なお、この場合、フレームデータF1を送信する親機1は、転送コマンドによってフリーズコマンドを転送する転送先である子機2ijのデバイスコードを認識している必要があるが、子機2ijは、例えば、IEEE1394ケーブルによって親機1と接続された後に行われる、上述の認証処理(図31)の直後や、デバイスコードが変更された場合に、そのデバイスコードを、IEEE1394通信によって、親機1に通知するようになっており、これにより、親機1は、スケーラブルTVシステムを構成するすべての子機2ijのデバイスコードを認識するようになっている。
上述のようなフレームデータF1を受信したリモコン15では、図26で説明したリモコン処理のステップS4において、そのフレームデータF1に配置されたコマンドコードに対応する処理を行うことにより、フレームデータF1に配置されたフリーズコマンドのコードと、転送先のデバイスコードとを配置したフレームデータF2を生成し、子機2ijに送信する。
即ち、この場合、図22のリモコン15では、フレームデータF1に配置された転送コマンドに対応して、図47のフローチャートにしたがったコマンド転送処理が、図26のステップS4におけるコマンドコードに対応する処理として行われる。
コマンド転送処理では、まず最初に、ステップS171において、受信処理部167からフレームデータF1を受信した制御部162が、フレーム生成部163を制御することにより、フレームデータF1のコマンドコードの中の転送先のデバイスコードを、フレームデータF2のデバイスコードに配置させ、ステップS172に進む。
ステップS172では、制御部162が、フレーム生成部163を制御することにより、フレームデータF1のコマンドコードの中のフリーズコマンドのコードを、フレームデータF2のコマンドコードに配置させ、ステップS173に進む。
ステップS173では、フレーム生成部163が、上述したように、転送先のデバイスコードと、フリーズコマンドのコマンドコードとを配置したフレームデータF2を、送信処理部164に供給し、これにより、フレームデータF2が、赤外線で出射され、処理を終了する。
この場合、フレームデータF2には、転送先のデバイスコード、即ち、子機2ijのデバイスコードが配置されており、従って、子機2ijでは、IRインタフェース155において、そのフレームデータF2が受信され、そのコマンドコードに対応するコマンド、即ち、フリーズコマンドが、CPU149に供給される。
なお、赤外線通信によって、親機1から子機2ijに転送するコマンドは、フリーズコマンドに限定されるものではなく、その他のコマンドを転送することも可能である。
次に、図48は、仮想多視点表示処理を行う親機1における信号処理部127(図10)の第5の機能的構成例を示している。なお、図中、図32における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図48の信号処理部127は、差分検出部198およびカウンタ部199が設けられておらず、リングバッファ221、音声比較部222、および音声パターン記憶部223が新たに設けられている他は、基本的に、図32における場合と同様に構成されている。
リングバッファ221には、MPEGオーディオデコーダ126(図10)が出力する音声データが供給されるようになっており、リングバッファ221は、その音声データを順次記憶していく。
ここで、MPEGオーディオデコーダ126が出力する音声データは、リングバッファ221に供給される他、そのまま、後段のアンプ137に供給されるようにもなっている。
音声比較部222は、リングバッファ221に記憶された音声データを入力パターンとして、その入力パターンと、音声パターン記憶部223に記憶された標準パターンとしての音声データとのマッチング(比較)を行い、そのマッチング結果を、システムコントローラ201に供給する。
音声パターン記憶部223は、標準パターンとしての音声データを記憶している。
ここで、音声パターン記憶部223には、MPEGオーディオデコーダ126(図10)が出力し、リングバッファ221に記憶された音声データが供給されるようになっており、音声パターン記憶部223は、システムコントローラ201の制御にしたがい、リングバッファ221に記憶された音声データを、新たな標準パターンとして記憶することができるようになっている。即ち、音声パターン記憶部223の音声の標準パターンは、更新することができるようになっている。
次に、図49のフローチャートを参照して、図48の信号処理部127による親機の仮想多視点表示処理について説明する。
フレームメモリ191乃至193は、MPEGビデオデコーダ125(図10)から供給される画像データの輝度信号Y、色信号R−Y,B−Yを、順次、上書きする形で記憶している。
また、リングバッファ221は、MPEGオーディオデコーダ126(図10)から供給される音声データを、やはり、順次上書きする形で記憶している。
そして、仮想多視点表示処理では、まず最初に、ステップS181において、システムコントローラ201が、CPU129から、音声パターン登録要求があったかどうかを判定する。
即ち、上述したように、音声パターン記憶部223には、リングバッファ221に記憶された音声データを、新たな標準パターンとして記憶させること、つまり、新たな標準パターンを登録することができるようになっており、その登録の要求は、例えば、リモコン15(図7)のメニューボタンスイッチ84を操作することによって表示されるメニュー画面における、音声パターン登録要求用のアイコンをクリックすることで行うことができるようになっている。
ステップS181では、その音声パターン登録要求用のアイコンがクリックされたかどうかが判定される。
ステップS181において、音声パターン登録要求がなかったと判定された場合、ステップS182をスキップして、ステップS183に進む。
また、ステップS181において、音声パターン登録要求があったと判定された場合、即ち、ユーザが、音声パターン登録要求用のアイコンをクリックし、これにより、新たな標準パターンの登録を要求する音声パターン登録要求が、CPU129からシステムコントローラ201に供給された場合、ステップS182に進み、システムコントローラ201は、例えば、リングバッファ221に記憶された最新の音声データのサンプルから、所定期間だけ過去に遡ったサンプルまでの音声データを、新たな標準パターンとして、音声パターン記憶部223に記憶させる。
従って、ユーザは、スピーカユニット12Lおよび12Rから出力される番組の音声を視聴している最中に、標準パターンとしたい音声データが出力された場合には、リモコン15を操作することにより、その音声データを、標準パターンとして登録することができる。
ここで、音声パターン記憶部223には、1パターンの標準パターンを記憶させる、即ち、新たな標準パターンを、音声パターン記憶部223に既に記憶されている標準パターンに上書きする形で記憶させることもできるし、複数パターンの標準パターンを記憶させる、即ち、新たな標準パターンを、音声パターン記憶部223に既に記憶されている標準パターンに追加する形で記憶させることも可能である。
ステップS182において、音声パターン記憶部223に、新たな標準パターンが記憶された後は、ステップS183に進み、音声比較部222は、リングバッファ221に記憶された、例えば、すべての音声データを、入力パターンとして読み出し、ステップS184に進む。
ステップS184では、音声比較部222は、音声パターン記憶部223に記憶された標準パターンを読み出し、入力パターンとのマッチング(比較)を行う。即ち、音声比較部222は、入力パターンと標準パターンとの間の所定の尺度による距離(以下、適宜、音声パターン間距離という)を、その時間軸伸縮を行いながら求め、最小の音声パターン間距離を、入力パターンの特徴(入力パターンの、標準パターンに対する特徴)として求め、システムコントローラ201に供給する。
そして、ステップS185に進み、システムコントローラ201は、入力パターンの特徴としての音声パターン間距離が所定の閾値以下(未満)であるかどうかを判定する。
ステップS185において、音声パターン間距離が所定の閾値以下でないと判定された場合、ステップS186およびS187をスキップして、ステップS188に進む。
また、ステップS185において、音声パターン間距離が所定の閾値以下であると判定された場合、即ち、入力パターンと標準パターンとが一致(合致)しているとみなすことができる場合、ステップS186,S187に順次進み、図33のステップS106,S108における場合とそれぞれ同様の処理が行われ、ステップS188に進む。
即ち、これにより、親機1では、標準パターンと同一または類似の音声データがMPEGオーディオデコーダ126から出力されたときにMPEGビデオデコーダ125が出力した画像データのフレームが、子機2ijに送信される。
この場合、子機2ijの信号処理部147は、図34に示したように構成され、図35の仮想多視点表示処理を行っており、従って、子機2ijでは、上述したようにして親機1から送信されている画像データのフレームが表示される。
ステップS188では、システムコントローラ201が、CPU129から、仮想多視点表示処理の終了を指令する終了コマンドを受信したかどうかを判定する。
ステップS188において、終了コマンドを受信していないと判定された場合、ステップS181に戻り、以下、同様の処理が繰り返される。
また、ステップS188において、終了コマンドを受信したと判定された場合、即ち、例えば、ユーザが、リモコン15(図7)を操作することにより、CRT11にメニュー画面を表示させ、さらに、そのメニュー画面における仮想多視点表示アイコンを再クリックし、これにより、CPU129に対して、仮想多視点表示処理の終了が指令され、CPU129が、終了コマンドを、システムコントローラ201に供給した場合、親機の仮想多視点表示処理を終了する。
図49の仮想多視点表示処理によれば、標準パターンと同一または類似の音声データがMPEGオーディオデコーダ126から出力されたときにMPEGビデオデコーダ125が出力した画像データのフレームが、子機2ijで表示される。従って、標準パターンとして、例えば、臨時ニュースのテロップが放送されるときに出力される音声データを記憶させておくことにより、子機2ijでは、その音声データが出力されるときに放送される画像データ、即ち、臨時ニュースのテロップが含まれる画像データが表示されることになる。
なお、音声パターン記憶部233において、複数の標準パターンが記憶されている場合には、図49のステップS184では、その複数の標準パターンそれぞれと、入力パターンとのマッチングが行われる。そして、例えば、その複数の標準パターンのうちの少なくとも1つが、入力パターンと一致しているとみなせる場合には、ステップS186およびS187の処理が行われる。
また、上述の場合には、音声パターン間距離を、入力パターンとしての音声データの特徴として求めるようにしたが、その他、例えば、入力パターンとしての音声データのパワー(あるいは振幅レベル)を、その特徴として求めることも可能である。この場合、入力パターンとしての音声データのパワーを、所定の閾値と比較し、音声データのパワーが所定の閾値より大または小(以上または以下)になった直後にMPEGビデオデコーダ125が出力する画像データのフレームを、子機2ijに表示させるようにすることが可能である。
さらに、子機2ijで表示する画像データは、親機1から子機2ijに転送する他、上述したように、親機1から子機2ijにフリーズコマンドを送信することによって、子機2ijに受信させるようにすることが可能である。
次に、図50は、仮想多視点表示処理を行う親機1における信号処理部127(図10)の第6の機能的構成例を示している。なお、図中、図32における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図50の信号処理部127は、差分検出部198およびカウンタ部199が設けられておらず、画像比較部232、および画像パターン記憶部233が新たに設けられている他は、基本的に、図32における場合と同様に構成されている。
画像比較部232は、フレームメモリ191に記憶された画像データを入力パターンとして、その入力パターンと、画像パターン記憶部233に記憶された標準パターンとしての画像データとのマッチング(比較)を行い、そのマッチング結果を、システムコントローラ201に供給する。
画像パターン記憶部233は、標準パターンとしての画像データを記憶している。
ここで、画像パターン記憶部233には、MPEGビデオデコーダ125(図10)が出力し、フレームメモリ191に記憶された画像データ(の輝度信号Y)が供給されるようになっており、画像パターン記憶部233は、システムコントローラ201の制御にしたがい、フレームメモリ191に記憶された画像データを、新たな標準パターンとして記憶することができるようになっている。即ち、画像パターン記憶部233に記憶された画像の標準パターンは、更新することができるようになっている。
次に、図51のフローチャートを参照して、図50の信号処理部127による親機の仮想多視点表示処理について説明する。
フレームメモリ191乃至193は、MPEGビデオデコーダ125(図10)から供給される画像データの輝度信号Y、色信号R−Y,B−Yを、順次、上書きする形で記憶している。
そして、仮想多視点表示処理では、まず最初に、ステップS191において、システムコントローラ201が、CPU129から、画像パターン登録要求があったかどうかを判定する。
即ち、上述したように、画像パターン記憶部233には、フレームメモリ191に記憶された画像データを、新たな標準パターンとして記憶させること、つまり、新たな標準パターンを登録することができるようになっており、その登録の要求は、例えば、リモコン15(図7)のメニューボタンスイッチ84を操作することによって表示されるメニュー画面における、画像パターン登録要求用のアイコンをクリックすることで行うことができるようになっている。
ステップS191では、その画像パターン登録要求用のアイコンがクリックされたかどうかが判定される。
ステップS191において、画像パターン登録要求がなかったと判定された場合、ステップS192をスキップして、ステップS193に進む。
また、ステップS191において、画像パターン登録要求があったと判定された場合、即ち、ユーザが、画像パターン登録要求用のアイコンをクリックし、これにより、新たな標準パターンの登録を要求する画像パターン登録要求が、CPU129からシステムコントローラ201に供給された場合、ステップS192に進み、システムコントローラ201は、フレームメモリ191に記憶された最新のフレームの画像データを、新たな標準パターンとして、画像パターン記憶部233に記憶させる。
従って、ユーザは、CRT11に表示される番組の画像を視聴している最中に、標準パターンとしたい画像が表示された場合には、リモコン15を操作することにより、その画像データを、標準パターンとして登録することができる。
ここで、画像パターン記憶部233には、図8の音声パターン記憶部223における場合と同様に、1パターンの標準パターンを記憶させることもできるし、複数パターンの標準パターンを記憶させることも可能である。
ステップS192において、画像パターン記憶部233に、新たな標準パターンが記憶された後は、ステップS193に進み、画像比較部232は、フレームメモリ191に記憶された最新のフレームの画像データを、入力パターンとして読み出し、ステップS194に進む。
ステップS194では、画像比較部232は、画像パターン記憶部233に記憶された標準パターンを読み出し、入力パターンとのマッチングを行う。即ち、画像比較部232は、入力パターンと標準パターンとの間の所定の尺度による距離(以下、適宜、画像パターン間距離という)を、入力パターンの特徴(入力パターンの、標準パターンに対する特徴)として求め、システムコントローラ201に供給する。
ここで、画像パターン間距離としては、例えば、入力パターンとしての画像データの各画素の画素値と、標準パターンとしての画像データの対応する画素の画素値との差分絶対値和などを採用することが可能である。
また、ここでは、入力パターンおよび標準パターンを、いずれも、1フレームの画像データとしたが、入力パターンおよび標準パターンとしては、1フレームの画像データの一部の範囲を採用することが可能である。
さらに、入力パターンとしては、1フレームの画像データを採用するとともに、標準パターンとしては、1フレームの画像データの一部の範囲を採用することが可能である。この場合、入力パターンとしての1フレームの画像データに対して、標準パターンとしての一部の範囲の画像データを対応させる位置を変化させながら、画像パターン間距離を求め、そのうちの最小値を、最終的な画像パターン間距離として採用することが可能である。
ステップS194で画像パターン間距離を求めた後は、ステップS195に進み、システムコントローラ201は、入力パターンの特徴としての画像パターン間距離が所定の閾値以下(未満)であるかどうかを判定する。
ステップS195において、画像パターン間距離が所定の閾値以下でないと判定された場合、ステップS196およびS197をスキップして、ステップS198に進む。
また、ステップS195において、画像パターン間距離が所定の閾値以下であると判定された場合、即ち、入力パターンと標準パターンとが一致しているとみなすことができる場合、ステップS196,S197に順次進み、図33のステップS106,S108における場合とそれぞれ同様の処理が行われ、ステップS198に進む。
即ち、これにより、親機1では、標準パターンと同一または類似の画像データがMPEGビデオデコーダ125から出力されたときに、その画像データのフレームが、子機2ijに送信される。
この場合、子機2ijの信号処理部147は、図34に示したように構成され、図35の仮想多視点表示処理を行っており、従って、子機2ijでは、上述したようにして親機1から送信されている画像データのフレームが表示される。
ステップS198では、システムコントローラ201が、CPU129から、仮想多視点表示処理の終了を指令する終了コマンドを受信したかどうかを判定する。
ステップS198において、終了コマンドを受信していないと判定された場合、ステップS191に戻り、以下、同様の処理が繰り返される。
また、ステップS198において、終了コマンドを受信したと判定された場合、即ち、例えば、ユーザが、リモコン15(図7)を操作することにより、CRT11にメニュー画面を表示させ、さらに、そのメニュー画面における仮想多視点表示アイコンを再クリックし、これにより、CPU129に対して、仮想多視点表示処理の終了が指令され、CPU129が、終了コマンドを、システムコントローラ201に供給した場合、親機の仮想多視点表示処理を終了する。
図51の仮想多視点表示処理によれば、標準パターンと同一または類似の画像データがMPEGビデオデコーダ125が出力されたときの、その画像データのフレームが、子機2ijで表示される。
従って、標準パターンとして、例えば、プロ野球中継においてスコアボードのアップが表示されたときの画像データを記憶させておくことにより、子機2ijでは、その後に放送される、標準パターンとしての画像データと同一または類似のパターンの画像データ、つまり、スコアボードがアップになっている画像データが表示されることになる。
即ち、標準パターンとして、プロ野球中継においてスコアボードのアップが表示されたときの画像データが記憶されている場合に、親機1において、図52Aに示すように、プロ野球中継の番組が受信されているときには、その後に、ある回のスコアボードのアップの画像データが放送されると、例えば、図52Bに示すように、子機211において、そのスコアボードのアップの画像データが表示される。さらに、その後に、再び、次の回のスコアボードのアップの画像データが放送されると、例えば、図52Cに示すように、子機212において、そのスコアボードのアップの画像データが表示される。
プロ野球中継において、各回が始まるときなどに、スコアボートのアップの画像が放送される場合には、スケーラブルTVシステムを構成する子機2ijでは、上述したようにして、各回の始まりに放送されるスコアボードのアップの画像が、順次表示されていく。
従って、この場合、ユーザは、子機2ijの表示を見ることで、各回におけるスコアの遷移を認識することができる。
また、例えば、選挙速報の番組においては、当選者の顔をアップにして、各党の当選者の人数を表したテロップを重畳した画像データが表示されることがあるが、このような画像データを、標準パターンとして、画像パターン記憶部233に記憶させた場合には、親機1において、選挙速報の番組が受信されると、スケーラブルTVシステムを構成する子機2ijでは、図53に示すように、その選挙速報で放送される、当選者の顔をアップにした画像データが、順次表示されていく。
従って、この場合、ユーザは、子機2ijの表示を見ることで、選挙の当選者を認識することができる。
さらに、例えば、放送局では、1日の放送の中で、天気予報が頻繁に放送されるが、天気予報の番組で用いられる日本地図(あるいは、関東地方などのある地方の地図)の画像データを、標準パターンとして、画像パターン記憶部233に記憶させた場合には、親機1において、天気予報の番組が受信されると、スケーラブルTVシステムを構成する子機2ijでは、図54に示すように、その天気予報で放送される天気図が、順次表示されていく。
従って、この場合、ユーザは、子機2ijの表示を見ることで、同一チャンネルで異なる時刻に放送された天気予報や、異なるチャンネルで放送された天気予報を、容易に認識することができる。
なお、子機2ijで表示する画像データは、親機1から子機2ijに転送する他、上述したように、親機1から子機2ijにフリーズコマンドを送信することによって、子機2ijに受信させるようにすることが可能である。
次に、図55は、仮想多視点表示処理を行う親機1における信号処理部127(図10)の第7の機能的構成例を示している。なお、図中、図32、図48、または図50における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図55の信号処理部127は、図32の差分検出部198およびカウンタ部199が設けられておらず、図48のリングバッファ221、音声比較部222、および音声パターン記憶部223、並びに図50の画像比較部232および画像パターン記憶部233が新たに設けられている他は、基本的に、図32における場合と同様に構成されている。
次に、図56のフローチャートを参照して、図55の信号処理部127による親機の仮想多視点表示処理について説明する。
フレームメモリ191乃至193は、MPEGビデオデコーダ125(図10)から供給される画像データの輝度信号Y、色信号R−Y,B−Yを、順次、上書きする形で記憶している。
また、リングバッファ221は、MPEGオーディオデコーダ126(図10)から供給される音声データを、やはり、順次上書きする形で記憶している。
そして、仮想多視点表示処理では、まず最初に、ステップS201において、システムコントローラ201が、図49のステップS181における場合と同様に、CPU129から、音声パターン登録要求があったかどうかを判定し、ないと判定した場合、ステップS202をスキップして、ステップS203に進む。
また、ステップS201において、音声パターン登録要求があったと判定された場合、ステップS202に進み、システムコントローラ201は、図49のステップS182における場合と同様にして、リングバッファ221に記憶された所定期間の音声データを、新たな標準パターンとして、音声パターン記憶部223に記憶させ、ステップS203に進む。
ステップS203では、システムコントローラ201は、図51のステップS191における場合と同様に、CPU129から、画像パターン登録要求があったかどうかを判定し、ないと判定した場合、ステップS204をスキップして、ステップS205に進む。
また、ステップS203において、画像パターン登録要求があったと判定された場合、ステップS204に進み、システムコントローラ201は、図51のステップS192における場合と同様に、フレームメモリ191に記憶された最新のフレームの画像データを、新たな標準パターンとして、画像パターン記憶部233に記憶させ、ステップS205に進む。
ステップS205では、音声比較部222は、図49のステップS183における場合と同様に、リングバッファ221に記憶された音声データを、音声の入力パターンとして読み出す。さらに、ステップS205では、画像比較部232は、図51のステップS193における場合と同様に、フレームメモリ191に記憶された画像データを、画像の入力パターンとして読み出し、ステップS206に進む。
ステップS206では、音声比較部222は、図49のステップS184における場合と同様に、音声の入力パターンと、音声パターン記憶部223に記憶された音声の標準パターンとのマッチングを行い、これにより、音声パターン間距離を、音声の入力パターンとしての音声データの特徴として求め、システムコントローラ201に供給する。さらに、ステップS206では、画像比較部232は、図51のステップS194における場合と同様に、画像の入力パターンと、画像パターン記憶部233に記憶された画像の標準パターンとのマッチングを行い、これにより、画像パターン間距離を、画像の入力パターンとしての画像データの特徴として求め、システムコントローラ201に供給する。
そして、ステップS207に進み、システムコントローラ201は、図49のステップS185、または図51のステップS195における場合とそれぞれ同様に、音声の入力パターンの特徴としての音声パターン間距離が所定の閾値以下(未満)であるかどうか、または画像の入力パターンの特徴としての画像パターン間距離が所定の閾値以下(未満)であるかどうかを判定する。
ステップS207において、音声パターン間距離が所定の閾値以下でないと判定され、かつ画像パターン間距離も所定の閾値以下でないと判定された場合、ステップS208およびS209をスキップして、ステップS210に進む。
また、ステップS207において、音声パターン間距離が所定の閾値以下であると判定されるか、または画像パターン間距離が所定の閾値以下であると判定された場合、即ち、音声の入力パターンと音声の標準パターンとが一致しているとみなすことができるか、または画像の入力パターンと画像の標準パターンとが一致しているとみなすことができる場合、ステップS208,S209に順次進み、図33のステップS106,S108における場合とそれぞれ同様の処理が行われ、ステップS210に進む。
即ち、これにより、親機1では、音声の標準パターンと同一もしくは類似の音声データがMPEGオーディオデコーダ126から出力されたときにMPEGビデオデコーダ125が出力した画像データのフレーム、または画像の標準パターンと同一もしくは類似の画像データがMPEGビデオデコーダ125から出力されたときの、その画像データのフレームが、子機2ijに送信される。
ステップS210では、システムコントローラ201が、CPU129から、仮想多視点表示処理の終了を指令する終了コマンドを受信したかどうかを判定する。
ステップS210において、終了コマンドを受信していないと判定された場合、ステップS201に戻り、以下、同様の処理が繰り返される。
また、ステップS210において、終了コマンドを受信したと判定された場合、即ち、例えば、ユーザが、リモコン15(図7)を操作することにより、CRT11にメニュー画面を表示させ、さらに、そのメニュー画面における仮想多視点表示アイコンを再クリックし、これにより、CPU129に対して、仮想多視点表示処理の終了が指令され、CPU129が、終了コマンドを、システムコントローラ201に供給した場合、親機の仮想多視点表示処理を終了する。
親機1の信号処理部127が図55に示したように構成される場合には、子機2ijの信号処理部147は、図34に示したように構成され、図35の仮想多視点表示処理を行っており、従って、子機2ijでは、上述したようにして親機1から送信されている画像データのフレームが表示される。即ち、子機2ijでは、音声の標準パターンと同一または類似の音声データがMPEGオーディオデコーダ126から出力されたときにMPEGビデオデコーダ125が出力した画像データのフレームや、画像の標準パターンと同一または類似の画像データがMPEGビデオデコーダ125から出力されたときの、その画像データのフレームが表示される。
なお、上述の場合には、音声パターン間距離が所定の閾値以下であるか、または画像パターン間距離が所定の閾値以下である場合に、ステップS208およびS209の処理を行うようにしたが、ステップS208およびS209の処理は、その他、例えば、音声パターン間距離が所定の閾値以下であり、かつ画像パターン間距離が所定の閾値以下である場合、即ち、音声の入力パターンと音声の標準パターンとが一致しているとみなすことができ、かつ画像の入力パターンと画像の標準パターンとが一致しているとみなすことができる場合にのみ行うようにすることが可能である。
この場合、子機2ijでは、音声の標準パターンと同一または類似の音声データがMPEGオーディオデコーダ126から出力された場合にMPEGビデオデコーダ125が出力した画像データが、画像の標準パターンと同一または類似であるときに、その画像データのフレームが表示されることになる。
次に、図57は、仮想多視点表示処理を行う親機1における信号処理部127(図10)の第8の機能的構成例を示している。なお、図中、図38における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。即ち、図57の信号処理部127は、図38の信号処理部127と基本的に同様に構成されている。
次に、図58のフローチャートを参照して、図57の信号処理部127による親機の仮想多視点表示処理について説明する。
まず最初に、ステップS221において、システムコントローラ201は、スケーラブルTVシステムを構成する子機2の中から、デフォルトの静止画用子機とシーンチェンジ用子機を設定する。
ここで、静止画用子機とは、親機1で表示された画像データのうちの、動きの(ほとんど)ない、静止画とみなせる画像データを表示する子機を意味し、シーンチェンジ用子機とは、親機1で表示された画像データのうちの、シーンチェンジ直後の画像データを表示する子機を意味する。
システムコントローラ201は、ステップS221において、例えば、親機1の左隣の子機221を、デフォルトの静止画用子機に設定するとともに、親機1の右隣の子機223を、デフォルトのシーンチェンジ用子機に設定する。
その後、ステップS222に進み、システムコントローラ201は、CPU129から、静止画用子機の指定があったかどうかを判定する。
即ち、静止画用子機としては、デフォルトの静止画用子機として設定される子機221以外の子機2ijを指定することができるようになっており、その指定は、例えば、リモコン15(図7)のメニューボタンスイッチ84を操作することによって表示されるメニュー画面における、静止画用子機の指定用アイコンをクリックすることで行うことができるようになっている。
ステップS222では、その静止画用子機の指定用アイコンがクリックされたかどうかが判定される。
ステップS222において、静止画用子機の指定がないと判定された場合、ステップS223をスキップして、ステップS224に進む。
また、ステップS222において、静止画用子機の指定があったと判定された場合、即ち、ユーザが、リモコン15を操作することにより、静止画用子機の指定用アイコンをクリックし、さらに、静止画用子機とする子機2ijを指定し、これにより、CPU129が、その子機2ijを静止画用子機として指定することを指令するコマンドを、システムコントローラ201に出力した場合、ステップS223に進み、システムコントローラ201は、その指定された子機2ijを、静止画用子機に設定し(静止画用子機として認識し)、ステップS224に進む。
ステップS224では、システムコントローラ201は、CPU129から、シーンチェンジ用子機の指定があったかどうかを判定する。
即ち、シーンチェンジ用子機としては、デフォルトのシーンチェンジ用子機として設定される子機223以外の子機2ijを指定することができるようになっており、その指定は、例えば、リモコン15(図7)のメニューボタンスイッチ84を操作することによって表示されるメニュー画面における、シーンチェンジ用子機の指定用アイコンをクリックすることで行うことができるようになっている。
ステップS224では、そのシーンチェンジ用子機の指定用アイコンがクリックされたかどうかが判定される。
ステップS224において、シーンチェンジ用子機の指定がないと判定された場合、ステップS225をスキップして、ステップS226に進む。
また、ステップS224において、シーンチェンジ用子機の指定があったと判定された場合、即ち、ユーザが、リモコン15を操作することにより、シーンチェンジ用子機の指定用アイコンをクリックし、さらに、シーンチェンジ用子機とする子機2ijを指定し、これにより、CPU129が、その子機2ijをシーンチェンジ用子機として指定することを指令するコマンドを、システムコントローラ201に出力した場合、ステップS225に進み、システムコントローラ201は、その指定された子機2ijを、シーンチェンジ用子機に設定し、ステップS226に進む。
ステップS226では、フレームメモリ191乃至193が、MPEGビデオデコーダ125(図10)から、1フレームの画像データとしての輝度信号Y、色信号R−Y,B−Yが供給されるのを待って、その輝度信号Y、色信号R−Y,B−Yをそれぞれ記憶し、ステップS227に進む。
ステップS227では、差分検出部198が、直前のステップS101でフレームメモリ191に記憶された画像データの輝度信号Y(現フレームの画像データの輝度信号Y)と、前回のステップS101でフレームメモリ191に記憶された画像データの輝度信号Y(前フレームの画像データの輝度信号Y)との差分絶対値和、即ち、現フレームについての差分絶対値和を、現フレームの画像データの特徴として検出し(求め)、コントローラ201に供給する。
そして、ステップS228に進み、コントローラ201は、現フレームについての差分絶対値和が、ほとんど0に等しいかどうか、即ち、小さな正の値の閾値Th2未満(または以下)であるかどうかを判定する。
ステップS228において、現フレームについての差分絶対値和が閾値Th2未満であると判定された場合、即ち、現フレームの画像が、前フレームの画像からほとんど(または、まったく)変化しておらず、従って、現フレームの画像が静止画であるとみなせる場合、ステップS229に進み、システムコントローラ201は、メモリ制御部197を制御することにより、フレームメモリ191乃至193に記憶された現フレームの画像データ(の輝度信号Y、色信号R−Y,B−Y)を、フレームメモリ194乃至196にそれぞれ転送し、上書きする形で記憶させ、ステップS230に進む。
ステップS230では、システムコントローラ201が、出力制御部200を制御することにより、フレームメモリ194乃至196に記憶された1フレームの画像データの輝度信号Y、色信号R−Y,B−Yを読み出させ、CPU129に供給させる。さらに、ステップS108では、システムコントローラ201は、画像データを、静止画用子機で表示することを指令する表示要求コマンドを、CPU129に供給して、ステップS234に進む。
ここで、CPU129は、システムコントローラ201から、静止画用子機での表示を指令する表示要求コマンドを受信すると、IEEE1394インタフェース133を制御することにより、出力制御部200から供給される1フレームの画像データ(の輝度信号Y、色信号R−Y,B−Y)を、その画像データの表示を指令する表示要求コマンドとともに、静止画用子機に送信する。静止画用子機となっている子機2ijの信号処理部147は、図34に示したように構成され、図35の仮想多視点表示処理を行っており、従って、静止画用子機では、親機1で表示された画像データのうちの、前フレームから殆ど変化のない現フレームの画像データが転送されて表示される。
一方、ステップS228において、現フレームについての差分絶対値和が閾値Th2未満でないと判定された場合、ステップS231に進み、システムコントローラ201は、現フレームについての差分絶対値和が、閾値Th2よりも十分に大きい所定の閾値Th1より大(または以上)であるかどうかを判定する。
ステップS231において、現フレームについての差分絶対値和が閾値Th1より大でないと判定された場合、ステップS232およびS233をスキップして、ステップS234に進む。
また、ステップS231において、現フレームについての差分絶対値和が閾値Th1より大であると判定された場合、即ち、現フレームの画像が、前フレームの画像から大きく変化しており、従って、現フレームにおいてシーンチェンジがあった場合、ステップS232に進み、システムコントローラ201は、ステップS229における場合と同様に、メモリ制御部197を制御することにより、フレームメモリ191乃至193に記憶された現フレームの画像データの輝度信号Y、色信号R−Y,B−Yを、フレームメモリ194乃至196にそれぞれ転送し、上書きする形で記憶させ、ステップS233に進む。
ステップS233では、システムコントローラ201が、出力制御部200を制御することにより、フレームメモリ194乃至196に記憶された1フレームの画像データの輝度信号Y、色信号R−Y,B−Yを読み出させ、CPU129に供給させる。さらに、ステップS233では、システムコントローラ201は、画像データを、シーンチェンジ用子機で表示することを指令する表示要求コマンドを、CPU129に供給して、ステップS234に進む。
ここで、CPU129は、システムコントローラ201から、シーンチェンジ用子機での表示を指令する表示要求コマンドを受信すると、IEEE1394インタフェース133を制御することにより、出力制御部200から供給される1フレームの画像データ(の輝度信号Y、色信号R−Y,B−Y)を、表示要求コマンドとともに、シーンチェンジ用子機に送信する。シーンチェンジ用子機となっている子機2ijの信号処理部147は、図34に示したように構成され、図35の仮想多視点表示処理を行っており、従って、シーンチェンジ用子機では、親機1で表示された画像データのうちの、シーンチェンジ直後の画像データが転送されて表示される。
ステップS234では、システムコントローラ201が、CPU129から、仮想多視点表示処理の終了を指令する終了コマンドを受信したかどうかを判定する。
ステップS234において、終了コマンドを受信していないと判定された場合、ステップS221に戻り、以下、同様の処理が繰り返される。
また、ステップS234において、終了コマンドを受信したと判定された場合、即ち、例えば、ユーザが、リモコン15(図7)を操作することにより、CRT11にメニュー画面を表示させ、さらに、そのメニュー画面における仮想多視点表示アイコンを再クリックし、これにより、CPU129に対して、仮想多視点表示処理の終了が指令され、CPU129が、終了コマンドを、システムコントローラ201に供給した場合、親機の仮想多視点表示処理を終了する。
以上のように、図57および図58の実施の形態によれば、静止画用子機では、親機1で受信されている番組の、動きのない画像データが表示され、シーンチェンジ用子機では、親機1で受信されている番組の、シーンチェンジ後の画像データが表示される。
なお、ここでは、静止画用子機とする子機は1台とするようにしたが、静止画用子機とする子機は複数台とし、その複数台の静止画用子機において、図37で説明したように、親機1からの画像データを、順次表示させるようにすることが可能である。シーンチェンジ用子機についても同様である。
次に、図59は、仮想多視点表示処理を行う親機1における信号処理部127(図10)の第9の機能的構成例を示している。
フレームメモリ241には、MPEGビデオデコーダ125(図10)が出力する画像データが供給されるようになっており、フレームメモリ241は、その画像データを、一時記憶する。即ち、フレームメモリ241は、例えば、少なくとも2フレーム分の画像データを記憶することのできる記憶容量を有しており、時間的に古い方のフレームの画像データに、最新のフレームの画像データを上書きする形で、画像データを順次記憶していく。
ここで、本実施の形態では、上述したように、MPEGビデオデコーダ125は、画像データとして、輝度信号Y、並びに色信号R−YおよびB−Yを出力するようになっているが、図59では、輝度信号Y、並びに色信号R−YおよびB−Yをまとめて、画像データとしてある。
なお、MPEGビデオデコーダ125が出力する画像データは、フレームメモリ241に供給される他、そのまま、後段のマトリクス回路128(図10)にも供給される。
また、図59の実施の形態では、MPEGオーディオデコーダ126が出力する音声データは、信号処理部127をスルーして、そのまま後段のアンプ137に供給されるようになっているが、その音声データについての図示は省略してある。
N個のフレームメモリ2421乃至242Nは、メモリ制御部243から転送されてくる、フレームメモリ241に記憶された画像データを一時記憶する。
メモリ制御部243は、システムコントローラ247によって制御され、フレームメモリ241に記憶された現フレームの画像データ(の輝度信号Y、色信号R−Y,B−Y)を、N個のフレームメモリ2421乃至242Nのうちのいずれかに転送し、上書きする形で記憶させる。
静止画検出部244は、フレームメモリ241に記憶される画像データから、静止画(とみなせるもの)を検出し、その画像データを、フレームメモリ241から読み出して、比較部245に供給する。
即ち、静止画検出部244は、フレームメモリ241に記憶された最新のフレーム(現フレーム)の画像データと、前フレームの画像データとの、例えば、差分絶対値和を求め、その差分絶対値和が0または0に近い値である場合、現フレームの画像データが静止画(動きの(ほとんど)ないもの)であるとして、フレームメモリ241から読み出し、比較部245に供給する。
なお、静止画検出部244では、その他、例えば、差分絶対値和が0または0に近い値となる現フレームが、数フレーム連続した場合に、その最後のフレームの画像データを、静止画として検出するようにすることも可能である。
比較部245は、静止画検出部244から供給される静止画の画像データと、フレームメモリ2421乃至242Nそれぞれに記憶された画像データとを比較し(2つの画像データのマッチングを行い)、その比較結果を、システムコントローラ247に供給する。
即ち、比較部245は、静止画検出部244から供給される静止画の画像データと、フレームメモリ2421乃至242Nそれぞれに記憶された画像データとの、例えば、差分絶対値和を求め、システムコントローラ247に供給する。
出力制御部246は、システムコントローラ247の制御にしたがい、フレームメモリ242nに記憶された1フレームの画像データを読み出し、CPU129に供給する。
システムコントローラ247は、CPU129からの制御や、比較部245の出力に基づいて、メモリ制御部243および出力制御部246を制御する。
次に、図60のフローチャートを参照して、図59の信号処理部127による親機の仮想多視点表示処理について説明する。
まず最初に、ステップS241において、システムコントローラ247は、静止画用子機の最大台数Nに、スケーラブルTVシステムを構成する子機2の総数をセットする。従って、本実施の形態では、ステップS241において、静止画用子機の最大台数Nに、8がセットされる。
そして、ステップS242に進み、システムコントローラ247は、フレームメモリ2421乃至242Nそれぞれに画像データが記憶されているかどうかを表す記憶フラグflg(1)乃至flg(N)に、画像データが記憶されていないことを表す、例えば0をセットして、ステップS243に進む。
ここで、記憶フラグflg(1)乃至flg(N)は、システムコントローラ247が内蔵する図示せぬメモリに記憶されている。
ステップS243では、システムコントローラ247は、CPU129から、静止画用子機の指定があったかどうかを判定する。
即ち、図60の実施の形態においては、デフォルトで、スケーラブルTVシステムを構成するすべての子機2が、静止画用子機として設定されるようになっているが、この静止画用子機とする子機2は、ユーザが指定することができるようになっている。この指定は、例えば、上述したように、リモコン15(図7)のメニューボタンスイッチ84を操作することによって表示されるメニュー画面における、静止画用子機の指定用アイコンをクリックすることで行うことができるようになっており、ステップS243では、その静止画用子機の指定用アイコンがクリックされたかどうかが判定される。
ステップS243において、静止画用子機の指定があったと判定された場合、即ち、ユーザが、リモコン15を操作することにより、静止画用子機の指定用アイコンをクリックし、さらに、静止画用子機とする1以上の子機2を指定し、これにより、CPU129が、その1以上の子機2を静止画用子機として指定することを指令するコマンドを、システムコントローラ247に出力した場合、ステップS244に進み、システムコントローラ247は、その指定された1以上の子機2を、静止画用子機に設定し(静止画用子機として認識し)、ステップS245に進む。
ステップS245では、システムコントローラ247は、CPU129から静止画用子機とすることを指定された子機2の台数を、静止画用子機の最大台数Nにセットし直し、ステップS248に進む。
一方、ステップS243において、静止画用子機の指定がないと判定された場合、ステップS246に進み、システムコントローラ247は、CPU129から、フレームメモリ242nに記憶された画像データをクリアするクリア要求があったかどうかを判定する。
即ち、後述するように、フレームメモリ242nには、親機1で過去に受信された静止画の画像データが記憶され、その後に、フレームメモリ242nに記憶された静止画の画像データと類似する静止画の画像データが親機1で新たに受信された場合、その新たに受信された静止画の画像データによって、フレームメモリ242nの記憶内容が更新されるようになっている。従って、フレームメモリ242nに、ある静止画の画像データが記憶されると、その後は、その記憶された静止画の画像データと類似する静止画の画像データだけしか、フレームメモリ242nに記憶されなくなる。
そこで、図60の実施の形態では、ユーザが、リモコン15を操作することにより、フレームメモリ242nの記憶内容をクリアすることができるようになっており、ステップS246では、ユーザが、リモコン15を、フレームメモリ242nのクリアをするように操作し、これにより、CPU129からシステムコントローラ247に対して、フレームメモリ242nに記憶された画像データをクリアするクリア要求が供給されてきたかどうかが判定される。
ここで、フレームメモリ242nをクリアする要求は、例えば、メニュー画面において行うことができるようになっている。
ステップS246において、フレームメモリ242nのクリア要求がなかったと判定された場合、ステップS247をスキップして、ステップS248に進む。
また、ステップS246において、フレームメモリ242nのクリア要求があったと判定された場合、即ち、システムコントローラ247において、CPU129からの、フレームメモリ242nのクリアを指令するコマンドが受信された場合、ステップS247に進み、システムコントローラ247は、記憶フラグflg(n)に0をセットし、ステップS248に進む。
ステップS248では、フレームメモリ241が、MPEGビデオデコーダ125(図10)から新たな画像データのフレームが供給されるのを待って、その画像データを記憶し、ステップS249に進む。
ステップS249では、静止画検出部244が、直前のステップS244でフレームメモリ241に記憶された現フレームの画像データが静止画であるかどうかを判定し、静止画でないと判定した場合、ステップS250乃至S259をスキップして、ステップS260に進む。
また、ステップS249において、現フレームの画像データが静止画であると判定された場合、静止画検出部244は、その静止画である現フレームの画像データを、フレームメモリ241から読み出し、比較部245に供給して、ステップS250に進む。ステップS250では、システムコントローラ247は、フレームメモリ2421乃至242Nのうち、処理の対象とするフレームメモリ242nを表す変数nを0に初期化し、ステップS251に進む。ステップS251では、システムコントローラ247は、変数nを1だけインクリメントして、ステップS252に進み、さらに、システムコントローラ247は、記憶フラグflg(n)が0であるかどうかを判定する。
ステップS252において、記憶フラグflg(n)が0であると判定された場合、即ち、フレームメモリ242nに、まだ画像データが記憶されていない場合、ステップS253に進み、システムコントローラ247は、フレームメモリ242nに静止画の画像データが記憶されていることを表す、例えば1を、記憶フラグflg(n)にセットし、ステップS254に進む。
ステップS254では、システムコントローラ247は、メモリ制御部243を制御することにより、フレームメモリ241に記憶された現フレームの画像データ(の輝度信号Y、色信号R−Y,B−Y)を、フレームメモリ242nにそれぞれ転送し、上書きする形で記憶させ、ステップS258に進む。
ステップS258では、システムコントローラ247は、出力制御部246を制御することにより、フレームメモリ242nに記憶された1フレームの画像データを読み出させ、CPU129に供給させる。さらに、ステップS258では、システムコントローラ247は、フレームメモリ242nに記憶された画像データを静止画用子機で表示することを指令する表示要求コマンドを、CPU129に供給して、ステップS259に進む。
ここで、CPU129は、システムコントローラ247から、フレームメモリ242nに記憶された画像データの表示を要求する表示要求コマンドを受信すると、IEEE1394インタフェース133を制御することにより、出力制御部246から供給される1フレームの画像データ(の輝度信号Y、色信号R−Y,B−Y)を、その画像データの表示を指令する表示要求コマンドとともに、静止画用子機とされている子機2のうちの、フレームメモリ242nに対応付けられている子機2ijに送信する。
即ち、フレームメモリ2421乃至242Nの数Nは、静止画用子機とされている子機2の台数(最大台数)Nに一致しており、システムコントローラ247は、ステップS241またはS244の処理の直後に、各フレームメモリ242nに、静止画用子機とされている子機2の1つを割り当て、これにより、1つのフレームメモリ242に対して、静止画用子機とされている子機2のうちの1つを対応付ける。
そして、CPU129は、システムコントローラ247から、フレームメモリ242nに記憶された画像データの表示を要求する表示要求コマンドを受信すると、その表示要求コマンドを、フレームメモリ242nに対応付けられている子機2に送信する。
静止画用子機となっている子機2の信号処理部147は、図34に示したように構成され、図35の仮想多視点表示処理を行っており、従って、表示要求コマンドとともに、フレームメモリ242nに記憶された画像データを受信した子機2では、そのフレームメモリ242nに記憶された画像データが表示される。
一方、ステップS252において、記憶フラグflg(n)が0でないと判定された場合、即ち、フレームメモリ242nに、画像データが記憶されている場合、ステップS255に進み、比較部245は、静止画検出部244から供給された静止画の現フレームの画像データと、フレームメモリ242nに記憶された画像データとの比較することにより、その差分絶対値和(現フレームについての差分絶対値和)を、現フレームの画像データの特徴として求め、システムコントローラ247に供給する。
システムコントローラ247は、現フレームについての差分絶対値和を、比較部245から受信すると、ステップS256において、その差分絶対値和が、ほとんど0に等しいかどうか、即ち、小さな正の値の閾値以下(または未満)であるかどうかを判定する。
ステップS256において、現フレームについての差分絶対値和が、0または0に近い値でないと判定された場合、ステップS257およびS258をスキップして、ステップS259に進む。
また、ステップS256において、現フレームについての差分絶対値和が、0または0に近い値であると判定された場合、即ち、現フレームの画像データが、フレームメモリ242nに記憶された画像データと同じようなパターンのものであり、従って、現フレームの画像データが、親機1で受信され、フレームメモリ242nに記憶された画像データと同じようなものである場合、ステップS257に進み、システムコントローラ247は、メモリ制御部246を制御することにより、フレームメモリ241に記憶された静止画の現フレームの画像データを、フレームメモリ242nに転送し、上書きする形で記憶させ、これにより、フレームメモリ242nの記憶内容を更新する。
そして、ステップS258に進み、上述したように、システムコントローラ247は、出力制御部246を制御することにより、フレームメモリ242nに記憶された1フレームの画像データを読み出させ、CPU129に供給させる。さらに、ステップS258では、システムコントローラ247は、フレームメモリ242nに記憶された画像データを、フレームメモリ242nに記憶された画像データを静止画用子機で表示することを指令する表示要求コマンドを、CPU129に供給して、ステップS259に進む。
これにより、上述したように、フレームメモリ242nに新たに記憶された現フレームの画像データは、親機1から、フレームメモリ242n対応付けられている子機2に転送されて表示される。
ステップS259では、システムコントローラ247が、変数nが、静止画用子機の最大台数Nに等しいかどうかを判定し、等しくないと判定した場合、ステップS251に戻り、以下、同様の処理が繰り返される。
また、ステップS259において、変数nが、静止画用子機の最大台数Nに等しいと判定された場合、即ち、比較部245において、フレームメモリ241に記憶された静止画の現フレームの画像データと、フレームメモリ2421乃至242Nそれぞれに記憶された画像データすべてとの比較が終了した場合、ステップS260に進み、システムコントローラ247が、CPU129から、仮想多視点表示処理の終了を指令する終了コマンドを受信したかどうかを判定する。
ステップS260において、終了コマンドを受信していないと判定された場合、ステップS243に戻り、以下、同様の処理が繰り返される。
また、ステップS260において、終了コマンドを受信したと判定された場合、即ち、例えば、ユーザが、リモコン15(図7)を操作することにより、CRT11にメニュー画面を表示させ、さらに、そのメニュー画面における仮想多視点表示アイコンを再クリックし、これにより、CPU129に対して、仮想多視点表示処理の終了が指令され、CPU129が、終了コマンドを、システムコントローラ247に供給した場合、親機の仮想多視点表示処理を終了する。
図58の仮想多視点表示処理によれば、例えば、図61Aに示すように、親機1によって、プロ野球中継の番組の視聴が開始された後に、例えば、スコアボードをアップにした静止画の画像データが、親機1で表示された場合には、そのスコアボードの画像データが、フレームメモリ2421に記憶されるとともに、そのフレームメモリ2421に対応付けられている静止画用子機に転送されて表示される。
即ち、いま、フレームメモリ2421に対応付けられている静止画用子機が、例えば、子機211であるとすると、子機211には、図61Bに示すように、フレームメモリ2421に記憶されたスコアボードの画像データのフレームが表示される。
さらに、その後、例えば、野球選手が、アップで、インタビューを受けている静止画の画像データが、親機1で表示された場合には、その野球選手がアップになっている静止画の画像データが、フレームメモリ2422に記憶されるとともに、そのフレームメモリ2422に対応付けられている静止画用子機に転送されて表示される。
即ち、いま、フレームメモリ2422に対応付けられている静止画用子機が、例えば、子機212であるとすると、子機212には、図61Bに示すように、フレームメモリ2422に記憶された野球選手の画像データのフレームが表示される。
そして、その後、例えば、スコアボードをアップにした静止画の画像データが、再度、親機1で表示された場合には、そのスコアボードの画像データによって、フレームメモリ2421の記憶内容が更新されるとともに、そのフレームメモリ2421の更新後の画像データが、フレームメモリ2421に対応付けられている静止画用子機である子機211に転送されて表示される。即ち、この場合、子機211に表示されたスコアボードの画像データが、最新のものに更新されることになる。
従って、ユーザは、親機1で表示された様々な静止画の画像データの最新のものを視聴することができる。
次に、図62は、親機1の他の電気的構成例を示している。なお、図中、図10における場合と対応する部分については、同一の符号を付してあり、以下では、その説明は、適宜省略する。
即ち、図10の親機1は、ディジタル放送を受信するテレビジョン受像機であるのに対して、図62の親機1は、アナログ放送を受信するテレビジョン受像機となっている。
チューナ251は、アナログのテレビジョン放送信号の所定のチャンネルを検波、復調する。A/D変換部252は、チューナ251の出力をA/D変換し、そのA/D変換結果のうちの画像データを、Y/C分離部253に供給し、音声データを、信号処理部127に供給する。
Y/C分離部253は、チューナ251の出力から、輝度信号Yと色信号R−YおよびB−Yとを分離し、信号処理部127に供給する。
以上のように構成される、アナログ放送を受信するテレビジョン受像機であっても、スケーラブルTVシステムを構成する親機1とすることが可能である。
なお、子機2としてのテレビジョン受像機も、図62に示した親機1としてのテレビジョン受像機における場合と同様に、アナログ放送を受信するテレビジョン受像機として構成することが可能である。
次に、上述した一連の処理は、ハードウェアにより行うこともできるし、ソフトウェアにより行うこともできる。一連の処理をソフトウェアによって行う場合には、そのソフトウェアを構成するプログラムが、汎用のコンピュータ等にインストールされる。
そこで、図63は、上述した一連の処理を実行するプログラムがインストールされるコンピュータの一実施の形態の構成例を示している。
プログラムは、コンピュータに内蔵されている記録媒体としてのハードディスク305やROM303に予め記録しておくことができる。
あるいはまた、プログラムは、フレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto Optical)ディスク,DVD(Digital Versatile Disc)、磁気ディスク、半導体メモリなどのリムーバブル記録媒体311に、一時的あるいは永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体311は、いわゆるパッケージソフトウエアとして提供することができる。
なお、プログラムは、上述したようなリムーバブル記録媒体311からコンピュータにインストールする他、ダウンロードサイトから、ディジタル衛星放送用の人工衛星を介して、コンピュータに無線で転送したり、LAN(Local Area Network)、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを、通信部308で受信し、内蔵するハードディスク305にインストールすることができる。
コンピュータは、CPU(Central Processing Unit)302を内蔵している。CPU302には、バス301を介して、入出力インタフェース310が接続されており、CPU302は、入出力インタフェース310を介して、ユーザによって、キーボードや、マウス、マイク等で構成される入力部307が操作等されることにより指令が入力されると、それにしたがって、ROM(Read Only Memory)303に格納されているプログラムを実行する。あるいは、また、CPU302は、ハードディスク305に格納されているプログラム、衛星若しくはネットワークから転送され、通信部308で受信されてハードディスク305にインストールされたプログラム、またはドライブ309に装着されたリムーバブル記録媒体311から読み出されてハードディスク305にインストールされたプログラムを、RAM(Random Access Memory)304にロードして実行する。これにより、CPU302は、上述したフローチャートにしたがった処理、あるいは上述したブロック図の構成により行われる処理を行う。そして、CPU302は、その処理結果を、必要に応じて、例えば、入出力インタフェース310を介して、LCD(Liquid CryStal Display)やスピーカ等で構成される出力部306から出力、あるいは、通信部308から送信、さらには、ハードディスク305に記録等させる。
ここで、本明細書において、コンピュータに各種の処理を行わせるためのプログラムを記述する処理ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいは個別に実行される処理(例えば、並列処理あるいはオブジェクトによる処理)も含むものである。
また、プログラムは、1のコンピュータにより処理されるものであっても良いし、複数のコンピュータによって分散処理されるものであっても良い。さらに、プログラムは、遠方のコンピュータに転送されて実行されるものであっても良い。
なお、スケーラブルTVシステムを構成するテレビジョン受像機は、例えば、そのテレビジョン受像機が親機または子機であるのか、さらには、子機である場合には、何台目の子機であるのかによって、販売価格に差を設けるようにすることができる。
即ち、スケーラブルTVシステムでは、上述したように、親機が存在しなければ、仮想多視点表示の機能が提供されないため、親機の価値は高く、従って、販売価格を高く設定するようにすることができる。
また、ユーザは、親機の購入後は、子機を随時追加購入していくこととなると予想されるが、最初の数台の子機については、例えば、親機よりも低価格ではなるが、一般のテレビジョン受像機よりは高価格の販売価格を設定するようにすることができる。そして、その後に購入される子機については、さらに低価格の販売価格を設定するようにすることができる。
なお、スケーラブルTVシステムを構成する親機となるテレビジョン受像機は、例えば、一般的なディジタルのテレビジョン受像機に、信号処理部127を追加するとともに、CPU129に実行させるプログラムを変更することで構成することが可能である。従って、スケーラブルTVシステムを構成する親機となるテレビジョン受像機は、一般的なディジタルのテレビジョン受像機を利用して、比較的容易に製造することができるので、スケーラブルTVシステムが提供する上述したような仮想多視点表示という高機能を考慮すれば、そのコストメリット(コストパフォーマンス)は高いと言うことができる。この点については、子機としてのテレビジョン受像機についても同様である。
また、本発明は、チューナを内蔵する表示装置であるテレビジョン受像機の他、チューナを内蔵せずに、外部からの画像および音声を出力する表示装置にも適用可能である。
さらに、本実施の形態では、子機2においては、フレームメモリ214乃至216(図34)に、親機1から送信されてきた画像データ(あるいは、親機1からのフリーズコマンドにより、自身のチューナ141(図11)で受信した画像データ)を、上書きする形で記憶させるようにしたが、子機2には、例えば、ハードディスク等を内蔵させ、親機1から送信されてきた画像データを、そのハードディスクに記録しておき、後で、ユーザからの指示に応じて再生するようにすることが可能である。
また、本実施の形態では、親機1から子機2に対して、1フレームの画像データを転送し、子機2で表示するようにしたが、親機1から子機2に対しては、複数フレームの画像データを転送し、子機2では、その複数フレームの画像データでなるシーンを、繰り返し表示するようにすることが可能である。親機1からのフリーズコマンドにより、子機2のチューナ141(図11)で受信した画像データを、子機2で表示する場合においても、同様に、複数フレームの画像データでなる1シーンを、繰り返し表示するようにすることが可能である。ここで、1シーンとは、1フレームまたは1フィールドの画像データであっても良いし、シーンチェンジ直後のフレームから次にシーンチェンジのフレーム等の複数フレームの画像データであっても良い。
さらに、本実施の形態では、親機1において受信されるテレビジョン放送番組を対象に仮想多視点表示処理を行うようにしたが、仮想多視点表示処理は、その他、例えば、外部の装置であるVTR等から親機1に入力されて表示される画像データおよび音声データを対象に行うことも可能である。