JP2005309638A - サーバ装置、表示装置、表示システム、表示方法及びそのプログラム - Google Patents
サーバ装置、表示装置、表示システム、表示方法及びそのプログラム Download PDFInfo
- Publication number
- JP2005309638A JP2005309638A JP2004123711A JP2004123711A JP2005309638A JP 2005309638 A JP2005309638 A JP 2005309638A JP 2004123711 A JP2004123711 A JP 2004123711A JP 2004123711 A JP2004123711 A JP 2004123711A JP 2005309638 A JP2005309638 A JP 2005309638A
- Authority
- JP
- Japan
- Prior art keywords
- information
- display device
- user
- virtual space
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】
仮想空間内をユーザの所望の視点から所望の視野で自在に閲覧することが可能なサーバ装置、表示装置、表示システム、表示方法及びそのプログラムを提供すること。
【解決手段】
ユーザの視点から表示装置までの距離情報、ユーザの視点から表示装置に対する方向情報及び表示装置の姿勢情報を取得し、それらの情報から算出された視角情報を基に上記ユーザの視点から上記表示装置を通して見た仮想空間画像を作成し、上記表示装置へ送信して表示させることとした。これにより、ユーザは、所望の方向に当該表示装置をかざすことで当該表示装置に表示された上記仮想空間画像を閲覧することができるとともに、当該表示装置を自在に動かすことで、表示装置の大きさに関わらず、当該仮想空間を所望の視野で、あたかも上記仮想空間に向けた窓を覗くかのように閲覧することができる。
【選択図】 図8
仮想空間内をユーザの所望の視点から所望の視野で自在に閲覧することが可能なサーバ装置、表示装置、表示システム、表示方法及びそのプログラムを提供すること。
【解決手段】
ユーザの視点から表示装置までの距離情報、ユーザの視点から表示装置に対する方向情報及び表示装置の姿勢情報を取得し、それらの情報から算出された視角情報を基に上記ユーザの視点から上記表示装置を通して見た仮想空間画像を作成し、上記表示装置へ送信して表示させることとした。これにより、ユーザは、所望の方向に当該表示装置をかざすことで当該表示装置に表示された上記仮想空間画像を閲覧することができるとともに、当該表示装置を自在に動かすことで、表示装置の大きさに関わらず、当該仮想空間を所望の視野で、あたかも上記仮想空間に向けた窓を覗くかのように閲覧することができる。
【選択図】 図8
Description
本発明は、仮想空間画像を表示することが可能なサーバ装置、表示装置、表示システム、表示方法及びそのプログラムに関する。
従来から、コンピュータにより生成される仮想的な空間の画像を、ユーザの視線に応じて表示する技術としては、予め全方位の仮想空間画像を用意しておき、ユーザが座っている椅子の横方向及び縦方向の回転角度及び速度を検出し、当該検出結果から上記仮想空間におけるユーザの視点及び視野を算出して、それに応じた画像を上記予め用意しておいた仮想空間画像のデータから抜き出して表示装置に表示するというものがある。(例えば、特許文献1参照)。
特開2000−19953号公報(請求項1、図1)
しかしながら、上述の技術においては、視線の変動のみ検出しているため、視線が同一方向の画像は常に一定となる。すなわち、仮想空間内の同一方向においては、特定部分を拡大して見たり、より広範囲の画像を見たりすることはできないため、当該仮想空間内の詳細な情報を欲するユーザにとって、利便性を損ねることとなっていた。
以上のような事情に鑑み、本発明の目的は、仮想空間内をユーザの所望の視点から所望の視野で自在に閲覧することが可能なサーバ装置、表示装置、表示システム、表示方法及びそのプログラムを提供することにある。
上述の課題を解決するため、本発明のサーバ装置は、仮想空間の所定の範囲の画像情報を記憶する記憶手段と、ユーザの視点から当該ユーザが所持しながら自在に移動させることが可能な表示装置までの距離情報と、前記ユーザの視点から前記表示装置に対する方向情報と、前記表示装置の姿勢情報とを取得する取得手段と、前記取得された距離情報、方向情報及び姿勢情報を基に、前記ユーザの視点から前記表示装置に対する視角情報を算出する算出手段と、前記算出された視角情報及び前記記憶された画像情報を基に、前記ユーザの視点から前記表示装置を通して見た仮想空間画像を生成する生成手段と、前記生成された仮想空間画像を前記表示装置に表示させるために、当該表示装置へ送信する送信手段とを具備することを特徴としている。
ここで上記仮想空間とは、例えばマンションのモデルルームの展示会や室内インテリアの販売において、ユーザが希望の間取りにしたり、希望のインテリアを設置したりした場合の室内の様子を仮想的に表現した空間や、ゲームにおいてキャラクターが存在する空間等、コンピュータで作成されたあらゆる空間をいう。また上記所定の範囲とは、例えば上記仮想空間の全方位(360°)や、270°、180°等の範囲をいう。
上記表示装置とは、例えばユーザが手に持って表示面を閲覧することが可能な大きさの板状のものである。
この構成によれば、上記距離情報等から算出された視角情報を基に上記ユーザの視点から上記表示装置を通して見た仮想空間画像を作成し、上記表示装置へ送信して表示させているため、ユーザは、例えば所望の方向に当該表示装置をかざすことで当該表示装置に表示された上記仮想空間画像を閲覧することができるとともに、当該表示装置を自在に動かすことで、表示装置の大きさに関わらず、当該仮想空間を所望の視野で閲覧することができる。換言すれば、上記サーバ装置は、上記表示装置を、ユーザがあたかも上記仮想空間に向けた窓のように機能させることができ、ユーザは当該窓から上記仮想空間を覗くような間隔で閲覧することができる。
上記サーバ装置において、前記生成手段は、前記仮想空間画像を前記表示装置の大きさに合わせて拡大縮小する手段と、前記仮想空間画像の縦横比率を前記表示装置の姿勢に合わせて変更する手段を有していてもよい。
これにより、ユーザが上記表示装置を視点に近づけ、または遠ざけたりした場合や、当該表示装置を回転させたりして姿勢を変更させたような場合にも、当該表示装置の大きさ及び姿勢に応じて、自然な感じで上記仮想空間画像を表示させることができる。すなわち、例えばユーザが表示装置を視点に近づけた場合には、ユーザからは、上記仮想空間内の見える範囲が広がるとともに、当該表示装置自体は近づける以前よりも大きく見えることになるため、そのような場合には、当該表示装置自体の見え方を考慮して、上記仮想空間画像に対しては、見える範囲を広げた上で、当該画像を表示装置の大きさに合わせて縮小することができる。
またユーザが表示装置を回転させた場合には、ユーザからは、例えば上記仮想空間の見える範囲が狭まるとともに、当該表示装置自体の縦横比は左右または上下で異なって見えることになるため(例えば上記表示装置がもともと長方形の場合には、回転させると台形に見えたりする等)、当該表示装置自体の見え方を考慮して、上記仮想空間画像に対して、表示装置の形に合わせて縦横比の変更処理を行って表示させることができる。
上記サーバ装置において、上記表示装置は超音波センサを有し、前記距離情報は、例えば地面に固定された椅子に座っているユーザまたは当該椅子に反射した超音波により検出されるものであってもよい。これにより、上記表示装置の超音波センサから出力されて上記ユーザまたは椅子に反射して戻ってきた超音波を認識することにより、当該椅子から表示装置までの距離情報、すなわちユーザの視点から表示装置までの距離情報を検出することが可能となる。
上記サーバ装置において、前記椅子は、当該椅子の縦方向の軸を中心に回転することが可能であり、かつ、前記方向情報を検出するための回転角センサを有していてもよい。これにより、上記椅子が回転した場合に、回転角センサにより検出される椅子の回転角を基に、前記ユーザの視点から前記表示装置に対する方向情報を検出することができる。
上記サーバ装置において、前記姿勢情報は、前記表示装置の表示面の縦方向の軸、横方向の軸及び奥行き方向の軸に対する傾き情報を含んでいてもよい。これにより、上記各方向の軸に対する傾きを、上記姿勢情報として検出し、上記サーバ装置へ送信することができる。
上記サーバ装置において、前記表示装置は、前記縦方向、横方向及び奥行き方向の軸に対する各傾き情報のうち、少なくとも一つの傾き情報を検出するためのジャイロセンサを有していてもよい。これにより、当該ジャイロセンサにより検出された各傾き情報を上記姿勢情報として上記サーバ装置へ送信することができる。
上記サーバ装置において、前記椅子及び表示装置の上方空間にはカメラが設けられ、前記表示装置は当該表示装置の表面に2次元バーコードを有し、前記距離情報は、前記カメラで撮像された前記2次元バーコードが認識されることにより検出されるようにしてもよい。これにより、撮像した画像中の、上記認識した2次元バーコードの位置を検出することで上記カメラから上記表示装置の方向が分かり、上記2次元バーコードの大きさを検出することで上記カメラから上記表示装置との距離が分かり、当該方向と距離から上記室内における表示装置の位置が特定できる。上記椅子の位置は固定であるため、当該表示装置の位置を基に、上記ユーザの視点から上記表示装置までの距離情報が検出できる。
上記サーバ装置において、前記椅子及び表示装置の周囲の空間には複数のカメラが設けられ、前記距離情報、方向情報及び姿勢情報は、前記カメラによって撮像された複数の画像中の前記椅子及び表示装置の画像が解析されることにより検出されるようにしてもよい。これにより、上記複数のカメラにより撮像された画像中の上記椅子及び表示装置の位置、大きさ及び形状をそれぞれ比較して解析することにより、上記距離情報、方向情報及び姿勢情報を検出することができる。
本発明の表示装置は、仮想空間の画像を表示させることが可能な表示装置であって、当該表示装置から前記ユーザの視点までの距離情報及び当該表示装置の姿勢情報を検出する検出手段と、前記検出された距離情報及び姿勢情報を、ネットワークを介して接続されたサーバ装置へ送信する送信手段と、前記サーバ装置が前記送信された情報を基に生成した、前記ユーザの視点から前記表示装置を通して見た前記仮想空間画像を、当該サーバ装置から受信する受信手段と、前記受信された仮想空間画像を表示する表示手段とを具備することを特徴としている。
この構成により、上記距離情報及び姿勢情報を検出して上記サーバ装置へ送信して、当該サーバ装置から上記仮想空間画像を受信して表示することとしたため、当該表示装置がどのような位置に移動し、どのような姿勢になっても、上記仮想空間画像を表示することが可能となる。
なお、当該表示装置は、上記ユーザの視点から当該表示装置に対する方向情報を検出する手段と、当該方向情報、上記距離情報及び姿勢情報を基に前記ユーザの視点から見た前記仮想空間画像を生成する手段と、前記ユーザの視点から前記表示装置に対する視角情報を算出する手段と、前記算出された視角情報及び前記記憶された画像情報を基に、前記ユーザの視点から前記表示装置を通して見た仮想空間画像を生成する手段と、当該生成された仮想空間画像を表示する手段とを更に具備するようにしてもよい。
これにより、上記サーバ装置の処理を必要としなくとも、自ら上記仮想空間画像を生成して表示することが可能となる。
本発明の表示システムは、サーバ装置と、ユーザが所持しながら自在に移動させることが可能な表示装置とがネットワークを介して互いに通信を行うことが可能なシステムであって、前記サーバ装置は、仮想空間の所定の範囲の画像情報を記憶する手段と、前記ユーザから前記表示装置までの距離情報と、前記ユーザに対する前記表示装置の方向情報と、前記表示装置の姿勢情報とを前記表示装置から受信する手段と、前記受信された距離情報、方向情報及び姿勢情報を基に、前記ユーザの前記表示装置に対する視角情報を算出する手段と、前記算出された視角情報及び前記記憶された画像情報を基に、前記ユーザの視点から前記表示装置を通して見た仮想空間画像を生成する手段と、前記生成された仮想空間画像を前記表示装置に表示させるために当該表示装置へ送信する手段とを有し、前記表示装置は、前記距離情報、方向情報及び姿勢情報を検出する手段と、前記検出された距離情報、方向情報及び姿勢情報を前記サーバ装置へ送信する手段と、前記サーバ装置が当該送信された情報を基に生成した前記仮想空間画像を当該サーバ装置から受信する手段と、前記受信された仮想空間画像を表示する手段とを有することを特徴としている。
この構成により、上記表示装置が上記距離情報、方向情報及び姿勢情報を検出して上記サーバ装置へ送信し、上記サーバ装置が、上記表示装置から受信した各情報を基に上記表示装置に対するユーザの視角情報を算出し、当該視角情報から上記仮想空間画像を生成して上記表示装置に表示させることとしたため、ユーザは、上記表示装置の大きさに関わらず、上記表示装置を自在に動かすことにより、所望の視点から所望の視野で上記仮想空間を閲覧することができる。
本発明の表示方法は、仮想空間の所定の範囲の画像情報を記憶するステップと、ユーザの視点から当該ユーザが所持しながら自在に移動させることが可能な表示装置までの距離情報と、前記ユーザの視点から前記表示装置に対する方向情報と、前記表示装置の姿勢情報とを取得するステップと、前記取得された距離情報、方向情報及び姿勢情報を基に、前記ユーザの視点から前記表示装置に対する視角情報を算出するステップと、前記算出された視角情報及び前記記憶された画像情報を基に、前記ユーザの視点から前記表示装置を通して見た仮想空間画像を生成するステップと、前記生成された仮想空間画像を前記表示装置に表示させるために、当該表示装置へ送信するステップとを具備することを特徴としている。
本発明のプログラムは、サーバ装置を、仮想空間の所定の範囲の画像情報を記憶するステップと、ユーザの視点から当該ユーザが所持しながら自在に移動させることが可能な表示装置までの距離情報と、前記ユーザの視点から前記表示装置に対する方向情報と、前記表示装置の姿勢情報とを取得するステップと、前記取得された距離情報、方向情報及び姿勢情報を基に、前記ユーザの視点から前記表示装置に対する視角情報を算出するステップと、前記算出された視角情報及び前記記憶された画像情報を基に、前記ユーザの視点から前記表示装置を通して見た仮想空間画像を生成するステップと、前記生成された仮想空間画像を前記表示装置に表示させるために、当該表示装置へ送信するステップとして機能させるものである。
本発明によれば、仮想空間内をユーザの所望の視点から所望の視野で自在に閲覧することができる。
以下、本発明の実施の形態を図面に基づき説明する。
(第1の実施形態)
(第1の実施形態)
まず、本発明の第1の実施形態について説明する。図1は、本実施形態に係る表示システムの構成を示した図である。本表示システムは、サーバ101、表示装置102及び椅子103から構成され、例えばLAN(Local Area Network)104のようなネットワークを介して互いに通信を行うことが可能となっている。
サーバ101は、CPU(Central Processing Unit)105、ROM(Read Only Memory)106、RAM(Random Access Memory)107、通信部108、情報入力部109、グラフィックコントローラ110、VRAM(Video RAM)111及びHDD(Hard Disk Drive)112で構成され、それらがバス113で接続されている。
CPU105は、サーバ101全体の動作を制御するメインコントローラであり、OS(Operating System)により提供されるプラットフォーム上で、例えば仮想空間画像の生成等における各種のアプリケーションを実行する。
ROM106は、サーバ101の電源オン時に実行するプログラムや、ハードウェア制御用の制御コードの他、上記仮想空間画像を生成するためのデータ等を格納する、読み出し専用の不揮発性のメモリである。またRAM107は、CPU105が上記仮想空間画像の生成処理を実行するプログラムやその他のプログラムをロードしたり、当該プログラムの作業データを書き込んだりするために用いられる、書き込み可能な揮発性のメモリである。
通信部108は、LAN104を介して上記表示装置102及び椅子103と通信を行い、各種データ等をやり取りするためのインターフェースとなる。
情報入力部109は、上記ユーザの視点から見た仮想空間画像を生成する前処理として、例えばユーザによるインテリア等の素材の選択により、当該素材を配置した室内等の全方位の仮想空間画像を生成する場合に、上記素材等、設定に必要な情報を入力する。
グラフィックコントローラ110は、上記全方位の仮想空間画像を描画処理したり、当該全方位の仮想空間画像から、ユーザの視点及び視角に応じた画像を切り出して、上記表示装置102に表示させるための、ユーザの視点から見た仮想空間画像を描画したりする。
VRAM111は、当該グラフィックコントローラ110が描画した画像を書き込むためのバッファであり、当該書き込まれた画像データが表示信号に変換された上で上記表示装置102へ送信され、当該表示装置102の表示部114へ表示される。上記グラフィックコントローラ110の描画処理と、上記表示装置102の表示部114への表示処理は並行して行われる。
HDD112は、サーバ101が上記表示装置102の表示部114にユーザの視点から見た仮想空間画像を表示させる前に、上記グラフィックコントローラ110が描画した全方位の仮想空間画像及びその描画処理に必要なデータ等を記憶しておくための、ランダムアクセス可能な外部記憶装置である。グラフィックコントローラ110は、上記ユーザの視点から見た仮想空間画像を描画する際には、HDD112から上記全方位の仮想空間画像をVRAM111に呼び出して、上記ユーザの視点及び視角に応じた仮想空間画像の切り出しに必要な描画処理を行う。
表示装置102は、表示部114、超音波センサ部115、ジャイロセンサ部116及び通信部117から構成される。
表示部114は、例えばTFT(Thin Film Transistor)等のLCD(Liquid Crystal Display)からなり、上記サーバ101から受信した上記ユーザの視点から見た仮想空間画像を表示する。
超音波センサ部115は、例えば表示装置102の左右両端一つずつ設けられている。当該超音波センサは反射形となっており、出力した超音波が上記椅子103に座ったユーザ若しくは椅子103に反射して戻ってきた時間を計測して、その計測結果により表示装置102と上記ユーザの視点との距離を検出する。また、左右の超音波センサが計測した時間の差異を検出することで、ユーザの視点の正面からの表示装置102のずれ、すなわち表示装置102を正面から見た場合の縦方向の軸に対する傾きを検出する。当該距離情報の検出処理の詳細については後述する。
ジャイロセンサ部116は、例えば表示装置102の一端に設けられている。当該ジャイロセンサ部116は例えば2軸構造となっており、表示装置102の姿勢情報として、横方向及び奥行き方向の軸に対する傾きを検出する。当該姿勢情報の検出処理についても後述する。
通信部117は、上記超音波センサ部115及びジャイロセンサ部116により検出された上記距離情報及び姿勢情報を、上記LAN104を介して上記サーバ101へ送信したり、上記サーバ101から上記仮想空間画像を受信したりする際のインターフェースとなる。
ユーザは、上記椅子103に座りながら上記表示装置102を手にとって翳し、上記表示部114に表示された仮想空間画像を閲覧する。当該表示装置102は、ユーザが持つのに不便のないよう、大きさは例えば15インチ等、形状は例えば通常の液晶パネルと同様、横長の矩形とする。また、ユーザが持ちやすいように、表示装置102の左右の枠の外側に、取手を設けてもよい。
椅子103は、回転角センサ部118及び通信部119を有する。当該椅子103は室内の床に固定され予め室内における位置が決められており、また左右に回転可能となっている。回転角センサとしては、例えばロータリーエンコーダ等が用いられる。
回転角センサ部118は、ユーザによる椅子103の左右への回転を検出し、ユーザの視点から上記表示装置102までの方向を検出する。当該検出処理についても後述する。通信部119は、上記回転角センサ部118が検出した方向情報を、上記LAN104を介して上記サーバ101へ送信する際のインターフェースとなる。
次に、上記距離情報、姿勢情報及び方向情報の検出処理について説明する。
まず、上記ユーザの視点から上記表示装置102までの距離情報及び縦方向の軸に対する傾きの検出処理について説明する。図2は、当該距離情報の検出の様子を示した図である。同図においては、表示装置102及びユーザの視点(ユーザ及び椅子103)を真上から見ているものとする。
同図に示すように、ユーザが表示装置102を視点に近づけた場合には、表示装置102と視点との距離が短くなる。超音波センサ115a及び115bは、それぞれ出力した超音波が視点(ユーザ若しくは椅子)に反射して戻ってきた時間を常に計測しており、当該時間から表示装置102と視点との距離を検出している。上記表示装置102が視点に近づいた場合には、上記時間が近づける前よりも短くなるため、上記距離も短くなったことを検出することができる。
また、上記表示装置102を横にずらした場合には、上記超音波センサ115aと115bで、反射して戻ってくる時間が異なるため、当該時間の差異から、表示装置102の縦方向の軸に対する傾きも検出することができる。
なお、本表示システムが実施される室内の壁は超音波を吸収する構造となっており、超音波が壁に反射することにより上記検出に影響を与えないようになっている。また、超音波センサ部115から出力される超音波は、ユーザ及び椅子に反射しやすいように例えば表示装置102のやや内側に向けて出力されてもよいし、また反射した超音波を検出しやすいように指向性を広く設定しておいてもよい。
次に、視点から表示装置102に対する方向情報の検出処理について説明する。図3は、当該方向情報の検出の様子を示した図である。同図においても、上記図2と同様、表示装置102及びユーザの視点(ユーザ及び椅子103)を真上から見ているものとする。
同図に示すように、椅子103に座っているユーザが当該椅子103を回転させることにより、ユーザの視点が回転した場合には、椅子103の回転角センサ部118が当該回転を検知する。そして、当初の位置と回転後の位置とを比較することにより、表示装置102がどの方向に存在しているかを検出する。また、例えば、上記超音波センサ115a及び115bの検出結果と関連付けて、視点から両超音波センサまでの距離が、椅子103が回転しても変わらないことを検知した場合には、上記方向のみ変化し、表示装置102の縦方向の軸に対する傾きは変化していないということも検出できる。
次に、上記姿勢情報の検出処理について説明する。図4は、当該姿勢情報を検出する様子を示した図である。同図においては、表示装置102の姿勢の変化の前後における正面、上面及び側面の様子を示している。また、表示装置102の正面に対して横方向の軸をX軸、奥行き方向の軸をY軸、縦方向の軸をZ軸とする。
同図に示すように、表示装置102には、例えば表示面の向かって右下隅の部分にジャイロセンサ部116が設けられている。当該ジャイロセンサ部は上記X軸及びZ軸に対する傾きを検出することが可能な2軸のセンサである。勿論、3軸構造としても構わない。
同図(a)は、表示装置102が正立した状態から、ユーザがX軸を回転軸として手前方向に傾けた場合の図である。この場合、ジャイロセンサ部116のX軸の検出部がその傾きを検出する。また同図(b)は、表示装置102が正立した状態から、Y軸を回転軸として右方向に傾けた場合の図である。この場合、ジャイロセンサ部116のY軸の検出部がその傾きを検出する。
次に、表示装置102の表示部114に表示される仮想空間画像について説明する。図5は、ユーザの視点から表示装置102までの距離と、視野との関係を示した図である。
同図に示すように、ユーザが表示装置102を視点に近づけると、仮想空間内の視野が広がり、ユーザの視野に応じて切り取る仮想空間は広範囲となる。したがって、距離が近づいた場合に表示装置102に表示される仮想空間画像においては、同じ物体の大きさは仮想空間の範囲が広がった分、小さくなる。
なお、上記グラフィックコントローラ110は、上記仮想空間画像の描画の際、まず仮想空間の3次元空間の画像を切り取り、それを表示装置102の表示部114に表示させるため、ジオメトリ演算処理等により座標変換して2次元化する。同図に示した画像は、2次元化後のものである。
図6は、上記図5と同様、ユーザが表示装置102を視点に近づけた場合に表示部114に表示される画像について説明した図である。
同図(a)に示すように仮想物体を見ながら表示装置102を視点に近づけた場合には、同図(b)に示すように、ユーザから見ると、仮想物体の大きさは変わらないまま、仮想空間内の視野が広がるとともに、表示装置102自体の大きさが大きくなる。これを表示装置102に表示する場合には、同図(c)に示すように、表示装置102の大きさに合わせて、仮想物体の大きさが小さくなるようにズーム処理する。
図7は、表示装置102が上記図4におけるZ軸で回転した場合に、表示部114に表示される仮想空間画像について説明した図である。
同図(a)に示すように仮想物体を見ながら表示装置102をZ軸を回転軸として左回りに回転させた場合には、同図(b)に示すように、ユーザからは、仮想物体の見え方は変わらないものの、表示装置102の向かって左側の方が視点に近いため、右側よりも大きく見える。グラフィックコントローラ110が仮想空間から切り出す画像はこの画像である。この場合に、表示装置を正面から見た場合には、仮想物体の向かって右側の方が近いため、左側に比べて大きく見える必要がある。よって、表示装置102に表示する場合には、上記切り出した画像における画角の歪みを補正した上で表示する。グラフィックコントローラ110は、当該画角補正の際は、具体的には例えば投影変換等の描画技術を用いる。なお、表示装置102がX軸で回転したような場合も同様の処理となる。
次に、以上のように構成された表示システムにおいて、表示装置にユーザの視点から見た仮想空間画像が表示されるまでの動作を説明する。図8は、当該動作の流れを示したフロー図である。同図においては、例として、ユーザが、室内インテリアの販売会場において、所望のインテリアを配置した仮想空間を、表示装置102を閲覧することにより仮想体験するような場合を想定して説明する。ユーザは、販売会場内に固定された椅子103に座っており、表示装置102を保持している。
同図に示すように、まず、ユーザは、所望の部屋の形状、窓、壁紙、装飾品等のインテリア及び室内における当該インテリアの配置等の空間構成要素を選択する(ステップ801)。選択された情報は上記情報入力部109により入力され、上記RAM107へ記憶される。続いて、上記グラフィックコントローラ110は、上記RAM107から当該選択された情報をVRAM111へ呼び出し、当該情報に基づいて、上記ユーザの所望の全方位の仮想空間画像を作成する(ステップ802)。当該全方位の仮想空間画像は、例えば上記HDD112へ記憶される。次に、上記表示装置102の位置情報等を初期化して、新たな情報を取得できる態勢を整える(ステップ803)。
そして、表示装置102は、ユーザが当該表示装置102を動かすと、上記図2において説明したように、超音波センサ部115の左右の超音波センサがそれぞれ視点との距離を測定し、また左右の超音波センサの反射速度の差異から、表示装置102のZ軸方向の傾きを検出する(ステップ804)。また、上記図4で説明したように、ジャイロセンサ部116が、表示装置102のX軸及びY軸方向への傾きを検出する(ステップ805)。そして、上記検出した距離情報、及び姿勢情報としてのX軸、Y軸、Z軸に対する傾き情報を、通信部117を介してサーバ101へ送信する(ステップ806)。
一方、椅子103は、ユーザにより当該椅子103が回転した場合には、上記図3において説明したように、回転角センサ部118が当該回転角度を検出し(ステップ807)、当該検出結果を通信部119を介してサーバ101へ送信する(ステップ808)。
そして、サーバ101は上記表示装置102から距離情報及び姿勢情報を受信し(ステップ809)、椅子103から回転角度を受信すると(ステップ810)、当該受信結果から表示装置の方向、ユーザの視角を計算し、そこから仮想空間から切り出すための画像の切り出し位置、大きさを計算する(ステップ811)。続いて上記HDD112から、作成しておいた全方位の仮想空間画像をVRAM111へ呼び出し、上記計算結果から、ユーザの視点及び視野から見た仮想空間画像を切り出す(ステップ812)。このとき、上記図7において説明したように、表示装置102がX軸及びZ軸に対して傾いているような場合には、上記歪んだ画像(台形)を含む長方形を切り出す。そして、上述したように、切り出した画像を3次元画像から2次元画像へと変換する。
次に、上記図7(c)において説明したように、上記表示装置の姿勢、すなわちX軸またはZ軸に対する傾き、回転角度に合わせて、上記歪んだ画像に対して画角補正を施し、実際に表示装置102の表示部114に表示できる状態にする。また、上記図5及び図6において説明したように、表示装置102が視点に対して近づいたり遠ざかったりした場合には、表示装置102の大きさに合わせてズーム処理を行う(ステップ813)。そして、画角修正及びズーム処理を施した仮想空間画像を上記通信部108を介して表示装置102へ送信する(ステップ814)。
そして、当該仮想空間画像を受信した(ステップ815)表示装置102が、当該仮想区間画像を表示部114に表示する(ステップ816)。
以上の動作により、サーバ101は、上記表示装置102及び椅子103から距離情報、方向情報及び姿勢情報を受信して、当該情報を基に上記ユーザの視点から見た仮想空間を切り出して、必要に応じて補正等を行って表示装置102に表示させることができる。
これにより、ユーザは、所望の方向に上記表示装置102をかざすことで、当該表示装置102に表示された仮想空間を閲覧することができるとともに、当該表示装置を自在に動かすことで、表示装置の大きさに関わらず、当該仮想空間を所望の視野で、あたかも上記仮想空間に向けた窓を覗くように閲覧することができる。
よって、上記表示装置102を視点に近づけたり遠ざけたりすることで、ユーザは仮想空間の広い範囲の様子を確認したり、特定の位置や物体に絞った詳細な閲覧をしたりすることができ、そのような疑似体験をすることで、希望通りのインテリアを購入し、実際にコーディネートすることが可能となる。
なお、本発明は以上説明した実施の形態には限定されるものではなく、種々の変形が可能である。以下、他の実施の形態について説明する。
(第2の実施形態)
(第2の実施形態)
上記第1の実施形態においては、上記表示装置102の超音波センサ部115によりユーザの視点から表示装置102までの距離情報を検出し、上記椅子103の回転角センサ部118により検出した椅子の回転角度から、ユーザの視点に対する表示装置102の方向情報を検出していたが、以下のような方法によっても当該距離情報及び方向情報を検出することができる。
図9は、本実施形態における表示システムが実施される室内を横から見た図である。なお、本実施形態において、上記第1の実施形態における表示システムと同様の構成を有する部分については同一の符号を付し、説明を省略または簡略化する。
同図に示すように、本システムにおける室内の天井には、カメラ901が設けられている。当該カメラ901は、椅子103に座っているユーザの垂直方向の位置に固定され、表示装置102の可動範囲、すなわちユーザが腕を伸ばせる範囲が少なくとも撮影範囲に入るようになっている。また、カメラ901は、上記サーバ101と例えばLANにより通信を行うことが可能となっている。
表示装置102の上部には、例えば2次元バーコード等、当該カメラ901で認識できるマークが添付されている。カメラ901は、撮影した映像中から、当該認識マーク902を探し、映像中の当該認識マーク902の位置から、カメラ901から見た表示装置102の方向を検知することができる。また、映像中の認識マーク902の大きさから、カメラ901から表示装置102までの距離を検知できる。当該認識マーク902の大きさ及びそれに対応するカメラ901からの距離は、予めデータベース等に登録しておけばよい。そして、上記表示装置102の方向と、カメラ901から表示装置102までの距離から、室内における表示装置102の位置を特定することができる。ユーザ(椅子103)の位置及び室内間取り等の情報は予め分かっているため、上記表示装置102の位置を検出することにより、ユーザの視点から表示装置102までの距離情報が検出できる。
図10は、本実施形態における表示装置102を真上から見た図である。同図に示すように、上記認識マーク902は、表示装置102の上部の左右2箇所に設けられている。表示装置102がX軸で回転した場合には、上記カメラ901でこれらの認識マーク902a及び902bの位置関係を検知することにより、当該回転の角度及び方向情報を検出することが可能となる。
なお、表示装置102の姿勢情報については、上述の第1実施形態と同様、表示装置102のジャイロセンサ部116により検出する。
以上により、表示装置102と視点との距離情報、表示装置102の方向情報及び姿勢情報が検出でき、後は上記サーバ101へそれらの情報を送信する等、上記第1実施形態と同様の処理を行うことで、表示装置102に仮想空間画像を表示させることが可能となる。
(第3の実施形態)
(第3の実施形態)
上記距離情報、方向情報及び姿勢情報は、以下の方法によっても検出することができる。
図11は、本実施形態における表示システムが実施される室内を真上から見た図である。
本実施形態においても、上述の2つの実施形態と同様の構成となる部分については同一の符号を付して説明を省略または簡略化する。
本実施形態においても、上述の2つの実施形態と同様の構成となる部分については同一の符号を付して説明を省略または簡略化する。
同図に示すように、本実施形態における表示システムにおいては、室内の天井及び壁の4方向に計5つのカメラ901a〜901eが設けられている。それぞれのカメラは、表示装置102の可動範囲、すなわちユーザが手を伸ばして表示装置を動せる範囲が撮影可能なようにそれぞれ設置する。
壁に設置した4台のカメラのうち、2台はユーザの影になって表示装置102を撮影できない場合も考えられるが、他の少なくとも2台の壁のカメラ及び天井のカメラは表示装置102を常に撮影することが可能である。また、これらのカメラは全て上記サーバ101と例えばLANを介して通信を行うことが可能である。
各カメラは、ユーザが保持する表示装置102を撮影し、当該撮影した画像中の表示装置102の位置、大きさ及び形状を画像認識によりそれぞれ検出する。そして、当該検出結果を組み合わせることにより、上記距離情報、方向情報及び姿勢情報の全てを検出することが可能である。
当該検出の後は、上述の2つの実施形態と同様の処理により、表示装置102に仮想空間画像を表示させることができる。
(第4の実施形態)
(第4の実施形態)
本発明を、以下に示すようなネットワークシステムに適用することも可能である。
まず、本実施形態において前提となるネットワークシステムについて説明する。
図12は、この発明のネットワークシステムの一例を示し、ネットワーク9を介して複数の情報処理装置1、2、3、4が接続されたものである。情報処理装置1、2、3、4は、例えば各種のAV機器やポータブル機器、上記表示装置等である。
情報処理装置1について示すと、情報処理装置1は、コンピュータ機能部として情報処理コントローラ11を備える。情報処理コントローラ11は、メインプロセッサ21−1、サブプロセッサ23−1,23−2,23−3、DMAC(ダイレクトメモリアクセスコントローラ)25−1及びDC(ディスクコントローラ)27−1を有する。
メインプロセッサ21−1は、サブプロセッサ23−1,23−2,23−3によるプログラム実行(データ処理)のスケジュール管理と、情報処理コントローラ11(情報処理装置1)の全般的な管理とを行う。ただし、メインプロセッサ21−1内で管理のためのプログラム以外のプログラムが動作するように構成することもできる。その場合には、メインプロセッサ21−1はサブプロセッサとしても機能することになる。メインプロセッサ21−1は、LS(ローカルストレージ)22−1を有する。
サブプロセッサは、1つでもよいが、望ましくは複数とする。本例は、複数の場合である。各サブプロセッサ23−1,23−2,23−3は、メインプロセッサ21−1の制御によって並列的かつ独立にプログラムを実行し、データを処理する。更に、場合によってメインプロセッサ21−1内のプログラムがサブプロセッサ23−1,23−2,23−3内のプログラムと連携して動作するように構成することもできる。後述する機能プログラムもメインプロセッサ21−1内で動作するプログラムである。各サブプロセッサ23−1,23−2,23−3も、LS(ローカルストレージ)24−1,24−2,24−3を有する。
DMAC25−1は、情報処理コントローラ11に接続されたDRAM(ダイナミックRAM)などからなるメインメモリ26−1に格納されているプログラム及びデータにアクセスするものであり、DC27−1は、情報処理コントローラ11に接続された外部記録部28−1,28−2にアクセスするものである。
外部記録部28−1,28−2は、固定ディスク(ハードディスク)でも、リムーバブルディスクでもよく、また、MO,CD±RW,DVD±RWなどの光ディスク、メモリディスク、SRAM(スタティックRAM)、ROMなど、各種のものを用いることができる。したがって、DC27−1は、ディスクコントローラと称するが、外部記録部コントローラである。図12の例のように、情報処理コントローラ11に対して外部記録部28を複数接続できるように、情報処理コントローラ11を構成することができる。
メインプロセッサ21−1、各サブプロセッサ23−1,23−2,23−3、DMAC25−1及びDC27−1は、バス29−1によって接続される。
情報処理コントローラ11には、当該の情報処理コントローラ11を備える情報処理装置1を、ネットワーク全体を通して一意的に識別できる識別子が、情報処理装置IDとして割り当てられる。
メインプロセッサ21−1及び各サブプロセッサ23−1,23−2,23−3に対しても同様に、それぞれを特定できる識別子が、メインプロセッサID及びサブプロセッサIDとして割り当てられる。
情報処理コントローラ11は、ワンチップIC(集積回路)として構成することが望ましい。他の情報処理装置2、3、4も、上記と同様に構成される。ここで、図12において親番号が同一であるユニットは枝番号が異なっていても、特に断りがない限り同じ働きをするものとする。また、以下の説明において枝番号が省略されている場合には、枝番号の違いにいる差異を生じないものとする。
上述したように、1つの情報処理コントローラ内の各サブプロセッサ23は、独立にプログラムを実行し、データを処理するが、異なるサブプロセッサがメインメモリ26内の同一領域に対して同時に読み出しまたは書き込みを行った場合には、データの不整合を生じ得る。そこで、サブプロセッサ23からメインメモリ26へのアクセスは、以下のような手順によって行う。
図13(A)に示すように、メインメモリ26は、複数のアドレスを指定できるメモリロケーションによって構成される。各メモリロケーションに対しては、データの状態を示す情報を格納するための追加セグメントが割り振られる。追加セグメントは、F/Eビット、サブプロセッサID及びLSアドレス(ローカルストレージアドレス)を含むものとされる。また、各メモリロケーションには、後述のアクセスキーも割り振られる。F/Eビットは、以下のように定義される。
F/Eビット=0は、サブプロセッサ23によって読み出されている処理中のデータ、または空き状態であるため最新データではない無効データであり、読み出し不可であることを示す。また、F/Eビット=0は、当該メモリロケーションにデータ書き込み可能であることを示し、書き込み後に1に設定される。
F/Eビット=1は、当該メモリロケーションのデータがサブプロセッサ23によって読み出されておらず、未処理の最新データであることを示す。当該メモリロケーションのデータは読み出し可能であり、サブプロセッサ23によって読み出された後に0に設定される。また、F/Eビット=1は、当該メモリロケーションがデータ書き込み不可であることを示す。
更に、上記F/Eビット=0(読み出し不可/書き込み可)の状態において、当該メモリロケーションについて読み出し予約を設定することは可能である。F/Eビット=0のメモリロケーションに対して読み出し予約を行う場合には、サブプロセッサ23は、読み出し予約を行うメモリロケーションの追加セグメントに、読み出し予約情報として当該サブプロセッサ23のサブプロセッサID及びLSアドレスを書き込む。
その後、データ書き込み側のサブプロセッサ23によって、読み出し予約されたメモリロケーションにデータが書き込まれ、F/Eビット=1(読み出し可/書き込み不可)に設定されたとき、予め読み出し予約情報として追加セグメントに書き込まれたサブプロセッサID及びLSアドレスに読み出される。
複数のサブプロセッサによってデータを多段階に処理する必要がある場合、このように各メモリロケーションのデータの読み出し/書き込みを制御することによって、前段階の処理を行うサブプロセッサ23が、処理済みのデータをメインメモリ26上の所定のアドレスに書き込んだ後に即座に、後段階の処理を行う別のサブプロセッサ23が前処理後のデータを読み出すことが可能となる。
図13(B)に示すように、各サブプロセッサ23内のLS24も、複数のアドレスを指定できるメモリロケーションによって構成される。各メモリロケーションに対しては、同様に追加セグメントが割り振られる。追加セグメントは、ビジービットを含むものとされる。
サブプロセッサ23がメインメモリ26内のデータを自身のLS24のメモリロケーションに読み出すときには、対応するビジービットを1に設定して予約する。ビジービットが1であるメモリロケーションには、他のデータは格納することができない。LS24のメモリロケーションに読み出し後、ビジービットは0になり、任意の目的に使用できるようになる。
図13(A)に示すように、さらに、各情報処理コントローラと接続されたメインメモリ26には、複数のサンドボックスが含まれる。サンドボックスは、メインメモリ26内の領域を画定するものであり、各サンドボックスは、各サブプロセッサ23に割り当てられ、そのサブプロセッサが排他的に使用することができる。すなわち、各々のサブプロセッサ23は、自身に割り当てられたサンドボックスを使用できるが、この領域を超えてデータのアクセスを行うことはできない。メインメモリ26は、複数のメモリロケーションから構成されるが、サンドボックスは、これらのメモリロケーションの集合である。
更に、メインメモリ26の排他的な制御を実現するために、図13(C)に示すようなキー管理テーブルが用いられる。キー管理テーブルは、情報処理コントローラ内のSRAM等の比較的高速のメモリに格納され、DMAC25と関連付けられる。キー管理テーブル内の各エントリには、サブプロセッサID、サブプロセッサキー及びキーマスクが含まれる。
サブプロセッサ23がメインメモリ26を使用する際のプロセスは、以下の通りである。まず、サブプロセッサ23はDMAC25に、読み出しまたは書き込みのコマンドを出力する。このコマンドには、自身のサブプロセッサIDと、使用要求先であるメインメモリ26のアドレスが含まれる。
DMAC25は、このコマンドを実行する前に、キー管理テーブルを参照して、使用要求元のサブプロセッサのサブプロセッサキーを調べる。次に、DMAC25は、調べた使用要求元のサブプロセッサキーと、使用要求先であるメインメモリ26内の図13(A)に示したメモリロケーションに割り振られたアクセスキーとを比較して、2つのキーが一致した場合にのみ、上記のコマンドを実行する。
図13(C)に示したキー管理テーブル上のキーマスクは、その任意のビットが1になることによって、そのキーマスクに関連付けられたサブプロセッサキーの対応するビットが0または1になることができる。例えば、サブプロセッサキーが1010であるとする。通常、このサブプロセッサキーによって1010のアクセスキーを持つサンドボックスへのアクセスだけが可能になる。しかし、このサブプロセッサキーと関連付けられたキーマスクが0001に設定されている場合には、キーマスクのビットが1に設定された桁のみにつき、サブプロセッサキーとアクセスキーとの一致判定がマスクされ、このサブプロセッサキー1010によってアクセスキーが1010または1011のいずれかであるアクセスキーを持つサンドボックスへのアクセスが可能となる。
以上のようにして、メインメモリ26のサンドボックスの排他性が実現される。すなわち、1つの情報処理コントローラ内の複数のサブプロセッサによってデータを多段階に処理する必要がある場合、以上のように構成することによって、前段階の処理を行うサブプロセッサと、後段階の処理を行うサブプロセッサのみが、メインメモリ26の所定アドレスにアクセスできるようになり、データを保護することができる。
例えば、以下のように使用することが考えられる。まず、情報処理装置の起動直後においては、キーマスクの値は全てゼロである。メインプロセッサ内のプログラムが実行され、サブプロセッサ内のプログラムと連携動作するものとする。第1のサブプロセッサにより出力された処理結果データを一旦メインメモリに格納し、第2のサブプロセッサに入力したいときには、該当するメインメモリ領域は、当然どちらのサブプロセッサからもアクセス可能である必要がある。そのような場合に、メインプロセッサ内のプログラムは、キーマスクの値を適切に変更し、複数のサブプロセッサからアクセスできるメインメモリ領域を設けることにより、サブプロセッサによる多段階的な処理を可能にする。
より具体的には、他の情報処理装置からのデータ→第1のサブプロセッサによる処理→第1のメインメモリ領域→第2のサブプロセッサによる処理→第2のメインメモリ領域、という手順で多段階処理が行われるときには、
第1のサブプロセッサのサブプロセッサキー:0100、
第1のメインメモリ領域のアクセスキー :0100、
第2のサブプロセッサのサブプロセッサキー:0101、
第2のメインメモリ領域のアクセスキー :0101
というような設定のままだと、第2のサブプロセッサは第1のメインメモリ領域にアクセスすることができない。そこで、第2のサブプロセッサのキーマスクを0001にすることにより、第2のサブプロセッサによる第1のメインメモリ領域へのアクセスを可能にすることができる。
というような設定のままだと、第2のサブプロセッサは第1のメインメモリ領域にアクセスすることができない。そこで、第2のサブプロセッサのキーマスクを0001にすることにより、第2のサブプロセッサによる第1のメインメモリ領域へのアクセスを可能にすることができる。
図12のネットワークシステムでは、情報処理装置1、2、3、4間での分散処理のために、情報処理装置1、2、3、4間でソフトウェアセルが伝送される。すなわち、ある情報処理装置内の情報処理コントローラに含まれるメインプロセッサ21は、コマンド、プログラム及びデータを含むソフトウェアセルを生成し、ネットワーク9を介して他の情報処理装置に送信することによって、処理を分散することができる。
図14に、ソフトウェアセルの構成の一例を示す。この例のソフトウェアセルは、全体として、送信元ID、送信先ID、応答先ID、セルインターフェース、DMAコマンド、プログラム及びデータによって構成される。
送信元IDには、ソフトウェアセルの送信元である情報処理装置のネットワークアドレス及び当該情報処理装置の情報処理装置ID、更に、その情報処理装置内の情報処理コントローラが備えるメインプロセッサ21及び各サブプロセッサ23の識別子(メインプロセッサID及びサブプロセッサID)が含まれる。
送信先ID及び応答先IDには、それぞれ、ソフトウェアセルの送信先である情報処理装置、及びソフトウェアセルの実行結果の応答先である情報処理装置についての、同じ情報が含まれる。
セルインターフェースは、ソフトウェアセルの利用に必要な情報であり、グローバルID、必要なサブプロセッサの情報、サンドボックスサイズ及び前回のソフトウェアセルIDから構成される。
グローバルIDは、ネットワーク全体を通して当該ソフトウェアセルを一意的に識別できるものであり、送信元ID及びソフトウェアセルの作成または送信の日時(日付及び時刻)に基づいて作成される。
必要なサブプロセッサの情報は、当該ソフトウェアセルの実行に必要なサブプロセッサの数を設定する。サンドボックスサイズは、当該ソフトウェアセルの実行に必要なメインメモリ26内及びサブプロセッサ23のLS24内のメモリ量を設定する。前回のソフトウェアセルIDは、ストリーミングデータなどのシーケンシャルな実行を要求する1グループのソフトウェアセル内の、前回のソフトウェアセルの識別子である。
ソフトウェアセルの実行セクションは、DMAコマンド、プログラム及びデータから構成される。DMAコマンドには、プログラムの起動に必要な一連のDMAコマンドが含まれ、プログラムには、サブプロセッサ23によって実行されるサブプロセッサプログラムが含まれる。ここでのデータは、このサブプロセッサプログラムを含むプログラムによって処理されるデータである。
更に、DMAコマンドには、ロードコマンド、キックコマンド、機能プログラム実行コマンド、ステータス要求コマンド、及びステータス返信コマンドが含まれる。
ロードコマンドは、メインメモリ26内の情報をサブプロセッサ23内のLS24にロードするコマンドであり、ロードコマンド自体のほかに、メインメモリアドレス、サブプロセッサID及びLSアドレスを含む。メインメモリアドレスは、情報のロード元であるメインメモリ26内の所定領域のアドレスを示す。サブプロセッサID及びLSアドレスは、情報のロード先であるサブプロセッサ23の識別子及びLS24のアドレスを示す。
キックコマンドは、プログラムの実行を開始するコマンドであり、キックコマンド自体のほかに、サブプロセッサID及びプログラムカウンタを含む。サブプロセッサIDは、キック対象のサブプロセッサ23を識別し、プログラムカウンタは、プログラム実行用プログラムカウンタのためのアドレスを与える。
機能プログラム実行コマンドは、後述のように、ある情報処理装置が他の情報処理装置に対して、機能プログラムの実行を要求するコマンドである。機能プログラム実行コマンドを受信した情報処理装置内の情報処理コントローラは、後述の機能プログラムIDによって、起動すべき機能プログラムを識別する。
ステータス要求コマンドは、送信先IDで示される情報処理装置の現在の動作状態(状況)に関する装置情報を、応答先IDで示される情報処理装置宛に送信要求するコマンドである。機能プログラムについては後述するが、図17に示す情報処理コントローラのメインメモリ26が記憶するソフトウェアの構成図において機能プログラムにカテゴライズされるプログラムである。機能プログラムは、メインメモリ26にロードされ、メインプロセッサ21により実行される。
ステータス返信コマンドは、上記のステータス要求コマンドを受信した情報処理装置が、自身の装置情報を当該ステータス要求コマンドに含まれる応答先IDで示される情報処理装置に応答するコマンドである。ステータス返信コマンドは、実行セクションのデータ領域に装置情報を格納する。
図15に、DMAコマンドがステータス返信コマンドである場合におけるソフトウェアセルのデータ領域の構造を示す。
情報処理装置IDは、情報処理コントローラを備える情報処理装置を識別するための識別子であり、ステータス返信コマンドを送信する情報処理装置のIDを示す。情報処理装置IDは、電源投入時、その情報処理装置内の情報処理コントローラに含まれるメインプロセッサ21によって、電源投入時の日時、情報処理装置のネットワークアドレス及び情報処理装置内の情報処理コントローラに含まれるサブプロセッサ23の数などに基づいて生成される。
情報処理装置種別IDには、当該情報処理装置の特徴を表す値が含まれる。情報処理装置の特徴とは、例えば、オーディオプレーヤや、後述の表示装置等である。また、情報処理装置種別IDは、音声情報再生、画像表示等の機能を表すものであってもよい。情報処理装置の特徴や機能を表す値は予め決定されているものとし、情報処理装置種別IDを読み出すことにより、当該情報処理装置の特徴や機能を把握することが可能である。
MS(マスター/スレーブ)ステータスは、後述のように情報処理装置がマスター装置またはスレーブ装置のいずれで動作しているかを表すもので、これが0に設定されている場合にはマスター装置として動作していることを示し、1に設定されている場合にはスレーブ装置として動作していることを示す。
メインプロセッサ動作周波数は、情報処理コントローラ内のメインプロセッサ21の動作周波数を表す。メインプロセッサ使用率は、メインプロセッサ21で現在動作している全てのプログラムについての、メインプロセッサ21での使用率を表す。メインプロセッサ使用率は、対象メインプロセッサの全処理能力に対する使用中の処理能力の比率を表した値で、例えばプロセッサ処理能力評価のための単位であるMIPSを単位として算出され、または単位時間あたりのプロセッサ使用時間に基づいて算出される。後述のサブプロセッサ使用率についても同様である。
サブプロセッサ数は、当該の情報処理コントローラが備えるサブプロセッサ23の数を表す。サブプロセッサIDは、当該の情報処理コントローラ内の各サブプロセッサ23を識別するための識別子である。
サブプロセッサステータスは、各サブプロセッサ23の状態を表すものであり、unused,reserved,busyなどの状態がある。unusedは、当該のサブプロセッサが現在使用されてなく、使用の予約もされていないことを示す。reservedは、現在は使用されていないが、予約されている状態を示す。busyは、現在使用中であることを示す。
サブプロセッサ使用率は、当該のサブプロセッサで現在実行している、または当該のサブプロセッサに実行が予約されているプログラムについての、当該サブプロセッサでの使用率を表す。すなわち、サブプロセッサ使用率は、サブプロセッサステータスがbusyである場合には、現在の使用率を示し、サブプロセッサステータスがreservedである場合には、後に使用される予定の推定使用率を示す。
サブプロセッサID、サブプロセッサステータス及びサブプロセッサ使用率は、1つのサブプロセッサ23に対して一組設定され、1つの情報処理コントローラ内のサブプロセッサ23に対応する組数が設定される。
メインメモリ総容量及びメインメモリ使用量は、それぞれ、当該の情報処理コントローラに接続されているメインメモリ26の総容量及び現在使用中の容量を表す。
外部記録部数は、当該の情報処理コントローラに接続されている外部記録部28の数を表す。外部記録部IDは、当該の情報処理コントローラに接続されている外部記録部28を一意的に識別する情報である。外部記録部種別IDは、当該の外部記録部の種類(例えば、ハードディスク、CD±RW、DVD±RW、メモリディスク、SRAM、ROMなど)を表す。
外部記録部総容量及び外部記録部使用量は、それぞれ、外部記録部IDによって識別される外部記録部28の総容量及び現在使用中の容量を表す。
外部記録部ID、外部記録部種別ID、外部記録部総容量及び外部記録部使用量は、1つの外部記録部28に対して一組設定されるものであり、当該の情報処理コントローラに接続されている外部記録部28の数の組数だけ設定される。すなわち、1つの情報処理コントローラに複数の外部記録部が接続されている場合、各々の外部記録部には異なる外部記録部IDが割り当てられ、外部記録部種別ID、外部記録部総容量及び外部記録部使用量も別々に管理される。
ある情報処理装置内の情報処理コントローラに含まれるメインプロセッサ21は、以上のような構成のソフトウェアセルを生成し、ネットワーク9を介して他の情報処理装置及び当該装置内の情報処理コントローラに送信する。送信元の情報処理装置、送信先の情報処理装置、応答先の情報処理装置、及び各装置内の情報処理コントローラは、それぞれ、上記の送信元ID、送信先ID及び応答先IDによって識別される。
ソフトウェアセルを受信した情報処理装置内の情報処理コントローラに含まれるメインプロセッサ21は、そのソフトウェアセルをメインメモリ26に格納する。さらに、送信先のメインプロセッサ21は、ソフトウェアセルを読み出し、それに含まれるDMAコマンドを処理する。具体的には、送信先のメインプロセッサ21は、まず、ロードコマンドを実行する。これによって、ロードコマンドで指示されたメインメモリアドレスから、ロードコマンドに含まれるサブプロセッサID及びLSアドレスで特定されるサブプロセッサ内のLS24の所定領域に、情報がロードされる。ここでロードされる情報は、受信したソフトウェアセルに含まれるサブプロセッサプログラムまたはデータ、あるいはその他の指示されたデータである。
次に、メインプロセッサ21は、キックコマンドを、これに含まれるサブプロセッサIDで指示されたサブプロセッサに、同様にキックコマンドに含まれるプログラムカウンタと共に出力する。指示されたサブプロセッサは、そのキックコマンド及びプログラムカウンタに従って、サブプロセッサプログラムを実行する。そして、実行結果をメインメモリ26に格納した後、実行を完了したことをメインプロセッサ21に通知する。
なお、送信先の情報処理装置内の情報処理コントローラにおいてソフトウェアセルを実行するプロセッサはサブプロセッサ23に限定されるものではなく、メインプロセッサ21がソフトウェアセルに含まれる機能プログラムなどのメインメモリ用プログラムを実行するように指定することも可能である。
この場合には、送信元の情報処理装置は、送信先の情報処理装置宛に、サブプロセッサプログラムの代わりに、メインメモリ用プログラム及びそのメインメモリ用プログラムによって処理されるデータを含み、DMAコマンドがロードコマンドであるソフトウェアセルを送信し、メインメモリ26にメインメモリ用プログラム及びそれによって処理されるデータを記憶させる。次に、送信元の情報処理装置は、送信先の情報処理装置宛に、送信先の情報処理装置内の情報処理コントローラについてのメインプロセッサID、メインメモリアドレス、メインメモリ用プログラムを識別するための後述の機能プログラムIDなどの識別子、及びプログラムカウンタを含み、DMAコマンドがキックコマンドまたは機能プログラム実行コマンドであるソフトウェアセルを送信して、メインプロセッサ21に当該メインメモリ用プログラムを実行させる。
以上のように、この発明のネットワークシステムでは、送信元の情報処理装置は、サブプロセッサプログラムまたはメインメモリ用プログラムをソフトウェアセルによって送信先の情報処理装置に送信するとともに、当該サブプロセッサプログラムを送信先の情報処理装置内の情報処理コントローラに含まれるサブプロセッサ23にロードさせ、当該サブプロセッサプログラムまたは当該メインメモリ用プログラムを送信先の情報処理装置に実行させることができる。
送信先の情報処理装置内の情報処理コントローラでは、受信したソフトウェアセルに含まれるプログラムがサブプロセッサプログラムである場合には、当該サブプロセッサプログラムを指定されたサブプロセッサにロードさせる。そして、ソフトウェアセルに含まれるサブプロセッサプログラムまたはメインメモリ用プログラムを実行させる。したがって、ユーザが送信先の情報処理装置を操作しなくても自動的に、当該サブプロセッサプログラムまたは当該メインメモリ用プログラムを送信先の情報処理装置内の情報処理コントローラに実行させることができる。
このようにして情報処理装置は、自装置内の情報処理コントローラがサブプロセッサプログラムまたは機能プログラムなどのメインメモリ用プログラムを有していない場合には、ネットワークに接続された他の情報処理装置からそれらを取得することができる。更に、各サブプロセッサ間ではDMA方式によりデータ転送を行い、また上述したサンドボックスを使用することによって、1つの情報処理コントローラ内でデータを多段階に処理する必要がある場合でも、高速かつ高セキュリティに処理を実行することができる。
ソフトウェアセルの使用による分散処理の結果、図16の上段に示すようにネットワーク9に接続されている複数の情報処理装置1、2、3、4は、図16の下段に示すように、仮想的な1台の情報処理装置7として動作する。ただし、そのためには、以下のような構成によって、以下のような処理が実行される必要がある。
図17に、個々の情報処理コントローラのメインメモリ26が記憶するソフトウェアの構成を示す。これらのソフトウェア(プログラム)は、情報処理装置に電源が投入される前においては、当該の情報処理コントローラに接続される外部記録部28に記録されているものである。各プログラムは、機能または特徴によって、制御プログラム、機能プログラム及びデバイスドライバにカテゴライズされる。
制御プログラムは、各情報処理コントローラが同じものを備え、各情報処理コントローラのメインプロセッサ21が実行するもので、後述のMS(マスター/スレーブ)マネージャ及び能力交換プログラムを含む。
機能プログラムは、メインプロセッサ21が実行するもので、記録用、再生用、素材検索用など、情報処理コントローラごとに情報処理装置に応じたものが備えられる。
デバイスドライバは、情報処理コントローラ(情報処理装置)の入出力(送受信)用で、放送受信、モニタ出力、ビットストリーム入出力、ネットワーク入出力など、情報処理コントローラ毎に情報処理装置に応じたものが備えられる。
情報処理装置が物理的にネットワーク9に接続された状態で、情報処理装置に主電源が投入され、情報処理装置が電気的・機能的にもネットワーク9に接続されると、その情報処理装置の情報処理コントローラのメインプロセッサ21は、制御プログラムに属する各プログラム、及びデバイスドライバに属する各プログラムを、メインメモリ26にロードする。
ロード手順としては、メインプロセッサ21は、まず、DC27に読み出し命令を実行させることによって、外部記録部28からプログラムを読み出し、次に、DMAC25に書き込み命令を実行させることによって、そのプログラムをメインメモリ26に書き込む。
機能プログラムに属する各プログラムについては、必要なときに必要なプログラムだけをロードするように構成してもよく、または、他のカテゴリに属するプログラムと同様に、主電源投入直後に各プログラムをロードするように構成してもよい。
ここで、機能プログラムに属する各プログラムは、ネットワークに接続された全ての情報処理装置の外部記録部28に記録されている必要はなく、いずれか1つの情報処理装置の外部記録部28に記録されていれば、前述の方法によって他の情報処理装置からロードすることができるので、結果的に図16の下段に示すように、仮想的な1台の情報処理装置7として機能プログラムを実行することができる。
また、前述したようにメインプロセッサ21によって処理される機能プログラムは、サブプロセッサ23によって処理されるサブプロセッサプログラムと連携動作する場合がある。そこでメインプロセッサ21が外部記録部28から機能プログラムを読み出し、メインメモリ26に書き込む際に対象となる機能プログラムと連携動作するサブプロセッサプログラムが存在する場合には、当該サブプロセッサプログラムも併せて同じメインメモリ26に書き込むものとする。この場合、連携動作するサブプロセッサプログラムは1個である場合もあるし、複数個であることもあり得る。複数個である場合には、全ての連携動作するサブプロセッサプログラムをメインメモリ26に書き込むことになる。メインメモリ26に書き込まれたサブプロセッサプログラムはその後、サブプロセッサ23内のLS24に書き込まれ、メインプロセッサ21によって処理される機能プログラムと連携動作する。
図14のソフトウェアセルに示したように、機能プログラムには、プログラムごとにプログラムを一意的に識別できる識別子が、機能プログラムIDとして割り当てられる。機能プログラムIDは、機能プログラムの作成の段階で、作成日時や情報処理装置IDなどから決定される。
そしてサブプロセッサプログラムにもサブプロセッサプログラムIDが割り当てられ、これによりサブプロセッサプログラムを一意的に識別可能である。割り当てられるサブプロセッサプログラムIDは、連携動作する相手となる機能プログラムの機能プログラムIDと関連性のある識別子、例えば機能プログラムIDを親番号とした上で最後尾に枝番号を付加させたもの等であることもあり得るし、連携動作する相手となる機能プログラムの機能プログラムIDとは関連性のない識別子であってもよい。いずれにしても機能プログラムとサブプロセッサプログラムが連携動作する場合には、両者とも相手の識別子であるプログラムIDを自プログラム内に互いに記憶しておく必要がある。機能プログラムが複数個のサブプロセッサプログラムと連携動作する場合にも、当該機能プログラムは複数個ある全てのサブプロセッサプログラムのサブプロセッサプログラムIDを記憶しておくことになる。
メインプロセッサ21は、自身が動作する情報処理装置の装置情報(動作状態に関する情報)を格納するための領域をメインメモリ26に確保し、当該情報を自装置の装置情報テーブルとして記録する。ここでの装置情報は、図15に示した情報処理装置ID以下の各情報である。
上述したネットワークシステムでは、ある情報処理装置への主電源投入時、その情報処理装置の情報処理コントローラのメインプロセッサ21は、マスター/スレーブマネージャ(以下、MSマネージャ)をメインメモリ26にロードし、実行する。
MSマネージャは、自身が動作する情報処理装置がネットワーク9に接続されていることを検知すると、同じネットワーク9に接続されている他の情報処理装置の存在を確認する。ここでの「接続」または「存在」は、上述したように、情報処理装置が物理的にネットワーク9に接続されているだけでなく、電気的・機能的にもネットワーク9に接続されていることを示す。また、自身が動作する情報処理装置を自装置、他の情報処理装置を他装置と称する。当該装置も、当該情報処理装置を示すものとする。
MSマネージャが同じネットワーク9に接続されている他の情報処理装置の存在を確認する方法を以下に示す。
MSマネージャは、DMAコマンドがステータス要求コマンドであり、送信元ID及び応答先IDが当該情報処理装置で、送信先IDを特定しないソフトウェアセルを生成して、当該情報処理装置が接続されたネットワーク上に送信して、ネットワーク接続確認用のタイマーを設定する。タイマーのタイムアウト時間は、例えば10分とされる。
当該ネットワークシステム上に他の情報処理装置が接続されている場合、その他装置は、上記ステータス要求コマンドのソフトウェアセルを受信し、上記応答先IDで特定されるステータス要求コマンドを発行した情報処理装置に対して、DMAコマンドがステータス返信コマンドであり、かつデータとして自身(その他装置)の装置情報を含むソフトウェアセルを送信する。このステータス返信コマンドのソフトウェアセルには、少なくとも当該他装置を特定する情報(情報処理装置ID、メインプロセッサに関する情報、サブプロセッサに関する情報など)及び当該他装置のMSステータスが含まれる。
ステータス要求コマンドを発行した情報処理装置のMSマネージャは、上記ネットワーク接続確認用のタイマーがタイムアウトするまで、当該ネットワーク上の他装置から送信されるステータス返信コマンドのソフトウェアセルの受信を監視する。その結果、MSステータス=0(マスター装置)を示すステータス返信コマンドが受信された場合には、自装置の装置情報テーブルにおけるMSステータスを1に設定する。これによって、当該装置は、スレーブ装置となる。
一方、上記ネットワーク接続確認用のタイマーがタイムアウトするまでの間にステータス返信コマンドが全く受信されなかった場合、またはMSステータス=0(マスター装置)を示すステータス返信コマンドが受信されなかった場合には、自装置の装置情報テーブルにおけるMSステータスを0に設定する。これによって、当該装置は、マスター装置となる。
すなわち、いずれの装置もネットワーク9に接続されていない状態、またはネットワーク9上にマスター装置が存在しない状態において、新たな情報処理装置がネットワーク9に接続されると、当該装置は自動的にマスター装置として設定される。一方、ネットワーク9上に既にマスター装置が存在する状態において、新たな情報処理装置がネットワーク9に接続されると、当該装置は自動的にスレーブ装置として設定される。
マスター装置及びスレーブ装置のいずれについても、MSマネージャは、定期的にステータス要求コマンドをネットワーク9上の他装置に送信してステータス情報を照会することにより、他装置の状況を監視する。その結果、ネットワーク9に接続されている情報処理装置の主電源が遮断され、またはネットワーク9から情報処理装置が切り離されることにより、予め判定用に設定された所定期間内に特定の他装置からステータス返信コマンドが返信されなかった場合や、ネットワーク9に新たな情報処理装置が接続された場合など、ネットワーク9の接続状態に変化があった場合には、その情報を後述の能力交換プログラムに通知する。
メインプロセッサ21は、MSマネージャから、ネットワーク9上の他装置の照会及び自装置のMSステータスの設定完了の通知を受けると、能力交換プログラムを実行する。
能力交換プログラムは、自装置がマスター装置である場合には、ネットワーク9に接続されている全ての他装置の装置情報、すなわち各スレーブ装置の装置情報を取得する。他装置の装置情報の取得は、上述したように、DMAコマンドがステータス要求コマンドであるソフトウェアセルを生成して他装置に送信し、その後、DMAコマンドがステータス返信コマンドで、かつデータとして他装置の装置情報を含むソフトウェアセルを他装置から受信することによって可能である。
能力交換プログラムは、マスター装置である自装置の装置情報テーブルと同様に、ネットワーク9に接続されている全ての他装置(各スレーブ装置)の装置情報を格納するための領域を自装置のメインメモリ26に確保し、これら情報を他装置(スレーブ装置)の装置情報テーブルとして記録する。すなわち、マスター装置のメインメモリ26には、自装置を含むネットワーク9に接続されている全ての情報処理装置の装置情報が、装置情報テーブルとして記録される。
一方、自装置がスレーブ装置である場合には、能力交換プログラムは、ネットワーク9に接続されている全ての他装置の装置情報、すなわちマスター装置及び自装置以外の各スレーブ装置の装置情報を取得し、これら装置情報に含まれる情報処理装置ID及びMSステータスを、自装置のメインメモリ26に記録する。すなわち、スレーブ装置のメインメモリ26には、自装置の装置情報が、装置情報テーブルとして記録されるとともに、自装置以外のネットワーク9に接続されているマスター装置及び各スレーブ装置についての情報処理装置ID及びMSステータスが、別の装置情報テーブルとして記録される。
また、マスター装置及びスレーブ装置のいずれについても、能力交換プログラムは、上記のようにMSマネージャから、新たにネットワーク9に情報処理装置が接続されたことが通知されたときには、その情報処理装置の装置情報を取得し、上述したようにメインメモリ26に記録する。
なお、MSマネージャ及び能力交換プログラムは、メインプロセッサ21で実行されることに限らず、いずれかのサブプロセッサ23で実行されてもよい。また、MSマネージャ及び能力交換プログラムは、情報処理装置の主電源が投入されている間は常時動作する常駐プログラムであることが望ましい。
マスター装置及びスレーブ装置のいずれについても、能力交換プログラムは、上記のようにMSマネージャから、ネットワーク9に接続されている情報処理装置の主電源が遮断され、またはネットワーク9から情報処理装置が切り離されたことが通知されたときには、その情報処理装置の装置情報テーブルを自装置のメインメモリ26から削除する。
更に、このようにネットワーク9から切断された情報処理装置がマスター装置である場合には、以下のような方法によって、新たにマスター装置が決定される。
具体的には、例えば、ネットワーク9から切断されていない情報処理装置は、それぞれ、自装置及び他装置の情報処理装置IDを数値に置き換えて、自装置の情報処理装置IDを他装置の情報処理装置IDと比較し、自装置の情報処理装置IDがネットワーク9から切断されていない情報処理装置中で最小である場合、そのスレーブ装置は、マスター装置に移行して、MSステータスを0に設定し、マスター装置として、上述したように、ネットワーク9に接続されている全ての他装置(各スレーブ装置)の装置情報を取得して、メインメモリ26に記録する。
図16の下段に示したようにネットワーク9に接続されている複数の情報処理装置1、2、3、4を仮想的な1台の情報処理装置7として動作させるためには、マスター装置がユーザの操作及びスレーブ装置の動作状態を把握する必要がある。
図18に、4台の情報処理装置が仮想的な1台の情報処理装置7として動作する様子を示す。情報処理装置1がマスター装置、情報処理装置2、3、4がスレーブ装置A、B、Cとして、動作しているものとする。
ユーザがネットワーク9に接続されている情報処理装置を操作した場合、操作対象がマスター装置1であれば、その操作情報は、マスター装置1において直接把握され、操作対象がスレーブ装置であれば、その操作情報は、操作されたスレーブ装置からマスター装置1に送信される。すなわち、ユーザの操作対象がマスター装置1とスレーブ装置のいずれであるかにかかわらず、その操作情報は常にマスター装置1において把握される。操作情報の送信は、例えば、DMAコマンドが操作情報送信コマンドであるソフトウェアセルによって行われる。
そして、マスター装置1内の情報処理コントローラ11に含まれるメインプロセッサ21−1は、その操作情報に従って、実行する機能プログラムを選択する。その際、必要であれば、マスター装置1内の情報処理コントローラ11に含まれるメインプロセッサ21−1は、上記の方法によって自装置の外部記録部28−1、28−2からメインメモリ26−1に機能プログラムをロードするが、他の情報処理装置(スレーブ装置)がマスター装置1に機能プログラムを送信してもよい。
機能プログラムには、その実行単位毎に必要となる、図15に示した各情報として表される情報処理装置種別ID、メインプロセッサまたはサブプロセッサの処理能力、メインメモリ使用量、外部記録部に関する条件等の、装置に関する要求スペックが規定されている。
マスター装置1内の情報処理コントローラ11に含まれるメインプロセッサ21−1は、各機能プログラムについて必要となる上記要求スペックを読み出す。また、予め能力交換プログラムによってメインメモリ26−1に記録された装置情報テーブルを参照し、各情報処理装置の装置情報を読み出す。ここでの装置情報は、図15に示した情報処理装置ID以下の各情報を示し、メインプロセッサ、サブプロセッサ、メインメモリ及び外部記録部に関する情報である。
マスター装置1内の情報処理コントローラ11に含まれるメインプロセッサ21−1は、ネットワーク9上に接続された各情報処理装置の上記装置情報と、機能プログラム実行に必要となる上記要求スペックとを順次比較する。
そして、例えば、機能プログラムが録画機能を必要とする場合には、情報処理装置種別IDに基づいて、録画機能を有する情報処理装置のみを特定して抽出する。更に、機能プログラムを実行するために必要なメインプロセッサまたはサブプロセッサの処理能力、メインメモリ使用量、外部記録部に関する条件を確保できるスレーブ装置を、実行要求候補装置として特定する。ここで、複数の実行要求候補装置が特定された場合には、当該候補装置から1つの実行要求候補装置を特定して選択する。
実行要求するスレーブ装置が特定されたら、マスター装置1内の情報処理コントローラ11に含まれるメインプロセッサ21−1は、その特定されたスレーブ装置について、自装置内の情報処理コントローラ11に含まれるメインメモリ26−1に記録されている当該スレーブ装置の装置情報テーブルを更新する。
更に、マスター装置1内の情報処理コントローラ11に含まれるメインプロセッサ21−1は、DMAコマンドがロードコマンド及びキックコマンドであるソフトウェアセルを生成し、当該ソフトウェアセルのセルインターフェースに、機能プログラムに関する必要なサブプロセッサの情報及びサンドボックスサイズ(図14参照)を設定して、上記実行要求されるスレーブ装置に対して送信する。
機能プログラムの実行を要求されたスレーブ装置は、その機能プログラムを実行するとともに、自装置の装置情報テーブルを更新する。その際、必要であれば、スレーブ装置内の情報処理コントローラに含まれるメインプロセッサ21は、上記の方法によって自装置の外部記録部28からメインメモリ26に機能プログラムおよび当該機能プログラムと連携動作するサブプロセッサプログラムをロードする。
機能プログラムの実行を要求されたスレーブ装置の外部記録部28に、必要な機能プログラムまたは当該機能プログラムと連携動作するサブプロセッサプログラムが記録されていない場合には、他の情報処理装置が当該機能プログラムまたはサブプロセッサプログラムを、その機能プログラム実行要求先スレーブ装置に送信するように、システムを構成すればよい。
サブプロセッサプログラムについては、前述のロードコマンドおよびキックコマンドを利用して他の情報処理装置に実行させることもできる。
機能プログラムの実行終了後、機能プログラムを実行したスレーブ装置内の情報処理コントローラに含まれるメインプロセッサ21は、終了通知をマスター装置1内の情報処理コントローラ11に含まれるメインプロセッサ21−1に送信するとともに、自装置の装置情報テーブルを更新する。マスター装置1内の情報処理コントローラ11に含まれるメインプロセッサ21−1は、その終了通知を受信して、機能プログラムを実行したスレーブ装置の装置情報テーブルを更新する。
マスター装置1内の情報処理コントローラ11に含まれるメインプロセッサ21−1は、自装置及び他装置の装置情報テーブルの参照結果から、当該の機能プログラムを実行することができる情報処理装置として、自身を選択する場合もあり得る。その場合には、マスター装置1が当該機能プログラムを実行する。
図18の例で、ユーザがスレーブ装置A(情報処理装置2)を操作し、当該操作に応じた機能プログラムを別のスレーブ装置B(情報処理装置3)が実行する場合について、図19を用いてその分散処理の例を説明する。
図19の例では、ユーザがスレーブ装置Aを操作することによって、スレーブ装置Aを含むネットワークシステム全体の分散処理が開始して、まず、スレーブ装置Aは、ステップ81で、その操作情報をマスター装置1に送信する。
マスター装置1は、ステップ72で、その操作情報を受信し、さらにステップ73に進んで、自装置のメインメモリ26−1に記録されている自装置及び他装置の装置情報テーブルから、各情報処理装置の動作状態を調べて、受信した操作情報に応じた機能プログラムを実行することができる情報処理装置を選択する。この例は、スレーブ装置Bが選択される場合である。
次に、マスター装置1は、ステップ74で、その選択したスレーブ装置Bに対して機能プログラムの実行を要求する。
スレーブ装置Bは、ステップ95で、その実行要求を受信し、さらにステップ96に進んで、実行要求された機能プログラムを実行する。
以上のように、ユーザは、1台の情報処理装置のみを操作することによって、他の情報処理装置を操作することなく、複数の情報処理装置1、2、3、4を仮想的な1台の情報処理装置7として動作させることができる。
次に、以上説明したネットワークシステムを、本発明に適用した場合の実施の形態について説明する。図20は、本実施形態における表示システムの構成を示した図である。同図においては、上述の図12における情報処理装置1に上述のサーバ101を、情報処理装置2に表示装置102を、そして情報処理装置3に椅子103を適用している。同図において、上述の第1〜第3の実施形態と同様の構成となる部分については同一の符号を付して説明を簡略または省略し、異なる点を中心に説明する。なお、上記図12における情報処理装置1のメインメモリ26−1に、上記第1実施形態の図1におけるRAM107を、外部記憶部26−1及び26−2に、図1におけるROM106及びHDD112を適用している。
上記サーバ101、表示装置102及び椅子103は、それぞれ上述のメインプロセッサ、サブプロセッサを含む情報処理コントローラを有し、上記DMAコマンド等によりソフトウェアセルを実行したり、各種データをやり取りしたりすることが可能である。よって、各機器には、それぞれを識別するための上記情報処理装置IDが付与されている。
本実施形態においては、サーバ101は、上述の距離情報、方向情報及び姿勢情報等をソフトウェアセルにより受信し、また、それらを基に生成した仮想空間画像をソフトウェアセルにより表示装置102へ送信する。
図21は、表示装置102がサーバ101に対して送信するソフトウェアセルの例を示した図である。
同図に示すように、このソフトウェアセルにおいて、送信元IDは表示装置102の情報処理装置ID、送信先ID及び応答先IDはサーバ101の情報処理装置IDである。
またDMAコマンドとして仮想空間画像生成コマンドを送信し、データとして、表示装置102が上記超音波センサ部115及びジャイロセンサ部116により検出した表示装置と視点との距離情報及び表示装置の姿勢情報を送信する。具体的には、例えば距離情報としては20cm、姿勢情報としては、X軸、Y軸及びZ軸それぞれに対する傾きとして、20°、10°、15°といったデータを送信する。更に、表示装置102が当該ソフトウェアセル以前にもサーバ101に対してソフトウェアセルを送信している場合には、セルインターフェース中、前回のソフトウェアセルIDとして、前回送信した際のソフトウェアセルのグローバルIDを送信する。
図22は、椅子103がサーバ101に対して送信するソフトウェアセルの例を示した図である。
同図に示すように、このソフトウェアセルにおいて、送信元IDは椅子103の情報処理装置ID、送信先ID及び応答先IDはサーバ101の情報処理装置IDである。
またDMAコマンドとして仮想空間画像生成コマンドを送信し、データとして、椅子103が回転角センサ部118により検出した椅子103の回転角度、例えば45°等のデータを送信する。更に、椅子103が当該ソフトウェアセル以前にもサーバ101に対してソフトウェアセルを送信している場合には、セルインターフェース中、前回のソフトウェアセルIDとして、前回送信した際のソフトウェアセルのグローバルIDを送信する。
図23は、サーバ101が表示装置102に対して送信するソフトウェアセルの例を示した図である。
同図に示すように、このソフトウェアセルにおいて、送信元IDはサーバ101の情報処理装置ID、送信先ID及び応答先IDは表示装置102の情報処理装置IDである。
またDMAコマンドとして仮想空間画像表示コマンドを送信し、データとして、サーバ101が生成した仮想空間画像を送信する。当該画像は、例えばJPEG(Joint Photographic Experts Group)やBitmap等の形式である。更に、サーバ101が当該ソフトウェアセル以前にも表示装置102に対してソフトウェアセルを送信している場合には、セルインターフェース中、前回のソフトウェアセルIDとして、前回送信した際のソフトウェアセルのグローバルIDを送信する。
次に、本実施形態において以上のように構成された表示システムが、表示装置102へ仮想空間画像を送信するまでの動作を説明する。図24は、当該動作の流れを示したフロー図である。同図において、上記図8と同様の処理となる部分については同一の符号を付し、説明を省略または簡略化し、異なる点を中心に説明する。なお、本実施形態においては、サーバ101が上記マスター装置、表示装置102及び椅子103がスレーブ装置として機能する。
同図に示すように、サーバ101は、上記図8の場合と同様、ユーザの選択を基に全方位の仮想空間画像を作成して、表示装置102等の情報を初期化しておく(ステップ801〜803)。表示装置102も、同様に表示装置102と視点との距離及び表示装置102の姿勢を検出して(ステップ804、805)、当該距離及び姿勢のデータを上記図21で示したソフトウェアセルによりサーバ101へ送信する(ステップ31)
一方椅子103も上記と同様にして椅子103の回転角度を検出し、当該回転角度データを上記図22で示したソフトウェアセルによりサーバ101へ送信する(ステップ32)。
サーバ101は当該2つのソフトウェアセルを受信して(ステップ33、34)、後は上記と同様の処理によりユーザの視点及び視野に応じた仮想空間画像を生成し(ステップ811〜813)、当該画像を上記図23で示したソフトウェアセルにより表示装置102へ送信する(ステップ35)。表示装置102は当該ソフトウェアセルを受信し(ステップ36)、上記と同様に仮想空間画像を表示部114に表示する(ステップ816)。
以上の動作により、サーバ101、表示装置102及び椅子103を仮想的な1台の情報処理装置として動作させ、仮想空間画像を表示させることができる。
なお、上記本実施形態におけるネットワークシステムに、上記第2の実施形態におけるカメラ901や上記第3の実施形態におけるカメラ901a〜901eを適用することも勿論可能である。その場合は、カメラがスレーブ装置として機能し、撮影した画像から検出したデータを、ソフトウェアセルを用いてマスター装置であるサーバ101へ送信するようにすればよい。
また、当該ネットワークシステムは上記室内インテリアの展示会場だけでなく、例えば家庭内におけるバーチャルゲーム等、仮想空間を提供するための様々な環境に適用することが可能である。
101…サーバ
102…表示装置
103…椅子
104…LAN
105…CPU
106…ROM
107…RAM
108…通信部
109…情報入力部
110…グラフィックコントローラ
111…VRAM
112…HDD
113…バス
114…表示部
115…超音波センサ部
116…ジャイロセンサ部
117…通信部
118…回転角センサ部
119…通信部
901…カメラ
902…認識マーク
102…表示装置
103…椅子
104…LAN
105…CPU
106…ROM
107…RAM
108…通信部
109…情報入力部
110…グラフィックコントローラ
111…VRAM
112…HDD
113…バス
114…表示部
115…超音波センサ部
116…ジャイロセンサ部
117…通信部
118…回転角センサ部
119…通信部
901…カメラ
902…認識マーク
Claims (12)
- 仮想空間の所定の範囲の画像情報を記憶する記憶手段と、
ユーザの視点から当該ユーザが所持しながら自在に移動させることが可能な表示装置までの距離情報と、前記ユーザの視点から前記表示装置に対する方向情報と、前記表示装置の姿勢情報とを取得する取得手段と、
前記取得された距離情報、方向情報及び姿勢情報を基に、前記ユーザの視点から前記表示装置に対する視角情報を算出する算出手段と、
前記算出された視角情報及び前記記憶された画像情報を基に、前記ユーザの視点から前記表示装置を通して見た仮想空間画像を生成する生成手段と、
前記生成された仮想空間画像を前記表示装置に表示させるために、当該表示装置へ送信する送信手段と
を具備することを特徴とするサーバ装置。 - 請求項1に記載のサーバ装置であって、
前記生成手段は、
前記仮想空間画像を前記表示装置の表示面の大きさに合わせて拡大縮小する手段と、
前記仮想空間画像の縦横比率を前記表示装置の姿勢に合わせて変更する手段と
を有することを特徴とするサーバ装置。 - 請求項1に記載のサーバ装置であって、
上記表示装置は超音波センサを有し、
前記距離情報は、椅子に座っているユーザまたは当該椅子に反射した超音波により検出されることを特徴とするサーバ装置。 - 請求項3に記載のサーバ装置であって、
前記椅子は、当該椅子の縦方向の軸を中心に回転することが可能であり、かつ、前記方向情報を検出するための回転角センサを有することを特徴とするサーバ装置。 - 請求項1に記載のサーバ装置であって、
前記姿勢情報は、前記表示装置の表示面の縦方向の軸、横方向の軸及び奥行き方向の軸に対する傾き情報を含むことを特徴とするサーバ装置。 - 請求項5に記載のサーバ装置であって、
前記表示装置は、前記縦方向、横方向及び奥行き方向の軸に対する各傾き情報のうち、少なくとも一つの傾き情報を検出するためのジャイロセンサを有することを特徴とするサーバ装置。 - 請求項3に記載のサーバ装置であって、
前記椅子及び表示装置の上方空間にはカメラが設けられ、
前記表示装置は当該表示装置の表面に2次元バーコードを有し、
前記距離情報は、前記カメラで撮像された前記2次元バーコードが認識されることにより検出されることを特徴とするサーバ装置。 - 請求項3に記載のサーバ装置であって、
前記椅子及び表示装置の周囲の空間には複数のカメラが設けられ、
前記距離情報、方向情報及び姿勢情報は、前記カメラによって撮像された複数の画像中の前記椅子及び表示装置の画像が解析されることにより検出されることを特徴とするサーバ装置。 - 仮想空間の画像を表示させることが可能な表示装置であって、
当該表示装置から前記ユーザの視点までの距離情報及び当該表示装置の姿勢情報を検出する検出手段と、
前記検出された距離情報及び姿勢情報を、ネットワークを介して接続されたサーバ装置へ送信する送信手段と、
前記サーバ装置が前記送信された情報を基に生成した、前記ユーザの視点から前記表示装置を通して見た仮想空間画像を、当該サーバ装置から受信する受信手段と、
前記受信された仮想空間画像を表示する表示手段と
を具備することを特徴とする表示装置。 - サーバ装置と、ユーザが所持しながら自在に移動させることが可能な表示装置とがネットワークを介して互いに通信を行うことが可能なシステムであって、
前記サーバ装置は、
仮想空間の所定の範囲の画像情報を記憶する手段と、前記ユーザから前記表示装置までの距離情報と、前記ユーザに対する前記表示装置の方向情報と、前記表示装置の姿勢情報とを前記表示装置から受信する手段と、前記受信された距離情報、方向情報及び姿勢情報を基に、前記ユーザの前記表示装置に対する視角情報を算出する手段と、前記算出された視角情報及び前記記憶された画像情報を基に、前記ユーザの視点から前記表示装置を通して見た仮想空間画像を生成する手段と、前記生成された仮想空間画像を前記表示装置に表示させるために当該表示装置へ送信する手段とを有し、
前記表示装置は、
前記距離情報、方向情報及び姿勢情報を検出する手段と、前記検出された距離情報、方向情報及び姿勢情報を前記サーバ装置へ送信する手段と、前記サーバ装置が当該送信された情報を基に生成した前記仮想空間画像を当該サーバ装置から受信する手段と、前記受信された仮想空間画像を表示する手段とを有する
ことを特徴とする表示システム。 - 仮想空間の所定の範囲の画像情報を記憶するステップと、
ユーザの視点から当該ユーザが所持しながら自在に移動させることが可能な表示装置までの距離情報と、前記ユーザの視点から前記表示装置に対する方向情報と、前記表示装置の姿勢情報とを取得するステップと、
前記取得された距離情報、方向情報及び姿勢情報を基に、前記ユーザの視点から前記表示装置に対する視角情報を算出するステップと、
前記算出された視角情報及び前記記憶された画像情報を基に、前記ユーザの視点から前記表示装置を通して見た仮想空間画像を生成するステップと、
前記生成された仮想空間画像を前記表示装置に表示させるために、当該表示装置へ送信するステップと
を具備することを特徴とする表示方法。 - サーバ装置を、
仮想空間の所定の範囲の画像情報を記憶するステップと、
ユーザの視点から当該ユーザが所持しながら自在に移動させることが可能な表示装置までの距離情報と、前記ユーザの視点から前記表示装置に対する方向情報と、前記表示装置の姿勢情報とを取得するステップと、
前記取得された距離情報、方向情報及び姿勢情報を基に、前記ユーザの視点から前記表示装置に対する視角情報を算出するステップと、
前記算出された視角情報及び前記記憶された画像情報を基に、前記ユーザの視点から前記表示装置を通して見た仮想空間画像を生成するステップと、
前記生成された仮想空間画像を前記表示装置に表示させるために、当該表示装置へ送信するステップ
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004123711A JP2005309638A (ja) | 2004-04-20 | 2004-04-20 | サーバ装置、表示装置、表示システム、表示方法及びそのプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004123711A JP2005309638A (ja) | 2004-04-20 | 2004-04-20 | サーバ装置、表示装置、表示システム、表示方法及びそのプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2005309638A true JP2005309638A (ja) | 2005-11-04 |
Family
ID=35438385
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004123711A Pending JP2005309638A (ja) | 2004-04-20 | 2004-04-20 | サーバ装置、表示装置、表示システム、表示方法及びそのプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2005309638A (ja) |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008097599A (ja) * | 2006-10-11 | 2008-04-24 | Internatl Business Mach Corp <Ibm> | 模擬視差および視野変化を伴う仮想ウィンドウの方法、システム、およびコンピュータ・プログラムが記録された記録媒体(模擬視差および視野変化を伴う仮想ウィンドウ) |
JP2010061545A (ja) * | 2008-09-05 | 2010-03-18 | Nintendo Co Ltd | 画像処理プログラムおよび画像処理装置 |
JP2011154574A (ja) * | 2010-01-27 | 2011-08-11 | Namco Bandai Games Inc | プログラム、情報記憶媒体、ゲームシステム |
JP2012033038A (ja) * | 2010-07-30 | 2012-02-16 | Fujitsu Ltd | 模擬映像生成装置、方法、プログラム |
JP2012043345A (ja) * | 2010-08-23 | 2012-03-01 | Canon Inc | 画像処理装置および方法 |
CN102597925A (zh) * | 2009-10-30 | 2012-07-18 | Sca株式会社 | 向生物体传输信息的信息传输装置 |
JP2014529094A (ja) * | 2011-08-02 | 2014-10-30 | マイクロソフト コーポレーション | 表示装置閲覧モード間の変更 |
CN104205037A (zh) * | 2012-03-23 | 2014-12-10 | 微软公司 | 光导显示和视野 |
US9684174B2 (en) | 2012-02-15 | 2017-06-20 | Microsoft Technology Licensing, Llc | Imaging structure with embedded light sources |
US9726887B2 (en) | 2012-02-15 | 2017-08-08 | Microsoft Technology Licensing, Llc | Imaging structure color conversion |
US9779643B2 (en) | 2012-02-15 | 2017-10-03 | Microsoft Technology Licensing, Llc | Imaging structure emitter configurations |
US9807381B2 (en) | 2012-03-14 | 2017-10-31 | Microsoft Technology Licensing, Llc | Imaging structure emitter calibration |
JP6276882B1 (ja) * | 2017-05-19 | 2018-02-07 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
US10018844B2 (en) | 2015-02-09 | 2018-07-10 | Microsoft Technology Licensing, Llc | Wearable image display system |
JP2018195287A (ja) * | 2018-01-12 | 2018-12-06 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
US10192358B2 (en) | 2012-12-20 | 2019-01-29 | Microsoft Technology Licensing, Llc | Auto-stereoscopic augmented reality display |
US10191515B2 (en) | 2012-03-28 | 2019-01-29 | Microsoft Technology Licensing, Llc | Mobile device light guide display |
US10317677B2 (en) | 2015-02-09 | 2019-06-11 | Microsoft Technology Licensing, Llc | Display system |
US10388073B2 (en) | 2012-03-28 | 2019-08-20 | Microsoft Technology Licensing, Llc | Augmented reality light guide display |
US10478717B2 (en) | 2012-04-05 | 2019-11-19 | Microsoft Technology Licensing, Llc | Augmented reality and physical games |
US10502876B2 (en) | 2012-05-22 | 2019-12-10 | Microsoft Technology Licensing, Llc | Waveguide optics focus elements |
-
2004
- 2004-04-20 JP JP2004123711A patent/JP2005309638A/ja active Pending
Cited By (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008097599A (ja) * | 2006-10-11 | 2008-04-24 | Internatl Business Mach Corp <Ibm> | 模擬視差および視野変化を伴う仮想ウィンドウの方法、システム、およびコンピュータ・プログラムが記録された記録媒体(模擬視差および視野変化を伴う仮想ウィンドウ) |
JP2010061545A (ja) * | 2008-09-05 | 2010-03-18 | Nintendo Co Ltd | 画像処理プログラムおよび画像処理装置 |
US8284158B2 (en) | 2008-09-05 | 2012-10-09 | Nintendo Co., Ltd. | Computer readable recording medium recording image processing program and image processing apparatus |
CN102597925A (zh) * | 2009-10-30 | 2012-07-18 | Sca株式会社 | 向生物体传输信息的信息传输装置 |
JP2011154574A (ja) * | 2010-01-27 | 2011-08-11 | Namco Bandai Games Inc | プログラム、情報記憶媒体、ゲームシステム |
JP2012033038A (ja) * | 2010-07-30 | 2012-02-16 | Fujitsu Ltd | 模擬映像生成装置、方法、プログラム |
JP2012043345A (ja) * | 2010-08-23 | 2012-03-01 | Canon Inc | 画像処理装置および方法 |
JP2014529094A (ja) * | 2011-08-02 | 2014-10-30 | マイクロソフト コーポレーション | 表示装置閲覧モード間の変更 |
US9779643B2 (en) | 2012-02-15 | 2017-10-03 | Microsoft Technology Licensing, Llc | Imaging structure emitter configurations |
US9684174B2 (en) | 2012-02-15 | 2017-06-20 | Microsoft Technology Licensing, Llc | Imaging structure with embedded light sources |
US9726887B2 (en) | 2012-02-15 | 2017-08-08 | Microsoft Technology Licensing, Llc | Imaging structure color conversion |
US9807381B2 (en) | 2012-03-14 | 2017-10-31 | Microsoft Technology Licensing, Llc | Imaging structure emitter calibration |
JP2015518199A (ja) * | 2012-03-23 | 2015-06-25 | マイクロソフト コーポレーション | 光ガイドディスプレイ及び視野 |
CN104205037A (zh) * | 2012-03-23 | 2014-12-10 | 微软公司 | 光导显示和视野 |
US11068049B2 (en) | 2012-03-23 | 2021-07-20 | Microsoft Technology Licensing, Llc | Light guide display and field of view |
US10388073B2 (en) | 2012-03-28 | 2019-08-20 | Microsoft Technology Licensing, Llc | Augmented reality light guide display |
US10191515B2 (en) | 2012-03-28 | 2019-01-29 | Microsoft Technology Licensing, Llc | Mobile device light guide display |
US10478717B2 (en) | 2012-04-05 | 2019-11-19 | Microsoft Technology Licensing, Llc | Augmented reality and physical games |
US10502876B2 (en) | 2012-05-22 | 2019-12-10 | Microsoft Technology Licensing, Llc | Waveguide optics focus elements |
US10192358B2 (en) | 2012-12-20 | 2019-01-29 | Microsoft Technology Licensing, Llc | Auto-stereoscopic augmented reality display |
US10317677B2 (en) | 2015-02-09 | 2019-06-11 | Microsoft Technology Licensing, Llc | Display system |
US10018844B2 (en) | 2015-02-09 | 2018-07-10 | Microsoft Technology Licensing, Llc | Wearable image display system |
JP2018195177A (ja) * | 2017-05-19 | 2018-12-06 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
JP6276882B1 (ja) * | 2017-05-19 | 2018-02-07 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
JP2018195287A (ja) * | 2018-01-12 | 2018-12-06 | 株式会社コロプラ | 情報処理方法、装置、および当該情報処理方法をコンピュータに実行させるためのプログラム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2005309638A (ja) | サーバ装置、表示装置、表示システム、表示方法及びそのプログラム | |
US20210125414A1 (en) | Systems and methods for virtual and augmented reality | |
JP6798019B2 (ja) | パノラマ画像の表示制御方法、装置及び記憶媒体 | |
US9443353B2 (en) | Methods and systems for capturing and moving 3D models and true-scale metadata of real world objects | |
US6421047B1 (en) | Multi-user virtual reality system for simulating a three-dimensional environment | |
CN111145294B (zh) | 二维户型图构建方法及装置、存储介质 | |
JP4677733B2 (ja) | サーバ装置、表示装置及び表示方法 | |
US10620807B2 (en) | Association of objects in a three-dimensional model with time-related metadata | |
US11244518B2 (en) | Digital stages for presenting digital three-dimensional models | |
Diakité et al. | First experiments with the tango tablet for indoor scanning | |
JP2016006589A (ja) | 表示装置、制御プログラム、および制御方法 | |
US11682174B1 (en) | Automated measurement of interior spaces through guided modeling of dimensions | |
JP2021034897A (ja) | 画像処理装置、画像通信システム、画像処理方法、及びプログラム | |
US10572231B1 (en) | Component grouping for application development | |
JP2006040053A (ja) | 画像処理方法及びプログラム | |
JP5910136B2 (ja) | 画像出力装置及びプログラム | |
CN115115786A (zh) | 用于三维模型生成的方法、装置、设备和存储介质 | |
JP7045863B2 (ja) | 情報管理システム、情報管理方法、及びプログラム | |
JP2023082830A (ja) | 建築予定建物確認システム | |
WO2021121061A1 (zh) | 用于设置虚拟对象的空间位置的方法和电子设备 | |
JP5630398B2 (ja) | 住宅情報提供システム、住宅情報提供方法、及び、住宅情報提供プログラム | |
JP2009134390A (ja) | 構造物シミュレーションシステム及びサーバ装置 | |
CN108920598A (zh) | 全景图浏览方法、装置、终端设备、服务器及存储介质 | |
US20240144547A1 (en) | Electronic device for providing information on virtual space and method thereof | |
US11875462B2 (en) | Systems for augmented reality authoring of remote environments |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060424 |