JP4190590B2 - Virtual reality space providing method and virtual reality space providing device - Google Patents

Virtual reality space providing method and virtual reality space providing device Download PDF

Info

Publication number
JP4190590B2
JP4190590B2 JP22451994A JP22451994A JP4190590B2 JP 4190590 B2 JP4190590 B2 JP 4190590B2 JP 22451994 A JP22451994 A JP 22451994A JP 22451994 A JP22451994 A JP 22451994A JP 4190590 B2 JP4190590 B2 JP 4190590B2
Authority
JP
Japan
Prior art keywords
user
service provider
virtual reality
information
reality space
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP22451994A
Other languages
Japanese (ja)
Other versions
JPH0887489A (en
Inventor
宏明 北野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP22451994A priority Critical patent/JP4190590B2/en
Publication of JPH0887489A publication Critical patent/JPH0887489A/en
Application granted granted Critical
Publication of JP4190590B2 publication Critical patent/JP4190590B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【産業上の利用分野】
本発明は、例えばバーチャルリアリティ(仮想現実空間)を生成し、ユーザに提供するサイバースペースシステムに用いて好適な仮想現実空間提供方法および仮想現実空間提供装置に関する。
【0002】
【従来の技術】
図23は、従来のサイバースペースシステムの構成例を示している。サーバ1は記憶装置2を備え、記憶装置2に記憶されている画像データを公衆電話回線4を介して、各ユーザ端末3−1乃至3−3に供給するようになされている。
【0003】
各ユーザ端末3−1乃至3−3は、記憶装置2に予め用意されている100種類のキャラクタの中から所定のものを自分のキャラクタとして指定する。そして、そのキャラクタを、サーバ1が提供する仮想現実空間内において移動させ、仮想現実空間での生活を楽しむことができるようになされている。
【0004】
例えばユーザ端末3−1が、通常の公衆電話回線4を介してサーバ1にアクセスし、仮想現実空間の画像の提供を受ける。ユーザ端末3−1において、所定の操作を行い、自分のキャラクタ(例えば、キャラクタA)を所定の方向に移動させるように指示すると、その移動方向に対応する画像がサーバ1より提供されてくる。これにより、ユーザ端末3−1は、自分のキャラクタAを、あたかも仮想現実空間が提供する町を移動させるようにして楽しむことができる。
【0005】
ユーザ端末3−2においても、同様に、自分のキャラクタ(例えば、キャラクタB)を指定し、このキャラクタBを、仮想現実空間内において移動させることができる。
【0006】
ユーザ端末3−1のキャラクタAと、ユーザ端末3−2のキャラクタBが、仮想現実空間の近傍の位置に移動した場合、サーバ1からユーザ端末3−1に提供される仮想現実空間の画像には、背景としての町の画像の他に、その町を移動するキャラクタBの画像も提供される。これにより、ユーザ端末3−1には、例えば図24に示すような画像が表示される。即ち、自分のキャラクタAが中央に配置され、その近傍には、ユーザ端末3−2のキャラクタBが位置している。
【0007】
同様に、ユーザ端末3−2には、図25に示すように画像が提供される。この図25においても、自分のキャラクタBが画面の中央に配置され、その近傍には、ユーザ端末3−1のキャラクタAが配置されている。
【0008】
自分のユーザ端末を操作して、対応するキャラクタを仮想現実空間において移動させると、例えば、その仮想現実空間の所定の位置には掲示板が設けられており、その掲示板には、この仮想現実空間におけるサービスに関するメッセージが記述されている。各ユーザは、キャラクタをその掲示板の位置に移動させることにより、その掲示板の内容を知ることができる。
【0009】
また、仮想現実空間の道端にメモが落ちていることがあり、このメモを取得する操作を行うと、そのメモに記述されているメッセージが画面に表示される。
【0010】
このようにして、サーバが各ユーザ端末に対して所定のメッセージを供給することができる。
【0011】
また、この仮想現実空間においては、この仮想現実空間内において使われる仮想現実の通貨が用意されており、各キャラクタは、この通貨を使って、仮想現実の商品を購入することができる。
【0012】
【発明が解決しようとする課題】
従来のシステムは、このように、仮想現実空間においてキャラクタに生活させることを、一種のゲームとして楽しむことができるようになされている。しかしながら、それは、あくまでゲームに過ぎず、現実の生活とのつながりが殆どなく、従って、すぐに飽きてしまう課題があった。
【0013】
また、上記例の場合、掲示板あるいはメモなどにより、所定のメッセージを伝達するようにしているのであるが、基本的に、道端に掲示板が置いてあったり、メモが落ちているようなことが、現実空間においては殆どなく、これらの掲示板あるいはメモは、メッセージを伝達するために特別に設けられた、所謂アイコンに相当している。このため、現実空間により近い仮想現実空間を構成することが困難である課題があった。
【0014】
また、ユーザに伝達するのがメッセージに限られ、例えば、衣服、電器製品、自動車といったような商品に関する情報を提供することが困難である課題があった。その結果、仮想現実空間に付加価値を付与することができず、その仮想現実空間が、結局、ゲーム空間の域を脱出することができない課題があった。
【0015】
本発明はこのような状況に鑑みてなされたものであり、現実の空間において存在する各種の商品やサービスに関する情報を提供できるようにし、現実の空間と密接に結合することによって、現実空間における各種の商品(サービス)を販売するといった経済活動を行い、仮想現実空間に対して付加価値を発生させることができるようにするものである。
【0016】
【課題を解決するための手段】
本発明の仮想現実空間提供方法は、ユーザ端末から仮想現実空間におけるユーザのキャラクタの位置データおよび視点データを通信装置に受信させる第1ステップと、第1ステップの処理により通信装置に受信させるユーザのキャラクタの位置データおよび視点データに対応する仮想現実空間の画像データである第1の画像データを生成し、通信装置に、生成した第1の画像データを、位置データおよび視点データを伝送してきたユーザ端末に対して送信させる第2ステップと、サービス提供者端末において、仮想現実空間内に存在するユーザのキャラクタが指定されているか否かを判定する第3ステップと、第3ステップの処理により、ユーザのキャラクタが指定されていないと判定される場合、仮想現実空間におけるサービス提供者端末のサービス提供者のキャラクタの位置データおよび視点データに基づいて仮想現実空間の画像データである第2の画像データを生成し、通信装置に、生成した第2の画像データをサービス提供者端末に対して送信させる第4ステップと、第3ステップの処理により、ユーザのキャラクタが指定されていると判定される場合、通信装置に、第2ステップの処理により生成された第1の画像データをサービス提供者端末に対して送信させる第5ステップとを含むことを特徴とする。
【0017】
前記第2ステップの処理により通信装置に送信させる第1の画像データを受信するユーザ端末より送信される、第1の画像データに含まれる所定の画像を指定する指定情報を、通信装置に受信させる第6ステップと、第6ステップの処理により通信装置に受信させる指定情報に対応する提供情報を記憶装置より読み出し、通信装置に、読み出した提供情報をユーザ端末に対して送信させる第7ステップとをさらに含むようにすることができる。
【0018】
前記通信装置に、第6ステップの処理により通信装置に受信させる指定情報をサービス提供者端末に対して送信させる第8ステップをさらに含むようにすることができる。
【0019】
前記第6ステップの処理により通信装置に受信させた指定情報は、所定の画像を指定する情報とユーザに関する情報を含むようにすることができる。
【0020】
前記第6ステップの処理により通信装置に受信させる指定情報を送信するユーザ端末からさらに送信される、仮想現実空間における第1の画像データを含む部分空間が割り当てられているサービス提供者端末へのアクセス情報を、通信装置に受信させる第8ステップ、通信装置に、第8ステップの処理により通信装置に受信させるアクセス情報を、アクセス情報が対応するサービス提供者端末に対して送信させる第9ステップと、第9ステップの処理により通信装置に送信させるアクセス情報を受信するサービス提供者端末より送信される、アクセス情報に対応するアクセス確認信号を、通信装置に受信させる第10ステップと、通信装置に、第10ステップの処理により通信装置に受信させるアクセス確認信号を、第8ステップの処理により通信装置に受信させるアクセス情報を送信するユーザ端末に対して送信させる第11ステップとをさらに含むようにすることができる。
第4ステップの処理または第5ステップの処理により通信装置に送信させる第2の画像データまたは第1の画像データを受信するサービス提供者端末より送信される、第1の画像データまたは第2の画像データに含まれる所定の画像を指定する指定情報を通信装置に受信させる第6ステップと、第6ステップの処理により通信装置に受信させる指定情報に対応する提供情報を記憶装置より読み出す第7ステップと、第6ステップの処理により通信装置に受信させる指定情報にユーザを指定するユーザ指定情報が含まれるか否かを判定する第8ステップと、第8ステップの処理によりユーザ指定情報が含まれると判定される場合、通信装置に、第7ステップの処理により記憶装置より読み出される提供情報を、サービス提供者端末、並びに、ユーザ指定情報に対応するユーザ端末に対して送信させる第9ステップと、第8ステップの処理によりユーザ指定情報が含まれないと判定される場合、通信装置に、第7ステップの処理により記憶装置より読み出される提供情報を、サービス提供者端末に対して送信させる第10ステップとをさらに含むようにすることができる。
本発明の仮想現実空間提供装置は、ユーザ端末から仮想現実空間におけるユーザのキャラクタの位置データおよび視点データを受信する第1の受信手段と、第1の受信手段により受信されるユーザのキャラクタの位置データおよび視点データに対応する仮想現実空間の画像データである第1の画像データを生成し、生成した第1の画像データを、位置データおよび視点データを伝送してきたユーザ端末に対して送信する第1の送信手段と、サービス提供者端末において、仮想現実空間内に存在するユーザのキャラクタが指定されているか否かを判定する第1の判定手段と、第1の判定手段によりユーザのキャラクタが指定されていないと判定される場合、仮想現実空間におけるサービス提供者端末のサービス提供者のキャラクタの位置データおよび視点データに基づいて仮想現実空間の画像データである第2の画像データを生成し、生成した第2の画像データをサービス提供者端末に対して送信する第2の送信手段と、第1の判定手段によりユーザのキャラクタが指定されていると判定される場合、第1の送信手段により生成される第1の画像データをサービス提供者端末に対して送信する第3の送信手段とを備えることを特徴とする。
前記第1の送信手段により送信される第1の画像データを受信するユーザ端末より送信される、第1の画像データに含まれる所定の画像を指定する指定情報を受信する第2の受信手段と、第2の受信手段により受信される指定情報に対応する提供情報を記憶装置より読み出し、読み出した提供情報をユーザ端末に対して送信する第4の送信手段とをさらに備えるようにすることができる。
前記第2の受信手段により受信される指定情報をサービス提供者端末に対して送信する第5の送信手段をさらに備えるようにすることができる。
前記第2の受信手段により受信される指定情報は、所定の画像を指定する情報とユーザに関する情報を含むようにすることができる。
前記第2の受信手段により受信される指定情報を送信するユーザ端末からさらに送信される、仮想現実空間における第1の画像データを含む部分空間が割り当てられているサービス提供者端末へのアクセス情報を受信する第3の受信手段と、第3の受信手段により受信されるアクセス情報を、アクセス情報が対応するサービス提供者端末に対して送信する第5の送信手段と、第5の送信手段により送信されるアクセス情報を受信するサービス提供者端末より送信される、アクセス情報に対応するアクセス確認信号を受信する第4の受信手段と、第4の受信手段により受信されるアクセス確認信号を、第3の受信手段により受信されるアクセス情報を送信するユーザ端末に対して送信する第6の送信手段とをさらに備えるようにすることができる。
前記第2の送信手段または第3の送信手段により送信される第2の画像データまたは第1の画像データを受信するサービス提供者端末より送信される、第1の画像データまたは第2の画像データに含まれる所定の画像を指定する指定情報を受信する第2の受信手段と、第2の受信手段により受信される指定情報に対応する提供情報を記憶装置より読み出す読み出し手段と、第2の受信手段により受信される指定情報にユーザを指定するユーザ指定情報が含まれるか否かを判定する第2の判定手段と、第2の判定手段により指定情報にユーザ指定情報が含まれると判定される場合、読み出し手段により記憶装置より読み出される提供情報を、サービス提供者端末、並びに、ユーザ指定情報に対応するユーザ端末に送信する第4の送信手段と、第2の判定手段により指定情報にユーザ指定情報が含まれないと判定される場合、第読み出し手段により記憶装置より読み出される提供情報を、サービス提供者端末に対して送信する第5の送信手段とをさらに備えるようにすることができる。
【0021】
【作用】
本発明の仮想現実空間提供方法および仮想現実空間提供装置においては、ユーザ端末から仮想現実空間におけるユーザのキャラクタの位置データおよび視点データが受信され、その受信されるユーザのキャラクタの位置データおよび視点データに対応する仮想現実空間の画像データである第1の画像データが生成され、その生成された第1の画像データが、位置データおよび視点データを伝送してきたユーザ端末に対して送信され、サービス提供者端末において、仮想現実空間内に存在するユーザのキャラクタが指定されているか否かが判定され、ユーザのキャラクタが指定されていないと判定される場合、仮想現実空間におけるサービス提供者端末のサービス提供者のキャラクタの位置データおよび視点データに基づいて仮想現実空間の画像データである第2の画像データが生成され、生成された第2の画像データがサービス提供者端末に対して送信され、ユーザのキャラクタが指定されていると判定される場合、生成される第1の画像データが、サービス提供者端末に対して送信される。
従って、実際に仮想現実空間を構成する画像として、ユーザに対して、例えば各種の商品の画像をより的確に提供し、その商品に関する経済活動を現実空間との関連において行わせ、仮想現実空間に付加価値を発生させることができる。
【0022】
【実施例】
図1は、本発明のサービス提供方法を応用したサイバースペースシステムの構成例を表している。同図に示すように、この実施例においては、任意の数(この実施例においては、2台)のサーバ11−1,11−2が、それぞれ対応する記憶装置12−1,12−2を有し、例えば光ファイバを利用した広帯域通信網15を介して、仮想現実空間を提供することができるようになされている。また、任意の数(この実施例においては、3台)のユーザ端末13−1乃至13−3が設けられ、広帯域通信網15を介してサーバ11−1,11−2から、仮想現実空間と、それを利用した所定のサービス(情報)の提供を受けることができるようになされている。
【0023】
さらに、この実施例においては、任意の数(この実施例においては、2台)のサービス提供者端末14−1,14−2が設けられており、このサービス提供者端末14−1,14−2は、広帯域通信網15を利用して、サーバ11−1,11−2を介して仮想現実空間の提供を受けるとともに、ユーザ端末13−1乃至13−3に対して、所定のサービスを提供することができるようになされている。
【0024】
図2は、サーバ11(11−1,11−2)の構成例を示している。同図に示すように、サーバ11はCPU21を備え、このCPU21は、ROM22に記憶されているプログラムに従って各種の処理を実行するようになされている。RAM23には、CPU21が各種の処理を実行する上において必要なデータ、プログラム等が適宜記憶されるようになされている。通信装置24は、広帯域通信網15に対して所定のデータを授受するようになされている。
【0025】
表示装置25は、CRT、LCDなどを備え、サーバ11が提供する仮想現実空間の画像をモニタすることができるように、インタフェース28に接続されている。このインタフェース28にはまた、マイク26とスピーカ27が接続されており、所定の音声信号をユーザ端末13やサービス提供者端末14に供給したり、ユーザ端末13やサービス提供者端末14からの音声信号をモニタすることができるようになされている。
【0026】
また、サーバ11は入力装置29を備え、インタフェース28を介して、各種の入力を行うことができるようになされている。この入力装置29は、少なくともキーボード29aとマウス29bを有している。
【0027】
図3は、ユーザ端末13(13−1乃至13−3)の構成例を示している。ユーザ端末13はCPU41を備え、このCPU41は、ROM42に記憶されているプログラムに従って各種の処理を実行するようになされている。RAM43には、CPU41が各種の処理を実行する上において必要なデータやプログラム等が適宜記憶されるようになされている。通信装置44は、広帯域通信網15を介して、サーバ11に対してデータを授受するようになされている。
【0028】
表示装置45は、CRT、LCDなどを備え、CG(コンピュータグラフィック)の3次元画像や、通常のビデオカメラなどにより撮影された3次元の画像を表示することができるようになされている。マイク46は、音声信号をサーバ11に出力するとき利用される。また、スピーカ47は、サーバ11より音声信号が伝送されてきたとき、これを出力する。入力装置49は、各種の入力を行うとき操作されるようになされている。
【0029】
この入力装置49のキーボード49aは、所定の文字や記号などを入力するとき操作されるようになされている。マウス49bは、所定の位置を指定するとき操作されるようになされている。視点入力装置49cは、ユーザ端末13の対応するキャラクタの視点を入力するとき操作される。これにより、キャラクタの視点を上下左右の方向に移動させたり、所定の画像をズームすることができるようになされている。また、移動入力装置49dは、キャラクタを、前後左右の方向に、所定の速度で移動させるための入力を行うことができるようになされている。
【0030】
インタフェース48は、表示装置45、マイク46、スピーカ47、および入力装置49に対するデータのインタフェースを構成している。
【0031】
図4は、サービス提供者端末14(14−1,14−2)の構成例を示している。そのCPU51乃至入力装置59は、図3のユーザ端末13のCPU41乃至入力装置49と基本的に同様の構成であるので、その説明は省略する。
【0032】
尚、このシステムを構成する装置、特に、ユーザ端末は、固定配置されたものに限らず、携帯用のものとすることもできる。また、サービス提供者端末、ユーザ端末などは、例えばそのIDにより特定され、装置自体で特定されるものではない。
【0033】
図5は、図1に示したサーバ11により提供される仮想現実空間を模式的に表している。同図に示すように、この仮想現実空間は、町を構成しており、キャラクタC(例えばユーザ端末13−1のキャラクタ)や、キャラクタD(例えばユーザ端末13−2のキャラクタ)が、この町(仮想現実空間)を移動することができるようになされている。
【0034】
キャラクタCは、仮想現実空間における位置と視点から、例えば図6に示すような画像を見ることになる。即ち、ユーザ端末13−1の表示装置25には、図6に示すような画像がサーバ11から提供され、表示される。そして、そのキャラクタCの視点と位置を、視点入力装置49cと移動入力装置49dを操作することで変更すると、それに対応して、サーバ11から供給される仮想現実空間を形成する3次元画像が変化される。
【0035】
同様に、キャラクタDが対応するユーザ端末13−2の表示装置には、図7に示すような画像がサーバ11から提供され、表示される。そして、その表示画像も、キャラクタDの視点と位置を移動させることで変化される。
【0036】
図5に示す状態において、キャラクタCはキャラクタDの方向を見ている。従って、図6に示すように、ユーザ端末13−1の表示装置25に表示される画像(仮想現実空間)には、キャラクタDが表示されている。
【0037】
同様に、図5において、キャラクタDはキャラクタCの方向を見ている。このため、ユーザ端末13−2の表示装置25に表示される画像(仮想現実空間)には、キャラクタCが表示される。
【0038】
サービス提供者端末14は、サーバ11−1または11−2が提供する仮想現実空間の一部の空間を支配する。換言すれば、サービス提供者は、サーバ11の管理者から、その提供する仮想現実空間の一部を購入する。この購入は、現実空間において行われる。即ち、サーバ11の管理者は、所定のサービス提供者より仮想現実空間の購入の申込を受けたとき、仮想現実空間の一部を、そのサービス提供者に割り当てる。
【0039】
例えば、サービス提供者端末14−1の所有者(サービス提供者)が、仮想現実空間内の所定のビルの1室を借り受け、そこに電器店を設けるものとする。サービス提供者は、その電器店に展示する商品、例えばテレビの資料をサーバ管理者に提供する。サーバ管理者は、この資料を基に、コンピュータグラフィックスにより、そのテレビの立体画像を生成する。そして、その立体画像を、その電器店の所定の位置に配置する。これにより、仮想現実空間内におけるその空間の画像が完成することになる。
【0040】
同様のことが多くのサービス提供者により行われ、仮想現実空間が1つの大きな町として形成される。
【0041】
図8は、サービス提供者端末14−1を有するサービス提供者が占有する仮想現実空間(ビルの1室)を平面的に表している。この実施例においては、ビルの1室が、このサービス提供者のために割り当てられており、その空間(ビル内)には、2台のテレビ72,73が配置されているとともに、テレビ73の右斜め前方には、カウンタ71が配置されている。そしてサービス提供者端末14−1のサービス提供者は、自分のキャラクタFをカウンタ71の後方に配置するようにする。勿論、キャラクタFは、サービス提供者端末14−1の移動入力装置59dを操作することで、所定の位置に移動させることが可能である。
【0042】
いま、この電器店に、ユーザ端末13−1のキャラクタCが、図8に示すように入ってきたものとする。このとき、ユーザ端末13−1の表示装置45には、キャラクタCの位置と視点に対応して、例えば図9に示すような画像が表示される。これに対して、キャラクタFがカウンタ71の後方に位置している場合においては、サービス提供者端末14−1の表示装置55には、図10に示すような画像が表示される。図9と図10に示すように、キャラクタCから見た画像にはキャラクタFが、また、キャラクタFから見た画像にはキャラクタCが、それぞれ表示される。
【0043】
また、図9に示すように、キャラクタCから見た画像には、ユーザ端末13−1から所定の画像を指定するとき使用されるカーソル74が表示される。同様に、図10に示すように、サービス提供者端末14−1から所定の画像を指定するとき利用するために、カーソル75が表示される。
【0044】
ユーザ端末13−1の移動入力装置49dを操作して、キャラクタCをテレビ72あるいはテレビ73の回りに移動させることで、その位置と視点に対応する画像が表示装置45に表示される。これにより、ユーザは、テレビ72や73を、実際のテレビを観察する場合と同様に観察することができる。
【0045】
また、ユーザは、マウス49bを操作して、カーソル74を移動させ、キャラクタF上でクリックすると、キャラクタFに対応するサービス提供者端末14−1には、会話申込信号が伝送される。サービス提供者端末14−1は、このとき、マイク56を介して、キャラクタCに対応するユーザ端末13−1のスピーカ47に対して音声信号を出力することができる。同様に、ユーザ端末13−1のマイク46から所定の音声信号を入力することで、サービス提供者端末14のスピーカ57にユーザの音声信号を伝達することができる。このようにして、両者は音声による通常の会話を行うことができる。
【0046】
尚、この会話は、キャラクタF(サービス提供者端末14−1)からキャラクタC(ユーザ端末13−1)に対して、申し込むようにすることもできる。
【0047】
また、ユーザ端末13−1において、カーソル74を移動させ、例えばテレビ72の画像上においてクリックすると、サーバ11から、テレビ72のより詳細な説明情報(提供情報)の提供を受けることができる。このときの画像は、3次元画像であってもよいし、平面的な2次元画像とすることもできる。
【0048】
この所定の画像を指定する操作は、サービス提供者端末14−1側からも行うことができる。これにより、サービス提供者側からユーザに対して、所定のテレビの説明情報を積極的に提供することができる。
【0049】
また、サービス提供者がマウス59bを操作して、カーソル75でキャラクタCを指定すると、このキャラクタCの位置と視点に対応する画像、即ち、ユーザ端末13−1の表示装置45に表示されている画像と同一の画像を、サービス提供者端末14−1の表示装置55に表示させることができる。これにより、サービス提供者は、ユーザ(キャラクタC)が、いまどこを見ているのかを知ることができ、ユーザの知りたいポイントに関する情報を、的確にユーザに対して提供することが可能となる。
【0050】
ユーザは、説明を受け、あるいは提供情報(説明情報)の提供を受け、気に入った場合においては、例えばテレビ72を実際に購入することができる。この場合、ユーザは、キャラクタFを介して、サービス提供者端末14−1に対して購入の申込をする。また、ユーザは、例えばクレジットカードの番号等を、キャラクタCを介してサービス提供者端末14−1(キャラクタF)に伝達する。そして、商品の金額に対応する額を引き落とすように依頼する。サービス提供者端末14−1のサービス提供者は、そのクレジットカードの番号から、所定の金額を引き落とすための処理を行うとともに、購入の申込を受けた商品の発送の手配を行う。
【0051】
この仮想現実空間において提供される画像は、基本的に、コンピュータグラフィックスにより生成された精度の高い画像である。従って、これをあらゆる角度から見ることで、殆ど実際の商品を希望する角度から観察した場合と同様の観察を行うことが可能となり、より確実に商品を確認することができる。
【0052】
この仮想現実空間には、このようにして、多数の店や映画館、劇場などが存在する。そして、各店において、実際に商品を販売することが可能であるため、立地条件の良い空間(多くのユーザのキャラクタが入ってくる空間)は、実際に経済的価値が発生する。そこで、この仮想現実空間を実際に(現実に)売買したり、賃貸することができる。従って、このシステムは、所謂テレビショッピングなどとは全く異なるものとなる。
【0053】
次に、図11乃至図22を参照して、上記したユーザ端末13、サーバ11、サービス提供者端末14のより具体的な処理動作について説明する。
【0054】
図11は、ユーザ端末13の処理例を表している。最初にステップS1において、キャラクタモードであるか否かが判定される。このキャラクタモードは、上述したキャラクタの位置と視点に対応する画像の提供を受けるモードであり、ユーザ端末13の入力装置49の例えばキーボード49aの所定のキーを操作することで、キャラクタモード、あるいは非キャラクタモードを設定することができる。
【0055】
キャラクタモードが設定されている場合、ステップS2に進み、ユーザ端末13の対応するキャラクタの位置あるいは視点が変更されたか否かが判定される。視点入力装置49cまたは移動入力装置49dを操作することで、キャラクタの位置あるいは視点の変更が指令されると、インタフェース48を介してこの指令の入力を受けたCPU41は、ステップS3に進み、位置データと視点データをサーバ11に出力する処理を実行する。即ち、CPU41は、インタフェース48を介して、視点入力装置49cと移動入力装置49dからのデータの入力を受け、通信装置44を制御し、このデータをサーバ11に出力させる。
【0056】
サーバ11においては、後述する図12のステップS12において、このデータを取得し、ステップS13において、このデータに対応する画像データをユーザ端末13に出力する。
【0057】
ユーザ端末13は、ステップS4において、サーバ11から供給を受けた画像データを受信し、表示する処理を実行する。即ち、通信装置44を介して、サーバ11より、キャラクタの位置と視点に対応する画像データの供給を受けたとき、CPU41は、インタフェース48を介して表示装置45にその画像データを出力し、表示させる。これにより、表示装置45には、視点入力装置49cと移動入力装置49dを操作することで入力した視点と位置に対応する画像(仮想現実空間)が表示される。
【0058】
次にステップS5に進み、キーボード49aの所定のキーを操作するなどして終了が指令されたか否かが判定され、終了が指令されない限り、ステップS1に戻り、それ以降の処理を繰り返し実行する。
【0059】
一方、ステップS1において、キャラクタモードが設定されていないと(非キャラクタモードが設定されていると)判定された場合においては、ステップS6に進み、CPU41は、通信装置44を介して受信した、キャラクタの位置や視点に無関係な所定の画像を、表示装置45に出力し、表示させる。
【0060】
図12は、図11に示したユーザ端末13の処理に対応するサーバ11の処理例を表している。最初にステップS11において、キャラクタモードであるか否かを判定し、キャラクタモードである場合においては、ステップS12に進み、ユーザの位置データ、視点データの取得処理を行う。即ち、上述したように、図11のステップS3における処理に従って、ユーザ端末13からユーザのキャラクタの位置と視点に対応するデータが伝送されてきたとき、サーバ11は、通信装置24を介してこのデータを取得する。このデータは、必要に応じてRAM23に供給され記憶される。
【0061】
次に、ステップS13に進み、CPU21は、RAM23に記憶されたユーザのキャラクタの位置と視点に対応する画像データを記憶装置12から読み出し、必要に応じて補正のための演算を行い、その位置と視点に対応する画像データを生成する。そして、この画像データを、通信装置24を制御し、広帯域通信網15を介してユーザ端末13に伝送させる。
【0062】
次にステップS14に進み、ユーザ端末13より終了の指令が入力されたか否かが判定され、終了が指令されていない場合においては、ステップS11に戻り、それ以降の処理を繰り返し実行する。即ち、終了が指令されるまで、ユーザ端末13に対して、そのキャラクタの位置と視点に対応する画像データを提供し続けることになる。
【0063】
一方、ステップS11において、キャラクタモードではないと判定された場合においては、ステップS15に進み、ユーザのキャラクタの位置や視点に無関係な所定の画像を生成し、ユーザに出力する。そして、ステップS14に進み、終了が指令されていなければ、ステップS11に戻り、それ以降の処理が繰り返し実行される。
【0064】
図13のフローチャートは、サービス提供者端末14の処理例を表している。最初にステップS21において、キャラクタモードであるか否かが判定され、キャラクタモードであると判定された場合においては、ステップS22に進み、サービス提供者端末14のキャラクタの位置と視点に変更があったか否かが判定される。即ち、視点入力装置59cまたは移動入力装置59dが操作されたか否かが判定される。操作された場合においては、ステップS23に進み、その操作に対応する位置と視点のデータをサーバ11に出力する処理が実行される。
【0065】
即ち、CPU51は、インタフェース58を介して、視点入力装置59cと移動入力装置59dのデータの入力を受けたとき、通信装置54を制御し、広帯域通信網15を介してサーバ11にこのデータを出力する。
【0066】
サーバ11においては、このデータの入力を受けたとき、後述する図14のステップS53において、このデータを取得し、ステップS54において、このデータに対応する画像データを出力する。
【0067】
サービス提供者端末14は、ステップS24において、このサーバ11が出力した画像データを受信し、表示する処理を実行する。即ち、CPU51は、サーバ11より、通信装置54を介して、キャラクタの位置と視点に対応する画像データの供給を受けたとき、インタフェース58を介して表示装置55にこれを表示させる。
【0068】
ステップS22において、キャラクタの位置と視点のいずれも変更がないと判定された場合においては、ステップS23とステップS24の処理はスキップされる。
【0069】
次にステップS25に進み、サービス提供者端末14のキャラクタの位置と視点に対応する画像を、ユーザ端末のキャラクタの位置と視点に対応する画像に変更する(切り換える)か否かが判定される。即ち、サービス提供者は、ユーザが実際に注目している画像に対応する情報を的確に提供する必要がある。通常、サービス提供者のキャラクタは、ユーザのキャラクタと同一の画像を見ているわけではない。ユーザに商品を説明するような場合においては、ユーザのキャラクタの位置と視点に対応する画像を知ることができた方が、サービス提供者はより的確に、ユーザに対して必要な情報を提供することが可能となる。
【0070】
そこで、サービス提供者端末14においては、ユーザのキャラクタの位置と視点に対応する画像と同一の画像の提供を受けることができるようになされている。この場合は、サービス提供者端末14の例えばキーボード59aを操作して、ユーザのキャラクタの位置と視点に対応する画像の提供を受けるように、サーバ11に指令する。
【0071】
そして、この場合においては、ステップS26に進み、どのユーザのキャラクタの位置と視点を基準とする画像であるのかを指定する。即ち、2以上のユーザのキャラクタが存在することが有り得るので、そのうちのどのユーザのキャラクタの画像の提供を受けるのかを指定するのである。
【0072】
この指定は、例えばマウス59bを操作して、図10に示すカーソル75を所定のユーザのキャラクタ(図10の実施例においては、キャラクタC)上に移動し、クリックすることで行われる。
【0073】
次にステップS27に進み、そのユーザのキャラクタが所定の空間内に存在するか否かが判定される。即ち、サービス提供者がそのサービスを提供する上において割り当てられた空間は、仮想現実空間の一部の空間である。その空間の外においては、サービス提供者といえども、一ユーザに過ぎない。ユーザが仮想現実空間のどこを見ているかは、各ユーザのいわばプライバシーに属することであり、ユーザが注視している画像と全く同一の画像を、むやみにサービス提供者に提供する必要はない。そこで、サービス提供者が自分に割り当てられている空間の外にいるキャラクタを指定した場合においては、ステップS28に進み、エラー処理を実行する。即ち、CPU51は、表示装置55に、例えば「指定が無効です」のようなメッセージを表示させる。
【0074】
一方、所定の空間内のユーザのキャラクタが指定された場合においては、ステップS29に進み、CPU51は、そのユーザのキャラクタを特定する上において必要なデータ(例えば位置データなど)をサーバ11に出力する。
【0075】
サーバ11は、このデータの入力を受け、後述する図14のステップS56において、指定されたユーザのキャラクタの位置と視点に対応するデータをサービス提供者端末14に出力する。
【0076】
サービス提供者端末14においては、サーバ11が出力したこの画像データをステップS30において受信し、これを表示装置55に出力し、表示させる。これにより、サービス提供者は、ユーザがいまどの画像を見ているのかを明確に知ることができる。
【0077】
次にステップS31に進み、キーボード59aを操作するなどして終了の指令が入力されたか否かが判定される。まだ終了の指令が入力されていないと判定された場合、ステップS32に進み、キャラクタモードであるか否かが判定され、キャラクタモードである場合、ステップS33に進み、現在表示されている画像を、他の視点の画像に変更する必要があるか否かが判定される。
【0078】
即ち、サービス提供者端末14の例えばキーボード59aを操作するなどして、異なる視点からの画像に変更する指令が入力された場合においては、ステップS35に進み、ユーザのキャラクタの位置と視点に対応する画像に変更するのであるか否かが判定される。ユーザのキャラクタの位置と視点に対応する画像に変更する場合においては、ステップS26に進み、ユーザの指定処理が行われ、以下、それ以降の処理が実行される。
【0079】
これに対して、サービス提供者のキャラクタの位置と視点に対応する画像に変更する場合においては、ステップS22に戻り、そのキャラクタの位置と視点が変更されたか否かの判定処理に進み、以下、それ以降の処理を実行する。
【0080】
一方、現在の画像の視点を変更する必要がない場合においては、ステップS33からステップS34に進み、現在の表示画像がサービス提供者のキャラクタの位置と視点に対応する画像であるか否かが判定される。サービス提供者のキャラクタの位置と視点に対応する画像が現在表示されている場合においては、ステップS22に戻り、それ以降の処理が実行される。現在表示されている画像が、ユーザのキャラクタの位置と視点に対応する画像である場合においては、ステップS30に進み、それ以降の処理が繰り返し実行される。
【0081】
一方、ステップS21において、キャラクタモードではないと判定された場合、ステップS36に進み、サービス提供者およびユーザのキャラクタの位置と視点に無関係な所定の画像がサーバ11より供給され、その画像が表示装置55に出力、表示される。その後、ステップS31に進み、それ以降の処理が繰り返し実行される。
【0082】
以上のようにして、サービス提供者は、サービス提供者のキャラクタの位置と視点に対応する画像、または、サービス提供者に割り当てられている仮想現実空間内に位置するユーザのキャラクタの位置と視点に対応する画像のいずれかの提供を受けることができる。
【0083】
図14は、サービス提供者端末14に対して、図13に示す画像を提供する場合のサーバ11の処理の例を表している。最初にステップS51において、キャラクタモードであるか否かが判定され、キャラクタモードであると判定された場合においては、ステップS52に進み、ユーザのキャラクタが指定されているか否かが判定される。即ち、図13のステップS26において、ユーザが指定されたか否かが判定される。ユーザが指定されていないと判定された場合、即ち、サービス提供者のキャラクタの位置と視点に対応する画像を提供する場合、ステップS53に進み、サービス提供者のキャラクタの位置と視点に対応するデータを取得する。このデータは、図13のステップS23において、サービス提供者端末14より出力されたものである。
【0084】
次にステップS54に進み、ステップS53で取得したサービス提供者のキャラクタの位置と視点に対応する画像データを記憶装置12から読み出し、適宜必要な補正処理を加えた後、サービス提供者端末14に出力させる。
【0085】
即ち、サーバ11のCPU21は、通信装置24を制御し、広帯域通信網15を介して、サービス提供者端末14に、サービス提供者のキャラクタの位置と視点に対応する画像データを出力する。サービス提供者端末14のCPU51は、通信装置54を介してこのデータの供給を受けたとき、これを表示装置55に出力し、表示させる。このようにして、表示装置55には、視点入力装置59cと移動入力装置59dを操作することで、入力されたサービス提供者のキャラクタの位置と視点に対応する画像が表示される。
【0086】
次にステップS55に進み、処理の終了が指令されているか否かが判定され、終了が指令されていないと判定された場合においては、ステップS51に戻り、それ以降の処理を実行する。
【0087】
ステップS52において、所定のユーザのキャラクタが指定されていると判定された場合においては、ステップS56に進み、指定されたキャラクタに対応するユーザ端末13に提供している画像と同一の画像をサービス提供者端末14に出力する。
【0088】
さらにステップS51において、キャラクタモードではないと判定された場合においては、ステップS57に進み、サービス提供者とユーザのキャラクタの位置と視点に無関係な画像のデータを読み出し、出力する。
【0089】
ステップS56とステップS57の次に、ステップS55に進み、それ以降の処理が繰り返し実行される。
【0090】
ユーザがサーバ11から仮想現実空間の画像の提供を受けている状態において、所定の画像を注目し、その画像に関するより詳細な情報を得たいとき、その画像を指定することができる。図15は、その場合のユーザ端末13の処理を表している。最初にステップS61において、画像指定処理が行われる。この指定は、例えば図9に示す状態において、ユーザ端末13のマウス49bを操作して、カーソル74を所定の画像上に移動させ、クリックを行うことで行われる。
【0091】
次にステップS62に進み、指定された画像を特定するために必要なデータをサーバ11に出力する処理が実行される。即ち、CPU41は、マウス49bの操作位置に対応するデータを、通信装置44を介してサーバ11に出力させる。
【0092】
サーバ11は、このデータを、後述する図18のステップS71において取得し、ステップS73において、この指定画像に対応する提供情報を読み出し、出力する。
【0093】
ユーザ端末13は、ステップS63において、サーバ11が出力したこの指定画像の提供情報を取得し、これを表示装置45に出力し、表示させる。
【0094】
このようにして、例えば図9に示す状態において、カーソル74によりテレビ72を指定することで、テレビ72の性能、価格、その他の提供情報を得ることができる。
【0095】
あるいはまた、例えば図16に示すように、仮想現実空間を構成する1つのビルディングの屋上に、広告塔81が設けられているものとする。この広告塔81には、所定の商品を広告するための絵が描かれている。
【0096】
ユーザは、この絵を見て、そこに描かれている商品に関し、興味を持った場合、カーソル74でこの広告塔81をクリックする。すると、図17に示すように、この広告塔81に描かれている商品に関するより詳細な情報が表示される。
【0097】
ここで重要なことは、これらの提供情報は、仮想現実空間における情報ではなく、現実空間における情報であるということであり、即ち、テレビ72や、広告塔81に表示されている商品は、現実空間においてサービス提供者により実際に販売されている商品であり、それに関する情報がユーザ端末13に提供される。
【0098】
次にステップS64に進み、いま指定した画像に関し、その画像に関するサービスを提供しているサービス提供者に対して、アクセスする必要があるか否かを判定する。例えば図17に示すような情報を得て、その商品を実際に、現実空間において購入したいと思う場合においては、その情報の提供を受けた後、さらにその情報を提供している情報提供者に対して直ちにアクセスを行うようにする。
【0099】
この場合においては、ユーザ端末13の例えばキーボード49aの所定のキーを操作するなどしてアクセスを指令する。このときCPU41は、ステップS65で通信装置44を介してアクセス情報を出力する。
【0100】
図18を参照して後述するように、このアクセス情報の供給を受けたとき、サーバ11は、ステップS75において、このアクセス情報を、ユーザが指定した画像が表示されている空間の割り当てを受けているサービス提供者端末14に対して出力する。そして、このアクセス情報の供給を受けたサービス提供者端末14は、このアクセスに対して応答するとき、図19のステップS94において、アクセス確認信号を出力する。
【0101】
そして、このアクセス確認信号が受信されたとき、サーバ11は、図18のステップS78,S79において、ユーザ端末とサービス提供者端末とが相互に通話を行うために必要な処理を実行する。これにより、両者の間で、音声信号による双方向の通話が可能な状態となる。
【0102】
そこで、ユーザ端末13においては、図15のステップS65において、アクセス情報を出力した後、ステップS66において、アクセス確認信号が受信されたか否かを判定し、アクセス確認信号が受信された場合、ステップS67に進み、指定した画像に対応する情報を提供しているサービス提供者端末との間で、音声信号による通話を行う。
【0103】
即ち、ユーザ端末13は、マイク46を介して、音声信号によりサービス提供者に対して、例えば商品を購入するための申込を行う。この申込は、通信装置44を介してサービス提供者端末14に伝送される。サービス提供者端末14は、この音声信号を通信装置54を介して受信し、スピーカ57より出力する。
【0104】
また、サービス提供者端末14においては、マイク56から、必要な応答を音声信号により入力する。この音声信号は、通信装置54を介してユーザ端末13に伝送され、ユーザ端末13のスピーカ47から出力される。
【0105】
このようにして、音声により商品の購入を申し込むことができる。サービス提供者は、例えばユーザのクレジットカードの番号を聞くなどして、その商品の代金の支払の請求処理を行うとともに、商品の配送処理を行う。このような経済行為は、仮想現実空間を介して行われるのであるが、現実空間における経済行為である。
【0106】
このような通話処理は、ステップS68において、ユーザ端末13またはサービス提供者端末14から通話の終了が指令されたと判定されるまで繰り返し実行される。
【0107】
ステップS64において、指定した画像に関連してアクセスを行う必要がないと判定された場合、並びに、ステップS66において、アクセス確認信号が受信されなかったと判定された場合、サービス提供者端末との通話は行われないため、ステップS67の処理はスキップされる。
【0108】
次にステップS69に進み、処理の終了が指令されているか否かが判定され、終了が指令されていないと判定された場合においては、ステップS61に戻り、それ以降の処理を実行する。
【0109】
図18は、ユーザ端末13により画像の指定処理が指令された場合におけるサーバ11の処理例を表している。最初にステップS71において、サーバ11は、ユーザ端末13が図15のステップS62において出力した指定画像を特定するためのデータを取得する。このデータは、必要に応じて、サーバ11のRAM23に記憶される。次にステップS72に進み、CPU21は、いま取得されたデータにより特定される指定画像は、情報提供対象画像として予め登録されているものであるか否かを判定する。
【0110】
例えば図9に示す空間は、電器製品を販売するための空間であり、カウンタ71は、販売するための商品の画像ではない。従って、このカウンタ71に対しては、特に提供する情報が存在しない。これに対して、テレビ72や73は、ここにおいて販売する商品であるから、これらを、より詳細に説明する提供情報が存在する。ステップS72においては、これらいずれの種類の画像が指定されたのであるかが判定される。
【0111】
提供情報が存在する画像が指定された場合においては、ステップS73に進み、指定された画像に対応する提供情報が、記憶装置12から読み出され、ユーザ端末13に出力される。例えば図9に示す状態において、テレビ72または73が指定された場合においては、それに対応する提供情報が読み出され、これがユーザ端末13に出力される。また、図16に示す状態において、広告塔81が指定された場合においては、それに対応する提供情報(図17に示すような情報)が読み出され、ユーザ端末13に出力される。
【0112】
次にステップS74に進み、ユーザ端末13よりアクセス情報を受信したか否かが判定される。アクセス情報を受信した場合においては、ステップS75に進み、受信したアクセス情報を指定画像に対応するサービス提供者端末14に出力する。
【0113】
サービス提供者端末14においては、図19を参照して後述するように、このアクセス情報に応答するとき、ステップS94において、アクセス確認信号を出力する。
【0114】
そこで、サーバ11においては、図18のステップS76において、サービス提供者端末14が出力したアクセス確認信号を受信したか否かを判定し、受信した場合においては、ステップS77に進み、そのアクセス確認信号を、画像を指定したユーザ端末13に出力する。
【0115】
そしてステップS78において、画像を指定したユーザ端末13と、指定された画像に対応するサービス提供者端末14との間で、音声による通話が可能となるようにするための処理を実行する。この処理は、ステップS79において、ユーザ端末13またはサービス提供者端末14により、通話終了の指令が入力されたと判定されるまで繰り返し実行される。
【0116】
ステップS74において、アクセス情報信号が受信されなかったと判定された場合、あるいは、ステップS76において、アクセス確認信号が受信されなかったと判定された場合、両者による通話は行われないため、ステップS78の処理はスキップされる。
【0117】
次にステップS80に進み、サーバ11のCPU21は、所定の画像を指定したユーザの情報と、指定された画像に関する情報を、サービス提供者端末14に出力する。
【0118】
サービス提供者端末14においては、この通知を受けたとき、後述する図19のステップS97において、その統計処理を実行する。そして、どのような商品が人気があり、その商品に注目しているのはどのようなユーザであるのかの情報を取得する。
【0119】
一方、図18のステップS72において、提供情報を有しない画像が指定されたと判定された場合、例えば図9に示す状態において、カウンタ71が指定された場合、ステップS81に進み、エラー処理が実行される。即ち、サーバ11のCPU21は、通信装置24を制御し、ユーザ端末13に対して、例えば、「提供する情報はありません」のようなメッセージを出力させる。
【0120】
図19は、ユーザ端末13により画像の指定処理が指令された場合におけるサービス提供者端末14の処理例を表している。最初にステップS91において、画像(商品)を指定したユーザに関する情報と、指定された画像(商品)に関する情報が受信される。サービス提供者端末14のCPU51は、このデータをRAM53に供給し、記憶させる。
【0121】
次にステップS92に進み、ユーザ端末13よりアクセス情報を受信したか否かを判定する。アクセス情報を受信したとき、ステップS93に進み、このアクセス情報に対して応答するか否かを判定する。このアクセス情報に対して応答が可能である場合、ステップS94に進み、例えばキーボード59aの所定のキーを操作するなどして、CPU51に対して応答を指令する。
【0122】
このとき、CPU51は、ステップS94において、アクセス確認信号を、通信装置54を介してユーザ端末13に出力させる。上述したように、このアクセス確認信号を受信したとき、サーバ11は、図18のステップS78において、通話のための処理を実行する。このため、画像を指定したユーザ端末13との間で、音声信号による通話が可能な状態となる。
【0123】
そこで、サービス提供者端末14においては、ステップS95において、画像を指定したユーザ端末13との間で通話を行う。この通話処理は、ステップS96において、通話の終了が、ユーザ端末13またはサービス提供者端末14において指令されたと判定されるまで、繰り返し実行される。
【0124】
ステップS92において、アクセス情報が受信されなかったと判定された場合、または、ステップS93において、忙しいなどの理由により、アクセス情報に応答することができないと判定された場合、ステップS94の処理はスキップされる。従って、ユーザ端末13との間で、通話処理は行われないことになる。
【0125】
次にステップS97に進み、ステップS91で取得した情報に関する統計処理を実行する。
【0126】
これにより、例えば図9に示す状態において、ユーザがテレビ72をカーソル74で指定すると、サービス提供者端末14に、ユーザ端末13のユーザに関する情報(職業、年齢、住所、電話番号、性別など)と、指定されたのがテレビ72であることが連絡される。従って、サービス提供者端末14においては、ユーザがこのテレビ72に対して興味を持っていることを知ることができる。
【0127】
また、このテレビ72が人気があれば、それだけ多くのユーザがこのテレビ72を指定することになるため、各テレビがどの程度人気があるのかを知ることもできる。
【0128】
画像の指定は、サービス提供者が行うこともできる。図20は、この場合のサービス提供者端末14の処理例を表している。最初にステップS101において、サービス提供者端末14のマウス59bを操作して、所定の画像を指定する。例えば図10に示す状態において、テレビ72や73を指定することができる。
【0129】
次にステップS102に進み、サービス提供者が指定した画像を、ユーザにも提供する必要があるか否かを判定する。同一の画像をユーザにも提供する必要がある場合においては、ステップS103に進み、ユーザの同意を得て、ユーザを指定する。例えば図10に示す状態において、サービス提供者は、テレビ72に関する提供情報を、キャラクタCに対応するユーザに提供したい場合においては、カーソル75でテレビ72を指定するとともに、キャラクタCを指定し、テレビ72に関する情報をユーザ端末13−1に提供することについて同意を得る。
【0130】
次にステップS104に進み、CPU51は、ステップS101において指定された画像と、ステップS103で指定されたユーザを特定するデータをサーバ11に出力する。
【0131】
一方、ステップS102において、ユーザを指定する必要がないと判定された場合、即ち、指定された画像に関する提供情報を、サービス提供者自身が見るだけでよい場合、ステップS106に進み、ステップS101で指定された画像を特定するデータをサーバ11に出力する。
【0132】
ステップS104とステップS106で出力されたデータは、後述する図21のステップS111においてサーバ11に受信され、このデータに対応する提供情報が、ステップS114またはステップS115で、サーバ11からサービス提供者端末14、またはサービス提供者端末14とユーザ端末13に、それぞれ出力される。
【0133】
サービス提供者端末14においては、このように、サーバ11から出力された指定画像に対応する提供情報をステップS105で受信し、これを表示装置55に出力し、表示させる。
【0134】
これにより、サービス提供者端末14において、必要に応じて、各指定画像に対応する提供情報を確認したり、あるいはユーザに同一の提供情報を提供しつつ、その指定画像に関する説明を行うことができる。
【0135】
図21は、サービス提供者端末14により、図20のフローチャートに従って、所定の画像が指定された場合のサーバ11の処理例を表している。最初にステップS111において、サービス提供者端末14が、図20のステップS104またはステップS106において出力したデータを取得する。上述したように、このデータには、指定画像を特定するデータと、場合によって提供情報を提供するユーザを指定するデータが含まれている。
【0136】
ステップS112においては、ステップS111で取得した指定画像に対応する提供情報を記憶装置12より読み出す。次にステップS113に進み、ステップS112で読み出した提供情報を、ユーザにも提供する必要があるか否かを判定する。この判定は、ステップS111で取得したデータに基づいて行われる。提供情報をサービス提供者にのみ出力すればよい場合、ステップS114に進み、提供情報がサービス提供者端末14にのみ出力される。これに対して、提供情報をユーザにも提供する必要がある場合においては、ステップS115に進み、提供情報が、サービス提供者だけでなく、ユーザにも出力される。前者が図20のステップS106に対応する処理であり、後者が図20のステップS104に対応する処理である。
【0137】
図22は、サービス提供者により画像が指定された場合におけるユーザ端末13の処理例を表している。最初にステップS121で、サーバ11より出力された提供情報が受信され、表示装置45に表示される。この情報は、図21のステップS115でサーバ11より出力されたものである。この処理は、ステップS122で、終了が指令されたと判定されるまで繰り返される。
【0138】
上記実施例においては、商品を販売する場合を例としたが、各種のサービスを提供する場合に、本発明は適用が可能である。例えば、仮想現実空間に映画やゲームソフトの広告画像が表示されているとき、その広告画像を指定すれば、その映画やゲームソフトの提供を受けることができる。
【0139】
【発明の効果】
以上の如く本発明によれば、仮想現実空間の一部をサービス提供者端末に割り当て、このサービス提供者端末が、ユーザのキャラクタの視点と同一の画像を知ることができるようにしたので、サービス提供者が、現実空間において実際に展示している商品に関するより詳細な情報などを、随時、より的確に、仮想現実空間を介してユーザ端末に提供することが可能となる。これにより、仮想現実空間を利用して、現実空間における経済活動を行うことが可能となり、仮想現実空間に付加価値を発生させることができる。
【図面の簡単な説明】
【図1】本発明のサービス提供方法を応用したサイバースペースシステムの構成例を示すブロック図である。
【図2】図1のサーバ11の構成例を示すブロック図である。
【図3】図1のユーザ端末13の構成例を示すブロック図である。
【図4】図1のサービス提供者端末14の構成例を示すブロック図である。
【図5】図1のサイバースペースシステムにより形成される仮想現実空間を説明する図である。
【図6】図5のキャラクタCからの視野を説明する図である。
【図7】図5のキャラクタDからの視野を説明する図である。
【図8】図1の実施例におけるサイバースペースシステムの一部の割当空間を説明する図である。
【図9】図8のキャラクタCからの視野を説明する図である。
【図10】図8のキャラクタFからの視野を説明する図である。
【図11】図1のユーザ端末13がサーバ11より画像の提供を受ける場合の処理を説明するフローチャートである。
【図12】図1のユーザ端末13の処理に対応するサーバ11の処理を説明するフローチャートである。
【図13】図1のサービス提供者端末14がサーバ11より画像の提供を受ける場合の処理を説明するフローチャートである。
【図14】図13のサービス提供者端末14の処理に対応するサーバ11の処理を説明するフローチャートである。
【図15】図1のユーザ端末13が画像を指定する場合の処理を説明するフローチャートである。
【図16】図3のユーザ端末13の表示装置45の表示例を示す図である。
【図17】図16の広告塔81を指定した場合の表示例を示す図である。
【図18】図15のユーザ端末の処理に対応するサーバ11の処理を説明するフローチャートである。
【図19】図15のユーザ端末の処理に対応するサービス提供者端末14の処理を説明するフローチャートである。
【図20】図1のサービス提供者端末14による画像指定処理を説明するフローチャートである。
【図21】図20のサービス提供者端末14の処理に対応するサーバ11の処理を説明するフローチャートである。
【図22】図20のサービス提供者端末14の処理に対応するユーザ端末13の処理を説明するフローチャートである。
【図23】従来のサイバースペースシステムの構成例を示すブロック図である。
【図24】図23のユーザ端末3−1の表示例を示す図である。
【図25】図23のユーザ端末3−2の表示例を示す図である。
【符号の説明】
1 サーバ
2 記憶装置
3,3−1,3−2,3−3 ユーザ端末
4 公衆電話回線
11,11−1,11−2 サーバ
12,12−1,12−2 記憶装置
13,13−1,13−2,13−3 ユーザ端末
14,14−1,14−2 サービス提供者端末
15 広帯域通信網
[0001]
[Industrial application fields]
The present invention is suitable for use in, for example, a cyberspace system that generates virtual reality (virtual reality space) and provides it to a user. Provision of virtual reality space and Virtual reality space providing device About.
[0002]
[Prior art]
FIG. 23 shows a configuration example of a conventional cyberspace system. The server 1 includes a storage device 2, and supplies image data stored in the storage device 2 to the user terminals 3-1 to 3-3 through the public telephone line 4.
[0003]
Each of the user terminals 3-1 to 3-3 designates a predetermined one of 100 types of characters prepared in advance in the storage device 2 as its own character. Then, the character is moved in the virtual reality space provided by the server 1 so that the user can enjoy life in the virtual reality space.
[0004]
For example, the user terminal 3-1 accesses the server 1 via a normal public telephone line 4 and receives provision of an image in the virtual reality space. When the user terminal 3-1 performs a predetermined operation and instructs to move his / her character (for example, the character A) in a predetermined direction, the server 1 provides an image corresponding to the moving direction. Thereby, the user terminal 3-1 can enjoy his / her character A as if moving the town provided by the virtual reality space.
[0005]
Similarly, in the user terminal 3-2, one's own character (for example, character B) can be designated and the character B can be moved in the virtual reality space.
[0006]
When the character A of the user terminal 3-1 and the character B of the user terminal 3-2 move to a position near the virtual reality space, the image of the virtual reality space provided from the server 1 to the user terminal 3-1 is displayed. In addition to the town image as the background, an image of the character B moving in the town is also provided. Thereby, for example, an image as shown in FIG. 24 is displayed on the user terminal 3-1. That is, own character A is arranged in the center, and character B of user terminal 3-2 is located in the vicinity thereof.
[0007]
Similarly, an image is provided to the user terminal 3-2 as shown in FIG. Also in FIG. 25, own character B is arranged at the center of the screen, and character A of user terminal 3-1 is arranged in the vicinity thereof.
[0008]
When the user terminal is operated to move the corresponding character in the virtual reality space, for example, a bulletin board is provided at a predetermined position in the virtual reality space. A message about the service is described. Each user can know the contents of the bulletin board by moving the character to the position of the bulletin board.
[0009]
In addition, a memo may be dropped on the roadside of the virtual reality space. When an operation for acquiring this memo is performed, a message described in the memo is displayed on the screen.
[0010]
In this way, the server can supply a predetermined message to each user terminal.
[0011]
Further, in this virtual reality space, a virtual reality currency used in the virtual reality space is prepared, and each character can purchase a virtual reality product using this currency.
[0012]
[Problems to be solved by the invention]
As described above, the conventional system allows a character to live in a virtual reality space as a kind of game. However, it is only a game and has almost no connection with real life, so there is a problem of getting bored quickly.
[0013]
In the case of the above example, a predetermined message is transmitted by a bulletin board or a memo. Basically, a bulletin board is placed on the roadside or a memo is dropped. There is almost no real space, and these bulletin boards or memos correspond to so-called icons specially provided for transmitting messages. For this reason, there is a problem that it is difficult to construct a virtual reality space closer to the real space.
[0014]
In addition, only messages can be transmitted to the user, and there is a problem that it is difficult to provide information on products such as clothes, electrical appliances, and automobiles. As a result, there is a problem that it is impossible to add value to the virtual reality space, and the virtual reality space cannot escape from the game space.
[0015]
The present invention has been made in view of such a situation, and can provide information on various products and services existing in the real space, and by being closely coupled with the real space, Economic activities such as selling products (services), and adding value to the virtual reality space.
[0016]
[Means for Solving the Problems]
The virtual reality space providing method of the present invention includes a first step of causing a communication device to receive position data and viewpoint data of a user's character in the virtual reality space from a user terminal, and a user's reception of the communication device by the processing of the first step. A user who generates first image data that is image data in virtual reality space corresponding to character position data and viewpoint data, and transmits the generated first image data to the communication device. A second step for transmitting to the terminal; In the service provider terminal, Exists in virtual reality space User The third step of determining whether or not the character of the user is specified, and the service provider of the service provider terminal in the virtual reality space if it is determined by the processing of the third step that the user character is not specified Second image data, which is image data in the virtual reality space, is generated based on the position data and viewpoint data of the character, and the communication device transmits the generated second image data to the service provider terminal. When it is determined that the user's character is designated by the process of 4 steps and the 3rd step, the first image data generated by the process of the 2nd step is transmitted to the service provider terminal to the communication device. And a fifth step for transmitting.
[0017]
Communication device by the process of the second step Send to The first image data Receive Designation information for designating a predetermined image included in the first image data, which is transmitted from the user terminal, is received by the communication apparatus, and the designation information is received by the communication apparatus by the processing of the sixth step. It is possible to further include a seventh step of reading the corresponding provision information from the storage device and causing the communication device to transmit the read provision information to the user terminal.
[0018]
An eighth step of causing the communication device to transmit designation information to be received by the communication device by the processing of the sixth step to the service provider terminal is further included. can do.
[0019]
The designation information received by the communication device by the process of the sixth step is a predetermined image. Specified Information and users information Can be included.
[0020]
Access to the service provider terminal to which the partial space including the first image data in the virtual reality space is further transmitted from the user terminal that transmits the designation information to be received by the communication apparatus by the processing of the sixth step. 8th step which makes a communication apparatus receive information When The communication device causes the communication device to transmit the access information to be received by the communication device by the processing of the eighth step to the service provider terminal corresponding to the access information, and the communication device by the processing of the ninth step. Send Access information Receive A tenth step for receiving the access confirmation signal corresponding to the access information transmitted from the service provider terminal, and an access confirmation signal for causing the communication device to receive the communication confirmation device through the processing of the tenth step, It is possible to further include an eleventh step of transmitting to the user terminal that transmits the access information to be received by the communication apparatus by the process of eight steps.
By the fourth step or the fifth step Send to communication device Second image data or first image data Receive The first transmitted from the service provider terminal image A sixth step for causing the communication device to receive designation information for designating a predetermined image included in the data or the second image data, and a storage device for providing information corresponding to the designation information to be received by the communication device by the processing of the sixth step 7th step to be read out, 8th step for determining whether or not user designation information for designating the user is included in the designation information to be received by the communication apparatus by the processing in the 6th step, and user designation in the 8th step When it is determined that the information is included, the communication device transmits the provision information read from the storage device by the process of the seventh step to the service provider terminal and the user terminal corresponding to the user designation information. If it is determined that the user-specified information is not included in the processes of step 9 and step 8, the communication device Providing information read from the storage device by management, it may further comprises a tenth step of transmitting to the service provider terminal.
The virtual reality space providing apparatus of the present invention includes a first receiving unit that receives position data and viewpoint data of a user character in a virtual reality space from a user terminal, and a position of the user character received by the first receiving unit. First image data that is image data in virtual reality space corresponding to the data and the viewpoint data is generated, and the generated first image data is transmitted to the user terminal that has transmitted the position data and the viewpoint data. 1 transmission means; In the service provider terminal, Exists in virtual reality space User Providing a service provider terminal in a virtual reality space when a first determination unit that determines whether or not a user character is specified and when the first determination unit determines that a user character is not specified 2nd transmission which produces | generates the 2nd image data which is image data of virtual reality space based on the position data and viewpoint data of a person's character, and transmits the produced | generated 2nd image data with respect to a service provider terminal. A first image data generated by the first transmission means is transmitted to the service provider terminal when it is determined by the means and the first determination means that the user character is designated. And a transmission means.
By the first transmission means Sent First image data Receive Second receiving means for receiving designation information for designating a predetermined image included in the first image data, transmitted from the user terminal, and provided information corresponding to the designation information received by the second receiving means; The information processing apparatus may further include fourth transmission means that reads from the storage device and transmits the read provided information to the user terminal.
The apparatus may further comprise fifth transmission means for transmitting the designation information received by the second reception means to the service provider terminal.
The designation information received by the second receiving means is a predetermined image. Specified Information and users information Can be included.
Access information to the service provider terminal to which the partial space including the first image data in the virtual reality space is further transmitted from the user terminal that transmits the designation information received by the second receiving means. Third receiving means for receiving; and fifth transmitting means for transmitting access information received by the third receiving means to a service provider terminal to which the access information corresponds; 5th By means of sending Sent Access information Receive A fourth receiving means for receiving an access confirmation signal corresponding to the access information transmitted from the service provider terminal, and an access confirmation signal received by the fourth receiving means are received by the third receiving means. Sixth transmission means for transmitting to the user terminal that transmits the access information can be further provided.
By the second transmission means or the third transmission means Sent Second image data or first image data Receive The first transmitted from the service provider terminal image A second receiving means for receiving designation information for designating a predetermined image included in the data or the second image data, and reading provided information corresponding to the designation information received by the second receiving means from the storage device Means for determining whether or not user designation information for designating a user is included in the designation information received by the second reception means, and user designation information in the designation information by the second judgment means 4th transmission means which transmits the provided information read from the storage device by the reading means to the service provider terminal and the user terminal corresponding to the user designation information, and the second determination If it is determined by the means that the user-specified information is not included in the specified information, the provided information read from the storage device by the first reading means May further comprises a fifth transmitting means for transmitting for.
[0021]
[Action]
In the virtual reality space providing method and the virtual reality space providing apparatus of the present invention, the position data and viewpoint data of the user character in the virtual reality space are received from the user terminal, and the received position data and viewpoint data of the user character are received. First image data that is image data in the virtual reality space corresponding to is generated, and the generated first image data is transmitted to the user terminal that has transmitted the position data and the viewpoint data, In the service provider terminal, Exists in virtual reality space User If it is determined whether or not the user character is specified and it is determined that the user character is not specified, based on the position data and viewpoint data of the service provider character of the service provider terminal in the virtual reality space When the second image data that is the image data of the virtual reality space is generated, the generated second image data is transmitted to the service provider terminal, and it is determined that the user character is designated, The generated first image data is transmitted to the service provider terminal.
Accordingly, as an image that actually configures the virtual reality space, for example, images of various products are provided more accurately to the user, and economic activities related to the products are performed in relation to the real space, so that the virtual reality space Added value can be generated.
[0022]
【Example】
FIG. 1 shows a configuration example of a cyberspace system to which the service providing method of the present invention is applied. As shown in the figure, in this embodiment, an arbitrary number (two in this embodiment) of servers 11-1 and 11-2 have corresponding storage devices 12-1 and 12-2, respectively. For example, a virtual reality space can be provided via a broadband communication network 15 using an optical fiber. In addition, an arbitrary number (three in this embodiment) of user terminals 13-1 to 13-3 are provided, and the virtual reality space and the servers 11-1 and 11-2 are connected via the broadband communication network 15. , It is possible to receive provision of a predetermined service (information) using it.
[0023]
Furthermore, in this embodiment, an arbitrary number (two in this embodiment) of service provider terminals 14-1 and 14-2 are provided, and the service provider terminals 14-1 and 14- are provided. 2 receives the provision of the virtual reality space via the servers 11-1 and 11-2 using the broadband communication network 15, and provides a predetermined service to the user terminals 13-1 to 13-3. Has been made to be able to.
[0024]
FIG. 2 shows a configuration example of the server 11 (11-1, 11-2). As shown in the figure, the server 11 includes a CPU 21, and the CPU 21 executes various processes according to programs stored in the ROM 22. The RAM 23 appropriately stores data, programs, and the like necessary for the CPU 21 to execute various processes. The communication device 24 exchanges predetermined data with the broadband communication network 15.
[0025]
The display device 25 includes a CRT, an LCD, and the like, and is connected to the interface 28 so that an image of the virtual reality space provided by the server 11 can be monitored. In addition, a microphone 26 and a speaker 27 are connected to the interface 28, and a predetermined audio signal is supplied to the user terminal 13 or the service provider terminal 14, or an audio signal from the user terminal 13 or the service provider terminal 14. Can be monitored.
[0026]
In addition, the server 11 includes an input device 29 so that various inputs can be performed via the interface 28. The input device 29 has at least a keyboard 29a and a mouse 29b.
[0027]
FIG. 3 shows a configuration example of the user terminal 13 (13-1 to 13-3). The user terminal 13 includes a CPU 41, and the CPU 41 is configured to execute various processes according to programs stored in the ROM 42. The RAM 43 appropriately stores data, programs, and the like necessary for the CPU 41 to execute various processes. The communication device 44 is configured to exchange data with the server 11 via the broadband communication network 15.
[0028]
The display device 45 includes a CRT, an LCD, and the like, and can display a CG (computer graphic) three-dimensional image or a three-dimensional image taken by a normal video camera. The microphone 46 is used when outputting an audio signal to the server 11. The speaker 47 outputs an audio signal when it is transmitted from the server 11. The input device 49 is operated when performing various inputs.
[0029]
The keyboard 49a of the input device 49 is operated when inputting predetermined characters or symbols. The mouse 49b is operated when a predetermined position is designated. The viewpoint input device 49c is operated when inputting the viewpoint of the corresponding character of the user terminal 13. As a result, the viewpoint of the character can be moved in the vertical and horizontal directions, or a predetermined image can be zoomed. In addition, the movement input device 49d can perform an input for moving the character in the front-rear and left-right directions at a predetermined speed.
[0030]
The interface 48 constitutes a data interface to the display device 45, the microphone 46, the speaker 47, and the input device 49.
[0031]
FIG. 4 shows a configuration example of the service provider terminal 14 (14-1, 14-2). Since the CPU 51 through the input device 59 have basically the same configuration as the CPU 41 through the input device 49 of the user terminal 13 shown in FIG.
[0032]
In addition, the apparatus which comprises this system, especially a user terminal are not restricted to what is fixedly arranged, It can also be made into a portable thing. Service provider terminals, user terminals, and the like are identified by their IDs, for example, and are not identified by the device itself.
[0033]
FIG. 5 schematically shows a virtual reality space provided by the server 11 shown in FIG. As shown in the figure, this virtual reality space constitutes a town, and a character C (for example, a character of the user terminal 13-1) and a character D (for example, a character of the user terminal 13-2) are displayed in this town. (Virtual reality space) can be moved.
[0034]
The character C sees an image as shown in FIG. 6, for example, from the position and viewpoint in the virtual reality space. That is, an image as shown in FIG. 6 is provided from the server 11 and displayed on the display device 25 of the user terminal 13-1. When the viewpoint and position of the character C are changed by operating the viewpoint input device 49c and the movement input device 49d, the three-dimensional image forming the virtual reality space supplied from the server 11 changes accordingly. Is done.
[0035]
Similarly, an image as shown in FIG. 7 is provided from the server 11 and displayed on the display device of the user terminal 13-2 to which the character D corresponds. The display image is also changed by moving the viewpoint and position of the character D.
[0036]
In the state shown in FIG. 5, the character C looks at the direction of the character D. Therefore, as shown in FIG. 6, the character D is displayed in the image (virtual reality space) displayed on the display device 25 of the user terminal 13-1.
[0037]
Similarly, in FIG. 5, the character D looks at the direction of the character C. For this reason, the character C is displayed on the image (virtual reality space) displayed on the display device 25 of the user terminal 13-2.
[0038]
The service provider terminal 14 dominates a part of the virtual reality space provided by the server 11-1 or 11-2. In other words, the service provider purchases a part of the virtual reality space provided from the administrator of the server 11. This purchase is made in real space. That is, when the administrator of the server 11 receives an application for purchasing a virtual reality space from a predetermined service provider, the manager of the server 11 allocates a part of the virtual reality space to the service provider.
[0039]
For example, it is assumed that the owner (service provider) of the service provider terminal 14-1 borrows a room of a predetermined building in the virtual reality space and installs an electrical store there. The service provider provides the server administrator with products to be displayed at the electrical store, such as TV materials. The server administrator generates a stereoscopic image of the television by computer graphics based on this material. Then, the stereoscopic image is arranged at a predetermined position of the electrical store. Thereby, the image of the space in the virtual reality space is completed.
[0040]
The same thing is done by many service providers, and the virtual reality space is formed as one big town.
[0041]
FIG. 8 planarly represents a virtual reality space (one room of a building) occupied by a service provider having the service provider terminal 14-1. In this embodiment, one room of a building is allocated for this service provider, and two televisions 72 and 73 are arranged in the space (in the building). A counter 71 is disposed on the right front side. The service provider of the service provider terminal 14-1 places his character F behind the counter 71. Of course, the character F can be moved to a predetermined position by operating the mobile input device 59d of the service provider terminal 14-1.
[0042]
Now, assume that the character C of the user terminal 13-1 has entered the electrical store as shown in FIG. At this time, for example, an image as shown in FIG. 9 is displayed on the display device 45 of the user terminal 13-1 corresponding to the position and viewpoint of the character C. On the other hand, when the character F is located behind the counter 71, an image as shown in FIG. 10 is displayed on the display device 55 of the service provider terminal 14-1. As shown in FIGS. 9 and 10, the character F is displayed on the image viewed from the character C, and the character C is displayed on the image viewed from the character F.
[0043]
Further, as shown in FIG. 9, a cursor 74 used for designating a predetermined image from the user terminal 13-1 is displayed on the image viewed from the character C. Similarly, as shown in FIG. 10, a cursor 75 is displayed for use when a predetermined image is designated from the service provider terminal 14-1.
[0044]
By operating the mobile input device 49d of the user terminal 13-1 to move the character C around the television 72 or the television 73, an image corresponding to the position and viewpoint is displayed on the display device 45. Accordingly, the user can observe the televisions 72 and 73 in the same manner as when observing an actual television.
[0045]
When the user operates the mouse 49b to move the cursor 74 and clicks on the character F, a conversation application signal is transmitted to the service provider terminal 14-1 corresponding to the character F. At this time, the service provider terminal 14-1 can output an audio signal to the speaker 47 of the user terminal 13-1 corresponding to the character C via the microphone 56. Similarly, a user's voice signal can be transmitted to the speaker 57 of the service provider terminal 14 by inputting a predetermined voice signal from the microphone 46 of the user terminal 13-1. In this way, both parties can conduct a normal conversation by voice.
[0046]
The conversation can be applied from the character F (service provider terminal 14-1) to the character C (user terminal 13-1).
[0047]
Further, when the cursor 74 is moved on the user terminal 13-1 and clicked on the image of the television 72, for example, more detailed explanation information (provided information) of the television 72 can be received from the server 11. The image at this time may be a three-dimensional image or a planar two-dimensional image.
[0048]
The operation of designating the predetermined image can also be performed from the service provider terminal 14-1 side. Thereby, the description information of predetermined television can be actively provided to the user from the service provider side.
[0049]
Further, when the service provider operates the mouse 59b and designates the character C with the cursor 75, an image corresponding to the position and viewpoint of the character C, that is, displayed on the display device 45 of the user terminal 13-1. The same image as the image can be displayed on the display device 55 of the service provider terminal 14-1. As a result, the service provider can know where the user (character C) is currently viewing, and can accurately provide the user with information regarding the point the user wants to know.
[0050]
If the user receives explanation or provision of provision information (explanation information) and likes it, the user can actually purchase the television 72, for example. In this case, the user applies for purchase to the service provider terminal 14-1 through the character F. Further, the user transmits, for example, a credit card number or the like to the service provider terminal 14-1 (character F) via the character C. Then, a request is made to withdraw an amount corresponding to the amount of the product. The service provider of the service provider terminal 14-1 performs a process for debiting a predetermined amount from the credit card number and arranges the shipment of the commodity for which the purchase application is received.
[0051]
An image provided in the virtual reality space is basically a highly accurate image generated by computer graphics. Therefore, by viewing this from all angles, it is possible to perform the same observation as when almost the actual product is observed from the desired angle, and the product can be confirmed more reliably.
[0052]
In this virtual reality space, there are many shops, movie theaters, theaters, and the like. Since each store can actually sell products, a space with good location conditions (a space where many user characters enter) actually generates economic value. Therefore, this virtual reality space can be actually sold or rented (actually). Therefore, this system is completely different from what is called TV shopping.
[0053]
Next, more specific processing operations of the user terminal 13, the server 11, and the service provider terminal 14 will be described with reference to FIGS.
[0054]
FIG. 11 shows a processing example of the user terminal 13. First, in step S1, it is determined whether or not the character mode is set. This character mode is a mode in which an image corresponding to the position and viewpoint of the character described above is provided. By operating a predetermined key of the keyboard 49a of the input device 49 of the user terminal 13, for example, The character mode can be set.
[0055]
When the character mode is set, the process proceeds to step S2, and it is determined whether or not the position or viewpoint of the corresponding character of the user terminal 13 has been changed. When a command for changing the position of the character or the viewpoint is instructed by operating the viewpoint input device 49c or the movement input device 49d, the CPU 41 that has received the input of this command via the interface 48 proceeds to step S3, and the position data And processing for outputting the viewpoint data to the server 11 is executed. That is, the CPU 41 receives data input from the viewpoint input device 49c and the movement input device 49d via the interface 48, controls the communication device 44, and causes the server 11 to output this data.
[0056]
The server 11 acquires this data in step S12 of FIG. 12 described later, and outputs image data corresponding to this data to the user terminal 13 in step S13.
[0057]
In step S4, the user terminal 13 receives the image data supplied from the server 11 and executes a process for displaying the image data. That is, when the image data corresponding to the position and viewpoint of the character is received from the server 11 via the communication device 44, the CPU 41 outputs the image data to the display device 45 via the interface 48 and displays it. Let Accordingly, the display device 45 displays an image (virtual reality space) corresponding to the viewpoint and position input by operating the viewpoint input device 49c and the movement input device 49d.
[0058]
Next, the process proceeds to step S5, where it is determined whether or not an end is instructed by operating a predetermined key of the keyboard 49a. Unless the end is instructed, the process returns to step S1 and the subsequent processing is repeatedly executed.
[0059]
On the other hand, if it is determined in step S1 that the character mode is not set (non-character mode is set), the process proceeds to step S6, and the CPU 41 receives the character received via the communication device 44. A predetermined image irrelevant to the position or viewpoint is output to the display device 45 and displayed.
[0060]
FIG. 12 illustrates a processing example of the server 11 corresponding to the processing of the user terminal 13 illustrated in FIG. First, in step S11, it is determined whether or not the character mode is selected. If the character mode is selected, the process proceeds to step S12 to perform processing for acquiring user position data and viewpoint data. That is, as described above, when data corresponding to the position and viewpoint of the user's character is transmitted from the user terminal 13 according to the processing in step S3 of FIG. 11, the server 11 transmits this data via the communication device 24. To get. This data is supplied to and stored in the RAM 23 as necessary.
[0061]
Next, proceeding to step S13, the CPU 21 reads out image data corresponding to the position and viewpoint of the user's character stored in the RAM 23 from the storage device 12, performs calculation for correction as necessary, and calculates the position and Image data corresponding to the viewpoint is generated. Then, the image data is transmitted to the user terminal 13 via the broadband communication network 15 by controlling the communication device 24.
[0062]
Next, it progresses to step S14, it is determined whether the termination command was input from the user terminal 13, and when termination is not commanded, it returns to step S11 and the subsequent process is repeatedly performed. That is, the image data corresponding to the position and viewpoint of the character is continuously provided to the user terminal 13 until the termination is instructed.
[0063]
On the other hand, if it is determined in step S11 that the current mode is not the character mode, the process proceeds to step S15, where a predetermined image irrelevant to the position and viewpoint of the user character is generated and output to the user. Then, the process proceeds to step S14, and if the end is not instructed, the process returns to step S11, and the subsequent processing is repeatedly executed.
[0064]
The flowchart of FIG. 13 represents a processing example of the service provider terminal 14. First, in step S21, it is determined whether or not the character mode is selected. If it is determined that the character mode is selected, the process proceeds to step S22, and whether or not the character position and viewpoint of the service provider terminal 14 have been changed. Is determined. That is, it is determined whether the viewpoint input device 59c or the movement input device 59d is operated. When the operation is performed, the process proceeds to step S23, and the process of outputting the position and viewpoint data corresponding to the operation to the server 11 is executed.
[0065]
That is, when the CPU 51 receives data from the viewpoint input device 59 c and the mobile input device 59 d via the interface 58, the CPU 51 controls the communication device 54 and outputs this data to the server 11 via the broadband communication network 15. To do.
[0066]
When the server 11 receives the input of this data, it acquires this data in step S53 of FIG. 14 described later, and outputs image data corresponding to this data in step S54.
[0067]
In step S24, the service provider terminal 14 receives the image data output from the server 11 and executes a process for displaying the image data. That is, when the CPU 51 receives supply of image data corresponding to the position and viewpoint of the character from the server 11 via the communication device 54, the CPU 51 displays the image data on the display device 55 via the interface 58.
[0068]
If it is determined in step S22 that neither the character position nor the viewpoint is changed, the processes in steps S23 and S24 are skipped.
[0069]
In step S25, it is determined whether or not the image corresponding to the character position and viewpoint of the service provider terminal 14 is changed (switched) to an image corresponding to the character position and viewpoint of the user terminal. That is, the service provider needs to accurately provide information corresponding to the image that the user is actually paying attention to. Normally, the service provider character does not see the same image as the user character. In the case of explaining the product to the user, the service provider more accurately provides the user with necessary information if the user can know the image corresponding to the position and viewpoint of the user's character. It becomes possible.
[0070]
Therefore, the service provider terminal 14 can receive the same image as the image corresponding to the position and viewpoint of the user's character. In this case, for example, the keyboard 59a of the service provider terminal 14 is operated to instruct the server 11 to receive provision of an image corresponding to the position and viewpoint of the user character.
[0071]
In this case, the process advances to step S26 to specify which user's character position and viewpoint is the image. That is, since there may be two or more user characters, it is specified which user character image is to be provided.
[0072]
This designation is performed, for example, by operating the mouse 59b to move the cursor 75 shown in FIG. 10 onto a predetermined user character (character C in the embodiment of FIG. 10) and clicking it.
[0073]
In step S27, it is determined whether or not the user's character exists in the predetermined space. That is, the space allocated when the service provider provides the service is a part of the virtual reality space. Outside the space, even the service provider is only one user. Where the user looks in the virtual reality space belongs to the privacy of each user, and it is not necessary to provide the service provider with the same image as the image that the user is watching. Therefore, when the service provider designates a character outside the space assigned to him / her, the process proceeds to step S28 and error processing is executed. That is, the CPU 51 displays a message such as “designation is invalid” on the display device 55.
[0074]
On the other hand, when a user character in a predetermined space is designated, the process proceeds to step S29, and the CPU 51 outputs data (for example, position data) necessary for specifying the user character to the server 11. .
[0075]
The server 11 receives this data input, and outputs data corresponding to the position and viewpoint of the designated user character to the service provider terminal 14 in step S56 of FIG.
[0076]
The service provider terminal 14 receives the image data output from the server 11 in step S30, and outputs it to the display device 55 for display. As a result, the service provider can clearly know which image the user is currently viewing.
[0077]
In step S31, it is determined whether or not an end command has been input by operating the keyboard 59a. If it is determined that the end command has not yet been input, the process proceeds to step S32, where it is determined whether or not the character mode is selected. If the character mode is selected, the process proceeds to step S33, and the currently displayed image is displayed. It is determined whether or not it is necessary to change to another viewpoint image.
[0078]
That is, when a command to change to an image from a different viewpoint is input by operating, for example, the keyboard 59a of the service provider terminal 14, the process proceeds to step S35 and corresponds to the position and viewpoint of the user character. It is determined whether or not to change to an image. In the case of changing to an image corresponding to the position and viewpoint of the user character, the process proceeds to step S26, where a user designation process is performed, and the subsequent processes are performed thereafter.
[0079]
On the other hand, in the case of changing to the image corresponding to the position and viewpoint of the character of the service provider, the process returns to step S22 and proceeds to the determination process of whether or not the position and viewpoint of the character has been changed. The subsequent processing is executed.
[0080]
On the other hand, if it is not necessary to change the viewpoint of the current image, the process proceeds from step S33 to step S34 to determine whether the current display image is an image corresponding to the position and viewpoint of the service provider character. Is done. If an image corresponding to the position and viewpoint of the service provider character is currently displayed, the process returns to step S22, and the subsequent processing is executed. If the currently displayed image is an image corresponding to the position and viewpoint of the user's character, the process proceeds to step S30, and the subsequent processing is repeatedly executed.
[0081]
On the other hand, if it is determined in step S21 that the mode is not the character mode, the process proceeds to step S36, where a predetermined image irrelevant to the positions and viewpoints of the service provider and user characters is supplied from the server 11, and the image is displayed on the display device. 55 is output and displayed. Then, it progresses to step S31 and the process after it is repeatedly performed.
[0082]
As described above, the service provider uses the image corresponding to the position and viewpoint of the service provider character, or the position and viewpoint of the user character located in the virtual reality space assigned to the service provider. Any of the corresponding images can be provided.
[0083]
FIG. 14 illustrates an example of processing of the server 11 when the image illustrated in FIG. 13 is provided to the service provider terminal 14. First, in step S51, it is determined whether or not the character mode is selected. If it is determined that the character mode is selected, the process proceeds to step S52 to determine whether or not a user character is designated. That is, in step S26 of FIG. 13, it is determined whether or not a user has been designated. When it is determined that the user is not designated, that is, when an image corresponding to the position and viewpoint of the service provider character is provided, the process proceeds to step S53, where data corresponding to the position and viewpoint of the service provider character is displayed. To get. This data is output from the service provider terminal 14 in step S23 of FIG.
[0084]
In step S54, the image data corresponding to the position and viewpoint of the service provider character acquired in step S53 is read from the storage device 12, and after necessary correction processing is performed, the image data is output to the service provider terminal 14. Let
[0085]
That is, the CPU 21 of the server 11 controls the communication device 24 and outputs image data corresponding to the position and viewpoint of the service provider character to the service provider terminal 14 via the broadband communication network 15. When receiving the data via the communication device 54, the CPU 51 of the service provider terminal 14 outputs the data to the display device 55 for display. In this way, by operating the viewpoint input device 59c and the movement input device 59d, the display device 55 displays an image corresponding to the position and viewpoint of the input character of the service provider.
[0086]
Next, the process proceeds to step S55, where it is determined whether or not the end of the process is instructed. If it is determined that the end is not instructed, the process returns to step S51 and the subsequent processes are executed.
[0087]
If it is determined in step S52 that the character of the predetermined user is designated, the process proceeds to step S56, and the same image as the image provided to the user terminal 13 corresponding to the designated character is provided. To the person terminal 14.
[0088]
If it is determined in step S51 that the character mode is not selected, the process proceeds to step S57, and image data irrelevant to the positions and viewpoints of the characters of the service provider and the user is read and output.
[0089]
After step S56 and step S57, the process proceeds to step S55, and the subsequent processing is repeatedly executed.
[0090]
When a user is receiving an image of the virtual reality space from the server 11, the user can pay attention to a predetermined image and specify the image when he wants to obtain more detailed information about the image. FIG. 15 shows processing of the user terminal 13 in that case. First, in step S61, an image designation process is performed. For example, this designation is performed by operating the mouse 49b of the user terminal 13 to move the cursor 74 over a predetermined image and clicking in the state shown in FIG.
[0091]
Next, the process proceeds to step S62, and processing for outputting data necessary for specifying the designated image to the server 11 is executed. That is, the CPU 41 causes the server 11 to output data corresponding to the operation position of the mouse 49 b via the communication device 44.
[0092]
The server 11 acquires this data in step S71 of FIG. 18 described later, and reads and outputs the provision information corresponding to this designated image in step S73.
[0093]
In step S63, the user terminal 13 acquires the provision information of the designated image output from the server 11, and outputs the information to the display device 45 for display.
[0094]
In this manner, for example, in the state shown in FIG. 9, by specifying the television 72 with the cursor 74, the performance, price, and other provision information of the television 72 can be obtained.
[0095]
Alternatively, for example, as illustrated in FIG. 16, it is assumed that an advertising tower 81 is provided on the roof of one building constituting the virtual reality space. In the advertising tower 81, a picture for advertising a predetermined product is drawn.
[0096]
The user looks at this picture and clicks on the advertising tower 81 with the cursor 74 when interested in the product drawn there. Then, as shown in FIG. 17, more detailed information regarding the product drawn in the advertising tower 81 is displayed.
[0097]
What is important here is that the provided information is not information in the virtual reality space but information in the real space. That is, the product displayed on the television 72 or the advertising tower 81 The product is actually sold by the service provider in the space, and information related to the product is provided to the user terminal 13.
[0098]
Next, in step S64, it is determined whether or not it is necessary to access a service provider that provides a service related to the specified image. For example, in the case of obtaining information as shown in FIG. 17 and actually wanting to purchase the product in the real space, after receiving the provision of the information, the information provider who provides the information is further provided. Access immediately.
[0099]
In this case, access is instructed by operating a predetermined key of the user terminal 13, for example, a keyboard 49a. At this time, the CPU 41 outputs access information via the communication device 44 in step S65.
[0100]
As will be described later with reference to FIG. 18, when the server 11 receives the access information, in step S75, the server 11 receives the access information assigned to the space in which the image designated by the user is displayed. Output to the existing service provider terminal 14. Then, when the service provider terminal 14 receiving the access information responds to the access, it outputs an access confirmation signal in step S94 of FIG.
[0101]
Then, when this access confirmation signal is received, the server 11 executes processing necessary for the user terminal and the service provider terminal to talk to each other in steps S78 and S79 in FIG. As a result, a two-way call using a voice signal is possible between the two.
[0102]
Therefore, in the user terminal 13, after the access information is output in step S65 of FIG. 15, it is determined whether or not an access confirmation signal is received in step S66, and if the access confirmation signal is received, step S67. Proceed to, and perform a voice call with a service provider terminal that provides information corresponding to the designated image.
[0103]
That is, the user terminal 13 makes an application for purchasing, for example, a product to the service provider through the microphone 46 by an audio signal. This application is transmitted to the service provider terminal 14 via the communication device 44. The service provider terminal 14 receives this audio signal via the communication device 54 and outputs it from the speaker 57.
[0104]
In the service provider terminal 14, a necessary response is input from the microphone 56 as an audio signal. This audio signal is transmitted to the user terminal 13 via the communication device 54 and output from the speaker 47 of the user terminal 13.
[0105]
In this way, it is possible to apply for purchase of a product by voice. The service provider, for example, listens to the credit card number of the user and performs a payment process for payment for the product, and also performs a delivery process for the product. Such an economic action is performed through a virtual reality space, but is an economic action in a real space.
[0106]
Such a call process is repeatedly executed until it is determined in step S68 that the user terminal 13 or the service provider terminal 14 has instructed termination of the call.
[0107]
If it is determined in step S64 that it is not necessary to perform access in relation to the designated image, and if it is determined in step S66 that an access confirmation signal has not been received, a call with the service provider terminal is made. Since it is not performed, the process of step S67 is skipped.
[0108]
Next, the process proceeds to step S69, where it is determined whether or not the end of the process is instructed. If it is determined that the end is not instructed, the process returns to step S61 and the subsequent processes are executed.
[0109]
FIG. 18 illustrates a processing example of the server 11 when an image designation process is instructed by the user terminal 13. First, in step S71, the server 11 acquires data for specifying the designated image output by the user terminal 13 in step S62 of FIG. This data is stored in the RAM 23 of the server 11 as necessary. Next, proceeding to step S72, the CPU 21 determines whether or not the designated image specified by the acquired data is registered in advance as an information provision target image.
[0110]
For example, the space shown in FIG. 9 is a space for selling electrical appliances, and the counter 71 is not an image of products for sale. Therefore, there is no information to be specifically provided for the counter 71. On the other hand, since the televisions 72 and 73 are commodities sold here, there is provided information that explains them in more detail. In step S72, it is determined which of these types of images has been designated.
[0111]
When an image in which provision information exists is designated, the process proceeds to step S73, where the provision information corresponding to the designated image is read from the storage device 12 and output to the user terminal 13. For example, in the state shown in FIG. 9, when the television 72 or 73 is designated, the provision information corresponding to the television 72 or 73 is read and output to the user terminal 13. In the state shown in FIG. 16, when the advertising tower 81 is designated, the provision information (information as shown in FIG. 17) corresponding to the designated advertisement tower 81 is read and output to the user terminal 13.
[0112]
Next, it progresses to step S74 and it is determined whether the access information was received from the user terminal 13. FIG. When the access information is received, the process proceeds to step S75, and the received access information is output to the service provider terminal 14 corresponding to the designated image.
[0113]
As will be described later with reference to FIG. 19, the service provider terminal 14 outputs an access confirmation signal in step S94 when responding to this access information.
[0114]
Therefore, the server 11 determines whether or not the access confirmation signal output from the service provider terminal 14 has been received in step S76 of FIG. 18, and if received, the process proceeds to step S77 where the access confirmation signal is received. Is output to the user terminal 13 that has designated the image.
[0115]
In step S78, processing is performed to enable voice communication between the user terminal 13 that has designated the image and the service provider terminal 14 that corresponds to the designated image. This process is repeatedly executed until it is determined in step S79 that the user terminal 13 or the service provider terminal 14 has input a call termination command.
[0116]
If it is determined in step S74 that an access information signal has not been received, or if it is determined in step S76 that an access confirmation signal has not been received, the call between the two is not performed. Skipped.
[0117]
Next, proceeding to step S80, the CPU 21 of the server 11 outputs to the service provider terminal 14 information on the user who has designated the predetermined image and information on the designated image.
[0118]
When the service provider terminal 14 receives this notification, the statistical processing is executed in step S97 of FIG. Then, information on what products are popular and which users are paying attention to the products is acquired.
[0119]
On the other hand, if it is determined in step S72 of FIG. 18 that an image having no provision information is designated, for example, if the counter 71 is designated in the state shown in FIG. 9, the process proceeds to step S81, and error processing is executed. The That is, the CPU 21 of the server 11 controls the communication device 24 to cause the user terminal 13 to output a message such as “There is no information to provide”.
[0120]
FIG. 19 illustrates a processing example of the service provider terminal 14 when the user terminal 13 instructs an image designation process. First, in step S91, information related to the user who specified the image (product) and information related to the specified image (product) are received. The CPU 51 of the service provider terminal 14 supplies this data to the RAM 53 and stores it.
[0121]
In step S92, it is determined whether access information is received from the user terminal 13. When the access information is received, the process proceeds to step S93 to determine whether or not to respond to this access information. If a response to this access information is possible, the process proceeds to step S94, and a response is instructed to the CPU 51 by operating a predetermined key of the keyboard 59a, for example.
[0122]
At this time, the CPU 51 causes the user terminal 13 to output an access confirmation signal via the communication device 54 in step S94. As described above, when receiving this access confirmation signal, the server 11 executes processing for a call in step S78 of FIG. For this reason, it becomes a state in which the telephone call by an audio | voice signal is possible between the user terminals 13 which designated the image.
[0123]
Therefore, the service provider terminal 14 makes a call with the user terminal 13 that has designated the image in step S95. This call process is repeatedly executed until it is determined in step S96 that the end of the call has been commanded at the user terminal 13 or the service provider terminal 14.
[0124]
If it is determined in step S92 that access information has not been received, or if it is determined in step S93 that the access information cannot be responded due to reasons such as busyness, the processing in step S94 is skipped. . Therefore, no call processing is performed with the user terminal 13.
[0125]
Next, it progresses to step S97 and the statistical process regarding the information acquired by step S91 is performed.
[0126]
Thus, for example, in the state shown in FIG. 9, when the user designates the television 72 with the cursor 74, information related to the user of the user terminal 13 (profession, age, address, telephone number, gender, etc.) is sent to the service provider terminal 14. , It is informed that the television 72 is designated. Therefore, the service provider terminal 14 can know that the user is interested in the television 72.
[0127]
Further, if the television 72 is popular, so many users designate the television 72, so that it is possible to know how popular each television is.
[0128]
The image can also be specified by the service provider. FIG. 20 shows a processing example of the service provider terminal 14 in this case. First, in step S101, a predetermined image is designated by operating the mouse 59b of the service provider terminal 14. For example, in the state shown in FIG. 10, the televisions 72 and 73 can be designated.
[0129]
In step S102, it is determined whether the image specified by the service provider needs to be provided to the user. If it is necessary to provide the same image to the user, the process proceeds to step S103, where the user's consent is obtained and the user is designated. For example, in the state shown in FIG. 10, when the service provider wants to provide the provision information regarding the television 72 to the user corresponding to the character C, the service provider designates the television 72 with the cursor 75 and designates the character C. Consent is obtained for providing information about 72 to the user terminal 13-1.
[0130]
In step S104, the CPU 51 outputs the image specified in step S101 and data specifying the user specified in step S103 to the server 11.
[0131]
On the other hand, if it is determined in step S102 that it is not necessary to specify the user, that is, if the service provider only needs to view the provided information related to the specified image, the process proceeds to step S106 and specified in step S101. Data specifying the processed image is output to the server 11.
[0132]
The data output in steps S104 and S106 is received by the server 11 in step S111 of FIG. 21 to be described later, and provided information corresponding to this data is sent from the server 11 to the service provider terminal 14 in step S114 or step S115. Or the service provider terminal 14 and the user terminal 13, respectively.
[0133]
In this way, the service provider terminal 14 receives the provision information corresponding to the designated image output from the server 11 in step S105, and outputs it to the display device 55 for display.
[0134]
Thereby, in the service provider terminal 14, the provided information corresponding to each designated image can be confirmed or the same provided information can be provided to the user as necessary, and the designated image can be explained. .
[0135]
FIG. 21 shows a processing example of the server 11 when a predetermined image is designated by the service provider terminal 14 according to the flowchart of FIG. First, in step S111, the service provider terminal 14 acquires the data output in step S104 or step S106 of FIG. As described above, this data includes data for specifying a designated image and data for designating a user who provides provided information in some cases.
[0136]
In step S112, the provision information corresponding to the designated image acquired in step S111 is read from the storage device 12. Next, proceeding to step S113, it is determined whether the provision information read out at step S112 needs to be provided to the user. This determination is made based on the data acquired in step S111. If the provision information needs to be output only to the service provider, the process proceeds to step S114, where the provision information is output only to the service provider terminal 14. On the other hand, when it is necessary to provide the provision information to the user, the process proceeds to step S115, and the provision information is output not only to the service provider but also to the user. The former is a process corresponding to step S106 in FIG. 20, and the latter is a process corresponding to step S104 in FIG.
[0137]
FIG. 22 shows a processing example of the user terminal 13 when an image is designated by the service provider. First, in step S <b> 121, the provision information output from the server 11 is received and displayed on the display device 45. This information is output from the server 11 in step S115 of FIG. This process is repeated until it is determined in step S122 that termination has been commanded.
[0138]
In the above embodiment, the case of selling a product is taken as an example, but the present invention can be applied when various services are provided. For example, when an advertisement image of a movie or game software is displayed in the virtual reality space, if the advertisement image is designated, the movie or game software can be provided.
[0139]
【The invention's effect】
As described above, according to the present invention, a part of the virtual reality space is allocated to the service provider terminal, This service provider terminal can know the same image as the user's character viewpoint. As a result, the service provider can provide more detailed information about the products that are actually exhibited in the real space. More precisely, It can be provided to the user terminal via the virtual reality space. Accordingly, it is possible to perform economic activities in the real space using the virtual reality space, and it is possible to generate added value in the virtual reality space.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration example of a cyberspace system to which a service providing method of the present invention is applied.
FIG. 2 is a block diagram illustrating a configuration example of a server 11 in FIG.
FIG. 3 is a block diagram illustrating a configuration example of a user terminal 13 in FIG. 1;
4 is a block diagram illustrating a configuration example of a service provider terminal 14 in FIG. 1. FIG.
FIG. 5 is a diagram for explaining a virtual reality space formed by the cyberspace system of FIG. 1;
6 is a diagram for explaining a field of view from a character C in FIG. 5;
FIG. 7 is a diagram for explaining a field of view from a character D in FIG. 5;
FIG. 8 is a diagram for explaining a part of allocation space of the cyber space system in the embodiment of FIG. 1;
FIG. 9 is a diagram for explaining a field of view from a character C in FIG. 8;
FIG. 10 is a diagram for explaining a field of view from the character F in FIG. 8;
11 is a flowchart for explaining processing when the user terminal 13 of FIG. 1 receives provision of an image from the server 11. FIG.
12 is a flowchart for explaining processing of the server 11 corresponding to the processing of the user terminal 13 of FIG. 1;
13 is a flowchart for explaining processing when the service provider terminal 14 in FIG. 1 receives provision of an image from the server 11. FIG.
14 is a flowchart illustrating processing of the server 11 corresponding to processing of the service provider terminal 14 of FIG.
15 is a flowchart for explaining processing when the user terminal 13 of FIG. 1 designates an image. FIG.
16 is a diagram showing a display example of the display device 45 of the user terminal 13 of FIG.
FIG. 17 is a diagram showing a display example when the advertising tower 81 in FIG. 16 is designated.
FIG. 18 is a flowchart illustrating processing of the server 11 corresponding to the processing of the user terminal in FIG.
FIG. 19 is a flowchart for explaining processing of the service provider terminal 14 corresponding to the processing of the user terminal of FIG. 15;
20 is a flowchart for explaining image designation processing by the service provider terminal 14 of FIG. 1; FIG.
FIG. 21 is a flowchart illustrating processing of the server 11 corresponding to processing of the service provider terminal 14 of FIG.
22 is a flowchart for explaining processing of the user terminal 13 corresponding to processing of the service provider terminal 14 of FIG.
FIG. 23 is a block diagram illustrating a configuration example of a conventional cyberspace system.
24 is a diagram showing a display example of the user terminal 3-1 in FIG.
FIG. 25 is a diagram showing a display example of the user terminal 3-2 in FIG.
[Explanation of symbols]
1 server
2 storage devices
3,3-1, 3-2, 3-3 User terminal
4 public telephone lines
11, 11-1, 11-2 server
12, 12-1, 12-2 storage device
13, 13-1, 13-2, 13-3 User terminal
14, 14-1, 14-2 Service provider terminal
15 Broadband communication network

Claims (12)

サービス提供者がユーザに対して所定のサービスを提供する仮想現実空間を、前記ユーザの端末であるユーザ端末と、前記サービス提供者の端末であるサービス提供者端末に提供するサーバの仮想現実空間提供方法であって、
前記ユーザ端末から前記仮想現実空間におけるユーザのキャラクタの位置データおよび視点データを通信装置に受信させる第1ステップと、
前記第1ステップの処理により前記通信装置に受信させる前記ユーザのキャラクタの位置データおよび視点データに対応する前記仮想現実空間の画像データである第1の画像データを生成し、前記通信装置に、生成した前記第1の画像データを、前記位置データおよび前記視点データを伝送してきた前記ユーザ端末に対して送信させる第2ステップと、
前記サービス提供者端末において、前記仮想現実空間内に存在するユーザのキャラクタが指定されているか否かを判定する第3のステップと、
前記第3ステップの処理により、前記ユーザのキャラクタが指定されていないと判定される場合、前記仮想現実空間における前記サービス提供者端末のサービス提供者のキャラクタの位置データおよび視点データに基づいて前記仮想現実空間の画像データである第2の画像データを生成し、前記通信装置に、生成した前記第2の画像データを前記サービス提供者端末に対して送信させる第4ステップと、
前記第3ステップの処理により、前記ユーザのキャラクタが指定されていると判定される場合、前記通信装置に、前記第2ステップの処理により生成された前記第1の画像データを前記サービス提供者端末に対して送信させる第5ステップと
を含むことを特徴とする仮想現実空間提供方法。
Provision of virtual reality space of a server that provides a virtual reality space in which a service provider provides a predetermined service to a user to a user terminal that is the user's terminal and a service provider terminal that is the terminal of the service provider A method,
A first step of causing a communication device to receive position data and viewpoint data of a user character in the virtual reality space from the user terminal;
Generating first image data that is image data of the virtual reality space corresponding to position data and viewpoint data of the user character to be received by the communication device by the processing of the first step, and generating the first image data in the communication device; A second step of transmitting the first image data to the user terminal that has transmitted the position data and the viewpoint data;
A third step of determining whether or not a user character existing in the virtual reality space is designated in the service provider terminal ;
If it is determined in the third step that the user's character is not specified, the virtual character is based on the position data and viewpoint data of the service provider character of the service provider terminal in the virtual reality space. A fourth step of generating second image data which is image data in real space, and causing the communication device to transmit the generated second image data to the service provider terminal;
When it is determined that the user's character is designated by the process of the third step, the first image data generated by the process of the second step is transmitted to the communication device as the service provider terminal. A virtual reality space providing method comprising: a fifth step of transmitting to the virtual reality space.
前記第2ステップの処理により前記通信装置に送信させる前記第1の画像データを受信する前記ユーザ端末より送信される、前記第1の画像データに含まれる所定の画像を指定する指定情報を、前記通信装置に受信させる第6ステップと、
前記第6ステップの処理により前記通信装置に受信させる前記指定情報に対応する提供情報を記憶装置より読み出し、前記通信装置に、読み出した前記提供情報を前記ユーザ端末に対して送信させる第7ステップと
をさらに含むことを特徴とする請求項1に記載の仮想現実空間提供方法。
Designation information for designating a predetermined image included in the first image data, transmitted from the user terminal that receives the first image data to be transmitted to the communication device by the processing of the second step, A sixth step for causing the communication device to receive;
A seventh step of reading provision information corresponding to the designation information to be received by the communication device by the processing of the sixth step from a storage device, and causing the communication device to transmit the read provision information to the user terminal; The virtual reality space providing method according to claim 1, further comprising:
前記通信装置に、前記第6ステップの処理により前記通信装置に受信させる前記指定情報を前記サービス提供者端末に対して送信させる第8ステップをさらに含む
ことを特徴とする請求項2に記載の仮想現実空間提供方法。
The virtual step according to claim 2, further comprising an eighth step of causing the communication device to transmit the designation information to be received by the communication device through the processing of the sixth step to the service provider terminal. Real space provision method.
前記第6ステップの処理により前記通信装置に受信させた前記指定情報は、前記所定の画像を指定する情報と前記ユーザに関する情報を含む
ことを特徴とする請求項2に記載の仮想現実空間提供方法。
Wherein the specifying information is received by the communication device by the sixth step of the process, the virtual reality space providing method according to claim 2, characterized in that it comprises information on the user and information specifying the predetermined image .
前記第6ステップの処理により前記通信装置に受信させる前記指定情報を送信する前記ユーザ端末からさらに送信される、前記仮想現実空間における前記第1の画像データを含む部分空間が割り当てられている前記サービス提供者端末へのアクセス情報を、前記通信装置に受信させる第8ステップと、
前記通信装置に、前記第8ステップの処理により前記通信装置に受信させる前記アクセス情報を、前記アクセス情報が対応する前記サービス提供者端末に対して送信させる第9ステップと、
前記第9ステップの処理により前記通信装置に送信させる前記アクセス情報を受信する前記サービス提供者端末より送信される、前記アクセス情報に対応するアクセス確認信号を、前記通信装置に受信させる第10ステップと、
前記通信装置に、前記第10ステップの処理により前記通信装置に受信させる前記アクセス確認信号を、前記第8ステップの処理により前記通信装置に受信させる前記アクセス情報を送信する前記ユーザ端末に対して送信させる第11ステップと
をさらに含むことを特徴とする請求項2に記載の仮想現実空間提供方法。
The service to which a partial space including the first image data in the virtual reality space, which is further transmitted from the user terminal that transmits the designation information to be received by the communication device by the processing of the sixth step, is allocated. An eighth step of causing the communication device to receive access information to the provider terminal;
A ninth step of causing the communication device to transmit the access information to be received by the communication device by the processing of the eighth step to the service provider terminal to which the access information corresponds;
A tenth step of causing the communication device to receive an access confirmation signal corresponding to the access information transmitted from the service provider terminal that receives the access information to be transmitted to the communication device by the process of the ninth step; ,
The access confirmation signal to be received by the communication apparatus by the processing of the tenth step is transmitted to the user terminal that transmits the access information to be received by the communication apparatus by the processing of the eighth step. The virtual reality space providing method according to claim 2, further comprising: an eleventh step.
前記第4ステップの処理または前記第5ステップの処理により前記通 信装置に送信させる前記第2の画像データまたは前記第1の画像データを受信する前記サービス提供者端末より送信される、前記第1の画像データまたは前記第2の画像データに含まれる所定の画像を指定する指定情報を前記通信装置に受信させる第6ステップと、
前記第6ステップの処理により前記通信装置に受信させる前記指定情報に対応する提供情報を記憶装置より読み出す第7ステップと、
前記第6ステップの処理により前記通信装置に受信させる前記指定情報に前記ユーザを指定するユーザ指定情報が含まれるか否かを判定する第8ステップと、
前記第8ステップの処理により前記ユーザ指定情報が含まれると判定される場合、前記通信装置に、前記第7ステップの処理により前記記憶装置より読み出される前記提供情報を、前記サービス提供者端末、並びに、前記ユーザ指定情報に対応する前記ユーザ端末に対して送信させる第9ステップと、
前記第8ステップの処理により前記ユーザ指定情報が含まれないと判定される場合、前記通信装置に、前記第7ステップの処理により前記記憶装置より読み出される前記提供情報を、前記サービス提供者端末に対して送信させる第10ステップと
をさらに含むことを特徴とする請求項1に記載の仮想現実空間提供方法。
Said it transmitted from said service provider terminal for receiving the second image data or the first image data to be transmitted to the communications device by the fourth step of the process or processes of the fifth step, the first A sixth step of causing the communication device to receive designation information for designating a predetermined image included in the image data or the second image data;
A seventh step of reading from the storage device provision information corresponding to the designation information to be received by the communication device by the processing of the sixth step;
An eighth step of determining whether or not the designation information to be received by the communication device by the processing of the sixth step includes user designation information that designates the user;
When it is determined that the user-specified information is included by the process of the eighth step, the communication provider reads the provision information read from the storage device by the process of the seventh step, the service provider terminal, and A ninth step of transmitting to the user terminal corresponding to the user designation information;
When it is determined that the user designation information is not included in the process of the eighth step, the provision information read from the storage device by the process of the seventh step is sent to the service provider terminal. The virtual reality space providing method according to claim 1, further comprising: a tenth step of transmitting to the virtual reality space.
サービス提供者がユーザに対して所定のサービスを提供する仮想現実空間を、前記ユーザの端末であるユーザ端末と、前記サービス提供者の端末であるサービス提供者端末に提供する仮想現実空間提供装置であって、
前記ユーザ端末から前記仮想現実空間におけるユーザのキャラクタの位置データおよび視点データを受信する第1の受信手段と、
前記第1の受信手段により受信される前記ユーザのキャラクタの位置データおよび視点データに対応する前記仮想現実空間の画像データである第1の画像データを生成し、生成した前記第1の画像データを、前記位置データおよび前記視点データを伝送してきた前記ユーザ端末に対して送信する第1の送信手段と、
前記サービス提供者端末において、前記仮想現実空間内に存在するユーザのキャラクタが指定されているか否かを判定する第1の判定手段と、
前記第1の判定手段により前記ユーザのキャラクタが指定されていないと判定される場合、前記仮想現実空間における前記サービス提供者端末のサービス提供者のキャラクタの位置データおよび視点データに基づいて前記仮想現実空間の画像データである第2の画像データを生成し、生成した前記第2の画像データを前記サービス提供者端末に対して送信する第2の送信手段と、
前記第1の判定手段により前記ユーザのキャラクタが指定されていると判定される場合、前記第1の送信手段により生成される前記第1の画像データを前記サービス提供者端末に対して送信する第3の送信手段と
を備えることを特徴とする仮想現実空間提供装置。
A virtual reality space providing device that provides a virtual reality space in which a service provider provides a predetermined service to a user to a user terminal that is the user's terminal and a service provider terminal that is the terminal of the service provider. There,
First receiving means for receiving position data and viewpoint data of the user's character in the virtual reality space from the user terminal;
First image data that is image data in the virtual reality space corresponding to the position data and viewpoint data of the user character received by the first receiving means is generated, and the generated first image data is First transmitting means for transmitting to the user terminal that has transmitted the position data and the viewpoint data;
A first determination unit configured to determine whether or not a user character existing in the virtual reality space is designated in the service provider terminal ;
When it is determined by the first determination means that the user's character is not designated, the virtual reality is based on the position data and viewpoint data of the service provider character of the service provider terminal in the virtual reality space. Second transmission means for generating second image data, which is image data of space, and transmitting the generated second image data to the service provider terminal;
When it is determined by the first determination means that the user's character is designated, the first image data generated by the first transmission means is transmitted to the service provider terminal. 3. A virtual reality space providing device comprising:
前記第1の送信手段により送信される前記第1の画像データを受信する前記ユーザ端末より送信される、前記第1の画像データに含まれる所定の画像を指定する指定情報を受信する第2の受信手段と、
前記第2の受信手段により受信される前記指定情報に対応する提供情報を記憶装置より読み出し、読み出した前記提供情報を前記ユーザ端末に対して送信する第4の送信手段と
をさらに備えることを特徴とする請求項7に記載の仮想現実空間提供装置。
A second unit for receiving designation information for designating a predetermined image included in the first image data, which is transmitted from the user terminal that receives the first image data transmitted by the first transmission unit; Receiving means;
And further comprising: fourth transmission means for reading provision information corresponding to the designation information received by the second reception means from a storage device and transmitting the read provision information to the user terminal. The virtual reality space providing device according to claim 7.
前記第2の受信手段により受信される前記指定情報を前記サービス提供者端末に対して送信する第5の送信手段をさらに備える
ことを特徴とする請求項8に記載の仮想現実空間提供装置。
The virtual reality space providing apparatus according to claim 8, further comprising fifth transmission means for transmitting the designation information received by the second reception means to the service provider terminal.
前記第2の受信手段により受信される前記指定情報は、前記所定の画像を指定する情報と前記ユーザに関する情報を含む
ことを特徴とする請求項8に記載の仮想現実空間提供装置。
Wherein the specifying information received by the second receiving means, the virtual reality space provided apparatus according to claim 8, characterized in that it comprises information on the user and information specifying the predetermined image.
前記第2の受信手段により受信される前記指定情報を送信する前記ユーザ端末からさらに送信される、前記仮想現実空間における前記第1の画像データを含む部分空間が割り当てられている前記サービス提供者端末へのアクセス情報を受信する第3の受信手段と、
前記第3の受信手段により受信される前記アクセス情報を、前記アクセス情報が対応する前記サービス提供者端末に対して送信する第5の送信手段と、
前記第5の送信手段により送信される前記アクセス情報を受信する前記サービス提供者端末より送信される、前記アクセス情報に対応するアクセス確認信号を受信する第4の受信手段と、
前記第4の受信手段により受信される前記アクセス確認信号を、前記第3の受信手段により受信される前記アクセス情報を送信する前記ユーザ端末に対して送信する第6の送信手段と
をさらに備えることを特徴とする請求項8に記載の仮想現実空間提供装置。
The service provider terminal to which a partial space including the first image data in the virtual reality space is further transmitted from the user terminal that transmits the designation information received by the second receiving unit. A third receiving means for receiving access information to
Fifth transmission means for transmitting the access information received by the third reception means to the service provider terminal to which the access information corresponds;
Fourth receiving means for receiving an access confirmation signal corresponding to the access information transmitted from the service provider terminal that receives the access information transmitted by the fifth transmitting means;
And a sixth transmission means for transmitting the access confirmation signal received by the fourth reception means to the user terminal that transmits the access information received by the third reception means. The virtual reality space providing device according to claim 8.
前記第2の送信手段または前記第3の送信手段により送信される前記第2の画像データまたは前記第1の画像データを受信する前記サービス提供者端末より送信される、前記第1の画像データまたは前記第2の画像データに含まれる所定の画像を指定する指定情報を受信する第2の受信手段と、
前記第2の受信手段により受信される前記指定情報に対応する提供情報を記憶装置より読み出す読み出し手段と、
前記第2の受信手段により受信される前記指定情報に前記ユーザを指定するユーザ指定情報が含まれるか否かを判定する第2の判定手段と、
前記第2の判定手段により前記指定情報に前記ユーザ指定情報が含まれると判定される場合、前記読み出し手段により前記記憶装置より読み出される前記提供情報を、前記サービス提供者端末、並びに、前記ユーザ指定情報に対応する前記ユーザ端末に送信する第4の送信手段と、
前記第2の判定手段により前記指定情報に前記ユーザ指定情報が含まれないと判定される場合、前記第読み出し手段により前記記憶装置より読み出される前記提供情報を、前記サービス提供者端末に対して送信する第5の送信手段と
をさらに備えることを特徴とする請求項7に記載の仮想現実空間提供装置。
Said it transmitted from said service provider terminal for receiving the second image data or the first image data transmitted by the second transmission means or the third transmission means, the first image data or Second receiving means for receiving designation information for designating a predetermined image included in the second image data;
Reading means for reading provided information corresponding to the designation information received by the second receiving means from a storage device;
Second determination means for determining whether or not user designation information for designating the user is included in the designation information received by the second reception means;
When it is determined by the second determination means that the designation information includes the user designation information, the provision information read from the storage device by the reading means is the service provider terminal and the user designation Fourth transmission means for transmitting to the user terminal corresponding to the information;
When the second determining means determines that the user-specified information is not included in the specified information, the providing information read from the storage device by the second reading means is transmitted to the service provider terminal The virtual reality space providing apparatus according to claim 7, further comprising: a fifth transmission unit configured to perform the following.
JP22451994A 1994-09-20 1994-09-20 Virtual reality space providing method and virtual reality space providing device Expired - Fee Related JP4190590B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP22451994A JP4190590B2 (en) 1994-09-20 1994-09-20 Virtual reality space providing method and virtual reality space providing device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP22451994A JP4190590B2 (en) 1994-09-20 1994-09-20 Virtual reality space providing method and virtual reality space providing device

Publications (2)

Publication Number Publication Date
JPH0887489A JPH0887489A (en) 1996-04-02
JP4190590B2 true JP4190590B2 (en) 2008-12-03

Family

ID=16815074

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22451994A Expired - Fee Related JP4190590B2 (en) 1994-09-20 1994-09-20 Virtual reality space providing method and virtual reality space providing device

Country Status (1)

Country Link
JP (1) JP4190590B2 (en)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3224507B2 (en) * 1995-09-07 2001-10-29 富士通株式会社 Information retrieval apparatus and information retrieval system using the same
CA2247325A1 (en) * 1996-02-28 1997-09-04 Aim Corporation Information providing system for providing images suitable for particular users, and terminal of information providing system
JP3245425B2 (en) * 1996-02-28 2002-01-15 グローバルメディアオンライン株式会社 Communication system that delivers messages such as advertisements to users of terminal devices
CN1210897C (en) * 1996-12-25 2005-07-13 索尼公司 Game machine system, broadcasting system, data distribution system and its method, and program executing device and its method
JPH1115995A (en) * 1997-06-24 1999-01-22 Amadeusu Net:Kk Residence total guiding system by virtual housing center using virtual real space
KR20000038485A (en) * 1998-12-07 2000-07-05 윤봉수 Virtual reality home shopping in internet
KR20010090906A (en) * 2000-04-08 2001-10-22 변기호 A business model to get revenue through the cyber environment complex
KR20010097196A (en) * 2000-04-20 2001-11-08 김재호 cyber world system for providing premarketing tool
KR20000071965A (en) * 2000-05-16 2000-12-05 송대근 an advertisement system using a growing character on the internet and control method thereof
KR20010105846A (en) * 2000-05-18 2001-11-29 장충엽 Service system by three-dimensional space using internet and service method thereof
US6616533B1 (en) * 2000-05-31 2003-09-09 Intel Corporation Providing advertising with video games
KR20010113311A (en) * 2000-06-19 2001-12-28 임완근 Homepage system and its search technology and methodology for enterprise management residence area
JP3945160B2 (en) * 2000-12-25 2007-07-18 日本電気株式会社 Information providing server, client, information providing system processing method, and recording medium recording program
JP2002279284A (en) * 2001-03-15 2002-09-27 Sony Corp Community service providing method, community service providing device, program storage medium and program
JP2003067429A (en) * 2001-05-09 2003-03-07 Sony Corp Information disclosure system, server, client device and program
JP4038434B2 (en) * 2001-05-14 2008-01-23 株式会社ネットディメンション Information distribution system and information distribution method
US6795972B2 (en) 2001-06-29 2004-09-21 Scientific-Atlanta, Inc. Subscriber television system user interface with a virtual reality media space
KR20010099226A (en) * 2001-09-13 2001-11-09 이정훈 3D3 Radio/TV 3D Internet 3D BM BM /Business Model.omitted
KR20020003842A (en) * 2001-10-30 2002-01-15 최은미 On-line Service Providing System
US9208495B2 (en) 2003-10-06 2015-12-08 Yellowpages.Com Llc Methods and apparatuses for advertisement presentation
WO2008130842A1 (en) * 2007-04-20 2008-10-30 Utbk, Inc. Methods and systems to connect people via virtual reality for real time communications
US8601386B2 (en) 2007-04-20 2013-12-03 Ingenio Llc Methods and systems to facilitate real time communications in virtual reality
JP4601694B2 (en) 2008-09-11 2010-12-22 株式会社スクウェア・エニックス Video game processing apparatus and video game processing program
US8291322B2 (en) 2009-09-30 2012-10-16 United Video Properties, Inc. Systems and methods for navigating a three-dimensional media guidance application
US20130054319A1 (en) * 2011-08-29 2013-02-28 United Video Properties, Inc. Methods and systems for presenting a three-dimensional media guidance application
JP6144959B2 (en) * 2013-05-01 2017-06-07 株式会社野村総合研究所 Securities trading system
CN111611575A (en) * 2016-10-13 2020-09-01 创新先进技术有限公司 Service implementation method and device based on virtual reality scene
JPWO2021079821A1 (en) * 2019-10-25 2021-04-29

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2915505B2 (en) * 1990-06-21 1999-07-05 富士通株式会社 Data processing method and device in electronic sales system
JP3083657B2 (en) * 1992-09-11 2000-09-04 株式会社東芝 Human interface system and control method thereof

Also Published As

Publication number Publication date
JPH0887489A (en) 1996-04-02

Similar Documents

Publication Publication Date Title
JP4190590B2 (en) Virtual reality space providing method and virtual reality space providing device
US6085256A (en) Cyber space system for providing a virtual reality space formed of three dimensional pictures from a server to a user via a service provider
US20030174178A1 (en) System for presenting differentiated content in virtual reality environments
US20080249897A1 (en) Electronic Commerce System for the Digital Fashion Using an Avatar Based on a User and Method for Operating the Same
JP2010035195A (en) Item display
EP1135913B1 (en) Interactive media system
WO2001008061A1 (en) Method and apparatus for providing network based counseling service
JP3690609B2 (en) Virtual space providing apparatus and method
KR20200067537A (en) System and method for providing a virtual environmental conference room
US20050253851A1 (en) System for providing virtual space, a virtual space providing server and a virtual space providing method for advancing communication between users in virtual space
KR20180005625A (en) Method and apparatus for providing virtual fitting service
JP4166290B2 (en) Cyber space system, information processing method, virtual space providing device, and virtual space providing method
JP2001306942A (en) Method and device for providing multi-media advertisement and information for preventing work area of user from being intruded
JP2005071304A (en) System, method and computer program for providing shopping data
KR102446974B1 (en) Metabus based virtual space management system
JP2002328852A (en) Multimedia direct commerce system adaptive to various kinds of electronic commercial transactions of high transaction by http protocol integrated control
KR100372200B1 (en) A system for sales and deliverying Multimedia Information Recordig Device and method thereof
JPH08106435A (en) Cyberspace system
KR100485670B1 (en) Shopping mall system supporting chatting
JP2002300558A (en) Method of billing in image delivery system
JP2007079803A (en) Virtual shopping system
JPH10154053A (en) Three-dimensional virtual reality space display processor, display processing method and information providing medium
JP2022183883A (en) Information processing server and virtual space providing system
JP2004326443A (en) Three-dimensional information presenting method, server system, client system, and program
JP2023122392A (en) Content distribution system, content distribution method, and program

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050204

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050405

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20060606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060807

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20060830

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20060915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080731

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080917

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110926

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110926

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120926

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120926

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130926

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees