JP7405734B2 - 表示システム及びサーバ - Google Patents

Description

本明細書では、拡張現実（ＡＲ、Augmented Reality）画像を表示する表示システム、及び同システムに含まれるサーバが開示される。

従来から、拡張現実技術を用いた表示装置が知られている。例えば特許文献１では、仮想物体（仮想オブジェクト）に対してジェスチャー操作を行うことで、当該仮想オブジェクトに対する画像処理が行われる。例えばヘッドマウントディスプレイ（ＨＭＤ）のディスプレイに、仮想物体であるフォルダアイコン（ストレージアイコン）が投影される。この立体アイコンを指でつまむ等のジェスチャー操作が行われることで、フォルダアイコンが展開する等の画像処理が実行される。

特開２０１９－０７５１２５号公報

ところで、上記のような拡張現実技術を用いて、逃走する仮想物体を追跡して捕捉するなどの、いわゆるＡＲゲームのサービスを提供することが考えられる。このような場合に、逃走者である仮想物体の逃走経路がパターン化されていると、ゲームの魅力を維持することは困難となる。その一方で、逃走経路を複雑化させるためのアルゴリズムを作成すると、ＡＲゲームを提供するシステムの負荷が過大となるおそれがある。

本明細書では、ＡＲゲームの提供に当たり、同ゲームを提供するシステムの負荷を抑制しつつ、ＡＲゲームの魅力を維持可能な、表示システム及び同システムに含まれるサーバが開示される。

本明細書では、表示システムが開示される。当該表示システムは、表示装置及び操作装置を備える。表示装置は、撮像器、画像認識部及び表示制御部を備える。撮像器は、現実世界の風景を撮像する。画像認識部は、撮像器による撮像画像内の現実物体を認識するとともに、認識されたそれぞれの現実物体の空間座標上の位置を認識する。表示制御部は、撮像画像内の空間座標上の指定位置に仮想物体を重畳表示させる。画像認識部は、撮像画像内の、仮想物体の指定位置に対する現実物体のジェスチャー操作を認識する。表示制御部は、認識されたジェスチャー操作に応じて仮想物体に対する画像処理を実行する。また操作装置は、仮想物体の指定位置を変更する操作指令を入力可能な入力部を備える。

上記構成によれば、例えばＡＲゲームにおける追跡対象となる仮想物体が、操作装置に操作指令を入力する操作者によって操作される。これにより、複雑なアルゴリズムを作成することなく、仮想物体の逃走経路のパターン化が避けられる。

また上記構成において、表示システムは、表示装置及び操作装置と通信可能なサーバをさらに備えてもよい。この場合、表示装置は、それぞれ異なる特定のテーマに基づいて構成される複数の施設が設けられた複合施設内に配置される。サーバは、記憶部及び送信部を備える。記憶部には、それぞれの施設内のキャラクタとして定められたキャラクタ画像が、複合施設の位置情報と関連付けて記憶される。送信部は、キャラクタ画像のデータを、当該画像に関連付けられた位置情報とともに表示装置に送信する。表示制御部は、仮想物体の画像として、指定位置に応じたキャラクタ画像を選択して撮像画像に重畳表示させる。

上記構成によれば、テーマパークなどの施設の世界観に沿ったキャラクタ画像が仮想物体の画像として表示可能となる。

また上記構成において、ジェスチャー操作は、指定位置における捕捉動作であってよい。この場合、表示装置は、画像認識部が現実物体による捕捉動作を認識したときに、サーバに捕捉通知を送信する。サーバは、仮想物体の操作開始時点から捕捉動作の認識時点までの逃走期間に応じて、操作装置の操作者に対する報酬を定める報酬算出部を備える。

上記構成によれば、時間を割いて仮想物体の操作を行うことへの動機づけとして、仮想物体の操作者に対して報酬が与えられる。

また上記構成において、表示装置は、仮想物体を追跡する追跡ゲームの追跡者としての参加登録を入力する入力部を備えてもよい。この場合、操作装置は、仮想物体の操作者としての追跡ゲームの参加登録を入力する入力部を備える。サーバは、追跡ゲームに参加中の追跡者及び操作者の数を算出するとともに、操作者に操作される仮想物体と、追跡者に所持される表示装置の、複合施設内の位置を取得する参加者算出部を備える。報酬算出部は、捕捉動作の認識時点における、捕捉された仮想物体周辺の仮想物体空間密度に応じて、操作者に対する報酬を定める。

上記構成によれば、例えば、仮想物体空間密度の高い状態、つまり捕捉されにくい状態と、仮想物体空間密度の低い状態、つまり捕捉されやすい状態とで、異なる報酬を与えることができる。

また上記構成において、報酬算出部は、捕捉動作の認識時点における、捕捉された仮想物体周辺の、追跡者空間密度に基づいて、操作装置の操作者に対する報酬を定めてもよい。

上記構成によれば、追跡者空間密度の高い状態、つまり捕捉されやすい状態と、追跡者空間密度の低い状態、つまり捕捉されにくい状態とで、異なる報酬を与えることができる。

また本明細書ではサーバが開示される。このサーバは、表示装置と操作装置とに通信可能となっている。表示装置は、現実世界の風景を撮像した撮像画像中に仮想物体を表示させて仮想物体を追跡する追跡ゲームが実行可能となっている。操作装置は、仮想物体への操作指令を入力可能な入力部を備える。サーバは、記憶部及び送信部を備える。記憶部は、追跡ゲームに参加中の表示装置の位置情報と、操作装置により操作される仮想物体の位置情報を記憶する。送信部は、所定の表示装置の位置情報に基づいて、当該表示装置の周辺の仮想物体の位置情報を表示装置に送信する。

本明細書で開示される表示システム及びサーバによれば、ＡＲゲームを提供するシステムの負荷を抑制しつつ、ＡＲゲームの魅力が維持可能となる。

本実施形態に係る表示システムが利用される複合娯楽施設及びその遠隔地である家屋を例示する図である。 複合娯楽施設内のキャラクタ表示領域を説明する図である。 本実施形態に係る表示システムに含まれる各機器のハードウェア構成を例示する図である。 本実施形態に係るサーバの機能ブロックを例示する図である。 表示装置の例としてスマートフォンが示された図である。 本実施形態に係る表示装置の機能ブロックを例示する図である。 本実施形態に係る操作装置である遠隔端末装置の機能ブロックを例示する図である。 本実施形態に係る表示システムを用いた追跡ゲームのうち、追跡者フローを例示する図である。 複合娯楽施設内の風景を例示する図である。 図９の風景を表示装置にて撮像したときの撮像画像を例示する図である。 仮想物体の捕捉プロセスを例示する図（１／２）である。 仮想物体の捕捉プロセスを例示する図（２／２）である。 本実施形態に係る表示システムを用いた追跡ゲームのうち、逃走者フローを例示する図である。 遠隔端末装置の表示部に表示されるゲーム画像を例示する図である。 本実施形態の別例に係るサーバの機能ブロックを例示する図である。 本実施形態の別例に係る表示装置の機能ブロックを例示する図である。 本実施形態の別例に係る操作装置である遠隔端末装置の機能ブロックを例示する図である。 本実施形態の別例に係る表示システムを用いた追跡ゲームのうち、追跡者フローを例示する図である。 本実施形態の別例に係る表示システムを用いた追跡ゲームのうち、逃走者フローを例示する図である。 本実施形態に係る表示装置の別例であって、ヘッドマウントディスプレイを例示する図である。

図１には、本実施形態に係る表示システムが利用される、複合娯楽施設１０及び家屋９２が例示される。家屋９２は、複合娯楽施設１０に対して遠隔地に設置され、表示システムを用いる操作者９４が所在する。表示システムは、複合娯楽施設１０に設けられた表示装置３０及びサーバ７０と、家屋９２に設けられた遠隔端末装置１００（操作装置）を含んで構成される。

＜複合娯楽施設の構成＞
複合娯楽施設１０には、複数のテーマパーク１４，１６，１８が設けられる。テーマパークとは、特定のテーマ（主題）に基づいて世界観が構成され、当該世界観に基づいて、設備、イベント、景観などが総合的に構成され演出された施設を指す。例えばテーマパーク１４，１６，１８は、連絡通路２０により接続されており、複合娯楽施設１０の来場者はこの連絡通路２０を介してそれぞれのテーマパーク１４，１６，１８の往来が可能となっている。

複合娯楽施設１０は、それぞれテーマの異なるテーマパークが設けられる。例えば複合娯楽施設１０には、テーマパークとして、遊園地１４、水族館１６、及び動物園１８が設けられる。

それぞれのテーマパーク１４，１６，１８は、それぞれのテーマに基づいて、キャラクタが設定される。キャラクタは、それぞれのテーマパーク１４，１６，１８のテーマ及び世界観に沿ったものに設定される。例えば遊園地１４では、ピエロ、ゴーカート等のキャラクタが設定される。例えば水族館１６では、魚やサメ等のキャラクタが設定される。さらに例えば動物園１８では、サル、ライオン、パンダ等のキャラクタが設定される。

これらのキャラクタの画像（以下適宜、キャラクタ画像と記載される）は、後述されるように、複合娯楽施設１０内で利用可能なＡＲゲームサービスである、追跡ゲームの逃走者の画像として利用される。

追跡ゲームは、複合娯楽施設１０の来場者が体験可能であって、拡張現実技術を用いた「鬼ごっこ」のようなゲームである。後述されるようにこの追跡ゲームでは、複合娯楽施設１０内の撮像画像中に、追跡対象である逃走者の仮想画像が重畳され、その重畳画像（ＡＲ画像）が表示装置３０に表示される。追跡者である来場者は、この仮想画像を捕捉するために、仮想画像を追いかける。さらに本実施形態に係る表示システムでは、逃走者である仮想画像の操作が、複合娯楽施設１０から離隔された遠隔端末装置１００により行われる。

複合娯楽施設１０は、各テーマパーク１４，１６，１８内及び連絡通路２０のみならず、同施設１０内の通行が可能となっている。例えば連絡通路２０の外側は散策可能な草地となっている。追跡ゲームでは、追跡可能領域（追跡フィールド）が例えば複合娯楽施設１０の全域に設定される。さらに追跡ゲームでは、図２に例示されるように、複合娯楽施設１０内の領域が、仮想的に複数の領域（エリア）に分割される。例えばこれらの領域は、遊園地１４を含む遊園地エリア１４Ａ、水族館１６を含む水族館エリア１６Ａ、及び動物園１８を含む動物園エリア１８Ａの３つの領域に分けられる。なおこれらのエリアの境界は仮想的なものであって、フェンス等の物理的な境界手段は設けられない。複合娯楽施設１０の来場者は各エリアへの自由な移動が可能となっている。

追跡ゲームでは、各エリア１４Ａ～１８Ａにて表示される仮想物体の画像（キャラクタ画像）が異なるように設定される。例えば遊園地エリア１４Ａでは遊園地１４に対して設定されたキャラクタ画像が仮想物体画像として表示される。同様にして、水族館エリア１６Ａでは水族館１６に対して設定されたキャラクタ画像が仮想物体画像として表示され、動物園エリア１８Ａでは動物園１８に対して設定されたキャラクタ画像が仮想物体画像として表示される。

これらのテーマパーク１４，１６，１８のキャラクタ画像のデータ（キャラクタ画像データ）は、各テーマパーク１４，１６，１８の識別記号及び位置情報と関連付けられた状態で、サーバ７０（図４参照）のテーマパーク別キャラクタ記憶部８２に記憶される。サーバ７０は例えば複合娯楽施設１０内に設けられた管理者用のビル（図示せず）に設置される。テーマパーク別キャラクタ記憶部８２に記憶されるキャラクタ画像データの詳細は後述される。

図１に戻り、複合娯楽施設１０内には、ビーコンの発信器２２が設けられる。発信器２２は例えば等間隔に複数個設けられる。後述されるように、この発信器２２からの信号を表示装置３０のビーコン受信器３７（図３参照）が受信することで、表示装置３０の現在位置が取得可能となる。

複合娯楽施設１０とは離隔された遠隔地の家屋９２内に、遠隔端末装置１００が配置される。以下に詳述されるように、本実施形態に係る表示システムでは、ＡＲゲームとしての追跡ゲームにおいて、逃走者である仮想物体（キャラクタ）が、遠隔端末装置１００により操作される。つまり、複合娯楽施設１０の来場者が追跡者として追跡ゲームに参加する一方で、追跡対象である仮想物体は、複合娯楽施設１０から離隔された操作者９４が遠隔端末装置１００に操作指令を入力することで操作される。

＜表示システムの各機器の構成＞
図３には、本実施形態に係る表示システムに含まれる機器のハードウェア構成が例示される。本実施形態に係る表示システムは、表示装置３０、サーバ７０、及び遠隔端末装置１００を含んで構成される。

＜サーバの構成＞
図３を参照して、サーバ７０は、例えばコンピュータから構成され、例えば複合娯楽施設１０（図１参照）の管理ビル内に設置される。またサーバ７０は、無線ＬＡＮ等の通信手段によって表示装置３０と無線接続される。さらにサーバ７０は、インターネット等の通信手段により、遠隔端末装置１００と通信可能となっている。

サーバ７０は、キーボードやマウス等の入力部７１、演算装置のＣＰＵ７２、及びディスプレイ等の表示部７３を備える。またサーバ７０は記憶装置として、ＲＯＭ７４、ＲＡＭ７５及びハードディスクドライブ７６（ＨＤＤ）を備える。さらにサーバ７０は、情報の入出力を管理する入出力コントローラ７７を備える。これらの構成部品は内部バス７８に接続される。

図４には、サーバ７０の機能ブロックが例示される。この機能ブロック図は、例えばＲＯＭ７４やＨＤＤ７６に記憶されるか、または、ＤＶＤ等の、コンピュータが読み取り可能な非一過性の記憶媒体に記憶されたプログラムを、ＣＰＵ７２が実行することで構成される。

サーバ７０は、機能部として、受信部８３、参加者算出部８４、報酬算出部８５、３Ｄモデル抽出部８６、及び送信部８７を備える。さらにサーバ７０は、記憶部として、追跡ゲーム参加者記憶部８０、施設マップ記憶部８１、及びテーマパーク別キャラクタ記憶部８２を備える。

追跡ゲーム参加者記憶部８０には、ＡＲゲームである追跡ゲームの参加者情報が記憶される。参加者には追跡者及び逃走者が含まれる。追跡者は複合娯楽施設１０の来場者のうち、当該来場者が所持する表示装置３０から、追跡ゲームの追跡者としての参加登録の申請があったものが含まれる。一方、逃走者は、遠隔端末装置１００から追跡ゲームの逃走者としての参加登録の申請があったものが含まれる。

追跡ゲーム参加者記憶部８０には、追跡ゲームに参加中の追跡者及び逃走者の情報が記憶される。例えば追跡者情報として、追跡者が所持している表示装置３０の識別記号及び位置情報が含まれる。また逃走者情報として、操作者９４（図１参照）が操作する遠隔端末装置１００の識別記号と、遠隔端末装置１００により操作される仮想物体の位置情報が含まれる。

施設マップ記憶部８１には、複合娯楽施設１０内の地図情報であるパークマップデータが記憶される。例えばパークマップデータとして、複合娯楽施設１０内の連絡通路２０や設備等の位置情報が記憶される。また池１２（図１参照）等の、進入禁止エリアの位置情報が記憶される。例えば進入禁止エリアは、逃走者の移動禁止領域に設定される。

具体的には、施設マップ記憶部８１には、パークマップデータとして、複合娯楽施設１０の地図データが、位置情報と関連付けられた状態で記憶される。位置情報は、いわゆるワールド座標系上の位置情報である。ワールド座標系の位置情報には、ＧＰＳ機能を用いて取得可能な、緯度、経度、高度情報や、ビーコン機能を用いて取得可能な空間座標情報が含まれる。

加えて、施設マップ記憶部８１には、図２に例示される、追跡ゲーム上のエリア１４Ａ，１６Ａ，１８Ａのデータが記憶される。例えばパークマップデータ上に、各エリア１４Ａ，１６Ａ，１８Ａの境界線が設定されるとともに、この境界線によって区画される各領域に、エリア１４Ａ，１６Ａ，１８Ａ別の識別記号が付与される。

テーマパーク別キャラクタ記憶部８２には、表示装置３０に仮想物体画像として表示される逃走者の画像である、キャラクタ画像のデータが記憶される。キャラクタは、テーマパーク１４，１６，１８内のキャラクタとして、それぞれの世界観に沿って設定される。例えば、テーマパーク１４，１６，１８別に、複数種類に亘るキャラクタ画像データがテーマパーク別キャラクタ記憶部８２に記憶される。例えば一つのテーマパークに対して１０種類以上１００種類以下のキャラクタ画像データがテーマパーク別キャラクタ記憶部８２に記憶される。これらのキャラクタ画像データは、テーマパーク１４，１６，１８別に、つまりエリア１４Ａ，１６Ａ，１８Ａ別に識別記号が付される。さらにそれぞれのキャラクタ画像データには、固有の識別記号が付される。

また、仮想物体であるキャラクタ画像データは、当該データに関連付けられた位置情報とともにテーマパーク別キャラクタ記憶部８２に記憶される。キャラクタ画像データに関連付けられた位置情報とは、当該画像データの表示が許可される、複合娯楽施設１０内の領域情報が含まれる。以下では適宜、キャラクタ画像データ及びこれに関連付けられた位置情報データはまとめて「仮想物体データ」と記載される。

例えば図２に例示されるように、遊園地１４に対応する識別記号が付され、表示領域が遊園地エリア１４Ａに設定されたキャラクタ画像１５として、玉乗り中のピエロの画像が含まれる。また水族館１６に対応する識別記号が付され、表示領域が水族館エリア１６Ａに設定されたキャラクタ画像１７として、遊泳中の魚の画像が含まれる。同様にして、動物園１８に対応する識別記号が付され、表示領域が動物園エリア１８Ａに設定されたキャラクタ画像１９として、走り回るサルの画像が含まれる。

キャラクタの画像データは、３Ｄモデルデータであってよい。この３Ｄモデルデータには例えばキャラクタの３Ｄ画像データが含まれ、当該画像データは、形状データ、テクスチャデータ、及びモーションデータが含まれる。さらに当該画像データは、仮想物体の捕捉時における効果画像（エフェクト画像）のデータも含まれる。

なお、図２では、図示を明確にするために、キャラクタ画像１５、１７、１９として輪郭図が図示されているが、この形態に限らずに、キャラクタ画像１５、１７、１９の３Ｄ画像が表示されてよい。

参加者算出部８４は、追跡ゲームに参加中の参加者の人数等を算出する。参加者には、追跡者及び逃走者が含まれる。また参加者算出部８４は、追跡ゲームに参加中の追跡者、より詳細には追跡者に所持される表示装置３０の複合娯楽施設１０内の位置情報を取得する。さらに参加者算出部８４は、追跡ゲームに参加中の操作者に操作される逃走者（仮想物体）の複合娯楽施設１０内の位置情報を取得する。また例えば参加者算出部８４は、追跡ゲーム参加者記憶部８０を参照して、後述される追跡者空間密度や逃走者空間密度（仮想物体空間密度）を算出する。

また参加者算出部８４は、追跡ゲームに（追跡者として）参加中の表示装置３０に対して、当該装置の位置情報に基づいて、その位置周辺の仮想物体（逃走者）の位置情報を提供する。さらに参加者算出部８４は、追跡ゲームに（逃走者として）参加中の遠隔端末装置１００に、パークマップデータと、逃走者及び追跡者の位置情報を提供する。

３Ｄモデル抽出部８６は、テーマパーク別キャラクタ記憶部８２から、仮想物体の画像データである、キャラクタ画像データを抽出する。抽出された画像データは送信部８７を介して表示装置３０及び遠隔端末装置１００に送信される。

３Ｄモデル抽出部８６は、すべてのエリア１４Ａ，１６Ａ，１８Ａのキャラクタ画像データを表示装置３０及び遠隔端末装置１００に送信してもよい。例えば各エリア１４Ａ，１６Ａ，１８Ａからそれぞれ任意の１種類のキャラクタ画像データが表示装置３０及び遠隔端末装置１００に送信される。

報酬算出部８５は、追跡ゲームにおいて逃走者を操作した操作者に与えられる報酬を算出する。例えば、逃走時間に基づいて報酬が算出される。また、報酬算出の別の要素として、捕捉された時点における、周囲の逃走者空間密度及び追跡者空間密度が含まれる。報酬とは、例えば複合娯楽施設１０への入場料金の割引サービスであってよい。この報酬の算出については後述される。

＜表示装置３０の構成＞
図１を参照して、表示装置３０は、複合娯楽施設１０内に配置され、当該施設の来場者（ユーザ）に利用される。表示装置３０は、現実世界の風景に仮想物体の画像を重畳させた仮想現実画像を表示可能となっている。

表示装置３０は、携帯型の機器であってよい。例えば表示装置３０は、撮像装置及び表示部を備えたスマートフォンや、眼鏡型のヘッドマウントディスプレイ（ＨＭＤ）である。

現実世界の風景の表示態様という観点から、表示装置３０は、ビデオ透過型（Video See-Through）ディスプレイ（ＶＳＴディスプレイ）と、光学透過型（Optical See-Through）ディスプレイ（ＯＳＴディスプレイ）とに分けることができる。ＶＳＴディスプレイは、カメラ等の撮像器が現実世界の風景を撮像し、表示部にその撮像画像を表示する。一方でＯＳＴディスプレイは、ハーフミラー等の透過型の表示部を通して現実世界の風景が視認され、当該表示部に仮想物体が投影される。

上述したスマートフォン等の、撮像器３５（図３参照）を備える表示装置３０は、ＶＳＴディスプレイに分類される。また上述したヘッドマウントディスプレイ（ＨＭＤ）は、眼鏡のレンズを表示部として、現実世界の風景が視認されるから、ＯＳＴディスプレイに分類される。

以下の実施形態では、図５に例示されるように、表示装置３０の例として、携帯型かつＶＳＴディスプレイ型のスマートフォンが図示される。このスマートフォンは、複合娯楽施設１０の来場者の所有物であってもよいし、複合娯楽施設１０の来場者に対して貸与させるタブレット端末等のリース物品であってもよい。

図３には、表示装置３０のハードウェア構成が例示される。表示装置３０は、ＣＰＵ３１（中央演算装置）、加速度センサ３２、ジャイロセンサ３３、地磁気センサ３４、撮像器３５、ＧＰＳ受信器３６、及びビーコン受信器３７を備える。さらに表示装置３０は、入出力コントローラ３９、システムメモリ４０、ストレージデバイス４１、ＧＰＵ４２、フレームメモリ４３、ＲＡＭＤＡＣ４４、表示制御部４５、表示部４６、及び入力部４７を備える。

システムメモリ４０は、ＣＰＵ３１によって実行されるオペレーションシステム（ＯＳ）が使用する記憶装置である。ストレージデバイス４１は、外部記憶装置であって、例えば後述する、仮想現実画像（ＡＲ画像）を表示させるためのプログラムが記憶される。

加速度センサ３２、ジャイロセンサ３３、及び地磁気センサ３４により、表示装置３０の向き及び方位が推定できる。加速度センサ３２は、表示装置３０の加速度を測定する。加速度センサ３２は、図５に例示されるように、直交する３軸方向の加速度をそれぞれ計測可能となっている。すなわち、表示部４６の表示面に平行であって、軸同士が直交するＸ軸及びＹ軸、並びに、表示部４６の表示面に直交するＺ軸のそれぞれの軸方向の加速度が、加速度センサ３２によって測定される。加速度センサ３２、ジャイロセンサ３３、及び地磁気センサ３４は、例えばＭＥＭＳ（Micro Electro Mechanical Systems）等のいわゆるマイクロマシンから構成される。

ジャイロセンサ３３は、表示装置３０の角速度を測定する。ジャイロセンサ３３は、図５に例示されるように、直交する３軸周りの回転を測定する。つまり、Ｘ軸周りの回転であるピッチ角、Ｙ軸周りの回転であるロール角、及び、Ｚ軸周りの回転であるアジマス角（ヨー角とも呼ばれる）が、ジャイロセンサ３３により測定される。また、地磁気センサ３４は、表示装置３０の、磁北からの傾きを検出する。

撮像器３５は、例えばスマートフォンに搭載されたカメラデバイスであり、現実世界の風景を静止画及び動画にて撮像可能となっている。撮像器３５は、例えばＣＭＯＳやＣＣＤ等の撮像デバイスを含んで構成される。さらに撮像器３５は、現実世界の撮像に加えて、撮像器３５からの離隔距離を測定する機能を備えた、いわゆるＲＧＢ－Ｄカメラであってよい。離隔距離を測定する機能として、例えば撮像器３５には、上述した撮像デバイスに加えて、赤外線を用いた測距機構が設けられる。

ＧＰＵ４２（Graphics Processing Unit）は、画像処理用の演算装置であって、後述する画像認識を行う際に主に稼働される。フレームメモリ４３は、撮像器３５により撮像されさらにＧＰＵ４２により演算処理された画像を記憶する記憶装置である。ＲＡＭＤＡＣ４４（Random Access Memory Digital-to-Analog Converter）は、フレームメモリ４３に記憶された画像データを、アナログディスプレイである表示部４６向けのアナログ信号に変換する。

ＧＰＳ受信器３６は、ＧＰＳ衛星２４（図１参照）から測位信号であるＧＰＳ信号を受信する。ＧＰＳ信号には、緯度、経度、高度の位置座標情報が含まれる。ビーコン受信器３７は、複合娯楽施設１０内に設置されたビーコンの発信器２２から出力される位置信号を受信する。

ここで、ＧＰＳ受信器３６とビーコン受信器３７は、ともに位置推定機能が重複する。したがって、表示装置３０には、ＧＰＳ受信器３６とビーコン受信器３７のどちらか一方のみが設けられていてもよい。

入力部４７は撮像器３５への起動指令や撮像指令を入力可能となっている。例えば入力部４７は、表示部４６と一体化されたタッチパネルであってよい。

図６には、表示装置３０の機能ブロック図が例示される。この機能ブロック図は、例えばシステムメモリ４０やストレージデバイス４１に記憶されたプログラムを、ＣＰＵ３１やＧＰＵ４２が実行することで構成される。または、ＤＶＤやコンピュータのハードディスク等の、コンピュータが読み取り可能な非一過性の記憶媒体に記憶されたプログラムを、ＣＰＵ３１やＧＰＵ４２が実行することで、図６に例示される機能ブロックが構成される。

図６には、図３にも例示されたハードウェア構成の一部と機能ブロックとが混在した状態で表示装置３０の構成が示される。図６にはハードウェア構成として、撮像器３５、表示制御部４５、入力部４７、及び表示部４６が例示される。

また機能ブロックとして、表示装置３０は、位置情報取得部５０、送信部５２、受信部５５、向き方位推定部５６、及び画像認識部５８を備える。また記憶部として表示装置３０は、仮想物体データ記憶部５７、学習済みモデル記憶部５９を備える。これらの機能ブロックは、ＣＰＵ３１、システムメモリ４０、ストレージデバイス４１、ＧＰＵ４２、及びフレームメモリ４３等から構成される。

位置情報取得部５０は、図３のＧＰＳ受信器３６及びビーコン受信器３７の少なくとも一方から、自身の現在位置の情報を取得する。この位置情報はいわゆるワールド座標系の位置情報であって、ＧＰＳ信号の場合は緯度、経度及び高度情報からなる空間座標系上の位置情報に含まれる。また受信した位置情報がビーコン信号から取得したものである場合には、ワールド座標系の位置情報として、例えば複合娯楽施設１０の任意の地点を原点とした空間座標系上のｘ座標、ｙ座標及びｚ座標が位置情報に含まれる。なおここでｘ座標及びｙ座標は水平面上の直交座標軸であってよく、またｚ座標は鉛直軸であってよい。

向き方位推定部５６は、表示装置３０の向き及び方位を推定する。向き方位推定部５６は、加速度センサ３２（図３参照）、ジャイロセンサ３３、及び地磁気センサ３４を含んで構成される。地磁気センサ３４により磁北に対する表示装置３０の傾きが検出できる。また加速度センサ３２及びジャイロセンサ３３により、図５にて示された直交座標系における傾きが検出される。その結果、例えば磁北に対する撮像器３５の光軸の向きを求めることができる。

画像認識部５８は、撮像器３５による撮像画像データを受信して画像認識を行う。画像認識には、撮像画像中の現実物体の認識と、認識された現実物体と表示装置３０との離隔距離の推定が含まれる。このような画像認識に当たり、撮像画像データには例えば上述したように、現実世界の風景を撮像したカラー画像データに加えて、当該カラー画像データの各画素の、撮像器３５からの離隔距離データが含まれる。

画像認識部５８は学習済みモデル記憶部５９に記憶された画像認識用の学習モデルを用いて、撮像画像中の現実物体の認識を行う。学習済みモデル記憶部５９には、例えば、外部のサーバ等によって学習済みの画像認識用のニューラルネットワークが記憶される。例えば複合娯楽施設１０を含む屋外の画像データであって、画像内の各物体のセグメント済み及びアノテーション済みのデータが、訓練用データとして準備される。この訓練用データを用いて、教師有り学習により機械学習された多階層のニューラルネットワークが形成され、学習済みモデル記憶部５９に記憶される。このニューラルネットワークは、例えば畳み込みニューラルネットワーク（ＣＮＮ）であってよい。

上述したように、撮像器３５は測距機能が設けられたＲＧＢ－Ｄカメラであって、撮像画像内の各画素の、撮像器３５からの離隔距離が取得できる。この離隔距離を用いて、画像認識により認識された、撮像画像内の現実物体の、撮像器３５からの離隔距離が求められる。これにより、撮像画像内のそれぞれの現実物体に対して、撮像器３５の所定点（例えば焦点）を原点とする、いわゆるローカル座標系における位置情報が得られる。

さらに向き方位推定部５６による撮像器３５の向きと、位置情報取得部５０により取得された、ワールド座標系上の表示装置３０の位置に基づけば、撮像画像中の現実物体に対して、ワールド座標系上の位置（空間座標系上の位置）を求めることができる。

なお、撮像画像では、奥行き方向に遠方の現実物体も撮像されるが、追跡ゲームにおいては追跡者近傍の逃走者（キャラクタ）を捕捉するのが一般的である。そこで例えば、撮像画像の画素別に求められた距離情報について、所定の離隔距離（例えば１００ｍ）を超過した場合には、当該画素についてはワールド座標系上の位置が求められなくてもよい。

仮想物体データ記憶部５７には、逃走者を示す仮想物体、つまりキャラクタの画像データが記憶される。仮想物体データ記憶部５７には、すべてのエリア１４Ａ，１６Ａ，１８Ａのキャラクタ画像データが記憶されてよい。例えば仮想物体データ記憶部５７には、各エリア１４Ａ，１６Ａ，１８Ａ別に、それぞれ任意の１種類のキャラクタ画像データが記憶される。またこれらのキャラクタ画像データには、位置情報が関連付けられる。例えば仮想物体として表示可能な位置座標の範囲が、それぞれのキャラクタ画像データに関連付けられる。

表示制御部４５は、現実世界の風景に仮想物体の画像を重畳させた拡張現実画像（ＡＲ画像）を生成してこれを表示部４６に表示可能となっている。例えば表示制御部４５は、撮像器３５が現実世界の風景を撮像した撮像画像に、仮想物体であるキャラクタの画像を重畳し、その重畳画像を表示部４６に表示させる。表示部４６は、例えば液晶ディスプレイまたは有機ＥＬディスプレイであってよい。

後述される図１０のように、表示制御部４５は、撮像器３５による撮像画像に、追跡ゲームにおける逃走者である仮想物体の画像を重畳させる、拡張現実画像を生成する。表示制御部４５は、サーバ７０から逃走者（仮想物体）の位置情報（指定位置）を取得する。さらに表示制御部４５は、撮像画像内の指定位置に、逃走者の画像であるキャラクタ画像を重畳させる。このとき、重畳されるキャラクタ画像として、指定位置に応じた、すなわち、指定位置に含まれるエリア１４Ａ，１６Ａ，１８Ａに対して設定された、キャラクタ画像が選択される。

なお、追跡ゲームにおいては追跡者近傍の逃走者（キャラクタ）を捕捉するのが一般的であるため、指定位置が所定の離隔距離（例えば１００ｍ）を超過した場合には、当該指定位置に対応する逃走者については、キャラクタ画像を撮像画像に重畳させなくてもよい。

＜遠隔監視装置の構成＞
遠隔端末装置１００は、複合娯楽施設１０から離隔された遠隔地の操作者９４（図１参照）によって操作される操作装置である。図１では一台の遠隔端末装置１００及び一人の操作者９４が図示されているが、複数台の遠隔端末装置１００がサーバ７０に通信可能であり、したがって複数の操作者９４が追跡ゲームへの、逃走者としての参加が可能となっている。

遠隔端末装置１００（操作装置）は例えばコンピュータであってよい。図３を参照して、遠隔端末装置１００は、演算装置のＣＰＵ１０１、記憶装置のシステムメモリ１０２及びストレージデバイス１０４を備える。

また遠隔端末装置１００は、表示部１０６と当該表示部１０６への表示画像を制御する表示制御部１０５を備える。また遠隔端末装置１００は、情報の入出力を管理する入出力コントローラ１０３を備える。遠隔端末装置１００は、インターネット等の通信手段により、サーバ７０と通信可能となっている。

さらに遠隔端末装置１００は、情報入力を行う入力部１０７を備える。入力部１０７は、例えばマウスやキーボードのような、逃走者への操作指令を入力可能な機器である。後述されるように、逃走者への操作指令とは、逃走者である仮想物体の位置（指定位置）を設定する指令が含まれる。

図７には、遠隔端末装置１００の機能ブロックが、図３のハードウェア構成とともに例示される。遠隔端末装置１００は、機能ブロックとして、送信部１１０、受信部１１１、仮想物体データ記憶部１１２、及び施設マップ記憶部１１３を備える。

仮想物体データ記憶部１１２には、逃走者の仮想物体であるキャラクタの画像データが記憶される。キャラクタ画像データは位置情報と関連付けられている。例えば逃走者を示す仮想物体の画像として表示が許可される、複合娯楽施設１０上の位置座標の範囲が、キャラクタ画像データと関連付けられて仮想物体データ記憶部１１２に記憶される。

施設マップ記憶部１１３には、複合娯楽施設１０のパークマップデータが記憶される。このパークマップデータは、サーバ７０（図４参照）の施設マップ記憶部８１に記憶されたパークマップデータと同一のデータであってよい。

表示制御部１０５は、後述される図１４のように、パークマップの画像、つまり複合娯楽施設１０の平面図上に、同施設内の逃走者及び追跡者の画像を重ねたゲーム画像を生成する。例えばサーバ７０から、逃走者及び追跡者の現在位置情報が提供される。表示制御部１０５は、パークマップ上の、サーバ７０から提供された現在位置に、逃走者及び追跡者の画像を重畳させる。

＜追跡ゲーム追跡者側フロー＞
図８には、本実施形態に係る表示システムを用いたＡＲゲームである、追跡ゲームの追跡者側のフローが例示される。追跡者側フローでは、サーバ７０及び表示装置３０が専らステップの実行主体となる。図８の各ステップにおいてサーバ７０により実行されるステップが（Ｓ）で示される。また表示装置３０により実行されるステップが（Ｄ）で示される。

図４、図６、図８を参照して、この追跡者フローは、複合娯楽施設１０に配置された表示装置３０の入力部４７に、追跡ゲームの参加登録申請が入力された時点で起動される。参加登録申請の入力を受けて、表示装置３０の位置情報取得部５０は、自身の現在位置を取得する。この現在位置はワールド座標系上の位置座標である。また参加登録申請の入力を受けて、撮像器３５が起動して複合娯楽施設１０内の風景を撮像する。

位置情報取得部５０が取得した位置情報及び入力部４７から入力された参加登録情報は、送信部５２からサーバ７０に送信される（Ｓ１０）。サーバ７０の受信部８３は、表示装置３０の位置情報と参加登録情報を参加者算出部８４に送信する。また受信部８３は、表示装置３０の位置情報を３Ｄモデル抽出部８６に送信する。

３Ｄモデル抽出部８６は、テーマパーク別キャラクタ記憶部８２から、仮想物体データを抽出する。仮想物体データとは、上述したように、キャラクタ画像データ及びこれに関連付けられた位置情報データ（表示領域データ）が含まれる。この仮想物体データは、送信部８７から表示装置３０に送信される（Ｓ１２）。

参加者算出部８４は、受信部８３から受信した位置情報及び参加登録情報を追跡ゲーム参加者記憶部８０に記憶させる。さらに参加者算出部８４は、追跡ゲーム参加者記憶部８０から、追跡ゲームへの参加者の情報を取得する。この情報には、逃走者の位置情報が含まれる。逃走者の位置情報は、追跡ゲームに参加中の、すべての逃走者の位置情報であってよい。または、逃走者の位置情報は、表示装置３０から所定距離内に含まれる逃走者の位置情報であってもよい。例えば、表示装置３０の位置から半径１００ｍ以内の領域に含まれる逃走者の位置情報が、参加者算出部８４に取得される。この逃走者の位置情報は、ワールド座標系の位置座標情報であってよい。参加者算出部８４は、取得した逃走者の位置情報を表示装置３０に送信する（Ｓ１４）。

表示装置３０の画像認識部５８は、撮像器３５による撮像画像に対して画像認識を実行し、撮像画像中の現実物体のセグメンテーション及びアノテーションを行う。さらに画像認識部５８は、撮像器３５の測距機能に基づき、認識された各現実物体の、表示装置３０からの離隔距離を求める（Ｓ１６）。

続けて画像認識部５８は、向き方位推定部５６から、撮像器３５の光軸の向き及び方位を求める（Ｓ１８）。例えば画像認識部５８は、撮像器３５の光軸の、磁北に対する方位（角度）と、光軸を含む直交３軸周りの回転角（向き）を求める。

さらに画像認識部５８は、表示装置３０のワールド座標系上の位置を、位置情報取得部５０から求める（Ｓ２０）。また画像認識部５８は、撮像画像内の現実物体のワールド座標系上の位置を求める（Ｓ２２）。撮像画像と、同画像内にて認識された現実物体情報と、その現実物体のワールド座標系上の位置情報は、表示制御部４５に送信される。

表示制御部４５は、撮像画像内に含まれる逃走者の位置座標を求める（Ｓ２４）。例えばサーバ７０から送信された、複数の逃走者の位置座標が、撮像画像内に含まれるか否かを判定する。

さらに表示制御部４５は、撮像画像内の逃走者の位置（指定位置）に、仮想物体画像であるキャラクタ画像を重畳させる（Ｓ２６）。なおこのとき重畳されるキャラクタ画像は、逃走者の位置情報に基づいて選択される。例えば逃走者の位置が含まれるエリア１４Ａ，１６Ａ，１８Ａに対応して設定されたキャラクタ画像が選択され、当該画像が撮像画像に重畳される。

図９には複合娯楽施設１０内の風景が例示される。また図１０には同風景を表示装置３０の撮像器３５にて撮像し、表示部４６に撮像画像を表示させたときの例が示される。この例では撮像画像中に逃走者の位置である指定位置（ｘ１，ｙ１，ｚ１）が含まれ、当該指定位置にキャラクタ画像１９が重畳される。またこの例では、指定位置（ｘ１，ｙ１，ｚ１）が動物園エリア１８Ａ（図２参照）に含まれる例が示され、同エリアに対して設定されたサルのキャラクタ画像１９が撮像画像に重畳される。

さらに画像認識部５８は、仮想物体の捕捉判定を行う（Ｓ２８）。図１１を参照して、表示部４６にキャラクタ画像１９が表示されている状態で、追跡者の手１２０が撮像器３５の撮像視野内に入る、つまり表示部４６の対向面側に進入する。

さらに追跡者の手１２０が撮像器３５によって撮像され画像認識部５８によって認識される。図１２に例示されるように、撮像画像内の現実物体である追跡者の手１２１の位置が仮想物体の指定位置と一致し、さらに手１２１により所定のジェスチャー操作が行われると、画像認識部５８は当該ジェスチャー操作を認識する。さらに画像認識部５８は、ジェスチャー操作の認識により、図１２に例示されるように、逃走者である仮想物体が追跡者に捕捉されたと判定する。このジェスチャー操作は、要するに表示部４６上で仮想物体画像であるキャラクタ画像を手１２０で捕まえるような動作（捕捉動作）であればよい。画像認識部５８は、キャラクタ画像に対する捕捉動作を認識したときに、捕捉通知を、送信部５２を介してサーバ７０に送信する（Ｓ３０）。捕捉通知には、追跡者である自身（表示装置３０）の識別記号、捕捉した位置、及び、捕捉した逃走者の識別記号が含まれる。

また画像認識部５８により、逃走者が捕捉されたと判定されると、表示制御部４５は、仮想物体に対する捕捉時の画像処理を実行する。例えば図１２に例示されるように、表示制御部４５は、キャラクタ画像１９が消えたことを示す放射状の線図１２２を表示部４６に表示させる。

捕捉通知はサーバ７０の報酬算出部８５に送信される。報酬算出部８５は、捕捉に対する報酬を追跡者に付与する（Ｓ３２）。例えば報酬として得点が表示装置３０に送信される。表示装置３０の表示部４６にはその得点が表示される。逃走者の捕捉によって、捕捉した追跡者に対する追跡ゲームは終了する。

一方、ステップＳ２８にて逃走者（仮想物体）が追跡者に捕捉されていないと画像認識部５８が判定した場合には、ステップＳ１４まで戻り、逃走者の位置座標をサーバ７０から再度取得する。

このように、追跡ゲームにおいて追跡者は、表示装置３０の表示部４６に表示される仮想物体（逃走者）を追い掛けるゲームを楽しむことができる。さらに表示部４６に表示される仮想物体の画像として、当該仮想物体が位置するエリア１４Ａ，１６Ａ，１８Ａに対応したキャラクタ画像が選択される。また例えば、仮想物体の位置座標がエリアを跨ぐと、表示されるキャラクタ画像が変化する。このような表示制御を行うことにより、複合娯楽施設１０の各テーマパーク１４，１６，１８の世界観に沿った演出が可能となる。

＜追跡ゲーム逃走者側フロー＞
図１３には、追跡ゲームの逃走者側のフローが例示される。このフローのステップは、専らサーバ７０及び遠隔端末装置１００により実行される。図１３では、サーバ７０により実行されるステップが（Ｓ）で示され、遠隔端末装置１００により実行されるステップが（Ｔ）で示される。図４、図７、図１３を参照して、遠隔端末装置１００の入力部１０７に、追跡ゲームの参加登録申請が入力されると、図１３のフロー（逃走者側フロー）が起動する。

遠隔端末装置１００は、参加登録情報をサーバ７０に送信する（Ｓ５０）。参加登録情報には、遠隔端末装置１００またはその操作者９４（図１参照）の識別記号が含まれる。参加登録情報を受信したサーバ７０の受信部８３は、当該情報を参加者算出部８４に送信する。参加者算出部８４は追跡ゲーム参加者記憶部８０に参加登録情報を記憶させる。

さらに参加者算出部８４は、追跡ゲーム参加者記憶部８０から、現在参加中のすべての追跡者の位置情報を取得する（Ｓ５２）。次に参加者算出部８４は、追跡者の近傍を逃走者の初期位置に設定する（Ｓ５４）。追跡者が複数参加中である場合には、ランダムに追跡者が選択され、その近傍が逃走者の初期位置に設定される。追跡者の近傍とは、例えば追跡者の位置から半径１ｍ以内の範囲を指す。

さらに参加者算出部８４は、施設マップ記憶部８１からパークマップデータを取得して、送信部８７を介して遠隔端末装置１００に同データを送信する（Ｓ５６）。また３Ｄモデル抽出部８６は、参加登録情報を受けて、仮想物体データを遠隔端末装置１００に送信する。

次に参加者算出部８４は、逃走者及び追跡者の位置情報を遠隔端末装置１００に送信する（Ｓ５８）。追跡者の位置情報には、複合娯楽施設１０内にて追跡ゲームに参加中の、すべての追跡者の位置情報が含まれる。同様にして逃走者の位置情報には、複合娯楽施設１０内にて追跡ゲームに参加中の、すべての逃走者の位置情報が含まれる。また、ステップＳ５４にて設定した逃走者の初期位置情報、つまり自身の初期位置情報も、逃走者の位置情報に含まれる。

遠隔端末装置１００では、仮想物体データ記憶部１１２に仮想物体データが記憶される。また施設マップ記憶部１１３には、パークマップデータが記憶される。さらに表示制御部１０５は、追跡者と、自身を含む逃走者の仮想物体画像が重畳されたパークマップ画像を、ゲーム画像として生成して表示部１０６に表示させる（Ｓ６０）。

図１４にはゲーム画像が例示される。このゲーム画像では、パークマップ画像上の、追跡者及び逃走者の位置座標に、キャラクタ画像１５，１７，１９が重畳される。逃走者のキャラクタ画像１５，１７，１９は、逃走者の位置がどのエリア１４Ａ，１６Ａ，１８Ａに含まれるかに応じて選択される。これに対して、追跡者のキャラクタ画像１２５はエリア１４Ａ，１６Ａ，１８Ａに関わらずに一律に設定されてよい。

また、遠隔端末装置１００を介して操作者が操作する逃走者を示すキャラクタ画像１９Ａについては、例えばハッチングが施されるなど、他のキャラクタ画像と識別可能な画像処理が施されていてよい。

表示部１０６に図１４のようなゲーム画像が表示されるのに応答して、操作者９４（図１参照）は、操作対象の逃走者であるキャラクタ画像１９Ａが追跡者から逃れるように操作指令を入力部１０７に入力する（Ｓ６２）。つまり操作者９４は、現在位置よりも追跡者から離隔した位置を逃走者（仮想物体）の指定位置に設定するような操作指令を入力部１０７に入力する。

入力された操作指令はサーバ７０に送られる。ここで、報酬算出部８５は、追跡者である表示装置３０から、キャラクタ画像１９Ａに対する捕捉通知が送られているか否かを判定する（Ｓ６４）。キャラクタ画像１９Ａに対して捕捉通知が送られていない場合には、ステップＳ５８に戻る。

一方、ステップＳ６４において、キャラクタ画像１９Ａに対して捕捉通知がサーバ７０に送られているときには、報酬算出部８５は報酬の算出を行う。

まず報酬算出部８５は、キャラクタ画像１９Ａの逃走期間に基づいて、スコア係数ｋ１を求める（Ｓ６６）。逃走期間は、例えば仮想物体であるキャラクタ画像１９Ａの操作開始時点から捕捉動作の認識時点、つまり捕捉通知の出力時点までの期間を示す。スコア係数ｋ１は、逃走期間と正比例して高い値に設定される。

次に報酬算出部８５は、キャラクタ画像１９Ａの捕捉時点における逃走者密度に基づいて、スコア係数ｋ２を求める（Ｓ６８）。逃走者密度は、仮想物体空間密度と呼ばれてもよく、仮想物体画像であるキャラクタ画像１９Ａ周辺の空間密度を表す。例えば捕捉されたキャラクタ画像１９Ａの位置座標から半径５ｍ以内の仮想物体（逃走者）の空間密度が逃走者密度として算出される。なお逃走者密度として、捕捉動作の認識時点、つまり捕捉通知の出力時点における仮想物体（逃走者）の空間密度が算出される。

逃走者密度が高いほど、逃走者が捕まりにくくなる。したがって、逃走者密度が高いほどスコア係数ｋ２が低くなるように設定される。例えば逃走者密度とスコア係数ｋ２は反比例の関係となるように設定される。

次に報酬算出部８５は、キャラクタ画像１９Ａの捕捉時点における追跡者密度に基づいて、スコア係数ｋ３を求める（Ｓ７０）。追跡者密度は、追跡者空間密度と呼ばれてもよく、キャラクタ画像１９Ａ周辺の、追跡者の空間密度を表す。例えばキャラクタ画像１９Ａの位置座標から半径５ｍ以内の表示装置３０の空間密度が追跡者密度として算出される。また追跡者密度として、キャラクタ画像１９Ａに対する捕捉動作の認識時点、つまり捕捉通知の出力時点における表示装置３０の空間密度が算出される。

追跡者密度が高いほど、逃走者が捕まり易くなる。したがって、追跡者密度が高いほど、スコア係数ｋ３が高くなるように設定される。例えば追跡者密度とスコア係数ｋ３は正比例の関係となるように設定される。

さらに報酬算出部８５は、所定の基本点にスコア係数ｋ１，ｋ２，ｋ３を乗じた得点を算出してこれを遠隔端末装置１００に付与する（Ｓ７２）。例えば、遠隔端末装置１００を介して逃走者を操作した操作者９４（図１）は、複合娯楽施設１０への来場時に、付与された得点に応じた割引サービスを受けることができる。

以上説明した表示システムによれば、追跡ゲームにおける逃走者の逃走経路が、遠隔端末装置１００の操作者によって定められる。したがって逃走者の逃走経路のパターン化が避けられる。

また操作者にとっては、複合娯楽施設１０から離隔された場所から、当該施設のイベントに参加することができる。加えて、複合娯楽施設１０の来場時における割引サービスが受けられることから、同サービスが逃走者を操作する動機づけとなり、十分な数の逃走者を追跡ゲームに登場させることができる。

さらに表示システムの提供者にとっては、逃走者の逃走経路を設定するアルゴリズムを作成する必要が無いため、その分、開発コストを抑制可能となる。

＜表示システムの別例＞
図１５～図１７には、本実施形態に係る表示システムの別例が示される。このシステムでは、現実世界の撮像画像に逃走者である仮想物体の画像が重畳された重畳画像が、サーバ７０によって作成される。また、パークマップデータに逃走者及び追跡者の画像が重畳されたゲーム画像が、サーバ７０によって作成される。

図１５を参照して、サーバ７０には、図４にて示される機能ブロックに加え、表示制御部８８が設けられる。図４と重複する機能ブロックについては、その機能は同一であるため、以下では適宜説明が省略される。表示制御部８８は、表示装置３０（図６参照）における表示制御部４５と、遠隔端末装置１００（図７参照）における表示制御部１０５の機能とを備える。つまり表示制御部８８は、表示装置３０に表示される拡張現実画像と、遠隔端末装置１００に表示されるゲーム画像を生成する。

またサーバ７０に表示制御部８８が設けられたのに伴い、図１６に例示されるように、表示装置３０では表示制御部４５が省略される。また仮想物体データ記憶部５７も省略される。また図１７に例示されるように、遠隔端末装置１００では、表示制御部１０５に加えて、仮想物体データ記憶部１１２及び施設マップ記憶部１１３が省略される。

図１８には、図１５、図１６のサーバ７０及び表示装置３０による、追跡ゲームの追跡者フローが例示される。図８の追跡者フローと同一の符号が付されたステップは、その処理内容が変わらないため、以下では適宜説明が省略される。

表示装置３０から追跡ゲームへの参加登録を受けると、表示装置３０はサーバ７０に参加登録情報を送信する。当該情報には表示装置３０の位置情報も含まれる。参加登録情報はサーバ７０の追跡ゲーム参加者記憶部８０に記憶される。

さらにステップＳ１６～Ｓ２２にて、撮像画像内の現実物体の認識、及びこれらの現実物体のワールド座標系上の位置情報が、表示装置３０によって求められる。次にこの位置情報付き撮像画像データが、表示装置３０の位置情報と合わせて、サーバ７０に送信される（Ｓ８２）。さらにサーバ７０の表示制御部８８は、撮像画像内に含まれる逃走者の位置座標を求める（Ｓ８４）。

次のステップＳ２８にて、逃走者が追跡者（つまり表示装置３０の保持者）に捕捉されていない、つまり追跡ゲームが続行中である場合には、表示制御部８８は、撮像画像内の逃走者の位置に逃走者である仮想物体のキャラクタ画像を重畳させる（Ｓ８６）。重畳されるキャラクタ画像は、逃走者の位置に基づいて定められる。例えば逃走者の位置に含まれるエリア１４Ａ，１６Ａ，１８Ａに対応して設定されたキャラクタ画像が撮像画像に重畳される。さらにその重畳画像（ＡＲ画像）がサーバ７０から表示装置３０に送信される（Ｓ８８）。

図１９には、図１５、図１７のサーバ７０及び遠隔端末装置１００による、追跡ゲームの逃走者フローが例示される。図１３の逃走者フローと同一の符号が付されたステップは、その処理内容が変わらないため、以下では適宜説明が省略される。

ステップＳ５８にてサーバ７０の参加者算出部８４が、追跡者及び逃走者の位置情報を、追跡ゲーム参加者記憶部８０から取得すると、表示制御部８８は、パークマップ画像に、追跡者と逃走者のキャラクタ画像が加えられたゲーム画像を作成する（Ｓ９０）。なお、当該ゲーム画像を送信する送信先の遠隔端末装置１００に対応する逃走者にはハッチング等の識別画像が追加される。作成されたゲーム画像は遠隔端末装置１００に送信され（Ｓ９２）、遠隔端末装置１００の表示部１０６に表示される。

上記実施形態によれば、表示装置３０及び遠隔端末装置１００から表示制御部が省略されるため、これらの装置に対する、拡張現実画像及びゲーム画像を作成する負荷が軽減される。

＜表示装置の別例＞
上述した実施形態では、表示装置３０として、ビデオ透過型ディスプレイであるスマートフォンが例示されていたが、本実施形態に係る表示装置３０はこの形態に限られない。例えば図２０に例示されるようなヘッドマウントディスプレイ（ＨＭＤ）のように、表示装置３０が光学透過型ディスプレイから構成されてもよい。

この場合、表示装置３０は、撮像器３５、表示部４６に対応するハーフミラー２０２、表示制御部４５及び画像認識部５８に対応するプロジェクタ２０３、ならびに、位置情報取得部５０に対応するセンサユニット２０１を含んで構成される。

ハーフミラー２０２は、例えば眼鏡やゴーグルのレンズであってよい。ハーフミラー２０２は、現実世界からの光（像）が着用者まで透過される。一方、ハーフミラー２０２の上方に配置されたプロジェクタ２０３は、仮想物体の像をハーフミラー２０２に投影させる。これにより、現実世界の風景である、複合娯楽施設１０内の風景に、逃走者を示す仮想物体であるキャラクタの画像を重畳させた拡張現実画像が表示可能となる。

１０ 複合娯楽施設、１４ 遊園地、１４Ａ 遊園地エリア、１５ キャラクタ画像（ピエロ）、１６ 水族館、１６Ａ 水族館エリア、１７ キャラクタ画像（魚）、１８ 動物園、１８Ａ 動物園エリア、１９ キャラクタ画像（サル）、２０ 連絡通路、３０ 表示装置、３５ 撮像器、４５ 表示装置の表示制御部、４６ 表示装置の表示部、４７ 表示装置の入力部、５０ 位置情報取得部、５６ 向き方位推定部、５７ 仮想物体データ記憶部、５８ 画像認識部、５９ 学習済みモデル記憶部、７０ サーバ、８０ 追跡ゲーム参加者記憶部、８１ 施設マップ記憶部、８２ テーマパーク別キャラクタ記憶部、８４ 参加者算出部、８５ 報酬算出部、８６ ３Ｄモデル抽出部、９４ 操作者、１００ 遠隔端末装置、１０５ 遠隔端末装置の表示制御部、１０６ 遠隔端末装置の表示部、１０７ 遠隔端末装置の入力部、１１２ 遠隔端末装置の仮想物体データ記憶部、１１３ 遠隔端末装置の施設マップ記憶部。

Claims (4)

1. 現実世界の風景を撮像する撮像器と、
   前記撮像器による撮像画像内の現実物体を認識するとともに、認識されたそれぞれの前記現実物体の空間座標上の位置を認識する画像認識部と、
   前記撮像画像内の前記空間座標上の指定位置に仮想物体を重畳表示させる表示制御部と、
   を備え、
   前記画像認識部は、前記撮像画像内の、前記仮想物体の前記指定位置に対する前記現実物体のジェスチャー操作を認識し、
   前記表示制御部は、認識された前記ジェスチャー操作に応じて前記仮想物体に対する画像処理を実行する、
   表示装置と、
   前記仮想物体の前記指定位置を変更する操作指令を入力可能な入力部を備える操作装置と、
   を備え、
   前記表示装置及び前記操作装置と通信可能なサーバをさらに備え、
   前記表示装置は、それぞれ異なる特定のテーマに基づいて構成される複数の施設が設けられた複合施設内に配置され、
   前記サーバは、
   それぞれの前記施設内のキャラクタとして定められたキャラクタ画像が、前記複合施設の位置情報と関連付けて記憶された記憶部と、
   前記キャラクタ画像のデータを、当該画像に関連付けられた位置情報とともに前記表示装置に送信する送信部と、
   を備え、
   前記表示制御部は、前記仮想物体の画像として、前記指定位置に応じた前記キャラクタ画像を選択して前記撮像画像に重畳表示させる、
   表示システム。
2. 請求項１に記載の表示システムであって、
   前記ジェスチャー操作は、前記指定位置における捕捉動作であって、
   前記表示装置は、前記画像認識部が前記現実物体による前記捕捉動作を認識したときに、前記サーバに捕捉通知を送信し、
   前記サーバは、前記仮想物体の操作開始時点から前記捕捉動作の認識時点までの逃走期間に応じて、前記操作装置の操作者に対する報酬を定める報酬算出部を備える、
   表示システム。
3. 請求項２に記載の表示システムであって、
   前記表示装置は、前記仮想物体を追跡する追跡ゲームの追跡者としての参加登録を入力する入力部を備え、
   前記操作装置は、前記仮想物体の操作者としての前記追跡ゲームの参加登録を入力する入力部を備え、
   前記サーバは、前記追跡ゲームに参加中の前記追跡者及び前記操作者の数を算出するとともに、前記操作者に操作される前記仮想物体と、前記追跡者に所持される前記表示装置の、前記複合施設内の位置を取得する参加者算出部を備え、
   前記報酬算出部は、前記捕捉動作の認識時点における、捕捉された前記仮想物体周辺の仮想物体空間密度に応じて、前記操作者に対する報酬を定める、
   表示システム。
4. 請求項３に記載の表示システムであって、
   前記報酬算出部は、前記捕捉動作の認識時点における、捕捉された前記仮想物体周辺の、追跡者空間密度に基づいて、前記操作装置の操作者に対する報酬を定める、
   表示システム。

Images