JP7090116B2

JP7090116B2 - プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法

Info

Publication number: JP7090116B2
Application number: JP2020029693A
Authority: JP
Inventors: 滋淡路
Original assignee: Square Enix Co Ltd
Current assignee: Square Enix Co Ltd
Priority date: 2020-02-25
Filing date: 2020-02-25
Publication date: 2022-06-23
Anticipated expiration: 2038-05-11
Also published as: JP2020095735A

Description

本発明は、プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法に関し、特にユーザに携行させた端末の表示部を介して拡張現実感提示を行う技術に関する。

ウェアラブル機器を使用し、拡張現実感を提示する技術がある。

ユーザ操作が煩雑になることを回避すべく、ウェアラブル機器が接近した際に、対応する位置に存在する、実空間の対象物に重畳して提示する仮想的なコンテンツの再生を開始させている（特許文献１）。

特開２０１５－０３７２４２号公報

特許文献１に記載の技術では、ウェアラブル機器の位置に応じてコンテンツの再生制御は行うものの、ユーザの状態を推定してコンテンツの再生内容を異ならせる等の制御は行われていなかった。また特許文献１には、バスや電車の外装に施された広告をターゲットとする場合に、ユーザに近接している場合には対応するコンテンツの再生を行うものの、ユーザから遠離した場合等にどのように提示制御を行うかについては何ら開示するものではなかった。

本発明の少なくとも１つの実施形態は、上述の問題点に鑑みてなされたものであり、鑑賞するユーザの状態を推定し、これに対して好適な態様で拡張現実感提示を行うプログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法を提供することを目的とする。

前述の目的を達成するために、本発明の少なくとも１つの実施形態に係るプログラムは、撮像手段を有し、該撮像手段により実空間が撮像されることで得られた撮像画像に対して、該実空間と対応付けられた仮想空間に配置された仮想キャラクタを描画したキャラクタ画像を重畳して表示することで、拡張現実感提示を行うコンピュータに、撮像画像を取得する処理と、実空間におけるコンピュータの位置及び姿勢に基づいて、仮想キャラクタを描画する仮想空間の視点の位置及び姿勢を決定する処理と、視点の位置及び姿勢に基づいて、仮想キャラクタに行わせる行動を制御する処理と、行動が反映された仮想キャラクタを、視点について描画してキャラクタ画像を生成する処理と、キャラクタ画像を撮像画像に重畳させて生成された重畳画像を表示手段に表示させる処理と、仮想キャラクタに行動を反映した結果、該行動が反映された仮想キャラクタと視点とに基づいて、コンピュータを使用するユーザの状態を推定する処理と、を実行させるプログラムであって、仮想キャラクタに行動を反映した結果に推定されたユーザの状態に応じて、仮想キャラクタにとらせる行動を制御する。

このような構成により本発明の少なくとも１つの実施形態によれば、鑑賞するユーザの状態を推定し、これに対して好適な態様で拡張現実感提示を行うことが可能となる。

本発明の実施形態に係るＡＲ提示端末１００の機能構成を示したブロック図本発明の実施形態に係るＡＲコンテンツの鑑賞体験を提供する実空間と仮想空間とを説明するための図本発明の実施形態に係るＡＲ提示端末１００において拡張現実感提示を行う画面を例示した図本発明の実施形態に係るＡＲ提示端末１００において実行される提示処理を例示したフローチャート本発明の実施形態に係る提示処理において、行動リストにて管理される行動情報のデータ構造を例示した図本発明の変形例２に係るＡＲ提示端末１００において拡張現実感提示を行う画面を説明するための図

［実施形態］
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、拡張現実感提示装置の一例としての、撮像を行って得られた実写画像にコンピュータグラフィックス（ＣＧ）画像を重畳することで、拡張現実感（ＡＲ：Augmented Reality）提示が可能なＡＲ提示端末１００に、本発明を適用した例を説明する。しかし、本発明は、実写画像に所定の画像を重畳することで、少なくとも視覚的な拡張現実感を提示することが可能な任意の機器に適用可能である。また、本明細書において、「実空間」とは、ユーザがＡＲ提示端末１００を用いずに認識できる現実の３次元空間を指し、「仮想空間」とは、ＡＲ提示端末１００において構築されるＣＧ描画用の３次元空間を指し、「拡張現実空間」とは、実空間を撮像して得られた実写画像に、仮想空間を描画した画像を重畳することで表現される、実空間と仮想空間を合成させて表現される空間を指すものとして説明する。

《ＡＲ提示端末の機能構成》
図１は、本発明の実施形態に係るＡＲ提示端末１００の機能構成を示すブロック図である。

制御部１０１は、例えばＣＰＵであり、ＡＲ提示端末１００が有する各ブロックの動作を制御する。制御部１０１は、記録媒体１０２に記憶されている各ブロックの動作プログラムやＡＲ提示アプリケーションに係るプログラムを読み出し、メモリ１０３に展開して実行することにより各ブロックの動作を制御する。

記録媒体１０２は、例えばＡＲ提示端末１００が有する書き換え可能な内蔵メモリや、ＨＤＤや光学ドライブを介して読み取り可能になる光学ディスクを含むものであってよい、不揮発性の記録装置である。記録媒体１０２は、各ブロックの動作プログラムやＡＲ提示アプリケーションに係るプログラムだけでなく、各ブロックの動作において必要となる各種パラメータ等の情報を記録する。本実施形態のＡＲ提示端末１００において実行される、ＡＲ提示アプリケーションの動作に用いられる各種データも、記録媒体１０２に格納されているものとする。メモリ１０３は、例えば揮発性メモリであり、各ブロックの動作プログラムやＡＲ提示アプリケーションのプログラムの展開領域としてだけでなく、各ブロックの動作において出力された中間データ等を一時的に記憶する格納領域としても用いられる。

撮像部１０４は、例えばＣＣＤやＣＭＯＳセンサ等の撮像素子を有する撮像装置ユニットであり、ＡＲ提示に用いられる実写画像の取得に限らず、ＡＲ提示端末１００の外界認識手段として機能する。撮像部１０４は、現実世界（実空間）に存在する被写体を撮像し、撮像画像（実写画像）を出力する。撮像は間欠的に行われ、ＡＲ提示アプリケーションの実行中、後述の表示部１２０に実写画像が順次表示されることで、多少の遅延は生じ得るが、端末を介して実空間及び拡張現実空間（実空間＋仮想空間）の鑑賞が可能になる。

検出部１０５は、撮像部１０４により出力された実写画像に対して所定の画像処理を適用し、実空間中のいずれの位置にＡＲ提示端末１００が存在するか、及びどのような姿勢にあるかを検出する。本実施形態のＡＲ提示アプリケーションを用いた鑑賞体験の提供を行うに先立ち、提供範囲となる実空間中の特徴情報が収集されており、仮想空間と実空間とを対応付けるキャリブレーションがなされているものとする。これにより、実写画像中に含まれる特徴情報に基づいて、ＡＲ提示端末１００の位置及び姿勢を検出することが可能となる。また検出部１０５は、連続するフレームで撮像された実写画像の全てに対して画像処理を適用して検出を行う必要はなく、所定の時間間隔で撮像された実写画像に対して行い、例えばジャイロセンサや加速度センサ等を含むセンサ１１０のセンサ出力に基づいてこれを補うものとしてもよい。あるいは、検出部１０５は、実写画像の画像処理を利用せず、センサ１１０のセンサ出力のみで検出を行うものとしてもよい。

行動制御部１０６は、本実施形態のＡＲ提示アプリケーションにおいて実写画像に重畳して提示する仮想オブジェクトの行動制御を行う。ＡＲ提示アプリケーションで提示される仮想オブジェクトは、３次元モデルで外観が形成されたキャラクタ（ＡＲキャラクタ）であり、行動制御部１０６は、ＡＲ提示端末１００の位置及び姿勢やその他のパラメータに基づいて当該ＡＲキャラクタにとらせる動作や挙動等、各種の行動制御を行う。本実施形態では、ＡＲキャラクタのとる行動は、複数のフレームに渡って生じるものであり、ＡＲキャラクタに対応する３次元モデルに対して該当のモーションデータが適用されることで生じる動作だけでなく、動作や状況に対応付けられた台詞の発声を含むものとする。簡単のため、以下の説明では実写画像に重畳して提示する仮想オブジェクトはＡＲキャラクタのみであるものとして説明するが、本発明の実施はこれに限られるものではない。

提示制御部１０７は、ＡＲ提示端末１００におけるユーザへの各種情報提示の制御を司る。本実施形態のＡＲ提示端末１００では、ユーザへの各種情報提示の手段として、画像（ＡＲ提示画面、その他ＯＳメニュー画面等）表示を行う表示部１２０、音声出力を行う音声出力部１３０を有するものとして説明するが、情報提示の手段はこれらに限られるものではなく、代替あるいは追加が可能であることは言うまでもない。

提示制御部１０７は、例えばＧＰＵ等の描画装置を含み、表示部１２０に表示させるＡＲ提示画面を生成する際には所定の描画処理を行う。具体的には提示制御部１０７は、ＡＲ提示アプリケーションの実行中において、制御部１０１により行われた処理や命令、及び行動制御部１０６により決定された行動に基づいて、ＡＲキャラクタの３次元モデルに対して適当な演算処理を実行し、まず仮想空間に係る画像（ＡＲキャラクタのみが提示される画像）の描画を行う。そして提示制御部１０７は、描画した仮想空間に係る画像と実空間に係る実写画像とを合成することで、拡張現実感を提示するＡＲ画面（拡張現実空間に係る画面）を生成する。生成したＡＲ画面は、ＡＲ提示端末１００に設けられた表示部１２０に出力されて表示されることでユーザに提示される。表示部１２０は、例えばＬＣＤ等のＡＲ提示端末１００が有する表示装置である。本実施形態では鑑賞体験の提供時の携帯性を考慮し、表示部１２０はＡＲ提示端末１００に内蔵され、一体となっているものとして説明するが、本発明の実施はこれに限られるものではなく、例えばＡＲ提示端末１００の外部に、有線無線を問わず着脱可能に接続された表示装置であってもよい。

また提示制御部１０７は、例えばサウンドボードやアンプ等の音声信号の出力／増幅を行う回路を含み、音声出力部１３０から出力させる音声を生成する際には所定の処理を行う。具体的には提示制御部１０７は、例えば予め記録媒体１０２に記録された音声データに基づき、同時に出力を行う音声データを確定し、これを電気的な音声信号に変換（Ｄ／Ａ変換）して音声出力部１３０に出力することで、音声出力を行う。音声出力部１３０は、所定のスピーカ等であってよく、入力された音声信号に基づく音波を出力する。

操作入力部１０８は、例えばタッチパネルやボタン等のＡＲ提示端末１００が有するユーザインタフェースである。操作入力部１０８は、ユーザによりなされた操作入力を検出すると、該操作入力に対応する制御信号を制御部１０１に出力する。

通信部１０９は、ＡＲ提示端末１００が有する、他の装置との通信を行うための通信インタフェースである。通信部１０９は、有線無線を問わず、所定の通信方式により例えばネットワーク上に存在する他のサーバ等に接続し、データの送受信を行う。ＡＲ提示アプリケーションのプログラムや検出に用いられる特徴情報、ＡＲキャラクタの基本行動遷移を記述したシナリオ等の情報は、通信部１０９を介して外部の装置から受信可能に構成されるものであってよい。

《ＡＲコンテンツ概要》
以下、本実施形態のＡＲ提示端末１００で実行されるＡＲ提示アプリケーションによって、拡張現実感の提示を伴った鑑賞体験を提供するＡＲコンテンツの概要について説明する。

〈空間の設定〉
本実施形態ではＡＲコンテンツは、１つの店舗における、店頭から店内の所定の位置までの案内をＡＲキャラクタが行うコンテンツとなっている。図２（ａ）に示されるように、ＡＲコンテンツ提示を可能ならしめる実空間の範囲（店頭と店内を含む店舗周辺の範囲）には、該範囲と対応付けられた仮想空間が関連付けられている。

図２（ａ）に示したように、実空間に設置されている壁、看板、階段、机、椅子等の静的な（移動されない）物体（実オブジェクト）については、実写画像に重畳する際の実オブジェクトによる遮蔽表現を好適に実現するため、仮想空間に対応する３次元オブジェクトが配置される。該３次元オブジェクトは、仮想空間中に同じく配置されるＡＲキャラクタを描画する際には描画の対象とならないが、ＡＲキャラクタよりも、描画を行う視点寄りに存在する場合には、ＡＲキャラクタを遮蔽した描画表現がなされるように、描画有無を判断するための深度値比較の対象にはなる。また、仮想空間中のこれらの３次元オブジェクトは、対応する実オブジェクトの原寸及び配置関係に則って配置されており、実オブジェクトと同一形状を有し、所定の縮尺でサイズ調整されているものとする。

静的な実オブジェクトに対応する仮想オブジェクトを配置する仮想空間は、予め鑑賞体験を提供する範囲に基づいて構成され、ＡＲ提示アプリケーションの実行に先立って、実空間と仮想空間とを対応付けるキャリブレーションがなされているものとする。即ち、ＡＲ提示端末１００を用いた鑑賞体験の提供前には、ＡＲ提示端末１００の撮像部１０４に対する、実空間における実オブジェクトの配置と、ＡＲ提示端末１００の位置姿勢に応じて描画用に定義される視点に対する、関連付けられた仮想空間における該当の仮想オブジェクトの配置と、が合致するように、仮想空間の座標系の並進及び回転が設定されているものとする。

〈拡張現実感の提示〉
ＡＲ提示アプリケーションの実行中、撮像部１０４は間欠的に撮像（動画撮影）を行い、得られた実写画像が表示部１２０に順次表示されることにより、実空間の様子を示す、所謂スルー表示が実現される。また、仮想空間における、実写画像の撮像範囲と対応する画角内にＡＲキャラクタが含まれる場合には、図３（ａ）に示されるように、該キャラクタの画像３００を実写画像に重畳することで、あたかも実空間にＡＲキャラクタが存在するかのようにユーザに知覚させる拡張現実感を提示することができる。ここで、実写画像に対してＡＲキャラクタの画像を重畳する条件は、撮像範囲と対応する仮想空間の画角内に、ＡＲキャラクタの少なくとも一部が含まれていればよく、必ずしもＡＲキャラクタの配置位置の基準となる実空間の面や特徴が、実写画像に含まれている必要はない。

ＡＲコンテンツに係る拡張現実感を提示するためには、実空間におけるＡＲ提示端末１００の移動及び姿勢変更、より詳しくは、撮像部１０４の移動及び姿勢変更に同期して、仮想空間を描画する視点を移動及び姿勢変更させる必要がある。このため、検出部１０５は、撮像により順次得られた実写画像及びセンサ１１０のセンサ出力に基づいて、ＡＲ提示端末１００の位置及び姿勢を検出する。実空間におけるＡＲ提示端末１００の位置及び姿勢が特定されると、仮想空間を描画する視点の位置及び姿勢（視線方向）もこれに応じて特定されるため、該視点に基づき仮想空間を描画して実写画像に重畳することで、拡張現実感を違和感なく提示する画面を生成できる。

なお、本実施形態のＡＲコンテンツでは、ＡＲキャラクタがユーザと共に歩きながら、ユーザを店内に案内する「接客」をテーマにしたシナリオとなっているため、仮想空間における視点は、ＡＲキャラクタによってユーザの頭部（顔または目＋視線方向）として認識されるオブジェクトと同等に機能しているものとする。即ち、ＡＲキャラクタはユーザの頭部に向かって話しかける等の動作をとる。

また仮想空間には、ＡＲコンテンツに係る一連の鑑賞体験を提供するにあたり、図２（ｂ）に示されるように、ＡＲキャラクタが基本的に進行するルート２０１が予め設定されている。本実施形態のＡＲコンテンツは、上述したように、店頭に存在するユーザ（ＡＲ提示端末１００を使用するユーザ）をＡＲキャラクタが店内の所定位置（目標）まで誘導（案内）するコンテンツであるため、誘導の開始位置であるエリア２０２ａから目標位置であるエリア２０２ｄまでをつなぐルート２０１が設定されている。また図示されるように、ルート２０１には、開始位置と目標位置に対応するポイント（エリア２０２ａ及びｄ）に加え、その他のポイント（エリア２０２ｂ及びｃ）が設けられていてよく、各々でＡＲキャラクタに所定の行動を起こさせるイベントが対応付けられている。本実施形態では、ＡＲ提示端末１００が、各エリア２０２に対応する実空間の領域に進入（もしくは接近）したことをもって、キャラクタに行動を起こさせるイベントが発生する。

好適な拡張現実感の提示のため、各エリア２０２は拡張現実空間において表示しないよう制御し、その存在をユーザが視覚的に認識できないようにする。また、ＡＲキャラクタが自然に振る舞っている様を提示できるよう、各エリア２０２は、図２（ｃ）に示されるように同心円でその内部の領域が分離されており、エリア中心と視点との距離に応じて段階的にＡＲキャラクタの行動制御を行う態様を採用するものとする。

エリア２０２について定められたイベントの好適な発生位置が、該エリアの中心部である、図にてハッチングで示した内側の領域２０３であるとすると、該領域にユーザ（ＡＲ提示端末１００）を進入させるよう、ＡＲキャラクタの行動制御が行われる。より詳しくは、内側領域２０３よりも外側に定めた外側領域２０４にＡＲ提示端末１００が進入した際に、さらに内側領域２０３まで進むように誘導する行動をＡＲキャラクタにとらせることで、好適なイベント発生にユーザを誘導することができる。例えば、外側領域２０４にＡＲ提示端末１００が進入したことを検出した場合は、該エリア２０２の中心に配置されたＡＲキャラクタに「ユーザを呼び止める」、「近づくよう促す」行動をとらせることで、該エリアについて定められたイベントの発生条件（内側領域２０３へのＡＲ提示端末１００の進入）を満たしやすくすることができる。従って、図示したように、外側領域２０４は内側領域２０３よりも大きい半径範囲を有するよう構成され、該領域にＡＲ提示端末１００が存在する場合には、ＡＲキャラクタの行動を制御することにより、内側領域２０３の周辺に存在するユーザを注目させ、自然に好適なイベントの発生位置に誘導できる。

換言すれば、本実施形態のＡＲ提示アプリケーションでは、ルートに沿ったユーザの誘導が行われるよう、各エリア２０２において、その中心からの距離に応じて多段階のイベント発生が定義されている。なお、本実施形態の態様では、各エリア２０２について、内側領域２０３における固有イベントを体験させるための、ＡＲキャラクタの一連の行動（呼びかけ→誘導→固有イベント）の発生条件が、外側領域２０４にＡＲ提示端末１００が進入した際に満たされるものとして説明するが、本発明の実施はこれに限られるものではない。例えば、同心円で区切られた各領域には、関連性のない異なるイベントが割り当てられており、いずれのエリアにどの程度接近したかに応じて、１以上のイベントの発生条件が同時に満たされ得、このうちの少なくともいずれかを、所定の優先順位等に従って発生させるよう制御してもよい。この場合、発生条件が満たされたイベントの情報は順次スタックされ、条件が満たされる場合に、ＡＲキャラクタの行動という形で提示される。

また、本実施形態ではエリア２０２は円形（正円）で構成されるものとして説明するが、矩形、多角形等、形状はいずれであってもよい。特に、接客用途とのＡＲコンテンツの特性を考慮すると、エリア２０２の形状は、ＡＲキャラクタの視線方向に延びた楕円形状や扇形状であってもよい。

またＡＲコンテンツは、視覚的だけでなく聴覚的な拡張現実感提示を伴う鑑賞体験を提供するものであってもよい。音声出力部１３０からの出力が、ステレオやサラウンド設定等、ある程度の音像定位が可能に構成されているのであれば、例えば、ＡＲキャラクタの音声発声イベントは、ＡＲキャラクタの視界の範囲にユーザ（ＡＲ提示端末１００）が捕らえられた（存在する）際に発声し、ユーザに音声発生源を注目させるよう構成されるものであってもよい。即ち、ＡＲ提示端末１００の表示部１２０で表示される画角内にはＡＲキャラクタが存在していなくとも、音声出力によって、ユーザにＡＲキャラクタの存在を認識させることができる。このため、検出部１０５は、ＡＲキャラクタが存在しない実空間が撮像された場合であっても、実写画像に含まれる特徴情報から仮想空間中の対応する位置を特定可能に構成されていてもよい。

また、本実施形態では撮像部１０４により撮像された実写画像の解析等によってＡＲ提示端末１００の位置及び姿勢を特定する方式を採用するが、ＡＲ提示端末１００の位置及び姿勢の特定は、所定の実空間範囲に存在するＡＲ提示端末１００を検出可能に構成された外部装置によって行われ、ＡＲ提示端末１００に供給されるものであってもよい。

〈ＡＲコンテンツの鑑賞体験〉
次に、本実施形態のＡＲ提示アプリケーションによって提供されるＡＲコンテンツの鑑賞体験について、より詳しく説明する。簡単のため、以下ではユーザとＡＲキャラクタとの位置関係に応じてとらせるＡＲキャラクタの行動を含めて、提供される鑑賞体験を説明するが、実際には拡張現実空間における、ＡＲ提示端末１００とＡＲキャラクタとの位置関係、もしくは仮想空間におけるＡＲ提示端末１００の位置及び姿勢に対応する視点とＡＲキャラクタとの位置関係に応じて行動制御が行われることは言うまでもない。

本実施形態のＡＲ提示アプリケーションでは、例えば店頭にいるＡＲキャラクタに対してユーザが接近したことで開始され、店頭から店舗内の所定の位置（実世界の座席案内役の店員が存在する受付、あるいは空席となっている座席）まで、予め定められた導線（図２（ｂ）のルート２０１）に沿って、ＡＲキャラクタが先行しながら（あるいは連れ添いながら）ユーザを誘導するシナリオの鑑賞体験が提供される。ここで、ルート２０１は、あくまでも基準として設けられるものであって、ユーザの移動内容によって多少の変更があってもよい。

ユーザは例えば店先の待機列で順番となるまで待機しており、店内に空席ができた際に店員からＡＲ提示アプリケーションを実行中のＡＲ提示端末１００を受け取る。ＡＲ提示端末１００を受け取った後は、ユーザは表示部１２０を介して拡張現実空間を鑑賞しながら、自由に移動することができる。

図２（ｂ）に示したルート２０１上のエリア２０２のうち、開始位置として定められたエリア２０２ａにユーザが接近した（エリア２０２ａの外側領域２０４に進入した）ことを受けて、ＡＲキャラクタは、ユーザ方向を向いて近づくように促し、さらに接近した（内側領域２０３に進入した）ことを条件として、来店に対する挨拶、店内に誘導する旨のセリフの発言を開始する。

ＡＲキャラクタによる発言は、例えば図３（ｂ）に示されるように、音声の聞き逃しを防ぎ、いずれのＡＲキャラクタの発言であるかを明確にするため、ＡＲキャラクタ３０１の頭上に吹き出しとして構成される平板オブジェクト（吹き出しオブジェクト３０２）に、セリフ内容の文字列３０３を同時に提示することによって行われる。また、鑑賞方向によっては吹き出しオブジェクト３０２が画角内に収まらないため、文字列３０３と同内容の字幕３０４が、常に画面内に含まれるよう構成されていてもよい。

店内への誘導を開始すると、ＡＲキャラクタはルート２０１に沿って所定の速度で進行を始める。ルートの進行中、ＡＲキャラクタは都度、図３（ｃ）に示されるような、後をついてくるように促す発言や動作を行う。ユーザは、表示部１２０を介してこれを鑑賞しつつ、追従する形で入店する。

ルート上に設定されたエリア２０２にＡＲキャラクタが至った場合には、ＡＲキャラクタは付近に待機し、ユーザが該エリアの外側領域２０４や内側領域２０３に進入したことに応じて、ＡＲキャラクタは該エリアについて定められたイベントに係る行動をとる。

ところで、ＡＲキャラクタはルート２０１に沿って移動するが、ユーザがＡＲキャラクタを見失ってしまう可能性もある。従って、本実施形態では行動制御部１０６は、仮想空間における、案内に係る行動（案内行動）を反映させた結果のＡＲキャラクタと視点との距離に基づいて、ユーザが「ＡＲキャラクタを見失った状態にある」か否かを推定するものとする。また行動制御部１０６は、推定結果に基づいてＡＲキャラクタにとらせる行動を変化させるように制御する。

即ち、ＡＲキャラクタは、エリア２０２にユーザが進入したことを条件として、該エリアについて予め定められた行動をとるだけでなく、所定の行動後のＡＲキャラクタとユーザとの距離に応じて、動的な行動をとるよう制御される。例えば、エリア２０２ａについて発生したイベントについて、ＡＲキャラクタが次のエリア２０２ｂに向かってルート２０１に沿って移動する際、ＡＲキャラクタとユーザの距離とが所定の閾値を越えた場合には、ユーザがＡＲキャラクタを見失った状態にあると推定し、その距離に応じて、振り返る、立ち止まって呼びかける、ルート２０１を戻ってユーザに近づく等、行動制御部１０６はＡＲキャラクタの行動を制御する。

《提示処理》
このような構成をもつ本実施形態のＡＲ提示アプリケーションで行われるＡＲキャラクタの提示処理について、図４のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部１０１が、例えば記録媒体１０２に記憶されている対応する処理プログラムを読み出し、メモリ１０３に展開して実行することにより実現することができる。なお、本提示処理は、例えば実行されたＡＲ提示アプリケーションにおいて、ＡＲコンテンツ鑑賞体験の提供要求に係る操作入力がなされた際に開始されるものとして説明する。また本提示処理は、ＡＲ提示に係る１フレームについて行われる処理を例示したものであり、連続的な提示のために毎フレーム繰り返し実行されるものとする。

また本提示処理において、イベントの発生条件が満たされた場合には、基本的には該イベントについて予め定めらえたモーション及び音声発生の少なくともいずれかの行動を、ＡＲキャラクタにとらせるよう行動制御がなされ、表示部１２０、音声出力部１３０を介してその行動の提示がなされるものとする。各イベントの情報は、例えばＡＲ提示アプリケーション用のデータとして記録媒体１０２に保持されるものであってよく、それぞれイベントを識別するイベントＩＤに関連付けて、イベントの発生条件が満たされた際にＡＲキャラクタに適用されるモーション及び音声発声を含む行動を記述した情報が管理されているものとする。

Ｓ４０１で、撮像部１０４は制御部１０１の制御の下、本フレームに係る撮像を行い、実写画像を出力する。

Ｓ４０２で、検出部１０５は制御部１０１の制御の下、Ｓ４０１において撮像された実写画像及びセンサ１１０のセンサ出力に基づいて、ＡＲ提示端末１００の位置及び姿勢を検出する。検出される位置及び姿勢は、例えば仮想空間のワールド座標系における位置（座標）と、該位置を中心とした３軸それぞれの回転角として導出されればよい。制御部１０１は、検出されたＡＲ提示端末１００の位置及び姿勢の情報を、仮想空間の描画を行う視点の情報（視点情報）としてメモリ１０３に格納する。

Ｓ４０３で、制御部１０１は、現在の視点位置がルート上に定義されたいずれかのエリアのイベント発生領域に進入しているか否かを判断する。領域に進入したか否かの判断は、例えば視点情報で示される３次元位置をＸＺ平面（仮想世界における床面）に投影した際に、エリアについて定められた領域に投影点が含まれるか否かによって判断されるものであってよい。制御部１０１は、現在の視点位置がいずれかのエリアのイベント発生領域に進入していると判断した場合は処理をＳ４０４に移し、進入していないと判断した場合は処理をＳ４０５に移す。

Ｓ４０４で、行動制御部１０６は制御部１０１の制御の下、視点の位置及び姿勢に基づいて、進入しているエリアに対応付けられたイベントのうちの、発生条件が満たされたイベントの情報を、例えばメモリ１０３に保持されている行動リストに追加する。また行動制御部１０６は、行動リストに既に追加されているイベントの情報のうち、発生条件を満たさなくなったイベントの情報を行動リストから削除する。行動リストは、発生条件が満たされたイベントの情報をスタックするリストであってよく、リストの１項目の情報（行動情報）は、例えば図５に示されるデータ構造を有して構成されていてよい。

図５の例では、行動リストの１項目として管理される行動情報は、項目を識別する項目ＩＤ５０１に関連付けて、発生条件が満たされたイベントを識別するイベントＩＤ５０２、発生条件が満たされた状態が継続しているフレーム数を示す該当フレーム数５０３、現在対応する行動をＡＲキャラクタにとらせているか否かを示す行動中フラグ５０４（論理型。真でＡＲキャラクタが対応行動中）、及び対応する行動についての優先順位５０５を含むものであってよい。従って、本ステップにおいて発生条件が満たされたイベントのうち、既に行動リストに含められているイベントについては、行動制御部１０６は行動情報を行動リストに追加する処理に代え、既にリスト内に存在する行動情報の該当フレーム数５０３を１増加させる処理を行うものとする。優先順位５０５の情報は、イベントの種類に応じて基準値が予め定められており、初期値としてそれを入力するものであってよいが、後述する通り、ＡＲ提示端末１００やＡＲキャラクタの状況に応じて、動的に変更可能に構成されるものであってよい。基本的には、行動リストにおいて、現在ＡＲキャラクタにとらせている行動に係る優先順位５０５が、最も高い（行動を優先する）値に設定される。

なお、詳細は後述するが、ＡＲキャラクタにとらせる行動は、その全ての動作を終えるまでに所定の期間を有する。故に、基本的には現在ＡＲキャラクタに適用中の行動が存在した場合には、不自然な挙動が生じることを回避するために、該行動に要する期間が完了するまで、ＡＲキャラクタに別の行動を反映させないように制御する必要がある。一方で、上述した通り、ユーザの状態を推定することによりとらせるべき行動（案内行動開始後にユーザがＡＲキャラクタを見失ったと推定される際に行動）は、可能な限り早くユーザに伝達されることが好ましい。従って、本実施形態では行動制御部１０６は、このような行動を好適なタイミングでとらせるべく、現在適用中の行動が存在したとしても、該行動が例えば中断しても問題が生じない状態まで進行したら、強制的に終了させ、上記ユーザの状態推定に基づく行動をＡＲキャラクタにとらせるよう制御する。このため、行動情報はさらに、現在ＡＲキャラクタに適用中の行動を所定の区切りで終了させることを示す行動強制終了フラグ５０６を含むものとする。強制終了フラグ５０６は、例えば論理型の情報であり、初期値は偽として追加され、真に変更された場合には、対応する行動が所定の区切りまで進行した際に、その際の優先順位に限らず強制終了させ、別の行動をＡＲキャラクタとらせるよう制御がなされる。

Ｓ４０５で、行動制御部１０６は、現在ＡＲキャラクタに案内行動をとらせている状態にあるか否かを判断する。本ステップの判断は、行動リストに含まれる行動中フラグ５０４が真の行動情報が、案内行動に対応するイベントＩＤ５０２を示すか否かにより行われるものであってよい。行動制御部１０６は、現在ＡＲキャラクタに案内行動をとらせている状態にあると判断した場合は処理をＳ４０６に移し、案内行動をとらせている状態にないと判断した場合は処理をＳ４０８に移す。

Ｓ４０６で、行動制御部１０６は、仮想空間における案内行動適用後のＡＲキャラクタの位置と視点の位置の情報に基づいて、ユーザがＡＲキャラクタを見失った状態にあるか否かを推定する。本実施形態では簡単のため、仮想空間における視点とＡＲキャラクタの距離の閾値を１つだけ設け、該閾値を越えた場合に、ユーザがＡＲキャラクタを見失った状態にあるものとして推定する。故に、行動制御部１０６は、これまでのフレームの処理においてＡＲキャラクタが開始した案内行動（ルートに沿った移動を伴う行動）の結果、視点とＡＲキャラクタの距離が所定の閾値以上離れたか否かに基づいて、ユーザの状態を推定する。行動制御部１０６は、ユーザがＡＲキャラクタを見失った状態にあると推定する場合は処理をＳ４０７に移し、見失った状態にないと推定する場合は処理をＳ４０８に移す。

Ｓ４０７で、行動制御部１０６は制御部１０１の制御の下、案内行動の結果、ユーザがＡＲキャラクタを見失った状態にあると推定される状況で発生させるイベントに係る行動情報を、行動リストに追加する。また行動制御部１０６は、メモリ１０３に格納されている、移動によって視点とＡＲキャラクタとの距離が所定の閾値以上離れていることを示す遠離フラグを真に設定する。なお、当該遠離フラグは、視点とＡＲキャラクタの距離が所定の閾値を下回った場合には偽に変更されるものとする。また行動制御部１０６は、現在ＡＲキャラクタに適用中の行動が存在する場合には、対応する行動情報（行動中フラグ５０４が真である行動情報）の強制終了フラグ５０６を真に変更する。

また本実施形態では、上述したように案内行動の結果、視点とＡＲキャラクタとが閾値以上離れた状況において、行動制御部１０６は、視点の方向に近づかせる行動をＡＲキャラクタにとらせる行動情報を行動リストに追加するものとして説明するが、本発明の実施はこれに限られるものではない。即ち、当該状況では、視点とＡＲキャラクタとの距離を縮ませるべく、ＡＲ提示端末１００（ＡＲ提示端末１００を携行するユーザ自身）及びＡＲキャラクタの少なくともいずれかにこれを促す行動を生じさせるものであればよい。例えばＡＲキャラクタ自体は移動しなくとも、ＡＲ提示端末１００をＡＲキャラクタに近づける移動をユーザになさせるよう、呼びかけ等の行動をとらせるものとしてもよい。

Ｓ４０８で、行動制御部１０６は制御部１０１の制御の下、視点情報と仮想空間に配置されたオブジェクトの配置情報とに基づいて、仮想空間を描画する視点の画角内にＡＲキャラクタの３次元オブジェクトの少なくとも一部が含まれるか否かを判断する。制御部１０１は、画角内にＡＲキャラクタの３次元オブジェクトの少なくとも一部が含まれると判断した場合は処理をＳ４０９に移し、含まれないと判断した場合は処理をＳ４１０に移す。

Ｓ４０９で、行動制御部１０６は、メモリ１０３に格納されている、仮想空間において視点の画角内にＡＲキャラクタの３次元オブジェクトが含まれていることを示す論理型の情報（画角内フラグ）を真に設定する。

一方、Ｓ４０８において画角内にＡＲキャラクタの３次元オブジェクトが含まれないと判断した場合、行動制御部１０６はＳ４１０で、視点の画角内にＡＲキャラクタを捕らえていないことで発生させるイベント（ユーザをＡＲキャラクタに注目させるための行動）に係る行動情報を、行動リストに追加する。また行動制御部１０６は、メモリ１０３に格納されている画角内フラグを偽に設定する。本実施形態では簡単のため、画角内にＡＲキャラクタが捕らえられていないと判断されたフレームで行動情報の追加及び画角内フラグの変更を行うものとして説明するが、該当の状態が複数フレーム継続したことを以て、これが達成されたものと判断するものであってもよい。

Ｓ４１１で、行動制御部１０６は制御部１０１の制御の下、行動リストに含まれる行動情報の優先順位を決定する。優先順位の決定は、行動リストに含まれる各行動情報、遠離フラグ、及び画角内フラグに基づいて行われればよく、これまでのフレームにおいて設定された優先順位５０５を基準にしつつ、状況に応じて優先順位を入れ替えるよう行われるものとする。

例えば、ＡＲキャラクタの不自然な振る舞いを回避するために、行動中フラグ５０４が真のイベント、即ち、少なくとも直前のフレームでＡＲキャラクタに対応する行動が進行中のイベントについては、現フレームに当該行動について定められたモーションや音声が継続するのであれば、行動制御部１０６は該イベントに係る行動情報の優先順位５０５が最も高くなるよう設定する。当該処理は、例えば予め定められた最先順位の値で、優先順位５０５を更新することにより行われるものであってよい。一方で、進行中のイベントに係る行動情報の強制終了フラグ５０６が真に設定されている場合は、対応する行動については、強制終了させるフレームまでは優先順位５０５を最も高くなるよう設定するが、強制終了させるフレームを越えた場合には、優先順位５０５を他の行動に係る行動情報のものよりも低くなるよう制御するものとする。

また遠離フラグが真であれば、ユーザがＡＲキャラクタを見失った状態にあると推定されるため、行動制御部１０６は現在行動が進行中のイベントがあるのであれば、遠離したことに対応する行動情報の優先順位５０５を、それに次いで高く設定する。この場合、進行中のイベントに係る行動情報の強制終了フラグ５０６は真に設定され、例えば数フレーム以内に対応する行動が強制終了されるため、案内行動の結果に遠離したことに対応する行動情報の優先順位５０５は、当該強制終了後に最も高くなるものとする。また、現在行動が進行中のイベントがなければ、行動制御部１０６は遠離フラグを真にした際に登録された行動情報の優先順位５０５を、すぐに最も高くするよう設定すればよい。

また画角に捕らえられていない状態で、主要なイベントを進行させることは好ましくないため、画角内フラグが偽である場合には、行動制御部１０６は視点の画角内にＡＲキャラクタを捉えていないことで発生させるイベントに係る優先順位５０５を、同様に、現在行動が進行中のイベントの有無に応じて高く設定する。なお、本実施形態ではユーザがＡＲキャラクタを見失った状態にあると推定される場合にとらせる行動、即ち、案内行動の結果に遠離したことに応じてとらせる行動には、画角に捕らえさせるための行動を含むものとして、単純に画角内フラグが偽となった場合にとらせる行動とは分離して取り扱うものとする。

また、既に対応する行動をＡＲキャラクタに行わせたイベントが存在する場合には、同一のイベントが生じないよう、行動制御部１０６は該当の行動情報の優先順位５０５を最も低い値に設定する、または該当の行動情報を行動リストから削除する処理を行ってよい。

基本的なイベントの優先順位は、例えば、現在行動が進行中のイベント、視点とＡＲキャラクタの遠離を解消させるためのイベント、画角内にＡＲキャラクタを捕らえさせるためのイベント、エリアについて設定されたイベントの順序で、行動制御部１０６は優先順位５０５を設定するものであってよい。この際、同一の分類になるイベントが複数存在する場合には、各行動情報の該当フレーム数５０３を参照し、発生条件が満たされているフレーム数が長いイベントから開始させるよう制御されるものであってよい。

Ｓ４１２で、行動制御部１０６は制御部１０１の制御の下、Ｓ４１１において設定した優先順位に基づいて、本フレームのＡＲキャラクタの行動制御を行う。より詳しくは、行動制御部１０６は、本フレームにおけるＡＲキャラクタの姿勢情報や台詞及び音声の情報を提示制御部１０７に供給し、適宜提示させる。提示制御部１０７による本フレームに係る提示（画面、音声）が行われると、制御部１０１は処理をＳ４０１に戻す。

以上説明したように、本実施形態の拡張現実感提示装置によれば、鑑賞するユーザの状態を推定し、これに対して好適な態様で拡張現実感提示を行うことができる。

［変形例１］
上述した実施形態では、案内行動適用の結果、仮想空間における視点とＡＲキャラクタとの距離が１つの所定の閾値を越えたことを条件として、ユーザがＡＲキャラクタを見失った状態にあるものとして説明した。しかしながら、このように案内行動をＡＲキャラクタにとらせた結果に、仮想空間における視点とＡＲキャラクタとが遠離する状況は、ユーザがＡＲキャラクタを見失ったことに依るものに限られない。

上述したような鑑賞体験の提供態様では、ユーザはＡＲ提示端末１００を携帯して自由に移動可能であるため、例えば店頭の外観を観察する、写真撮影する等、必ずしもＡＲキャラクタに追従して行動しないこともあり得る。この他、ユーザがＡＲキャラクタを追い越して進行する、誤った方向に移動する、何らかの不測の事態で進行が困難になる等、ユーザの状況は様々となり得る。従って、行動制御部１０６は、行動を反映した結果のＡＲキャラクタと視点との仮想空間における距離だけでなく、ＡＲ提示端末１００のセンサ出力や撮影方向を加味してユーザの状態を推定し、該推定結果に基づいてＡＲキャラクタに行わせる行動を変化させるように制御するものであってもよい。

例えば、仮想空間における視点とＡＲキャラクタとが所定の閾値を越えて離間し、かつＡＲ提示端末１００の姿勢が案内に係る進行方向と異なる方向に向かったまま、略静止していると判断できる場合、行動制御部１０６は、ユーザが実空間にある何かしらのオブジェクトに注視している状態であるものと推定するものであってよい。この場合、行動制御部１０６は、ＡＲキャラクタにルートを戻らせ、何に注視しているかを尋ねる等のイベントを発生させつつ、案内に再度誘導するように、イベント発生及び行動を制御するものであってよい。

また例えば、案内行動で移動させるルートにおいて、ＡＲキャラクタの進行方向に視点が存在している場合、即ち、ユーザがＡＲキャラクタを追い越して移動した場合、行動制御部１０６は、ユーザが速やかな案内を所望している状態と推定するものであってよい。この場合、行動制御部１０６は、視点の位置までＡＲキャラクタにルートを進行させたのち、それまでの案内に係るルート移動速度よりも速い速度でルートを先行するように、イベント発生及び行動を制御すればよい。

また、上述した実施形態では、所定の閾値は１つであるものとして説明したが、本発明の実施はこれに限られるものではなく、ルートに沿った移動の結果に視点とＡＲキャラクタとの間に生じた距離の閾値を複数設け、推定可能なユーザの状態、及び対応してとらせる行動を段階的に設ける構成としてもよい。

［変形例２］
上述した実施形態では、基本的には、視点の予め設定されたエリアへの接近か、視点とＡＲキャラクタとの距離に応じてイベントを発生させるかの判断を行い、行動情報の行動リストへの登録を行うものとして判断したが、本発明の実施はこれに限られるものではない。イベントの発生条件は、予め定められたものに限られる必要はなく、例えば実写画像中に機械学習によって把握した特定のオブジェクトの像が検出される場合、仮想空間が対応付けられる実空間の地理的情報を取得した場合等に、行動制御部１０６は、ＡＲキャラクタに該物体や地域に関する話題を含めた会話を開始するイベントを発生させるよう制御するものとしてもよい。

例えば、実空間中に設置されている特定のオブジェクトは、店舗壁面に掲示されているイベントポスターや商品ポスター、あるいは商品自体等であってよく、これらが検出された場合に行動制御部１０６は、ポスターに関するエピソード、商品宣伝、購買への誘導トーク等をＡＲキャラクタにとらせる行動情報を行動リストに追加するようにしてもよい。この際、画角内にオブジェクトが捕らえられているとしても、ユーザが注目しているとは限らないため、まずオブジェクトに注目するよう促す行動をキャラクタにとらせ、センサ１１０のセンサ出力等に基づき、これに注目したと推定される場合に、行動を開始させるようにしてもよい。また、センサ１１０のセンサ出力等により該当のオブジェクトに注目したかを判断し、ユーザの興味・関心があるテーマを推察し、以後の行動制御に反映させるものとしてもよい。

また例えば、鑑賞体験の提供が行われる店舗が海の近くにある場合に、海の話題に触れる、画角に上空が捕らえられた場合に天候の話題を振る、気象情報を受信した場合に天候の話題に触れる等、イベントの発生条件は適応的に追加・削除されるものであってよい。

［変形例３］
ところで、上述したような接客用途の鑑賞体験をユーザに提供する態様では、ユーザの年齢や身長は様々である。即ち、平均身長の成人に対する利用を想定してＡＲキャラクタ身長やＡＲコンテンツの内容を構成したとしても、ユーザによってはこれを好適に体験できない可能性がある。例えば低身長の児童が利用する場合には、ＡＲ提示端末１００が常に地表から数十センチメートルの高さに維持され得る。故に、ＡＲ提示端末１００を水平に保った状態では、図６（ａ）のようにＡＲキャラクタの足元ばかりが提示されてＡＲコンテンツを好適に把握できない可能性がある。あるいは、ＡＲキャラクタの顔を提示させるために、閾値以上の仰角を保つようにＡＲ提示端末１００が把持される場合、ユーザ自身の足元が確認しづらいため安全性が担保されない、また、必要な特徴情報が画角内に含まれにくくなるため、ＡＲコンテンツの提示を安定的に行えない可能性がある。

従って、本変形例において行動制御部１０６は、ＡＲ提示端末１００を携行しているユーザがどのような人物であるかを推定し、それに応じて行動を変更させるよう制御する。より詳しくは、検出部１０５による実写画像の解析及びＡＲ提示端末１００の姿勢に係るセンサ出力に基づいて、行動制御部１０６はユーザの身長や年齢を推定し、ＡＲキャラクタによる案内の仕方を異ならせるよう行動制御を行う。

例えば、ＡＲキャラクタの身長が１７０ｃｍに設定され、口調がフレンドリーに設定されているＡＲキャラクタを用いて、拡張現実感提示を伴う鑑賞体験を提供する態様を想定する。ＡＲキャラクタからの呼びかけに対して、ＡＲキャラクタの顔が画角に入るように変更された姿勢において、仰角が所定度以上であり、ＡＲ提示端末１００の地表からの高さが低いと判断できる場合、行動制御部１０６は、ユーザを低身長の児童であるものとして推定する。この場合、行動制御部１０６は、図６（ｂ）に示されるように屈んでユーザに話しかける、口調を丁寧語に設定する、歩くスピードを遅くする等、ＡＲキャラクタの行動基準を変更すればよい。また、変形例１のように外界認識して商品紹介等を行う場合にも、低年齢の客層受けしやすい商品に対象をシフトさせるよう制御を行うものとしてもよい。同様に、ＡＲキャラクタよりも身長が高い場合、即ち、ＡＲキャラクタの顔が画角に入るように変更された姿勢において俯角を示しており、ＡＲ提示端末１００の地表からの高さが高いと判断できる場合、行動制御部１０６は、ユーザを見上げるようにして話しかける等、行動制御を行ってよい。

［その他の実施形態］
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。また本発明に係る拡張現実感提示装置は、１以上のコンピュータを該拡張現実感提示装置として機能させるプログラムによっても実現可能である。該プログラムは、コンピュータが読み取り可能な記録媒体に記録されることにより、あるいは電気通信回線を通じて、提供／配布することができる。

１００：ＡＲ提示端末、１０１：制御部、１０２：記録媒体、１０３：メモリ、１０４：撮像部、１０５：検出部、１０６：行動制御部、１０７：提示制御部、１０８：操作入力部、１０９：通信部、１１０：センサ、１２０：表示部、１３０：音声出力部

Claims

撮像手段を有し、該撮像手段により実空間が撮像されることで得られた撮像画像に対して、該実空間と対応付けられた仮想空間に配置された仮想キャラクタを描画したキャラクタ画像を重畳して表示することで、拡張現実感提示を行うコンピュータに、
前記撮像画像を取得する処理と、
前記実空間における前記コンピュータの位置及び姿勢に基づいて、前記仮想キャラクタを描画する前記仮想空間の視点の位置及び姿勢を決定する処理と、
ユーザの身長及び年齢の少なくともいずれかを推定する処理と、
前記視点の位置及び姿勢と、前記ユーザの身長及び年齢の少なくともいずれかの推定結果とに基づいて、前記仮想キャラクタにとらせる行動を制御する処理と、
行動が反映された前記仮想キャラクタを、前記視点について描画して前記キャラクタ画像を生成する処理と、
前記キャラクタ画像を前記撮像画像に重畳させて生成された重畳画像を表示手段に表示させる処理と、
前記仮想キャラクタに行動を反映した結果、該行動が反映された前記仮想キャラクタと前記視点とに基づいて、前記コンピュータを使用する前記ユーザの状態を推定する処理と、
を実行させるプログラムであって、
前記仮想キャラクタに行動を反映した結果に推定された前記ユーザの状態に応じて、前記仮想キャラクタにとらせる行動を制御するプログラム。
前記仮想キャラクタに行動を反映した結果、該行動が反映された前記仮想キャラクタと前記視点との距離が所定の閾値を越える場合に、前記ユーザの状態が特定の状態にあると推定して、前記仮想キャラクタと前記視点との距離に応じて前記仮想キャラクタにとらせる行動を異ならせるよう制御する請求項１に記載のプログラム。
前記仮想キャラクタにとらせる行動は、前記仮想空間中を移動させる行動を含み、
前記仮想キャラクタに移動を反映させた結果、移動後の前記仮想キャラクタと前記視点との距離が前記所定の距離を越える場合に、該距離を低減させる行動を前記仮想キャラクタに行わせる請求項２に記載のプログラム。
前記距離を低減させる行動は、前記仮想空間において前記仮想キャラクタを前記視点の方向に近づける行動、及び前記実空間における前記コンピュータの移動を促す行動の少なくともいずれかである請求項３に記載のプログラム。
前記所定の閾値は、複数設定されており、
前記ユーザの状態を推定する処理において、前記仮想キャラクタに行動を反映した結果、該行動が反映された仮想キャラクタと前記視点との距離がいずれの閾値を越えるかに応じて、前記ユーザの状態が推定される
請求項２乃至４のいずれか１項に記載のプログラム。
前記ユーザの状態を推定する処理において、さらに前記コンピュータの姿勢を加味して、前記ユーザの状態が推定される請求項５に記載のプログラム。
前記プログラムは、取得された前記撮像画像に基づいて、前記実空間における前記コンピュータの位置及び姿勢を検出する処理を、前記コンピュータにさらに実行させる請求項１乃至６のいずれか１項に記載のプログラム。
前記ユーザの身長及び年齢の少なくともいずれかを推定する処理において、前記仮想キャラクタによる前記ユーザへの呼びかけに対して変更された前記コンピュータの姿勢が所定度を上回る仰角であり、かつ、位置が地表から所定の距離に満たない場合に、前記ユーザが低身長の児童であると推定される請求項１乃至７のいずれか１項に記載のプログラム。
前記仮想キャラクタにとらせる行動を制御する処理において、前記ユーザが低身長の児童であると推定された場合に、前記仮想キャラクタにとらせる行動の行動基準が変更される請求項８に記載のプログラム。
請求項１乃至９のいずれか１項に記載のプログラムを記録した、コンピュータ読み取り可能な記録媒体。
撮像手段を有し、該撮像手段により実空間が撮像されることで得られた撮像画像に対して、該実空間と対応付けられた仮想空間に配置された仮想キャラクタを描画したキャラクタ画像を重畳して表示することで、拡張現実感提示を行う拡張現実感提示装置であって、
前記撮像画像を取得する取得手段と、
前記実空間における前記拡張現実感提示装置の位置及び姿勢に基づいて、前記仮想キャラクタを描画する前記仮想空間の視点の位置及び姿勢を決定する決定手段と、
ユーザの身長及び年齢の少なくともいずれかを推定する第１の推定手段と、
前記視点の位置及び姿勢と前記第１の推定手段による推定結果とに基づいて、前記仮想キャラクタに行わせる行動を制御する制御手段と、
行動が反映された前記仮想キャラクタを、前記視点について描画して前記キャラクタ画像を生成する生成手段と、
前記キャラクタ画像を前記撮像画像に重畳させて生成された重畳画像を表示手段に表示させる表示制御手段と、
前記仮想キャラクタに行動を反映した結果、該行動が反映された前記仮想キャラクタと前記視点とに基づいて、前記拡張現実感提示装置を使用する前記ユーザの状態を推定する第２の推定手段と、を有し、
前記制御手段は、前記仮想キャラクタに行動を反映した結果、前記第２の推定手段により推定された前記ユーザの状態に応じて、前記仮想キャラクタにとらせる行動を制御する拡張現実感提示装置。
撮像手段により実空間が撮像されることで得られた撮像画像に対して、該実空間と対応付けられた仮想空間に配置された仮想キャラクタを描画したキャラクタ画像を重畳して表示することで、拡張現実感提示を行う拡張現実感提示方法であって、
前記撮像画像を取得する取得工程と、
前記実空間における前記撮像手段を有する端末の位置及び姿勢に基づいて、前記仮想キャラクタを描画する前記仮想空間の視点の位置及び姿勢を決定する決定工程と、
ユーザの身長及び年齢の少なくともいずれかを推定する第１の推定工程と、
前記視点の位置及び姿勢に基づいて、前記仮想キャラクタに行わせる行動を制御する制御工程と、
行動が反映された前記仮想キャラクタを、前記視点について描画して前記キャラクタ画像を生成する生成工程と、
前記キャラクタ画像を前記撮像画像に重畳させて生成された重畳画像を表示手段に表示させる表示制御工程と、
前記仮想キャラクタに行動を反映した結果、該行動が反映された前記仮想キャラクタと前記視点とに基づいて、前記端末を使用する前記ユーザの状態を推定する第２の推定工程と、を有し、
前記制御工程において、前記仮想キャラクタに行動を反映した結果、前記第２の推定工程で推定された前記ユーザの状態に応じて、前記仮想キャラクタにとらせる行動が制御される拡張現実感提示方法。