JP7090116B2 - プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法 - Google Patents
プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法 Download PDFInfo
- Publication number
- JP7090116B2 JP7090116B2 JP2020029693A JP2020029693A JP7090116B2 JP 7090116 B2 JP7090116 B2 JP 7090116B2 JP 2020029693 A JP2020029693 A JP 2020029693A JP 2020029693 A JP2020029693 A JP 2020029693A JP 7090116 B2 JP7090116 B2 JP 7090116B2
- Authority
- JP
- Japan
- Prior art keywords
- action
- character
- virtual character
- user
- viewpoint
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
以下、本発明の例示的な実施形態について、図面を参照して詳細に説明する。なお、以下に説明する一実施形態は、拡張現実感提示装置の一例としての、撮像を行って得られた実写画像にコンピュータグラフィックス(CG)画像を重畳することで、拡張現実感(AR:Augmented Reality)提示が可能なAR提示端末100に、本発明を適用した例を説明する。しかし、本発明は、実写画像に所定の画像を重畳することで、少なくとも視覚的な拡張現実感を提示することが可能な任意の機器に適用可能である。また、本明細書において、「実空間」とは、ユーザがAR提示端末100を用いずに認識できる現実の3次元空間を指し、「仮想空間」とは、AR提示端末100において構築されるCG描画用の3次元空間を指し、「拡張現実空間」とは、実空間を撮像して得られた実写画像に、仮想空間を描画した画像を重畳することで表現される、実空間と仮想空間を合成させて表現される空間を指すものとして説明する。
図1は、本発明の実施形態に係るAR提示端末100の機能構成を示すブロック図である。
以下、本実施形態のAR提示端末100で実行されるAR提示アプリケーションによって、拡張現実感の提示を伴った鑑賞体験を提供するARコンテンツの概要について説明する。
本実施形態ではARコンテンツは、1つの店舗における、店頭から店内の所定の位置までの案内をARキャラクタが行うコンテンツとなっている。図2(a)に示されるように、ARコンテンツ提示を可能ならしめる実空間の範囲(店頭と店内を含む店舗周辺の範囲)には、該範囲と対応付けられた仮想空間が関連付けられている。
AR提示アプリケーションの実行中、撮像部104は間欠的に撮像(動画撮影)を行い、得られた実写画像が表示部120に順次表示されることにより、実空間の様子を示す、所謂スルー表示が実現される。また、仮想空間における、実写画像の撮像範囲と対応する画角内にARキャラクタが含まれる場合には、図3(a)に示されるように、該キャラクタの画像300を実写画像に重畳することで、あたかも実空間にARキャラクタが存在するかのようにユーザに知覚させる拡張現実感を提示することができる。ここで、実写画像に対してARキャラクタの画像を重畳する条件は、撮像範囲と対応する仮想空間の画角内に、ARキャラクタの少なくとも一部が含まれていればよく、必ずしもARキャラクタの配置位置の基準となる実空間の面や特徴が、実写画像に含まれている必要はない。
次に、本実施形態のAR提示アプリケーションによって提供されるARコンテンツの鑑賞体験について、より詳しく説明する。簡単のため、以下ではユーザとARキャラクタとの位置関係に応じてとらせるARキャラクタの行動を含めて、提供される鑑賞体験を説明するが、実際には拡張現実空間における、AR提示端末100とARキャラクタとの位置関係、もしくは仮想空間におけるAR提示端末100の位置及び姿勢に対応する視点とARキャラクタとの位置関係に応じて行動制御が行われることは言うまでもない。
このような構成をもつ本実施形態のAR提示アプリケーションで行われるARキャラクタの提示処理について、図4のフローチャートを用いて具体的な処理を説明する。該フローチャートに対応する処理は、制御部101が、例えば記録媒体102に記憶されている対応する処理プログラムを読み出し、メモリ103に展開して実行することにより実現することができる。なお、本提示処理は、例えば実行されたAR提示アプリケーションにおいて、ARコンテンツ鑑賞体験の提供要求に係る操作入力がなされた際に開始されるものとして説明する。また本提示処理は、AR提示に係る1フレームについて行われる処理を例示したものであり、連続的な提示のために毎フレーム繰り返し実行されるものとする。
上述した実施形態では、案内行動適用の結果、仮想空間における視点とARキャラクタとの距離が1つの所定の閾値を越えたことを条件として、ユーザがARキャラクタを見失った状態にあるものとして説明した。しかしながら、このように案内行動をARキャラクタにとらせた結果に、仮想空間における視点とARキャラクタとが遠離する状況は、ユーザがARキャラクタを見失ったことに依るものに限られない。
上述した実施形態では、基本的には、視点の予め設定されたエリアへの接近か、視点とARキャラクタとの距離に応じてイベントを発生させるかの判断を行い、行動情報の行動リストへの登録を行うものとして判断したが、本発明の実施はこれに限られるものではない。イベントの発生条件は、予め定められたものに限られる必要はなく、例えば実写画像中に機械学習によって把握した特定のオブジェクトの像が検出される場合、仮想空間が対応付けられる実空間の地理的情報を取得した場合等に、行動制御部106は、ARキャラクタに該物体や地域に関する話題を含めた会話を開始するイベントを発生させるよう制御するものとしてもよい。
ところで、上述したような接客用途の鑑賞体験をユーザに提供する態様では、ユーザの年齢や身長は様々である。即ち、平均身長の成人に対する利用を想定してARキャラクタ身長やARコンテンツの内容を構成したとしても、ユーザによってはこれを好適に体験できない可能性がある。例えば低身長の児童が利用する場合には、AR提示端末100が常に地表から数十センチメートルの高さに維持され得る。故に、AR提示端末100を水平に保った状態では、図6(a)のようにARキャラクタの足元ばかりが提示されてARコンテンツを好適に把握できない可能性がある。あるいは、ARキャラクタの顔を提示させるために、閾値以上の仰角を保つようにAR提示端末100が把持される場合、ユーザ自身の足元が確認しづらいため安全性が担保されない、また、必要な特徴情報が画角内に含まれにくくなるため、ARコンテンツの提示を安定的に行えない可能性がある。
本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。また本発明に係る拡張現実感提示装置は、1以上のコンピュータを該拡張現実感提示装置として機能させるプログラムによっても実現可能である。該プログラムは、コンピュータが読み取り可能な記録媒体に記録されることにより、あるいは電気通信回線を通じて、提供/配布することができる。
Claims (12)
- 撮像手段を有し、該撮像手段により実空間が撮像されることで得られた撮像画像に対して、該実空間と対応付けられた仮想空間に配置された仮想キャラクタを描画したキャラクタ画像を重畳して表示することで、拡張現実感提示を行うコンピュータに、
前記撮像画像を取得する処理と、
前記実空間における前記コンピュータの位置及び姿勢に基づいて、前記仮想キャラクタを描画する前記仮想空間の視点の位置及び姿勢を決定する処理と、
ユーザの身長及び年齢の少なくともいずれかを推定する処理と、
前記視点の位置及び姿勢と、前記ユーザの身長及び年齢の少なくともいずれかの推定結果とに基づいて、前記仮想キャラクタにとらせる行動を制御する処理と、
行動が反映された前記仮想キャラクタを、前記視点について描画して前記キャラクタ画像を生成する処理と、
前記キャラクタ画像を前記撮像画像に重畳させて生成された重畳画像を表示手段に表示させる処理と、
前記仮想キャラクタに行動を反映した結果、該行動が反映された前記仮想キャラクタと前記視点とに基づいて、前記コンピュータを使用する前記ユーザの状態を推定する処理と、
を実行させるプログラムであって、
前記仮想キャラクタに行動を反映した結果に推定された前記ユーザの状態に応じて、前記仮想キャラクタにとらせる行動を制御するプログラム。 - 前記仮想キャラクタに行動を反映した結果、該行動が反映された前記仮想キャラクタと前記視点との距離が所定の閾値を越える場合に、前記ユーザの状態が特定の状態にあると推定して、前記仮想キャラクタと前記視点との距離に応じて前記仮想キャラクタにとらせる行動を異ならせるよう制御する請求項1に記載のプログラム。
- 前記仮想キャラクタにとらせる行動は、前記仮想空間中を移動させる行動を含み、
前記仮想キャラクタに移動を反映させた結果、移動後の前記仮想キャラクタと前記視点との距離が前記所定の距離を越える場合に、該距離を低減させる行動を前記仮想キャラクタに行わせる請求項2に記載のプログラム。 - 前記距離を低減させる行動は、前記仮想空間において前記仮想キャラクタを前記視点の方向に近づける行動、及び前記実空間における前記コンピュータの移動を促す行動の少なくともいずれかである請求項3に記載のプログラム。
- 前記所定の閾値は、複数設定されており、
前記ユーザの状態を推定する処理において、前記仮想キャラクタに行動を反映した結果、該行動が反映された仮想キャラクタと前記視点との距離がいずれの閾値を越えるかに応じて、前記ユーザの状態が推定される
請求項2乃至4のいずれか1項に記載のプログラム。 - 前記ユーザの状態を推定する処理において、さらに前記コンピュータの姿勢を加味して、前記ユーザの状態が推定される請求項5に記載のプログラム。
- 前記プログラムは、取得された前記撮像画像に基づいて、前記実空間における前記コンピュータの位置及び姿勢を検出する処理を、前記コンピュータにさらに実行させる請求項1乃至6のいずれか1項に記載のプログラム。
- 前記ユーザの身長及び年齢の少なくともいずれかを推定する処理において、前記仮想キャラクタによる前記ユーザへの呼びかけに対して変更された前記コンピュータの姿勢が所定度を上回る仰角であり、かつ、位置が地表から所定の距離に満たない場合に、前記ユーザが低身長の児童であると推定される請求項1乃至7のいずれか1項に記載のプログラム。
- 前記仮想キャラクタにとらせる行動を制御する処理において、前記ユーザが低身長の児童であると推定された場合に、前記仮想キャラクタにとらせる行動の行動基準が変更される請求項8に記載のプログラム。
- 請求項1乃至9のいずれか1項に記載のプログラムを記録した、コンピュータ読み取り可能な記録媒体。
- 撮像手段を有し、該撮像手段により実空間が撮像されることで得られた撮像画像に対して、該実空間と対応付けられた仮想空間に配置された仮想キャラクタを描画したキャラクタ画像を重畳して表示することで、拡張現実感提示を行う拡張現実感提示装置であって、
前記撮像画像を取得する取得手段と、
前記実空間における前記拡張現実感提示装置の位置及び姿勢に基づいて、前記仮想キャラクタを描画する前記仮想空間の視点の位置及び姿勢を決定する決定手段と、
ユーザの身長及び年齢の少なくともいずれかを推定する第1の推定手段と、
前記視点の位置及び姿勢と前記第1の推定手段による推定結果とに基づいて、前記仮想キャラクタに行わせる行動を制御する制御手段と、
行動が反映された前記仮想キャラクタを、前記視点について描画して前記キャラクタ画像を生成する生成手段と、
前記キャラクタ画像を前記撮像画像に重畳させて生成された重畳画像を表示手段に表示させる表示制御手段と、
前記仮想キャラクタに行動を反映した結果、該行動が反映された前記仮想キャラクタと前記視点とに基づいて、前記拡張現実感提示装置を使用する前記ユーザの状態を推定する第2の推定手段と、を有し、
前記制御手段は、前記仮想キャラクタに行動を反映した結果、前記第2の推定手段により推定された前記ユーザの状態に応じて、前記仮想キャラクタにとらせる行動を制御する拡張現実感提示装置。 - 撮像手段により実空間が撮像されることで得られた撮像画像に対して、該実空間と対応付けられた仮想空間に配置された仮想キャラクタを描画したキャラクタ画像を重畳して表示することで、拡張現実感提示を行う拡張現実感提示方法であって、
前記撮像画像を取得する取得工程と、
前記実空間における前記撮像手段を有する端末の位置及び姿勢に基づいて、前記仮想キャラクタを描画する前記仮想空間の視点の位置及び姿勢を決定する決定工程と、
ユーザの身長及び年齢の少なくともいずれかを推定する第1の推定工程と、
前記視点の位置及び姿勢に基づいて、前記仮想キャラクタに行わせる行動を制御する制御工程と、
行動が反映された前記仮想キャラクタを、前記視点について描画して前記キャラクタ画像を生成する生成工程と、
前記キャラクタ画像を前記撮像画像に重畳させて生成された重畳画像を表示手段に表示させる表示制御工程と、
前記仮想キャラクタに行動を反映した結果、該行動が反映された前記仮想キャラクタと前記視点とに基づいて、前記端末を使用する前記ユーザの状態を推定する第2の推定工程と、を有し、
前記制御工程において、前記仮想キャラクタに行動を反映した結果、前記第2の推定工程で推定された前記ユーザの状態に応じて、前記仮想キャラクタにとらせる行動が制御される拡張現実感提示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020029693A JP7090116B2 (ja) | 2020-02-25 | 2020-02-25 | プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020029693A JP7090116B2 (ja) | 2020-02-25 | 2020-02-25 | プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018092457A Division JP2019197499A (ja) | 2018-05-11 | 2018-05-11 | プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020095735A JP2020095735A (ja) | 2020-06-18 |
JP2020095735A5 JP2020095735A5 (ja) | 2021-07-26 |
JP7090116B2 true JP7090116B2 (ja) | 2022-06-23 |
Family
ID=71085042
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020029693A Active JP7090116B2 (ja) | 2020-02-25 | 2020-02-25 | プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7090116B2 (ja) |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014098033A1 (ja) | 2012-12-17 | 2014-06-26 | Iwata Haruyuki | 携帯型移動支援装置 |
-
2020
- 2020-02-25 JP JP2020029693A patent/JP7090116B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014098033A1 (ja) | 2012-12-17 | 2014-06-26 | Iwata Haruyuki | 携帯型移動支援装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2020095735A (ja) | 2020-06-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20210132686A1 (en) | Storage medium, augmented reality presentation apparatus, and augmented reality presentation method | |
US10453248B2 (en) | Method of providing virtual space and system for executing the same | |
JP2022160406A (ja) | ワードフロー注釈 | |
JP6594646B2 (ja) | ロボット及びロボット制御方法並びにロボットシステム | |
US20180373328A1 (en) | Program executed by a computer operable to communicate with head mount display, information processing apparatus for executing the program, and method executed by the computer operable to communicate with the head mount display | |
US20190005732A1 (en) | Program for providing virtual space with head mount display, and method and information processing apparatus for executing the program | |
US20190025586A1 (en) | Information processing method, information processing program, information processing system, and information processing apparatus | |
KR102463806B1 (ko) | 이동이 가능한 전자 장치 및 그 동작 방법 | |
CN109416562B (zh) | 用于虚拟现实的装置、方法和计算机可读介质 | |
KR20210124312A (ko) | 인터랙티브 대상의 구동 방법, 장치, 디바이스 및 기록 매체 | |
US10894211B2 (en) | Information processing method, apparatus, and system for executing the information processing method | |
US11315325B2 (en) | Systems and methods for artificial intelligence-based virtual and augmented reality | |
KR102667547B1 (ko) | 전자 장치 및 이를 이용한 감정 정보에 대응하는 그래픽 오브젝트를 제공하는 방법 | |
WO2018139203A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
CN111670431B (zh) | 信息处理装置、信息处理方法以及程序 | |
KR20210124313A (ko) | 인터랙티브 대상의 구동 방법, 장치, 디바이스 및 기록 매체 | |
JP7267411B2 (ja) | インタラクティブオブジェクト駆動方法、装置、電子デバイス及び記憶媒体 | |
US20210383097A1 (en) | Object scanning for subsequent object detection | |
US11086587B2 (en) | Sound outputting apparatus and method for head-mounted display to enhance realistic feeling of augmented or mixed reality space | |
JP6798258B2 (ja) | 生成プログラム、生成装置、制御プログラム、制御方法、ロボット装置及び通話システム | |
JP7090116B2 (ja) | プログラム、記録媒体、拡張現実感提示装置及び拡張現実感提示方法 | |
JP2019012509A (ja) | ヘッドマウントデバイスによって仮想空間を提供するためのプログラム、方法、および当該プログラムを実行するための情報処理装置 | |
WO2023058393A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
US20240012599A1 (en) | Information processing apparatus, information processing method, and program | |
JP7329209B1 (ja) | 情報処理システム、情報処理方法およびコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20210312 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210511 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210511 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220428 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220516 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220613 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7090116 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |