JP2021174253A - 疑似体験システム - Google Patents

Abstract

【課題】ユーザーに力覚を提示することが可能なＶＲコンテンツを提供する。【解決手段】疑似体験システム１は、オブジェクト装置１０と、コンピュータ２０とを備える。オブジェクト装置１０は、オブジェクト装置１０の位置姿勢を示す装置位置姿勢情報を取得するトラッカー１２と、モーターを制御して負荷力を発生させることによりユーザーに力覚を提示する疑似負荷力発生部１４と、モーター制御情報に基づいてモーターを制御する制御部１３と、を備える。コンピュータ２０は、モーター制御情報を生成する制御情報生成部２１と、装置位置姿勢情報及びユーザー位置姿勢情報に基づいてＶＲ映像音声を生成する映像合成部２２と、を備える。【選択図】図１

Description

本発明は、ユーザーに対して力覚を提示する疑似体験システムに関する。

近年、ＶＲ（Virtual Reality）技術を利用して疑似体験を提供する装置が開発・製品化されている。ＶＲコンテンツの再生時には、ユーザーの動作に応じた映像を表示する必要がある。そのため、ＶＲ対応端末には端末の位置姿勢を検出するためのセンサーが搭載されている。また、ジャイロユニットを用いて、ジャイロ効果により力覚を提示する装置が開発されている（例えば、非特許文献１及び非特許文献２参照）。

Kyle N. Winfree et al., "A High Fidelity Ungrounded Torque Feedback Device: The iTorqU 2.0", Third Joint Eurohaptics Conference and Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems, IEEE, USA, March 18-20, 2009 Julie M. Walker et al., "A Dual-Flywheel Ungrounded Haptic Feedback System Provides Single-Axis Moment Pulses for Clear Direction Signals", HAPTICS SYMPOSIUM, IEEE, USA, 2016, APRIL 8-11, 2016

先行技術文献では、ジャイロユニットによる知覚特性について開示されているものの、ＶＲコンテンツへの応用については開示されていない。一方、現実世界で得られる情報と等価の情報を疑似的に与えることにより、より現実感を味わうことができるＶＲコンテンツの開発が望まれている。

かかる事情に鑑みてなされた本発明の目的は、ユーザーに力覚を提示することが可能なＶＲコンテンツを提供することにある。

一実施形態に係る疑似体験システムは、ＶＲ映像を視聴しながらオブジェクト装置を把持するユーザーに対して、力覚を提示する疑似体験システムであって、オブジェクト装置と、コンピュータとを備え、前記オブジェクト装置は、該オブジェクト装置の位置姿勢を示す装置位置姿勢情報を取得するトラッカーと、モーターを制御して負荷力を発生させることにより前記ユーザーに力覚を提示する疑似負荷力発生部と、モーター制御情報に基づいて前記モーターを制御する制御部と、を備え、前記コンピュータは、前記モーター制御情報を生成する制御情報生成部と、前記装置位置姿勢情報、及びユーザーの位置姿勢を示すユーザー位置姿勢情報に基づいて、前記ユーザーの位置姿勢に対応するＶＲ映像を生成する映像合成部と、を備える。

さらに、一実施形態において、前記モーターは、互いに直交する２軸で回転する２つのジャイロモーターであるか、又は互いに直交する３軸で回転する３つのジャイロモーターであってもよい。

さらに、一実施形態において、前記制御情報生成部は、前記モーターの回転情報を含むモーター情報を、前記装置位置姿勢情報に基づいて修正し、前記オブジェクト装置が倒れない方向に力を働かせるために必要となる前記モーター制御情報を生成してもよい。

さらに、一実施形態において、前記映像合成部は、前記装置位置姿勢情報に基づいて、ＶＲ内でオブジェクトを描写する位置姿勢を示すオブジェクトモデル位置姿勢情報を生成するオブジェクトモデル位置姿勢生成部と、前記ユーザー位置姿勢情報及び前記オブジェクトモデル位置姿勢情報に基づいて、オブジェクトモデル及び背景映像を合成して前記ＶＲ映像を生成する映像重畳部と、を備えてもよい。

さらに、一実施形態において、前記ユーザー位置姿勢情報を取得するトラッカーと、前記ＶＲ映像を表示する表示部と、を有するヘッドマウントディスプレイを備えてもよい。

本発明によれば、ユーザーに力覚を提示することが可能なＶＲコンテンツを提供することが可能となる。

一実施形態に係る疑似体験システムの構成例を示すブロック図である。 一実施形態に係るオブジェクト装置の外形の一例を示す図である。 一実施形態に係る制御情報生成部及び映像合成部の構成例を示すブロック図である。

以下、本発明の一実施形態に係る疑似体験システムについて、図面を参照して詳細に説明する。

図１に、一実施形態に係る疑似体験システムの構成例を示す。図１に示す疑似体験システム１は、オブジェクト装置１０と、コンピュータ２０と、ヘッドマウントディスプレイ（以下「ＨＭＤ」という。）３０と、ヘッドホン４０と、を備える。なお、図中の実線の矢印は有線通信を意味し、点線の矢印は無線通信を意味するが、これに限られるものではない。また、オブジェクト装置１０及びコンピュータ２０は一体化されていてもよく、ＨＭＤ３０及びヘッドホン４０は一体化されていてもよい。

疑似体験システム１は、ＶＲ映像を視聴しながらオブジェクト装置１０を把持するユーザー（体験者）に対して、力覚を提示するシステムである。本実施形態では、疑似体験システム１は「秋田竿燈まつり」の竿燈を掲げる疑似体験を提供するものとして、具体的に説明する。ＶＲによる疑似体験を実現するためには、五感を忠実に再現する必要がある。例えば、竿燈を揚げる際は、竿燈のバランスを視覚及び触覚で感じ取り、笛、太鼓、お囃子の音や、観客の声（掛け声や歓声）などを聴覚で感じ取るため、これらを忠実に再現する必要がある。

オブジェクト装置１０は、ＶＲ映像内のオブジェクトに対応する力覚をユーザーに提示する装置である。本実施形態では、オブジェクトとは、竿燈まつりで用いられる竿燈（竹ざお及び提灯）である。

図２は、オブジェクト装置１０の外形の一例を示す図である。図２に示すように、オブジェクト装置１０は、現実のオブジェクトをある程度模倣した形状とすることができる。例えば、実際の竿燈の長さは５ｍ〜１２ｍであるが、オブジェクト装置１０は、竹竿を模倣した数十ｃｍ程度の把持部１５に、提灯を模倣した数十ｃｍ程度のテーパ円柱形状の筐体を有する力覚提示部１１を取り付けた形状とすることができる。また、力覚提示部１１は、提灯内のろうそくを模倣するために、ＬＥＤ等の照明器具を取り付けてもよい。

再び図１を参照する。力覚提示部１１は、トラッカー（トラッキングセンサー）１２と、制御部１３と、疑似負荷力発生部１４と、を備える。

トラッカー１２は、力覚提示部１１に取り付けられ、例えば力覚提示部１１の上部や先端等に取り付けられる。トラッカー１２は、オブジェクト装置１０（より正確にはトラッカー１２の取り付け箇所）の位置姿勢を示す装置位置姿勢情報（空間座標）を取得し、コンピュータ２０に送信する。ユーザーがオブジェクト装置１０を持ち上げると、オブジェクト装置１０の動きに追従して装置位置姿勢情報も変化する。トラッカー１２により位置姿勢を検出する方法は既知であり、例えば所定位置の複数箇所からのレーザー光や赤外線を受信することにより、入射情報から位置姿勢情報を得ることができる。

疑似負荷力発生部１４は、モーターを制御して負荷力を発生させることにより、把持部１５を介して、オブジェクト装置１０を把持するユーザーに対して、力覚を提示する。例えば、疑似負荷力発生部１４は、ジャイロモーターを有し、ジャイロ効果によって疑似負荷力を発生させることにより、オブジェクトの空気抵抗による倒れにくさを提示する。

疑似負荷力発生部１４は、ジャイロユニット１４１を備え、ジャイロユニット１４１はジャイロモーターと該ジャイロモーターを所定の軸上に取り付ける取付機構とを有する。ジャイロユニット１４１は、オブジェクト装置１０が転倒しそうになると、転倒する回転方向と逆方向にモータージャイロを高速回転させることにより、反力で転倒を防止する。疑似負荷力発生部１４がジャイロユニット１４１を２つ備える場合には、ジャイロモーターは、互いに直交する２軸（Ｘ軸及びＹ軸）で回転し、ジャイロユニット１４１は、オブジェクト装置１０が転倒しそうな時に、２つのジャイロモーターの回転速度を調節し、合成することにより、ＸＹ平面上の３６０度全方向に対する転倒防止を実現する。疑似負荷力発生部１４がジャイロユニット１４１を３つ備える場合には、ジャイロモーターは、互いに直交する３軸（Ｘ軸、Ｙ軸、及びＺ軸）で回転し、Ｚ方向にも反力を与えることができ、全方向への制御が可能となる。

また、疑似負荷力発生部１４は、ＶＲ映像内で風の演出があった際には、ジャイロモーターを転倒防止とは逆方向に回転させ、オブジェクトが風に煽られた感覚をユーザーに提示することができる。

また別の方法として、疑似負荷力発生部１４は直交させた２つのステッピングモーターを動かして重心を移動させることにより、オブジェクトの空気抵抗による倒れにくさや、オブジェクトが風に煽られた感覚をユーザーに提示してもよい。ただし、ジャイロモーターを用いるほうが、ジャイロ効果によって、オブジェクトの倒れにくさをよりリアルに提示することができる。

制御部１３は、例えばマイコン（マイクロコンピュータ）により構成される。制御部１３は、疑似負荷力発生部１４が有するモーターの加速度や角速度等の回転情報を含むモーター情報を取得する。モーター情報は、力覚提示部１１の内部に取り付けられたセンサーを用いて取得することができる。モーター情報は、モーターの加速度からの逆算により求まる位置情報を含んでもよい。制御部１３は、モーター情報をコンピュータ２０に送信し、コンピュータ２０からモーター制御情報を受信する。そして、制御部１３は、モーター制御情報に基づいて、疑似負荷力発生部１４が有するモーターを制御する。

ＨＭＤ３０は、トラッカー３１と、表示部３２と、を備える。

トラッカー３１は、ＨＭＤ３０の位置姿勢を検出し、該位置姿勢を示すユーザー位置姿勢情報をコンピュータ２０に出力する。すなわち、トラッカー３１は、ＨＭＤ３０を装着したユーザーの頭部の位置姿勢を検出する。トラッカー３１はトラッカー１２と同様に、例えば所定位置の複数箇所からのレーザー光や赤外線を受信することにより、入射情報から位置姿勢情報を得ることができる。

表示部３２は、コンピュータ２０から受信したＶＲ映像を表示する。

ヘッドホン４０は、コンピュータ２０から受信したＶＲ音声を出力する。

コンピュータ２０は、背景映像となる３６０°カメラの映像に、オブジェクトのＣＧモデル（オブジェクトモデル）を合成したＶＲ映像を生成し、ＶＲ映像をＨＭＤ３０に送信する。また、コンピュータ２０は、ＶＲ映像用の音声（笛、太鼓、お囃子の音や、観客の声など）であるＶＲ音声を生成し、ＶＲ音声をヘッドホン４０に送信する。コンピュータ２０は、制御情報生成部２１と、映像合成部２２と、を備える。

制御情報生成部２１は、オブジェクト装置１０のトラッカー１２から受信した装置位置姿勢情報、及びオブジェクト装置１０の制御部１３から受信したモーター情報に基づいてモーター制御情報を生成し、モーター制御情報をオブジェクト装置１０の制御部１３に送信する。

映像合成部２２は、オブジェクト装置１０のトラッカー１２から受信した装置位置姿勢情報、及びＨＭＤ３０トラッカー３１から受信したユーザー位置姿勢情報に基づいて、ユーザーの位置姿勢に対応するＶＲ映像音声を生成し、ＶＲ映像音声を外部に出力する。

コンピュータ２０は、制御情報生成部２１及び映像合成部２２を実現する処理内容を記述したプログラムをコンピュータ２０の記憶部に格納しておき、コンピュータ２０のプロセッサによってこのプログラムを読み出して実行する。これらの処理内容の一部はハードウェアで実現されてもよい。コンピュータ２０は、汎用コンピュータ、専用コンピュータ、ワークステーション、ＰＣ（Personal Computer）、電子ノートパッドなどであってもよい。プロセッサは、ＣＰＵ(Central Processing Unit)、ＧＰＵ（Graphics Processing Unit）、ＤＳＰ(Digital Signal Processor)などであってもよい。

また、このプログラムは、コンピュータが読み取り可能な記録媒体に記録されていてもよい。このような記録媒体を用いれば、プログラムをコンピュータにインストールすることが可能である。ここで、プログラムが記録された記録媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどの記録媒体であってもよい。また、このプログラムは、ネットワークを介したダウンロードによって提供することもできる。

次に、図３を参照して、コンピュータ２０の制御情報生成部２１及び映像合成部２２の構成例について具体的に説明する。図３に示す制御情報生成部２１は、操作情報解析部２１１と、制御情報算出部２１２と、を備える。図３に示す映像合成部２２は、オブジェクトモデル位置姿勢生成部２２１と、映像音声蓄積部２２２と、映像重畳部２２３と、ＶＲ映像音声出力部２２４と、を備える。

操作情報解析部２１１は、制御部１３から、ジャイロモーターのモーター情報を受信し、制御情報算出部２１２に出力する。制御部１３とコンピュータ２０との間の通信は、例えばＢＬＥ（Bluetooth Low Energy）シリアル通信で行われ、操作情報解析部２１１は、シリアル通信で送られてきた文字列情報を数値情報に変換する。

制御情報算出部２１２は、操作情報解析部２１１から入力されたモーター情報を、オブジェクト装置１０のトラッカー１２から入力した装置位置姿勢情報に基づいて修正したモーター制御情報を生成し、モーター制御情報を制御部１３に送信する。例えば、制御情報算出部２１２は、オブジェクト装置１０の起動時に、装置位置姿勢情報を用いてモーター情報のキャリブレーション（初期位置の修正）を行う。また、制御情報算出部２１２は、オブジェクト装置１０が倒れない方向に力を働かせるために必要となるモーター制御情報を、運動方程式を用いて算出する。

オブジェクトモデル位置姿勢生成部２２１は、オブジェクト装置１０のトラッカー１２から受信した装置位置姿勢情報に基づいて、ＶＲ内でオブジェクト（竿燈）を描写する位置姿勢を示すオブジェクトモデル位置姿勢情報を生成し、映像重畳部２２３に出力する。オブジェクトモデル位置姿勢生成部２２１により、オブジェクト装置１０を持ち上げたり保持したりするユーザーの手の位置に応じて、ＶＲ映像内のオブジェクトモデルの位置姿勢を変化させることができる。なお、オブジェクトモデルは、モデル内に埋め込んだボーンに物理演算を働かせることにより、トラッカー１２の傾きや動かす速度に応じてオブジェクトである竿燈のしなる様子をＣＧで描画して再現することができる。

映像音声蓄積部２２２は、ＶＲ内で描写される、オブジェクトモデル、３６０度カメラの映像等の背景映像、及び笛や太鼓等の音声を蓄積する。

映像重畳部２２３は、ＨＭＤ３０のトラッカー３１から受信したユーザー位置姿勢情報、及びオブジェクトモデル位置姿勢生成部２２１から入力したオブジェクトモデル位置姿勢情報に基づいて、映像音声蓄積部２２２からオブジェクトモデル、背景映像、及び音声を取得する。そして、映像重畳部２２３は、オブジェクトモデル、背景映像、及び音声を合成して、ユーザーの位置姿勢に対応するＶＲ映像音声を生成し、ＶＲ映像音声をＶＲ映像音声出力部２２４に出力する。映像重畳部２２３は、ユーザー位置姿勢情報を取得することで、ユーザーの頭の向きに応じて対応するＶＲ映像音声を生成する。また、笛や太鼓が描画されている箇所に疑似的な音源を事前に設定しておくことにより、ユーザーがその方向を向いたときに音がよく聞こえるようにすることができる。

ＶＲ映像音声出力部２２４は、映像重畳部２２３から入力したＶＲ映像音声のうち、ＶＲ映像をＨＭＤ３０の表示部３２に出力し、ＶＲ音声をヘッドホン４０に出力する。

以上説明したように、オブジェクト装置１０は、オブジェクト装置１０の位置姿勢を示す装置位置姿勢情報を取得するトラッカー１２と、モーターを制御して負荷力を発生させることによりユーザーに力覚を提示する疑似負荷力発生部１４と、モーター制御情報に基づいてモーターを制御する制御部１３と、を備える。コンピュータ２０は、モーター制御情報を生成する制御情報生成部２１と、装置位置姿勢情報及びユーザー位置姿勢情報に基づいてＶＲ映像音声を生成する映像合成部２２と、を備える。そのため、疑似体験システム１によれば、現実世界で得られる情報と等価の情報を、ＶＲ映像音声による視覚及び聴覚と、力覚的なフィードバックによる触覚とにより、疑似的にユーザーに与えることができる。例えば竿燈を観ることはできても、竿燈を実際に揚げる機会のある人は少ないが、疑似体験システム１を用いれば、ＶＲ環境で竿燈を揚げる感覚を体験でき、まつりの雰囲気とともに竿燈枝のしなりの感覚を疑似体験することができるようになる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形又は変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１ 疑似体験システム
１０ オブジェクト装置
１１ 力覚提示部
１２ トラッカー
１３ 制御部
１４ 疑似負荷力発生部
１５ 把持部
２０ コンピュータ
２１ 制御情報生成部
２２ 映像合成部
３０ ＨＭＤ
３１ トラッカー
３２ 表示部
４０ ヘッドホン
１４１ ジャイロユニット
２１１ 操作情報解析部
２１２ 制御情報算出部
２２１ オブジェクトモデル位置姿勢生成部
２２２ 映像音声蓄積部
２２３ 映像重畳部
２２４ ＶＲ映像音声出力部

Claims (5)

1. ＶＲ映像を視聴しながらオブジェクト装置を把持するユーザーに対して、力覚を提示する疑似体験システムであって、
   オブジェクト装置と、コンピュータとを備え、
   前記オブジェクト装置は、
   該オブジェクト装置の位置姿勢を示す装置位置姿勢情報を取得するトラッカーと、
   モーターを制御して負荷力を発生させることにより前記ユーザーに力覚を提示する疑似負荷力発生部と、
   モーター制御情報に基づいて前記モーターを制御する制御部と、を備え、
   前記コンピュータは、
   前記モーター制御情報を生成する制御情報生成部と、
   前記装置位置姿勢情報、及びユーザーの位置姿勢を示すユーザー位置姿勢情報に基づいて、前記ユーザーの位置姿勢に対応するＶＲ映像を生成する映像合成部と、を備える、疑似体験システム。
2. 前記モーターは、互いに直交する２軸で回転する２つのジャイロモーターであるか、又は互いに直交する３軸で回転する３つのジャイロモーターである、請求項１に記載の疑似体験システム。
3. 前記制御情報生成部は、前記モーターの回転情報を含むモーター情報を、前記装置位置姿勢情報に基づいて修正し、前記オブジェクト装置が倒れない方向に力を働かせるために必要となる前記モーター制御情報を生成する、請求項１又は２に記載の疑似体験システム。
4. 前記映像合成部は、
   前記装置位置姿勢情報に基づいて、ＶＲ内でオブジェクトを描写する位置姿勢を示すオブジェクトモデル位置姿勢情報を生成するオブジェクトモデル位置姿勢生成部と、
   前記ユーザー位置姿勢情報及び前記オブジェクトモデル位置姿勢情報に基づいて、オブジェクトモデル及び背景映像を合成して前記ＶＲ映像を生成する映像重畳部と、
   を備える、請求項１から３のいずれか一項に記載の疑似体験システム。
5. 前記ユーザー位置姿勢情報を取得するトラッカーと、
   前記ＶＲ映像を表示する表示部と、
   を有するヘッドマウントディスプレイを備える、請求項１から４のいずれか一項に記載の疑似体験システム。
   

Images