JP2022086879A - 情報処理装置、情報処理方法、プログラムおよびデータ構造 - Google Patents

Abstract

【課題】仮想空間体験を含むデジタルコンテンツによるユーザの酔いを抑止すること。【解決手段】実施形態に係る情報処理装置は、取得部と、推定部と、抑制処理部とを備える。取得部は、仮想空間体験を含むデジタルコンテンツのユーザに関する内外の状況を取得する。推定部は、取得部によって取得された状況に基づいて、ユーザの酔い状況を推定する。抑制処理部は、推定部によって推定されたユーザの酔い状況に応じて、デジタルコンテンツの音声および映像それぞれに関する酔いの抑制処理を実行する。また、抑制処理部は、上記抑制処理の実行に際し、ユーザの酔い状況に応じて、音声に関する上記抑制処理および映像に関する上記抑制処理のバランス調整を実行する。【選択図】図４

Description

開示の実施形態は、情報処理装置、情報処理方法、プログラムおよびデータ構造に関する。

従来、ＨＭＤ（Head Mounted Display）等を用いてユーザに対し、ＶＲ（Virtual Reality）やＭＲ（Mixed Reality）といった、仮想空間体験を含むデジタルコンテンツを提供する技術が知られている。

また、かかる技術において、たとえば車両等の移動体に搭載され、かかる移動体をモーション・プラットフォームとして利用可能なＶＲシステムも提案されている（たとえば、特許文献１参照）。

特開２０１７－１０２４０１号公報

しかしながら、従来技術は、仮想空間体験を含むデジタルコンテンツによるユーザの酔いを抑止するうえで、更なる改善の余地がある。

たとえば、ＶＲコンテンツの提供を受けるユーザには、乗り物酔いに似た「ＶＲ酔い」が起こりうることが知られている。ＶＲ酔いは、音声と映像の同期ズレや、音声および映像の変動が大きく脳の処理が追いつかないといった原因により生じうる動揺病の一つである。特に、車両に搭載されるＶＲシステムの場合、通常の乗り物酔いも加わるため、ユーザの酔いは更に酷くなる傾向にある。

実施形態の一態様は、上記に鑑みてなされたものであって、仮想空間体験を含むデジタルコンテンツによるユーザの酔いを抑止することができる情報処理装置、情報処理方法、プログラムおよびデータ構造を提供することを目的とする。

実施形態の一態様に係る情報処理装置は、取得部と、推定部と、抑制処理部とを備える。前記取得部は、仮想空間体験を含むデジタルコンテンツのユーザに関する内外の状況を取得する。前記推定部は、前記取得部によって取得された状況に基づいて、前記ユーザの酔い状況を推定する。前記抑制処理部は、前記推定部によって推定された前記ユーザの酔い状況に応じて、前記デジタルコンテンツの音声および映像それぞれに関する酔いの抑制処理を実行する。また、前記抑制処理部は、前記抑制処理の実行に際し、前記ユーザの酔い状況に応じて、前記音声に関する前記抑制処理および前記映像に関する前記抑制処理のバランス調整を実行する。

実施形態の一態様によれば、仮想空間体験を含むデジタルコンテンツによるユーザの酔いを抑止することができる。

図１は、実施形態に係る情報処理システムの概略構成を示す図である。 図２は、ＶＲ酔いの説明図である。 図３は、実施形態に係る情報処理方法の概要説明図である。 図４は、実施形態に係る情報処理システムの構成例を示すブロック図である。 図５は、抑制処理部の構成例を示すブロック図である。 図６は、抑制処理の処理内容を示す図である。 図７は、抑制処理情報の一例を示す図である。 図８は、実施形態に係る情報処理装置が実行する処理手順を示すフローチャートである。

以下、添付図面を参照して、本願の開示する情報処理装置、情報処理方法、プログラムおよびデータ構造の実施形態を詳細に説明する。なお、以下に示す実施形態によりこの発明が限定されるものではない。

また、以下では、実施形態に係る情報処理システム１が、車両に搭載される車載システムである場合を例に挙げて説明する。また、以下では、実施形態に係る情報処理システム１は、ユーザに対し、仮想空間体験を含むデジタルコンテンツとしてＶＲコンテンツを提供するＶＲシステムであるものとする。

まず、実施形態に係る情報処理方法の概要について、図１～図３を用いて説明する。図１は、実施形態に係る情報処理システム１の概略構成を示す図である。また、図２は、ＶＲ酔いの説明図である。また、図３は、実施形態に係る情報処理方法の概要説明図である。

図１に示すように、実施形態に係る情報処理システム１は、ＨＭＤ３と、情報処理装置１０とを含む。

ＨＭＤ３は、ユーザＵに対し、情報処理装置１０から提供されるＶＲコンテンツを提示し、ユーザにＶＲ体験を享受させるための情報処理端末である。ＨＭＤ３は、ユーザＵの頭部に装着されて利用されるウェアラブルコンピュータ（wearable computer）であり、図１の例ではゴーグル型である。なお、ＨＭＤ３は眼鏡型であってもよいし、帽子型であってもよい。

ＨＭＤ３は、表示部３１と、スピーカ３２と、センサ部３３とを備える。表示部３１は、ユーザＵの眼前に配置されるように設けられ、情報処理装置１０から提供されるＶＲコンテンツに含まれる映像を表示する。

なお、図１の例では、表示部３１は、ユーザＵの左右それぞれの眼前に１つずつ設けられている例を示しているが、１つだけであってもよい。また、表示部３１は、視界を完全に覆う非透過型であってもよいし、ビデオ透過型や光学透過型であってもよい。本実施形態では、非透過型であるものとする。

スピーカ３２は、たとえば図１に示すようにヘッドフォン型に設けられ、ユーザＵの耳に装着される。スピーカ３２は、情報処理装置１０から提供されるＶＲコンテンツに含まれる音声を出力する。

センサ部３３は、ユーザＵの内外の状況の変化を検知するデバイスであって、たとえばカメラやモーションセンサ等を含む。

情報処理装置１０は、たとえばコンピュータであり、車両に搭載される車載装置であって、有線または無線でＨＭＤ３と接続され、ＨＭＤ３に対し、ＶＲコンテンツを提供する。また、情報処理装置１０は、センサ部３３によって検知された状況の変化を随時取得し、かかる状況の変化をＶＲコンテンツに反映させる。

たとえば、情報処理装置１０は、センサ部３３によって検知されたユーザＵの頭部や視線の変化に応じて、ＶＲコンテンツの仮想空間における視界の向きを変化させることが可能である。

ところで、このようなＨＭＤ３を用いたＶＲコンテンツの提供にあたっては、ユーザＵに、乗り物酔いに似た「ＶＲ酔い」が起こりうることが知られている。

図２に示すように、ＶＲ酔いは、音声と映像の同期ズレや、音声および映像の変動が大きく脳の処理が追いつかないといった原因等により生じうる。また、ＶＲ酔いは、ＨＭＤ３を用いて享受しているＶＲ体験による感覚と、周囲環境の変化によるユーザＵ自身の生身の感覚とのズレによっても生じうる。

そこで、実施形態に係る情報処理方法では、ユーザＵに関する内外の状況を取得し、取得した状況に基づいてユーザＵのＶＲ酔い状況を推定し、推定したＶＲ酔い状況に応じて音声および映像に関するＶＲ酔いの抑制処理を実行することとした。また、かかる際に、ＶＲ酔い状況に応じて、音声に関する抑制処理および映像に関する抑制処理のバランス調整を実行することとした。

具体的には、図３に示すように、実施形態に係る情報処理方法では、情報処理装置１０が随時、ユーザＵに関する内外の状況を取得し、ユーザＵのＶＲ酔い状況を推定する（ステップＳ１）。情報処理装置１０は、たとえばユーザＵの身体的状況の変化を検知することによってＶＲ酔い状況を推定する。

また、情報処理装置１０は、たとえば提供中のＶＲコンテンツの種別や映像の状況、音声の状況といった、ＶＲコンテンツの使用状況に基づいてＶＲ酔い状況を推定する。

また、情報処理装置１０は、たとえば道路状況や車両の状況、操作状況といった、車両の走行状況に基づいてＶＲ酔い状況を推定する。また、情報処理装置１０は、たとえばユーザごとの酔いやすさ等を示す各種のパラメータ等を含むユーザ情報に基づいてＶＲ酔い状況を推定する。

なお、情報処理装置１０は、かかるＶＲ酔い状況の推定処理においては、たとえば機械学習のアルゴリズムを用いて生成された推定モデルを用いることができる。かかる推定モデルは、実際のＶＲ酔い状況の推定結果に基づいて適宜強化学習される。強化学習の結果、たとえばＶＲ酔い状況を推定するための判定閾値等が適宜更新される。

そして、情報処理装置１０は、ステップＳ１での推定結果に応じて、ＶＲコンテンツの音声および映像それぞれに関するＶＲ酔いの抑制処理を実行する。音声に関するＶＲ酔いの抑制処理は、概略的にはＶＲコンテンツの音声に関する刺激を弱めるものであって、たとえば音像定位感の低下処理である。また、映像に関するＶＲ酔いの抑制処理は、概略的にはＶＲコンテンツの映像に関する刺激を弱めるものであって、たとえばコントラストや色味等の低下処理である。

このように、ＶＲコンテンツの音声および映像に関する刺激を弱めることによって、ＶＲコンテンツの音声および映像によって喚起される酔いやすさを緩和することができる。すなわち、ＶＲコンテンツによるユーザＵのＶＲ酔いを抑止するのに資することができる。

そのうえで、実施形態に係る情報処理方法では、情報処理装置１０は、ＶＲコンテンツの音声および映像それぞれに関するＶＲ酔いの抑制処理を実行するに際し、ユーザＵのＶＲ酔い状況に応じて、音声および映像に関するＶＲ酔いの抑制処理のバランス調整を実行する（ステップＳ２）。

これにより、ＶＲコンテンツによるＶＲ体験の効果をできるだけ維持しつつ、ＶＲコンテンツによるユーザＵのＶＲ酔いを抑止することが可能となる。

上述したように、実施形態に係る情報処理方法は、ユーザＵに関する内外の状況を取得し、取得した状況に基づいてユーザＵのＶＲ酔い状況を推定し、推定したＶＲ酔い状況に応じて音声および映像に関するＶＲ酔いの抑制処理を実行する。また、かかる際に、ＶＲ酔い状況に応じて、映像に関する抑制処理および音声に関する抑制処理のバランス調整を実行する。

したがって、実施形態に係る情報処理方法によれば、ＶＲコンテンツによるユーザＵのＶＲ酔いを抑止することができる。以下、実施形態に係る情報処理方法を適用した情報処理システム１の構成例について、より具体的に説明する。

図４は、実施形態に係る情報処理システム１の構成例を示すブロック図である。また、図５は、抑制処理部１２ｄの構成例を示すブロック図である。なお、図４および図５では、実施形態の特徴を説明するために必要な構成要素のみを表しており、一般的な構成要素についての記載を省略している。

換言すれば、図４および図５に図示される各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。例えば、各ブロックの分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することが可能である。

また、図４および図５を用いた説明では、既に説明済みの構成要素については、説明を簡略するか、省略する場合がある。

図４に示すように、実施形態に係る情報処理システム１は、ＨＭＤ３と、情報処理装置１０とを含む。

ＨＭＤ３については図１を用いて説明済みのため、ここでの説明は省略する。情報処理装置１０は、記憶部１１と、制御部１２とを備える。また、情報処理装置１０は、各種センサ５が接続される。

各種センサ５は、車両の内外の状況をセンシングするセンサ群であって、たとえばカメラ５ａや、バイタルセンサ５ｂ、加速度センサ５ｃ、舵角センサ５ｄ等を含む。

カメラ５ａは、車両に搭載されるフロントカメラ、リアカメラ、サイドカメラ、室内カメラ等であって、車両の内外を撮影する。室内カメラは、たとえばユーザＵの状態を撮影する。

バイタルセンサ５ｂは、ユーザＵの身体的状況を検知するセンサであって、たとえばユーザＵに装着され、ユーザＵの心拍や脳波、血中酸素濃度、発汗等のバイタルデータを測定する。

加速度センサ５ｃは、車両に加わる加速度や車速を測定する。舵角センサ５ｄは、車両の舵角を測定する。なお、各種センサ５には無論、図４に示す各センサ５ａ～５ｄ以外のセンサが含まれてよい。

記憶部１１は、たとえば、ＲＡＭ（Random Access Memory）、フラッシュメモリ（Flash Memory）等の半導体メモリ素子等によって実現され、図４の例では、ＶＲコンテンツＤＢ（データベース）１１ａと、ユーザ情報１１ｂと、推定モデル１１ｃと、抑制処理情報１１ｄとを記憶する。

ＶＲコンテンツＤＢ１１ａは、ＨＭＤ３へ提供されるＶＲコンテンツ群が格納されたデータベースである。ユーザ情報１１ｂは、ＨＭＤ３を利用するユーザに関する情報であって、上述したユーザごとの酔いやすさ等を示す各種のパラメータ等を含む。ユーザ情報１１ｂは、ユーザＵの過去のＶＲ酔い状況の推定結果に基づいて適宜更新される。

推定モデル１１ｃは、上述した機械学習のアルゴリズムを用いて生成された推定モデルである。推定モデル１１ｃはたとえば、後述する取得部１２ｂによって取得されたユーザＵの内外の各種の状況を示すデータが入力されることによって、ユーザＵのＶＲ酔い状況を示す値（たとえば、ＶＲ酔いの度合いを示すレベル値）を出力する。

抑制処理情報１１ｄは、ユーザＵのＶＲ酔いの度合いに応じて実行すべきＶＲ酔いの抑制処理が定義付けられた情報である。抑制処理情報１１ｄの具体例については、図７を用いた説明で後述する。

制御部１２は、コントローラ（controller）であり、たとえば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、記憶部１１に記憶されている図示略の各種プログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１２は、たとえば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現することができる。

制御部１２は、提供部１２ａと、取得部１２ｂと、推定部１２ｃと、抑制処理部１２ｄとを有し、以下に説明する情報処理の機能や作用を実現または実行する。

提供部１２ａは、ＶＲコンテンツＤＢ１１ａに格納されたＶＲコンテンツをＨＭＤ３に対し提供する。また、提供部１２ａは、ＨＭＤ３のセンサ部３３によって検知された状況の変化を随時取得し、かかる状況の変化をＶＲコンテンツに反映させる。

取得部１２ｂは、各種センサ５からのセンシングデータを随時取得する。また、取得部１２ｂは、提供部１２ａから、提供中であるＶＲコンテンツの種別や映像の状況、音声の状況といったＶＲコンテンツの使用状況を随時取得する。また、取得部１２ｂは、取得した各種のデータを推定部１２ｃへ出力する。

推定部１２ｃは、取得部１２ｂによって取得された各種のデータに基づき、推定モデル１１ｃを用いてユーザＵのＶＲ酔い状況を推定する。また、推定部１２ｃは、推定した推定結果を抑制処理部１２ｄへ出力する。

抑制処理部１２ｄは、推定部１２ｃの推定結果に応じて、音声によるＶＲ酔い抑制および映像によるＶＲ酔い抑制のバランス調整を行いつつ、ＶＲコンテンツの音声および映像に関するＶＲ酔いの抑制処理を実行する。

図５に示すように、抑制処理部１２ｄは、音声処理部１２ｄａと、映像処理部１２ｄｂと、バランス調整部１２ｄｃとを有する。音声処理部１２ｄａは、ＶＲコンテンツの音声に関するＶＲ酔いの抑制処理を実行する。映像処理部１２ｄｂは、ＶＲコンテンツの映像に関するＶＲ酔いの抑制処理を実行する。

バランス調整部１２ｄｃは、推定部１２ｃの推定結果に応じて、音声処理部１２ｄａによる音声処理および映像処理部１２ｄｂによる映像処理のバランス調整を実行する。

ここで、抑制処理部１２ｄが実行する抑制処理の内容について、より具体的に図６および図７を用いて説明する。図６は、抑制処理の処理内容を示す図である。また、図７は、抑制処理情報１１ｄの一例を示す図である。

図６に示すように、抑制処理部１２ｄのバランス調整部１２ｄｃは、たとえば推定部１２ｃが推定するユーザＵの「ＶＲ酔いの度合いに応じてバランス調整」を実行する。より具体的には、同図に示すように、バランス調整部１２ｄｃは、たとえばユーザＵが軽度のＶＲ酔いである場合には、音声に関する抑制処理を主体的に実行する。かかる「音声に関する抑制処理を主体的に」とは、音声に関する抑制処理のみを行う場合を含む。

たとえば、一般に、映像よりも音声の方が情報量は少ないため、映像に関する抑制処理を施すよりも、音声に関する抑制処理を施す方が、ＶＲ酔いを抑制する効果は小さいと考えられる。言い換えれば、映像に関する抑制処理を施した場合、ＶＲ酔いを抑制する効果は大きいが、ＶＲ体験の効果は薄まると言える。

このため、ユーザＵが軽度のＶＲ酔いである場合には、音声に関する抑制処理を主体的に実行することにより、ＶＲコンテンツによるＶＲ体験の効果をできるだけ維持しつつ、ユーザＵのＶＲ酔いを抑止することが可能となる。

また、同図に示すように、バランス調整部１２ｄｃは、たとえばユーザＵが中程度のＶＲ酔いである場合には、映像に関する抑制処理を主体的に実行する。かかる「映像に関する抑制処理を主体的に」とは、映像に関する抑制処理のみを行う場合を含む。

これにより、ユーザＵが中程度のＶＲ酔いである場合にも、ＶＲコンテンツによるＶＲ体験の効果をできるだけ維持しつつ、ユーザＵのＶＲ酔いを抑止することが可能となる。

また、同図に示すように、バランス調整部１２ｄｃは、ユーザＵのＶＲ酔いの程度に応じて定まるそれぞれの強度で音声および映像それぞれに関する抑制処理を実行するようにしてもよい。この点については、後に図７に示すこととする。

また、同図に示すように、バランス調整部１２ｄｃは、複数の音声につき、「音声に関するバランス調整」を実行することができる。かかる場合、バランス調整部１２ｄｃは、音声処理部１２ｄａに対し、単に音声を足し合わせるのではなく環境に応じて音声を合成させる。

具体的には、バランス調整部１２ｄｃは、たとえばＶＲコンテンツにおいて車外の２台の車両それぞれに対応する仮想オブジェクトの音声を出力させるに際し、聴取位置（すなわち、ユーザＵの位置）から見て奥の車両の音声は、現実空間と同様に手前の車両で一部が遮断されるように合成させる。

これにより、仮想空間における感覚と現実空間における感覚のズレを軽減し、ＶＲコンテンツによるＶＲ体験の効果をできるだけ維持しつつ、ユーザＵのＶＲ酔いを抑止することが可能となる。

なお、音声に関する抑制処理は、たとえば、音像定位感の低下処理や、音量変化速度の低下処理、音量変化幅の減縮処理等である。

音像定位感の低下処理では、音声処理部１２ｄａはたとえば、無定位音（モノラル音）を混合する。音声処理部１２ｄａは、かかる無定位音を混合する場合、定位音と無定位音との混合割合を、ＶＲ酔い状況に応じて調整する。

たとえば音声処理部１２ｄａは、ＶＲ酔いの度合いが大きいほど、無定位音の混合割合を大きくする。なお、定位音と無定位音との混合割合は、徐々に変更することが効果的である。また、音声処理部１２ｄａは、無定位音としてランダムノイズを混合してもよい。

また、音像定位感の低下処理では、音声処理部１２ｄａはたとえば、定位性が映像と無相関の音声を混合する。かかる音声は、たとえばヒーリング音や環境音（風の音や、焚き火の音等）である。音声処理部１２ｄａは、かかる無相関音を混合する場合、定位音と無相関音との混合割合を、ＶＲ酔い状況に応じて調整する。

たとえば音声処理部１２ｄａは、ＶＲ酔いの度合いが大きいほど、無相関音の混合割合を大きくする。

また、音像定位感の低下処理では、音声処理部１２ｄａはたとえば、定位音処理を行うが、その移動処理を禁止する。なお、このとき、音声処理部１２ｄａは、２点間の瞬時移動は可とするが、徐々に移動することは禁止とする。

また、音像定位感の低下処理では、音声処理部１２ｄａはたとえば、定位移動距離を短縮する。なお、このとき、音声処理部１２ｄａは、定位移動時間については変更しない。

また、音像定位感の低下処理では、音声処理部１２ｄａはたとえば、左右の音を逆位相に出力する。これにより、たとえばステレオ効果はモノラルに近くなる。

また、音像定位感の低下処理では、音声処理部１２ｄａはたとえば、重低音を強調して合成する。また、音像定位感の低下処理では、音声処理部１２ｄａはたとえば、ヒーリング音や環境音（風の音や、焚き火の音等）を出力する。これは、ＶＲコンテンツの音声と混合しない場合である。

また、音像定位感の低下処理では、音声処理部１２ｄａはたとえば、ＢＧＭ（すなわち、常時混合音）の音声を大きく合成する。音声処理部１２ｄａ、かかるＢＧＭの音声を大きく合成する場合、合成する割合を、ＶＲ酔い状況に応じて調整する。

また、音像定位感の低下処理では、音声処理部１２ｄａはたとえば、感音源を切り替える。かかる場合、音声処理部１２ｄａは感音源を、たとえばＨＭＤ３のスピーカ３２から、図示略の骨伝導スピーカやボディソニック等へ切り替える。

また、音声処理部１２ｄａは、これまで説明した音像定位感の低下処理を適宜組み合わせてもよい。

なお、音像定位感は、音源自体に定位感を持たせることと、音源からの音声を加工することにより、発生させる方法があるが、前者は、マルチトラックの各音声信号に対しレベル調整、時間・位相調整等を行って各種混合等を行うことにより定位感を強弱させることができる。また、後者は、音声加工の各パラメータを調整することにより定位感を強弱させることができる。また、一つのＶＲコンテンツの音源自体が、音像定位感、定位移動距離、音量変化幅等が異なる複数の音源パターンからなるデータ構造を有して予め記録されており、ＶＲ酔い状況に応じてこれらの音源パターンを切り替えることによって、ＶＲ酔いの抑制効果レベルを切り替えるようにしてもよい。

また、映像に関する抑制処理は、たとえば、コントラスト、輝度、輝度変化幅等の低下処理や、遠近感の調整処理、仮想オブジェクトの移動速度の低下処理等である。コントラスト、輝度、輝度変化幅等の低下処理は、映像処理部１２ｄｂがたとえば画像処理により実現するが、ディスプレイ駆動制御によって実現してもよい。遠近感調整処理は、一つのＶＲコンテンツの映像データ自体が、遠近感の異なる複数の映像パターンからなるデータ構造を有して予め記録されており、映像処理部１２ｄｂが、ＶＲ酔い状況に応じてこれらの映像パターンを切り替えることによって、ＶＲ酔いの抑制効果レベルを切り替えるようにしてもよい。また、このとき、上記音源パターンの切り替え処理は、映像パターンとのバランスを取りつつ行われるとよい。

また、図７に示すように、抑制処理情報１１ｄには、ＶＲ酔いの度合いに応じて抑制処理部１２ｄが実行すべき音声および映像それぞれに関するＶＲ酔いの抑制処理が定義付けられている。なお、同図に示すように、抑制処理情報１１ｄには、さらにコンテンツ種別が関連付けられてもよい。

同図の例では、酔いの度合いは、Ｌ１からＬ３にかけて次第に大きくなることを示している。また、コンテンツ種別は、Ａ～Ｃにかけて次第に酔いやすくなることを示している。酔いやすい種別とは、たとえばアクション系やホラー系等である。

また、同図の例では、音声に関する抑制処理である処理ａ，ｂ，ｃは、処理ａから処理ｃにかけて次第に抑制処理の強度が強くなることを示している。また、処理ａ，ｂ，ｃにそれぞれ付した１，２，３の数値は、１から３にかけて次第に抑制処理の強度が強くなることを示している。たとえば処理ａに関しては、強度の関係は、ａ１＜ａ２＜ａ３となる。

映像に関する抑制処理である処理ｌ，ｍ，ｎについても同様である。したがって、たとえば処理ｍに関しては、強度の関係は、ｍ１＜ｍ２＜ｍ３となる。

これを前提として、図７の例の場合、酔いの度合いがＬ１であれば、抑制処理部１２ｄは、コンテンツ種別がＡの場合、音声に関する処理ａ１のみを実行する。また、コンテンツ種別がＢの場合、抑制処理部１２ｄは、音声に関しては処理ａ１よりも強度が強い処理ａ２を、映像に関しては処理ｌ２をそれぞれ実行する。また、コンテンツ種別がＣの場合、抑制処理部１２ｄは、音声に関しては処理ａ２よりも強度が強い処理ａ３を、映像に関しては処理ｌ２よりも強度が強い処理ｌ３をそれぞれ実行する。

また、酔いの度合いがＬ２であれば、抑制処理部１２ｄは、コンテンツ種別がＡの場合、音声に関しては処理ａ１～ａ３よりも強度が強い処理ｂ１を、映像に関しては処理ｌ２およびｌ３よりも強度が強い処理ｍ１をそれぞれ実行する。また、コンテンツ種別がＢの場合、抑制処理部１２ｄは、音声に関しては処理ｂ１よりも強度が強い処理ｂ２を、映像に関しては処理ｍ１よりも強度が強い処理ｍ２をそれぞれ実行する。また、コンテンツ種別がＣの場合、抑制処理部１２ｄは、音声に関しては処理ｂ２よりも強度が強い処理ｂ３を、映像に関しては処理ｍ２よりも強度が強い処理ｍ３をそれぞれ実行する。

同様に、酔いの度合いがＬ３であれば、抑制処理部１２ｄは、コンテンツ種別がＡの場合、音声に関しては処理ｂ１～ｂ３よりも強度が強い処理ｃ１を、映像に関しては処理ｍ１～ｍ３よりも強度が強い処理ｎ１をそれぞれ実行する。また、コンテンツ種別がＢの場合、抑制処理部１２ｄは、音声に関しては処理ｃ１よりも強度が強い処理ｃ２を、映像に関しては処理ｎ１よりも強度が強い処理ｎ２をそれぞれ実行する。また、コンテンツ種別がＣの場合、抑制処理部１２ｄは、音声に関しては処理ｃ２よりも強度が強い処理ｃ３を、映像に関しては処理ｎ２よりも強度が強い処理ｎ３をそれぞれ実行する。

図４の説明に戻る。抑制処理部１２ｄは、図６および図７を用いて説明した抑制処理を推定部１２ｃの推定結果および抑制処理情報１１ｄに基づいて実行し、かかる実行結果を提供部１２ａがＨＭＤ３へ向けて提供するＶＲコンテンツに反映させる。

次に、実施形態に係る情報処理装置１０が実行する処理手順について、図８を用いて説明する。図８は、実施形態に係る情報処理装置１０が実行する処理手順を示すフローチャートである。なお、図８に示す処理手順は、提供部１２ａがＨＭＤ３へＶＲコンテンツを提供している間、随時繰り返される。

図８に示すように、まず取得部１２ｂが、ユーザＵに関する内外の状況を取得する（ステップＳ１０１）。そして、推定部１２ｃが、取得された状況に基づいてユーザＵのＶＲ酔い状況を推定する（ステップＳ１０２）。

そして、抑制処理部１２ｄが、推定された推定結果に応じて音声および映像に関するＶＲ酔いの抑制処理のバランスを調整する（ステップＳ１０３）。そして、抑制処理部１２ｄは、調整したバランスで抑制処理を実行し（ステップＳ１０４）、処理を終了する。

上述してきたように、実施形態に係る情報処理装置１０は、取得部１２ｂと、推定部１２ｃと、抑制処理部１２ｄとを備える。取得部１２ｂは、ＶＲコンテンツ（「仮想空間体験を含むデジタルコンテンツ」の一例に相当）のユーザＵに関する内外の状況を取得する。推定部１２ｃは、取得部１２ｂによって取得された状況に基づいて、ユーザＵのＶＲ酔い（「酔い」の一例に相当）状況を推定する。抑制処理部１２ｄは、推定部１２ｃによって推定されたユーザＵのＶＲ酔い状況に応じて、ＶＲコンテンツの音声および映像に関するＶＲ酔いの抑制処理を実行する。また、抑制処理部１２ｄは、上記抑制処理の実行に際し、ユーザＵのＶＲ酔い状況に応じて、上記音声に関する上記抑制処理および上記映像に関する上記抑制処理のバランス調整を実行する。

したがって、実施形態に係る情報処理装置１０によれば、ＶＲコンテンツによるユーザＵのＶＲ酔いを抑止することができる。特に、音声と映像の同期ズレや、音声および映像の変動が大きく脳の処理が追いつかないといった原因により生じうるＶＲ酔いを抑止することができる。また、ＶＲコンテンツによるＶＲ体験の効果をできるだけ維持しつつ、ＶＲコンテンツによるユーザＵのＶＲ酔いを抑止することができる。

また、抑制処理部１２ｄは、ＶＲ酔い状況を示す度合いが軽度である場合に、音声に関する抑制処理を主体的に実行する。

したがって、実施形態に係る情報処理装置１０によれば、ＶＲコンテンツの映像によるＶＲ体験の効果をできるだけ維持しつつ、ＶＲコンテンツによるユーザＵのＶＲ酔いを抑止することができる。

また、抑制処理部１２ｄは、ＶＲ酔い状況を示す度合いが軽度である場合に、音声に関する抑制処理のみを実行する。

したがって、実施形態に係る情報処理装置１０によれば、ＶＲコンテンツの映像によるＶＲ体験の効果をできるだけ維持しつつ、また、処理負荷を嵩ませることなく、ＶＲコンテンツによるユーザＵのＶＲ酔いを抑止することができる。

また、抑制処理部１２ｄは、ＶＲ酔い状況を示す度合いが中程度である場合に、映像に関する抑制処理を主体的に実行する。

したがって、実施形態に係る情報処理装置１０によれば、ユーザＵのＶＲ酔いが軽度以上である場合に、速やかにＶＲコンテンツによるユーザＵのＶＲ酔いを軽減することができる。

また、抑制処理部１２ｄは、ＶＲ酔い状況を示す度合いに応じて定まるそれぞれの強度で音声および映像それぞれに関する抑制処理を実行する。

したがって、実施形態に係る情報処理装置１０によれば、ユーザＵのＶＲ酔いに応じた適正なバランスで音声および映像それぞれに関する抑制処理を実行することが可能となる。

また、ＶＲコンテンツの映像データは、少なくとも遠近感が異なる複数の映像パターンを有しており、抑制処理部１２ｄは、映像に関する抑制処理として、上記映像パターンを切り替える切り替え処理を実行する。

したがって、実施形態に係る情報処理装置１０によれば、予め記録された映像パターンを切り替えることによって、たとえばＶＲ酔いの抑制効果レベルを切り替えることが可能となる。

また、ＶＲコンテンツの音源データは、少なくとも音像定位感、定位移動距離または音量変化幅が異なる複数の音源パターンを有しており、抑制処理部１２ｄは、音声に関する抑制処理として、上記映像パターンとバランスを取りつつ上記音源パターンを切り替える切り替え処理を実行する。

したがって、実施形態に係る情報処理装置１０によれば、予め記録された音源パターンを映像パターンとバランスを取りつつ切り替えることによって、視覚面および聴覚面でバランスの取れたＶＲ酔いの抑制効果レベルの切り替えを行うことが可能となる。

なお、上述した実施形態では、ＨＭＤ３と情報処理装置１０とが分離した構成である場合を例に挙げたが、これに限られるものではなく、ＨＭＤ３と情報処理装置１０とが一体である構成であってもよい。

また、上述した実施形態では、ユーザＵに対し、情報処理装置１０から提供されるＶＲコンテンツを提示する提示デバイスとしてＨＭＤ３を例に挙げたが、提示デバイスはこれに限られるものではなく、たとえば骨伝導スピーカを含むものであってもよいし、ボディソニックのように振動を提示する振動提示デバイスを含むものであってもよい。

また、提示デバイスは、ウェアラブルコンピュータに限らず、たとえば車両であれば、フロントウィンドウやサイドウィンドウ等をディスプレイで構成し、かかるディスプレイに対し映像出力を行ってもよい。また、音声出力は、車載スピーカに対し行ってもよい。車載スピーカは通常、前後左右を含む多方向に複数個を適宜配置可能であるので、３Ｄ再生には好適である。なお、車両でなければ、ＶＲコンテンツの提供空間の壁をディスプレイで構成し、かかる空間に複数個のスピーカを車載スピーカと同様に配置することとなる。

また、上述した実施形態では、情報処理装置１０がＶＲコンテンツを提供する例を挙げたが、仮想空間体験を含むデジタルコンテンツであればよく、ＡＲ（Augmented Reality）コンテンツやＭＲコンテンツであってもよい。

また、上述した実施形態では、情報処理装置１０が車両に搭載される車載装置である例を挙げたが、これに限られるものではなく、仮想空間体験を含むデジタルコンテンツを提供するゲーム機等のコンピュータであってもよい。

さらなる効果や変形例は、当業者によって容易に導き出すことができる。このため、本発明のより広範な態様は、以上のように表しかつ記述した特定の詳細および代表的な実施形態に限定されるものではない。したがって、添付の特許請求の範囲およびその均等物によって定義される総括的な発明の概念の精神または範囲から逸脱することなく、様々な変更が可能である。

１ 情報処理システム
３ ＨＭＤ
５ 各種センサ
１０ 情報処理装置
１１ 記憶部
１１ａ ＶＲコンテンツＤＢ
１１ｂ ユーザ情報
１１ｃ 推定モデル
１１ｄ 抑制処理情報
１２ 制御部
１２ａ 提供部
１２ｂ 取得部
１２ｃ 推定部
１２ｄ 抑制処理部
１２ｄａ 音声処理部
１２ｄｂ 映像処理部
１２ｄｃ バランス調整部
３１ 表示部
３２ スピーカ
３３ センサ部

Claims (11)

1. 仮想空間体験を含むデジタルコンテンツのユーザに関する内外の状況を取得する取得部と、
   前記取得部によって取得された状況に基づいて、前記ユーザの酔い状況を推定する推定部と、
   前記推定部によって推定された前記ユーザの酔い状況に応じて、前記デジタルコンテンツの音声および映像それぞれに関する酔いの抑制処理を実行する抑制処理部と
   を備え、
   前記抑制処理部は、
   前記抑制処理の実行に際し、前記ユーザの酔い状況に応じて、前記音声に関する前記抑制処理および前記映像に関する前記抑制処理のバランス調整を実行する
   ことを特徴とする情報処理装置。
2. 前記抑制処理部は、
   前記酔い状況を示す度合いが軽度である場合に、前記音声に関する前記抑制処理を主体的に実行する
   ことを特徴とする請求項１に記載の情報処理装置。
3. 前記抑制処理部は、
   前記酔い状況を示す度合いが軽度である場合に、前記音声に関する前記抑制処理のみを実行する
   ことを特徴とする請求項２に記載の情報処理装置。
4. 前記抑制処理部は、
   前記酔い状況を示す度合いが中程度である場合に、前記映像に関する前記抑制処理を主体的に実行する
   ことを特徴とする請求項１、２または３に記載の情報処理装置。
5. 前記抑制処理部は、
   前記酔い状況を示す度合いに応じて定まるそれぞれの強度で前記音声および前記映像それぞれに関する前記抑制処理を実行する
   ことを特徴とする請求項１～４のいずれか一つに記載の情報処理装置。
6. 前記デジタルコンテンツの映像データは、少なくとも遠近感が異なる複数の映像パターンを有しており、
   前記抑制処理部は、
   前記映像に関する前記抑制処理として、前記映像パターンを切り替える切り替え処理を実行する
   ことを特徴とする請求項１～５のいずれか一つに記載の情報処理装置。
7. 前記デジタルコンテンツの音源データは、少なくとも音像定位感、定位移動距離または音量変化幅が異なる複数の音源パターンを有しており、
   前記抑制処理部は、
   前記音声に関する前記抑制処理として、前記映像パターンとバランスを取りつつ前記音源パターンを切り替える切り替え処理を実行する
   ことを特徴とする請求項６に記載の情報処理装置。
8. 仮想空間体験を含むデジタルコンテンツのユーザに関する内外の状況を取得する取得工程と、
   前記取得工程において取得された状況に基づいて、前記ユーザの酔い状況を推定する推定工程と、
   前記推定工程において推定された前記ユーザの酔い状況に応じて、前記デジタルコンテンツの音声および映像それぞれに関する酔いの抑制処理を実行する抑制処理工程と
   を含み、
   前記抑制処理工程は、
   前記抑制処理の実行に際し、前記ユーザの酔い状況に応じて、前記音声に関する前記抑制処理および前記映像に関する前記抑制処理のバランス調整を実行する
   ことを特徴とする情報処理方法。
9. 仮想空間体験を含むデジタルコンテンツのユーザに関する内外の状況を取得する取得手順と、
   前記取得手順において取得された状況に基づいて、前記ユーザの酔い状況を推定する推定手順と、
   前記推定手順において推定された前記ユーザの酔い状況に応じて、前記デジタルコンテンツの音声および映像それぞれに関する酔いの抑制処理を実行する抑制処理手順と
   をコンピュータに実行させ、
   前記抑制処理手順は、
   前記抑制処理の実行に際し、前記ユーザの酔い状況に応じて、前記音声に関する前記抑制処理および前記映像に関する前記抑制処理のバランス調整を実行する
   ことを特徴とするプログラム。
10. 仮想空間体験を含む一つのデジタルコンテンツのデータ構造であって、
    少なくとも遠近感が異なる複数の映像パターンを含む
    ことを特徴とするデータ構造。
11. 少なくとも音像定位感、定位移動距離または音量変化幅が異なる複数の音源パターンをさらに含む
    ことを特徴とする請求項１０に記載のデータ構造。

Images