JP2013162285A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】仮想オブジェクトに関する音声の定位情報を仮想オブジェクトの位置に基づいて生成することができる情報処理装置、情報処理方法、及びプログラムを提供する。
【解決手段】情報処理装置は、空間内に存在する実オブジェクトの位置に基づいて決定される仮想オブジェクトの仮想位置を取得する取得部と、前記仮想位置に基づいて、前記仮想オブジェクトに関連する音声情報の音源位置を示す定位情報を生成する定位情報生成部と、を有する。
【選択図】図５

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。

近年、ユーザが得られる情報は、増大している。このため、ユーザが必要な情報を如何に抽出するか、どのようにユーザに情報を提供するかが重要となってきている。そこで、音声を用いた情報の提示が提案されている。例えば特許文献１には、指向性を有する音声により、ユーザに情報を提供する情報処理装置が記載されている。ユーザは、この情報処理装置から提供された複数の音声に対して、顔の向きを用いていずれかの音声を選択することができる。

また一方、現実の画像に付加的な情報を重畳してユーザに呈示する、拡張現実（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）と呼ばれる技術が注目されている。ＡＲ技術においてユーザに呈示される情報は、アノテーションとも呼ばれ、例えばテキスト、アイコンまたはアニメーションなど、さまざまな形態の仮想オブジェクトとして可視化される。

特開２００８−９２１９３号公報

しかし、ＡＲ技術の分野において音声を用いた情報の提供についてはほとんど論じられてこなかった。そこで、本開示では、仮想オブジェクトに関する音声の定位情報を仮想オブジェクトの位置に基づいて生成することのできる、新規かつ改良された情報処理装置、情報処理方法、及びプログラムを提案する。

本開示によれば、空間内に存在する実オブジェクトの位置に基づいて決定される仮想オブジェクトの仮想位置を取得する取得部と、上記仮想位置に基づいて、上記仮想オブジェクトに関連する音声情報の音源位置を示す定位情報を生成する定位情報生成部と、を有する、情報処理装置が提供される。

また本開示によれば、空間内に存在する実オブジェクトの位置に基づいて決定される仮想オブジェクトの仮想位置を取得することと、上記仮想位置に基づいて、上記仮想オブジェクトに関連する音声情報の音源位置を示す定位情報を生成することと、を含む情報処理方法が提供される。

また本開示によれば、コンピュータを、空間内に存在する実オブジェクトの位置に基づいて決定される仮想オブジェクトの仮想位置を取得する取得部と、上記仮想位置に基づいて、上記仮想オブジェクトに関連する音声情報の音源位置を示す定位情報を生成する定位情報生成部と、を有する情報処理装置として機能させるためのプログラムが提供される。

以上説明したように本開示によれば、仮想オブジェクトに関する音声の定位情報を仮想オブジェクトの位置に基づいて生成することができる。

本開示の一実施形態に係る情報処理装置により提供されるユーザ体験の概要を示す説明図である。 同実施形態に係る情報処理装置が提供するビジュアルマーカの一例を示す説明図である。 同実施形態に係る情報処理装置が提供するビジュアルマーカの他の一例を示す説明図である。 同実施形態に係る情報処理装置に対する操作の一例を示す説明図である。 同実施形態に係る情報処理装置の機能構成を示すブロック図である。 同実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。 同実施形態に係る情報処理装置の情報提示動作の一例を示すフローチャートである。 同実施形態に係る情報処理装置の２次情報及び音声提示動作の一例を示すフローチャートである。 同実施形態に係る情報処理装置においてユーザが１次情報の選択操作をせず情報が通り過ぎる場合の定位情報の生成例を示す説明図である。 同実施形態に係る情報処理装置においてユーザが１次情報の選択操作をした場合の定位情報の生成例を示す説明図である。 同実施形態に係る情報処理装置において、ユーザが顔向きを変化させた場合の第１の状態における定位情報の生成例を示す説明図である。 同実施形態に係る情報処理装置において、ユーザが顔向きを変化させた場合の第２の状態における定位情報の生成例を示す説明図である。 同実施形態に係る情報処理装置において、ユーザが顔向きを変化させた場合の第３の状態における定位情報の生成例を示す説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．概要
２．構成例
２−１．機能構成例
２−２．ハードウェア構成例
３．動作例
４．定位情報の生成

＜１．概要＞
まず図１〜図４を参照しながら、本開示の一実施形態に係る情報処理装置の提供するユーザ体験の概要について説明する。図１は、本開示の一実施形態に係る情報処理装置により提供されるユーザ体験の概要を示す説明図である。図２は、同実施形態に係る情報処理装置が提供するビジュアルマーカの一例を示す説明図である。図３は、同実施形態に係る情報処理装置が提供するビジュアルマーカの他の一例を示す説明図である。図４は、同実施形態に係る情報処理装置に対する操作の一例を示す説明図である。

本開示の一実施形態に係る情報処理装置１０は、実空間内に存在する実オブジェクトに関連づけられる情報を視覚情報及び音声情報により提供することができる。以下視覚情報は、ビジュアルマーカＭｖ又は仮想オブジェクトともいわれる。また音声情報は、サウンドマーカＭｓともいわれる。例えば情報処理装置１０は、実オブジェクトの位置に基づいてビジュアルマーカＭｖの位置を決定することができる。また情報処理装置１０は、ビジュアルマーカＭｖの位置に基づいてサウンドマーカＭｓの音源位置を決定することができる。例えば情報処理装置１０は、撮像された映像中の実オブジェクトの位置にビジュアルマーカＭｖを重畳表示することができる。また情報処理装置１０は、撮像された映像中の実オブジェクトの位置から聞こえてくるようにサウンドマーカＭｓの音源位置を決定することができる（図１）。なお、図１はイメージであり、実際にはサウンドマーカＭｓは視覚的に見ることができなくてよい。音声によりサウンドマーカＭｓは提供される。また情報処理装置１０は、ユーザの周りの実オブジェクトに関連づけられる情報から、ユーザの嗜好又は目的等に応じてフィルタリングされた情報をユーザに提供することができる。

図２を参照すると、ビジュアルマーカＭｖの一例が示される。ビジュアルマーカＭｖは、例えばカメラにより撮像された映像に重畳して表示されることによりユーザに提供される。また、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を用いてビジュアルマーカＭｖが提供されてもよい。例えば、フィルタリングされた情報は、まずビジュアルマーカＭｖの１次情報Ｍｖ１により提供されてよい。例えば１次情報Ｍｖ１は、その位置に対応づけられた情報があることと、この情報の概要をユーザに知らせる程度の粒度の情報であってよい。ユーザがこの１次情報Ｍｖ１に対して何ら操作を行わなかった場合には、情報は通り過ぎていく。

一方、表示された１次情報Ｍｖ１に対して、ユーザが選択操作を行った場合には、より詳細な情報がユーザに提供されてよい。例えば選択操作に応じて、１次情報Ｍｖ１よりも詳細な情報が含まれる２次情報Ｍｖ２が表示されてよい。またこの２次情報Ｍｖ２の表示と共に、サウンドマーカＭｓが提供されてよい。このサウンドマーカＭｓは、指向性を有する音声として提供されることが望ましい。サウンドマーカＭｓの音源位置は、ビジュアルマーカＭｖの位置とユーザ位置との位置関係に基づいて決定されてよい。これによりユーザは、サウンドマーカＭｓの聞こえてくる方向からビジュアルマーカＭｖの位置を知ることができる。

また視野外の情報を提供する場合の例が図３に示される。情報処理装置１０は、ビジュアルマーカＭｖの１次情報Ｍｖ１を表示領域の端に表示させることができる。この視野外の位置に関連する情報の１次情報Ｍｖ１に対する選択操作が検出されると、情報処理装置１０は、２次情報Ｍｖ２を表示領域の端に表示させるとともに、サウンドマーカＭｓを出力することができる。

なお、ここで２次情報Ｍｖ２及びサウンドマーカＭｓにより情報を取得するための選択操作は、情報処理装置１０の種類に依存する。例えば情報処理装置１０がＨＭＤであるときには、ユーザの顔の向きにより操作が行われてよい。また情報処理装置１０が携帯電話である場合には、同様にユーザの顔向きにより操作が行われてよく、或いは、タッチセンサ又はボタンなどにより操作が行われてもよい。図４には、ユーザの顔向きによる操作の一例が示される。例えば情報処理装置１０は、ユーザの顔向きに基づいて、うなずく動作が検知されると、特定の情報の取得操作と判断することができる。また情報処理装置１０は、ユーザの顔向きに基づいて、首を振る動作が検知されると、特定の情報の選択に対するキャンセル操作と判断することができる。

なお、ここでは街中の看板に関連づけられた店舗情報が提供される例について示したが、本技術はかかる例に限定されない。例えば、危険回避のために本技術が用いられてもよい。ヘッドフォンで音楽を聴きながらジョギングやサイクリングをする人が増加している。このような状況においては、周囲の音が聞こえづらいために車両の接近に気づかず事故が起こる可能性が高まってしまう。そこで、ユーザの近くに車両が接近したとき、サウンドマーカＭｓとして仮想のエンジン音、ビジュアルマーカＭｖとして車両の画像を表示することによって、音楽を聴いている最中であっても危険を回避することができる。以下、このようなユーザ体験を実現するための情報処理装置１０について詳述していく。

＜２．構成例＞
ここでは、本開示の一実施形態にかかる情報処理装置１０の構成について説明する。まずは図５を参照しながら情報処理装置１０の機能構成例について説明し、次に図６を参照しながら情報処理装置１０のハードウェア構成例について説明する。図５は、同実施形態に係る情報処理装置の機能構成を示すブロック図である。図６は、同実施形態に係る情報処理装置のハードウェア構成例を示すブロック図である。

［２−１．機能構成例］
図５を参照すると、本開示の一実施形態にかかる情報処理装置１０は、操作部１０５と、操作情報取得部１１０と、表示部１１５と、表示制御部１２０と、音声出力部１２５と、音声出力制御部１３０とを主に有する。

（操作部１０５）
操作部１０５は、ユーザが所望の操作をするための入力信号を生成する機能を有する。操作部１０５は、例えばタッチパネル、マウス、キーボード、ボタン、マイク、スイッチ、レバー、及び各種センサなどユーザが情報を入力するための入力部と、ユーザによる入力に基づいて入力信号を生成及び出力する入力制御回路などから構成されてよい。例えば操作部１０５は、センサにより検出されるユーザの顔向きに基づいた入力信号を生成及び出力することができる。また操作部１０５は、例えばユーザがタッチセンサに対して行う操作を検出して当該操作に基づいて入力信号を生成及び出力することができる。

（操作情報取得部１１０）
操作情報取得部１１０は、ユーザにより入力された操作情報を取得する機能を有する。例えば操作情報取得部１１０は、操作部１０５から出力された入力信号を操作情報として取得することができる。情報処理装置１０は、操作情報取得部１１０により取得された操作情報に基づいて動作することができる。

（表示部１１５）
表示部１１５は、出力装置の一例であり、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）装置、有機ＥＬ（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ディスプレイ装置などの表示装置であってよい。またこの表示部１１５は、ＨＭＤであってもよい。表示部１１５は、表示制御部１２０の制御に従って動作することができる。

（表示制御部１２０）
表示制御部１２０は、ユーザに提供する表示画面の内容を制御する機能を有する。例えば表示制御部１２０は、光学透過型のＨＭＤ上にビジュアルマーカＭｖを表示させることができる。或いは表示制御部１２０は、ユーザの視界を撮像した映像の上にビジュアルマーカＭｖを重畳させた映像を、ビデオ透過型のＨＭＤに表示させることができる。また表示制御部１２０は、操作情報取得部１１０により取得された操作情報に基づいて、表示画面の内容を制御することができる。例えば表示制御部１２０は、ビジュアルマーカＭｖの１次情報Ｍｖ１に対する選択操作が取得されると、この１次情報に対応する２次情報Ｍｖ２を表示画面に表示させることができる。なお、表示制御部１２０は、空間内に存在する実オブジェクトの位置に基づいて決定される仮想オブジェクトの位置（以下、仮想位置と称する）を取得する取得部の一例である。

（音声出力部１２５）
音声出力部１２５は、音声信号を出力する機能を有する。音声出力部１２５は、例えばスピーカであってよい。また音声出力部１２５は、ヘッドホンなどの音声出力装置に音声信号を出力する出力端子であってもよい。音声出力部１２５は、音声出力制御部１３０の制御に従って動作することができる。なお、ここで用いられる音声出力装置は、音の定位情報に従って立体音響を出力することができる。

（音声出力制御部１３０）
音声出力制御部１３０は、ユーザに対する音声の出力を制御する機能を有する。また音声出力制御部１３０は、音源位置を示す定位情報を生成する定位情報生成部の一例である。音声出力制御部１３０は、例えば仮想位置に基づいて、仮想オブジェクトに関連する、例えば仮想オブジェクトが関連づけられた実オブジェクトと同一の実オブジェクトに関連づけられた、音声情報の音源位置を示す定位情報を生成することができる。この音声出力制御部１３０は、ユーザ位置及び仮想位置の間の距離に基づいて定位情報を生成してもよい。

具体的には音声出力制御部１３０は、ユーザ位置及び仮想位置の間の距離が所定の閾値以上である場合には、音源位置を仮想位置よりもユーザの正面に近づけることができる。また音声出力制御部１３０は、ユーザ位置及び仮想位置の間の距離が所定の閾値より小さくなると、音源位置をユーザの正面側から仮想位置に近づく方向に移動させることができる。人間が音声の方向を認識する能力は、正面の所定領域の方が側面よりも高い傾向がある。このため、人間は例えば右側に静止している音声の方向を認識するよりも正面に静止している音声の方向を認識する方が容易い。また人間は静止している音声よりも音源位置が動いている音声の方が音声の方向を認識しやすい傾向がある。このため、例えば仮想位置とユーザの位置との間に所定以上の距離がある場合には、音源位置がユーザから見て斜め前にあったとしても、人間はその音源位置の差異を認識することができない可能性が高い。このため、仮想位置とユーザの位置との間に所定以上の距離がある場合には、音源位置をユーザの正面側とし、ユーザが仮想位置に近づくと、音源位置をユーザの正面側から仮想位置に近づける方向に移動させることにより、ユーザはより仮想位置の方向を認識しやすくなる。

また音声出力制御部１３０は、ユーザの顔向きの変化に応じて音源位置を変化させることができる。このとき、仮想オブジェクトの位置がユーザの正面の所定領域に位置するときは、音源位置を仮想位置とすることが望ましい。音声出力制御部１３０は、生成した定位情報に従ってサウンドマーカＭｓを出力させることができる。

以上、本実施形態に係る情報処理装置１０の機能の一例を示した。上記の各構成要素は、汎用的な部材や回路を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。また、各構成要素の機能を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの演算装置がこれらの機能を実現する処理手順を記述した制御プログラムを記憶したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの記憶媒体から制御プログラムを読出し、そのプログラムを解釈して実行することにより行ってもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用する構成を変更することが可能である。以下、情報処理装置１０のハードウェア構成の一例が示される。

なお、上述のような本実施形態に係る情報処理装置１０の各機能を実現するためのコンピュータプログラムを作成し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。

［２−２．ハードウェア構成例］
次に、図６を参照しながら、情報処理装置１０のハードウェア構成例について説明する。情報処理装置１０は、ＣＰＵ１５０と、ＲＡＭ１５５と、不揮発性メモリ１６０と、表示デバイス１６５と、顔向き検出デバイス１７０と、音像定位オーディオデバイス１７５とを有することができる。

（ＣＰＵ１５０）
ＣＰＵ１５０は、例えば演算処理装置又は制御装置として機能し、ＲＡＭ１５５、又は不揮発性メモリ１６０などに記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御することができる。

（ＲＡＭ１５５）
ＲＡＭ１５５は、ＣＰＵ１５０に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化するパラメータ等を一時記憶することができる。

（不揮発性メモリ１６０）
不揮発性メモリ１６０は、電源を供給しなくても記憶を保持する記憶装置である。不揮発性メモリ１６０は、例えば補助記憶装置又は長期保管用ストレージとして用いられてよい。不揮発性メモリ１６０は、例えばＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリなどの半導体メモリであってよい。また不揮発性メモリ１６０は、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）などの磁気記憶装置、光ディスクなどであってよい。

（表示デバイス１６５）
表示デバイス１６５は、例えばＨＭＤなどの表示機能を有する装置であってよい。或いは表示デバイス１６５は、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）装置、有機ＥＬ（ＯＬＥＤ：Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ディスプレイ装置などの表示装置であってよい。

（顔向き検出デバイス１７０）
顔向き検出デバイス１７０は、ユーザの顔向きを検出する機能を有する。顔向き検出デバイス１７０は、例えば３軸加速度センサを有するＨＭＤであってもよい。この場合には、表示デバイス１６５と顔向き検出デバイス１７０とは同一の装置を指す。

（音像定位オーディオデバイス１７５）
音像定位オーディオデバイス１７５は、音像定位することのできるオーディオデバイスである。音像定位オーディオデバイス１７５は、定位情報に従って、指向性を有する音声を出力することができる。

＜３．動作例＞
次に、図７及び図８を参照しながら、本開示の一実施形態に係る情報処理装置１０の動作例について説明する。図７は、同実施形態に係る情報処理装置の情報提示動作の一例を示すフローチャートである。図８は、同実施形態に係る情報処理装置の２次情報及び音声提示動作の一例を示すフローチャートである。

まず図７を参照すると、表示制御部１２０は、情報を提示中であるか否かを判断する（Ｓ１００）。そして、ステップＳ１００において情報を提示中ではないと判断されたとき、表示制御部１２０は、提示する情報が一定領域内に存在するかを判断する（Ｓ１０５）。ステップＳ１０５の判断において、提示する情報が一定領域内に存在すると判断された場合には、表示制御部１２０は、ビジュアルマーカＭｖの一次情報Ｍｖ１を提示する（Ｓ１１０）。

一方、ステップＳ１００の判断において、情報を提示中であると判断された場合、表示制御部１２０は、１次情報Ｍｖ１を提示中であるか否かを判断する（Ｓ１１５）。そして、ステップＳ１１５において１次情報を提示中ではないと判断された場合（つまり２次情報を提示中）には、次に操作情報取得部１１０によりくびふりが認識されたか否かが判断される（Ｓ１４０）。そして、ステップＳ１４０の判断においてくびふりが認識されていない場合には、次に（２次情報を提示し初めてから）一定時間が経過したか否かが判断される（Ｓ１４５）。そして、一定時間が経過した場合、或いはくびふりが人認識された場合には、表示制御部１２０及び音声出力制御部１３０は、情報の提示を終了する（Ｓ１５０）。

一方、ステップＳ１１５の判断において１次情報が提示中であると判断された場合には、次に操作情報取得部１１０によりうなずきが認識されたか否かが判断される（Ｓ１２０）。そして、ステップＳ１２０の判断によりうなずきが認識されたと判断された場合には、表示制御部１２０及び音声出力制御部１３０は、２次情報及び音声情報をユーザに提示する（Ｓ１２５）。一方、ステップＳ１２０の判断においてうなずきが認識されなかった場合には、次に（１次情報を提示し始めてから）一定時間が経過したか否かが判断される（Ｓ１３０）。そして、ステップＳ１３０の判断において一定時間が経過したと判断された場合には、表示制御部１２０は、１次情報の提示を終了する（Ｓ１３５）。

なお、ここでステップＳ１２５に示された２次情報及び音声情報の提示動作について、図８を用いて詳述する。

図８を参照すると、まず表示制御部１２０は、ビジュアルマーカＭｖの２次情報Ｍｖ２の表示位置を決定する（Ｓ２００）。ここで２次情報Ｍｖ２は、１次情報Ｍｖ１よりも詳細な情報を含む。

次にビジュアルマーカＭｖの表示位置に基づいてサウンドマーカＭｓの定位情報が生成される。この定位情報の生成については、後に詳述されるが、サウンドマーカＭｓの音源位置は、ビジュアルマーカＭｖの位置に基づいて決定される。

そして表示制御部１２０はビジュアルマーカＭｖを表示し、音声出力制御部１３０は、サウンドマーカＭｓを定位情報に基づいて出力させる（Ｓ２１０）。

＜４．定位情報の生成＞
次に、図９〜図１３を参照しながら、定位情報の生成について詳述する。図９は、同実施形態に係る情報処理装置においてユーザが１次情報の選択操作をせず情報が通り過ぎる場合の定位情報の生成例を示す説明図である。図１０は、同実施形態に係る情報処理装置においてユーザが１次情報の選択操作をした場合の定位情報の生成例を示す説明図である。図１１は、同実施形態に係る情報処理装置において、ユーザが顔向きを変化させた場合の第１の状態における定位情報の生成例を示す説明図である。図１２は、同実施形態に係る情報処理装置において、ユーザが顔向きを変化させた場合の第２の状態における定位情報の生成例を示す説明図である。図１３は、同実施形態に係る情報処理装置において、ユーザが顔向きを変化させた場合の第３の状態における定位情報の生成例を示す説明図である。

上述したとおり、サウンドマーカＭｓの音源位置は、ビジュアルマーカＭｖの位置に基づいて決定される。ビジュアルマーカＭｖの方向から音が聞こえてくるようにするには、単純にビジュアルマーカＭｖの位置をサウンドマーカＭｓの音源位置としてもよい。しかし、人間の聴覚には様々な特性がある。そこで、人間の聴覚の特性に合わせて、人間が音声の方向及び距離を認識しやすいように音源位置が決定されることが望ましい。以下、複数の例を挙げながらサウンドマーカＭｓの音源位置について考えてみる。

まず図９の例を参照すると、実オブジェクトがユーザの斜め前方から側面を通り過ぎて行く場合を考える。このとき、時刻ｔ０においては、実オブジェクトがユーザの可視領域内に存在するため、実オブジェクトの位置にビジュアルマーカＭｖを表示させる。その後時刻ｔ１においては、実オブジェクトがユーザの可視領域外の位置となる。そこで、このときビジュアルマーカＭｖは可視領域の端（表示画面の端）に表示される。そして実オブジェクトの位置がユーザの概ね真横になるまでビジュアルマーカＭｖは可視領域の端に表示される。

このとき、サウンドマーカＭｓの音源位置は、ビジュアルマーカＭｖ及びユーザの間の距離が所定の閾値（ここではユーザを中心とする仮想半径Ｒ）となるまでは、ビジュアルマーカＭｖの位置よりもユーザの正面側とすることができる。また、ビジュアルマーカＭｖ及びユーザの間の距離が所定の閾値より小さくなると、サウンドマーカＭｓの音源位置は、ユーザ位置を中心として仮想半径Ｒの円周上を移動する軌跡を描いてよい。例えばサウンドマーカＭｓの音源位置は、ユーザの真後ろとなるまで上記円周上を回転された後遠ざかってよい。

上述の通り、人間は正面に近い所定領域に対する音の分解能は高い。一方、側方における音の分解能が低い。このため、図９の例においてビジュアルマーカＭｖの位置に合わせて斜めに音源位置が近づいてくるよりも、正面に近い所定領域内でまっすぐ音源位置が近づいてくる方が音源位置との距離感を把握しやすい。また、仮想半径Ｒの円周に沿って回転させることで、音が通り過ぎて行く感覚がより認識されやすい。

次に図１０の例を参照すると、１次情報に対してユーザが選択操作を行った場合の例が示される。このとき時刻ｔ０においては、実オブジェクトがユーザの可視領域内に存在するため、実オブジェクトの位置にビジュアルマーカＭｖを表示させる。ここでユーザがビジュアルマーカＭｖに対する選択操作を行うと、時刻ｔ１，ｔ２とビジュアルマーカＭｖがユーザの正面に表示されるように移動する。そしてその後ｔ３においてビジュアルマーカＭｖは可視領域外に消えていく。

このときサウンドマーカＭｓの音源位置は、ｔ０においてはビジュアルマーカＭｖの位置よりもユーザの正面側であってよい。そしてサウンドマーカＭｓの音源位置は、ユーザ及びビジュアルマーカＭｖの間の距離が所定の閾値Ｒとなるまでまっすぐユーザに近づく。その後、ビジュアルマーカＭｖがユーザの正面に表示されるのに伴って、サウンドマーカＭｓの音源位置は一度ユーザの正面に移動する。その後、ビジュアルマーカＭｖが可視領域外に消えていくのに伴い、サウンドマーカＭｓの音源位置は、ユーザを中心として半径Ｒの円周上を回転しながらユーザから遠ざかっていく。

次に図１１から図１３を参照しながら、ユーザの顔向きが変化する場合の、サウンドマーカＭｓの音源位置について考えてみる。例えばユーザの顔向きに対して、実オブジェクトｔ０が右斜め前に位置するとする。すると、図１１に示されるように、サウンドマーカＭｓの音源位置は、実オブジェクトよりもユーザの正面側に位置してよい。この状態でユーザが顔向きを右に変化させたとする。するとこのとき（ｔ１）、図１２に示されるように、サウンドマーカＭｓの音源位置は、実オブジェクトに近づくように変化してよい。またさらにユーザの正面がユーザの顔向きとなるまでユーザが顔向きを変化させると、サウンドマーカＭｓの音源位置は、実オブジェクトの位置とされてよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記実施形態では、１次情報に対する操作が検出されると２次情報を提示する構成としたが、本技術はかかる例に限定されない。例えば、詳細な情報が最初から提示されてもよい。或いは、さらに複数の段階で情報が提示されてもよい。

尚、本明細書において、フローチャートに記述されたステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的に又は個別的に実行される処理をも含む。また時系列的に処理されるステップでも、場合によっては適宜順序を変更することが可能であることは言うまでもない。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
空間内に存在する実オブジェクトの位置に基づいて決定される仮想オブジェクトの仮想位置を取得する取得部と、
前記仮想位置に基づいて、前記仮想オブジェクトに関連する音声情報の音源位置を示す定位情報を生成する定位情報生成部と、
を備える、情報処理装置。
（２）
前記定位情報生成部は、ユーザ位置及び前記仮想位置の間の距離に基づいて、前記定位情報を生成する、
前記（１）に記載の情報処理装置。
（３）
前記定位情報生成部は、前記ユーザ位置及び前記仮想位置の間の距離が所定の閾値以上である場合には、前記音源位置を前記仮想位置よりも前記ユーザの正面に近づける、
前記（２）に記載の情報処理装置。
（４）
前記定位情報生成部は、前記ユーザ位置及び前記仮想位置の間の距離が前記閾値より小さくなると、前記音源位置を前記ユーザの正面側から前記実オブジェクトの方向に移動させる、
前記（３）に記載の情報処理装置。
（５）
前記定位情報生成部は、前記ユーザ位置及び前記仮想位置の間の距離が前記閾値より小さくなると、前記閾値を半径とし前記ユーザ位置を中心とする円周に沿って前記音源位置を移動させる、
前記（４）に記載の情報処理装置。
（６）
前記定位情報生成部は、前記仮想位置が前記ユーザの正面方向の所定領域に位置するときは、前記仮想位置を前記音源位置とする、
前記（１）〜（５）のいずれかに記載の情報処理装置。
（７）
ユーザの顔向きを検出する向き検出部、
をさらに備え、
前記定位情報生成部は、前記顔向きに基づいて前記定位情報を生成する、
前記（１）〜（６）のいずれかに記載の情報処理装置。
（８）
前記仮想位置に前記仮想オブジェクトを表示させる表示制御部、
をさらに備える、
前記（１）〜（７）のいずれかに記載の情報処理装置。
（９）
表示された前記仮想オブジェクトを選択する選択操作が検出されると、前記定位情報に基づいて前記音声情報を出力させる音声出力制御部、
をさらに備える、
前記（８）に記載の情報処理装置。
（１０）
前記表示制御部は、前記仮想位置に前記仮想オブジェクトの一次情報を表示させ、前記仮想オブジェクトを選択する選択操作が検出されると、前記仮想オブジェクトの二次情報を表示させる、
前記（８）または（９）のいずれかに記載の情報処理装置。
（１１）
前記選択操作は、ユーザの顔向きに基づいて検出される、
前記（９）または（１０）のいずれかに記載の情報処理装置。
（１２）
空間内に存在する実オブジェクトの位置に基づいて決定される仮想オブジェクトの仮想位置を取得することと、
前記仮想位置に基づいて、前記仮想オブジェクトに関連する音声情報の音源位置を示す定位情報を生成することと、
を含む、情報処理方法。
（１３）
コンピュータを、
空間内に存在する実オブジェクトの位置に基づいて決定される仮想オブジェクトの仮想位置を取得する取得部と、
前記仮想位置に基づいて、前記仮想オブジェクトに関連する音声情報の音源位置を示す定位情報を生成する定位情報生成部と、
を備える、情報処理装置として機能させるためのプログラム。

１００ 情報処理装置
１０５ 操作部
１１０ 操作情報取得部
１１５ 表示部
１２０ 表示制御部
１２５ 音声出力部
１３０ 音声出力制御部

Claims (13)

1. 空間内に存在する実オブジェクトの位置に基づいて決定される仮想オブジェクトの仮想位置を取得する取得部と、
   前記仮想位置に基づいて、前記仮想オブジェクトに関連する音声情報の音源位置を示す定位情報を生成する定位情報生成部と、
   を備える、情報処理装置。
2. 前記定位情報生成部は、ユーザ位置及び前記仮想位置の間の距離に基づいて、前記定位情報を生成する、
   請求項１に記載の情報処理装置。
3. 前記定位情報生成部は、前記ユーザ位置及び前記仮想位置の間の距離が所定の閾値以上である場合には、前記音源位置を前記仮想位置よりも前記ユーザの正面に近づける、
   請求項２に記載の情報処理装置。
4. 前記定位情報生成部は、前記ユーザ位置及び前記仮想位置の間の距離が前記閾値より小さくなると、前記音源位置を前記ユーザの正面側から前記実オブジェクトの方向に移動させる、
   請求項３に記載の情報処理装置。
5. 前記定位情報生成部は、前記ユーザ位置及び前記仮想位置の間の距離が前記閾値より小さくなると、前記閾値を半径とし前記ユーザ位置を中心とする円周に沿って前記音源位置を移動させる、
   請求項４に記載の情報処理装置。
6. 前記定位情報生成部は、前記仮想位置が前記ユーザの正面方向の所定領域に位置するときは、前記仮想位置を前記音源位置とする、
   請求項１に記載の情報処理装置。
7. ユーザの顔向きを検出する向き検出部、
   をさらに備え、
   前記定位情報生成部は、前記顔向きに基づいて前記定位情報を生成する、
   請求項１に記載の情報処理装置。
8. 前記仮想位置に前記仮想オブジェクトを表示させる表示制御部、
   をさらに備える、
   請求項１に記載の情報処理装置。
9. 表示された前記仮想オブジェクトを選択する選択操作が検出されると、前記定位情報に基づいて前記音声情報を出力させる音声出力制御部、
   をさらに備える、
   請求項８に記載の情報処理装置。
10. 前記表示制御部は、前記仮想位置に前記仮想オブジェクトの一次情報を表示させ、前記仮想オブジェクトを選択する選択操作が検出されると、前記仮想オブジェクトの二次情報を表示させる、
    請求項８に記載の情報処理装置。
11. 前記選択操作は、ユーザの顔向きに基づいて検出される、
    請求項９に記載の情報処理装置。
12. 空間内に存在する実オブジェクトの位置に基づいて決定される仮想オブジェクトの仮想位置を取得することと、
    前記仮想位置に基づいて、前記仮想オブジェクトに関連する音声情報の音源位置を示す定位情報を生成することと、
    を含む、情報処理方法。
13. コンピュータを、
    空間内に存在する実オブジェクトの位置に基づいて決定される仮想オブジェクトの仮想位置を取得する取得部と、
    前記仮想位置に基づいて、前記仮想オブジェクトに関連する音声情報の音源位置を示す定位情報を生成する定位情報生成部と、
    を備える、情報処理装置として機能させるためのプログラム。
    

Images