JP2021175043A - 頭部装着型表示装置、音声画像出力システム、及び、音声画像出力方法 - Google Patents
頭部装着型表示装置、音声画像出力システム、及び、音声画像出力方法 Download PDFInfo
- Publication number
- JP2021175043A JP2021175043A JP2020075807A JP2020075807A JP2021175043A JP 2021175043 A JP2021175043 A JP 2021175043A JP 2020075807 A JP2020075807 A JP 2020075807A JP 2020075807 A JP2020075807 A JP 2020075807A JP 2021175043 A JP2021175043 A JP 2021175043A
- Authority
- JP
- Japan
- Prior art keywords
- voice
- unit
- virtual object
- image
- audio
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
- H04S7/30—Control circuits for electronic adaptation of the sound field
- H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
- H04S7/303—Tracking of listener position or orientation
- H04S7/304—For headphones
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
- G10K15/00—Acoustics not otherwise provided for
- G10K15/02—Synthesis of acoustic waves
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
- H04R5/00—Stereophonic arrangements
- H04R5/033—Headphones for stereophonic communication
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S1/00—Two-channel systems
- H04S1/007—Two-channel systems in which the audio signals are in digital form
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
- H04S2400/15—Aspects of sound capture and related signal processing for recording or reproduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04S—STEREOPHONIC SYSTEMS
- H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
- H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Signal Processing (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
- Stereophonic System (AREA)
Abstract
【課題】仮想物体が発する音を、現実空間の物体に対応して変化させる。【解決手段】HMD100は、使用者Uの頭部に装着され、実空間に位置する実物体を視認可能に、画像を表示する表示部20と、音声を出力する右イヤホン32及び左イヤホン34と、実物体、及び、仮想オブジェクトの位置を特定する位置特定部と、仮想オブジェクトの位置を音源位置とする合成音声を生成し、右イヤホン32及び左イヤホン34から出力させる音声出力制御部と、を備え、音声出力制御部は、実物体ROの位置が、仮想オブジェクトの位置と表示部20の位置との間である場合に、合成音声が実物体を回り込んで聞こえる音声となるように合成音声を調整する。【選択図】図1
Description
本発明は、頭部装着型表示装置、音声画像出力システム、及び、音声画像出力方法に関する。
従来、ヘッドマウントディスプレイ等の表示装置において、仮想物体の画像を表示する技術が知られている。特許文献1に記載の装置は、現実空間の現実物体から発せられた音が、仮想物体によって遮蔽されたと判断した場合に、現実物体から発せられた音のボリュームを下げる。
ところで、仮想物体の画像を表示する場合、仮想物体が発したかのように音を出力することも考えられる。このような場合、仮想物体が発する音を、現実空間の物体に対応して変化させることが考えられるが、そのような提案は従来なかった。
上記課題を解決する一態様は、使用者の頭部に装着され、実空間に位置する実物体を視認可能に、画像を表示する表示部と、音声を出力する音声出力部と、前記実物体、及び、仮想オブジェクトの位置を特定する位置特定部と、前記仮想オブジェクトの位置を音源位置とする合成音声を生成し、音声出力部から出力させる音声出力制御部と、を備え、前記音声出力制御部は、前記実物体の位置が、前記仮想オブジェクトの位置と前記表示部の位置との間である場合に、前記合成音声を、前記実物体に応じて立体的に変化するように調整する、頭部装着型表示装置である。
上記課題を解決する別の一態様は、使用者の頭部に装着され、実空間に位置する実物体を視認可能に、画像を表示する頭部装着型の表示部と、音声を出力する音声出力部と、前記実物体、及び、仮想オブジェクトの位置を特定する位置特定部と、前記仮想オブジェクトの位置を音源位置とする合成音声を生成し、音声出力部から出力させる音声出力制御部と、前記位置特定部により特定された前記仮想オブジェクトの位置に基づいて、前記表示部に前記仮想オブジェクトの画像を表示させる表示制御部と、を備え、前記音声出力制御部は、前記実物体の位置が前記仮想オブジェクトの位置と前記表示部の位置との間である場合に、前記合成音声を、前記実物体に応じて立体的に変化するように調整する、音声画像出力システムである。
上記課題を解決する更に別の一態様は、使用者の頭部に装着され、実空間に位置する実物体を視認可能に、画像を表示する頭部装着型の表示部と、音声を出力する音声出力部と、を利用した音声画像出力方法であって、前記実物体、及び、仮想オブジェクトの位置を特定し、特定した前記仮想オブジェクトの位置に基づいて、前記表示部に前記仮想オブジェクトの画像を表示させ、前記仮想オブジェクトの位置を音源位置とする合成音声を生成し、前記実物体の位置が前記仮想オブジェクトの位置と前記表示部の位置との間である場合に、前記合成音声を、前記実物体に応じて立体的に変化するように調整し、調整した前記合成音声を音声出力部から出力させる、音声画像出力方法である。
以下、図面を参照して実施形態について説明する。
[1.表示システムの全体構成]
図1は、表示システム1の概略構成を示す図である。
図1に示すように、表示システム1は、HMD100を備える。HMD100は、使用者Uが頭部に装着する頭部装着型表示装置である。HMD100は、使用者が虚像を視認すると同時に外景を直接視認可能な、光学透過型の表示装置である。ここで、外景は、HMD100を装着する使用者Uの外部の景色であり、使用者Uが表示部20を装着していない状態でも肉眼により視認可能な、実空間の光景を指す。使用者Uは、HMD100のユーザーであり、操作者ということもできる。HMDは、Head Mounted Displayの略である。表示システム1は、音声画像出力システムの一例に対応する。
図1は、表示システム1の概略構成を示す図である。
図1に示すように、表示システム1は、HMD100を備える。HMD100は、使用者Uが頭部に装着する頭部装着型表示装置である。HMD100は、使用者が虚像を視認すると同時に外景を直接視認可能な、光学透過型の表示装置である。ここで、外景は、HMD100を装着する使用者Uの外部の景色であり、使用者Uが表示部20を装着していない状態でも肉眼により視認可能な、実空間の光景を指す。使用者Uは、HMD100のユーザーであり、操作者ということもできる。HMDは、Head Mounted Displayの略である。表示システム1は、音声画像出力システムの一例に対応する。
HMD100は、使用者Uが頭部に装着する表示部20、及び、表示部20を制御するコントローラー10を備える。表示部20は、使用者Uの頭部に装着された状態で使用者に虚像を視認させる。コントローラー10は、使用者UがHMD100を操作するための制御装置として機能する。表示部20は、表示部の一例に対応する。
以下の説明では、表示部20が使用者Uに視認させる虚像を、便宜的に、表示画像と呼ぶ。HMD100が、画像データに基づく画像光を表示部20から射出することを、画像を表示すると表現する。画像とは、静止画像に限らず、動画像あるいは映像を含む。この構成は一例であり、たとえば、HMD100が、光学的に不透過であってもよい。この場合、HMD100は、外景を撮像し、撮像画像を表示することで、使用者Uに間接的に外景を視認させる、いわゆるビデオシースルー型の表示装置であってもよい。
コントローラー10は、箱形の本体11を有する。本体11は、使用者Uの操作を受け付ける操作子として、各種のスイッチ等を備える。表示部20は、本実施形態では眼鏡形状を有する。表示部20は、右保持部21と、左保持部23と、前部フレーム27とで構成される本体を有する。表示部20の本体には、右表示ユニット22、左表示ユニット24、右導光板26、及び左導光板28が設けられる。
右保持部21及び左保持部23は、前部フレーム27の両端部から後方に延び、使用者Uの頭部に表示部20を保持する。前部フレーム27の両端部のうち表示部20の装着時に使用者Uの右側に位置する端部を端部ERとし、左側に位置する端部を端部ELとする。
右導光板26及び左導光板28は、前部フレーム27に設けられる。表示部20の装着状態において、右導光板26は使用者Uの右眼の前に位置する。左導光板28は使用者Uの左眼の前に位置する。
右表示ユニット22及び左表示ユニット24は、光学ユニット及び周辺回路をユニット化したモジュールである。右表示ユニット22は、右保持部21に取り付けられ、左表示ユニット24は、左保持部23に取り付けられる。右表示ユニット22及び左表示ユニット24は、画像データに基づく画像光を出射する。
右導光板26及び左導光板28は、光透過性の樹脂等によって形成される光学部品である。例えば、右導光板26及び左導光板28はプリズムである。右導光板26は、右表示ユニット22が出力する画像光を使用者Uの右眼に向けて導く。左導光板28は、左表示ユニット24が出力する画像光を使用者の左眼に導く。これにより、使用者Uの両眼に画像光が入射し、使用者Uが画像を視認できる。
使用者Uの右眼には、右導光板26により導かれた画像光と、右導光板26を透過した外光とが入射する。使用者Uの左眼には、左導光板28により導かれた画像光と、左導光板28を透過した外光とが入射する。つまり、HMD100は、内部で処理した画像に対応する画像光と外光とを重ねて使用者Uの眼に入射させる。使用者Uには、右導光板26及び左導光板28を透かして外景が見える。さらに、使用者Uは、外景に重ねて、画像光による画像を見ることができる。
右導光板26及び左導光板28の表面に、使用者Uの右眼及び左眼に入射する外光を減衰させるシェードを設けてもよい。このシェードは、電気的に光の透過率を調整可能な電子シェードであってもよい。
前部フレーム27には、照度センサー65が配置される。照度センサー65は、表示部20を装着する使用者Uの前方からの外光を受光する。
前部フレーム27には、外側カメラ61が配置される。図1の例では、外側カメラ61が前部フレーム27の端部ER側にある。外側カメラ61は、使用者Uの正面を含む撮像範囲を撮像するデジタルカメラである。外側カメラ61は、右導光板26及び左導光板28を透過する外光を遮らない位置に設けられる。外側カメラ61の位置は図1の例に制限されない。外側カメラ61は、端部EL側に配置されてもよく、右導光板26と左導光板28との連結部に配置されてもよい。外側カメラ61は、撮像部の一例に対応する。
前部フレーム27には、外側カメラ61が配置される。図1の例では、外側カメラ61が前部フレーム27の端部ER側にある。外側カメラ61は、使用者Uの正面を含む撮像範囲を撮像するデジタルカメラである。外側カメラ61は、右導光板26及び左導光板28を透過する外光を遮らない位置に設けられる。外側カメラ61の位置は図1の例に制限されない。外側カメラ61は、端部EL側に配置されてもよく、右導光板26と左導光板28との連結部に配置されてもよい。外側カメラ61は、撮像部の一例に対応する。
外側カメラ61は、CCDやCMOS等の撮像素子及び撮像レンズ等を備えるデジタルカメラである。本実施形態の外側カメラ61は単眼カメラであるが、ステレオカメラで構成してもよい。外側カメラ61は、制御部150の制御に従って撮像を実行し、撮像画像データを制御部150に出力する。外側カメラ61は撮像レンズを有する。外側カメラ61の撮像レンズは、いわゆる広角レンズであってもよい。この広角レンズは、超広角レンズ、準広角レンズと呼ばれるレンズであってもよい。外側カメラ61の撮像レンズは、単焦点レンズであってもよいし、ズームレンズであってもよいし、複数のレンズからなるレンズ群であってもよい。外側カメラ61は、撮像部の一例に対応する。CCDはCharge Coupled Deviceの略である。CMOSはComplementaryMetal−Oxide−Semiconductorの略である。
前部フレーム27には、LEDインジケーター67が配置される。LEDインジケーター67は、端部ERにおいて外側カメラ61の近傍に配置され、外側カメラ61の動作中に点灯して、撮像中であることを報知する。LEDはLight Emitting Diodeの略である。
前部フレーム27には、距離センサー64が設けられる。距離センサー64は、使用者Uの前方に位置する測定対象物までの距離を検出する。測定対象物は、実空間に位する現実の物体や構造物である。距離センサー64は、例えば、光反射式距離センサーであってもよい。具体的には、LEDやレーザーダイオード等の光源と、光源が発する光が測定対象物に反射する反射光を受光する受光部とを有するセンサーが挙げられる。また、距離センサー64は、超音波式の距離センサーであってもよい。すなわち、距離センサー64は、超音波を発する音源と、測定対象物で反射する超音波を受信する検出部とを備える構成であってもよい。また、距離センサー64は、測域センサーとも呼ばれるレーザーレンジスキャナーであってもよい。
コントローラー10と表示部20とは、接続ケーブル40により接続される。接続ケーブル40は、本体11のコネクター42に着脱可能に接続される。
接続ケーブル40は、オーディオコネクター46を備える。オーディオコネクター46には、ヘッドセット30が接続される。ヘッドセット30は、ステレオヘッドホンを構成する右イヤホン32及び左イヤホン34と、マイク63とを有する。
接続ケーブル40は、オーディオコネクター46を備える。オーディオコネクター46には、ヘッドセット30が接続される。ヘッドセット30は、ステレオヘッドホンを構成する右イヤホン32及び左イヤホン34と、マイク63とを有する。
右イヤホン32は、使用者Uの右耳に装着される。左イヤホン34は、使用者Uの左耳に装着される。右イヤホン32及び左イヤホン34は、インナーイヤー型のイヤホン、或いは、カナル型のイヤホンである。右イヤホン32及び左イヤホン34は、イヤーマフを介して耳介に接触するオーバーヘッド型のヘッドホンであってもよい。右イヤホン32及び左イヤホン34は、後述する音声インターフェイス181が出力する音声信号に基づき音声を出力する。右イヤホン32及び左イヤホン34は音声出力部の一例に対応し、右イヤホン32は第1音声出力部の一例に対応し、左イヤホン34は第2音声出力部の一例に対応する。
マイク63は、音声を集音して、音声信号を、音声インターフェイス181に出力する。マイク63は、モノラルマイクであってもステレオマイクであってもよい。マイク63は、指向性を有するマイクであってもよいし、無指向性のマイクであってもよい。
コントローラー10は、ホイール操作部12、中央キー13、操作パッド14、上下キー15、LED表示部17、及び電源スイッチ18を備える。これらは使用者Uにより操作される***作部ということができる。これらの***作部は本体11の表面に配置される。これらの***作部は、例えば、使用者Uの手指により操作される。
本体11にはLED表示部17が設置される。LED表示部17は、HMD100の動作状態を示すLEDインジケーターである。LED表示部17は、光を透過可能な透過部によりカバーされる。LED表示部17のカバーは、本体11の表面の一部を構成する。LED表示部17が発光すると、この光が透過部を透過する。これにより、透過部に形成された文字、記号、模様等が視認可能となる。
LED表示部17には、使用者Uの手指の接触を検出するタッチセンサーが、と浮かぶに重ねて配置される。LED表示部17とタッチセンサーとの組合せはソフトウェアキーとして機能する。
電源スイッチ18は、HMD100の電源のオン/オフを切り替えるスイッチである。
本体11は、コントローラー10を、外部の装置に接続するインターフェイスとして、USBコネクター19を備える。USBはUniversal Serial Busの略である。
本体11は、コントローラー10を、外部の装置に接続するインターフェイスとして、USBコネクター19を備える。USBはUniversal Serial Busの略である。
図3には、HMD100が備える内側カメラ68を示す。内側カメラ68は、表示部20において、使用者Uの顔に対向する位置に設置され、右眼及び左眼を向いて配置される。内側カメラ68は、右眼、及び左眼を撮像する。内側カメラ68の撮像画像により、HMD100は、右眼の視線、及び、左眼の視線の方向を特定できる。また、HMD100は、内側カメラ68の撮像画像を解析することにより、右眼及び左眼の瞳孔のサイズを検出することができる。HMD100は、瞳孔のサイズの変化をもとに、使用者Uの瞳孔の縮瞳または散瞳の状態を特定してもよい。また、HMD100は、内側カメラ68の撮像画像をもとに、右眼及び左眼のまぶたの開閉状態を検出してもよい。
[2.HMDの構成]
図4は、HMD100を構成する各部の構成を示すブロック図である。
コントローラー10は、メインプロセッサー125を備える。メインプロセッサー125は、CPU、マイコン等で構成される。メインプロセッサー125には、メモリー118及び不揮発性記憶部121が接続される。メインプロセッサー125には、入力装置として操作部170が接続される。メインプロセッサー125には、センサー類として、6軸センサー111、磁気センサー113、及び、GPS受信部115が接続される。
図4は、HMD100を構成する各部の構成を示すブロック図である。
コントローラー10は、メインプロセッサー125を備える。メインプロセッサー125は、CPU、マイコン等で構成される。メインプロセッサー125には、メモリー118及び不揮発性記憶部121が接続される。メインプロセッサー125には、入力装置として操作部170が接続される。メインプロセッサー125には、センサー類として、6軸センサー111、磁気センサー113、及び、GPS受信部115が接続される。
メインプロセッサー125には、通信部117、音声処理部180、外部メモリーインターフェイス191、USBコネクター19、センサーハブ193、及び、FPGA194が接続される。これらのコンポーネントは外部とのインターフェイスとして機能する。以下の説明および図において、インターフェイスをI/Fと略する。FPGAはField Programmable Gate Arrayの略である。
コントローラー10は、制御基板を備える。この制御基板には、メインプロセッサー125が実装される。制御基板に、6軸センサー111、磁気センサー113、GPS受信部115、通信部117、メモリー118、不揮発性記憶部121、音声処理部180等が実装されてもよい。制御基板に、外部メモリーインターフェイス191、USBコネクター19、センサーハブ193、FPGA194、及びインターフェイス197が実装されてもよい。さらに、制御基板に、コネクター42、及びUSBコネクター19が実装されてもよい。
メモリー118は、メインプロセッサー125が実行するプログラム、及び、メインプロセッサー125が処理するデータ等を一時的に記憶するワークエリアを構成する。不揮発性記憶部121は、フラッシュメモリー等の半導体メモリーデバイスで構成される。不揮発性記憶部121は、メインプロセッサー125が実行するプログラムや、メインプロセッサー125が処理するデータを記憶する。
操作部170は、LED表示部17に配置されたタッチセンサー、ホイール操作部12、中央キー13、操作パッド14、上下キー15、及び電源スイッチ18に対する操作を検出する。操作部170は、操作に対応する操作信号をメインプロセッサー125に出力する。操作部170は、メインプロセッサー125の制御に従って、LED表示部17を点灯、点滅、消灯させる。
6軸センサー111は、コントローラー10の動きを検出するモーションセンサーの一例である。モーションセンサーは、慣性センサーと言い換えることもできる。6軸センサー111は、3軸加速度センサー、及び、3軸ジャイロセンサーを備える。磁気センサー113は、例えば、3軸の地磁気センサーである。6軸センサー111は、加速度センサーとジャイロセンサーがモジュール化されたIMUであってもよい。IMUは、Inertial Measurement Unitの略である。また、6軸センサー111と磁気センサー113がモジュール化された構成であってもよい。
GPS受信部115は、図示しないGPSアンテナによってGPS信号を受信する。GPS受信部115は、GPS信号に基づき、コントローラー10の現在位置の座標を検出または算出する。GPSは、Global Positioning Systemの略である。
6軸センサー111、磁気センサー113及びGPS受信部115は、予め指定されたサンプリング周期に従ってメインプロセッサー125に出力値を出力する。また、6軸センサー111、磁気センサー113及びGPS受信部115は、メインプロセッサー125の要求に応じて、検出値をメインプロセッサー125に出力してもよい。
通信部117は、外部の機器との間で無線通信を実行する通信装置である。通信部117は、図示しないアンテナ、RF回路、ベースバンド回路、通信制御回路等を備える。通信部117は、例えば、Bluetooth、Wi−Fiを含む無線LAN等の規格に準拠した無線通信を行う。RFはRadio Frequencyの略である。Bluetoothは登録商標である。Wi−Fiは登録商標である。
音声インターフェイス181は、オーディオコネクター46を介して右イヤホン32、左イヤホン34、及びマイク63に接続される。音声インターフェイス181は、メインプロセッサー125の制御に従って、右イヤホン32及び左イヤホン34のそれぞれに音声信号を出力し、音声を出力させる。音声インターフェイス181は、マイク63から入力される音声信号をメインプロセッサー125に出力する。音声インターフェイス181は、アナログ音声信号とデジタル音声データとを変換するコンバーターを備えてもよい。この場合、音声インターフェイス181とメインプロセッサー125との間でデジタル音声データが入出力される。
HMD100は、ステレオ音声を処理可能である。具体的には、音声インターフェイス181により、使用者Uの右耳と左耳のそれぞれに対応するチャンネルを含む2チャンネルのステレオ音声を、右イヤホン32及び左イヤホン34により出力させることができる。
外部メモリーインターフェイス191は、可搬型のメモリーデバイスを接続可能なインターフェイスであり、例えば、カード型記録媒体を装着してデータの読取が可能なメモリーカードスロットとインターフェイス回路とを含む。
インターフェイス197は、センサーハブ193及びFPGA194を、表示部20に接続する。
センサーハブ193は、表示部20が備える各種センサーの検出値を取得してメインプロセッサー125に出力する。FPGA194は、メインプロセッサー125と表示部20の各部との間で送受信するデータの処理、及び、インターフェイス197を介した伝送を実行する。
センサーハブ193は、表示部20が備える各種センサーの検出値を取得してメインプロセッサー125に出力する。FPGA194は、メインプロセッサー125と表示部20の各部との間で送受信するデータの処理、及び、インターフェイス197を介した伝送を実行する。
表示部20は、右角度センサー183及び左角度センサー184を備える。
表示部20は、上述したように眼鏡形状であり、右保持部21及び左保持部23は眼鏡のテンプルに類似する部材である。右保持部21及び左保持部23は、それぞれ、前部フレーム27に対して回動可能である。例えば、右保持部21及び左保持部23は、それぞれ、前部フレーム27に対しヒンジ構造により連結される。使用者Uが表示部20を装着した状態で、右保持部21及び左保持部23は、使用者Uの頭部の大きさに合わせた角度で開く。
表示部20は、上述したように眼鏡形状であり、右保持部21及び左保持部23は眼鏡のテンプルに類似する部材である。右保持部21及び左保持部23は、それぞれ、前部フレーム27に対して回動可能である。例えば、右保持部21及び左保持部23は、それぞれ、前部フレーム27に対しヒンジ構造により連結される。使用者Uが表示部20を装着した状態で、右保持部21及び左保持部23は、使用者Uの頭部の大きさに合わせた角度で開く。
右角度センサー183は、前部フレーム27と右保持部21との連結部に設けられ、前部フレーム27に対する右保持部21の角度を検出する。左角度センサー184は、前部フレーム27と左保持部23との連結部に設けられ、前部フレーム27に対する左保持部23の角度を検出する。右角度センサー183、及び左角度センサー184の検出値は、メインプロセッサー125に出力される。
コントローラー10には、接続ケーブル40、及び、図示しない表示部20内部の配線により、右表示ユニット22と、左表示ユニット24とが個別に接続される。
右表示ユニット22は、画像光を発するOLEDユニット221を備える。OLEDユニット221が発する画像光は、レンズ群等を含む光学系により、右導光板26に導かれる。左表示ユニット24は、画像光を発するOLEDユニット241を備える。OLEDユニット241が発する画像光は、レンズ群等を含む光学系により、左導光板28に導かれる。OLEDは、Organic Light Emitting Diodeの略である。
右表示ユニット22は、画像光を発するOLEDユニット221を備える。OLEDユニット221が発する画像光は、レンズ群等を含む光学系により、右導光板26に導かれる。左表示ユニット24は、画像光を発するOLEDユニット241を備える。OLEDユニット241が発する画像光は、レンズ群等を含む光学系により、左導光板28に導かれる。OLEDは、Organic Light Emitting Diodeの略である。
OLEDユニット221、241は、OLEDパネルやOLEDパネルを駆動する駆動回路を有する。OLEDパネルは、有機エレクトロルミネッセンスにより発光する自発光型の表示パネルである。OLEDパネルは、例えば、赤、緑、青の色光をそれぞれ発する発光素子を、マトリクス状に配置して構成される。駆動回路は、メインプロセッサー125の制御に従って、OLEDパネルの発光素子の選択及び発光素子への通電を実行して、OLEDパネルの発光素子を発光させる。これにより、OLEDユニット221、241が画像光を形成し、この画像光が、右導光板26及び左導光板28を経由して、使用者Uの右眼及び左眼に入射する。
右表示ユニット22は、表示ユニット基板210を有する。表示ユニット基板210には、インターフェイス211、受信部213、及び、EEPROM215が実装される。インターフェイス211は、インターフェイス197に接続される。インターフェイス211は、受信部213、EEPROM215、温度センサー66、外側カメラ61、照度センサー65、および、LEDインジケーター67を、コントローラー10に接続する。受信部213は、インターフェイス211を介してコントローラー10から入力されるデータを受信する。図では、受信部213をRxと略する。
EEPROM215は、データを記憶する。EEPROM215は、例えば、OLEDユニット221、241の発光特性や表示特性に関するデータ、右表示ユニット22または左表示ユニット24が備えるセンサーの特性に関するデータなどを記憶する。EEPROM215が記憶するデータはメインプロセッサー125により読み取り可能である。EEPROMは、Electrically Erasable Programmable Read−Only Memoryの略である。
インターフェイス211には、外側カメラ61から、撮像画像データ、或いは、外側カメラ61の撮像結果を示す信号が入力される。インターフェイス211には、距離センサー64から、距離センサー64の検出範囲に位置する対象物までの距離を測定した測定結果が入力される。インターフェイス211には、照度センサー65から、受光量、及び/または受光強度に対応する検出値が入力される。インターフェイス211には、温度センサー66から、温度センサー66が検出した温度に対応する電圧値あるいは抵抗値が入力される。温度センサー66は、OLEDユニット221が有するOLEDパネルの温度を検出する。OLEDパネルが駆動回路等とともに統合半導体チップ上の集積回路に実装される場合、この半導体チップに温度センサー66を実装してもよい。
LEDインジケーター67は、インターフェイス211を介して入力される信号に従って点灯および消灯する。内側カメラ68は、撮像を実行し、撮像画像データ、或いは、撮像結果を示す信号をインターフェイス211に出力する。受信部213は、インターフェイス211を介してメインプロセッサー125が送信するデータを受信する。受信部213は、インターフェイス211を介して受信した画像データを、OLEDユニット221に出力する。
左表示ユニット24は、表示ユニット基板230を有する。表示ユニット基板230には、インターフェイス231及び受信部233が実装される。表示ユニット基板230には、6軸センサー235、及び、磁気センサー237が実装される。インターフェイス231は、受信部233、6軸センサー235、及び、磁気センサー237を、コントローラー10に接続する。受信部233はインターフェイス231を介してコントローラー10から入力されるデータを受信する。
6軸センサー235は、表示部20の動きを検出するモーションセンサーの一例である。6軸センサー235は、3軸加速度センサー、及び、3軸ジャイロセンサーを備える。6軸センサー235は、上記のセンサーがモジュール化されたIMUであってもよい。磁気センサー237は、例えば、3軸の地磁気センサーである。6軸センサー235及び磁気センサー237は、検出値または検出データをインターフェイス231に出力する。これらの検出値または検出データはインターフェイス231を介してメインプロセッサー125に出力される。
外側カメラ61、距離センサー64、照度センサー65、温度センサー66、内側カメラ68、6軸センサー235、及び、磁気センサー237は、コントローラー10のセンサーハブ193に接続される。これらの各センサーには、センサーハブ193から制御信号が入力される。また、LEDインジケーター67はセンサーハブ193に接続される。
センサーハブ193は、メインプロセッサー125の制御に従って、各センサーのサンプリング周期の設定及び初期化を行う。センサーハブ193は、各センサーのサンプリング周期に合わせて、各センサーへの通電、制御データの送信、検出値の取得等を実行する。センサーハブ193は、予め設定されたタイミングで、各センサーの検出値をメインプロセッサー125に出力する。センサーハブ193は、メインプロセッサー125の制御に従ってLEDインジケーター67への通電を開始及び停止させ、外側カメラ61が撮像を開始及び終了するタイミングに合わせて、LEDインジケーター67を点灯または点滅させる。
[3.HMDの制御系]
図3は、HMD100の制御系の機能ブロック図である。HMD100の制御系は、記憶部140、及び制御部150で構成される。記憶部140は、不揮発性記憶部121により構成される論理的な記憶部であり、EEPROM215を含んでもよい。制御部150、及び、制御部150が有する各種の機能部は、メインプロセッサー125が制御プログラム141を実行することによって、ソフトウェアとハードウェアとの協働により構成される。
図3は、HMD100の制御系の機能ブロック図である。HMD100の制御系は、記憶部140、及び制御部150で構成される。記憶部140は、不揮発性記憶部121により構成される論理的な記憶部であり、EEPROM215を含んでもよい。制御部150、及び、制御部150が有する各種の機能部は、メインプロセッサー125が制御プログラム141を実行することによって、ソフトウェアとハードウェアとの協働により構成される。
記憶部140は、制御プログラム141、設定データ142、基本映像データ143、位置履歴データ144、音響データ145、及び、基本音声データ146を記憶する。
設定データ142は、HMD100の動作に係る各種の設定値を含む。また、制御部150がHMD100を制御する際にパラメーター、行列式、演算式、LUT等を用いる場合、これらを設定データ142に含めてもよい。LUTはLookUp Tableの略である。
基本映像データ143は、制御部150が表示部20に表示させる映像あるいは画像のもととなるデータである。基本映像データ143は、使用者Uが表示部20を透過して視認する実空間に重ねて表示される仮想オブジェクトのデータを含む。このデータは、画像データ、映像データ、或いは、仮想オブジェクトの画像データを生成するための3Dデータであってもよい。また、基本映像データ143は、例えば、表示部20により表示する映像コンテンツのデータであってもよい。
仮想オブジェクトは、実空間に存在しない仮想の物体を表す画像である。HMD100は、実空間に仮想の物体の位置を設定する。HMD100は、設定した位置に仮想の物体が配置された状態を表す画像を表示部20により表示する。仮想オブジェクトの位置は、例えば、使用者Uが表示部20を透過して視認する範囲の実空間に設定される。
位置履歴データ144は、仮想オブジェクトの位置を含むデータである。位置履歴データ144は、制御部150が仮想オブジェクトの位置を更新する毎に蓄積されるデータである。例えば、位置履歴データ144は、時系列順に並べることが可能な複数の仮想オブジェクトの位置を含む。
音響データ145は、制御部150が音響処理を行う場合に利用されるデータである。例えば、音響データ145は、頭部伝達関数に基づく音響処理を行う場合に利用されるデータであり、モデル空間の音響特性を示す各種のデータを含む。頭部伝達関数は、Head−Related Transfer Functionの訳であり、HRTFと略される。
基本音声データ146は、制御部150が音響処理を行うもとになる音声データである。基本音声データ146は、モノラル音声データであってもよい。本実施形態では、基本音声データ146は、2チャンネルのステレオ音声データである。
基本音声データ146に基づく音声、及び、基本音声データ146に対して音響処理を行った音声は、単なる音を含む。音楽等の音声のほか、雑音、足音、風の音等の音や、ARゲーム等のARソフトウェアで使用される効果音、背景音等であってもよい。ここで、ARはArgument Realityの略であり、拡張現実とも呼ばれる。
基本音声データ146に基づく音声、及び、基本音声データ146に対して音響処理を行った音声は、単なる音を含む。音楽等の音声のほか、雑音、足音、風の音等の音や、ARゲーム等のARソフトウェアで使用される効果音、背景音等であってもよい。ここで、ARはArgument Realityの略であり、拡張現実とも呼ばれる。
制御部150は、基本制御部151、撮像制御部152、位置特定部153、基本音声データ取得部154、音声出力制御部155、基本映像データ取得部156、映像出力制御部157、及び、センサー制御部158を有する。映像出力制御部157は、表示制御部の一例に対応する。
基本制御部151は、HMD100の各部を制御する基本機能を実行する。基本制御部151は、HMD100の電源がオンされたときに起動処理を実行し、HMD100の各部を初期化する。基本制御部151は、コントローラー10の電源をオフにする場合に、シャットダウン処理を実行し、HMD100を停止させる。
撮像制御部152は、外側カメラ61及び内側カメラ68を制御して、撮像を実行させる。撮像制御部152は、撮像画像を取得して、記憶部140に一時的に記憶させる。
位置特定部153は、外側カメラ61の撮像画像を解析することにより、外側カメラ61の撮像範囲に位置する実物体の位置を特定する。また、位置特定部153は、表示部20により表示する仮想オブジェクトの位置を特定する。
基本音声データ取得部154は、記憶部140が記憶する基本音声データ146を取得する。本実施形態では、記憶部140が基本音声データ146を記憶している構成を例示するが、HMD100は、基本音声データ146を外部の装置やデバイスから取得する構成であってもよい。例えば、基本音声データ取得部154は、音声データが記録されたメモリーデバイスから、外部メモリーインターフェイス191を介して基本音声データ146を取得してもよい。また、基本音声データ取得部154は、通信部117が外部の装置から受信する音声データを取得してもよい。
音声出力制御部155は、基本音声データ取得部154が取得した基本音声データ146に対する音響処理を実行する。音声出力制御部155は、音響処理によって合成音声を生成し、合成音声の音声信号を音声インターフェイス181により出力させる。
基本映像データ取得部156は、記憶部140が記憶する基本映像データ143を取得する。
映像出力制御部157は、基本映像データ143に基づいて仮想オブジェクトの映像データを生成する。映像出力制御部157は、仮想オブジェクトの映像データに基づき、表示部20を制御して、仮想オブジェクトの映像を表示部20に表示させる。
映像出力制御部157は、基本映像データ143に基づいて仮想オブジェクトの映像データを生成する。映像出力制御部157は、仮想オブジェクトの映像データに基づき、表示部20を制御して、仮想オブジェクトの映像を表示部20に表示させる。
センサー制御部158は、HMD100が備える各種センサーを動作させ、センサーの検出値を取得する。
[4.表示システムの動作]
図4及び図5は、HMD100の動作を示すフローチャートである。図6−図9は、HMD100の動作の説明図である。図6は、表示システム1が動作する状況の一例を示す図である。図7及び図8は、HMD100が実行する音響処理の例を示す図である。図9は、表示システム1が動作する状況の別の例を示す図である。
以下、これらの図を参照して、表示システム1の動作を説明する。
図4及び図5は、HMD100の動作を示すフローチャートである。図6−図9は、HMD100の動作の説明図である。図6は、表示システム1が動作する状況の一例を示す図である。図7及び図8は、HMD100が実行する音響処理の例を示す図である。図9は、表示システム1が動作する状況の別の例を示す図である。
以下、これらの図を参照して、表示システム1の動作を説明する。
図6には、表示部20を装着した使用者Uが、実空間RAにいる状態を示す。実物体ROには、現実の物体である実物体ROが配置されている。実空間RAには、位置検出用のマーカーMが配置される。マーカーMの数に制限はなく、1カ所であってもよいし、複数箇所であってもよい。マーカーMは、外側カメラ61の撮像画像において検出可能であればよい。マーカーMは現実の物体であってもよいし、実空間RAの壁や床が着色された箇所をマーカーMとしてもよい。マーカーMは指標物の一例に対応する。
図6には、外側カメラ61の撮像範囲を符号PRで示す撮像範囲PRは、表示部20の向きにより移動する。
使用者Uは、実物体ROを含む実空間RAを、表示部20を透過して視認できる。HMD100は、表示部20により、実空間RAの景色に重ねて仮想オブジェクトVOを表示する。仮想オブジェクトVOは、表示部20が表示する画像であるが、使用者Uには実空間RAに物体が存在するかのように見える仮想現実である。図に示す基準点VPは、仮想オブジェクトVOの位置の基準となる点である。基準点VPを示す黒点は実際には表示されない。
使用者Uは、実物体ROを含む実空間RAを、表示部20を透過して視認できる。HMD100は、表示部20により、実空間RAの景色に重ねて仮想オブジェクトVOを表示する。仮想オブジェクトVOは、表示部20が表示する画像であるが、使用者Uには実空間RAに物体が存在するかのように見える仮想現実である。図に示す基準点VPは、仮想オブジェクトVOの位置の基準となる点である。基準点VPを示す黒点は実際には表示されない。
HMD100は、合成音声を、右イヤホン32及び左イヤホン34から出力する。合成音声は、仮想オブジェクトVOから発せられる音声を模した音声である。合成音声は、HMD100により、仮想オブジェクトVOの基準点VPから聞こえるように音響処理が施された音声である。本実施形態で行う音響処理は、使用者Uの耳から基準点VPまでの距離と、使用者Uの頭部を基準とした基準点VPの方向とに基づく処理である。
図4の処理において、映像出力制御部157は、仮想オブジェクトVOを表示するための基本映像データ143を取得する(ステップST11)。
撮像制御部152は、外側カメラ61に撮像を実行させ、撮像画像を取得する(ステップST12)。位置特定部153は、外側カメラ61の撮像画像から、実物体ROを検出する(ステップST13)。ステップST13で、位置特定部153は、撮像画像を解析することにより、撮像画像から撮像範囲PRに位置する物体の画像を切り出す。例えば、HMD100は、実物体ROの画像をパターンマッチングにより検出するためのデータやパラメーターを設定データ142として記憶する。この場合、位置特定部153は、パターンマッチングによって撮像画像から実物体ROを検出する。位置特定部153は撮像画像から複数の実物体ROを検出してもよい。また、位置特定部153は、予め設定された種類の実物体ROを検出してもよいし、画像解析のアルゴリズムにより未知の実物体ROを検出できるものであってもよい。レーザーレンジスキャナーを利用したSLAM等の処理により空間認識および/または物体認識を行い、実物体ROを検出してもよい。SLAMは、Simultaneous Localization and Mappingの略である。
撮像制御部152は、外側カメラ61に撮像を実行させ、撮像画像を取得する(ステップST12)。位置特定部153は、外側カメラ61の撮像画像から、実物体ROを検出する(ステップST13)。ステップST13で、位置特定部153は、撮像画像を解析することにより、撮像画像から撮像範囲PRに位置する物体の画像を切り出す。例えば、HMD100は、実物体ROの画像をパターンマッチングにより検出するためのデータやパラメーターを設定データ142として記憶する。この場合、位置特定部153は、パターンマッチングによって撮像画像から実物体ROを検出する。位置特定部153は撮像画像から複数の実物体ROを検出してもよい。また、位置特定部153は、予め設定された種類の実物体ROを検出してもよいし、画像解析のアルゴリズムにより未知の実物体ROを検出できるものであってもよい。レーザーレンジスキャナーを利用したSLAM等の処理により空間認識および/または物体認識を行い、実物体ROを検出してもよい。SLAMは、Simultaneous Localization and Mappingの略である。
位置特定部153は、ステップST13で検出した実物体ROの位置と使用者Uの位置とを特定する(ステップST14)。位置特定部153は、例えば、撮像画像における実物体ROの位置をもとに、表示部20に対する実物体ROの相対位置を求める。また、位置特定部153は、6軸センサー111、磁気センサー113、6軸センサー235、及び磁気センサー237の少なくともいずれかのセンサーの検出値に基づき、表示部20の位置や角度を求めてもよい。この場合、位置特定部153は、求めた位置や角度を表示部20に対する実物体ROの位置を求める処理に利用してもよい。
ステップST14で、位置特定部153は、例えば、実空間RAにおける特定の位置を基準として実物体ROの位置および使用者Uの位置を特定してもよい。また、例えば、位置特定部153は、使用者Uの位置を基準とする実物体ROの相対位置を特定してもよい。位置の表現の方法は任意である。例えば、位置特定部153は、図6に示すXYZ直交座標系における使用者Uの位置と実物体ROの位置とを、ステップST14で求めてもよい。この場合、座標系の原点位置が使用者Uの頭部であってもよい。具体的には、使用者Uが装着している表示部20の中心や、HMD100が推定する使用者Uの両耳の位置を基準としてもよい。また、後述する頭部基準位置SPを基準としてもよい。
位置特定部153は、例えば、右角度センサー183及び左角度センサー184の検出値から使用者Uの頭部の大きさを推定する。続いて、使用者Uの頭部の大きさを、人間の頭部サイズと耳の位置の基準モデルに当てはめることで、使用者Uの右耳および左耳の位置を特定できる。
位置特定部153は、例えば、右角度センサー183及び左角度センサー184の検出値から使用者Uの頭部の大きさを推定する。続いて、使用者Uの頭部の大きさを、人間の頭部サイズと耳の位置の基準モデルに当てはめることで、使用者Uの右耳および左耳の位置を特定できる。
位置特定部153は、極座標により使用者Uに対する実物体ROの相対位置を表現してもよい。例えば、図6に例示したように、実物体ROの位置Pを、Z軸に対する角度θと、位置PをXY平面に投影した位置Qに係る角度φと、位置Pまでの距離rとにより、位置Pを表現してもよい。この場合、原点は実空間RAに固定された座標であってもよいし、使用者Uの頭部の位置を原点としてもよい。その他、位置特定部153が利用する位置の表現方法は任意である。
ステップST14で、位置特定部153は、マーカーMを利用して使用者Uの位置および実物体ROの位置を特定してもよい。例えば、位置特定部153は、撮像画像をもとに、撮像範囲PRに位置するマーカーMの画像を検出する。この場合、実空間RAにおけるマーカーMの位置は事前に特定されていて、このマーカーMの位置を示す情報が設定データ142に含まれる。HMD100は、位置特定部153は、撮像画像におけるマーカーMの画像の位置をもとに、実空間RAにおける使用者Uの位置を特定することができる。
また、ステップST14において、位置特定部153は、上述した方法とは異なる方法により、使用者Uの位置や実物体ROの位置を特定してもよい。例えば、実空間RAに不図示の無線ビーコンが配置されている場合、通信部117が無線ビーコンからの信号を受信することにより、使用者Uの位置を特定し、さらに撮像画像をもとに実物体ROの位置を特定してもよい。
位置特定部153は、実空間RAにおける仮想オブジェクトVOの位置を特定する(ステップST15)。仮想オブジェクトVOの位置は任意の位置に設定することができ、映像コンテンツとして使用者Uに視認させる内容に従って決定できる。仮想オブジェクトVOの位置は、XYZ直交座標系や極座標により表現され、実空間RAにおける特定の位置を基準としてもよいし使用者Uの位置を基準としてもよい。例えば、飛翔するドローンの映像を使用者Uに視認させる場合、予めプログラムされたドローンの軌跡に沿って、仮想オブジェクトVOの位置が決定される。
基本音声データ取得部154は、記憶部140から、ステップST11で取得した基本映像データ143に対応付けられた基本音声データ146を取得する(ステップST16)。例えば、基本映像データ143が飛翔するドローンの映像である場合、基本音声データ取得部154は、ドローンのプロペラ音の基本音声データ146を取得する。
位置特定部153は、使用者Uの視野において仮想オブジェクトVOが実物体ROに隠れる位置にあるか否かを判定する(ステップST17)。位置特定部153は、ステップST15で特定された仮想オブジェクトVOの位置と、ステップST14で特定された使用者Uの位置及び実物体ROの位置と、を比較することにより、ステップST17の判定を行う。
例えば、仮想オブジェクトVOを表示している間に、仮想オブジェクトVOまたは使用者Uが移動した場合、図6に示すように、使用者Uから見て、仮想オブジェクトVOが実物体ROの影に隠れることがある。この状態は、使用者Uと仮想オブジェクトVOとの間に実物体ROが位置する状態である。
仮想オブジェクトVOが実物体ROに隠れる位置であると判定した場合(ステップST17;YES)、位置特定部153及び音声出力制御部155は、実物体ROを音が回り込むことを反映した音響処理を実行する(ステップST18)。ステップST18の音響処理により、使用者Uの右耳用の合成音声と左耳用の合成音声とが生成される。右耳用の合成音声は右イヤホン32から出力される音声であり、左耳用の合成音声は左イヤホン34から出力される音声である。
仮想オブジェクトVOが実物体ROに隠れる位置でないと判定した場合(ステップST17;NO)、位置特定部153は、音源位置と距離とを設定する(ステップST19)。詳細には、位置特定部153は、仮想オブジェクトVOの位置に基づき、音源位置と仮想オブジェクトVOから使用者Uの右耳および左耳までの距離とを設定する(ステップST19)。音声出力制御部155は、ステップST19で設定した音源位置および距離に基づき、基本音声データ146に対する音響処理を実行し、使用者Uの右耳用の合成音声と左耳用の合成音声とを生成する(ステップST20)。
音声出力制御部155及び映像出力制御部157は、音声の出力および表示部20における表示の更新を実行する(ステップST21)。すなわち、音声出力制御部155は、ステップST18またはステップST20で生成した合成音声を、音声インターフェイス181により右イヤホン32、左イヤホン34から出力させる。映像出力制御部157は、表示部20により表示する仮想オブジェクトVOの画像を更新する。
基本制御部151は、映像と音声の出力を終了するか否かを判定する(ステップST22)。出力を終了しない場合は(ステップST22;NO)、ステップST12戻る。出力を終了する場合、本処理を終了する。
ここで、ステップST18における音響処理と、ステップST19−ST20における音響処理とを詳細に説明する。
図7には、仮想オブジェクトVOが実物体ROに隠れていない状態を示す。符号VPLは、仮想オブジェクトVOの基準点VPと、使用者Uの頭部の基準位置である頭部基準位置SPとを含む仮想の平面である。頭部基準位置SPは、例えば、前部フレーム27の中心に位置する。頭部基準位置SPは、HMD100が推定する使用者Uの両耳の中心であってもよい。位置特定部153は、ステップST14で頭部基準位置SPと基準点VPの相対位置または実空間RAにおける位置を特定する。
位置特定部153は、基準点VPから使用者Uの右耳までの距離Lr1、及び、左耳までの距離Ll1を算出する。ここで算出される距離Lr1、Ll1は、仮想面VPLにおける距離である。距離Lr1、Ll1を求めるまでの処理は、ステップST19に相当する。
音声出力制御部155は、ステップST20で、基準点VPを音源位置として、基本音声データ146に基づく音声が出力されたことに対応する音響処理を行う。例えば、音声出力制御部155は、距離Lr1と距離Ll1との差に基づき、両耳間強度差、及び、両耳間時間差を算出する。両耳間強度差は、右耳用の合成音声と左耳用の合成音声との音量差である。両耳間時間差は、右耳用の合成音声と左耳用の合成音声との時間差である。音声出力制御部155は、基本音声データ146に両耳間強度差と両耳間時間差とを反映させる音響処理を実行し、右耳用の合成音声と左耳用の合成音声とを生成する。さらに、音声出力制御部155は、HRTFに基づき、右耳用の合成音声と左耳用の合成音声とに周波数成分の差を持たせる処理を行ってもよい。周波数成分の差は、図6のZ軸方向における頭部基準位置SPと基準点VPの相対位置に基づき算出される。これにより、仮想オブジェクトVOの位置を反映した臨場感のある音声を出力できる。
図8には、仮想オブジェクトVOが実物体ROに隠れる位置である状態を示す。図8の状態は、ステップST18の処理が適用される典型的な例である。音声出力制御部155は、仮想オブジェクトVOを音源位置とする合成音声が、実物体ROの端部を回り込んで使用者Uの両耳に到達する音響状態を再現する。図8には、使用者Uの右耳の位置を符号RRで示し、使用者Uの左耳の位置を符号LLで示す。右耳位置RRは、右イヤホン32が装着される位置であり、左耳位置LLは左イヤホン34が装着される位置である。
この図8と、図5のフローチャートを参照して、ステップST18の処理を説明する。
この図8と、図5のフローチャートを参照して、ステップST18の処理を説明する。
位置特定部153は、実物体ROにおける第1端部RP1、及び、第2端部RP2を特定する(ステップST31)。第1端部RP1及び第2端部RP2は、図6に示すように、実物体ROの外縁部のうち、頭部基準位置SPに近い左右の端部にある。図6では、第1端部RP1は、右側の端部E1上にあり、第2端部RP2は左側の端部E2上にある。端部E1は、実物体ROの外縁において右側の端部であって、頭部基準位置SPに最も近い位置である。端部E2は、実物体ROの外縁において左側の端部であって、頭部基準位置SPに最も近い位置である。ここで、右および左は使用者Uを基準とする。第1端部RP1は、端部E1において仮想面VPL上の点であり、第2端部RP2は端部E2において仮想面VPL上の点である。
基準点VPから発した音が使用者Uの耳に到達する経路は複数存在する。詳細には、右耳位置RRには、基準点VPから第1端部RP1を回り込む音声が到達する。この音声を、第1右音声SR1とする。また、右耳位置RRには、基準点VPから第2端部RP2を回り込む音声が到達する。この音声を、第2右音声SR2とする。左耳位置LLには、基準点VPから第1端部RP1を回り込む音声が到達する。この音声を、第1左音声SL1とする。また、左耳位置LLには、基準点VPから第2端部RP2を回り込む音声が到達する。この音声を、第2左音声SL2とする。
基準点VPから発した音が使用者Uの耳に到達する経路は、厳密には、第1端部RP1及び第2端部RP2に限らない。本実施形態では、使用者Uが左右の耳で聴取した場合の現実感を効果的に高めるため、実物体ROの左右における端部で第1端部RP1及び第2端部RP2を特定し、これら第1端部RP1及び第2端部RP2の位置を基準として合成音声を調整する。
位置特定部153は、第1端部RP1、第2端部RP2から右耳位置RR、左耳位置LLまでの距離を算出する(ステップST32)。詳細には、第1端部RP1から右耳位置RRまでの距離Lr21、第2端部RP2から左耳位置LLまでの距離Ll21、第2端部RP2から右耳位置RRまでの距離Lr23、及び、第1端部RP1から左耳位置LLまでの距離Ll23を算出する。
位置特定部153は、基準点VPから第1端部RP1までの距離Lr22、及び、基準点VPから第2端部RP2までの距離Ll22を算出する(ステップST33)。
位置特定部153は、第1右音声SR1及び第2右音声SR2の伝搬距離を算出する(ステップST34)。第1右音声SR1の伝搬距離は、距離Lr21と距離Lr22の和である。第2右音声SR2の伝搬距離は、距離Lr23と距離Ll22との和である。
音声出力制御部155は、第1右音声SR1の音源位置を第1端部RP1に設定し、第2右音声SR2の音源位置を第2端部RP2に設定し、ステップST34で算出した伝搬距離を設定する(ステップST35)。第1右音声SR1は基準点VPから発せられる音であるが、実物体ROを回り込むため、第1端部RP1から右耳位置RRに向かって伝搬する。このため、第1端部RP1を第1右音声SR1の音源の位置とみなすことにより、現実の物体から発する音声を適切に再現できる。第2右音声SR2についても同様に、音源位置を第2右音声SR2とすることが適切である。第1左音声SL1、第2左音声SL2についても同様である。
位置特定部153は、第1左音声SL1及び第2左音声SL2の伝搬距離を算出する(ステップST36)。第1左音声SL1の伝搬距離は、距離Ll23と距離Lr22の和である。第2左音声SL2の伝搬距離は、距離Ll21と距離Ll22との和である。
音声出力制御部155は、第1左音声SL1の音源位置を第1端部RP1に設定し、第2左音声SL2の音源位置を第2端部RP2に設定し、ステップST36で算出した伝搬距離を設定する(ステップST37)。
音声出力制御部155は、ステップST35で設定した音源位置及び伝搬距離に基づき、基本音声データ146に対する音響処理を実行し、右耳用及び左耳用の合成音声の音声データを生成する(ステップST38)。
詳細には、音声出力制御部155は、ステップST35、ST37で設定した音源位置及び伝搬距離に基づいて、両耳間強度差および両耳間時間差を算出し、基本音声データ146に音響処理を施して右耳用の合成音声と左耳用の合成音声とを生成する。両耳間強度差および両耳間時間差に基づく処理は、耳に到達する音波の強度の差、および、音波が到達する時間差により音源の音像定位を再現する処理である。ここで、音声出力制御部155は、HRTFに基づく周波数成分の差を持たせる処理を行ってもよい。これは、音波の伝達や遮蔽による周波数特性の変化により音源の音像定位を再現する処理である。また、音声出力制御部155は、基本音声データ146に対して位相を調整する処理を行うことにより、音波の伝達や遮蔽による位相の変化により音源の音像定位を再現する音響処理を行ってもよい。また、音声出力制御部155は、空間の残響特性を示すインパルス応答に基づいて、基本音声データ146に音響処理を施してもよい。
第1端部RP1を回り込む音声とは、実物体ROに隠れる位置から、第1端部RP1を経由して、使用者Uの耳に到達する音声である。この音声が第1端部RP1を回り込むことにより、音の屈折、回折、干渉、反射等が発生し、これにより、音のうなり、共鳴、残響を含む音が使用者Uに聞こえる。第2端部RP2を回り込む音声も同様である。音声出力制御部155は、第1端部RP1を回り込む音声を再現する音響処理として、音の屈折、回折、干渉、反射等の少なくともいずれかが発生したことによる音のうなり、共鳴、残響の少なくともいずれかを含む音となるように、音響処理を行う。第2端部RP2を回り込む音声についても同様である。
以上説明したように、本発明を適用した実施形態に係るHMD100は、使用者Uの頭部に装着され、実空間に位置する実物体ROを視認可能に、画像を表示する表示部20と、音声を出力する右イヤホン32及び左イヤホン34と、を備える。HMD100は、実物体RO、及び、仮想オブジェクトVOの位置を特定する位置特定部153と、仮想オブジェクトVOの位置を音源位置とする合成音声を生成し、右イヤホン32及び左イヤホン34から出力させる音声出力制御部155と、を備える。音声出力制御部155は、実物体ROの位置が、仮想オブジェクトVOの位置と表示部20の位置との間である場合に、合成音声を、実物体ROに応じて立体的に変化するように合成音声を調整する。
表示システム1は、使用者Uの頭部に装着され、実空間に位置する実物体ROを視認可能に、画像を表示する頭部装着型の表示部20と、音声を出力する右イヤホン32及び左イヤホン34と、を備える。表示システム1は、実物体RO、及び、仮想オブジェクトVOの位置を特定する位置特定部153と、仮想オブジェクトVOの位置を音源位置とする合成音声を生成し、右イヤホン32及び左イヤホン34から出力させる音声出力制御部155と、を備える。また、位置特定部153により特定された仮想オブジェクトVOの位置に基づいて、表示部20に仮想オブジェクトVOの画像を表示させる映像出力制御部157を備える。音声出力制御部155は、実物体ROの位置が仮想オブジェクトVOの位置と表示部20の位置との間である場合に、合成音声を、実物体ROに応じて立体的に変化するように調整する。
HMD100が実行する音声画像出力方法は、実物体RO、及び、仮想オブジェクトVOの位置を特定する。また、特定した仮想オブジェクトVOの位置に基づいて、表示部20に仮想オブジェクトVOの画像を表示させる。また、仮想オブジェクトVOの位置を音源位置とする合成音声を生成する。また、実物体ROの位置が仮想オブジェクトVOの位置と表示部20の位置との間である場合に、合成音声を、実物体ROに応じて立体的に変化するように調整する。また、調整した合成音声を右イヤホン32及び左イヤホン34から出力させる。
HMD100、HMD100を用いた表示システム1、及び、HMD100が実行する音声画像出力方法によれば、仮想オブジェクトVOが発する音を模した音声を、仮想オブジェクトVOと実物体ROとの位置関係に応じて調整できる。これにより、仮想オブジェクトVOが実際に出力しているかのような、現実感に富む音声を出力することができる。従って、表示部20によって表示される仮想オブジェクトVOの画像と、調整された音声とにより、使用者Uに、現実感に富む拡張現実を体験させることができる。
音声出力制御部155は、合成音声が実物体ROを回り込んで聞こえる音声となるように、合成音声を調整する。これにより、音声の回り込みを再現することができ、より現実感に富む音声を出力できる。
HMD100は、基本音声データ146を取得する基本音声データ取得部154を備え、音声出力制御部155は、基本音声データ146の音源位置を仮想オブジェクトVOの位置とする処理により、合成音声を生成する。この構成により、仮想オブジェクトVOが出力する状態を模した音声を、基本音声データ146を利用して速やかに生成できる。
HMD100は、音声出力部として右イヤホン32と左イヤホン34とを有し、合成音声は、第1音声としての右耳用の合成音声と、第2音声としての左耳用の合成音声とを含む。音声出力制御部155は、第1音声を右イヤホン32から出力させ、第2音声を左イヤホン34から出力させる。位置特定部153は、実物体ROの外縁において第1端部RP1と第2端部RP2の位置を特定する。音声出力制御部155は、第1端部RP1、第2端部RP2、右イヤホン32、及び、左イヤホン34の位置に基づいて、右イヤホン32から出力される合成音声と左イヤホン34から出力される合成音声との間で、時間差および強度差を調整する。これにより、仮想オブジェクトVOが発した音声が実物体ROを回り込む状態を、より正確に再現できる。従って、使用者Uが、実物体ROに隠れる位置から回り込みを経て聞こえる音声を聞かせることができる。
HMD100は、外側カメラ61を備える。位置特定部153は、外側カメラ61の撮像画像から実物体ROを検出し、実物体ROの位置を特定する処理と、第1端部RP1の位置および第2端部RP2の位置を特定する処理とを実行する。これにより、実物体ROの位置の特定と、音が回り込む位置の特定とを、撮像画像に基づき速やかに行うことができる。
位置特定部153は、外側カメラ61の撮像画像から、実空間に配置されたマーカーMを検出し、マーカーMの位置を基準として仮想オブジェクトVOの位置を特定する。この構成によれば、マーカーMを利用して、仮想オブジェクトVOの位置の特定を速やかに行うことができる。
音声出力制御部155は、位置特定部153により特定された仮想オブジェクトVOの位置から使用者Uまでの距離に応じて合成音声を調整する。これにより、仮想オブジェクトVOの位置から音声が使用者Uの耳に伝搬する状態を高精度で再現できる。従って、使用者Uに、より現実感に富む音声を聞かせることができる。
[5.他の実施形態]
本発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
本発明は上記実施形態の構成に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能である。
例えば、映像出力制御部157は、音声出力制御部155が実行する音響処理に対応して、表示部20により表示される映像に演出を加えてもよい。
図9は、HMD100の動作の例を示す図であり、音響処理に対応する表示演出を実行する例を示す。図9には、ドローンを模した仮想オブジェクトVOの画像が、基準点VPに合わせて表示される。映像出力制御部157は、基準点VPが実物体ROに隠れる状態となる際に、位置特定部153が特定する実物体ROの位置と、基準点VPの位置と、使用者Uの位置とに合わせて、演出オブジェクトPOを表示する。演出オブジェクトPOは、音声出力制御部155が右イヤホン32及び左イヤホン34から出力させる音声を文字により示す画像であり、音響処理の様子を表現するように、文字サイズに変化を持たせている。この例では、音声出力制御部155が音響処理を施すとともに、音響処理に合わせて表示を演出することで、より臨場感に富む拡張現実体験を実現できる。
図9は、HMD100の動作の例を示す図であり、音響処理に対応する表示演出を実行する例を示す。図9には、ドローンを模した仮想オブジェクトVOの画像が、基準点VPに合わせて表示される。映像出力制御部157は、基準点VPが実物体ROに隠れる状態となる際に、位置特定部153が特定する実物体ROの位置と、基準点VPの位置と、使用者Uの位置とに合わせて、演出オブジェクトPOを表示する。演出オブジェクトPOは、音声出力制御部155が右イヤホン32及び左イヤホン34から出力させる音声を文字により示す画像であり、音響処理の様子を表現するように、文字サイズに変化を持たせている。この例では、音声出力制御部155が音響処理を施すとともに、音響処理に合わせて表示を演出することで、より臨場感に富む拡張現実体験を実現できる。
また、仮想オブジェクトVOに複数の音源位置が設定されてもよい。例えば、図9に示す仮想オブジェクトVOにおいて、4個のプロペラの各々の位置を音源位置としてもよい。この場合、位置特定部153は、各々の音源位置を特定し、各々の音源位置と実物体ROとの位置を特定してもよい。音声出力制御部155は、複数の音源位置の各々から出力される音声を再現するため、個々の音源位置に対する音響処理を実行し、これらの音声を合成する処理を行ってもよい。
また、上記実施形態で音声出力制御部155が実行するHRTFに基づく周波数成分の音響処理は、空間特性のモデルを用いた近似的な処理であってよい。また、位置特定部153により実空間RAの種類や状態を判別し、判別結果に応じて、音響処理を変化させてもよい。また、位置特定部153によって実物体ROの形状を判別し、音声出力制御部155が実物体ROの形状に合わせた処理を行ってもよい。
また、映像出力制御部157は、複数の仮想オブジェクトVOを表示させてもよい。この場合、位置特定部153は、複数の仮想オブジェクトVOの位置と、実物体ROの位置と、使用者Uの位置とを特定してもよい。音声出力制御部155は、複数の仮想オブジェクトVOの相互の相対位置に基づいて、いずれかの仮想オブジェクトVOが発する合成音声に対し音響処理を施してもよい。
また、制御部150は、6軸センサー235及び/または磁気センサー237の検出結果に基づいて、表示部20を装着した使用者Uの頭部の姿勢を特定してもよい。すなわち、制御部150は、姿勢特定部を有してもよい。この場合、音声出力制御部155は、姿勢特定部により特定された使用者Uの頭部の姿勢に応じて、合成音声を調整してもよい。
また、制御部150は、6軸センサー235及び/または磁気センサー237の検出結果、或いは、内側カメラ68の撮像画像に基づいて、使用者Uの視線方向を特定してもよい。すなわち、制御部150は、視線特定部を備えてもよい。音声出力制御部155は、視線特定部により特定された使用者Uの視線方向に応じて、合成音声を調整してもよい。
表示部20の表示画像及び/または、右イヤホン32及び左イヤホン34から出力する音声を処理する装置は、コントローラー10に限定されない。HMD100が、コントローラー10に替えて、外部の制御装置を利用してもよい。制御装置は、例えば、スマートフォン、PDA端末、タブレット型パーソナルコンピューターでもよい。
また、上記実施形態では、コントローラー10が表示部20と有線接続される構成を例示したが、これに限定されず、コントローラー10に対して表示部20が無線接続される構成であってもよい。また、コントローラー10を複数の装置により実現してもよい。また、コントローラー10に代えて、使用者の身体、着衣、或いは、使用者が身につける装身具に取り付け可能なウェアラブルデバイスを用いてもよい。この場合のウェアラブルデバイスは、例えば、時計型の装置、指輪型の装置、レーザーポインター、マウス、エアーマウス、ゲームコントローラー、ペン型のデバイス等であってもよい。
また、上記実施形態では、表示部20とコントローラー10とが分離され、接続ケーブル40を介して接続された構成を例に挙げて説明した。これに限定されず、コントローラー10と表示部20とが一体に構成され、使用者の頭部に装着される構成とすることも可能である。
また、表示部20は使用者Uの頭部に直接装着されるものに限らない。例えば、表示部20に代えて、例えば帽子のように装着する画像表示部等の他の方式の画像表示部を採用してもよい。
また、画像光を使用者の眼に導く光学系として、右導光板26及び左導光板28の一部に、ハーフミラー261、281により虚像が形成される構成を例示した。これに限定されず、右導光板26及び左導光板28の全面又は大部分を占める面積を有する表示領域に、画像を表示する構成としてもよい。この場合には、画像の表示位置を変化させる動作において、画像を縮小する処理を含めてもよい。
さらに、光学素子は、ハーフミラー261、281を有する右導光板26、左導光板28に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
さらに、光学素子は、ハーフミラー261、281を有する右導光板26、左導光板28に限定されず、画像光を使用者の眼に入射させる光学部品であればよく、具体的には、回折格子、プリズム、ホログラフィー表示部を用いてもよい。
また、上記各実施形態では、表示部20はOLEDユニット221、241により画像光を生成する構成として説明したが、本発明はこれに限定されない。例えば、右表示ユニット22及び左表示ユニット24は、透過型液晶パネルを用いてもよいし、透過型液晶パネルに代えて反射型液晶パネルを用いてもよいし、デジタル・マイクロミラー・デバイスを用いてもよい。また、LCDパネルに代えてLCOS技術を適用した構成を用いてもよい。LCOSは、Liquid crystal on siliconの略である。
また、表示部20は、LEDアレイ、レーザーアレイ、量子ドット発光型素子等に代表される自発光型の表示素子を利用した構成であってもよい。また、表示部20は、例えば、レーザー光源とレーザースキャナーとを組み合わせたレーザースキャン方式のディスプレイであってもよい。
また、図2、図3等に示した機能ブロックのうち少なくとも一部は、ハードウェアで実現してもよいし、ハードウェアとソフトウェアの協働により実現される構成としてもよく、図に示した通りに独立したハードウェア資源を配置する構成に限定されない。
また、図4及び図5に示すフローチャートの処理単位は、制御部150による処理を理解容易にするために、主な処理内容に応じて分割したものである。各フローチャートの処理単位の分割の仕方や名称によって実施形態が制限されることはない。また、上記のフローチャートの処理順序も、図示した例に限られるものではない。
また、メインプロセッサー125が実行するプログラムは、外部の装置やデバイスに記憶され、通信部117等を介して取得されてもよい。また、コンピューターで読み取り可能に記録した記録媒体に記録しておくことも可能である。記録媒体としては、磁気的、光学的記録媒体又は半導体メモリーデバイスを用いることができる。具体的には、フレキシブルディスク、各種の光ディスク、光磁気ディスク、フラッシュメモリー、カード型記録媒体等の可搬型、或いは固定式の記録媒体が挙げられる。また、記録媒体は、画像表示装置が備える内部記憶装置であるRAM、ROM、HDD等の不揮発性記憶装置であってもよい。
1…表示システム(音声画像出力システム)、10…コントローラー、20…表示部、30…ヘッドセット、32…右イヤホン(第1音声出力部)、34…左イヤホン(第2音声出力部)、46…オーディオコネクター、61…外側カメラ(撮像部)、63…マイク、68…内側カメラ、100…HMD(頭部装着型表示装置)、111…6軸センサー、113…磁気センサー、117…通信部、118…メモリー、121…不揮発性記憶部、125…メインプロセッサー、140…記憶部、141…制御プログラム、142…設定データ、143…基本映像データ、144…位置履歴データ、145…音響データ、146…基本音声データ、150…制御部、151…基本制御部、152…撮像制御部、153…位置特定部、154…基本音声データ取得部、155…音声出力制御部、156…基本映像データ取得部、157…映像出力制御部(表示制御部)、158…センサー制御部、180…音声処理部、181…音声インターフェイス、183…右角度センサー、184…左角度センサー、235…6軸センサー、237…磁気センサー、M…マーカー(指標物)、RO…実物体、RP1…第1端部、RP2…第2端部、SL1…第1左音声、SL2…第2左音声、SP…頭部基準位置、SR1…第1右音声、SR2…第2右音声、U…使用者、VO…仮想オブジェクト。
Claims (9)
- 使用者の頭部に装着され、実空間に位置する実物体を視認可能に、画像を表示する表示部と、
音声を出力する音声出力部と、
前記実物体、及び、仮想オブジェクトの位置を特定する位置特定部と、
前記仮想オブジェクトの位置を音源位置とする合成音声を生成し、音声出力部から出力させる音声出力制御部と、を備え、
前記音声出力制御部は、前記実物体の位置が、前記仮想オブジェクトの位置と前記表示部の位置との間である場合に、前記合成音声を、前記実物体に応じて立体的に変化するように調整する、頭部装着型表示装置。 - 前記音声出力制御部は、前記合成音声が前記実物体を回り込んで聞こえる音声となるように前記合成音声を調整する、請求項1記載の頭部装着型表示装置。
- 基本音声データを取得する基本音声データ取得部を備え、
前記音声出力制御部は、前記基本音声データの音源位置を前記仮想オブジェクトの位置とする処理により、前記合成音声を生成する、請求項1または2記載の頭部装着型表示装置。 - 前記音声出力部として第1音声出力部と第2音声出力部とを有し、
前記合成音声は、第1音声と第2音声とを含み、
前記音声出力制御部は、前記第1音声を前記第1音声出力部から出力させ、前記第2音声を前記第2音声出力部から出力させ、
前記位置特定部は、前記実物体の外縁において第1端部と第2端部の位置を特定し、
前記音声出力制御部は、前記第1端部の位置、前記第2端部の位置、前記第1音声出力部の位置、及び、前記第2音声出力部の位置に基づいて、前記第1音声出力部から出力される前記合成音声と前記第2音声出力部から出力される前記合成音声との間で、時間差および強度差を調整する、請求項1から3のいずれか1項に記載の頭部装着型表示装置。 - 撮像部を備え、
前記位置特定部は、前記撮像部の撮像画像から前記実物体を検出し、前記実物体の位置を特定する処理と、前記第1端部の位置および前記第2端部の位置を特定する処理とを実行する、請求項4記載の頭部装着型表示装置。 - 前記位置特定部は、前記撮像部の撮像画像から、実空間に配置された指標物を検出し、前記指標物の位置を基準として前記仮想オブジェクトの位置を特定する、請求項5記載の頭部装着型表示装置。
- 前記音声出力制御部は、前記位置特定部により特定された前記仮想オブジェクトの位置から前記使用者までの距離に応じて前記合成音声を調整する、請求項1から6のいずれか1項に記載の頭部装着型表示装置。
- 使用者の頭部に装着され、実空間に位置する実物体を視認可能に、画像を表示する頭部装着型の表示部と、
音声を出力する音声出力部と、
前記実物体、及び、仮想オブジェクトの位置を特定する位置特定部と、
前記仮想オブジェクトの位置を音源位置とする合成音声を生成し、音声出力部から出力させる音声出力制御部と、
前記位置特定部により特定された前記仮想オブジェクトの位置に基づいて、前記表示部に前記仮想オブジェクトの画像を表示させる表示制御部と、を備え、
前記音声出力制御部は、前記実物体の位置が前記仮想オブジェクトの位置と前記表示部の位置との間である場合に、前記合成音声を、前記実物体に応じて立体的に変化するように調整する、音声画像出力システム。 - 使用者の頭部に装着され、実空間に位置する実物体を視認可能に、画像を表示する頭部装着型の表示部と、音声を出力する音声出力部と、を利用した音声画像出力方法であって、
前記実物体、及び、仮想オブジェクトの位置を特定し、
特定した前記仮想オブジェクトの位置に基づいて、前記表示部に前記仮想オブジェクトの画像を表示させ、
前記仮想オブジェクトの位置を音源位置とする合成音声を生成し、
前記実物体の位置が前記仮想オブジェクトの位置と前記表示部の位置との間である場合に、前記合成音声を、前記実物体に応じて立体的に変化するように調整し、
調整した前記合成音声を音声出力部から出力させる、音声画像出力方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020075807A JP2021175043A (ja) | 2020-04-22 | 2020-04-22 | 頭部装着型表示装置、音声画像出力システム、及び、音声画像出力方法 |
US17/236,603 US11533579B2 (en) | 2020-04-22 | 2021-04-21 | Head-mounted display apparatus, sound image output system, and method of outputting sound image |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020075807A JP2021175043A (ja) | 2020-04-22 | 2020-04-22 | 頭部装着型表示装置、音声画像出力システム、及び、音声画像出力方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2021175043A true JP2021175043A (ja) | 2021-11-01 |
Family
ID=78223154
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020075807A Pending JP2021175043A (ja) | 2020-04-22 | 2020-04-22 | 頭部装着型表示装置、音声画像出力システム、及び、音声画像出力方法 |
Country Status (2)
Country | Link |
---|---|
US (1) | US11533579B2 (ja) |
JP (1) | JP2021175043A (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7412617B1 (ja) | 2023-02-10 | 2024-01-12 | 株式会社コロプラ | 情報処理システムおよびプログラム |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230162448A1 (en) * | 2021-11-24 | 2023-05-25 | Sony Interactive Entertainment Inc. | Projector assisted augmented reality, adjusting ar size, shape and presentation based on real world space |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4926916B2 (ja) * | 2007-11-07 | 2012-05-09 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびコンピュータプログラム |
US10469976B2 (en) * | 2016-05-11 | 2019-11-05 | Htc Corporation | Wearable electronic device and virtual reality system |
-
2020
- 2020-04-22 JP JP2020075807A patent/JP2021175043A/ja active Pending
-
2021
- 2021-04-21 US US17/236,603 patent/US11533579B2/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7412617B1 (ja) | 2023-02-10 | 2024-01-12 | 株式会社コロプラ | 情報処理システムおよびプログラム |
Also Published As
Publication number | Publication date |
---|---|
US11533579B2 (en) | 2022-12-20 |
US20210337341A1 (en) | 2021-10-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10635182B2 (en) | Head mounted display device and control method for head mounted display device | |
US9542958B2 (en) | Display device, head-mount type display device, method of controlling display device, and method of controlling head-mount type display device | |
US10303435B2 (en) | Head-mounted display device, method of controlling head-mounted display device, and computer program | |
US10838215B2 (en) | Head-mounted display apparatus, display control method, and computer program | |
US20160313973A1 (en) | Display device, control method for display device, and computer program | |
US9794684B2 (en) | Head-mounted display device, control method for the same, and computer program | |
CN105009039A (zh) | 使用imu的直接全息图操纵 | |
US11039651B1 (en) | Artificial reality hat | |
JP2018160735A (ja) | 透過型表示装置、表示制御方法、およびコンピュータープログラム | |
US11176367B1 (en) | Apparatuses, systems, and methods for mapping a surface of an eye via an event camera | |
JP6492673B2 (ja) | 頭部装着型表示装置、頭部装着型表示装置を制御する方法、コンピュータープログラム | |
US11175731B1 (en) | Apparatus, system, and method for directional acoustic sensing via wearables donned by users of artificial reality systems | |
JP2019082891A (ja) | 頭部装着型表示装置、表示制御方法、およびコンピュータープログラム | |
US11715331B1 (en) | Apparatuses, systems, and methods for mapping corneal curvature | |
US11533579B2 (en) | Head-mounted display apparatus, sound image output system, and method of outputting sound image | |
US11112865B1 (en) | Systems and methods for using a display as an illumination source for eye tracking | |
US12028419B1 (en) | Systems and methods for predictively downloading volumetric data | |
JP2020135544A (ja) | 表示システム、情報処理装置の制御プログラム、及び情報処理装置の制御方法 | |
JP2018206080A (ja) | 頭部装着型表示装置、プログラム、及び頭部装着型表示装置の制御方法 | |
US11120258B1 (en) | Apparatuses, systems, and methods for scanning an eye via a folding mirror | |
US20230053497A1 (en) | Systems and methods for performing eye-tracking | |
US11622192B1 (en) | Systems and methods for providing in-groove beamforming microphones | |
JP2020135306A (ja) | 表示システム、情報処理装置の制御プログラム、及び情報処理装置の制御方法 | |
JP6766403B2 (ja) | 頭部装着型表示装置、頭部装着型表示装置の制御方法、コンピュータープログラム | |
JP6638195B2 (ja) | 表示装置、表示装置の制御方法、および、プログラム |