JP6616023B2 - 音声出力装置、ヘッドマウントディスプレイ、音声出力方法及びプログラム - Google Patents
音声出力装置、ヘッドマウントディスプレイ、音声出力方法及びプログラム Download PDFInfo
- Publication number
- JP6616023B2 JP6616023B2 JP2018560395A JP2018560395A JP6616023B2 JP 6616023 B2 JP6616023 B2 JP 6616023B2 JP 2018560395 A JP2018560395 A JP 2018560395A JP 2018560395 A JP2018560395 A JP 2018560395A JP 6616023 B2 JP6616023 B2 JP 6616023B2
- Authority
- JP
- Japan
- Prior art keywords
- space
- image
- unit
- user
- real space
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
- G06F3/005—Input arrangements through a video camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/165—Management of the audio stream, e.g. setting of volume, audio stream path
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Computer Hardware Design (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Audiology, Speech & Language Pathology (AREA)
- General Health & Medical Sciences (AREA)
- Computer Graphics (AREA)
- Optics & Photonics (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Description
Claims (5)
- 仮想現実空間の画像が占める部分とユーザの周辺を撮影するカメラで撮影された実空間の画像が占める部分とを含む、ヘッドマウントディスプレイの表示部に表示される拡張現実空間又は複合現実空間の画像を生成する画像生成部と、
前記ユーザの視線が前記拡張現実空間又は前記複合現実空間の前記画像内における前記仮想現実空間の画像が占める部分を向いているか前記実空間の画像が占める部分を向いているかに応じた音量のバランスで前記仮想現実空間の音声と前記ユーザの周辺の実空間の音声とを合成して合成音声を生成する合成音声生成部と、
前記ユーザの耳の近傍に配置されるスピーカから放音される前記合成音声を出力する音声出力部と、
を含むことを特徴とする音声出力装置。 - 前記合成音声生成部は、前記仮想現実空間の音声と、前記ユーザの視線の方向の音声が強調された前記実空間の音声と、を合成して前記合成音声を生成する、
ことを特徴とする請求項1に記載の音声出力装置。 - 前記仮想現実空間の音声は、記憶されている音声データ又は受信する音声ストリームが表す音声である、
ことを特徴とする請求項1又は2に記載の音声出力装置。 - 仮想現実空間の画像が占める部分とユーザの周辺を撮影するカメラで撮影された実空間の画像が占める部分とを含む、ヘッドマウントディスプレイの表示部に表示される拡張現実空間又は複合現実空間の画像を生成するステップと、
前記ユーザの視線が前記拡張現実空間又は前記複合現実空間の前記画像内における前記仮想現実空間の画像が占める部分を向いているか前記実空間の画像が占める部分を向いているかに応じた音量のバランスで前記仮想現実空間の音声と前記ユーザの周辺の実空間の音声とを合成して合成音声を生成するステップと、
前記ユーザの耳の近傍に配置されるスピーカから放音される前記合成音声を出力するステップと、
を含むことを特徴とする音声出力方法。 - 仮想現実空間の画像が占める部分とユーザの周辺を撮影するカメラで撮影された実空間の画像が占める部分とを含む、ヘッドマウントディスプレイの表示部に表示される拡張現実空間又は複合現実空間の画像を生成する手順と、
前記ユーザの視線が前記拡張現実空間又は前記複合現実空間の前記画像内における前記仮想現実空間の画像が占める部分を向いているか前記実空間の画像が占める部分を向いているかに応じた音量のバランスで前記仮想現実空間の音声と前記ユーザの周辺の実空間の音声とを合成して合成音声を生成する手順と、
前記ユーザの耳の近傍に配置されるスピーカから放音される前記合成音声を出力する手順と、
をコンピュータに実行させることを特徴とするプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017001267 | 2017-01-06 | ||
JP2017001267 | 2017-01-06 | ||
PCT/JP2017/047225 WO2018128161A1 (ja) | 2017-01-06 | 2017-12-28 | 音声出力装置、ヘッドマウントディスプレイ、音声出力方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018128161A1 JPWO2018128161A1 (ja) | 2019-06-27 |
JP6616023B2 true JP6616023B2 (ja) | 2019-12-04 |
Family
ID=62791284
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018560395A Active JP6616023B2 (ja) | 2017-01-06 | 2017-12-28 | 音声出力装置、ヘッドマウントディスプレイ、音声出力方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11086587B2 (ja) |
JP (1) | JP6616023B2 (ja) |
WO (1) | WO2018128161A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10871939B2 (en) * | 2018-11-07 | 2020-12-22 | Nvidia Corporation | Method and system for immersive virtual reality (VR) streaming with reduced audio latency |
CN113039815B (zh) * | 2018-11-09 | 2022-11-11 | 候本株式会社 | 声音生成方法及执行其的装置 |
US11711332B2 (en) * | 2021-05-25 | 2023-07-25 | Samsung Electronics Co., Ltd. | System and method for conversation-based notification management |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10153946A (ja) | 1996-11-25 | 1998-06-09 | Mitsubishi Electric Corp | 感覚情報提示装置 |
JP4926916B2 (ja) * | 2007-11-07 | 2012-05-09 | キヤノン株式会社 | 情報処理装置、情報処理方法、およびコンピュータプログラム |
US8217995B2 (en) * | 2008-01-18 | 2012-07-10 | Lockheed Martin Corporation | Providing a collaborative immersive environment using a spherical camera and motion capture |
US20090219224A1 (en) * | 2008-02-28 | 2009-09-03 | Johannes Elg | Head tracking for enhanced 3d experience using face detection |
US9480919B2 (en) * | 2008-10-24 | 2016-11-01 | Excalibur Ip, Llc | Reconfiguring reality using a reality overlay device |
JP2011170282A (ja) * | 2010-02-22 | 2011-09-01 | Toshiba Corp | 再生装置および再生方法 |
US20130328925A1 (en) * | 2012-06-12 | 2013-12-12 | Stephen G. Latta | Object focus in a mixed reality environment |
US9618747B2 (en) * | 2013-03-13 | 2017-04-11 | Jason Villmer | Head mounted display for viewing and creating a media file including omnidirectional image data and corresponding audio data |
US9710130B2 (en) * | 2013-06-12 | 2017-07-18 | Microsoft Technology Licensing, Llc | User focus controlled directional user input |
JP6344125B2 (ja) | 2014-07-31 | 2018-06-20 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、および、プログラム |
US10062208B2 (en) * | 2015-04-09 | 2018-08-28 | Cinemoi North America, LLC | Systems and methods to provide interactive virtual environments |
JP2016208348A (ja) | 2015-04-24 | 2016-12-08 | セイコーエプソン株式会社 | 表示装置、表示装置の制御方法、及び、プログラム |
US20170277257A1 (en) * | 2016-03-23 | 2017-09-28 | Jeffrey Ota | Gaze-based sound selection |
US10481682B2 (en) * | 2016-03-29 | 2019-11-19 | Google Llc | System and method for generating virtual marks based on gaze tracking |
CN109564351A (zh) * | 2016-06-06 | 2019-04-02 | 华纳兄弟娱乐公司 | 混合现实*** |
JP6757420B2 (ja) * | 2016-12-09 | 2020-09-16 | 株式会社ソニー・インタラクティブエンタテインメント | 音声制御装置、音声制御方法及びプログラム |
IL307545A (en) * | 2018-02-15 | 2023-12-01 | Magic Leap Inc | Dual listening positions for mixed reality |
US10516959B1 (en) * | 2018-12-12 | 2019-12-24 | Verizon Patent And Licensing Inc. | Methods and systems for extended reality audio processing and rendering for near-field and far-field audio reproduction |
-
2017
- 2017-12-28 JP JP2018560395A patent/JP6616023B2/ja active Active
- 2017-12-28 WO PCT/JP2017/047225 patent/WO2018128161A1/ja active Application Filing
- 2017-12-28 US US16/472,560 patent/US11086587B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JPWO2018128161A1 (ja) | 2019-06-27 |
US20190324708A1 (en) | 2019-10-24 |
WO2018128161A1 (ja) | 2018-07-12 |
US11086587B2 (en) | 2021-08-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102419065B1 (ko) | 혼합 현실 디바이스에서의 가상 및 실제 객체 레코딩 | |
US9219961B2 (en) | Information processing system, computer-readable non-transitory storage medium having stored therein information processing program, information processing control method, and information processing apparatus | |
US11373379B2 (en) | Image generation apparatus and image generation method for generating augmented reality images based on user interaction | |
US9241231B2 (en) | Information processing system, computer-readable non-transitory storage medium having stored therein information processing program, information processing control method, and information processing apparatus | |
JP6126271B1 (ja) | 仮想空間を提供する方法、プログラム及び記録媒体 | |
JP6616023B2 (ja) | 音声出力装置、ヘッドマウントディスプレイ、音声出力方法及びプログラム | |
US11335071B2 (en) | Image generation apparatus and image generation method for augmented reality images based on object interaction | |
JP2019087226A (ja) | 情報処理装置、情報処理システムおよび表情画像出力方法 | |
US11354871B2 (en) | Head-mountable apparatus and methods | |
JP6757420B2 (ja) | 音声制御装置、音声制御方法及びプログラム | |
US20240042318A1 (en) | Gaming with earpiece 3d audio | |
JP6613429B2 (ja) | 映像音響再生装置 | |
CN112272817A (zh) | 用于在沉浸式现实中提供音频内容的方法和装置 | |
WO2018007779A1 (en) | Augmented reality system and method | |
JP2017208808A (ja) | 仮想空間を提供する方法、プログラム及び記録媒体 | |
US11882172B2 (en) | Non-transitory computer-readable medium, information processing method and information processing apparatus | |
JP2022022871A (ja) | 処理装置および没入度導出方法 | |
KR20210056414A (ko) | 혼합 현실 환경들에서 오디오-가능 접속된 디바이스들을 제어하기 위한 시스템 | |
JP2019145161A (ja) | プログラム、情報処理装置、及び情報処理方法 | |
WO2022149497A1 (ja) | 情報処理装置、情報処理方法およびコンピュータプログラム | |
WO2022149496A1 (ja) | エンタテインメントシステムおよびロボット | |
JP2023167168A (ja) | 情報処理装置、情報処理方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190123 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190123 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191023 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6616023 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |