JP2022183177A - ヘッドマウントディスプレイ装置 - Google Patents
ヘッドマウントディスプレイ装置 Download PDFInfo
- Publication number
- JP2022183177A JP2022183177A JP2022151752A JP2022151752A JP2022183177A JP 2022183177 A JP2022183177 A JP 2022183177A JP 2022151752 A JP2022151752 A JP 2022151752A JP 2022151752 A JP2022151752 A JP 2022151752A JP 2022183177 A JP2022183177 A JP 2022183177A
- Authority
- JP
- Japan
- Prior art keywords
- image
- lens
- camera
- information
- occlusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000010365 information processing Effects 0.000 claims abstract description 22
- 238000004891 communication Methods 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 12
- 238000000034 method Methods 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0129—Head-up displays characterised by optical features comprising devices for correcting parallax
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
- G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
第2の遮蔽領域計算部は、第2の情報生成部が生成したオクルージョン情報に基づいて、第2のレンズに表示されるCG画像を左目で見た際にCG画像が物体に遮蔽される遮蔽領域を計算する。
図1は、一実施の形態によるヘッドマウントディスプレイ装置10における構成の一例を示す説明図である。
図3は、図2の制御処理部16が有する情報処理部19における構成の一例を示す説明図である。
次に、ヘッドマウントディスプレイ装置10の動作について説明する。
図4は、図1のヘッドマウントディスプレイ装置10によるAR表示の一例を示した説明図である。図5は、両眼視を考慮した画像処理の一例を示した説明図である。図6は、輻輳角の一例を示す説明図である。図7は、右目および左目の見え方の違いの一例を示す説明図である。
また、CG画像は、アプリケーションから提供されるCG画像の距離情報に応じて、解像度、言い換えれば該CG画像のぼけ量を調節してレンズ12,13に表示するようにしてもよい。これによって、より自然なCG画像を表示することができる。
11 筐体
12 レンズ
13 レンズ
14 カメラ
15 カメラ
16 制御処理部
17 操作入力部
18 制御部
19 情報処理部
19 情報処理部
20 情報生成部
21 遮蔽領域計算部
22 AR画像生成部
23 AR表示部
25 視差マッチング部
26 デプス情報格納部
30 通信部
50 CG画像
Claims (5)
- 右目用のCG画像を表示する第1のレンズと、
左目用のCG画像を表示する第2のレンズと、
右目用の画像を撮影する第1のカメラと、
左目用の画像を撮影する第2のカメラと、
前記第1のカメラおよび前記第2のカメラが撮影した画像から右目で見た際のオクルージョンを表現した右目用のCG画像および左目で見た際のオクルージョンを表現した左目用のCG画像をそれぞれ生成して、生成した右目用の前記CG画像を前記第1のレンズに投射し、生成した左目用の前記CG画像を前記第2のレンズに投射する情報処理部と、
前記CG画像の生成に用いられる画像生成データを提供するアプリケーションを取得する通信部と、
を有し、
前記情報処理部は、
前記第1のカメラおよび前記第2のカメラが撮影した画像から前記第1のレンズに表示する前記CG画像と現実環境との遮蔽関係を示すオクルージョン情報を生成する第1の情報生成部と、
前記第1のカメラおよび前記第2のカメラが撮影した画像から前記第2のレンズに表示する前記CG画像と現実環境との遮蔽関係を示すオクルージョン情報を生成する第2の情報生成部と、
前記第1の情報生成部が生成した前記オクルージョン情報に基づいて、前記第1のレンズに表示されるCG画像を右目で見た際に前記CG画像が物体に遮蔽される遮蔽領域を計算する第1の遮蔽領域計算部と、
前記第2の情報生成部が生成した前記オクルージョン情報に基づいて、前記第2のレンズに表示されるCG画像を左目で見た際に前記CG画像が物体に遮蔽される遮蔽領域を計算する第2の遮蔽領域計算部と、
前記アプリケーションから提供されたCG画像生成データに基づいて、前記第1の遮蔽領域計算部が算出した前記遮蔽領域を表示しない右目用のCG画像および前記第2の遮蔽領域計算部が算出した前記遮蔽領域を表示しない左目用のCG画像をそれぞれ生成する画像生成部と、
前記画像生成部が生成した右目用の前記CG画像および左目用の前記CG画像を前記第1のレンズおよび前記第2のレンズに投射する表示部と、を有する
ヘッドマウントディスプレイ装置。 - 請求項1記載のヘッドマウントディスプレイ装置において、
前記画像生成データは、前記CG画像の形状または配色または大きさを示すデータである、ヘッドマウントディスプレイ装置。 - 請求項1または請求項2記載のヘッドマウントディスプレイ装置において、
前記第1の情報生成部および前記第2の情報生成部が生成する前記オクルージョン情報は、前記第1のカメラおよび前記第2のカメラから物体までの距離を示す物体距離と、両目にて物体を注視した際に前記物体にて両眼の視線が交差する角度である輻輳角とを含む、ヘッドマウントディスプレイ装置。 - 請求項3記載のヘッドマウントディスプレイ装置において、
前記画像生成部は、前記オクルージョン情報に含まれる前記物体距離および前記輻輳角に基づいて、右目用のCG画像および左目用のCG画像の前記遮蔽領域をそれぞれ算出する、ヘッドマウントディスプレイ装置 - 請求項1ないし請求項4のいずれか一項に記載のヘッドマウントディスプレイ装置において、
前記第1のカメラのレンズの中心は、前記第1のレンズの中心と同じ位置に設けられ、
前記第2のカメラのレンズの中心は、前記第2のレンズの中心と同じ位置に設けられている、ヘッドマウントディスプレイ装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022151752A JP2022183177A (ja) | 2018-12-04 | 2022-09-22 | ヘッドマウントディスプレイ装置 |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2018/044569 WO2020115815A1 (ja) | 2018-12-04 | 2018-12-04 | ヘッドマウントディスプレイ装置 |
JP2020558712A JP7148634B2 (ja) | 2018-12-04 | 2018-12-04 | ヘッドマウントディスプレイ装置 |
JP2022151752A JP2022183177A (ja) | 2018-12-04 | 2022-09-22 | ヘッドマウントディスプレイ装置 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020558712A Division JP7148634B2 (ja) | 2018-12-04 | 2018-12-04 | ヘッドマウントディスプレイ装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022183177A true JP2022183177A (ja) | 2022-12-08 |
Family
ID=70975335
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020558712A Active JP7148634B2 (ja) | 2018-12-04 | 2018-12-04 | ヘッドマウントディスプレイ装置 |
JP2022151752A Pending JP2022183177A (ja) | 2018-12-04 | 2022-09-22 | ヘッドマウントディスプレイ装置 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020558712A Active JP7148634B2 (ja) | 2018-12-04 | 2018-12-04 | ヘッドマウントディスプレイ装置 |
Country Status (4)
Country | Link |
---|---|
US (2) | US11582441B2 (ja) |
JP (2) | JP7148634B2 (ja) |
CN (1) | CN113170090A (ja) |
WO (1) | WO2020115815A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10484824B1 (en) * | 2015-06-26 | 2019-11-19 | Lucasfilm Entertainment Company Ltd. | Content presentation and layering across multiple devices |
WO2020115815A1 (ja) * | 2018-12-04 | 2020-06-11 | マクセル株式会社 | ヘッドマウントディスプレイ装置 |
WO2022123723A1 (ja) * | 2020-12-10 | 2022-06-16 | マクセル株式会社 | 携帯端末および電子メガネ |
US20240062483A1 (en) * | 2022-08-22 | 2024-02-22 | Samsung Electronics Co., Ltd. | Method and device for direct passthrough in video see-through (vst) augmented reality (ar) |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3338618B2 (ja) | 1996-10-07 | 2002-10-28 | ミノルタ株式会社 | 実空間画像と仮想空間画像の表示方法及び表示装置 |
JPH10327433A (ja) * | 1997-05-23 | 1998-12-08 | Minolta Co Ltd | 合成画像の表示装置 |
JP4553362B2 (ja) | 2005-01-31 | 2010-09-29 | キヤノン株式会社 | システム、画像処理装置、情報処理方法 |
EP1686554A3 (en) | 2005-01-31 | 2008-06-18 | Canon Kabushiki Kaisha | Virtual space generating system, image processing apparatus and information processing method |
US20150156481A1 (en) * | 2009-03-19 | 2015-06-04 | Real Time Companies | Heads up display (hud) sensor system |
US9122053B2 (en) | 2010-10-15 | 2015-09-01 | Microsoft Technology Licensing, Llc | Realistic occlusion for a head mounted augmented reality display |
KR101828805B1 (ko) * | 2011-07-07 | 2018-03-29 | 삼성전자주식회사 | 스테레오 카메라의 3차원 줌 영상 생성 방법 및 장치 |
US20130141419A1 (en) | 2011-12-01 | 2013-06-06 | Brian Mount | Augmented reality with realistic occlusion |
CA2896985A1 (en) * | 2013-01-03 | 2014-07-10 | Meta Company | Extramissive spatial imaging digital eye glass for virtual or augmediated vision |
US9239460B2 (en) * | 2013-05-10 | 2016-01-19 | Microsoft Technology Licensing, Llc | Calibration of eye location |
JP5916248B2 (ja) | 2014-02-25 | 2016-05-11 | 株式会社ソニー・インタラクティブエンタテインメント | 画像生成装置、画像生成方法、プログラムおよびコンピュータ読取り可能な情報記憶媒体 |
JP5762600B1 (ja) | 2014-06-06 | 2015-08-12 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
US10306217B2 (en) * | 2015-04-17 | 2019-05-28 | Seiko Epson Corporation | Display device, control method for display device, and computer program |
EP3519892B1 (en) * | 2016-09-27 | 2020-12-16 | Snap Inc. | Eyewear device mode indication |
JP7096836B2 (ja) | 2017-03-22 | 2022-07-06 | マジック リープ, インコーポレイテッド | ディスプレイシステムのための深度ベース中心窩化レンダリング |
JP6891600B2 (ja) | 2017-03-31 | 2021-06-18 | 富士通株式会社 | 情報処理装置 |
GB201709199D0 (en) * | 2017-06-09 | 2017-07-26 | Delamont Dean Lindsay | IR mixed reality and augmented reality gaming system |
WO2020115815A1 (ja) * | 2018-12-04 | 2020-06-11 | マクセル株式会社 | ヘッドマウントディスプレイ装置 |
-
2018
- 2018-12-04 WO PCT/JP2018/044569 patent/WO2020115815A1/ja active Application Filing
- 2018-12-04 CN CN201880099966.1A patent/CN113170090A/zh active Pending
- 2018-12-04 US US17/299,114 patent/US11582441B2/en active Active
- 2018-12-04 JP JP2020558712A patent/JP7148634B2/ja active Active
-
2022
- 2022-09-22 JP JP2022151752A patent/JP2022183177A/ja active Pending
-
2023
- 2023-01-05 US US18/150,431 patent/US11956415B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
WO2020115815A1 (ja) | 2020-06-11 |
JP7148634B2 (ja) | 2022-10-05 |
US11956415B2 (en) | 2024-04-09 |
US20220060680A1 (en) | 2022-02-24 |
US11582441B2 (en) | 2023-02-14 |
JPWO2020115815A1 (ja) | 2021-09-30 |
CN113170090A (zh) | 2021-07-23 |
US20230156176A1 (en) | 2023-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6759371B2 (ja) | 3dプレノプティックビデオ画像を作成するためのシステムおよび方法 | |
US11010958B2 (en) | Method and system for generating an image of a subject in a scene | |
JP7148634B2 (ja) | ヘッドマウントディスプレイ装置 | |
JP4794678B1 (ja) | 映像処理装置、映像処理方法、および映像通信システム | |
JP3802630B2 (ja) | 立体画像生成装置および立体画像生成方法 | |
WO2018056155A1 (ja) | 情報処理装置、画像生成方法およびヘッドマウントディスプレイ | |
WO2014128748A1 (ja) | キャリブレーション装置、キャリブレーションプログラム、およびキャリブレーション方法 | |
WO2014128751A1 (ja) | ヘッドマウントディスプレイ装置、ヘッドマウントディスプレイ用プログラム、およびヘッドマウントディスプレイ方法 | |
JP4270347B2 (ja) | 距離演算装置 | |
JP2005312605A (ja) | 注視点位置表示装置 | |
WO2014128750A1 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
US11212502B2 (en) | Method of modifying an image on a computational device | |
JP6446465B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
KR20070010306A (ko) | 촬영장치 및 깊이정보를 포함하는 영상의 생성방법 | |
JP6479835B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
US20220232201A1 (en) | Image generation system and method | |
JP7336871B2 (ja) | 全天周映像処理装置及びプログラム | |
WO2023146882A1 (en) | Display system with machine learning (ml) based stereoscopic view synthesis over a wide field of view | |
JP6479836B2 (ja) | 入出力装置、入出力プログラム、および入出力方法 | |
CN116612234A (zh) | 基于增强或虚拟现实应用程序内立体视觉的高效动态遮挡 | |
CN116941239A (zh) | 三维环境内的图像显示 | |
KR20200064577A (ko) | 증강현실을 위한 모바일 홀로그램 디스플레이 단말기 | |
JP2018186319A (ja) | 立体画像表示制御装置、立体画像表示制御方法及び立体画像表示制御プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220922 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231114 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20231207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240305 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240326 |