JP2023515205A - 表示方法、装置、端末機器及びコンピュータプログラム - Google Patents
表示方法、装置、端末機器及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2023515205A JP2023515205A JP2022551634A JP2022551634A JP2023515205A JP 2023515205 A JP2023515205 A JP 2023515205A JP 2022551634 A JP2022551634 A JP 2022551634A JP 2022551634 A JP2022551634 A JP 2022551634A JP 2023515205 A JP2023515205 A JP 2023515205A
- Authority
- JP
- Japan
- Prior art keywords
- depth plane
- information
- depth
- target
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 67
- 238000004590 computer program Methods 0.000 title claims description 5
- 230000003190 augmentative effect Effects 0.000 claims description 25
- 230000008447 perception Effects 0.000 abstract description 13
- 230000000007 visual effect Effects 0.000 description 13
- 230000000694 effects Effects 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000015654 memory Effects 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000004424 eye movement Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 230000011514 reflex Effects 0.000 description 4
- 239000000945 filler Substances 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000000644 propagated effect Effects 0.000 description 3
- 210000001747 pupil Anatomy 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000003183 myoelectrical effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000005094 computer simulation Methods 0.000 description 1
- 239000004020 conductor Substances 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000000624 ear auricle Anatomy 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 210000000744 eyelid Anatomy 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 238000001028 reflection method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B7/00—Mountings, adjusting means, or light-tight connections, for optical elements
- G02B7/28—Systems for automatic generation of focusing signals
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Optics & Photonics (AREA)
- Processing Or Creating Images (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
図1は本発明の実施例1に係る表示方法のフローチャートであり、該方法は、画像の奥行き感を向上させる状況に適用でき、該方法は、表示装置により実行され得、該装置は、ソフトウェア及び/又はハードウェアにより実現され、一般的に端末機器に集積されてもよく、本実施例では、端末機器は、VR機器などの仮想現実シーンの表示を実現できる機器、又はAR機器などの拡張現実シーンの表示を実現できる機器を含むが、これらに限定されない。
光源:赤外線光線が眼の視覚に影響しないため、一般的に赤外線光源であり、例えば品字型及び/又は一字型などの所定の方式で配列される複数の赤外線光源であってもよく、
画像収集機器:例えば赤外線撮像機器、赤外線画像センサ、カメラ又はビデオカメラなど。
眼部画像の取得:光源が眼を照射し、画像収集機器により眼部を撮影し、撮影光源の角膜上での反射点である光スポット(プルキンエ像とも呼ばれる)に応答して、光スポット付きの眼部画像を取得する。
図2は本発明の実施例2に係る表示方法のフローチャートであり、本実施例2は、上記各実施例に基づいて最適化されている。本実施例では、前記注視情報は具体的に、注視点情報を含み、それに対応して、前記注視情報に基づいて、対応する目標奥行き平面を決定するステップは、
前記現在の画像上での前記注視点情報に対応する目標物体を決定するステップと、
前記目標物体が位置する奥行き平面を目標奥行き平面として決定するステップと、を含む。物体自体は必ずしも平面的ではなく、立体的である可能性があるため、立体物体の奥行き平面については、物体とユーザとの最も近い距離にある平面を奥行き平面として決定してもよく、又は物体の中心が位置する平面を奥行き平面として決定してもよく、又は立体物体のいずれかの面を奥行き平面として決定してもよく、ここでは制限されない。
3次元仮想シーンでは、異なる奥行き平面にある画像領域をフレーム毎に分割する。その後、該画像が位置する平面の奥行きに基づいて、各画像領域に絶対距離情報をマークする。
前記仮想現実又は拡張現実ビデオにおける目標画像をフレーム毎に取得するステップと、
前記目標画像に含まれる物体の奥行き情報を取得するステップと、
各前記奥行き情報に基づいて前記目標画像を分割して少なくとも1つの奥行き平面を得て、分割された各奥行き平面の距離情報を前記奥行き情報に基づいて決定するステップと、を含む。
図4は本発明の実施例3に係る表示装置の構造模式図であり、該装置は、画像の奥行き感を向上させる状況に適用でき、該装置は、ソフトウェア及び/又はハードウェアにより実現され、一般的に端末機器に集積されてもよい。
前記現在の画像上での前記注視点情報に対応する目標物体を決定するステップと、前記目標物体が位置する奥行き平面を目標奥行き平面として決定するステップと、を含む。1つの選択可能な実施例では、前記表示パラメータはぼかし半径を含む。
前記仮想現実又は拡張現実ビデオにおける目標画像をフレーム毎に取得し、
前記目標画像に含まれる物体の奥行き情報を取得し、
各前記奥行き情報に基づいて前記目標画像を分割して少なくとも1つの奥行き平面を得て、分割された各奥行き平面の距離情報を前記奥行き情報に基づいて決定するように構成される。
図5は本発明の実施例4に係る端末機器の構造模式図である。図5に示すように、該実施例に係る端末機器は、1つ又は複数のプロセッサ41と、記憶装置42とを含み、該端末機器のプロセッサ41は、1つ又は複数であってもよく、図5では1つのプロセッサ41を例として挙げる。
ユーザの現在の画像上での注視情報を取得する操作と、
前記注視情報に基づいて、対応する目標奥行き平面を決定する操作と、
残りの奥行き平面の表示パラメータを調整する操作であって、前記残りの奥行き平面の表示パラメータは、前記残りの奥行き平面と前記目標奥行き平面との距離に基づいて決定され、前記前記残りの奥行き平面は、前記目標奥行き平面を除いた前記現在の画像上の奥行き平面である、操作と、を実行する。
本発明の実施例5は、コンピュータ可読記憶媒体を提供し、コンピュータプログラムが記憶され、該プログラムがプロセッサにより実行されると、本発明に係る表示方法を実行することに用いられ、該方法は、
ユーザの現在の画像上での注視情報を取得するステップと、
前記注視情報に基づいて、対応する目標奥行き平面を決定するステップと、
残りの奥行き平面の表示パラメータを調整するステップであって、前記残りの奥行き平面の表示パラメータは、前記残りの奥行き平面と前記目標奥行き平面との距離に基づいて決定され、前記前記残りの奥行き平面は、前記目標奥行き平面を除いた前記現在の画像上の奥行き平面である、ステップと、を含む。
Claims (11)
- 表示方法であって、
ユーザの現在の画像上での注視情報を取得するステップと、
前記注視情報に基づいて、対応する目標奥行き平面を決定するステップと、
残りの奥行き平面の表示パラメータを調整するステップであって、前記残りの奥行き平面の表示パラメータは、前記残りの奥行き平面と前記目標奥行き平面との距離に基づいて決定され、前記前記残りの奥行き平面は、前記目標奥行き平面を除いた前記現在の画像上の奥行き平面である、ステップと、を含む、表示方法。 - 前記注視情報は注視点情報を含み、
前記注視情報に基づいて、対応する目標奥行き平面を決定する前記ステップは、
前記現在の画像上での前記注視点情報に対応する目標物体を決定するステップと、
前記目標物体が位置する奥行き平面を目標奥行き平面として決定するステップと、を含む、請求項1に記載の方法。 - 前記表示パラメータはぼかし半径を含む、請求項1に記載の方法。
- 前記残りの奥行き平面の数が少なくとも2つである場合、各残りの奥行き平面のぼかし半径は、該残りの奥行き平面と前記目標奥行き平面との距離に正比例する、請求項3に記載の方法。
- 前記残りの奥行き平面と前記目標奥行き平面との距離は、前記残りの奥行き平面の距離情報と前記目標奥行き平面の距離情報との差により決定される、請求項1に記載の方法。
- 仮想現実又は拡張現実ビデオにおける各フレーム画像に含まれる奥行き平面及び対応する距離情報を決定するステップをさらに含み、前記現在の画像は、前記仮想現実又は拡張現実ビデオに現在表示されている画像であり、前記距離情報は、対応する奥行き平面と前記ユーザとの絶対距離情報である、請求項1に記載の方法。
- 仮想現実又は拡張現実ビデオにおける各フレーム画像に含まれる奥行き平面を決定する前記ステップは、
前記仮想現実又は拡張現実ビデオにおける目標画像をフレーム毎に取得するステップと、
前記目標画像に含まれる物体の奥行き情報を取得するステップと、
各前記奥行き情報に基づいて前記目標画像を分割して少なくとも1つの奥行き平面を得て、分割された各奥行き平面の距離情報を前記奥行き情報に基づいて決定するステップと、を含む、請求項6に記載の方法。 - 同一の奥行き平面に含まれる物体の奥行き情報は同じである、請求項7に記載の方法。
- 表示装置であって、
ユーザの現在の画像上での注視情報を取得するように構成される取得モジュールと、
前記注視情報に基づいて、対応する目標奥行き平面を決定するように構成される決定モジュールと、
残りの奥行き平面の表示パラメータを調整するように構成される調整モジュールであって、前記残りの奥行き平面の表示パラメータは、前記残りの奥行き平面と前記目標奥行き平面との距離に基づいて決定され、前記前記残りの奥行き平面は、前記目標奥行き平面を除いた前記現在の画像上の奥行き平面である、調整モジュールと、を含む、表示装置。 - 端末機器であって、1つ又は複数のプロセッサと、1つ又は複数のプログラムを記憶するように構成される記憶装置と、を含み、前記1つ又は複数のプログラムが前記1つ又は複数のプロセッサにより実行されると、前記1つ又は複数のプロセッサに請求項1~8のいずれか1項に記載の方法を実現させる、端末機器。
- コンピュータプログラムが記憶され、該プログラムがプロセッサにより実行されると、請求項1~8のいずれか1項に記載の方法を実現する、コンピュータ可読記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010130618.5 | 2020-02-28 | ||
CN202010130618.5A CN113325947A (zh) | 2020-02-28 | 2020-02-28 | 一种显示方法、装置、终端设备及存储介质 |
PCT/CN2021/076919 WO2021169853A1 (zh) | 2020-02-28 | 2021-02-19 | 一种显示方法、装置、终端设备及存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023515205A true JP2023515205A (ja) | 2023-04-12 |
Family
ID=77412782
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022551634A Pending JP2023515205A (ja) | 2020-02-28 | 2021-02-19 | 表示方法、装置、端末機器及びコンピュータプログラム |
Country Status (3)
Country | Link |
---|---|
JP (1) | JP2023515205A (ja) |
CN (1) | CN113325947A (ja) |
WO (1) | WO2021169853A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115562497B (zh) * | 2022-11-04 | 2024-04-05 | 浙江舜为科技有限公司 | 增强现实信息交互方法、增强现实设备和存储介质 |
CN116850012B (zh) * | 2023-06-30 | 2024-03-12 | 广州视景医疗软件有限公司 | 一种基于双眼分视的视觉训练方法及*** |
CN117880630B (zh) * | 2024-03-13 | 2024-06-07 | 杭州星犀科技有限公司 | 对焦深度获取方法、对焦深度获取***及终端 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015184412A1 (en) * | 2014-05-30 | 2015-12-03 | Magic Leap, Inc. | Methods and system for creating focal planes in virtual and augmented reality |
WO2016115872A1 (zh) * | 2015-01-21 | 2016-07-28 | 成都理想境界科技有限公司 | 双目ar头戴显示设备及其信息显示方法 |
US10025060B2 (en) * | 2015-12-08 | 2018-07-17 | Oculus Vr, Llc | Focus adjusting virtual reality headset |
CN113589529A (zh) * | 2016-03-25 | 2021-11-02 | 奇跃公司 | 虚拟和增强现实***和方法 |
US11644669B2 (en) * | 2017-03-22 | 2023-05-09 | Magic Leap, Inc. | Depth based foveated rendering for display systems |
CN110663246B (zh) * | 2017-05-24 | 2021-08-06 | 深圳市大疆创新科技有限公司 | 用于处理图像的方法和*** |
CN110555873A (zh) * | 2018-05-30 | 2019-12-10 | Oppo广东移动通信有限公司 | 控制方法、控制装置、终端、计算机设备和存储介质 |
CN110727111A (zh) * | 2019-10-23 | 2020-01-24 | 深圳惠牛科技有限公司 | 一种头戴显示光学***及头戴显示设备 |
-
2020
- 2020-02-28 CN CN202010130618.5A patent/CN113325947A/zh active Pending
-
2021
- 2021-02-19 WO PCT/CN2021/076919 patent/WO2021169853A1/zh active Application Filing
- 2021-02-19 JP JP2022551634A patent/JP2023515205A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
CN113325947A (zh) | 2021-08-31 |
WO2021169853A1 (zh) | 2021-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109086726B (zh) | 一种基于ar智能眼镜的局部图像识别方法及*** | |
JP6759371B2 (ja) | 3dプレノプティックビデオ画像を作成するためのシステムおよび方法 | |
CN110187855B (zh) | 近眼显示设备的避免全息影像阻挡视线的智能调节方法 | |
US10241329B2 (en) | Varifocal aberration compensation for near-eye displays | |
TWI712918B (zh) | 擴增實境的影像展示方法、裝置及設備 | |
CN109074681B (zh) | 信息处理装置、信息处理方法和程序 | |
JP2023515205A (ja) | 表示方法、装置、端末機器及びコンピュータプログラム | |
CN109901710B (zh) | 媒体文件的处理方法和装置、存储介质及终端 | |
US10382699B2 (en) | Imaging system and method of producing images for display apparatus | |
KR101788452B1 (ko) | 시선 인식을 이용하는 콘텐츠 재생 장치 및 방법 | |
WO2019062056A1 (zh) | 一种智能投影方法、***及智能终端 | |
JPWO2016021034A1 (ja) | 3次元上の注視点の位置特定アルゴリズム | |
US10885651B2 (en) | Information processing method, wearable electronic device, and processing apparatus and system | |
CN109901290B (zh) | 注视区域的确定方法、装置及可穿戴设备 | |
CN111880654A (zh) | 一种图像显示方法、装置、穿戴设备及存储介质 | |
CN103517060A (zh) | 一种终端设备的显示控制方法及装置 | |
WO2019109323A1 (zh) | 图像显示方法、穿戴式智能设备及存储介质 | |
CN106293561B (zh) | 显示控制方法和装置、显示设备 | |
KR101818839B1 (ko) | 스테레오 삼차원 영상 콘텐츠 디스플레이 제작 및 재생 방법 | |
CN106851249A (zh) | 图像处理方法及显示设备 | |
CN106708249B (zh) | 交互方法、交互装置及用户设备 | |
CN111164542A (zh) | 修改计算设备上的图像的方法 | |
CN109917908B (zh) | 一种ar眼镜的图像获取方法及*** | |
CN115914603A (zh) | 图像渲染方法、头戴显示设备和可读存储介质 | |
RU2815753C1 (ru) | Способ и устройство отображения, оконечное устройство и носитель для хранения данных |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220826 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220826 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230926 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231225 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20240206 |