JP7118913B2 - 表示装置、表示方法及びプログラム - Google Patents
表示装置、表示方法及びプログラム Download PDFInfo
- Publication number
- JP7118913B2 JP7118913B2 JP2019046975A JP2019046975A JP7118913B2 JP 7118913 B2 JP7118913 B2 JP 7118913B2 JP 2019046975 A JP2019046975 A JP 2019046975A JP 2019046975 A JP2019046975 A JP 2019046975A JP 7118913 B2 JP7118913 B2 JP 7118913B2
- Authority
- JP
- Japan
- Prior art keywords
- display
- display mode
- unit
- image data
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Description
前記算出部は、圧縮された前記画像データのサイズに基づいて、前記奥行指標を算出してもよい。
前記算出部は、前記被写体の外接矩形のサイズに基づいて、奥行指標を算出してもよい。
前記算出部は、複数の前記被写体のうち、外接矩形のサイズが大きい前記被写体に基づいて、前記奥行指標を算出してもよい。
図1は、表示システムSの概要を説明するための図である。表示システムSは、表示装置1と、画像生成装置2とを有する。
以下、表示装置1及び画像生成装置2の構成について説明する。
まず、表示装置1の構成について説明する。図2は、表示装置1及び画像生成装置2の構成を示す図である。表示装置1は、通信部11と、表示部12と、記憶部13と、制御部14とを有する。
続いて、奥行指標の算出方法について説明する。上述のとおり、表示装置1の算出部142は、画像データに基づいて、被写体Aの奥行きを示す奥行指標を算出する。算出部142は、様々な方法で奥行指標を算出することができる。
算出部142は、圧縮された画像データのサイズに基づいて、奥行指標を算出する。具体的には、算出部142は、取得部141が取得した画像データを所定の形式で圧縮した画像データのサイズに基づいて、奥行指標を算出する。所定の形式は、LZSS(Lempel-Ziv-Storer-Szymanski)法をはじめとするデータ圧縮アルゴリズムであり、例えば、ランレングス法、PNG(Portable Network Graphics)又はZIP等である。
算出部142は、画像データに含まれる透過領域以外の画素の数に基づいて、奥行指標を算出してもよい。算出部142は、例えば、画像データに含まれる透過領域以外の画素をカウントし、カウントした画素の数を奥行指標として算出してもよい。また、算出部142は、カウントした画像データに含まれる透過領域以外の画素の数の逆数を奥行指標として算出してもよい。
算出部142は、被写体Aの外接矩形のサイズに基づいて、奥行指標を算出してもよい。算出部142は、例えば、被写体Aの外接矩形のサイズを奥行指標として算出してもよい。
続いて、負荷状況に基づいて表示モードを決定する処理について説明する。上述したとおり、モノラル表示モードでは単一画像が表示され、ステレオ表示モードでは視差画像が表示される。両者を比較すると、ステレオ表示モードの方がCPUをはじめとするリソースに負荷がかかるため、リソースの負荷が高い状況でステレオ表示モードに基づく処理が実行されると、画像データが表示部12に表示されるまでに時間がかかってしまい、ユーザの体感品質が低下し得る。そこで、表示装置1の決定部143は、奥行指標とリソースの負荷状況とに基づいて表示モードを決定してもよい。リソースは、表示部12に画像データを表示させるために用いられる資源であり、例えば、表示装置1のCPU、GPU、電池又はネットワーク等である。
続いて、表示システムSの処理の流れについて説明する。図6は、表示システムSの処理の流れを示すシーケンス図である。図6に示すS6の処理は、S2とS3の間に実行されてもよいし、S3からS5までの処理と並列に実行されてもよい。
上記において、表示装置1が、奥行指標に基づいて、表示モードとともにアラートモードを設定する例を説明したがこれに限らない。例えば、表示装置1は、奥行指標に基づいて、表示モードを設定せずに、アラートモードを設定してもよい。この場合、表示装置1は、奥行指標に基づいて、アラートモードとともに表示モードを設定してもよい。
以上説明したとおり、表示システムSは、表示装置1が、画像生成装置2によって生成された画像データに基づいて奥行指標を算出し、算出した奥行指標に基づいて表示モードを決定する。そして、表示装置1が、決定した表示モードに基づいて、画像データを表示する。このようにすることで、表示装置1は、画像データに基づいて被写体Aの奥行きを推定することができる。これにより、表示装置1は、被写体Aの奥行きに応じて表示モードを制御することができる。その結果、表示システムSは、AR表示においてユーザの体感品質の低減を抑えつつ、リソースの負荷を低減させることができる。
11 通信部
12 表示部
13 記憶部
14 制御部
141 取得部
142 算出部
143 決定部
144 負荷状況推定部
145 通知部
146 表示制御部
2 画像生成装置
21 通信部
22 記憶部
23 制御部
231 生成部
232 送信部
S 表示システム
Claims (14)
- ユーザの両目それぞれに画像を提示するための表示部と、
前記表示部に表示させる被写体と、前記表示部に表示させない透過領域とを含む画像データを生成する画像生成装置から前記画像データを取得する取得部と、
前記画像データに基づいて、前記被写体の奥行きを示す奥行指標を算出する算出部と、
前記表示部が前記両目に同一の画像を提示するモノラル表示モードと、前記表示部が前記両目に視差画像を提示するステレオ表示モードとのいずれかの表示モードを決定するために定められた所定の閾値よりも前記奥行指標が遠いことを示す場合、前記表示モードを前記モノラル表示モードに決定し、前記所定の閾値よりも前記奥行指標が近いことを示す場合、前記表示モードを前記ステレオ表示モードに決定し、決定した前記表示モードに応じて異なる前記所定の閾値を設定する決定部と、
前記決定部が決定した前記表示モードに基づいて、前記画像データを前記表示部に表示させる表示制御部と、
を有する表示装置。 - ユーザの両目それぞれに画像を提示するための表示部と、
前記表示部に表示させる被写体と、前記表示部に表示させない透過領域とを含む画像データを生成する画像生成装置から前記画像データを取得する取得部と、
圧縮された前記画像データのサイズに基づいて、前記被写体の奥行きを示す奥行指標を算出する算出部と、
前記表示部が前記両目に同一の画像を提示するモノラル表示モードと、前記表示部が前記両目に視差画像を提示するステレオ表示モードとのいずれかの表示モードを、前記奥行指標に基づいて決定する決定部と、
前記決定部が決定した前記表示モードに基づいて、前記画像データを前記表示部に表示させる表示制御部と、
を有する表示装置。 - 前記取得部は、圧縮された前記画像データを前記画像生成装置から取得し、
前記算出部は、圧縮された前記画像データを伸張した後に、伸張した前記画像データを所定の形式で圧縮した前記画像データのサイズに基づいて、前記奥行指標を算出する、
請求項2に記載の表示装置。 - 前記決定部が決定した前記表示モードを示すモード情報を前記画像生成装置に通知する通知部をさらに有し、
前記表示制御部は、通知された前記モード情報が前記モノラル表示モードを示す場合に、前記画像生成装置が生成した単一画像を前記画像データとして前記表示部に表示させ、通知された前記モード情報が前記ステレオ表示モードを示す場合に、前記画像生成装置が生成した視差画像を前記画像データとして前記表示部に表示させる、
請求項1から3のいずれか一項に記載の表示装置。 - 前記算出部は、前記画像データに含まれる前記透過領域以外の画素の数に基づいて、前記奥行指標を算出する、
請求項1から4のいずれか一項に記載の表示装置。 - 前記算出部は、前記被写体の外接矩形のサイズに基づいて、奥行指標を算出する、
請求項1から5のいずれか一項に記載の表示装置。 - 前記算出部は、複数の前記被写体のうち、外接矩形のサイズが大きい前記被写体に基づいて、前記奥行指標を算出する、
請求項6に記載の表示装置。 - 前記表示部に前記画像データを表示させるためのリソースの負荷状況を推定する負荷状況推定部をさらに有し、
前記決定部は、前記負荷状況推定部が推定した結果が前記リソースの負荷状況が高いことを示す場合に、前記表示モードを前記モノラル表示モードに決定し、前記負荷状況推定部が推定した結果が前記リソースの負荷状況が高くないことを示す場合に、前記表示モードを前記ステレオ表示モードに決定する、
請求項1から7のいずれか一項に記載の表示装置。 - 前記決定部は、前記被写体の奥行きに関するアラートを表示しないアラート非表示モードと、前記アラートを表示するアラート表示モードとのいずれかのアラートモードを、前記奥行指標に基づいてさらに決定し、
前記表示制御部は、前記決定部が決定した前記アラートモードに基づく情報を前記画像データに重畳して前記表示部に表示させる、
請求項1から8のいずれか一項に記載の表示装置。 - 前記アラート表示モードは、前記被写体の奥行きが短いことを警告する近距離用アラート表示モードと、前記被写体の奥行きが長いことを警告する遠距離用アラート表示モードとを含み、
前記決定部は、前記アラート非表示モードと前記近距離用アラート表示モードとの境界値である第1閾値よりも前記奥行指標が近いことを示す場合、前記アラートモードを前記近距離用アラート表示モードに決定し、前記アラート非表示モードと前記遠距離用アラート表示モードとの境界値である閾値であって、前記第1閾値と異なる第2閾値よりも前記奥行指標が遠いことを示す場合、前記アラートモードを前記遠距離用アラート表示モードに決定する、
請求項9に記載の表示装置。 - コンピュータが実行する、
ユーザの両目それぞれに画像を提示するための表示部に表示させる被写体と、前記表示部に表示させないことを示す透過領域とを含む画像データを生成する画像生成装置から前記画像データを取得するステップと、
前記画像データに基づいて、前記被写体の奥行きを示す奥行指標を算出するステップと、
前記表示部が前記両目に同一の画像を提示するモノラル表示モードと、前記表示部が前記両目に視差画像を提示するステレオ表示モードとのいずれかの表示モードを決定するために定められた所定の閾値よりも前記奥行指標が遠いことを示す場合、前記表示モードを前記モノラル表示モードに決定し、前記所定の閾値よりも前記奥行指標が近いことを示す場合、前記表示モードを前記ステレオ表示モードに決定するステップと、
決定した前記表示モードに応じて異なる前記所定の閾値を設定するステップと、
決定した前記表示モードに基づいて、前記画像データを前記表示部に表示させるステップと、
を有する表示方法。 - コンピュータを、
ユーザの両目それぞれに画像を提示するための表示部に表示させる被写体と、前記表示部に表示させないことを示す透過領域とを含む画像データを生成する画像生成装置から前記画像データを取得する取得部、
前記画像データに基づいて、前記被写体の奥行きを示す奥行指標を算出する算出部、
前記表示部が前記両目に同一の画像を提示するモノラル表示モードと、前記表示部が前記両目に視差画像を提示するステレオ表示モードとのいずれかの表示モードを決定するために定められた所定の閾値よりも前記奥行指標が遠いことを示す場合、前記表示モードを前記モノラル表示モードに決定し、前記所定の閾値よりも前記奥行指標が近いことを示す場合、前記表示モードを前記ステレオ表示モードに決定し、決定した前記表示モードに応じて異なる前記所定の閾値を設定する決定部、及び
前記決定部が決定した前記表示モードに基づいて、前記画像データを前記表示部に表示させる表示制御部、
として機能させるプログラム。 - コンピュータが実行する、
ユーザの両目それぞれに画像を提示するための表示部に表示させる被写体と、前記表示部に表示させないことを示す透過領域とを含む画像データを生成する画像生成装置から前記画像データを取得するステップと、
圧縮された前記画像データのサイズに基づいて、前記被写体の奥行きを示す奥行指標を算出するステップと、
前記表示部が前記両目に同一の画像を提示するモノラル表示モードと、前記表示部が前記両目に視差画像を提示するステレオ表示モードとのいずれかの表示モードを、前記奥行指標に基づいて決定するステップと、
決定した前記表示モードに基づいて、前記画像データを前記表示部に表示させるステップと、
を有する表示方法。 - コンピュータを、
ユーザの両目それぞれに画像を提示するための表示部に表示させる被写体と、前記表示部に表示させないことを示す透過領域とを含む画像データを生成する画像生成装置から前記画像データを取得する取得部、
圧縮された前記画像データのサイズに基づいて、前記被写体の奥行きを示す奥行指標を算出する算出部、
前記表示部が前記両目に同一の画像を提示するモノラル表示モードと、前記表示部が前記両目に視差画像を提示するステレオ表示モードとのいずれかの表示モードを、前記奥行指標に基づいて決定する決定部、及び
前記決定部が決定した前記表示モードに基づいて、前記画像データを前記表示部に表示させる表示制御部、
として機能させるプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019046975A JP7118913B2 (ja) | 2019-03-14 | 2019-03-14 | 表示装置、表示方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019046975A JP7118913B2 (ja) | 2019-03-14 | 2019-03-14 | 表示装置、表示方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020150434A JP2020150434A (ja) | 2020-09-17 |
JP7118913B2 true JP7118913B2 (ja) | 2022-08-16 |
Family
ID=72432293
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019046975A Active JP7118913B2 (ja) | 2019-03-14 | 2019-03-14 | 表示装置、表示方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7118913B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012147276A1 (ja) | 2011-04-28 | 2012-11-01 | パナソニック株式会社 | 映像表示装置および映像表示方法 |
JP2012235218A (ja) | 2011-04-28 | 2012-11-29 | Funai Electric Co Ltd | 映像出力装置 |
JP2013258705A (ja) | 2013-06-26 | 2013-12-26 | Nec Casio Mobile Communications Ltd | 端末装置及びプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012083412A (ja) * | 2010-10-07 | 2012-04-26 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
JP6711379B2 (ja) * | 2018-08-22 | 2020-06-17 | セイコーエプソン株式会社 | 頭部装着型表示装置、コンピュータープログラム |
-
2019
- 2019-03-14 JP JP2019046975A patent/JP7118913B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012147276A1 (ja) | 2011-04-28 | 2012-11-01 | パナソニック株式会社 | 映像表示装置および映像表示方法 |
JP2012235218A (ja) | 2011-04-28 | 2012-11-29 | Funai Electric Co Ltd | 映像出力装置 |
JP2013258705A (ja) | 2013-06-26 | 2013-12-26 | Nec Casio Mobile Communications Ltd | 端末装置及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020150434A (ja) | 2020-09-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11973979B2 (en) | Image compression for digital reality | |
JP6147275B2 (ja) | 立体画像処理装置、立体画像処理方法、及びプログラム | |
KR101065230B1 (ko) | 스테레오-가능 디스플레이 상에의 3d 비디오 이미지의 렌더링 | |
US20140092439A1 (en) | Encoding images using a 3d mesh of polygons and corresponding textures | |
CN108696732B (zh) | 头戴显示设备的分辨率调整方法及设备 | |
US20130127989A1 (en) | Conversion of 2-Dimensional Image Data into 3-Dimensional Image Data | |
US20240005526A1 (en) | Device and Method for Optimizing Power Consumption During Frames Rendering | |
Dumic et al. | Subjective evaluation and objective measures for point clouds—State of the art | |
US11893705B2 (en) | Reference image generation apparatus, display image generation apparatus, reference image generation method, and display image generation method | |
US11468587B2 (en) | System and method for depth map recovery | |
EP3816941A1 (en) | Image processing system and method | |
US20220382053A1 (en) | Image processing method and apparatus for head-mounted display device as well as electronic device | |
US11416964B2 (en) | Method and device for adjusting resolution of HMD apparatus | |
US20160035127A1 (en) | Three-dimensional image display system, server for three-dimensional image display system, and three-dimensional image display method | |
JP7118913B2 (ja) | 表示装置、表示方法及びプログラム | |
WO2021079592A1 (ja) | 情報処理装置、3dデータの生成方法及びプログラム | |
KR101373718B1 (ko) | 3차원 영상에 대한 깊이 추정을 위한 스테레오 매칭 장치 및 방법, 및 상기 스테레오 매칭을 통한 3차원 영상 스트림 전송 장치 및 재생 장치 | |
CN113963103A (zh) | 一种三维模型的渲染方法和相关装置 | |
KR101814174B1 (ko) | 영상 타입 판별 장치와 방법 및 영상 타입 판별 장치를 포함하는 스마트 기기 | |
WO2022259632A1 (ja) | 情報処理装置及び情報処理方法 | |
WO2022230253A1 (ja) | 情報処理装置及び情報処理方法 | |
US11323682B2 (en) | Electronic device, content processing device, content processing system, image data output method, and image processing method | |
US20210312699A1 (en) | Information processing device, information processing method, and program | |
Doan et al. | Hole-Filling Algorithm with Spatio-Temporal Background Information for View Synthesis | |
JP2022015209A (ja) | 画像処理方法、画像処理プログラム、及び表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220119 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220125 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220310 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220802 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220803 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7118913 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |