JP2021097375A - 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法 - Google Patents
画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法 Download PDFInfo
- Publication number
- JP2021097375A JP2021097375A JP2019229149A JP2019229149A JP2021097375A JP 2021097375 A JP2021097375 A JP 2021097375A JP 2019229149 A JP2019229149 A JP 2019229149A JP 2019229149 A JP2019229149 A JP 2019229149A JP 2021097375 A JP2021097375 A JP 2021097375A
- Authority
- JP
- Japan
- Prior art keywords
- image
- omnidirectional
- user
- chair
- omnidirectional image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 51
- 238000001514 detection method Methods 0.000 claims abstract description 38
- 238000000605 extraction Methods 0.000 claims description 19
- 230000005540 biological transmission Effects 0.000 claims description 15
- 238000004891 communication Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 description 79
- 238000012545 processing Methods 0.000 description 21
- 230000033001 locomotion Effects 0.000 description 11
- 239000000284 extract Substances 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 230000003416 augmentation Effects 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 238000012937 correction Methods 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Analysis (AREA)
Abstract
Description
図1において、通信部11には、全方位カメラ12と3軸の加速度センサ13が接続されている。図2に示すように、全方位カメラ12は、一例として、車両10のダッシュボード上に配置されている。図3に示すように、全方位カメラ12は、図2に示す配置状態において、車両10の前方を撮影する左目用魚眼レンズ12FL及び右目用魚眼レンズ12FRと、車両10の後方を撮影する左目用魚眼レンズ12RL及び右目用魚眼レンズ12RRとを備える。
第2実施形態は、第1実施形態と同様に全方位画像の水平面の傾きを補正し、全方位画像の前方を設定した上で、ユーザUsに車両10の動きに対応する臨場感を与えるように構成した画像調整装置及びVR画像表示システム40である。
第3実施形態は、第1実施形態と同様に全方位画像の水平面の傾きを補正し、全方位画像の前方を設定した上で、第2実施形態とは異なる方法で、ユーザUsに車両10の動きに対応する臨場感を与えるように構成した画像調整装置及びVR画像表示システム40である。第3実施形態における制御部42の構成は図9と同じであってもよいが、モード設定部4202と画像傾け部426は省略可能である。
第4実施形態は、第1実施形態と同様に全方位画像の水平面の傾きを補正し、被写体の前方を設定した上で、第2及び第3実施形態とは異なる方法で、ユーザUsに車両10の動きに対応する臨場感を与えるように構成した画像調整装置及びVR画像表示システム40である。図14に示すように、制御部42は椅子制御部4201を備える。制御部42が備える画像処理部420は、図3と同じ構成である。
第5実施形態は、第1実施形態と同様に全方位画像の水平面の傾きを補正し、被写体の前方を設定した上で、第4実施形態とは異なる方法で、ユーザUsに、車両10が弾道軌道Btを描くように進行したときに車両10の動きに対応する臨場感を与えるように構成した画像調整装置及びVR画像表示システム40である。第5実施形態における制御部42の構成は図14と同じである。
第2、第3、及び第5実施形態において、加速度センサ13が検出した加速度に応じて角度θ2、θ3、θ5〜θ10が設定される。車両10が異常な走行をしたり、事故が発生したりした場合には、加速度センサ13が異常な加速度を検出することがある。この場合には、加速度センサ13が検出した加速度に応じた角度θ2、θ3、θ5〜θ10を設定することは好ましくない。
11,41 通信部
12 全方位カメラ
13 加速度センサ
20 ネットワーク
31 画像送信サーバ
32 メモリ
40 バーチャル・リアリティ画像表示システム
42 制御部
43 画像生成部
44 ヘッドマウントディスプレイ
45 グローブ型コントローラ
46 VR用椅子
47 操作部
420 画像処理部
421 画像重畳部
422 画像回転部
423 消失点検出部
424 前方設定部
425 領域画像抽出部
426 画像傾け部
4201 椅子制御部
4202 モード設定部
Claims (4)
- 球状画像を生成する画像生成部と、
前記球状画像を、全方位カメラが被写体を撮影した全方位画像に重畳した重畳画像のうち、ヘッドマウントディスプレイを装着したユーザが向く方向に対応して抽出された領域画像を前記ヘッドマウントディスプレイに表示した状態で、前記球状画像を回転させる操作によって前記全方位画像を回転させて、前記全方位画像の水平面の傾きを補正する画像回転部と、
前記全方位カメラが移動して前記全方位画像が変化している状態で、前記全方位画像の消失点を検出する消失点検出部と、
前記消失点に基づいて前記全方位画像の前方を特定し、前記全方位画像の前方と前記ユーザが前方を向いているときに抽出された領域画像とを対応付けるように、前記全方位画像を前記画像回転部によって補正された水平面を維持しながら回転させる前方設定部と、
を備える画像調整装置。 - 全方位カメラが被写体を撮影した全方位画像の画像データを画像送信サーバから受信する通信部と、
ユーザの頭部に装着されて、前記全方位画像を前記ユーザに見せるヘッドマウントディスプレイと、
前記ユーザによって操作されるコントローラと、
前記ユーザが座る椅子と、
球状画像を生成する画像生成部と、
前記球状画像を前記全方位画像に重畳して重畳画像を生成する画像重畳部と、
前記重畳画像または前記全方位画像のうち、前記ユーザが向く方向に対応して抽出した領域画像を前記ヘッドマウントディスプレイに供給する領域画像抽出部と、
前記ユーザが前記椅子に座った状態で、前記ユーザが前記コントローラを操作して前記球状画像を回転させることによって前記重畳画像を回転させて、前記全方位画像の水平面の傾きを補正する画像回転部と、
前記全方位カメラが移動して前記全方位画像が変化しているとき、前記全方位画像の消失点を検出する消失点検出部と、
前記消失点に基づいて前記全方位画像の前方を特定し、前記全方位画像の前方と前記ユーザが前方を向いているときに抽出された領域画像とを対応付けるように、前記全方位画像を前記画像回転部によって補正された水平面を維持しながら回転させる前方設定部と、
を備えるバーチャル・リアリティ画像表示システム。 - 前記コントローラは、前記ユーザの手に装着されるグローブ型コントローラであり、
前記画像回転部は、仮想的に前記球状画像の内部に位置する前記ユーザが前記グローブ型コントローラによって前記球状画像を回転させる操作に応答して前記重畳画像を回転させる
請求項2に記載のバーチャル・リアリティ画像表示システム。 - 球状画像を生成し、
前記球状画像を、全方位カメラが被写体を撮影した全方位画像に重畳した重畳画像のうち、ヘッドマウントディスプレイを装着したユーザが向く方向に対応して抽出された領域画像を前記ヘッドマウントディスプレイに表示した状態で、前記球状画像を回転させる操作によって前記全方位画像を回転させて、前記全方位画像の水平面の傾きを補正し、
前記全方位カメラが移動して前記全方位画像が変化している状態で、前記全方位画像の消失点を検出し、
前記消失点に基づいて前記全方位画像の前方を特定し、前記全方位画像の前方と前記ユーザが前方を向いているときに抽出された領域画像とを対応付けるように、前記全方位画像を補正された水平面を維持しながら回転させる
画像調整方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019229149A JP7322692B2 (ja) | 2019-12-19 | 2019-12-19 | 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法 |
US17/118,117 US11417050B2 (en) | 2019-12-19 | 2020-12-10 | Image adjustment device, virtual reality image display system, and image adjustment method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019229149A JP7322692B2 (ja) | 2019-12-19 | 2019-12-19 | 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021097375A true JP2021097375A (ja) | 2021-06-24 |
JP7322692B2 JP7322692B2 (ja) | 2023-08-08 |
Family
ID=76431922
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019229149A Active JP7322692B2 (ja) | 2019-12-19 | 2019-12-19 | 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7322692B2 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005056295A (ja) * | 2003-08-07 | 2005-03-03 | Iwane Kenkyusho:Kk | 360度画像変換処理装置 |
JP2005244861A (ja) * | 2004-02-27 | 2005-09-08 | Japan Science & Technology Agency | 撮像装置及び撮像系パラメータ校正方法 |
JP2006059202A (ja) * | 2004-08-20 | 2006-03-02 | Iwate Univ | 撮像装置及び画像補正方法 |
US20090153477A1 (en) * | 2007-12-12 | 2009-06-18 | Saenz Valentin L | Computer mouse glove |
JP2011215063A (ja) * | 2010-04-01 | 2011-10-27 | Tottori Univ | カメラ姿勢パラメータ推定装置 |
WO2018043135A1 (ja) * | 2016-08-31 | 2018-03-08 | ソニー株式会社 | 情報処理装置、情報処理方法、並びにプログラム |
JP2019121858A (ja) * | 2017-12-28 | 2019-07-22 | キヤノン株式会社 | 電子機器及びその制御方法 |
-
2019
- 2019-12-19 JP JP2019229149A patent/JP7322692B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005056295A (ja) * | 2003-08-07 | 2005-03-03 | Iwane Kenkyusho:Kk | 360度画像変換処理装置 |
JP2005244861A (ja) * | 2004-02-27 | 2005-09-08 | Japan Science & Technology Agency | 撮像装置及び撮像系パラメータ校正方法 |
JP2006059202A (ja) * | 2004-08-20 | 2006-03-02 | Iwate Univ | 撮像装置及び画像補正方法 |
US20090153477A1 (en) * | 2007-12-12 | 2009-06-18 | Saenz Valentin L | Computer mouse glove |
JP2011215063A (ja) * | 2010-04-01 | 2011-10-27 | Tottori Univ | カメラ姿勢パラメータ推定装置 |
WO2018043135A1 (ja) * | 2016-08-31 | 2018-03-08 | ソニー株式会社 | 情報処理装置、情報処理方法、並びにプログラム |
JP2019121858A (ja) * | 2017-12-28 | 2019-07-22 | キヤノン株式会社 | 電子機器及びその制御方法 |
Also Published As
Publication number | Publication date |
---|---|
JP7322692B2 (ja) | 2023-08-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4892731B2 (ja) | 乗り物酔い防止回復装置 | |
US5905525A (en) | Image display apparatus having a display controlled by user's head movement | |
US11184597B2 (en) | Information processing device, image generation method, and head-mounted display | |
JP6899875B2 (ja) | 情報処理装置、映像表示システム、情報処理装置の制御方法、及びプログラム | |
WO2008033540A2 (en) | Motion sickness reduction | |
JP6257978B2 (ja) | 画像生成装置、画像表示システム及び画像生成方法 | |
KR20180040634A (ko) | 정보 처리 장치 | |
US20210329171A1 (en) | Image adjustment system, image adjustment device, and image adjustment | |
JP7168367B2 (ja) | 事故通報装置 | |
WO2018109502A1 (en) | A system for providing a virtual reality experience | |
EP3712749B1 (en) | Image display system, image display program, display control apparatus, and image display method | |
US11417050B2 (en) | Image adjustment device, virtual reality image display system, and image adjustment method | |
JP2017220224A (ja) | 仮想空間を提供するための方法、当該方法をコンピュータに実現させるためのプログラム、および仮想空間を提供するためのシステム | |
JP7322692B2 (ja) | 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法 | |
JP7363454B2 (ja) | 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法 | |
JP7443749B2 (ja) | 画像調整装置、バーチャル・リアリティ画像表示システム、及び画像調整方法 | |
JP7380177B2 (ja) | バーチャル・リアリティ画像表示システム及びバーチャル・リアリティ画像表示システムの制御方法 | |
JP7443751B2 (ja) | バーチャル・リアリティ画像表示システム及びバーチャル・リアリティ画像表示システムの制御方法 | |
JP7443750B2 (ja) | バーチャル・リアリティ画像表示システム及びバーチャル・リアリティ画像表示システムの制御方法 | |
JP2018205429A (ja) | 表示制御装置 | |
US20180210545A1 (en) | Method Of Navigating Viewable Content Within A Virtual Environment Generated By A Virtual Reality System | |
KR101750064B1 (ko) | 가상체험 시뮬레이션 장치 및 방법 | |
CN111868667A (zh) | 信息处理装置、信息处理方法和程序 | |
JP7315362B2 (ja) | 映像出力システム及び映像出力方法 | |
JP7006498B2 (ja) | ヘッドアップディスプレイ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220930 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230613 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230627 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230710 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7322692 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |