JP6378794B1 - 画像処理装置、画像処理プログラム、及び、画像処理方法 - Google Patents
画像処理装置、画像処理プログラム、及び、画像処理方法 Download PDFInfo
- Publication number
- JP6378794B1 JP6378794B1 JP2017032281A JP2017032281A JP6378794B1 JP 6378794 B1 JP6378794 B1 JP 6378794B1 JP 2017032281 A JP2017032281 A JP 2017032281A JP 2017032281 A JP2017032281 A JP 2017032281A JP 6378794 B1 JP6378794 B1 JP 6378794B1
- Authority
- JP
- Japan
- Prior art keywords
- eye
- viewpoint
- image
- axis
- user terminal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【解決手段】視点設定部56は、ユーザ端末16の向きに基づいて、ワールド座標系内の左眼対応立体モデル74Lに対する左眼視点、及び、ワールド座標系内の右眼対応立体モデル74Rに対する右眼視点を設定する。これにより、左眼視点及び右眼視点それぞれに対して、視線方向をZ軸負方向、上方ベクトルの向きをY軸正方向、Z軸及びY軸に対して右手系を構成する向き方向をX軸正方向とするビュー座標系が定義される。視点補正部58は、左眼ビュー座標系におけるXVL軸負方向に前記左眼視点を移動させ、右眼ビュー座標系におけるXVR軸正方向に前記右眼視点を移動させる。
【選択図】図5
Description
y=2fsin(θ/2) ・・・ (式1)
ここで、入射角θとは、魚眼レンズの正面方向に対する入射光の角度であり、像高yとは、撮像素子の中央からの物理的な距離であり、fは焦点距離である。
魚眼レンズ20L及び20Rの射影方式が正射影である場合には、
y=fsinθ ・・・ (式2)で、
魚眼レンズ20L及び20Rの射影方式が等距離射影である場合には、
y=fθ ・・・ (式3)で、
魚眼レンズ20L及び20Rの射影方式が立体射影である場合には、
y=2ftan(θ/2) ・・・ (式4)で、
それぞれ像高yが求められる。
Δd={d(1−sinφ)}/2 ・・・ (式5)
で与えられる。
Claims (5)
- 所定距離離間して同じ方向を向くように設置された左眼対応カメラ及び右眼対応カメラからの画像を処理して、利用者が利用する利用者端末に表示する画像を生成する画像処理装置であって、
前記左眼対応カメラで撮像された左眼対応画像、及び、前記右眼対応カメラで撮像された右眼対応画像をそれぞれ立体モデルに投影変換して、ワールド座標系において左眼対応立体モデル及び右眼対応立体モデルを構築するモデリング部と、
前記利用者端末の向きに基づいて、前記ワールド座標系において、前記左眼対応立体モデルに対する左眼視点の位置、前記左眼視点からの視点方向である左眼視線方向、及び、前記左眼視点の上方向を示す左眼上方ベクトルの向きを設定し、前記利用者端末の向きに基づいて、前記ワールド座標系において、前記右眼対応立体モデルに対する右眼視点の位置、前記右眼視点からの視点方向である右眼視線方向、及び、前記右眼視点の上方向を示す右眼上方ベクトルの向きを設定する視点設定部と、
前記利用者端末の向きが、キャリブレーションにより定められる正面方向から左右方向に向けられた場合に、前記左眼視線方向とは反対の方向をZVL軸正方向とし、前記左眼上方ベクトルの向きをYVL軸正方向とし、前記ZVL軸及びYVL軸に対して右手系を構成する向きがXVL軸正方向である左眼ビュー座標系におけるXVL軸負方向に前記左眼視点を移動させ、前記右眼視線方向とは反対の方向をZVR軸正方向とし、前記右眼上方ベクトルの向きをYVR軸正方向とし、前記ZVR軸及びYVR軸に対して右手系を構成する向きがXVR軸正方向である右眼ビュー座標系におけるXVR軸正方向に前記右眼視点を移動させることで、前記左眼視点及び前記右眼視点の位置を補正する視点補正部と、
補正された前記左眼視点の位置、前記左眼視線方向、及び前記左眼上方ベクトルの向きに基づいて、前記左眼対応立体モデルを2次元投影することで処理済左眼対応画像を生成し、補正された前記右眼視点の位置、前記右眼視線方向、及び前記右眼上方ベクトルの向きに基づいて、前記右眼対応立体モデルを2次元投影することで処理済右眼対応画像を生成する投影変換部と、
を備えることを特徴とする画像処理装置。 - 前記視点補正部は、前記所定距離と、前記利用者端末の向きに応じて演算される前記左眼対応カメラと前記右眼対応カメラとの間の視差との差の半分である補正距離に応じた距離分、前記左眼視点及び前記右眼視点の位置を移動させる、
ことを特徴とする請求項1に記載の画像処理装置。 - 前記モデリング部は、前記左眼対応立体モデルにおける、前記左眼対応カメラの撮像対象の像が描画された描画領域のうち、前記左眼対応カメラの撮像対象の像が描画されていない無描画領域側の境界領域において、当該無描画領域へ向かって描画像を徐々に透過させる処理を行い、前記右眼対応立体モデルにおける、前記右眼対応カメラの撮像対象の像が描画された描画領域のうち、前記右眼対応カメラの撮像対象の像が描画されていない無描画領域側の境界領域において、当該無描画領域へ向かって描画像を徐々に透過させる処理を行う、
ことを特徴とする請求項1又は2に記載の画像処理装置。 - 所定距離離間して同じ方向を向くように設置された左眼対応カメラ及び右眼対応カメラからの画像を処理して、利用者が利用する利用者端末に表示する画像を生成するコンピュータを、
前記左眼対応カメラで撮像された左眼対応画像、及び、前記右眼対応カメラで撮像された右眼対応画像をそれぞれ立体モデルに投影変換して、ワールド座標系において左眼対応立体モデル及び右眼対応立体モデルを構築するモデリング部と、
前記利用者端末の向きに基づいて、前記ワールド座標系において、前記左眼対応立体モデルに対する左眼視点の位置、前記左眼視点からの視点方向である左眼視線方向、及び、前記左眼視点の上方向を示す左眼上方ベクトルの向きを設定し、前記利用者端末の向きに基づいて、前記ワールド座標系において、前記右眼対応立体モデルに対する右眼視点の位置、前記右眼視点からの視点方向である右眼視線方向、及び、前記右眼視点の上方向を示す右眼上方ベクトルの向きを設定する視点設定部と、
前記利用者端末の向きが、キャリブレーションにより定められる正面方向から左右方向に向けられた場合に、前記左眼視線方向とは反対の方向をZVL軸正方向とし、前記左眼上方ベクトルの向きをYVL軸正方向とし、前記ZVL軸及びYVL軸に対して右手系を構成する向きがXVL軸正方向である左眼ビュー座標系におけるXVL軸負方向に前記左眼視点を移動させ、前記右眼視線方向とは反対の方向をZVR軸正方向とし、前記右眼上方ベクトルの向きをYVR軸正方向とし、前記ZVR軸及びYVR軸に対して右手系を構成する向きがXVR軸正方向である右眼ビュー座標系におけるXVR軸正方向に前記右眼視点を移動させることで、前記左眼視点及び前記右眼視点の位置を補正する視点補正部と、
補正された前記左眼視点の位置、前記左眼視線方向、及び前記左眼上方ベクトルの向きに基づいて、前記左眼対応立体モデルを2次元投影することで処理済左眼対応画像を生成し、補正された前記右眼視点の位置、前記右眼視線方向、及び前記右眼上方ベクトルの向きに基づいて、前記右眼対応立体モデルを2次元投影することで処理済右眼対応画像を生成する投影変換部と、
として機能させることを特徴とする画像処理プログラム。 - 所定距離離間して同じ方向を向くように設置された左眼対応カメラ及び右眼対応カメラからの画像を処理して、利用者が利用する利用者端末に表示する画像を生成する画像処理方法であって、
前記左眼対応カメラで撮像された左眼対応画像、及び、前記右眼対応カメラで撮像された右眼対応画像をそれぞれ立体モデルに投影変換して、ワールド座標系において左眼対応立体モデル及び右眼対応立体モデルを構築するモデリングステップと、
前記利用者端末の向きに基づいて、前記ワールド座標系において、前記左眼対応立体モデルに対する左眼視点の位置、前記左眼視点からの視点方向である左眼視線方向、及び、前記左眼視点の上方向を示す左眼上方ベクトルの向きを設定し、前記利用者端末の向きに基づいて、前記ワールド座標系において、前記右眼対応立体モデルに対する右眼視点の位置、前記右眼視点からの視点方向である右眼視線方向、及び、前記右眼視点の上方向を示す右眼上方ベクトルの向きを設定する視点設定ステップと、
前記利用者端末の向きが、キャリブレーションにより定められる正面方向から左右方向に向けられた場合に、前記左眼視線方向とは反対の方向をZVL軸正方向とし、前記左眼上方ベクトルの向きをYVL軸正方向とし、前記ZVL軸及びYVL軸に対して右手系を構成する向きがXVL軸正方向である左眼ビュー座標系におけるXVL軸負方向に前記左眼視点を移動させ、前記右眼視線方向とは反対の方向をZVR軸正方向とし、前記右眼上方ベクトルの向きをYVR軸正方向とし、前記ZVR軸及びYVR軸に対して右手系を構成する向きがXVR軸正方向である右眼ビュー座標系におけるXVR軸正方向に前記右眼視点を移動させることで、前記左眼視点及び前記右眼視点の位置を補正する視点補正ステップと、
補正された前記左眼視点の位置、前記左眼視線方向、及び前記左眼上方ベクトルの向きに基づいて、前記左眼対応立体モデルを2次元投影することで処理済左眼対応画像を生成し、補正された前記右眼視点の位置、前記右眼視線方向、及び前記右眼上方ベクトルの向きに基づいて、前記右眼対応立体モデルを2次元投影することで処理済右眼対応画像を生成する投影変換ステップと、
を備えることを特徴とする画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017032281A JP6378794B1 (ja) | 2017-02-23 | 2017-02-23 | 画像処理装置、画像処理プログラム、及び、画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017032281A JP6378794B1 (ja) | 2017-02-23 | 2017-02-23 | 画像処理装置、画像処理プログラム、及び、画像処理方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018141215A Division JP2019013003A (ja) | 2018-07-27 | 2018-07-27 | 画像処理装置、画像処理プログラム、及び、画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP6378794B1 true JP6378794B1 (ja) | 2018-08-22 |
JP2018137679A JP2018137679A (ja) | 2018-08-30 |
Family
ID=63250108
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017032281A Active JP6378794B1 (ja) | 2017-02-23 | 2017-02-23 | 画像処理装置、画像処理プログラム、及び、画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6378794B1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111047638A (zh) * | 2018-10-12 | 2020-04-21 | 富华科精密工业(深圳)有限公司 | 单目测距装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001222723A (ja) * | 2000-02-09 | 2001-08-17 | Gen Tec:Kk | 立体視画像の生成方法及び同装置 |
JP5515301B2 (ja) * | 2009-01-21 | 2014-06-11 | 株式会社ニコン | 画像処理装置、プログラム、画像処理方法、記録方法および記録媒体 |
US20120200676A1 (en) * | 2011-02-08 | 2012-08-09 | Microsoft Corporation | Three-Dimensional Display with Motion Parallax |
JP6337418B2 (ja) * | 2013-03-26 | 2018-06-06 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
EP3189657B1 (en) * | 2014-09-03 | 2022-11-23 | Nevermind Capital LLC | Method and apparatus for transmitting and/or playing back stereoscopic content |
-
2017
- 2017-02-23 JP JP2017032281A patent/JP6378794B1/ja active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111047638A (zh) * | 2018-10-12 | 2020-04-21 | 富华科精密工业(深圳)有限公司 | 单目测距装置 |
CN111047638B (zh) * | 2018-10-12 | 2023-08-18 | 深圳富联富桂精密工业有限公司 | 单目测距装置 |
Also Published As
Publication number | Publication date |
---|---|
JP2018137679A (ja) | 2018-08-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9881421B2 (en) | Image processing | |
WO2018056155A1 (ja) | 情報処理装置、画像生成方法およびヘッドマウントディスプレイ | |
US11960086B2 (en) | Image generation device, head-mounted display, and image generation method | |
CN211128024U (zh) | 3d显示设备 | |
US20190045125A1 (en) | Virtual reality video processing | |
TWI788739B (zh) | 3d顯示設備、3d圖像顯示方法 | |
US20220113543A1 (en) | Head-mounted display and image display method | |
WO2017086244A1 (ja) | 画像処理装置、情報処理装置、および画像処理方法 | |
WO2018032841A1 (zh) | 绘制三维图像的方法及其设备、*** | |
CN113454685A (zh) | 基于云的相机标定 | |
JPWO2019198784A1 (ja) | ライトフィールド画像生成システム、画像表示システム、形状情報取得サーバ、画像生成サーバ、表示装置、ライトフィールド画像生成方法及び画像表示方法 | |
US20220113794A1 (en) | Display device and image display method | |
JPH1074269A (ja) | 立体cg動画像生成装置 | |
US20180143523A1 (en) | Spherical omnipolar imaging | |
JP6378794B1 (ja) | 画像処理装置、画像処理プログラム、及び、画像処理方法 | |
US20220165015A1 (en) | Image signal representing a scene | |
CN110060349B (zh) | 一种扩展增强现实头戴式显示设备视场角的方法 | |
WO2019146194A1 (ja) | 情報処理装置、及び情報処理方法 | |
CN114513646B (zh) | 一种三维虚拟场景中全景视频的生成方法及设备 | |
CN115311133A (zh) | 一种图像处理方法、装置、电子设备及存储介质 | |
JP2019013003A (ja) | 画像処理装置、画像処理プログラム、及び、画像処理方法 | |
WO2019026388A1 (ja) | 画像生成装置および画像生成方法 | |
WO2017191703A1 (ja) | 画像処理装置 | |
TW202205851A (zh) | 可透光顯示系統及其圖像輸出方法與處理裝置 | |
KR100893381B1 (ko) | 실시간 입체영상 생성방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180710 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180727 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6378794 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |