JP6641122B2 - 表示装置及び情報処理装置及びその制御方法 - Google Patents
表示装置及び情報処理装置及びその制御方法 Download PDFInfo
- Publication number
- JP6641122B2 JP6641122B2 JP2015168141A JP2015168141A JP6641122B2 JP 6641122 B2 JP6641122 B2 JP 6641122B2 JP 2015168141 A JP2015168141 A JP 2015168141A JP 2015168141 A JP2015168141 A JP 2015168141A JP 6641122 B2 JP6641122 B2 JP 6641122B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- display device
- image data
- observer
- orientation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0176—Head mounted characterised by mechanical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/156—Mixing image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
- H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/366—Image reproducers using viewer tracking
- H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Theoretical Computer Science (AREA)
- Optics & Photonics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Studio Devices (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Description
観察者に提示するための映像を表示するディスプレイを搭載した、装着型の表示装置であって、
前記表示装置を装着した際の観察者の視線方向の画像であって、前記ディスプレイに表示するための画像を撮像するための第1の撮像手段と、
前記第1の撮像手段の撮像視野を包含するために、当該第1の撮像手段よりも広い画角を有する第2の撮像手段と、を備え、
前記第2の撮像手段は左右のカメラから構成され、
前記第2の撮像手段を構成する左右のカメラそれぞれは、前記第1の撮像手段を構成する左右のカメラおよび前記表示装置の表示の外側に配置され、
前記第2の撮像手段を構成する左右のカメラの内の一方の視線方向は、前記第1の撮像手段の視線方向に対して上方向を向いており、
前記第2の撮像手段を構成する左右のカメラの内の他方の視線方向は、前記第1の撮像手段の視線方向に対して下方向を向いていることを特徴とする。
前記第2の撮像手段が撮像した画像データを解析し、所定のマーカーを検出することで前記表示装置の位置姿勢を検出する検出手段と、
検出した位置姿勢に基づき、合成することになる仮想オブジェクトを表す画像データを生成する生成手段と、
生成した画像データを、前記第1の撮像手段が撮像した画像データと合成する合成手段と、
合成した画像データを前記表示装置に出力する出力手段とを有する。
参照符号23、28は、観察者の左右の視野に相当する画像を撮影するカメラである。カメラ23は、撮像素子24および撮像素子24に像を結像させるためのカメラレンズ25から構成されている。カメラ28も同様である。
マーカーは、HMD本体10の位置姿勢を算出するために使用されるものであり、形状等に制約を受けるものではないことは言うまでもない。
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア(プログラム)を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)がプログラムを読み出して実行する処理である。
Claims (6)
- 観察者に提示するための映像を表示するディスプレイを搭載した、装着型の表示装置であって、
前記表示装置を装着した際の観察者の視線方向の画像であって、前記ディスプレイに表示するための画像を撮像するための第1の撮像手段と、
前記第1の撮像手段の撮像視野を包含するために、当該第1の撮像手段よりも広い画角を有する第2の撮像手段と、を備え、
前記第2の撮像手段は左右のカメラから構成され、
前記第2の撮像手段を構成する左右のカメラそれぞれは、前記第1の撮像手段を構成する左右のカメラおよび前記表示装置の表示の外側に配置され、
前記第2の撮像手段を構成する左右のカメラの内の一方の視線方向は、前記第1の撮像手段の視線方向に対して上方向を向いており、
前記第2の撮像手段を構成する左右のカメラの内の他方の視線方向は、前記第1の撮像手段の視線方向に対して下方向を向いている
ことを特徴とする表示装置。 - 前記第2の撮像手段が撮像する撮像視野の範囲の垂直方向のサイズは、水平方向のサイズよりも大きいことを特徴とする請求項1に記載の表示装置。
- 請求項1の表示装置と接続し、当該表示装置が有するディスプレイに表示するための画像を生成する情報処理装置であって、
前記第2の撮像手段が撮像した画像データを解析し、所定のマーカーを検出することで前記表示装置の位置姿勢を検出する検出手段と、
検出した位置姿勢に基づき、合成することになる仮想オブジェクトを表す画像データを生成する生成手段と、
生成した画像データを、前記第1の撮像手段が撮像した画像データと合成する合成手段と、
合成した画像データを前記表示装置に出力する出力手段と
を有することを特徴とする情報処理装置。 - 請求項1の表示装置と接続し、当該表示装置が有するディスプレイに表示するための画像を生成する情報処理装置の制御方法であって、
検出手段が、前記第2の撮像手段が撮像した画像データを解析し、所定のマーカーを検出することで前記表示装置の位置姿勢を検出する検出工程と、
生成手段が、検出した位置姿勢に基づき、合成することになる仮想オブジェクトを表す画像データを生成する生成工程と、
合成手段が、生成した画像データを、前記第1の撮像手段が撮像した画像データと合成する合成工程と、
出力手段が、合成した画像データを前記表示装置に出力する出力工程と
を有することを特徴とする情報処理装置の制御方法。 - コンピュータが読み込み実行することで、前記コンピュータを、請求項1の表示装置と接続し、当該表示装置が有するディスプレイに表示するための画像を生成する情報処理装置として機能させるためのプログラムであって、
前記コンピュータを、
前記第2の撮像手段が撮像した画像データを解析し、所定のマーカーを検出することで前記表示装置の位置姿勢を検出する検出手段、
検出した位置姿勢に基づき、合成することになる仮想オブジェクトを表す画像データを生成する生成手段、
生成した画像データを、前記第1の撮像手段が撮像した画像データと合成する合成手段、
合成した画像データを前記表示装置に出力する出力手段
として機能させるためのプログラム。 - 請求項5に記載のプログラムを格納した、コンピュータが読み取り可能な記憶媒体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015168141A JP6641122B2 (ja) | 2015-08-27 | 2015-08-27 | 表示装置及び情報処理装置及びその制御方法 |
EP16001705.9A EP3136724B1 (en) | 2015-08-27 | 2016-08-02 | Wearable display apparatus, information processing apparatus, and control method therefor |
US15/243,012 US20170061695A1 (en) | 2015-08-27 | 2016-08-22 | Wearable display apparatus, information processing apparatus, and control method therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015168141A JP6641122B2 (ja) | 2015-08-27 | 2015-08-27 | 表示装置及び情報処理装置及びその制御方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017046233A JP2017046233A (ja) | 2017-03-02 |
JP2017046233A5 JP2017046233A5 (ja) | 2018-10-04 |
JP6641122B2 true JP6641122B2 (ja) | 2020-02-05 |
Family
ID=56567344
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015168141A Active JP6641122B2 (ja) | 2015-08-27 | 2015-08-27 | 表示装置及び情報処理装置及びその制御方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20170061695A1 (ja) |
EP (1) | EP3136724B1 (ja) |
JP (1) | JP6641122B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10320437B2 (en) * | 2014-10-24 | 2019-06-11 | Usens, Inc. | System and method for immersive and interactive multimedia generation |
KR101930657B1 (ko) | 2014-10-24 | 2018-12-18 | 유센스, 인코퍼레이티드 | 몰입식 및 대화식 멀티미디어 생성을 위한 시스템 및 방법 |
RU2686029C2 (ru) * | 2017-07-19 | 2019-04-23 | Автономная некоммерческая образовательная организация высшего образования "Сколковский институт науки и технологий" | Система виртуальной реальности на основе смартфона и наклонного зеркала |
US11431952B2 (en) * | 2020-05-11 | 2022-08-30 | Sony Interactive Entertainment Inc. | User selection of virtual camera location to produce video using synthesized input from multiple cameras |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3387326B2 (ja) * | 1996-08-30 | 2003-03-17 | ミノルタ株式会社 | 映像観察システム |
JP3363861B2 (ja) | 2000-01-13 | 2003-01-08 | キヤノン株式会社 | 複合現実感提示装置及び複合現実感提示方法並びに記憶媒体 |
US20020082498A1 (en) * | 2000-10-05 | 2002-06-27 | Siemens Corporate Research, Inc. | Intra-operative image-guided neurosurgery with augmented reality visualization |
US6891518B2 (en) * | 2000-10-05 | 2005-05-10 | Siemens Corporate Research, Inc. | Augmented reality visualization device |
US20030227542A1 (en) * | 2001-12-20 | 2003-12-11 | Xiang Zhang | Single-computer real-time stereo augmented reality system |
JP2004205711A (ja) * | 2002-12-24 | 2004-07-22 | Canon Inc | 表示装置 |
US7774044B2 (en) * | 2004-02-17 | 2010-08-10 | Siemens Medical Solutions Usa, Inc. | System and method for augmented reality navigation in a medical intervention procedure |
JP4834424B2 (ja) * | 2006-03-03 | 2011-12-14 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
US9323055B2 (en) * | 2006-05-26 | 2016-04-26 | Exelis, Inc. | System and method to display maintenance and operational instructions of an apparatus using augmented reality |
JP2008146109A (ja) * | 2006-12-05 | 2008-06-26 | Canon Inc | 画像処理方法、画像処理装置 |
JP2011205358A (ja) | 2010-03-25 | 2011-10-13 | Fujifilm Corp | ヘッドマウントディスプレイ装置 |
US8885877B2 (en) * | 2011-05-20 | 2014-11-11 | Eyefluence, Inc. | Systems and methods for identifying gaze tracking scene reference locations |
JP2013174729A (ja) * | 2012-02-24 | 2013-09-05 | Nikon Corp | 情報表示装置、及び情報表示方法 |
US10110805B2 (en) * | 2012-12-06 | 2018-10-23 | Sandisk Technologies Llc | Head mountable camera system |
US10061349B2 (en) * | 2012-12-06 | 2018-08-28 | Sandisk Technologies Llc | Head mountable camera system |
-
2015
- 2015-08-27 JP JP2015168141A patent/JP6641122B2/ja active Active
-
2016
- 2016-08-02 EP EP16001705.9A patent/EP3136724B1/en active Active
- 2016-08-22 US US15/243,012 patent/US20170061695A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
EP3136724A1 (en) | 2017-03-01 |
JP2017046233A (ja) | 2017-03-02 |
US20170061695A1 (en) | 2017-03-02 |
EP3136724B1 (en) | 2020-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN106062826B (zh) | 图像生成装置以及图像生成方法 | |
KR100911066B1 (ko) | 화상 표시 시스템, 화상 표시 방법 및 기록 매체 | |
CN108093244B (zh) | 一种远程随动立体视觉*** | |
JP6899875B2 (ja) | 情報処理装置、映像表示システム、情報処理装置の制御方法、及びプログラム | |
CN106663336B (zh) | 图像生成装置和图像生成方法 | |
JP6641122B2 (ja) | 表示装置及び情報処理装置及びその制御方法 | |
JP2017204674A (ja) | 撮像装置、ヘッドマウントディスプレイ、情報処理システム、および情報処理方法 | |
WO2016163183A1 (ja) | 没入型仮想空間に実空間のユーザの周辺環境を提示するためのヘッドマウント・ディスプレイ・システムおよびコンピュータ・プログラム | |
JP2001211403A (ja) | 頭部装着型表示装置及び頭部装着型表示システム | |
JP2020004325A (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2011010126A (ja) | 画像処理装置、画像処理方法 | |
JP4580678B2 (ja) | 注視点位置表示装置 | |
JP2019534493A (ja) | 拡張現実感のための装置および方法 | |
JP6419118B2 (ja) | 画像表示システム | |
JP6649010B2 (ja) | 情報処理装置 | |
JP7118650B2 (ja) | 表示装置 | |
JP2015007722A (ja) | 画像表示装置 | |
US20210014475A1 (en) | System and method for corrected video-see-through for head mounted displays | |
JP2017046233A5 (ja) | ||
JP2017049553A (ja) | 頭部装着装置の製造方法および頭部装着装置 | |
JP2015201734A (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
JP2004289548A (ja) | 画像調整装置及び頭部装着型表示装置 | |
JP2006253777A (ja) | 立体画像表示装置 | |
WO2017094285A1 (ja) | 距離計測デバイス | |
WO2023243305A1 (ja) | 情報処理装置、情報処理方法およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180821 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180821 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190513 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190712 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20191129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20191227 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6641122 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |