JP4976108B2 - 画像表示装置、及び立体画像提示方法 - Google Patents
画像表示装置、及び立体画像提示方法 Download PDFInfo
- Publication number
- JP4976108B2 JP4976108B2 JP2006302140A JP2006302140A JP4976108B2 JP 4976108 B2 JP4976108 B2 JP 4976108B2 JP 2006302140 A JP2006302140 A JP 2006302140A JP 2006302140 A JP2006302140 A JP 2006302140A JP 4976108 B2 JP4976108 B2 JP 4976108B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- viewer
- deformation
- stereo
- stereoscopic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
本発明の立体画像提示システムを具体化した第1の実施形態について図1〜4を参照しながら説明する。本実施形態では、片方の眼で外界を見ながら、もう一方の眼に立体視するための画像表示装置1001の画像表示装置本体1002を装着した立体画像提示システムとして説明する。本実施形態では、左右の視差を考慮したステレオ画像(右)及びステレオ画像(左)を含む立体視覚認識用画像、例えばステレオ画像(右)は画像表示装置1001に提供する画像、ステレオ画像(左)は立体表示印刷紙に印刷された肉眼観察用画像である。ステレオ画像(右)を、図1に示すような画像表示装置の表示部1004に表示し、右眼に提示した状態で、ステレオ画像(左)を左眼の肉眼に提示する(図4の下図参照)。
本発明の立体画像提示システムを具体化した第2の実施形態を、図1〜図3を用いて説明する。本実施形態では、左眼で外界を見ながら、柔軟に立体視するための立体画像提示システムとして説明する。本実施形態では、1組のステレオ画像のうち、紙に印刷された1枚の画像を左眼にて閲覧しながら、もう一方の画像を本発明の画像表示装置(以後、単眼ヘッドマウントディスプレイ、HMDともいう。)に表示し、それを右眼で閲覧させる。このとき、右眼の網膜像と左眼の網膜像から、対応点をみつけることができれば、立体感を得ることができる。
まず、閲覧者はHMD2001を右眼に着用する(F3001)。そして、閲覧者がRDS画像(左)2003の方を向く。するとカメラ1005で撮影された画像にRDS画像(左)2003だけでなく、相対位置計測用マーカ2004が含まれることになる。この画像を用いて相対位置測定部1003-2が相対位置計測用マーカを検出する。検出した相対位置計測用マーカをデータ記憶部1003-5の認識されているマーカの種類とその形状1008-1に記憶し、加えて相対位置計測用マーカ2004と表示部1004の中心との相対位置を表示部の中心と相対位置計測用マーカとの相対位置1008-2に記憶する(F3002 )。以後一定時間間隔で、相対位置測定部1003-2は相対位置を測定し、データ記憶部1003-5に含まれる、認識されているマーカの種類とその形状1008-1と、表示部の中心と相対位置計測用マーカとの相対位置1008-2を更新し続ける。なお、相対位置測定部1003-2が相対位置を計測できない場合は認識されているマーカの種類とその形状1008-1に測定不能マーカを送る。
基準画像表示位置1009-1={ (-100,100,1),(-100,-100,1),(100,-100,1),(100,100,1) }
とする。
本発明の画像表示装置を左眼に装着した第1の閲覧者が、両目でRDS画像を閲覧しながら、マウスなどのインターフェイスを用いて表示部1004に表示されている画像を変形して、又はあらかじめ変形パターンテーブル等により記憶させておいた画像変形パターンにより変形して、左右両目で閲覧している画像を立体視できる状態になったときの形状とその相対位置を登録させ記録する。この登録操作を複数人に対して行い、平均的な人物が立体視できる状態の形状とその相対位置を算出し、それを初期表示画像サイズ・基準画像表示位置として記録する。すなわち、相対位置を入力とした、表示サイズ・位置を求める関数を作成する。この関数により算出される表示サイズ、位置は、平均的な表示サイズ、位置であり、万人がその表示サイズと位置で立体視できることを保障するものではない。しかし、万人がその表示サイズと位置に非常に近いサイズと位置で立体視できることは保障される。
表示画像位置{ (-100,100),(-100,-100),(100,-100),(100,100) }にRDS画像(右)3011を表示部1004に表示した例である。
基準画像表示位置{ (x1,y1,z1),(x2,y2,z2),(x3,y3,z3),(x4,y4,z4) } に対してそれぞれ次の操作を行う。
基準画像中心座標とは、4頂点の座標の平均値である。すなわち、
Ox = 0.25*(x1+x2+x3+x4),
Oy = 0.25*(y1+y2+y3+y4),
Oz = 0
基準画像表示位置1009-1の場合(0,0,1)である。
基準画像中心座標から各点までの長さに対して倍率をかける。倍率をαとすると、
x1' = α * (x1-Ox) + Ox,
y1' = α * (y1-Oy) + Oy
z1' = α * (z1-Oz) + Oz
として{(x1',y1'),(x2',y2'),(x3',y3'),(x4',y4')}と置き換える。
平行移動量を(Tx,Ty,Tz)とすると、
x1'' = x1' + Tx,
y1'' = y1' + Ty,
z1'' = z1' + Tzとなる。
回転軸(Vx,Vy,Vz)に対してβ度回転する回転行列Rを算出し、
(x1''',y1''',z1''')T = R( x1'',y1'',z1'')T
とする(左式でのTは転置を表す。)。
{ ( x1''' / z1''', y1'''/ z1'''), (x2''' / z2''' , y2'''/z2'''), (x3''' / z3''' , y3''' / z3''') , ( x4''' / z4''' , y4''' / z4''' ) }
が、RDS画像(右)を引き伸ばして貼り付けを行う4頂点である。
上記基準画像位置、相対位置を経過時間15秒時に確定した場合の例として説明する。焦点距離測定部1003-3により、経過時間、基準画像位置、相対位置を用いて、HMD1001と右眼の位置関係を測定する(F3006)。HMD1001を着用した右眼の視線方向は表示部1006の法線方向と平行とし、左眼の視線方向はRDS画像(左)2003の法線方向と平行であるとしている。このとき、RDS画像(右)、RDS画像(左)、閲覧者の眼の関係は図8のように位置関係を描画することができる。図8のような位置関係を描画するために、HMD1001とRDS画像(左)2003の相対位置、ステレオ画像(左)と相対位置計測用マーカの位置関係 1007-4、RDS画像(右)の物理的な大きさ・位置には、基準画像位置と、表示部1004の物理的サイズ、各画素の物理的サイズを利用している。なお、図8では、右眼がRDS画像(右)3013を見た様子と、左眼がRDS画像(左)2003を見た様子を重畳して描画している、すなわち右眼と左眼を一つとして扱っていることに注意する。
立体感保持部1003-4の働きを示すことにより、閲覧者が意識することなくMRSV法による立体像を観察する方法を示す。前記閲覧者に立体知覚を与える方法では、閲覧者個人の焦点距離1008-3を算出するために、閲覧者はRDS画像から立体的に見えた文字をキーボード1006等を用いて入力しなければならなかった。しかし一度、閲覧者個人の焦点距離1008-3を算出することができれば、以後は、閲覧者は意識することなく、立体感を得続けることができる。立体感保持部1003-4はデータ記憶部1003-5に、閲覧者個人の焦点距離1008-3が記憶されている場合に動作を開始する。なお、前述のように、立体知覚状態探索部1004は、認識されているマーカの種類とその形状1008-1にデータが存在し、且つ閲覧者個人の焦点距離1008-3にデータが存在しないという条件を満たさないときは、動作しない。
1002:画像表示装置本体
1003:制御部
1003−1:立体知覚状態探索部
1003−2:相対位置測定部
1003−3:焦点距離測定部
1003−4:立体感保持部
1003−5:データ記憶部
1004:表示部
1004−1:表示画面
1005:カメラ
1006:キーボード
1007−1:相対位置計測用マーカの種類とその形状
1007−2:ステレオ画像(右)
1007−3:ステレオ画像(左)
1007−4:ステレオ画像(左)と相対位置計測用マーカとの相対位置
1008−1:認識されているマーカの種類とその形状
1008−2:表示部の中心と相対位置計測用マーカとの相対位置
1008−3:閲覧者の目の焦点距離
1009−1:基準表示画像位置
1009−2:変換テーブル
2001:画像表示装置
2002:台紙
2003,3013:RDS画像(左)
2004:相対位置計測用マーカ
3011:RDS画像(右)
Claims (10)
- 立体視覚認識用の左右一対のステレオ画像のうち、一方のステレオ画像(以下、ステレオ画像(1)という。)の実像を閲覧者の一方の眼に観察させ、同時にもう一方のステレオ画像(以下、ステレオ画像(2)という。)の虚像を他方の眼に観察させて、立体画像として認識させる立体画像提示システムに使用する虚像観察用の画像表示装置であって、
前記他方の眼の眼前に配置して、前記他方の眼にステレオ画像(2)の虚像を表示する表示画面を有する表示部と、
ステレオ画像(1)を前記閲覧者の一方の眼に、前記表示画面からステレオ画像(2)の虚像を前記閲覧者の他方の眼に、同時に観察させたときに立体視覚認識可能となるように、ステレオ画像(2)の画像倍率、画像の並進移動量及び画像の回転移動量のうち少なくともひとつの変形要素を調整して、前記表示画面上にステレオ画像(2)を変形したステレオ画像(2’)の虚像を生成する画像変形手段と、
前記画像変形手段によりステレオ画像(2)をステレオ画像(2’)に変形する際の前記変形要素の調整情報である画像変形情報を、前記閲覧者の要求に応じて選択可能な画像変形情報選択手段と、
前記画像変形情報に基づいてステレオ画像(2’)の虚像を前記表示画面に表示させる制御部と、
を備えた画像表示装置。 - 前記変形要素は、画像倍率、画像の並進移動量及び画像の回転移動量を含む請求項1に記載の画像表示装置。
- 前記画像変形情報は、画像を変形するための変形パターンを有する変形パターンテーブルを含む請求項1又は2に記載の画像表示装置。
- 前記画像変形手段は、前記変形パターンテーブル中の変形パターンを変更する変更手段を備えた請求項3に記載の画像表示装置。
- 前記画像変形手段は、前記閲覧者により選択された変形パターンを記憶する記憶手段と、
前記記憶手段により記憶された複数の変形パターンから合成変形パターンを作成する合成変形パターン作成手段と、
を有する請求項3又は4に記載の画像表示装置。 - 前記画像変形情報選択手段は、少なくともキーボード、マウス又、スイッチ、音声認識手段、脳波測定手段及び血流変化測定手段のいずれかを含む請求項1乃至5のいずれか一項に記載の画像表示装置。
- 前記ステレオ画像(1)と前記閲覧者との相対位置を測定する相対位置測定手段と、
前記相対位置の変化に応じて、前記変形要素を自動的に変更してステレオ画像(2’)を変形する自動画像変形手段と、
を備えた請求項1乃至6のいずれか一項に記載の画像表示装置。 - 前記閲覧者の片方の眼前に前記表示画面を装着するための装着装置を備えた請求項1乃至7のいずれか一項に記載の画像表示装置。
- 閲覧者の一方の眼には、立体視覚認識用の左右一対のステレオ画像の組合せのうち一方のステレオ画像(以下、ステレオ画像(1)という。)の実像を提示し、前記閲覧者の他方の眼には、眼前に装着した表示画面を介して、前記左右一対のステレオ画像の組合せのうち他方のステレオ画像(以下、ステレオ画像(2)という。)の虚像を提示することにより、前記閲覧者に立体画像を認識させる立体画像提示方法であって、
前記閲覧者に最初に前記左右一対のステレオ画像の組合せを提示する際に、前記閲覧者が前記ステレオ画像(1)と前記ステレオ画像(2)とをそれぞれ別々の目で同時に観察して立体画像と認識可能なように、前記ステレオ画像(2)の画像倍率、画像の並進移動量及び画像の回転移動量のうち少なくともひとつの変形要素を調整してステレオ画像(2’)に変形する画像変形工程と、
前記閲覧者が、前記ステレオ画像(1)と前記ステレオ画像(2’)の虚像の組合せから立体画像を認識したときの前記変形要素の調整情報としての画像変形情報を選択する画像変形情報選択工程と、
選択された前記画像変形情報に基づいて、前記ステレオ画像(2’)の虚像を前記表示画面を介して提示する変形画像提示工程と、
を含む立体画像提示方法。 - 前記閲覧者と前記ステレオ画像(1)との相対位置を測定する相対位置測定工程と、
前記閲覧者と前記ステレオ画像(1)との相対位置に応じて、前記変形要素のうち少なくともひとつを調整する画像変形工程と、
をさらに含む請求項9に記載の立体画像提示方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006302140A JP4976108B2 (ja) | 2006-11-07 | 2006-11-07 | 画像表示装置、及び立体画像提示方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006302140A JP4976108B2 (ja) | 2006-11-07 | 2006-11-07 | 画像表示装置、及び立体画像提示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008118574A JP2008118574A (ja) | 2008-05-22 |
JP4976108B2 true JP4976108B2 (ja) | 2012-07-18 |
Family
ID=39504116
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006302140A Active JP4976108B2 (ja) | 2006-11-07 | 2006-11-07 | 画像表示装置、及び立体画像提示方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4976108B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2942327B1 (fr) * | 2009-02-19 | 2011-07-22 | Georges Heyraud | Procede et dispositifs hybrides pour voir en relief des images fixes ou animees |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09127455A (ja) * | 1995-11-02 | 1997-05-16 | Canon Inc | 表示装置 |
JP4398298B2 (ja) * | 2004-05-06 | 2010-01-13 | オリンパス株式会社 | 頭部装着型表示装置 |
-
2006
- 2006-11-07 JP JP2006302140A patent/JP4976108B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2008118574A (ja) | 2008-05-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6339239B2 (ja) | 頭部装着型表示装置、及び映像表示システム | |
TWI554080B (zh) | An image processing apparatus, a program, an image processing method, a recording method, and a recording medium | |
JP6378781B2 (ja) | 頭部装着型表示装置、及び映像表示システム | |
KR101822471B1 (ko) | 혼합현실을 이용한 가상현실 시스템 및 그 구현방법 | |
CN111007939B (zh) | 一种基于深度感知的虚拟现实***空间定位方法 | |
JP6642430B2 (ja) | 情報処理装置及び情報処理方法、並びに画像表示システム | |
JP2014219621A (ja) | 表示装置、表示制御プログラム | |
US11956415B2 (en) | Head mounted display apparatus | |
JP6474278B2 (ja) | 画像生成システム、画像生成方法、プログラム及び情報記憶媒体 | |
JP4580678B2 (ja) | 注視点位置表示装置 | |
JP2006285609A (ja) | 画像処理方法、画像処理装置 | |
JP2020137128A (ja) | コンピュータ読取可能な非一過性の記憶媒体、Webサーバ、及び、瞳孔間のキャリブレーション方法 | |
JP2011010126A (ja) | 画像処理装置、画像処理方法 | |
JP6212666B1 (ja) | 情報処理方法、プログラム、仮想空間配信システム及び装置 | |
JP4708590B2 (ja) | 複合現実感システム、ヘッドマウントディスプレイ装置、複合現実感実現方法及びプログラム | |
JP6641122B2 (ja) | 表示装置及び情報処理装置及びその制御方法 | |
KR101947372B1 (ko) | Hmd에 위치 보정 영상을 제공하는 방법 및 hmd에 위치 보정 영상을 표시하는 방법, 그리고 이를 이용한 위치 보정 영상을 표시하는 hmd | |
JP2018088604A (ja) | 画像表示装置、画像表示方法、システム | |
JP4976108B2 (ja) | 画像表示装置、及び立体画像提示方法 | |
JP6738308B2 (ja) | 情報処理方法、プログラム、仮想空間配信システム及び装置 | |
JP5037713B1 (ja) | 立体画像表示装置および立体画像表示方法 | |
JP6867566B2 (ja) | 画像表示装置及び画像表示システム | |
JP6849775B2 (ja) | 情報処理装置、情報処理方法、プログラム | |
JP6216851B1 (ja) | 情報処理方法及び当該情報処理方法をコンピュータに実行させるためのプログラム | |
JP2023178093A (ja) | 表示装置、制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090730 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20101025 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110118 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110311 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110531 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110622 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120313 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120412 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4976108 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150420 Year of fee payment: 3 |