JP3957468B2 - 複合現実感実現システム - Google Patents
複合現実感実現システム Download PDFInfo
- Publication number
- JP3957468B2 JP3957468B2 JP2001097782A JP2001097782A JP3957468B2 JP 3957468 B2 JP3957468 B2 JP 3957468B2 JP 2001097782 A JP2001097782 A JP 2001097782A JP 2001097782 A JP2001097782 A JP 2001097782A JP 3957468 B2 JP3957468 B2 JP 3957468B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- teaching means
- viewer
- content
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 6
- 238000001444 catalytic combustion detection Methods 0.000 description 15
- 230000002452 interceptive effect Effects 0.000 description 6
- 238000007654 immersion Methods 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 229910052571 earthenware Inorganic materials 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000009412 basement excavation Methods 0.000 description 2
- 230000001747 exhibiting effect Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0179—Display position adjusting means not related to the information to be displayed
- G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Optics & Photonics (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- User Interface Of Digital Computer (AREA)
Description
【発明の属する技術分野】
本発明は、主として博物館等の文化施設において発掘土器等の文化品を展示する場合に好適に使用可能な複合現実感実現システムに関する。
【0002】
【従来の技術】
博物館等の文化施設で発掘土器等の文化品を展示するに際しては、展示品を単に裸眼で可視するように展示するだけでなく、その展示品に関連する情報、例えば展示品が発掘土器である場合、それの発掘場所や発掘状況などを来館者等の観者に伝達できるようにすることが望ましい。
【0003】
そのような要望に応えるものとして、従来一般的には、展示品の展示の妨げにならない範囲で解説パネルを設置したり、音声によって関連情報を提供する音声ガイダンスシステムが汎用されている。
【0004】
また、近年のマイクロプロセッサの目覚ましい発展に伴い、携帯式情報端末装置(PDA)を用いて音声と映像を組み合わせて来館者等の観者の興味に応じてインタラクティブな情報を提供する電子ガイダンスシステムも開発されている。
【0005】
【発明が解決しようとする課題】
しかしながら、従来から汎用されている解説パネルの場合は、パネルの大きさやそれの設置スペース等の物理的な制約条件があることからみて観者の興味に応じたインタラクティブな情報を提供することが不可能あるいは非常に困難である。また、音声ガイダンスシステムの場合は、物理的な制約条件がない反面、写真や映像などを利用した視覚的な情報を提供することができないため、現実感、没入感のある展示効果は望めない。
【0006】
これらに対して、PDAを用いた電子ガイダンスシステムは、観者に音声と映像の組み合わせによって観者の興味に応じたインタラクティブな情報を提供することが可能であり、現状にあっては最善のシステムと考えられる。
【0007】
しかし、電子ガイダンスシステムの場合は、PDAを観者自身が両手を用いて保持しなければならないという面倒があるばかりでなく、展示品とそれの映像情報の表示位置が観者の視線に対して異なるために、観者は視線を展示品と映像表示位置の間に亘って頻繁に移動させねばならず、これによって、観者に対して高度な没入感を与えることができないという問題があった。
【0008】
本発明は上記の課題を解消するためになされたもので、携帯型コンピュータを用いることで、特別な3次元位置・姿勢センサー等の多くの構成要素を用いることなく、少数の構成要素を用いた簡単な構成でありながら、観者の興味に応じたインタラクティブな情報を提供し高度な没入感を与えて効果的な展示を実現することができる複合現実感実現システムを提供することを目的としている。
【0009】
【課題を解決するための手段】
上記目的を達成するために、本発明における複合現実感実現システムは、
対象物の周りの同一垂直平面上に設置され、個別の対象物の識別信号を発信する識別信号発信手段と、対象物の位置を教示する3以上複数個の位置教示手段と、ヘッド・マウント・ディスプレイとコントローラとパソコン本体とからなる携帯型コンピュータとで構成される複合現実感実現システムであって、
上記携帯型コンピュータのヘッド・マウント・ディスプレイには、映像表示部と、識別番号発信手段から発信される個別の対象物の識別信号を受信する識別番号受信手段と、上記複数個の位置教示手段を撮影する撮影手段とが具備され、
上記携帯型コンピュータのパソコン本体には、対象物に関連するコンテンツ及び対象物によって予め定められた基準位置から撮影手段で撮影した位置教示手段の画像上の座標位置並びに鉛直方向における位置教示手段同士間の距離及び水平方向における位置教示手段同士間の距離を含むデータを予め登録するための記憶装置部と、識別信号受信手段からの信号を受けて対象物に関連するコンテンツを記憶装置部から呼び出す制御演算部と、撮影手段で撮影した画像上における複数個の位置教示手段の座標位置をリアルタイムに認識する座標位置認識部と、これら複数の座標位置から対象物の可視位置と対象物間の位置を演算する位置情報演算部と、これら位置情報から記憶装置部に予め登録されている対象物に関連するコンテンツをヘッド・マウント・ディスプレイの映像表示部上で対象物に重畳させるコンテンツ重畳部とが具備されており、
上記位置情報演算部において、
上記パソコン本体の記憶装置部に予め登録されている鉛直方向の位置教示手段同士間の距離を正規化して「1」とし、この正規化された距離に対する観者の可視位置からの撮影に基づき求められた鉛直方向の位置教示手段同士間の距離「α」を求めるとともに、
同じく水平方向の位置教示手段同士間の距離を正規化して「1」とし、この正規化された距離に対する観者の可視位置からの撮影に基づき求められた水平方向の位置教示手段同士間の距離「α×β」を求めるようになし、
上記コンテンツ重畳部において、
上記位置情報演算部での演算結果に基づき観者の可視位置から撮影した所定の位置教示手段の座標と、上記基準位置から撮影した所定の位置教示手段の座標との差を演算するとともにその差分だけ重畳するコンテンツを平行移動し、
さらに平行移動されたコンテンツの基準位置座標と観者の可視位置から撮影した所定の位置教示手段の座標との差を演算し、その差分の鉛直方向成分をα倍するとともに、その差分の水平方向成分をα×β倍して、それぞれを観者の可視位置から撮影した所定の位置教示手段の座標に加えることにより、コンテンツの基準位置座標を決定し、
上記記憶装置部に予め登録されているコンテンツを水平方向及び鉛直方向全体にα倍するとともに、水平方向にβ倍した後、上記決定された基準位置座標にリアルタイムにて重畳させるようにしたものである。
【0010】
上記した構成の複合現実感実現システムによると、識別信号発信手段を対象物の周りの同一垂直平面上に設置する一方、位置教示手段を撮影するための撮影手段を携帯型コンピュータ側のヘッド・マウント・ディスプレイに観者の視線上に合致するように装備させることにより、特別な3次元位置・姿勢センサー等の多数の構成要素を用いることなく、識別信号発信手段および位置教示手段と撮影手段を組み合わせただけの簡単な構成としながらも、対象物と観者の可視位置間の物理的な位置関係を演算し、この演算結果に基づいて対象物にその対象物に関連するコンテンツ、例えば映像(虚像)をリアルタイムに位置整合し重畳させて複合現実感を実現させることが可能である。これによって、観者自身が観ている対象物(実物)とそれに関連する映像を含むコンテンツとが一体に結び付いた興趣性に富んだインタラクティブな情報を観者に提供することが可能となり、観者に高度な没入感を与えることができる。
【0011】
このような複合現実感実現システムにおける携帯型コンピュータのヘッド・マウント・ディスプレイとしては、請求項2に記載のように、対象物からの反射光を対象物の可視位置へ向けて直線的に透過させるハーフミラーを備えてなり、撮影手段により撮影される背景画像は映像表示部に出力しない光学的シースルー方式に構成されたヘッド・マウント・ディスプレイ、あるいは、請求項3に記載のように、対象物からの反射光を対象物の可視位置からの視線に対して直交する方向へ屈曲させる両面鏡を備えてなり、撮影手段により撮影される背景画像を映像表示部へ出力させるビデオシースルー方式に構成されたヘッド・マウント・ディスプレイを使用して撮影手段により撮影される背景画像を重畳させて映像表示部に出力させるビデオシースルー方式に構成されたヘッド・マウント・ディスプレイのいずれを使用してもよい。
【0012】
【発明の実施の形態】
以下、本発明の実施の形態による複合現実感実現システムを図1〜図5に基づいて説明する。
【0013】
この複合現実感実現システムは、図1に示すように、展示品(対象物の一例)の周りの同一垂直平面上に設置されて個別の展示品の識別信号6を発信する1個(複数個でもよい)の赤外線LED(識別信号発信手段)1と、これを含めた3以上複数個の赤外線LED(位置教示手段)1と、単眼式ヘッド・マウント・ディスプレイ(以下、単眼式HMDと称する)2とコントローラ3とパソコン本体4とからなる携帯型コンピュータ(例えば、身体に装着できるもの、ポケットなどに収納できるものなど)5とで構成されている。なお、上記赤外線LED1について言えば、少なくとも3個設けられるが、これら全ての赤外線LEDが位置教示用として使用されるとともに、この内の1つが識別信号用として使用されることになる。すなわち、赤外線LEDを使用する限りでは、識別信号発信手段が位置教示手段を兼ねることになる。勿論、異なる部品(手段)を用いる場合には、それぞれ別個に設けられて兼用されることはない。
【0014】
上記携帯型コンピュータ5の単眼式HMD2には、映像表示部(液晶またはCRT等のディスプレイ)7と、音響伝達部(一般にイヤホーンが用いられるが、小型のスピーカを用いてもよい)8と、赤外線LED1から発信される個別の展示品を識別するための赤外線識別信号6を受信する赤外線受光部[識別信号受信手段の一例である。赤外線以外の光を用い、位置教示手段と識別信号発信手段とを兼用する場合は、光源となる波長に合わせて、受光部にフィルタを設けて認識可能とする。位置教示手段では、画像処理にて認識が行われる(赤外線を使用した場合と同じ)]9と、複数個の赤外線LED1を撮影するCCDカメラ(撮影手段の一例で、例えばCMOSカメラを用いることもできる)10とが具備されている。
【0015】
このCCDカメラ10は、図2に示すように、観者Hが単眼式HMD2を通して見たものと同じ背景を撮影できるように単眼式HMD2に光学的に装着されており、このCCDカメラ10を含む単眼式HMD2としては、光学的シースルー方式に構成されたもの、ビデオシースルー方式に構成されたもののいずれを用いてもよい。
【0016】
光学的シースルー方式の単眼式HMD2とは、この単眼式HMD2に装着されるミラーMがハーフミラーの場合であり、これは、図2に示すように、文化施設内における展示室の壁等の垂直平面Wに沿う姿勢に展示された展示品Aからの反射光Pが観者Hの可視位置へ向けて直線的に透過される位置にハーフミラーMが配置され、このハーフミラーMの両側にCCDカメラ10と映像表示部7とがレンズ16,17を介して光学的に配置されたものである。
【0017】
このような光学的シースルー方式の単眼式HMD2によると、CCDカメラ10により撮影された背景画像は映像表示部7へ出力されない。ただし、映像表示部7へ表示する重畳用の映像の表示位置及び大きさを決定するために、CCDカメラ10により赤外線LED1を撮影することは不可欠である。
【0018】
また、ビデオシースルー方式の単眼式HMD2とは、この単眼式HMD2に装着されるミラーMが両面鏡の場合であり、これは、展示室の壁等の垂直平面Wに沿う姿勢に展示された展示品Aからの反射光Pが両面鏡Mによって観者Hの可視位置からの視線に対して直交する方向へ屈曲されて背景画像がCCDカメラ10により撮影され、その撮影された背景画像を映像表示部7へ出力させて重畳用映像に重ねるように構成されたものである。なお、このビデオスルー方式の単眼式HMD2においても、映像表示部7へ表示する重畳用映像の表示位置及び大きさを決定するために、CCDカメラ10により赤外線LED1を撮影することは不可欠である。
【0019】
上記携帯型コンピュータ5のパソコン本体4には、展示品に関連する映像、説明文、音響等を含むコンテンツ(なお、このコンテンツは各種データ類、例えば技術的データも含むもので、単に、情報と称してもよい)及び展示品によって予め定められた基準位置からCCDカメラ10で撮影した赤外線LED1の画像上の座標位置を含むデータ(以下、基準の座標データと称し、この点の詳細は後述する)を予め登録するための記憶装置部11と、赤外線受光部9からの信号を受けて記憶装置部11から映像、説明文、音声等の展示品に関連するコンテンツを呼び出す制御演算部12と、CCDカメラ10で撮影した画像上における赤外線LED1の座標位置(以下、実座標データと称する)をリアルタイムに認識する座標位置認識部13と、それら実座標データから携帯型コンピュータ5の単眼式HMD2を装着した来館者等の観者による展示品の可視位置と展示品間の位置を演算する位置情報演算部14と、それら位置情報から記憶装置部11に予め登録されている展示品に関連する映像または説明文等を単眼式HMD2の映像表示部7において展示品の実像に位置整合させて重畳するコンテンツ重畳部15とが具備されている。なお、上記記憶装置部11は、通信機能を持たせることにより、外部に配置するものであってもよい。
【0020】
次に、上記構成のシステムを使用して、博物館等の文化施設において複合現実感を実現させる方法について、図3〜図5及び図6に示す処理概要フローチャートを参照して説明する。
【0021】
図3及び図4に示すように、展示室R内の壁等の垂直平面Wに沿う姿勢に掛けられている展示品Aの周りの四隅で、この展示品Aと同一垂直平面上に設置された4個の赤外線LED1のうちの一つから展示品Aの識別信号6が発信される。ここで、展示品Aの左上角で一つの赤外線LED1が設置された箇所を第1基準点とし、他の三つの赤外線LED1が設置された箇所を時計回りに第2、第3、第4基準点とする。
【0022】
上記一つの赤外線LED1から発信された識別信号6を携帯型コンピュータ5における単眼式HMD2の赤外線受光部9で受信する(ステップS21)と、この赤外線受光部9からの出力信号を携帯型コンピュータ5におけるパソコン本体4の制御演算部12が受けて、記憶装置部11から該当する映像、説明文、音声等の展示品に関連するコンテンツ及び基準の座標データが呼び出され(ステップS22)、その呼び出された基準の座標データが位置情報演算部14に、かつ、コンテンツがコンテンツ重畳部15に送られる(ステップS23,S24)。
【0023】
ここで、上記基準の座標データとは、図4に示すように、展示品Aによって予め定められた基準位置BPから、単眼式HMD2のCCDカメラ10により撮影した赤外線LED1の第1と第4基準点(または第2と第3基準点)間及び第1と第2基準点間の画像上における距離を測定し、同時に、図5に示すように、展示品Aに関連した映像SEを重畳する座標(CCDカメラ10で撮影された画像LE上の左上角を原点Oとし、重畳する映像SEの左上角の座標)を決定したものであり、基準位置座標と呼ぶこともできる。
【0024】
次に、携帯型コンピュータ5におけるパソコン本体4の座標位置認識部13において、この携帯型コンピュータ5を装着した来館者等の観者Hが任意に選択した実際の可視位置RPから単眼式HMD2のCCDカメラ10で4個の赤外線LED1を撮影し(ステップS25)、その撮影した4個の赤外線LED1の画像LE上における座標(画像上の左上角を原点とする)を求める(ステップS26)。この座標から、第1と第4基準点(または第2と第3基準点)間及び第1と第2基準点間の画像上における距離を求める。
【0025】
続いて、携帯型コンピュータ5におけるパソコン本体4の位置情報演算部14において、予め基準位置BPから撮影した第1と第4基準点(または第2と第3基準点)間及び第1と第2基準点間の長さを比較することにより、展示品Aと観者Hとの位置情報、つまり、距離と角度を計算する。すなわち、予め測定しておいた第1と第4基準点(または第2と第3基準点)間の画像上の鉛直方向の距離を正規化して「1」とし、観者Hの実際の可視位置RPからの撮影に基づいて求められた第1と第4基準点(または第2と第3基準点)間の画像上の鉛直方向の距離αを計算する。同様に、予め測定しておいた第1と第2基準点間の画像上の水平方向の距離を正規化して「1」とし、観者Hの実際の可視位置RPからの撮影に基づいて求められた第1と第2基準点間の画像上の水平方向の距離α×βを計算する(ステップS27)。なお、第4基準点が他の観者等の存在によって撮影不能な場合は、第2と第3基準点間の長さから距離αを計算すればよい。
【0026】
次いで、携帯型コンピュータ5におけるパソコン本体4のコンテンツ重畳部15において、観者Hの実際の可視位置RPから撮影された画像LE上における展示品に関連する映像SEの重畳する座標を決定するとともに、重畳する映像SEのスケール(大きさ)合わせを行った(ステップS28)上、映像SEを展示品Aの実像上に重畳する(ステップS29)。これを詳述すると、まず、観者Hの実際の可視位置RPから撮影した第1基準点の座標と、基準位置BPから撮影した第1基準点の座標との差を演算し、その差分だけ重畳する映像SEの左上角の座標(基準位置座標)を平行移動する。ここでは、画像の左上を原点とした予め定められている展示品A上の所定の位置(座標)を映像SEの左上角と定めているものとする。さらに、その平行移動された映像SEの座標と観者Hの実際の可視位置RPから撮影した第1基準点の座標との差を演算し、その差分のY成分(Yは鉛直方向を表す)をα倍するとともに、その差分のX成分(Xは水平方向を表す)をα×β倍して、それぞれを観者Hの実際の可視位置RPから撮影した第1基準点の座標に加えて、映像SEの左上角の座標を決定する。そして、最後に記憶装置部11に予め登録されている映像をX・Y方向全体にα倍するとともに、X方向にβ倍に圧縮した後、上記のように決定した座標にリアルタイムに重畳させる。
【0027】
なお、ここで観者Hが展示品Aに接近して、CCDカメラ10により撮影された赤外線LED1が画像LEからはみ出す場合は、はみ出す前の映像の重畳状態をキープし待機させるものとする。
【0028】
また、上記実施の形態では、重畳しようとする映像SEを展示品Aの範囲内に収まるような位置に表示させる場合について説明したが、必ずしもそれに限定されるものでなく、展示品Aと重なり合わないような位置に表示させることも可能である。この場合は、「表示の基準位置」、例えば映像の左上角の座標を決定するための「基準位置」を第2基準点に設定しておき、その「基準位置」の座標に合わせて「表示の基準位置」も平行移動させる。このような映像の表示位置変更手段を採用することによって、展示品Aと映像SEが実際に同一平面上に存在し、その平面上における位置関係も一定であるかのように表現させることが可能である。さらに上記したαとβを使用して、可視位置によって変化する展示品Aのサイズと同様なサイズ変化を重畳する映像SEにも持たせて表示させることも可能である。
【0029】
また、上記実施の形態では、垂直平面Wに設置される展示品Aが平面的なものである場合について説明したが、自由空間に設置された立体的な展示品に対しても仮想的に垂直平面を設定して立体的な展示品の4隅に赤外線LED1を配置することによって、上記したと同様な複合現実感の実現が可能であり、さらに、重畳する映像SEに三次元グラフィックスを採用することで、立体的な展示品に対して立体的な映像を重畳させることも可能である。また、音響伝達部から、重畳する映像等の有無に拘わらず、様々なガイダンス、説明等を流すことにより、観者に、一層の没入感を与えることができる。
【0030】
さらに、本発明は、博物館等の文化施設における展示品を対象として複合現実感を実現するものであるが、各種産業分野における機器・装置の診断や、医療診断、そのほか教育分野、エンターテイメント分野における複合現実感の実現システムに応用することも考えられる。すなわち、対象物としては、予め、参照情報を提供するようにされた設置物ならどのような物でもよく、例えば工場設備に設けられるような計器、または装置の調整手段であってもよい。
【0031】
【発明の効果】
以上のように、本発明によれば、対象物の周りの同一垂直平面上に設置された位置教示手段を撮影して対象物に関連するコンテンツを対象物の実像にリアルタイムに位置整合し重畳表示させるための撮影手段を携帯型コンピュータ側のHMDに観者の視線上に合致するように装備させることにより、特別な3次元位置・姿勢センサー等の多数の構成要素を用いることなく、位置教示手段と撮影手段を組み合わせただけの簡単な構成でありながら、観者自身が観ている対象物とそれに関連するコンテンツとが一体に結び付いた興趣性に富んだインタラクティブな情報を観者に提供することができ、これによって、観者に高度な没入感を与え、例えば対象物が展示品である場合には、展示効果を顕著に高めることができる。
【図面の簡単な説明】
【図1】本発明の実施の形態による複合現実感実現システムの概略構成を示すブロック図である。
【図2】同システムにおける単眼式HMDの光学的位置関係を説明する平面図である。
【図3】同システムを使用して、平面的な展示品に対する複合現実感を実現するための一例を説明する立面図である。
【図4】同平面図である。
【図5】単眼式HMDによる画像図である。
【図6】処理概要フローチャートである。
【符号の説明】
1 赤外線LED
2 単眼式HMD
3 コントローラ
4 パソコン本体
5 携帯型コンピュータ
7 映像表示部
8 音響伝達部
9 赤外線受光部
10 CCDカメラ
11 記憶装置部
12 制御演算部
13 座標位置認識部
14 位置情報演算部
15 コンテンツ重畳部
A 展示品
W 垂直平面
H 観者(来館者等)
Claims (4)
- 対象物の周りの同一垂直平面上に設置され、個別の対象物の識別信号を発信する識別信号発信手段と、対象物の位置を教示する3以上複数個の位置教示手段と、ヘッド・マウント・ディスプレイとコントローラとパソコン本体とからなる携帯型コンピュータとで構成される複合現実感実現システムであって、
上記携帯型コンピュータのヘッド・マウント・ディスプレイには、映像表示部と、識別番号発信手段から発信される個別の対象物の識別信号を受信する識別番号受信手段と、上記複数個の位置教示手段を撮影する撮影手段とが具備され、
上記携帯型コンピュータのパソコン本体には、対象物に関連するコンテンツ及び対象物によって予め定められた基準位置から撮影手段で撮影した位置教示手段の画像上の座標位置並びに鉛直方向における位置教示手段同士間の距離及び水平方向における位置教示手段同士間の距離を含むデータを予め登録するための記憶装置部と、識別信号受信手段からの信号を受けて対象物に関連するコンテンツを記憶装置部から呼び出す制御演算部と、撮影手段で撮影した画像上における複数個の位置教示手段の座標位置をリアルタイムに認識する座標位置認識部と、これら複数の座標位置から対象物の可視位置と対象物間の位置を演算する位置情報演算部と、これら位置情報から記憶装置部に予め登録されている対象物に関連するコンテンツをヘッド・マウント・ディスプレイの映像表示部上で対象物に重畳させるコンテンツ重畳部とが具備されており、
上記位置情報演算部において、
上記パソコン本体の記憶装置部に予め登録されている鉛直方向の位置教示手段同士間の距離を正規化して「1」とし、この正規化された距離に対する観者の可視位置からの撮影に基づき求められた鉛直方向の位置教示手段同士間の距離「α」を求めるとともに、
同じく水平方向の位置教示手段同士間の距離を正規化して「1」とし、この正規化された距離に対する観者の可視位置からの撮影に基づき求められた水平方向の位置教示手段同士間の距離「α×β」を求めるようになし、
上記コンテンツ重畳部において、
上記位置情報演算部での演算結果に基づき観者の可視位置から撮影した所定の位置教示手段の座標と、上記基準位置から撮影した所定の位置教示手段の座標との差を演算するとともにその差分だけ重畳するコンテンツを平行移動し、
さらに平行移動されたコンテンツの基準位置座標と観者の可視位置から撮影した所定の位置教示手段の座標との差を演算し、その差分の鉛直方向成分をα倍するとともに、その差分の水平方向成分をα×β倍して、それぞれを観者の可視位置から撮影した所定の位置教示手段の座標に加えることにより、コンテンツの基準位置座標を決定し、
上記記憶装置部に予め登録されているコンテンツを水平方向及び鉛直方向全体にα倍するとともに、水平方向にβ倍した後、上記決定された基準位置座標にリアルタイムにて重畳させるようにしたことを特徴とする複合現実感実現システム。 - 上記携帯型コンピュータのヘッド・マウント・ディスプレイとして、対象物からの反射光を対象物の可視位置へ向けて直線的に透過させるハーフミラーを備えてなり、撮影手段により撮影される背景画像は映像表示部へ出力しない光学的シースルー方式に構成されたヘッド・マウント・ディスプレイを使用することを特徴とする請求項1に記載の複合現実感実現システム。
- 上記携帯型コンピュータのヘッド・マウント・ディスプレイとして、対象物からの反射光を対象物の可視位置からの視線に対して直交する方向へ屈曲させる両面鏡を備えてなり、撮影手段により撮影される背景画像を映像表示部へ出力させるビデオシースルー方式に構成されたヘッド・マウント・ディスプレイを使用することを特徴とする請求項1に記載の複合現実感実現システム。
- コンテンツが映像であることを特徴とする請求項1乃至3のいずれかに記載の複合現実感実現システム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001097782A JP3957468B2 (ja) | 2000-03-31 | 2001-03-30 | 複合現実感実現システム |
US10/189,127 US6795041B2 (en) | 2000-03-31 | 2002-07-02 | Mixed reality realizing system |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2000-96055 | 2000-03-31 | ||
JP2000096055 | 2000-03-31 | ||
JP2001097782A JP3957468B2 (ja) | 2000-03-31 | 2001-03-30 | 複合現実感実現システム |
US10/189,127 US6795041B2 (en) | 2000-03-31 | 2002-07-02 | Mixed reality realizing system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001344617A JP2001344617A (ja) | 2001-12-14 |
JP3957468B2 true JP3957468B2 (ja) | 2007-08-15 |
Family
ID=32303121
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001097782A Expired - Lifetime JP3957468B2 (ja) | 2000-03-31 | 2001-03-30 | 複合現実感実現システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US6795041B2 (ja) |
JP (1) | JP3957468B2 (ja) |
Families Citing this family (83)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8817045B2 (en) | 2000-11-06 | 2014-08-26 | Nant Holdings Ip, Llc | Interactivity via mobile image recognition |
US20030062675A1 (en) * | 2001-09-28 | 2003-04-03 | Canon Kabushiki Kaisha | Image experiencing system and information processing method |
US8458028B2 (en) * | 2002-10-16 | 2013-06-04 | Barbaro Technologies | System and method for integrating business-related content into an electronic game |
JP4356983B2 (ja) * | 2004-02-10 | 2009-11-04 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
US20050289590A1 (en) * | 2004-05-28 | 2005-12-29 | Cheok Adrian D | Marketing platform |
US20050285878A1 (en) * | 2004-05-28 | 2005-12-29 | Siddharth Singh | Mobile platform |
US7474318B2 (en) | 2004-05-28 | 2009-01-06 | National University Of Singapore | Interactive system and method |
US20050288078A1 (en) * | 2004-05-28 | 2005-12-29 | Cheok Adrian D | Game |
US8547401B2 (en) * | 2004-08-19 | 2013-10-01 | Sony Computer Entertainment Inc. | Portable augmented reality device and method |
ITBO20040749A1 (it) * | 2004-12-02 | 2005-03-02 | Bieffebi Spa | Macchina per il montaggio a registro di cliche' flessografici con sistema informatico virtuale |
JP4739002B2 (ja) * | 2005-06-30 | 2011-08-03 | キヤノン株式会社 | 画像処理方法、画像処理装置 |
WO2007027738A2 (en) | 2005-08-29 | 2007-03-08 | Evryx Technologies, Inc. | Interactivity via mobile image recognition |
KR101397214B1 (ko) * | 2007-06-05 | 2014-05-20 | 삼성전자주식회사 | 증강 현실 기술을 이용하여 가상 객체를 생성하기 위한시스템 및 방법 |
JP5311440B2 (ja) * | 2007-12-05 | 2013-10-09 | 独立行政法人産業技術総合研究所 | 情報提示装置 |
JP2009245390A (ja) * | 2008-03-31 | 2009-10-22 | Brother Ind Ltd | 表示処理装置及び表示処理システム |
JP5104679B2 (ja) * | 2008-09-11 | 2012-12-19 | ブラザー工業株式会社 | ヘッドマウントディスプレイ |
US9400390B2 (en) | 2014-01-24 | 2016-07-26 | Osterhout Group, Inc. | Peripheral lighting for head worn computing |
US9715112B2 (en) | 2014-01-21 | 2017-07-25 | Osterhout Group, Inc. | Suppression of stray light in head worn computing |
US9952664B2 (en) | 2014-01-21 | 2018-04-24 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9965681B2 (en) | 2008-12-16 | 2018-05-08 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9229233B2 (en) | 2014-02-11 | 2016-01-05 | Osterhout Group, Inc. | Micro Doppler presentations in head worn computing |
US20150205111A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | Optical configurations for head worn computing |
US9298007B2 (en) | 2014-01-21 | 2016-03-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
JP2011192048A (ja) * | 2010-03-15 | 2011-09-29 | Nec Corp | 発言内容出力システム、発言内容出力装置及び発言内容出力方法 |
KR101080040B1 (ko) | 2010-03-25 | 2011-11-04 | 동서대학교산학협력단 | 공간 증강 현실 기반 인터랙티브 디스플레이 방법 |
JP5499854B2 (ja) | 2010-04-08 | 2014-05-21 | ソニー株式会社 | 頭部装着型ディスプレイにおける光学的位置調整方法 |
JP5434848B2 (ja) | 2010-08-18 | 2014-03-05 | ソニー株式会社 | 表示装置 |
JP2013105345A (ja) * | 2011-11-14 | 2013-05-30 | Sony Corp | 情報登録装置、情報登録方法、情報登録システム、情報提示装置、情報提示方法、情報提示システムおよびプログラム |
JP6020009B2 (ja) * | 2012-09-28 | 2016-11-02 | ブラザー工業株式会社 | ヘッドマウントディスプレイ、それを作動させる方法およびプログラム |
KR102013790B1 (ko) * | 2013-01-18 | 2019-08-26 | 한국전자통신연구원 | L자형 디스플레이 기반 인터랙티브 컨텐츠 제어 장치 및 방법 |
US9483875B2 (en) * | 2013-02-14 | 2016-11-01 | Blackberry Limited | Augmented reality system with encoding beacons |
JP5786910B2 (ja) * | 2013-08-29 | 2015-09-30 | ソニー株式会社 | 頭部装着型ディスプレイにおける光学的位置調整方法 |
US9939934B2 (en) | 2014-01-17 | 2018-04-10 | Osterhout Group, Inc. | External user interface for head worn computing |
US11227294B2 (en) | 2014-04-03 | 2022-01-18 | Mentor Acquisition One, Llc | Sight information collection in head worn computing |
US9299194B2 (en) | 2014-02-14 | 2016-03-29 | Osterhout Group, Inc. | Secure sharing in head worn computing |
US10191279B2 (en) | 2014-03-17 | 2019-01-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9594246B2 (en) | 2014-01-21 | 2017-03-14 | Osterhout Group, Inc. | See-through computer display systems |
US10254856B2 (en) | 2014-01-17 | 2019-04-09 | Osterhout Group, Inc. | External user interface for head worn computing |
US20150277118A1 (en) | 2014-03-28 | 2015-10-01 | Osterhout Group, Inc. | Sensor dependent content position in head worn computing |
US9810906B2 (en) | 2014-06-17 | 2017-11-07 | Osterhout Group, Inc. | External user interface for head worn computing |
US9448409B2 (en) | 2014-11-26 | 2016-09-20 | Osterhout Group, Inc. | See-through computer display systems |
US11103122B2 (en) | 2014-07-15 | 2021-08-31 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US9829707B2 (en) | 2014-08-12 | 2017-11-28 | Osterhout Group, Inc. | Measuring content brightness in head worn computing |
US10649220B2 (en) | 2014-06-09 | 2020-05-12 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US9529195B2 (en) | 2014-01-21 | 2016-12-27 | Osterhout Group, Inc. | See-through computer display systems |
US9671613B2 (en) | 2014-09-26 | 2017-06-06 | Osterhout Group, Inc. | See-through computer display systems |
US10684687B2 (en) | 2014-12-03 | 2020-06-16 | Mentor Acquisition One, Llc | See-through computer display systems |
US20160019715A1 (en) | 2014-07-15 | 2016-01-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
US9575321B2 (en) | 2014-06-09 | 2017-02-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
US9746686B2 (en) | 2014-05-19 | 2017-08-29 | Osterhout Group, Inc. | Content position calibration in head worn computing |
US9841599B2 (en) | 2014-06-05 | 2017-12-12 | Osterhout Group, Inc. | Optical configurations for head-worn see-through displays |
US9766463B2 (en) | 2014-01-21 | 2017-09-19 | Osterhout Group, Inc. | See-through computer display systems |
US9753288B2 (en) | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
US11487110B2 (en) | 2014-01-21 | 2022-11-01 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
US9494800B2 (en) | 2014-01-21 | 2016-11-15 | Osterhout Group, Inc. | See-through computer display systems |
US9836122B2 (en) | 2014-01-21 | 2017-12-05 | Osterhout Group, Inc. | Eye glint imaging in see-through computer display systems |
US9529199B2 (en) | 2014-01-21 | 2016-12-27 | Osterhout Group, Inc. | See-through computer display systems |
US9651784B2 (en) | 2014-01-21 | 2017-05-16 | Osterhout Group, Inc. | See-through computer display systems |
US9740280B2 (en) | 2014-01-21 | 2017-08-22 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US11737666B2 (en) | 2014-01-21 | 2023-08-29 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
US11669163B2 (en) | 2014-01-21 | 2023-06-06 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
US20150205135A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | See-through computer display systems |
US9532714B2 (en) | 2014-01-21 | 2017-01-03 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US11892644B2 (en) | 2014-01-21 | 2024-02-06 | Mentor Acquisition One, Llc | See-through computer display systems |
US9846308B2 (en) | 2014-01-24 | 2017-12-19 | Osterhout Group, Inc. | Haptic systems for head-worn computers |
US20150241963A1 (en) | 2014-02-11 | 2015-08-27 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9401540B2 (en) | 2014-02-11 | 2016-07-26 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
US20160187651A1 (en) | 2014-03-28 | 2016-06-30 | Osterhout Group, Inc. | Safety for a vehicle operator with an hmd |
US10853589B2 (en) | 2014-04-25 | 2020-12-01 | Mentor Acquisition One, Llc | Language translation with head-worn computing |
US9672210B2 (en) | 2014-04-25 | 2017-06-06 | Osterhout Group, Inc. | Language translation with head-worn computing |
US9651787B2 (en) | 2014-04-25 | 2017-05-16 | Osterhout Group, Inc. | Speaker assembly for headworn computer |
US9423842B2 (en) | 2014-09-18 | 2016-08-23 | Osterhout Group, Inc. | Thermal management for head-worn computer |
US10663740B2 (en) | 2014-06-09 | 2020-05-26 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
DE102014115471B4 (de) * | 2014-10-23 | 2018-08-23 | Krauss-Maffei Wegmann Gmbh & Co. Kg | Kopfbefestigbare Anzeigevorrichtung und Verfahren |
US9684172B2 (en) | 2014-12-03 | 2017-06-20 | Osterhout Group, Inc. | Head worn computer display systems |
USD743963S1 (en) | 2014-12-22 | 2015-11-24 | Osterhout Group, Inc. | Air mouse |
USD751552S1 (en) | 2014-12-31 | 2016-03-15 | Osterhout Group, Inc. | Computer glasses |
USD753114S1 (en) | 2015-01-05 | 2016-04-05 | Osterhout Group, Inc. | Air mouse |
US20160239985A1 (en) | 2015-02-17 | 2016-08-18 | Osterhout Group, Inc. | See-through computer display systems |
RU2644125C1 (ru) * | 2016-11-30 | 2018-02-07 | Эдуард Борисович Попов | Персональный видео - гид |
WO2019000429A1 (en) * | 2017-06-30 | 2019-01-03 | Guangdong Virtual Reality Technology Co., Ltd. | METHODS AND SYSTEMS FOR OPERATING AN APPARATUS THROUGH INCREASED REALITY |
WO2019020430A1 (en) | 2017-07-26 | 2019-01-31 | Philips Lighting Holding B.V. | SYSTEM FOR COMMUNICATING A PRESENCE OF A DEVICE THROUGH A LIGHT SOURCE |
JP7056155B2 (ja) * | 2018-01-10 | 2022-04-19 | 富士フイルムビジネスイノベーション株式会社 | 情報伝達装置、情報伝達システム及びプログラム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08160879A (ja) | 1994-12-09 | 1996-06-21 | Shimadzu Corp | 頭部装着表示装置 |
JPH09114543A (ja) | 1995-10-02 | 1997-05-02 | Xybernaut Corp | ハンドフリーコンピュータ装置 |
US6587783B2 (en) * | 2000-10-05 | 2003-07-01 | Siemens Corporate Research, Inc. | Method and system for computer assisted localization, site navigation, and data navigation |
US7064742B2 (en) * | 2001-05-31 | 2006-06-20 | Siemens Corporate Research Inc | Input devices using infrared trackers |
-
2001
- 2001-03-30 JP JP2001097782A patent/JP3957468B2/ja not_active Expired - Lifetime
-
2002
- 2002-07-02 US US10/189,127 patent/US6795041B2/en not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
US20040004583A1 (en) | 2004-01-08 |
US6795041B2 (en) | 2004-09-21 |
JP2001344617A (ja) | 2001-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3957468B2 (ja) | 複合現実感実現システム | |
JP7170736B2 (ja) | 双方向性拡張または仮想現実装置 | |
US6774869B2 (en) | Teleportal face-to-face system | |
US20070164988A1 (en) | Augmented reality apparatus and method | |
KR101691564B1 (ko) | 시선방향 추적을 이용한 증강현실 제공 방법 | |
US20060132915A1 (en) | Visual interfacing apparatus for providing mixed multiple stereo images | |
US20180246331A1 (en) | Helmet-mounted display, visual field calibration method thereof, and mixed reality display system | |
US11750789B2 (en) | Image display system | |
CN104429064A (zh) | 图像生成装置及图像生成方法 | |
TW201943259A (zh) | 基於視頻通信的實景窗系統 | |
CN112673276A (zh) | 超声波传感器 | |
JP2023527357A (ja) | 角加速の決定 | |
CN211349296U (zh) | 一种基于cave投影的定位捕捉互动装置 | |
KR20200115631A (ko) | 멀티뷰잉 가상 현실 사용자 인터페이스 | |
JP2017046233A (ja) | 表示装置及び情報処理装置及びその制御方法 | |
JP2001076168A (ja) | 情報端末装置、データベースサーバ装置、画像表示システムおよびそれらの制御方法 | |
CN114846434A (zh) | 非均匀立体渲染 | |
US9989762B2 (en) | Optically composited augmented reality pedestal viewer | |
JP2005092363A (ja) | 画像生成装置および画像生成プログラム | |
EP3547081B1 (en) | Data processing | |
CN114020150A (zh) | 图像显示方法、装置、电子设备及介质 | |
JP2018050156A (ja) | 双方向コミュニケーション装置 | |
TWI700933B (zh) | 視頻通信裝置及方法 | |
CN111586394A (zh) | 一种三维交互展示***及其展示方法 | |
KR102655191B1 (ko) | 스마트 글래스 및 제어방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040402 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070201 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070410 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070508 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 3957468 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110518 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110518 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120518 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130518 Year of fee payment: 6 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |