JP3957468B2 - 複合現実感実現システム - Google Patents

複合現実感実現システム Download PDF

Info

Publication number
JP3957468B2
JP3957468B2 JP2001097782A JP2001097782A JP3957468B2 JP 3957468 B2 JP3957468 B2 JP 3957468B2 JP 2001097782 A JP2001097782 A JP 2001097782A JP 2001097782 A JP2001097782 A JP 2001097782A JP 3957468 B2 JP3957468 B2 JP 3957468B2
Authority
JP
Japan
Prior art keywords
unit
teaching means
viewer
content
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001097782A
Other languages
English (en)
Other versions
JP2001344617A (ja
Inventor
謙二 小河
敏朗 佐伯
晴代 田村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Zosen Corp
Original Assignee
Hitachi Zosen Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Zosen Corp filed Critical Hitachi Zosen Corp
Priority to JP2001097782A priority Critical patent/JP3957468B2/ja
Publication of JP2001344617A publication Critical patent/JP2001344617A/ja
Priority to US10/189,127 priority patent/US6795041B2/en
Application granted granted Critical
Publication of JP3957468B2 publication Critical patent/JP3957468B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、主として博物館等の文化施設において発掘土器等の文化品を展示する場合に好適に使用可能な複合現実感実現システムに関する。
【0002】
【従来の技術】
博物館等の文化施設で発掘土器等の文化品を展示するに際しては、展示品を単に裸眼で可視するように展示するだけでなく、その展示品に関連する情報、例えば展示品が発掘土器である場合、それの発掘場所や発掘状況などを来館者等の観者に伝達できるようにすることが望ましい。
【0003】
そのような要望に応えるものとして、従来一般的には、展示品の展示の妨げにならない範囲で解説パネルを設置したり、音声によって関連情報を提供する音声ガイダンスシステムが汎用されている。
【0004】
また、近年のマイクロプロセッサの目覚ましい発展に伴い、携帯式情報端末装置(PDA)を用いて音声と映像を組み合わせて来館者等の観者の興味に応じてインタラクティブな情報を提供する電子ガイダンスシステムも開発されている。
【0005】
【発明が解決しようとする課題】
しかしながら、従来から汎用されている解説パネルの場合は、パネルの大きさやそれの設置スペース等の物理的な制約条件があることからみて観者の興味に応じたインタラクティブな情報を提供することが不可能あるいは非常に困難である。また、音声ガイダンスシステムの場合は、物理的な制約条件がない反面、写真や映像などを利用した視覚的な情報を提供することができないため、現実感、没入感のある展示効果は望めない。
【0006】
これらに対して、PDAを用いた電子ガイダンスシステムは、観者に音声と映像の組み合わせによって観者の興味に応じたインタラクティブな情報を提供することが可能であり、現状にあっては最善のシステムと考えられる。
【0007】
しかし、電子ガイダンスシステムの場合は、PDAを観者自身が両手を用いて保持しなければならないという面倒があるばかりでなく、展示品とそれの映像情報の表示位置が観者の視線に対して異なるために、観者は視線を展示品と映像表示位置の間に亘って頻繁に移動させねばならず、これによって、観者に対して高度な没入感を与えることができないという問題があった。
【0008】
本発明は上記の課題を解消するためになされたもので、携帯型コンピュータを用いることで、特別な3次元位置・姿勢センサー等の多くの構成要素を用いることなく、少数の構成要素を用いた簡単な構成でありながら、観者の興味に応じたインタラクティブな情報を提供し高度な没入感を与えて効果的な展示を実現することができる複合現実感実現システムを提供することを目的としている。
【0009】
【課題を解決するための手段】
上記目的を達成するために、本発明における複合現実感実現システムは、
対象物の周りの同一垂直平面上に設置され、個別の対象物の識別信号を発信する識別信号発信手段と、対象物の位置を教示する3以上複数個の位置教示手段と、ヘッド・マウント・ディスプレイとコントローラとパソコン本体とからなる携帯型コンピュータとで構成される複合現実感実現システムであって、
上記携帯型コンピュータのヘッド・マウント・ディスプレイには、映像表示部と、識別番号発信手段から発信される個別の対象物の識別信号を受信する識別番号受信手段と、上記複数個の位置教示手段を撮影する撮影手段とが具備され、
上記携帯型コンピュータのパソコン本体には、対象物に関連するコンテンツ及び対象物によって予め定められた基準位置から撮影手段で撮影した位置教示手段の画像上の座標位置並びに鉛直方向における位置教示手段同士間の距離及び水平方向における位置教示手段同士間の距離を含むデータを予め登録するための記憶装置部と、識別信号受信手段からの信号を受けて対象物に関連するコンテンツを記憶装置部から呼び出す制御演算部と、撮影手段で撮影した画像上における複数個の位置教示手段の座標位置をリアルタイムに認識する座標位置認識部と、これら複数の座標位置から対象物の可視位置と対象物間の位置を演算する位置情報演算部と、これら位置情報から記憶装置部に予め登録されている対象物に関連するコンテンツをヘッド・マウント・ディスプレイの映像表示部上で対象物に重畳させるコンテンツ重畳部とが具備されており、
上記位置情報演算部において、
上記パソコン本体の記憶装置部に予め登録されている鉛直方向の位置教示手段同士間の距離を正規化して「1」とし、この正規化された距離に対する観者の可視位置からの撮影に基づき求められた鉛直方向の位置教示手段同士間の距離「α」を求めるとともに、
同じく水平方向の位置教示手段同士間の距離を正規化して「1」とし、この正規化された距離に対する観者の可視位置からの撮影に基づき求められた水平方向の位置教示手段同士間の距離「α×β」を求めるようになし、
上記コンテンツ重畳部において、
上記位置情報演算部での演算結果に基づき観者の可視位置から撮影した所定の位置教示手段の座標と、上記基準位置から撮影した所定の位置教示手段の座標との差を演算するとともにその差分だけ重畳するコンテンツを平行移動し、
さらに平行移動されたコンテンツの基準位置座標と観者の可視位置から撮影した所定の位置教示手段の座標との差を演算し、その差分の鉛直方向成分をα倍するとともに、その差分の水平方向成分をα×β倍して、それぞれを観者の可視位置から撮影した所定の位置教示手段の座標に加えることにより、コンテンツの基準位置座標を決定し、
上記記憶装置部に予め登録されているコンテンツを水平方向及び鉛直方向全体にα倍するとともに、水平方向にβ倍した後、上記決定された基準位置座標にリアルタイムにて重畳させるようにしたものである。
【0010】
上記した構成の複合現実感実現システムによると、識別信号発信手段を対象物の周りの同一垂直平面上に設置する一方、位置教示手段を撮影するための撮影手段を携帯型コンピュータ側のヘッド・マウント・ディスプレイに観者の視線上に合致するように装備させることにより、特別な3次元位置・姿勢センサー等の多数の構成要素を用いることなく、識別信号発信手段および位置教示手段と撮影手段を組み合わせただけの簡単な構成としながらも、対象物と観者の可視位置間の物理的な位置関係を演算し、この演算結果に基づいて対象物にその対象物に関連するコンテンツ、例えば映像(虚像)をリアルタイムに位置整合し重畳させて複合現実感を実現させることが可能である。これによって、観者自身が観ている対象物(実物)とそれに関連する映像を含むコンテンツとが一体に結び付いた興趣性に富んだインタラクティブな情報を観者に提供することが可能となり、観者に高度な没入感を与えることができる。
【0011】
このような複合現実感実現システムにおける携帯型コンピュータのヘッド・マウント・ディスプレイとしては、請求項2に記載のように、対象物からの反射光を対象物の可視位置へ向けて直線的に透過させるハーフミラーを備えてなり、撮影手段により撮影される背景画像は映像表示部に出力しない光学的シースルー方式に構成されたヘッド・マウント・ディスプレイ、あるいは、請求項3に記載のように、対象物からの反射光を対象物の可視位置からの視線に対して直交する方向へ屈曲させる両面鏡を備えてなり、撮影手段により撮影される背景画像を映像表示部へ出力させるビデオシースルー方式に構成されたヘッド・マウント・ディスプレイを使用して撮影手段により撮影される背景画像を重畳させて映像表示部に出力させるビデオシースルー方式に構成されたヘッド・マウント・ディスプレイのいずれを使用してもよい。
【0012】
【発明の実施の形態】
以下、本発明の実施の形態による複合現実感実現システムを図1〜図5に基づいて説明する。
【0013】
この複合現実感実現システムは、図1に示すように、展示品(対象物の一例)の周りの同一垂直平面上に設置されて個別の展示品の識別信号6を発信する1個(複数個でもよい)の赤外線LED(識別信号発信手段)1と、これを含めた3以上複数個の赤外線LED(位置教示手段)1と、単眼式ヘッド・マウント・ディスプレイ(以下、単眼式HMDと称する)2とコントローラ3とパソコン本体4とからなる携帯型コンピュータ(例えば、身体に装着できるもの、ポケットなどに収納できるものなど)5とで構成されている。なお、上記赤外線LED1について言えば、少なくとも3個設けられるが、これら全ての赤外線LEDが位置教示用として使用されるとともに、この内の1つが識別信号用として使用されることになる。すなわち、赤外線LEDを使用する限りでは、識別信号発信手段が位置教示手段を兼ねることになる。勿論、異なる部品(手段)を用いる場合には、それぞれ別個に設けられて兼用されることはない。
【0014】
上記携帯型コンピュータ5の単眼式HMD2には、映像表示部(液晶またはCRT等のディスプレイ)7と、音響伝達部(一般にイヤホーンが用いられるが、小型のスピーカを用いてもよい)8と、赤外線LED1から発信される個別の展示品を識別するための赤外線識別信号6を受信する赤外線受光部[識別信号受信手段の一例である。赤外線以外の光を用い、位置教示手段と識別信号発信手段とを兼用する場合は、光源となる波長に合わせて、受光部にフィルタを設けて認識可能とする。位置教示手段では、画像処理にて認識が行われる(赤外線を使用した場合と同じ)]9と、複数個の赤外線LED1を撮影するCCDカメラ(撮影手段の一例で、例えばCMOSカメラを用いることもできる)10とが具備されている。
【0015】
このCCDカメラ10は、図2に示すように、観者Hが単眼式HMD2を通して見たものと同じ背景を撮影できるように単眼式HMD2に光学的に装着されており、このCCDカメラ10を含む単眼式HMD2としては、光学的シースルー方式に構成されたもの、ビデオシースルー方式に構成されたもののいずれを用いてもよい。
【0016】
光学的シースルー方式の単眼式HMD2とは、この単眼式HMD2に装着されるミラーMがハーフミラーの場合であり、これは、図2に示すように、文化施設内における展示室の壁等の垂直平面Wに沿う姿勢に展示された展示品Aからの反射光Pが観者Hの可視位置へ向けて直線的に透過される位置にハーフミラーMが配置され、このハーフミラーMの両側にCCDカメラ10と映像表示部7とがレンズ16,17を介して光学的に配置されたものである。
【0017】
このような光学的シースルー方式の単眼式HMD2によると、CCDカメラ10により撮影された背景画像は映像表示部7へ出力されない。ただし、映像表示部7へ表示する重畳用の映像の表示位置及び大きさを決定するために、CCDカメラ10により赤外線LED1を撮影することは不可欠である。
【0018】
また、ビデオシースルー方式の単眼式HMD2とは、この単眼式HMD2に装着されるミラーMが両面鏡の場合であり、これは、展示室の壁等の垂直平面Wに沿う姿勢に展示された展示品Aからの反射光Pが両面鏡Mによって観者Hの可視位置からの視線に対して直交する方向へ屈曲されて背景画像がCCDカメラ10により撮影され、その撮影された背景画像を映像表示部7へ出力させて重畳用映像に重ねるように構成されたものである。なお、このビデオスルー方式の単眼式HMD2においても、映像表示部7へ表示する重畳用映像の表示位置及び大きさを決定するために、CCDカメラ10により赤外線LED1を撮影することは不可欠である。
【0019】
上記携帯型コンピュータ5のパソコン本体4には、展示品に関連する映像、説明文、音響等を含むコンテンツ(なお、このコンテンツは各種データ類、例えば技術的データも含むもので、単に、情報と称してもよい)及び展示品によって予め定められた基準位置からCCDカメラ10で撮影した赤外線LED1の画像上の座標位置を含むデータ(以下、基準の座標データと称し、この点の詳細は後述する)を予め登録するための記憶装置部11と、赤外線受光部9からの信号を受けて記憶装置部11から映像、説明文、音声等の展示品に関連するコンテンツを呼び出す制御演算部12と、CCDカメラ10で撮影した画像上における赤外線LED1の座標位置(以下、実座標データと称する)をリアルタイムに認識する座標位置認識部13と、それら実座標データから携帯型コンピュータ5の単眼式HMD2を装着した来館者等の観者による展示品の可視位置と展示品間の位置を演算する位置情報演算部14と、それら位置情報から記憶装置部11に予め登録されている展示品に関連する映像または説明文等を単眼式HMD2の映像表示部7において展示品の実像に位置整合させて重畳するコンテンツ重畳部15とが具備されている。なお、上記記憶装置部11は、通信機能を持たせることにより、外部に配置するものであってもよい。
【0020】
次に、上記構成のシステムを使用して、博物館等の文化施設において複合現実感を実現させる方法について、図3〜図5及び図6に示す処理概要フローチャートを参照して説明する。
【0021】
図3及び図4に示すように、展示室R内の壁等の垂直平面Wに沿う姿勢に掛けられている展示品Aの周りの四隅で、この展示品Aと同一垂直平面上に設置された4個の赤外線LED1のうちの一つから展示品Aの識別信号6が発信される。ここで、展示品Aの左上角で一つの赤外線LED1が設置された箇所を第1基準点とし、他の三つの赤外線LED1が設置された箇所を時計回りに第2、第3、第4基準点とする。
【0022】
上記一つの赤外線LED1から発信された識別信号6を携帯型コンピュータ5における単眼式HMD2の赤外線受光部9で受信する(ステップS21)と、この赤外線受光部9からの出力信号を携帯型コンピュータ5におけるパソコン本体4の制御演算部12が受けて、記憶装置部11から該当する映像、説明文、音声等の展示品に関連するコンテンツ及び基準の座標データが呼び出され(ステップS22)、その呼び出された基準の座標データが位置情報演算部14に、かつ、コンテンツがコンテンツ重畳部15に送られる(ステップS23,S24)。
【0023】
ここで、上記基準の座標データとは、図4に示すように、展示品Aによって予め定められた基準位置BPから、単眼式HMD2のCCDカメラ10により撮影した赤外線LED1の第1と第4基準点(または第2と第3基準点)間及び第1と第2基準点間の画像上における距離を測定し、同時に、図5に示すように、展示品Aに関連した映像SEを重畳する座標(CCDカメラ10で撮影された画像LE上の左上角を原点Oとし、重畳する映像SEの左上角の座標)を決定したものであり、基準位置座標と呼ぶこともできる。
【0024】
次に、携帯型コンピュータ5におけるパソコン本体4の座標位置認識部13において、この携帯型コンピュータ5を装着した来館者等の観者Hが任意に選択した実際の可視位置RPから単眼式HMD2のCCDカメラ10で4個の赤外線LED1を撮影し(ステップS25)、その撮影した4個の赤外線LED1の画像LE上における座標(画像上の左上角を原点とする)を求める(ステップS26)。この座標から、第1と第4基準点(または第2と第3基準点)間及び第1と第2基準点間の画像上における距離を求める。
【0025】
続いて、携帯型コンピュータ5におけるパソコン本体4の位置情報演算部14において、予め基準位置BPから撮影した第1と第4基準点(または第2と第3基準点)間及び第1と第2基準点間の長さを比較することにより、展示品Aと観者Hとの位置情報、つまり、距離と角度を計算する。すなわち、予め測定しておいた第1と第4基準点(または第2と第3基準点)間の画像上の鉛直方向の距離を正規化して「1」とし、観者Hの実際の可視位置RPからの撮影に基づいて求められた第1と第4基準点(または第2と第3基準点)間の画像上の鉛直方向の距離αを計算する。同様に、予め測定しておいた第1と第2基準点間の画像上の水平方向の距離を正規化して「1」とし、観者Hの実際の可視位置RPからの撮影に基づいて求められた第1と第2基準点間の画像上の水平方向の距離α×βを計算する(ステップS27)。なお、第4基準点が他の観者等の存在によって撮影不能な場合は、第2と第3基準点間の長さから距離αを計算すればよい。
【0026】
次いで、携帯型コンピュータ5におけるパソコン本体4のコンテンツ重畳部15において、観者Hの実際の可視位置RPから撮影された画像LE上における展示品に関連する映像SEの重畳する座標を決定するとともに、重畳する映像SEのスケール(大きさ)合わせを行った(ステップS28)上、映像SEを展示品Aの実像上に重畳する(ステップS29)。これを詳述すると、まず、観者Hの実際の可視位置RPから撮影した第1基準点の座標と、基準位置BPから撮影した第1基準点の座標との差を演算し、その差分だけ重畳する映像SEの左上角の座標(基準位置座標)を平行移動する。ここでは、画像の左上を原点とした予め定められている展示品A上の所定の位置(座標)を映像SEの左上角と定めているものとする。さらに、その平行移動された映像SEの座標と観者Hの実際の可視位置RPから撮影した第1基準点の座標との差を演算し、その差分のY成分(Yは鉛直方向を表す)をα倍するとともに、その差分のX成分(Xは水平方向を表す)をα×β倍して、それぞれを観者Hの実際の可視位置RPから撮影した第1基準点の座標に加えて、映像SEの左上角の座標を決定する。そして、最後に記憶装置部11に予め登録されている映像をX・Y方向全体にα倍するとともに、X方向にβ倍に圧縮した後、上記のように決定した座標にリアルタイムに重畳させる。
【0027】
なお、ここで観者Hが展示品Aに接近して、CCDカメラ10により撮影された赤外線LED1が画像LEからはみ出す場合は、はみ出す前の映像の重畳状態をキープし待機させるものとする。
【0028】
また、上記実施の形態では、重畳しようとする映像SEを展示品Aの範囲内に収まるような位置に表示させる場合について説明したが、必ずしもそれに限定されるものでなく、展示品Aと重なり合わないような位置に表示させることも可能である。この場合は、「表示の基準位置」、例えば映像の左上角の座標を決定するための「基準位置」を第2基準点に設定しておき、その「基準位置」の座標に合わせて「表示の基準位置」も平行移動させる。このような映像の表示位置変更手段を採用することによって、展示品Aと映像SEが実際に同一平面上に存在し、その平面上における位置関係も一定であるかのように表現させることが可能である。さらに上記したαとβを使用して、可視位置によって変化する展示品Aのサイズと同様なサイズ変化を重畳する映像SEにも持たせて表示させることも可能である。
【0029】
また、上記実施の形態では、垂直平面Wに設置される展示品Aが平面的なものである場合について説明したが、自由空間に設置された立体的な展示品に対しても仮想的に垂直平面を設定して立体的な展示品の4隅に赤外線LED1を配置することによって、上記したと同様な複合現実感の実現が可能であり、さらに、重畳する映像SEに三次元グラフィックスを採用することで、立体的な展示品に対して立体的な映像を重畳させることも可能である。また、音響伝達部から、重畳する映像等の有無に拘わらず、様々なガイダンス、説明等を流すことにより、観者に、一層の没入感を与えることができる。
【0030】
さらに、本発明は、博物館等の文化施設における展示品を対象として複合現実感を実現するものであるが、各種産業分野における機器・装置の診断や、医療診断、そのほか教育分野、エンターテイメント分野における複合現実感の実現システムに応用することも考えられる。すなわち、対象物としては、予め、参照情報を提供するようにされた設置物ならどのような物でもよく、例えば工場設備に設けられるような計器、または装置の調整手段であってもよい。
【0031】
【発明の効果】
以上のように、本発明によれば、対象物の周りの同一垂直平面上に設置された位置教示手段を撮影して対象物に関連するコンテンツを対象物の実像にリアルタイムに位置整合し重畳表示させるための撮影手段を携帯型コンピュータ側のHMDに観者の視線上に合致するように装備させることにより、特別な3次元位置・姿勢センサー等の多数の構成要素を用いることなく、位置教示手段と撮影手段を組み合わせただけの簡単な構成でありながら、観者自身が観ている対象物とそれに関連するコンテンツとが一体に結び付いた興趣性に富んだインタラクティブな情報を観者に提供することができ、これによって、観者に高度な没入感を与え、例えば対象物が展示品である場合には、展示効果を顕著に高めることができる。
【図面の簡単な説明】
【図1】本発明の実施の形態による複合現実感実現システムの概略構成を示すブロック図である。
【図2】同システムにおける単眼式HMDの光学的位置関係を説明する平面図である。
【図3】同システムを使用して、平面的な展示品に対する複合現実感を実現するための一例を説明する立面図である。
【図4】同平面図である。
【図5】単眼式HMDによる画像図である。
【図6】処理概要フローチャートである。
【符号の説明】
1 赤外線LED
2 単眼式HMD
3 コントローラ
4 パソコン本体
5 携帯型コンピュータ
7 映像表示部
8 音響伝達部
9 赤外線受光部
10 CCDカメラ
11 記憶装置部
12 制御演算部
13 座標位置認識部
14 位置情報演算部
15 コンテンツ重畳部
A 展示品
W 垂直平面
H 観者(来館者等)

Claims (4)

  1. 対象物の周りの同一垂直平面上に設置され、個別の対象物の識別信号を発信する識別信号発信手段と、対象物の位置を教示する3以上複数個の位置教示手段と、ヘッド・マウント・ディスプレイとコントローラとパソコン本体とからなる携帯型コンピュータとで構成される複合現実感実現システムであって、
    上記携帯型コンピュータのヘッド・マウント・ディスプレイには、映像表示部と、識別番号発信手段から発信される個別の対象物の識別信号を受信する識別番号受信手段と、上記複数個の位置教示手段を撮影する撮影手段とが具備され、
    上記携帯型コンピュータのパソコン本体には、対象物に関連するコンテンツ及び対象物によって予め定められた基準位置から撮影手段で撮影した位置教示手段の画像上の座標位置並びに鉛直方向における位置教示手段同士間の距離及び水平方向における位置教示手段同士間の距離を含むデータを予め登録するための記憶装置部と、識別信号受信手段からの信号を受けて対象物に関連するコンテンツを記憶装置部から呼び出す制御演算部と、撮影手段で撮影した画像上における複数個の位置教示手段の座標位置をリアルタイムに認識する座標位置認識部と、これら複数の座標位置から対象物の可視位置と対象物間の位置を演算する位置情報演算部と、これら位置情報から記憶装置部に予め登録されている対象物に関連するコンテンツをヘッド・マウント・ディスプレイの映像表示部上で対象物に重畳させるコンテンツ重畳部とが具備されており、
    上記位置情報演算部において、
    上記パソコン本体の記憶装置部に予め登録されている鉛直方向の位置教示手段同士間の距離を正規化して「1」とし、この正規化された距離に対する観者の可視位置からの撮影に基づき求められた鉛直方向の位置教示手段同士間の距離「α」を求めるとともに、
    同じく水平方向の位置教示手段同士間の距離を正規化して「1」とし、この正規化された距離に対する観者の可視位置からの撮影に基づき求められた水平方向の位置教示手段同士間の距離「α×β」を求めるようになし、
    上記コンテンツ重畳部において、
    上記位置情報演算部での演算結果に基づき観者の可視位置から撮影した所定の位置教示手段の座標と、上記基準位置から撮影した所定の位置教示手段の座標との差を演算するとともにその差分だけ重畳するコンテンツを平行移動し、
    さらに平行移動されたコンテンツの基準位置座標と観者の可視位置から撮影した所定の位置教示手段の座標との差を演算し、その差分の鉛直方向成分をα倍するとともに、その差分の水平方向成分をα×β倍して、それぞれを観者の可視位置から撮影した所定の位置教示手段の座標に加えることにより、コンテンツの基準位置座標を決定し、
    上記記憶装置部に予め登録されているコンテンツを水平方向及び鉛直方向全体にα倍するとともに、水平方向にβ倍した後、上記決定された基準位置座標にリアルタイムにて重畳させるようにしたことを特徴とする複合現実感実現システム。
  2. 上記携帯型コンピュータのヘッド・マウント・ディスプレイとして、対象物からの反射光を対象物の可視位置へ向けて直線的に透過させるハーフミラーを備えてなり、撮影手段により撮影される背景画像は映像表示部へ出力しない光学的シースルー方式に構成されたヘッド・マウント・ディスプレイを使用することを特徴とする請求項1に記載の複合現実感実現システム。
  3. 上記携帯型コンピュータのヘッド・マウント・ディスプレイとして、対象物からの反射光を対象物の可視位置からの視線に対して直交する方向へ屈曲させる両面鏡を備えてなり、撮影手段により撮影される背景画像を映像表示部へ出力させるビデオシースルー方式に構成されたヘッド・マウント・ディスプレイを使用することを特徴とする請求項1に記載の複合現実感実現システム。
  4. コンテンツが映像であることを特徴とする請求項1乃至3のいずれかに記載の複合現実感実現システム。
JP2001097782A 2000-03-31 2001-03-30 複合現実感実現システム Expired - Lifetime JP3957468B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2001097782A JP3957468B2 (ja) 2000-03-31 2001-03-30 複合現実感実現システム
US10/189,127 US6795041B2 (en) 2000-03-31 2002-07-02 Mixed reality realizing system

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2000-96055 2000-03-31
JP2000096055 2000-03-31
JP2001097782A JP3957468B2 (ja) 2000-03-31 2001-03-30 複合現実感実現システム
US10/189,127 US6795041B2 (en) 2000-03-31 2002-07-02 Mixed reality realizing system

Publications (2)

Publication Number Publication Date
JP2001344617A JP2001344617A (ja) 2001-12-14
JP3957468B2 true JP3957468B2 (ja) 2007-08-15

Family

ID=32303121

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001097782A Expired - Lifetime JP3957468B2 (ja) 2000-03-31 2001-03-30 複合現実感実現システム

Country Status (2)

Country Link
US (1) US6795041B2 (ja)
JP (1) JP3957468B2 (ja)

Families Citing this family (83)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8817045B2 (en) 2000-11-06 2014-08-26 Nant Holdings Ip, Llc Interactivity via mobile image recognition
US20030062675A1 (en) * 2001-09-28 2003-04-03 Canon Kabushiki Kaisha Image experiencing system and information processing method
US8458028B2 (en) * 2002-10-16 2013-06-04 Barbaro Technologies System and method for integrating business-related content into an electronic game
JP4356983B2 (ja) * 2004-02-10 2009-11-04 キヤノン株式会社 画像処理方法、画像処理装置
US20050289590A1 (en) * 2004-05-28 2005-12-29 Cheok Adrian D Marketing platform
US20050285878A1 (en) * 2004-05-28 2005-12-29 Siddharth Singh Mobile platform
US7474318B2 (en) 2004-05-28 2009-01-06 National University Of Singapore Interactive system and method
US20050288078A1 (en) * 2004-05-28 2005-12-29 Cheok Adrian D Game
US8547401B2 (en) * 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
ITBO20040749A1 (it) * 2004-12-02 2005-03-02 Bieffebi Spa Macchina per il montaggio a registro di cliche' flessografici con sistema informatico virtuale
JP4739002B2 (ja) * 2005-06-30 2011-08-03 キヤノン株式会社 画像処理方法、画像処理装置
WO2007027738A2 (en) 2005-08-29 2007-03-08 Evryx Technologies, Inc. Interactivity via mobile image recognition
KR101397214B1 (ko) * 2007-06-05 2014-05-20 삼성전자주식회사 증강 현실 기술을 이용하여 가상 객체를 생성하기 위한시스템 및 방법
JP5311440B2 (ja) * 2007-12-05 2013-10-09 独立行政法人産業技術総合研究所 情報提示装置
JP2009245390A (ja) * 2008-03-31 2009-10-22 Brother Ind Ltd 表示処理装置及び表示処理システム
JP5104679B2 (ja) * 2008-09-11 2012-12-19 ブラザー工業株式会社 ヘッドマウントディスプレイ
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
JP2011192048A (ja) * 2010-03-15 2011-09-29 Nec Corp 発言内容出力システム、発言内容出力装置及び発言内容出力方法
KR101080040B1 (ko) 2010-03-25 2011-11-04 동서대학교산학협력단 공간 증강 현실 기반 인터랙티브 디스플레이 방법
JP5499854B2 (ja) 2010-04-08 2014-05-21 ソニー株式会社 頭部装着型ディスプレイにおける光学的位置調整方法
JP5434848B2 (ja) 2010-08-18 2014-03-05 ソニー株式会社 表示装置
JP2013105345A (ja) * 2011-11-14 2013-05-30 Sony Corp 情報登録装置、情報登録方法、情報登録システム、情報提示装置、情報提示方法、情報提示システムおよびプログラム
JP6020009B2 (ja) * 2012-09-28 2016-11-02 ブラザー工業株式会社 ヘッドマウントディスプレイ、それを作動させる方法およびプログラム
KR102013790B1 (ko) * 2013-01-18 2019-08-26 한국전자통신연구원 L자형 디스플레이 기반 인터랙티브 컨텐츠 제어 장치 및 방법
US9483875B2 (en) * 2013-02-14 2016-11-01 Blackberry Limited Augmented reality system with encoding beacons
JP5786910B2 (ja) * 2013-08-29 2015-09-30 ソニー株式会社 頭部装着型ディスプレイにおける光学的位置調整方法
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9529199B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US9740280B2 (en) 2014-01-21 2017-08-22 Osterhout Group, Inc. Eye imaging in head worn computing
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9532714B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
US20150241963A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
DE102014115471B4 (de) * 2014-10-23 2018-08-23 Krauss-Maffei Wegmann Gmbh & Co. Kg Kopfbefestigbare Anzeigevorrichtung und Verfahren
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
USD743963S1 (en) 2014-12-22 2015-11-24 Osterhout Group, Inc. Air mouse
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
RU2644125C1 (ru) * 2016-11-30 2018-02-07 Эдуард Борисович Попов Персональный видео - гид
WO2019000429A1 (en) * 2017-06-30 2019-01-03 Guangdong Virtual Reality Technology Co., Ltd. METHODS AND SYSTEMS FOR OPERATING AN APPARATUS THROUGH INCREASED REALITY
WO2019020430A1 (en) 2017-07-26 2019-01-31 Philips Lighting Holding B.V. SYSTEM FOR COMMUNICATING A PRESENCE OF A DEVICE THROUGH A LIGHT SOURCE
JP7056155B2 (ja) * 2018-01-10 2022-04-19 富士フイルムビジネスイノベーション株式会社 情報伝達装置、情報伝達システム及びプログラム

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08160879A (ja) 1994-12-09 1996-06-21 Shimadzu Corp 頭部装着表示装置
JPH09114543A (ja) 1995-10-02 1997-05-02 Xybernaut Corp ハンドフリーコンピュータ装置
US6587783B2 (en) * 2000-10-05 2003-07-01 Siemens Corporate Research, Inc. Method and system for computer assisted localization, site navigation, and data navigation
US7064742B2 (en) * 2001-05-31 2006-06-20 Siemens Corporate Research Inc Input devices using infrared trackers

Also Published As

Publication number Publication date
US20040004583A1 (en) 2004-01-08
US6795041B2 (en) 2004-09-21
JP2001344617A (ja) 2001-12-14

Similar Documents

Publication Publication Date Title
JP3957468B2 (ja) 複合現実感実現システム
JP7170736B2 (ja) 双方向性拡張または仮想現実装置
US6774869B2 (en) Teleportal face-to-face system
US20070164988A1 (en) Augmented reality apparatus and method
KR101691564B1 (ko) 시선방향 추적을 이용한 증강현실 제공 방법
US20060132915A1 (en) Visual interfacing apparatus for providing mixed multiple stereo images
US20180246331A1 (en) Helmet-mounted display, visual field calibration method thereof, and mixed reality display system
US11750789B2 (en) Image display system
CN104429064A (zh) 图像生成装置及图像生成方法
TW201943259A (zh) 基於視頻通信的實景窗系統
CN112673276A (zh) 超声波传感器
JP2023527357A (ja) 角加速の決定
CN211349296U (zh) 一种基于cave投影的定位捕捉互动装置
KR20200115631A (ko) 멀티뷰잉 가상 현실 사용자 인터페이스
JP2017046233A (ja) 表示装置及び情報処理装置及びその制御方法
JP2001076168A (ja) 情報端末装置、データベースサーバ装置、画像表示システムおよびそれらの制御方法
CN114846434A (zh) 非均匀立体渲染
US9989762B2 (en) Optically composited augmented reality pedestal viewer
JP2005092363A (ja) 画像生成装置および画像生成プログラム
EP3547081B1 (en) Data processing
CN114020150A (zh) 图像显示方法、装置、电子设备及介质
JP2018050156A (ja) 双方向コミュニケーション装置
TWI700933B (zh) 視頻通信裝置及方法
CN111586394A (zh) 一种三维交互展示***及其展示方法
KR102655191B1 (ko) 스마트 글래스 및 제어방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061017

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070116

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070410

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070508

R151 Written notification of patent or utility model registration

Ref document number: 3957468

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110518

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110518

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120518

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130518

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term