JP2009538487A - 拡張現実を使用して装置の保守命令および動作命令を表示するシステムおよび方法 - Google Patents

Abstract

ヘッドマウントディスプレイは、見られている対象の拡張された光景をユーザに提供し、カメラなどの追跡メカニズムは、見られている対象に対するヘッドマウントディスプレイの位置および向きを繰り返し決定し（図１）、そして、コンピュータシステムは、拡張された光景に対する情報を提供し、ディスプレイの決定された位置および向きに基づいて、見られている対象の拡張された光景を繰り返し更新する。ヘッドマウントディスプレイは、シースルーディスプレイであり得る。シースルーディスプレイは、ビデオベースまたは光学ベースであり得、シースルーディスプレイは、モノスコーピックおよび立体視であり得る。追跡メカニズムは、見られている対象上の１つ以上のマーカまたはビーコンを使用して対象の位置を決定する。マーカは、能動的または受動的であり得、不可視光を放謝する発光ダイオード（ＬＥＤ）を含む。

Description

本発明は、概して拡張現実（ＡＲ）システムに関し、さらに詳細には、対象の保守命令および／または動作命令を表示するＡＲシステムに関する。

拡張現実（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）（ＡＲ）システムは、現実世界の対象の光景上に情報（例えば、画像、テキストなど）を組み合わせ、それにより、現実（すなわち、現実世界の対象）を他の情報を用いて拡張するシステムである。

ＡＲシステムの周知の例は、テレビで放映されるアメリカンフットボールにおいて、フットボールの試合中に、フットボールの競技場の現実世界のビデオ画像の上に黄色い線を表示するために使用されるものである。この黄色い線が、視聴者にファーストダウンマーカの位置の示度を提供する。別のスポーツの世界での例が、オリンピックの水泳部門および陸上競技部門において見出され、そこでは、運動選手の国旗が、その運動選手のレーンまたはトラックの画像の上に重ねられる。このように、テレビの視聴者は、どの運動選手がどのレーンにいるかを区別し得る。

一部のシステムにおいて、システムもしくは構造体内でのユーザの位置、またはシステム内での１つ以上の対象に対するユーザの位置を知ることが望ましいことがあり得る。本明細書において使用される場合、ユーザに関して、用語「追跡」は、概して、座標系に対するユーザの位置および向きを取得することを指す。ユーザの位置および／または向きは、概して「インサイドアウト（ｉｎｓｉｄｅ ｏｕｔ）」の決定または「アウトサイドイン（ｏｕｔｓｉｄｅ ｉｎ）」の決定と呼ばれる２つの一般的な方法のうちの１つで決定／追跡され得る。「インサイドアウト」の追跡システムにおいて、標的が、既知の一定の場所（例えば、部屋の天井）に位置決めされる。ユーザに接続されたカメラまたはユーザが着用しているカメラが、標的の画像を獲得し、ユーザの位置および／または向きが、カメラに接続されたコンピュータによって決定される（用語「姿勢」が、対象（またはユーザ）の位置および向きを指すために使用される場合がある）。カメラは、ユーザが着用するヘルメット上に存在し得る。カメラは、しっかりとディスプレイに取り付けられるべきである。なぜならば、カメラは、ディスプレイの姿勢を感知するという目的に役立ち、その結果、画像がそれに対応して表示され得るからである。所謂「アウトサイドイン」の追跡システムにおいて、ユーザが、所謂「標的」を着用し、既知の一定の場所のカメラが、それらの標的を検出するために使用される。カメラからの画像が、ユーザの場所および／または向きを計算するために使用され得る。これらの２つの追跡システムの組み合わせ、所謂「インサイドアウトサイドイン（ｉｎｓｉｄｅ−ｏｕｔｓｉｄｅ−ｉｎ）」の追跡もまた、公知である。（例えば、飛行機のコックピット内のパイロットの頭（実際にはヘルメット）の正確な位置を決定する際に）様々な種類の追跡システムに対する能動的な標的および／または受動的な標的を使用することもまた、公知である。他の追跡システムは、全地球測位システムなどを使用することにより、（ユーザの向きは獲得しないが）ユーザの位置を獲得し、そして、コンパスなどを使用することにより、（ユーザの位置は獲得しないが）ユーザの向きを獲得する。

一部のＡＲシステムは、例えば、考古学的な遺跡においてユーザの位置を決定するための追跡の使用を提案している。これらのシステムにおいて、任意の現実が、例えば、ウェアラブルコンピュータおよびシースルーのヘッドマウントディスプレイ（ＨＭＤ）を使用して、ユーザに提供される。かかるシステムにおいて、追跡は、他の追跡スキームと組み合わされた全地球測位システム（ＧＰＳ）を使用して行われ得る。

ヘッドマウント光学ディスプレイが、コンピュータ生成の情報をユーザに提供するため使用されてきたが、情報は、ディスプレイ上の一定の位置に表示され、そして、対象に対するユーザの光景が変化したときに、情報は変化しない。例えば、単眼（ｍｏｎｏ−ｖｉｓｉｏｎ）のヘッドマウントディスプレイのユーザに回路図などを表示するシステムが公知である。しかし、表示される情報は、ユーザが見ているいかなる対象とも同期化されず、そして、ユーザが動いた場合（それにより、対象に対するユーザの光景を変化させた場合）に、情報は、同時に、ディスプレイに対して、情報が環境内の特定の対象に添付されているようには動かない。

本発明者らは、まず、正確かつ継続的な、位置および向きの追跡とヘッドマウントディスプレイを組み合わせることにより、船上、暗闇、金属の表面および他の表面によって囲まれた条件、および限られた空間の条件を含む困難な可能性のある条件の下で、オーバレイされた保守命令および動作命令をユーザに提供する要望を認識した。

本発明および本発明の利点のより完全な理解のために、添付の図面と関連付けて、以下の詳細な記述に対して参照が行われる。

図１は、拡張現実（ＡＲ）システム１０の例示的なアーキテクチャを描いている。ＡＲシステム１０は、コンピュータ１４に接続されたヘッドマウントディスプレイ１２を含む。

コンピュータ１４は、コンピュータ１４の使用がユーザの可動性に過度に影響を与えないように、軽量かつウェアラブルであることが好ましい。現在好適な実装において、コンピュータ１４は、Ｔｈｅｒｍｉｔｅと呼ばれる、Ｑｕａｎｔｕｍ３Ｄからのウェアラブルのｘ８６互換機である。このコンピュータは、低消費電力で頑丈であり、１ＧＨｚのプロセッサと、２５６Ｍｂのメモリと、リアルタイムの単眼用ＡＲグラフィックレンダリングに適したＮｖｉｄｉａグラフィックアダプタとを有する。当業者は、この記述を読んだときに、異なるコンピュータおよび／または他のコンピュータが使用され得ることを認識および理解する。ディスプレイ１２が、例えば、コンピュータ１４のＶＧＡ出力に接続され得る。システム１０はまた、入力デバイスとしての使用のためにキーボードなど（図示せず）を含み得る。

ディスプレイ１２は、ユーザの光景の拡張を可能にするシースルーディスプレイである。ディスプレイは、透明（光学的）または不透明（ビデオベース）のいずれかであり得る。ビデオベースのシースルーディスプレイは、カメラが世界の光景を撮影することよって実装され得る。ビデオベースのディスプレイは、グラフィックと組み合わされた、この世界の光景を示し、該グラフィックがその光景を拡張する。光学ディスプレイは、例えば、透明なビームスプリッタを介して世界の光景を示すことと、マイクロディスプレイの表示画像を反射させることとによって、光景を拡張するグラフィックとこの光景を組み合わせることによって実装され得、該マイクロディスプレイの表示画像は、同じビームスプリッタを使用してこのグラフィックを示す。シースルーディスプレイは、ゴーグルの形態で利用可能であり、ＡＲにユーザがより良く没頭するためにユーザによって着用され得る。光学ディスプレイおよびビデオディスプレイは、深度の知覚を補助するために、モノスコーピック（ｍｏｎｏｓｃｏｐｉｃ）（１つの光景）であるか、または立体視（２つの光景、各目に対して１つの光景）であるかのいずれかであり得る。後者の種類を、仮想の画像と現実の画像とのより良い整合のために推薦する。単眼用の、シースルーの、妨害にならない光学ディスプレイの例は、Ｗａｓｈｉｎｇｔｏｎ、ＲｅｄｍｏｎｄのＭｉｃｒｏｖｉｓｉｏｎから入手可能なＮｏｍａｄ ＩＩディスプレイである。

Ｍｉｃｒｏｖｉｓｉｏｎ Ｎｏｍａｄ ＩＩディスプレイは、軽量でワイヤレスであり、あらゆる採光条件の下で使用され得るので、Ｍｉｃｒｏｖｉｓｉｏｎ Ｎｏｍａｄ ＩＩディスプレイが適切でもある。Ｍｉｃｒｏｖｉｓｉｏｎ Ｎｏｍａｄ ＩＩディスプレイは、レーザを使用することにより、高強度の画像を装着者の目に形成し、その結果、周囲の採光条件を補償するために、充分に明るくし得る。ディスプレイは、画像を送信するために使用され得る一般的なＶＧＡポートを有する。Ｎｏｍａｄ ＩＩと同じ特性を有する両眼用ディスプレイが、好ましいことがあり得る。なぜならば、ユーザは、単眼用ディスプレイを使用するときには、注意力の転換を経験し得ることが示唆されているからである。

ユーザが、（その対象の情報が提供され得るように）何が見られているかを決定するために、システム１０は、見られている対象に対するユーザの位置および／または向きを決定する。このために、ＡＲシステム１０は、追跡システム１６を含み、該追跡システム１６は、追跡メカニズム／追跡デバイス１８で構成されている。追跡メカニズム１８は、１つ以上のカメラであり得るが、他のメカニズムが使用され得る。記述のために、用語「追跡メカニズム」とカメラとが、同義語として使用される。概して、追跡メカニズム１８は、ヘッドマウントディスプレイ１２に対して既知かつ一定の位置および向きにあることが望ましい。

追跡システム１６はまた、見られる対象上に少なくとも１つのマーカ（またはビーコン）２０を含む。説明のために、１つのマーカだけが、図面における対象２２上に示されているが、好適には、２つ以上のマーカが提供される。

一般的なＡＲシステム１０は、複数の異なる対象２２が存在する環境において動作する。

マーカ２０は、対象２２に配置されたり、取り付けられたり、組み込まれたりし得る。現在好適な実施形態において、マーカ２０は、好適には、能動マーカであり、例えば、赤外（ＩＲ）光または紫外（ＵＶ）光を生成する光源である。マーカ２０は、ＩＲ放射源またはＵＶ放射源を使用し得、該ＩＲ放射源または該ＵＶ放射源は、追跡メカニズム１８の画像化センサによって見られ、追跡システムのプロセッサによって場面の残りからセグメント化／区別され得る幾何形状パターンを作り出す。マーカ２０は、ＩＲ発光ダイオード（ＬＥＤ）を含み得、該ＩＲ発光ダイオード（ＬＥＤ）は、追跡メカニズム１８の画面上に複数の点またはビーコンを作り出す。その代わりに、ＵＶ ＬＥＤが使用され得るか、または同様に、線または任意の形状が、点の代わりに作り出され得る。マーカ２０によって作り出されるパターンは、回転不変式であるべきであり、そして、非対称であり得、その結果、追跡システム１６が位置および向き（すなわち、追跡メカニズム１８の姿勢）に対して１つの解だけを見出し得る。ＩＲ ＬＥＤまたはＵＶ ＬＥＤが、マーカ２０として使用されるときには、ＬＥＤは、常に点灯し、信頼度の高い標的を提供し得、該標的は、任意的な周囲の照明にかかわらず、カメラによってセグメント化され得る。マーカ２０は、電力を得るために、バッテリで電力を供給されたり、装置２２に配線されたりし得る。

ＩＲ ＬＥＤマーカ２０に加えて、追跡メカニズム１８は、ＵＶ源、またはマーカとしてＩＲもしくはＵＶを放射するレーザの標的も使用し得、該ＵＶ源または該レーザの標的は、追跡メカニズム（例えば、カメラ）は見ることができ、かつ、人には見ることができないビーコンを提供し得る。

用語「マーカ」は、１つ以上のマークもしくは１つ以上のパターンまたは１つ以上のＬＥＤを指すことが理解されるべきである。すなわち、特定の個別のマーカは、１つ以上のマークもしくは１つ以上のパターンまたは１つ以上のＬＥＤを含み得る。マーカによって形成されるパターンは、マーカ配置（ｃｏｎｓｔｅｌｌａｔｉｏｎ）と呼ばれる。

代替の追跡システムが、点光源の代わりにマーカとして逆反射する標的を使用して実装され得る。かかるシステムは、好適には、追跡メカニズム１８と同軸に配置された照明メカニズム（例えば、ＩＲフラッシュ）を必要とする。かかるシステムにおいて、追跡システム１６が、照明メカニズムを用いて、反射する標的を照明し、反射された標的が、あたかも反射された標的が光源自体であるかのように光検出器に現れ、同じ機能を提供する。

追跡メカニズム１８は、好適には、ディスプレイ１２に取り付けられる軽量なカメラである。カメラは、好適には、人間には見えない周波数範囲、例えば、ＩＲまたはＵＶのいずれかで動作する画像化センサを使用する。画像化センサの実装の例は、カメラに含まれたＣＣＤ（電荷結合素子）または２つの線形光学センサである。当業者は、この記述を読んだときに、同じ画像化機能をサポートする他の実施形態もまた使用され得ることを認識および理解する。追跡システム１６は、（受動光源ではなく）能動光源を使用するので、周囲の採光状態に影響を受けない。

さらに、追跡メカニズム１８（例えば、カメラ）は、１つ以上のフィルタ（例えば、ＩＲフィルタ）を含むことにより、周囲の照明をフィルタリングして取り除き、セグメント化を助け得る。

追跡システム１６は、その実装に依存して、マーカ２０に対する追跡メカニズム１８の位置および向き（本明細書においては、ＢＳ（ベースからセンサ）の向きと呼ばれる）、および／または追跡メカニズム１８に対するマーカ２０の位置および向き（本明細書においては、ＳＢ（センサからベース）の向きと呼ばれる）を決定することによって、追跡情報を生成し得る。追跡システム１６は、追跡メカニズム１８とマーカ２０との相対的な位置および向きを追跡するので、ＡＲシステム１０は、（マーカ２０が対象に取り付けられたままである限り）対象の位置および／または向きが変化したときでさえ、対象２２上に画像をオーバレイすることができる。

光学ベースの追跡は、周知のアルゴリズムを使用して実装され得、該周知のアルゴリズムは、追跡メカニズム１８の画像化センサ上の、マーカ２０（例えば、ＩＲ ＬＥＤ）の投影位置を、対象２２上の、それらの対応する既知の空間的な場所と相関させることから成る。これは、追跡メカニズム１８の位置および向きの回復を可能にする。ＡＲシステムのこの局面は、所謂モデルベースの姿勢回復アルゴリズムを使用して実装され得る。かかるアルゴリズムに関する参考文献一覧が、例えば、ｔｈｅ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｒｏｃｈｅｓｔｅｒ Ｃｏｍｐｕｔｅｒ Ｓｃｉｅｎｃｅ Ｄｅｐａｒｔｍｅｎｔのウェブサイト（ｈｔｔｐ：／／ｗｗｗ．ｃｓ．ｒｏｃｈｅｓｔｅｒ．ｅｄｕ／ｕ／ｃａｒｃｅｒｏｎ／ｒｅｓｅａｒｃｈ／ｂｉｂ．ｈｔｍｌ）において提供される。

追跡システム１６は、代替的に、システムに必要とされる処理電力を減少させるために、追跡メカニズム１８およびマーカ２０において慣性センサ（図示せず）を使用して実装され得る。位置追跡の際の慣性センサの使用は周知であり、例えば、「Ｈｅａｄ−ｔｒａｃｋｉｎｇ ｒｅｌａｔｉｖｅ ｔｏ ａ ｍｏｖｉｎｇ ｖｅｈｉｃｌｅ ｏｒ ｓｉｍｕｌａｔｏｒ ｐｌａｔｆｏｒｍ ｕｓｉｎｇ ｄｉｆｆｅｒｅｎｔｉａｌ ｉｎｅｒｔｉａｌ ｓｅｎｓｏｒｓ」、Ｆｏｘｌｉｎ、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ Ｈｅｌｍｅｔ ａｎｄ Ｈｅａｄ−Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙｓ Ｖ、ＳＰＩＥ Ｖｏｌ．４０２１、ＡｅｒｏＳｅｎｓｅ Ｓｙｍｐｏｓｉｕｍ、Ｏｒｌａｎｄｏ、ＦＬ、Ａｐｒｉｌ ２４−２５、２０と、米国特許第６，４７４，１５９号と、米国特許第６，７５７，０６８号と、米国特許第６，９２２，６３２号とに記述されており、それらの文献のそれぞれの全内容が、本明細書において参考として援用される。

慣性情報が使用されることにより、アルゴリズムのセグメント化機能が、画像全体を走査する代わりに、追跡メカニズムの小さい領域（サーチウインドウ）においてのみ行われることを可能にし得る。マーカ２０に対する追跡メカニズム１８の位置および向きを決定する根本的な数学的原理は、マーカ２０が追跡メカニズムの画像化センサ上でセグメント化されると、同じである。

現在好適な実施形態において、対象２２は、修理または保守を必要とする装置（例えば、計器パネル）である。さらに、現在好適な実施形態において、対象２２は、海上の船などの動いている容器（ｖｅｓｓｅｌ）に搭載されている。当業者は、この記述を読んだときに、かかる場合において、ユーザと対象との両方が、常に、互いに対して動いていることを認識および理解する。さらに、かかる場合において、ＡＲシステム１０は、変動する光の状態（例えば、周囲の光、ＬＥＤに似たノイズ反射、不充分な可視性、および暗闇の可能性）に対処しなければならない。

本発明者らは、費用的な理由と、ユーザよりも多く、注釈を付けられた／マークされた対象２２が存在する可能性があるという制約に関わる理由とを含む様々な理由のために、追跡システム１６は、インサイドアウトタイプのものであることが好ましいことを認識した。これは、逆のアウトサイドインの構成とは異なり、追跡プロセッサと追跡メカニズム１８とがユーザによって携行され、マーカが環境内に据え付けられることを意味する。

追跡メカニズム１２の光学検出器は、ユーザが対象に近づいたときに、たくさんのマーカが見られ得るように、広い視野を有することが望ましい。代替の手法は、対象上においてより密集したマーカの分布を使用することである。

追跡システム１６は、実装に依存して、コンピュータ１４（または一部の他のプロセッサ（図示せず））を使用することにより、必要とされるアルゴリズムを実行し、マーカ２０に対する追跡メカニズム（カメラ）１８の位置および向き、または追跡メカニズム（カメラ）１８に対するマーカ２０の向きを決定することを助ける。あるいは、専用プロセッサまたは埋め込まれたハードウェアが、この機能の一部または全てを行い得る。

追跡システム１６が、追跡情報を生成すると、この情報は、ユーザが見ている対象２２に対するディスプレイ１２の位置および向きを表すために使用される（この情報は、本明細書において、ＰＤ（パネルからディスプレイ）と呼ばれる）。

見られること（修理されること、保守されることなど）を必要とし得る各対象に対して、対象２２の３次元（３Ｄ）モデル２４が、（例えば、調査によって獲得された、３Ｄモデルもしくは画像または任意の座標を使用して）作り出され、ユーザがシステムを動作させる前にコンピュータ１４に格納される。このモデル２４は、対象２２に対して参照される。対象２２に対するディスプレイ１２の位置および向きと、対象２２の３Ｄモデル２４とを使用して、コンピュータ１４は、３Ｄモデルの斜視図を生成し、対象２２上にオーバレイ情報を重ねるように斜視図をレンダリングし、対応するオーバレイ画像をディスプレイ１２に送信することができる。このように、ユーザは、対象を見ながら、（ディスプレイ１２で）対象のオーバレイ画像を見ることができる。追跡は、好適には、継続的かつ連続的であるので、ユーザおよび／または対象が互いに対して動いた場合には、オーバレイ画像が適切な場所に表示される。

上述のように、現在好適な実施形態において、対象２２は、例えば、海における船などの動いている容器に搭載された装置／デバイス（例えば、計器パネル）である。オーバレイ画像において提供される情報は、装置および／または装置の保守および／または装置の修理の情報を含む。よって、例えば、適切にマークされた計器パネルを見ているユーザは、計器パネルに直接的に重ねられた動作命令および保守命令を与えるオーバレイ画像を提供され得る。オーバレイ画像が、見られている対象に適切に位置決めされることが重要である。したがって、この記述を読むことから、ユーザまたは対象のうちのいずれかが動いた場合には、オーバレイ画像を更新することにより、オーバレイ画像が、見られている現実世界の対象の適切な部分に対応することを確実にすることを必要とすることが、当業者には明らかである。

好適な実施形態において、ユーザに提供される情報は、器具の修理命令および／または器具の保守命令を含む。

拡張表示において使用される情報は、コンピュータ１４に格納されたデータベース、または遠隔に格納され、そして、必要に応じてコンピュータによって（例えば、ワイヤレスで）アクセスされるデータベースから獲得され得る。コンピュータ１４とデータベースとのインタラクションは、任意の公知の技術を使用することができる。

図２は、ビデオＡＲシステム１０の例示的なアーキテクチャを描いている。当業者は、この記述を読んだときに、このアーキテクチャが、ハードウェア、もしくはソフトウェア、またはそれらの組み合わせにおいて実装され得ることを認識および理解する。さらに、当業者は、この記述を読んだときに、他のアーキテクチャおよび／または異なるアーキテクチャが使用され得ることを認識および理解する。一部の実施形態において、異なるカメラが、ＡＲの光景と追跡とに対して使用され得る。さらに、光学ＡＲシステムが使用され得、その場合、ビデオは、レンダラ（ｒｅｎｄｅｒｅｒ）に行かない（なぜならば、現実世界が透明な光学機器を通して見られているからである）。

図２に示されているように、例示的なアーキテクチャは、ビデオキャプチャ部分３０と、構成ローダ３２と、レンダラ３４と、追跡部分３８と、モデルローダ４０と、較正メカニズム４２とを含む。構成ファイル３６が、ソフトウェアの追跡部分３８と追跡メカニズム１８（カメラ）とを構成するように使用される。構成ファイル３６は、追跡システム１６によって必要とされるデータ（例えば、追跡するための基準、本明細書では、機械の原点に対する追跡しているＬＥＤの場所）を提供する。構成ローダ３２は、構成ファイル３６を読み込む。当業者は、この記述を読んだときに、構成データが、多くのフォーマットで提供され、かつ、示されたメカニズムとは異なるメカニズムによって提供され得ることを認識および理解する。

較正部分４２は、１８とディスプレイ１２との間の変換が存在する場合に、および必要に応じて、１８とディスプレイ１２との間の変換を較正する。追跡部分３８は、環境内にあるマーカ２０の情報（マーカ配置に対するカメラの姿勢を含む）を提供する。ビデオ処理部分３０は、追跡メカニズム１８（カメラ）に接続され、追跡のためのビデオ入力を提供する。ビデオ処理部分３０はまた、様々な機能を行うように構築および適合され、例えば、ひずみ逆写像（ｉｎｖｅｒｓｅ−ｄｉｓｔｏｒｓｉｏｎ ｍａｐｐｉｎｇ）を使用することによってレンズひずみなどを補償すること、ビデオテクスチャの能力を提供すること、および（ビデオカメラが現実世界の光景を撮影するビデオシースルーの場合において）ユーザの光景を表すビデオフレームをキャプチャすることなどのために構築および適合され得る。

モデルローダ４０は、環境内の対象と関連付けられるモデルファイル２４をロードする。ビデオシースルーモードにおいて、レンダラ３４は、ビデオ処理部分３０からビデオ入力を受信し、追跡１６から対象に対するディスプレイ１２の位置および向きを受信する。

追跡部分３８と較正部分４２とは、ＰＤ（パネルからディスプレイ）と呼ばれる、対象に対するディスプレイ１２の位置および向きを決定するように構築および適合されている。現在好適な実施形態において、レンダラ３４は、変換（ＰＤ）を使用し、該変換（ＰＤ）の計算は、少なくとも部分的に以下の周知の関係に基づいている。光学検出面上に画像化された点Ｐｄは、行列式
Ｐｄ＝Ｐ．Ｔｄｏ．Ｐｏ
によって、追跡する対象Ｐｏにおける点Ｐｄの場所と関係付けられ、ここで、Ｔｄｏは、対象２２の基準から追跡メカニズム１８へマーカ２０の座標を変化させる行列であり、Ｐは、追跡メカニズム１８の投影行列であり、光学機器が追跡メカニズム１８の検出面上に点を投影する方法を表す。Ｐｏ（対象２２の原点に対するＬＥＤまたはビーコンの場所）と、Ｐ（カメラ１８の光学機器によって規定される投影行列）と、Ｐｄ（カメラの画像面上のＬＥＤまたはビーコンによって生成された２Ｄ投影ブロブ）とは公知であるので、Ｔｄｏ（追跡変換）を決定することが可能である。行列Ｔｄｏはまた、追跡メカニズム１８から対象２２まで写像するために必要とされる平行移動および回転（要するに、追跡メカニズム１８に対する対象２２の姿勢）を符号化し、それにより追跡能力を提供する。変換を元に戻すことによって、追跡メカニズム１８もまた、対象２２に対して追跡され得る。ＰＤは、ディスプレイ１２に対する対象２２の変換ＯＤを得るために、追跡１８からディスプレイ２０へのＴＤ変換と組み合わされた、計算された変換Ｔｄｏを使用して計算される。

レンダラ３４が、対象２２に対するディスプレイ１２の位置および向きを有すると、レンダラ３４は、この情報と、モデルローダ４０からの（３Ｄモデルファイル２４からの）モデル情報とを使用することにより、適切なオーバレイ情報を生成する。次に、レンダラ３４は、オーバレイ情報をディスプレイ１２に送信する。

一部の実施形態において、バーコードまたは他のインディシアが、マーカと共に使用されることにより、見られている対象の初期情報をＡＲシステムに提供し得る。かかるインディシアは、常に利用可能であったり、見ることができたりするわけではないことが理解されるべきであるが、それらは、有益な始動情報を提供し得、したがって、初期の対象認識を迅速化するために使用され得る。初期の対象認識は、互いに対して拡張するために対象のスケーラビリティと個々の動きとに対して望ましい。対象認識は、対象が、この対象に対して必要とされているＬＥＤの座標だけを有するように、人が追跡を構成することを可能にし、それにより処理時間を減少させ、かつ、スケーラビリティを改善する。この手法がとられない場合には、全体配置（ｇｌｏｂａｌ ｃｏｎｓｔｅｌｌａｔｉｏｎ）が全ての対象に対して使用され得る。しかしながら、追跡性能は、対象の数が増えるにつれ低下する。当業者は、この認識ステップを実装するためにいくつかの可能な方法を認識する。１つの実装は、初期化の際に、またはユーザが（追跡によって検出された）特定の機械から離れるように動いたときに、全ての機械に対する配置（全体配置と呼ばれる）を用いて追跡システムを構成することである。全体配置を使用するときには、追跡は、基準の全体配置フレームにおいて特定の機械の位置に写像する位置を生成する。この機械が識別されると、次に、追跡が関心のある機械だけに対するものである準配置（ｓｕｂ−ｃｏｎｓｔｅｌｌａｔｉｏｎ）を用いて構成され得る。別の実装は、ＡＲシステムが関心のある機械を認識することを可能にするように、各機械に取り付けられたＲＦＩＤなどの大まかな追跡システムを使用することから成る。

上述のように、ＡＲシステム１０は、船などに搭載した複雑なシステムの保守および修理を含むあらゆる種類の環境において使用され得るので、当業者は、この記述を読んだときに、かかるシステムのユーザが、予期していない角度および／または場所から修理される対象を見ていることがあり得ることを認識および理解する。バーコードまたは他のインディシアが提供される場合には、システムは、考えられる多くの対象のうちのどれが見られているかを素早く決定することができる。さらに、（または代替的に）ビーコンまたはＬＥＤの空間的な配置が、インディシアとして使用され得る。例えば、正方形は１、三角形は２などである。

一部の実施形態において、マーカ２０は、能動ＬＥＤを備え得、該能動ＬＥＤは、例えば、一部の変調された形態で、対象の識別を提供する信号を符号化する。この場合もまた、かかる情報は、ＡＲシステムによる、対象の素早い認識を可能にし得る。

さらに他の実施形態において、ユーザは、キーボードなどを提供され得、該キーボードなどを用いて、例えば、光景下で対象の識別などの初期の構成情報を入力する。

当業者は、この記述を読んだときに、対象の現実世界の光景にオーバレイするコンピュータ生成の画像が、対象および／またはユーザが互いに対して動いたときに動くことを認識および理解する。このように、グラフィックが現実世界の対象に適切に留まっているように、ユーザに見える。このコンピュータ生成の画像の更新は、継続的に生じることが好ましい。当業者は、この記述を読んだときに、用語「継続的に」は、本明細書において使用される場合、継続的に繰り返されることを意味することを理解する。コンピュータ生成の画像の実際の外観は、ユーザおよび対象が互いに対してかなり動いた場合には、断続的または不連続に見える。かかる場合において、コンピュータシステムは、常に正確に更新された画像を維持することができないことがあり得る。

図３は、図１のＡＲシステムの動作の例示的な流れ図である。図３に示されているように、まず、システムは、（４４において）見られている対象を認識する。この認識は、上に記述されたように、マーカによって形成された配置を見ることによって、または画像認識もしくは一部の他の手法を使用することによって行われ得る。

次に、見られている対象の情報が、（４６において）（例えば、データベースから）獲得される。この情報は、例えば、機械上にオーバレイする最新のモデル、一部の更新された命令、利用される追跡構成から成り得る。

次に、システムは、（４８において）対象に対するユーザ（実際には、トラッカ／ディスプレイ）の相対的な位置および向き（すなわち、姿勢）を決定し、（５０において）ユーザに適切な情報を表示する。対象に対するユーザの位置／向きは、継続的に追跡され、ステップ４８〜ステップ５０は必要に応じて繰り返される。

当業者は、この記述を読んだときに、これらの初期認識技術のうちの一部または全てが、組み合わせて使用され得ることと、さらに、異なる技術および／または他の技術が、初期の対象認識と共に使用され得ることとを認識および理解する。

本システムの多くの利点の中で、本システムは、位置および向きの漸進的な変化を示すために、事前に見られた光景に依存しない。その代わりに、好適な実施形態において、現在の位置および現在の向きが、そのたびごとに再計算される。この手法は、システムが、（システムが先の情報を演算することよって遭遇する）オクルージョンと関連付けられる問題をうまく対処することを可能にする。

当業者は、この記述を読んだときに、本明細書において記述されたＡＲシステムは、現在のＡＲシステムにおける欠陥を克服していることを認識および理解する。記述されたようなＡＲシステムは、以下の利点のうちの１つ以上を有する。
・本ＡＲシステムは、ウェアラブルである。
・本ＡＲシステムは、変化する周囲の照明または周囲の照明の存在しないことに影響を受けない。
・本ＡＲシステムは、ノイズに影響を受けない。
・本ＡＲシステムは、見られている対象の動きに影響を受けない。
・本ＡＲシステムは、概して、周囲の金属または磁場のひずみに影響を受けない。
・本ＡＲシステムは、ユーザと見られている対象との間の同期化のために配線を必要としなかったり、使用しなかったりする。
・本ＡＲシステムは、見られる対象に対して加えられ、かつ、人間の目に見える追跡基準を必要としなかったり、使用しなかったりする。
・本ＡＲシステムは、位置および向きの漸進的な変化を示すために、事前に見た光景に依存しない。
・本ＡＲシステムは、ユーザの頭に据え付けられるように充分に軽量であり、かつ、小さい。

当業者は、この記述を読んだときに、記述されたＡＲシステム／ＡＲ構造体は、多くの用途を有することを認識および理解する。一部の想定されるＡＲシステムの用途は、
固定された器具もしくは固定された装置、または動いている器具もしくは動いている装置の動作および保守に関して教育すること、例えば、
・どのように工場内の機械を動作させるかをユーザに示すこと、
・どのように戦車内の計器パネルと操舵制御装置とを使用するかをユーザに示すこと、
・飛行機またはヘリコプター内の、ボタンとフライトスティックとの機能をユーザに示すこと、
・どのように宇宙船または宇宙ステーション内の計器パネルを使用するかをユーザに示すこと、
・オーディオアンプの各ボタンの機能をユーザに示すこと、
・どのように、ＬＥＤに対して必要とされる電力を除いて電力を供給されていないもの（例えば、パレットまたは武器）、または手で携行されたり、腰にさえ据え付けられたりするものを使用するかをユーザに示すこと
を含む。

さらに、記述されたＡＲシステムは、計器パネルまたは装置に関する情報を提供するために使用され得るが、それは、教育の目的ではない。例えば、センサなどからのフィードバックまたはデータを使用して、ＡＲシステムは、このパネルのビューメータまたはボタンのうちの１つが正常な値から外れて示しているために、注意を要する計器パネルモジュールを強調するために使用され得る。同様に、ＡＲシステムは、機械の囲まれた部分の内側の実際の温度データを示すために使用され得る。例えば、機械の温度は、機械内のセンサによって決定され、ＡＲシステムを使用して機械の上部に表示され得、示度をユーザに与え、おそらくは、遠くから見たときに、インジケータを機械自体上の警告ラベルと交換する。このように、修理人は、対象に関する追加的な有益な情報を提供され得る。

本開示は、本発明の様々な実施形態を記述および例示しているが、本発明は、これらの特定の実施形態に限定されないことが理解されるべきである。ここで、様々な変形および様々な改変が、拡張現実の分野の当業者に見出される。本発明の範囲の全定義に関しては、添付の特許請求の範囲に対して、参照が行われるべきである。

図１は、拡張現実システムの例示的なアーキテクチャを示す。 図２は、例示的なＡＲアーキテクチャを示す。 図３は、ＡＲシステムの動作の流れ図である。

Claims (27)

1. 見られている対象の拡張された光景をユーザに提供するように構築および適合されたヘッドマウントディスプレイと、
   該見られている対象に対する該ヘッドマウントディスプレイの位置および向きを繰り返し決定するように構築および適合された追跡メカニズムと、
   該拡張された光景に対する情報を提供し、かつ、少なくとも部分的に、該ディスプレイの決定された位置および向きに基づいて、該見られている対象の拡張された光景を繰り返し更新するように構築および適合されたコンピュータシステム
   を備え、
   該拡張された光景は、該対象の特定の部分に対する特定の場所に現れるように該情報を提示し、
   該見られている対象が、装置と、デバイスと、計器パネルと、機械とから選択され、該拡張された光景に対する情報は、該対象に対する保守情報および修理情報から選択され、該対象の拡張された光景は、該見られている対象に対する特定の場所において該情報を提示する、
   構造体。
2. 前記ヘッドマウントディスプレイは、シースルーディスプレイである、請求項１に記載の構造体。
3. 前記ヘッドマウントディスプレイは、ビデオベースのディスプレイと光学ベースのディスプレイとから選択される、請求項２に記載の構造体。
4. 前記ヘッドマウントディスプレイは、モノスコーピックディスプレイと立体視ディスプレイとから選択される、請求項１に記載の構造体。
5. 前記追跡メカニズムは、前記見られている対象上の１つ以上のマーカを使用して、該対象の位置を決定するように構築および適合されている、請求項１に記載の構造体。
6. 前記１つ以上のマーカのうちのそれぞれが、発光ダイオード（ＬＥＤ）を備えている、請求項５に記載の構造体。
7. 前記ＬＥＤのうちの少なくとも一部は、赤外線（ＩＲ）ＬＥＤと紫外線（ＵＶ）ＬＥＤとから選択される、請求項６に記載の構造体。
8. 前記ＬＥＤは、不可視光を放射する、請求項６に記載の構造体。
9. 前記マーカは、逆反射標的であり、前記構造体は、さらに、照明メカニズムを備えている、請求項５に記載の構造体。
10. 前記追跡メカニズムは、カメラを備えている、請求項１に記載の構造体。
11. 前記カメラは、前記ヘッドマウントディスプレイに接続されている、請求項１０に記載の構造体。
12. 前記カメラは、人間には見えない周波数範囲において動作する画像化センサを使用する、請求項１０に記載の構造体。
13. 前記周波数は、赤外線（ＩＲ）と紫外線（ＵＶ）とから選択される、請求項１２に記載の構造体。
14. 前記追跡メカニズムは、１つ以上のフィルタを含むことにより、周囲の照明をフィルタリングして取り除く、請求項１に記載の構造体。
15. 前記見られている対象は、複数の事前にマークされた対象から選択される、請求項１に記載の構造体。
16. 前記対象の拡張された光景は、該見られている対象上に情報を提示する、請求項１に記載の構造体。
17. 前記追跡メカニズムは、前記見られている対象に対する前記ヘッドマウントディスプレイの位置および向きを実質的に継続的に決定するように構築および適合され、そして、前記コンピュータシステムは、該ディスプレイの決定された位置および向きに基づいて、該対象の前記拡張された光景を実質的に継続的に更新するように構築および適合されている、請求項１に記載の構造体。
18. 前記複数の事前にマークされた対象と関連付けられた情報を格納するコンピュータ読み取り可能な媒体をさらに備えている、請求項１６に記載の構造体。
19. 前記情報は、前記対象の状態に関する状態情報を含み、前記拡張された表示は、該対象における適切な場所において、その状態情報を含む、請求項１に記載の構造体。
20. 前記状態情報は、前記対象の内部温度を含む、請求項１９に記載の構造体。
21. 前記追跡メカニズムは、インサイドアウトの追跡システムを使用する、請求項１に記載の構造体。
22. ユーザによって見られている対象に対する該ユーザの相対的な位置および向きを繰り返し決定するステップと、
    該決定された位置および向きに基づいて、該見られている対象の拡張された光景を該ユーザに繰り返し提供するステップと
    を包含し、
    該拡張された光景は、該対象の特定の部分に対する特定の場所に現れるように該情報を提示し、
    該見られている対象は、装置と、デバイスと、計器パネルと、機械とから選択され、該拡張された光景に対する情報は、該対象に対する保守情報および修理情報から選択され、該対象の該拡張された光景は、該見られている対象に対する特定の場所において該情報を提示する、
    方法。
23. 前記ステップは、実質的に継続的に繰り返される、請求項２２に記載の方法。
24. 前記対象の拡張された光景が、前記見られている対象上に情報を提供する、請求項２２に記載の方法。
25. 前記特定の場所は、前記対象の一部分に対応する場所であり、前記情報は、該対象のその部分に関する情報である、請求項２４に記載の方法。
26. 複数の実際の対象を有するシステムにおいて、該複数の実際の対象のそれぞれが、該複数の実際の対象のそれぞれと関連付けられる少なくとも１つの固有のマーカを有する方法であって、該方法は、
    （ａ）画像を獲得するステップであって、該画像は、実際の対象の表現を含み、該画像は、該実際の対象に対するユーザの光景と実質的に対応する、ステップと、
    （ｂ）該画像内で表現された該実際の対象を識別するステップであって、該識別するステップは、少なくとも部分的に、該実際の対象と関連付けられる少なくとも１つの固有のマーカに基づいている、ステップと、
    （ｃ）該識別された実際の対象に対する該ユーザの相対的な位置および向きを決定するステップと、
    （ｄ）該実際の対象の拡張された光景を該ユーザに提供するステップと
    を包含し、
    該拡張された光景は、該対象の特定の部分に対する特定の位置に現れるように該情報を提示する、
    方法。
27. 前記ステップ（ａ）〜ステップ（ｄ）を少なくとも１度繰り返すことをさらに包含する、請求項２６に記載の方法。

Images