JPH1091791A - バーチャルモデリングシステム及び光スポット位置づけシステム - Google Patents

Abstract

(57)【要約】 【課題】 移動物体を含む空間領域を正確にマッピング
する安価なシステムを提供する。 【解決手段】 不動物体及び移動物体を有する物理的シ
ステムをバーチャルにモデリングするシステムであっ
て、少なくとも２つのビデオカメラを含み、ビデオカメ
ラの各々が画像シーケンスを提供するように構成され、
画像シーケンスから変調赤外線信号を抽出して物体の空
間的位置づけを識別するように構成される画像処理シス
テムを含み、識別された物体の空間的位置づけ情報を用
いてバーチャルリアリティモデルを構成するバーチャル
リアリティモデリングシステムを含む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、赤外線信号送信デ
バイスを用いて領域をマッピングし、物体をトラッキン
グするシステムに関する。より詳細には、本発明はＣＣ
Ｄビデオカメラを用いて、反射的、能動的又は受動的な
赤外線信号により、同一空間に配置され、タグを付され
た複数の領域又は物体を検出、識別して、ＣＣＤビデオ
カメラにより生成されたビデオフレームの画像分析の後
に、識別された領域又は物体の空間的位置づけを決定す
ることに関する。

【０００２】

【従来の技術及び発明が解決しようとする課題】現在利
用可能なパーソナルコンピュータ及びワークステーショ
ンのグラフィクス及び処理能力では、比較的複雑なバー
チャルリアリティ構成をディスプレイすることができ
る。最近では、おそらくバーチャルリアリティ構成の大
多数は、ゲーム、シミュレーション又はレクレーション
的なオンラインミーティングプレイスとして実施される
想像上の構成物であり、バーチャルリアリティモデリン
グ言語等を用いてデザインされる。これらの構成物は物
理的モデル（例えばビル内の部屋）に基づき得るが、典
型的には物理的モデルにおける変化をモニタリングする
センサシステムを使用しないので、物理的モデルにマッ
チするようにバーチャルリアリティ構成物を変化させな
い。

【０００３】物理的モデルを正確にトラッキングするバ
ーチャルリアリティ構成物の能力が限られていることに
対する１つの可能な理由は、物理的モデルのマッピング
及び検分に関連するコストである。物理的システムが十
分に限定されてコンパクトであれば、物理的システムの
状態をトラッキングするには、限られた数のセンサ又は
いくつかのトラッキングカメラで十分であり得る。例え
ば、かかる限られた物理的システムには、モニタリング
され、ディスプレイされることのできる物理的状態を有
する、周知のインターネットでアクセス可能なコーヒー
メーカー若しくは自動販売機が含まれる。不具合なこと
に、かかる単純な物理的システムのトラッキングに使用
されるセンサ又はカメラシステムは、より実用的なバー
チャルリアリティ構成物には十分に機能しない。例え
ば、ドアや窓の開閉、物体又は人の移動、及び建物内の
移動できる家具の位置のトラッキングを十分に正確に行
うように建物をモデリングすることには、本質的に多量
な３次元空間情報を連続して入力することが必要であ
り、このことに現在のセンサ技術を簡単に利用すること
はできない。

【０００４】建物や物理的物体の他の複雑な集合物の正
確なバーチャルリアリティを提供するのに必要な多量な
センサデータを処理する問題は、概念的に物理的物体の
集合体を不動物体と移動物体に分けることにより軽減で
きる。建物内では、不動物体は、ほとんど又は全く移動
されない建物の床、壁、天井、天井のライトや他の永久
的固定物を含む。不動物体は、高度な正確さで一度だけ
マッピングし、限られた期間のセンサトラッキングを行
うだけでよく、このセンサトラッキングは、毎日、毎週
又は毎月といったタイムスケールで必要に応じて更新さ
れることにより、小部屋、パーティション等の移動が行
われたかどうかを確かめることができる。バーチャルリ
アリティモデルの移動に対して不動物体をマッピングす
ることにおける初期投資は実質的なものであるが、不動
物体に対する正確なバーチャルリアリティモデルを維持
することは困難ではない。

【０００５】対照的に、バーチャルリアリティモデリン
グに関連する最も困難な問題の１つは、容易に移動する
物体をトラッキングすることである。トラッキング可能
な物体には、本、ツール、ドア、窓、ポータブルコンピ
ュータや、あるいは人間さえも含まれ得る。ドア及び窓
は開閉可能であり、本は棚に配置違いされたり不正確に
ファイルされたりする可能性があり、ポータブルコンピ
ュータは他の部屋へと移動されるおそれがあり、ツール
は部屋のコーナーのがらくたに紛れている可能性があ
る。この問題に対する１つの可能な解決法は、識別信号
を発することのできるローパワートランスミッタを用い
て物体にタグ付けすることに頼っている。このようなシ
ステムでは、特定のタグ付物体の有無を探知することが
できる。不具合なことに、一般に利用できる識別システ
ムの空間分解能は極めて低く、数メートル程度（例えば
ルームサイズ）での局所化しかできない。さらに、この
ようなシステムは一般に、限られた数の物体のトラッキ
ングと、（識別と局所化が実質的に並行するのではな
く）識別と局所化を連続的に行うことしかできず、多く
の場合において検出器（例えば、ペットや実験用動物に
タグ付けするための埋め込み識別デバイスやバーコード
読取りシステム）が近接して置かれていることが必要で
ある。物体の識別と正確な局所化とを両方支持する複雑
な又は顧客の設計したシステムを利用することはできる
ものの、かかる解決法は一般に、極めて高価であるか、
又はアプリケーションの範囲が限られている。

【０００６】必要なのは、高度な正確さで空間領域をマ
ッピングする安価なシステムである。一旦マッピングさ
れると、空間領域は、検出器を近くに配置する必要なく
タグ付物体の識別とトラッキングを支持すべきである。
システムは、多数のマッピングポイント、タグ付き物体
又は領域の識別を支持すべきであるとともに、メートル
単位ではなくセンチメートル単位又はミリメートル単位
の空間的局所化の分解能を有して、部屋サイズ未満の領
域内での識別及び正確な空間的局所化を実行できなけれ
ばならない。かかるシステムには、検出器の役割をする
ＣＣＤ（電荷結合素子）ビデオカメラ等の安価なコンポ
ーネントと、検分ポイント又は識別タグ等の機能をする
安価な受動的又は能動的赤外線デバイスと、タグ付き物
体又は領域の識別及び空間的局所化を決定する画像処理
コンピュータとが必要なだけである。理想的には、かか
るシステムは低速で移動する物体（例えばタグを有する
人又は人の保持する電子デバイス）をトラッキングし空
間的に局所化する能力も有するであろう。

【０００７】

【課題を解決するための手段】従って、１つの好適な実
施形態では、本発明はマッピング及び検分目的に有用な
赤外線タグを正確に位置づけるシステムを提供する。広
く市販されている従来のＣＣＤビデオカメラを、視野を
オーバーラップさせて少なくとも２つ使用する。ビデオ
カメラは、可視光及び赤外線光の両方を検出でき、さら
に予め規定されたフレームレートで一連の画像を提供す
るように構成される。変調された赤外線信号を提供する
１つ以上の赤外線識別タグが、ビデオカメラのオーバー
ラップした視野内の領域内又は室内に配置される。画像
処理システムが用いられ、画像シーケンスから変調され
た赤外線信号が抽出され、可視光画像及び赤外線画像の
両方から得た情報を用いて赤外線タグの空間的位置が識
別される。或る好適な実施形態では、レーザポインタを
用いて、部屋の予め規定された区域又は領域に対して独
特に識別可能な光スポットを送る反射性タグシステム
が、検分に最適である。

【０００８】種々の可能な赤外線信号送信モードのオペ
レーションが考えられる。或る好適な実施形態では、特
定の領域又は物体に取り付けられた赤外線識別タグは、
ビデオカメラのフレームレート未満のレートで赤外線検
出信号を断続的に発射して、空間的位置を確立する。ビ
デオカメラの複数のフレームの比較を通して見られる赤
外線ブリンクのパターンを使用して、赤外線タグを明確
に識別し、識別情報又は他のデータを転送することがで
きる。有利なことに、複数の赤外線識別タグがビデオカ
メラの同一フレーム内で空間的に離間配置されるので、
複数のタグの識別及びトラッキングを並行して行うこと
ができる。実際、部屋からのデータ取得は、物体に取り
付けられた多数の識別赤外線タグを用いる。物体に加え
て、赤外線タグは、室内の特定の位置、場所又は領域を
示すように用いられることができたり、テレメトリ及び
位置依存型データを提供する遠隔センサ（例えば温度計
や動作検出器）として使用されることもできる。

【０００９】或る実施の形態では、移動物体に取り付け
られた複数のタグを使用して、物体の位置ばかりでなく
方向付けを決定し、トラッキングすることができる。例
えば、物体が回転する場合には、２つ以上のタグを取り
付けることにより、回転角度を決定できる。複数のタグ
を使用することで、物体の曖昧さに関する問題を軽減で
き、位置決定の正確さも高められる。さらに、複数の識
別タグを用いて、データ転送速度を高めることもでき
る。

【００１０】赤外線の代わりに可視光を使用したり、赤
外線信号の異なる位置及びデータ符号化スキームを使用
することを含む別の実施形態も、本発明の範囲であると
意図される。例えば、赤外線タグの空間的位置を確立す
るために使用される赤外線検出信号と略同時に発射され
る赤外線識別信号を受信する別個の赤外線通信チャネル
レシーバを用いることが可能である。同時方法を用いる
ことにより、ビデオカメラだけからの複数のフレーム比
較を用いた場合に可能な比較的低速なデータ転送速度よ
りも高い速度でデータを転送することができる。さら
に、電力消費量を減少するために、（オンデマンドで赤
外線光を提供する、室内に取り付けられた別個の赤外線
フラッシャと共に）タグとして受動的な赤外線レフレク
タを用いたり、識別要求に応じてのみ作動される赤外線
識別タグを使用したりすることもできる。

【００１１】広い実施形態では、本発明は第１フレーム
レートで画像シーケンスを提供するように構成された少
なくとも２つのビデオカメラを含む、識別タグを正確に
位置づけるシステムである。識別タグは、第１フレーム
レート未満となるように定義された第２フレームレート
で一連の間隔を置いた信号を提供し、これらの信号はビ
デオカメラにより感知される。画像処理システムは、画
像シーケンスから識別タグの３次元的空間位置づけを抽
出するように構成され、データ転送システムは、識別タ
グからのデータの転送に用いられる。このデータは、画
像処理システムにより決定される識別タグの３次元空間
位置づけと関連する。

【００１２】有利なことに、本発明は赤外線トランスミ
ッタ及びＣＣＤビデオカメラ等の比較的安価で一般に市
販されているコンポーネントを用いて、識別タグの非常
に正確な空間位置づけを提供する。適切な高品質のＣＣ
Ｄビデオカメラは市販のキュリティシステムに広く使用
されている。市場規模により、かかるＣＣＤビデオカメ
ラ等は極めて安価であり、このアプリケーションに対し
て理想的である。

【００１３】赤外線信号は人間の目には見えないがＣＣ
Ｄビデオカメラには容易に見えるので、赤外線信号送信
システムは、本質的にユーザには不可視であるが、自動
システムが精巧な画像処理技術を用いることなく位置づ
け及び解釈を行うのは容易なことである。本発明は、コ
ンピュータネットワークに接続されたビデオカメラをイ
ンストールした後すぐに実行されることができ、複雑な
ステップアップや初期化等は必要ない。限られた数の安
価なビデオカメラを用いることにより、本発明は限られ
た量の物体データを伝送できる多くの赤外線タグをトラ
ッキングすることができると共に、セルラー移動通信に
典型的な帯幅問題を実質的に回避できる。

【００１４】

【発明の実施の形態】図１で示されるように、赤外線信
号源４５（赤外線タグ）を正確に位置づけるシステム１
０は、部屋１２内に配置される複数のＣＣＤカメラ２５
を備える。これらのビデオカメラ２５は、ＣＣＤビデオ
カメラ２０、２１、２２及び６２等の固定された視野を
有するものでも、可動式ＣＣＤビデオカメラ２４により
提供される移動性の視野を有するものでもよい。空間的
局所化、識別及びデータ転送に適切な赤外線信号源４５
は、壁（タグ４０、４１及び４２）やデスク（タグ４
４）等の固定した又は本質的に不動の物体の上に配置す
ることができる。赤外線信号源４５はまた、本５５（タ
グ５０及び５１）、ポータブル電子デバイス７０（タグ
７２）や、ペン７５（タグ７６及び７７）のような記述
道具等の容易に移動できる物体の上にも配置することが
できる。空間的局所化及びデータの画像処理には、この
例ではコンピュータシステム６０で示されるコンピュー
タシステムを用いる。コンピュータシステム６０は、も
ちろん部屋１２の外に位置されてもよく、ローカルコン
ピュータプロセス制御を特に必要としない。コンピュー
タシステムは、ビデオカメラ２５にワイヤレスで又はワ
イヤリンクにより接続され、スタンドアロン型であって
もよいし、画像処理作業を分配して高速データ転送を行
うためにコンピュータネットワークに接続されてもよ
い。図１で示される実施形態では、コンピュータシステ
ム６０は部屋１２のバーチャルリアリティモデルを構成
するのに十分な画像処理力とデータ格納量を有してお
り、赤外線信号源によりタグを付された全ての物体がト
ラッキング可能である。

【００１５】このシステム１０は、発射された赤外線信
号を使用する。この赤外線信号は、人間の目には見えな
いがＣＣＤカメラ２５には容易に見える。適切な画像処
理の後、複数の赤外線タグから発射された赤外線信号
は、それら複数の赤外線タグの各々に対する３次元空間
的局所化を提供する。発射される赤外線信号は典型的
に、可視光画像と共にＣＣＤビデオカメラのフレームに
現れる赤外線光の断続的なポイントソースフラッシュ
（赤外線ブリンク）である。カメラ２５は典型的に画像
データを約１０〜３０フレーム／秒で提供するので、ブ
リンクレートは、約５〜１５ブリンク／秒未満であるよ
うに選択され、問題を生じることなく赤外線画像を捕獲
することを保証される。隣接する画像フレーム同士の間
の減算的画像処理技術又は他の適切な画像処理技術を用
いて、赤外線信号を強調して可視背景から分離させ、各
画像処理フレーム中の赤外線ブリンクの２次元的空間パ
ターンを決定することができる。有利なことに、本シス
テムの操作のための、優先的な可視光画像中で赤外線ポ
イントソースを強調して差別化するのに必要な画像処理
技術は比較的簡単であり、精巧な画像理解アルゴリズム
は必要ない。

【００１６】赤外線信号源の２次元検出が完了した後、
複数のカメラ２５からのフレームは、従来の画像処理技
術を用いて部屋１２内の各赤外線信号源の３次元空間局
所化を得るために、空間的に多重化されることができ
る。カバーを最大限にして３次元的位置づけを保証する
ために、カメラ２５は、部屋１２の部分毎に、少なくと
も２つのカメラを視界をだぶらせるように組み合わせて
配置される。各カメラ２５は、基準物体の使用やカメラ
プラットフォームの制御を通して空間的局所化を行うよ
うに較正されることができる。例えば、固定された焦点
距離を有する固定カメラ２０は、その画像中の２つのス
ポットの位置に基づいてそのレンズに入射する２つの光
線の角度を計算できるように較正される。当業者は理解
するように、この角度はレンズの焦点距離から計算でき
る。必要であれば、焦点距離及びレンズの歪曲を違える
ように補償する正確なマッピングを決定するために、限
られた実験を行うことができる。光線の角度を計算でき
るように永久的又は半永久的な基準ソースとして使用さ
れるカメラの配置からわかっている距離のところに適切
な赤外線信号源を設けることにより、較正は継続する。
典型的には、これらの基準ソースは部屋の隅に配置され
る（例えばタグ４０及び４２が使用される）。少なくと
も１つのカメラが新たな物体と２つの基準ソースとを提
供することができ、第２のカメラが新たな物体と少なく
とも１つの基準ソースの画像をとらえることができるよ
うにすることで、新たな物体（例えば、赤外線タグ４
１）を位置づけることができる。複数のカメラにより検
出可能な赤外線源を追加することで、基準ソースに対す
るカメラ位置を最初からわかっていなくてもよいように
方法を拡大することさえ可能である。

【００１７】非常に多様な赤外線信号源４５を使用し
て、カメラ補償、空間的局所化、識別、及びデータ転送
を行うことができる。本発明の目的のために、光スポッ
ト４７により領域又は物体を瞬間的にマーキングする反
射的タグシステム、赤外線光５２を内部から生成する能
動的赤外線タグ（例えば図１及び図２で見られるように
本５５を識別するための赤外線タグ５０又は赤外線デー
タトランスミッタ５７）、又は赤外線光源３０により提
供される入射赤外線光３２に応答して入射赤外線光５４
をコントロールして反射する受動的赤外線タグ５１に、
赤外線信号源４５を概念的に分けることができる。

【００１８】反射的タグシステムは、レーザポインタ
（例えば図面外部に位置するユーザの保持する図１のポ
インタ４９）を用いて、部屋の予め画定された区域又は
領域に対して光スポット４７を発射する。ユーザに指示
の補助を提供するために可視光レーザを使用することも
できるが、典型的には赤外線レーザが使用される。可視
光信号を可視背景と見分けるように増大された画像処理
要求を犠牲にして、可視光レーザを単独使用することも
可能である。

【００１９】動作上、レーザポインタ４９は、マッピン
グ又は検分オペレーションを行うために使用できる。レ
ーザポインタ４９は、壁又は物体の上の特定スポットに
配置され、ユーザはトリガを与えて発射される赤外線光
を変調する。光スポット４７から反射された光は、カメ
ラ２５により検出されて、一回限りの識別ポイントとし
て使用される。トリガを与える毎に、新たな光変調パタ
ーンが生成され、識別された空間位置の独特のアドレス
が提供される。多くの赤外線信号ソースの画像処理を行
った後、（例えば部屋１２の）３次元マップがコンピュ
ータ６０により生成されることができる。或る実施形態
では、ユーザが部屋１２の所定のキー部分を指すように
調整されたソフトウェアを使用することさえできる。例
えばユーザは、レーザポインタ４９を部屋の各コーナー
に向けてトリガを与え、各コーナーにおいて独特の変調
された赤外線信号ソースを一時的に提供することができ
る。ルームコーナー情報のみを用いるとともに、部屋が
矩形の領域であるという仮定に基づいて、部屋１２の３
次元的サイズや、対象とする他の部屋を決定することが
できる。別の例としては、比較的動かないホワイトボー
ドや他の一時的な物体が部屋の中に持ち込まれれば、ユ
ーザは能動的又は受動的赤外線タグを取り付ける煩わし
さもなく、その位置を画定するように物体にレーザポイ
ンタを向けることができる。他のアプリケーションで
は、識別スポットを用いて、移動性のカメラ（例えばカ
メラ２４）をガイドし、選択された領域、物体又は人物
（例えばデスク１６）を指すことができる。

【００２０】赤外線レーザ検分技術はまた、カメラ視野
の合成を補助するために３次元的モデルの開発に助力す
ることができる。例えば、遠隔のミーティング参加者
が、自分に都合のよい視野を望んだり、元のプレゼンテ
ーションでは利用できないカメラアングルを含むように
予め記録されたプレゼンテーションを編集する必要があ
る場合には、複数のカメラからの入力を合成して、新た
なカメラの視野を補間することができる。図１では、デ
スク１６に置かれた自動検分ツール８０を用いて、ライ
ン８４に沿って又は規則的な２次元パターンに従って断
続的に生成される赤外線ビーム８２が掃引される。検分
ツール８０はポインタ４９に構成及び機能が類似する
が、壁又は他の表面を横切るビーム８２を自動的に走査
するために回転、傾斜又は掃引ミラーを追加されてい
る。この走査により、カメラ視野合成に使用できる検出
可能な識別反射を有する１セットの変調された識別スポ
ット８６が生成される。別法としては、かかる識別スポ
ットを用いて、カメラや他の道具を指定領域を向くよう
に導いたり、走査線８４により規定される領域を走査又
は偵察することができる。

【００２１】予備的な検分使用や、領域又は物体の一時
的なトラッキング及び識別に最適な反射性タグとは対照
的に、受動的赤外線タグ及び能力的赤外線タグの両者
は、移動する物体の長期のトラッキング及び識別にも適
している。能動的な赤外線タグは一般に、バッテリ又は
他の電源、赤外線ＬＥＤ等の赤外線エミッタ、及び適切
なデジタルコントローラを必要とするので、受動的赤外
線タグよりも大きく高価であるのが一般的である。例え
ば、図７を参照してわかるように、能動的赤外線タグ１
１０は、ＩＲトランスミッタＬＥＤ１２２を有するバッ
ファ１１２、ＩＲ検出器１２４を有する増幅器１１４、
マイクロコントローラ１１６、及びトリガ回路１１８を
含む、従来の広く利用されている４つのモジュールを相
互接続することにより構築されることができる。リチウ
ムバッテリ、光電セル又は他の寿命の長い電源１２０が
低電圧電源を供給して、モジュールを駆動する。デフォ
ルト状態では、モジュール１１２、１１４、１１６はパ
ワーダウンモードに保持される。４番目のモジュールで
あるトリガ回路１１８は、常に能動的であるが、非常に
小さい消費電力で動作するように設計されている。トリ
ガ回路１１８が赤外線又は光パルス等の外部信号１３０
により作動されると、モジュール１１２、１１４及び１
１６が作動される。アドレッシング信号１３１は、モジ
ュール１１４で受信されて、モジュール１１６により解
読され、次いで応答信号１３２がモジュール１１２から
トランシミッタＬＥＤ１２２を用いて送り返される。マ
イクロコントローラモジュール１１６は、時間を記録
し、数ミリ秒後又はレシーバが動作しなくなった後、モ
ジュール１１２及び１１４と共にそれ自身をパワーダウ
ン状態に戻す。応答信号１３２（赤外線パルス）は、任
意の所望のデータと共に能動的な赤外線タグの識別を含
む。

【００２２】理解されるように、多くの異なるタイプの
トリガ回路を使用することができる。トリガ回路の単純
な実施は、わずかにランダムな長い周期を有するローパ
ワー非安定振動子を含む（反復されるタグ信号の衝突を
回避するため）。トリガ回路はまた、特定強度のＩＲフ
ラッシュにより作動するように設計されてもよいし、特
定周波数の受信等の別の媒体を使用してもよい。或る実
施形態では、トリガ回路はＩＲ検出／増幅モジュール１
１４を不要とするように設計されることもできる。

【００２３】受動的赤外線タグ５１は、能動的赤外線タ
グ５０の安価な代替物である。受動的赤外線タグ５１
は、赤外線光源３０により提供される赤外線光３２をコ
ントロールして反射する。赤外線光源３０は、必要に応
じて、連続的、断続的又は周期的に作動されることがで
きる。示される実施形態では、受動的赤外線タグ５１の
各々は、光を交互に伝送、吸収するシャッタによりカバ
ーされる赤外線反射材料を含む。典型的には、シャッタ
は、通常は実質量の赤外線光を伝送しないように電気的
に制御される液晶ディスプレイ（ＬＣＤ）である。シャ
ッタを赤外線非伝送状態から実質的な伝送状態へと変換
するために、ローパワー電気信号が与えられる。赤外線
光伝送状態と非伝送状態の間での適切なスイッチングに
より、カメラ２５により検出される赤外線タグからの赤
外線反射５４のパターンで情報をコード化することがで
きる。

【００２４】当業者には理解されるように、赤外線光源
３０及び受動的赤外線タグ５１の両方に対する種々の作
動、データ転送及びタイミング変調により、情報の転送
及び保存パワーの信頼性を高めることができる。能動的
な赤外線タグ５０と共に前述した技術と同様の技術を用
いて、受動的赤外線タグ５１が作動されて、赤外線トリ
ガ信号に応答して識別コード及び他のデータを伝送する
ことができる。これにより、ＬＣＤシャッタメカニズム
を連続して作動させる必要がなくなり、長期にわたって
消費電力が大幅に減少する。能動的赤外線タグ５０を用
いた場合と同じように、複数の受動的タグが同時に動作
されることができる。なぜなら、本発明の空間的局所化
を行うカメラシステムは、同一の作動信号に応答して情
報を転送する複数の受動的タグ５１をはっきり見分ける
ことができるからである。

【００２５】種々の情報伝送及び信号送信スキームが本
発明での使用に適している。特に図３及び図４を参照し
て示される好適なスキームは、必要に応じて、反射性タ
グ（レーザポインタ４９）、能動的赤外線タグ５０、又
は受動的赤外線タグ５１により使用されることができ
る。図３は、ＩＲパルス検出対時間を示すグラフであ
り、３つの異なるモードのパルス化オペレーションを示
している。位置づけ又は初期化モードでのタグ５０又は
５１のオペレーションは、括弧１０６により識別され
る、検出された一連の周期的赤外線パルスにより示され
る。パワー保存のために、これらのパルス１０４は実際
に、各パルス１０４を通じてのカメラによる赤外線信号
の明らかに連続的な検出を保証するのに十分高い速度
の、複数の短い赤外線スパイク又はパルスを含み得る。
もちろん、パワーが限られていない場合には、ＩＲ強度
はパルス化されるのではなく各パルス１０４を持続させ
るように連続的に維持されることができる。

【００２６】周期的に検出される赤外線パルス１０４
は、カメラ２５によるタグ付き領域又は物体（例えば部
屋の壁又は本５５）の３次元的位置の検出と、連続パル
ス１０４の間のパルス間隔１０３の決定とを可能にす
る。理解されるように、エラーの発生を防止し、正確に
決定されたパルス間隔を行うために、カメラ２５はパル
ス間隔１０３よりも実質的に高速のフレームレート１０
２で動作され、これはパルス間隔１０３の２〜３倍のフ
レームレートである。

【００２７】短時間（１秒未満）の後、周期的ブリンキ
ングは停止され、識別情報及びデータの転送が始まる。
タグ５０又は５１のブリンキングを通してのデータ転送
は、括弧１０８により識別される。パルス１０４の欠如
は、バイナリ「０」と解釈され、パルス１０４の存在は
バイナリ「１」と解釈される。理解されるように、これ
により任意の数のバイナリ符号化スキームを通じての情
報の符号化が可能となる。最良の結果を得るために、１
つ以上の多くの利用可能な誤り訂正コードを使用するこ
とが好ましい。識別情報及びデータが伝送された後（複
数回の可能な反復送信の後）、タグ５０又は５１からの
赤外線パルス１０４は、括弧１１０により示されるよう
にパワー保存のために停止される。もちろんタグは、所
定の時間に、又はランダムな時間に、又は必要に応じて
作動信号に応答して、再作動されることができる。

【００２８】カメラ２５により赤外線パルスを検出して
空間的局所化及び情報転送を行うことは、図４で概略的
に示されている。処理された画像フレームの２つのシー
ケンス１２２（カメラ１）及び１２４（カメラ２）が示
されている。カメラは、３つの位置の赤外線パルス源に
よる部分的にオーバーラップした視野を有する。シーケ
ンス１２２及び１２４における各フレームは、いくつか
のフレームの複合画像であり、赤外線パルスを分離する
ために非赤外線背景可視情報がなくされている。

【００２９】カメラ１のフレーム１３０では、赤外線パ
ルスの潜在的位置１５０、１５１及び１５２（アスタリ
スクで示される）は点線のアウトラインにより示され
る。これらの位置は、違う場所に配置されたカメラ２の
フレーム１７０内の潜在的位置１６０、１６１及び１６
２に対応する。前述の画像処理技術を用いて、赤外線パ
ルスはカメラ１及びカメラ２のフレーム１２２及び１２
４内で分離され、基準点として使用される。各カメラか
ら２次元情報が取得され、赤外線パルスの３次元的位置
を得るために較正情報と併合される。

【００３０】３つの異なるモードのパルス化オペレーシ
ョンがフレーム１２２及び１２４で示される。赤外線タ
グ５０又は５１の位置づけ又は初期化モードでのオペレ
ーションは、位置１５０の周期的赤外線パルスにより示
される。単一のパルス間隔（図３のパルス間隔１０３に
対応する）を示す各複合画像処理フレーム１３０〜１３
８を見ると、赤外線パルスはフレームシーケンス１２２
の各フレーム１３０〜１３８内の位置１５０に見受けら
れる。もちろん対応する赤外線パルスは、カメラ２のフ
レームシーケンス１２４の位置１６０に見られる。これ
は、図３の括弧１０６により識別される一連の周期的赤
外線パルス１０４に等しい。

【００３１】別の赤外線タグからの情報伝送は、フレー
ムシーケンス１２２のフレーム１３０〜１３８中の位置
１５１（及びフレームシーケンス１２４中の対応する位
置１６１）における赤外線パルスの非周期的ブリンキン
グを通して示される。フレーム中の赤外線パルスの不在
は、バイナリ「０」と解釈され（例えばフレーム１３
１，１３２及び１３７）、赤外線パルスの存在はバイナ
リ「１」と解釈される（例えばフレーム１３０、１３
３、１３５、１３６、１３８）。従って、図４で示され
るように、バイナリシーケンス「１００１... １１０
１」が決定できる。このバイナリシーケンスはヘッダ情
報、データ、識別、パケット制御情報、誤り訂正情報、
又はタグ５０若しくは５１から転送され得る他の任意の
必要な情報であることができる。

【００３２】前述のように、適切な識別情報及びデータ
が送信された後、赤外線パルスは電力保存のために停止
されることができる。もちろんタグを再び作動させて、
タグの位置を再度識別し、識別情報及び他のデータを伝
送することができる。図４では、これはフレームシーケ
ンス１２２中の位置１５２（及びフレームシーケンス１
２４中の対応する位置１６２）における赤外線パルスの
パターンにより示される。電力保存のために、フレーム
１３０〜１３６をカバーする時間の期間中には赤外線パ
ルスは発射されない。フレーム１３７及び１３８で示さ
れるように、作動信号に応答して、一周期の赤外線パル
スが局所化及び初期化目的のために発射される。

【００３３】動作上、本システムでは、複数の固定した
物体（例えばタグ４４を有する本５５又はデスク１６）
又は複数のゆっくりと移動する物体（例えばタグを付さ
れた人間や、タグ７２を取り付けられ、人間が保持して
移動されるラップトップコンピュータ７０若しくは人間
とコンピュータの両方）をトラッングすることが可能で
ある。タグ７６及び７７を有するペン７５等の移動の速
い物体を空間的に局所化してトラッキングし、ペンの動
作のトラッキングを通して自動的に手書き解釈を行うこ
とができるように、高速ビデオカメラを用いて本システ
ムを修正することができる。有利なことに、複雑な時間
や周波数を多重化させるトラッキング技術を使用する必
要なく、多数の物体を並行してトラッキングできる。

【００３４】しかしながら、高速カメラを使用しなけれ
ば、以上の実施形態の大部分は比較的低いデータ転送率
となる。ビット転送はカメラのフレームレートと密接に
関係するので、広く利用されている低コストのカメラの
比較的低いフレームレートでは、理論上ではデータ転送
率が１０〜２０ビット／秒に制限される。実際、エラー
制御に関連する必要なオーバーヘッドのために、ビット
転送率は低くなるであろう。この問題を克服する１つの
可能な方法は、低いデータ転送率の赤外線パルス／カメ
ラ検出システムを空間的局所化に使用し、データ転送に
は第２の高速データ通信チャネルを使用することであ
る。二重通信チャネルシステムの一例を図５及び図６で
示す。

【００３５】図５は、２つの別個の赤外線通信チャネル
のＩＲパルス検出対時間を示すグラフである。通信チャ
ネル１の赤外線パルス２０４は、図３及び図４と共に述
べたプロセスを用いて、フレームレート２０２で動作す
るカメラにより検出される。より短い赤外線パルスを有
する別の高速赤外線通信チャネル２は、別個の（カメラ
ベースでない）赤外線通信システムにより検出可能であ
る。無線通信又は光通信を含む任意の高速通信チャネル
を使用できるが、好適な実施の形態では、適応可能なＩ
ＲＤＡ（Infrared Data Association ；赤外線データ協
会）基準に従う赤外線パルスを使用してチャネル２でデ
ータ転送を行う。動作上、チャネル１の赤外線パルスは
赤外線タグの空間的局所化に用いられ、チャネル２にお
ける同時通信は高速データ転送を提供する。例えば図１
及び図２では、約１９．２キロビット／秒で動作する高
速赤外線通信システムは、赤外線タグ５７と、コンピュ
ータ６０に取り付けられた高速赤外線検出器６４を含
む。空間的局所化は低速赤外線パルスを検出するカメラ
２５により提供され、高速チャネルにおいて受信される
同時データは、識別される空間的位置におけるタグと関
連する。もちろん、同時通信を使用することにより、統
計的に決定可能なデータの衝突により、データのスルー
プットが幾分減少される（２つ以上のタグが同時にデー
タを送信することにより、有害なデータのオーバーラッ
プが生じる時）が、同時通信はほとんどの状況に適切で
ある。

【００３６】図６を参照して、本発明による同時データ
転送方法をより理解することができる。示されるフレー
ムにより同時に受信された高速データの一例（ボックス
２７０、２７２、２７４及び２７６）と共に、異なるカ
メラから得られた２つの画像処理フレームシーケンス２
２２及び２２４が示されている。３つの異なる空間位置
（フレームシーケンス２２２中の位置２５０、２５１及
び２５２、フレームシーケンス２２４中の位置２６０、
２６１、２６２）に位置づけられた３つの別個のタグか
らデータを受信できる。前述の技術を用いて、赤外線パ
ルス（アスタリスクで示される）は、２次元フレームシ
ーケンス２２２及び２２４をふまえて、３次元において
明確に位置づけられることができる。可能であれば、空
間位置づけデータが高速データと相関されて、特定的に
識別されたタグの空間的局所化が提供される。

【００３７】図６は本発明による同時空間局所化方法の
幾つかの可能な結果を示している。フレーム２３０は位
置２５０における空間局所化可能な赤外線パルスを示し
ている。同時データ２７０は、データの衝突はないもの
として、位置２５０において赤外線パルスを発射するタ
グが存在することによっている。２つ以上のデータパケ
ットが同時に受信されるか、又は空間的に局所化可能な
赤外線パルスがオーバーラップした場合にデータの衝突
が発生するおそれがある。フレーム２３１はデータの衝
突のない１つの状況を示しており、位置２５２における
赤外線パルス識別データ２７２と相関している。しか
し、２つ以上のタグが同一時間中に作動すると、フレー
ム２３２で示されるように、受信信号２７４はデータパ
ケット衝突の混じった結果となり、信号は無視される。
予めプログラム化されたランダムな遅延（フレーム２３
３に見られる）又は再転送の作動要求の後、タグは再び
作動され、希望どおりデータ転送がオーバーラップする
こともなく独特の識別が行われることとなる。なお、赤
外線パルスがオーバーラップする場合にデータの衝突が
必ずしも発生するとは限らず、以前に受け取られた赤外
線空間位置づけを考慮することにより空間的位置づけと
データとをリンクすることができる。

【図面の簡単な説明】

【図１】ＣＣＤビデオカメラを用いて赤外線識別タグを
正確に位置づけるシステムの概略的なアウトラインを示
す図である。

【図２】図１で示される検索領域の拡大図であり、単一
又は複数の赤外線タグを有する本発明が示されている。

【図３】赤外線パルス強度対時間を示すグラフであり、
位置を確立する周期パルスと、情報を転送するデータパ
ルスが示されている。

【図４】２つのビデオカメラの選択された画像処理フレ
ームを示す図であり、これらフレームは、空間的位置を
決定するために相関されることの可能な赤外線データ信
号のブリンキングを示している。

【図５】２つの略同時の通信チャネルを用いて位置を決
定し、データを転送する別法のパルススキームを示す図
である。

【図６】図５で示される別法のパルススキームに従って
動作する２つのビデオカメラの選択された画像処理フレ
ームを示す図であり、赤外線データ信号のブリンキング
を相関させて、第１通信チャネルにおいて空間的位置を
決定し、それと略同時に第２通信チャネルにおいてデー
タを提供することができる。

【図７】動的な赤外線タグの構成を概略的に示す図であ
る。

【符号の説明】

１０ システム ２５ ＣＣＤビデオカメラ ４０、５０ タグ ４５ 赤外線信号源 ６０ コンピュータシステム

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ロイ ウォント アメリカ合衆国 94024 カリフォルニア 州 ロス アルトス モートン アベニュ ー 1541 (72)発明者 ウィリアム エム．ニューマン イギリス国 ケンブリッジ ジョージ ス トリート36

Claims (2)

【特許請求の範囲】
1. 【請求項１】 不動物体及び移動物体を有する物理的シ
   ステムをバーチャルにモデリングするシステムであっ
   て、 少なくとも２つのビデオカメラを含み、ビデオカメラの
   各々が画像シーケンスを提供するように構成され、 画像シーケンスから変調赤外線信号を抽出して物体の空
   間的位置づけを識別するように構成される画像処理シス
   テムを含み、 識別された物体の空間的位置づけ情報を用いてバーチャ
   ルリアリティモデルを構成するバーチャルリアリティモ
   デリングシステムを含む、ことを特徴とするバーチャル
   モデリングシステム。
2. 【請求項２】 光のスポットを正確に位置づけするシス
   テムであって、 少なくとも２つのビデオカメラを含み、各ビデオカメラ
   が第１フレームレートで画像シーケンスを提供するよう
   に構成され、 第１フレームレート未満に規定される第２レートで一連
   の識別光信号を送信する光ポインタを含み、識別信号の
   反射が変調された光スポットとしてビデオカメラにより
   感知され、 画像シーケンスから変調された光スポットの３次元空間
   位置づけを抽出するように構成される画像処理システム
   を含む、ことを特徴とする光スポット位置づけシステ
   ム。