JPH1091791A - Virtual modeling system and optical spot positioning system - Google Patents
Virtual modeling system and optical spot positioning systemInfo
- Publication number
- JPH1091791A JPH1091791A JP15128597A JP15128597A JPH1091791A JP H1091791 A JPH1091791 A JP H1091791A JP 15128597 A JP15128597 A JP 15128597A JP 15128597 A JP15128597 A JP 15128597A JP H1091791 A JPH1091791 A JP H1091791A
- Authority
- JP
- Japan
- Prior art keywords
- infrared
- tag
- tags
- data
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06K—GRAPHICAL DATA READING; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
- G06K7/00—Methods or arrangements for sensing record carriers, e.g. for reading patterns
- G06K7/10—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation
- G06K7/10544—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum
- G06K7/10821—Methods or arrangements for sensing record carriers, e.g. for reading patterns by electromagnetic radiation, e.g. optical sensing; by corpuscular radiation by scanning of the records by radiation in the optical part of the electromagnetic spectrum further details of bar or optical code scanning devices
- G06K7/1097—Optical sensing of electronic memory record carriers, such as interrogation of RFIDs with an additional optical interface
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
- G01C11/06—Interpretation of pictures by comparison of two or more pictures of the same area
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Toxicology (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Studio Devices (AREA)
- Image Analysis (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
- Image Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、赤外線信号送信デ
バイスを用いて領域をマッピングし、物体をトラッキン
グするシステムに関する。より詳細には、本発明はＣＣ
Ｄビデオカメラを用いて、反射的、能動的又は受動的な
赤外線信号により、同一空間に配置され、タグを付され
た複数の領域又は物体を検出、識別して、ＣＣＤビデオ
カメラにより生成されたビデオフレームの画像分析の後
に、識別された領域又は物体の空間的位置づけを決定す
ることに関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a system for mapping an area and tracking an object using an infrared signal transmitting device. More specifically, the present invention relates to CC
Using a D-video camera to detect and identify multiple co-located and tagged areas or objects by reflective, active or passive infrared signals, generated by a CCD video camera After image analysis of the video frame, it relates to determining the spatial positioning of the identified area or object.
【０００２】[0002]
【従来の技術及び発明が解決しようとする課題】現在利
用可能なパーソナルコンピュータ及びワークステーショ
ンのグラフィクス及び処理能力では、比較的複雑なバー
チャルリアリティ構成をディスプレイすることができ
る。最近では、おそらくバーチャルリアリティ構成の大
多数は、ゲーム、シミュレーション又はレクレーション
的なオンラインミーティングプレイスとして実施される
想像上の構成物であり、バーチャルリアリティモデリン
グ言語等を用いてデザインされる。これらの構成物は物
理的モデル（例えばビル内の部屋）に基づき得るが、典
型的には物理的モデルにおける変化をモニタリングする
センサシステムを使用しないので、物理的モデルにマッ
チするようにバーチャルリアリティ構成物を変化させな
い。BACKGROUND OF THE INVENTION With the graphics and processing capabilities of currently available personal computers and workstations, relatively complex virtual reality configurations can be displayed. These days, perhaps the majority of virtual reality configurations are imaginary components implemented as games, simulations or recreational online meeting places, designed using virtual reality modeling languages and the like. These components may be based on a physical model (eg, a room in a building), but typically do not use a sensor system to monitor changes in the physical model, so the virtual reality configuration to match the physical model Do not change things.
【０００３】物理的モデルを正確にトラッキングするバ
ーチャルリアリティ構成物の能力が限られていることに
対する１つの可能な理由は、物理的モデルのマッピング
及び検分に関連するコストである。物理的システムが十
分に限定されてコンパクトであれば、物理的システムの
状態をトラッキングするには、限られた数のセンサ又は
いくつかのトラッキングカメラで十分であり得る。例え
ば、かかる限られた物理的システムには、モニタリング
され、ディスプレイされることのできる物理的状態を有
する、周知のインターネットでアクセス可能なコーヒー
メーカー若しくは自動販売機が含まれる。不具合なこと
に、かかる単純な物理的システムのトラッキングに使用
されるセンサ又はカメラシステムは、より実用的なバー
チャルリアリティ構成物には十分に機能しない。例え
ば、ドアや窓の開閉、物体又は人の移動、及び建物内の
移動できる家具の位置のトラッキングを十分に正確に行
うように建物をモデリングすることには、本質的に多量
な３次元空間情報を連続して入力することが必要であ
り、このことに現在のセンサ技術を簡単に利用すること
はできない。[0003] One possible reason for the limited ability of virtual reality components to accurately track a physical model is the cost associated with mapping and viewing the physical model. If the physical system is sufficiently limited and compact, a limited number of sensors or several tracking cameras may be sufficient to track the state of the physical system. For example, such limited physical systems include well-known Internet accessible coffee makers or vending machines that have a physical state that can be monitored and displayed. Unfortunately, sensors or camera systems used for tracking such simple physical systems do not work well for more practical virtual reality components. For example, modeling a building to accurately and accurately track the opening and closing of doors and windows, the movement of objects or people, and the position of movable furniture within the building requires essentially large amounts of three-dimensional spatial information. Must be input continuously, which makes it difficult to utilize current sensor technology.
【０００４】建物や物理的物体の他の複雑な集合物の正
確なバーチャルリアリティを提供するのに必要な多量な
センサデータを処理する問題は、概念的に物理的物体の
集合体を不動物体と移動物体に分けることにより軽減で
きる。建物内では、不動物体は、ほとんど又は全く移動
されない建物の床、壁、天井、天井のライトや他の永久
的固定物を含む。不動物体は、高度な正確さで一度だけ
マッピングし、限られた期間のセンサトラッキングを行
うだけでよく、このセンサトラッキングは、毎日、毎週
又は毎月といったタイムスケールで必要に応じて更新さ
れることにより、小部屋、パーティション等の移動が行
われたかどうかを確かめることができる。バーチャルリ
アリティモデルの移動に対して不動物体をマッピングす
ることにおける初期投資は実質的なものであるが、不動
物体に対する正確なバーチャルリアリティモデルを維持
することは困難ではない。[0004] The problem of processing the large amounts of sensor data required to provide accurate virtual reality of buildings and other complex collections of physical objects is a problem that conceptually refers to collections of physical objects as non-animals. It can be reduced by dividing into moving objects. Within a building, immovable objects include floor, wall, ceiling, ceiling lights and other permanent fixtures of the building that are moved little or no at all. Non-animals need only be mapped once with a high degree of accuracy and perform sensor tracking for a limited period of time, which is updated as needed on a daily, weekly or monthly timescale. , Small rooms, partitions, etc., can be checked. Although the initial investment in mapping an immovable object to the movement of the virtual reality model is substantial, maintaining an accurate virtual reality model for the immovable object is not difficult.
【０００５】対照的に、バーチャルリアリティモデリン
グに関連する最も困難な問題の１つは、容易に移動する
物体をトラッキングすることである。トラッキング可能
な物体には、本、ツール、ドア、窓、ポータブルコンピ
ュータや、あるいは人間さえも含まれ得る。ドア及び窓
は開閉可能であり、本は棚に配置違いされたり不正確に
ファイルされたりする可能性があり、ポータブルコンピ
ュータは他の部屋へと移動されるおそれがあり、ツール
は部屋のコーナーのがらくたに紛れている可能性があ
る。この問題に対する１つの可能な解決法は、識別信号
を発することのできるローパワートランスミッタを用い
て物体にタグ付けすることに頼っている。このようなシ
ステムでは、特定のタグ付物体の有無を探知することが
できる。不具合なことに、一般に利用できる識別システ
ムの空間分解能は極めて低く、数メートル程度（例えば
ルームサイズ）での局所化しかできない。さらに、この
ようなシステムは一般に、限られた数の物体のトラッキ
ングと、（識別と局所化が実質的に並行するのではな
く）識別と局所化を連続的に行うことしかできず、多く
の場合において検出器（例えば、ペットや実験用動物に
タグ付けするための埋め込み識別デバイスやバーコード
読取りシステム）が近接して置かれていることが必要で
ある。物体の識別と正確な局所化とを両方支持する複雑
な又は顧客の設計したシステムを利用することはできる
ものの、かかる解決法は一般に、極めて高価であるか、
又はアプリケーションの範囲が限られている。[0005] In contrast, one of the most difficult problems associated with virtual reality modeling is tracking easily moving objects. Trackable objects may include books, tools, doors, windows, portable computers, or even humans. Doors and windows can be opened and closed, books can be misplaced on shelves or incorrectly filed, portable computers can be moved to other rooms, and tools can be used in corners of rooms. It may be misleading. One possible solution to this problem relies on tagging the object with a low power transmitter capable of emitting an identification signal. In such a system, the presence or absence of a specific tagged object can be detected. Unfortunately, the spatial resolution of commonly available identification systems is extremely low, and can only be localized on the order of a few meters (eg, room size). In addition, such systems generally only allow for tracking of a limited number of objects and continuous identification and localization (rather than substantially parallel identification and localization), and many systems do not. In some cases, a detector (eg, an implanted identification device or barcode reading system for tagging pets or laboratory animals) needs to be in close proximity. Although complex or customer-designed systems that support both object identification and accurate localization can be utilized, such solutions are generally very expensive or
Or the range of applications is limited.
【０００６】必要なのは、高度な正確さで空間領域をマ
ッピングする安価なシステムである。一旦マッピングさ
れると、空間領域は、検出器を近くに配置する必要なく
タグ付物体の識別とトラッキングを支持すべきである。
システムは、多数のマッピングポイント、タグ付き物体
又は領域の識別を支持すべきであるとともに、メートル
単位ではなくセンチメートル単位又はミリメートル単位
の空間的局所化の分解能を有して、部屋サイズ未満の領
域内での識別及び正確な空間的局所化を実行できなけれ
ばならない。かかるシステムには、検出器の役割をする
ＣＣＤ（電荷結合素子）ビデオカメラ等の安価なコンポ
ーネントと、検分ポイント又は識別タグ等の機能をする
安価な受動的又は能動的赤外線デバイスと、タグ付き物
体又は領域の識別及び空間的局所化を決定する画像処理
コンピュータとが必要なだけである。理想的には、かか
るシステムは低速で移動する物体（例えばタグを有する
人又は人の保持する電子デバイス）をトラッキングし空
間的に局所化する能力も有するであろう。What is needed is an inexpensive system for mapping spatial domains with a high degree of accuracy. Once mapped, the spatial domain should support the identification and tracking of tagged objects without the need to place detectors nearby.
The system should support the identification of a large number of mapping points, tagged objects or regions, and have a spatial localization resolution of centimeters or millimeters instead of meters, and regions smaller than room size. It must be able to perform identification within and accurate spatial localization. Such systems include inexpensive components such as CCD (charge coupled device) video cameras that act as detectors, inexpensive passive or active infrared devices that perform functions such as inspection points or identification tags, and tagged objects. Or only an image processing computer is needed to determine the region identification and spatial localization. Ideally, such a system would also have the ability to track and spatially localize slowly moving objects (eg, a person with a tag or a person-held electronic device).
【０００７】[0007]
【課題を解決するための手段】従って、１つの好適な実
施形態では、本発明はマッピング及び検分目的に有用な
赤外線タグを正確に位置づけるシステムを提供する。広
く市販されている従来のＣＣＤビデオカメラを、視野を
オーバーラップさせて少なくとも２つ使用する。ビデオ
カメラは、可視光及び赤外線光の両方を検出でき、さら
に予め規定されたフレームレートで一連の画像を提供す
るように構成される。変調された赤外線信号を提供する
１つ以上の赤外線識別タグが、ビデオカメラのオーバー
ラップした視野内の領域内又は室内に配置される。画像
処理システムが用いられ、画像シーケンスから変調され
た赤外線信号が抽出され、可視光画像及び赤外線画像の
両方から得た情報を用いて赤外線タグの空間的位置が識
別される。或る好適な実施形態では、レーザポインタを
用いて、部屋の予め規定された区域又は領域に対して独
特に識別可能な光スポットを送る反射性タグシステム
が、検分に最適である。Accordingly, in one preferred embodiment, the present invention provides a system for accurately locating infrared tags useful for mapping and inspection purposes. At least two widely available conventional CCD video cameras are used with overlapping fields of view. Video cameras are capable of detecting both visible and infrared light and are further configured to provide a sequence of images at a predefined frame rate. One or more infrared identification tags that provide a modulated infrared signal are located in an area or room within the overlapped field of view of the video camera. An image processing system is used to extract the modulated infrared signal from the image sequence and identify the spatial location of the infrared tag using information obtained from both the visible light image and the infrared image. In a preferred embodiment, a reflective tag system that uses a laser pointer to send a uniquely identifiable light spot to a predefined area or area of a room is optimal for viewing.
【０００８】種々の可能な赤外線信号送信モードのオペ
レーションが考えられる。或る好適な実施形態では、特
定の領域又は物体に取り付けられた赤外線識別タグは、
ビデオカメラのフレームレート未満のレートで赤外線検
出信号を断続的に発射して、空間的位置を確立する。ビ
デオカメラの複数のフレームの比較を通して見られる赤
外線ブリンクのパターンを使用して、赤外線タグを明確
に識別し、識別情報又は他のデータを転送することがで
きる。有利なことに、複数の赤外線識別タグがビデオカ
メラの同一フレーム内で空間的に離間配置されるので、
複数のタグの識別及びトラッキングを並行して行うこと
ができる。実際、部屋からのデータ取得は、物体に取り
付けられた多数の識別赤外線タグを用いる。物体に加え
て、赤外線タグは、室内の特定の位置、場所又は領域を
示すように用いられることができたり、テレメトリ及び
位置依存型データを提供する遠隔センサ（例えば温度計
や動作検出器）として使用されることもできる。[0008] There are various possible modes of operation of the infrared signal transmission mode. In certain preferred embodiments, the infrared identification tag attached to a particular area or object comprises:
An infrared detection signal is emitted intermittently at a rate less than the frame rate of the video camera to establish a spatial position. The pattern of infrared blinks seen through the comparison of multiple frames of the video camera can be used to unambiguously identify infrared tags and transfer identification information or other data. Advantageously, multiple infrared identification tags are spatially spaced within the same frame of the video camera,
Identification and tracking of multiple tags can be performed in parallel. In fact, data acquisition from a room uses a number of identifying infrared tags attached to the object. In addition to objects, infrared tags can be used to indicate a particular location, location or area in a room, or as remote sensors (eg, thermometers or motion detectors) that provide telemetry and location-dependent data. Can also be used.
【０００９】或る実施の形態では、移動物体に取り付け
られた複数のタグを使用して、物体の位置ばかりでなく
方向付けを決定し、トラッキングすることができる。例
えば、物体が回転する場合には、２つ以上のタグを取り
付けることにより、回転角度を決定できる。複数のタグ
を使用することで、物体の曖昧さに関する問題を軽減で
き、位置決定の正確さも高められる。さらに、複数の識
別タグを用いて、データ転送速度を高めることもでき
る。[0009] In one embodiment, a plurality of tags attached to a moving object can be used to determine and track the orientation as well as the position of the object. For example, when the object rotates, the rotation angle can be determined by attaching two or more tags. The use of multiple tags can reduce the problem of object ambiguity and increase the accuracy of position determination. Further, the data transfer speed can be increased by using a plurality of identification tags.
【００１０】赤外線の代わりに可視光を使用したり、赤
外線信号の異なる位置及びデータ符号化スキームを使用
することを含む別の実施形態も、本発明の範囲であると
意図される。例えば、赤外線タグの空間的位置を確立す
るために使用される赤外線検出信号と略同時に発射され
る赤外線識別信号を受信する別個の赤外線通信チャネル
レシーバを用いることが可能である。同時方法を用いる
ことにより、ビデオカメラだけからの複数のフレーム比
較を用いた場合に可能な比較的低速なデータ転送速度よ
りも高い速度でデータを転送することができる。さら
に、電力消費量を減少するために、（オンデマンドで赤
外線光を提供する、室内に取り付けられた別個の赤外線
フラッシャと共に）タグとして受動的な赤外線レフレク
タを用いたり、識別要求に応じてのみ作動される赤外線
識別タグを使用したりすることもできる。[0010] Other embodiments, including using visible light instead of infrared light, and using different locations and data encoding schemes for infrared signals, are also contemplated as being within the scope of the present invention. For example, it is possible to use a separate infrared communication channel receiver that receives an infrared identification signal emitted substantially simultaneously with the infrared detection signal used to establish the spatial location of the infrared tag. By using the simultaneous method, data can be transferred at a higher rate than the relatively slow data transfer rate possible using multiple frame comparisons from the video camera alone. In addition, to reduce power consumption, use passive infrared reflectors as tags (with a separate infrared flasher mounted in the room to provide infrared light on demand) or operate only upon identification request Alternatively, an infrared identification tag can be used.
【００１１】広い実施形態では、本発明は第１フレーム
レートで画像シーケンスを提供するように構成された少
なくとも２つのビデオカメラを含む、識別タグを正確に
位置づけるシステムである。識別タグは、第１フレーム
レート未満となるように定義された第２フレームレート
で一連の間隔を置いた信号を提供し、これらの信号はビ
デオカメラにより感知される。画像処理システムは、画
像シーケンスから識別タグの３次元的空間位置づけを抽
出するように構成され、データ転送システムは、識別タ
グからのデータの転送に用いられる。このデータは、画
像処理システムにより決定される識別タグの３次元空間
位置づけと関連する。In a broad embodiment, the present invention is a system for accurately locating an identification tag that includes at least two video cameras configured to provide an image sequence at a first frame rate. The identification tag provides a series of spaced signals at a second frame rate defined to be less than the first frame rate, and these signals are sensed by a video camera. The image processing system is configured to extract the three-dimensional spatial location of the identification tag from the image sequence, and the data transfer system is used to transfer data from the identification tag. This data is associated with the three-dimensional spatial location of the identification tag as determined by the image processing system.
【００１２】有利なことに、本発明は赤外線トランスミ
ッタ及びＣＣＤビデオカメラ等の比較的安価で一般に市
販されているコンポーネントを用いて、識別タグの非常
に正確な空間位置づけを提供する。適切な高品質のＣＣ
Ｄビデオカメラは市販のキュリティシステムに広く使用
されている。市場規模により、かかるＣＣＤビデオカメ
ラ等は極めて安価であり、このアプリケーションに対し
て理想的である。Advantageously, the present invention provides for highly accurate spatial positioning of the identification tag using relatively inexpensive and commercially available components such as infrared transmitters and CCD video cameras. Suitable high quality CC
D video cameras are widely used in commercial security systems. Due to the size of the market, such CCD video cameras and the like are extremely inexpensive and ideal for this application.
【００１３】赤外線信号は人間の目には見えないがＣＣ
Ｄビデオカメラには容易に見えるので、赤外線信号送信
システムは、本質的にユーザには不可視であるが、自動
システムが精巧な画像処理技術を用いることなく位置づ
け及び解釈を行うのは容易なことである。本発明は、コ
ンピュータネットワークに接続されたビデオカメラをイ
ンストールした後すぐに実行されることができ、複雑な
ステップアップや初期化等は必要ない。限られた数の安
価なビデオカメラを用いることにより、本発明は限られ
た量の物体データを伝送できる多くの赤外線タグをトラ
ッキングすることができると共に、セルラー移動通信に
典型的な帯幅問題を実質的に回避できる。Although the infrared signal is invisible to the human eye,
Infrared signal transmission systems are essentially invisible to the user because they are easily visible to D-video cameras, but it is easy for automated systems to locate and interpret without sophisticated image processing techniques. is there. The present invention can be performed immediately after installing a video camera connected to a computer network, and does not require complicated step-ups or initialization. By using a limited number of inexpensive video cameras, the present invention can track many infrared tags capable of transmitting a limited amount of object data, while eliminating the bandwidth problems typical of cellular mobile communications. It can be substantially avoided.
【００１４】[0014]
【発明の実施の形態】図１で示されるように、赤外線信
号源４５（赤外線タグ）を正確に位置づけるシステム１
０は、部屋１２内に配置される複数のＣＣＤカメラ２５
を備える。これらのビデオカメラ２５は、ＣＣＤビデオ
カメラ２０、２１、２２及び６２等の固定された視野を
有するものでも、可動式ＣＣＤビデオカメラ２４により
提供される移動性の視野を有するものでもよい。空間的
局所化、識別及びデータ転送に適切な赤外線信号源４５
は、壁（タグ４０、４１及び４２）やデスク（タグ４
４）等の固定した又は本質的に不動の物体の上に配置す
ることができる。赤外線信号源４５はまた、本５５（タ
グ５０及び５１）、ポータブル電子デバイス７０（タグ
７２）や、ペン７５（タグ７６及び７７）のような記述
道具等の容易に移動できる物体の上にも配置することが
できる。空間的局所化及びデータの画像処理には、この
例ではコンピュータシステム６０で示されるコンピュー
タシステムを用いる。コンピュータシステム６０は、も
ちろん部屋１２の外に位置されてもよく、ローカルコン
ピュータプロセス制御を特に必要としない。コンピュー
タシステムは、ビデオカメラ２５にワイヤレスで又はワ
イヤリンクにより接続され、スタンドアロン型であって
もよいし、画像処理作業を分配して高速データ転送を行
うためにコンピュータネットワークに接続されてもよ
い。図１で示される実施形態では、コンピュータシステ
ム６０は部屋１２のバーチャルリアリティモデルを構成
するのに十分な画像処理力とデータ格納量を有してお
り、赤外線信号源によりタグを付された全ての物体がト
ラッキング可能である。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS As shown in FIG. 1, a system 1 for accurately positioning an infrared signal source 45 (infrared tag).
0 denotes a plurality of CCD cameras 25 arranged in the room 12
Is provided. These video cameras 25 may have a fixed field of view, such as the CCD video cameras 20, 21, 22, and 62, or may have a mobile field of view provided by the movable CCD video camera 24. Infrared signal source 45 suitable for spatial localization, identification and data transfer
Is a wall (tags 40, 41 and 42) or a desk (tag 4
4) can be placed on a fixed or essentially immobile object. Infrared signal source 45 may also be located on easily movable objects such as books 55 (tags 50 and 51), portable electronic devices 70 (tags 72), and writing tools such as pens 75 (tags 76 and 77). Can be arranged. For the spatial localization and the image processing of the data, a computer system indicated by a computer system 60 is used in this example. The computer system 60 may, of course, be located outside the room 12 and does not require any particular local computer process control. The computer system may be connected to the video camera 25 wirelessly or by wire link and may be stand alone or connected to a computer network for distributing image processing tasks and providing high speed data transfer. In the embodiment shown in FIG. 1, the computer system 60 has sufficient image processing power and data storage to construct a virtual reality model of the room 12, and has all of the tags tagged by the infrared signal source. The object can be tracked.
【００１５】このシステム１０は、発射された赤外線信
号を使用する。この赤外線信号は、人間の目には見えな
いがＣＣＤカメラ２５には容易に見える。適切な画像処
理の後、複数の赤外線タグから発射された赤外線信号
は、それら複数の赤外線タグの各々に対する３次元空間
的局所化を提供する。発射される赤外線信号は典型的
に、可視光画像と共にＣＣＤビデオカメラのフレームに
現れる赤外線光の断続的なポイントソースフラッシュ
（赤外線ブリンク）である。カメラ２５は典型的に画像
データを約１０〜３０フレーム／秒で提供するので、ブ
リンクレートは、約５〜１５ブリンク／秒未満であるよ
うに選択され、問題を生じることなく赤外線画像を捕獲
することを保証される。隣接する画像フレーム同士の間
の減算的画像処理技術又は他の適切な画像処理技術を用
いて、赤外線信号を強調して可視背景から分離させ、各
画像処理フレーム中の赤外線ブリンクの２次元的空間パ
ターンを決定することができる。有利なことに、本シス
テムの操作のための、優先的な可視光画像中で赤外線ポ
イントソースを強調して差別化するのに必要な画像処理
技術は比較的簡単であり、精巧な画像理解アルゴリズム
は必要ない。This system 10 uses the emitted infrared signal. This infrared signal is invisible to human eyes but easily visible to the CCD camera 25. After appropriate image processing, the infrared signals emitted from the plurality of infrared tags provide three-dimensional spatial localization for each of the plurality of infrared tags. The emitted infrared signal is typically an intermittent point source flash of infrared light (infrared blink) that appears in the frame of the CCD video camera along with the visible light image. Since camera 25 typically provides image data at about 10-30 frames / sec, the blink rate is selected to be less than about 5-15 blinks / sec to capture the infrared image without causing problems. It is guaranteed that. Using subtractive or other suitable image processing techniques between adjacent image frames, the infrared signal is enhanced and separated from the visible background, and the two-dimensional space of infrared blinks in each image processing frame. The pattern can be determined. Advantageously, the image processing techniques required to enhance and differentiate infrared point sources in preferential visible light images for operation of the system are relatively simple and sophisticated image understanding algorithms Is not required.
【００１６】赤外線信号源の２次元検出が完了した後、
複数のカメラ２５からのフレームは、従来の画像処理技
術を用いて部屋１２内の各赤外線信号源の３次元空間局
所化を得るために、空間的に多重化されることができ
る。カバーを最大限にして３次元的位置づけを保証する
ために、カメラ２５は、部屋１２の部分毎に、少なくと
も２つのカメラを視界をだぶらせるように組み合わせて
配置される。各カメラ２５は、基準物体の使用やカメラ
プラットフォームの制御を通して空間的局所化を行うよ
うに較正されることができる。例えば、固定された焦点
距離を有する固定カメラ２０は、その画像中の２つのス
ポットの位置に基づいてそのレンズに入射する２つの光
線の角度を計算できるように較正される。当業者は理解
するように、この角度はレンズの焦点距離から計算でき
る。必要であれば、焦点距離及びレンズの歪曲を違える
ように補償する正確なマッピングを決定するために、限
られた実験を行うことができる。光線の角度を計算でき
るように永久的又は半永久的な基準ソースとして使用さ
れるカメラの配置からわかっている距離のところに適切
な赤外線信号源を設けることにより、較正は継続する。
典型的には、これらの基準ソースは部屋の隅に配置され
る（例えばタグ４０及び４２が使用される）。少なくと
も１つのカメラが新たな物体と２つの基準ソースとを提
供することができ、第２のカメラが新たな物体と少なく
とも１つの基準ソースの画像をとらえることができるよ
うにすることで、新たな物体（例えば、赤外線タグ４
１）を位置づけることができる。複数のカメラにより検
出可能な赤外線源を追加することで、基準ソースに対す
るカメラ位置を最初からわかっていなくてもよいように
方法を拡大することさえ可能である。After the two-dimensional detection of the infrared signal source is completed,
Frames from multiple cameras 25 can be spatially multiplexed to obtain three-dimensional spatial localization of each infrared signal source in room 12 using conventional image processing techniques. In order to maximize the cover and guarantee a three-dimensional positioning, the cameras 25 are arranged for each part of the room 12 in combination with at least two cameras in such a way that they obscure the field of view. Each camera 25 can be calibrated to provide spatial localization through the use of a reference object and control of the camera platform. For example, a fixed camera 20 having a fixed focal length is calibrated to be able to calculate the angle of two rays incident on the lens based on the position of two spots in the image. As those skilled in the art will appreciate, this angle can be calculated from the focal length of the lens. If necessary, limited experimentation can be performed to determine the correct mapping to compensate for different focal lengths and lens distortions. Calibration continues by providing a suitable infrared signal source at a distance known from the camera location used as a permanent or semi-permanent reference source so that the ray angle can be calculated.
Typically, these reference sources are located in corners of the room (eg, tags 40 and 42 are used). By allowing at least one camera to provide a new object and two reference sources and enabling a second camera to capture images of the new object and at least one reference source, a new Object (for example, infrared tag 4
1) can be positioned. By adding an infrared source that can be detected by multiple cameras, it is even possible to extend the method so that the camera position relative to the reference source need not be known from the outset.
【００１７】非常に多様な赤外線信号源４５を使用し
て、カメラ補償、空間的局所化、識別、及びデータ転送
を行うことができる。本発明の目的のために、光スポッ
ト４７により領域又は物体を瞬間的にマーキングする反
射的タグシステム、赤外線光５２を内部から生成する能
動的赤外線タグ（例えば図１及び図２で見られるように
本５５を識別するための赤外線タグ５０又は赤外線デー
タトランスミッタ５７）、又は赤外線光源３０により提
供される入射赤外線光３２に応答して入射赤外線光５４
をコントロールして反射する受動的赤外線タグ５１に、
赤外線信号源４５を概念的に分けることができる。A wide variety of infrared signal sources 45 can be used for camera compensation, spatial localization, identification, and data transfer. For purposes of the present invention, a reflective tag system that instantaneously marks an area or object with a light spot 47, an active infrared tag that internally generates infrared light 52 (eg, as seen in FIGS. 1 and 2). An infrared tag 50 or infrared data transmitter 57) for identifying the book 55, or an incident infrared light 54 in response to the incident infrared light 32 provided by the infrared light source 30.
The passive infrared tag 51 that controls and reflects
The infrared signal source 45 can be conceptually divided.
【００１８】反射的タグシステムは、レーザポインタ
（例えば図面外部に位置するユーザの保持する図１のポ
インタ４９）を用いて、部屋の予め画定された区域又は
領域に対して光スポット４７を発射する。ユーザに指示
の補助を提供するために可視光レーザを使用することも
できるが、典型的には赤外線レーザが使用される。可視
光信号を可視背景と見分けるように増大された画像処理
要求を犠牲にして、可視光レーザを単独使用することも
可能である。The reflective tag system uses a laser pointer (eg, a user-supplied pointer 49 in FIG. 1 located outside the drawing) to launch a light spot 47 onto a pre-defined area or area of the room. . A visible light laser can be used to provide instructional assistance to the user, but typically an infrared laser is used. It is also possible to use the visible light laser alone at the expense of increased image processing requirements to distinguish the visible light signal from the visible background.
【００１９】動作上、レーザポインタ４９は、マッピン
グ又は検分オペレーションを行うために使用できる。レ
ーザポインタ４９は、壁又は物体の上の特定スポットに
配置され、ユーザはトリガを与えて発射される赤外線光
を変調する。光スポット４７から反射された光は、カメ
ラ２５により検出されて、一回限りの識別ポイントとし
て使用される。トリガを与える毎に、新たな光変調パタ
ーンが生成され、識別された空間位置の独特のアドレス
が提供される。多くの赤外線信号ソースの画像処理を行
った後、（例えば部屋１２の）３次元マップがコンピュ
ータ６０により生成されることができる。或る実施形態
では、ユーザが部屋１２の所定のキー部分を指すように
調整されたソフトウェアを使用することさえできる。例
えばユーザは、レーザポインタ４９を部屋の各コーナー
に向けてトリガを与え、各コーナーにおいて独特の変調
された赤外線信号ソースを一時的に提供することができ
る。ルームコーナー情報のみを用いるとともに、部屋が
矩形の領域であるという仮定に基づいて、部屋１２の３
次元的サイズや、対象とする他の部屋を決定することが
できる。別の例としては、比較的動かないホワイトボー
ドや他の一時的な物体が部屋の中に持ち込まれれば、ユ
ーザは能動的又は受動的赤外線タグを取り付ける煩わし
さもなく、その位置を画定するように物体にレーザポイ
ンタを向けることができる。他のアプリケーションで
は、識別スポットを用いて、移動性のカメラ（例えばカ
メラ２４）をガイドし、選択された領域、物体又は人物
（例えばデスク１６）を指すことができる。In operation, laser pointer 49 can be used to perform a mapping or viewing operation. The laser pointer 49 is placed at a specific spot on a wall or an object, and the user gives a trigger to modulate the emitted infrared light. The light reflected from the light spot 47 is detected by the camera 25 and used as a one-time identification point. Each time a trigger is applied, a new light modulation pattern is generated, providing a unique address for the identified spatial location. After performing image processing of many infrared signal sources, a three-dimensional map (eg, of room 12) can be generated by computer 60. In some embodiments, a user may even use software tailored to point to a predetermined key portion of room 12. For example, the user can trigger the laser pointer 49 toward each corner of the room, temporarily providing a unique modulated infrared signal source at each corner. Using only the room corner information and based on the assumption that the room is a rectangular area,
The dimensional size and other rooms of interest can be determined. As another example, if a relatively immobile whiteboard or other temporary object is brought into the room, the user can define the location without the hassle of installing active or passive infrared tags. The laser pointer can be pointed at the object. In other applications, the identification spot may be used to guide a mobile camera (eg, camera 24) and point to a selected area, object or person (eg, desk 16).
【００２０】赤外線レーザ検分技術はまた、カメラ視野
の合成を補助するために３次元的モデルの開発に助力す
ることができる。例えば、遠隔のミーティング参加者
が、自分に都合のよい視野を望んだり、元のプレゼンテ
ーションでは利用できないカメラアングルを含むように
予め記録されたプレゼンテーションを編集する必要があ
る場合には、複数のカメラからの入力を合成して、新た
なカメラの視野を補間することができる。図１では、デ
スク１６に置かれた自動検分ツール８０を用いて、ライ
ン８４に沿って又は規則的な２次元パターンに従って断
続的に生成される赤外線ビーム８２が掃引される。検分
ツール８０はポインタ４９に構成及び機能が類似する
が、壁又は他の表面を横切るビーム８２を自動的に走査
するために回転、傾斜又は掃引ミラーを追加されてい
る。この走査により、カメラ視野合成に使用できる検出
可能な識別反射を有する１セットの変調された識別スポ
ット８６が生成される。別法としては、かかる識別スポ
ットを用いて、カメラや他の道具を指定領域を向くよう
に導いたり、走査線８４により規定される領域を走査又
は偵察することができる。Infrared laser inspection techniques can also assist in the development of three-dimensional models to assist in synthesizing camera views. For example, if a remote meeting participant wants a view that is convenient for them or needs to edit a prerecorded presentation to include a camera angle that is not available in the original presentation, multiple cameras can be used. Can be combined to interpolate the field of view of the new camera. In FIG. 1, an infrared beam 82 that is generated intermittently along a line 84 or according to a regular two-dimensional pattern is swept using an automated inspection tool 80 located on the desk 16. The viewing tool 80 is similar in construction and function to the pointer 49, but with the addition of a rotating, tilting or sweeping mirror to automatically scan the beam 82 across a wall or other surface. This scan produces a set of modulated identification spots 86 having detectable identification reflections that can be used for camera view synthesis. Alternatively, such identification spots can be used to direct a camera or other tool toward a designated area, or scan or scout the area defined by scan line 84.
【００２１】予備的な検分使用や、領域又は物体の一時
的なトラッキング及び識別に最適な反射性タグとは対照
的に、受動的赤外線タグ及び能力的赤外線タグの両者
は、移動する物体の長期のトラッキング及び識別にも適
している。能動的な赤外線タグは一般に、バッテリ又は
他の電源、赤外線ＬＥＤ等の赤外線エミッタ、及び適切
なデジタルコントローラを必要とするので、受動的赤外
線タグよりも大きく高価であるのが一般的である。例え
ば、図７を参照してわかるように、能動的赤外線タグ１
１０は、ＩＲトランスミッタＬＥＤ１２２を有するバッ
ファ１１２、ＩＲ検出器１２４を有する増幅器１１４、
マイクロコントローラ１１６、及びトリガ回路１１８を
含む、従来の広く利用されている４つのモジュールを相
互接続することにより構築されることができる。リチウ
ムバッテリ、光電セル又は他の寿命の長い電源１２０が
低電圧電源を供給して、モジュールを駆動する。デフォ
ルト状態では、モジュール１１２、１１４、１１６はパ
ワーダウンモードに保持される。４番目のモジュールで
あるトリガ回路１１８は、常に能動的であるが、非常に
小さい消費電力で動作するように設計されている。トリ
ガ回路１１８が赤外線又は光パルス等の外部信号１３０
により作動されると、モジュール１１２、１１４及び１
１６が作動される。アドレッシング信号１３１は、モジ
ュール１１４で受信されて、モジュール１１６により解
読され、次いで応答信号１３２がモジュール１１２から
トランシミッタＬＥＤ１２２を用いて送り返される。マ
イクロコントローラモジュール１１６は、時間を記録
し、数ミリ秒後又はレシーバが動作しなくなった後、モ
ジュール１１２及び１１４と共にそれ自身をパワーダウ
ン状態に戻す。応答信号１３２（赤外線パルス）は、任
意の所望のデータと共に能動的な赤外線タグの識別を含
む。[0021] In contrast to reflective tags, which are optimal for preliminary inspection use and temporary tracking and identification of an area or object, both passive and capable infrared tags have long-term visibility of moving objects. Also suitable for tracking and identification. Active infrared tags are generally larger and more expensive than passive infrared tags because they require a battery or other power source, an infrared emitter such as an infrared LED, and a suitable digital controller. For example, as can be seen with reference to FIG.
10 is a buffer 112 having an IR transmitter LED 122, an amplifier 114 having an IR detector 124,
It can be built by interconnecting four conventional and widely used modules, including a microcontroller 116 and a trigger circuit 118. A lithium battery, photocell, or other long-lived power supply 120 supplies the low voltage power to drive the module. In the default state, the modules 112, 114, 116 are kept in a power down mode. The fourth module, the trigger circuit 118, is always active, but is designed to operate with very low power consumption. An external signal 130 such as an infrared ray or a light pulse
When activated by the modules 112, 114 and 1
16 is activated. Addressing signal 131 is received by module 114 and decoded by module 116, and response signal 132 is then sent back from module 112 using transmitter LED 122. The microcontroller module 116 records the time and returns itself together with the modules 112 and 114 to power down after a few milliseconds or after the receiver has failed. Response signal 132 (infrared pulse) includes identification of the active infrared tag along with any desired data.
【００２２】理解されるように、多くの異なるタイプの
トリガ回路を使用することができる。トリガ回路の単純
な実施は、わずかにランダムな長い周期を有するローパ
ワー非安定振動子を含む（反復されるタグ信号の衝突を
回避するため）。トリガ回路はまた、特定強度のＩＲフ
ラッシュにより作動するように設計されてもよいし、特
定周波数の受信等の別の媒体を使用してもよい。或る実
施形態では、トリガ回路はＩＲ検出／増幅モジュール１
１４を不要とするように設計されることもできる。As will be appreciated, many different types of trigger circuits can be used. A simple implementation of the trigger circuit includes a low power unstable oscillator with a slightly random long period (to avoid repeated tag signal collisions). The trigger circuit may also be designed to operate with a specific intensity of the IR flash or use another medium, such as receiving a specific frequency. In one embodiment, the trigger circuit is the IR detection / amplification module 1
14 can be designed to be unnecessary.
【００２３】受動的赤外線タグ５１は、能動的赤外線タ
グ５０の安価な代替物である。受動的赤外線タグ５１
は、赤外線光源３０により提供される赤外線光３２をコ
ントロールして反射する。赤外線光源３０は、必要に応
じて、連続的、断続的又は周期的に作動されることがで
きる。示される実施形態では、受動的赤外線タグ５１の
各々は、光を交互に伝送、吸収するシャッタによりカバ
ーされる赤外線反射材料を含む。典型的には、シャッタ
は、通常は実質量の赤外線光を伝送しないように電気的
に制御される液晶ディスプレイ（ＬＣＤ）である。シャ
ッタを赤外線非伝送状態から実質的な伝送状態へと変換
するために、ローパワー電気信号が与えられる。赤外線
光伝送状態と非伝送状態の間での適切なスイッチングに
より、カメラ２５により検出される赤外線タグからの赤
外線反射５４のパターンで情報をコード化することがで
きる。The passive infrared tag 51 is a cheap alternative to the active infrared tag 50. Passive infrared tag 51
Controls and reflects the infrared light 32 provided by the infrared light source 30. The infrared light source 30 can be operated continuously, intermittently, or periodically as needed. In the embodiment shown, each of the passive infrared tags 51 includes an infrared reflective material covered by a shutter that alternately transmits and absorbs light. Typically, the shutter is a liquid crystal display (LCD) that is typically electrically controlled so as not to transmit substantial amounts of infrared light. A low power electrical signal is provided to convert the shutter from an infrared non-transmitting state to a substantially transmitting state. With proper switching between the infrared light transmitting state and the non-transmitting state, the information can be encoded in a pattern of infrared reflections 54 from the infrared tag detected by the camera 25.
【００２４】当業者には理解されるように、赤外線光源
３０及び受動的赤外線タグ５１の両方に対する種々の作
動、データ転送及びタイミング変調により、情報の転送
及び保存パワーの信頼性を高めることができる。能動的
な赤外線タグ５０と共に前述した技術と同様の技術を用
いて、受動的赤外線タグ５１が作動されて、赤外線トリ
ガ信号に応答して識別コード及び他のデータを伝送する
ことができる。これにより、ＬＣＤシャッタメカニズム
を連続して作動させる必要がなくなり、長期にわたって
消費電力が大幅に減少する。能動的赤外線タグ５０を用
いた場合と同じように、複数の受動的タグが同時に動作
されることができる。なぜなら、本発明の空間的局所化
を行うカメラシステムは、同一の作動信号に応答して情
報を転送する複数の受動的タグ５１をはっきり見分ける
ことができるからである。As will be appreciated by those skilled in the art, various operations, data transfer and timing modulation for both the infrared light source 30 and the passive infrared tag 51 can increase the reliability of information transfer and storage power. . Using techniques similar to those described above with the active infrared tag 50, the passive infrared tag 51 can be activated to transmit an identification code and other data in response to an infrared trigger signal. This eliminates the need to operate the LCD shutter mechanism continuously, and significantly reduces power consumption over time. As with the case of using the active infrared tag 50, a plurality of passive tags can be operated simultaneously. This is because the camera system for spatial localization of the present invention can clearly identify a plurality of passive tags 51 that transfer information in response to the same activation signal.
【００２５】種々の情報伝送及び信号送信スキームが本
発明での使用に適している。特に図３及び図４を参照し
て示される好適なスキームは、必要に応じて、反射性タ
グ（レーザポインタ４９）、能動的赤外線タグ５０、又
は受動的赤外線タグ５１により使用されることができ
る。図３は、ＩＲパルス検出対時間を示すグラフであ
り、３つの異なるモードのパルス化オペレーションを示
している。位置づけ又は初期化モードでのタグ５０又は
５１のオペレーションは、括弧１０６により識別され
る、検出された一連の周期的赤外線パルスにより示され
る。パワー保存のために、これらのパルス１０４は実際
に、各パルス１０４を通じてのカメラによる赤外線信号
の明らかに連続的な検出を保証するのに十分高い速度
の、複数の短い赤外線スパイク又はパルスを含み得る。
もちろん、パワーが限られていない場合には、ＩＲ強度
はパルス化されるのではなく各パルス１０４を持続させ
るように連続的に維持されることができる。Various information transmission and signaling schemes are suitable for use with the present invention. In particular, the preferred scheme shown with reference to FIGS. 3 and 4 can be used with a reflective tag (laser pointer 49), an active infrared tag 50, or a passive infrared tag 51, as appropriate. . FIG. 3 is a graph showing IR pulse detection versus time, showing three different modes of pulsing operation. Operation of the tag 50 or 51 in the positioning or initialization mode is indicated by a series of detected periodic infrared pulses, identified by brackets 106. For power conservation, these pulses 104 may actually include a plurality of short infrared spikes or pulses at a rate high enough to ensure a clear and continuous detection of the infrared signal by the camera through each pulse 104. .
Of course, if the power is not limited, the IR intensity can be maintained continuously to sustain each pulse 104 instead of being pulsed.
【００２６】周期的に検出される赤外線パルス１０４
は、カメラ２５によるタグ付き領域又は物体（例えば部
屋の壁又は本５５）の３次元的位置の検出と、連続パル
ス１０４の間のパルス間隔１０３の決定とを可能にす
る。理解されるように、エラーの発生を防止し、正確に
決定されたパルス間隔を行うために、カメラ２５はパル
ス間隔１０３よりも実質的に高速のフレームレート１０
２で動作され、これはパルス間隔１０３の２〜３倍のフ
レームレートである。Infrared pulse 104 detected periodically
Allows the camera 25 to detect the three-dimensional position of a tagged region or object (eg, a room wall or book 55) and determine the pulse interval 103 between successive pulses 104. As will be appreciated, in order to prevent errors from occurring and to provide a precisely determined pulse interval, the camera 25 has a substantially faster frame rate 10 than the pulse interval 103.
2, which is a frame rate of 2-3 times the pulse interval 103.
【００２７】短時間（１秒未満）の後、周期的ブリンキ
ングは停止され、識別情報及びデータの転送が始まる。
タグ５０又は５１のブリンキングを通してのデータ転送
は、括弧１０８により識別される。パルス１０４の欠如
は、バイナリ「０」と解釈され、パルス１０４の存在は
バイナリ「１」と解釈される。理解されるように、これ
により任意の数のバイナリ符号化スキームを通じての情
報の符号化が可能となる。最良の結果を得るために、１
つ以上の多くの利用可能な誤り訂正コードを使用するこ
とが好ましい。識別情報及びデータが伝送された後（複
数回の可能な反復送信の後）、タグ５０又は５１からの
赤外線パルス１０４は、括弧１１０により示されるよう
にパワー保存のために停止される。もちろんタグは、所
定の時間に、又はランダムな時間に、又は必要に応じて
作動信号に応答して、再作動されることができる。After a short time (less than one second), the periodic blinking is stopped and the transfer of identification information and data begins.
Data transfer through the blinking of tags 50 or 51 is identified by brackets 108. The absence of pulse 104 is interpreted as a binary "0" and the presence of pulse 104 is interpreted as a binary "1". As will be appreciated, this allows for the encoding of information through any number of binary encoding schemes. For best results,
Preferably, one or more of the many available error correction codes are used. After the identification information and data have been transmitted (after multiple possible repetitive transmissions), the infrared pulses 104 from the tag 50 or 51 are turned off for power conservation, as indicated by brackets 110. Of course, the tag can be reactivated at a predetermined time, or at a random time, or as needed in response to an activation signal.
【００２８】カメラ２５により赤外線パルスを検出して
空間的局所化及び情報転送を行うことは、図４で概略的
に示されている。処理された画像フレームの２つのシー
ケンス１２２（カメラ１）及び１２４（カメラ２）が示
されている。カメラは、３つの位置の赤外線パルス源に
よる部分的にオーバーラップした視野を有する。シーケ
ンス１２２及び１２４における各フレームは、いくつか
のフレームの複合画像であり、赤外線パルスを分離する
ために非赤外線背景可視情報がなくされている。The detection of infrared pulses by the camera 25 for spatial localization and information transfer is shown schematically in FIG. Two sequences 122 (camera 1) and 124 (camera 2) of the processed image frames are shown. The camera has a partially overlapping field of view with three positions of the infrared pulse source. Each frame in sequences 122 and 124 is a composite image of several frames, with non-infrared background visible information removed to separate infrared pulses.
【００２９】カメラ１のフレーム１３０では、赤外線パ
ルスの潜在的位置１５０、１５１及び１５２（アスタリ
スクで示される）は点線のアウトラインにより示され
る。これらの位置は、違う場所に配置されたカメラ２の
フレーム１７０内の潜在的位置１６０、１６１及び１６
２に対応する。前述の画像処理技術を用いて、赤外線パ
ルスはカメラ１及びカメラ２のフレーム１２２及び１２
４内で分離され、基準点として使用される。各カメラか
ら２次元情報が取得され、赤外線パルスの３次元的位置
を得るために較正情報と併合される。In the frame 130 of the camera 1, the potential positions 150, 151 and 152 of the infrared pulses (indicated by asterisks) are indicated by dotted outlines. These positions are the potential positions 160, 161 and 16 in the frame 170 of the camera 2 located at different locations.
Corresponds to 2. Using the image processing techniques described above, the infrared pulses are applied to frames 122 and 12 of camera 1 and camera 2.
4 and is used as a reference point. Two-dimensional information is obtained from each camera and merged with calibration information to obtain the three-dimensional position of the infrared pulse.
【００３０】３つの異なるモードのパルス化オペレーシ
ョンがフレーム１２２及び１２４で示される。赤外線タ
グ５０又は５１の位置づけ又は初期化モードでのオペレ
ーションは、位置１５０の周期的赤外線パルスにより示
される。単一のパルス間隔（図３のパルス間隔１０３に
対応する）を示す各複合画像処理フレーム１３０〜１３
８を見ると、赤外線パルスはフレームシーケンス１２２
の各フレーム１３０〜１３８内の位置１５０に見受けら
れる。もちろん対応する赤外線パルスは、カメラ２のフ
レームシーケンス１２４の位置１６０に見られる。これ
は、図３の括弧１０６により識別される一連の周期的赤
外線パルス１０４に等しい。Three different modes of pulsing operation are shown in frames 122 and 124. Operation of the infrared tag 50 or 51 in the positioning or initialization mode is indicated by a periodic infrared pulse at location 150. Each composite image processing frame 130-13 showing a single pulse interval (corresponding to pulse interval 103 in FIG. 3)
8, the infrared pulse has a frame sequence 122
At position 150 within each frame 130-138. Of course, the corresponding infrared pulse can be found at position 160 of frame sequence 124 of camera 2. This is equivalent to a series of periodic infrared pulses 104 identified by brackets 106 in FIG.
【００３１】別の赤外線タグからの情報伝送は、フレー
ムシーケンス１２２のフレーム１３０〜１３８中の位置
１５１（及びフレームシーケンス１２４中の対応する位
置１６１）における赤外線パルスの非周期的ブリンキン
グを通して示される。フレーム中の赤外線パルスの不在
は、バイナリ「０」と解釈され（例えばフレーム１３
１，１３２及び１３７）、赤外線パルスの存在はバイナ
リ「１」と解釈される（例えばフレーム１３０、１３
３、１３５、１３６、１３８）。従って、図４で示され
るように、バイナリシーケンス「１００１... １１０
１」が決定できる。このバイナリシーケンスはヘッダ情
報、データ、識別、パケット制御情報、誤り訂正情報、
又はタグ５０若しくは５１から転送され得る他の任意の
必要な情報であることができる。The transmission of information from another infrared tag is indicated through aperiodic blinking of infrared pulses at position 151 in frames 130-138 of frame sequence 122 (and corresponding position 161 in frame sequence 124). The absence of an infrared pulse in a frame is interpreted as a binary "0" (eg, frame 13
1, 132 and 137), the presence of an infrared pulse is interpreted as a binary "1" (eg, frames 130, 13).
3, 135, 136, 138). Therefore, as shown in FIG. 4, the binary sequence "1001 ... 110"
1 "can be determined. This binary sequence includes header information, data, identification, packet control information, error correction information,
Or any other necessary information that can be transferred from the tag 50 or 51.
【００３２】前述のように、適切な識別情報及びデータ
が送信された後、赤外線パルスは電力保存のために停止
されることができる。もちろんタグを再び作動させて、
タグの位置を再度識別し、識別情報及び他のデータを伝
送することができる。図４では、これはフレームシーケ
ンス１２２中の位置１５２（及びフレームシーケンス１
２４中の対応する位置１６２）における赤外線パルスの
パターンにより示される。電力保存のために、フレーム
１３０〜１３６をカバーする時間の期間中には赤外線パ
ルスは発射されない。フレーム１３７及び１３８で示さ
れるように、作動信号に応答して、一周期の赤外線パル
スが局所化及び初期化目的のために発射される。As described above, after the proper identification information and data have been transmitted, the infrared pulse can be stopped to conserve power. Of course you can activate the tag again,
The location of the tag can be re-identified and the identification information and other data can be transmitted. In FIG. 4, this is the position 152 in frame sequence 122 (and frame sequence 1).
24 is indicated by the pattern of infrared pulses at the corresponding position 162). For power conservation, no infrared pulses are fired during the time period covering frames 130-136. As shown in frames 137 and 138, in response to the activation signal, a period of infrared pulses is fired for localization and initialization purposes.
【００３３】動作上、本システムでは、複数の固定した
物体（例えばタグ４４を有する本５５又はデスク１６）
又は複数のゆっくりと移動する物体（例えばタグを付さ
れた人間や、タグ７２を取り付けられ、人間が保持して
移動されるラップトップコンピュータ７０若しくは人間
とコンピュータの両方）をトラッングすることが可能で
ある。タグ７６及び７７を有するペン７５等の移動の速
い物体を空間的に局所化してトラッキングし、ペンの動
作のトラッキングを通して自動的に手書き解釈を行うこ
とができるように、高速ビデオカメラを用いて本システ
ムを修正することができる。有利なことに、複雑な時間
や周波数を多重化させるトラッキング技術を使用する必
要なく、多数の物体を並行してトラッキングできる。In operation, the system includes a plurality of fixed objects (eg, book 55 with tag 44 or desk 16).
Or, it is possible to track a plurality of slowly moving objects (e.g., a tagged person, a laptop computer 70 attached to a tag 72 and held and moved by a person, or both a person and a computer). is there. Using a high-speed video camera, a fast moving object such as a pen 75 having tags 76 and 77 can be spatially localized and tracked, and handwritten interpretation can be automatically performed through tracking of pen movement. The system can be modified. Advantageously, multiple objects can be tracked in parallel without having to use complex time and frequency multiplexing tracking techniques.
【００３４】しかしながら、高速カメラを使用しなけれ
ば、以上の実施形態の大部分は比較的低いデータ転送率
となる。ビット転送はカメラのフレームレートと密接に
関係するので、広く利用されている低コストのカメラの
比較的低いフレームレートでは、理論上ではデータ転送
率が１０〜２０ビット／秒に制限される。実際、エラー
制御に関連する必要なオーバーヘッドのために、ビット
転送率は低くなるであろう。この問題を克服する１つの
可能な方法は、低いデータ転送率の赤外線パルス／カメ
ラ検出システムを空間的局所化に使用し、データ転送に
は第２の高速データ通信チャネルを使用することであ
る。二重通信チャネルシステムの一例を図５及び図６で
示す。However, unless a high-speed camera is used, most of the above embodiments will have relatively low data transfer rates. Since bit transfer is closely related to the frame rate of the camera, the relatively low frame rate of widely used low cost cameras theoretically limits the data rate to 10-20 bits / sec. In fact, the bit rate will be low due to the required overhead associated with error control. One possible way to overcome this problem is to use a low data rate infrared pulse / camera detection system for spatial localization and use a second high speed data communication channel for data transfer. An example of a dual communication channel system is shown in FIGS.
【００３５】図５は、２つの別個の赤外線通信チャネル
のＩＲパルス検出対時間を示すグラフである。通信チャ
ネル１の赤外線パルス２０４は、図３及び図４と共に述
べたプロセスを用いて、フレームレート２０２で動作す
るカメラにより検出される。より短い赤外線パルスを有
する別の高速赤外線通信チャネル２は、別個の（カメラ
ベースでない）赤外線通信システムにより検出可能であ
る。無線通信又は光通信を含む任意の高速通信チャネル
を使用できるが、好適な実施の形態では、適応可能なＩ
ＲＤＡ（Infrared Data Association ；赤外線データ協
会）基準に従う赤外線パルスを使用してチャネル２でデ
ータ転送を行う。動作上、チャネル１の赤外線パルスは
赤外線タグの空間的局所化に用いられ、チャネル２にお
ける同時通信は高速データ転送を提供する。例えば図１
及び図２では、約１９．２キロビット／秒で動作する高
速赤外線通信システムは、赤外線タグ５７と、コンピュ
ータ６０に取り付けられた高速赤外線検出器６４を含
む。空間的局所化は低速赤外線パルスを検出するカメラ
２５により提供され、高速チャネルにおいて受信される
同時データは、識別される空間的位置におけるタグと関
連する。もちろん、同時通信を使用することにより、統
計的に決定可能なデータの衝突により、データのスルー
プットが幾分減少される（２つ以上のタグが同時にデー
タを送信することにより、有害なデータのオーバーラッ
プが生じる時）が、同時通信はほとんどの状況に適切で
ある。FIG. 5 is a graph showing IR pulse detection versus time for two separate infrared communication channels. Infrared pulses 204 of communication channel 1 are detected by a camera operating at frame rate 202 using the process described in conjunction with FIGS. Another high-speed infrared communication channel 2 with shorter infrared pulses can be detected by a separate (non-camera based) infrared communication system. Although any high-speed communication channel can be used, including wireless or optical communication, in the preferred embodiment, the adaptive I
Data transfer is performed on channel 2 using infrared pulses according to the RDA (Infrared Data Association) standard. In operation, the infrared pulses on channel 1 are used for spatial localization of the infrared tag, and the simultaneous communication on channel 2 provides high-speed data transfer. For example, FIG.
And in FIG. 2, a high-speed infrared communication system operating at about 19.2 kilobits / second includes an infrared tag 57 and a high-speed infrared detector 64 attached to a computer 60. Spatial localization is provided by the camera 25 detecting slow infrared pulses, and the simultaneous data received on the fast channel is associated with the tag at the identified spatial location. Of course, by using simultaneous communication, data throughput will be somewhat reduced due to statistically determinable data collisions (harmful data overruns due to the simultaneous transmission of data by more than one tag). Simultaneous communication is appropriate for most situations).
【００３６】図６を参照して、本発明による同時データ
転送方法をより理解することができる。示されるフレー
ムにより同時に受信された高速データの一例（ボックス
２７０、２７２、２７４及び２７６）と共に、異なるカ
メラから得られた２つの画像処理フレームシーケンス２
２２及び２２４が示されている。３つの異なる空間位置
（フレームシーケンス２２２中の位置２５０、２５１及
び２５２、フレームシーケンス２２４中の位置２６０、
２６１、２６２）に位置づけられた３つの別個のタグか
らデータを受信できる。前述の技術を用いて、赤外線パ
ルス（アスタリスクで示される）は、２次元フレームシ
ーケンス２２２及び２２４をふまえて、３次元において
明確に位置づけられることができる。可能であれば、空
間位置づけデータが高速データと相関されて、特定的に
識別されたタグの空間的局所化が提供される。Referring to FIG. 6, the simultaneous data transfer method according to the present invention can be better understood. Two image processing frame sequences 2 obtained from different cameras, together with an example of high speed data (boxes 270, 272, 274 and 276) received simultaneously by the indicated frame.
22 and 224 are shown. Three different spatial positions (positions 250, 251 and 252 in frame sequence 222, position 260 in frame sequence 224,
261 and 262) can receive data from three separate tags. Using the techniques described above, infrared pulses (indicated by asterisks) can be unambiguously located in three dimensions based on the two-dimensional frame sequences 222 and 224. Where possible, spatial positioning data is correlated with high speed data to provide spatial localization of specifically identified tags.
【００３７】図６は本発明による同時空間局所化方法の
幾つかの可能な結果を示している。フレーム２３０は位
置２５０における空間局所化可能な赤外線パルスを示し
ている。同時データ２７０は、データの衝突はないもの
として、位置２５０において赤外線パルスを発射するタ
グが存在することによっている。２つ以上のデータパケ
ットが同時に受信されるか、又は空間的に局所化可能な
赤外線パルスがオーバーラップした場合にデータの衝突
が発生するおそれがある。フレーム２３１はデータの衝
突のない１つの状況を示しており、位置２５２における
赤外線パルス識別データ２７２と相関している。しか
し、２つ以上のタグが同一時間中に作動すると、フレー
ム２３２で示されるように、受信信号２７４はデータパ
ケット衝突の混じった結果となり、信号は無視される。
予めプログラム化されたランダムな遅延（フレーム２３
３に見られる）又は再転送の作動要求の後、タグは再び
作動され、希望どおりデータ転送がオーバーラップする
こともなく独特の識別が行われることとなる。なお、赤
外線パルスがオーバーラップする場合にデータの衝突が
必ずしも発生するとは限らず、以前に受け取られた赤外
線空間位置づけを考慮することにより空間的位置づけと
データとをリンクすることができる。FIG. 6 shows some possible results of the simultaneous spatial localization method according to the invention. Frame 230 shows a spatially localizable infrared pulse at location 250. Simultaneous data 270 is due to the presence of a tag that fires an infrared pulse at location 250, assuming no data collisions. Data collisions can occur when two or more data packets are received simultaneously or when spatially localizable infrared pulses overlap. Frame 231 shows one situation without data collision and is correlated with infrared pulse identification data 272 at location 252. However, if more than one tag is activated during the same time, the received signal 274 will be a mixed result of data packet collisions, as indicated by frame 232, and the signal will be ignored.
Pre-programmed random delay (frame 23
3) or after a re-transfer activation request, the tag is activated again, resulting in a unique identification as desired without overlapping data transmission. It should be noted that data collisions do not always occur when infrared pulses overlap, and that spatial positioning and data can be linked by considering previously received infrared spatial positioning.
【図面の簡単な説明】[Brief description of the drawings]
【図１】ＣＣＤビデオカメラを用いて赤外線識別タグを
正確に位置づけるシステムの概略的なアウトラインを示
す図である。FIG. 1 shows a schematic outline of a system for accurately positioning an infrared identification tag using a CCD video camera.
【図２】図１で示される検索領域の拡大図であり、単一
又は複数の赤外線タグを有する本発明が示されている。FIG. 2 is an enlarged view of the search area shown in FIG. 1, illustrating the present invention having one or more infrared tags.
【図３】赤外線パルス強度対時間を示すグラフであり、
位置を確立する周期パルスと、情報を転送するデータパ
ルスが示されている。FIG. 3 is a graph showing infrared pulse intensity versus time;
A periodic pulse for establishing the position and a data pulse for transferring information are shown.
【図４】２つのビデオカメラの選択された画像処理フレ
ームを示す図であり、これらフレームは、空間的位置を
決定するために相関されることの可能な赤外線データ信
号のブリンキングを示している。FIG. 4 shows selected image processing frames of two video cameras, showing the blinking of an infrared data signal that can be correlated to determine a spatial position. .
【図５】２つの略同時の通信チャネルを用いて位置を決
定し、データを転送する別法のパルススキームを示す図
である。FIG. 5 illustrates an alternative pulse scheme for determining position and transferring data using two substantially simultaneous communication channels.
【図６】図５で示される別法のパルススキームに従って
動作する２つのビデオカメラの選択された画像処理フレ
ームを示す図であり、赤外線データ信号のブリンキング
を相関させて、第１通信チャネルにおいて空間的位置を
決定し、それと略同時に第２通信チャネルにおいてデー
タを提供することができる。FIG. 6 shows selected image processing frames of two video cameras operating according to the alternative pulse scheme shown in FIG. 5, correlating the blinking of the infrared data signal and in the first communication channel. The spatial location can be determined and data provided on the second communication channel substantially simultaneously.
【図７】動的な赤外線タグの構成を概略的に示す図であ
る。FIG. 7 is a diagram schematically showing a configuration of a dynamic infrared tag.
１０ システム ２５ ＣＣＤビデオカメラ ４０、５０ タグ ４５ 赤外線信号源 ６０ コンピュータシステム 10 System 25 CCD Video Camera 40, 50 Tag 45 Infrared Signal Source 60 Computer System
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ロイ ウォント アメリカ合衆国 94024 カリフォルニア 州 ロス アルトス モートン アベニュ ー 1541 (72)発明者 ウィリアム エム．ニューマン イギリス国 ケンブリッジ ジョージ ス トリート36 ──────────────────────────────────────────────────の Continuing on the front page (72) Inventor Roy Want, Los Altos Morton Avenue, 94024 California, USA 1541 (72) Inventor William M. Newman United Kingdom Cambridge George Street 36
Claims (2)
ステムをバーチャルにモデリングするシステムであっ
て、 少なくとも２つのビデオカメラを含み、ビデオカメラの
各々が画像シーケンスを提供するように構成され、 画像シーケンスから変調赤外線信号を抽出して物体の空
間的位置づけを識別するように構成される画像処理シス
テムを含み、 識別された物体の空間的位置づけ情報を用いてバーチャ
ルリアリティモデルを構成するバーチャルリアリティモ
デリングシステムを含む、ことを特徴とするバーチャル
モデリングシステム。A system for virtually modeling a physical system having an inanimate object and a moving object, the system comprising at least two video cameras, each of the video cameras configured to provide an image sequence, the image sequence comprising: A virtual reality modeling system that includes an image processing system configured to extract a modulated infrared signal from the object to identify a spatial positioning of the object, and to construct a virtual reality model using the spatial positioning information of the identified object. A virtual modeling system comprising:
テムであって、 少なくとも２つのビデオカメラを含み、各ビデオカメラ
が第１フレームレートで画像シーケンスを提供するよう
に構成され、 第１フレームレート未満に規定される第２レートで一連
の識別光信号を送信する光ポインタを含み、識別信号の
反射が変調された光スポットとしてビデオカメラにより
感知され、 画像シーケンスから変調された光スポットの３次元空間
位置づけを抽出するように構成される画像処理システム
を含む、ことを特徴とする光スポット位置づけシステ
ム。2. A system for accurately locating a spot of light, comprising at least two video cameras, each video camera configured to provide an image sequence at a first frame rate, wherein the video camera is configured to provide an image sequence at a first frame rate. A three-dimensional space of light spots modulated from an image sequence, comprising an optical pointer transmitting a series of identification light signals at a second rate defined in A light spot positioning system, comprising an image processing system configured to extract a positioning.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US665155 | 1984-10-26 | ||
| US66515596A | 1996-06-14 | 1996-06-14 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1091791A true JPH1091791A (en) | 1998-04-10 |
Family
ID=24668956
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP15128597A Withdrawn JPH1091791A (en) | 1996-06-14 | 1997-06-09 | Virtual modeling system and optical spot positioning system |
Country Status (2)
| Country | Link |
|---|---|
| EP (1) | EP0813040A3 (en) |
| JP (1) | JPH1091791A (en) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004048887A1 (en) * | 2002-11-25 | 2004-06-10 | Nippon Telegraph And Telephone Corporation | Real world object recognition method and device, and attached device |
| US6993188B2 (en) | 2000-05-12 | 2006-01-31 | Kabushiki Kaisha Toshiba | Video information processing apparatus and transmitter for transmitting information to the same |
| JP2006174440A (en) * | 2000-02-21 | 2006-06-29 | Sharp Corp | Image compositing apparatus |
| WO2006120820A1 (en) * | 2005-05-13 | 2006-11-16 | Brother Kogyo Kabushiki Kaisha | Wireless tag communication system |
| JP2008070923A (en) * | 2006-09-12 | 2008-03-27 | Ritsumeikan | Authentication system, authentication method and terminal |
| JP2009139317A (en) * | 2007-12-10 | 2009-06-25 | Denso Wave Inc | Article position management system |
| KR101317399B1 (en) * | 2011-12-05 | 2013-10-11 | 한국과학기술연구원 | Method and system for distinguishing multiple objects using external vision device |
| JP2016532917A (en) * | 2013-05-24 | 2016-10-20 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | Generating and updating venue maps |
| KR20190067001A (en) * | 2017-12-06 | 2019-06-14 | 서울과학기술대학교 산학협력단 | System for indoor positioning using ir led and thereof method |
| JP2020513569A (en) * | 2016-10-31 | 2020-05-14 | ヴィザル・テクノロジー・ソシエテ・ア・レスポンサビリテ・リミテ | Device and method for detecting light modulated signal in video stream |
| JP2021521572A (en) * | 2018-04-14 | 2021-08-26 | ザ カリフォルニア ステイト ユニバーシティ − サン マルコス | Practical laboratory equipment and demonstration machines with hybrid virtual / extended environment and how to use them |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1998035328A2 (en) | 1997-02-11 | 1998-08-13 | Scientific Generics Limited | Signalling system |
| US7483049B2 (en) | 1998-11-20 | 2009-01-27 | Aman James A | Optimizations for live event, real-time, 3D object tracking |
| US6707487B1 (en) * | 1998-11-20 | 2004-03-16 | In The Play, Inc. | Method for representing real-time motion |
| US6567116B1 (en) | 1998-11-20 | 2003-05-20 | James A. Aman | Multiple object tracking system |
| GB2345215B (en) * | 1998-12-22 | 2003-06-25 | Ibm | Tie-point identification for merging images or video |
| DE19917660A1 (en) * | 1999-04-19 | 2000-11-02 | Deutsch Zentr Luft & Raumfahrt | Method and input device for controlling the position of an object to be graphically represented in a virtual reality |
| GB9925140D0 (en) * | 1999-10-25 | 1999-12-22 | Roke Manor Research | Tag tracking system |
| JP2001216575A (en) * | 1999-11-23 | 2001-08-10 | Xerox Corp | System and method for virtual control of user operation type |
| GB2373942A (en) * | 2001-03-28 | 2002-10-02 | Hewlett Packard Co | Camera records images only when a tag is present |
| DE10203992A1 (en) * | 2002-01-31 | 2003-08-14 | Deutsch Zentr Luft & Raumfahrt | input device |
| IL155921A (en) * | 2003-05-14 | 2010-11-30 | P W Precyse Wireless Ltd | Tracking system using optical tags |
| US8031227B2 (en) | 2005-03-07 | 2011-10-04 | The Regents Of The University Of Michigan | Position tracking system |
| WO2011154949A2 (en) * | 2010-06-10 | 2011-12-15 | Audhumbla Ltd. | Optical tracking system and method for herd management therewith |
| ITBO20130066A1 (en) * | 2013-02-15 | 2014-08-16 | Filippo Guerzoni | METHOD AND SYSTEM OF CONFIGURATION AND SIMULATION OF THE OPERATION OF A MONITORING SYSTEM. |
| CN104869312B (en) * | 2015-05-22 | 2017-09-29 | 北京橙鑫数据科技有限公司 | Intelligent tracking shooting device |
| US10522251B2 (en) * | 2016-07-08 | 2019-12-31 | International Business Machines Corporation | Infrared detectors and thermal tags for real-time activity monitoring |
| EP3533217A1 (en) | 2016-10-27 | 2019-09-04 | Signify Holding B.V. | A method of providing information about an object |
| CN106774992A (en) * | 2016-12-16 | 2017-05-31 | 深圳市虚拟现实技术有限公司 | The point recognition methods of virtual reality space location feature |
| CN106774993A (en) * | 2016-12-16 | 2017-05-31 | 深圳市虚拟现实技术有限公司 | Feature point recognition method based on neutral net |
| CN112880660B (en) * | 2021-01-09 | 2022-10-25 | 西安交通大学 | Fusion positioning system and method for WiFi and infrared thermal imager of intelligent building |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2067032T3 (en) * | 1989-07-19 | 1995-03-16 | Bell Communications Res | BRIGHT PEN SYSTEM FOR PROJECTED IMAGES. |
| US5227985A (en) * | 1991-08-19 | 1993-07-13 | University Of Maryland | Computer vision system for position monitoring in three dimensions using non-coplanar light sources attached to a monitored object |
| US5363185A (en) * | 1992-12-23 | 1994-11-08 | The United States Of America As Represented By The Secretary Of The Air Force | Method and apparatus for identifying three-dimensional coordinates and orientation to a robot |
| GB2280504A (en) * | 1993-07-28 | 1995-02-01 | Data Stream Corp | Position data input system for computer. |
-
1997
- 1997-06-06 EP EP97303945A patent/EP0813040A3/en not_active Withdrawn
- 1997-06-09 JP JP15128597A patent/JPH1091791A/en not_active Withdrawn
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4658787B2 (en) * | 2000-02-21 | 2011-03-23 | シャープ株式会社 | Image synthesizer |
| JP2006174440A (en) * | 2000-02-21 | 2006-06-29 | Sharp Corp | Image compositing apparatus |
| US6993188B2 (en) | 2000-05-12 | 2006-01-31 | Kabushiki Kaisha Toshiba | Video information processing apparatus and transmitter for transmitting information to the same |
| WO2004048887A1 (en) * | 2002-11-25 | 2004-06-10 | Nippon Telegraph And Telephone Corporation | Real world object recognition method and device, and attached device |
| WO2006120820A1 (en) * | 2005-05-13 | 2006-11-16 | Brother Kogyo Kabushiki Kaisha | Wireless tag communication system |
| US8040222B2 (en) | 2005-05-13 | 2011-10-18 | Brother Kogyo Kabushiki Kaisha | Radio-frequency tag communication system |
| JP2008070923A (en) * | 2006-09-12 | 2008-03-27 | Ritsumeikan | Authentication system, authentication method and terminal |
| JP2009139317A (en) * | 2007-12-10 | 2009-06-25 | Denso Wave Inc | Article position management system |
| KR101317399B1 (en) * | 2011-12-05 | 2013-10-11 | 한국과학기술연구원 | Method and system for distinguishing multiple objects using external vision device |
| JP2016532917A (en) * | 2013-05-24 | 2016-10-20 | クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ | Generating and updating venue maps |
| JP2020513569A (en) * | 2016-10-31 | 2020-05-14 | ヴィザル・テクノロジー・ソシエテ・ア・レスポンサビリテ・リミテ | Device and method for detecting light modulated signal in video stream |
| KR20190067001A (en) * | 2017-12-06 | 2019-06-14 | 서울과학기술대학교 산학협력단 | System for indoor positioning using ir led and thereof method |
| JP2021521572A (en) * | 2018-04-14 | 2021-08-26 | ザ カリフォルニア ステイト ユニバーシティ − サン マルコス | Practical laboratory equipment and demonstration machines with hybrid virtual / extended environment and how to use them |
Also Published As
| Publication number | Publication date |
|---|---|
| EP0813040A3 (en) | 1999-05-26 |
| EP0813040A2 (en) | 1997-12-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH1091791A (en) | Virtual modeling system and optical spot positioning system | |
| JP4021970B2 (en) | High precision position determination data transmission system and method | |
| JPH1083454A (en) | Infrared tag locating system and identification tag locating system | |
| EP0629881B1 (en) | Infrared beam steering system | |
| US8471812B2 (en) | Pointing and identification device | |
| JP4214288B2 (en) | Information transmission system and information transmission method | |
| JP4630146B2 (en) | Position management system and position management program | |
| US10027898B2 (en) | TOF illumination system and TOF camera and method for operating, with control means for driving electronic devices located in the scene | |
| JP3918813B2 (en) | Data communication system, data transmission device, and data reception device | |
| JP2017538133A (en) | Position tracking system and method | |
| US7038661B2 (en) | Pointing device and cursor for use in intelligent computing environments | |
| Matsushita et al. | ID CAM: A smart camera for scene capturing and ID recognition | |
| US20040169639A1 (en) | Visible pointer tracking with separately detectable pointer tracking signal | |
| CA2628657A1 (en) | Landmark navigation for vehicles using blinking optical beacons | |
| US10944474B2 (en) | Dual-mode optical devices for time-of-flight sensing and information transfer | |
| EP3356843A1 (en) | Range imaging | |
| CN102376156A (en) | Camera infrared active tracking device and camera control system employing the same | |
| US7474855B2 (en) | Information support system | |
| Patel et al. | icam: Precise at-a-distance interaction in the physical environment | |
| WO2004056153A1 (en) | Audio information support system | |
| Manabe et al. | Tag system with low-powered tag and depth sensing camera | |
| KR102245420B1 (en) | Shop monitoring system based on multi-purposes alarm device, and multi-purposes alarm device and central management server for the same | |
| KR101904223B1 (en) | Method and apparatus for controlling remote controller using infrared light and retroreflection sheet | |
| Raskar et al. | Photosensing Wireless Tags for Assisting Geometric Procedures |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20040907 |