JP6796485B2 - Motion tracking by wireless reflection of the body - Google Patents

Motion tracking by wireless reflection of the body Download PDF

Info

Publication number
JP6796485B2
JP6796485B2 JP2016521320A JP2016521320A JP6796485B2 JP 6796485 B2 JP6796485 B2 JP 6796485B2 JP 2016521320 A JP2016521320 A JP 2016521320A JP 2016521320 A JP2016521320 A JP 2016521320A JP 6796485 B2 JP6796485 B2 JP 6796485B2
Authority
JP
Japan
Prior art keywords
detecting
pattern
gesture
signal
reflections
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016521320A
Other languages
Japanese (ja)
Other versions
JP2016540960A (en
Inventor
ファデル アディブ
ファデル アディブ
ザカリー エドワード カベラーチ
ザカリー エドワード カベラーチ
ディナ カタビ
ディナ カタビ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Massachusetts Institute of Technology
Original Assignee
Massachusetts Institute of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Massachusetts Institute of Technology filed Critical Massachusetts Institute of Technology
Publication of JP2016540960A publication Critical patent/JP2016540960A/en
Application granted granted Critical
Publication of JP6796485B2 publication Critical patent/JP6796485B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0247—Determining attitude
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/0507—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  using microwaves or terahertz waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1116—Determining posture transitions
    • A61B5/1117—Fall detection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/113—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb occurring during breathing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/003—Bistatic radar systems; Multistatic radar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02—Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/06—Systems determining position data of a target
    • G01S13/08—Systems for measuring distance only
    • G01S13/32—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated
    • G01S13/34—Systems for measuring distance only using transmission of continuous waves, whether amplitude-, frequency-, or phase-modulated, or unmodulated using transmission of continuous, frequency-modulated waves while heterodyning the received signal, or a signal derived therefrom, with a locally-generated signal related to the contemporaneously transmitted signal
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/66—Radar-tracking systems; Analogous systems
    • G01S13/72—Radar-tracking systems; Analogous systems for two-dimensional tracking, e.g. combination of angle and range tracking, track-while-scan radar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/87—Combinations of radar systems, e.g. primary radar and secondary radar
    • G01S13/878—Combination of several spaced transmitters or receivers of known location for determining the position of a transponder or a reflector
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/0294—Trajectory determination or predictive filtering, e.g. target tracking or Kalman filtering
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/02—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using radio waves
    • G01S5/14—Determining absolute distances from a plurality of spaced points of known location
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/02—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00
    • G01S7/41—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S13/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G01S7/415—Identification of targets based on measurements of movement associated with the target
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/16—Details of sensor housings or probes; Details of structural supports for sensors
    • A61B2562/17—Comprising radiolucent components
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Physiology (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Electromagnetism (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Emergency Alarm Devices (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)

Description

関連出願の相互参照
本出願は、
・２０１３年１０月９日に出願した「MOTION TRACKING VIA BODY RADIO REFLECTIONS」と題した米国仮出願第６１／８８８，６６２号、
・２０１４年２月２４日に出願した「MULTI-PERSON MOTION TRACKING VIA BODY RADIO REFLECTIONS」と題した米国仮出願第６１／９４３，９５７号、及び
・２０１４年４月２８日に出願した「MULTI-PERSON MOTION TRACKING VIA BODY RADIO REFLECTIONS」と題した米国仮出願第６１／９８５，０６６号の利益を主張するものである。これらの出願は、参照によって本明細書に組み込まれる。 Cross-reference of related applications This application is
-US Provisional Application No. 61 / 888,662, entitled "MOTION TRACKING VIA BODY RADIO REFLECTIONS" filed on October 9, 2013,
-US provisional application No. 61 / 943,957 entitled "MULTI-PERSON MOTION TRACKING VIA BODY RADIO REFLECTIONS" filed on February 24, 2014, and "MULTI-PERSON" filed on April 28, 2014. It claims the interests of US Provisional Application No. 61 / 985,066 entitled "MOTION TRACKING VIA BODY RADIO REFLECTIONS". These applications are incorporated herein by reference.

連邦政府による資金提供を受けた研究の記載
本発明は、国立科学財団（National Science Foundation）によって与えられたＣＮＳ−１１１７１９４の下での政府の支援によってなされた。政府は、本発明に特定の権利を有する。 Description of Federally Funded Research The present invention was made with government support under CNS-11171194, which was awarded by the National Science Foundation. Government has specific rights to the invention.

本発明は、体の無線反射によって人を追跡することに関する。 The present invention relates to tracking a person by radioreflexes of the body.

近年、純粋に人の体からの無線反射に基づいてユーザの場所を突き止めることができる技術が登場してきた。そのような技術に関連する課題は、複数の人へとスケーリングすること、正確にそれらの人の場所を突き止め、それらの人のジェスチャを追跡すること、及び検出可能であるように動くことをユーザに要求することと対照的に動かないユーザの場所を突き止めることを含む。 In recent years, technologies have emerged that can locate a user purely based on radio reflections from the human body. The challenges associated with such technologies are scaling to multiple people, pinpointing their location, tracking their gestures, and moving to be detectable. Includes locating a user who does not move as opposed to requesting.

屋内環境内の人の存在を検出し及び／又は追跡するための代替的な技術は、撮影された画像又は動画が処理されるカメラに基づく手法と、超音波又は赤外線パッシブモーションセンサとを含む。これらの代替的な技術のそれぞれは、限られた精度、計算の複雑さ、プライバシーに関する懸念、及び／又は展開のコストに悩まされる。 Alternative techniques for detecting and / or tracking the presence of a person in an indoor environment include camera-based techniques in which captured images or moving images are processed and ultrasonic or infrared passive motion sensors. Each of these alternative technologies suffers from limited accuracy, computational complexity, privacy concerns, and / or cost of deployment.

一態様においては、概して、（追跡又は大きな及び／若しくは小さな動作を含む）１人又は複数人の追跡の手法が、複数の無線周波数アンテナを利用する。一部の例においては、複数の送信アンテナ及び複数の受信アンテナが存在するが、その他の例においては、一部のアンテナが例えば異なる時間に送信と受信との間で共有される可能性があることを理解されたい。概して、少なくとも一部の実施形態においては、場所特定データが、複数のアンテナから信号を同時に送信し、複数のアンテナにおいて体及び固定された物体（例えば、壁、机など）からの反射を受信することによって決定される。 In one aspect, in general, one or more person tracking techniques (including tracking or large and / or small movements) utilize multiple radio frequency antennas. In some examples there are multiple transmit antennas and multiple receive antennas, but in other examples some antennas may be shared between transmit and receive, for example at different times. Please understand that. In general, in at least some embodiments, the location-specific data transmits signals from multiple antennas simultaneously and receives reflections from the body and fixed objects (eg, walls, desks, etc.) at the multiple antennas. It is determined by that.

別の態様においては、概して、屋内で場所を突き止めるための方法が、動く体からの信号の反射を用いる。方法は、送信アンテナからの送信される信号パターンの繰り返しを含む送信される信号を放射するステップと、送信される信号の反射を含む受信される信号を１組の受信アンテナのそれぞれの受信アンテナにおいて受信するステップとを含む。それぞれの受信される信号に関して、受信される信号は、動く体からの送信信号パターンの反射の連続するパターンを形成するために処理され、反射の連続するパターンは、前記動く体からの直接的な反射の影響を維持すること、及び少なくとも１つの動かない物体からも反射される前記動く体からのマルチパス反射の少なくとも一部の影響を除外することによって処理される。体の位置が、反射の連続するパターンを処理した結果を用いて決定される。 In another aspect, the method for locating indoors generally uses the reflection of signals from a moving body. The method is to radiate the transmitted signal, including repeating the transmitted signal pattern from the transmitting antenna, and to receive the received signal, including the reflection of the transmitted signal, at each receiving antenna of the set of receiving antennas. Includes steps to receive. For each received signal, the received signal is processed to form a continuous pattern of reflections of the transmitted signal pattern from the moving body, and the continuous pattern of reflections is direct from the moving body. It is processed by maintaining the effects of reflections and excluding the effects of at least a portion of the multipath reflections from the moving body that are also reflected by at least one non-moving object. Body position is determined using the results of processing a continuous pattern of reflections.

態様は、以下のうちの１つ又は任意の組合せを含む可能性がある。 Aspects may include one or any combination of the following:

各受信アンテナに関して、マルチパス反射を除外することは、動く体からの直接的な反射を特定することと、少なくとも１つの動かない物体からも反射する動く体からの間接的な反射を特定することとを含む。 For each receiving antenna, excluding multipath reflections identifies the direct reflections from the moving body and the indirect reflections from the moving body that also reflect from at least one stationary object. And include.

各受信アンテナに関して、マルチパス反射を除外することは、送信アンテナから受信アンテナへの第１の往復遅延時間を特定することを含み、前記第１の往復遅延時間は、動く体から反射する信号パターンの最も短い往復伝播時間を表す。 For each receiving antenna, excluding multipath reflection involves identifying a first round trip delay time from the transmitting antenna to the receiving antenna, said first round trip delay time being a signal pattern reflected from a moving body. Represents the shortest round-trip propagation time of.

体の位置を決定することは、それぞれの受信される信号に関する特定された第１の往復遅延時間を用いて特定された第１の往復遅延時間よりも長い往復遅延時間に対応するマルチパス反射を除去することを含む。 Determining body position provides a multipath reflection that corresponds to a round-trip delay that is longer than the first round-trip delay identified using the specified first round-trip delay for each received signal. Including removing.

特定された第１の往復遅延時間を用いることは、反射の連続するパターンにわたる前記時間を追跡することを含む。 Using the identified first round-trip delay time involves tracking the time over a continuous pattern of reflections.

１組の受信アンテナは、少なくとも２つのアンテナが異なる高度を有するようにして少なくとも３つのアンテナを含む。 A set of receiving antennas includes at least three antennas such that at least two antennas have different altitudes.

体の位置を決定することは、体の高度を決定することを含む。 Determining the position of the body involves determining the altitude of the body.

方法は、体の追跡された位置において動作のパターンを検出するステップをさらに含む。 The method further comprises the step of detecting a pattern of movement at the tracked position of the body.

動作のパターンを検出するステップは、体の位置の軌跡の時間的パターンを検出するステップを含む。 The step of detecting the pattern of movement includes the step of detecting the temporal pattern of the locus of the position of the body.

動作のパターンを検出するステップは、場所の特定の環境内で動作のパターンを検出するステップを含む。 The steps of detecting a pattern of behavior include the step of detecting a pattern of behavior within a particular environment of the location.

動作のパターンを検出するステップは、ジェスチャを検出するステップを含む。 The step of detecting the pattern of motion includes the step of detecting the gesture.

ジェスチャを検出するステップは、体全体のジェスチャを検出するステップを含む。 The step of detecting a gesture includes a step of detecting a gesture of the whole body.

ジェスチャを検出するステップは、手足のジェスチャを検出するステップを含む。 The step of detecting a gesture includes a step of detecting a gesture of a limb.

ジェスチャを検出するステップは、指さしジェスチャを検出するステップを含む。 The step of detecting a gesture includes a step of detecting a pointing gesture.

指さしジェスチャを検出するステップは、指さしジェスチャの方向を検出するステップを含む。 The step of detecting the pointing gesture includes a step of detecting the direction of the pointing gesture.

方法は、ジェスチャを検出するステップに応じて電気デバイス又は電子デバイスを制御するステップをさらに含む。 The method further comprises controlling an electrical or electronic device depending on the step of detecting the gesture.

電気デバイス又は電子デバイスを制御することは、ゲームデバイス、電化製品、及び照明デバイスのうちの少なくとも１つを制御することを含む。 Controlling an electrical or electronic device includes controlling at least one of a gaming device, an appliance, and a lighting device.

動作のパターンを検出するステップは、転倒する活動を検出するステップを含む。 The step of detecting the pattern of movement includes the step of detecting the activity of falling.

転倒する活動を検出するステップは、高度の変化、体の高度を変化させる継続時間、及び最終的な高度の床の高さとの近さのうちの少なくとも１つを監視するステップを含む。 The steps of detecting fall activity include monitoring at least one of altitude changes, duration of change in body altitude, and proximity to the final altitude floor height.

信号パターンは、第１の周波数から第２の周波数まで掃引された搬送周波数における狭帯域信号を含む。 The signal pattern includes a narrowband signal at the carrier frequency swept from the first frequency to the second frequency.

第１の周波数及び第２の周波数は、両方とも、５．４６〜７．２５ギガヘルツの範囲内である。 Both the first frequency and the second frequency are in the range of 5.46-7.25 GHz.

受信される信号を受信するステップは、少なくとも１つの障害物を通った伝播の後の送信される信号の反射を受信するステップを含む。 The step of receiving the received signal includes the step of receiving the reflection of the transmitted signal after propagation through at least one obstacle.

体は、人である。 The body is a person.

体は、人の手足である。 The body is a person's limbs.

別の態様においては、概して、デバイスとインタラクションするための方法が、人によって行われたジェスチャを用いる。方法は、送信アンテナからの送信される信号パターンの繰り返しを含む無線周波数の送信される信号を放射すること、送信される信号の反射を含む受信される信号を１組の受信アンテナのそれぞれの受信アンテナにおいて受信すること、送信される信号パターンの連続する反射を用いて位置を追跡することを含む、体の動作を追跡するステップを含む。動作のパターンが、体の追跡された動作を用いて検出される。動作の検出されたパターンが、デバイスとインタラクションするために使用される。 In another aspect, the method for interacting with the device generally uses gestures made by humans. The method is to radiate the transmitted signal of radio frequency including the repetition of the transmitted signal pattern from the transmitting antenna, and to receive the received signal including the reflection of the transmitted signal by each of the receiving antennas of the set. It comprises the steps of tracking body movements, including tracking the position using continuous reflections of the signal pattern received and transmitted at the antenna. Patterns of movement are detected using the tracked movements of the body. The detected pattern of motion is used to interact with the device.

態様は、以下のうちの１つ又は任意の組合せを含む可能性がある。 Aspects may include one or any combination of the following:

動作を追跡するステップは、送信される信号の伝播時間を使用するステップを含む。 The step of tracking the motion includes a step of using the propagation time of the transmitted signal.

送信される信号パターンは、周波数変調搬送波（ＦＭＣＷ，Frequency Modulated Carrier Wave）信号パターンを含む。 The transmitted signal pattern includes a frequency modulated carrier wave (FMCW) signal pattern.

送信される信号の反射は、障害物を通り抜ける反射を含む。 The reflection of the transmitted signal includes the reflection through obstacles.

動作のパターンを検出することは、ジェスチャを検出することを含む。 Detecting a pattern of motion involves detecting a gesture.

ジェスチャを検出することは、２次元のジェスチャを検出することを含む。 Detecting a gesture involves detecting a two-dimensional gesture.

ジェスチャを検出することは、３次元のジェスチャを検出することを含む。 Detecting gestures involves detecting three-dimensional gestures.

ジェスチャを検出することは、体全体のジェスチャを検出することを含む。 Detecting gestures involves detecting gestures throughout the body.

ジェスチャを検出することは、手足のジェスチャを検出することを含む。 Detecting gestures involves detecting limb gestures.

手足のジェスチャを検出することは、反射のサイズに従って手足からの反射を人の体全体の反射と区別することを含む。 Detecting limb gestures involves distinguishing reflexes from limbs from reflexes throughout the human body according to the size of the reflex.

ジェスチャを検出することは、指さしジェスチャを検出することを含む。 Detecting a gesture involves detecting a pointing gesture.

方法は、ジェスチャを検出することに応じて電気デバイス又は電子デバイスを制御するステップをさらに含む。 The method further comprises controlling an electrical or electronic device in response to detecting the gesture.

別の態様においては、概して、方法が、人の転倒を検出することを対象とする。方法は、送信アンテナからの送信される信号パターンの繰り返しを含む無線周波数の送信される信号を放射すること、送信される信号の反射を含む受信される信号を１組の受信アンテナのそれぞれの受信アンテナにおいて受信すること、送信される信号パターンの連続する反射を用いて位置を追跡することを含む、人の動作を追跡するステップを含む。動作のパターンは、体の追跡された動作を用いて検出され、動作の検出されたパターンは、人の転倒を検出するために使用される。 In another aspect, the method generally aims to detect a person's fall. The method is to radiate the transmitted signal of radio frequency including the repetition of the transmitted signal pattern from the transmitting antenna, and to receive the received signal including the reflection of the transmitted signal by each of the receiving antennas of the set. Includes the step of tracking a person's movements, including tracking the position using the continuous reflection of the signal pattern being received and transmitted at the antenna. Motion patterns are detected using the body's tracked motion, and motion-detected patterns are used to detect a person's fall.

態様は、以下のうちの１つ又は任意の組合せを含む可能性がある。 Aspects may include one or any combination of the following:

送信される信号の反射は、障害物を通り抜ける反射を含む。 The reflection of the transmitted signal includes the reflection through obstacles.

動作のパターンを検出することは、高度の変化、体の高度を変化させる継続時間、及び最終的な高度の床の高さとの近さのうちの少なくとも１つを監視することを含む。 Detecting patterns of motion involves monitoring at least one of altitude changes, duration of change in body altitude, and proximity to the final altitude floor height.

動作のパターンを検出することは、少なくとも閾値の高度の変化を検出することを含む高度の変化を監視することを含む。 Detecting patterns of motion involves monitoring altitude changes, including at least detecting altitude changes in thresholds.

動作のパターンを検出することは、閾値未満の継続時間を検出することを含む高度を変化させる継続時間を監視することを含む。 Detecting a pattern of motion involves monitoring the duration of an altitude change, including detecting a duration below a threshold.

動作のパターンを検出することは、閾値未満の最終的な高度を検出することを含む最終的な高度の近さを監視することを含む。 Detecting patterns of motion involves monitoring the proximity of the final altitude, including detecting the final altitude below the threshold.

動作のパターンを検出することは、少なくとも第１の閾値の高度の変化、第２の閾値未満の継続時間、及び第３の閾値未満の最終的な高度からなる一群の条件の各条件が満たされるときを検出することを含む。 Detecting a pattern of motion satisfies each condition of a group of conditions consisting of at least a change in altitude of the first threshold, a duration below the second threshold, and a final altitude below the third threshold. Includes detecting when.

別の態様においては、概して、システムが、送信アンテナ及び１組の受信アンテナを含む。送信機が、送信アンテナに接続され、送信信号パターンの繰り返しを含む送信信号を生じさせるように構成される。受信機が、送信信号の反射を含む信号を受信するために、１組の受信アンテナに接続される。プロセッサが、送信機及び受信機に接続される。プロセッサは、システムに上述の方法のうちのいずれか１つのすべてのステップを実行させるように構成される。 In another aspect, the system generally includes a transmitting antenna and a set of receiving antennas. A transmitter is connected to a transmitting antenna and is configured to generate a transmitting signal that includes repeating transmission signal patterns. The receiver is connected to a set of receiving antennas to receive the signal, including the reflection of the transmitted signal. The processor is connected to the transmitter and receiver. The processor is configured to cause the system to perform all steps of any one of the methods described above.

一部の例において、複数のアンテナから送信される信号は狭い周波数帯域（例えば、正弦波）を有し、周波数は、例えば、経時的に周波数を線形に変化させる第１の周波数から第２の周波数まで掃引される第１の周波数と第２の周波数との間の固定のパターンで変わる。この掃引されたパターンが、繰り返される可能性がある。一部の例において、異なるアンテナから送信される信号は、時間的に互いにオフセットされ（又は代替的に周波数的にオフセットされ）、それによって、はっきりと異なる周波数で体から反射された異なる送信機からの成分を有する受信アンテナにおける受信された信号をもたらす。 In some examples, the signals transmitted from the plurality of antennas have a narrow frequency band (eg, a sine wave), and the frequency is, for example, a first frequency to a second frequency that changes the frequency linearly over time. It varies with a fixed pattern between the first and second frequencies that are swept to frequency. This swept pattern can be repeated. In some examples, signals transmitted from different antennas are temporally offset from each other (or alternative to frequency offset), thereby being reflected from the body at distinctly different frequencies from different transmitters. It results in the received signal at the receiving antenna having the component of.

一部の例においては、基準送信信号が、送信アンテナのそれぞれに分配され、異なる送信アンテナにおいて異なる時間だけ遅延される。基準送信信号は、送信アンテナのそれぞれから受信アンテナへの体から反射される伝播（飛行時間（time of flight））時間を決定するために受信アンテナのそれぞれにおいてやはり使用される。一部の例において、これらの伝播時間は、受信された信号を基準送信信号によって変調することによって決定される。一部の例において、変調された受信された信号は、平均された受信された信号を得るためにいくつかの掃引サイクルにわたって平均される（振幅及び位相を有する複素信号としてか、又は代替的に２乗された振幅の大きさだけを平均するかのどちらか）。 In some examples, the reference transmit signal is distributed to each of the transmit antennas and is delayed by different times at different transmit antennas. The reference transmit signal is also used at each of the receive antennas to determine the time of flight reflected from the body from each of the transmit antennas to the receive antenna. In some examples, these propagation times are determined by modulating the received signal with a reference transmit signal. In some examples, the modulated received signal is averaged over several sweep cycles to obtain an averaged received signal (as a complex signal with amplitude and phase, or as an alternative). Either averaging only the magnitude of the squared amplitude).

一部の例においては、各送信及び受信アンテナ局に基準送信信号を分配するのではなく、基準タイミング信号が局に分配され、基準送信信号が各局で別々に合成される。 In some examples, instead of distributing the reference transmit signal to each transmit and receive antenna station, the reference timing signal is distributed to the stations and the reference transmit signal is synthesized separately at each station.

複数の体の位置が、送信アンテナ及び受信アンテナに関する複数の対の間の決定された伝播時間から決定される。 The position of the plurality of bodies is determined from the determined propagation time between the plurality of pairs of transmitting and receiving antennas.

態様は、以下の特徴のうちの１又は２以上を含み得る。 Aspects may include one or more of the following features:

（例えば、壁などからの）反射の決まったパターンの影響が、例えば、受信信号の長期的な平均を差し引くことによって、又は連続する周波数掃引からの受信信号の差を取ることによって受信信号から効果的に取り除かれる。 The effect of a fixed pattern of reflection (eg, from a wall, etc.) is effective from the received signal, for example, by subtracting the long-term average of the received signal, or by taking the difference of the received signal from a continuous frequency sweep. Is removed.

送信アンテナ及び／又は受信アンテナは、指向性アンテナである。 The transmitting antenna and / or the receiving antenna is a directional antenna.

アンテナは、直線に沿った決まった配列で、２次元のパターンで（例えば、体が追跡される領域の面の「Ｔ」パターンで）、又は３次元の配列で配列される。一部の例においては、決まった配列が知られており、一方、その他の例においては、アンテナの位置の幾何学的関係が位置の間の無線伝播時間を用いて推測される。 The antennas are arranged in a fixed arrangement along a straight line, in a two-dimensional pattern (eg, in the "T" pattern of the surface of the area where the body is tracked), or in a three-dimensional arrangement. In some cases a fixed sequence is known, while in others the geometric relationship of antenna positions is inferred using the radio propagation time between positions.

一部の例において、アンテナは、例えば、壁又は天井に沿って室内に配列される。その他の例において、アンテナは、マルチルーム空間（例えば、病棟又は小売店）の複数の部屋にわたって配列される。 In some examples, the antennas are arranged indoors, for example, along a wall or ceiling. In another example, the antennas are arranged across multiple rooms in a multi-room space (eg, a ward or retail store).

複数の体の位置が、反復的に（ａ）複数の送信機−受信機の対の間の決定された伝播時間に基づいて体の位置を決定し、（ｂ）位置を決定した後、その位置からの反射の影響を残りの信号から効果的に取り除くことによって決定される。一部の例において、位置からの反射の影響を取り除くステップは、位置の周りの領域から反射の影響を取り除くことを含み、その領域は、反射を引き起こす物体の空間的なモデル（例えば、人間の体のモデル）に従って決定される。一部の例において、この反復は、それぞれの反復において、受信された信号内のその他のＮ−１個の体の影響を取り除いた第ｎの体に関する位置を決定することによって領域内のＮ個の体を特定した後で繰り返される。 Multiple body positions are iteratively (a) determined based on the determined propagation time between multiple transmitter-receiver pairs, and (b) after determining the position. It is determined by effectively removing the effect of reflections from the position from the remaining signal. In some examples, the step of removing the effects of reflections from a position involves removing the effects of reflections from the area around the position, which area is a spatial model of the object that causes the reflection (eg, human). It is determined according to the body model). In some examples, this iteration, in each iteration, determines the position of the nth body within the region with the other N-1 bodies unaffected in the received signal. Repeated after identifying the body of.

さまざまな送信機における基準送信信号の遅延は、決まっていることも、環境内の体の検出された位置に従って、例えば、検出された体の最大の範囲に従って適合されることもある。 The delay of the reference transmission signal in various transmitters may be fixed or adapted according to the detected position of the body in the environment, for example, according to the maximum range of the detected body.

比較的動作の少ない体（例えば、人間、ペットなど）の呼吸が、呼吸頻度の検出される体の位置からの反射される電力の振動を用いて検出される。一部の例においては、基準の時間における体に関する基準電力とその体に関するその後の電力との間の差が、呼吸に関連する振動を検出するために使用される。 Breathing of a relatively inactive body (eg, human, pet, etc.) is detected using the vibration of the reflected power from the position of the body where the respiration frequency is detected. In some examples, the difference between the reference power for a body at a reference time and subsequent power for that body is used to detect vibrations associated with respiration.

複雑な体が、３次元空間内で検出される。例えば、（例えば、ジェスチャを形成する）手足が胴体から延伸している人間の体が、比較的強い反射されるエネルギーを与える可能性がある体の胴体の場所の特定に従って、並びに検出された胴体の位置の近くの及び／又は検出された胴体の位置の適切な幾何学的関係の比較的弱い反射されるエネルギーを与える可能性がある体の手足の場所の特定に従って検出され得る。より一般的には、複雑な体の場所の特定は、複雑な体のモデル又は制約に基づく幾何学的関係の複雑な体の要素の場所の特定に基づく可能性がある。 Complex bodies are detected in three-dimensional space. For example, according to the location of the torso of the body where the human body, whose limbs (eg, forming gestures) extend from the torso, can give relatively strong reflected energy, as well as the detected torso. It can be detected according to the location of the limbs of the body, which may give relatively weak reflected energy in the proper geometric relationship of the position of the torso near and / or the position of the detected torso. More generally, the location of complex bodies may be based on the location of complex body elements of geometric relationships based on complex body models or constraints.

別の態様においては、概して、人間の体から反射された無線信号から１又は２以上の人間及び体の部分の３次元の動作を追跡するためのデバイスが使用される。手法は、たとえ人がデバイスから遮蔽されているか又は異なる部屋の中にいるとしても機能する。デバイスは、送信のための１又は２以上のアンテナ及び受信のための１又は２以上のアンテナを有する。デバイスは、無線信号を送信し、その無線信号の反射を用いて、信号が送信アンテナから反射する物体まで及び受信アンテナのそれぞれに戻るまでにかかる時間を推定する。そして、デバイスは、アンテナの位置のそのデバイスの知識を用いて幾何学的な基準モデルを生成し、その幾何学的な基準モデルは、受信アンテナによって観測された往復遅延を反射する体の２次元の（又は３次元の）位置にマッピングする。 In another aspect, a device is generally used for tracking one or more three-dimensional movements of a human and body part from a radio signal reflected from the human body. The technique works even if the person is shielded from the device or is in a different room. The device has one or more antennas for transmission and one or more antennas for reception. The device transmits a radio signal and uses the reflection of the radio signal to estimate the time it takes for the signal to return from the transmitting antenna to the reflecting object and back to each of the receiving antennas. The device then uses its knowledge of the location of the antenna to generate a geometric reference model, which is a two-dimensional body that reflects the round-trip delay observed by the receiving antenna. Map to a (or three-dimensional) position.

一部の例においては、マルチシフト周波数変調搬送波（ＦＭＣＷ）と呼ばれる技法が使用される。技法は、異なるソースから生じさせられたＦＭＣＷ信号を時間的に又は周波数的にシフトすることによってそれらのＦＭＣＷ信号を区別することを許容する。この区別することができる能力は、時間的、周波数的、又は符号的にシフトすること（例えば、異なるアンテナから送信された信号に異なる拡散符号を掛けること）によって実現され得る。 In some examples, a technique called multishift frequency modulated carrier (FMCW) is used. The technique allows FMCW signals generated from different sources to be distinguished by shifting them in time or frequency. This distinguishable ability can be achieved by shifting in time, frequency, or code (eg, multiplying signals transmitted from different antennas by different spreading codes).

一部の例においては、連続シルエットキャンセル（Successive Silhouette Cancellation）と呼ばれる技法が使用される。技法は、（１又は２以上の）最も強い反射体−−すなわち、人（又は１組の人）を発見し、受信された信号からそれらの影響を取り除き、それから、より弱い反射体（人）の発見に進むことによってシーン内の異なる人の位置を反復的に発見する。アルゴリズムは、人の場所を突き止める文脈で説明されるが、任意の種類の動く又は動かない物体の場所を突き止めることに一般化され得る。 In some examples, a technique called Successive Silhouette Cancellation is used. The technique finds the strongest reflector (one or more) -ie, a person (or a pair of people), removes their influence from the received signal, and then the weaker reflector (person). Iteratively discover the location of different people in the scene by proceeding to the discovery of. The algorithm is described in the context of locating a person, but can be generalized to locating any kind of moving or immobile object.

説明される技法は、人間を追跡することに焦点を当てるが、任意の動く物体（例えば、ペット、ロボット）又は動かない物体を追跡することに一般化され得る。 The techniques described focus on tracking humans, but can be generalized to tracking any moving object (eg, pet, robot) or immobile object.

別の態様においては、概して、異なるソースから送信された周波数変調搬送波（ＦＭＣＷ）信号を区別するための方法及び装置が、使用される。異なるソースは、同じ又は複数の異なるデバイスに接続され得る。一部の例において、区別することができる能力は、周波数領域で互いに対してＦＭＣＷ信号をシフトすることによって実現される。一部の実施形態において、周波数領域でシフトすることは、信号と混合することによって実現され、一方、その他の実施形態において、周波数領域でシフトすることは、遅延線を追加することによって実現される。一部の代替的な実施形態において、区別することができる能力は、ＦＭＣＷ信号に異なる符号を掛けることによってそれらのＦＭＣＷ信号を互いに対してシフトすることによって実現される。 In another aspect, methods and devices for distinguishing frequency modulated carrier (FMCW) signals transmitted from different sources are generally used. Different sources can be connected to the same or multiple different devices. In some examples, the distinguishable ability is achieved by shifting the FMCW signals relative to each other in the frequency domain. In some embodiments, shifting in the frequency domain is achieved by mixing with the signal, while in other embodiments, shifting in the frequency domain is achieved by adding a delay line. .. In some alternative embodiments, the ability to distinguish is achieved by shifting the FMCW signals relative to each other by multiplying the FMCW signals by different codes.

２次元及び／又は３次元の場所特定の手法は、１又は２以上の体又は物体からの信号の反射を用いる。１又は２以上の送信アンテナから受信アンテナのそれぞれへの飛行時間（ＴＯＦ，Time-of-flight）の測定値が、計算される。送信アンテナ及び受信アンテナの配置の知識が、飛行時間を反射体の位置の関数にマッピングする空間的基準を生成するために使用される。方法は、環境内に複数の反射体がある状況で環境内のより弱い又はより強い反射体に焦点を合わせるために異なる物体の反射を連続的に特定し、除去することを含む。 Two-dimensional and / or three-dimensional location-specific techniques use the reflection of signals from one or more bodies or objects. Measured values of flight time (TOF, Time-of-flight) from one or more transmitting antennas to each receiving antenna are calculated. Knowledge of the placement of transmit and receive antennas is used to generate spatial criteria that map flight time to a function of reflector position. The method comprises continuously identifying and eliminating reflections of different objects in order to focus on weaker or stronger reflectors in the environment in the presence of multiple reflectors in the environment.

アンテナは、さまざまなパターンで配列される可能性があり、概して、任意の位置に配置される可能性がある。 The antennas can be arranged in different patterns and can generally be placed in any position.

一部の実施形態においては、静的マルチパスが、背景削除によって除去／軽減される。「偽りの」目標が、異なる送信アンテナ−受信アンテナの対からの信号を組み合わせることによって除去される。例えば、システムは、初めに、最も強い反射体を発見し、その反射体を取り除き、それから、再符号化し、その他の反射体に進む。一部の実施形態においては、一部の（又はすべての）反射体を発見した後、システムは、焦点を合わせるステップに進み、それによって、無用の反射体からの干渉を除去し、関心のある反射体に焦点を合わせる。この焦点を合わせるステップは、反射体の位置のより良い推定値を取得するために使用される。 In some embodiments, static multipath is removed / mitigated by background removal. The "false" target is eliminated by combining signals from different transmit-receiver antenna pairs. For example, the system first finds the strongest reflector, removes it, then re-encodes it and proceeds to the other reflectors. In some embodiments, after discovering some (or all) reflectors, the system proceeds to the focusing step, thereby eliminating interference from unnecessary reflectors and of interest. Focus on the reflector. This focusing step is used to obtain a better estimate of the position of the reflector.

一部の実施形態においては、推定された位置が、目標が交差する前に動いていたように交差後も同じ方向に沿って動くと予測することによって交差する経路を解きほぐすために処理される。 In some embodiments, the estimated position is processed to unravel the intersecting path by predicting that the estimated position will move along the same direction after the intersection as if it had moved before the intersection.

システムは、例えば、手の動きを追跡するために体の部分を追跡することができる。そのような追跡は、２次元又は３次元で行われ得る。体の部分の動作は、ジェスチャとして解釈される可能性があり、そのジェスチャは、デバイスを制御するか又はコマンドを伝達するために使用される可能性がある。 The system can track body parts, for example, to track hand movements. Such tracking can be done in two or three dimensions. The movements of body parts can be interpreted as gestures, which can be used to control the device or convey commands.

システムは、複数の人がそれらの人の体の部分を動かしているときに、又は人若しくは複数の人が複数の体の部分を動かしている場合に動きを追跡することができる。 The system can track movements when more than one person is moving those body parts, or when a person or more than one person is moving multiple body parts.

少なくとも一部の実施形態は、場所特定の動作の精度を改善するために、動作の連続性のような人間の動作に関する実施上の又は物理的な制約を利用する。 At least some embodiments utilize practical or physical constraints on human movements, such as movement continuity, to improve the accuracy of location-specific movements.

一部の実施形態においては、人間の呼吸動作が、動かない反射体を除去するために使用される。例えば、複数の削除窓（subtraction window）が、異なる速度の反射体を特定し及び／又は反射体の場所を突き止めるために使用される。１又は２以上の人が、それらの人の呼吸に基づいて場所を突き止められ得る。一部の例において、システムは、１又は２以上の人の呼吸を数え、１又は２以上の人が呼吸を止める場合を検出することができる。 In some embodiments, human breathing movements are used to remove immobile reflectors. For example, multiple subtraction windows are used to identify and / or locate reflectors of different velocities. One or more people can be located based on their breathing. In some examples, the system can count the breathing of one or more people and detect when one or more people hold their breath.

一部の実施形態においては、異なる様式の追加のセンサ（例えば、カメラ、赤外線センサなど）が、精度を上げるか又は機能を追加するために組み合わされる。 In some embodiments, additional sensors of different styles (eg, cameras, infrared sensors, etc.) are combined to improve accuracy or add functionality.

一部の例においては、人又は体の部分の検出された動作が、例えば、知られているパターン（例えば、知られているジェスチャ）と比較することによってパターンを検出するために使用される。 In some examples, the detected movements of a person or body part are used to detect a pattern, for example, by comparing it to a known pattern (eg, a known gesture).

１又は２以上の態様の利点は、以下を含み得る。 Advantages of one or more aspects may include:

正確な複数の体の場所特定及び／又は追跡が、部屋、（例えば、壁を通して信号を伝播する）マルチルーム空間、又はその他の屋内若しくは屋外の領域において比較的高い精度で実現され得る。 Accurate multiple body locating and / or tracking can be achieved with relatively high accuracy in rooms, multi-room spaces (eg, propagating signals through walls), or other indoor or outdoor areas.

複数の体の場所特定は、１又は２以上の体の存在の単なる検出と比較して、領域内の体のカウントを行うことができる。さらに、代替的な技術を用いて容易に決定され得ない体の正確な軌跡も、利用可能である。 The location of multiple bodies can count the bodies within the region as compared to the mere detection of the presence of one or more bodies. In addition, accurate body trajectories that cannot be easily determined using alternative techniques are also available.

カメラの使用と比較して、無線周波数の反射の使用は、高められたプライバシーを提供することができる。例えば、公衆トイレ内の存在／往来を監視することが、ビデオ監視に関連するプライバシーの問題なしに実現され得る。 Compared to the use of cameras, the use of radio frequency reflections can provide enhanced privacy. For example, monitoring presence / traffic in public toilets can be achieved without the privacy issues associated with video surveillance.

呼吸の検出が、別のやり方では背景と取り違えられる可能性がある比較的動かない体を検出する方法を提供する。例えば、室内の人の存在を監視する応用においては、超音波動作ディテクタが動作のない人を見逃す可能性がある一方、それにもかかわらず、それらの人の呼吸が検出される。 Respiratory detection provides a way to detect relatively immobile bodies that could otherwise be mistaken for background. For example, in applications that monitor the presence of people in a room, ultrasonic motion detectors may miss inactive people, while their breathing is nevertheless detected.

送信アンテナのすべての（又はそれよりも少ない複数の組）からの同時送信は、位置の変化が送信時間の間で著しい単一アンテナからの逐次送信よりも体の動作によって影響されにくい可能性がある（例えば、推定された位置のより少ない「不明瞭化（smearing）」）。 Simultaneous transmissions from all (or less than one) set of transmitting antennas may be less affected by body movements than sequential transmissions from a single antenna with significant changes in position during transmission time. There is (eg, less "smearing" of estimated position).

狭帯域信号（つまり、掃引されたトーン）の使用は、受信信号内の異なる送信機からの送信を分ける直接的な方法を提供し、位相雑音に対する堅牢性を提供することができる。 The use of narrowband signals (ie, swept tones) can provide a direct way to separate transmissions from different transmitters in the received signal and provide robustness to phase noise.

人を追跡するための上述の手法は、以下を含む応用に使用され得る。 The techniques described above for tracking a person can be used in applications including:

建物内の又は建物内の特定の経路を通る人を検出するためのセキュリティの応用。 An application of security to detect people in a building or on a specific route within a building.

検出された人及び建物内の人の往来の長期的なパターンに基づくエネルギー効率の手法（例えば、エネルギー使用は、単なる人の存在ではなく室内の人の数に基づく可能性がある）。 Energy efficiency techniques based on long-term patterns of detected people and people in the building (eg, energy use may be based on the number of people in the room rather than just the presence of people).

例えば、個々の人が店内で買い物をするときにそれらの人の往来のパターンを決定するための小売りスペース内の往来の追跡。 For example, tracking traffic in a retail space to determine patterns of traffic for individual people as they shop in the store.

睡眠のパターンの監視、睡眠時無呼吸の検出、赤ん坊の監視、及びバイタルサインの監視のその他の応用は、物理的なセンサ又は人への接続を必要としないという利点を有する。 Other applications of sleep pattern monitoring, sleep apnea detection, baby monitoring, and vital sign monitoring have the advantage of not requiring a physical sensor or connection to a person.

本発明のその他の特徴及び利点は、以下の説明及び請求項から明らかである。 Other features and advantages of the present invention will be apparent from the following description and claims.

モーショントラッキングシステムの第１の実施形態の概略構成図である。It is a schematic block diagram of the 1st Embodiment of a motion tracking system. 経時的な送信及び受信周波数のグラフである。It is a graph of transmission and reception frequency over time. 図２Ａに対応する周波数に対する受信エネルギーのグラフである。It is a graph of the received energy for the frequency corresponding to FIG. 2A. １つの送信及びアンテナの対に関するスペクトログラム（時間に対するスペクトルのプロファイル）である。A spectrogram (a spectrum profile with respect to time) for one transmit and antenna pair. 背景部分を除いた後のスペクトログラムである。This is the spectrogram after removing the background part. 図３Ｂのスペクトログラムに対応する第１の往復遅延時間の推定値のグラフである。It is a graph of the estimated value of the first round trip delay time corresponding to the spectrogram of FIG. 3B. 複数の送信アンテナからの同時送信によるモーショントラッキングシステムの第２の実施形態の概略構成図である。It is a schematic block diagram of the 2nd Embodiment of the motion tracking system by simultaneous transmission from a plurality of transmitting antennas. ２つの送信アンテナからの送信周波数及び１つのアンテナにおける受信周波数のグラフである。It is a graph of the transmission frequency from two transmitting antennas and the reception frequency in one antenna. 図５Ａに対応する周波数に対する受信エネルギーのグラフである。It is a graph of the received energy for the frequency corresponding to FIG. 5A. 飛行時間（ＴＯＦ）プロファイルの図である。FIG. 5 is a time-of-flight (TOF) profile diagram. 図６Ａに対応する異なるＴＯＦプロファイルの図である。FIG. 6 is a diagram of different TOF profiles corresponding to FIG. 6A. それぞれ、１〜５個の送信−受信アンテナの対に関する異なるＴＯＦプロファイルから形成された「ヒートマップ」である。Each is a "heat map" formed from different TOF profiles for 1-5 transmit-receive antenna pairs. 初期ヒートマップである。This is the initial heat map. シルエット（silhouette）キャンセル手順の連続的反復後のヒートマップである。A heatmap after a series of iterations of the silhouette cancellation procedure. それぞれ、図８Ａ〜Ｄに示されたヒートマップを使用して推定された位置を用いる焦点を合わせる手順によって生じさせられたヒートマップである。Each is a heatmap generated by a focusing procedure using a position estimated using the heatmaps shown in FIGS. 8A-D. 歩くこと、（椅子及び地面に）座ること、並びに地面に転倒することに関する時間に対する推定された高度のグラフである。A graph of estimated altitude for time with respect to walking, sitting (on chairs and ground), and falling to the ground. 指さしジェスチャのスペクトログラムである。It is a spectrogram of pointing gesture. アンテナアレイの概略図である。It is a schematic diagram of an antenna array.

図１を参照すると、モーショントラッキングシステム１００の第１の実施形態は、番号アンテナ１５０を利用し、建物の１又は２以上の部屋、車両の内部などを含む可能性があり、例えば、実質的に無線を透過する障壁、例えば、建物の壁又は敷布によって仕切られる可能性があるシステムの環境内の物体（例えば、人）から反射される無線周波数信号を送信及び受信する。概して、環境内の物体は、椅子、壁などの固定された物体と、人などであるがこれに限定されない動く物体との両方を含む。システムは、部屋の中を動き回っていることも、比較的動かず、例えば、椅子に座っているか若しくはベッドに寝ていることもあるが、それでもやはり、以下で説明される１若しくは２以上の実施形態によって検出され得る呼吸動作を呈する可能性がある人を追跡することができる。システムは、無線周波数信号に基づく動作分析結果１３０を提供する。さまざまな実施形態において、これらの結果は、環境内の１又は２以上の人の位置、環境内の人によって行われた検出された体又は手足のジェスチャ、及び転倒の検出を含む検出された身体活動を含む。 Referring to FIG. 1, a first embodiment of the motion tracking system 100 utilizes a number antenna 150 and may include one or more rooms in a building, the interior of a vehicle, etc., eg, substantially. It transmits and receives radio frequency signals reflected from objects (eg, people) in the environment of the system that may be partitioned by a radio-transmitting barrier, such as a building wall or bedding. In general, objects in the environment include both fixed objects such as chairs, walls, and moving objects such as, but not limited to, humans. The system may be moving around in a room or relatively immobile, eg, sitting in a chair or sleeping in a bed, but nonetheless, one or more implementations described below. It is possible to track a person who may exhibit respiratory movements that can be detected by morphology. The system provides motion analysis results 130 based on radio frequency signals. In various embodiments, these results include the location of one or more persons in the environment, the detected body or limb gestures performed by the person in the environment, and the detection of a fall. Including activities.

概して、システム１００は、アンテナ１５０のさまざまな対に関して導出された飛行時間（ＴＯＦ）（「往復遅延時間」とも呼ばれる）情報を利用する。図１の概略図に関しては、代表点物体１８０から反射する３つの経路１８５Ａ〜Ｃが、送信アンテナと３つの受信アンテナとの間に示されており、各経路は、概して、異なるＴＯＦを有する。一定の信号伝播速度ｃ（すなわち、光の速度）を仮定すると、座標（ｘｏ，ｙｏ，ｚｏ）の物体から反射され、座標（ｘｒ，ｙｒ，ｚｒ）のアンテナにおいて受信される座標（ｘｔ，ｙｔ，ｚｔ）のアンテナからのＴＯＦは、 In general, the system 100 utilizes time-of-flight (TOF) (also referred to as "round-trip delay time") information derived for various pairs of antennas 150. For the schematic of FIG. 1, three paths 185A-C reflected from the representative point object 180 are shown between the transmitting antenna and the three receiving antennas, and each path generally has a different TOF. Assuming a constant signal propagation velocity c (ie, the speed of light), it is reflected from an object at coordinates (x o , yo , z o ) and received at the antenna at coordinates (x r , y r , z r ). The TOF from the antenna at the coordinates (x t , y t , z t ) is

と表され得る。特定の経路に関して、例えば、経路１８５Ａに関連するＴＯＦは、物体１８０の位置を、経路の送信アンテナ及び受信アンテナの３次元座標と、ＴＯＦから決定される経路の距離とによって画定される楕円体上にあるように拘束する。例示のために、楕円体の一部が、楕円の線１９０Ａとして示される。同様に、経路１８５Ｂ〜Ｃに関連する楕円体が、線１９０Ｂ〜Ｃとして示される。物体１８０は、３つの楕円体の交点にある。 Can be expressed as. For a particular path, for example, the TOF associated with path 185A is on an ellipsoid in which the position of the object 180 is defined by the three-dimensional coordinates of the transmitting and receiving antennas of the path and the distance of the path determined from the TOF. Restrain as in. For illustration purposes, a portion of the ellipsoid is shown as line 190A of the ellipsoid. Similarly, the ellipsoid associated with paths 185B-C is shown as lines 190B-C. The object 180 is at the intersection of three ellipsoids.

図１を引き続き参照すると、システム１００は、送信アンテナ１５０から放射される信号パターンの繰り返しを生じさせる信号ジェネレータを含む。この実施形態において、信号ジェネレータは、超広帯域周波数変調搬送波（ＦＭＣＷ）ジェネレータ１２０である。その他の実施形態においては、以下で説明される信号パターン及び帯域幅以外の信号パターン及び帯域幅が、説明される実施形態のその他の態様に従いながら使用され得ることを理解されたい。 With reference to FIG. 1, the system 100 includes a signal generator that causes repetition of the signal pattern radiated from the transmitting antenna 150. In this embodiment, the signal generator is an ultra-wideband frequency modulated carrier (FMCW) generator 120. It should be understood that in other embodiments, signal patterns and bandwidths other than the signal patterns and bandwidths described below may be used in accordance with other aspects of the embodiments described below.

図２Ａを参照すると、ＴＯＦの推定が、周波数変調搬送波（ＦＭＣＷ）の手法を用いて行われる。単一の送信アンテナ及び受信アンテナの対を考えると、一連の継続時間Ｔの繰り返し時間間隔２１２のそれぞれにおいて、送信周波数が、実線２１０によって示される周波数範囲で掃引される。一部の実施形態において、周波数範囲は、２．５ミリ秒の掃引継続時間及び繰り返しレートで５．４６〜７．２５ＧＨｚ（すなわち、およそ１．８ＧＨｚの周波数範囲）である。受信アンテナは、破線２２０に示される周波数で、ＴＯＦ２２２の後に（つまり、単一の物体から反射された）信号を受信する。ＴＯＦ２２２は、送信された周波数及び受信された周波数における差２２４に対応し、この差２２４は、ＴＯＦと送信アンテナの掃引される搬送波の周波数の変化のレートとの積であることに留意されたい。 With reference to FIG. 2A, TOF estimation is performed using the frequency modulated carrier (FMCW) technique. Considering a single transmit and receive antenna pair, the transmit frequency is swept in the frequency range indicated by the solid line 210 at each of the repetition time intervals 212 of a series of durations T. In some embodiments, the frequency range is 5.46 to 7.25 GHz (ie, a frequency range of approximately 1.8 GHz) with a sweep duration of 2.5 ms and a repetition rate. The receiving antenna receives the signal after the TOF 222 (ie, reflected from a single object) at the frequency shown by the dashed line 220. It should be noted that the TOF 222 corresponds to a difference 224 between the transmitted frequency and the received frequency, which difference 224 is the product of the TOF and the rate of change in the frequency of the carrier being swept from the transmitting antenna.

図２Ｂを参照すると、受信された反射された信号（図２Ａの破線２２０）が送信された信号（図２Ａの実線２１０）に従ってシフトされた周波数である場合、結果は、ＴＯＦに対応する周波数の差２２４に集中されたエネルギーを有する。（我々は、図において誇張されている間隔２１２の端を無視していることに留意されたい）。再び図１を参照すると、周波数シフト構成要素１６０（「ダウンコンバータ」又は「ミキサ」とも呼ばれる）が、周波数のシフトを実施し、例えば、送信された信号を用いて受信された信号を変調する変調器を含み、環境の物理的な大きさに合ったＴＯＦの継続時間を表す低い周波数範囲を維持する。 Referring to FIG. 2B, if the received reflected signal (dashed line 220 in FIG. 2A) is a frequency shifted according to the transmitted signal (solid line 210 in FIG. 2A), the result is of the frequency corresponding to the TOF. It has energy concentrated in the difference 224. (Note that we ignore the exaggerated edges of spacing 212 in the figure). Referencing FIG. 1 again, a modulation in which the frequency shift component 160 (also referred to as a "downconverter" or "mixer") performs a frequency shift and, for example, modulates the received signal with the transmitted signal. It includes a vessel and maintains a low frequency range that represents the duration of the TOF that matches the physical size of the environment.

周波数シフタの出力は、異なるＴＯＦにそれぞれが関連する周波数成分を分離するためにスペクトル分析（例えば、フーリエ変換）にかけられる。この実施形態において、周波数シフタの出力は、サンプルであり、高速フーリエ変換（ＦＦＴ）として実施される離散時間フーリエ変換が、各間隔２１２に関して計算される。ＦＦＴの各複素数値は、周波数分解能Δｆ＝１／Ｔｓｗｅｅｐで周波数サンプルを提供し、ここで、Ｔｓｗｅｅｐは、掃引の継続時間（例えば、２．５ミリ秒）である。 The output of the frequency shifter is subjected to spectral analysis (eg, Fourier transform) to separate the frequency components associated with each of the different TOFs. In this embodiment, the output of the frequency shifter is a sample, and a discrete-time Fourier transform performed as a Fast Fourier Transform (FFT) is calculated for each interval 212. Each complex value of the FFT provides a frequency sample with frequency resolution Δf = 1 / T sweep , where T sweep is the duration of the sweep (eg, 2.5 ms).

図２Ｂを引き続き参照すると、周波数に対する（及び等価的にＴＯＦに対する）エネルギーの分布が、図に示されるように概して集中されないことが認められるに違いない。むしろ、環境内の反射する物体からの反射の重ね合わせの結果として生じるエネルギーの分布が存在する。ある反射は直接的であり、経路が反射する物体と送信アンテナ及び受信アンテナとの間で直接的である。その他の反射は、特定の反射する物体を経由する送信アンテナから受信アンテナまでの複数の経路が存在するマルチパス効果を呈する。一部のマルチパス効果は、送信された信号が壁、家具、及び環境内のその他の動かない物体から反射されることが原因である。その他のマルチパス効果は、動く体からの反射を含み、経路は、送信アンテナから動く物体まで及び受信アンテナに戻るまで直接ではなく、むしろ、送信アンテナから動く物体まで、又は動く物体から受信アンテナに戻るまで、又はこれらの両方の経路のいずれかで１又は２以上の動かない物体から反射される。 Continuing with reference to FIG. 2B, it must be found that the distribution of energy relative to frequency (and equivalently relative to TOF) is generally unfocused as shown in the figure. Rather, there is a distribution of energy that results from the superposition of reflections from reflecting objects in the environment. Some reflections are direct, direct between the object the path reflects and the transmitting and receiving antennas. Other reflections exhibit a multipath effect in which there are multiple paths from the transmitting antenna to the receiving antenna via a particular reflecting object. Some multipath effects are due to the transmitted signal being reflected from walls, furniture, and other immobile objects in the environment. Other multipath effects include reflections from a moving body, and the path is not directly from the transmitting antenna to the moving object and back to the receiving antenna, but rather from the transmitting antenna to the moving object, or from the moving object to the receiving antenna. Reflected from one or more stationary objects until returning, or in either of these paths.

システムは、動く物体の反射を家具及び壁のような環境内の動かない物体からの反射と区別するために時間差アプローチ（time differencing approach）を使用して、静的マルチパスと呼ばれる第１のマルチパス効果に対処する。通常、壁及び家具からの反射は、特に人間が壁の後ろにいる場合、人間からの反射よりもずっと強い。これらの反射が取り除かれない限り、これらの反射は、人間から来る信号を隠し、人間の動作を感知することを妨げてしまう。この挙動は、「フラッシュ効果（Flash Effect）」と呼ばれる。 The system uses a time differencing approach to distinguish reflections of moving objects from reflections from stationary objects in the environment, such as furniture and walls, and a first multipath called static multipath. Deal with path effects. Reflections from walls and furniture are usually much stronger than reflections from humans, especially when humans are behind the walls. Unless these reflexes are removed, these reflexes hide the signals coming from humans and prevent them from perceiving human movements. This behavior is called the "Flash Effect".

これらの動かない物体（壁、家具）のすべてからの反射を取り除くために、我々は、これらの反射体が動かないので、アンテナアレイまでのこれらの反射体の距離が経時的に変化せず、したがって、これらの反射体の引き起こされる周波数シフトが経時的に一定であるという事実を利用する。我々は、掃引窓毎に受信された信号のＦＦＴを取得し、前の掃引における信号のＦＦＴから所与の掃引におけるＦＦＴの（複素）出力を差し引くことによってこれらの動かない反射体からの電力を除去する。このプロセスは、背景のすべての動かない反射体を除去するので背景削除と呼ばれる。一部の実施形態においては、直前の掃引が使用される可能性があり（つまり、２．５ミリ秒前）、一方、その他の実施形態においては、より大きな遅延が使用される可能性がある（例えば、１２．５ミリ秒、又はさらには２．５秒など１秒を超える）。 To remove reflections from all of these immobile objects (walls, furniture), we do not move these reflectors, so the distance of these reflectors to the antenna array does not change over time, Therefore, we take advantage of the fact that the frequency shifts caused by these reflectors are constant over time. We take the FFT of the signal received for each sweep window and subtract the (complex) output of the FFT in a given sweep from the FFT of the signal in the previous sweep to remove the power from these immobile reflectors. Remove. This process is called background removal because it removes all stationary reflectors in the background. In some embodiments, the last sweep may be used (ie, 2.5 ms before), while in other embodiments, a larger delay may be used. (For example, 12.5 milliseconds, or even 2.5 seconds, which exceeds 1 second).

動かない物体からのすべての反射を除去することによって、システムは、理想的に、動く物体からの反射だけを残される。しかし、上で紹介されたように、これらの反射は、送信アンテナから動く物体まで（動かない物体に跳ね返ることなく）直接進み、物体に反射し、それから受信アンテナまで直接戻る信号と、動かない物体からの反射を含み、動く物体を形成する間接的な経路を進む信号との両方を含む。我々は、これらの間接的な反射を動的マルチパスと呼ぶ。側壁に跳ね返る間接的な経路に沿って到着する動く物体の反射は、遮蔽（occlusion）を避けることができる可能性があるので、（壁を越えた後、大きく減衰させられる可能性がある）人の直接的な反射よりも強いことが大いにあり得る。 By removing all reflections from non-moving objects, the system is ideally left with only reflections from moving objects. However, as introduced above, these reflections travel directly from the transmitting antenna to a moving object (without bouncing off a stationary object), reflect off the object, and then return directly to the receiving antenna, with a signal and a non-moving object. Includes reflections from, and includes both signals following indirect paths that form moving objects. We call these indirect reflections dynamic multipath. The reflection of a moving object arriving along an indirect path that bounces off the side wall may be able to avoid occlusion, so a person (which can be significantly attenuated after crossing a wall). It can be much stronger than the direct reflection of.

動的マルチパスを除去する通常の手法は、任意の時点で、動く物体への直接的な信号経路及び動く物体からの直接的な信号経路が間接的な反射よりも短い経路を進んだという観測に基づく。距離はＴＯＦに直接関連し、ひいては周波数に関連するので、これは、動く物体から反射された直接的な信号が背景削除後にすべての強い反射体の中で最も小さな周波数シフトを生じることを意味する。我々は、すべての強い反射体の最も低い周波数（つまり、不足させられた飛行時間）の外形をたどることによって最も短い経路を進んだ反射を追跡することができる。 The usual method of removing dynamic multipath is the observation that at any given time, the direct signal path to the moving object and the direct signal path from the moving object follow a shorter path than the indirect reflection. based on. This means that the direct signal reflected from a moving object will produce the smallest frequency shift of all strong reflectors after background removal, as distance is directly related to TOF and thus frequency. .. We can track the reflections along the shortest path by tracing the contours of the lowest frequencies (ie, the shortage of flight time) of all strong reflectors.

図３Ａ〜Ｃを参照すると、各図の横軸は、約２０秒の時間間隔を表し、縦軸は、一番下の距離／遅延ゼロに対応する周波数範囲から一番上の約３０メートルの範囲に対応する周波数までを表す。図３Ａ及び３Ｂは、背景削除前のＦＦＴ電力（図３Ａ）及び背景削除後のＦＦＴ電力（図３Ｂ）を示す。図３Ｃは、連続する掃引に関する最も短い飛行距離（distance of flight）（又は等価的に時間）の連続する推定値と「雑音除去された」（例えば、平滑化された、異常値除去されたなど）外形とを示す。 Referring to FIGS. 3A-C, the horizontal axis of each figure represents a time interval of about 20 seconds, and the vertical axis is about 30 meters above the frequency range corresponding to the bottom distance / zero delay. Represents up to the frequency corresponding to the range. 3A and 3B show the FFT power before the background is deleted (FIG. 3A) and the FFT power after the background is deleted (FIG. 3B). FIG. 3C shows continuous estimates of the shortest distance of flight (or equivalently time) for continuous sweeps and “noise-removed” (eg, smoothed, outliers removed, etc.). ) Indicates the outer shape.

動く物体によって引き起こされる第１の極大値を決定するために、我々は、その第１の極大値を雑音のピークが原因である極大値と区別することができなければならない。我々は、複数の掃引にわたってスペクトログラムを平均することによってこの区別することができる能力を実現する。この実施形態において、我々は、まとめて１２．５ミリ秒の継続時間にわたる５回の連続する掃引にわたってＦＦＴ電力の第１の極大値の位置特定を平均する。すべての実用的な目的のために、人間は、この継続時間にわたって動かない物と考えられる可能性があり、したがって、スペクトログラム（すなわち、経時的なスペクトル分布）は、この継続時間にわたって一貫している。平均することは、我々が雑音が原因であるピークを薄めながら動く体からの反射の電力を高めることを可能にする。これは、人間の反射が一貫しており、したがって、一貫して足し合わされる一方、雑音はランダムであり、したがって、一貫性なく足し合わされる。平均した後、我々は、ノイズフロアを実質的に超える第１の極大値を決定し、その第１の極大値を動く体（例えば、動く人間）への直接的な経路であると宣言することができる。 To determine the first maxima caused by a moving object, we must be able to distinguish that first maxima from the maxima caused by the noise peak. We realize this distinguishable ability by averaging the spectrograms across multiple sweeps. In this embodiment, we average the location of the first local maximum of FFT power over five consecutive sweeps over a duration of 12.5 ms collectively. For all practical purposes, humans can be considered immobile over this duration, and therefore the spectrogram (ie, spectral distribution over time) is consistent over this duration. .. Averages allow us to increase the power of reflections from moving bodies while diluting the peaks caused by noise. This is because human reflexes are consistent and therefore consistently added, while noise is random and therefore inconsistently added. After averaging, we determine a first maxima that substantially exceeds the noise floor and declare that first maxima as a direct path to a moving body (eg, a moving human). Can be done.

実際のところ、動く物体とアンテナとの間の最も近い経路を追跡する外形とは異なり、最大の反射の点は、環境内の異なる間接的な経路、又はさらには人が異なる活動を行うときの人間の異なる部分の動きのランダム性が原因で突然シフトする可能性があるので、最も強い反射ではなく第１の反射時間を使用するこの手法は、より堅牢であることが分かる。 In fact, unlike the contours that track the closest path between a moving object and an antenna, the point of maximum reflection is a different indirect path in the environment, or even when a person performs different activities. This technique, which uses the first reflex time instead of the strongest reflex, turns out to be more robust, as it can shift suddenly due to the randomness of movement in different parts of the human body.

最も短い飛行時間の外形を追跡するプロセスは、送信アンテナ及び受信アンテナの対のそれぞれに関して、この実施形態においては、それぞれ共通の送信アンテナと３つの別々の受信アンテナとの間の３つの対に関して実行されることに留意されたい。各受信アンテナに関する最も短い往復遅延時間の外形を取得した後、システムは、人間の動作についての通常の知識を利用して雑音の影響を和らげ、そのシステムの追跡の精度を改善する。使用される技法は、以下を含む。
・異常値の拒絶：システムは、非常に短い期間にわたって不自然な人間の動作に対応する距離の推定値の非現実的な飛びを拒絶する。例えば、図２Ｃにおいては、物体からの距離が、数ミリ秒の期間に５メートルを超えて繰り返し飛んでいる。距離のそのような変化は、そのような小さな時間間隔ではあり得ず、したがって、システムは、そのような異常値を拒絶する。
・補間：システムは、そのシステムの追跡の履歴を用いて、人が動くことを止めたときにその人の場所を突き止める。特に、人が部屋の中を歩き回り、それから椅子に座り、動かないままである場合、背景を差し引かれた信号は、いかなる強い反射体も示さない。そのような筋書きにおいて、我々は、人がまだ同じ位置にいると仮定し、我々がいかなる動作も観測しない期間全体を通じて最新の位置の推定値を補間し、その人が動くことを止めた後でさえも対象の位置を我々が追跡することを可能にする。
・フィルタリング：人の動作が連続しているので、各受信アンテナまでの物体の距離の変化は経時的に滑らかなままであるべきである。したがって、システムは、カルマンフィルタを用いて距離の推定値を平滑化する。 The process of tracking the outer shape of the shortest flight time is performed for each of the transmit and receive antenna pairs, in this embodiment for three pairs between a common transmit antenna and three separate receive antennas, respectively. Please note that it will be done. After obtaining the shortest round-trip delay time outline for each receiving antenna, the system utilizes normal knowledge of human behavior to mitigate the effects of noise and improve the tracking accuracy of the system. The techniques used include:
-Rejection of outliers: The system rejects unrealistic jumps in distance estimates corresponding to unnatural human movements over a very short period of time. For example, in FIG. 2C, the distance from the object repeatedly flies over 5 meters in a period of several milliseconds. Such changes in distance cannot be in such small time intervals, so the system rejects such outliers.
Interpolation: The system uses the system's tracking history to locate a person when he or she stops moving. The background-subtracted signal does not show any strong reflectors, especially if a person walks around the room, then sits in a chair and remains stationary. In such a scenario, we assume that the person is still in the same position, interpolate the latest position estimates throughout the period when we do not observe any movement, and after stopping the person from moving. Even allows us to track the location of the subject.
-Filtering: Since human movements are continuous, changes in the distance of an object to each receiving antenna should remain smooth over time. Therefore, the system uses a Kalman filter to smooth out distance estimates.

推定値の外形の追跡及び雑音除去の後、システムは、送信アンテナから動く物体まで及び受信アンテナのうちの１つに戻るまで信号によって進まれる距離（すなわち、往復距離）のきれいな推定値を得る。１つの送信アンテナ及び３つの受信アンテナを使用するこの実施形態においては、いつでも、３つの受信アンテナに対応する３つのそのような往復距離が存在する。システムは、これらの３つの推定値を使用して、それぞれの時間の段階に関して、動く物体の３次元位置を特定する。 After tracking the contour of the estimate and denoise, the system obtains a clean estimate of the distance traveled by the signal (ie, round trip distance) from the transmitting antenna to the moving object and back to one of the receiving antennas. In this embodiment using one transmitting antenna and three receiving antennas, there are always three such round trip distances corresponding to the three receiving antennas. The system uses these three estimates to determine the three-dimensional position of a moving object for each time stage.

システムは、アンテナの配置のそのシステム知識を利用する。この実施形態において、アンテナは、「Ｔ」形に配置され、送信アンテナは、「Ｔ」の交差点に配置され、受信アンテナは、辺に配置され、送信アンテナと受信アンテナのそれぞれとの間は１メートルの距離である。参考までに、ｚ軸は垂直軸を指し、ｘ軸は水平方向に沿っており、「Ｔ」形のアンテナアレイが壁に取り付けられ、ｙ軸は室内に延伸する。３次元の場所の特定は、それぞれが送信アンテナ及び受信アンテナのうちの１つの知られている位置と往復距離とによって画定される３つの楕円体の交点を使用する。 The system utilizes its system knowledge of antenna placement. In this embodiment, the antennas are arranged in a "T" shape, the transmitting antennas are arranged at the intersection of "T", the receiving antennas are arranged on the sides, and there is 1 between each of the transmitting and receiving antennas. It is a distance of meters. For reference, the z-axis points to the vertical axis, the x-axis is along the horizontal direction, a "T" shaped antenna array is mounted on the wall, and the y-axis extends indoors. The identification of the three-dimensional location uses the intersection of three ellipsoids, each defined by a known position of one of the transmitting and receiving antennas and a round trip distance.

代替的な実施形態においては、例えば、すべてのアンテナが水平の線に沿って配置されるようにして２つの受信アンテナのみが使用される可能性があることに留意されたい。そのような実施形態においては、２次元の位置が、楕円体の交点ではなく楕円の交点を用いて決定され得る。その他の代替的な実施形態においては、４つ以上の受信アンテナ（つまり、４つ以上の送信アンテナ−受信アンテナの対）が使用される可能性がある。４つ以上の楕円体は必ずしも１点で交差しないが、さまざまな手法が、例えば、それらの楕円体のすべてに最も近い点に基づいて楕円体を組み合わせるために使用され得る。 Note that in an alternative embodiment, for example, only two receiving antennas may be used such that all antennas are arranged along a horizontal line. In such an embodiment, the two-dimensional position can be determined using the intersection of the ellipsoids rather than the intersection of the ellipsoids. In other alternative embodiments, four or more receiving antennas (ie, four or more transmitting and receiving antenna pairs) may be used. Although four or more ellipsoids do not necessarily intersect at one point, various techniques can be used, for example, to combine ellipsoids based on the points closest to all of them.

図４を参照すると、第２の実施形態が、複数の送信アンテナからの同時送信を用い、さらに、複数の体を追跡するために適用可能である技法を導入する。同時送信の手法は、その他の技法とは独立していることを理解されたい。例えば、複数の同時送信が、例えば、各アンテナの対に関する第１の飛行時間を追跡して上述のように動的マルチパスを軽減するために、第１の実施形態において説明されたように使用され得る。 Referring to FIG. 4, a second embodiment uses simultaneous transmission from a plurality of transmitting antennas and further introduces a technique applicable for tracking a plurality of bodies. It should be understood that the method of simultaneous transmission is independent of other techniques. For example, multiple simultaneous transmissions are used, for example, as described in the first embodiment to track the first flight time for each antenna pair and mitigate dynamic multipath as described above. Can be done.

図４においては、左の３つのアンテナ１５０が、送信アンテナとして示され、右の３つのアンテナ１５０が、受信アンテナとして示されている。好ましい実施形態において、アンテナは、時には送信アンテナとして働き、時には受信アンテナとして働くように動作中に構成される可能性がある。したがって、Ｎ個のアンテナに関して、アンテナで最大でＮ（Ｎ−１）／２個の異なる対が、特定の物体に関する別々のＴＯＦ情報を決定するために使用され得る。以下でより完全に説明されるように、システムは、概して、複数のアンテナがそれぞれの間隔において無線信号を同時に放射し、概して、複数のアンテナがそれらの信号の反射を同時に受信するようにして連続する送信間隔において動作させられる。概して、送信アンテナの組は、送信間隔毎に変わり、すべての異なるアンテナの対のサンプリングを許す。一部の例においては、それぞれの間隔においてｍ個のアンテナが送信するために使用され、（Ｎ−ｍ）個のアンテナが受信するために使用され、１つの時間間隔において最大でｍ（Ｎ−ｍ）個の経路が評価され得る。一部の例においては、 In FIG. 4, the three antennas 150 on the left are shown as transmitting antennas, and the three antennas 150 on the right are shown as receiving antennas. In a preferred embodiment, the antenna may be configured during operation to sometimes act as a transmitting antenna and sometimes as a receiving antenna. Therefore, for N antennas, up to N (N-1) / 2 different pairs of antennas can be used to determine separate TOF information for a particular object. As described more fully below, a system is generally continuous such that multiple antennas emit radio signals simultaneously at their respective intervals and generally multiple antennas simultaneously receive reflections of those signals. It is operated at the transmission interval. In general, the set of transmitting antennas varies from transmission interval to allowing sampling of all different pairs of antennas. In some examples, m antennas are used to transmit and (N-m) antennas are used to receive at each interval, up to m (N-m) at one time interval. m) Routes can be evaluated. In some cases

であり、間隔毎に少なくともＮ個の経路が評価される。一部の例においては、ｍ＝Ｎ／２であり、間隔毎に最大でＮ２／４個の経路が評価される。 At least N routes are evaluated at each interval. In some instances, a m = N / 2, at most N 2/4 pieces of route is evaluated for each interval.

図５Ａを参照すると、間隔２１２の一部にわたる２つの送信アンテナからの同時送信が、示される（つまり、図５Ａは、図２Ａに示されたよりも短い時間軸上の継続時間を示す）。第１のアンテナ１５０（図４参照）が、図２Ａの線２１０に対応する実線５１０Ａによって示される掃引周波数で送信される。第２のアンテナは、（τと呼ばれる）遅延５１０を有する同じ掃引された信号を送信し、この遅延された信号は、実線５１０Ｃによって示される。受信アンテナは、第１の送信アンテナからの１つの反射された信号と、第２の送信アンテナからの１つの反射された信号との、物体からの２つの異なる反射された信号を受信する。第１の送信アンテナからの信号の反射は、図２Ａを参照して上で検討されたように、ＴＯＦ５２２Ａを有する。第２の送信アンテナからの信号の反射は、遅延τと第２の送信アンテナから受信アンテナまでの実際のＴＯＦとによって構成される５２２Ｃの見かけ上のＴＯＦを有する。図５Ａを参照すると、受信された信号が（図５Ａにおいて線５１０Ａとして示される）第１のアンテナからの送信信号によってシフトされた（つまり、変調された）周波数であるとき、第１の信号の反射のエネルギーは、第１の送信アンテナからのＴＯＦ５２２Ａに対応する周波数５２４Ａにあり、第２のアンテナからの反射のエネルギーは、第２の送信アンテナからのＴＯＦと遅延τ５３１０との和に等しい時間５２２Ｃに対応する周波数５２４Ｃにある。環境内の直接的な反射に関する最も大きなＴＯＦよりも大きなτを選択することによって、第２の送信アンテナからの反射されたエネルギーが、第１のアンテナの反射されたエネルギーと区別される。 With reference to FIG. 5A, simultaneous transmission from two transmitting antennas over a portion of interval 212 is shown (ie, FIG. 5A shows a duration on a shorter time axis than shown in FIG. 2A). The first antenna 150 (see FIG. 4) is transmitted at the sweep frequency indicated by the solid line 510A corresponding to line 210 in FIG. 2A. The second antenna transmits the same swept signal with a delay 510 (called τ), the delayed signal being indicated by the solid line 510C. The receiving antenna receives two different reflected signals from the object, one reflected signal from the first transmitting antenna and one reflected signal from the second transmitting antenna. The reflection of the signal from the first transmitting antenna has a TOF522A, as discussed above with reference to FIG. 2A. The reflection of the signal from the second transmitting antenna has an apparent TOF of 522C composed of the delay τ and the actual TOF from the second transmitting antenna to the receiving antenna. Referring to FIG. 5A, when the received signal is at a frequency shifted (ie, modulated) by the transmitted signal from the first antenna (shown as line 510A in FIG. 5A), the first signal The reflected energy is at a frequency of 524A corresponding to the TOF 522A from the first transmitting antenna, and the reflected energy from the second antenna is 522C for a time equal to the sum of the TOF from the second transmitting antenna and the delay τ5310. It is at the frequency 524C corresponding to. By selecting a τ greater than the largest TOF for direct reflection in the environment, the energy reflected from the second transmitting antenna is distinguished from the energy reflected by the first antenna.

図１を参照すると、それぞれが異なる遅延（つまり、τの整数倍）を有する遅延要素４４０が、選択された送信アンテナのそれぞれのための異なる遅延を導入するために、ＦＭＣＷジェネレータ１２０によって生じさせられる掃引された搬送波信号と送信のために選択された対応するアンテナとの間に導入される。 Referring to FIG. 1, delay elements 440, each with a different delay (ie, an integral multiple of τ), are generated by the FMCW generator 120 to introduce different delays for each of the selected transmit antennas. It is introduced between the swept carrier signal and the corresponding antenna selected for transmission.

再び図２Ｂを参照すると、周波数に対する（及び等価的にＴＯＦに対する）エネルギーの分布が、図に示されるように概して集中されないことが認められるに違いない。むしろ、環境内のすべての反射する物体からの反射の重ね合わせの結果として生じるエネルギーの分布が存在する。ＴＯＦに応じたより典型的なエネルギー分布が、図４Ａに示され、「ＴＯＦプロファイル」と呼ばれる。ＴＯＦプロファイルを計算する１つの方法は、周波数シフト１６０（すなわち、変調器）の出力を周波数掃引の帯域幅に帯域制限し、それから、帯域制限された信号を時間サンプリングし、その後に、ＦＦＴを計算することである。（複素）ＦＦＴ値の２乗された大きさが、ＴＯＦプロファイルを与え、各ＦＦＴサンプルが、異なる周波数範囲に対応し、したがって、異なるＴＯＦの範囲に対応する。 With reference to FIG. 2B again, it must be found that the distribution of energy relative to frequency (and equivalently relative to TOF) is generally unfocused as shown in the figure. Rather, there is a distribution of energy that results from the superposition of reflections from all reflecting objects in the environment. A more typical energy distribution according to TOF is shown in FIG. 4A and is referred to as the "TOF profile". One way to calculate the TOF profile is to bandwidth the output of the frequency shift 160 (ie, the modulator) to the bandwidth of the frequency sweep, then time sample the bandwidth limited signal and then calculate the FFT. It is to be. The squared magnitude of the (complex) FFT value gives the TOF profile, and each FFT sample corresponds to a different frequency range and thus a different TOF range.

図６Ａにおいて、人の位置に対応するＴＯＦ（およそ２８ナノ秒）のエネルギー６１０は、周囲の反射されたエネルギーの中ではっきりと区別可能でない。しかし、周囲の反射されたエネルギーの多くは、動かない物体から来る。上で検討されたように、動かない物体からの反射の影響を軽減する手法は、概して、動く物体に対応する反射されたエネルギーの時間変動を特定することである。この時間変動を特定する１つの手法は、現在時間に取得されたＴＯＦプロファイル（例えば、ＦＦＴの複素出力）をＴＯＦプロファイルの遅延されたバージョンと比較することである。環境内の動く人に関して、１２．５ミリ秒の遅延（例えば、５回の２．５ミリ秒の掃引の遅延）が使用され得る。現在のＴＯＦプロファイルと遅延されたＴＯＦプロファイルとの間のこの（複素数の）差が、一連の掃引にわたって、例えば、５回の掃引（例えば、１２．５ミリ秒）にわたって平均される可能性がある。図６Ｂを参照すると、そのような差し引きの手法の応用の例が、異なるＴＯＦプロファイル内のエネルギーのピーク６２０を示す。 In FIG. 6A, the TOF (approximately 28 nanoseconds) energy 610 corresponding to a person's position is not clearly distinguishable among the reflected energies of the surroundings. However, much of the reflected energy around it comes from immobile objects. As discussed above, a technique for mitigating the effects of reflections from a stationary object is generally to identify the time variation of the reflected energy corresponding to the moving object. One method of identifying this time variation is to compare the TOF profile acquired at the current time (eg, the complex output of the FFT) with a delayed version of the TOF profile. For moving persons in the environment, a delay of 12.5 ms (eg, a delay of 5 2.5 ms sweeps) can be used. This (complex) difference between the current TOF profile and the delayed TOF profile can be averaged over a series of sweeps, eg, 5 sweeps (eg 12.5 ms). .. With reference to FIG. 6B, an example of the application of such a deduction technique shows peak energy 620 in different TOF profiles.

上で導入されたように、アンテナのそれぞれの送信−受信の対が、１つのＴＯＦプロファイルを生じる。ＴＯＦプロファイルの各点は、３次元の１つの楕円体又は同等に２次元の楕円（例えば、アンテナ及び物体が１つの平面内にあると仮定される場合）に対応する。したがって、ＴＯＦプロファイル全体が、ＴＯＦプロファイルの各点に応じて各楕円（又は楕円体）に沿って強さ（intensity）を設定することによって、以下で「ヒートマップ」と呼ばれる推定された位置の空間的分布にマッピングされ得る。５メートル×７メートルの部屋内に２人の人が示されるようにして生じさせられた例において、１つの送信アンテナ−受信アンテナの対を使用する差のＴＯＦプロファイルが、図７Ａに示される。この例において、すべてのアンテナは、ｙ＝０軸に沿って離間されており、したがって、ヒートマップは、楕円の焦点がＴＯＦプロファイルを形成するために使用されるアンテナの位置にあるようにして１組の半楕円として変動を呈する可能性がある。 As introduced above, each transmit-receive pair of antennas yields one TOF profile. Each point in the TOF profile corresponds to a three-dimensional ellipsoid or an equally two-dimensional ellipsoid (eg, if the antenna and object are assumed to be in one plane). Therefore, the entire TOF profile is the space of the estimated position, hereinafter referred to as the "heat map", by setting the intensity along each ellipse (or ellipsoid) according to each point in the TOF profile. Can be mapped to a target distribution. In an example generated such that two people are shown in a 5m x 7m room, the TOF profile of the difference using one transmit antenna-receive antenna pair is shown in FIG. 7A. In this example, all antennas are spaced along the y = 0 axis, so the heatmap is such that the focus of the ellipse is at the position of the antenna used to form the TOF profile. It may vary as a set of semi-ellipses.

図７Ａに示されるように１つのアンテナの対だけを用いると、ヒートマップは、２人の人の位置のかなりの曖昧性を示すことに留意されたい。図７Ｂ〜７Ｅは、それぞれ、２つから５つまでのアンテナの対からのヒートマップを合計することによる組み合わされたヒートマップの形成を示す。図７Ｅに示されるように５つのアンテナの対を用いると、２つの体の位置が、組み合わされたヒートマップ内ではっきり分かることに留意されたい。この例は、（例えば、基本的にアンテナ及びすべての物体が同じ高さにあると仮定して）２次元ヒートマップの手法を用いる。代替的に、２次元ヒートマップに似ている３次元の点群（point cloud）（概して、用語「ヒートマップ」、「点群」、及び「ポイントマップ（point map）」は、以下で交換可能なように使用される）が、アンテナの３次元座標を考慮に入れて同じ手法を用いて計算され得る。 Note that using only one pair of antennas, as shown in FIG. 7A, the heatmap shows considerable ambiguity in the positions of the two people. 7B-7E show the formation of combined heatmaps by summing the heatmaps from a pair of 2 to 5 antennas, respectively. Note that using a pair of five antennas, as shown in FIG. 7E, the positions of the two bodies are clearly visible in the combined heatmap. This example uses a two-dimensional heatmap technique (eg, assuming that the antenna and all objects are essentially at the same height). Alternatively, a 3D point cloud that resembles a 2D heat map (generally the terms "heat map", "point cloud", and "point map" can be exchanged below. Can be calculated using the same technique, taking into account the 3D coordinates of the antenna.

実際のところ、上述のような異なるアンテナの対からのヒートマップの組合せ（すなわち、重ね合わせ）は、システムの環境内の体（すなわち、人）の位置を正確に区別するには十分でない可能性がある。１つの理由は、異なるユーザが「遠近」問題を呈する可能性がある。特に、近くの人の反射は、概して、遠く離れた人又は障害物の裏の人の反射よりもずっと強い。 In fact, the combination of heatmaps (ie, superposition) from different pairs of antennas as described above may not be sufficient to accurately distinguish the position of the body (ie, person) within the environment of the system. There is. One reason is that different users may present "perspective" problems. In particular, the reflexes of nearby people are generally much stronger than those of people far away or behind obstacles.

図８Ａは、遠近問題の課題を示し、環境内に４人の人がいるところで取得された２次元ヒートマップを示す。ヒートマップは、我々がこれらの人のうちの２人だけの場所を突き止めることを可能にし、１人は、（０．５，２）にはっきりと見え、もう１人は、（−０．５，１．３）によく見える。たまたまアンテナアレイからずっと遠くにいるその他の２人は、初めの２人の電力によって完全に圧倒される。この遠近問題に対処するために、１つのショット（shot）内のすべての人の場所を突き止めるのではなく、システムは、連続シルエットキャンセル（ＳＳＣ，Successive Silhouette Cancellation）を実行する。ＳＳＣ手順は、以下の４つの主なステップからなる。
１．検出：複数の（例えば、すべての）送信アンテナ−受信アンテナの対に関する差のＴＯＦプロファイルから導出されたヒートマップを重ねることによって最も強い反射体の位置を見つける。
２．再マッピング：それぞれの送信アンテナ−受信アンテナの対に関するその位置を生じさせた可能性があるＴＯＦ（又はＴＯＦの範囲）に検出された位置をマッピングする。
３．キャンセル：すべての送信−受信の対のＴＯＦプロファイルに対する人の影響をキャンセルする。
４．反復：キャンセルされたＴＯＦプロファイルを用いてヒートマップを再計算し、それらのヒートマップを重ね、次の最も強い反射体の位置を見つけるためにステップ１に進む。 FIG. 8A shows the problem of perspective problems and shows a two-dimensional heat map acquired in the presence of four people in the environment. The heatmap allows us to locate only two of these people, one clearly visible at (0.5,2) and the other at (-0.5). , 1.3) looks good. The other two, who happen to be far from the antenna array, are completely overwhelmed by the power of the first two. To address this perspective issue, instead of locating everyone in a shot, the system performs a Successive Silhouette Cancellation (SSC). The SSC procedure consists of the following four main steps.
1. 1. Detection: Find the location of the strongest reflector by overlaying heatmaps derived from the TOF profile of the differences for multiple (eg, all) transmit and receive antenna pairs.
2. 2. Remapping: Maps the detected position to the TOF (or range of TOF) that may have caused that position with respect to each transmit and receive antenna pair.
3. 3. Cancel: Cancels the person's influence on the TOF profile of all transmit-receive pairs.
4. Iteration: Recalculate the heatmaps with the canceled TOF profile, overlay those heatmaps, and proceed to step 1 to find the location of the next strongest reflector.

以下で、我々は、図８Ａ〜Ｄに示される４人の人がいる例を段階的に見ることによってこれらの４つのステップのそれぞれを詳細に説明する。 Below, we describe each of these four steps in detail by step-by-step looking at an example with four people shown in FIGS. 8A-D.

第１のステップ、検出において、図８Ａの２次元ヒートマップ内の最も高い電力の反射体の位置。この例において、最も高い電力は、（０．５，２）にあり、その位置に人がいることを示す。 In the first step, detection, the position of the highest power reflector in the 2D heat map of FIG. 8A. In this example, the highest power is at (0.5, 2), indicating that there is a person in that position.

検出ステップで決定された人の（ｘ，ｙ）座標が与えられると、再マッピングステップにおいて、我々は、この位置を、それぞれの送信−受信の対に関して別々に、対応するＴＯＦの範囲にマッピングし返す。ヒートマップは２次元で計算されるが、各人は、点反射体ではなく、むしろ、垂直（ｚ）方向の広がりを有する。したがって、それぞれの送信−受信の対のＴＯＦプロファイルに対する人の体全体からの反射の影響が推定される。３次元座標（ｘｔ，ｙｔ，ｚｔ）及び（ｘｒ，ｙｒ，ｚｒ）のアンテナの対に関して、（ｘ，ｙ）の物体に関する最も短いＴＯＦは、３次元の点（ｘ，ｙ，（ｚｔ−ｚｒ）／２）からの反射による。このＴＯＦ（ｍｉｎ）は、伝播速度ｃを用いて計算される。基本的に、床の高さの点がアンテナから最も遠いと仮定して、（ｘ，ｙ）の物体に関する最も大きなＴＯＦは、３次元の点（ｘ，ｙ，０）からの反射に対応すると仮定される。このＴＯＦ（ｍａｘ）も、伝播速度ｃを用いて計算される。それぞれのアンテナの対に関する範囲［ＴＯＦ（ｍｉｎ），ＴＯＦ（ｍａｘ）］が、再マッピングステップの結果である。その他の実施形態においては、ＴＯＦの推定された平均及び標準偏差の推定値を使用する、それぞれのアンテナの対に関するＴＯＦ上の範囲又はその他の分布に（ｘ，ｙ）をマッピングするその他の手法が、使用され得る。 Given the person's (x, y) coordinates determined in the detection step, in the remapping step we map this position to the corresponding TOF range separately for each transmit-receive pair. return. Although heatmaps are calculated in two dimensions, each person has a vertical (z) spread rather than a point reflector. Therefore, the effect of reflexes from the entire human body on the TOF profile of each transmit-receive pair is estimated. For a pair of antennas in 3D coordinates (x t , y t , z t ) and (x r , y r , z r ), the shortest TOF for the object at (x, y) is the 3D point (x, y). Due to reflection from y, (z t- z r ) / 2). This TOF (min) is calculated using the propagation velocity c. Basically, assuming that the floor height point is the furthest from the antenna, the largest TOF for the object at (x, y) corresponds to the reflection from the three-dimensional point (x, y, 0). Assumed. This TOF (max) is also calculated using the propagation velocity c. The range [TOF (min), TOF (max)] for each antenna pair is the result of the remapping step. In other embodiments, other techniques that use estimates of the estimated mean and standard deviation of the TOF to map (x, y) to a range or other distribution on the TOF for each pair of antennas. , Can be used.

キャンセルステップが、それぞれのアンテナの対に関して実行される。一実施形態において、アンテナの対に関する現在のＴＯＦプロファイルは、人の推定値（ｘ，ｙ）に対応するＴＯＦの推定された範囲でゼロにされる（又はそうでなければ弱められる）。それから、組み合わされたヒートマップが、キャンセルの後のＴＯＦプロファイルから決定されたヒートマップを合計することによって計算される。図７Ｂは、位置（０．５，２．０）にいると推定された第１の人に対して手順を実行した後の結果を示す。 A cancel step is performed for each antenna pair. In one embodiment, the current TOF profile for a pair of antennas is zeroed (or otherwise weakened) in the estimated range of TOF corresponding to the human estimate (x, y). The combined heatmaps are then calculated by summing the heatmaps determined from the TOF profile after cancellation. FIG. 7B shows the results after performing the procedure on a first person estimated to be in position (0.5, 2.0).

第２のサイクルで、図８Ｂのヒートマップを用いるステップ１において、第２の人が位置（−０．５，１．３）にいると特定され、ステップが繰り返され、図８Ｃのヒートマップを生じる。第３の人はこのヒートマップ内で位置（０．８，２．７）にいると特定され、ステップが繰り返され、図８Ｄのヒートマップを生じ、図８Ｄのヒートマップ内で、第４の人は（１．０，４．０）にいると特定される。 In the second cycle, in step 1 using the heatmap of FIG. 8B, the second person was identified as in position (-0.5, 1.3), the steps were repeated, and the heatmap of FIG. 8C was displayed. Occurs. The third person is identified in position (0.8, 2.7) in this heatmap, the steps are repeated, producing the heatmap of FIG. 8D, and in the heatmap of FIG. 8D, the fourth person. The person is identified as being at (1.0, 4.0).

一部の例においては、さらなる焦点を合わせ直すステップが、図８Ａ〜Ｄに示された上述の反復で発見された人の位置の推定値を改善するために実行される。物体（例えば、人）が検出された各位置に関して、それぞれの元の（つまり、ＳＳＣ手順のいかなるキャンセルよりも前の）ＴＯＦプロファイルが、物体の推定された位置に対応するその元のＴＯＦプロファイルの［ＴＯＦｍｉｎ，ＴＯＦｍａｘ］の範囲の外でゼロにされ（又はそうでなければ弱められ）、これらのヒートマップが、各人に関する組み合わされたヒートマップを形成するために組み合わされる。図８Ａ〜Ｄにおいて位置特定された４人の人に関するこれらの焦点を合わせ直されたヒートマップが、図９Ａ〜Ｄに示される。 In some examples, further refocusing steps are performed to improve the human position estimates found in the above iterations shown in FIGS. 8A-D. For each position where an object (eg, a person) is detected, the respective original TOF profile (ie, prior to any cancellation of the SSC procedure) is of that original TOF profile corresponding to the estimated position of the object. Zeroed (or otherwise weakened) outside the range of [TOFmin, TOFmax], these heatmaps are combined to form a combined heatmap for each person. These refocused heatmaps for the four persons repositioned in FIGS. 8A-D are shown in FIGS. 9A-D.

一部の例においては、推定された（ｘ，ｙ）位置の時間シーケンス、又は位置の組が、さらに処理される可能性がある。例えば、軌跡の平滑化及び／又は個人への位置の割り振りが、例えば、カルマンフィルタリング又はその他のモデルに基づく若しくは発見的な技法を用いて実行される可能性がある。 In some examples, the estimated (x, y) position time sequence, or set of positions, may be further processed. For example, trajectory smoothing and / or location allocation to individuals may be performed, for example, using Kalman filtering or other model-based or discovery techniques.

一部の例において、システムは、人の手がその人の体全体よりもずっと小さな反射面を有するという事実を利用することによって手の動作を（歩行のような）体全体の動作と区別することができる。上述のキャンセル及び焦点を合わせる手法を用いて、システムは、ジェスチャが複数のユーザによって同時に実行されるときでさえもそれらの動作を追跡することができる。特に、焦点を合わせるステップを利用することによって、システムは、各人の個々に焦点を合わせ、その人のジェスチャを追跡する。例えば、異なるユーザが異なる方向を同時に指さす可能性がある指を指すジェスチャが検出され得る。その後、それぞれの動く手の軌跡を追跡することによって、システムは、ユーザのそれぞれが指を指している方向を決定する。ユーザが、３次元でこれらの指さしジェスチャを実行し、システムが、異なる送信アンテナ−受信アンテナの対からのＴＯＦを用いて焦点を合わせ直すステップにおいて２次元ヒートマップではなく３次元の点群を構築することによって手の動作を追跡することに留意されたい。 In some examples, the system distinguishes hand movements from whole body movements (such as walking) by taking advantage of the fact that a person's hands have a much smaller reflective surface than the person's entire body. be able to. Using the cancellation and focusing techniques described above, the system can track gestures even when they are performed by multiple users at the same time. In particular, by utilizing the focusing step, the system focuses on each person individually and tracks that person's gestures. For example, a gesture pointing to a finger that different users may point in different directions at the same time can be detected. By tracking the trajectory of each moving hand, the system then determines the direction in which each of the users is pointing their finger. The user performs these pointing gestures in 3D, and the system builds a 3D point cloud instead of a 2D heatmap in the step of refocusing with TOFs from different transmit-receiver antenna pairs. Note that by tracking the movement of the hand.

上述の手法は、動く体の位置を検出及び推定するのに効果的である。一部の実施形態においては、第２の手法が、（例えば、椅子に座っているか又はベッドに寝ている）比較的動かない人をそれらの人の周期的な呼吸動作に基づいて検出するために代わりに又は追加で使用される。上述の手法においては、それぞれのアンテナの対に関する異なるＴＯＦプロファイルが、比較的短い時間間隔にわたって、例えば、１２．５ミリ秒にわたって差を取ることによって決定される。呼吸は、ずっと遅いレートで、例えば、数秒の呼吸時間で行われる。概して、環境内の呼吸する人の検出の手法は、呼吸に合った特徴的な周波数を有する経時的なＴＯＦプロファイルの変調を検出することに基づく。例えば、変調を検出するのに十分な時間の尺度にわたる一連のＴＯＦプロファイルの分析によって、異なるＴＯＦに関するそのような変調を検出するためにさまざまな手法が使用され得る。これを行うための１つの方法は、上述の手法を適用することであるが、短い時間差（例えば、１２．５ミリ秒）で異なるＴＯＦプロファイルを計算するのではなく、より長い時間差（例えば、１秒を超えて、例えば、２．５秒）が、使用される。 The methods described above are effective in detecting and estimating the position of a moving body. In some embodiments, the second approach is to detect relatively immobile persons (eg, sitting in a chair or sleeping in a bed) based on their periodic breathing movements. Used in place of or in addition to. In the method described above, different TOF profiles for each antenna pair are determined by taking a difference over a relatively short time interval, eg, 12.5 ms. Breathing occurs at a much slower rate, for example with a breathing time of a few seconds. In general, the method of detecting a breathing person in an environment is based on detecting modulation of the TOF profile over time with a characteristic frequency that matches the breath. For example, by analyzing a series of TOF profiles over a measure of time sufficient to detect modulation, various techniques can be used to detect such modulation for different TOFs. One way to do this is to apply the technique described above, but instead of calculating different TOF profiles with a short time difference (eg 12.5 ms), a longer time difference (eg 12.5 ms). Beyond the seconds, for example 2.5 seconds) is used.

上述のＳＳＣ手順は、すべてのその他のユーザからの干渉を除去しながら各人に焦点を合わせることを可能にする。アルゴリズムは、環境内にその他の人がいるときに各人の呼吸を監視するのに非常に効果的であることが分かる。ＳＳＣの焦点を合わせるステップは、（図９Ａ〜Ｄに示されたように）我々がシーン内のすべてのその他の人からの干渉を除去しながら各人に焦点を合わせることを可能にすることを思い出されたい。したがって、ＳＳＣの焦点を合わせるステップは、我々が各人に個々に焦点を合わせ、各人の焦点を合わせられたヒートマップの最大電力を時間に応じて監視することを可能にする。各人のヒートマップからの最大電力は、周期的に上下する。これは、呼吸が息を吸うことと息を吐くこととを交互に繰り返す律動的な動作であるからである。最大電力は、人の胸が最初の差し引きのフレーム内の胸の位置に戻るときに最も低くなり、人の胸がその最初の位置から最も遠い位置にあるときに最も高くなる。我々は、１人の人のピークトゥピーク信号（peak-to-peak signal）が別の人のピークトゥピーク信号よりも複数桁大きい可能性があることを観測した。それにもかかわらず、ＳＳＣ手順は、より弱い反射を検出し、環境内のその他の人からの干渉を除去し、各人に個々に焦点を合わせること及び人の呼吸を監視することを許容する際の手順の有用性を示す図９Ａ〜Ｄに示されたヒートマップのシーケンスを生成する。この手法は、ユーザが呼吸を止める（例えば、息を止めるか、又は睡眠時無呼吸の結果としての）期間の検出を許容する。 The SSC procedure described above makes it possible to focus on each person while removing interference from all other users. The algorithm turns out to be very effective in monitoring each person's breathing when there are others in the environment. The SSC focusing step allows us to focus on each person while removing interference from all others in the scene (as shown in Figures 9A-D). I want to remember. Therefore, the SSC focusing step allows us to individually focus on each person and monitor the maximum power of each person's focused heatmap over time. The maximum power from each person's heatmap goes up and down periodically. This is because breathing is a rhythmic movement that alternates between inhaling and exhaling. The maximum power is lowest when the person's chest returns to the chest position within the frame of the first deduction and highest when the person's chest is farthest from its first position. We have observed that the peak-to-peak signal of one person can be several orders of magnitude larger than the peak-to-peak signal of another person. Nevertheless, the SSC procedure is in detecting weaker reflexes, removing interference from others in the environment, allowing each person to focus individually and monitor a person's breathing. Generate a sequence of heatmaps shown in FIGS. 9A-D showing the usefulness of the procedure. This technique allows the user to detect the duration of breath holding (eg, as a result of holding breath or sleep apnea).

上記の及び以下の「システム」への言及は、上述の技法のうちの１又は２以上を組み込むシステムの１又は２以上の実施形態に向けられていることを理解した上で、上述の手法のうちの１又は２以上を使用するシステムの極めて多くのその他の潜在的な応用がある。例えば、すべてのシステムが、位相に基づく処理のために、短い時間の尺度の差を付けること、より長い時間の尺度の差を付けること、ＳＣＣ、焦点を合わせ直すことのそれぞれを利用するわけではない。また、文脈から明らかであるように、一部の応用においては、システムが、大きな環境を監視するためにそれぞれが独自のアンテナアレイを備えた複数のユニットを有する可能性がある。 With the understanding that references to "systems" above and below are directed to one or more embodiments of a system incorporating one or more of the above techniques, of the above techniques There are numerous other potential applications for systems that use one or more of them. For example, not all systems utilize short-time scale differences, longer-time scale differences, SCCs, and refocusing for phase-based processing. Absent. Also, as is clear from the context, in some applications the system may have multiple units, each with its own antenna array to monitor a large environment.

１つの潜在的な応用は、エネルギーの節約及びビルディングオートメーションに関する。システムは、部屋又は家の中の人の数及びそれらの人の位置を特定することができる。したがって、システムは、人の数に基づいて室内の温度を先を見越して調節し、空いた部屋のための照明／ＨＶＡＣをオフにするビルディングオートメーションシステムの要素として利用され得る。これは、エネルギーを節約するのに役立ち、人が建物をどのように歩き回るかについての理解を高めることができる。また、システムは、人が入ってくるとき及び人が出て行くときを知り、照明／ＨＶＡＣ／温度システムを断定的にオンにするか、オフにするか、又は調節する可能性がある。 One potential application concerns energy saving and building automation. The system can identify the number of people in a room or house and the location of those people. Therefore, the system can be utilized as an element of a building automation system that proactively adjusts the temperature of the room based on the number of people and turns off the lighting / HVAC for vacant rooms. This can help save energy and increase understanding of how people roam the building. The system may also know when a person enters and exits and may categorically turn the lighting / HVAC / temperature system on, off, or adjust.

従業員及び訪問者が企業の環境をどのように使用するか、つまり、従業員及び訪問者がどこでほとんどの時間を過ごすか、チーム／グループがどのようにしてアイデアを形成し、生じさせるか、どの空間が未使用か、並びにどの空間が過剰に使用されているかなどを理解することにも、大きな関心が寄せられている。システム（又は企業の環境に分散された複数のシステム）は、従業員及び訪問者が空間を歩き回るときに従業員及び訪問者の動きを追跡することによって深い洞察を与えることができる。したがって、システムは、使用されない空間を減らすか又は再編成するために使用され得る。代替的に、システムは、概して人が会合し、アイデアを考えつく空間を再編成するために使用され得る。 How employees and visitors use the corporate environment: where employees and visitors spend most of their time, how teams / groups form and generate ideas. There is also great interest in understanding which spaces are unused and which spaces are overused. A system (or multiple systems distributed in a corporate environment) can provide deep insight by tracking employee and visitor movements as employees and visitors roam the space. Therefore, the system can be used to reduce or reorganize unused space. Alternatively, the system can generally be used to reorganize the space where people meet and come up with ideas.

ホームオートメーションの場面では、システムは、ジェスチャに基づくインターフェースのために使用される可能性があり、それによって、人は、ジェスチャを実行することによって異なる家庭用電化製品を自動化する。システムは、ジェスチャを追跡し、そのジェスチャをコマンドとして解釈することができ、これは、人がＴＶをオン及びオフにすること、空中で文字又は単語を書くこと、その他の家庭用電化製品をオフにすることなど、電化製品を制御することを可能にする。加えて、システムは、人の毎日の行為を知り、タスクを自動化することができる。例えば、システムは、人が起きるときを知り（又はその人がベッドから出るときを検出し）、直ちにシャワーをオンにし、それから、その人がシャワーから出るときにコーヒーメーカーをオンにすることができる。システムは、人がいるときを知ることができ、したがって、その人がその人の家に入るときを決定することができる。したがって、システムは、（異なる日にまたがってこれらのパターンを追跡することによって）人が通常家に戻る時間を知り、以前のパターンに基づいて暖房／ＨＶＡＣ／照明を自動的に調節することができる。 In the home automation scene, the system can be used for gesture-based interfaces, which allow a person to automate different household appliances by performing gestures. The system can track gestures and interpret them as commands, which allow a person to turn TV on and off, write letters or words in the air, and turn off other household appliances. It makes it possible to control electrical appliances, such as. In addition, the system can know a person's daily activities and automate tasks. For example, the system can know when a person wakes up (or detect when the person gets out of bed), turn on the shower immediately, and then turn on the coffee maker when the person gets out of the shower. .. The system can know when a person is present and therefore can determine when that person will enter his or her home. Therefore, the system can know when a person normally returns home (by tracking these patterns across different days) and automatically adjust heating / HVAC / lighting based on previous patterns. ..

小売の場面では、顧客の追跡が、購買行動の理解を向上させるために使用され得る。システムは、小売店内の買い物客を非常に高い精度で追跡して、それらの買い物客の行動に対する深い洞察を与えることができる。システムは、買い物客がスマートフォンを持つことを必要とせずにそれらの買い物客の体からの無線反射に依拠することによってそれらの買い物客の場所を突き止める。システムは、店に入る／店を出る人の数、それらの人がたどる経路、それらの人が止まる位置、及びそれらの人が支払いのための列に並んで待つ時間などの幅広い店内の分析論を生じさせる。また、システムは、手の動きを追跡し、ユーザが品物を持ち上げるか又は品物を棚に戻すときを特定する。これらの洞察は、店に顧客の行動への深い理解を与え、例えば、店は、店の販売促進キャンペーンへの顧客の反応を分析し、これらのキャンペーンをリアルタイムで適合させることができる。さらに、顧客の軌跡を理解することによって、店は、製品をより近づきやすくし、それらの店のスタッフをより効率的に配し、したがって、顧客満足及びひいては維持を向上させることができる。概して、これらの分析論は、店が販売を増やし、顧客経験価値及び顧客ロイヤルティを高め、店内のマーケティングを最適化する機会を特定することを可能にする。 In the retail context, customer tracking can be used to improve understanding of purchasing behavior. The system can track shoppers in a retail store with very high accuracy and give them deep insight into their behavior. The system locates shoppers by relying on radio reflections from their bodies without the need for shoppers to have a smartphone. The system provides a wide range of in-store analytics, including the number of people entering and leaving the store, the routes they follow, where they stop, and the amount of time they wait in line for payment. Causes. The system also tracks hand movements to identify when a user lifts an item or returns it to a shelf. These insights give the store a deeper understanding of customer behavior, for example, the store can analyze the customer's reaction to the store's promotional campaigns and adapt these campaigns in real time. Moreover, by understanding customer trajectories, stores can make products more accessible and staff in those stores more efficiently, thus improving customer satisfaction and thus retention. In general, these analytical theories allow stores to identify opportunities to increase sales, increase customer experience value and customer loyalty, and optimize in-store marketing.

システムがリテールアナリティクス（Retail Analytics）のために生成することができる洞察の少なくとも２人の潜在的なユーザが存在する。第１は、小売マーチャンダイジングの指揮者であり、それらの指揮者は、製品の最も利益を生む製品構成、値付け、及びディスプレイなどの店内プロモーション、販売サポート、割引などを決定するためにますますデータに依拠する。実店舗型の小売はＥコマースから仕掛けられる競争に直面して悪戦苦闘しているが、主導的な小売業者は、顧客の行動のより深い理解を出血を止めるための方法と見ており、したがって、支出は、リテールアナリティクスにシフトしており、今後１０年にわたってそうし続けると予測されている。 There are at least two potential users of insights that the system can generate for Retail Analytics. The first is the leaders of retail merchandising, who are responsible for determining the most profitable product mix, pricing, and in-store promotions such as displays, sales support, discounts, etc. Rely on data more and more. While retail retailers are struggling in the face of competition from e-commerce, leading retailers see a deeper understanding of customer behavior as a way to stop bleeding, and therefore. Spending has shifted to retail analytics and is expected to continue to do so over the next decade.

リテールアナリティクスの顧客の第２の組は、消費財供給業者（主としてＣＰＧ会社）である。今日、ＣＰＧ会社内の市場調査の指揮者は、販売時点データ及びACNielsen社などの調査会社によってまとめられた顧客パネル調査からの洞察を含む市場調査に１年当たりおよそ５６億ドルを費やす。ロケーションアナリティクス（Location Analytics）の洞察は、ＣＰＧのブランドマネージャ（市場調査の消費者）が小売業者における販売促進費用でより効率的になることを助けることができる。 The second set of retail analytics customers are consumer goods suppliers (mainly CPG companies). Today, market research leaders within CPG companies spend approximately $ 5.6 billion per year on market research, including point-of-sale data and insights from customer panel research compiled by research firms such as AC Nielsen. Location Analytics insights can help CPG brand managers (market research consumers) become more efficient at promotional costs at retailers.

医療では、システムは、患者が病院内を動き回るときにそれらの患者を追跡することができる。例えば、患者はそれらの患者の部屋及びトイレで転倒し、それらの患者が転倒するときを検出することが重要である。患者がそれらの患者の部屋を出るときを検出し、それらの患者が病院内を動き回るときにそれらの患者を追跡することも、重要である可能性がある。これは、精神科又は精神病院においてより一層重要になる。さらに、システムは、広く人を監視することができるので、訪問者の待ち時間に情報を提供することもできる。加えて、システムは、看護師又は別の介護者が部屋に入り、それらの看護師又は介護者の義務を果たした（例えば、患者のバイタルを調べた／変えた）かどうかを追跡することができる。 In medicine, the system can track patients as they move around the hospital. For example, it is important for patients to fall in their rooms and toilets and to detect when those patients fall. It may also be important to detect when patients leave their room and to track them as they move around the hospital. This becomes even more important in psychiatry or psychiatric hospitals. In addition, the system can monitor people widely, so it can also provide information on the waiting time of the visitor. In addition, the system may track whether a nurse or another caregiver has entered the room and has fulfilled the obligations of those nurses or caregivers (eg, examined / changed the patient's vitals). it can.

高齢者住宅及び介護付き住宅施設は、それらの住民に自由にしてもらい、ビクビクするのではなく生活を楽しむことに焦点を合わせられた雰囲気を作り出そうと努力しており、したがって、いかなる監視技術を採用することにも慎重である傾向がある。これは、介護の必要性がより大きい養護老人ホーム又は認知症の患者専用の介護付き住宅施設を含む。システムは、高齢者住宅施設内で人（主に高齢者）を追跡するために使用され得る。システムは、転倒を検出し、人が何回トイレを使ったか又はそれらの人の部屋若しくはベッドを出たか、それらの人が窓のそばに行き、十分な日光を浴びたかどうかを追跡するために使用され得る。システムは、訪問者が施設に入るときのそれらの訪問者（例えば、それらの訪問者の数及び行為）と、住民を介護する（又は介護しない）ときの介護者を追跡することもできる。 Elderly housing and long-term care housing facilities strive to free their residents and create an atmosphere focused on enjoying life rather than freaking out, and therefore employ any surveillance technology. They also tend to be cautious about doing things. This includes nursing homes for the elderly with greater need for long-term care or long-term care housing facilities dedicated to patients with dementia. The system can be used to track people (mainly the elderly) within an elderly housing facility. The system detects falls and tracks how many times a person has used the toilet or has left their room or bed, and whether they have gone by the window and received sufficient sunlight. Can be used. The system can also track those visitors as they enter the facility (eg, the number and behavior of those visitors) and the caregivers when caring for (or not caring for) the population.

システムは、家又は企業のセキュリティのために使用される可能性もある。特に、システムは、人の動作を追跡することができるので、侵入者が建物に入ったかどうか、又はその侵入者が家の外を歩き回っているかどうかさえも知ることができる。例えば、システムは、自動的に警報をオフにするか、又はセキュリティシステムがオンのときに誰かが建物に入るときに警告を送る可能性がある。さらに、家又は企業の中に住民がおり、システムが施設の外を歩き回る人を感知した場合でさえも、システムは、それらの存在を検出し、それらの動きを追跡し、及び／又はそれらの存在について警告することができる。 The system may also be used for home or corporate security. In particular, the system can track the movement of a person, so it can even know if an intruder has entered a building or even roaming outside the house. For example, the system may automatically turn off alerts or send alerts when someone enters a building when the security system is on. Moreover, even if there are inhabitants in the house or business and the system senses people roaming outside the facility, the system will detect their presence, track their movements, and / or their You can warn about its existence.

説明される手法が上で概略を示されたさまざまな応用に適用され得ることを理解した上で、２つの応用に関するさらなる詳細が例として以下で与えられる。これらの２つの応用は、転倒の検出及び指さしジェスチャの検出である。 Further details regarding the two applications are given below as examples, with the understanding that the techniques described can be applied to the various applications outlined above. These two applications are fall detection and pointing gesture detection.

転倒の検出に関して、目的は、地面に座ること、椅子に座ること、及び歩行することなどのその他の活動と転倒を自動的に区別することである。そのようにするために、我々は、ｚ次元に沿ったシステムの高度追跡を足がかりにする。概して、単に人の高度を調べることは、床に座ることと転倒を区別するのに十分でないことに留意されたい。転倒を検出するために、システムは、２つの条件が満たされることを必要とし、第１は、ｚ軸に沿った人の高度が大きく（その値の３分の１を超えるだけ）変わらなければならず、人の高度の最終的な値が、地面の高さに近くなければならない。第２の条件は、人が座るよりも速く転倒することを反映するために高度の変化が非常に短い期間内に起こらなければならないことである。 With respect to fall detection, the purpose is to automatically distinguish falls from other activities such as sitting on the ground, sitting in a chair, and walking. To do so, we use the altitude tracking of the system along the z dimension as a foothold. It should be noted that, in general, simply examining a person's altitude is not sufficient to distinguish between sitting on the floor and falling. In order to detect a fall, the system requires two conditions to be met, first, if the altitude of the person along the z-axis does not change significantly (more than one-third of that value). Instead, the final value of a person's altitude must be close to the height of the ground. The second condition is that altitude changes must occur within a very short period of time to reflect that a person falls faster than he or she sits.

図１０は、４つの活動、すなわち、人が歩行すること、椅子に座ること、地面に座ること、及び（シミュレーションされた）地面に転倒することに関する垂直の（ｚ）次元に沿った高度のシステムの推定値を示す。図は、歩行すること及び椅子に座ることが、最終的な高度がｚ＝０から遠いので高度に基づいて転ぶこと及び床に座ることから特定され得ることを確認する。しかし、地面への転倒を地面に座ることから区別するためには、人が床に自発的に座るときよりも速く人が転倒中にその人の高度を変化させることを利用しなければならない。 FIG. 10 shows an altitude system along the vertical (z) dimension for four activities: walking, sitting in a chair, sitting on the ground, and falling to the (simulated) ground. The estimated value of is shown. The figure confirms that walking and sitting in a chair can be identified by falling on the basis of altitude and sitting on the floor as the final altitude is far from z = 0. However, in order to distinguish a fall to the ground from sitting on the ground, one must take advantage of the fact that a person changes his or her altitude during a fall faster than when a person voluntarily sits on the floor.

指さしジェスチャを利用するアプリケーションにおいて、システムは、指さしの角度を推定することができ、それから、指さしジェスチャが、電気デバイス又は電子デバイスなどのデバイスを制御するために使用され得る。概して、システムは、最初に、体の部分の動作のおおざっぱな推定を行い、それから、おおざっぱな推定値をさらに処理して指さしの角度を決定する。我々は、次の動作、つまり、ユーザがそのユーザの体の横にそのユーザの腕が置かれている状態から動き出すことを考える。ユーザは、デバイス又は電化製品の方を指さすことを意図してそのユーザの選択した方向に腕を上げ、次にその腕を第１の位置に下ろす。ユーザは、動き回り、ランダムな時間に指さしジェスチャを実行する可能性がある。しかし、我々は、ユーザが指さしジェスチャを実行するときに立っている（つまり、歩いていない）ことを必要とする。目的は、指さしの方向を検出することである。 In applications that utilize pointing gestures, the system can estimate the angle of pointing, and then pointing gestures can be used to control devices such as electrical or electronic devices. In general, the system first makes a rough estimate of the movement of a body part, and then further processes the rough estimate to determine the pointing angle. We consider the next action, that is, the user starts moving from the state where the user's arm is placed beside the user's body. The user raises his arm in the direction of his choice with the intention of pointing towards the device or appliance, and then lowers his arm to the first position. The user may move around and perform pointing gestures at random times. However, we need the user to be standing (ie, not walking) when performing the pointing gesture. The purpose is to detect the direction of pointing.

そのような指さしジェスチャを追跡するために、システムは、体全体の動きと腕の動作とを区別する。この目的を達成するために、我々は、腕の反射面が人間の体全体の反射面よりもずっと小さいという事実を利用する。我々は、アンテナのそれぞれにおいて受信された信号のスペクトログラムから反射面のサイズを推定する。図１１は、体全体の動作が存在するときの１つのアンテナの対に関するスペクトログラム（時間に対するスペクトルのプロファイル）と指を指す腕のスペクトログラムとの間の差を示す。図１１において、人は、動いていて、それから停止し、指さしジェスチャを実行した。１８秒及び２１秒辺りの２つの明るい部分は、それぞれ、腕が持ち上げられたこと及び腕が下ろされたことを表す。図は、垂直軸に沿った信号の変化が、反射体が腕の動作だけであるときよりも反射体が人間の体全体であるときに著しく大きいことを示す。反射体が大きい場合、その反射体の部分が互いにわずかに異なる位置を有し、したがって、任意の時点で、ｙ軸に沿ったその反射体の反射の変化は、腕の動きの反射の変化よりも大きい。システムは、この空間的な変化を用いて体全体の動作から体の一部の動作を検出する。 To track such pointing gestures, the system distinguishes between whole body movements and arm movements. To achieve this goal, we take advantage of the fact that the reflective surface of the arm is much smaller than the reflective surface of the entire human body. We estimate the size of the reflective surface from the spectrogram of the signal received at each of the antennas. FIG. 11 shows the difference between the spectrogram of one antenna pair in the presence of whole body movement (the profile of the spectrum over time) and the spectrogram of the finger pointing arm. In FIG. 11, the person was moving, then stopped, and performed a pointing gesture. The two bright areas around 18 seconds and 21 seconds indicate that the arm was lifted and the arm was lowered, respectively. The figure shows that the change in signal along the vertical axis is significantly greater when the reflector is the entire human body than when the reflector is only arm movement. When a reflector is large, the parts of the reflector have slightly different positions from each other, so at any given time, the change in the reflector's reflex along the y-axis is greater than the change in the reflex of arm movement. Is also big. The system uses this spatial change to detect the movement of a part of the body from the movement of the whole body.

我々がそれが体の一部であることを検出すると、システムは、指さしの方向を特定するために動作の方向を推定し、これは、以下のステップを含む。
・セグメント分け：セグメント分けの目的は、指さしジェスチャの開始及び終了を判定することである。図１１は、システムが各受信アンテナから得られた往復距離のスペクトログラムをどのようにしてセグメント分けするかを示す。我々の指さしの実験において、我々は、ユーザに指さしジェスチャを実行する前に１秒間動かずにいるように求める。したがって、我々は、常に指さしジェスチャの開始前に動作のない期間があるので指さしジェスチャの開始を検出することができる。同様に、人が指さしの方向にその人の腕を上げた後、我々は、その人にその人の腕をその開始位置に再び置く前に１秒間待つように求める。システムが２．５ｍｓ毎に周波数掃引を実行するので、我々は、ジェスチャの始まり及び終わりの沈黙を容易に区別することができる。
・雑音除去：体全体の動作の場合のように、セグメント分けされたスペクトログラムの外形が、各受信アンテナに関して、腕の動作の往復距離のきれいな推定値を時間に応じて得るために雑音除去され、補間される。
・指さしの方向の決定：我々は、動く手の位置の推定値に対する堅牢な回帰（regression）を実行し、アンテナのすべてからの回帰の開始点及び終了点を用いて手の最初の位置及び最後の位置を求める。システムは、手の最初の状態から最後の延伸された状態への方向として指さしの方向を推定する。ユーザが指さしの後に手を下ろすので、システムは、この下ろす動作に関して上記のステップを繰り返し、指さしの方向の第２の推定値を得る。そして、システムは、指さしの方向を２つの間の中間の方向として推定する。腕を上げる動作と腕を下ろす動作との間の近似的ミラーリング効果（approximate mirroring effect）を利用することができることは、指さしの角度の推定に高い堅牢性を付け加える。 When we detect that it is part of the body, the system estimates the direction of motion to determine the direction of pointing, which involves the following steps:
-Segmentation: The purpose of segmentation is to determine the start and end of a pointing gesture. FIG. 11 shows how the system segmented the round-trip distance spectrogram obtained from each receiving antenna. In our pointing experiment, we ask the user to stay still for one second before performing the pointing gesture. Therefore, we can always detect the start of a pointing gesture because there is a period of inactivity before the start of the pointing gesture. Similarly, after a person raises his or her arm in the pointing direction, we ask that person to wait one second before repositioning that person's arm in its starting position. Since the system performs a frequency sweep every 2.5 ms, we can easily distinguish between the silence at the beginning and end of the gesture.
Denoise: As in the case of whole body movement, the segmented spectrogram outline is denoised to give a clean estimate of the round-trip distance of arm movement for each receiving antenna over time. Interpolated.
-Determining the pointing direction: We perform a robust regression on the estimated value of the position of the moving hand, using the start and end points of the regression from all of the antennas to start and end the hand. Find the position of. The system estimates the pointing direction as the direction from the initial state of the hand to the final stretched state. As the user lowers his hand after pointing, the system repeats the above steps for this lowering action to obtain a second estimate of the pointing direction. The system then estimates the pointing direction as an intermediate direction between the two. The availability of an approximate mirroring effect between the arm-raising and arm-lowering movements adds a high degree of robustness to the estimation of the pointing angle.

指さしの方向を推定するシステムの例は、ユーザが単に家庭用電化製品を指さすことによってそれらの家庭用電化製品を制御することを可能にすることである可能性がある。機器を搭載したデバイス及びそれらのデバイス位置のリストが与えられると、システムは、ユーザの手の動作を追跡し、そのユーザが指さす方向を決定し、デバイスにそのデバイスのモードを変更する（例えば、照明をオン若しくはオフにするか、又は我々のブラインドを制御する）ように命令することができる。 An example of a system that estimates the pointing direction may be to allow a user to control household appliances by simply pointing at them. Given a list of devices with devices and their device locations, the system tracks the movements of the user's hand, determines the direction the user points in, and changes the mode of the device to the device (eg,). You can instruct them to turn the lights on or off, or control our blinds).

上述のシステムは、さまざまな構成で具現化され得る。例えば、アンテナアレイは、直線アレイ、（例えば、「Ｈ」形の「Ｔ」又は逆「Ｔ」形の水平アレイ及び垂直アレイを有する）複数の直線アレイを形成する可能性がある。その他の例においては、複数の直線アレイが、環境のあちこちに配置される可能性がある。図１２は、床の高さより上の平面に（例えば、壁に）据え付けられる１組の直線状の支持物１５２０に沿ってアンテナ１５１０が配置される「Ｈ」形のアンテナアレイ１５００を示す。一部の例において、アンテナは、指向性であり、例えば、それらのアンテナの感度が監視されている部屋又は領域内に向けられるように据え付けられる。一部の例においては、システムがシステムの設置者によって構成されるときにアンテナの相対的な位置及び環境内のアンテナアレイの位置が、システムに知られる。一部の例において、システムは、直接的なアンテナ間のＴＯＦを監視してアンテナの相対的な位置を推測し、環境内のアレイの位置を推測する際に静的な反射を監視する可能性がある。一部の例において、システムは、電子的な経路（例えば、配線、増幅器など）における遅延が、反射する体の位置を推定するために使用される無線伝播時間をもたらすように測定された遅延から差し引かれ得るようにそのような遅延をやはり推定するために伝播時間を監視する。 The above-mentioned system can be embodied in various configurations. For example, the antenna array can form a linear array, a plurality of linear arrays (eg, having an "H" -shaped "T" or an inverted "T" -shaped horizontal array and a vertical array). In other examples, multiple linear arrays may be placed throughout the environment. FIG. 12 shows an "H" shaped antenna array 1500 in which the antennas 1510 are arranged along a set of linear supports 1520 mounted in a plane above floor height (eg, on a wall). In some examples, the antennas are directional and are installed, for example, so that the sensitivities of those antennas are directed into the monitored room or area. In some examples, the relative position of the antennas and the position of the antenna array in the environment are known to the system when the system is configured by the installer of the system. In some examples, the system may monitor the TOF between direct antennas to infer the relative position of the antennas and monitor static reflections in inferring the position of the array in the environment. There is. In some examples, the system is from a delay measured so that the delay in an electronic path (eg, wiring, amplifier, etc.) results in the radio propagation time used to estimate the position of the reflecting body. The propagation time is also monitored to estimate such delays so that they can be deducted.

異なる送信アンテナからの反射が受信アンテナにおいて区別され得るように、送信される信号を時間／周波数的にシフトすることがただ１つのあり得る手法であることを理解されたい。例えば、異なる符号（例えば、直交する擬似ランダムシーケンス）の乗算が、送信機において使用される可能性があり、そして、これらの符号が、受信機において信号を分けるために使用される可能性がある。 It should be understood that shifting the transmitted signal in time / frequency is the only possible technique so that reflections from different transmitting antennas can be distinguished in the receiving antenna. For example, multiplication of different codes (eg, orthogonal pseudo-random sequences) may be used in the transmitter, and these codes may be used in the receiver to separate the signals. ..

上述の手法は、概して、図１に示された信号分析モジュール１７０及び図４のモジュール４７０の一部として実装される。信号分析モジュールの動作は、コントローラ１１０又は４１０によって制御され、コントローラ１１０又は４１０は、信号分析モジュール１７０又は４７０の動作を調整することに加えて、送信アンテナ及び受信アンテナの選択、ＦＭＣＷジェネレータ１２０による掃引されたキャリア信号の生成を調整する。一部の実施形態において、信号分析モジュール及び／又はコントローラは、例えば、システムの非一時的媒体（例えば、半導体メモリ）に記憶された命令を実行する１又は２以上のプログラミング可能なプロセッサを含め、ソフトウェアで実装される。周波数シフトモジュール１６０の実施形態は、例えば、アナログ変調ユニットを用いてハードウェアにあることも、（記憶されたソフトウェア命令によってやはり制御される）ソフトウェアで定義された無線の構成要素を用いて実装されることもある。一部の実施形態において、分析は、処理の一部が特定のアンテナアレイに関連する電子機器の１又は２以上のプロセッサ上で実行されるようにして分散される可能性があり、一方、例えば、複数のアレイからの情報を融合させるその他の処理は、例えば、別個の（例えば、中央サーバ）コンピュータにおいて実行される可能性がある。 The techniques described above are generally implemented as part of the signal analysis module 170 shown in FIG. 1 and the module 470 in FIG. The operation of the signal analysis module is controlled by the controller 110 or 410, which adjusts the operation of the signal analysis module 170 or 470, as well as the selection of transmit and receive antennas, sweep by the FMCW generator 120. Adjust the generation of the carrier signal. In some embodiments, the signal analysis module and / or controller includes, for example, one or more programmable processors that execute instructions stored on a non-temporary medium (eg, semiconductor memory) of the system. Implemented in software. Embodiments of the frequency shift module 160 are implemented, for example, in hardware with analog modulation units or with software-defined radio components (also controlled by stored software instructions). Sometimes. In some embodiments, the analysis may be distributed such that some of the processing is performed on one or more processors of the electronics associated with a particular antenna array, while, for example, Other processes that fuse information from multiple arrays may be performed, for example, on separate (eg, central server) computers.

上述の説明は、添付の請求項の範囲によって定義される本発明の範囲を例示するように意図されており、限定するように意図されていないことを理解されたい。その他の実施形態は、以下の請求項の範囲内にある。 It should be understood that the above description is intended to illustrate, but not to limit, the scope of the invention as defined by the appended claims. Other embodiments are within the scope of the following claims.

Claims (44)

動く体からの信号の反射を用いて屋内で場所を突き止めるための方法であって、
送信アンテナからの送信される信号パターンの繰り返しを含む送信される信号を放射するステップと、
前記送信される信号の反射を含む受信される信号を複数の受信アンテナのそれぞれの受信アンテナにおいて受信するステップと、
それぞれの受信される信号に関して、
前記受信される信号を処理して、動く体からの前記送信される信号パターンの反射の連続するパターンを形成するステップであって、前記連続するパターンが、前記動く体の推定された位置の２次元又は３次元の空間的分布を含むヒートマップを有するステップと、
前記動く体からの直接的な反射の影響を維持すること、及び少なくとも１つの動かない物体からも反射される前記動く体からのマルチパス反射の少なくとも一部の影響を除外することを含む、反射の前記連続するパターンを処理するステップと、
反射の前記連続するパターンを処理するステップの結果を用いて前記体の位置を決定するステップとを含む、前記方法。 A method for locating indoors using the reflection of signals from a moving body.
Steps to radiate the transmitted signal, including repeating the transmitted signal pattern from the transmitting antenna,
The step of receiving the received signal including the reflection of the transmitted signal at each receiving antenna of the plurality of receiving antennas,
For each received signal
The step of processing the received signal to form a continuous pattern of reflections of the transmitted signal pattern from the moving body, wherein the continuous pattern is 2 at the estimated position of the moving body. A step with a heatmap containing a dimensional or three-dimensional spatial distribution,
Reflections, including maintaining the effects of direct reflections from the moving body and excluding at least some of the effects of multipath reflections from the moving body that are also reflected by at least one non-moving object. And the step of processing the continuous pattern of
The method comprising the step of determining the position of the body using the result of the step of processing the continuous pattern of reflections. 各受信アンテナに関して、マルチパス反射を除外することが、動く体からの直接的な反射を特定することと、少なくとも１つの動かない物体からも反射する前記動く体からの間接的な反射を特定することとを含む請求項１に記載の方法。 For each receiving antenna, excluding multipath reflections identifies direct reflections from a moving body and indirect reflections from said moving body that also reflect from at least one non-moving object. The method according to claim 1, which includes the above. 各受信アンテナに関して、マルチパス反射を除外することが、送信アンテナから前記受信アンテナへの第１の往復遅延時間を特定することを含み、前記第１の往復遅延時間が、動く体から反射する信号パターンの最も短い往復伝播時間を表す請求項２に記載の方法。 For each receiving antenna, excluding multipath reflection involves identifying a first round trip delay time from the transmitting antenna to the receiving antenna, the first round trip delay time is the signal reflected from the moving body. The method of claim 2, which represents the shortest round-trip propagation time of the pattern. 体の位置を決定するステップが、それぞれの受信される信号に関する特定された第１の往復遅延時間を用いて前記特定された第１の往復遅延時間よりも長い往復遅延時間に対応するマルチパス反射を除去するステップを含む請求項３に記載の方法。 The step of determining body position is a multipath reflex corresponding to a round trip delay time longer than the identified first round trip delay time using the specified first round trip delay time for each received signal. The method according to claim 3, which comprises a step of removing. 特定された第１の往復遅延時間を用いることは、前記特定された第１の往復遅延時間を反射の連続するパターンにわたって追跡することを含む、請求項４に記載の方法。 The method of claim 4, wherein using the identified first round-trip delay time comprises tracking the identified first round-trip delay time over a continuous pattern of reflections. １組の受信アンテナが、少なくとも２つのアンテナが異なる高度を有するようにして少なくとも３つのアンテナを含む請求項１に記載の方法。 The method of claim 1, wherein a set of receiving antennas comprises at least three antennas such that at least two antennas have different altitudes. 体の位置を決定するステップが、体の高度を決定するステップを含む請求項６に記載の方法。 The method of claim 6, wherein the step of determining the position of the body includes the step of determining the altitude of the body. 体の追跡された位置において動作のパターンを検出するステップをさらに含む請求項１に記載の方法。 The method of claim 1, further comprising detecting a pattern of movement at the tracked position of the body. 動作のパターンを検出するステップが、体の位置の軌跡の時間的パターンを検出するステップを含む請求項８に記載の方法。 The method of claim 8, wherein the step of detecting the pattern of movement includes the step of detecting the temporal pattern of the locus of the position of the body. 動作のパターンを検出するステップが、場所の特定の環境内で動作のパターンを検出するステップを含む請求項８に記載の方法。 The method according to claim 8, wherein the step of detecting the pattern of operation includes a step of detecting the pattern of operation in a specific environment of the place. 動作のパターンを検出するステップが、ジェスチャを検出するステップを含む請求項８に記載の方法。 The method of claim 8, wherein the step of detecting the pattern of motion comprises the step of detecting a gesture. ジェスチャを検出するステップが、体全体のジェスチャを検出するステップを含む請求項１１に記載の方法。 The method of claim 11, wherein the step of detecting a gesture includes a step of detecting a gesture of the whole body. ジェスチャを検出するステップが、手足のジェスチャを検出するステップを含む請求項１１に記載の方法。 The method of claim 11, wherein the step of detecting a gesture includes a step of detecting a gesture of a limb. ジェスチャを検出するステップが、指さしジェスチャを検出するステップを含む請求項１３に記載の方法。 13. The method of claim 13, wherein the step of detecting a gesture comprises a step of detecting a pointing gesture. 指さしジェスチャを検出するステップが、指さしジェスチャの方向を検出するステップを含む請求項１４に記載の方法。 14. The method of claim 14, wherein the step of detecting the pointing gesture includes a step of detecting the direction of the pointing gesture. ジェスチャを検出するステップに応じて電気デバイス又は電子デバイスを制御するステップをさらに含む請求項１１に記載の方法。 11. The method of claim 11, further comprising controlling an electrical or electronic device in response to a step of detecting a gesture. 電気デバイス又は電子デバイスを制御することが、ゲームデバイス、電化製品、及び照明デバイスのうちの少なくとも１つを制御することを含む請求項１６に記載の方法。 16. The method of claim 16, wherein controlling an electrical or electronic device comprises controlling at least one of a game device, an appliance, and a lighting device. 動作のパターンを検出するステップが、転倒する活動を検出するステップを含む請求項８に記載の方法。 The method of claim 8, wherein the step of detecting the pattern of motion comprises the step of detecting a fall activity. 転倒する活動を検出するステップが、高度の変化、体の高度を変化させる継続時間、及び最終的な高度の床の高さとの近さのうちの少なくとも１つを監視するステップを含む請求項１８に記載の方法。 18. The step of detecting a fall activity comprises monitoring at least one of a change in altitude, a duration of change in body altitude, and a closeness to the floor height of the final altitude. The method described in. 信号パターンが、第１の周波数から第２の周波数まで掃引された搬送周波数における狭帯域信号を含む請求項１に記載の方法。 The method of claim 1, wherein the signal pattern comprises a narrowband signal at a carrier frequency swept from a first frequency to a second frequency. 第１の周波数及び第２の周波数が、両方とも、５．４６〜７．２５ギガヘルツの範囲内である請求項２０に記載の方法。 The method of claim 20, wherein both the first frequency and the second frequency are in the range of 5.46 to 7.25 GHz. 受信される信号を受信するステップが、少なくとも１つの障害物を通った伝播の後の送信される信号の反射を受信するステップを含む請求項１に記載の方法。 The method of claim 1, wherein the step of receiving the received signal includes a step of receiving a reflection of the transmitted signal after propagation through at least one obstacle. 体が、人である請求項１に記載の方法。 The method according to claim 1, wherein the body is a person. 体が、人の手足である請求項１に記載の方法。 The method according to claim 1, wherein the body is a human limb. 人によって行われたジェスチャを用いてデバイスとインタラクションするための方法であって、
送信アンテナからの送信される信号パターンの繰り返しを含む無線周波数の送信される信号を放射すること、前記送信される信号の反射を含む受信される信号を複数の受信アンテナのそれぞれの受信アンテナにおいて受信すること、前記送信される信号パターンの連続する反射を用いて位置を追跡することを含む、体の動作を追跡するステップであって、前記連続する反射が、前記体の動作の推定された位置の２次元又は３次元の空間的分布を含むヒートマップを有するステップと、
前記体の追跡された動作を用いて動作のパターンを検出するステップと、
前記動作の検出されたパターンを用いて前記デバイスとインタラクションするステップとを含む、前記方法。 A method for interacting with a device using human gestures,
Emit a transmitted signal of radio frequency including repetition of a transmitted signal pattern from a transmitting antenna, and receive a received signal including reflection of the transmitted signal at each receiving antenna of a plurality of receiving antennas. A step of tracking body movements, comprising tracking the position using continuous reflections of the transmitted signal pattern, wherein the continuous reflections are the estimated positions of the body movements. A step with a heat map containing a two-dimensional or three-dimensional spatial distribution of
The step of detecting a pattern of movement using the tracked movement of the body, and
The method comprising the step of interacting with the device using the detected pattern of the motion. 動作を追跡するステップが、送信される信号の伝播時間を使用するステップを含む請求項２５に記載の方法。 25. The method of claim 25, wherein the step of tracking the behavior includes the step of using the propagation time of the transmitted signal. 送信される信号パターンが、周波数変調搬送波（ＦＭＣＷ）信号パターンを含む請求項２６に記載の方法。 26. The method of claim 26, wherein the signal pattern transmitted comprises a frequency modulated carrier (FMWCW) signal pattern. 送信される信号の反射が、障害物を通り抜ける反射を含む請求項２５に記載の方法。 25. The method of claim 25, wherein the reflection of the transmitted signal comprises a reflection through an obstacle. 動作のパターンを検出するステップが、ジェスチャを検出するステップを含む請求項２５に記載の方法。 25. The method of claim 25, wherein the step of detecting the pattern of motion comprises the step of detecting a gesture. ジェスチャを検出するステップが、２次元のジェスチャを検出するステップを含む請求項２９に記載の方法。 29. The method of claim 29, wherein the step of detecting a gesture comprises a step of detecting a two-dimensional gesture. ジェスチャを検出するステップが、３次元のジェスチャを検出するステップを含む請求項２９に記載の方法。 29. The method of claim 29, wherein the step of detecting a gesture comprises a step of detecting a three-dimensional gesture. ジェスチャを検出するステップが、体全体のジェスチャを検出するステップを含む請求項２９に記載の方法。 29. The method of claim 29, wherein the step of detecting the gesture comprises the step of detecting the gesture of the whole body. ジェスチャを検出するステップが、手足のジェスチャを検出するステップを含む請求項２９に記載の方法。 29. The method of claim 29, wherein the step of detecting a gesture includes a step of detecting a gesture of a limb. 手足のジェスチャを検出するステップが、反射のサイズに従って手足からの反射を人の体全体の反射と区別するステップを含む請求項３３に記載の方法。 33. The method of claim 33, wherein the step of detecting a limb gesture comprises a step of distinguishing a reflex from a limb from a reflex of the entire human body according to the size of the reflex. ジェスチャを検出するステップが、指さしジェスチャを検出するステップを含む請求項３３に記載の方法。 33. The method of claim 33, wherein the step of detecting a gesture comprises a step of detecting a pointing gesture. ジェスチャを検出するステップに応じて電気デバイス又は電子デバイスを制御するステップをさらに含む請求項２９に記載の方法。 29. The method of claim 29, further comprising controlling an electrical or electronic device in response to a step of detecting a gesture. 人の転倒を検出するための方法であって、
送信アンテナからの送信される信号パターンの繰り返しを含む無線周波数の送信される信号を放射すること、前記送信される信号の反射を含む受信される信号を複数の受信アンテナのそれぞれの受信アンテナにおいて受信すること、前記送信される信号パターンの連続する反射を用いて位置を追跡することを含む、人の動作を追跡するステップであって、前記連続する反射が、前記人の動作の推定された位置の２次元又は３次元の空間的分布を含むヒートマップを有するステップと、
前記人の追跡された動作を用いて動作のパターンを検出するステップと、
前記動作の検出されたパターンを用いて前記人の転倒を検出するステップとを含む、前記方法。 A method for detecting a person's fall,
Emit a transmitted signal of radio frequency including repetition of a transmitted signal pattern from a transmitting antenna, and receive a received signal including reflection of the transmitted signal at each receiving antenna of a plurality of receiving antennas. A step of tracking a person's movements, which comprises tracking the position using the continuous reflections of the transmitted signal pattern, wherein the continuous reflections are the estimated positions of the person 's movements. A step with a heat map containing a two-dimensional or three-dimensional spatial distribution of
The step of detecting a pattern of movement using the person 's tracked movement, and
The method comprising the step of detecting a fall of the person using the detected pattern of the motion. 送信される信号の反射が、障害物を通り抜ける反射を含む請求項３７に記載の方法。 37. The method of claim 37, wherein the reflection of the transmitted signal comprises a reflection through an obstacle. 動作のパターンを検出するステップが、高度の変化、体の高度を変化させる継続時間、及び最終的な高度の床の高さとの近さのうちの少なくとも１つを監視するステップを含む請求項３７に記載の方法。 37. The step of detecting a pattern of movement includes monitoring at least one of a change in altitude, a duration of changing body altitude, and a closeness to the floor height of the final altitude. The method described in. 動作のパターンを検出するステップが、閾値以上の高度の変化を検出することを含む高度の変化を監視するステップを含む請求項３９に記載の方法。 The method of claim 39 including the step of detecting the pattern of operation, monitor the changes in altitude, which comprises detecting a high degree of change in the above threshold values. 動作のパターンを検出するステップが、閾値未満の継続時間を検出することを含む高度を変化させる継続時間を監視するステップを含む請求項３９に記載の方法。 39. The method of claim 39, wherein the step of detecting the pattern of motion comprises monitoring the duration of varying altitude, including detecting a duration below a threshold. 動作のパターンを検出するステップが、閾値未満の最終的な高度を検出することを含む前記最終的な高度の近さを監視するステップを含む請求項３９に記載の方法。 39. The method of claim 39, wherein the step of detecting the pattern of motion comprises the step of monitoring the proximity of the final altitude, which comprises detecting the final altitude below the threshold. 動作のパターンを検出するステップが、第１の閾値以上の高度の変化、第２の閾値未満の継続時間、及び第３の閾値未満の最終的な高度からなる一群の条件の各条件が満たされるときを検出するステップを含む請求項３９に記載の方法。 The step of detecting the pattern of motion satisfies each condition of a group of conditions consisting of a change in altitude above the first threshold, a duration below the second threshold, and a final altitude below the third threshold. 39. The method of claim 39, comprising the step of detecting a time. 送信アンテナ及び１組の受信アンテナと、
前記送信アンテナに接続され、送信信号パターンの繰り返しを含む送信信号を生じさせるように構成された送信機と、
前記送信信号の反射を含む信号を受信するための、前記１組の受信アンテナに接続された受信機と、
場所特定システムに請求項１〜４３のいずれかに記載のすべてのステップを実行させるように構成された、前記送信機に接続され、前記受信機に接続されたプロセッサとを含むシステム。 A transmitting antenna, a set of receiving antennas, and
A transmitter connected to the transmitting antenna and configured to generate a transmitting signal including repeating transmission signal patterns.
A receiver connected to the set of receiving antennas for receiving a signal including reflection of the transmission signal, and a receiver.
A system including a processor connected to the transmitter and connected to the receiver, configured to cause a location-specific system to perform all the steps of any of claims 1-43.
JP2016521320A 2013-10-09 2014-10-09 Motion tracking by wireless reflection of the body Active JP6796485B2 (en)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US201361888662P 2013-10-09 2013-10-09
US61/888,662 2013-10-09
US201461943957P 2014-02-24 2014-02-24
US61/943,957 2014-02-24
US201461985066P 2014-04-28 2014-04-28
US61/985,066 2014-04-28
PCT/US2014/059856 WO2015102713A2 (en) 2013-10-09 2014-10-09 Motion tracking via body radio reflections

Publications (2)

Publication Number Publication Date
JP2016540960A JP2016540960A (en) 2016-12-28
JP6796485B2 true JP6796485B2 (en) 2020-12-09

Family

ID=53494193

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016521320A Active JP6796485B2 (en) 2013-10-09 2014-10-09 Motion tracking by wireless reflection of the body

Country Status (4)

Country Link
EP (1) EP3055708A2 (en)
JP (1) JP6796485B2 (en)
CN (1) CN105814450B (en)
WO (1) WO2015102713A2 (en)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200064444A1 (en) * 2015-07-17 2020-02-27 Origin Wireless, Inc. Method, apparatus, and system for human identification based on human radio biometric information
US10203407B2 (en) * 2015-11-19 2019-02-12 Htc Corporation Illumination device and detection method thereof
TWI583357B (en) 2015-12-17 2017-05-21 財團法人工業技術研究院 System and method for processing muscle vibration signal
US10371808B2 (en) * 2016-01-15 2019-08-06 Panasonic Intellectual Property Management Co., Ltd. Positioning sensor and direction estimation method
JP2017187395A (en) * 2016-04-06 2017-10-12 Ntn株式会社 Watching device
US9523760B1 (en) * 2016-04-15 2016-12-20 Cognitive Systems Corp. Detecting motion based on repeated wireless transmissions
JP6667145B2 (en) * 2016-07-05 2020-03-18 パナソニックＩｐマネジメント株式会社 Sensor and estimation method
US10359309B2 (en) 2016-07-08 2019-07-23 Walmart Apollo, Llc Remote weight measurement of a product support member
US20180012241A1 (en) * 2016-07-08 2018-01-11 Wal-Mart Stores, Inc. Customer Presence Detection
KR101887137B1 (en) * 2016-09-01 2018-09-10 현대자동차주식회사 Motion detecting apparatus, motion detecting method and motion detecting antenna
EP3300662B1 (en) * 2016-09-30 2022-08-17 Nokia Technologies Oy Determining an intimate activity by a detection device
CN106530619A (en) * 2016-12-16 2017-03-22 北京囡宝科技有限公司 Intelligent terminal and method for carrying out human body position identification and falling down detection through using the intelligent terminal
US10684693B2 (en) * 2017-03-02 2020-06-16 Samsung Electronics Co., Ltd. Method for recognizing a gesture and an electronic device thereof
AU2018345296B2 (en) * 2017-10-06 2023-09-28 Tellus You Care, Inc. Non-contact activity sensing network for elderly care
WO2019146055A1 (en) 2018-01-25 2019-08-01 日本電気株式会社 Object discrimination device, object discrimination method, and object discrimination program
DE102018107881A1 (en) * 2018-04-04 2019-10-10 Valeo Schalter Und Sensoren Gmbh Method for detecting at least one movement pattern of at least one target object that is detected by a radar system of a vehicle, radar system and driver assistance system
CN108814615B (en) * 2018-04-12 2021-07-13 东软熙康健康科技有限公司 In-bed monitoring equipment and method
CN108968970A (en) * 2018-05-24 2018-12-11 厦门精益远达智能科技有限公司 A kind of method, apparatus and radar system that Doppler's millimetre-wave radar detection human body is fallen
JP7319827B2 (en) * 2018-06-22 2023-08-02 旭化成エレクトロニクス株式会社 Sensor device and system and biosensing method and system
EP3841358A4 (en) 2018-08-21 2022-06-08 Moonshot Health Inc. Systems and methods for mapping a given environment
CN109239706A (en) * 2018-08-27 2019-01-18 苏州矽典微智能科技有限公司 A kind of human body detecting method and device based on millimeter wave
CN111134685B (en) 2018-11-02 2022-08-09 富士通株式会社 Fall detection method and device
KR102455345B1 (en) * 2019-11-28 2022-10-18 디노플러스 (주) Korean wave motion education system based on convolutional neural network
US11050827B1 (en) 2019-12-04 2021-06-29 Motorola Solutions, Inc. Method and device for identifying suspicious object movements based on historical received signal strength indication information associated with internet-of-things devices
JP7428876B2 (en) 2019-12-26 2024-02-07 ミツミ電機株式会社 sensor device
JP6797339B1 (en) * 2020-03-13 2020-12-09 三菱電機株式会社 Radar device
US11575452B2 (en) * 2021-04-13 2023-02-07 Qualcomm Incorporated Passive positioning with radio frequency sensing
JP7373754B2 (en) * 2021-05-07 2023-11-06 フィンガルリンク株式会社 Biological condition measuring device, biological condition measuring method, program, and biological condition measuring system
CN113456061A (en) * 2021-06-16 2021-10-01 南京润楠医疗电子研究院有限公司 Sleep posture monitoring method and system based on wireless signals
CN113655881A (en) * 2021-08-16 2021-11-16 苏州触达信息技术有限公司 Shortcut activation system and method based on sound wave control
JP7327868B1 (en) * 2022-08-17 2023-08-16 フィンガルリンク株式会社 Biological condition measuring device, biological condition measuring method, program and biological condition measuring system
WO2024038629A1 (en) * 2022-08-17 2024-02-22 フィンガルリンク株式会社 Biological state measurement device, biological state measurement method, program, and biological state measurement system

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002024958A (en) * 2000-07-07 2002-01-25 Toto Ltd Human body detector in bathroom
JP2003185735A (en) * 2001-10-12 2003-07-03 Sony Corp System and method for detecting intrusion subject, and receiver
JP2003159298A (en) * 2001-11-27 2003-06-03 Omron Corp Device and method for detecting behavior of bath taking person
JP4258328B2 (en) * 2003-09-12 2009-04-30 オムロン株式会社 Two-frequency Doppler distance measuring device and detection system provided with the device
ATE479115T1 (en) * 2004-01-20 2010-09-15 Bae Systems Information METHOD AND APPARATUS FOR THROUGH-WALL DETECTION USING CW RADAR
JP4572305B2 (en) * 2005-02-08 2010-11-04 広島市 Person presence detection system
JP2006255141A (en) * 2005-03-17 2006-09-28 Tdk Corp Sensor device
US9063232B2 (en) * 2005-04-14 2015-06-23 L-3 Communications Security And Detection Systems, Inc Moving-entity detection
US7916066B1 (en) * 2006-04-27 2011-03-29 Josef Osterweil Method and apparatus for a body position monitor and fall detector using radar
JP2008145237A (en) * 2006-12-08 2008-06-26 Fuji Heavy Ind Ltd Radio wave type object detector
US20090017910A1 (en) * 2007-06-22 2009-01-15 Broadcom Corporation Position and motion tracking of an object
GB0719995D0 (en) * 2007-10-12 2007-11-21 Qinetiq Ltd Radar method and apparatus suitable for use in multipath environments
US8169362B2 (en) * 2009-08-03 2012-05-01 Raytheon Company Mobile sense through the wall radar system
JP5700940B2 (en) * 2010-03-16 2015-04-15 ダイハツ工業株式会社 Object recognition device
JP5620232B2 (en) * 2010-11-11 2014-11-05 アルプス電気株式会社 Distance measuring device
EP2930530B1 (en) * 2010-11-16 2019-12-25 Qualcomm Incorporated System and method for object position estimation based on ultrasonic reflected signals
WO2012098962A1 (en) * 2011-01-18 2012-07-26 シャープ株式会社 Coordinate input device, display device comprising coordinate input device, and coordinate input method
JP5377689B2 (en) * 2011-09-21 2013-12-25 斎藤 光正 LED lighting fixture with built-in standing wave radar
JP2013160705A (en) * 2012-02-08 2013-08-19 Mitsubishi Electric Corp Radar cross-sectional area measurement system
CN102866398B (en) * 2012-09-21 2014-03-19 中国航天空气动力技术研究院 Method and system for performing moving-target identification by using frequency-modulated continuous-wave radar

Also Published As

Publication number Publication date
EP3055708A2 (en) 2016-08-17
CN105814450A (en) 2016-07-27
CN105814450B (en) 2018-08-28
JP2016540960A (en) 2016-12-28
WO2015102713A2 (en) 2015-07-09
WO2015102713A3 (en) 2016-04-07

Similar Documents

Publication Publication Date Title
JP6796485B2 (en) Motion tracking by wireless reflection of the body
US9753131B2 (en) Motion tracking via body radio reflections
JP7278682B2 (en) Systems and methods for periodic motion detection and monitoring
US10845463B2 (en) Method, apparatus, and system for wireless object scanning
US10742475B2 (en) Method, apparatus, and system for object tracking sensing using broadcasting
Adib et al. 3D tracking via body radio reflections
JP5780534B2 (en) Setting unit and method for setting presence detection sensor
Zhou et al. BatTracker: High precision infrastructure-free mobile device tracking in indoor environments
Jiang et al. Design and evaluation of a wireless magnetic-based proximity detection platform for indoor applications
KR20120045929A (en) Apparatus and method for relocation of robot
WO2020223294A1 (en) System and methods for radar-based detection of people in a room
KR20210089144A (en) Radar for tracking or generating radar images of passive objects
CN112154345A (en) Acoustic positioning transmitter and receiver system and method
Kaltiokallio et al. A multi-scale spatial model for RSS-based device-free localization
US20230055654A1 (en) State Detection
US11832933B2 (en) System and method for wireless detection and measurement of a subject rising from rest
Hadian et al. Development and Evaluation of BLE‐Based Room‐Level Localization to Improve Hand Hygiene Performance Estimation
US20230152439A1 (en) Multi-frame processing for fine motion detection, localization, and/or tracking
US20230196897A1 (en) A device and method for determining a status of a person
Johnsby Indoor Localization System based on UWB Radar and Coordinated Wireless Sensor Networks
Nam et al. Real-time indoor human/object tracking for inexpensive technology-based assisted living
Mazurek Choosing configuration of impulse-radar sensors in system for healthcare-oriented monitoring of persons
Majeed et al. Passive Positioning using Visible Light Systems
AU2022204922A1 (en) Monitoring an environment to control an active reflected wave detector
Jeong et al. Indoor Location Tracking Service Based on u-Home Environments

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171006

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180731

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180820

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20181114

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190115

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190220

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190805

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191029

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20191224

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200427

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200722

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201116

R150 Certificate of patent or registration of utility model

Ref document number: 6796485

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150