JP5516385B2 - Action recognition device, action recognition method, and action recognition program - Google Patents

Action recognition device, action recognition method, and action recognition program Download PDF

Info

Publication number
JP5516385B2
JP5516385B2 JP2010285161A JP2010285161A JP5516385B2 JP 5516385 B2 JP5516385 B2 JP 5516385B2 JP 2010285161 A JP2010285161 A JP 2010285161A JP 2010285161 A JP2010285161 A JP 2010285161A JP 5516385 B2 JP5516385 B2 JP 5516385B2
Authority
JP
Japan
Prior art keywords
user
area
sound wave
region
coordinates
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010285161A
Other languages
Japanese (ja)
Other versions
JP2012130522A (en
Inventor
有一 村瀬
克司 境
山 姜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2010285161A priority Critical patent/JP5516385B2/en
Publication of JP2012130522A publication Critical patent/JP2012130522A/en
Application granted granted Critical
Publication of JP5516385B2 publication Critical patent/JP5516385B2/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Description

本発明は、行動認識装置等に関する。   The present invention relates to an action recognition device and the like.

人物の行動を認識するための各種の技術が存在する。例えば、人物の手先に取り付けられたＲＦＩＤ（Radio Frequency Identification）リーダによって、モノに貼付されたＩＣ（integrated Circuit）タグの属性情報を読み取ることで、人物の行動を認識する技術がある。また、人体通信技術を利用して、モノに貼付されたＩＣタグの属性情報を読みとり、人物の行動を認識する技術もある。   There are various techniques for recognizing human behavior. For example, there is a technique for recognizing a person's action by reading attribute information of an IC (integrated circuit) tag attached to a thing with an RFID (Radio Frequency Identification) reader attached to the hand of the person. There is also a technology that uses human body communication technology to read the attribute information of an IC tag attached to an object and recognize a person's action.

しかし、モノの属性情報だけでは、モノを使って人物がどのように行動しているのかを認識することができない。例えば、モノが電話であることが属性情報に含まれている場合には、人物が電話をかけるのか、電話をポケット等に収納するのかを区別することができない。   However, it is not possible to recognize how a person behaves using a thing only with the attribute information of the thing. For example, when the attribute information includes that the object is a telephone, it cannot be distinguished whether a person makes a telephone call or stores a telephone in a pocket or the like.

これに対して、カメラで人物の画像を撮影し、撮影した画像を分析することで、人物の行動を識別する技術が存在する。この技術によれば、人物全体の動きを把握することができるため、モノを使って人物がどのように行動しているのかを認識することができる。   On the other hand, there is a technique for identifying a person's action by photographing a person's image with a camera and analyzing the photographed image. According to this technique, since the movement of the whole person can be grasped, it is possible to recognize how the person behaves using things.

特開平１０−２６１０９０号公報Japanese Patent Laid-Open No. 10-261090 特開２００１−２３６５２０号公報JP 2001-236520 A 特開２００６−２０９４２１号公報JP 2006-209421 A

しかしながら、上述した従来技術では、人物の行動を正確に認識することができないという問題がある。   However, the above-described prior art has a problem that it is impossible to accurately recognize a person's action.

人間の行動というものは、手先の動きが僅かに異なる場合であっても、行動の種別が異なる場合がある。しかし、上記の画像を分析する技術では、人物全体の動きを分析できても、手先レベルの細かい動作の違いまで区別することは困難である。例えば、人物がカメラに背を向けている状態では、携帯電話をポケットにしまう行動と、携帯電話をかける行動とを区別することができない。また、画像を分析する技術は、カメラに写らない人物の行動を認識することができず、使用できる場所が限られる。   Human behavior may be different in the type of behavior even if the movement of the hand is slightly different. However, with the above-described technique for analyzing an image, even if the movement of the entire person can be analyzed, it is difficult to distinguish even the small differences in movement at the hand level. For example, when a person is turning away from the camera, it is not possible to distinguish between an action of putting a mobile phone in a pocket and an action of putting a mobile phone. In addition, the technique for analyzing images cannot recognize the actions of a person who is not captured by the camera, and the place where the image can be used is limited.

開示の技術は、上記に鑑みてなされたものであって、人物の行動を正確に認識することができる行動認識装置、行動認識方法および行動認識プログラムを提供することを目的とする。   The disclosed technology has been made in view of the above, and an object thereof is to provide an action recognition device, an action recognition method, and an action recognition program capable of accurately recognizing a person's action.

本願の開示する行動認識装置は、領域情報記憶部、取得部、領域判定部、行動認識部を有する。領域情報記憶部は、利用者の身体周辺を複数の領域に分割した各領域の座標をそれぞれ記憶する。取得部は、利用者が利用する物体を識別する物体識別情報を取得する。領域判定部は、利用者の身体の一部の座標と領域の座標とを比較して、利用者の身体の一部を含む領域を判定する。行動認識部は、物体識別情報と前記利用者の身体の一部を含む領域の推移とを基にして、利用者の行動を認識する。   The behavior recognition device disclosed in the present application includes a region information storage unit, an acquisition unit, a region determination unit, and a behavior recognition unit. The area information storage unit stores the coordinates of each area obtained by dividing the periphery of the user's body into a plurality of areas. The acquisition unit acquires object identification information for identifying an object used by the user. The region determination unit compares the coordinates of a part of the user's body with the coordinates of the region to determine a region including a part of the user's body. The behavior recognition unit recognizes the behavior of the user based on the object identification information and the transition of the region including a part of the user's body.

本願の開示する行動認識装置の一つの態様によれば、人物の行動を正確に認識することができるという効果を奏する。   According to one aspect of the action recognition device disclosed in the present application, there is an effect that a person's action can be accurately recognized.

図１は、本実施例にかかる行動認識システムの構成を示す図である。FIG. 1 is a diagram illustrating a configuration of an action recognition system according to the present embodiment. 図２は、超音波発信機から各超音波受信機までの距離を示す図である。FIG. 2 is a diagram illustrating the distance from the ultrasonic transmitter to each ultrasonic receiver. 図３は、超音波発信機の構成を示す図である。FIG. 3 is a diagram showing the configuration of the ultrasonic transmitter. 図４は、超音波受信機の構成を示す図である。FIG. 4 is a diagram illustrating a configuration of the ultrasonic receiver. 図５は、距離計算の原理を説明する図である。FIG. 5 is a diagram for explaining the principle of distance calculation. 図６は、行動認識装置の構成を示す図である。FIG. 6 is a diagram illustrating a configuration of the behavior recognition apparatus. 図７は、身体周辺の代表的な領域を説明するための図である。FIG. 7 is a diagram for explaining a representative region around the body. 図８は、身体領域データベースが記憶する領域の座標を示す図である。FIG. 8 is a diagram showing coordinates of an area stored in the body area database. 図９は、身体領域データベースのデータ構造を示す図である。FIG. 9 is a diagram showing a data structure of the body region database. 図１０は、モノデータベースのデータ構造を示す図である。FIG. 10 shows the data structure of the thing database. 図１１は、イベントパターンデータベースのデータ構造を示す図である。FIG. 11 shows the data structure of the event pattern database. 図１２は、本実施例にかかる行動認識装置の処理手順を示すフローチャートである。FIG. 12 is a flowchart illustrating the processing procedure of the behavior recognition apparatus according to the present embodiment. 図１３は、複合領域データベースのデータ構造を示す図である。FIG. 13 is a diagram showing the data structure of the composite area database. 図１４は、実施例にかかる行動認識装置を構成するコンピュータのハードウェア構成を示す図である。FIG. 14 is a diagram illustrating a hardware configuration of a computer constituting the behavior recognition apparatus according to the embodiment.

以下に、本願の開示する行動認識装置、行動認識方法および行動認識プログラムの実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。   Embodiments of the action recognition device, action recognition method, and action recognition program disclosed in the present application will be described below in detail with reference to the drawings. Note that the present invention is not limited to the embodiments.

図１は、本実施例にかかる行動認識システムの構成を示す図である。図１に示すように、この行動認識システムは、超音波発信機１０、超音波受信部２０ａ〜２０ｃ、行動認識装置１００を有する。例えば、超音波受信機２０ａ〜２０ｃと行動認識装置１００とは、それぞれ有線により接続される。超音波発信機１０と行動認識装置１００とは、無線により接続される。また、超音波発信機１０は、利用者１の手首に設置される。超音波受信機２０ａ〜２０ｃは、利用者１の胸部にそれぞれ設置される。   FIG. 1 is a diagram illustrating a configuration of an action recognition system according to the present embodiment. As illustrated in FIG. 1, the behavior recognition system includes an ultrasonic transmitter 10, ultrasonic receivers 20 a to 20 c, and a behavior recognition device 100. For example, the ultrasonic receivers 20a to 20c and the action recognition apparatus 100 are connected by wires. The ultrasonic transmitter 10 and the action recognition device 100 are connected wirelessly. The ultrasonic transmitter 10 is installed on the wrist of the user 1. The ultrasonic receivers 20a to 20c are installed on the chest of the user 1, respectively.

超音波発信機１０は、超音波を発信する装置である。超音波発信機１０が発信する超音波は、超音波受信機２０ａ〜２０ｃによって受信される。また、超音波発信機１０は、超音波を発信するタイミングで、ＬＥＤ（Light Emitting Diode）等を発光させることで、超音波の発信時間を超音波受信機２０ａ〜２０ｃに通知する。超音波の発信時間は、超音波が発信されたタイミングに対応する。   The ultrasonic transmitter 10 is a device that transmits ultrasonic waves. The ultrasonic waves transmitted from the ultrasonic transmitter 10 are received by the ultrasonic receivers 20a to 20c. The ultrasonic transmitter 10 notifies the ultrasonic receivers 20a to 20c of the ultrasonic transmission time by causing an LED (Light Emitting Diode) or the like to emit light at the timing of transmitting the ultrasonic wave. The transmission time of the ultrasonic wave corresponds to the timing at which the ultrasonic wave is transmitted.

また、超音波発信機１０は、モノ２に貼付されたＩＣタグ２ａから、モノ２を識別するモノＩＤ（Identification）を読み取る。超音波発信機１０は、モノＩＤの情報を行動認識装置１００に通知する。例えば、超音波発信機１０は、モノＩＤを読み取ったタイミングを契機として、超音波を周期的に発信し、ＬＥＤを周期的に発光させる。   Further, the ultrasonic transmitter 10 reads a mono ID (Identification) for identifying the mono 2 from the IC tag 2 a attached to the mono 2. The ultrasonic transmitter 10 notifies the action recognition apparatus 100 of information on the product ID. For example, the ultrasonic transmitter 10 periodically transmits ultrasonic waves with the timing of reading the mono ID, and causes the LEDs to emit light periodically.

超音波受信機２０ａ〜２０ｃは、超音波発信機１０から発信される超音波、およびＬＥＤの光を受け、超音波発信機１０から自超音波受信機までの距離を算出する装置である。図２は、超音波発信機から各超音波受信機までの距離を示す図である。図２に示すように、超音波発信機１０から超音波受信機２０ａまでの距離をＬ１、超音波発信機１０から超音波受信機２０ｂまでの距離をＬ２、超音波発信機１０から超音波受信機２０ｃまでの距離をＬ３とする。超音波受信機２０ａ〜２０ｃは、それぞれが算出した距離Ｌ１〜Ｌ３の情報を、行動認識装置１００に通知する。 The ultrasonic receivers 20a to 20c are devices that receive the ultrasonic wave transmitted from the ultrasonic transmitter 10 and the light of the LED, and calculate the distance from the ultrasonic transmitter 10 to the own ultrasonic receiver. FIG. 2 is a diagram illustrating the distance from the ultrasonic transmitter to each ultrasonic receiver. As shown in FIG. 2, the distance from the ultrasonic transmitter 10 to the ultrasonic receiver 20a is L 1 , the distance from the ultrasonic transmitter 10 to the ultrasonic receiver 20b is L 2 , and the ultrasonic transmitter 10 to the ultrasonic receiver 20a is super the distance to the ultrasonic receiver 20c and L 3. Ultrasonic receiver 20a~20c the information of the distance L 1 ~L 3, each calculated, and notifies the action recognition device 100.

行動認識装置１００は、モノＩＤ、距離Ｌ１〜Ｌ３の情報を取得して、利用者１が利用するモノと利用者の手先の位置の推移とを特定し、利用者１の行動を認識する装置である。以下において、図１に示した超音波送信機１０、超音波受信機２０ａ〜２０ｃ、行動認識装置１００の構成について順に説明する。 The behavior recognition apparatus 100 acquires information on the product ID and the distances L 1 to L 3 , identifies the product used by the user 1 and the transition of the position of the user's hand, and recognizes the behavior of the user 1. It is a device to do. Hereinafter, the configurations of the ultrasonic transmitter 10, the ultrasonic receivers 20a to 20c, and the action recognition apparatus 100 illustrated in FIG. 1 will be described in order.

図３は、超音波発信機の構成を示す図である。図３に示すように、この超音波発信機１０は、読み取り部１１、超音波発信部１２、発光部１３、モノＩＤ通知部１４、発信タイミング制御部１５を有する。   FIG. 3 is a diagram showing the configuration of the ultrasonic transmitter. As shown in FIG. 3, the ultrasonic transmitter 10 includes a reading unit 11, an ultrasonic transmission unit 12, a light emitting unit 13, a mono ID notification unit 14, and a transmission timing control unit 15.

読み取り部１１は、周期的に電波を送信して、所定の範囲内に含まれるＩＣタグにアクセスし、このＩＣタグに含まれるモノＩＤを読み取る装置である。また、読み取り部１１はタイマ機能を有し、モノＩＤを読み取った時間を検知時間として測定する。読み取り部１１は、モノＩＤと検知時間とを対応づけて発信タイミング制御部１５に出力する。例えば、読み取り部１１は、ＲＦＩＤリーダに対応する。   The reading unit 11 is a device that periodically transmits radio waves, accesses an IC tag included in a predetermined range, and reads a mono ID included in the IC tag. The reading unit 11 has a timer function, and measures the time when the mono ID is read as the detection time. The reading unit 11 associates the product ID with the detection time and outputs the result to the transmission timing control unit 15. For example, the reading unit 11 corresponds to an RFID reader.

超音波発信部１２は、発信タイミング制御部１５の発信命令を受けた場合に、超音波を発信する装置である。例えば、超音波発信部１２は、発信命令を受けた後、一定の周期毎に超音波を発信する。   The ultrasonic transmission unit 12 is a device that transmits ultrasonic waves when receiving a transmission command from the transmission timing control unit 15. For example, the ultrasonic transmission part 12 transmits an ultrasonic wave for every fixed period, after receiving a transmission command.

発光部１３は、発信タイミング制御部１５の発光命令を受けた場合に、ＬＥＤを発光させる装置である。発光部１３がＬＥＤを発光させるタイミングは、超音波発信部１２が超音波を発信するタイミングと同じタイミングである。例えば、発光部１３は、超音波発信部１２の発信タイミングに合わせて、ＬＥＤを発光させる。   The light emitting unit 13 is a device that causes the LED to emit light when receiving a light emission command from the transmission timing control unit 15. The timing at which the light emitting unit 13 causes the LED to emit light is the same timing as the timing at which the ultrasonic transmission unit 12 transmits ultrasonic waves. For example, the light emitting unit 13 causes the LED to emit light in accordance with the transmission timing of the ultrasonic transmission unit 12.

モノＩＤ通知部１４は、発信タイミング制御部１５からモノＩＤと検知時間を取得し、モノＩＤと検知時間とを行動認識装置１００に通知する装置である。例えば、モノＩＤ通知部１４は、無線通信装置に対応する。   The product ID notification unit 14 is a device that acquires the product ID and the detection time from the transmission timing control unit 15 and notifies the action recognition device 100 of the product ID and the detection time. For example, the product ID notification unit 14 corresponds to a wireless communication device.

発信タイミング制御部１５は、発信命令を超音波発信部１２に出力し、発光命令を発光部１３に出力する処理部である。また、発信タイミング制御部１５は、読み取り部１１から、モノＩＤと検知時間とを受け、このモノＩＤと検知時間とをモノＩＤ通知部１４に出力する。例えば、発信タイミング制御部１５は、モノＩＤの情報を受けたことを契機として、発信命令および発光命令を出力してもよい。   The transmission timing control unit 15 is a processing unit that outputs a transmission command to the ultrasonic transmission unit 12 and outputs a light emission command to the light emission unit 13. Further, the transmission timing control unit 15 receives the product ID and the detection time from the reading unit 11 and outputs the product ID and the detection time to the product ID notification unit 14. For example, the transmission timing control unit 15 may output a transmission command and a light emission command in response to receiving information on the product ID.

発信タイミング制御部１５は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）や、ＦＰＧＡ（Field Programmable Gate Array）などの集積装置に対応する。また、発信タイミング制御部１５は、例えば、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等の電子回路に対応する。   The transmission timing control unit 15 corresponds to, for example, an integrated device such as an application specific integrated circuit (ASIC) or a field programmable gate array (FPGA). The transmission timing control unit 15 corresponds to an electronic circuit such as a CPU (Central Processing Unit) or an MPU (Micro Processing Unit).

次に、図１に示した超音波受信機２０ａ〜２０ｃの構成について説明する。図４は、超音波受信機の構成を示す図である。超音波受信機２０ａ〜２０ｃの構成は同じであるため、ここでは、超音波受信機２０ａの構成を示す。図４に示すように、この超音波受信機２０ａは、超音波受信部２１、受光部２２、距離計算部２３、距離通知部２４を有する。   Next, the configuration of the ultrasonic receivers 20a to 20c illustrated in FIG. 1 will be described. FIG. 4 is a diagram illustrating a configuration of the ultrasonic receiver. Since the configurations of the ultrasonic receivers 20a to 20c are the same, the configuration of the ultrasonic receiver 20a is shown here. As illustrated in FIG. 4, the ultrasonic receiver 20 a includes an ultrasonic receiver 21, a light receiver 22, a distance calculator 23, and a distance notification unit 24.

超音波受信部２１は、超音波発信機１０から超音波を受信する装置である。超音波受信部２１は、超音波を受信した受信時間を距離計算部２３に出力する。受光部２２は、超音波発信機１０のＬＥＤから発光される光を受光する装置である。受光部２２は、光を受光した受光時間を距離計算部２３に出力する装置である。   The ultrasonic receiver 21 is a device that receives ultrasonic waves from the ultrasonic transmitter 10. The ultrasonic receiving unit 21 outputs the reception time when the ultrasonic wave is received to the distance calculating unit 23. The light receiving unit 22 is a device that receives light emitted from the LED of the ultrasonic transmitter 10. The light receiving unit 22 is a device that outputs a light receiving time during which light is received to the distance calculating unit 23.

距離計算部２３は、超音波発信機１０と自超音波受信機との距離を算出する処理部である。例えば、距離計算部２３は、受信時間と受光時間との差分を、超音波の音速で割ることで距離を算出する。距離計算部２３は、距離の情報を距離通知部２４に出力する。   The distance calculation unit 23 is a processing unit that calculates the distance between the ultrasonic transmitter 10 and the own ultrasonic receiver. For example, the distance calculation unit 23 calculates the distance by dividing the difference between the reception time and the light reception time by the speed of the ultrasonic wave. The distance calculation unit 23 outputs distance information to the distance notification unit 24.

ここで、距離計算の原理について説明する。図５は、距離計算の原理を説明する図である。図５の横軸は時間を示す。図５の信号３ａは光信号に対応し、信号３ｂは超音波信号に対応する。また、時間ｔ１は光を受光した受光時間に対応し、時間ｔ２は超音波を受信した受信時間に対応する。超音波発信機１０によって、超音波と光は同時に出力されており、光の速度は音の速度と比較して十分速いので、受光時間ｔ１は、音波が超音波発信装置１０から発信された時間と見なすことができる。このため、超音波が超音波発信機１０から超音波受信機２０ａまで到達するのに要した時間は、Δｔとなる。Δｔは、ｔ１とｔ２との差分に対応する。このΔｔを超音波の音速で割ることで、距離が求められる。   Here, the principle of distance calculation will be described. FIG. 5 is a diagram for explaining the principle of distance calculation. The horizontal axis in FIG. 5 indicates time. The signal 3a in FIG. 5 corresponds to an optical signal, and the signal 3b corresponds to an ultrasonic signal. The time t1 corresponds to the light reception time when light is received, and the time t2 corresponds to the reception time when the ultrasonic wave is received. The ultrasonic transmitter 10 outputs ultrasonic waves and light at the same time, and the speed of light is sufficiently faster than the speed of sound. Therefore, the light reception time t1 is the time when the sound wave is transmitted from the ultrasonic transmitter 10. Can be considered. For this reason, the time required for the ultrasonic wave to reach the ultrasonic receiver 20a from the ultrasonic transmitter 10 is Δt. Δt corresponds to the difference between t1 and t2. The distance is obtained by dividing this Δt by the ultrasonic velocity.

距離計算部２３は、例えば、ＡＳＩＣ、ＦＰＧＡ等の集積装置に対応する。また、距離計算部２３は、ＣＰＵやＭＰＵなどの電気回路に対応する。   The distance calculation unit 23 corresponds to, for example, an integrated device such as an ASIC or FPGA. The distance calculation unit 23 corresponds to an electric circuit such as a CPU or MPU.

超音波発信機１０から周期的に、超音波、光が出力される場合には、距離計算部２３は、周期的に距離を算出し、距離の情報を順次距離通知部２４に出力する。   When ultrasonic waves and light are periodically output from the ultrasonic transmitter 10, the distance calculation unit 23 periodically calculates the distance and sequentially outputs the distance information to the distance notification unit 24.

距離通知部２４は、距離計算部２３から受ける距離の情報を、行動認識装置１００に通知する処理部である。   The distance notification unit 24 is a processing unit that notifies the behavior recognition apparatus 100 of the distance information received from the distance calculation unit 23.

次に、図１に示した行動認識装置１００の構成について説明する。図６は、行動認識装置の構成を示す図である。図６に示すように、この行動認識装置１００は、記憶部１１０、距離情報取得部１２０、物体識別情報取得部１３０、位置情報算出部１４０、領域判定部１５０、行動認識部１６０、認識結果出力部１７０を有する。   Next, the configuration of the action recognition device 100 shown in FIG. 1 will be described. FIG. 6 is a diagram illustrating a configuration of the behavior recognition apparatus. As illustrated in FIG. 6, the action recognition device 100 includes a storage unit 110, a distance information acquisition unit 120, an object identification information acquisition unit 130, a position information calculation unit 140, an area determination unit 150, an action recognition unit 160, and a recognition result output. Part 170.

記憶部１１０は、身体領域データベース１１０ａ、モノデータベース１１０ｂ、イベントパターンデータベース１１０ｃを記憶する記憶装置である。記憶部１１０は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、またはハードディスク、光ディスクなどの記憶装置に対応する。   The memory | storage part 110 is a memory | storage device which memorize | stores the body region database 110a, the thing database 110b, and the event pattern database 110c. The storage unit 110 corresponds to, for example, a semiconductor memory device such as a random access memory (RAM), a read only memory (ROM), or a flash memory, or a storage device such as a hard disk or an optical disk.

身体領域データベース１１０ａは、利用者１の身体周辺の領域を複数の領域に分割した各領域の座標をそれぞれ記憶する。図７は、身体周辺の代表的な領域を説明するための図である。図７に示すように、例えば、身体領域データベース１１０ａが記憶する領域は、利用者１の耳周辺の領域４ａ、口周辺の領域４ｂ、上半身のポケット１周辺の領域４ｃ、下半身のポケット２周辺の領域４ｄ、利用者１が新聞等を閲覧する領域４ｅ等がある。また、領域４ｅに鞄が置かれる場合もある。また、身体領域データベース１１０ａが記憶する領域は、利用者１の胸部の前方領域４ｆ、利用者１の頭部の前方領域４ｇがある。   The body region database 110a stores the coordinates of each region obtained by dividing the region around the body of the user 1 into a plurality of regions. FIG. 7 is a diagram for explaining a representative region around the body. As shown in FIG. 7, for example, the regions stored in the body region database 110a are the region 4a around the ear of the user 1, the region 4b around the mouth, the region 4c around the upper body pocket 1, and the region around the pocket 2 around the lower body. There are an area 4d, an area 4e where the user 1 browses a newspaper, and the like. In addition, a cocoon may be placed in the region 4e. The areas stored in the body area database 110a include a front area 4f of the chest of the user 1 and a front area 4g of the head of the user 1.

利用者の行動の種別によって、手先の移動ルートがある程度決まっており、手先が通過する領域は行動の種別毎に共通のものとなる。また、異なる行動の種別であっても、共通して通過する領域がある。身体領域データベース１１０ａは、このような行動の種別毎に共通で通過する領域、または、異なる種別であっても共通して手先が通過する領域をそれぞれ記憶している。このため、手先の位置を含む身体領域データベース１１０ａの領域の推移によって、利用者の行動の種別を判定することが可能となる。例えば、利用者１が電話をかける場合には、利用者の手先を含む領域は、領域４ｆ、４ｇ、４ａの順に移動する。また、利用者１が携帯電話をポケットにしまう場合には、利用者の手先を含む領域は、領域４ｆ、４ｃの順に移動する。また、利用者１が、ポケットにあるものを鞄にしまう場合には、利用者の手先を含む領域は、領域４ｃ、４ｆ、４ｅの順に移動する。   The movement route of the hand is determined to some extent depending on the type of action of the user, and the region through which the hand passes is common for each type of action. Moreover, even if it is a different action type, there is a region through which it passes in common. The body region database 110a stores a region that passes in common for each type of action, or a region in which the hand passes in common even for different types. For this reason, it becomes possible to determine the type of action of the user based on the transition of the region of the body region database 110a including the position of the hand. For example, when the user 1 makes a call, the area including the user's hand moves in the order of the areas 4f, 4g, and 4a. When the user 1 puts the mobile phone in his pocket, the area including the user's hand moves in the order of the areas 4f and 4c. In addition, when the user 1 picks up what is in the pocket, the area including the user's hand moves in the order of the areas 4c, 4f, and 4e.

身体領域データベース１１０ａは、領域の座標をどのように記憶しても良いが、例えば、領域の各頂点のうち、対角関係にある頂点の座標を記憶する。図８は、身体領域データベースが記憶する領域の座標を示す図である。図８に示すように、身体領域データベース１１０ａは、領域のＡの３次元座標と、Ｂの３次元座標を記憶する。   The body region database 110a may store the coordinates of the region in any way. For example, the body region database 110a stores the coordinates of vertices in a diagonal relationship among the vertices of the region. FIG. 8 is a diagram showing coordinates of an area stored in the body area database. As shown in FIG. 8, the body region database 110a stores the three-dimensional coordinates of A and the three-dimensional coordinates of B.

このように、対角関係にある頂点の座標がわかれば、音波発信機１０が該当する領域に含まれているか否かを判定することができる。例えば、Ａの３次元座標を（ｘａ、ｙａ、ｚａ）とし、Ｂの３次元座標を（ｘｂ、ｙｂ、ｚｂ）とする。また、ここでは、ｘａ＞ｘｂ、ｙａ＞ｙｂ、ｚａ＞ｚｂとする。音波発信機１０の３次元座標（ｘ、ｙ、ｚ）が、それぞれ式（１）、（２）、（３）の関係を満たせば、音波発信機１０は該当領域に含まれることとなる。これに対して、式（１）、（２）、（３）のいずれかの関係を満たさない場合には、音波発信機１０は該当領域に含まれない。   Thus, if the coordinates of the vertices in a diagonal relationship are known, it can be determined whether or not the sound wave transmitter 10 is included in the corresponding region. For example, the three-dimensional coordinates of A are (xa, ya, za), and the three-dimensional coordinates of B are (xb, yb, zb). Here, xa> xb, ya> yb, and za> zb. If the three-dimensional coordinates (x, y, z) of the sound wave transmitter 10 satisfy the relations of the expressions (1), (2), and (3), the sound wave transmitter 10 is included in the corresponding region. On the other hand, when any one of the expressions (1), (2), and (3) is not satisfied, the sound wave transmitter 10 is not included in the corresponding region.

ｘｂ＜ｘ＜ｘａ・・・（１）
ｙｂ＜ｙ＜ｙａ・・・（２）
ｚｂ＜ｚ＜ｚａ・・・（３） xb <x <xa (1)
yb <y <ya (2)
zb <z <za (3)

なお、各３次元座標は、利用者の中心を基準とした座標となる。例えば、利用者の中心を原点０とする。利用者の中心をどのように設定しても良いが、例えば、ｚ座標が０となる位置を利用者の身長を２で割った値とし、ｘ座標が０となる位置を利用者の奥行き幅を２で割った値とし、ｙ座標が０となる位置を利用者の横幅を２で割った値とする。図７に示した原点の位置と、図８に示した原点の位置は同じである。   Each three-dimensional coordinate is a coordinate based on the center of the user. For example, the origin of the user is the origin 0. The center of the user may be set in any way. For example, the position where the z coordinate is 0 is a value obtained by dividing the height of the user by 2, and the position where the x coordinate is 0 is the depth width of the user. Is divided by 2, and the position where the y coordinate is 0 is the value obtained by dividing the width of the user by 2. The origin position shown in FIG. 7 is the same as the origin position shown in FIG.

身体領域データベース１１０ａのデータ構造の一例について説明する。図９は、身体領域データベースのデータ構造を示す図である。図９に示すように、身体領域データベース１１０ａは、領域ＩＤ、座標Ａ、座標Ｂ、領域名称を対応づけて記憶する。領域ＩＤは、領域を一意に識別する情報である。座標Ａ、Ｂはそれぞれ、図８に示したように、対角関係にある領域の座標である。   An example of the data structure of the body region database 110a will be described. FIG. 9 is a diagram showing a data structure of the body region database. As shown in FIG. 9, the body region database 110a stores region IDs, coordinates A, coordinates B, and region names in association with each other. The area ID is information for uniquely identifying the area. Each of the coordinates A and B is a coordinate of a diagonal region as shown in FIG.

例えば、図９の１段目では、領域ＩＤ「Ｐ０１」によって識別される利用者の「耳」の領域の座標Ａ、Ｂが座標「ｘ１、ｙ１、ｚ１」、「ｘ２、ｙ２、ｚ２」であることを示している。図９の２段目から６段目も同様に、領域ＩＤ、座標Ａ、座標Ｂ、領域名称を対応づけて記憶している。   For example, in the first row of FIG. 9, the coordinates A and B of the user's “ear” area identified by the area ID “P01” are the coordinates “x1, y1, z1”, “x2, y2, z2”. It shows that there is. Similarly, the second to sixth stages in FIG. 9 store the area ID, coordinates A, coordinates B, and area name in association with each other.

モノデータベース１１０ｂは、モノＩＤとモノ名称とを対応づけて記憶する。図１０は、モノデータベースのデータ構造を示す図である。例えば、図１０の１段目では、モノＩＤ「Ｍ０１」に対応するモノ名称が「携帯電話」である旨を示している。図１０の２段目から４段目も同様に、モノＩＤ、モノ名称を対応づけて記憶している。   The product database 110b stores a product ID and a product name in association with each other. FIG. 10 shows the data structure of the thing database. For example, the first row in FIG. 10 indicates that the product name corresponding to the product ID “M01” is “mobile phone”. Similarly, the second to fourth stages in FIG. 10 store the product ID and product name in association with each other.

イベントパターンデータベース１１０ｃは、後述の行動認識部１６０が、利用者１の行動を認識する場合に利用するデータである。図１１は、イベントパターンデータベースのデータ構造を示す図である。図１１に示すように、イベントパターンデータベース１１０ｃは、イベントパターン、モノＩＤ、領域推移パターンを対応づけて記憶する。イベントパターンは、利用者の行動を識別する情報である。領域推移パターンは、領域の推移のパターンを、領域ＩＤを時系列に並べることで示している。例えば、利用者１の手の位置が、領域ＩＤ「Ｐ０６」の領域、領域ＩＤ「Ｐ０７」の領域、領域ＩＤ「Ｐ０１」の領域の順に推移するパターンは、図１１の１段目の領域推移パターンに該当する。イベントパターンは、モノＩＤと領域推移パターンとの組み合わせてよって特定される。   The event pattern database 110c is data used when the action recognition unit 160 described later recognizes the action of the user 1. FIG. 11 shows the data structure of the event pattern database. As shown in FIG. 11, the event pattern database 110c stores event patterns, product IDs, and area transition patterns in association with each other. The event pattern is information for identifying the user's behavior. The region transition pattern indicates a region transition pattern by arranging region IDs in time series. For example, the pattern in which the position of the user 1's hand changes in the order of the area with the area ID “P06”, the area with the area ID “P07”, and the area with the area ID “P01” is the first area transition in FIG. Corresponds to the pattern. The event pattern is specified by a combination of the product ID and the area transition pattern.

例えば、利用者が携帯電話をかける場合には、利用者が携帯電話を持った状態で、利用者の手先の位置を含む領域が、胸部の前方領域、頭部の前方領域、耳の領域の順に推移する。胸部の前方領域の領域ＩＤは「Ｐ０６」、頭部の前方領域の領域ＩＤは「Ｐ０７」、耳の領域ＩＤは「Ｐ０１」である。このため、図１１の１段目に示すように、モノＩＤが携帯電話のＩＤ「Ｍ０１」、領域推移パターン「Ｐ０６、Ｐ０７、Ｐ０１」に対応するイベントパターンは「電話をかける」となる。   For example, when a user uses a mobile phone, the area including the position of the user's hand with the mobile phone held is the front area of the chest, the front area of the head, and the ear area. Transition in order. The area ID of the front area of the chest is “P06”, the area ID of the front area of the head is “P07”, and the area ID of the ear is “P01”. Therefore, as shown in the first row of FIG. 11, the event pattern corresponding to the product ID “M01” and the area transition pattern “P06, P07, P01” is “call”.

また、利用者が携帯電話を胸ポケットに対応するポケット１にしまう場合には、利用者が携帯電話を持った状態で、利用者の手先の位置を含む領域が、胸部の前方領域、ポケット１の領域の順に推移する。例えば、胸部の前方領域の領域ＩＤは「Ｐ０６」、ポケット１の領域の領域ＩＤは「Ｐ０３」である。このため、図１１の２段目に示すように、モノＩＤが携帯電話のＩＤ「Ｍ０１」、領域推移パターン「Ｐ０６、Ｐ０３」に対応するイベントパターンは「電話をポケット１にしまう」となる。   Further, when the user puts the mobile phone in the pocket 1 corresponding to the chest pocket, the area including the position of the user's hand with the user holding the mobile phone is the front area of the chest, pocket 1. Transition in the order of the areas. For example, the area ID of the front area of the chest is “P06”, and the area ID of the area of the pocket 1 is “P03”. For this reason, as shown in the second row of FIG. 11, the event pattern corresponding to the product ID “M01” of the mobile phone and the area transition pattern “P06, P03” is “gets the phone in pocket 1”.

また、利用者が携帯電話をズボンのポケットに対応するポケット２にしまう場合には、利用者が携帯電話を持った状態で、利用者の手先の位置を含む領域が、胸部の前方領域、ポケット２の領域の順に推移する。例えば、胸部の前方領域の領域ＩＤは「Ｐ０６」、ポケット２の領域の領域ＩＤは「Ｐ０４」である。このため、図１１の３段目に示すように、モノＩＤが携帯電話のＩＤ「Ｍ０１」、領域推移パターン「Ｐ０６、Ｐ０４」に対応するイベントパターンは「電話をポケット２にしまう」となる。   Further, when the user puts the mobile phone in the pocket 2 corresponding to the pocket of the pants, the area including the position of the user's hand with the user holding the mobile phone is the front area of the chest, the pocket It changes in the order of 2 areas. For example, the area ID of the front area of the chest is “P06”, and the area ID of the area of the pocket 2 is “P04”. For this reason, as shown in the third row of FIG. 11, the event pattern corresponding to the product ID “M01” of the mobile phone and the area transition pattern “P06, P04” is “gets the phone in pocket 2”.

また、利用者が薬Ａを飲む場合には、利用者は薬Ａをもった状態で、利用者の手先の位置を含む領域が、胸部の前方領域、頭部の前方領域、口の領域の順に推移する。胸部の前方領域の領域ＩＤは「Ｐ０６」、頭部の前方領域の領域ＩＤは「Ｐ０７」、口の領域ＩＤは「Ｐ０２」である。このため、図１１の４段目に示すように、モノＩＤが薬ＡのＩＤ「Ｍ０３」、領域推移パターン「Ｐ０６、Ｐ０７、Ｐ０２」に対応するイベントパターンは「薬Ａを飲む」となる。   In addition, when the user takes medicine A, the user has the medicine A, and the area including the position of the user's hand includes the front area of the chest, the front area of the head, and the mouth area. Transition in order. The area ID of the front area of the chest is “P06”, the area ID of the front area of the head is “P07”, and the area ID of the mouth is “P02”. Therefore, as shown in the fourth row of FIG. 11, the event pattern corresponding to the ID “M03” of the drug ID “M03” and the region transition pattern “P06, P07, P02” is “drug A drink”.

また、利用者がポケット１に入っていた電話を鞄にしまう場合には、例えば、利用者はポケット１から携帯電話をもった状態で、ポケット１の領域、胸部の前方領域、鞄が置いてあると想定される領域の順に移動する。ポケット１の領域の領域ＩＤは「Ｐ０３」、胸部の前方領域のＩＤは「Ｐ０６」であり、鞄がおいてあると想定される領域の領域ＩＤを「Ｐ０５」とする。この場合には、図１１の６段目に示すように、モノＩＤが携帯電話のＩＤ「Ｍ０１」、領域推移パターン「Ｐ０３、Ｐ０６、Ｐ０５」に対応するイベントパターンは「ポケット１に入っていた携帯電話を鞄にしまう」となる。   Further, when the user puts the phone in the pocket 1 into the bag, for example, the user puts the mobile phone from the pocket 1 and puts the pocket 1 area, the front area of the chest, and the bag. It moves in the order of the assumed area. The area ID of the area of pocket 1 is “P03”, the ID of the front area of the chest is “P06”, and the area ID of the area that is assumed to have a heel is “P05”. In this case, as shown in the sixth row of FIG. 11, the event pattern corresponding to the product ID “M01” of the mobile phone and the area transition pattern “P03, P06, P05” is “pocket 1”. "I'll put my cell phone in my bag."

図６の説明に戻る。距離情報取得部１２０は、超音波受信機２０ａ〜２０ｃから、距離Ｌ１〜Ｌ３の情報を取得する装置である。距離情報取得部１２０は、距離Ｌ１〜Ｌ３の情報を位置情報算出部１４０に出力する。 Returning to the description of FIG. The distance information acquisition unit 120 is a device that acquires information on the distances L 1 to L 3 from the ultrasonic receivers 20 a to 20 c. The distance information acquisition unit 120 outputs information on the distances L 1 to L 3 to the position information calculation unit 140.

物体識別情報取得部１３０は、超音波発信機１０からモノＩＤと検知時間とを受信する装置である。物体識別情報取得部１３０は、モノＩＤと検知時間とを行動認識部１６０に出力する。例えば、物体識別情報取得部１３０は、無線通信装置に対応する。   The object identification information acquisition unit 130 is a device that receives a product ID and a detection time from the ultrasonic transmitter 10. The object identification information acquisition unit 130 outputs the product ID and the detection time to the behavior recognition unit 160. For example, the object identification information acquisition unit 130 corresponds to a wireless communication device.

位置情報算出部１４０は、距離Ｌ１〜Ｌ３に基づいて、超音波発信機１０の位置を算出する処理部である。利用者が超音波発信機１０を手先に装着している場合には、位置情報算出部１４０が算出する位置は、利用者の手先の位置を算出していることに等しい。位置情報算出部１４０は、超音波発信機１０の位置情報を領域判定部１５０に順次出力する。 The position information calculation unit 140 is a processing unit that calculates the position of the ultrasonic transmitter 10 based on the distances L 1 to L 3 . When the user wears the ultrasonic transmitter 10 on the hand, the position calculated by the position information calculation unit 140 is equivalent to calculating the position of the user's hand. The position information calculation unit 140 sequentially outputs the position information of the ultrasonic transmitter 10 to the region determination unit 150.

ここで、位置情報算出部１４０が超音波発信機１０の位置を算出する処理の一例について説明する。位置情報算出部１４０は、超音波受信機２０ａの座標を中心とした半径Ｌ１の球１、超音波受信機２０ｂの座標を中心とした半径Ｌ２の球２、超音波受信機２０ｃの座標を中心とした半径Ｌ３の球３を求める。位置情報算出部１４０は、球１〜３を求めた後に、各球１〜３の交点の３次元座標を超音波発信機１０の位置として算出する。 Here, an example of a process in which the position information calculation unit 140 calculates the position of the ultrasonic transmitter 10 will be described. Positional information calculator 140, a sphere 1 having a radius L 1 around the coordinates of the ultrasonic receivers 20a, an ultrasonic receiver 20b sphere 2 having a radius L 2 around the coordinates of the coordinates of the ultrasonic receiver 20c A sphere 3 having a radius L 3 centered on is obtained. After obtaining the spheres 1 to 3, the position information calculation unit 140 calculates the three-dimensional coordinates of the intersections of the spheres 1 to 3 as the position of the ultrasonic transmitter 10.

領域判定部１５０は、位置情報と、身体領域データベース１１０ａとを比較して、超音波発信機１０の位置が含まれる領域の領域ＩＤを所定の周期によって順次判定する処理部である。領域判定部１５０は、判定した領域ＩＤを行動認識部１６０に順次出力する。   The region determination unit 150 is a processing unit that compares the position information with the body region database 110a and sequentially determines the region ID of the region including the position of the ultrasonic transmitter 10 in a predetermined cycle. The region determination unit 150 sequentially outputs the determined region ID to the action recognition unit 160.

行動認識部１６０は、超音波発信機１０の位置を含む領域の推移パターンと、モノＩＤと、イベントパターンデータベース１１０ｃとを比較して、利用者の行動を認識する処理部である。行動認識部１６０は、認識結果を認識結果出力部１７０に通知する。   The behavior recognition unit 160 is a processing unit that recognizes the behavior of the user by comparing the transition pattern of the region including the position of the ultrasonic transmitter 10, the product ID, and the event pattern database 110 c. The behavior recognition unit 160 notifies the recognition result output unit 170 of the recognition result.

図１１を用いて、行動認識部１６０の処理の一例について説明する。まず、行動認識部１６０は、物体識別情報取得部１３０からモノＩＤを取得し、イベントパターンを絞り込む。例えば、モノＩＤが「Ｍ０１」の場合には、イベントパターンは１段目のイベントパターンから３段目のイベントパターンとなる。   An example of processing of the action recognition unit 160 will be described with reference to FIG. First, the action recognition unit 160 acquires the product ID from the object identification information acquisition unit 130 and narrows down the event pattern. For example, when the product ID is “M01”, the event pattern changes from the first-stage event pattern to the third-stage event pattern.

続いて、行動認識部１６０は、絞り込んだイベントパターンの領域推移パターンと、領域判定部１５０から順次取得する領域ＩＤの推移パターンとを比較して、利用者の行動を認識する。例えば、行動認識部１６０が、領域判定部１５０から領域ＩＤを「Ｐ０６」、「Ｐ０７」、「Ｐ０１」の順に取得した場合には、図１１の１段目の領域推移パターンにヒットする。この場合には、行動認識部１６０は、利用者の行動を「電話をかける」と認識する。   Subsequently, the behavior recognition unit 160 compares the narrowed event pattern region transition pattern with the region ID transition pattern sequentially acquired from the region determination unit 150 to recognize the user's behavior. For example, when the behavior recognition unit 160 obtains the region IDs in the order of “P06”, “P07”, and “P01” from the region determination unit 150, it hits the first region transition pattern in FIG. In this case, the action recognition unit 160 recognizes the user's action as “calling”.

なお、行動認識部１６０は、モノＩＤとモノデータベース１１０ｂとを比較して、モノＩＤに対応するモノ名称を判定する。例えば、行動認識部１６０は、モノＩＤ、モノ名称、検知時間、利用者の行動を対応づけて、認識結果に格納する。   The action recognition unit 160 compares the product ID with the product database 110b to determine the product name corresponding to the product ID. For example, the behavior recognition unit 160 associates a product ID, a product name, a detection time, and a user's behavior and stores them in the recognition result.

認識結果出力部１７０は、行動認識部１６０の認識結果を、外部装置に出力する処理部である。認識結果出力部１７０は、認識結果をディスプレイなどの表示装置に出力しても良い。なお、認識結果出力部１７０は、認識結果をログとして記憶部１１０に順次記憶しても良い。   The recognition result output unit 170 is a processing unit that outputs the recognition result of the behavior recognition unit 160 to an external device. The recognition result output unit 170 may output the recognition result to a display device such as a display. Note that the recognition result output unit 170 may sequentially store the recognition result in the storage unit 110 as a log.

なお、上記処理部１４０〜１６０は、例えば、ＡＳＩＣ、ＦＰＧＡ等の集積装置に対応する。また、上記処理部１４０〜１６０は、ＣＰＵやＭＰＵなどの電気回路に対応する。   The processing units 140 to 160 correspond to, for example, integrated devices such as ASIC and FPGA. The processing units 140 to 160 correspond to an electric circuit such as a CPU or MPU.

次に、本実施例にかかる行動認識装置１００の処理手順について説明する。図１２は、本実施例にかかる行動認識装置の処理手順を示すフローチャートである。例えば、図１２に示す処理は、行動認識装置１００が、モノＩＤと検知時間を超音波発信機から取得したことを契機に実行される。   Next, the process procedure of the action recognition apparatus 100 according to the present embodiment will be described. FIG. 12 is a flowchart illustrating the processing procedure of the behavior recognition apparatus according to the present embodiment. For example, the process illustrated in FIG. 12 is executed when the action recognition apparatus 100 acquires the product ID and the detection time from the ultrasonic transmitter.

図１２に示すように、行動認識装置１００は、超音波発信機１０からモノＩＤと検知時間を取得し（ステップＳ１０１）、超音波受信機２０ａ〜２０ｃから距離の情報を取得する（ステップＳ１０２）。   As illustrated in FIG. 12, the action recognition apparatus 100 acquires a mono ID and a detection time from the ultrasonic transmitter 10 (step S101), and acquires distance information from the ultrasonic receivers 20a to 20c (step S102). .

行動認識装置１００は、手の位置を算出し（ステップＳ１０３）、手の位置と身体領域データベース１１０ａとを比較する（ステップＳ１０４）。行動認識装置１００は、手の位置が、身体領域データベース１１０ａに登録された領域に含まれない場合には（ステップＳ１０５，Ｎｏ）、ステップＳ１０７に移行する。   The action recognition apparatus 100 calculates the hand position (step S103), and compares the hand position with the body region database 110a (step S104). If the hand position is not included in the region registered in the body region database 110a (No at Step S105), the behavior recognition apparatus 100 proceeds to Step S107.

一方、行動認識装置１００は、手の位置が、身体領域データベース１１０ａに登録された領域に含まれる場合には（ステップＳ１０５，Ｙｅｓ）、領域ＩＤを特定し（ステップＳ１０６）、ステップＳ１０７に移行する。   On the other hand, when the position of the hand is included in the region registered in the body region database 110a (step S105, Yes), the action recognition device 100 specifies the region ID (step S106) and proceeds to step S107. .

行動認識装置１００は、行動認識処理を実行する（ステップＳ１０７）。ステップＳ１０７において、行動認識装置１００は、超音波発信機１０の位置を含む領域の推移パターンと、モノＩＤと、イベントパターンデータベース１１０ｃとを比較して、利用者の行動を認識する。   The behavior recognition apparatus 100 executes behavior recognition processing (step S107). In step S107, the behavior recognition apparatus 100 recognizes the user's behavior by comparing the transition pattern of the region including the position of the ultrasonic transmitter 10, the product ID, and the event pattern database 110c.

行動認識装置１００は、処理を終了しない場合には（ステップＳ１０８，Ｎｏ）、ステップＳ１０１に移行する。行動認識装置１００は、処理を終了する場合には（ステップＳ１０８，Ｙｅｓ）、処理を終了する。   If the action recognition apparatus 100 does not end the process (No at Step S108), the action recognition apparatus 100 proceeds to Step S101. The action recognition device 100 ends the process when the process ends (Yes in step S108).

次に、本実施例にかかる行動認識装置１００の効果について説明する。行動認識装置１００は、利用者の身体周辺を複数の領域に分割し、利用者の手の位置が含まれる領域の推移のパターンと、利用者が利用する物体の種別から、利用者の行動を認識する。このため、利用者の手先レベルの細かい動作の違いを区別して、利用者の行動を正確に認識することができる。   Next, the effect of the action recognition apparatus 100 according to the present embodiment will be described. The behavior recognition apparatus 100 divides the user's body periphery into a plurality of regions, and determines the user's behavior based on the transition pattern of the region including the position of the user's hand and the type of the object used by the user. recognize. For this reason, a user's action can be correctly recognized by distinguishing the difference in fine operation of a user's hand level.

また、行動認識装置１００は、利用者の手の位置の移動パターンを追跡するのではなく、ある一定の範囲をもった領域単位で、利用者の手の位置の移動パターンを追跡する。このため、利用者の手の位置の検出に高い精度は要求されず、コストを削減することもできる。例えば、利用者の手に超音波発信機１０を設置し、胸部に超音波受信機２０ａ〜２０ｃを設置し、超音波発信機１０から超音波受信機２０ａ〜２０ｃまでの超音波の到達時間に基づいて、利用者の手の位置を算出すればよい。   In addition, the behavior recognition apparatus 100 does not track the movement pattern of the user's hand position, but tracks the movement pattern of the user's hand position in units of areas having a certain range. For this reason, high accuracy is not required for detecting the position of the user's hand, and the cost can be reduced. For example, the ultrasonic transmitter 10 is installed in the user's hand, the ultrasonic receivers 20a to 20c are installed in the chest, and the ultrasonic wave arrival time from the ultrasonic transmitter 10 to the ultrasonic receivers 20a to 20c is reached. Based on this, the position of the user's hand may be calculated.

ところで、身体領域データベース１１０ａの各領域を複合した複合領域データベースを用いて、利用者の手の位置を含む領域を判定してもよい。例えば、耳の領域と口の領域とを複合し、顔周辺の領域とすることができる。図１３は、複合領域データベースのデータ構造を示す図である。例えば、複合領域データベースは、記憶部１１０に記憶される。   By the way, you may determine the area | region containing the position of a user's hand using the composite area | region database which compounded each area | region of the body area | region database 110a. For example, the ear region and the mouth region can be combined to form a region around the face. FIG. 13 is a diagram showing the data structure of the composite area database. For example, the composite area database is stored in the storage unit 110.

図１３に示すように、この複合領域データベースは、複合領域ＩＤ、領域ＩＤ群、領域名称を有する。複合領域ＩＤは、複合領域を識別する情報である。領域ＩＤ群は、複合領域を構成する各領域の領域ＩＤである。領域名称は、複合領域の名称である。   As shown in FIG. 13, this composite area database has a composite area ID, a region ID group, and a region name. The composite area ID is information for identifying the composite area. The area ID group is an area ID of each area constituting the composite area. The area name is a name of the composite area.

例えば、図１３の１段目の複合領域ＩＤ「ＣＰ０１」の領域は、図１１に示した領域ＩＤ「Ｐ０１」、「Ｐ０２」を複合した領域である。また、図１３の２段目の複合領域ＩＤ「ＣＰ０２」の領域は、図１１に示した領域ＩＤ「Ｐ０３」、「Ｐ０４」を複合した領域である。   For example, the area of the composite area ID “CP01” in the first row in FIG. 13 is an area where the area IDs “P01” and “P02” shown in FIG. 11 are combined. Further, the area of the second-tier composite area ID “CP02” in FIG. 13 is an area where the area IDs “P03” and “P04” shown in FIG. 11 are combined.

行動認識装置１００は、複合領域データベースを利用して、利用者の行動を認識しても良い。例えば、利用者が歯ブラシをもった状態で、利用者の手の位置が、複合領域ＩＤ「ＣＰ０１」の領域を出たり入ったりしている場合には、行動認識装置１００は、利用者の行動を「歯磨き」と認識する。   The behavior recognition apparatus 100 may recognize a user's behavior using a composite area database. For example, when the user has a toothbrush and the position of the user's hand exits or enters the area of the composite area ID “CP01”, the action recognition device 100 performs the action of the user. Is recognized as "toothpaste".

複合領域は、各領域を組み合わせるだけで利用者周辺の複雑な領域をカバーすることができ、利用者の様々な手の動きに追従することができる。このため、行動認識装置１００は、各領域を組み合わせた複合領域を利用することで、利用者の複雑な行動を簡易的に認識することができる。   The complex area can cover a complex area around the user just by combining the areas, and can follow the movements of the user's various hands. For this reason, the action recognition apparatus 100 can recognize a user's complicated action simply by using the composite area | region which combined each area | region.

ところで、行動認識装置１００の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、行動認識装置１００の分散、統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、行動認識装置１００は、有線によって、超音波発信機１０と通信を行ってもよい。また、行動認識装置１００が、超音波発信機１０と超音波受信機２０ａ〜２０ｃの距離を算出するようにしてもよい。   By the way, each component of the action recognition apparatus 100 is functionally conceptual, and does not necessarily need to be physically configured as illustrated. That is, the specific form of distribution and integration of the action recognition device 100 is not limited to the illustrated one, and all or a part thereof can be functionally or physically in arbitrary units according to various loads or usage conditions. It can be configured to be distributed and integrated. For example, the action recognition apparatus 100 may communicate with the ultrasonic transmitter 10 by wire. Moreover, you may make it the action recognition apparatus 100 calculate the distance of the ultrasonic transmitter 10 and the ultrasonic receivers 20a-20c.

また、行動認識装置１００は、既知の移動体通信端末またはＰＤＡなどの情報処理装置に、行動認識装置１００の各機能を搭載することによって実現することもできる。   Moreover, the action recognition apparatus 100 can also be realized by mounting each function of the action recognition apparatus 100 on an information processing apparatus such as a known mobile communication terminal or PDA.

図１４は、実施例にかかる行動認識装置を構成するコンピュータのハードウェア構成を示す図である。図１４に示すように、このコンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る読み取り装置２０４と、超音波受信機と接続するインターフェース装置２０５と、超音波発信機と無線通信を行う無線通信装置２０６とを有する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０７と、フラッシュメモリなどの記憶装置２０８とを有する。各装置２０１〜２０８は、バス２０９に接続される。   FIG. 14 is a diagram illustrating a hardware configuration of a computer constituting the behavior recognition apparatus according to the embodiment. As illustrated in FIG. 14, the computer 200 includes a CPU 201 that executes various arithmetic processes, an input device 202 that receives input of data from a user, and a display 203. The computer 200 also includes a reading device 204 that reads a program and the like from a storage medium, an interface device 205 that is connected to an ultrasonic receiver, and a wireless communication device 206 that performs wireless communication with the ultrasonic transmitter. The computer 200 also includes a RAM 207 that temporarily stores various types of information and a storage device 208 such as a flash memory. Each device 201 to 208 is connected to a bus 209.

記憶装置２０８は、領域判定プログラム２０８ａ、行動認識プログラム２０８ｂ、領域情報２０８ｃを記憶する。   The storage device 208 stores an area determination program 208a, an action recognition program 208b, and area information 208c.

ＣＰＵ２０１は、記憶装置２０８に記憶された各プログラム２０８ａ、２０８ｂ、領域情報２０８ｃを読み出して、ＲＡＭ２０７に展開する。これにより、領域判定プログラム２０８ａは、領域判定プロセス２０７ａとして機能する。行動認識プログラム２０８ｂは、行動認識プロセス２０７ｂとして機能する。また、領域情報２０７ｃは、ＣＰＵ２０１が領域判定プロセス２０７ａを実行する場合に利用される。   The CPU 201 reads out the programs 208 a and 208 b and the area information 208 c stored in the storage device 208 and expands them in the RAM 207. Thereby, the area determination program 208a functions as the area determination process 207a. The behavior recognition program 208b functions as a behavior recognition process 207b. The area information 207c is used when the CPU 201 executes the area determination process 207a.

領域判定プロセス２０７ａは、図６の領域判定部１５０に対応する。行動認識プロセス２０７ｂは、図６の行動認識部１６０に対応する。各プロセス２０７ａ、２０７ｂにより、ＣＰＵ２０１は、利用者の行動を認識する。   The area determination process 207a corresponds to the area determination unit 150 in FIG. The action recognition process 207b corresponds to the action recognition unit 160 in FIG. By each of the processes 207a and 207b, the CPU 201 recognizes the user's action.

なお、上記のプログラム２０８ａ、２０８ｂ、領域情報２０８ｃは、必ずしも記憶装置２０８に格納されている必要はない。例えば、ＣＤ−ＲＯＭ等の記憶媒体に記憶されたプログラム２０８ａ、２０８ｂ、領域情報２０８ｃを、コンピュータ２００が読み出して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等に接続された記憶装置に、各プログラム２０８ａ、２０８ｂ、領域情報２０８ｃを記憶させておいてもよい。この場合、コンピュータ２００がこれらから各プログラム２０８ａ、２０８ｂ、領域情報２０８ｃを読み出して実行するようにしてもよい。   The programs 208a and 208b and the area information 208c are not necessarily stored in the storage device 208. For example, the computer 200 may read and execute the programs 208a and 208b and the area information 208c stored in a storage medium such as a CD-ROM. The programs 208a and 208b and the area information 208c may be stored in a storage device connected to a public line, the Internet, a LAN (Local Area Network), a WAN (Wide Area Network), or the like. In this case, the computer 200 may read out and execute each of the programs 208a and 208b and the area information 208c.

以上の各実施例を含む実施形態に関し、さらに以下の付記を開示する。   The following supplementary notes are further disclosed with respect to the embodiments including the above examples.

（付記１）利用者の身体周辺を複数の領域に分割した各領域の座標をそれぞれ記憶する領域情報記憶部と、
前記利用者が利用する物体を識別する物体識別情報を取得する取得部と、
前記利用者の身体に取り付けられた音波発信機の座標と前記領域の座標とを比較して、前記音波発信機を含む領域を所定の周期で順次判定する領域判定部と、
前記物体識別情報と前記領域判定部が順次判定する前記音波発信機を含む領域の推移とを基にして、利用者の行動を認識する行動認識部と
を備えたことを特徴とする行動認識装置。 (Additional remark 1) The area | region information storage part which each memorize | stores the coordinate of each area | region which divided | segmented the user's body periphery into the several area | region,
An acquisition unit for acquiring object identification information for identifying an object used by the user;
An area determination unit that compares the coordinates of the sound wave transmitter attached to the user's body and the coordinates of the area, and sequentially determines the area including the sound wave transmitter in a predetermined cycle;
A behavior recognition device comprising: a behavior recognition unit that recognizes a user's behavior based on the object identification information and a transition of a region including the sound wave transmitter that is sequentially determined by the region determination unit. .

（付記２）前記領域情報記憶部は、異なる複数の領域を組み合わせた領域を示す複合領域の座標を更に記憶し、前記行動認識部は、前記物体識別情報と前記音波発信機を含む複合領域の推移を基にして、利用者の行動を認識することを特徴とする付記１に記載の行動認識装置。 (Additional remark 2) The said area | region information storage part further memorize | stores the coordinate of the composite area | region which shows the area | region which combined several different area | regions, The said action recognition part of the composite area | region containing the said object identification information and the said sound wave transmitter The behavior recognition apparatus according to appendix 1, wherein the behavior of the user is recognized based on the transition.

（付記３）前記音波発信機から発信された音波が、当該音波発信機が取り付けられた位置とは異なる利用者の身体の一部に装着された複数の音波受信機に到達するまでの距離に基づいて、前記音波発信機が装着された前記利用者の身体の一部の座標を算出する位置算出部を更に有することを特徴とする付記１または２に記載の行動認識装置。 (Additional remark 3) The distance from the sound wave transmitted from the sound wave transmitter to a plurality of sound wave receivers mounted on a part of the user's body different from the position where the sound wave transmitter is attached. The behavior recognition apparatus according to appendix 1 or 2, further comprising a position calculation unit that calculates coordinates of a part of the body of the user to which the sound wave transmitter is attached.

（付記４）コンピュータが実行する行動認識方法であって、
利用者の身体周辺を複数の領域に分割した各領域の座標をそれぞれ記憶装置に記憶し、
前記利用者が利用する物体を識別する物体識別情報を取得し、
前記利用者の身体に取り付けられた音波発信機の座標と前記領域の座標とを比較して、前記音波発信機を含む領域を所定の周期で順次判定し、
前記物体識別情報と順次判定する前記音波発信機を含む領域の推移とを基にして、利用者の行動を認識することを特徴とする行動認識方法。 (Appendix 4) An action recognition method executed by a computer,
The coordinates of each area obtained by dividing the user's body periphery into a plurality of areas are stored in the storage device, respectively.
Obtaining object identification information for identifying an object used by the user;
Compare the coordinates of the sound wave transmitter attached to the user's body and the coordinates of the area, sequentially determine the area including the sound wave transmitter in a predetermined cycle,
A behavior recognition method characterized by recognizing a user's behavior based on the object identification information and a transition of a region including the sound wave transmitter that is sequentially determined.

（付記５）前記記憶装置は、異なる複数の領域を組み合わせた領域を示す複合領域の座標を更に記憶し、前記コンピュータが利用者の行動を認識する際、前記物体識別情報と前記音波発信機を含む複合領域の推移を基にして、利用者の行動を認識することを特徴とする付記４に記載の行動認識方法。 (Additional remark 5) The said memory | storage device further memorize | stores the coordinate of the composite area | region which shows the area | region which combined several different area | regions, and when the said computer recognizes a user's action, the said object identification information and the said sound wave transmitter are used. The behavior recognition method according to appendix 4, wherein the behavior of the user is recognized based on the transition of the composite region including the behavior.

（付記６）前記コンピュータは、前記音波発信機と、当該音波発信機が取り付けられた位置とは異なる利用者の身体の一部に装着された複数の音波受信機とに接続され、前記音波発信機から発信された音波が、前記音波受信機に到達するまでの距離に基づいて、前記音波発信機が装着された前記利用者の身体の一部の座標を算出することを特徴とする付記４または５に記載の行動認識方法。 (Supplementary note 6) The computer is connected to the sound wave transmitter and a plurality of sound wave receivers mounted on a part of a user's body different from the position where the sound wave transmitter is attached. Supplementary note 4 wherein the coordinates of a part of the body of the user to which the sound wave transmitter is attached are calculated based on the distance until the sound wave transmitted from the sound wave reaches the sound wave receiver. Or the action recognition method of 5.

（付記７）コンピュータに、
利用者の身体周辺を複数の領域に分割した各領域の座標をそれぞれ記憶装置に記憶し、
前記利用者が利用する物体を識別する物体識別情報を取得し、
前記利用者の身体に取り付けられた音波発信機の座標と前記領域の座標とを比較して、前記音波発信機を含む領域を所定の周期で順次判定し、
前記物体識別情報と順次判定する前記音波発信機を含む領域の推移とを基にして、利用者の行動を認識する処理を実行される行動認識プログラム。 (Appendix 7)
The coordinates of each area obtained by dividing the user's body periphery into a plurality of areas are stored in the storage device, respectively.
Obtaining object identification information for identifying an object used by the user;
Compare the coordinates of the sound wave transmitter attached to the user's body and the coordinates of the area, sequentially determine the area including the sound wave transmitter in a predetermined cycle,
A behavior recognition program for executing processing for recognizing a user's behavior based on the object identification information and a transition of a region including the sound wave transmitter that is sequentially determined.

（付記８）前記記憶装置は、異なる複数の領域を組み合わせた領域を示す複合領域の座標を更に記憶し、前記コンピュータが利用者の行動を認識する際、前記物体識別情報と前記音波発信機を含む複合領域の推移を基にして、利用者の行動を認識することを特徴とする付記７に記載の行動認識プログラム。 (Additional remark 8) The said memory | storage device further memorize | stores the coordinate of the composite area | region which shows the area | region which combined several different area | regions, and when the said computer recognizes a user's action, the said object identification information and the said sound wave transmitter are used. The behavior recognition program according to appendix 7, wherein the behavior of the user is recognized based on the transition of the composite area including the behavior.

（付記９）前記コンピュータは、前記音波発信機と、当該音波発信機が取り付けられた位置とは異なる利用者の身体の一部に装着された複数の音波受信機とに接続され、前記音波発信機から発信された音波が、前記音波受信機に到達するまでの距離に基づいて、前記音波発信機が装着された前記利用者の身体の一部の座標を算出することを特徴とする付記７または８に記載の行動認識プログラム。 (Supplementary note 9) The computer is connected to the sound wave transmitter and a plurality of sound wave receivers mounted on a part of a user's body different from the position where the sound wave transmitter is attached. Appendix 7 wherein the coordinates of a part of the user's body on which the sound wave transmitter is mounted are calculated based on the distance until the sound wave transmitted from the sound wave reaches the sound wave receiver. Or the action recognition program of 8.

１０ 超音波発信機
２０ａ、２０ｂ、２０ｃ 超音波受信機
１００ 行動認識装置 DESCRIPTION OF SYMBOLS 10 Ultrasonic transmitter 20a, 20b, 20c Ultrasonic receiver 100 Action recognition apparatus

Claims (5)

利用者の身体周辺を複数の領域に分割した各領域の座標をそれぞれ記憶する領域情報記憶部と、
前記利用者が利用する物体を識別する物体識別情報を取得する取得部と、
前記利用者の身体に取り付けられた音波発信機の座標と前記領域の座標とを比較して、前記音波発信機を含む領域を所定の周期で順次判定する領域判定部と、
前記物体識別情報と前記領域判定部が順次判定する前記音波発信機を含む領域の推移とを基にして、利用者の行動を認識する行動認識部と
を備えたことを特徴とする行動認識装置。 A region information storage unit for storing coordinates of each region obtained by dividing the user's body periphery into a plurality of regions;
An acquisition unit for acquiring object identification information for identifying an object used by the user;
An area determination unit that compares the coordinates of the sound wave transmitter attached to the user's body and the coordinates of the area, and sequentially determines the area including the sound wave transmitter in a predetermined cycle;
A behavior recognition device comprising: a behavior recognition unit that recognizes a user's behavior based on the object identification information and a transition of a region including the sound wave transmitter that is sequentially determined by the region determination unit. . 前記領域情報記憶部は、異なる複数の領域を組み合わせた領域を示す複合領域の座標を更に記憶し、前記行動認識部は、前記物体識別情報と前記音波発信機を含む複合領域の推移を基にして、利用者の行動を認識することを特徴とする請求項１に記載の行動認識装置。   The region information storage unit further stores coordinates of a composite region indicating a region obtained by combining a plurality of different regions, and the action recognition unit is based on a transition of the composite region including the object identification information and the sound wave transmitter. The behavior recognition apparatus according to claim 1, wherein the behavior of the user is recognized. 前記音波発信機から発信された音波が、当該音波発信機が取り付けられた位置とは異なる利用者の身体の一部に装着された複数の音波受信機に到達するまでの距離に基づいて、前記音波発信機が装着された前記利用者の身体の一部の座標を算出する位置算出部を更に有することを特徴とする請求項１または２に記載の行動認識装置。   Based on the distance until the sound wave transmitted from the sound wave transmitter reaches a plurality of sound wave receivers attached to a part of the user's body different from the position where the sound wave transmitter is attached, The action recognition apparatus according to claim 1, further comprising a position calculation unit that calculates coordinates of a part of the user's body to which the sound wave transmitter is attached. コンピュータが実行する行動認識方法であって、
利用者の身体周辺を複数の領域に分割した各領域の座標をそれぞれ記憶装置に記憶し、
前記利用者が利用する物体を識別する物体識別情報を取得し、
前記利用者の身体に取り付けられた音波発信機の座標と前記領域の座標とを比較して、前記音波発信機を含む領域を所定の周期で順次判定し、
前記物体識別情報と順次判定する前記音波発信機を含む領域の推移とを基にして、利用者の行動を認識することを特徴とする行動認識方法。 An action recognition method executed by a computer,
The coordinates of each area obtained by dividing the user's body periphery into a plurality of areas are stored in the storage device, respectively.
Obtaining object identification information for identifying an object used by the user;
Compare the coordinates of the sound wave transmitter attached to the user's body and the coordinates of the area, sequentially determine the area including the sound wave transmitter in a predetermined cycle,
A behavior recognition method characterized by recognizing a user's behavior based on the object identification information and a transition of a region including the sound wave transmitter that is sequentially determined. コンピュータに、
利用者の身体周辺を複数の領域に分割した各領域の座標をそれぞれ記憶装置に記憶し、
前記利用者が利用する物体を識別する物体識別情報を取得し、
前記利用者の身体に取り付けられた音波発信機の座標と前記領域の座標とを比較して、前記音波発信機を含む領域を所定の周期で順次判定し、
前記物体識別情報と順次判定する前記音波発信機を含む領域の推移とを基にして、利用者の行動を認識する処理を実行される行動認識プログラム。 On the computer,
The coordinates of each area obtained by dividing the user's body periphery into a plurality of areas are stored in the storage device, respectively.
Obtaining object identification information for identifying an object used by the user;
Compare the coordinates of the sound wave transmitter attached to the user's body and the coordinates of the area, sequentially determine the area including the sound wave transmitter in a predetermined cycle,
A behavior recognition program for executing processing for recognizing a user's behavior based on the object identification information and a transition of a region including the sound wave transmitter that is sequentially determined.
JP2010285161A 2010-12-21 2010-12-21 Action recognition device, action recognition method, and action recognition program Expired - Fee Related JP5516385B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010285161A JP5516385B2 (en) 2010-12-21 2010-12-21 Action recognition device, action recognition method, and action recognition program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010285161A JP5516385B2 (en) 2010-12-21 2010-12-21 Action recognition device, action recognition method, and action recognition program

Publications (2)

Publication Number Publication Date
JP2012130522A JP2012130522A (en) 2012-07-12
JP5516385B2 true JP5516385B2 (en) 2014-06-11

Family

ID=46646862

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010285161A Expired - Fee Related JP5516385B2 (en) 2010-12-21 2010-12-21 Action recognition device, action recognition method, and action recognition program

Country Status (1)

Country Link
JP (1) JP5516385B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5720269B2 (en) * 2011-01-21 2015-05-20 富士通株式会社 Position calculation device, position calculation method, and position calculation program
JP5664382B2 (en) * 2011-03-18 2015-02-04 富士通株式会社 Position detection apparatus, wearable sensor system, and program
JP6426339B2 (en) * 2013-12-12 2018-11-21 Ｎｅｃプラットフォームズ株式会社 False picking prevention system, management server and false picking prevention method
JP2022109646A (en) * 2021-01-15 2022-07-28 オムロン株式会社 Operation level conversion device, operation level conversion method, and operation level conversion program

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3570163B2 (en) * 1996-07-03 2004-09-29 株式会社日立製作所 Method and apparatus and system for recognizing actions and actions
JP4543214B2 (en) * 2004-03-12 2010-09-15 独立行政法人産業技術総合研究所 Ultrasonic position measuring device
JP2006055532A (en) * 2004-08-23 2006-03-02 Yuji Hosoi Operation analysis device
JP2006340776A (en) * 2005-06-07 2006-12-21 Nippon Telegr & Teleph Corp <Ntt> Living body eating behavior recognition method and system
JP2008009505A (en) * 2006-06-27 2008-01-17 Olympus Corp Information display system
US8416102B2 (en) * 2008-03-14 2013-04-09 Koninklijke Philips Electronics N.V. Activity monitoring system insensitive to accelerations induced by external motion factors
JP5359414B2 (en) * 2009-03-13 2013-12-04 沖電気工業株式会社 Action recognition method, apparatus, and program

Also Published As

Publication number Publication date
JP2012130522A (en) 2012-07-12

Similar Documents

Publication Publication Date Title
Deep et al. A survey on anomalous behavior detection for elderly care using dense-sensing networks
Wang et al. Toward a wearable RFID system for real-time activity recognition using radio patterns
CN109271832B (en) People stream analysis method, people stream analysis device, and people stream analysis system
JP6321222B2 (en) Systems and methods for geofence crossing-based control
US10984146B2 (en) Tracking safety conditions of an area
US20150097653A1 (en) Determination of proximity using a plurality of transponders
JP5516385B2 (en) Action recognition device, action recognition method, and action recognition program
CN103489290A (en) Method for monitoring children entering specific area by using IoT (Internet of Things)
Ruan et al. Tagfall: Towards unobstructive fine-grained fall detection based on uhf passive rfid tags
Hossain et al. Activity recognition by using lorawan sensor
Kriara et al. RFID shakables: pairing radio-frequency identification tags with the help of gesture recognition
Wang et al. A wearable RFID system for real-time activity recognition using radio patterns
CN109561855A (en) Equipment, system and method for fall detection
US20190268461A1 (en) Detecting patterns and behavior to prevent a mobile terminal drop event
CN110446195A (en) Location processing method and Related product
JPWO2017047063A1 (en) Information processing apparatus, evaluation method, and computer program
JP2017174212A (en) Action analysis device, action analyzing method and program
Torres et al. How feasible is WiFi fingerprint-based indoor positioning for in-home monitoring?
Zhou et al. Towards scalable indoor map construction and refinement using acoustics on smartphones
Zhan et al. Mosen: Activity modelling in multiple-occupancy smart homes
JP2010114544A (en) Intercom system, and program and method for receiving visitor
JP3735675B2 (en) Object arrangement drawing creation method, program thereof, storage medium, and object arrangement drawing creation system
Randhawa Research challenges in wireless sensor network: A STATE OF THE PLAY
JP7072353B2 (en) Location search system and location search method
CN113313909A (en) Data processing method and device of intelligent glasses and intelligent glasses

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130904

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140304

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140317

R150 Certificate of patent or registration of utility model

Ref document number: 5516385

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees