JP2011224122A - Behavior recognition device - Google Patents
Behavior recognition device Download PDFInfo
- Publication number
- JP2011224122A JP2011224122A JP2010096134A JP2010096134A JP2011224122A JP 2011224122 A JP2011224122 A JP 2011224122A JP 2010096134 A JP2010096134 A JP 2010096134A JP 2010096134 A JP2010096134 A JP 2010096134A JP 2011224122 A JP2011224122 A JP 2011224122A
- Authority
- JP
- Japan
- Prior art keywords
- acceleration sensor
- output
- subject
- neural network
- action
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
この発明は行動認識装置に関し、より詳しくは、加速度センサを用いて、被験体の動作又は行動を認識する行動認識装置に関する。 The present invention relates to a behavior recognition device, and more particularly to a behavior recognition device that recognizes the motion or behavior of a subject using an acceleration sensor.
ここで、「被験体」とは、代表的には人間を指すが、動物や、機械その他の移動体も含む。 Here, the “subject” typically refers to a human, but also includes animals, machines, and other moving objects.
また、「動作」とは、被験体の動きを指す。「行動」とは、意識的なものも含まれる動きや行いを指す。本明細書では、簡単のため、動作と行動とを併せて、適宜「動作」と呼ぶ。 The “motion” refers to the movement of the subject. “Behavior” refers to movements and actions that include conscious things. In this specification, for the sake of simplicity, an operation and an action are collectively referred to as an “operation” as appropriate.
この発明の行動認識装置は、典型的には、歩数計・活動量計、携帯電話、モバイルコンピュータなどに組み込んで用いられ得る。 The action recognition device of the present invention can typically be used by being incorporated in a pedometer / activity meter, mobile phone, mobile computer, or the like.
従来、この種の行動認識装置としては、例えば特許文献１（特開昭６２−１０６７４２号公報）に開示されているように、使用者の動作に応じた振動を検出する加速度センサと、各種動作に対する振動パターンデータを記憶する振動パターンテーブルと、この振動パターンテーブルに記憶された振動パターンデータと上記加速度センサの検出信号とを比較して、使用者の動作を認識する認識手段とを備えたものが知られている。認識される動作としては、立つ、座る、歩く、走る、および静止が挙げられている。 Conventionally, as this type of action recognition device, for example, as disclosed in Patent Document 1 (Japanese Patent Laid-Open No. Sho 62-106742), an acceleration sensor that detects vibrations according to a user's action, and various actions are disclosed. A vibration pattern table for storing vibration pattern data for the motor, and a recognition means for comparing the vibration pattern data stored in the vibration pattern table with the detection signal of the acceleration sensor to recognize the user's movement It has been known. Recognized movements include standing, sitting, walking, running, and resting.
特許文献２（特開平１０−２４０２６号公報）には、３軸の加速度センサに加えてジャイロセンサを備えて、上下運動，水平運動，回転運動の変化を検出し、検出した運動状態の変化とパターン格納部に記憶した行動モデルパターンとから人の行動を特定（認識）するものが開示されている。認識される動作としては、歩く、座る、会議をする、および食事をすることが挙げられている。 Patent Document 2 (Japanese Patent Laid-Open No. 10-24026) includes a gyro sensor in addition to a triaxial acceleration sensor, detects changes in vertical motion, horizontal motion, and rotational motion, The thing which specifies (recognizes) a human action from the action model pattern memorize | stored in the pattern storage part is disclosed. Recognized actions include walking, sitting, meeting, and eating.
特許文献３（特開平１０−１１３３４３号公報）には、被験体の動作又は行動に伴う状態変化を観測する計測手段と、前記観測結果における特徴量を抽出する特徴量抽出手段と、当該認識装置により認識すべき動作又は行動についての特徴量を記憶する記憶手段と、前記観測結果から抽出した特徴量と記憶してある特徴量とから、前記被験体の動作又は行動を認識する認識手段とを備えたものが開示されている。前記計測手段が観測する状態変化としては、加速度，角加速度，速度，角速度，位置，回転、および曲げ角と、被験体の生体情報である脈拍，血圧，体温，血糖値，呼吸，筋電，心電，血流、および脳波とが挙げられている。認識される動作としては、しゃがむ，走る，歩くという基本的な動作から、梯子を登る，階段を下りる，高所での制御盤操作，床面でバルブ操作，突然倒れた，高所から落ちた，静止，のんびり歩く，力強く歩く，非常に静かな走り，標準的に歩く，元気に歩く，元気に走る，患者が倒れた，苦しんでいるなど複雑な動作までが挙げられている。 Patent Document 3 (Japanese Patent Application Laid-Open No. 10-113343) discloses a measurement unit that observes a state change associated with a motion or action of a subject, a feature amount extraction unit that extracts a feature amount in the observation result, and the recognition device. Storage means for storing the feature amount of the action or action to be recognized by the recognition means, and recognition means for recognizing the action or action of the subject from the feature quantity extracted from the observation result and the stored feature quantity. What has been disclosed is disclosed. The state changes observed by the measuring means include acceleration, angular acceleration, velocity, angular velocity, position, rotation, and bending angle, and biological information of the subject, pulse, blood pressure, body temperature, blood glucose level, respiration, myoelectricity, Examples include electrocardiogram, blood flow, and electroencephalogram. Recognized movements include basic actions such as squatting, running, walking, climbing ladder, going down stairs, control panel operation at high altitude, valve operation at floor, suddenly falling, falling from high altitude , Rest, walking leisurely, walking powerfully, running very quiet, walking normally, walking well, running well, patients falling down, suffering complicated movements and so on.
特許文献１、２の技術では、装置の構成が比較的簡単であるが、立つ、座る、歩く、走るなどの基本的な動作しか認識できず、多種類の複雑な動作（例えばダンスの中の一動作、武術の型の中の一動作）の認識ができないという問題がある。
In the techniques of
一方、特許文献３の技術では、認識される動作の種類が多いが、例えば、被験体から検出する情報として、速度、位置に加えて生体情報も必要とするため、検出手段として加速度センサだけでなく、脈拍，血圧等を測定する手段をも必要とする。このため、装置（システム）の構成が複雑で高コストになるという問題がある。
On the other hand, in the technique of
そこで、この発明の課題は、被験体に対する検出手段として加速度センサのみを含む簡単かつ安価な構成で、多種類の複雑な動作を認識できる行動認識装置を提供することにある。 Therefore, an object of the present invention is to provide an action recognition apparatus that can recognize a variety of complex operations with a simple and inexpensive configuration that includes only an acceleration sensor as a detection means for a subject.
上記課題を解決するため、この発明の行動認識装置は、
被験体に取り付けられるべき加速度センサと、
予め、上記被験体がした複数種類の動作又は行動と上記被験体に取り付けられた上記加速度センサの出力との間のそれぞれの対応関係に基づいて、上記加速度センサの出力から上記被験体がした動作又は行動を認識する学習を済ませたニューラルネットワークとを備えて、
上記被験体に取り付けられた上記加速度センサの出力から、上記ニューラルネットワークを通して上記被験体がした動作又は行動を認識する行動認識装置において、
上記加速度センサの出力に対して統計処理を施して、上記被験体の動きを表す特徴データとして複数種類の統計データを生成する入力処理部を備え、
上記入力処理部が生成した上記複数種類の統計データが並行して上記ニューラルネットワークに入力されるようになっていることを特徴とする。
In order to solve the above problems, the action recognition device of the present invention is:
An acceleration sensor to be attached to the subject;
Based on the correspondence between the plurality of types of actions or actions performed by the subject in advance and the output of the acceleration sensor attached to the subject, the action performed by the subject from the output of the acceleration sensor Or a neural network with learning to recognize actions,
From the output of the acceleration sensor attached to the subject, in the behavior recognition device that recognizes the action or behavior of the subject through the neural network,
An input processing unit that performs statistical processing on the output of the acceleration sensor and generates a plurality of types of statistical data as feature data representing the movement of the subject,
The plurality of types of statistical data generated by the input processing unit are input to the neural network in parallel.
この発明の行動認識装置は、予め、上記被験体がした複数種類の動作又は行動と上記被験体に取り付けられた上記加速度センサの出力との間の対応関係に基づいて、上記加速度センサの出力から上記被験体がした動作又は行動を認識する学習を済ませたニューラルネットワークを備えている。そして、上記被験体に取り付けられた上記加速度センサの出力から、上記ニューラルネットワークを通して上記被験体がした動作又は行動を認識するようになっている。このニューラルネットワークには、上記学習により、予め多種類のアルゴリズムを実質的に保持しておくことができる。したがって、この発明の行動認識装置によれば、多種類の複雑な動作を認識できる。 The behavior recognition apparatus according to the present invention is based on the correspondence relationship between a plurality of types of actions or behaviors performed by the subject and the output of the acceleration sensor attached to the subject in advance. A neural network that has completed learning for recognizing the movement or action of the subject is provided. And the operation | movement or action which the said subject performed through the said neural network from the output of the said acceleration sensor attached to the said subject is recognized. In this neural network, various types of algorithms can be substantially held in advance by the above learning. Therefore, according to the action recognition device of the present invention, it is possible to recognize many kinds of complicated operations.
また、この行動認識装置では、入力処理部が、上記加速度センサの出力に対して統計処理を施して、上記被験体の動きを表す特徴データとして複数種類の統計データを生成する。したがって、上記ニューラルネットワークの学習段階で、上記加速度センサの出力から生成された上記複数種類の統計データが並行して上記ニューラルネットワークに入力される。したがって、上記ニューラルネットワークによる学習の精度を高めることができる。また、上記ニューラルネットワークの認識段階で、上記ニューラルネットワークは、上記加速度センサの出力から生成された上記複数種類の統計データを受けて、上記被験体がした動作又は行動を認識する。したがって、上記ニューラルネットワークによる認識の精度を高めることができる。この結果、多種類の複雑な動作認識できる。例えば、立つ、座る、歩く、走るなどの基本的な動作に加えて、上記被験体がダンスの中の一動作をしていること、武術の型の中の一動作をしていること、ラジオ体操の中の一動作をしていることなどを認識できる。 Moreover, in this action recognition device, the input processing unit performs statistical processing on the output of the acceleration sensor, and generates a plurality of types of statistical data as feature data representing the movement of the subject. Accordingly, at the learning stage of the neural network, the plurality of types of statistical data generated from the output of the acceleration sensor are input to the neural network in parallel. Therefore, the accuracy of learning by the neural network can be increased. In the neural network recognition stage, the neural network receives the plurality of types of statistical data generated from the output of the acceleration sensor, and recognizes the movement or action of the subject. Therefore, the accuracy of recognition by the neural network can be increased. As a result, it is possible to recognize many kinds of complicated operations. For example, in addition to basic movements such as standing, sitting, walking, and running, the subject is performing a movement in a dance, performing a movement in a martial arts type, radio You can recognize that you are doing one movement in the gymnastics.
なお、上記ニューラルネットワークの「学習段階」とは、上記ニューラルネットワークが予め上記学習を行う段階を意味する。また、上記ニューラルネットワークの「認識段階」とは、上記被験体がした動作又は行動を実際に認識する段階を意味する。 The “learning stage” of the neural network means a stage where the neural network performs the learning in advance. The “recognition stage” of the neural network means a stage of actually recognizing the action or action performed by the subject.
また、上記行動認識装置は、被験体に対する検出手段として加速度センサのみを備えているので、簡単かつ安価に構成され得る。また、部品数が少なくなるので、信頼性が高まる。また、被験体が特に人である場合は、上記加速度センサ以外のセンサを体の色々なところに取り付ける必要がないので、上記行動認識装置は、面倒がなく、気軽に使用され得る。 Moreover, since the said action recognition apparatus is provided only with the acceleration sensor as a detection means with respect to a test subject, it can be comprised simply and cheaply. Further, since the number of parts is reduced, reliability is improved. In addition, when the subject is a person in particular, it is not necessary to attach sensors other than the acceleration sensor to various parts of the body. Therefore, the behavior recognition device is not troublesome and can be used easily.
一実施形態の行動認識装置では、上記統計データとして、或る期間についての上記加速度センサの出力の平均値と、上記期間における上記加速度センサの出力の分散または標準偏差とを含むことを特徴とする。 In the behavior recognition apparatus according to an embodiment, the statistical data includes an average value of the output of the acceleration sensor for a certain period and a variance or standard deviation of the output of the acceleration sensor in the period. .
この一実施形態の行動認識装置では、上記学習段階で、上記ニューラルネットワークによる学習の精度を高めることができる。また、上記認識段階で、上記ニューラルネットワークによる認識の精度を高めることができる。 In the behavior recognition apparatus according to this embodiment, the accuracy of learning by the neural network can be increased at the learning stage. In the recognition stage, the accuracy of recognition by the neural network can be increased.
一実施形態の行動認識装置では、上記統計データとして、或る期間についての上記加速度センサの出力の平均値と、上記期間において上記加速度センサの出力が所定値になった回数とを含むことを特徴とする。 In the behavior recognition apparatus according to an embodiment, the statistical data includes an average value of the output of the acceleration sensor for a certain period and the number of times the output of the acceleration sensor becomes a predetermined value in the period. And
ここで、「所定値」とは、例えば０（ゼロ）のような或る値を指す。 Here, the “predetermined value” refers to a certain value such as 0 (zero).
この一実施形態の行動認識装置では、上記学習段階で、上記ニューラルネットワークによる学習の精度を高めることができる。また、上記認識段階で、上記ニューラルネットワークによる認識の精度を高めることができる。 In the behavior recognition apparatus according to this embodiment, the accuracy of learning by the neural network can be increased at the learning stage. In the recognition stage, the accuracy of recognition by the neural network can be increased.
一実施形態の行動認識装置では、上記統計データとして、或る期間についての上記加速度センサの出力の平均値と、上記期間における上記加速度センサの出力の最大値および最小値、または上記最大値と最小値との間の差とを含むことを特徴とする。 In the action recognition device of one embodiment, as the statistical data, the average value of the output of the acceleration sensor for a certain period, the maximum value and the minimum value of the output of the acceleration sensor in the period, or the maximum value and the minimum And the difference between the values.
この一実施形態の行動認識装置では、上記学習段階で、上記ニューラルネットワークによる学習の精度を高めることができる。また、上記認識段階で、上記ニューラルネットワークによる認識の精度を高めることができる。 In the behavior recognition apparatus according to this embodiment, the accuracy of learning by the neural network can be increased at the learning stage. In the recognition stage, the accuracy of recognition by the neural network can be increased.
一実施形態の行動認識装置では、上記統計データとして、或る期間についての上記加速度センサの出力の平均値と、上記期間における上記加速度センサの出力の分散または標準偏差と、上記期間において上記加速度センサの出力が所定値になった回数と、上記期間における上記加速度センサの出力の最大値および最小値、または上記最大値と最小値との間の差とのうち、少なくとも２つを含むことを特徴とする。 In the action recognition device of one embodiment, as the statistical data, the average value of the output of the acceleration sensor for a certain period, the variance or standard deviation of the output of the acceleration sensor in the period, and the acceleration sensor in the period Including at least two of the number of times the output of the acceleration sensor reaches a predetermined value and the maximum and minimum values of the output of the acceleration sensor in the period or the difference between the maximum and minimum values. And
ここで、「少なくとも２つ」とは、全部であっても良い、という意味である。 Here, “at least two” means that all may be sufficient.
この一実施形態の行動認識装置では、上記学習段階で、上記ニューラルネットワークによる学習の精度を高めることができる。また、上記認識段階で、上記ニューラルネットワークによる認識の精度を高めることができる。 In the behavior recognition apparatus according to this embodiment, the accuracy of learning by the neural network can be increased at the learning stage. In the recognition stage, the accuracy of recognition by the neural network can be increased.
以上より明らかなように、この発明の行動認識装置によれば、被験体に対する検出手段として加速度センサのみを含む簡単かつ安価な構成で、多種類の複雑な動作を認識できる。また、部品数が少なくなるので、信頼性が高まる。また、被験体が特に人間である場合は、上記加速度センサ以外のセンサを体の色々なところに取り付ける必要がないので、上記行動認識装置は、面倒がなく、気軽に使用され得る。 As is clear from the above, according to the action recognition apparatus of the present invention, it is possible to recognize many kinds of complicated operations with a simple and inexpensive configuration including only an acceleration sensor as a detection means for a subject. Further, since the number of parts is reduced, reliability is improved. In addition, when the subject is a human being in particular, it is not necessary to attach sensors other than the acceleration sensor to various parts of the body. Therefore, the behavior recognition device can be easily used without trouble.
以下、この発明の一実施形態の行動認識装置について、図面を参照しながら詳細に説明する。 Hereinafter, an action recognition device according to an embodiment of the present invention will be described in detail with reference to the drawings.
図１（Ａ）に示すように、この発明の一実施形態の行動認識装置１は、本体ケーシング７と、この本体ケーシング７の前面部７Ａに設けられたＬＣＤ（液晶表示素子）からなるディスプレイ部３とを備えている。
As shown in FIG. 1A, an
図１（Ｂ）（行動認識装置１を右側方から見たところに相当する）に示すように、本体ケーシング７の後面部７Ｂには、この行動認識装置１を被験体（この例では人）９０に装着するためのクリップ８が設けられている。具体的には、クリップ８は、蝶番９を介して後面部７Ｂに取り付けられており、クリップ８の先端８ａが後面部７Ｂに近づくように、図示しないばねによって付勢されている。これにより、図１（Ｅ）に示すように、行動認識装置１は、被験体９０の腰の横に容易に装着され得る（例えば、被験体９０が着けている図示しないベルトにクリップ８を引っ掛ければ良い。）。
As shown in FIG. 1B (corresponding to the
図１（Ｃ）および図１（Ｄ）によって分かるように、ケーシング７の内部には、電子回路基板１０と、この電子回路基板１０へ電力を供給するための充電可能な電池６とが収容されている。
As can be seen from FIGS. 1C and 1D, the
電子回路基板１０には、無線通信装置４と、加速度センサ２と、演算装置５とが搭載されている。
On the
無線通信装置４は、この行動認識装置１の近傍に存在する携帯電話やパーソナルコンピュータ等との間で、Ｂｌｕｅｔｏｏｔｈ（ブルートゥース）規格によって無線通信を行う公知の装置である。この無線通信装置４により、この行動認識装置１の認識結果（後述）を上記携帯電話やパーソナルコンピュータ等へ送信することが可能となる。
The
加速度センサ２は、Ｘ軸・Ｙ軸・Ｚ軸の３軸方向の加速度を、この例では±２Ｇの範囲で検知可能な半導体式の公知のものである。この加速度センサ２は、１０ミリ秒周期でＸ，Ｙ，Ｚ方向の加速度をそれぞれ計測して出力する。加速度センサ２が出力した値は、次に述べる制御部５０に内蔵されたメモリ５４（図２参照）に順次格納され、少なくとも５秒間保持される。
The
演算装置５は、図２に示すように、この演算装置５全体の動作を制御するＣＰＵ（中央演算処理装置）からなる制御部５０と、加速度センサ２の出力を受けて処理する入力処理部５１と、ニューラルネットワーク５２と、ニューラルネットワーク５２の出力を受けて処理する出力処理部５３と、データを一時的に格納し得るメモリ５４とを備えている。
As shown in FIG. 2, the
入力処理部５１は、制御部５０による制御下で、加速度センサ２の出力に対して信号処理を施して、人９０の動きを表す特徴データとして複数種類の統計データを生成する。具体的には、入力処理部５１は、次のような統計データを生成する。
The
まず、現在の時刻（人９０の動作状態の認識を行う時刻に相当）をｔ１とし、そこから５秒前の時刻をｔ０とする。入力処理部５１は、時刻ｔ０からｔ１までの５秒間にメモリ５４に格納された加速度センサ２のＸ，Ｙ，Ｚ方向の出力（１０ミリ秒周期の値）の平均値をそれぞれ統計データとして算出する。算出された平均値を、それぞれ特徴データＸ１，Ｙ１，Ｚ１とする。
First, the current time (corresponding to the time when the operating state of the
また、入力処理部５１は、時刻ｔ０からｔ１までの５秒間における加速度センサ２のＸ，Ｙ，Ｚ方向の出力の標準偏差を統計データとして算出する。算出された標準偏差を、それぞれ特徴データＸ２，Ｙ２，Ｚ２とする。
Further, the
また、入力処理部５１は、時刻ｔ０からｔ１までの５秒間における加速度センサ２のＸ，Ｙ，Ｚ方向それぞれの出力の最大値と最小値とを探索して、上記最大値と最小値との間の差をそれぞれ統計データとして算出する。算出された上記最大値と最小値との間の差を、それぞれ特徴データＸ３，Ｙ３，Ｚ３とする。
Further, the
また、入力処理部５１は、時刻ｔ０からｔ１までの５秒間において加速度センサ２のＸ，Ｙ，Ｚ方向の出力が０になった回数（以下「ゼロクロス回数」という。）をそれぞれカウントして統計データとして求める。求められたゼロクロス回数を、それぞれＸ４，Ｙ４，Ｚ４とする。
In addition, the
このように、入力処理部５１は、１２種類の統計データである特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４を生成する。入力処理部５１による特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４の生成は、１００ミリ秒周期で行われる。１つの軸方向、例えばＸ軸方向に関して言えば、メモリ５４に格納された５０００個の１種類のデータ（５秒間にわたる加速度センサ２の出力値）から、入力処理部５１によって４種類の特徴データＸ１〜Ｘ４が１００ミリ秒毎に生成される、ということになる。
In this way, the
ニューラルネットワーク５２は、この例では図３に示すように、１２個の入力素子ｉ１，ｉ２，…，ｉ１２を含む入力層５２ｉと、７個の素子ｍ１，ｍ２，…，ｍ７を含む中間層５２ｍと、７個の出力素子ｎ１，ｎ２，…，ｎ７を含む出力層５２ｎとの３層から構成されている。このニューラルネットワーク５２は、この例では逆誤差伝搬法（Back Propagation algorithm）と呼ばれる学習法によって、入力層５２ｉの入力素子ｉ１，ｉ２，…，ｉ１２に入力された入力から、出力層５２ｎの出力素子ｎ１，ｎ２，…，ｎ７に正しい出力が得られるような学習を行えるように構成されている。
In this example, as shown in FIG. 3, the
具体的には、まず、入力素子ｉ１，ｉ２，…，ｉ１２に対する入力にそれぞれ重み係数ｗｊ１，ｗｊ２，…，ｗｊ１２（ｊ＝１，２，…，７とする。）を乗算し、次のようにそれらの入力と重み係数との積の線形和ｕjを求める。
出力素子ｎ１，ｎ２，…，ｎ７の出力を、次のようにその線形和ｕjのシグモイド関数ｆ（ｕｊ）であるものとする。
ｆ（ｕｊ）＝１／（１＋ｅｘｐ（−ｕｊ））
次に、入力素子ｉ１，ｉ２，…，ｉ１２に或る入力データセットが入力されたときの出力素子ｎ１，ｎ２，…，ｎ７の出力と、正しい解答を表す教師データとの間の誤差を求める。
Assume that the output of the output elements n 1 , n 2 ,..., N 7 is a sigmoid function f (u j ) of its linear sum u j as follows.
f (u j ) = 1 / (1 + exp (−u j ))
Then, the input element i 1, i 2, ...,
出力素子ｎ１，ｎ２，…，ｎ７の出力とその教師データとの間の誤差が解消するように、上記重み係数ｗｊ１，ｗｊ２，…，ｗｊ１２を変更してゆく。誤差の元となった中間層の出力も順次調整してゆく。 Output element n 1, n 2, ..., as the error between the output of the n 7 and the teacher data is eliminated, the weight coefficient w j1, w j2, ..., slide into change w j12. The output of the intermediate layer that caused the error is also adjusted sequentially.
このようにして学習を行ってゆくと、或る入力データセットに対して出力層５２ｎの出力素子ｎ１，ｎ２，…，ｎ７のうち、１つの出力素子のみが反応し（値が１になり）、残りの出力素子の値は略０になるようになる。ニューラルネットワーク５２は、このような逆誤差伝搬法による学習を行えるように構成されている。
When learning is performed in this manner, only one output element among the output elements n 1 , n 2 ,..., N 7 of the
図２中の出力処理部５３は、制御部５０による制御下で、ニューラルネットワーク５２の出力層５２ｎの出力を受けて、それに応じた判定結果を画像として出力する処理を行う。この判定結果は、行動認識装置１のディスプレイ部３に表示され、さらには通信装置４を介して、行動認識装置１の近傍に存在する携帯電話１０１のディスプレイ部１０３（図４参照）に表示される。
The
上述の入力処理部５１、ニューラルネットワーク５２、出力処理部５３は、ソフトウェアによって構成されている。
The above-described
次に、被験体９０がラジオ体操の中の複数種類の動作を行う場合を想定して、図７（Ａ）を参照しながら、行動認識装置１におけるニューラルネットワーク５２の学習段階の処理について説明する。この例では、複数種類の動作とは、「腕を振ってあしをまげのばす運動」、「からだをまわす運動」などの７種類の動作を指す（動作の種類数は、出力素子ｎ１，ｎ２，…，ｎ７の個数に対応している。）。
Next, assuming that the subject 90 performs a plurality of types of operations in the radio exercises, the learning stage process of the
図７（Ａ）中のステップＳ１に示すように、まず、開発者や試験用のスタッフが被験体９０となって行動認識装置１を装着し、ニューラルネットワーク５２に学習させたい７種類の動作を順次行う。これにより、行動認識装置１の加速度センサ２は、上記７種類の動作に対応する加速度データをそれぞれ実測して取得する。既述のように、加速度センサ２のＸ，Ｙ，Ｚ方向の出力（１０ミリ秒周期の値）が、メモリ５４に格納される。これとともに、入力処理部５１は、既述の１２種類の特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４を生成する。例えば、被験体９０が「からだをまわす運動」をしている時、Ｘ，Ｙ，Ｚ方向の出力の平均値Ｘ１，Ｙ１，Ｚ１は、図５中のデータ１２，１３，１４のように得られる。
As shown in step S1 in FIG. 7A, first, a developer or a test staff becomes the subject 90 and wears the
次に、図７（Ａ）中のステップＳ２に示すように、ラジオ体操の各動作において特徴的な部分を抽出する。図５の例では、被験体９０が「からだをまわす運動」をしている時に特徴的なデータを表す期間１５のデータを抽出する。このようにした場合、学習の精度を高めることができ、結果として誤認識の防止につながり、有意義である。なお、図５の例では、平均値Ｘ１，Ｙ１，Ｚ１のみを示しているが、標準偏差Ｘ２，Ｙ２，Ｚ２、最大値と最小値との間の差Ｘ３，Ｙ３，Ｚ３、またはゼロクロス回数Ｘ４，Ｙ４，Ｚ４について、それぞれ特徴的なデータを表す期間があれば、その期間のデータを抽出するのが望ましい。
Next, as shown in step S2 in FIG. 7A, a characteristic portion is extracted in each operation of the radio exercises. In the example of FIG. 5, data of
次に、図７（Ａ）中のステップＳ３に示すように、正しい解答（動作）を表す教師データを作成する。この教師データは、被験体９０が或る動作をした時に、入力処理部５１によって生成された１２種類の特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４がニューラルネットワーク５２に入力された場合に相当するものとする。
Next, as shown in step S3 in FIG. 7A, teacher data representing a correct answer (action) is created. This teacher data is obtained when 12 types of feature data X1 to X4, Y1 to Y4, and Z1 to Z4 generated by the
次に、図７（Ａ）中のステップＳ４に示すように、上記教師データを用いて、ニューラルネットワーク５２に、逆誤差伝搬法によって学習を行わせる。すなわち、図３に示したニューラルネットワーク５２の入力素子ｉ１，ｉ２，…，ｉ１２に或る入力データセットとして特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４が入力されたときの出力素子ｎ１，ｎ２，…，ｎ７の出力と、正しい解答を表す教師データとの間の誤差を求める。そして、出力素子ｎ１，ｎ２，…，ｎ７の出力とその教師データとの間の誤差が解消するように、フィードバックを行って、上記重み係数ｗｊ１，ｗｊ２，…，ｗｊ１２を変更して調整してゆく。誤差の元となった中間層の出力も順次調整してゆく。これにより、図７（Ａ）中のステップＳ５，Ｓ６に示すように、被験体９０の動作状態判別のための重み係数ｗｊ１，ｗｊ２，…，ｗｊ１２を得て、ニューラルネットワーク５２にそれらの重み係数を組み込む。このことは、ニューラルネットワーク５２を構成するソフトウェア上では、入力データセットから出力データセットを得るための計算式（アルゴリズム）を確立することと等価である。
Next, as shown in step S4 in FIG. 7A, the
このようにして学習を行ってゆくと、或る運動を表す入力データセットに対して、出力層５２ｎの出力素子ｎ１，ｎ２，…，ｎ７のうち、１つの出力素子のみが反応し（値が１になり）、残りの出力素子は反応しない（値が略０になる）ようになる。例えば、図６に示すように、ｎ１が反応したときは「腕を振ってあしをまげのばす運動」、ｎ２が反応したときは「からだを横にまげる運動」、ｎ３が反応したときは「からだをまわす運動」、ｎ４が反応したときは「停止（何もしていない）」、ｎ５が反応したときは「両あしでとぶ運動」、ｎ６が反応したときは「胸をそらす運動」、ｎ７が反応したときは「腕を上下にのばす運動」という動作状態を表すようになる。
When learning is performed in this manner, only one output element among the output elements n 1 , n 2 ,..., N 7 of the
このようにして、学習段階では、被験体９０がした複数種類（この例では７種類）の動作又は行動と被験体９０に取り付けられた加速度センサ２の出力との間のそれぞれの対応関係に基づいて、加速度センサ２の出力から被験体９０がした動作又は行動を認識する学習を済ませる。
In this way, in the learning stage, based on the correspondence between the plurality of types (seven types in this example) of actions or actions performed by the subject 90 and the output of the
次に、図７（Ｂ）を参照しながら、行動認識装置１におけるニューラルネットワーク５２の認識段階の処理について説明する。被験体９０は、行動認識装置１を装着して、ラジオ体操の中の或る動作を行うものとする。
Next, the recognition stage process of the
図７（Ｂ）中のステップＳ１１に示すように、まず、行動認識装置１の加速度センサ２は、上記７種類の動作に対応する加速度データをそれぞれ実測して取得する。既述のように、加速度センサ２のＸ，Ｙ，Ｚ方向の出力（１０ミリ秒周期の値）が、メモリ５４に格納される。これとともに、ステップＳ１２に示すように、入力処理部５１は、既述の１２種類の統計データである特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４を生成する。
As shown in step S <b> 11 in FIG. 7B, first, the
次に、ステップＳ１３に示すように、ニューラルネットワーク５２の入力素子ｉ１，ｉ２，…，ｉ１２に、上記１２種類の特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４を含む入力データセットが入力される。すると、ステップＳ１４に示すように、ニューラルネットワーク５２の出力素子ｎ１，ｎ２，…，ｎ７に、結果を表すデータが出力される。ステップＳ１５に示すように、その結果から、出力処理部５３は、被験体９０が現在行っている動作が何であるかを判定する。
Next, as shown in step S13, an input data set including the 12 types of feature data X1 to X4, Y1 to Y4, and Z1 to Z4 in the input elements i 1 , i 2 ,..., I 12 of the
そして、ステップＳ１６に示すように、出力処理部５３による判定結果をディスプレイ部３に表示する。さらには通信装置４を介して、行動認識装置１の近傍に存在する携帯電話１０１のディスプレイ部１０３（図４参照）に表示する。図４の例では、矢印９１で示すように、被験体９０は「からだをまわす運動」を行っている。これに応じて、携帯電話１０１のディスプレイ部１０３には、「体を回す運動」と表示されている。
And as shown to step S16, the determination result by the
この行動認識装置１は、被験体９０が行動認識装置１を装着して動作又は行動を行っている間、ステップＳ１１〜Ｓ１６の処理を１００ｍｓ周期で繰り返す。これにより、被験体９０が行動認識装置１を装着して動作又は行動を行っている間、動作状態の判定を実質的にリアルタイムで常時行う。
The
これにより、行動認識装置１を使用するユーザは、動作状態の判定結果を外部のシステム（例えば、フィットネスを目的とした携帯電話向けアプリケーションソフトウェアなど）に提供することができる。図４の例では、携帯電話１０１のメモリ（図示せず）に被験体９０の動作状態が記録（ログ）として順次保存される。携帯電話にインストールされたアプリケーションソフトウェアは、その動作状態の記録に基づいて、例えば現在のエクササイズ量、運動開始時から現時点までの消費カロリなどを算出することができる。この例では、携帯電話１０１のディスプレイ部１０３に、現在のエクササイズ量が２．０ＥＸ（ＥＸは任意単位）であり、運動開始時から現時点までの消費カロリが１６０ｋｃａｌであることが表示されている。
Thereby, the user who uses the
また、判定された動作状態に対応した筋肉の使用度合などのデータベースを携帯電話側に持たせることにより、「どのあたりの筋肉が鍛えられたか」というような有意義な情報をユーザに提供することもできる。 In addition, by providing the mobile phone with a database of muscle usage, etc., corresponding to the determined operating state, it is possible to provide the user with meaningful information such as “how much muscle has been trained” it can.
なお、行動認識装置１の出力処理部５３がエクササイズ量、消費カロリなどを算出して、行動認識装置１のディスプレイ部３と携帯電話１０１の１０３との両方に表示しても良い。
Note that the
この実施形態では、加速度センサ２のＸ，Ｙ，Ｚ方向の出力（１０ミリ秒周期の値）から、入力処理部５１によって、既述の１２種類の統計データである特徴データＸ１〜Ｘ４，Ｙ１〜Ｙ４，Ｚ１〜Ｚ４を生成した。しかしながら、これに限られるものではない。例えば標準偏差Ｘ２，Ｙ２，Ｚ２に代えて、またはそれに加えて、時刻ｔ０からｔ１までの５秒間における加速度センサ２のＸ，Ｙ，Ｚ方向の出力の「分散」を、特徴データとして生成して用いても良い。または、最大値と最小値との間の差Ｘ３，Ｙ３，Ｚ３に代えて、またはそれに加えて、時刻ｔ０からｔ１までの５秒間における加速度センサ２のＸ，Ｙ，Ｚ方向の出力の「最大値」および「最小値」を、特徴データとして抽出して用いても良い。要するに、この実施形態で挙げた特徴データのうち、少なくとも２種類の特徴データを用いれば、本発明を実施することができる。当然ながら、この実施形態で挙げた特徴データの全部を用いても良い。
In this embodiment, feature data X1 to X4, Y1 which are the above-described 12 types of statistical data are input by the
また、この実施形態では、ニューラルネットワーク５２は、３層からなり、１２個の入力素子、７個の出力素子を備えたものとした。しかしながら、これに限られるものではなく、ニューラルネットワーク５２は、さらに多層で、多くの入力素子、出力素子を備えても良い。
In this embodiment, the
また、この実施形態では、学習段階で、ニューラルネットワーク５２にラジオ体操の中の動作を学習させたが、これに限られるものではない。ニューラルネットワーク５２には、例えば、立つ、座る、歩く、走るなどの基本的な動作に加えて、被験体がダンスの中の一動作をしていること、武術の型の中の一動作をしていることなどを学習させても良い。そのようにした場合、実際の認識段階で、立つ、座る、歩く、走るなどの基本的な動作に加えて、被験体がダンスの中の一動作をしていること、武術の型の中の一動作をしていることなども認識できるようになる。
In this embodiment, the
以上より明らかなように、この実施形態の行動認識装置１では、ニューラルネットワーク５２に、上記学習により、予め多種類の高度のアルゴリズムを実質的に保持しておくことができる。特に、学習段階では、加速度センサ２の出力から生成された複数種類の統計データが並行してニューラルネットワーク５２に入力されるので、ニューラルネットワーク５２による学習の精度を高めることができる。また、認識段階では、ニューラルネットワーク５２は、加速度センサ２の出力から生成された複数種類の統計データを受けて、被験体９０がした動作又は行動を認識する。したがって、この行動認識装置１によれば、多種類の複雑な動作を精度良く認識できる。
As is clear from the above, in the
また、上記行動認識装置１は、被験体９０に対する検出手段として加速度センサ２のみを備えているので、簡単かつ安価に構成され得る。また、部品数が少なくなるので、信頼性が高まる。また、被験体９０が特に人である場合は、加速度センサ２以外のセンサを体の色々なところに取り付ける必要がないので、行動認識装置１は、面倒がなく、気軽に使用され得る。
Moreover, since the said
また、この実施形態では、行動認識装置１は、携帯電話１０１に対して別体として構成されたが、これに限られるものではない。行動認識装置１は、携帯電話１０１や、歩数計・活動量計、モバイルコンピュータなどの電子機器に、一体に組み込んで構成され得る。これにより、ユーザの利便性を高めることができる。
Moreover, in this embodiment, although the
一方、加速度センサ２を本体ケーシング７とは別体に構成して、加速度センサ２（およびそれに付随した無線通信装置）のみが被験体９０に装着されるようにしても良い。この場合、加速度センサ２と本体とは無線通信装置を介して通信する。
On the other hand, the
なお、上記行動認識装置１が対象とする被験体９０は、冒頭に述べたように、代表的には人間を指すが、動物や、機械その他の移動体も含む。
The subject 90 targeted by the
１ 行動認識装置
２ 加速度センサ
３ ディスプレイ部
４ 無線通信装置
５ 演算装置
６ 電池
７ 本体ケーシング
５１ 入力処理部
５２ ニューラルネットワーク
５３ 出力処理部
１０１ 携帯電話
DESCRIPTION OF
Claims (5)
予め、上記被験体がした複数種類の動作又は行動と上記被験体に取り付けられた上記加速度センサの出力との間のそれぞれの対応関係に基づいて、上記加速度センサの出力から上記被験体がした動作又は行動を認識する学習を済ませたニューラルネットワークとを備えて、
上記被験体に取り付けられた上記加速度センサの出力から、上記ニューラルネットワークを通して上記被験体がした動作又は行動を認識する行動認識装置において、
上記加速度センサの出力に対して統計処理を施して、上記被験体の動きを表す特徴データとして複数種類の統計データを生成する入力処理部を備え、
上記入力処理部が生成した上記複数種類の統計データが並行して上記ニューラルネットワークに入力されるようになっていることを特徴とする行動認識装置。 An acceleration sensor to be attached to the subject;
Based on the correspondence between the plurality of types of actions or actions performed by the subject in advance and the output of the acceleration sensor attached to the subject, the action performed by the subject from the output of the acceleration sensor Or a neural network with learning to recognize actions,
From the output of the acceleration sensor attached to the subject, in the behavior recognition device that recognizes the action or behavior of the subject through the neural network,
An input processing unit that performs statistical processing on the output of the acceleration sensor and generates a plurality of types of statistical data as feature data representing the movement of the subject,
The behavior recognition apparatus, wherein the plurality of types of statistical data generated by the input processing unit are input to the neural network in parallel.
上記統計データとして、或る期間についての上記加速度センサの出力の平均値と、上記期間における上記加速度センサの出力の分散または標準偏差とを含むことを特徴とする行動認識装置。 The action recognition apparatus according to claim 1,
The behavior recognition apparatus characterized in that the statistical data includes an average value of the output of the acceleration sensor for a certain period and a variance or standard deviation of the output of the acceleration sensor for the period.
上記統計データとして、或る期間についての上記加速度センサの出力の平均値と、上記期間において上記加速度センサの出力が所定値になった回数とを含むことを特徴とする行動認識装置。 The action recognition apparatus according to claim 1,
The behavior recognition apparatus characterized in that the statistical data includes an average value of the output of the acceleration sensor for a certain period and the number of times the output of the acceleration sensor has become a predetermined value in the period.
上記統計データとして、或る期間についての上記加速度センサの出力の平均値と、上記期間における上記加速度センサの出力の最大値および最小値、または上記最大値と最小値との間の差とを含むことを特徴とする行動認識装置。 The action recognition apparatus according to claim 1,
The statistical data includes an average value of the output of the acceleration sensor for a certain period and a maximum value and a minimum value of the output of the acceleration sensor in the period, or a difference between the maximum value and the minimum value. An action recognition device characterized by that.
上記統計データとして、或る期間についての上記加速度センサの出力の平均値と、上記期間における上記加速度センサの出力の分散または標準偏差と、上記期間において上記加速度センサの出力が所定値になった回数と、上記期間における上記加速度センサの出力の最大値および最小値、または上記最大値と最小値との間の差とのうち、少なくとも２つを含むことを特徴とする行動認識装置。 The action recognition apparatus according to claim 1,
As the statistical data, the average value of the output of the acceleration sensor for a certain period, the variance or standard deviation of the output of the acceleration sensor in the period, and the number of times the output of the acceleration sensor has become a predetermined value in the period And at least two of the maximum value and the minimum value of the output of the acceleration sensor during the period, or the difference between the maximum value and the minimum value.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010096134A JP2011224122A (en) | 2010-04-19 | 2010-04-19 | Behavior recognition device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2010096134A JP2011224122A (en) | 2010-04-19 | 2010-04-19 | Behavior recognition device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2011224122A true JP2011224122A (en) | 2011-11-10 |
Family
ID=45040267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2010096134A Pending JP2011224122A (en) | 2010-04-19 | 2010-04-19 | Behavior recognition device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2011224122A (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014112349A (en) * | 2012-11-01 | 2014-06-19 | Haneron:Kk | Pedometer, data processing method and computer program of this pedometer |
| KR101528236B1 (en) * | 2014-03-06 | 2015-06-12 | 국립대학법인 울산과학기술대학교 산학협력단 | Method for position agnostic activity recognition of mobile terminal and apparatus using the same, computer readable medium for implementing the method |
| CN108491751A (en) * | 2018-01-11 | 2018-09-04 | 华南理工大学 | A kind of compound action recognition methods of the exploration privilege information based on simple action |
| WO2018180242A1 (en) * | 2017-03-31 | 2018-10-04 | Ｎｔｔテクノクロス株式会社 | Behavior specifying device, behavior specifying method and program |
| JP2018170969A (en) * | 2017-03-31 | 2018-11-08 | Ｎｔｔテクノクロス株式会社 | Behavior specification device, behavior specification method, and program |
| JP2020036627A (en) * | 2019-12-17 | 2020-03-12 | Ｎｔｔテクノクロス株式会社 | Action specification device, action specification method, and program |
| KR102141841B1 (en) * | 2020-01-30 | 2020-08-06 | 주식회사 트리플 | System and method for providing customized contents based on behavior pattern analysis |
| CN111544003A (en) * | 2020-04-24 | 2020-08-18 | 佛山科学技术学院 | Wushu action recognition system and method based on sensor and storage medium |
-
2010
- 2010-04-19 JP JP2010096134A patent/JP2011224122A/en active Pending
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014112349A (en) * | 2012-11-01 | 2014-06-19 | Haneron:Kk | Pedometer, data processing method and computer program of this pedometer |
| KR101528236B1 (en) * | 2014-03-06 | 2015-06-12 | 국립대학법인 울산과학기술대학교 산학협력단 | Method for position agnostic activity recognition of mobile terminal and apparatus using the same, computer readable medium for implementing the method |
| WO2018180242A1 (en) * | 2017-03-31 | 2018-10-04 | Ｎｔｔテクノクロス株式会社 | Behavior specifying device, behavior specifying method and program |
| JP2018170969A (en) * | 2017-03-31 | 2018-11-08 | Ｎｔｔテクノクロス株式会社 | Behavior specification device, behavior specification method, and program |
| CN108491751A (en) * | 2018-01-11 | 2018-09-04 | 华南理工大学 | A kind of compound action recognition methods of the exploration privilege information based on simple action |
| CN108491751B (en) * | 2018-01-11 | 2021-08-10 | 华南理工大学 | Complex action identification method for exploring privilege information based on simple action |
| JP2020036627A (en) * | 2019-12-17 | 2020-03-12 | Ｎｔｔテクノクロス株式会社 | Action specification device, action specification method, and program |
| KR102141841B1 (en) * | 2020-01-30 | 2020-08-06 | 주식회사 트리플 | System and method for providing customized contents based on behavior pattern analysis |
| CN111544003A (en) * | 2020-04-24 | 2020-08-18 | 佛山科学技术学院 | Wushu action recognition system and method based on sensor and storage medium |
| CN111544003B (en) * | 2020-04-24 | 2023-04-25 | 佛山科学技术学院 | Martial arts action recognition system and method based on sensor and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10198928B1 (en) | Fall detection system | |
| US9640057B1 (en) | Personal fall detection system and method | |
| JP2011224122A (en) | Behavior recognition device | |
| US9526430B2 (en) | Method and system to estimate day-long calorie expenditure based on posture | |
| Seeger et al. | myHealthAssistant: a phone-based body sensor network that captures the wearer's exercises throughout the day | |
| JP5849093B2 (en) | Integrated portable device and method implementing an accelerometer for detecting user asymmetry | |
| US8500604B2 (en) | Wearable system for monitoring strength training | |
| JP2015058096A (en) | Exercise support device, exercise support method, and exercise support program | |
| TW201113005A (en) | Method and system for monioring sport related fitness by estimating muscle power and joint force of limbs | |
| JP2010017525A (en) | Action determining apparatus and action determining method | |
| JP2017158999A (en) | Method for real-time monitoring maximal oxygen consumption | |
| JP2011250915A (en) | Posture recognition device | |
| JP2009106374A (en) | Display system for gait information | |
| WO2022009817A1 (en) | Server, user assistance system, user assistance method, and program | |
| JP2012238072A (en) | Action evaluation device | |
| JP2021137415A (en) | Wearable device and muscle function parameter calculation system | |
| Cvetković et al. | Mobile application to stimulate physical activity in schoolchildren | |
| KR20150071729A (en) | The Classifying and Counting Algorithm for Real-time Walk/Run Exercise based on An Acceleration Sensor | |
| JP6881811B1 (en) | Information processing system, management server, information processing method and program | |
| JP6945908B1 (en) | Information processing systems, servers, information processing methods and programs | |
| JP7401568B2 (en) | Walking motion visualization device, walking motion visualization method, facing state determination device, and facing state determining method | |
| ur Rehman et al. | HemiPhysioData-A SmartWatch App and Methodolgy to collect sensor data of Upper Limbs | |
| Miguel-Ruiz et al. | Measurement of Physical Activity Energy Expenditure Using Inertial Sensors | |
| JP2021137416A (en) | Computer program, muscle function parameter calculation device, muscle function parameter calculation system, and muscle function parameter calculation method | |
| Song | User Activity Tracker using Android Sensor |