JP6478275B2 - Device for determining operation, and program for causing computer to function as the device - Google Patents
Device for determining operation, and program for causing computer to function as the device Download PDFInfo
- Publication number
- JP6478275B2 JP6478275B2 JP2015110407A JP2015110407A JP6478275B2 JP 6478275 B2 JP6478275 B2 JP 6478275B2 JP 2015110407 A JP2015110407 A JP 2015110407A JP 2015110407 A JP2015110407 A JP 2015110407A JP 6478275 B2 JP6478275 B2 JP 6478275B2
- Authority
- JP
- Japan
- Prior art keywords
- regions
- region
- type
- specifying
- user
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 claims description 115
- 230000001133 acceleration Effects 0.000 claims description 47
- 230000033001 locomotion Effects 0.000 claims description 45
- 238000003860 storage Methods 0.000 claims description 45
- 230000009471 action Effects 0.000 claims description 40
- 238000004364 calculation method Methods 0.000 claims description 16
- 238000009826 distribution Methods 0.000 claims description 9
- 238000011156 evaluation Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 21
- 238000000034 method Methods 0.000 description 21
- 101100255944 Arabidopsis thaliana RWA1 gene Proteins 0.000 description 16
- 238000004891 communication Methods 0.000 description 11
- 238000012545 processing Methods 0.000 description 10
- 238000012986 modification Methods 0.000 description 9
- 230000004048 modification Effects 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 238000013500 data storage Methods 0.000 description 8
- 101100255945 Arabidopsis thaliana RWA2 gene Proteins 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 239000000853 adhesive Substances 0.000 description 5
- 230000001070 adhesive effect Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 239000006185 dispersion Substances 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000012790 adhesive layer Substances 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000005674 electromagnetic induction Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000000513 principal component analysis Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000010897 surface acoustic wave method Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Landscapes
- Indicating Or Recording The Presence, Absence, Or Direction Of Movement (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
- Navigation (AREA)
Description
本開示は、動作を判別する技術に関し、特に、人の動作の種類を判別する技術に関する。 The present disclosure relates to a technique for discriminating an action, and more particularly, to a technique for discriminating a type of human action.
従来、加速度センサや角速度センサなどの、使用者の動きを表わすデータを出力するセンサを用いて物体の移動速度や移動角度が検出する装置が実用化されてきた。また、近年では、特開2012−145457号公報(特許文献1)、特開2013−160671号公報(特許文献2)、および、特開2014−167460号公報(特許文献3)において、加速度センサを含むセンサの検出結果を用いて、歩行者等の移動体の進行方向を検出する装置が提案されている。 2. Description of the Related Art Conventionally, an apparatus that detects a moving speed or a moving angle of an object using a sensor that outputs data representing a user's movement, such as an acceleration sensor or an angular velocity sensor, has been put into practical use. In recent years, in JP 2012-145457 A (Patent Document 1), JP 2013-160671 A (Patent Document 2), and JP 2014-167460 A (Patent Document 3), an acceleration sensor is used. There has been proposed an apparatus for detecting a traveling direction of a moving body such as a pedestrian using a detection result of a sensor including the pedestrian.
センサの検出結果から得られる情報の種類が増えれば、このようなセンサを利用する装置を用いたシステムは、より多くのサービスを提供できる。したがって、人の動作の種類を判別する技術が必要とされている。 If the types of information obtained from the sensor detection results increase, a system using such a sensor-based device can provide more services. Therefore, there is a need for a technique for determining the type of human action.
本開示は、かかる実情に鑑み考え出されたものであり、そのある局面における目的は、人の動作を判別するための装置を提供することである。他の局面における目的は、人の動作を判別するための装置としてコンピュータを機能させるためのプログラムを提供することである。 The present disclosure has been conceived in view of such circumstances, and an object in one aspect thereof is to provide an apparatus for discriminating a person's movement. An object in another aspect is to provide a program for causing a computer to function as an apparatus for discriminating human movements.
本開示のある局面に従うと、動作を判別するための装置が提供される。装置は、3次元の軸方向の各々の動きのそれぞれを表わす少なくとも1つのデータから導出される1つ以上の特徴量に基づいて、2以上の種類の動作のそれぞれを2以上の領域の中のいずれかに関連付ける情報を記憶するための記憶手段と、装置の使用者の3次元の軸方向の各々の動きを表わす少なくとも1つのデータを検出するための検出手段と、検出手段によって検出された動きを表わすデータに基づいて、1つ以上の特徴量を算出するための算出手段と、2以上の領域から、算出手段によって算出された特徴量を含む領域を特定するための特定手段とを備える。特定手段は、特定された領域が対応する動作の種類を、使用者が実行した動作の種類として出力する。 In accordance with certain aspects of the present disclosure, an apparatus for determining operation is provided. The apparatus performs each of two or more types of movements in two or more regions based on one or more feature quantities derived from at least one data representing each of the three-dimensional axial movements. Storage means for storing information associated with any one of the above, detection means for detecting at least one data representing each movement in the three-dimensional axial direction of the user of the apparatus, and movement detected by the detection means And calculating means for calculating one or more feature amounts based on the data representing, and specifying means for specifying a region including the feature amounts calculated by the calculating means from two or more regions. The specifying means outputs the type of operation corresponding to the specified area as the type of operation executed by the user.
好ましくは、算出手段は、検出手段によって検出された動きを表わすデータに基づいて、2つ以上の特徴量を算出する。特定手段は、算出手段によって算出された2つ以上の特徴量の組合せを含む領域を、2以上の領域から特定する。 Preferably, the calculation unit calculates two or more feature amounts based on data representing the motion detected by the detection unit. The specifying unit specifies a region including a combination of two or more feature amounts calculated by the calculating unit from the two or more regions.
好ましくは、検出手段は、加速度センサまたは角速度センサの少なくとも一方を含む。
好ましくは、2以上の領域のそれぞれは、サンプルが各領域に対応する動作を実行したときに取得されたデータを用いて定義され、サンプルによる動作から取得された2以上のデータの正規分布の確率密度が一定である線または面または空間を定義する図形によって表される。算出された特徴量が、2以上の領域の中の複数の領域に含まれる場合には、特定手段は、複数の領域のうち、当該算出された特徴量から最も近い位置に中心を持つ図形に対応する領域を、算出された特徴量が含まれる領域であると決定する。
Preferably, the detection means includes at least one of an acceleration sensor and an angular velocity sensor.
Preferably, each of the two or more regions is defined using data acquired when the sample performs an operation corresponding to each region, and the probability of normal distribution of the two or more data acquired from the operation by the sample Represented by a line or plane or space defining a constant density. When the calculated feature amount is included in a plurality of regions among the two or more regions, the specifying unit selects a graphic having a center at a position closest to the calculated feature amount from the plurality of regions. The corresponding area is determined to be an area including the calculated feature amount.
本開示の他の局面に従うと、コンピュータの使用者の動作を判別するためのコンピュータ読取可能なプログラムが提供される。プログラムは、コンピュータに、2以上の種類の動作のそれぞれを2以上の領域のいずれかに関連付ける情報にアクセスするステップを実行させる。情報は、3次元の軸方向の各々の動きのそれぞれを表わす少なくとも1つのデータから導出される1つ以上の特徴量に基づいて、動作を2以上の領域のいずれかに関連付ける。プログラムは、コンピュータに、使用者の3次元の軸方向の各々の動きを表わす少なくとも1つのデータを検出するステップと、検出されたデータに基づいて、1つ以上の特徴量を算出するステップと、2以上の領域から、算出された特徴量を含む領域を特定するステップと、特定された領域が対応する動作の種類を、使用者が実行した動作の種類として出力するステップとを実行させる。 According to another aspect of the present disclosure, a computer readable program for determining the operation of a computer user is provided. The program causes the computer to perform steps of accessing information that associates each of the two or more types of operations with any of the two or more regions. The information associates an action with one of the two or more regions based on one or more feature quantities derived from at least one data representing each of the three-dimensional axial movements. The program detects, on a computer, at least one data representing each movement of the user in the three-dimensional axial direction, and calculates one or more feature amounts based on the detected data; A step of specifying a region including the calculated feature value from two or more regions and a step of outputting the type of operation corresponding to the specified region as the type of operation performed by the user are executed.
本開示によれば、人の動作を判別することができる。 According to the present disclosure, it is possible to discriminate human actions.
以下、図面を参照しつつ、本開示の実施の形態について説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。 Hereinafter, embodiments of the present disclosure will be described with reference to the drawings. In the following description, the same parts are denoted by the same reference numerals. Their names and functions are also the same. Therefore, detailed description thereof will not be repeated.
[第1の実施の形態]
1.発明の概要
図1は、本開示の動作を判別するための装置を含む動作判別システムの全体的な構成の一例を示す図である。図1に示されるように、動作判別システムにおいて、使用者Pは、センサケース200に収納された検出装置100を装着している。検出装置100は、動作を判別するための装置の一実施の形態である。センサケース200は、使用者Pが履いている靴500に取り付けられている。検出装置100は、たとえば、3軸方向のそれぞれについての動きを表わすデータを検出するセンサ(後述する、図8等の加速度センサ120)を含む。
[First Embodiment]
1. FIG. 1 is a diagram illustrating an example of an overall configuration of an operation determination system including an apparatus for determining an operation of the present disclosure. As shown in FIG. 1, in the operation determination system, a user P wears a
検出装置100は、特徴量に基づいて予め定められた2以上の領域を特定する情報を格納している。2以上の領域のそれぞれは、2種類以上の動作(たとえば、「歩行」「ジョギング」「ジャンプ」「走行」)のいずれかを特定する。本明細書では、動作の特定に用いられる「領域」を、当該動作についての「信頼区間(confidence region)」とも言う。
The
また、検出装置100は、上記のセンサが出力するデータを用いて、予め定められた2以上の特徴量を算出する。検出装置100は、上記2種類以上の動作のそれぞれに対応する領域のうち、算出された2以上の特徴量の組合せを含む領域を特定する。そして、検出装置100は、特定された領域が対応する動作の種類を、使用者Pが実行した動作の種類として出力する。
In addition, the
検出装置100は、ネットワーク600を介して、スマートフォン900と通信可能である。スマートフォン900は、検出装置100から出力された動作の種類および当該種類に関する統計値を出力する(後述する、図24の画面990)。なお、スマートフォン900は、検出装置100から出力された動作の種類および当該種類に関する統計値を出力する装置の一例である。当該装置は、パーソナルコンピュータ等のいかなる通信装置であってもよい。
The
図2は、上記した動作の種類を特定するために利用される2以上の領域を模式的に示す図である。図2には、互いに異なる2つの特徴量(特徴量F1および特徴量F2)を用いて作成されたグラフが示されている。図2のグラフでは、横軸が特徴量F1を表わし、縦軸が特徴量F2を表わす。 FIG. 2 is a diagram schematically showing two or more regions used for specifying the type of operation described above. FIG. 2 shows a graph created using two different feature quantities (feature quantity F1 and feature quantity F2). In the graph of FIG. 2, the horizontal axis represents the feature amount F1, and the vertical axis represents the feature amount F2.
特徴量F1および特徴量F2の算出には、たとえば、図2において式(1)で示されたような、RMS(二乗平均平方根:root mean square)が利用される。式(1)において、xiは、センサにおけるx軸方向の加速度の検出値である。yiは、センサにおけるy軸方向の加速度の検出値である。ziは、センサにおけるz軸方向の加速度の検出値である。x軸、y軸、およびz軸は、3次元において互いに直交する軸である。 For the calculation of the feature quantity F1 and the feature quantity F2, for example, RMS (root mean square) as shown by the equation (1) in FIG. 2 is used. In Expression (1), x i is a detected value of acceleration in the x-axis direction of the sensor. y i is a detected value of acceleration in the y-axis direction of the sensor. z i is a detected value of acceleration in the z-axis direction of the sensor. The x-axis, y-axis, and z-axis are axes that are orthogonal to each other in three dimensions.
センサは、一定時間(たとえば、1秒間)内に、x軸、y軸およびz軸のそれぞれについてX個の検出値を出力する。つまり、x軸、y軸およびz軸のそれぞれの3つの検出値のセットは、一定時間内にXセット出力される。Xは整数である。Xの一例は、「100」である。 The sensor outputs X detection values for each of the x-axis, the y-axis, and the z-axis within a certain time (for example, 1 second). That is, three sets of detected values for the x-axis, y-axis, and z-axis are output as X sets within a fixed time. X is an integer. An example of X is “100”.
特徴量F1の一例は、Xセットのそれぞれについて算出されたRMSNの平均値(MEAN(RMS))である。特徴量F2の一例は、Xセットのそれぞれについて算出されたRMSNの標準偏差(STD(RMS))である。 An example of the feature amount F1 is an average value (MEAN (RMS)) of RMS N calculated for each of the X sets. An example of the feature amount F2 is the standard deviation (STD (RMS)) of RMS N calculated for each of the X sets.
図2のグラフは、特徴量F1および特徴量F2によって特定される、4つの領域RWA,RJO,RJU,RRUを示す。4つの領域RWA,RJO,RJU,RRUのそれぞれの形状は、楕円である。なお、ユーザの動作を識別するために特定される領域の形状は、楕円に限定されない。また、当該領域は、特定の条件に基づいて決定される除外領域を含んでいてもよい。つまり、たとえば、当該領域の形状は、基本的に楕円であるが、当該楕円の中の一部の部分が特定の条件に基づいて当該領域から除外される場合もある。また、当該領域は、追加部分を含んでいてもよい。つまり、たとえば、当該領域の形状は、基本的に楕円であるが、当該楕円に特定の条件に基づく追加部分が追加されることによって当該領域が構成されてもよい。 The graph of FIG. 2 shows four regions RWA, RJO, RJU, and RRU specified by the feature amount F1 and the feature amount F2. Each of the four regions RWA, RJO, RJU, and RRU has an ellipse shape. Note that the shape of the region specified for identifying the user's action is not limited to an ellipse. Moreover, the said area | region may contain the exclusion area | region determined based on specific conditions. That is, for example, although the shape of the region is basically an ellipse, a part of the ellipse may be excluded from the region based on a specific condition. In addition, the region may include an additional part. That is, for example, the shape of the region is basically an ellipse, but the region may be configured by adding an additional portion based on a specific condition to the ellipse.
領域RWAは、動作「歩行」に関連付けられている。領域RJOは、動作「ジョギング」に関連付けられている。領域RJUは、動作「ジャンプ」に関連付けられている。領域RRUは、動作「ランニング」に関連付けられている。 The region RWA is associated with the motion “walking”. Region RJO is associated with the operation “jogging”. Region RJU is associated with the action “jump”. The region RRU is associated with the operation “running”.
検出装置100は、使用者Pに装着されているセンサの一定時間内の検出値を用いて上記特徴量F1および特徴量F2を算出し、図2に示された4つの領域RWA,RJO,RJU,RRUから、算出された特徴量F1と特徴量F2の組合せによって生成されるプロットを含む領域を特定する。そして、検出装置100は、上記プロットを含むと特定された領域に対応する動作を、プロットの生成に利用された検出値が対応する一定時間の使用者Pが実行した動作の種類として、出力する。
The
図3は、動作の種類の判別の具体例を説明するための図である。図3には、図2に示された4つの領域RWA,RJO,RJU,RRUとともに、使用者Pに装着されているセンサの検出値から導出された3つのプロットdp1,dp2,dp3が示されている。 FIG. 3 is a diagram for explaining a specific example of the determination of the type of operation. FIG. 3 shows three plots dp1, dp2, dp3 derived from the detection values of the sensor worn by the user P, together with the four regions RWA, RJO, RJU, RRU shown in FIG. ing.
プロットdp1は、動作「歩行」に対応する領域RWA内に位置している。このため、検出装置100は、プロットdp1に対応する判別結果として、動作「歩行」を出力する。換言すれば、プロットdp1が期間Aの検出値から生成された場合、検出装置100は、当該期間Aの動作が「歩行」であると判別される。
The plot dp1 is located in the region RWA corresponding to the motion “walking”. For this reason, the
プロットdp2は、2つの領域(領域RWAおよび領域RJU)の中に位置している。プロットが2以上の領域内に位置する場合は、検出装置100は、予め定められた基準に基づいて、当該2以上の領域のいずれか1つを選択し、選択された領域に対応する種類の動作を、使用者Pの動作の判別結果として出力する。当該基準は、たとえば、2以上の領域のそれぞれの中心とプロットとの距離である。つまり、2以上の領域のそれぞれの中心とプロットとの距離が算出される。そして、その距離が最も短い領域に対応する動作の種類が、判別結果として出力される。
The plot dp2 is located in two regions (region RWA and region RJU). When the plot is located in two or more regions, the
図3に示された例において、領域RJUの中心は、点CTJUで示されている。領域RWAの中心は、点CTWAで示されている。プロットdp2と点CTJUとの距離は、プロットdp2と点CTWAとの距離よりも短い。これにより、検出装置100は、プロットdp2に対応する判別結果として、領域RJUに対応する動作「ジャンプ」を出力する。
In the example shown in FIG. 3, the center of the region RJU is indicated by a point CTJU. The center of the region RWA is indicated by a point CTWA. The distance between the plot dp2 and the point CTJU is shorter than the distance between the plot dp2 and the point CTWA. As a result, the
プロットdp3は、4つの領域RWA,RJO,RJU,RRUのいずれにも含まれない。このような場合、検出装置100は、プロットdp3に対応する判別結果として、「判別不可」を出力する。なお、検出装置100は、プロットがいずれの領域にも含まれない場合、他の判別結果(たとえば、「未判別」)を出力してもよい。
The plot dp3 is not included in any of the four regions RWA, RJO, RJU, and RRU. In such a case, the
なお、4つの領域RWA,RJO,RJU,RRUとして示されたような、それぞれの動作を特定する領域は、モニタとしてそれぞれの動作を実行している者に装着されているセンサの検出値を用いて設定される。たとえば、領域RWAは、歩くように指示されて歩いているモニタが装着しているセンサの検出値を用いて設定される。このような領域の生成については、後述する。 In addition, the area | region which identifies each operation | movement which was shown as four area | regions RWA, RJO, RJU, and RRU uses the detection value of the sensor with which the person who is performing each operation | movement is mounted | worn as a monitor. Is set. For example, the region RWA is set using a detection value of a sensor attached to a monitor that is instructed to walk and is walking. The generation of such an area will be described later.
本明細書では、動作の種類の特定の対象となる者を「使用者」と呼ぶ。一方、図2の4つの領域RWA,RJO,RJU,RRUとして示されたような「信頼区間」を生成するために動作を実行する者を「被験者」と呼ぶ。 In this specification, a person who is a specific target of the type of operation is called a “user”. On the other hand, a person who performs an operation to generate a “confidence interval” as shown as the four regions RWA, RJO, RJU, and RRU in FIG. 2 is referred to as a “subject”.
2.センサケースおよび検出装置の外観
図4〜図7は、センサケース200および検出装置100の外観を説明するための図である。図4には、センサケース200が靴500のベルト501に取り付けられている状態が示されている。
2. Appearance of Sensor Case and Detection Device FIGS. 4 to 7 are views for explaining the appearance of the
図5には、検出装置100がどのようにセンサケース200に収納されるかが示されている。図6は、センサケース200の側面図である。センサケース200は、収納部210とカバー部220とを含む。検出装置100は、矢印Aに示されるように、収納部210の開口210Aを介して、収納部210の内部に導入される。収納部210の一つの面には、接着部211が設けられている。カバー部220の一端は、収納部210に連結されている。カバー部220の他端には、接着部221が設けられている。接着部211,221は、たとえば、固定手段として一般的に採用されている、たとえば、粘着剤層、鍵ホック、ホックボタン、マジックテープ(登録商標)等の面ファスナー、または、マグネットによって実現される。
FIG. 5 shows how the
図7に示されるように、カバー部220が収納部210に巻きつけられることにより、接着部211と接着部221とが当接し、これにより、検出装置100がセンサケース200内に収納される。
As shown in FIG. 7, when the
なお、図7に示されたように検出装置100がセンサケース200内に収納されたとき、図6において隙間GP1として示されるように、収納部210とカバー部220との間に隙間が生じる。図4に示されるようにセンサケース200が靴500のベルト501に装着されるとき、収納部210とカバー部220との間に挟まれ、ベルト501は、図6において隙間GP1として示された部分に位置する。
When the
3.検出装置のハードウェア構成
図8は、検出装置100のハードウェア構成を示す図である。図8に示されるように、検出装置100は、主たる構成要素として、CPU(Central Processing Unit)110と、加速度センサ120と、メモリ130と、通信I/F140と、バッテリ150とを備える。CPU110は、検出装置100の動作を制御するための処理を実行する。
3. Hardware Configuration of Detection Device FIG. 8 is a diagram illustrating a hardware configuration of the
加速度センサ120は、3つの互いに異なる軸(たとえば、x軸、y軸、およびz軸)のそれぞれの方向の加速度を検出して、各加速度をCPU110へ出力する。検出装置100は、装置の使用者の3次元の軸方向の各々の動きを表わす少なくとも1つのデータを検出するための検出手段の一例として、加速度センサ120を備える。なお、検出手段は、当該使用者の1次元または2次元の軸方向の動きを検出するものである場合もある。
The
メモリ130は、RAM(Random Access Memory)またはROM(Read-Only Memory)などの記憶装置によって実現される。メモリ130には、CPU110が実行するプログラムおよび当該プログラムの実行において利用される各種のデータが格納される。
The
通信インターフェイス(I/F)140は、アンテナやコネクタによって実現される。通信I/F140は、スマートフォン900(図1参照)を含む外部の機器との間で、データを送受信する。
The communication interface (I / F) 140 is realized by an antenna or a connector. Communication I /
バッテリ150は、検出装置100の各要素に対して、当該各要素が動作するための電力を供給する。
The
4.スマートフォンのハードウェア構成
図9は、スマートフォン900のハードウェア構成を示す図である。図9に示されるように、スマートフォン900は、主たる構成要素として、CPU910と、タッチパネル920と、メモリ930と、メモリインターフェイス940と、通信インターフェイス950とを含む。
4). Smartphone Hardware Configuration FIG. 9 is a diagram illustrating a hardware configuration of the
タッチパネル920は、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などのいずれのタイプであってもよい。タッチパネル920は、光センサ液晶を含んでもよい。タッチパネル920は、所定時間毎に外部の物体によるタッチパネル920へのタッチ操作を検知して、タッチ座標(タッチ位置)をCPU910に入力する。換言すれば、CPU910は、タッチパネル920から順次タッチ座標を取得する。
The
メモリ930は、RAMまたはROMなどの記憶装置によって実現される。メモリ930は、CPU910によって実行されるプログラム、および、当該プログラムの実行において利用されるデータが格納される。
The
メモリインターフェイス940は、外部の記憶媒体941からデータを読み出す。記憶媒体941は、スマートフォン900に対して着脱可能である。CPU910は、メモリインターフェイス940を介して外部の記憶媒体941に格納されているデータを読み出して、当該データをメモリ930に格納する。また、CPU910は、メモリ930からデータを読み出し、当該データを、メモリインターフェイス940を介して記憶媒体941に格納する。CPU910が実行するプログラムは、記憶媒体941に格納されていてもよい。また、CPU910が実行するプログラムは、ネットワーク600を介してダウンロードされて、メモリ930に格納されてもよい。
The
通信I/F950は、アンテナやコネクタによって実現される。通信I/F950は、有線通信あるいは無線通信によって他の装置との間で、データを送受信する。CPU910は、通信I/F950を介して、他の装置からプログラムや画像データやテキストデータなどを受信し、また、他の装置に画像データやテキストデータを送信する。
Communication I /
CPU910は、メモリ930あるいは記憶媒体941に記憶されているプログラムを実行することによって、スマートフォン900の各部を制御する。
The
5.動作判別システムの機能ブロック
まず、図10に示された検出装置100の機能を説明する。図10は、検出装置100の機能ブロックの一例を示す図である。
5. Functional Block of Operation Determination System First, the function of the
検出装置100において、CPU110は、メモリ130に格納されたプログラムを実行することにより、サンプルデータ取得部111、信頼区間生成部112、評価部113、特徴量算出部114、および動作特定部115として機能する。メモリ130は、サンプルデータ記憶部131、組合せ記憶部132、信頼区間記憶部133、動作特定用情報記憶部134、およびプログラム記憶部135として機能する。プログラム記憶部135は、CPU110によって実行されるプログラムを格納する。
In the
サンプルデータ取得部111は、サンプルとして利用される被験者の加速度センサ120の検出結果を、被験者を特定する情報および当該被験者が実行した動作の種類に関連付けて、サンプルデータ記憶部131に格納する。図11は、サンプルデータ記憶部131に格納されている情報の構成を模式的に示す図である。図11に示されるように、サンプルデータ記憶部131には、N人分のM種類の動作のそれぞれのデータ、つまり、N×M個のデータ(データ(1,1)〜(N,M))が格納されている。NおよびMのそれぞれは、予め定められた整数を表す。NおよびMの値は、すべての動作の種類において同じでなくてもよい。データ(1,1)〜(N,M)のそれぞれは、一定時間分の加速度センサ120の検出結果である。また、データ(1,1)〜(N,M)のそれぞれは、3つの軸(x軸、y軸、およびz軸)のそれぞれの方向についての検出結果を含む。
The sample
図12は、被験者が、動作「歩行」を実行したときの、1秒間の加速度センサ120の検出結果の一例を示す図である。図13は、図12と同じ被験者が、動作「ジョギング」を実行したときの、1秒間の加速度センサ120の検出結果の一例を示す図である。図14は、図12と同じ被験者が、動作「ジャンプ」を実行したときの、1秒間の加速度センサ120の検出結果の一例を示す図である。図15は、図12と同じ被験者が、動作「走行」を実行したときの、1秒間の加速度センサ120の検出結果の一例を示す図である。
FIG. 12 is a diagram illustrating an example of a detection result of the
図12〜図15のそれぞれにおいて、実線はx軸方向の加速度を示し、点線はy軸方向の加速度を示し、そして、一点鎖線はz軸方向の加速度を示す。図12〜図15に示されるように、被験者が実行する動作の種類が異なると、加速度センサ120の検出結果によって示される3軸(x,y,z)のそれぞれの方向における加速度の変化の組合せが異なる。
12 to 15, the solid line indicates the acceleration in the x-axis direction, the dotted line indicates the acceleration in the y-axis direction, and the alternate long and short dash line indicates the acceleration in the z-axis direction. As shown in FIGS. 12 to 15, when the types of motions performed by the subject are different, combinations of acceleration changes in the respective directions of the three axes (x, y, z) indicated by the detection results of the
なお、加速度センサ120の検出出力におけるx,y,およびz軸は、当該加速度センサ120内の相対的なものである。また、図5に示されたように、検出装置100における加速度センサ120の設置角度は変更可能である。検出装置100における加速度センサ120の設置角度が変更された場合、図12〜図15に示された検出結果は変化し得る。
The x, y, and z axes in the detection output of the
図12〜図15に示されたデータは、加速度センサ120のサンプルレートが100Hzに設定された状態で、1秒間に取得された。これにより、図12〜図15のそれぞれには、100フレーム分のデータが示されている。
The data shown in FIGS. 12 to 15 were acquired in one second with the sample rate of the
図16は、組合せ記憶部132に格納されている情報の構成を模式的に示す図である。図16に示された例では、P個の組合せ(組合せ(1)〜(P))のそれぞれについて、特徴量の組合せが示されている。たとえば、組合せ(1)は、Q個の特徴量(特徴量(1,1)〜(1,Q))を含む。PおよびQのそれぞれは、予め定められた整数を表す。
FIG. 16 is a diagram schematically illustrating a configuration of information stored in the
信頼区間生成部112は、サンプルデータ記憶部131に格納されたN人それぞれのM種類の動作において取得されたサンプルデータ(データ(1,1)〜(N,M))を利用して、特徴量のP個の組合せ(図16の組合せ(1)〜(P))のそれぞれに対応する領域のセットを生成する。各セットは、M種類の動作のそれぞれを特定するM個の領域を含む。そして、信頼区間生成部112は、生成されたP個のセットの領域(各セットは、M種類の動作のそれぞれの領域を含む)を特定する情報を、信頼区間記憶部133に格納する。各領域の生成は、以下の3つの工程<1>〜<3>を含む。
The confidence
<1>N人分のサンプルデータのそれぞれについての、Q個の特徴量のそれぞれの算出
<2>算出されたQ個の特徴量を用いた、多次元(次元数は、特徴量の数である「Q」)の正規分布の生成
<3>生成された正規分布における、予め定められた分散係数(たとえば、分散係数σ=2)を示す領域(利用された特徴量の数が「1」であれば線であり、「2」であれば面であり、「3」以上であれば空間)の特定
各領域は、工程<3>において特定された面(または線)によって特定される。
<1> Calculation of each of Q feature values for each of N sample data <2> Multi-dimension (number of dimensions is the number of feature values) using the calculated Q feature values Generation of a normal distribution of a certain “Q” <3> A region indicating a predetermined dispersion coefficient (for example, the dispersion coefficient σ = 2) in the generated normal distribution (the number of used feature amounts is “1”) If it is “2”, it is a surface, and if it is “3” or more, a space is specified. Each region is specified by the surface (or line) specified in step <3>.
たとえば、領域の特定に利用される特徴量の数が「2」であれば、各領域は、図2において領域RWA,RJO,RJU,RRUとして示されたように、2次元空間における楕円である。 For example, if the number of feature quantities used for specifying a region is “2”, each region is an ellipse in a two-dimensional space as shown as regions RWA, RJO, RJU, and RRU in FIG. .
信頼区間生成部112は、P個の組合せのそれぞれに対応して生成された領域を、信頼区間記憶部133に格納する。図17は、信頼区間記憶部133に格納されている情報の構成を模式的に示す図である。信頼区間記憶部133には、P個の組合せ(組合せ(1)〜(P))のそれぞれについて、M種類の動作のそれぞれについての領域を特定する情報、つまり、P×M個の信頼区間(信頼区間(1,1)〜(P,M))を特定する情報を含む。各信頼区間を特定する情報は、当該信頼区間が2個の特徴量を用いて生成される場合には、図2において領域RWA,RJO,RJU,RRUとして示されたような楕円を特定する。
The confidence
図18および図19を参照して、信頼区間を特定する情報について、より具体的に説明する。図18は、1番目の組合せ(組合せ(1))の、M種類の動作のそれぞれの領域の一例を示す図である。図19は、2番目の組合せ(組合せ(2))の、M種類の動作のそれぞれの領域の一例を示す図である。 With reference to FIGS. 18 and 19, the information for specifying the confidence interval will be described more specifically. FIG. 18 is a diagram illustrating an example of each region of M types of operations of the first combination (combination (1)). FIG. 19 is a diagram illustrating an example of each region of M types of operations of the second combination (combination (2)).
図18および図19のそれぞれに示された例では、動作の種類の数Mの一例として、「2」が採用されている。より具体的には、図18および図19のそれぞれに示された例では、動作「歩行」および動作「ジョギング」のそれぞれを特定する2つの領域が示されている。 In the example shown in each of FIGS. 18 and 19, “2” is adopted as an example of the number M of operation types. More specifically, in the example shown in each of FIG. 18 and FIG. 19, two regions specifying each of the movement “walking” and the movement “jogging” are shown.
また、図18および図19のそれぞれに示された例では、利用される特徴量の数Q(図16参照)の一例として、「2」が採用されている。 In the example shown in each of FIGS. 18 and 19, “2” is adopted as an example of the number Q of feature quantities used (see FIG. 16).
より具体的には、図18の例では、図16の組合わせ(1)に従った2つの特徴量(特徴量F(1,1)および特徴量F(1,2))が採用されている。図19の例では、図16の組合わせ(2)に従った2つの特徴量(特徴量F(2,1)および特徴量F(2,2))が採用されている。特徴量F(1,1)と特徴量F(1,2)の組合せの一例は、図2に示された「MEAN(RMS)」と「STD(RMS)」である。特徴量F(2,1)と特徴量F(2,2)の組合せの一例は、「サンプルデータの高速フーリエ変換および主成分分析によって得られる第1主成分」と「図2に示されたRMS」である。 More specifically, in the example of FIG. 18, two feature amounts (feature amount F (1,1) and feature amount F (1,2)) according to the combination (1) of FIG. 16 are adopted. Yes. In the example of FIG. 19, two feature quantities (feature quantity F (2,1) and feature quantity F (2,2)) according to the combination (2) of FIG. 16 are employed. An example of the combination of the feature quantity F (1,1) and the feature quantity F (1,2) is “MEAN (RMS)” and “STD (RMS)” shown in FIG. An example of the combination of the feature value F (2,1) and the feature value F (2,2) is “first principal component obtained by fast Fourier transform of sample data and principal component analysis” and “shown in FIG. RMS ".
以下、図18および図19のそれぞれに示された例について、詳細に説明する。まず、図18の例について説明する。 Hereinafter, the examples shown in FIGS. 18 and 19 will be described in detail. First, the example of FIG. 18 will be described.
図18において、動作「歩行」は、領域RWA1によって特定される。また、動作「ジョギング」は、領域RJO1によって特定される。 In FIG. 18, the operation “walking” is specified by a region RWA1. The operation “jogging” is specified by the region RJO1.
図18の円形のプロットのそれぞれは、動作「歩行」を実行しているN人の被験者から得られた、N個のサンプルデータ(図11のデータ(1,1)〜(N,1))に対応する。より具体的には、図18の円形のプロットのそれぞれは、当該N個のサンプルデータのそれぞれの、特徴量F(1,1)および特徴量F(1,2)の算出結果である。 Each of the circular plots in FIG. 18 represents N sample data (data (1, 1) to (N, 1) in FIG. 11) obtained from N subjects performing the operation “walking”. Corresponding to More specifically, each of the circular plots in FIG. 18 is a calculation result of the feature amount F (1, 1) and the feature amount F (1, 2) of each of the N pieces of sample data.
図18の三角形のプロットのそれぞれは、動作「ジョギング」を実行しているN人の被験者から得られた、N個のサンプルデータ(図11のデータ(1,2)〜(N,2))に対応する。より具体的には、図18の三角形のプロットのそれぞれは、当該N個のサンプルデータのそれぞれの、特徴量F(1,1)および特徴量F(1,2)の算出結果である。 Each of the triangular plots in FIG. 18 represents N sample data (data (1, 2) to (N, 2) in FIG. 11) obtained from N subjects performing the operation “jogging”. Corresponding to More specifically, each of the triangular plots in FIG. 18 is a calculation result of the feature value F (1, 1) and the feature value F (1, 2) of each of the N sample data.
図18には、2つの領域(領域RWA1および領域RJO1)とともに、テーブルT1が示されている。テーブルT1は、2つの領域(領域RWA1および領域RJO1)を特定する情報として信頼区間記憶部133に格納される情報の具体例である。テーブルT1は、動作「歩行」として例示される動作(1)を特定する領域を特定する情報(信頼区間(1,1))と、動作「ジョギング」として例示される動作(2)を特定する領域を特定する情報(信頼区間(1,2))とを含む。
FIG. 18 shows a table T1 together with two areas (area RWA1 and area RJO1). The table T1 is a specific example of information stored in the confidence
領域RWA1は、図18中のN個の円形のプロットの2次元の正規分布によって特定される信頼領域の一例である。領域RWA1の形状の一例は楕円である。領域RWA1のサイズは、標準偏差σ(たとえば、σ=2)によって特定される。テーブルT1中の信頼区間(1,1)は、領域RWA1の楕円を規定する。 The region RWA1 is an example of a confidence region specified by a two-dimensional normal distribution of N circular plots in FIG. An example of the shape of the region RWA1 is an ellipse. The size of the region RWA1 is specified by the standard deviation σ (for example, σ = 2). A confidence interval (1, 1) in the table T1 defines an ellipse of the region RWA1.
領域RJO1は、図18中のN個の三角形のプロットの2次元の正規分布によって特定される信頼領域の一例である。領域RJO1の形状の一例は楕円である。領域RJO1のサイズは、標準偏差σ(たとえば、σ=2)によって特定される。テーブルT1中の信頼区間(1,2)は、領域RJO1の楕円を規定する。 The region RJO1 is an example of a trust region specified by a two-dimensional normal distribution of N triangle plots in FIG. An example of the shape of the region RJO1 is an ellipse. The size of the region RJO1 is specified by the standard deviation σ (for example, σ = 2). The confidence interval (1, 2) in the table T1 defines an ellipse of the region RJO1.
次に、図19の例について説明する。図19において、動作「歩行」は、領域RWA2によって特定される。また、動作「ジョギング」は、領域RJO2によって特定される。 Next, the example of FIG. 19 will be described. In FIG. 19, the operation “walking” is specified by a region RWA2. Further, the operation “jogging” is specified by the region RJO2.
図19の円形のプロットのそれぞれは、図18の円形のプロットのそれぞれが対応するのと同じ、動作「歩行」のN個のサンプルデータに対応する。より具体的には、図19の円形のプロットのそれぞれは、当該N個のサンプルデータのそれぞれの、特徴量F(2,1)および特徴量F(2,2)の算出結果である。 Each of the circular plots in FIG. 19 corresponds to N sample data of the action “walking”, as each of the circular plots in FIG. 18 corresponds. More specifically, each of the circular plots in FIG. 19 is a calculation result of the feature value F (2, 1) and the feature value F (2, 2) of each of the N sample data.
図19の三角形のプロットのそれぞれは、図18の三角形のプロットのそれぞれが対応するのと同じ、動作「ジョギング」のN個のサンプルデータに対応する。より具体的には、図19の三角形のプロットのそれぞれは、当該N個のサンプルデータのそれぞれの、特徴量F(2,1)および特徴量F(2,2)の算出結果である。 Each of the triangular plots of FIG. 19 corresponds to N sample data of the operation “jogging”, as each of the triangular plots of FIG. 18 corresponds. More specifically, each of the triangular plots in FIG. 19 is a calculation result of the feature value F (2, 1) and the feature value F (2, 2) of each of the N sample data.
図19には、2つの領域(領域RWA2および領域RJO2)とともに、テーブルT2が示されている。テーブルT2は、2つの領域(領域RWA2および領域RJO2)を特定する情報として信頼区間記憶部133に格納される情報の具体例である。テーブルT2は、動作「歩行」として例示される動作(1)を特定する領域を特定する情報(信頼区間(2,1))と、動作「ジョギング」として例示される動作(2)を特定する領域を特定する情報(信頼区間(2,2))とを含む。
FIG. 19 shows a table T2 together with two areas (area RWA2 and area RJO2). The table T2 is a specific example of information stored in the confidence
領域RWA2は、図19中のN個の円形のプロットの2次元の正規分布によって特定される信頼領域の一例である。領域RWA2の形状の一例は楕円である。領域RWA2のサイズは、標準偏差σ(たとえば、σ=2)によって特定される。テーブルT2中の信頼区間(2,1)は、領域RWA2の楕円を規定する。 The region RWA2 is an example of a confidence region identified by a two-dimensional normal distribution of N circular plots in FIG. An example of the shape of the region RWA2 is an ellipse. The size of the region RWA2 is specified by the standard deviation σ (for example, σ = 2). The confidence interval (2, 1) in the table T2 defines an ellipse of the region RWA2.
領域RJO2は、図19中のN個の三角形のプロットの2次元の正規分布によって特定される信頼領域の一例である。領域RJO2の形状の一例は楕円である。領域RJO2のサイズは、標準偏差σ(たとえば、σ=2)によって特定される。テーブルT2中の信頼区間(2,2)は、領域RJO2の楕円を規定する。 The region RJO2 is an example of a trust region specified by a two-dimensional normal distribution of N triangle plots in FIG. An example of the shape of the region RJO2 is an ellipse. The size of the region RJO2 is specified by the standard deviation σ (for example, σ = 2). The confidence interval (2, 2) in the table T2 defines an ellipse of the region RJO2.
図10に戻って、評価部113は、信頼区間生成部112によって生成された、特徴量のP個の組合せ(図16の組合せ(1)〜(P))から、2以上の互いに異なる動作を最も正確に分離できる組合せを選択する。当該選択は、たとえば、P個の組合せのそれぞれについて算出された評価値に基づいて実現される。
Returning to FIG. 10, the
評価値は、ある特徴量の組合せ(たとえば、図2に示された、特徴量F1と特徴量F2)に対応して設定された複数の領域(たとえば、図2に示された、4つの領域RWA,RJO,RJU,RRU)の間の、動作の分離性能を表わす指標である。評価値の一例は、M種類の動作のそれぞれのN個のサンプルデータ(N×M個のサンプルデータ)のうち、正しい動作の種類に分類される割合である。以下、評価部113による評価値の算出について、詳細に説明する。
The evaluation value is a plurality of areas (for example, four areas shown in FIG. 2) set in correspondence with a certain combination of feature quantities (eg, feature quantity F1 and feature quantity F2 shown in FIG. 2). RWA, RJO, RJU, RRU) is an index representing the performance separation performance. An example of the evaluation value is a ratio of the N types of sample data (N × M pieces of sample data) of the M types of operations classified into the correct type of operation. Hereinafter, calculation of the evaluation value by the
評価部113は、たとえば図18に示されるように、サンプルデータに基づいて2以上の動作のそれぞれを特定する領域が生成された後、生成された領域を用いて、サンプルデータのそれぞれに対応する動作の種類を特定する。図18の例では、評価部113は、サンプルデータのプロットが、領域RWA1内に位置すれば、当該サンプルデータに対応する動作の種類として動作「歩行」を出力する。また、評価部113は、サンプルデータのプロットが、領域RJO1内に位置すれば、当該サンプルデータに対応する動作の種類として動作「ジョギング」を出力する。
For example, as illustrated in FIG. 18, the
なお、評価部113は、1つのサンプルデータのプロットが、領域RWA1および領域RJO1の内部に位置する場合には、当該プロットが領域RWA1および領域RJO1のいずれの中心点に近いかを判断する。そして、評価部113は、当該プロットが、領域RJO1の中心点よりも領域RWA1の中心点に近いと判断すると、当該プロットのサンプルデータに対応する動作の種類として、動作「歩行」を出力する。また、評価部113は、当該プロットが、領域RWA1の中心点よりも領域RJO1の中心点に近いと判断すると、当該プロットのサンプルデータに対応する動作の種類として、動作「ジョギング」を出力する。
In addition, when the plot of one sample data is located inside the region RWA1 and the region RJO1, the
より具体的に、図18のプロットdp11について説明する。図18において、領域RWA1の中心点が、点CTWAとして示されている。また、領域RJO1の中心点が、点CTJOとして示されている。プロットdp11は、領域RWA1内に位置し、かつ、領域RJO1内に位置する。プロットdp11から点CTWAまでの距離D1は、プロットdp11から点CTJOまでの距離D2よりも短い。これにより、評価部113は、プロットdp11のサンプルデータに対応する動作の種類として、動作「歩行」を出力する。
More specifically, the plot dp11 in FIG. 18 will be described. In FIG. 18, the center point of the region RWA1 is shown as a point CTWA. Further, the center point of the region RJO1 is shown as a point CTJO. The plot dp11 is located in the region RWA1 and is located in the region RJO1. The distance D1 from the plot dp11 to the point CTWA is shorter than the distance D2 from the plot dp11 to the point CTJO. Thereby, the
図18に示されたように各サンプルデータに対応する動作の種類が領域の中心点を利用して特定されるため、あるサンプルデータに対して特定される動作の種類が、本来の動作の種類(当該サンプルデータが取得されたときに被験者が実行していた動作)とは異なる場合があり得る。図18と図19との間で2以上の動作のそれぞれを特定する2以上の領域の中心点の配置が異なるように、2以上の領域の中心点の配置は、特徴量の組合せによって変化し得る。したがって、N個のサンプルデータのうち、本来の動作の種類とは異なる種類として特定されるデータの割合は、特徴量の組合せによって変化し得る。 As shown in FIG. 18, since the type of operation corresponding to each sample data is specified by using the center point of the region, the type of operation specified for certain sample data is the type of original operation. (The operation performed by the subject when the sample data is acquired) may be different. The arrangement of the center points of the two or more areas that specify each of the two or more actions differs between FIG. 18 and FIG. 19 depending on the combination of the feature amounts. obtain. Therefore, the proportion of data that is specified as a type different from the type of the original operation among the N pieces of sample data can vary depending on the combination of feature amounts.
評価部113は、特徴量のP個の組合せごとに、評価値として、N個のサンプルデータのうち、本来の動作の種類とは異なる種類として特定されるデータの割合を算出する。そして、評価部113は、評価値が最も小さい組合せを、ユーザの動作の種類の判定に利用する特徴量の組合せとして選択する。そして、評価部113は、選択された組合せによって特定される2以上の領域のそれぞれを特定する情報を、動作特定用情報記憶部134に格納する。評価部113によって選択された組合せに対応する2以上の領域が、使用者の動作の種類の特定に利用される2以上の領域である。
The
図20は、動作特定用情報記憶部134に格納される情報の一例を模式的に示す図である。図20には、使用者の動作の種類の特定に利用されるM個の信頼区間(信頼区間(1)〜(M))のそれぞれを特定する情報が示されている。図18に示された領域RWA1および領域RJO1が使用者の動作の種類の特定に利用される場合、図20の信頼区間(1)は領域RWA1の楕円を特定し、図20の信頼区間(2)は領域RJO1の楕円を特定する。図20に示された例では、1つの動作の種類に1つの信頼区間が割り当てられている。1つの動作の種類に2つ以上の信頼区間が割り当てられる場合もあり得る。
FIG. 20 is a diagram schematically illustrating an example of information stored in the operation specifying
図10に戻って、特徴量算出部114は、加速度センサ120から、x軸、y軸、およびz軸の方向に沿った加速度の検出結果を取得する。そして、特徴量算出部114は、取得した検出結果について、動作を特定するためのM個の特徴量を算出する。M個の特徴量とは、組合せ記憶部132に格納されたP個の組合せのうち、上記のように評価部113によって選択された組合せを構成するM個の特徴量である。図18に示された例では、M個の特徴量は、2個の特徴量F(1,1)および特徴量F(1,2)である。そして、特徴量算出部114は、算出したM個の特徴量を、動作特定部115へ出力する。
Returning to FIG. 10, the feature
動作特定部115は、特徴量算出部114が取得した検出結果に対応する動作の種類を特定する。より具体的には、動作特定部115は、特徴量算出部114によって算出されたM個の特徴量の組合せのプロットが、動作特定用情報記憶部134内の情報によって特定される2以上の領域の中のいずれかの内部に位置するかどうかを判断する。そして、当該プロットが内部に位置する領域に対応する動作の種類を、特徴量算出部114が取得した検出結果に対応する動作の種類として特定する。そして、動作特定部115は、特定された動作の種類を、使用者が実行した動作の種類として、スマートフォン900に向けて出力する。
The
次に、図10に示されたスマートフォン900の機能を説明する。スマートフォン900のCPU910は、レポート生成部911および表示制御部912として機能する。レポート生成部911および表示制御部912は、たとえば、CPU910が検出装置100において特定された動作の種類および当該種類に関する統計値を表示するためのアプリケーションプログラムを実行することによって、実現される。
Next, functions of the
レポート生成部911は、検出装置100から、使用者P(図1)の動作の種類を受信し、受信した動作の種類またはそれに関する統計値を表示するための画面データを生成する。表示制御部912は、生成された当該画面データを、タッチパネル920に表示する。表示される画面の具体例は、図24を参照して後述する。
The
6.使用者の動作の判定
検出装置100において実行される、使用者の動作の種類の特定のための処理について、より具体的に説明する。図21は、検出装置100のCPU110によって実行される処理のフローチャートである。
6). Determination of User's Action The process for specifying the type of user's action executed in the
図21を参照して、ステップS10で、CPU110は、加速度センサ120から、1ウィンドウ分のデータを取得したか否かを判断する。1ウィンドウ分のデータ(x軸、y軸、およびz軸についての加速度に対応する検出結果)とは、たとえば、図12に示された100フレーム分のデータである。なお、加速度センサ120は、1フレーム分のデータを生成するたびにCPU110へ当該データを出力してもよいし、予め定められた数のフレーム分のデータをまとめてCPU110へ出力してもよい。
Referring to FIG. 21, in step S <b> 10,
CPU110は、1ウィンドウ分のデータを取得したと判断するまでステップS10に制御を留め(ステップS10でNO)、1ウィンドウ分のデータを取得したと判断するとステップS20へ制御を進める(ステップS10でYES)。
ステップS20で、CPU110は、加速度センサ120から取得した1ウィンドウ分のデータの2個以上の特徴量を算出する。2個以上の特徴量とは、たとえば、図2に示される特徴量F1および特徴量F2である。そして、制御はステップS30へ進められる。
In step S <b> 20, the
ステップS30で、CPU110は、ステップS20で算出された2以上の特徴量の組合せに対応するプロットが、2以上の領域(信頼区間)のいずれかに含まれるかどうかを判断する。ステップS30における2以上の領域(信頼区間)とは、図2において4つの領域RWA,RJO,RJU,RRUとして示されたような、動作の種類の特定に利用される2以上の領域である。そして、CPU110は、当該プロットが2以上の領域のいずれかに含まれると判断すると(ステップS30でYES)、ステップS40へ制御を進める。一方、CPU110は、当該プロットが2以上の領域のいずれにも含まれないと判断すると(ステップS30でNO)、ステップS70へ制御を進める。
In step S30, the
ステップS40で、CPU110は、2以上の領域のうち、その内部にステップS30の判断対象のプロットを含むような領域の数が1であるか否かを判断する。そして、CPU110は、当該数が1であると判断すると(ステップS40でYES)、ステップS50へ制御を進める。また、CPU110は、当該数が2以上であると判断すると(ステップS40でNO)、ステップS60へ制御を進める。
In step S40, the
ステップS50で、CPU110は、その内部にステップS30の判断対象のプロットを含むような領域について、当該領域に対応する動作の種類を、スマートフォン900に向けて出力し、図21の処理を終了する。出力される動作の種類は、図21の処理の対象となったウィンドウに対応する時間区間についての使用者の動作の種類である。領域(信頼区間)と動作の種類とは、たとえば図20に示された情報によって関連付けられている。
In step S50, the
ステップS60で、CPU110は、その中心がステップS30の判断対象のプロットに最も近い領域を選択し、選択された当該領域に対応する動作の種類をスマートフォン900に向けて出力する。ステップS60における領域の選択は、たとえば、図18を参照して説明された方法に従う。
In step S60,
ステップS70で、CPU110は、スマートフォン900に向けて、結果「特定不可」を出力して、図21の処理を終了する。結果「特定不可」は、図21の処理の対象となったウィンドウに対応する時間区間について、検出装置100が使用者の動作の種類を特定できなかったことを意味する。
In step S <b> 70, the
以上説明された図21の処理において、CPU110は、1ウィンドウ分の加速度センサ120のデータを取得し、当該データから2以上の特徴量を算出し、当該2以上の特徴量の組合せのプロットを生成し、その内部に当該プロットを含むような領域を特定し、そして、特定された領域に対応する動作の種類を使用者が実行した動作の種類として出力する。動作の種類の特定には、2以上の領域(たとえば、図2の4つの領域RWA,RJO,RJU,RRU)が利用される。
In the process of FIG. 21 described above, the
図22は、2以上の特徴量の組合せが2以上の領域のそれぞれに含まれるか否かの判断の他の態様に利用される数式を示す図である。2以上の領域は、それぞれ、多次元の正規分布が利用されることによって生成される。次元の数は、用いられる特徴量の数である。そして、特徴量の組合せが2以上の領域のそれぞれに含まれるか否かの判断には、上記したプロットを用いる方法の代わりに、図22に示された数式が利用されても良い。 FIG. 22 is a diagram illustrating mathematical formulas used for another mode of determining whether or not a combination of two or more feature amounts is included in each of two or more regions. Each of the two or more regions is generated by using a multidimensional normal distribution. The number of dimensions is the number of feature quantities used. In order to determine whether or not a combination of feature amounts is included in each of two or more regions, the mathematical formula shown in FIG. 22 may be used instead of the method using the above-described plot.
図22に示された式は、動作の種類ごとに生成される。図22に示された式において、kは、各領域の中心からの標準偏差(σ)を表す。F1〜Fnは、各領域の生成に利用されたn個の特徴量を表す。nは、予め定められた整数である。M1〜Mnは、各領域の生成に利用されたn個の特徴量のそれぞれについてのサンプルデータの平均値を表す。行列C1,1〜Cn,nは、各領域の元となるモニタの動作において得られたトレーニングデータの共分散行列(Cov(n,n))のコレスキ分解(Cholesky decomposition)によって得られる。図23は、共分散行列(Cov(n,n))を示す図である。図23において、共分散行列(Cov(n,n))の要素は、行列R1,1〜Rn,nとして示されている。図22に示された式の左辺は、ユークリッド距離を表すことから、2本の縦二重線で挟まれるように記述されている。 The formula shown in FIG. 22 is generated for each type of operation. In the equation shown in FIG. 22, k represents a standard deviation (σ) from the center of each region. F 1 to F n represent n feature quantities used for generating each region. n is a predetermined integer. M 1 to M n represent average values of sample data for each of the n feature quantities used for generating each region. The matrices C 1,1 to C n, n are obtained by Cholesky decomposition of the covariance matrix (Cov (n, n) ) of the training data obtained in the operation of the monitor that is the source of each region. FIG. 23 is a diagram showing a covariance matrix (Cov (n, n) ). In FIG. 23, the elements of the covariance matrix (Cov (n, n) ) are shown as matrices R 1,1 to R n, n . Since the left side of the equation shown in FIG. 22 represents the Euclidean distance, it is described so as to be sandwiched between two vertical double lines.
加速度センサ120から検出結果が出力されると、CPU110は、当該検出結果を利用してn個の特徴量F1〜Fnを算出する。次に、CPU110は、当該n個の特徴量F1〜Fnを2以上の動作の種類のそれぞれについて定義された図22の式の左辺に代入する。次に、2以上の動作の種類のそれぞれについて、当該左辺の値を算出する。そして、CPU110は、当該左辺の値が1以下であって、最小の値をとる、動作の種類を、上記検出結果に対応する動作の種類として出力する。
When the detection result is output from the
なお、ユーザの動作の特定に利用される信頼区間の生成は、汎用のコンピュータ等の検出装置100以外の装置で実行されてもよい。信頼区間が検出装置100以外の装置によって生成された場合、検出装置100は、図2に示されたような、サンプルデータ取得部111、信頼区間生成部112、評価部113、サンプルデータ記憶部131、組合せ記憶部132、および、信頼区間記憶部133を備える必要はない。特徴量の組合せが図22に示された数式に基づいて判断される場合には、検出装置100は、動作特定用情報記憶部134に、当該数式を特定する値k,M1〜Mn,C1,1〜Cn,nを格納する。
The generation of the confidence interval used for specifying the user's action may be executed by a device other than the
7.判定結果の出力
図24は、スマートフォン900のタッチパネル920における、使用者の動作の種類に関する統計値の表示画面の一例を示す図である。図24の画面990は、4つの表示欄991〜994を含む。表示欄991は、4種類の動作の種類のそれぞれに対応する4種類の統計値を示す。各統計値の一例は、表示対象とされた日における、各種類の動作が実行された累積時間である。当該累積時間の算出方法の一例は、図25を参照して後述される。
7). Outputting Determination Result FIG. 24 is a diagram illustrating an example of a display screen of statistical values related to the type of user operation on the
表示欄992は、表示欄991に示された統計値に対する判定結果に対応するメッセージを示す。統計値に対する判定は、たとえばメモリ930に格納された、予め定められた基準に基づく。メモリ930には、複数のメッセージが、複数の判定結果のそれぞれに関連付けられて、格納されている。スマートフォン900のCPU910は、たとえば、メモリ930から、判定結果に関連付けられたメッセージを選択して、表示欄992に表示する。
The display column 992 shows a message corresponding to the determination result for the statistical value shown in the
表示欄993は、上記判定結果に対応する商品の画像を示す。表示欄994は、上記判定結果に対応する商品のID(RU001)を示す。メモリ930には、複数の商品についての画像とIDとの組み合わせが、複数の判定結果のそれぞれに関連付けられて、格納されている。CPU910は、たとえば、メモリ930から、判定結果に関連付けられた画像とIDとの組み合わせを選択して、当該組み合わせを表示欄993,994に表示する。
A
図25は、1分間ごとの、検出装置100の使用者によって実行された動作の種類を特定する処理の一例のフローチャートである。なお、図25の処理の実行間隔は、動作の特定について求められる精度に応じて、変更され得る。CPU910は、図24の画面990の対象となる期間(たとえば、1日)に含まれる1分間ごとに実行された動作の種類を、図25に示されたフローチャートに従って特定する。そして、CPU910は、特定された種類の動作が当該1分間継続して実行されたと仮定し、表示対象の期間における動作の種類ごとの累積時間を算出する。なお、図25の処理は、スマートフォン900が、検出装置100から、ステップS50〜S70(図21)の出力として、5秒ごとの出力(つまり、1分間に対して12個の出力)を取得することを前提としている。
FIG. 25 is a flowchart of an example of processing for specifying the type of operation executed by the user of the
図25を参照して、ステップSA10で、CPU910は、図25の処理の対象となる1分間に対する検出装置100からの12個の出力のうち8個以上が同一の動作の種類を示すものであるか否かを判断する。そして、CPU910は、12個の出力のうち8個以上が同一の動作の種類を示すと判断すると(ステップSA10でYES)、ステップSA20へ制御を進める。一方、CPU910は、12個の出力が8個以上の同一の動作の種類を示す出力を含まないと判断すると(ステップSA10でNO)、ステップSA30へ制御を進める。
Referring to FIG. 25, in step SA10,
ステップSA20で、CPU910は、当該同一の動作の種類を、対象となる1分間に実行された動作の種類として特定して、図25の処理を終了する。
In step SA20, the
ステップSA30で、CPU910は、対象となる1分間に実行された動作はなかったことを特定して、図25の処理を終了する。
In step SA30, the
図25の処理において採用された3つの数値「1分間」「12個」および「8個」は、それぞれの数値の一例である。これらの数値は、適宜変更され得る。 The three numerical values “1 minute”, “12”, and “8” employed in the processing of FIG. 25 are examples of the respective numerical values. These numerical values can be changed as appropriate.
第1の実施の形態では、図1に示されるように、検出装置100は、当該使用者Pの動作の種類を特定し、特定された動作の種類を出力する。これにより、使用者Pが検出装置100を装着しながら動作を実行するだけで、当該使用者Pの動作の種類が特定され得る。そして、図24に示されるように、スマートフォン900は、検出装置100からの出力を利用して、使用者Pの複数の動作の種類についての統計値を表示する。これにより、使用者Pが検出装置100を装着しながら動作を実行するだけで、使用者Pの動作の種類についての統計的な情報が、使用者Pの両親等に提供され得る。
In the first embodiment, as illustrated in FIG. 1, the
なお、第1の実施の形態における、動作の種類の特定のための特徴量の組合せの選択に利用されるデータは、図16(組合せ記憶部132)および図17(信頼区間記憶部133)に示されたものに限定されない。1つの動作を他の動作と区別できる能力が高い特徴量の組合せを選択することができる限り、他の態様のデータが利用されてもよい。 In the first embodiment, data used for selecting a combination of feature amounts for specifying the type of operation is shown in FIG. 16 (combination storage unit 132) and FIG. 17 (confidence interval storage unit 133). It is not limited to what is shown. Data of other modes may be used as long as a combination of feature amounts having a high ability to distinguish one operation from another operation can be selected.
8.変形例(1)
検出装置100では、2つ以上の動作の種類のそれぞれに対応する2つ以上の領域が設定されている。CPU110は、加速度センサ120からの1ウィンドウ分の検出結果から、2つ以上の特徴量を算出し、そして、上記2つ以上の領域から、当該2つ以上の特徴量の組合せを含む領域を特定する。なお、算出された特徴量の数は1である場合もあり得る。この場合、CPU110は、上記2つ以上の領域から、算出された単一の特徴量を含む領域を特定する。
8). Modification (1)
In the
検出装置100のCPU110は、図21に示された動作を特定するための処理を、たとえば、加速度センサ120が1ウィンドウ分の検出値を出力するたびに実行しても良い。
The
9.変形例(2)
CPU110は、メモリ130に、たとえば1日分など、ある一定の期間分の検出値を蓄積する。そして、CPU110は、蓄積されたある一定期間分の検出値の中から、1ウィンドウ分ずつ検出値を読み出して、図21に示された処理を実行しても良い。
9. Modification (2)
10.変形例(3)
第1の実施の形態において利用され得る特徴量の他の例は、1ウィンドウ内で、検出値が予め定められた閾値を下回ったフレームの数である。さらに他の例は、1ウィンドウ内で、検出値が予め定められた閾値を下回ったフレームが連続する数である。
10. Modification (3)
Another example of the feature quantity that can be used in the first embodiment is the number of frames in which the detection value falls below a predetermined threshold within one window. Yet another example is the number of consecutive frames in which a detection value falls below a predetermined threshold within one window.
11.変形例(4)
検出装置100では、加速度センサ120の代わりに、または、加速度センサ120に加えて、x軸、y軸、およびz軸のそれぞれを軸とした3種類の角速度を検出する角速度センサが用いられても良い。検出装置では、少なくともx軸、y軸、およびz軸の3種類の軸についての加速度または角速度の検出結果が利用されれば、当該検出結果がどのような種類のセンサによって取得されたものであっても良い。
11. Modification (4)
In the
12.変形例(5)
図26は、検出装置100の使用者への装着方法に関する変形例を説明するための図である。
12 Modification (5)
FIG. 26 is a diagram for describing a modification example regarding a method of mounting the
図26に示されるように、靴500Aは、ベルト501を備え、さらに、当該ベルト501の一端にポケット502を備える。靴500Aでは、矢印Bによって示されるように検出装置100がポケット502内に導入された後、接着部511と接着部512とが接着されることにより、検出装置100がポケット502内に収納される。
As shown in FIG. 26, the
なお、靴500Aにおいて、ポケットは、ベルト501とは別の場所に設けられても良い。他の箇所の一例は、靴500Aの先端部(つま先部)である。他の例は、靴500Aに靴紐が設けられたときの、当該靴ひもの上を覆う部分(ベロ部)である。さらに他の例は、靴500Aの踵部である。また、検出装置100は、靴に取り付けられる代わりに、靴下に取り付けられてもよいし、使用者の足にベルトなどによって直接装着されてもよい。
In the
[第2の実施の形態]
第2の実施の形態では、1ウィンドウごとの動作の種類の特定において、動作の種類が特定されなかったときに、ウィンドウを構成する複数のフレームの一部が入れ替えられた後、再度、動作の種類の特定が実行される。図27は、ウィンドウを構成する複数のフレームの一部の入れ替えを説明するための図である。
[Second Embodiment]
In the second embodiment, when the type of operation for each window is specified and the type of operation is not specified, after a part of a plurality of frames constituting the window is replaced, the operation is performed again. Type identification is performed. FIG. 27 is a diagram for explaining replacement of a part of a plurality of frames constituting a window.
図27には、3種類のウィンドウw1,w2,w3が示されている。ウィンドウw1は、動作の特定の対象となる時間期間の開始からの100フレームを含む。ウィンドウw2は、ウィンドウw1の後半の50フレームと、その先の50フレームとを含む。ウィンドウw3は、ウィンドウw2の後半の50フレームと、その先の50フレームとを含む。 FIG. 27 shows three types of windows w1, w2, and w3. Window w1 includes 100 frames from the start of the time period that is the specific target of the operation. The window w2 includes 50 frames in the latter half of the window w1 and 50 frames ahead. The window w3 includes 50 frames in the latter half of the window w2 and 50 frames ahead.
第2の実施の形態において、検出装置100のCPU110は、まず、ウィンドウw1を対象として、使用者が実行した動作の種類を特定する。
In the second embodiment, the
当該特定において動作の種類が特定されなければ、CPU110は、特定の対象をウィンドウw1からウィンドウw2へと変更して、使用者が実行した動作の種類を特定する。
If the type of operation is not specified in the specification, the
ウィンドウw2を用いた特定において動作の種類が特定されなければ、CPU110は、特定の対象をウィンドウw2からウィンドウw3へと変更して、使用者が実行した動作の種類を特定する。
If the type of operation is not specified in the specification using the window w2, the
そして、ウィンドウw2を用いた特定において動作の種類が特定されなければ、CPU110は、動作の種類の特定ができなかったことを示す結果を出力する。
If the operation type is not specified in the specification using the window w2, the
第2の実施の形態では、動作の種類の特定の対象とされるウィンドウは、最大で2回、変更される。なお、変更される最大の数は、適宜変更され得る。 In the second embodiment, the window that is the specific target of the operation type is changed twice at the maximum. The maximum number to be changed can be changed as appropriate.
以上説明されたように、第2の実施の形態に係る動作の種類の特定の態様によると、ウィンドウを構成する複数のフレームの一部の入替えにより、加速度センサ120等のセンサの検出結果の出力のタイミングが、使用者Pの動作の実行のタイミングに適合するように調整され得る。
As described above, according to the specific aspect of the type of operation according to the second embodiment, the output of the detection result of the sensor such as the
今回開示された実施の形態およびその変形例はすべての点で例示であって制限的なものではないと考えられるべきである。本開示の領域は上記した説明ではなくて特許請求の領域によって示され、特許請求の領域と均等の意味および領域内でのすべての変更が含まれることが意図される。 It should be thought that embodiment disclosed this time and its modification are illustrations in all the points, and are not restrictive. The scope of the present disclosure is indicated not by the above description but by the scope of the claims, and is intended to include meanings equivalent to the claims and all modifications within the scope.
100 検出装置、111 サンプルデータ取得部、112 信頼区間生成部、113 評価部、114 特徴量算出部、115 動作特定部、120 加速度センサ、130,930 メモリ、131 サンプルデータ記憶部、132 組合せ記憶部、133 信頼区間記憶部、134 動作特定用情報記憶部、135 プログラム記憶部、150 バッテリ、200 センサケース、210 収納部、220 カバー部、500,500A 靴、600 ネットワーク、900 スマートフォン、911 レポート生成部、912 表示制御部、920 タッチパネル、940 メモリインターフェイス、941 記憶媒体、950 通信インターフェイス、990 画面。
DESCRIPTION OF
Claims (5)
3次元の軸方向の各々の動きのそれぞれを表わす少なくとも1つのデータから導出される1つ以上の特徴量に基づいて、2以上の種類の動作のそれぞれを2以上の領域の中のいずれかに関連付ける情報を記憶するための記憶手段と、
前記装置の使用者の3次元の軸方向の各々の動きを表わす少なくとも1つのデータを検出するための検出手段と、
前記検出手段によって検出された動きを表わすデータに基づいて、前記1つ以上の特徴量を算出するための算出手段と、
前記2以上の領域から、前記算出手段によって算出された特徴量を含む領域を特定するための特定手段とを備え、
前記2以上の領域のそれぞれは、
線または面または空間を定義する図形によって表され、
前記特定手段は、
前記算出された特徴量が前記2以上の領域の中の複数の領域に含まれる場合には、前記複数の領域のうち、当該算出された特徴量から最も近い位置に中心を持つ図形に対応する領域を、前記算出された特徴量を含む領域として特定し、
前記特定された領域が対応する動作の種類を、前記使用者が実行した動作の種類として出力する、装置。 A device for determining operation,
Based on one or more feature quantities derived from at least one data representing each of the three-dimensional axial movements, each of the two or more types of movements is set to one of the two or more regions. Storage means for storing associated information;
Detecting means for detecting at least one data representing each movement of the user of the apparatus in the three-dimensional axial direction;
Calculation means for calculating the one or more feature quantities based on data representing movement detected by the detection means;
A specifying unit for specifying a region including the feature amount calculated by the calculating unit from the two or more regions;
Each of the two or more regions is
Represented by lines or faces or shapes that define space,
The specifying means is:
When the calculated feature amount is included in a plurality of regions among the two or more regions, it corresponds to a figure having a center at a position closest to the calculated feature amount among the plurality of regions. An area is identified as an area including the calculated feature amount,
The apparatus which outputs the kind of operation | movement which the said area | region respond | corresponds as a kind of operation which the said user performed.
前記特定手段は、前記算出手段によって算出された前記2つ以上の特徴量の組合せを含む領域を、前記2以上の領域から特定する、請求項1に記載の装置。 The calculation means calculates two or more feature amounts based on data representing the motion detected by the detection means,
The apparatus according to claim 1, wherein the specifying unit specifies a region including the combination of the two or more feature amounts calculated by the calculating unit from the two or more regions.
サンプルが各領域に対応する動作を実行したときに取得されたデータを用いて定義され、
前記サンプルによる動作から取得された2以上のデータの正規分布の確率密度が一定である線または面または空間を定義する図形によって表される、請求項1〜請求項3のいずれか1項に記載の動作判別装置。 Each of the two or more regions is
The sample is defined using the data obtained when the operation corresponding to each area is executed,
The representation according to any one of claims 1 to 3, represented by a line or a surface or a figure defining a space in which a probability density of a normal distribution of two or more data obtained from the operation by the sample is constant. Operation discrimination device.
2以上の種類の動作のそれぞれを2以上の領域のいずれかに関連付ける情報にアクセスするステップを実行させ、
前記情報は、3次元の軸方向の各々の動きのそれぞれを表わす少なくとも1つのデータから導出される1つ以上の特徴量に基づいて、前記動作を前記2以上の領域のいずれかに関連付け、
前記プログラムは、前記コンピュータに、
前記使用者の3次元の軸方向の各々の動きを表わす少なくとも1つのデータを検出するステップと、
前記検出されたデータに基づいて、前記1つ以上の特徴量を算出するステップと、
前記2以上の領域から、算出された前記特徴量を含む領域を特定するステップと、を実行させ、
前記2以上の領域のそれぞれは、
線または面または空間を定義する図形によって表され、
前記領域を特定するステップは、
前記算出された特徴量が前記2以上の領域の中の複数の領域に含まれる場合には、前記複数の領域のうち、当該算出された特徴量から最も近い位置に中心を持つ図形に対応する領域を、前記算出された特徴量を含む領域として特定することを含み、
前記プログラムは、前記コンピュータに、さらに、
前記特定された領域が対応する動作の種類を、前記使用者が実行した動作の種類として出力するステップを実行させる、プログラム。 A computer-readable program for determining the operation of a computer user, wherein the program is stored in the computer,
Accessing information that associates each of the two or more types of actions with any of the two or more regions;
The information associates the motion with one of the two or more regions based on one or more feature quantities derived from at least one data representing each of the three-dimensional axial movements,
The program is stored in the computer.
Detecting at least one data representing each of the user's three-dimensional axial movements;
Calculating the one or more feature quantities based on the detected data;
A step of specifying a region including the calculated feature amount from the two or more regions , and
Each of the two or more regions is
Represented by lines or faces or shapes that define space,
The step of identifying the region includes
When the calculated feature amount is included in a plurality of regions among the two or more regions, it corresponds to a figure having a center at a position closest to the calculated feature amount among the plurality of regions. Identifying a region as a region including the calculated feature amount,
The program is further stored on the computer.
Wherein the type of operation that is specified region corresponding to execute the steps of outputting as the type of operation that the user has performed, the program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015110407A JP6478275B2 (en) | 2015-05-29 | 2015-05-29 | Device for determining operation, and program for causing computer to function as the device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015110407A JP6478275B2 (en) | 2015-05-29 | 2015-05-29 | Device for determining operation, and program for causing computer to function as the device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016223908A JP2016223908A (en) | 2016-12-28 |
JP6478275B2 true JP6478275B2 (en) | 2019-03-06 |
Family
ID=57748536
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015110407A Active JP6478275B2 (en) | 2015-05-29 | 2015-05-29 | Device for determining operation, and program for causing computer to function as the device |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6478275B2 (en) |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20100217533A1 (en) * | 2009-02-23 | 2010-08-26 | Laburnum Networks, Inc. | Identifying a Type of Motion of an Object |
JP5704561B2 (en) * | 2011-01-12 | 2015-04-22 | 独立行政法人産業技術総合研究所 | Traveling direction estimation device, portable terminal, control program, computer-readable recording medium, and traveling direction estimation method |
JP5885292B2 (en) * | 2011-11-08 | 2016-03-15 | 公立大学法人首都大学東京 | Action recognition program and processing device for action recognition |
JP2013160671A (en) * | 2012-02-07 | 2013-08-19 | Seiko Epson Corp | State detector, electronic apparatus, and program |
JP6322960B2 (en) * | 2013-02-01 | 2018-05-16 | 株式会社リコー | Inertial device, method and program |
-
2015
- 2015-05-29 JP JP2015110407A patent/JP6478275B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016223908A (en) | 2016-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200046263A1 (en) | System and method for characterizing biomechanical activity | |
KR101799474B1 (en) | User activity tracking system and device | |
US20170095692A1 (en) | System and method for run tracking with a wearable activity monitor | |
JP5740285B2 (en) | Gait analyzer and gait analysis program | |
US10365120B2 (en) | Device, method and system for counting the number of cycles of a periodic movement of a subject | |
US20160166180A1 (en) | Enhanced Real Time Frailty Assessment for Mobile | |
US9576500B2 (en) | Training supporting apparatus and system for supporting training of walking and/or running | |
US20220022604A1 (en) | Receiving feedback based on pressure sensor data and movement data | |
TW201842432A (en) | Method, electronic apparatus and recording medium for automatically configuring sensors | |
KR102423494B1 (en) | Smart shoes system and mobile terminal processing data of smart shoes | |
JP6365031B2 (en) | Activity amount measuring device, activity amount measuring method, activity amount measuring program | |
JP2017124086A (en) | Training classification system, training classification method and training classification server | |
JP2023145448A (en) | Multi-modal sensor fusion platform | |
JP6044670B2 (en) | Gait analyzer | |
JP6478275B2 (en) | Device for determining operation, and program for causing computer to function as the device | |
EP3991649A1 (en) | Non-obtrusive gait monitoring methods and systems for reducing risk of falling | |
US11564439B2 (en) | System and method for determining foot strike pattern | |
JP2022520219A (en) | Foot-mounted wearable device and how it works | |
JP6689578B2 (en) | Information processing apparatus, program, and walking determination method | |
JP6067148B1 (en) | Information processing method, information processing apparatus, and program | |
US20220096896A1 (en) | Measurement device, measurement method, and recording medium | |
KR20240067542A (en) | System and method of analizing physiological response to heat stress | |
JP2017070723A (en) | Information processing method, information processing device and program | |
JP2022053412A (en) | Information processing device, information processing method, and program | |
JP2022053413A (en) | Information processing device, information processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170719 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20170719 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180516 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180703 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180821 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190131 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6478275 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |