JP6867448B2

JP6867448B2 - Devices and methods for classifying user activity and / or counting user steps

Info

Publication number: JP6867448B2
Application number: JP2019140031A
Authority: JP
Inventors: カインチョウチョウテイン，; キティポングカサムソック，; アイオング，
Original assignee: Nitto Denko Corp
Current assignee: Nitto Denko Corp
Priority date: 2019-07-30
Filing date: 2019-07-30
Publication date: 2021-04-28
Anticipated expiration: 2034-05-30
Also published as: JP2020004419A

Description

本発明は、包括的には、ユーザーの活動（activity：アクティビティ）を分類し及び／又はユーザーの歩数をカウントするデバイス及び方法に関する。 Comprehensively, the present invention relates to devices and methods for classifying user activities and / or counting user steps.

近年、人々は、ますます健康を意識してきており、手ごろで効果的な運動方法としてランニング及びウォーキングを始めている。また、ウェアラブルセンサーを通じて毎日の活動を自己追跡する関心も高まっている。したがって、進めた歩数だけでなく装着者の歩行状態も正確に記録することができる歩数カウントデバイスが必要とされている。 In recent years, people have become more and more aware of their health and have begun running and walking as an affordable and effective way of exercising. There is also growing interest in self-tracking daily activities through wearable sensors. Therefore, there is a need for a step count device that can accurately record not only the number of steps taken but also the walking state of the wearer.

加速度計（複数の場合もある）を用いた従来の歩数カウントデバイスは通常、ユーザーが先ず、そのデバイスを限られた一組の向きに位置決めすることを必要とする。例えば、ユーザーは、専用軸（すなわち、デバイスの方向）が測定期間全体を通して重力の方向と実質的かつ連続的に整列されているように、デバイスを自身の身体に固定しなければならない。 Traditional step counting devices using accelerometers (s) usually require the user to first position the device in a limited set of orientations. For example, the user must secure the device to his body so that the dedicated axis (ie, the direction of the device) is substantially and continuously aligned with the direction of gravity throughout the measurement period.

既存のデバイスは通常、ユーザーの種々の歩行に対応する変化を検出することも、ユーザーの種々の歩行に対応する信号を区別することもできず、その結果、進めた歩数のカウントは不正確なものとなる。既存の歩数カウントデバイスでは、デバイスが受ける動作雑音によって、誤った足の運びも測定され、実際の足の運びが見落とされる。 Existing devices are typically unable to detect changes corresponding to the user's different walks or distinguish between signals corresponding to the user's different walks, resulting in inaccurate counts of steps taken. It becomes a thing. In the existing step counting device, the operation noise received by the device also measures the incorrect foot movement, and the actual foot movement is overlooked.

また、デバイスが取り付けられた身体部分の前方及び後方への振りは、あらゆる足の運びで同じであるとは限らず、既存のデバイスは通常、信号のピーク及び谷が一致していないことに起因して、ピークを歩数カウントとして正確に識別することができない。 Also, the forward and backward swing of the body part to which the device is attached is not the same for all foot movements, and existing devices are usually due to inconsistent signal peaks and valleys. Therefore, the peak cannot be accurately identified as a step count.

本発明の実施の形態は、上記問題のうちの少なくとも１つに対処することを試みる活動モニタリングのシステム及び方法を提供する。 Embodiments of the present invention provide activity monitoring systems and methods that attempt to address at least one of the above problems.

本発明の第１の態様によれば、デバイスを装着したユーザーの活動を分類するデバイスであって、
複数の軸の加速度計データを測定する加速度計と、
プロセッサであって、
加速度計データに基づいて複数の軸のうちの最活動軸（most active one：最も活動的な軸）を識別し、
最活動軸（most active axis）の加速度計データの信号振幅と、１つ又は複数の閾値とに基づいて、ユーザーの活動を分類する、
ように構成されている、プロセッサと、
を備える、デバイスが提供される。 According to the first aspect of the present invention, it is a device that classifies the activities of the user who wears the device.
Accelerometers that measure accelerometer data for multiple axes and
It ’s a processor,
Identify the most active one of the multiple axes based on accelerometer data
Classify user activity based on the signal amplitude of the most active axis accelerometer data and one or more thresholds.
The processor, which is configured to
The device is provided.

本発明の第２の態様によれば、デバイスを装着したユーザーが進めた歩数をカウントするデバイスであって、
少なくとも１つの軸の加速度計データを測定する加速度計と、
プロセッサであって、
連続する処理ウィンドウ内の加速度計データに微分演算子を適用し、
各処理ウィンドウ内の加速度計データの導関数のピークをカウントし、
現在のウィンドウ内の最初のピークと先行処理ウィンドウ内の最後のピークとの間の時間差に基づいてオーバーカウントされたピークを削除する、
ように構成されている、プロセッサと、
を備える、デバイスが提供される。 According to the second aspect of the present invention, the device counts the number of steps taken by the user wearing the device.
An accelerometer that measures accelerometer data for at least one axis,
It ’s a processor,
Apply the differential operator to the accelerometer data in the continuous processing window
Count the peak of the derivative of the accelerometer data in each processing window and
Remove overcounted peaks based on the time difference between the first peak in the current window and the last peak in the preprocessing window.
The processor, which is configured to
The device is provided.

本発明の第３の態様によれば、ユーザーの活動を分類する方法であって、
複数の軸の加速度計データを測定することと、
加速度計データに基づいて複数の軸のうちの最活動軸を識別することと、
最活動軸の加速度計データの信号振幅と、１つ又は複数の閾値とに基づいて、ユーザーの活動を分類することと、
を含む、方法が提供される。 According to the third aspect of the present invention, it is a method of classifying user activities.
Measuring accelerometer data for multiple axes and
Identifying the most active axis of multiple axes based on accelerometer data,
Classification of user activity based on the signal amplitude of the accelerometer data of the most active axis and one or more thresholds.
Methods are provided, including.

本発明の第４の態様によれば、ユーザーが進めた歩数をカウントする方法であって、
少なくとも１つの軸の加速度計データを測定することと、
連続する処理ウィンドウ内の加速度計データに微分演算子を適用することと、
各処理ウィンドウ内の加速度計データの導関数のピークをカウントすることと、
現在のウィンドウ内の最初のピークと先行処理ウィンドウ内の最後のピークとの間の時間差に基づいてオーバーカウントされたピークを削除することと、
を含む、方法が提供される。 According to the fourth aspect of the present invention, it is a method of counting the number of steps taken by the user.
Measuring accelerometer data for at least one axis and
Applying differential operators to accelerometer data in continuous processing windows,
Counting the peak of the derivative of the accelerometer data in each processing window,
Removing overcounted peaks based on the time difference between the first peak in the current window and the last peak in the preprocessing window,
Methods are provided, including.

本発明の実施形態は、当業者には、単に例示として、図面と併せて下記の記載からよりよく理解されるとともに容易に明らかになる。 Embodiments of the present invention will be better understood and readily apparent to those skilled in the art from the following description, along with the drawings, merely as an example.

一例示の実施形態による活動分類のプロセスを示す図である。It is a figure which shows the process of activity classification by an example embodiment. 生の加速度計データにおけるスパイクを示す図である。It is a figure which shows the spike in the raw accelerometer data. 一例示の実施形態による平滑化プロセスを適用した後の減衰したスパイクを有する図２の加速度計データを示す図である。FIG. 5 shows the accelerometer data of FIG. 2 with attenuated spikes after applying the smoothing process according to an exemplary embodiment. 一例示の実施形態による加速度計信号の例示の信号振幅及び求められた特性を示す図である。It is a figure which shows the example signal amplitude and the obtained characteristic of the accelerometer signal by an example embodiment. 一例示の実施形態による閾値レベルを用いて活動を分類するプロセスを示す図である。It is a figure which shows the process of classifying an activity using the threshold level by an example embodiment. 一例示の実施形態による異なる活動の間に測定された信号振幅を示す図である。It is a figure which shows the signal amplitude measured during the different activity by an example embodiment. 一例示の実施形態によるピーク検出及び歩数カウントのプロセスを示す図である。It is a figure which shows the process of peak detection and step count according to an Example embodiment. 一例示の実施形態によるパントンプキンス微分演算子（Pan Tompkins derivation operator）の適用前及び適用後の手首装着式デバイスの信号波形を示す図である。It is a figure which shows the signal waveform of the wrist-worn device before and after the application of the Pan Tompkins derivation operator according to an example embodiment. 一例示の実施形態による後続のウィンドウ（複数の場合もある）の処理に用いられる適応的閾値（Δ_ｗ）を示す図である。It is a figure which shows the _{adaptive threshold value (Δ w} ) used for processing of the subsequent window (s) according to an example embodiment. 一例示の実施形態による２つの連続したウィンドウのピーク間のピークツーピーク距離を示す図である。It is a figure which shows the peak-to-peak distance between the peaks of two consecutive windows by an example embodiment. 一例示の実施形態による活動分類及び歩数カウントが実行されるプロセスフローを示す図である。It is a figure which shows the process flow which performs activity classification and step count according to an Example Embodiment. 一例示の実施形態によるウェアラブルデバイス及び通信デバイスを備えるアセンブリの概略図である。It is a schematic diagram of an assembly including a wearable device and a communication device according to an exemplary embodiment. 一例示の実施形態によるウェアラブルデバイス及び通信デバイスを備えるアセンブリのブロック図である。FIG. 5 is a block diagram of an assembly comprising a wearable device and a communication device according to an exemplary embodiment. 一例示の実施形態によるユーザーの活動を分類するデバイスのブロック図である。It is a block diagram of the device which classifies the activity of the user by an example embodiment. 一例示の実施形態によるユーザーの歩数をカウントするデバイスのブロック図である。It is a block diagram of the device which counts the number of steps of a user by one Example Embodiment. 一例示の実施形態によるユーザーの活動を分類する方法を示すフローチャートである。It is a flowchart which shows the method of classifying the activity of a user by an example embodiment. 一例示の実施形態によるユーザーの歩数をカウントする方法を示すフローチャートである。It is a flowchart which shows the method of counting the number of steps of a user by one Example Embodiment.

本発明の実施形態は、ユーザーの活動を分類するウェアラブルデバイス及び方法と、ユーザーが進めた歩数をカウントするウェアラブルデバイス及び方法とに関する。１つの非限定的な例示の実施形態では、このデバイスは、ユーザーの手首に装着され、ユーザーの加速度情報を取得して処理し、ユーザーの活動を分類し及び／又はユーザーが進めた歩数をカウントするように構成されている。 Embodiments of the present invention relate to wearable devices and methods for classifying user activities and wearable devices and methods for counting the number of steps taken by the user. In one non-limiting example embodiment, the device is worn on the user's wrist to acquire and process the user's acceleration information, classify the user's activity and / or count the number of steps taken by the user. It is configured to do.

本明細書は、上記方法の動作を実行する装置も開示し、この装置は、例示の実施形態では、ウェアラブルデバイスの内部及び／又は外部に存在することができる。そのような装置は、所要の目的で特別に構築することもできるし、コンピューターに記憶されたコンピュータープログラムによって選択的にアクティブ化又は再構成される汎用コンピューター又は他のデバイスを含むこともできる。本明細書に提示されるアルゴリズム及び表示は、本来的に、どの特定のコンピューターにも関係付けられていないし、それ以外の装置にも関係付けられていない。様々な汎用マシンを本明細書の教示によるプログラムとともに用いることができる。代替的に、必要とされる方法ステップを実行する、より特殊化された装置を構築することが適切である場合がある。従来の汎用コンピューターの構造は、以下の説明から明らかになる。加えて、本明細書において説明する方法の個々のステップをコンピューターコードによって実施することができることが当業者に明らかであるという点で、本明細書は、コンピュータープログラムも暗に開示している。このコンピュータープログラムは、どの特定のプログラミング言語及びその実施態様にも限定されないことが意図されている。様々なプログラミング言語及びこれをコード化したものを用いて、本明細書に含まれる開示の教示内容を実施することができることが理解されるであろう。さらに、コンピュータープログラムは、どの特定の制御フローにも限定されないことも意図されている。本発明の趣旨又は範囲から逸脱することなく異なる制御フローを用いることができるコンピュータープログラムの他の多くの変形形態が存在する。 The present specification also discloses a device that performs the operation of the above method, which device can exist inside and / or outside the wearable device in an exemplary embodiment. Such devices may be specially constructed for the intended purpose, or may include general purpose computers or other devices that are selectively activated or reconfigured by computer programs stored in the computer. The algorithms and indications presented herein are not inherently associated with any particular computer, nor are they associated with any other device. Various general purpose machines can be used with the programs as taught herein. Alternatively, it may be appropriate to build a more specialized device that performs the required method steps. The structure of a conventional general-purpose computer will be clarified from the following description. In addition, the specification also implicitly discloses computer programs in that it will be apparent to those skilled in the art that individual steps of the methods described herein can be performed by computer code. It is intended that this computer program is not limited to any particular programming language and its embodiments. It will be appreciated that various programming languages and their encodings can be used to implement the teachings of the disclosures contained herein. Furthermore, it is also intended that computer programs are not limited to any particular control flow. There are many other variants of computer programs that can use different control flows without departing from the spirit or scope of the invention.

さらに、コンピュータープログラムのステップのうちの１つ又は複数は、逐次的ではなく並列に実行することができる。そのようなコンピュータープログラムは、任意のコンピューター可読媒体に記憶することができる。このコンピューター可読媒体は、磁気ディスク若しくは光ディスク、メモリチップ、又は汎用コンピューターとインターフェースするのに適した他の記憶デバイス等の記憶デバイスを含むことができる。コンピューター可読媒体は、インターネットシステムに例示されるようなハードワイヤード媒体、又はＧＳＭ（登録商標）移動電話システムに例示されるような無線媒体も含むことができる。コンピュータープログラムは、そのような汎用コンピューターにロードされて実行されると、好ましい方法のステップを実施する装置が効果的に得られる。 Moreover, one or more of the steps in a computer program can be performed in parallel rather than sequentially. Such computer programs can be stored on any computer-readable medium. The computer-readable medium can include storage devices such as magnetic disks or optical disks, memory chips, or other storage devices suitable for interfacing with general purpose computers. Computer-readable media can also include hard-wired media such as those exemplified by Internet systems, or wireless media such as those exemplified by GSM® mobile phone systems. When a computer program is loaded and executed on such a general purpose computer, it effectively provides a device that performs the steps of the preferred method.

本発明は、ハードウェアモジュールとしても実施することができる。より詳細に言えば、ハードウェアという意味で、モジュールは、他の構成要素又はモジュールとともに用いられるように設計された機能性ハードウェアユニットである。例えば、モジュールは、ディスクリート電子構成要素を用いて実施することもできるし、特定用途向け集積回路（ＡＳＩＣ）等の完全な電子回路の一部分を形成することもできる。非常に多くの他の可能性が存在する。当業者であれば、このシステムをハードウェアモジュール及びソフトウェアモジュールの組み合わせとして実施することもできることを理解するであろう。 The present invention can also be implemented as a hardware module. More specifically, in the sense of hardware, a module is a functional hardware unit designed to be used with other components or modules. For example, the module can be implemented with discrete electronic components or can form part of a complete electronic circuit such as an application specific integrated circuit (ASIC). There are so many other possibilities. Those skilled in the art will appreciate that this system can also be implemented as a combination of hardware and software modules.

図１は、一例示の実施形態によるユーザーの活動を分類する方法を示すフローチャート１００を示している。この方法は、
ステップ１０２において、ウェアラブルデバイスを通じてユーザーの加速度信号を取得することと、
ステップ１０４において、加速度信号のデータを複数の処理ウィンドウに分割することと、
各処理ウィンドウにおいて、
ステップ１０６において、移動平均関数を用いてデータを平滑化することと、
ステップ１０８において、加速度計データがｇ値データに変換されることと、
ステップ１１０において、加速度信号の最活動軸を識別することと、
ステップ１１２において、最活動軸からの加速度信号に基づいてユーザーの活動を分類することと、
を含む。 FIG. 1 shows a flowchart 100 showing a method of classifying user activities according to an exemplary embodiment. This method
In step 102, acquiring the user's acceleration signal through the wearable device
In step 104, dividing the acceleration signal data into a plurality of processing windows,
In each processing window
In step 106, smoothing the data using a moving average function
In step 108, the accelerometer data is converted into g value data, and
In step 110, identifying the most active axis of the acceleration signal and
In step 112, classifying the user's activity based on the acceleration signal from the most active axis,
including.

他の例示の特徴のうちの１つ又は複数と別個に及び／又は組み合わせて用いることができる例示の特徴の詳細を次に説明する。 Details of the exemplary features that can be used separately and / or in combination with one or more of the other exemplary features are described below.

処理ウィンドウ
ウィンドウのサイズは、本明細書では、単なる一例としてウィンドウの継続時間として説明される。活動を分類し及び／又は歩数をカウントするのに適した精度は、限定ではなく例として、特定の精度要件に応じて約０（０を含まず）秒〜５秒のウィンドウサイズを利用することによって達成することができることが分かっている。一般に、ウィンドウサイズが長いほど、ウィンドウ移行エリア内でオーバーカウントされるピークの機会を減らすことができ、したがって、精度を高めることができる。ウィンドウが短いほど、非常に短い時間期間内で発生する可能性がある異なる活動間の移行をより良好に捉えることができる。 Processing window The size of the window is described herein as the duration of the window, by way of example only. Suitable accuracy for classifying activities and / or counting steps is not limited, but as an example, using a window size of about 0 (not including 0) seconds to 5 seconds depending on the specific accuracy requirement. It is known that it can be achieved by. In general, the longer the window size, the less chance of peaks being overcounted within the window transition area, and thus the higher the accuracy. The shorter the window, the better the transition between different activities that can occur within a very short time period.

加速度計データの平滑化
生の加速度計データは通常、雑音を有する。例示の加速度計データ２０２における浮遊スパイク（stray spike）２００が図２に示されている。この浮遊スパイク２００は、誤った軸が後続の処理の最活動軸として識別される結果をもたらす場合がある。例示の実施形態では、平滑化が、生の加速度計データ２０２に有利に適用される。好ましくは、平滑化は、生の加速度計データ２００に移動平均演算を適用することによって達成される。 Smoothing accelerometer data Raw accelerometer data is usually noisy. The stray spike 200 in the exemplary accelerometer data 202 is shown in FIG. The floating spike 200 can result in the erroneous axis being identified as the most active axis for subsequent processing. In an exemplary embodiment, smoothing is applied favorably to raw accelerometer data 202. Preferably, smoothing is achieved by applying a moving average operation to the raw accelerometer data 200.

図３は、好ましくは後続の処理の最活動軸の識別に影響を与えない減衰したスパイク２００^＊を有する、１つの例示の実施形態による平滑化後の加速度計データ２０２^＊を示している。 FIG. 3 shows ^{accelerometer data 202 *} after smoothing according to one exemplary embodiment ^{, preferably with attenuated spikes 200 *} that do not affect the identification of the most active axis of subsequent processing.

最活動軸
例示の実施形態における最活動軸は、重力と、地面に対する装着者の足の衝撃力との寄与効果を表す、最大振幅信号を有する加速度計軸として識別される。換言すれば、例示の実施形態における最活動軸は、鉛直方向に最も近い、すなわち、地表に実質的に垂直な加速度計軸である。 Most active axis The most active axis in the illustrated embodiment is identified as an accelerometer axis having a maximum amplitude signal that represents the effect of gravity and the impact force of the wearer's foot on the ground. In other words, the most active axis in the exemplary embodiment is the accelerometer axis closest to the vertical direction, i.e., substantially perpendicular to the surface of the earth.

有利には、最活動軸は、デバイスがユーザーによって使用又は装着されている位置又は向きを問わず、他の軸よりも容易に識別することができる。 Advantageously, the most active axis can be more easily identified than any other axis, regardless of the position or orientation in which the device is used or worn by the user.

好ましい実施形態における最活動軸は、本明細書において移動平均と呼ばれる各ウィンドウ内の平滑化されたｘ軸、ｙ軸及びｚ軸（すなわち、地面に対する実際の向きに関係なく、３つの加速度計軸）のデータを比較することによって選択される。各ウィンドウからの各軸の絶対値が求められ、この絶対値は、本明細書において絶対移動平均と呼ばれる。この絶対値に基づく各軸の平均値が次に求められ、この平均値は、本明細書において平均絶対移動平均と呼ばれる。これらの３つの平均値の比較から、最大平均値を有する軸が、好ましい実施形態において、各ウィンドウの最活動軸として識別される。 The most active axes in a preferred embodiment are the three smoothed x-axis, y-axis and z-axis (ie, regardless of the actual orientation with respect to the ground) within each window, referred to herein as moving averages. ) Is selected by comparing the data. The absolute value of each axis from each window is determined, and this absolute value is referred to herein as the absolute moving average. The average value of each axis based on this absolute value is then obtained, and this average value is referred to as an average absolute moving average in the present specification. From the comparison of these three average values, the axis with the maximum average value is identified as the most active axis of each window in the preferred embodiment.

活動分類
ユーザーの活動は、例示の実施形態では、最活動軸からの移動平均データを用いて低活動（light activity）状態、中活動（moderate activity）状態又は高活動（heavy activity）状態に分類される。 Activity classification In the exemplary embodiment, the user's activity is classified into a light activity state, a moderate activity state, or a heavy activity state using the moving average data from the most active axis. To.

１つの実施形態では、最活動軸の信号振幅は、図４に示すように、例えば、約０（０を含まず）ｓ〜５ｓのサイズを有するウィンドウ４０８において、最活動軸データ４０６の最大（ｍａｘ）ｇ値４０４から平均ｇ値４００又は最小（ｍｉｎ）ｇ値４０２を減算することによって計算される。 In one embodiment, the signal amplitude of the most active axis is the maximum of the most active axis data 406, for example, in a window 408 having a size of about 0 (not including 0) s-5s, as shown in FIG. It is calculated by subtracting the average g value 400 or the minimum (min) g value 402 from the max) g value 404.

図５は、一例示の実施形態による閾値レベルを用いて活動を分類するプロセスを示すフローチャート５００を示している。デバイスがユーザーによる手首装着式のものである例では、実験結果（図６参照）は、例えば、０．１ｇ及び１ｇの閾値レベルを活動分類に用いることができることを示している。 FIG. 5 shows a flowchart 500 showing a process of classifying activities using threshold levels according to an exemplary embodiment. In the example where the device is wrist-worn by the user, experimental results (see FIG. 6) show that, for example, threshold levels of 0.1 g and 1 g can be used for activity classification.

ステップ５０２において、最活動軸の信号振幅（ＳＡ）が求められる。ステップ５０４において、ＳＡが閾値１よりも小さい場合、例えば、ＳＡ＜０．１ｇである場合、低活動状態への分類が行われる（ステップ５０６参照）。ステップ５０８において、ＳＡが閾値２よりも小さい場合、例えば、ＳＡ＜１ｇである場合、中活動状態への分類が行われる（ステップ５１０参照）。換言すれば、０．１ｇ≦ＳＡ＜１ｇの１つの例では、分類は中活動状態に行われる。ＳＡ≧閾値２である場合、例えば、ＳＡ≧１ｇである場合、高活動状態への分類が行われる（ステップ５１２参照）。 In step 502, the signal amplitude (SA) of the most active axis is obtained. In step 504, when SA is smaller than the threshold value 1, for example, when SA <0.1 g, classification into a low activity state is performed (see step 506). In step 508, when SA is smaller than the threshold value 2, for example, when SA <1 g, classification into a medium active state is performed (see step 510). In other words, in one example of 0.1 g ≤ SA <1 g, the classification is done in a medium active state. When SA ≧ threshold value 2, for example, when SA ≧ 1 g, classification into a high activity state is performed (see step 512).

分類の例には、以下のものが含まれる。
低活動−静止した起立、交通信号機が青に変わることの待機又は（例えば、デスク上での）タイプ入力等の移動のない動作
中活動−ゆっくりとしたウォーキング、きびきびとした歩行
高活動−ジョギング、ランニング Examples of classification include:
Low activity-Standing up, waiting for traffic lights to turn blue or non-moving movements such as typing (eg on a desk) Medium activity-Slow walking, snappy walking High activity-Jogging, running

身体の移動を伴う他のほとんどの活動、例えば、階段を上ること、サイクリング、スイミング、フットボールのプレーも、例示の実施形態では、例えば、
これらの異なる活動のそれぞれに対応する複数のＳＡ閾値（上記例では、閾値１及び２の上）に更に分割することに基づいて分類可能とすることができ、及び／又は
上記３つの一般的分類の更なる処理は、例示の実施形態では、
周波数分類を用いたフィルタリング及び識別及び／又は信号マッチング技法、
によって実行することができる。 Most other activities involving physical movement, such as climbing stairs, cycling, swimming, playing football, are also examples of embodiments, for example.
It can be classified based on further division into multiple SA thresholds (above thresholds 1 and 2 in the above example) corresponding to each of these different activities, and / or the above three general classifications. Further processing of, in the exemplary embodiment,
Filtering and identification and / or signal matching techniques using frequency classification,
Can be done by.

図６を参照すると、プロット６００及び６０２はそれぞれ、処理ウィンドウ内の最大値から最小値を引いたものに基づいて計算された最活動軸のＳＡと、処理ウィンドウ内の最大値から平均値を引いたものに基づいて計算された最活動軸のＳＡとを示している。図６から見て取ることができるように、ＳＡが処理ウィンドウ内の最大値から平均値を引いたものに基づくことは、閾値に基づく分類にとって好ましいものとすることができる。なぜならば、それぞれの活動領域内の絶対値が低減し、値の幅がより狭くなったより平滑なプロットが得られるからである。 Referring to FIG. 6, plots 600 and 602 are the SA of the most active axis calculated based on the maximum value minus the minimum value in the processing window, respectively, and the average value subtracted from the maximum value in the processing window. It shows the SA of the most active axis calculated based on the above. As can be seen from FIG. 6, it can be preferred for threshold-based classification that the SA is based on the maximum value in the processing window minus the average value. This is because the absolute values within each active region are reduced, resulting in a smoother plot with a narrower range of values.

図７は、一例示の実施形態による歩数をカウントするプロセスを示すフローチャート７００を示している。ステップ７０２において、加速度計データが捕捉される。ステップ７０４において、このデータは、プロセスウィンドウに分割される。ステップ７０６において、ローパスフィルタリングが、分類された活動に基づく最活動軸からのデータに適用される。ステップ７０８において、パントンプキンス微分演算子を用いた、フィルタリングされたデータの導関数が計算される。ステップ７１０において、導関数信号の出力が正規化される。ステップ７１２において、歩数をカウントするためのピーク検出が実行される。ステップ７１４において、適応的閾値が、現在のプロセスウィンドウに基づいて求められ、次のプロセスウィンドウに用いられるように更新される。ステップ７１６において、オーバーカウントされたピークが削除される。 FIG. 7 shows a flowchart 700 showing a process of counting the number of steps according to an exemplary embodiment. In step 702, accelerometer data is captured. In step 704, this data is divided into process windows. In step 706, lowpass filtering is applied to the data from the most active axis based on the classified activity. In step 708, the derivative of the filtered data is calculated using the Pantonpukins derivative operator. In step 710, the output of the derivative signal is normalized. In step 712, peak detection is performed to count the number of steps. In step 714, the adaptive threshold is determined based on the current process window and updated for use in the next process window. In step 716, the overcounted peak is deleted.

活動タイプに基づくローパスフィルター（ステップ７０６、図７）
ローパスフィルターのカットオフ周波数は、好ましくは、正確な周波数レンジの動作雑音を除去するように、活動タイプに基づいて調整される。正確なカットオフ周波数を選ぶことによって、有利には、後続のピーク検出処理中の誤ったピーク又は検出されないピークを回避する信号ジオメトリーを改善することができる。 Low-pass filter based on activity type (step 706, Figure 7)
The cutoff frequency of the lowpass filter is preferably adjusted based on the activity type to eliminate operating noise in the correct frequency range. Choosing the correct cutoff frequency can advantageously improve the signal geometry to avoid false or undetected peaks during subsequent peak detection processing.

例示の実施形態では、活動タイプは、ユーザーが入力することもできるし、上記で説明した活動分類方法及びデバイスを用いて又は他の任意の方法若しくはデバイスによって識別することもできる。 In an exemplary embodiment, the activity type can be entered by the user and can be identified using the activity classification methods and devices described above or by any other method or device.

パントンプキンス微分演算子（ステップ７０８、図７）

ここで、ｎはデータ点を示し、ｎ＞４である。 Pantonpukins differential operator (step 708, FIG. 7)

Here, n indicates a data point, and n> 4.

式（１）におけるパントンプキンス微分演算子は、好ましい実施形態では、勾配情報を有利に拡大すること及びピーク検出の信号状態を最適化することによって、ピーク検出の精度を更に改善するのに用いられる。 The Pantonpukins derivative operator in equation (1) is used in a preferred embodiment to further improve the accuracy of peak detection by favorably expanding the gradient information and optimizing the signal state of peak detection. ..

通常のウォーキング及びランニングの間、例えば、腕の振りは、通例、反対の脚と同期している。例えば、右腕が前方に振れたとき、左脚が前方に進み、また、逆もしかりである。この理由に基づいて、１つの加速度ピークは、ユーザーが行う足の運びごとに例えば手首装着式デバイスにおいて検出される。 During normal walking and running, for example, arm swings are usually synchronized with the opposite leg. For example, when the right arm swings forward, the left leg moves forward, and vice versa. For this reason, one acceleration peak is detected, for example, in a wrist-worn device for each footstep performed by the user.

加速度変化は、手の振り及び足の衝撃力の変化にも依存する可能性がある。通常のウォーキング状態の間、衝撃力は通常、十分強くなく、例えば手首装着式デバイスにおける加速度変化のほとんどは、手の振りに起因している。手の前方及び後方への振りは通常、足の運びごとに同じではないので、信号波形の一致しないピーク及び谷が、正確なピーク検出アルゴリズムを実施することを困難にする可能性があり、好ましい実施形態では、パントンプキンス微分演算子は、より一致したピーク及び谷のパターンを与える。図８ａ及び図８ｂはそれぞれ、一例示の実施形態によるパントンプキンス微分演算子の適用前（曲線８００）及び適用後（曲線８０２）の手首装着式デバイスの信号波形を示している。 Changes in acceleration may also depend on changes in hand waving and foot impact. During normal walking conditions, the impact force is usually not strong enough, for example most of the acceleration changes in wrist-worn devices are due to hand waving. Since the forward and backward swings of the hand are usually not the same for each foot movement, mismatched peaks and valleys in the signal waveform can make it difficult to implement an accurate peak detection algorithm, which is preferable. In embodiments, the Pantonpukins differential operator gives a more consistent pattern of peaks and valleys. 8a and 8b show the signal waveforms of the wrist-worn device before (curve 800) and after (curve 802) the Pantonpukins differential operator is applied, respectively, according to an exemplary embodiment.

正規化（ステップ７１０、図７）
例示の実施形態における正規化プロセスは、導関数信号がピーク検出処理のために正確にスケーリングされるようなものが好ましい。１つの実施形態では、信号は、最初に信号からその信号の最小値を減算し、次に、減算された信号の最大値によって除算することによって正規化される。 Normalization (step 710, FIG. 7)
The normalization process in the exemplary embodiment is preferably such that the derivative signal is accurately scaled for peak detection processing. In one embodiment, the signal is normalized by first subtracting the minimum value of the signal from the signal and then dividing by the maximum value of the subtracted signal.

ピーク検出（ステップ７１２、図７）
例示の実施形態によれば、正規化された導関数信号が閾値レベルを越えているとき、ピークが検出される（すなわち、歩数がカウントされる）。データは、この時、正規化されるので（例えば、ｍｉｎ値＝０、ｍａｘ値＝１）、最初の処理ウィンドウの閾値Δ_１は、例えば、０（０を含まず）〜０．５の任意の所定の値に設定することができる。 Peak detection (step 712, FIG. 7)
According to an exemplary embodiment, peaks are detected (ie, steps are counted) when the normalized derivative signal exceeds a threshold level. Since the data is normalized at this time (for example, min value = 0, max value = 1), the threshold value Δ1 of the _first processing window is, for example, arbitrary from 0 (not including 0) to 0.5. Can be set to a predetermined value of.

適応的閾値の決定及び更新（ステップ７１４、図７）
図９に示すように、適応的閾値（Δ_ｗ）が求められ、後続のウィンドウに用いられる。この適応的閾値は、現在のウィンドウの最後のピーク値と谷値との差の約０（０を含まず）％〜５０％の任意の所定の値に設定することができる。１つの例では、以下の式となる。

ここで、Δ_ｗ＝次のウィンドウｗの適応的閾値であり、ａ＝現在のウィンドウ（ｗ−１）内の最後のピーク値であり、ｂ＝この現在のウィンドウ（ｗ−１）内の最後の谷値であり、ｗ≧２である。 Determining and updating adaptive thresholds (step 714, FIG. 7)
As shown in FIG. 9, an adaptive threshold (Δ _w ) is determined and used in subsequent windows. This adaptive threshold can be set to any predetermined value of about 0 (not including 0)% to 50% of the difference between the last peak and valley values of the current window. In one example, the following equation is obtained.

Here, Δ _w = the adaptive threshold of the next window w, a = the last peak value in the current window (w-1), and b = the last in this current window (w-1). It is the valley value of, and w ≧ 2.

オーバーカウントされたピークの削除（ステップ７１６、図７）
パントンプキンス微分演算は、後続のウィンドウにおいて誤った最初のピークを生成する傾向を有する可能性があり、その結果、ピーク、すなわち歩数をオーバーカウントする可能性があることが、発明者らによって見出されている。 Removal of overcounted peaks (step 716, FIG. 7)
The inventors have found that Pantonpukins derivative operations can tend to produce the wrong first peak in subsequent windows, resulting in overcounting of peaks, i.e. steps. Has been done.

図１０は、好ましい実施形態においてカウントから除去されるそのような誤ったピークを有利に識別する方法を示している。誤ったピークは、現在の測定ウィンドウ１００２の最初のピーク１０００と前のウィンドウ１００６の最後のピーク１００４との間の距離ｄを調べることによって識別される。 FIG. 10 shows a method of advantageously identifying such false peaks that are removed from the count in a preferred embodiment. The erroneous peak is identified by examining the distance d between the first peak 1000 of the current measurement window 1002 and the last peak 1004 of the previous window 1006.

閾値は、１つの実施形態では、毎秒４歩に設定することができる。例えば、８０Ｈｚのサンプリングレートのデータ点領域では、距離閾値は、毎秒４歩に基づいて２０データ点に設定することができる。ピークツーピーク距離ｄが２０データ点よりも小さい場合、現在のピーク１２００は、誤りであると識別され、歩数カウントから除去される。 The threshold can be set to 4 steps per second in one embodiment. For example, in a data point region with a sampling rate of 80 Hz, the distance threshold can be set to 20 data points based on 4 steps per second. If the peak-to-peak distance d is less than 20 data points, the current peak 1200 is identified as erroneous and removed from the step count.

図１１は、１つの実施形態のプロセスフロー１１００を示すフローチャートを示している。この実施形態では、活動分類技法及び活動に基づく歩数カウント技法の双方が、単一のリストウェアラブルデバイスに統合されている。 FIG. 11 shows a flowchart showing the process flow 1100 of one embodiment. In this embodiment, both the activity classification technique and the activity-based step counting technique are integrated into a single wrist wearable device.

ステップ１１０２において、ユーザーの加速度データが、デバイスによって３軸加速度計を通じて捕捉される。ステップ１１０４において、加速度計信号が、約０（０を含まず）秒〜５秒の処理ウィンドウに分割される。ステップ１１０６において、各ウィンドウ内の信号が、移動平均関数を実行することによって平滑化される。ステップ１１０８において、最活動軸が、各軸の平均絶対移動平均値を比較することによって識別される。最大値を有する軸が最活動軸である。 In step 1102, the user's acceleration data is captured by the device through a 3-axis accelerometer. In step 1104, the accelerometer signal is divided into processing windows of about 0 (not including 0) seconds to 5 seconds. In step 1106, the signals in each window are smoothed by performing a moving average function. In step 1108, the most active axis is identified by comparing the average absolute moving averages of each axis. The axis with the maximum value is the most active axis.

ステップ１１１０及び１１１４において、各ウィンドウ内の活動が、最活動軸の移動平均信号の信号振幅（最大−平均）を計算することによって分類される。分類は、１つの非限定的な例では、０．１ｇ及び１ｇの閾値に基づく。低活動状態が識別されると（ステップ１１１０）、カウントする必要のある歩数がないので、プロセスは次のウィンドウに移動する（ステップ１１１２）。 In steps 1110 and 1114, the activity in each window is classified by calculating the signal amplitude (maximum-average) of the moving average signal of the most active axis. Classification is based on thresholds of 0.1 g and 1 g in one non-limiting example. When an inactive state is identified (step 1110), the process moves to the next window because there are no steps to count (step 1112).

中活動状態及び高活動状態の場合（ステップ１１１４）、歩数のカウントが実行される。ステップ１１１６及び１１１８において、各ウィンドウのローパスフィルターのカットオフ周波数は、識別された活動に基づいて更新され、それに応じて、ローパスフィルタリングが適用される。 In the medium and high activity states (step 1114), step counting is performed. In steps 1116 and 1118, the cutoff frequency of the lowpass filter for each window is updated based on the identified activity and the lowpass filtering is applied accordingly.

次に、ステップ１１２０において、パントンプキンス微分演算子が適用される。次に、ステップ１１２２において、導関数信号が、（１つの非限定的な例では、最初に信号からその信号の最小値を減算し、次に、減算された信号の最大値によって除算して）正規化され、信号振幅が各ウィンドウ内で例えば０〜１の範囲内に調整される。 Next, in step 1120, the Pantonpukins differential operator is applied. Then, in step 1122, the derivative signal is (in one non-limiting example, first subtract the minimum value of that signal from the signal and then divide by the maximum value of the subtracted signal). It is normalized and the signal amplitude is adjusted within each window, eg, in the range 0-1.

次に、ステップ１１２４において、検出された各ピークが歩数カウントに寄与するピーク検出が実行される。低活動状態から中活動状態又は高活動状態に移行した後の最初のウィンドウにおいて、閾値は、１つの非限定的な例では、０（０を含まず）〜０．５に設定される。換言すれば、低活動状態から移行した最初のウィンドウは、通常、歩数削除を必要としない。後続のウィンドウ（中活動状態又は高活動状態にある）について、オーバーカウントされたピーク検出及び削除は、低活動状態がそのウィンドウについて検出されるまで有利に実行される。後続のウィンドウでは、適応的閾値が用いられ、ステップ１１２６において、１つの非限定的な例では、先行ウィンドウの最後のピークと谷との間の高さの差の約０（０を含まず）％〜５０％に設定される。 Next, in step 1124, peak detection is performed in which each detected peak contributes to the step count. In the first window after transitioning from a low activity state to a medium activity state or a high activity state, the threshold is set to 0 (not including 0) to 0.5 in one non-limiting example. In other words, the first window that transitions from the inactive state usually does not require step removal. For subsequent windows (in medium or high activity), overcounted peak detection and deletion is favorably performed until a low activity is detected for that window. In subsequent windows, adaptive thresholds are used, and in step 1126, in one non-limiting example, the height difference between the last peak and valley of the preceding window is about 0 (not including 0). It is set to% to 50%.

次に、ステップ１１２８において、パントンプキンス演算に由来する誤ったピークが、例えば、ピークツーピーク距離（現在のウィンドウの最初のピーク対直前のウィンドウの最後のピーク）閾値を用いて除去される。１つの非限定的な例における閾値は、毎秒４歩に基づいている。例えば、８０Ｈｚのサンプリングレートのデータ点領域では、距離閾値は２０データ点に設定される。ピークツーピーク距離が２０データ点よりも小さい場合、現在のピークは、誤ったものとして識別され、歩数カウントから除去される。 Then, in step 1128, the erroneous peaks resulting from the Pantonpukins operation are removed using, for example, a peak-to-peak distance (first peak in the current window vs. last peak in the previous window) threshold. The threshold in one non-limiting example is based on 4 steps per second. For example, in a data point region with a sampling rate of 80 Hz, the distance threshold is set to 20 data points. If the peak-to-peak distance is less than 20 data points, the current peak is identified as false and removed from the step count.

次のウィンドウのプロセスは、ループバックし、上記で説明したステップ１１０６〜１１２８を実行する。 The process in the next window loops back and performs steps 1106-1128 as described above.

図１２は、一例示の実施形態による腕時計１２０１の形態のウェアラブルデバイスを備えるアセンブリ１２００を示している。異なる実施形態では、このデバイスは、ユーザーの腕、ウエスト、ヒップ又は足等のユーザーの身体の任意の部分における装着に適した他の任意の形態とすることもできることが理解されるであろう。腕時計１２０１は、ユーザーの活動を分類し及び／又はユーザーが進めた歩数を計算し、結果（複数の場合もある）を、移動電話１２０２若しくは他のポータブル電子デバイス等のアセンブリ１２００の電気通信デバイス、又はデスクトップコンピューター、ラップトップコンピューター、タブコンピューター等の計算デバイスに無線で通信する。 FIG. 12 shows an assembly 1200 with a wearable device in the form of a wristwatch 1201 according to an exemplary embodiment. It will be appreciated that in different embodiments, the device may be in any other form suitable for wearing on any part of the user's body, such as the user's arms, waist, hips or feet. The watch 1201 classifies the user's activity and / or calculates the number of steps taken by the user and outputs the result (s) to the telecommunications device of assembly 1200, such as the mobile phone 1202 or other portable electronic device. Alternatively, it wirelessly communicates with computing devices such as desktop computers, laptop computers, and tab computers.

図１３は、ユーザーの活動を分類し及び／又は歩数をカウントする、一例示の実施形態によるウェアラブルデバイス１３０１を備えるアセンブリ１３００の概略ブロック図を示している。デバイス１３０１は、ユーザーの加速度情報を取得する加速度計又はジャイロスコープ等の信号検知モジュール１３０２を備える。 FIG. 13 shows a schematic block diagram of an assembly 1300 comprising a wearable device 1301 according to an exemplary embodiment that classifies user activity and / or counts steps. The device 1301 includes a signal detection module 1302 such as an accelerometer or a gyroscope that acquires user acceleration information.

このデバイスでの使用に適合することができる好ましい加速度計の１つの非限定的な例は、Freescale Semiconductor, Inc社から入手できる３軸加速度計ＭＭＡ８６５２ＦＣである。この加速度計は、単一のパッケージを用いて３つの全ての方向で加速度を測定するという利点を提供することができる。代替的に、３軸検知を提供するように指向された幾つかの単軸加速度計を異なる実施形態において用いることができる。 One non-limiting example of a preferred accelerometer that can be adapted for use in this device is the 3-axis accelerometer MMA8562FC available from Freescale Semiconductor, Inc. This accelerometer can offer the advantage of measuring acceleration in all three directions using a single package. Alternatively, several uniaxial accelerometers oriented to provide triaxial detection can be used in different embodiments.

デバイス１３０１は、信号検知モジュール１３０２から加速度情報を受信して処理するように構成されたプロセッサ等のデータ処理計算モジュール１３０４も備える。デバイス１３０１は、当該デバイス１３０１のユーザーに結果を表示する表示ユニット１３０６も備える。この実施形態におけるデバイス１３０１は、アセンブリ１３００の電気通信デバイス１３１０と無線で通信するように構成された無線送信モジュール１３０８を更に備える。電気通信デバイス１３１０は、ウェアラブルデバイス１３０１から信号を受信する無線受信機モジュール１３１２と、電気通信デバイス１３１０のユーザーに結果を表示する表示ユニット１３１４とを備える。 The device 1301 also includes a data processing calculation module 1304 such as a processor configured to receive and process acceleration information from the signal detection module 1302. The device 1301 also includes a display unit 1306 that displays the result to the user of the device 1301. The device 1301 in this embodiment further comprises a wireless transmission module 1308 configured to wirelessly communicate with the telecommunications device 1310 in assembly 1300. The telecommunications device 1310 includes a wireless receiver module 1312 that receives a signal from the wearable device 1301 and a display unit 1314 that displays the result to the user of the telecommunications device 1310.

図１４は、１つの実施形態によるデバイス１４００を装着したユーザーの活動を分類する当該デバイスのブロック図を示している。デバイス１４００は、複数の軸の加速度計データを測定する加速度計１４０２と、加速度計データに基づいて複数の軸のうちの最活動軸を識別するとともに、最活動軸の加速度計データの信号振幅及び１つ又は複数の閾値に基づいてユーザーの活動を分類するように構成されたプロセッサ１４０４とを備える。 FIG. 14 shows a block diagram of a device that classifies the activities of a user wearing the device 1400 according to one embodiment. The device 1400 identifies the accelerometer 1402 that measures the accelerometer data of a plurality of axes, the most active axis among the plurality of axes based on the accelerometer data, and the signal amplitude and the signal amplitude of the accelerometer data of the most active axis. It comprises a processor 1404 configured to classify user activity based on one or more thresholds.

プロセッサ１４０４は、最活動軸を識別する前に平滑化を加速度計データに適用するように構成することができる。 Processor 1404 can be configured to apply smoothing to accelerometer data before identifying the most active axis.

プロセッサ１４０４は、平滑化された信号の最大平均絶対振幅を有する軸を求めることによって最活動軸を識別するように構成することができる。この最大平均絶対振幅は、最大平均絶対移動平均信号値と呼ばれる場合もある。 Processor 1404 can be configured to identify the most active axis by finding the axis with the maximum average absolute amplitude of the smoothed signal. This maximum average absolute amplitude is sometimes referred to as the maximum average absolute moving average signal value.

プロセッサ１４０４は、最活動軸の加速度計データの最大信号振幅に基づいて活動を分類するように構成することができる。 Processor 1404 can be configured to classify activity based on the maximum signal amplitude of accelerometer data for the most active axis.

プロセッサ１４０４は、最活動軸の加速度計データの最大信号振幅から平均信号振幅を引いたものに基づいて活動を分類するように構成することができる。 Processor 1404 can be configured to classify activity based on the maximum signal amplitude of the accelerometer data for the most active axis minus the average signal amplitude.

プロセッサ１４０４は、所定の処理ウィンドウにわたって測定された加速度計データに基づいて最活動軸を識別するとともに、ユーザーの活動を分類するように構成することができる。 Processor 1404 can be configured to identify the most active axis and classify user activity based on accelerometer data measured over a predetermined processing window.

処理ウィンドウは、約０（０を含まず）秒〜５秒の範囲とすることができる。 The processing window can range from about 0 (not including 0) seconds to 5 seconds.

図１５は、１つの実施形態によるデバイスを装着したユーザーが進めた歩数をカウントするデバイス１５００のブロック図を示している。デバイス１５００は、少なくとも１つの軸の加速度計データを測定する加速度計１５０２と、連続する処理ウィンドウにおいて微分演算子を加速度計データに適用し、各処理ウィンドウ内の加速度計データの導関数のピークをカウントし、現在のウィンドウ内の最初のピークと先行処理ウィンドウ内の最後のピークとの間の時間差に基づいて、オーバーカウントされたピークを削除するように構成されたプロセッサ１５０４とを備える。 FIG. 15 shows a block diagram of a device 1500 that counts the number of steps taken by a user wearing the device according to one embodiment. The device 1500 applies the accelerometer 1502, which measures accelerometer data for at least one axis, and the differential operator to the accelerometer data in successive processing windows, and peaks the derivatives of the accelerometer data in each processing window. It includes a processor 1504 that is configured to count and remove overcounted peaks based on the time difference between the first peak in the current window and the last peak in the preprocessing window.

プロセッサ１５０４は、現在の処理ウィンドウが、低活動状態から中活動状態又は高活動状態に移行した後の最初の処理ウィンドウである場合に、第１の閾値に基づいてピークをカウントするように構成することができる。 Processor 1504 is configured to count peaks based on a first threshold when the current processing window is the first processing window after transitioning from a low activity state to a medium activity state or a high activity state. be able to.

プロセッサは、次のウィンドウの適応的閾値を更新するように更に構成することができる。次のウィンドウの適応的閾値は、現在の処理ウィンドウ内の最後の連続するピーク及び谷の対の信号振幅の差に基づくことができる。次のウィンドウの適応的閾値は、現在の処理ウィンドウ内の最後の連続するピーク及び谷の対の信号振幅の差の約０（０を含まず）％〜５０％とすることができる。 The processor can be further configured to update the adaptive threshold of the next window. The adaptive threshold of the next window can be based on the difference in signal amplitude of the last consecutive peak and valley pair in the current processing window. The adaptive threshold for the next window can be about 0 (not including 0)% to 50% of the difference in signal amplitude between the last consecutive peak and valley pair in the current processing window.

プロセッサ１５０４は、現在のウィンドウ内の最初のピークと先行処理ウィンドウ内の最後のピークとの間の時間差が第２の閾値よりも小さい場合、現在のウィンドウにおけるピークカウントからピークを削除するように構成することができる。この第２の閾値は、約１／４秒とすることができる。微分演算子は、パントンプキンス微分演算子を含むことができる。 Processor 1504 is configured to remove a peak from the peak count in the current window if the time difference between the first peak in the current window and the last peak in the preprocessing window is less than the second threshold. can do. This second threshold can be about 1/4 second. Derivative operators can include Pantompukins derivative operators.

デバイス１４００、１５００は、ウェアラブルデバイスに実装することができる。 Devices 1400 and 1500 can be mounted on wearable devices.

デバイス１４００、１５００は、ウェアラブルデバイス及び通信デバイスを備えるアセンブリに実装することができる。 Devices 1400 and 1500 can be implemented in an assembly that includes wearable and communication devices.

デバイス１４００、１５００は、ウェアラブルデバイス及び無線通信デバイスを備えるアセンブリに実装することができる。 Devices 1400 and 1500 can be implemented in an assembly that includes wearable and wireless communication devices.

図１６は、一例示の実施形態によるユーザーの活動を分類する方法を示すフローチャート１６００を示している。ステップ１６０２において、複数の軸の加速度計データが測定される。ステップ１６０４において、複数の軸のうちの最活動軸が、加速度計データに基づいて識別される。ステップ１６０６において、ユーザーの活動が、最活動軸の加速度計データの信号振幅及び１つ又は複数の閾値に基づいて分類される。 FIG. 16 shows a flowchart 1600 showing a method of classifying user activities according to an exemplary embodiment. In step 1602, accelerometer data for a plurality of axes is measured. In step 1604, the most active axis of the plurality of axes is identified based on the accelerometer data. In step 1606, user activity is categorized based on the signal amplitude of the accelerometer data of the most active axis and one or more thresholds.

本方法は、最活動軸を識別する前に平滑化を加速度計データに適用することを含むことができる。 The method can include applying smoothing to accelerometer data before identifying the most active axis.

本方法は、平滑化された信号の最大平均絶対値を有する軸を求めることによって最活動軸を識別することを含むことができる。この最大平均絶対値は、最大平均絶対移動平均信号値と呼ばれる場合もある。本方法は、最活動軸の加速度計データの最大信号振幅に基づいて活動を分類することを含むことができる。 The method can include identifying the most active axis by finding the axis with the maximum average absolute value of the smoothed signal. This maximum average absolute value is sometimes called the maximum average absolute moving average signal value. The method can include classifying activity based on the maximum signal amplitude of the accelerometer data for the most active axis.

本方法は、最活動軸の加速度計データの最大信号振幅から平均信号振幅を引いたものに基づいて活動を分類することを含むことができる。 The method can include classifying activity based on the maximum signal amplitude of the accelerometer data for the most active axis minus the average signal amplitude.

本方法は、所定の処理ウィンドウにわたって測定された加速度計データに基づいて最活動軸を識別するとともに、ユーザーの活動を分類することを含むことができる。 The method can include identifying the most active axis based on accelerometer data measured over a predetermined processing window and classifying the user's activity.

図１７は、ユーザーが進めた歩数をカウントする方法を示すフローチャート１７００を示している。ステップ１７０２において、少なくとも１つの軸の加速度計データが測定される。ステップ１７０４において、微分演算子が、連続する処理ウィンドウ内の加速度計データに適用される。ステップ１７０６において、各処理ウィンドウ内の加速度計データの導関数のピークがカウントされる。ステップ１７０８において、オーバーカウントされたピークが、現在のウィンドウ内の最初のピークと先行処理ウィンドウ内の最後のピークとの間の時間差に基づいて削除される。 FIG. 17 shows a flowchart 1700 showing a method of counting the number of steps taken by the user. In step 1702, accelerometer data for at least one axis is measured. In step 1704, the differential operator is applied to the accelerometer data in the continuous processing window. At step 1706, the peak of the derivative of the accelerometer data in each processing window is counted. In step 1708, the overcounted peaks are deleted based on the time difference between the first peak in the current window and the last peak in the preprocessing window.

本方法は、現在の処理ウィンドウが、低活動状態から中活動状態又は高活動状態に移行した後の最初の処理ウィンドウである場合に、第１の閾値に基づいてピークをカウントすることを含むことができる。 The method includes counting peaks based on a first threshold when the current processing window is the first processing window after transitioning from a low activity state to a medium activity state or a high activity state. Can be done.

本方法は、次のウィンドウの適応的閾値を更新することを更に含むことができる。次のウィンドウの適応的閾値は、現在の処理ウィンドウ内の最後の連続するピーク及び谷の対の信号振幅の差に基づくことができる。次のウィンドウの適応的閾値は、現在の処理ウィンドウ内の最後の連続するピーク及び谷の対の信号振幅の差の約０（０を含まず）％〜５０％とすることができる。 The method can further include updating the adaptive threshold of the next window. The adaptive threshold of the next window can be based on the difference in signal amplitude of the last consecutive peak and valley pair in the current processing window. The adaptive threshold for the next window can be about 0 (not including 0)% to 50% of the difference in signal amplitude between the last consecutive peak and valley pair in the current processing window.

本方法は、現在の処理ウィンドウ内の最初のピークと先行処理ウィンドウ内の最後のピークとの間の時間差が第２の閾値よりも小さい場合、現在の処理ウィンドウにおけるピークカウントからピークを削除することを含むことができる。この第２の閾値は、約１／４秒とすることができる。 This method removes a peak from the peak count in the current processing window if the time difference between the first peak in the current processing window and the last peak in the preceding processing window is less than the second threshold. Can be included. This second threshold can be about 1/4 second.

微分演算子は、パントンプキンス微分演算子を含むことができる。 Derivative operators can include Pantompukins derivative operators.

本発明の例示の実施形態は、有利には、モニタリング期間全体を通して固定した向きにデバイスを取り付ける必要がない。これは、例示の実施形態におけるデバイスが、後続のプロセスに用いられる最活動軸（衝撃力の方向に最も近い軸）を処理ウィンドウ内で絶えず検出するからである。この最活動軸は、例示の実施形態では、各ウィンドウ内の最大平均絶対移動平均加速度信号を有する軸を探すことによって識別することができる。 An exemplary embodiment of the invention advantageously does not require the device to be mounted in a fixed orientation throughout the monitoring period. This is because the device in the exemplary embodiment constantly detects the most active axis (the axis closest to the direction of impact force) used in subsequent processes within the processing window. This most active axis can be identified by looking for the axis with the maximum average absolute moving average acceleration signal in each window in the exemplary embodiment.

本発明の実施形態は、有利には、変化を検出可能とすることができ、加速度計データをプロセスウィンドウに分割し、各ウィンドウ内で閾値レベル（例えば、０．１ｇ及び１ｇ）に対する信号振幅（例えば、最大−平均又は最大−最小）を観察することによって低状態、中状態又は高状態に対応する信号を区別可能とすることができる。 Embodiments of the invention can advantageously make changes detectable, divide the accelerometer data into process windows, and within each window the signal amplitude (eg, 0.1 g and 1 g) relative to the threshold level (eg, 0.1 g and 1 g). For example, by observing the maximum-average or maximum-minimum), it is possible to distinguish the signals corresponding to the low state, the medium state, or the high state.

本発明の実施形態では、動作雑音は、有利には、活動に応じて適したカットオフ周波数を有するローパスフィルターを用いて正確に除去することができる。 In embodiments of the present invention, operating noise can advantageously be accurately removed using a low-pass filter with a cutoff frequency suitable for the activity.

本発明の実施形態では、パントンプキンス微分演算は、ピーク距離とピークの最大−最小値に基づく適応的閾値とに基づくピーク削除アルゴリズムを伴うことで、有利には、上記デバイス及び上記方法がピークを歩数カウントとして正確に識別することを助ける。 In an embodiment of the invention, the Pantonpukins derivative operation involves a peak removal algorithm based on a peak distance and an adaptive threshold based on the maximum-minimum value of the peak, thereby advantageously causing the device and method to peak. Helps identify accurately as a step count.

当業者には、包括的に記載されている本発明の趣旨又は範囲から逸脱することなく、特定の実施形態において示されている本発明に対して数多くの変形及び／又は変更を行うことができることが理解される。したがって、本実施形態は、全ての観点において例示的であり限定的ではないと見なされる。また、本発明は、特徴又は特徴の組合せが特許請求の範囲又は本実施形態に明示的に記載されていなくても、任意の特徴の組合せ、特に、特許請求の範囲における任意の特徴の組合せを含む。 One of ordinary skill in the art can make numerous modifications and / or modifications to the invention shown in a particular embodiment without departing from the comprehensive description of the invention or scope. Is understood. Therefore, this embodiment is considered to be exemplary and not limiting in all respects. The present invention also provides any combination of features, in particular any combination of features within the scope of the claims, even if the features or combinations of features are not explicitly stated in the claims or embodiments. Including.

例えば、手首装着式デバイスが幾つかの実施形態で説明されているが、上記デバイスは、ユーザーの腕、ヒップ、ウエスト又は足に装着することができる。また、上記デバイス及び上記方法は、上記で説明したような活動分類及び歩数カウントのうちの一方のみを実行することもできるし、双方を同時に実行することもできる。 For example, wrist-worn devices have been described in some embodiments, which can be worn on the user's arms, hips, waist or feet. In addition, the device and the method can execute only one of the activity classification and the step count as described above, or both can be executed at the same time.

Claims

デバイスを装着したユーザーが進めた歩数をカウントする該デバイスであって、
少なくとも１つの軸の加速度計データを測定する加速度計と、プロセッサとを備え、
前記プロセッサは、連続する処理ウィンドウ内の前記加速度計データに微分演算子を適用し、各処理ウィンドウ内の前記加速度計データの導関数のピークをカウントし、現在の処理ウィンドウ内の最初のピークと先行処理ウィンドウ内の最後のピークとの間の時間差に基づいてオーバーカウントされたピークを削除するように構成されている、デバイス。 The device that counts the number of steps taken by the user wearing the device.
It is equipped with an accelerometer for measuring accelerometer data of at least one axis and a processor.
The processor applies a differential operator to the accelerometer data in successive processing windows, counts the peaks of the derivatives of the accelerometer data in each processing window, and with the first peak in the current processing window. A device that is configured to remove overcounted peaks based on the time difference from the last peak in the preprocessing window.

前記プロセッサは、前記現在の処理ウィンドウが低活動状態から中活動状態又は高活動状態に移行した後の最初の処理ウィンドウである場合、第１の閾値に基づいて前記ピークをカウントするように構成されている、請求項１に記載のデバイス。 The processor is configured to count the peaks based on a first threshold if the current processing window is the first processing window after transitioning from a low activity state to a medium activity state or a high activity state. The device according to claim 1.

前記プロセッサは、前記次の処理ウィンドウの適応的閾値を更新するように更に構成されている、請求項１又は２に記載のデバイス。 The device of claim 1 or 2, wherein the processor is further configured to update the adaptive threshold of the next processing window.

前記次の処理ウィンドウの前記適応的閾値は、前記現在の処理ウィンドウ内の最後の連続するピーク及び谷の対の信号振幅の前記差に基づいている、請求項３に記載のデバイス。 The device of claim 3, wherein the adaptive threshold of the next processing window is based on the difference in signal amplitude of the last continuous peak and valley pair in the current processing window.

前記次の処理ウィンドウの前記適応的閾値は、前記現在の処理ウィンドウ内の前記最後の連続するピーク及び谷の対の信号振幅の前記差の約０（０を含まず）％〜５０％である、請求項４に記載のデバイス。 The adaptive threshold of the next processing window is about 0 (not including 0)% to 50% of the difference in signal amplitude of the last continuous peak and valley pair in the current processing window. , The device of claim 4.

前記プロセッサは、前記現在の処理ウィンドウ内の前記最初のピークと前記先行処理ウィンドウ内の前記最後のピークとの間の前記時間差が第２の閾値よりも小さい場合、前記現在の処理ウィンドウにおける前記ピークカウントからピークを削除するように構成されている、請求項１〜５のいずれか１項に記載のデバイス。 When the time difference between the first peak in the current processing window and the last peak in the preceding processing window is smaller than the second threshold value, the processor causes the peak in the current processing window. The device of any one of claims 1-5, which is configured to remove peaks from the count.

前記第２の閾値は約１／４秒である、請求項６に記載のデバイス。 The device of claim 6, wherein the second threshold is about 1/4 second.

前記微分演算子はパントンプキンス微分演算子を含む、請求項１〜７のいずれか１項に記載のデバイス。 The device according to any one of claims 1 to 7, wherein the differential operator includes a Pantonpukins differential operator.

前記デバイスは、ウェアラブルデバイスに実装される、請求項１〜８のいずれか１項に記載のデバイス。 The device according to any one of claims 1 to 8, wherein the device is mounted on a wearable device.

前記デバイスは、ウェアラブルデバイス及び通信デバイスを備えるアセンブリに実装される、請求項１〜９のいずれか１項に記載のデバイス。 The device according to any one of claims 1 to 9, wherein the device is mounted in an assembly including a wearable device and a communication device.

前記デバイスは、ウェアラブルデバイス及び無線通信デバイスを備えるアセンブリに実装される、請求項１〜１０のいずれか１項に記載のデバイス。 The device according to any one of claims 1 to 10, wherein the device is mounted in an assembly including a wearable device and a wireless communication device.

ユーザーが進めた歩数をカウントする方法であって、
少なくとも１つの軸の加速度計データを測定することと、
連続する処理ウィンドウ内の前記加速度計データに微分演算子を適用することと、
各処理ウィンドウ内の前記加速度計データの導関数のピークをカウントすることと、
現在の処理ウィンドウ内の最初のピークと先行処理ウィンドウ内の最後のピークとの間の時間差に基づいてオーバーカウントされたピークを削除することと、
を含む、方法。 It is a method of counting the number of steps taken by the user.
Measuring accelerometer data for at least one axis and
Applying a differential operator to the accelerometer data in a continuous processing window,
Counting the peak of the derivative of the accelerometer data in each processing window,
Removing overcounted peaks based on the time difference between the first peak in the current processing window and the last peak in the preprocessing window,
Including methods.

前記現在の処理ウィンドウが低活動状態から中活動状態又は高活動状態に移行した後の最初の処理ウィンドウである場合、第１の閾値に基づいて前記ピークをカウントすることを含む、請求項１２に記載の方法。 12. If the current processing window is the first processing window after transitioning from a low activity state to a medium activity state or a high activity state, claim 12 includes counting the peak based on a first threshold. The method described.

前記次の処理ウィンドウの適応的閾値を更新することを更に含む、請求項１２又は１３に記載の方法。 12. The method of claim 12 or 13, further comprising updating the adaptive threshold of the next processing window.

前記次の処理ウィンドウの前記適応的閾値は、前記現在の処理ウィンドウ内の最後の連続するピーク及び谷の対の信号振幅の前記差に基づいている、請求項１４に記載の方法。 14. The method of claim 14, wherein the adaptive threshold of the next processing window is based on the difference in signal amplitude of the last continuous peak and valley pair in the current processing window.

前記次の処理ウィンドウの前記適応的閾値は、前記現在の処理ウィンドウ内の前記最後の連続するピーク及び谷の対の信号振幅の前記差の約０（０を含まず）％〜５０％である、請求項１５に記載の方法。 The adaptive threshold of the next processing window is about 0 (not including 0)% to 50% of the difference in signal amplitude of the last continuous peak and valley pair in the current processing window. , The method of claim 15.

前記現在の処理ウィンドウ内の前記最初のピークと前記先行処理ウィンドウ内の前記最後のピークとの間の前記時間差が第２の閾値よりも小さい場合、前記現在の処理ウィンドウにおける前記ピークカウントからピークを削除することを含む、請求項１２〜１６のいずれか１項に記載の方法。 When the time difference between the first peak in the current processing window and the last peak in the preceding processing window is smaller than the second threshold, the peak is calculated from the peak count in the current processing window. The method according to any one of claims 12 to 16, comprising deleting.

前記第２の閾値は約１／４秒である、請求項１７に記載の方法。 The method of claim 17, wherein the second threshold is about 1/4 second.

前記微分演算子はパントンプキンス微分演算子を含む、請求項１２〜１８のいずれか１項に記載の方法。
The method according to any one of claims 12 to 18, wherein the differential operator includes a Pantonpukins differential operator.