JP7502681B2 - 動作評価方法、コンピュータプログラム及び動作評価システム - Google Patents

Description

本発明は、動作評価方法、コンピュータプログラム及び動作評価システムに関する。

従来、動作に関する時系列データを用いて人物の姿勢や動作を分類する技術が提案されている。動作に関する時系列データとは、時間的に連続して取得される人物の体の状態を示すデータである。例えば、動作に関する時系列データは、生体情報における表面筋電位データ、心電データ、脳波データといった体の状態を連続して測定したデータや、加速度データ及び圧力データのように、体の外部出力を測定したデータである。

従来における人物の姿勢や動作を分類する技術では、例えば、加速度データを用いることにより歩行と走行の違いを分類したり、加速度データを用いて、座位や立位の分類といった動作推定が行われてきた。ここで、動作に関する時系列データの一例を図９に示す。動作に関する時系列データは、一般的には、観測対象の動作の波形を含む区間Ｔ１と、観測対象の動作の波形を含まない区間Ｔ２とを含んでいる。

時系列データから動作推定を行う方法として、ユーグリット距離を用いる方法がある。この方法では、時系列データの時間情報を維持した上で、解析対象とする動作を示した部分時系列データを時系列データから抜き出し、抜き出した部分時系列データ間のユーグリット距離を求めて動作推定を行う。この方法では、図１０に示すように、まず時系列データ１及び２それぞれから、解析対象とする動作を示した部分時系列データを抜き出す。次に、時系列データ１から抜き出した部分時系列データをＮ（Ｎは１以上の整数）個サンプリングしてＮ次元ベクトルとし、時系列データ２から抜き出した部分時系列データをＭ（Ｍは１以上の整数）個サンプリングしてＭ次元ベクトルを取得する。ユーグリット距離を用いる方法では、Ｎ＝Ｍとする。そして、取得したＮ次元ベクトルとＭ次元ベクトルとの間のユークリッド距離を算出する。

ただし、ユーグリット距離による時系列データの類似度の判定は、時間的な歪みに弱い。すなわち、同一動作を、ゆっくり行った場合と早く行った場合との分類に弱いという弱点がある。

ユーグリット距離の時間的な歪みの弱点を解消したＤＴＷ（Dynamic Time Warping）といった手法も提案されている。ＤＴＷの方法では、図１１に示すように、まず時系列データ３及び４それぞれから、解析対象とする動作を示した部分時系列データを抜き出す。次に、時系列データ３から抜き出した部分時系列データをＮ個サンプリングしてＮ次元ベクトルとし、時系列データ４から抜き出した部分時系列データをＭ個サンプリングしてＭ次元ベクトルを取得する。ＤＴＷを用いる方法では、Ｎ＝Ｍである必要はなく、Ｎ≠Ｍでもよい。そして、取得したＮ次元ベクトルとＭ次元ベクトルとの間の距離をＤＴＷにて算出する。

Preece, Stephen J., John Y. Goulermas, Laurence P. J. Kenney, Dave Howard, Kenneth Meijer, and Robin Crompton. 2009. "Activity Identification Using Body-Mounted Sensors--a Review of Classification Techniques." Physiological Measurement 30 (4): R1-33. Berndt D, Clifford J (1994) Using dynamic time warping to find patterns in time series. AAAI-94 workshop on knowledge discovery in databases, pp 229-248

上記の従来手法の場合、１つの動作を示す複数の時系列データ毎にデータ間の距離を計算し、その距離を特徴量として、時系列データの分類を行っている。そのため１つの動作を示す複数の時系列データ間の連動性の微妙な違いは、各データ間の距離を計算する際に、情報として欠落しており、表現できていないという欠点がある。その結果、例えば同一動作に対する上手、下手といった違いを評価するには向いていない。

このような動作の良し悪しを評価するためには、複数の筋の連動タイミングの違いと、複数の筋ごとに収縮する時間タイミングの違いとを加味する必要がある。しかしながら、従来の手法においては、これらの違いは時系列データのスケールにより消失してしまう。さらに、対象信号以外のノイズのみが含まれる区間に対しても、等しく扱うため評価精度が低下してしまうという問題があった。

上記事情に鑑み、本発明は、人物の動作の評価精度を向上させることができる技術の提供を目的としている。

本発明の一態様は、複数のセンサそれぞれにより取得された人物の動作に関する時系列データにおけるノイズを除去するノイズ除去ステップと、ノイズが除去された各時系列データから、前記人物の動作が行われているオンセット区間のデータを抽出する抽出ステップと、抽出された各時系列データの前記オンセット区間が重なる、あるいは、前後一定時間に含まれる前記オンセット区間を一つのデータ群とし、データ群それぞれにおいてデータ群内の前記オンセット区間のデータの長さを揃え、データ群内の前記オンセット区間のデータの長さが統一された各データ群を用いて、データ群間の長さを一定にする処理であるダウンサンプリング処理することによってデータ群を圧縮する圧縮ステップと、圧縮された前記データ群に基づいて前記人物の動作を評価する評価ステップと、を有する動作評価方法である。

本発明の一態様は、複数のセンサそれぞれにより取得された人物の動作に関する時系列データにおけるノイズを除去するノイズ除去ステップと、ノイズが除去された各時系列データから、前記人物の動作が行われているオンセット区間のデータを抽出する抽出ステップと、抽出された各時系列データの前記オンセット区間が重なる、あるいは、前後一定時間に含まれる前記オンセット区間を一つのデータ群とし、データ群それぞれにおいてデータ群内の前記オンセット区間のデータの長さを揃え、データ群内の前記オンセット区間のデータの長さが統一された各データ群を用いて、データ群間の長さを一定にする処理であるダウンサンプリング処理することによってデータ群を圧縮する圧縮ステップと、圧縮された前記データ群に基づいて前記人物の動作を評価する評価ステップと、をコンピュータに実行させるためのコンピュータプログラムである。

本発明の一態様は、複数のセンサそれぞれにより取得された人物の動作に関する時系列データを取得するセンサと、前記時系列データにおけるノイズを除去するノイズ除去部と、ノイズが除去された各時系列データから、前記人物の動作が行われているオンセット区間のデータを抽出する抽出部と、抽出された各時系列データの前記オンセット区間が重なる、あるいは、前後一定時間に含まれる前記オンセット区間を一つのデータ群とし、データ群それぞれにおいてデータ群内の前記オンセット区間のデータの長さを揃え、データ群内の前記オンセット区間のデータの長さが統一された各データ群を用いて、データ群間の長さを一定にする処理であるダウンサンプリング処理することによってデータ群を圧縮する圧縮部と、圧縮された前記データ群に基づいて前記人物の動作を評価する評価部と、を備える動作評価システムである。

本発明により、人物の動作の評価精度を向上させることが可能となる。

本発明における動作評価システムの構成図である。 本発明において捉えたい時系列データ間の特徴を示す図である。 本実施形態における動作評価装置の機能構成の具体例を示すブロック図である。 本実施形態における学習装置の機能構成の具体例を示すブロック図である。 実施形態における動作評価装置が行う動作評価処理の流れを示すフローチャートである。 本実施形態における動作評価装置が行う動作評価処理の一部を説明するための図である。 本実施形態における教師データを学習する処理（学習処理）及び学習済みモデルに基づいて評価スコアを推定する処理（推定処理）の流れを示す概略図である。 本発明の主なユースケースの一例を示す図である。 動作に関する時系列データの一例を示す図である。 ユーグリット距離を用いて時系列データから動作推定を行う方法を説明するための図である。 ＤＴＷを用いて時系列データから動作推定を行う方法を説明するための図である。

以下、本発明の一実施形態を、図面を参照しながら説明する。
図１は、本発明における動作評価システム１００の構成図である。動作評価システム１００は、１以上のセンサ１０－１～１０－Ｏ（Ｏは１以上の整数）、センサデータ取得装置２０、動作評価装置３０、学習装置４０及び１以上の評価結果受信装置５０を備える。

センサ１０は、人物の生体情報（例えば、表面筋電位データ、心電データ、脳波データ）を時系列に取得する。センサ１０は、加速度データ及び圧力データのように、体の外部出力を測定してもよい。センサ１０は、人物に取り付け可能なリストバンド型のセンサであってもよいし、人物から生体情報、加速度データ及び圧力データ等を取得可能な場所に設置されてもよい。

以下の説明では、センサ１０が表面筋電位データを取得する場合を例に説明する。センサ１０は、取得した表面筋電位データをセンサデータ取得装置２０に送信する。センサ１０は、取得した表面筋電位データを取得する度にセンサデータ取得装置２０に送信してもよいし、一定期間分まとめてセンサデータ取得装置２０に送信してもよい。

センサデータ取得装置２０は、センサ１０から送信される表面筋電位データを取得し、取得した表面筋電位データをセンサ１０毎に管理する。このように、センサデータ取得装置２０は、センサ１０毎の表面筋電位データの時系列データを保持している。センサデータ取得装置２０は、保持している表面筋電位データの時系列データ（以下単に「時系列データ」という。）を動作評価装置３０に送信する。センサデータ取得装置２０は、所定のタイミングで、保持している時系列データを動作評価装置３０に送信してもよいし、動作評価装置３０から要求された時系列データを動作評価装置３０に送信してもよい。所定のタイミングとは、予め設定された時刻であってもよいし、一定の期間が経過したタイミングであってもよい。

動作評価装置３０は、センサデータ取得装置２０から送信される時系列データを用いて人物の動作を評価する。人物の動作を評価するとは、例えば人物の動作を良し悪しのいずれに分類することや、人物の動作を数値で表現（以下「スコア化」という。）することを意味する。以下、人物の動作の良し悪しやスコア化を総称して評価スコアと記載する。動作評価装置３０は、例えば学習装置４０によって生成される学習済みモデルに、時系列データを入力することによって人物の動作を評価する。動作評価装置３０は、サーバ、ノートパソコン、スマートフォン、タブレット端末等の情報処理装置を用いて構成される。

学習装置４０は、教師データを入力として、学習モデルを学習することによって学習済みモデルを生成する。教師データは、教師有り学習に用いられる学習用のデータであり、入力データと、その入力データに対して相関性を有すると想定される出力データとの組み合わせによって表されるデータである。学習装置４０に入力される教師データは、時系列データに基づいて得られる特徴量と、評価スコアを対応付けたデータである。時系列データに基づいて得られる特徴量は、後述する動作評価装置３０が行う処理によって生成される。

学習装置４０は、時系列データを入力して、評価スコアを出力するように学習された学習済みモデルを生成する。ここで、学習とは、機械学習モデルで利用される係数を最適化することである。例えば、学習とは、機械学習モデルで利用される係数を、損失関数が最小となるように調整することである。機械学習モデルで利用される係数は、例えば重みの値やバイアスの値である。

評価結果受信装置５０は、動作評価装置３０によって得られた評価結果を受信する装置である。例えば、評価結果受信装置５０は、動作の評価対象となる人物や、その人物に関連のある人が保持する装置である。評価結果受信装置５０は、パーソナルコンピュータ、ノートパソコン、スマートフォン、タブレット端末等の情報処理装置を用いて構成される。

図２は、本発明において捉えたい時系列データ間の特徴を示す図である。
図２の左には、複数の時系列データ６１～６３が示されている。時系列データ６１は、センサ１０－１によって得られた表面筋電位データの時系列データを表す。時系列データ６２は、センサ１０－２によって得られた表面筋電位データの時系列データを表す。時系列データ６３は、センサ１０－３によって得られた表面筋電位データの時系列データを表す。これらの時系列データ６１～６３には、本質的に捉えたい対象の信号の波形（例えば、人物の動作を表す波形）と、ノイズとが混在している。人物の動作に関する非定常信号の場合、こうした観測対象の動作の波形を含む区間と、観測対象の動作の波形を含まない区間とが存在する。そのため、解析を行うにあたり、対象信号の波形のみを対象とした解析技術が必要である。

図２において矩形６４で囲まれる波形は対象信号とノイズとを含む波形であり、矩形６５で囲まれる波形はノイズのみを含む波形である。本発明では、時系列データ６１～６３それぞれから、矩形６４で囲まれる波形を抽出してノイズ除去を行うことによって対象信号の波形のみを抽出する。図２（ａ）には矩形６４で囲まれる波形からノイズが除去された後の波形６１－１、６２－１及び６３－１が示されている。波形６１－１は、時系列データ６１において矩形６４で囲まれる波形からノイズが除去された後の波形を表す。波形６１－２は、時系列データ６２において矩形６４で囲まれる波形からノイズが除去された後の波形を表す。波形６１－３は、時系列データ６３において矩形６４で囲まれる波形からノイズが除去された後の波形を表す。

図２（ｂ）及び（ｃ）に示される波形６１－２、６２－２及び６３－２と、６１－３、６２－３及び６３－３は、図２（ａ）に示される波形６１－１、６２－１及び６３－１とは異なる時刻の波形である。ただし、図２（ａ）～図２（ｃ）に示される各波形は、同一の時系列データ６１、６２及び６３において対象信号とノイズとを含む波形から対象信号のみが抽出された波形である。本発明では、このようにセンサ１０－１～１０－３間の連動性の違いを特徴量として利用する。

図３は、本実施形態における動作評価装置３０の機能構成の具体例を示すブロック図である。
動作評価装置３０は、通信部３１、制御部３２及び記憶部３３を備える。
通信部３１は、他の装置との間で通信を行う。他の装置は、例えばセンサデータ取得装置２０及び評価結果受信装置５０である。通信部３１は、例えばセンサデータ取得装置２０から送信された時系列データを受信する。通信部３１は、例えば学習装置４０から送信された学習済みモデルを受信する。通信部３１は、評価結果受信装置５０に対して評価結果を送信する。なお、ＵＳＢ（Universal Serial Bus）メモリやＳＤカード等の外部記録媒体に学習済みモデルが記録されている場合には、通信部３１は外部記録媒体を介して学習済みモデルを受信する。

記憶部３３には、学習済みモデル３３１及びセンサデータ３３２が記憶されている。記憶部３３は、磁気記憶装置や半導体記憶装置などの記憶装置を用いて構成される。
学習済みモデル３３１は、学習装置４０によって学習がなされた学習済みモデルである。学習済みモデルには、学習装置４０により最適化された係数の情報が対応付けられている。

センサデータ３３２は、センサデータ取得装置２０から得られたセンサ１０毎の時系列データである。

制御部３２は、動作評価装置３０全体を制御する。制御部３２は、ＣＰＵ（Central Processing Unit）等のプロセッサやメモリを用いて構成される。制御部３２は、プログラムを実行することによって、取得部３２１、ノイズ除去部３２２、整流化部３２３、データ分割部３２４、データ加工部３２５及び評価部３２６の機能を実現する。

取得部３２１、ノイズ除去部３２２、整流化部３２３、データ分割部３２４、データ加工部３２５及び評価部３２６の機能部のうち一部または全部は、ＡＳＩＣ（Application Specific Integrated Circuit）やＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアとの協働によって実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ（Read Only Memory）、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置などの非一時的な記憶媒体である。プログラムは、電気通信回線を介して送信されてもよい。

取得部３２１、ノイズ除去部３２２、整流化部３２３、データ分割部３２４、データ加工部３２５及び評価部３２６の機能の一部は、予め動作評価装置３０に搭載されている必要はなく、追加のアプリケーションプログラムが動作評価装置３０にインストールされることで実現されてもよい。

取得部３２１は、各種情報を取得する。取得部３２１は、例えば時系列データをセンサデータ取得装置２０から取得する。取得部３２１は、例えば学習済みモデルを学習装置４０から取得する。取得部３２１は、各種情報を動的に取得してもよいし、受動的に取得してもよい。動的に取得とは、取得部３２１が対象装置に情報を要求することによって取得することを意味する。受動的に取得とは、取得部３２１が対象装置に情報を要求せずによって取得することを意味する。

ノイズ除去部３２２は、処理対象となる時系列データに対するノイズ除去処理を行う。一般的な生体信号を対象とした場合、ノイズ除去部３２２はバンドパスフィルタ処理やウィーナーフィルタといった処理を行う。処理対象となる時系列データは、例えば、指定された人物に取り付けられたセンサ１０の時系列データである。

整流化部３２３は、時系列データが信号データである場合、ノイズ除去処理が施された時系列データに対して整流化処理を行う。整流化処理は、データの絶対値をとる手法、二乗平均値等の手法を用いることができるが、本発明では特に指定しない。

データ分割部３２４は、少なくともノイズ除去処理が施された時系列データにおけるオンセット区間を推定し、推定したオンセット区間毎に時系列データを分割する。オンセット区間とは、時系列データ上において、人物が動作を開始したと想定される点（以下「開始点」という。）から、人物が動作を終了したと想定される点（以下「終了点」という。）までの区間である。開始点は、時系列データにおいて直前の区間のサンプルの平均値と比較し、閾値以上変化する時点、すなわち直前の一定区間の値と比較し、値が閾値以上増加あるいは減少する点である。終了点は、開始点以降の時刻で再び平均値に近づいた点である。

データ分割部３２４は、時系列データにおいて上記の条件を満たす区間をオンセット区間として推定する。データ分割部３２４は、推定したオフセット区間のデータを時系列データから抽出する。こうして抽出された複数の時系列データのオンセット区間を比較し、オンセット区間が重なるあるいは、前後一定時間に含まれるオンセット区間を一つのデータ群として定義する。

データ加工部３２５は、データ分割部３２４で抽出されたオンセット区間のデータを加工する。具体的には、データ分割部３２４で抽出されたオンセット区間のデータ群の長さは、オンセット区間ごとに不揃いである。そこで、データ加工部３２５は、時系列情報を維持した状態で、最も開始点における時刻が早いデータに全てのオンセット区間の開始点を合わせ、最も終了点における時刻が遅いデータに全てのオンセット区間の終了点を合わせる加工処理を行う。

データ加工部３２５は、開始点及び終了点を合わせる際に、オンセット区間外に相当するデータには全て０の値で埋める、あるいは、固定値を入れる。さらに、データ加工部３２５は、データ群内のデータ長さが統一されたデータ群に対し、データ群間の長さを一定にするダウンサンプリング処理を行い、データの概形を保持した状態でデータの次元を圧縮する。

データ加工部３２５が上記の処理を行うことによって、時系列データ間の順序性及びオンセット区間の継続性からなるデータの波形形状の特徴を残しつつ、時系列データのユークリッド距離による類似性計算の弱点であった時間歪みを解消し、かつ計算に必要なサンプル数の固定の条件を満たすことができる。例えば、オンセット区間が重なるようなデータと、ほとんど重ならないようなデータに対し、それぞれデータ加工部３２５の処理を行なった場合、前者の１サンプルあたりの時間よりも、後者の１サンプルあたりの時間は短くなる。それぞれのデータ群間の距離だけでは見えないデータ群内での連動性を加味した特徴量が算出可能である。

評価部３２６は、データ加工部３２５により加工処理が行われたデータ群に基づいて人物の動作を評価する。評価部３２６は、例えば、加工処理が行われたデータ群を、学習済みモデルに入力することによって人物の動作を評価する。評価部３２６は、例えば、加工処理が行われたデータ群間の距離計算を行うことによって、人物の動作を評価する。

なお、動作評価装置３０がノートパソコン、スマートフォン及びタブレット端末のいずれかである場合、動作評価装置３０は入力部及び表示部を備えるように構成される。
表示部は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ、ＣＲＴ（Cathode Ray Tube）ディスプレイ等の画像表示装置である。表示部は、ユーザの操作に応じて、評価結果を表示する。表示部は、画像表示装置を動作評価装置３０に接続するためのインタフェースであってもよい。この場合、表示部は、評価結果を表示するための映像信号を生成し、自身に接続されている画像表示装置に映像信号を出力する。

操作部は、キーボード、ポインティングデバイス（マウス、タブレット等）、タッチパネル、ボタン等の既存の入力装置を用いて構成される。操作部は、ユーザの指示を動作評価装置３０に入力する際にユーザによって操作される。例えば、操作部は、人物の動作の評価開始指示の入力を受け付ける。また、操作部は、入力装置を動作評価装置３０に接続するためのインタフェースであってもよい。この場合、操作部は、入力装置においてユーザの入力に応じて生成された入力信号を動作評価装置３０に入力する。

図４は、本実施形態における学習装置４０の機能構成の具体例を示すブロック図である。
学習装置４０は、バスで接続されたＣＰＵやメモリや補助記憶装置などを備え、プログラムを実行する。学習装置４０は、プログラムの実行によって学習モデル記憶部４１、教師データ入力部４２及び学習部４３を備える装置として機能する。なお、学習装置４０の各機能の全て又は一部は、ＡＳＩＣやＰＬＤやＦＰＧＡ等のハードウェアを用いて実現されてもよい。プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。コンピュータ読み取り可能な記録媒体とは、例えばフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置である。プログラムは、電気通信回線を介して送信されてもよい。

学習モデル記憶部４１は、磁気記憶装置や半導体記憶装置などの記憶装置を用いて構成される。学習モデル記憶部４１は、機械学習における学習モデルを予め記憶している。ここで、学習モデルとは、入力データと出力データとの関係性を学習する際に使用する機械学習アルゴリズムを示す情報である。教師有り学習の学習アルゴリズムには、種々の回帰分析法や、決定木、ｋ近傍法、ニューラルネットワーク、サポートベクターマシン、ディープラーニングなどをはじめとする様々なアルゴリズムがあるが、どのような学習モデルが用いられてもよい。本実施形態では、機械学習の学習モデルとして多層パーセプトロン等のニューラルネットワークを用いる場合を例に説明する。

教師データ入力部４２は、教師データを入力する機能を有する。本実施形態では、時系列データに基づいて得られる特徴量を入力データとし、入力された特徴量に応じた評価スコアを出力データとする。ここで、教師データ入力部４２に入力される特徴量は、評価スコアの情報と、データ加工部３２５によって生成されるデータである。そして、それらの入力データと出力データとの組み合わせたものを１つのサンプルデータとし、複数のサンプルデータの集合を教師データとして事前に生成する。

例えば、教師データ入力部４２は、このようにして生成された教師データを記憶している外部装置（図示せず）と通信可能に接続され、その通信インタフェースを介して外部装置から教師データを入力してもよいし、動作評価装置３０で生成されて学習装置４０に入力されてもよい。また例えば、教師データ入力部４２は、予め教師データを記憶している記録媒体から教師データを読み出すことによって教師データを入力するように構成されてもよい。教師データ入力部４２は、このようにして入力した教師データを学習部４３に出力する。

学習部４３は、教師データ入力部４２から出力される教師データを学習モデルに基づいて学習することにより学習済みモデルを生成する。生成された学習済みモデルは動作評価装置３０に入力される。なお、動作評価装置３０に対する学習済みモデルの入力は、学習装置４０と動作評価装置３０との通信を介して行われてもよいし、学習済みモデルを記録した記録媒体を介して行われてもよい。

次に、学習部４３の具体的な学習処理について説明する。まず学習部４３は、教師データを学習モデルに入力して得られた評価スコアと、教師データに含まれる評価スコアとの誤差を算出する。そして、学習部４３は、算出された誤差に基づいて定められる目的関数についての最小化問題を解くことにより、学習モデルで利用される係数を更新する。学習部４３は、学習モデルで利用される係数が最適化されるまで、又は、予め定められた回数だけ係数の更新を繰り返し行う。学習モデルの係数は、誤差逆伝播法と確率的勾配降下法（ＳＧＤ：Stochastic Gradient Descent）により推定される。なお、最適化の方法として、誤差逆伝播法と、以下の最適化アルゴリズムとの組み合わせであれば確率的勾配降下法以外の最適化アルゴリズムが用いられてもよい。確率的勾配降下法以外の最適化アルゴリズムとしては、例えばＡｄａｍ、Ａｄａｍａｘ、Ａｄａｇｒａｄ、ＲＭＳＰｒｏｐ及びＡｄａｄｅｌｔａ等が挙げられる。

学習部４３は、上記の処理により得られた係数と、学習モデルとを学習済みモデルとして動作評価装置３０に出力する。

図５は、実施形態における動作評価装置３０が行う動作評価処理の流れを示すフローチャートである。動作評価装置３０が行う動作評価処理のうち加工データを生成するまで処理については図６を参照しながら説明する。図６は、本実施形態における動作評価装置３０が行う動作評価処理の一部を説明するための図である。
取得部３２１は、複数の時系列データをセンサデータ取得装置２０から取得する（ステップＳ１０１）。取得部３２１は、例えばセンサ１０－１により取得された時系列データと、センサ１０－２により取得された時系列データとをセンサデータ３３２として記憶部３３に記録する。

ノイズ除去部３２２は、センサデータ３３２として記憶部３３に記録された２つの時系列データそれぞれに対してノイズ除去処理を行う（ステップＳ１０２）。ノイズ除去部３２２は、ノイズ除去処理後の各時系列データを整流化部３２３に出力する。整流化部３２３は、ノイズ除去処理後の各時系列データに対して整流化処理を行う（ステップＳ１０３）。整流化部３２３が、ノイズ除去処理後の各時系列データに対して二乗平均を行った例を図６に示す。図６における時系列データ６７及び６８が、二乗平均が行われた時系列データである。時系列データ６７がセンサ１０－１により得られた時系列データに対応し、時系列データ６８がセンサ１０－２により得られた時系列データに対応する。

データ分割部３２４は、時系列データ６７及び６８それぞれのオンセット区間を推定する（ステップＳ１０４）。図６において、時系列データ６７におけるオンセット区間が矩形６９で示されており、時系列データ６８におけるオンセット区間が矩形７０で示されている。データ分割部３２４は、推定したオフセット区間のデータを時系列データから抽出する。そして、データ分割部３２４は、抽出した複数の時系列データのオンセット区間を比較して、オンセット区間が重なるあるいは、前後一定時間に含まれるオンセット区間を一つのデータ群として定義する。これが図６の左から２番目の状態に該当する。

データ加工部３２５は、データ分割部３２４で抽出されたオンセット区間のデータ群に対して加工処理を行う（ステップＳ１０５）具体的には、まずデータ加工部３２５は、各オンセット区間のデータ群それぞれに対してオフセット区間を揃える加工処理を行う。この際、データ加工部３２５は、オンセット区間外に相当するデータには全て０の値で埋める、あるいは、固定値を入れる。これにより、各オンセット区間のデータ群内のデータ長さが統一される。これが図６の左から３番目の状態に該当する。

データ加工部３２５は、各オンセット区間のデータ群を結合する。ここで、結合とは、各オンセット区間のデータ群を重ね合わせることを意味する。例えば、データ加工部３２５は、時系列データ６７から抽出されたオンセット区間のデータと同じ時間軸の、時系列データ６８から抽出されたオンセット区間のデータとを結合する。

図６に示す例では、時系列データ６７から抽出されたオンセット区間のデータが６つであり、時系列データ６８から抽出されたオンセット区間のデータが６つである。そして、データ加工部３２５は、時系列データ６７から抽出されたオンセット区間の１番目のデータと、時系列データ６８から抽出されたオンセット区間の１番目のデータとを結合する。データ加工部３２５は、同様に、各オンセット区間のデータ群を結合する。これにより、結合された６つのデータ群が生成される。

データ加工部３２５は、６つのデータ群それぞれにおいてサンプル数を正規化して、データ群間の長さを一定にするダウンサンプリング処理を行うことによって、データの概形を保持した状態でデータの次元を圧縮する（ステップＳ１０６）。これが図６の左から４番目の状態に該当する。そして、このデータ群が、学習装置４０における学習処理に利用する特徴量であって、動作の評価に利用されるデータである。データ加工部３２５は、動作評価装置３０に対して時系列データのみが入力された場合には圧縮したデータ群を評価部３２６に出力し、時系列データ及び評価スコアの情報が入力された場合には圧縮したデータ群を学習装置４０に教師データとして出力する。
評価部３２６は、データ加工部３２５によって圧縮されたデータ群を用いて動作を評価する（ステップＳ１０７）。具体的には、評価部３２６は、データ加工部３２５によって圧縮されたデータ群を学習済みモデル３３１に入力することによって、評価スコアを取得する。評価部３２６は、通信部３１を介して、取得した評価スコアの情報を評価結果受信装置５０に送信する。

図７は、本実施形態における教師データを学習する処理（学習処理）及び学習済みモデルに基づいて評価スコアを推定する処理（推定処理）の流れを示す概略図である。まず、学習装置４０において、教師データ入力部４２が教師データを入力し、入力した教師データを学習部４３に出力する（ステップＳ２０１）。続いて、学習部４３が学習モデル記憶部４１から学習モデルを取得する（ステップＳ２０２）。続いて、学習部４３は、学習モデルに基づく教師データの学習処理を実行することにより学習済みモデルを生成する（ステップＳ２０３）。このように生成された学習済みモデルは、動作評価装置３０の記憶部３３に記録される。

一方、動作評価装置３０では、まず、図５に示すステップＳ１０１からステップＳ１０６までの処理で得られた圧縮されたデータ群を評価部３２６に出力する（ステップＳ３０１）。続いて、評価部３２６は記憶部３３から学習済みモデル３３１を取得する（ステップＳ３０２）。続いて、評価部３２６は、取得した圧縮されたデータ群を学習済みモデル３３１に入力し、その出力として評価スコアを取得する推定処理を実行する（ステップＳ３０３）。動作評価装置３０は、ステップＳ３０１～Ｓ３０３の処理を繰り返し実行することにより、評価スコアを時系列に推定することができる。

図８は、本発明の主なユースケースの一例を示す図である。
センサ１０によって、ある運動中の動作に関するデータとして表面筋電図データを収集する。その後、動作評価装置３０において表面筋電データから評価したい動作に関する区間を抽出し、特徴量の取得、学習済みモデル３３１にて評価するといった一連の処理を実施し、システムのアウトプットとして、動作ごとに関する評価結果が得られる。図８に示すように、各動作に関する評価結果を集計することで、複数の動作を含んだ運動全体に対する評価結果を出力することも想定されるユースケースである。

以上のように構成された動作評価システム１００によれば、人物の動作の評価精度を向上させることが可能になる。具体的には、動作評価システム１００では、ノイズ除去部３２２において、取得された時系列データに対するノイズ除去処理を行い、データ加工部３２５において時系列情報を維持した状態でデータ群の長さをオンセット区間毎に揃え、ダウンサンプリング処理を行ってデータの概形を保持した状態でデータの次元を圧縮する。これにより、時系列データ間の順序性およびオンセット区間の継続性からなるデータの波形形状の特徴を残しつつ、時系列データのユーグリッド距離による類似性計算の弱点であった時間歪みを解消し、かつ計算に必要なサンプル数の固定の条件が満たすことができる。そして、動作評価装置３０では、圧縮されたオンセット区間のデータに基づいて人物の動作を評価する。そのため、人物の動作の評価精度を向上させることが可能になる。

動作評価装置３０のデータ分割部３２４は、時系列データ上において、開始点から終了点までの区間をオンセット区間として抽出する。これにより、ノイズが除去された後の時系列データから、人物の動作の波形を含む区間のデータを抽出することができる。したがって、人物の動作を推定する際にノイズの影響を抑制することができる。そのため、人物の動作の評価精度を向上させることが可能になる。

動作評価装置３０のデータ分割部３２４は、時系列データにおいて直前の一定区間の値と比較し、値が閾値以上増加あるいは減少する点を開始点から、開始点以降の時刻で再び平均値に近づいた点を終了点までをオンセット区間として抽出する。このように、値が閾値以上増加あるいは減少した場合には、人物の動きに対して何らかの変化が起きたことが想定される。例えば、人物が何らかの動作を開始したことにより時系列データの値が閾値以上変化したことが想定される。そこで、データ分割部３２４は、値が閾値以上増加あるいは減少した点を人物の動作の開始点とする。データ分割部３２４は、開始点以降で値が落ち着いてきた点、すなわち平均値に近づいた点を人物の動作が終了したと想定される終了点とする。このように、データ分割部３２４は、より厳密に人物の動作が行われたと想定される区間を特定することができる。したがって、ノイズのみが含まれる区間を、人物の動作を評価する区間に含んでしまうことを抑制することができる。そのため、人物の動作の評価精度を向上させることが可能になる。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

本発明は、人物の動作を評価する技術に適用できる。

１０、１０－１～１０－Ｏ…センサ， ２０…センサデータ取得装置， ３０…動作評価装置， ４０…学習装置， ５０…評価結果受信装置， ３１…通信部， ３２…制御部， ３３…記憶部， ３２１…取得部， ３２２…ノイズ除去部， ３２３…整流化部， ３２４…データ分割部， ３２５…データ加工部， ３２６…評価部， ４１…学習モデル記憶部， ４２…教師データ入力部， ４３…学習部

Claims (7)

1. 複数のセンサそれぞれにより取得された人物の動作に関する時系列データにおけるノイズを除去するノイズ除去ステップと、
   ノイズが除去された各時系列データから、前記人物の動作が行われているオンセット区間のデータを抽出する抽出ステップと、
   抽出された各時系列データの前記オンセット区間が重なる、あるいは、前後一定時間に含まれる前記オンセット区間を一つのデータ群とし、データ群それぞれにおいてデータ群内の前記オンセット区間のデータの長さを揃え、データ群内の前記オンセット区間のデータの長さが統一された各データ群を用いて、データ群間の長さを一定にする処理であるダウンサンプリング処理することによってデータ群を圧縮する圧縮ステップと、
   圧縮された前記データ群に基づいて前記人物の動作を評価する評価ステップと、
   を有する動作評価方法。
2. 前記抽出ステップにおいて、前記時系列データ上において、前記人物が動作を開始したと想定される開始点から、前記人物が動作を終了したと想定される終了点までの区間を前記オンセット区間として抽出する、
   請求項１に記載の動作評価方法。
3. 前記抽出ステップにおいて、前記時系列データにおいて直前の一定区間の値と比較し、値が閾値以上増加あるいは減少する点を前記開始点とし、前記開始点以降の時刻で再び平均値に近づいた点を前記終了点として、前記時系列データから前記オンセット区間を抽出する、
   請求項２に記載の動作評価方法。
4. 前記圧縮ステップにおいて、前記抽出ステップにおいて抽出された複数の前記オンセット区間のデータで、最も開始点における時刻が早いデータに全てのオンセット区間のデータの開始点を合わせ、最も終了点における時刻が遅いデータに全てのオンセット区間のデータの終了点を合わせることによって、データ群内の前記オンセット区間のデータの長さを揃える、
   請求項２又は３に記載の動作評価方法。
5. 前記評価ステップにおいて、圧縮された前記データ群を入力して、評価スコアを出力するように学習された学習済みモデルを用いて前記人物の動作を評価する、
   請求項１から４のいずれか一項に記載の動作評価方法。
6. 複数のセンサそれぞれにより取得された人物の動作に関する時系列データにおけるノイズを除去するノイズ除去ステップと、
   ノイズが除去された各時系列データから、前記人物の動作が行われているオンセット区間のデータを抽出する抽出ステップと、
   抽出された各時系列データの前記オンセット区間が重なる、あるいは、前後一定時間に含まれる前記オンセット区間を一つのデータ群とし、データ群それぞれにおいてデータ群内の前記オンセット区間のデータの長さを揃え、データ群内の前記オンセット区間のデータの長さが統一された各データ群を用いて、データ群間の長さを一定にする処理であるダウンサンプリング処理することによってデータ群を圧縮する圧縮ステップと、
   圧縮された前記データ群に基づいて前記人物の動作を評価する評価ステップと、
   をコンピュータに実行させるためのコンピュータプログラム。
7. 複数のセンサそれぞれにより取得された人物の動作に関する時系列データを取得するセンサと、
   前記時系列データにおけるノイズを除去するノイズ除去部と、
   ノイズが除去された各時系列データから、前記人物の動作が行われているオンセット区間のデータを抽出する抽出部と、
   抽出された各時系列データの前記オンセット区間が重なる、あるいは、前後一定時間に含まれる前記オンセット区間を一つのデータ群とし、データ群それぞれにおいてデータ群内の前記オンセット区間のデータの長さを揃え、データ群内の前記オンセット区間のデータの長さが統一された各データ群を用いて、データ群間の長さを一定にする処理であるダウンサンプリング処理することによってデータ群を圧縮する圧縮部と、
   圧縮された前記データ群に基づいて前記人物の動作を評価する評価部と、
   を備える動作評価システム。

Images