JP2013175043A - 動作主識別方法、動作主識別システム、動作主識別プログラム及び情報記憶媒体 - Google Patents

動作主識別方法、動作主識別システム、動作主識別プログラム及び情報記憶媒体 Download PDF

Info

Publication number
JP2013175043A
JP2013175043A JP2012039000A JP2012039000A JP2013175043A JP 2013175043 A JP2013175043 A JP 2013175043A JP 2012039000 A JP2012039000 A JP 2012039000A JP 2012039000 A JP2012039000 A JP 2012039000A JP 2013175043 A JP2013175043 A JP 2013175043A
Authority
JP
Japan
Prior art keywords
data
feature
cluster
sample
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012039000A
Other languages
English (en)
Other versions
JP5936038B2 (ja
Inventor
Venture Gentiane
ジェンチャン ベンチャー
Tianxiang Zhang
天翔 張
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo University of Agriculture and Technology NUC
Tokyo University of Agriculture
Original Assignee
Tokyo University of Agriculture and Technology NUC
Tokyo University of Agriculture
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo University of Agriculture and Technology NUC, Tokyo University of Agriculture filed Critical Tokyo University of Agriculture and Technology NUC
Priority to JP2012039000A priority Critical patent/JP5936038B2/ja
Publication of JP2013175043A publication Critical patent/JP2013175043A/ja
Application granted granted Critical
Publication of JP5936038B2 publication Critical patent/JP5936038B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Image Analysis (AREA)

Abstract

【課題】少ないデータ及び演算負荷で精度よく動作主の識別が可能にすること。
【解決手段】複数の動作主の所与の動作についてのモーションデータを取得し、サンプルとなるモーションデータに対して特徴ベクトルを生成し、特徴ベクトルより次元の低い自由度mの特徴データを生成し、サンプルデータとして動作主に関連づけて記憶部に記憶させ、サンプルデータを、動作主毎にクラスタ化して、m次元空間におけるクラスタの特徴点及び特徴関数のすくなくとも一方を含むクラスタ情報を求め、識別対象となる動作主のモーションデータを取得して生成した特徴ベクトルより次元の低い次元mの特徴データを生成してターゲットデータとし、m次元空間における当該ターゲットデータと各クラスタの特徴点及び特徴関数のすくなくとも一方に基づいてターゲットデータの特徴値を演算し、特徴値に基づき動作主を識別する動作主識別方法。
【選択図】図7

Description

本発明の幾つかの態様は、動作主識別方法、動作主識別システム、動作主識別プログラム及び情報記憶媒体に関する。
人間識別は多くの分野にとって重要であり、非特許文献1に示すように広く応用されている。人間識別として近年、音声認識、顔認識に基づいたシステムが開発されているが、これらだけでは人を常に正確に認識するのにまだ不十分である。そこで、非特許文献2、4に示すように、人間の歩行の様子も利用されるようになった。非特許文献5〜7に示すように、歩行から認証で主に使用する情報は腕の振り方、一歩の長さなどであった。
A. Jain, J. Bolle, and S. Pankanti. Biometrics-Personal Identification in Networked Society. Springer US, 2002. Biometrics and Identity Management, volume 5372 of Lecture Notes in Computer Science. Springer Berlin /Heidelberg, 2008. M. Nixon. Gait biometrics. Biometric Technology Today, 16(7-8):8.9, 2008. J. Boyd and J. Little. Advanced Studies in Biometrics. Lecture Notes in Computer Science. Springer Berlin /Heidelberg, 2005. D. Jokisch, I. Daum, and N. Troje. Self recognition versus recognition of others by biological motion: Viewpoint-depedent effects. Perception, 35:911.920, 2006. F. Loula, S. Prasad, K. Harber, and M. Shiffrar. Recognizing people from their movement. J. of Experimental Psychology: Human Perception and Performance, 31(1):210.220, 2005. J. Cutting and L. Kozlowski. Recognizing friends by their walk: Gait perception without familiarity cues. Bulletin of Psychonomic Society, 9(5):353.356, 1977.
しかし、歩行時の一歩の長さや腕の振り方は測定が困難で、例えば荷物を運んでいる場合などには、変化してしまうという問題点があった。
また人間を認識する際には、腕の振り方や一歩の長さの代わりに、人間全体の速度、腰のバランス及び胴の姿勢等を総合的に解析することでより認識精度が高まると考えられているが、解析に使用するデータが多くなると、データ処理等の演算負荷がまし、リアルタイムに判定することが困難になるという問題点があった。
本発明は、以上のような技術的課題に鑑みてなされたものである。本発明の幾つかの態様によれば、少ないデータ及び演算負荷で精度よく動作主の識別が可能な動作主識別方法、動作主識別システム、動作主識別プログラム及び情報記憶媒体を提供することができる。
(1)本発明は、
動作主を識別する方法であって、
サンプルとなるモーションデータとして、複数の動作主の所与の動作についてのモーションデータを取得するサンプルモーションデータ取得ステップと、
サンプルとなるモーションデータに対して第1のデータ変換処理を行い特徴ベクトルを生成し、当該特徴ベクトルに対して第2のデータ変換処理を行い当該特徴ベクトルより次元の低い次元mの特徴データを生成し、サンプルデータとして動作主に関連づけて記憶部に記憶させるデータベース作成ステップと、
サンプルデータを、動作主毎にクラスタ化して、m次元空間におけるクラスタの特徴点及び特徴関数のすくなくとも一方を含むクラスタ情報を求めるクラスタ情報演算ステップと、
ターゲットとなるモーションデータとして、識別対象となる動作主のモーションデータを取得するターゲットモーションデータ取得ステップと、
ターゲットとなるモーションデータに対して第1のデータ変換処理を行い特徴ベクトルを生成し、当該特徴ベクトルに対して第2のデータ変換処理を行い当該特徴ベクトルより次元の低い次元mの特徴データを生成してターゲットデータとし、m次元空間における当該ターゲットデータと各クラスタの特徴点及び特徴関数のすくなくとも一方に基づいてターゲットデータの特徴値を演算し、特徴値に基づき動作主を識別する動作主識別ステップと、を含む動作主識別方法に関する。
また本発明は、
動作主を識別する動作主識別システムであって、
サンプルとなるモーションデータに対して、第1のデータ変換処理を行い、特徴ベクトルを生成し、当該特徴ベクトルに対して第2のデータ変換処理を行い当該特徴ベクトルより次元の低い次元mの特徴データを生成し、サンプルデータとして動作主に関連づけて記憶部に記憶させるデータベース作成部と、
サンプルデータを、動作主毎にクラスタ化して、m次元空間におけるクラスタの特徴点及び特徴関数のすくなくとも一方を含むクラスタ情報を求めるクラスタ情報演算部と、 ターゲットとなるモーションデータに対して第1のデータ変換処理を行い、特徴ベクトルを生成し、当該特徴ベクトルに対して第2のデータ変換処理を行い当該特徴ベクトルより次元の低い次元mの特徴データを生成してターゲットデータとし、m次元空間における当該ターゲットデータと各クラスタの特徴点及び特徴関数のすくなくとも一方に基づいてターゲットデータの特徴値を演算し、特徴値に基づき動作主を識別する動作主識別部と、を含む動作主識別システムに関する。
動作主識別システムは、サンプルとなるモーションデータとして、複数の動作主の所与の動作についてのモーションデータを取得するサンプルモーションデータ取得部をふくんでもよい。
動作主識別システムは、ターゲットとなるモーションデータとして、識別対象となる動作主のモーションデータを取得するターゲットモーションデータ取得部をふくんでもよい。
また本発明は上記各部として、コンピュータを機能させるプログラムに関する。また本発明は、上記各部として、コンピュータを機能させるプログラムが記憶された情報記憶媒体に関する。
また本発明は、
動作主を識別する動作主識別システムであって、
サンプルとなるモーションデータに対して第1のデータ変換処理を行い生成された特徴ベクトルに対して第2のデータ変換処理を行い生成された、当該特徴ベクトルより次元の低い次元mの特徴データが、サンプルデータとして動作主に関連づけて記憶されているサンプルデータ記憶部と、
サンプルデータを、動作主毎にクラスタ化して、m次元空間におけるクラスタの特徴点及び特徴関数のすくなくとも一方を含むクラスタ情報を求めるクラスタ情報演算部と、
ターゲットとなるモーションデータに対して第1のデータ変換処理を行い、特徴ベクトルを生成し、当該特徴ベクトルに対して第2のデータ変換処理を行い当該特徴ベクトルより次元の低い次元mの特徴データを生成してターゲットデータとし、m次元空間における当該ターゲットデータと各クラスタの特徴点及び特徴関数のすくなくとも一方に基づいてターゲットデータの特徴値を演算し、特徴値に基づき動作主を識別する動作主識別部と、を含む動作主識別システムに関する。
動作主識別システムは、サンプルとなるモーションデータとして、複数の動作主の所与の動作についてのモーションデータを取得するサンプルモーションデータ取得部をふくんでもよい。
動作主識別システムは、ターゲットとなるモーションデータとして、識別対象となる動作主のモーションデータを取得するターゲットモーションデータ取得部をふくんでもよい。
また本発明は上記各部として、コンピュータを機能させるプログラムに関する。また本発明は、上記各部として、コンピュータを機能させるプログラムが記憶された情報記憶媒体に関する。
動作主は例えば人間でもよいし、動物でもよい。またロボットでもよい。
モーションデータは、動作主の所定の部位の動きを表すデータであればよい。例えば動作主の所定の部位に加速度センサやジャイロセンサ(角速度センサ)を取り付けて、変位加速度(例えば3軸の変位加速度でもよい)や、回転速度又は角速度(例えば3軸の回転速度又は角速度でもよい)を取得し、モーションデータとしてもよい。
また例えばモーションキャプチャ等で動作主の所定の部位の遷移を取得して、所定の部位の変位加速度や回転速度又は角速度を求めてモーションデータとしてもよい。
モーションデータを取得する部位は1カ所でもよいし、複数箇所でもよい。例えば人間が動作主である場合、人間の腰の動きに対応したモーションデータを取得してもよい。
モーションデータの自由度とは、モーションデータとして取得するデータの変数によって定まる値であり、例えばある1点における3軸の加速度と3軸の回転速度をモーションデータとして取得する場合、それぞれ3個の変数を持つので自由度は6となる。
モーションデータの自由度をnとすると、モーションデータに基づき作成する特徴データの次元はm(n>m)である。例えばモーションデータに対し主成分分析(PCA)を行い、モーションデータより次元の低い特徴データを作成してもよい。
動作主のサンプルデータは、1動作主に対して複数保持することが好ましい。そしてサンプルデータを動作主毎にクラスタ化し、例えばm=2の場合には、2次元平面にクラスタ化されたサンプルデータを配置する。そして各クラスタの複数のサンプルデータの平均値を求め各クラスタの特徴値としてもよい。また各クラスタの複数のサンプルデータの重心値を求め各クラスタの特徴値としてもよい。
m次元空間におけるターゲットデータ(識別対象となるモーションデータの特徴データ)のプロット点とクラスタの特徴点の距離(第1の特徴値)に基づき、ターゲットデータの特徴値を求めてもよい。またm次元空間におけるターゲットデータ(識別対象となるモーションデータの特徴データ)のプロット点からクラスタの特徴関数の示す近似直線等への垂直距離(第2の特徴値)でもよい。例えば各クラスタのサンプル点を用いて最小二乗法により1次近似直線を求めて、近似直線としてもよい。
第2の特徴値と第2の特徴値の少なくとも一方に基づき特徴値を求めてもよい。各クラスタの特徴値に基づきターゲットデータが属する可能性の高いクラスタを判定して、当該クラスタのサンプルデータの動作主がターゲットデータの動作主と同一人物であると判定してもよい。
本発明によればモーションデータに基づきモーションデータより次元の低い特徴データを用いて動作主の精度よい識別が可能なので、少ないデータ及び演算負荷で精度よく動作主の識別が可能となる。
(2)この動作主識別方法、動作主識別システム、動作主識別プログラム及び情報記憶媒体において、
前記動作主識別ステップ、又は前記動作主識別部は、
前記ターゲットデータとクラスタの特徴点に基づき求めた第1の特徴値及び前記ターゲットデータと特徴関数に基づき求めた第2の特徴値に重み付けを行い、当該ターゲットデータの特徴値を演算してもよい。
m次元空間におけるクラスタを構成するサンプルデータのばらつきは、特徴点の周りに均一または集中して分布しているパターンもあれば、特徴関数に沿って分布しているパターンもある。このようにすると、これらの分布パターンは動作主の歩行パターンの特徴を表すものである。従って第1の特徴値及第2の特徴値の両方を用いることにより様々な歩行パターンの特徴をカバーすることができる。
(3)この動作主識別方法、動作主識別システム、動作主識別プログラム及び情報記憶媒体において、
前記動作主識別ステップ、又は前記動作主識別部は、
前記クラスタのサンプルデータの分布状態に基づき第1の特徴値と第2の特徴値に対する重み付けの比重を決定して当該ターゲットデータの特徴値を演算してもよい。
m次元空間におけるクラスタを構成するサンプルデータのばらつきは、特徴点の周りに均一または集中して分布しているパターンもあれば、特徴関数に沿って分布しているパターンもある。これらの分布パターンは動作主の歩行パターンの特徴を表すものである。
クラスタを構成する要素(サンプルデータ)が特徴関数に沿って分布している場合には、第1の特徴値より第2の特徴値の重み付けの比重が高くなるようにしてもよい。
クラスタを構成する要素(サンプルデータ)が特徴点の周りに分布している場合には、第2の特徴値より第1の特徴値の重み付けの比重が高くなるようにしてもよい。
クラスタ毎にクラスタを構成する要素(サンプルデータ)の分布に応じて、第1の特徴値と第2の特徴値の重み付けの比重を決定してもよい。またクラスタのサンプルデータが増減した場合にも重み付けの比重を変更してもよい。いずれかの一方の重み係数が0となるような場合も本発明の範囲内である。
(4)この動作主識別方法、動作主識別システム、動作主識別プログラム及び情報記憶媒体において、
前記第1のデータ変換処理として、所与の時間差を有する少なくとも2つのモーションデータを用いて特徴ベクトルを生成してもよい。
たとえば時刻tのモーションデータq(t)と時刻t−1のモーションデータq(t−1)の自己相関の共分散行列に基づき特徴ベクトルを生成してもよい。
この様にすると特徴ベクトルに歩行パターンの時間的な変化を反映させることができるので、所与の時点で似ているか否かだけでなく、歩行パターンの変化が似ているか否かについても識別対象とすることができる。
(5)この動作主識別方法、動作主識別システム、動作主識別プログラム及び情報記憶媒体において、
前記第2のデータ変換処理として、特徴ベクトルに対して主成分分析を行い、特徴データを生成してもよい。
(6)この動作主識別方法、動作主識別システム、動作主識別プログラム及び情報記憶媒体において、
前記クラスタ情報演算ステップ、又は前記クラスタ情報演算部は、
各クラスタのサンプルデータに対して最小二乗法を用いて近似直線を求め各クラスタの特徴関数としてもよい。
近似直線は、1次近似直線でもよい。
(7)この動作主識別方法、動作主識別システム、動作主識別プログラム及び情報記憶媒体において、
動作主は人間であり、所与の動作は歩行でもよい。
(8)この動作主識別方法、動作主識別システム、動作主識別プログラム及び情報記憶媒体において、
前記サンプルモーションデータ取得ステップ、又は前記サンプルモーションデータ取得部は、
前記サンプルとなるモーションデータとして、前記複数の動作主の腰又は腰から所定範囲内にある部位のモーションデータを取得し、
前記ターゲットモーションデータ取得ステップ、前記ターゲットモーションデータ取得部は、
前記ターゲットとなるモーションデータとして、識別対象となる前記動作主の腰又は腰から所定範囲内にある部位のモーションデータを取得してもよい。
(9)この動作主識別方法、動作主識別システム、動作主識別プログラム及び情報記憶媒体において、
前記mは2又は3でもよい。
サンプルデータのデータベース作成の流れについて説明するフローチャート。 モーションデータの一例について説明するための図。 モーションデータの一例について説明するための図。 サンプルデータのプロット点をm次元空間に配置した図。 サンプルデータのプロット点と特徴点と特徴関数をm次元空間に配置した図。 クラスタ情報作成処理の流れを示すフローチャート。 動作主識別処理の流れを示すフローチャート。 サンプルデータデータベースの例について説明するための図。 モーションデータの取得例を示す図。 モーションデータの取得例を示す図。 モーションデータの取得例を示す図。 主成分が3つである場合のサンプル点の配置図。 本実施の形態の動作主識別システムの機能ブロック図の一例。 図14(A)〜(C)は第1の変換処理による特徴ベクトルの生成例を示す図。 第1の変換処理による特徴ベクトルの生成例を示す図。 ネットワークシステムの図。
以下、本発明の好適な実施の形態について図面を用いて詳細に説明する。なお以下に説明する実施の形態は、特許請求の範囲に記載された本発明の内容を限定するものではない。また以下で説明される構成の全てが本発明の必須構成要件であるとは限らない。
1.動作主識別方法
1.1 概要
本実施の形態のモーションデータを用いて動作主を識別する方法について説明する。
本実施の形態では、サンプルとなるモーションデータとして、複数の人間(動作主の一例)の歩行パターン(所与の動作の一例)についてのモーションデータ(変位加速度、回転速度)を取得する。そしてサンプルとなるモーションデータに対し第1のデータ変換処理を行い、特徴ベクトルを生成し、当該特徴ベクトルに基づき第2のデータ変換処理を行い当該特徴ベクトルより次元の低い次元mの特徴データを作成し、サンプルデータとして動作主に関連づけてサンプルデータのデータベース(記憶部の一例)を作成する。
そしてサンプルデータを、動作主に対応つけてクラスタ化して、m次元空間に配置して、クラスタの特徴点及び特徴関数(近似直線)のすくなくとも一方を含むクラスタ情報を求める。
識別したいモーションデータ(ターゲットモーションデータ)に対し第1のデータ変換処理を行い、特徴ベクトルを生成し、当該特徴ベクトルに基づき第2のデータ変換処理を行い当該特徴ベクトルより次元の低い次元mの特徴データを作成しターゲットデータとし、m次元空間における当該ターゲットデータとクラスタの特徴点及び特徴関数(近似直線)のすくなくとも一方に基づいてターゲットデータの特徴値を演算し、特徴値に基づきターゲットデータが属する可能性の高いクラスタを判定し、判定結果に基づき動作主を識別してもよい。
動作主は例えば人間や犬や猫等の動物等でもよいし、ロボット等の機械でもよいが、本実施例では人間である場合を例に取り説明する。
1.2 サンプルデータのデータベース作成
図1は、サンプルデータのデータベース作成の流れについて説明するフローチャートである。
まず、サンプルとなるモーションデータとして、複数の動作主の所与の動作についてのモーションデータを取得する(ステップS10)。次にサンプルとなるモーションデータに対して第1のデータ変換処理を行い、特徴ベクトルを生成する(ステップS20)。次に生成した特徴ベクトルに対して第2のデータ変換処理を行い当該特徴ベクトルより次元の低い次元mの特徴データを生成する(ステップS30)。次に生成した特徴データを、サンプルデータとして動作主に関連づけて記憶部に記憶させる(ステップS40)。
1.3 モーションデータの取得
モーションデータは、動作主の所定の部位の動きを表すデータであればよい。例えば動作主の所定の部位の変位加速度(例えば3軸の変位加速度でもよい)や、回転速度又は角速度(例えば3軸の回転速度又は角速度でもよい)を取得し、モーションデータとしてもよい。
図2及び図3はモーションデータの一例について説明するための図である。
従来被験者のモーションデータを取得する場合に、図2のように複数個のマーカを取り付けてモーションキャプチャを用いて歩行データを計測することが行われていた。例えば図2、図3に示すような15個の部位(剛性リンク)を繋げた34自由度モデルを用いると、背骨の動きや頭と骨盤間の動きを考慮しているため、歩行を表すのに十分である。このようなモデルを用いて歩行時のモーションデータを取得し、様々な手法で人間識別が試みられているが、取得するデータ量が多いため、解析に時間がかかり、リアルタイムに動作主を識別することは困難であるという問題点があった。
本実施の形態では、少なくとも1つ又は2つの部位のモーションデータで動作主の識別を行うことができる。ただし3つ以上の部位のモーションデータを用いる場合も本発明の範囲内である。
以下、サンプルとなるモーションデータとして、動作主の腰P1と腰から所定範囲内にある部位(例えばみぞおちP2)のモーションデータを取得する場合を例にとり説明する。
図9、図10、図11はモーションデータの取得例を示す図である。
例えば図9に示すように、被験者400の腰付近にモーションセンサ410(加速度センサとジャイロセンサ(角速度センサ))を含むIMUを取り付けて、腰部の変位加速度(例えば3軸の変位加速度でもよい)や、回転速度又は角速度(例えば3軸の回転速度又は角速度でもよい)を取得し、モーションデータとしてもよい。
IMUは3軸の角速度と加速度を検出するセンサである。3軸のジャイロと3方向の加速度計によって、3次元の角速度と加速度が求められる。ジャイロの原理は主に慣性とプリセッション、コリオリの力、サニャック効果の3つである。コリオリの力とは、「速度を持ったものに角速度が印加されると、速度と角速度がともに直交する方向に生ずる力」のことである。例えば質量mがX軸方向に振動速度で振動している状態で角速度が印加されると、コリオリの力がY軸方向に発生し振動が起きる。この振動振幅は角速度に比例するので振幅を検出することで、入力角速度を計測することができる。また、加速度は重りの変位量からフックの法則により求められる。
また例えば図10に示すように、ゲーム等の入力装置として使用される汎用のモーションキャプチャ装置420で被験者400のモーションデータを取得してもよい。モーションキャプチャ装置420は、カメラ、深度センサ、マルチアレイマイクロフォン、および専用ソフトウェアを動作させるプロセッサを内蔵したセンサがあり、被験者400の位置、動き、声、顔を認識することができる。モーションキャプチャ装置420は、一般的なモーションキャプチャとは異なり、通常のモーションキャプチャ時に着用する特殊なマーカ付きスーツと、マーカ検出時に使用するトラッカーは必要としない。モーションキャプチャ装置420が有するカメラに被写体を映す事で被験者400からモーションキャプチャ装置420までの距離を計測し、被験者400の骨格のさまざまな動きを検出する。
また例えば図11に示すように、被験者400にマーカ432を装着して、カメラ430で撮影する通常のモーションキャプチャの手法により、モーションデータを取得してもよい。
1.4 特徴ベクトルの生成
次にモーションデータに対して第1のデータ変換処理を行い特徴ベクトルを生成する手法について説明する。
モーションデータの自由度は、モーションデータとして取得するデータの変数の数によって定まる。例えばある1点における3軸の加速度と3軸の回転速度をモーションデータとして取得する場合、それぞれ3個の変数を持つので自由度は6となる。
従って2点(腰P1とみぞおちP2)のモーションデータを取得する場合には自由度が12となる。
モーションデータの特徴ベクトルの構成について述べる。モーションデータは腰(図2のP1)の3軸の変位加速度(3自由度)と3軸の回転速度(3自由度)、みぞおち(図2のP2)の3軸の変位加速度(3自由度)と3軸の回転速度(3自由度)の合計12自由度のデータである。このモデルを12DOF(Degree Of Freedom)モデルと呼ぶ。
そして、(数1)に示す行列を、(数2)に示す時系列ベクトルの自己相関による共分散行列である(数3)とする。
ここにおいて、Tiは運動iの長さであり、(数4)は、i回目の歩きのN(N=12)自由度の時刻kにおけるモーションベクトルであり、時刻kは散歩リング周波数が33Hzの離散的な時間であり、lは時刻差(ここではl=2)とする。
図14(A)〜(C)、図15は第1の変換処理による特徴ベクトルの生成例を示す図である。図14(A)は、時刻tにおけるモーションベクトルである。図14(B)は時刻t−l(ここではl=2)のモーションベクトルを転置したベクトルである。図14(C)は、時刻tにおけるモーションベクトルと時刻t−l(ここではl=2)のモーションベクトルを転置したベクトルの積となる行列である。
図15の350は、(数3)に示す共分散行列を示しており、360は共分散行列350の各要素を一列に並び替えて生成した特徴ベクトルである。特徴ベクトルは下記の式で示される。
特徴ベクトルの自由度はNの二乗となる。従ってNが12の場合には特徴ベクトルの自由度は144となる。
この特徴ベクトルの構成は、いくつかの特徴を持っている。時間的に局所で定義される積の時間平均を取ることで、任意の時間幅の運動を扱うことができ、運動データの長さを前もって正規化する必要がない。また、時間をずらして積を取ることにより、速度を反映することができる。さらに、ベクトルのすべての次元の組み合わせの積をとるという空間的な大域性により、長距離の相関を反映させることができる。
時刻t−lと時刻tのように所与の時間差を有する少なくとも2つのモーションデータを用いて特徴ベクトルを生成することにより、所与の時点で似ているか否かだけでなく、モーションデータの変化が似ているか否かも含めて歩行パターンの識別を行うことができる。
なお上記例では時間差を有する少なくとも2つのモーションデータを用いて特徴ベクトルを生成する場合を例にとり説明したが、所与の時点の1つのモーションベクトルとそれを転置したベクトルを用いて特徴ベクトルを生成してもよい。
1.5 特徴データの生成
モーションデータの自由度をnとすると、モーションデータに対して第2の変換処理を行い生成する特徴データの次元はm(n>m)である。例えば第2の変換処理として、モーションデータに対し主成分分析(PCA;Principal Component Analysis)等を行い、モーションデータより次元の低い特徴データを生成してもよい。
本実施の形態では特徴ベクトルに対して、可視化と認識アルゴリズムの生成のために主成分分析(第2のデータ変換処理の一例)を行う。ここでは主成分分析により第2主成分までプロットする場合を例に取り説明する。
主成分分析は、多変量データの持つ情報を、少数個の総合特性値に要約する統計解析手法である。統計データから互いに無関係(無相関)の成分を取り出して、観測値をそれらの成分の線形結合で説明することを主成分分析と呼び、取り出された成分を主成分と呼ぶ。
主成分分析によれば多次元データのもつ情報をできるだけ損なわずに低次元空間に縮約することができる。多次元データを2次元や3次元データに縮約できればデータ全体の分布を視覚化することができ、サンプルデータ間の差異をはっきりさせることができる。PCAの手順については大抵、固有ベクトルか特異値分解のどちらかが出てくる。主成分の単位ベクトルが固有ベクトルとして直ちに求められ,主成分の大きさが特異値分解を使って直ちに求められるからである。
本実施の形態では以下の手順で主成分分析を行っている。
(1)時系列データの自己相関による共分散行列を求める
(2)共分散行列から特徴ベクトルを求める
(3)特徴ベクトルが構成した行列の左特異行列とそれに対応する特異値を求める
(4)特異値の大きい順に主成分の順番を決める
(5)各主成分の向きはそれぞれが対応している左特異値行列の列ベクトルで決まる
1.6 サンプルデータのデータベース
図8は、サンプルデータのデータベースの例について説明するための図である。
サンプルデータのデータベース500には、動作主識別情報510に関連づけて、サンプルデータ(特徴データ)が記憶されている。動作主識別情報510は被験者を識別するための情報である。またサンプルデータ(特徴データ)は、主成分分析により得られた第1主成分(x)と第2主成分(y)の値である。
1.7 クラスタ情報作成処理
本実施の形態ではクラスタ分析の手法を用いて動作主の識別を行う。クラスタ分析又はクラスタリングとは、分類対象の集合を、内的結合と外的分離が達成されるような部分集合に分割することである。
図6は、クラスタ情報作成処理の流れを示すフローチャートである。
サンプルデータを、動作主に対応つけてクラスタ化して、m次元空間に配置する。(ステップS110)。そしてすべてのクラスタについて処理が終了するまで(ステップS130でN)、クラスタ(i)のサンプルデータに基づきクラスタ(i)の特徴点及び特徴関数のすくなくとも一方を含むクラスタ情報(i)を求める(ステップS120)
図4は、被験者の歩行時に取得したモーションデータのサンプルデータ(特徴データ)のプロット点をm次元空間(ここではm=2)に配置したものである。各被験者のプロット点の集合を各被験者に関連づけてクラスタ化する。図4のC1は被験者1のサンプルデータのプロット点であり、C2は被験者2のサンプルデータのプロット点であり、C3は被験者3のサンプルデータのプロット点であり、C4は被験者4のサンプルデータのプロット点である。各被験者のプロット点の集合である各クラスタ(集合)の位置や形や大きさは被験者毎に異なる特徴を有している。これは、歩行パターンが個人で異なる特徴を持つことに起因する個人差であると考えられる。
この特徴を利用してターゲットとなるモーションデータの歩行パターンの識別を行うために、各クラスタの特徴点と特徴関数を求めてもよい。
各被験者の5つのプロット点をクラスタ(集合)とみなし、図5に示すような第一主軸(x軸)と第二主軸(y軸)で構成した直行座標系において、4つのクラスタ(集合)の特徴点を、各クラスタ(集合)の5つの成分の平均座標点としてもよい。
従って、集合j(1〜4)の特徴点は以下の式となる。
ここで、nは特徴ベクトルの数、即ち集合内の点の数である。
さらに、集合内の成分を最小二乗法を用いてそれぞれの集合の一次近似直線を求め、特徴関数としてもよい。
図5は、特徴点と近似直線を示す図である。
312、310は、プロット点C1の集合であるクラスタ1(被験者1のサンプルデータ)の特徴点と特徴関数であり、322、320は、プロット点C2の集合であるクラスタ2(被験者2のサンプルデータ)の特徴点と特徴関数であり、332、330は、プロット点Cの集合であるクラスタ3(被験者3のサンプルデータ)の特徴点と特徴関数であり、342、340は、プロット点C4の集合であるクラスタ4(被験者4のサンプルデータ)の特徴点と特徴関数である。
1.8 動作主識別処理
図7は、動作主識別処理の流れを示すフローチャートである。
ターゲットとなるモーションデータとして、識別対象となる動作主の所与の動作についてのモーションデータを取得する(ステップS210)。次にターゲットとなるモーションデータに対して第1のデータ変換処理を行い特徴ベクトルを生成する(ステップS220)。次に生成した特徴ベクトルに対して第2のデータ変換処理を行い当該特徴ベクトルより次元の低い次元mの特徴データを生成し、ターゲットデータとする(ステップS230)。次に、すべてのクラスタについて処理が終了するまで(ステップS250でN)、ターゲットデータとクラスタ(i)の特徴点及び特徴関数のすくなくとも一方のm次元空間内の位置関係に基づいて、特徴値(i)を演算する(ステップS240)。
全クラスタの特徴値に基づき、ターゲットデータが属する可能性の高いクラスタを判定する(ステップS260)。そして判定したクラスタに対応づけられた動作主をターゲットデータの動作主と判定する(ステップS270)。
第1の特徴値であるi番目の点のjグループの特徴点との距離は以下の式で表せる。
また、第2の特徴値である任意のデータ点から集合jの近似直線への垂直距離は以下の式で求められる。
ここで、i番目のデータ点のグループjへの特徴値を以下の式で定義する。
この特徴値の構成はいくつかの特徴を持っている。図5を見るとC3のばらつきが小さいのに対して、C4はばらつきが大きく、ほぼ直線状に分布していることがわかる。数9は、クラスタ(集合)の中心への集中度を示すサンプルデータのプロット点と特徴点との距離(第1の特徴値)と、近似直線との垂直距離(第2の特徴値)をいずれも反映できるため、C2とC4のような異なる分布パターンを持つ集合の両方に対応できる。また、数9について、4つの集合の要素の分布状態に合わせて特徴点との距離(第1の特徴値)と近似直線への垂直距離(第2の特徴値)のどちらを優先するかに応じた重み係数をつけることで調整できる。
人間識別を行う際、特徴ベクトルをPCAで解析処理し、第一、二主成分で構成された特徴データとして2次元平面に配置した場合、ターゲットデータのプロット点とクラスタ情報を用いて求めた特徴値がもっとも小さいクラスタの動作主が、ターゲットデータの動作主である可能性が高い。
なおクラスタのサンプルデータの分布状態に基づき第1の特徴値と第2の特徴値に対する重み付けの比重を決定して当該ターゲットデータの特徴値を演算してもよい。
m次元空間におけるクラスタを構成するサンプルデータのばらつきは、C3のように特徴点の周りに均一または集中して分布しているパターンもあれば、C4のように特徴関数に沿って分布しているパターンもある。これらの分布パターンは動作主の歩行パターンの特徴を表すものである。
C4のようにクラスタを構成する要素(サンプルデータ)が特徴関数に沿って分布している場合には、第1の特徴値より第2の特徴値の重み付けの比重が高くなるようにしてもよい。
C3のようにクラスタを構成する要素(サンプルデータ)が特徴点の周りに分布している場合には、第2の特徴値より第1の特徴値の重み付けの比重が高くなるようにしてもよい。
このようにクラスタ毎にクラスタを構成する要素(サンプルデータ)の分布に応じて、第1の特徴値と第2の特徴値の重み付けの比重を決定してもよい。またクラスタのサンプルデータが増減した場合にも重み付けの比重を変更してもよい。いずれかの一方の重み係数が0となるような場合も本発明の範囲内である。
なお上記実施の形態では、特徴データの次元が2である場合(主成分が2つである場合)を例にとり説明したが、それに限られない。特徴データの次元が3以上である場合(主成分が3つ以上である場合)でもよい。
本実施の形態では、低次元空間上で直接クラスタリングするため,元の低次元特徴空間から線形分離可能な多次元空間に変換する非線形SVM(Supporting Vector Machine)と比べて計算量が少ない。従って、リアルタイム認識に優れていると考えられる。また特徴ベクトルを可視化することができるため、クラスタの全体的な構造と相関を直感的に把握できるというメリットがある。
また、先に構造が鮮明なクラスタから認識し、認識結果が否の場合にそのクラスタを除外して再度残りのデータのみに対してPCAを行うようにしてもようい。このようにすると残りのデータの分散がより大きくなってクラスタリングしやすくなる。
図12は、主成分が3つである場合に、被験者の歩行時に取得したモーションデータのサンプルデータ(特徴データ)のプロット点を3次元空間(ここではm=3)に配置したものである。この場合には、各クラスタの特徴点は3次元データとして得られ、特徴関数は3次元関数として得られることになる。
2.動作主識別システム
2.1 動作主識別システムの構成
図13は、本実施の形態の動作主識別システムの機能ブロック図の一例である。
本実施形態の動作主識別システム1は、図13の構成要素(各部)を全て含む必要はなく、その一部を省略した構成としてもよい。なお本実施の形態の動作主識別システム1は、例えば汎用コンピュータを用いて、実現することができる。
本実施の形態の動作主識別システム1は、記憶部20を含む。記憶部20は、プログラムやデータなどを格納するものであり、その機能はコンピュータにより読み取り可能な媒体(光ディスク(CD、DVD等)、光磁気ディスク(MO)、磁気ディスク、ハードディスク、磁気テープ、或いはメモリ(ROM))などのハードウェアにより実現できる。また記憶部20は、処理部10などのワーク領域となる一時記憶部としての機能を有するRAMなどのハードウェアを含めてもよい。
記憶部20には、本実施の形態の動作主識別プログラム22が記憶されている。動作主識別プログラム22は、コンピュータ(処理部10、記憶部20)を以下に説明する各部(データベース作成処理部12、クラスタ情報演算処理部14、動作主識別処理部16、サンプルデータ記憶部24)として機能させるためのプログラムである。
また記憶部20はサンプルデータ記憶部24として機能する。
本実施の形態の動作主識別システム1は、処理部10を含む。処理部10は、入力データ16やプログラム等に基づいて、各種処理を行うものであり、その機能は各種プロセッサ(CPU、DSP等)、ASIC(ゲートアレイ等)などのハードウェアや、プログラムにより実現できる。処理部10は、データベース作成処理部12、クラスタ情報演算処理部14、動作主識別処理部16として機能する。
データベース作成処理部12は、サンプルとなるモーションデータに対して、第1のデータ変換処理を行い、特徴ベクトルを生成し、当該特徴ベクトルに対して第2のデータ変換処理を行い当該特徴ベクトルより次元の低い次元mの特徴データを生成し、サンプルデータとして動作主に関連づけて記憶部に記憶させる。
サンプルデータ記憶部24には、サンプルとなるモーションデータに対して第1のデータ変換処理を行い生成された特徴ベクトルに対して第2のデータ変換処理を行い生成された、当該特徴ベクトルより次元の低い次元mの特徴データが、サンプルデータとして動作主に関連づけて記憶されている。
クラスタ情報演算処理部14は、サンプルデータを、動作主毎にクラスタ化して、m次元空間におけるクラスタの特徴点及び特徴関数のすくなくとも一方を含むクラスタ情報を求める。
動作主識別処理部16は、ターゲットとなるモーションデータに対して第1のデータ変換処理を行い、特徴ベクトルを生成し、当該特徴ベクトルに対して第2のデータ変換処理を行い当該特徴ベクトルより次元の低い次元mの特徴データを生成してターゲットデータとし、m次元空間における当該ターゲットデータと各クラスタの特徴点及び特徴関数のすくなくとも一方に基づいてターゲットデータの特徴値を演算し、特徴値に基づき動作主を識別する。
動作主識別処理部16は、ターゲットデータとクラスタの特徴点に基づき求めた第1の特徴値及び前記ターゲットデータと特徴関数に基づき求めた第2の特徴値に重み付けを行い、当該ターゲットデータの特徴値を演算してもよい。
また動作主識別処理部16は、クラスタのサンプルデータの分布状態に基づき第1の特徴値と第2の特徴値に対する重み付けの比重を決定して当該ターゲットデータの特徴値を演算してもよい。
またクラスタ情報演算処理部14は、各クラスタのサンプルデータに対して最小二乗法を用いて近似直線を求め各クラスタの特徴関数としてもよい。
動作主識別システム1は、1つのコンピュータで実現される構成でもよいし、複数のコンピュータで分散して処理を実行する構成でもよい。
なお、サンプルデータのデータベースの作成は他のシステムで行うシステム構成でもよい。
2.2 動作主識別システムの他の構成
図16は、サーバと端末(動作主識別装置)を含むネットワークシステム100として実現された動作主識別システムを示す。ネットワークシステム100は、複数の端末110A、110B、110C、・・とサーバ120とによって構成される。図16に示すように、本実施形態のネットワークシステム100は、サーバ120と、端末110A、110B、110C、・・・とがネットワーク130に接続可能に構成されている。
サーバ120は、ネットワーク130を介してサーバに通信接続された端末(例えばロボットに内蔵された動作主識別装置、PC、携帯電話やスマートフォン等の携帯情報通信機器、ゲーム端末等)110A、110B、・・が取得した識別対象のモーションデータに基づいて動作主を識別するサービスを提供することが可能な情報処理装置である。
サーバ120は、複数のユーザのサンプルデータのデータベース等を管理している。
端末110A、110B、110C、・・・は、例えばロボットに内蔵された動作主識別装置、携帯端末(携帯電話、PHS端末、スマートフォン、PDA、携帯型ゲーム機等)、パーソナルコンピュータ(PC)、ゲーム機などの報処理装置であり、インターネット(WAN)、LANなどのネットワーク130を介してサーバ120に接続可能な装置である。なお、端末110A、110B、110C、・・・とサーバ120との通信回線は、有線でもよいし無線でもよい。
また端末110A、110B、110C、・・・は、サーバ120との通信を行うための通信制御機能及び識別対象のモーションデータを取得するためのモーションキャプチャ機能等を備える。
端末110A、110B、110C、・・・は、専用のハードウエアで構成された装置として実現する構成でもよいし、汎用のコンピュータに専用のクライアントソフトウェア(アプリ)をインストールする形態(専用のアプリをネットワークでダウンロードして実行する形態も含む)で実現する構成も本発明の範囲内である。
本実施形態のサーバ120は、Webサーバ機能を備えてもよい。また、端末110A、110B、110C、・・・はWebページ(HTML(HyperText Markup Language)形式のデータ)を閲覧可能なウェブブラウザを備えてもよい。
また専用のソフトウエアを用いず、端末のウエブブラウザ機能のみで実現する形態も本発明の範囲内である。
サーバ120は、サンプルとなるモーションデータとして、複数の動作主の所与の動作についてのモーションデータを取得し、サンプルとなるモーションデータに対して第1のデータ変換処理を行い、特徴ベクトルを生成し、当該特徴ベクトルに対して第2のデータ変換処理を行い当該特徴ベクトルより次元の低い次元mの特徴データを生成し、サンプルデータとして動作主に関連づけて記憶させたデータベースを有している。データベースの作成はサーバ120が行ってもよいし、他のシステムで作成されたデータベースを使用してもよい。
端末110A、110B、110C、・・・は、ターゲットとなるモーションデータとして、識別対象となる動作主のモーションデータを取得する。ターゲットとなるモーションデータを用いて動作主を識別する処理は端末側で行ってもよいし、サーバ120側で行ってもよい。
そして端末110A、110B、110C、・・・は、ターゲットモーションデータの動作主の識別結果を用いて所与の処理を行うようにしてもよい。例えば端末110A、110B、110C、・・・がロボットに内蔵された動作主識別装置である場合には、ロボットに設けられたモーションキャプチャ機能により、ロボットの周囲に存在する人間のモーションデータを取得し、取得したモーションデータをサーバ120に送信してもよい。そしてサーバは、受信したモーションデータに基づき動作主識別処理を行い、識別結果を依頼元の端末110A、110B、110C、・・・に送信するようにしてもよい。端末110A、110B、110C、・・・では識別結果に基づき、ロボットの周囲に存在する人間を認識して、所与の処理を行うようにしてもよい。
本実施の形態の動作主解析処理は、端末110A、110B、110C、・・・が一部又は全部を行う場合でもよいし、クラウドコンピューティングで実現される場合でもよい。
なお、本発明は本実施形態に限定されず、本発明の要旨の範囲内で種々の変形実施が可能である。
本発明は、実施の形態で説明した構成と実質的に同一の構成(例えば、機能、方法及び結果が同一の構成、あるいは目的及び効果が同一の構成)を含む。また、本発明は、実施の形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実
施の形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施の形態で説明した構成に公知技術を付加した構成を含む。
1 動作主識別システム、10 処理部、12 データベース作成処理部、14 クラスタ情報演算処理部、16 動作主識別処理部、20 記憶部、22 動作主識別プログラム、24 サンプルデータ記憶部

Claims (22)

  1. 動作主を識別する方法であって、
    サンプルとなるモーションデータとして、複数の動作主の所与の動作についてのモーションデータを取得するサンプルモーションデータ取得ステップと、
    サンプルとなるモーションデータに対して第1のデータ変換処理を行い特徴ベクトルを生成し、当該特徴ベクトルに対して第2のデータ変換処理を行い当該特徴ベクトルより自由度の低い自由度mの特徴データを生成し、サンプルデータとして動作主に関連づけて記憶部に記憶させるデータベース作成ステップと、
    サンプルデータを、動作主毎にクラスタ化して、m次元空間におけるクラスタの特徴点及び特徴関数のすくなくとも一方を含むクラスタ情報を求めるクラスタ情報演算ステップと、
    ターゲットとなるモーションデータとして、識別対象となる動作主のモーションデータを取得するターゲットモーションデータ取得ステップと、
    ターゲットとなるモーションデータに対して第1のデータ変換処理を行い、特徴ベクトルを生成し、当該特徴ベクトルに対して第2のデータ変換処理を行い当該特徴ベクトルより次元の低い次元mの特徴データを生成してターゲットデータとし、m次元空間における当該ターゲットデータと各クラスタの特徴点及び特徴関数のすくなくとも一方に基づいてターゲットデータの特徴値を演算し、特徴値に基づき動作主を識別する動作主識別ステップと、を含む動作主識別方法。
  2. 請求項1において、
    前記動作主識別ステップにおいて、
    前記ターゲットデータとクラスタの特徴点に基づき求めた第1の特徴値及び前記ターゲットデータと特徴関数に基づき求めた第2の特徴値に重み付けを行い、当該ターゲットデータの特徴値を演算することを特徴とする動作主識別方法。
  3. 請求項2において、
    前記動作主識別ステップにおいて、
    前記クラスタのサンプルデータの分布状態に基づき第1の特徴値と第2の特徴値に対する重み付けの比重を決定して当該ターゲットデータの特徴値を演算することを特徴とする動作主識別方法。
  4. 請求項1乃至3のいずれかにおいて、
    前記第1のデータ変換処理として、所与の時間差を有する少なくとも2つのモーションデータを用いて特徴ベクトルを生成することを特徴とする動作主識別方法。
  5. 請求項1乃至4のいずれかにおいて、
    前記第2のデータ変換処理として、特徴ベクトルに対して主成分分析を行い、特徴データを生成することを特徴とする動作主識別方法。
  6. 請求項1乃至5のいずれかにおいて、
    前記クラスタ情報演算ステップにおいて、
    各クラスタのサンプルデータに対して最小二乗法を用いて近似直線を求め各クラスタの特徴関数とすることを特徴とする動作主識別方法。
  7. 請求項1乃至6のいずれかにおいて、
    動作主は人間であり、所与の動作は歩行であることを特徴とする動作主識別方法。
  8. 請求項7において、
    前記サンプルモーションデータ取得ステップにおいて、
    前記サンプルとなるモーションデータとして、前記複数の動作主の腰又は腰から所定範囲内にある部位のモーションデータを取得し、
    前記ターゲットモーションデータ取得ステップにおいて、
    前記ターゲットとなるモーションデータとして、識別対象となる前記動作主の腰又は腰から所定範囲内にある部位のモーションデータを取得することを特徴とする動作主識別方法。
  9. 請求項1乃至8のいずれかにおいて、
    前記mは2又は3であることを特徴とする動作主識別方法。
  10. 動作主を識別する動作主識別システムであって、
    サンプルとなるモーションデータに対して、第1のデータ変換処理を行い特徴ベクトルを生成し、当該特徴ベクトルに対して第2のデータ変換処理を行い当該特徴ベクトルより自由度の低い自由度mの特徴データを生成し、サンプルデータとして動作主に関連づけて記憶部に記憶させるデータベース作成部と、
    サンプルデータを、動作主毎にクラスタ化して、m次元空間におけるクラスタの特徴点及び特徴関数のすくなくとも一方を含むクラスタ情報を求めるクラスタ情報演算部と、
    ターゲットとなるモーションデータに対して第1のデータ変換処理を行い、特徴ベクトルを生成し、当該特徴ベクトルに対して第2のデータ変換処理を行い当該特徴ベクトルより次元の低い次元mの特徴データを生成してターゲットデータとし、m次元空間における当該ターゲットデータと各クラスタの特徴点及び特徴関数のすくなくとも一方に基づいてターゲットデータの特徴値を演算し、特徴値に基づき動作主を識別する動作主識別部と、を含む動作主識別システム。
  11. 動作主を識別する動作主識別システムであって、
    サンプルとなるモーションデータに対して第1のデータ変換処理を行い生成された特徴ベクトルに対して第2のデータ変換処理を行い生成された、当該特徴ベクトルより次元の低い次元mの特徴データが、サンプルデータとして動作主に関連づけて記憶されているサンプルデータ記憶部と、
    サンプルデータを、動作主毎にクラスタ化して、m次元空間におけるクラスタの特徴点及び特徴関数のすくなくとも一方を含むクラスタ情報を求めるクラスタ情報演算部と、
    ターゲットとなるモーションデータに対して第1のデータ変換処理を行い特徴ベクトルを生成し、当該特徴ベクトルに対して第2のデータ変換処理を行い当該特徴ベクトルより次元の低い次元mの特徴データを生成してターゲットデータとし、m次元空間における当該ターゲットデータと各クラスタの特徴点及び特徴関数のすくなくとも一方に基づいてターゲットデータの特徴値を演算し、特徴値に基づき動作主を識別する動作主識別部と、
    を含む動作主識別システム。
  12. 請求項10又は11において、
    前記動作主識別部は、
    前記ターゲットデータとクラスタの特徴点に基づき求めた第1の特徴値及び前記ターゲットデータと特徴関数に基づき求めた第2の特徴値に重み付けを行い、当該ターゲットデータの特徴値を演算することを特徴とする動作主識別システム。
  13. 請求項12において、
    前記動作主識別部は、
    前記クラスタのサンプルデータの分布状態に基づき第1の特徴値と第2の特徴値に対する重み付けの比重を決定して当該ターゲットデータの特徴値を演算することを特徴とする動作主識別システム。
  14. 請求項10乃至13のいずれかにおいて、
    前記第1のデータ変換処理として、所与の時間差を有する少なくとも2つのモーションデータを用いて特徴ベクトルを生成することを特徴とする動作主識別システム。
  15. 請求項10乃至14のいずれかにおいて、
    前記第2のデータ変換処理として、特徴ベクトルに対して主成分分析を行い、特徴データを生成することを特徴とする動作主識別システム。
  16. 請求項10乃至15のいずれかにおいて、
    前記クラスタ情報演算部は、
    各クラスタのサンプルデータに対して最小二乗法を用いて近似直線を求め各クラスタの特徴関数とすることを特徴とする動作主識別システム。
  17. 請求項10乃至16のいずれかにおいて、
    動作主は人間であり、所与の動作は歩行であることを特徴とする動作主識別システム。
  18. 請求項17において、
    サンプルとなるモーションデータとして、複数の動作主の所与の動作についてのモーションデータを取得するサンプルモーションデータ取得部と、
    ターゲットとなるモーションデータとして、識別対象となる動作主のモーションデータを取得するターゲットモーションデータ取得部と、をさらに含み、
    前記サンプルモーションデータ取得部は、
    前記サンプルとなるモーションデータとして、前記複数の動作主の腰又は腰から所定範囲内にある部位のモーションデータを取得し、
    前記ターゲットモーションデータ取得部は、
    前記ターゲットとなるモーションデータとして、識別対象となる前記動作主の腰又は腰から所定範囲内にある部位のモーションデータを取得することを特徴とする動作主識別システム。
  19. 請求項10乃至18のいずれかにおいて、
    前記mは2又は3であることを特徴とする動作主識別システム。
  20. コンピュータを用いて動作主を識別するためのプログラムであって、
    サンプルとなるモーションデータに対して、第1のデータ変換処理を行い特徴ベクトルを生成し、当該特徴ベクトルに対して第2のデータ変換処理を行い当該特徴ベクトルより次元の低い次元mの特徴データを生成し、サンプルデータとして動作主に関連づけて記憶部に記憶させるデータベース作成部と、
    サンプルデータを、動作主毎にクラスタ化して、m次元空間におけるクラスタの特徴点及び特徴関数のすくなくとも一方を含むクラスタ情報を求めるクラスタ情報演算部と、
    ターゲットとなるモーションデータに対して第1のデータ変換処理を行い特徴ベクトルを生成し、当該特徴ベクトルに対して第2のデータ変換処理を行い当該特徴ベクトルより次元の低い次元mの特徴データを生成してターゲットデータとし、m次元空間における当該ターゲットデータと各クラスタの特徴点及び特徴関数のすくなくとも一方に基づいてターゲットデータの特徴値を演算し、特徴値に基づき動作主を識別する動作主識別部と、
    してコンピュータを機能させるプログラム。
  21. コンピュータを用いて動作主を識別するためのプログラムであって、
    サンプルとなるモーションデータに対して第1のデータ変換処理を行い生成された特徴ベクトルに対して第2のデータ変換処理を行い生成された、当該特徴ベクトルより次元の低い次元mの特徴データが、サンプルデータとして動作主に関連づけて記憶されているサンプルデータ記憶部と、
    サンプルデータを動作主毎にクラスタ化して、m次元空間におけるクラスタの特徴点及び特徴関数のすくなくとも一方を含むクラスタ情報を求めるクラスタ情報演算部と、
    ターゲットとなるモーションデータに対して第1のデータ変換処理を行い特徴ベクトルを生成し、当該特徴ベクトルに対して第2のデータ変換処理を行い当該特徴ベクトルより次元の低い次元mの特徴データを生成してターゲットデータとし、m次元空間における当該ターゲットデータと各クラスタの特徴点及び特徴関数のすくなくとも一方に基づいてターゲットデータの特徴値を演算し、特徴値に基づき動作主を識別する動作主識別部と、
    してコンピュータを機能させるプログラム。
  22. コンピュータが読み取り可能な情報記憶媒体であって、請求項20又は21に記載のプログラムが記憶されている情報記憶媒体。
JP2012039000A 2012-02-24 2012-02-24 動作主識別方法、動作主識別システム、動作主識別プログラム及び情報記憶媒体 Expired - Fee Related JP5936038B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012039000A JP5936038B2 (ja) 2012-02-24 2012-02-24 動作主識別方法、動作主識別システム、動作主識別プログラム及び情報記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012039000A JP5936038B2 (ja) 2012-02-24 2012-02-24 動作主識別方法、動作主識別システム、動作主識別プログラム及び情報記憶媒体

Publications (2)

Publication Number Publication Date
JP2013175043A true JP2013175043A (ja) 2013-09-05
JP5936038B2 JP5936038B2 (ja) 2016-06-15

Family

ID=49267890

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012039000A Expired - Fee Related JP5936038B2 (ja) 2012-02-24 2012-02-24 動作主識別方法、動作主識別システム、動作主識別プログラム及び情報記憶媒体

Country Status (1)

Country Link
JP (1) JP5936038B2 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018026018A (ja) * 2016-08-10 2018-02-15 公立大学法人大阪市立大学 歩容解析装置
CN112084852A (zh) * 2020-08-04 2020-12-15 河海大学 一种基于数据融合的人体轨迹相似行为识别方法
JP2021518965A (ja) * 2018-09-19 2021-08-05 ブイタッチ・カンパニー・リミテッド 客体の制御を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0433066A (ja) * 1990-05-24 1992-02-04 Nippon Telegr & Teleph Corp <Ntt> 個人識別装置
JP2008191754A (ja) * 2007-02-01 2008-08-21 National Institute Of Advanced Industrial & Technology 異常検出装置および異常検出方法
JP2008287594A (ja) * 2007-05-18 2008-11-27 Nippon Hoso Kyokai <Nhk> 特定動作判定装置、リファレンスデータ生成装置、特定動作判定プログラム及びリファレンスデータ生成プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0433066A (ja) * 1990-05-24 1992-02-04 Nippon Telegr & Teleph Corp <Ntt> 個人識別装置
JP2008191754A (ja) * 2007-02-01 2008-08-21 National Institute Of Advanced Industrial & Technology 異常検出装置および異常検出方法
JP2008287594A (ja) * 2007-05-18 2008-11-27 Nippon Hoso Kyokai <Nhk> 特定動作判定装置、リファレンスデータ生成装置、特定動作判定プログラム及びリファレンスデータ生成プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JPN6015052721; 崔 雄、外2名: '"モーションキャプチャを用いた居合道の熟練度に関する定量化"' 情報処理学会研究報告 Vol.2008, No.100, 20081011, pp.39-44, 社団法人情報処理学会 *
JPN6015052724; Zdenek Prochazka、外2名: '"顔の動き特徴量を用いた表情認識システム"' 電子情報通信学会技術研究報告 Vol.96, No.602, 19970318, pp.19-24, 社団法人電子情報通信学会 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018026018A (ja) * 2016-08-10 2018-02-15 公立大学法人大阪市立大学 歩容解析装置
JP2021518965A (ja) * 2018-09-19 2021-08-05 ブイタッチ・カンパニー・リミテッド 客体の制御を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体
JP7062833B2 (ja) 2018-09-19 2022-05-06 ブイタッチ・カンパニー・リミテッド 客体の制御を支援するための方法、システムおよび非一過性のコンピュータ読み取り可能記録媒体
CN112084852A (zh) * 2020-08-04 2020-12-15 河海大学 一种基于数据融合的人体轨迹相似行为识别方法
CN112084852B (zh) * 2020-08-04 2022-08-26 河海大学 一种基于数据融合的人体轨迹相似行为识别方法

Also Published As

Publication number Publication date
JP5936038B2 (ja) 2016-06-15

Similar Documents

Publication Publication Date Title
Johnston et al. Smartwatch-based biometric gait recognition
Chen et al. Robust human activity recognition using smartphone sensors via CT-PCA and online SVM
Liu et al. Real-time arm skeleton tracking and gesture inference tolerant to missing wearable sensors
Kwon et al. Unsupervised learning for human activity recognition using smartphone sensors
EP2997895B1 (en) Computer-implemented method and apparatus for recognizing gait task
Zhong et al. Sensor orientation invariant mobile gait biometrics
Thiemjarus et al. A study on instance-based learning with reduced training prototypes for device-context-independent activity recognition on a mobile phone
EP2892007A2 (en) Static posture based person identification
Mondal et al. Gait based personal identification system using rotation sensor
JP5936038B2 (ja) 動作主識別方法、動作主識別システム、動作主識別プログラム及び情報記憶媒体
Lateef et al. Human activity recognition using smartwatch and smartphone: A review on methods, applications, and challenges
Vishwakarma et al. Three‐dimensional human activity recognition by forming a movement polygon using posture skeletal data from depth sensor
Alrazzak et al. A survey on human activity recognition using accelerometer sensor
KR102363879B1 (ko) 환자의 상지 동작에 의해 도출되는 특징값을 이용한 임상평가척도 예측 방법
Liu et al. A lightweight double-channel depthwise separable convolutional neural network for multimodal fusion gait recognition
Zhang et al. Fine-grained and real-time gesture recognition by using IMU sensors
JP7052604B2 (ja) 業務推定方法、情報処理装置、及び業務推定プログラム
Hajjej et al. Deep human motion detection and multi-features analysis for smart healthcare learning tools
Zeng et al. Accelerometer-based gait recognition via deterministic learning
Ashry et al. Improved IMU-based human activity recognition using hierarchical hmm dissimilarity
Guo et al. Multimode pedestrian dead reckoning gait detection algorithm based on identification of pedestrian phone carrying position
Cheng et al. A fall detection algorithm based on pattern recognition and human posture analysis
Kawsar et al. Activity detection using time-delay embedding in multi-modal sensor system
Han et al. HARF: A hierarchical activity recognition framework using smartphone sensors
Sangisetti et al. Analysis on human activity recognition using machine learning algorithm and personal activity correlation

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150219

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160106

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160302

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160413

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160427

R150 Certificate of patent or registration of utility model

Ref document number: 5936038

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees