JP7051212B2 - 情報処理装置、情報処理プログラム及び情報処理方法 - Google Patents

情報処理装置、情報処理プログラム及び情報処理方法 Download PDF

Info

Publication number
JP7051212B2
JP7051212B2 JP2018031891A JP2018031891A JP7051212B2 JP 7051212 B2 JP7051212 B2 JP 7051212B2 JP 2018031891 A JP2018031891 A JP 2018031891A JP 2018031891 A JP2018031891 A JP 2018031891A JP 7051212 B2 JP7051212 B2 JP 7051212B2
Authority
JP
Japan
Prior art keywords
acceleration
organism
information processing
motion
normal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018031891A
Other languages
English (en)
Other versions
JP2019146673A (ja
Inventor
尚史 吉田
淳 宮▲崎▼
Original Assignee
株式会社オレンジテクラボ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社オレンジテクラボ filed Critical 株式会社オレンジテクラボ
Priority to JP2018031891A priority Critical patent/JP7051212B2/ja
Publication of JP2019146673A publication Critical patent/JP2019146673A/ja
Priority to JP2021187935A priority patent/JP7210852B2/ja
Application granted granted Critical
Publication of JP7051212B2 publication Critical patent/JP7051212B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、情報処理装置情報処理プログラム及び情報処理方法に関する。
特許文献1には、評価と治療の制御のための歩行情報の収集(Collecting gait information for evaluation and control of therapy)技術、特に、Gait(足取り)の2次元解析をしていることが開示されている。
特許文献2には、患者に負担を与えることなく連続して患者をモニターし、パーキンソン病の重症度や病態変化を精度よく評価する評価装置を提供することを課題とし、生体信号情報に基づいてパーキンソン病の状態を評価することを特徴とするパーキンソン病の評価装置であって、人の体の動きを非侵襲的かつ連続的に計測する生体信号検出部と、前記生体信号検出部から得られる生体信号情報を記録・保存する情報収集部とを備えることが開示されている。
特許文献3には、被験者が少なくとも人の体の繰り返しリズム運動を非侵襲的かつ連続的に計測することを課題とし、(1)前記体動信号情報についてパターンマッチング処理を施して、前記リズム運動に関するリズム周期候補としてのリズム周期候補波を抽出する周期候補抽出工程、(2)前記体動信号情報について-1回以上積分を行って運動軌道を取得し、前記運動軌道についての粗視化を行って補助波を作成する補助波作成工程、(3)上記の周期候補抽出工程で抽出されたリズム周期候補波と、上記の補助波作成工程で得られた補助波とを重ね合わせ、前記補助波内でピークを有するリズム周期候補波の周期を真の周期として選択する周期選択工程、(1)~(3)の工程を含む情報処理を行い、前記情報処理にて得られた結果を抽出することが開示されている。
非特許文献1には、牛の受精適期を検知することが記載されている。
非特許文献2には、ドライバー及び同乗者の顔認識と三次元的顔方向の算出例が示されている。
米国特許第8744587号明細書 特開2009-291379号公報 特開2011-092696号公報
http://www.s-comtec.co.jp/ https://www.youtube.com/watch?v=pVQ4oVvjAXU
本発明は、生物の部位の加速度データを用いて、その生物における通常の動作とは異なる動作を検出するようにした情報処理プログラム及び情報処理方法を提供することを目的としている。
かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
発明[1]は、生物に取り付けられた加速度センサーから該生物の動作中における該生物の部位の加速度データを受け付ける受付手段と、前記生物の対象動作における、予め定められた方向での加速度と、該方向とは逆方向に発生した加速度を用いて、該生物における通常の動作とは異なる動作を検出する検出手段と、前記検出手段による検出結果を、ユーザーに通知する通知手段を具備する情報処理装置である。
発明[2]は、生物の動作中を撮影した映像からワイヤーフレームデータを抽出し、該生物の部位のベクトル表現データから加速度データを生成する生成手段と、前記生物の対象動作における、予め定められた方向での加速度と、該方向とは逆方向に発生した加速度を用いて、該生物における通常の動作とは異なる動作を検出する検出手段と、前記検出手段による検出結果を、ユーザーに通知する通知手段を具備する情報処理装置である。
発明[3]は、前記検出手段は、前記生物の通常の動作と対象動作における、予め定められた方向での加速度の値と、該予め定められた方向に加速度が発生した時点から該方向とは逆方向に加速度が発生した時点までの間隔を用いて、該生物における通常の動作とは異なる動作の程度を検出する、発明[1]又は[2]に記載の情報処理装置である。
発明[4]は、前記検出手段は、対象動作における加速度の値と通常の動作における加速度の値の比と、通常の動作における前記間隔と該対象動作における前記間隔の比の差が、予め定められた範囲内にあり、かつ、該動作の次の動作において、対象動作における加速度の値と通常の動作における加速度の値の比と、通常の動作における前記間隔と対象動作における前記間隔の比の差が、予め定められた範囲内にある場合に、該対象動作を前記生物における通常の動作とは異なる動作とし、予め定められた期間において、通常の動作とは異なる動作が占める割合によって、通常の動作とは異なる動作を検出する、発明[2]に記載の情報処理装置である。
発明[5]は、前記検出手段は、重力方向における加速度を用い、下方向の加速度は上方向の加速度よりも大きいことを条件として、通常の動作とは異なる動作を検出する、発明[4]に記載の情報処理装置である。
発明[6]は、前記検出手段は、重力方向以外の横軸方向と奥行き方向における正方向の加速度と負方向の加速度の比較結果をも用いることによって、通常の動作とは異なる動作を検出する、発明[5]に記載の情報処理装置である。
発明[7]は、前記検出手段は、予め定められた期間において、通常の動作とは異なる動作が発生した時間の割合によって、該通常の動作とは異なる動作の程度を検出する、発明[1]から[6]いずれか一項に記載の情報処理装置である。
発明[8]は、前記検出手段は、前記通常の動作とは異なる動作として、人間の麻痺状態、人間の居眠り状態、動物の発情期である状態のいずれか1つ以上を検出する、発明[1]から[7]のいずれか一項に記載の情報処理装置である。
発明[9]は、コンピュータを、生物に取り付けられた加速度センサーから該生物の動作中における該生物の部位の加速度データを受け付ける受付手段と、前記生物の対象動作における、予め定められた方向での加速度と、該方向とは逆方向に発生した加速度を用いて、該生物における通常の動作とは異なる動作を検出する検出手段と、前記検出手段による検出結果を、ユーザーに通知する通知手段として機能させるための情報処理プログラムである。
発明[10]は、コンピュータを、生物の動作中を撮影した映像からワイヤーフレームデータを抽出し、該生物の部位のベクトル表現データから加速度データを生成する生成手段と、前記生物の対象動作における、予め定められた方向での加速度と、該方向とは逆方向に発生した加速度を用いて、該生物における通常の動作とは異なる動作を検出する検出手段と、前記検出手段による検出結果を、ユーザーに通知する通知手段として機能させるための情報処理プログラムである。
発明[1]の情報処理装置によれば、生物の部位の加速度データを用いて、その生物における通常の動作とは異なる動作を検出することができる。
発明[2]の情報処理装置によれば、生物の部位の加速度データを用いて、その生物における通常の動作とは異なる動作を検出することができる。
発明[3]の情報処理装置によれば、生物の部位の加速度データを用いて、その生物における通常の動作とは異なる動作の程度を検出することができる。
発明[4]の情報処理装置によれば、加速度の値の比と、間隔の比を用いて、通常の動作とは異なる動作を検出することができる。
発明[5]の情報処理装置によれば、重力方向における加速度を用いて、通常の動作とは異なる動作を検出することができる。
発明[6]の情報処理装置によれば、横軸方向と奥行き方向における加速度を用いて、通常の動作とは異なる動作を検出することができる。
発明[7]の情報処理装置によれば、通常の動作とは異なる動作が発生した時間の割合を用いて、通常の動作とは異なる動作の程度を検出することができる。
発明[8]の情報処理装置によれば、人間の麻痺状態、人間の居眠り状態、動物の発情期である状態のいずれか1つ以上を検出することができる。
発明[9]の情報処理プログラムによれば、生物の部位の加速度データを用いて、その生物における通常の動作とは異なる動作を検出することができる。
発明[10]の情報処理プログラムによれば、生物の部位の加速度データを用いて、その生物における通常の動作とは異なる動作を検出することができる。
本実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態を利用したシステム構成例を示す説明図である。 本実施の形態を実現するための動作モデル、ワイヤーフレームモデルとの関係例を示す説明図である。 ワイヤーフレームモデル例を示す説明図である。 フレーム情報テーブルのデータ構造例を示す説明図である。 ベクトル表現テーブルのデータ構造例を示す説明図である。 時刻と部位の位置との関係例を示す説明図である。 本実施の形態による処理例を示すフローチャートである。 パターン検出の例を示す説明図である。 パターン検出の例を示す説明図である。 麻痺の度合いの表示例を示す説明図である。 麻痺の度合いの表示例を示す説明図である。 麻痺の度合いの表示例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。
以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図1は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア(コンピュータ・プログラム)、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム(コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム)、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するという意味である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、1モジュールを1プログラムで構成してもよいし、複数モジュールを1プログラムで構成してもよく、逆に1モジュールを複数プログラムで構成してもよい。また、複数モジュールは1コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって1モジュールが複数コンピュータで実行されてもよい。なお、1つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続(データの授受、指示、データ間の参照関係、ログイン等)の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態にしたがって、又はそれまでの状況・状態にしたがって定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、2以上の値(もちろんのことながら、全ての値も含む)が同じであってもよい。また、「Aである場合、Bをする」という記載は、「Aであるか否かを判断し、Aであると判断した場合はBをする」の意味で用いる。ただし、Aであるか否かの判断が不要である場合を除く。また、「A、B、C」等のように事物を列挙した場合は、断りがない限り例示列挙であり、その1つのみを選んでいる場合(例えば、Aのみ)を含む。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク(一対一対応の通信接続を含む)等の通信手段で接続されて構成されるほか、1つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」(社会システム)にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、RAM(Random Access Memory)、外部記憶媒体、通信回線を介した記憶装置、CPU(Central Processing Unit)内のレジスタ等を含んでいてもよい。
本実施の形態である情報処理装置100は、生物における通常の動作とは異なる動作の程度を検出するものであって、図1の例に示すように、ワイヤーフレーム生成モジュール115、部位ベクトル表現生成モジュール120、非通常動作検知モジュール125を有している。
ここで「生物」として、人間、動物を対象としている。動物として、例えば、牛、馬、犬、猫等がある。以下、具体的な例を示す場合は、生物として、人間を例示して説明する。
「動作(運動を含む)」として、例えば、歩行、頭部(視線を含めてもよい)を動かすこと等がある。歩行の場合の「通常の動作」は、規則正しい歩行(人間の場合は滑らかな二足歩行)が該当し、「通常の動作とは異なる動作」として、麻痺状態での歩行、跛行等が該当する。そして、「通常の動作とは異なる動作」が起こる原因として、パーキンソン病、脳卒中、脊髄損傷、脳性麻痺、脊髄形成異常症、筋ジストロフィー、変形性関節症、関節リウマチ、多発性硬化症、アルコール中毒、認知症、水頭症等の歩行に関与する、神経系、筋肉、骨格などに障害を引き起こす種々の疾病(病気)、又は、外傷、損傷(怪我)等がある。ただし、これらの原因を有している者(患者等)が、常に「通常の動作とは異なる動作」を行っているわけではなく、「通常の動作」を行っている期間、「通常の動作とは異なる動作」を行っている期間が混在していてもよい。例えば、朝は「通常の動作」を行っているが、夕方にかけて「通常の動作とは異なる動作」が多くなることもある。
また、頭部を動かすことを動作の対象とする場合として、具体的には、居眠り状態で発生する頭を前後(上下を含む)等に動かすこと(一般的に「こっくり」といわれる動作)が該当する。この場合の「通常の動作」は、覚醒している状態(頭は動かさないこと、又は、左右に動かすこと等)が該当し、「通常の動作とは異なる動作」として、前述したように、居眠り状態に発生する頭を突然前後等に動かすことが該当する。特に、自動車の運転時に、居眠り状態を検出することは有用である。もちろんのことながら、自動車の運転時だけでなく、教室における生徒の居眠り状態を検出すること等にも利用できる。
また、動物(特に、牛)の発情期である場合は、歩行が通常(発情期ではない状態)の歩行とは異なっている。このパターンを検知することによって、動物が発情期であるか否かを検出可能となる。
動作センサー105は、情報処理装置100のワイヤーフレーム生成モジュール115と接続されている。動作センサー105として、例えば、加速度センサー、ジャイロスコープ、GPS(Global Positioning System)等があり、生物に取り付けられ、各種の測定データを取得する。例えば、靴に加速度センサーを取り付け、足の動作を測定することができる。
撮影モジュール110は、情報処理装置100のワイヤーフレーム生成モジュール115と接続されている。撮影モジュール110は、カメラ(単眼カメラ、複眼カメラ等)を用いて、対象となっている生物の動作を撮影する。
ワイヤーフレーム生成モジュール115は、動作センサー105、撮影モジュール110、部位ベクトル表現生成モジュール120と接続されている。ワイヤーフレーム生成モジュール115は、撮影モジュール110によって撮影された生物の動作中の映像からワイヤーフレームデータを生成する。ワイヤーフレームデータの生成方法として、既に知られている技術を用いればよい。例えば、生物の関節(足、足首、膝、股関節、肘、手首、首等)を検出し、その関節間を結ぶ線をワイヤーフレームとして抽出すればよい。
部位ベクトル表現生成モジュール120は、ワイヤーフレーム生成モジュール115、非通常動作検知モジュール125のデータ記憶モジュール130と接続されている。部位ベクトル表現生成モジュール120は、ワイヤーフレーム生成モジュール115によって生成されたワイヤーフレームデータを受け取って、その生物の各部位のベクトル表現データから加速度データを生成する。例えば、加速度データは、部位を示すデータ、ワイヤーフレームを構成する2つの関節の3次元位置を示すデータで構成されている。もちろんのことながら、日時(年、月、日、時、分、秒、秒以下、又はこれらの組み合わせであってもよい)データを含んでいてもよい。
また、部位ベクトル表現生成モジュール120は、生物に取り付けられた加速度センサー(動作センサー105)から加速度データを抽出するようにしてもよい。例えば、加速度データは、日時、その日時における加速度の値によって構成されている。
非通常動作検知モジュール125は、データ記憶モジュール130、算出モジュール135、検出モジュール140、通知モジュール145を有している。非通常動作検知モジュール125は、生物における通常の動作とは異なる動作の程度を検出し、それを通知する。
データ記憶モジュール130は、部位ベクトル表現生成モジュール120、算出モジュール135と接続されている。データ記憶モジュール130は、部位ベクトル表現生成モジュール120によって生成された加速度データを記憶している。
算出モジュール135は、データ記憶モジュール130、検出モジュール140と接続されている。算出モジュール135は、生物の動作中における、その生物の部位の加速度データを受け付ける。具体的には、算出モジュール135は、部位ベクトル表現生成モジュール120によって生成又は抽出された加速度データ(データ記憶モジュール130内の加速度データ)を抽出する。
そして、算出モジュール135は、その加速度データを用いて、その生物における通常の動作の候補、その生物における通常の動作とは異なる動作の候補を抽出する。具体的には、図8の例に示すフローチャートのステップS802からステップS808の処理を行う。
検出モジュール140は、算出モジュール135、通知モジュール145と接続されている。検出モジュール140は、加速度データから、生物における通常の動作とは異なる動作の程度を検出する。具体的には、図8の例に示すフローチャートのステップS810からステップS818の処理を行う。
例えば、検出モジュール140は、生物の通常の動作と対象動作における、予め定められた方向での加速度の値と、その予め定められた方向に加速度が発生した時点からその方向とは逆方向に加速度が発生した時点までの間隔を用いて、その生物における通常の動作とは異なる動作の程度を検出する。
具体的には、検出モジュール140は、対象動作における加速度の値と通常の動作における加速度の値の比と、通常の動作における間隔とその対象動作における間隔の比の差が、予め定められた範囲内にあり、かつ、その動作の次の動作において、対象動作における加速度の値と通常の動作における加速度の値の比と、通常の動作における間隔と対象動作における間隔の比の差が、予め定められた範囲内にある場合に、その対象動作を生物における通常の動作とは異なる動作とし、予め定められた期間において、通常の動作とは異なる動作が占める割合によって、通常の動作とは異なる動作を検出する。ここで「予め定められた範囲内」として、完全一致(つまり、差が0)である場合はもちろんのことながら、経験的に定められた閾値としてもよい。なお、後述する図4、図5の例で用いる計算式は、完全一致の場合を示している(つまり、R1’とR1との比がR2とR2’との比と等しい場合を例示している)が、これらの比が類似していればよい(これらの比の差が予め定められた範囲であればよい)。
また、検出モジュール140は、重力方向における加速度を用い、下方向の加速度は上方向の加速度よりも大きいことを条件として、通常の動作とは異なる動作を検出するようにしてもよい。ここで「重力方向」とは、上方向又は下方向を示すもので、本実施の形態の説明では、Y軸方向を示す。上方向への動作は重力に逆らうことになり、下方向への動作は重力にしたがう(力を要しない)ことになるので、「下方向の加速度は上方向の加速度よりも大きい」ことになる。
また、「下方向の加速度は上方向の加速度よりも大きい」の条件に、さらに、「上方向の加速度と下方向の加速度との差が予め定められた値より大きい又は以上である」の条件を付加して、通常の動作とは異なる動作を検出するようにしてもよい。
そして、検出モジュール140は、重力方向以外の横軸方向と奥行き方向における正方向の加速度と負方向の加速度の比較結果をも用いることによって、通常の動作とは異なる動作を検出するようにしてもよい。横軸方向とは、左右方向を示すもので、本実施の形態の説明では、X軸方向を示す。奥行き方向とは、前後方向を示すもので、本実施の形態の説明では、Z軸方向を示す。
前述の重力方向ほど顕著に表れないが、麻痺等によって、ある一方向には容易に動かすことができるが、他の方向に動かすことが困難である場合があるからである。
また、検出モジュール140は、予め定められた期間において、通常の動作とは異なる動作が発生した時間の割合によって、その通常の動作とは異なる動作の程度を検出するようにしてもよい。「予め定められた期間」として、例えば、1日、1週間、1か月等がある。
また、検出モジュール140は、通常の動作とは異なる動作として、人間の麻痺状態、人間の居眠り状態、動物の発情期である状態のいずれか1つ以上を検出するようにしてもよい。
通知モジュール145は、検出モジュール140と接続されている。通知モジュール145は、検出モジュール140による検出結果を、ユーザーに通知する。具体的には、図8の例に示すフローチャートのステップS820の処理を行う。そして、図11から図13の例に示すグラフ等を表示する。
ここで通知先である「ユーザー」として、対象となっている生物である人間、又は、その生物の観察者(医者等を含む)等が該当する。
例えば、情報処理装置100は、麻痺患者に起こる現象である歩行パターンを検出する。体の部位に装着した加速度センサー(動作センサー105の一例)から得られた加速度データ、又は、人間の動作を単眼カメラ(撮影モジュール110の一例)で撮影して機械学習によって体の各部位をワイヤーフレーム表現したデータを対象として、麻痺の度合い(麻痺か否かを含む)を検出し、麻痺患者又は医者(通知先のユーザーの一例)に通知する。
図2は、本実施の形態を利用したシステム構成例を示す説明図である。
図2に示す例は、情報処理装置100を、麻痺の症状を有している患者200の歩行に適用した場合の例を示すものである。つまり、生物の一例として患者200、動作の一例として歩行、部位の一例として足(靴)、通知先のユーザーの一例としてユーザー280(例えば、医者等)を示したものである。
単眼カメラ210は、情報処理装置100と接続されている。単眼カメラ210は、患者200の歩行を撮影している。
患者200は、加速度センサー付シューズ205(図2の例では、加速度センサー付シューズ205a、加速度センサー付シューズ205b)を履いており、加速度センサー付シューズ205は、歩行中における足の加速度を測定している。なお、加速度センサー付シューズ205は、3次元空間における3軸における加速度を測定している。また、加速度データは、単眼カメラ210が撮影した画像から、患者200の動作のワイヤーフレームを抽出し、体の部位のベクトル表現を生成し、その部位における加速度を算出するようにしてもよい。
データ収集用通信モジュール215は、情報処理装置100、加速度センサー付シューズ205と接続されている。データ収集用通信モジュール215は、ブルートゥース(登録商標)(Bluetooth(登録商標))等の近距離無線通信によって、加速度センサー付シューズ205から測定結果(加速度データ)を受信する。リアルタイムで測定結果を受信してもよいし、予め定められた期間(例えば、一定期間毎)の測定結果を加速度センサー付シューズ205内に記憶しておき、それを読み取ることを行ってもよい。なお、読み取る場合は、有線で通信を行うようにしてもよい。
情報処理装置100は、単眼カメラ210、データ収集用通信モジュール215と接続されており、また、通信回線290を介してユーザー280が所有しているユーザー端末270と接続されている。情報処理装置100は、加速度データ(加速度センサー付シューズ205の測定結果、又は、単眼カメラ210が撮影した画像の解析結果)を用いて、患者200の歩行における麻痺の程度(通常人の歩行とは異なる歩行の程度)を検出し、ユーザー端末270に通知する。データ記憶モジュール130は、Personal Footprint Database(DB)としての役割を有する。算出モジュール135は、Personal Calculationとしての役割を有する。検出モジュール140は、Detectionとしての役割を有する。通知モジュール145は、Notificationとしての役割を有する。
ユーザー280が操作するユーザー端末270は、通信回線290を介して情報処理装置100と接続されている。ユーザー端末270は、情報処理装置100による処理結果(患者200の麻痺の程度)を、ユーザー280に通知する。
通信回線290は、無線、有線、これらの組み合わせであってもよく、例えば、通信インフラとしてのインターネット、イントラネット等であってもよい。また、情報処理装置100による機能は、クラウドサービスとして実現してもよい。
より具体的に説明する。
データ記憶モジュール130は、加速度センサー(加速度センサー付シューズ205)とそれを一時的に記録するフラッシュメモリをハードウェアとして用いる。加速度センサーとしては、3軸の加速度を検出できるハードウェアを用いる。また、単眼カメラ210とワイヤーフレームモデルを用いる場合は、単眼カメラ210で撮影した映像を既存の技術の機械学習で認識し、体の各部位の3次元座標を取得する。
定められた期間(例えば、1日、1週間、1か月等)において、加速度センサーから出力される毎秒のX軸、Y軸、及び、Z軸のそれぞれの値を時刻(日時)と共に記録する。
算出モジュール135は、データ記憶モジュール130に記録された加速度センサーの値を計算し、通常の動作(歩行など)をしている部分と麻痺現象が起きている部分とを区別してその時間を算出する。具体的には、閾値として2種類の閾値d1、d2を設定し、閾値d1を超えない部分は静止部分、閾値d1とd2と間の部分を麻痺現象が起きている部分、d2を超える部分を麻痺現象が起きていない部分とする。例えば、d1=50m/s^2、d2=120m/s^2とすると、現実的な検出ができる。
検出モジュール140は、算出モジュール135で算出した麻痺現象の時刻と時間と、利用者のこれまでの記録から、どの部分が麻痺現象なのかを検出し、その回数を検出する。具体的には、同じ行動で速度のみが異なる部分を検出する。X軸、Y軸、及び、Z軸の3軸のそれぞれの加速度の値が記録されているので、まず任意の区間の加速度の値の平均値の3軸の合計値を算出しておき、低い部分と高い部分に分割しておく。低い部分と高い部分の時系列変化パターンを、3軸のそれぞれについて比較し、同じパターンで加速度の大きさのみが異なる部分を検出する。この検出により、麻痺現象が起きている可能性の高い部分が検出できる。
通知モジュール145は、検出モジュール140によって検出した結果をユーザー280に通知する。例えば、LED(Light Emitting Diode)を装備して麻痺現象が起きていた動作の回数を表示したり、麻痺現象のグラフを示すWEBページを生成して、ユーザー端末270に表示したり、スピーカーによる音声出力、バイブレーション装置による振動の回数等、又は、これらの組み合わせを用いて通知する。
図3は、本実施の形態を実現するための動作モデル、ワイヤーフレームモデルとの関係例を示す説明図である。
単眼カメラ210を用いて、情報処理装置100の機能を実現する場合は、単眼カメラからの深層学習による動作のワイヤーフレーム認識(人の動作のワイヤーフレームモデル310)を基本とし、その上で体の各部位のベクトル表現による動作モデルを記述し(体の各部位のベクトル表現による動作モデル320)、その上に本実施の形態によるアルゴリズム(麻痺検出アルゴリズム330)を適用する。
ここで、ワイヤーフレームの例を、図4を用いて説明する。図4の例は、関節等の部位を持った3次元の人間モデルを示しており、撮影モジュール110が撮影した映像である人400の部位を抽出し、ワイヤーフレーム410を生成する。人の動作のワイヤーフレームモデルは、既知の技術であり、図4の例に示すような、人400の体の各部位をワイヤーフレームの集合によって表現したものである。また、体の各部位のベクトル表現とは、例えば、「首,(v21,v21,v21),(v22,v22,v22)」のように、体の部位の名称と、開始点の三次元座標、終了点の三次元座標の3つ組の集合である。
具体的には、フレーム情報テーブル500、ベクトル表現テーブル600を用いて、情報処理装置100が扱うデータ構造例を説明する。
図5は、フレーム情報テーブル500のデータ構造例を示す説明図である。フレーム情報テーブル500は、フレームID欄510、日時欄520、部位欄530、座標欄540を有している。フレームID欄510は、本実施の形態において、フレームを一意に識別するための情報(フレームID:IDentification)を記憶している。日時欄520は、そのフレームを測定した日時(年、月、日、時、分、秒、秒以下、又はこれらの組み合わせであってもよい)を記憶している。部位欄530は、そのフレームに該当する部位(首、足等)を記憶している。座標欄540は、そのフレームの座標を記憶している。具体的には、フレームの端点の3次元座標(2つの3次元座標)を記憶している。
図6は、ベクトル表現テーブル600のデータ構造例を示す説明図である。ベクトル表現テーブル600は、ベクトルID欄610、部位欄620、開始点欄630、終了点欄640を有しており、開始点欄630は、日時欄632、開始点座標欄634を有しており、終了点欄640は、日時欄642、終了点座標欄644を有している。ベクトルID欄610は、本実施の形態において、部位の動きを示すベクトルを一意に識別するための情報(ベクトルID)を記憶している。部位欄620は、部位を記憶している。開始点欄630は、その部位の開始点を記憶している。日時欄632は、開始点を測定した日時を記憶している。開始点座標欄634は、開始点の座標を記憶している。終了点欄640は、その部位の終了点を記憶している。日時欄642は、終了点を測定した日時を記憶している。終了点座標欄644は、終了点の座標を記憶している。
図7の例を用いて、本実施の形態の基本的な考え方を示す。
図7に示すグラフは、横軸に時刻(時間)、縦軸に足のY軸における位置をプロットしたものである。図7(a)は通常人(麻痺ではない人)の歩行の例を示しており、図7(b)は麻痺状態での歩行の例を示している。正常時(図7(a))に比べ、麻痺状態(図7(b))は、足を上げる動作は遅いが、下げる動作は重力に応じて動くため、正常時と近いスピードで動く。本実施の形態はそれを検出する。具体的には、図7(a)に示す足挙げ動作710aと足下げ動作720aは、ほぼ同じ速度であるが、図7(b)に示す足挙げ動作710bと足下げ動作720bでは、足挙げ動作710bは遅く、足下げ動作720bは足下げ動作720aとほぼ同じ速度である。
図8は、本実施の形態による処理例を示すフローチャートである。
ステップS802では、算出モジュール135は、予め定められた時刻であるか否かを判断し、予め定められた時刻の場合はステップS804へ進み、それ以外の場合は予め定められた時刻となるまで待機する。例えば、特定の時刻(例えば、毎日23:59)に開始する。
ステップS804では、算出モジュール135は、X軸、Y軸、Z軸での加速度の平均値を算出する。例えば、X軸、Y軸、及び、Z軸のそれぞれについて、特定の軸間(例えば、1分間等)毎に、瞬間の加速度の値の平均値を計算し、Mx、My、Mzとする。
ステップS806では、算出モジュール135は、前ステップでの平均値の合計値を算出する。例えば、Mx、My、Mzの合計Mtを計算する。
ステップS808では、算出モジュール135は、麻痺現象部分と麻痺現象部分でない部分の候補を抽出する。例えば、Mtの各時区間(例えば、1分間等)のうち、閾値によって高い部分と低い部分に分け、麻痺現象部分と麻痺現象でない部分の候補とする。
ステップS810では、検出モジュール140は、Y軸について、麻痺現象部分を抽出する。
例えば、以下の処理を行う。
Y軸のデータについて、低い部分の時系列変化パターンと、高い部分の時系列変化パターンの組み合わせを比較し、加速度の大きさのみが異なり波形が同じ部分を検出する。このとき、麻痺患者に特有の次のようなパターンを検出する。つまり、重力の下方向は通常と同じスピードだが、重力の上方向は通常とは異なるスピードの部分を検出する。例えば、図7に示すように、位置を考えた場合、重力の上下方向(Y軸)の加速度センサーにおいて、通常人の場合は、図7(a)の例に示す足挙げ動作710a(上方向)と足下げ動作720a(下方向)のように速く動作するが、麻痺状態の場合は、図7(b)の例に示す足挙げ動作710b(上方向)は遅いが、足下げ動作720b(下方向)は重力にしたがって動作するため、図7(a)の例に示す足下げ動作720aと同じように速く動作する。
これを加速度で考えた場合、図9の例に示すようになる。図9(a)は図7(a)の加速度表現であり、図9(b)は図7(b)の加速度表現である。Y軸のプラス方向では、図9(a)と図9(b)で加速度は異なるが、Y軸のマイナス方向では、図9(a)と図9(b)とがほぼ同じ加速度となる。この部分を検出する。具体的には、図9の例に示すように、
R1/R1’=R2’/R2、かつ、S1/S1’=S2’/S2
となる部分を検出する。ここで、R1、R1’は、上方向(予め定められた方向の一例)での加速度の値であり、R2、R2’は、上方向に加速度が発生した時点から下方向(上方向とは逆方向)に加速度が発生した時点までの間隔を示している。R1/R1’は、対象動作(図9(b))における加速度の値と通常の動作(図9(a))とにおける加速度の値の比を示している。R2’/R2は、通常の動作(図9(a))における間隔と対象動作(図9(b))における間隔の比を示している。S1、S1’は、R1、R1’の動作の次の動作(いわゆる2歩目)における上方向(予め定められた方向の一例)での加速度の値であり、S2、S2’は、前述の次の動作での上方向に加速度が発生した時点から下方向(上方向とは逆方向)に加速度が発生した時点までの間隔を示している。S1/S1’は、前述の次の動作での対象動作(図9(b))における加速度の値と通常の動作(図9(a))における加速度の値の比を示している。S2’/S2は、前述の次の動作での通常の動作(図9(a))における間隔と対象動作(図9(b))における間隔の比を示している。なお、条件をR1/R1’=R2’/R2としているが、
|R1/R1’-R2’/R2|<α
としてもよい。ここで、αは予め定められた閾値を示しており、R1/R1’とR2’/R2とが、予め定められた範囲内にあることを示している。なお、α=0である場合が、R1/R1’=R2’/R2の条件となる。
同様に、条件S1/S1’=S2’/S2を、
|S1/S1’-S2/S2’|<β
としてもよい。ここで、βは予め定められた閾値を示しており、この条件はS1/S1’とS2/S2’とが、予め定められた範囲内にあることを示している。なお、β=0である場合が、S1/S1’=S2’/S2の条件となる。
さらに、R1<R1’、かつ、R2<R2’を条件として付加してもよい。さらに、S1<S1’、かつ、S2<S2’を条件として付加してもよい。
なお、ステップS810での処理は、予め患者200の麻痺ではない状態での歩行における加速度データを収集しておき、又は、予め麻痺ではない通常の人の歩行における加速度データを収集しておき、図9(a)の例に示すデータとして予め用意しておくことが必要である。そして、患者200の歩行(対象動作の一例)における加速度データから、前述した条件を満たすデータ(図9(b)の例に示すデータ)を抽出する。
Y軸における上下両方の加速度の値を用いるようにしてもよい。例えば、図10に示すように、
R1/R1’=R2’/R2、かつ、S1/S1’=S2’/S2、かつ、|R1’|<|R3’|、かつ、|S1’|<|S3’|
となる部分を検出する。「R1/R1’=R2’/R2、かつ、S1/S1’=S2’/S2」の部分は、図9の例を用いて前述した条件と同じである。R3、R3’は、下方向(予め定められた方向と逆方向の一例)での加速度の値であり、S3、S3’は、R1、R1’の動作の次の動作(いわゆる2歩目)における下方向(予め定められた方向と逆方向の一例)での加速度の値である。|R1’|<|R3’|の条件は、いわゆる1歩目の下方向の加速度は、上方向の加速度よりも小さいことを示しており、|S1’|<|S3’|の条件は、いわゆる2歩目の下方向の加速度は、上方向の加速度よりも小さいことを示している。
また、条件|R1’|<|R3’|を、
||R1’|-|R3’||>γ
としてもよい。ここで、γは予め定められた閾値を示しており、この条件は1歩目の上方向の加速度と下方向の加速度の差が大きいことを示している。
同様に、条件|S1’|<|S3’|を、
||S1’|-|S3’||>δ
としてもよい。ここで、δは予め定められた閾値を示しており、この条件は2歩目の上方向の加速度と下方向の加速度の差が大きいことを示している。
ステップS812では、検出モジュール140は、X軸について、麻痺現象部分を抽出する。ステップS810と同等の処理を、X軸における加速度データ(加速度の値、前述の間隔)を用いて行う。
ステップS814では、検出モジュール140は、Z軸について、麻痺現象部分を抽出する。ステップS810と同等の処理を、Z軸における加速度データ(加速度の値、前述の間隔)を用いて行う。
なお、前述したように、Y軸(重力方向)ほど、正方向、負方向の加速度の差は顕著に表れないが、麻痺によっては、X軸、Z軸において動かしやすい方向と動かしにくい方向があるので、X軸、Z軸についても同様の処理を行っている。
ステップS816では、検出モジュール140は、X軸、Y軸、Z軸の全てで重なっている麻痺現象部分を抽出する。なお、ここで軸についての軽重を付けるようにしてもよい。例えば、Y軸での処理結果の重みを他の軸の処理結果よりも重くしてもよい。また、Y軸での処理結果だけを用いるようにしてもよい。
ステップS818では、検出モジュール140は、麻痺現象部分の時間の割合を算出する。
ステップS820では、通知モジュール145は、結果をグラフ表示等する。
例えば、麻痺現象が起きている時間を一時間毎に合計し、麻痺現象部分の時間と、麻痺現象でない部分の時間の割合を、出力するようにしてもよい。例えば、図11に示すように、横軸は0時から24時までの時刻を示し、縦軸は一時間毎における麻痺現象が発生していた時間の割合を示している。これによって、麻痺現象が頻繁に発生している時間帯を知ることができるようになる。
この例は、麻痺の度合いを、予め定められた期間における麻痺現象が起きている時間の割合で算出している。
また、麻痺の度合いを、図10の例に示すR3’に対するR1’の割合にしてもよい。また、麻痺の度合いを、図10の例に示すS3’に対するS1’の割合にしてもよい。つまり、ある方向(例えば、上方向)の加速度と逆方向(例えば、下方向)の加速度の比によって、麻痺の度合いを示すようにしてもよい。ここで、R3’、R1’、S3’、S1’は、麻痺現象が起きていた場合におけるR3’、R1’、S3’、S1’の統計的値(平均値、最頻値、中央値、最大値、最小値等)としてもよい。
また、図12の例に示すように、麻痺の度合いを、日毎に出力してもよい。横軸は1日目から40日目までの時刻を示し、縦軸はその一日における麻痺現象が発生していた時間の割合を示している。これによって、麻痺現象が頻繁に発生している日を知ることができるようになる。
また、図13の例に示すように、患者の全国平均に対する麻痺の度合いを出力してもよい。横軸は「軽度」、「全国平均」、「重度」、「各患者」を示し、縦軸は麻痺の度合いを示している。麻痺の度合いとして、図11、図12の例に示すように、予め定められた期間内(例えば、一日、一月等)での麻痺状態となっている時間の割合としてもよいし、図10の例に示すR3’に対するR1’の割合等としてもよい。ここで、「軽度」、「重度」は予め定められた値であり、「全国平均」は算出した値である。そして、各患者の麻痺の度合いを示すようにすることによって、各患者の重症度を知ることができるようになる。
なお、本実施の形態としてのプログラムが実行されるコンピュータのハードウェア構成は、図14に例示するように、一般的なコンピュータであり、具体的にはパーソナルコンピュータ、サーバーとなり得るコンピュータ等である。つまり、具体例として、処理部(演算部)としてCPU1401を用い、記憶装置としてRAM1402、ROM1403、HD1404を用いている。HD1404として、例えばハードディスク、SSD(Solid State Drive)を用いてもよい。ワイヤーフレーム生成モジュール115、部位ベクトル表現生成モジュール120、非通常動作検知モジュール125、算出モジュール135、検出モジュール140、通知モジュール145等のプログラムを実行するCPU1401と、そのプログラムやデータを記憶するRAM1402と、本コンピュータを起動するためのプログラム等が格納されているROM1403と、データ記憶モジュール130としての機能を有する補助記憶装置(フラッシュ・メモリ等であってもよい)であるHD1404と、キーボード、マウス、タッチスクリーン、マイク、カメラ(視線検知カメラ等を含む)等に対する利用者の操作(動作、音声、視線等を含む)に基づいてデータを受け付ける受付装置1406と、CRT、液晶ディスプレイ、スピーカー等の出力装置1405と、ネットワークインタフェースカード等の通信ネットワークと接続するための通信回線インタフェース1407、そして、それらをつないでデータのやりとりをするためのバス1408により構成されている。これらのコンピュータが複数台互いにネットワークによって接続されていてもよい。
前述の実施の形態のうち、コンピュータ・プログラムによるものについては、本ハードウェア構成のシステムにソフトウェアであるコンピュータ・プログラムを読み込ませ、ソフトウェアとハードウェア資源とが協働して、前述の実施の形態が実現される。
なお、図14に示すハードウェア構成は、1つの構成例を示すものであり、本実施の形態は、図14に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア(例えば特定用途向け集積回路(Application Specific Integrated Circuit:ASIC)等)で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続している形態でもよく、さらに図14に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、特に、パーソナルコンピュータの他、医療装置、携帯情報通信機器(携帯電話、スマートフォン、モバイル機器、ウェアラブルコンピュータ等を含む)、情報家電、ロボットなどに組み込まれていてもよい。
また、前述の実施の形態の説明内での比較処理において、「以上」、「以下」、「より大きい」、「より小さい(未満)」としたものは、その組み合わせに矛盾が生じない限り、それぞれ「より大きい」、「より小さい(未満)」、「以上」、「以下」としてもよい。
また、前述の実施の形態を、以下の例に示すように変形してもよい。
(1)図2の例に示すように、単眼カメラ210、ワイヤーフレームを用い、パーソナルコンピュータの中に情報処理装置100を実現するアルゴリズムのプログラムを組み込み、病院に設置する。医師が麻痺の患者を診察する前に、患者を撮影し、どの程度の麻痺なのかを事前に知ることが可能となる。例えば、玄関から待合室までの歩行、待合室から診察室に入るまでの歩行等を撮影するようにしてもよい。
(2)牛の歩みの加速度を用いたパターンを分析し、牛が発情期か否かを検出可能である。特に、単眼カメラ210とパーソナルコンピュータのみによって検出することが可能である。
(3)単眼カメラ又は複眼カメラを用いて、画像処理による既存の技術を用いて視線の向きを検出し、その方向ベクトルについて、図9と図10を用いて前述した方法と同様に処理し、人が座ったまま眠っているか否かを検出することが可能である。つまり、視線の向きの変化の加速度を用いる。具体的には、視線の下方向への変化の加速度が大きくなるパターン(いわゆる「こっくり」が発生したとき)を検出すればよい。下方向への視線の加速度が大きく、視線の上方向への移動までの時間間隔が短いことを条件とすればよい。さらに、下方向への視線の加速度が大きく、上方向への視線の加速度も大きいことを条件としてもよい。ここでの大きい、短い等は、予め定められた閾値と比較すればよい。
なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通等のために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク(DVD)であって、DVDフォーラムで策定された規格である「DVD-R、DVD-RW、DVD-RAM等」、DVD+RWで策定された規格である「DVD+R、DVD+RW等」、コンパクトディスク(CD)であって、読出し専用メモリ(CD-ROM)、CDレコーダブル(CD-R)、CDリライタブル(CD-RW)等、ブルーレイ・ディスク(Blu-ray(登録商標) Disc)、光磁気ディスク(MO)、フレキシブルディスク(FD)、磁気テープ、ハードディスク、読出し専用メモリ(ROM)、電気的消去及び書換可能な読出し専用メモリ(EEPROM(登録商標))、フラッシュ・メモリ、ランダム・アクセス・メモリ(RAM)、SD(Secure Digital)メモリーカード等が含まれる。
そして、前記のプログラムの全体又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク(LAN)、メトロポリタン・エリア・ネットワーク(MAN)、ワイド・エリア・ネットワーク(WAN)、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、又は無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分若しくは全部であってもよく、又は別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して記録されていてもよい。また、圧縮や暗号化等、復元可能であればどのような態様で記録されていてもよい。
例えば、課題として以下のものがある。
本実施の形態は、生物の部位の加速度データを用いて、その生物における通常の動作とは異なる動作の程度を検出するようにした情報処理装置及び情報処理プログラムを提供することを目的としている。
前述の実施の形態は以下のように把握してもよい。
[A1]生物の動作中における該生物の部位の加速度データを受け付ける受付手段と、
前記生物の通常の動作と対象動作における、予め定められた方向での加速度の値と、該予め定められた方向に加速度が発生した時点から該方向とは逆方向に加速度が発生した時点までの間隔を用いて、該生物における通常の動作とは異なる動作の程度を検出する検出手段と、
前記検出手段による検出結果を、ユーザーに通知する通知手段
を具備する情報処理装置。
[A2]前記検出手段は、対象動作における加速度の値と通常の動作における加速度の値の比と、通常の動作における前記間隔と該対象動作における前記間隔の比の差が、予め定められた範囲内にあり、かつ、該動作の次の動作において、対象動作における加速度の値と通常の動作における加速度の値の比と、通常の動作における前記間隔と対象動作における前記間隔の比の差が、予め定められた範囲内にある場合に、該対象動作を前記生物における通常の動作とは異なる動作とし、予め定められた期間において、通常の動作とは異なる動作が占める割合によって、通常の動作とは異なる動作を検出する、
[A1]に記載の情報処理装置。
[A3]前記検出手段は、重力方向における加速度を用い、下方向の加速度は上方向の加速度よりも大きいことを条件として、通常の動作とは異なる動作を検出する、
[A2]に記載の情報処理装置。
[A4]前記検出手段は、重力方向以外の横軸方向と奥行き方向における正方向の加速度と負方向の加速度の比較結果をも用いることによって、通常の動作とは異なる動作を検出する、
[A3]に記載の情報処理装置。
[A5]前記検出手段は、予め定められた期間において、通常の動作とは異なる動作が発生した時間の割合によって、該通常の動作とは異なる動作の程度を検出する、
[A1]から[A4]のいずれか一項に記載の情報処理装置。
[A6]前記検出手段は、前記通常の動作とは異なる動作として、人間の麻痺状態、人間の居眠り状態、動物の発情期である状態のいずれか1つ以上を検出する、
[A1]から[A5]のいずれか一項に記載の情報処理装置。
[A7]前記生物の動作中を撮影した映像からワイヤーフレームデータを抽出し、各部位のベクトル表現データから加速度データを生成する生成手段、
又は、
前記生物に取り付けられた加速度センサーから加速度データを抽出する抽出手段
を具備し、
前記受付手段は、前記生成手段又は抽出手段から、前記加速度データを受け付ける、
[A1]から[A6]のいずれか一項に記載の情報処理装置。
[A8]コンピュータを、
生物の動作中における該生物の部位の加速度データを受け付ける受付手段と、
前記生物の通常の動作と対象動作における、予め定められた方向での加速度の値と、該予め定められた方向に加速度が発生した時点から該方向とは逆方向に加速度が発生した時点までの間隔を用いて、該生物における通常の動作とは異なる動作の程度を検出する検出手段と、
前記検出手段による検出結果を、ユーザーに通知する通知手段
として機能させるための情報処理プログラム。
そして、前述の発明は、以下の効果を有する。
[A1]の情報処理装置によれば、生物の部位の加速度データを用いて、その生物における通常の動作とは異なる動作の程度を検出することができる。
[A2]の情報処理装置によれば、加速度の値の比と、間隔の比を用いて、通常の動作とは異なる動作を検出することができる。
[A3]の情報処理装置によれば、重力方向における加速度を用いて、通常の動作とは異なる動作の程度を検出することができる。
[A4]の情報処理装置によれば、横軸方向と奥行き方向における加速度を用いて、通常の動作とは異なる動作の程度を検出することができる。
[A5]の情報処理装置によれば、通常の動作とは異なる動作が発生した時間の割合を用いて、通常の動作とは異なる動作の程度を検出することができる。
[A6]の情報処理装置によれば、人間の麻痺状態、人間の居眠り状態、動物の発情期である状態のいずれか1つ以上を検出することができる。
[A7]の情報処理装置によれば、ワイヤーフレームデータ又は加速度センサーからの加速度データを用いることができる。
[A8]の情報処理プログラムによれば、生物の部位の加速度データを用いて、その生物における通常の動作とは異なる動作の程度を検出することができる。
100…情報処理装置
105…動作センサー
110…撮影モジュール
115…ワイヤーフレーム生成モジュール
120…部位ベクトル表現生成モジュール
125…非通常動作検知モジュール
130…データ記憶モジュール
135…算出モジュール
140…検出モジュール
145…通知モジュール
200…患者
205…加速度センサー付シューズ
210…単眼カメラ
215…データ収集用通信モジュール
270…ユーザー端末
280…ユーザー
290…通信回線

Claims (5)

  1. 生物に取り付けられた加速度センサーから該生物の動作中における該生物の部位の加速度データを受け付ける受付手段と、
    前記生物の対象動作における、予め定められた方向での加速度と、該方向とは逆方向に発生した加速度を用いて、該生物における通常の動作とは異なる動作を検出する検出手段と、
    前記検出手段による検出結果を、ユーザーに通知する通知手段
    を具備し、
    前記検出手段は、前記生物の通常の動作と対象動作における、予め定められた方向での加速度の値と、該予め定められた方向に加速度が発生した時点から該方向とは逆方向に加速度が発生した時点までの間隔を用いて、該生物における通常の動作とは異なる動作の程度を検出する、
    情報処理装置。
  2. 前記検出手段は、予め定められた期間において、通常の動作とは異なる動作が発生した時間の割合によって、該通常の動作とは異なる動作の程度を検出する、
    請求項1に記載の情報処理装置。
  3. 前記検出手段は、前記通常の動作とは異なる動作として、人間の麻痺状態、人間の居眠り状態、動物の発情期である状態のいずれか1つ以上を検出する、
    請求項1又は2に記載の情報処理装置。
  4. コンピュータを、
    生物に取り付けられた加速度センサーから該生物の動作中における該生物の部位の加速度データを受け付ける受付手段と、
    前記生物の対象動作における、予め定められた方向での加速度と、該方向とは逆方向に発生した加速度を用いて、該生物における通常の動作とは異なる動作を検出する検出手段と、
    前記検出手段による検出結果を、ユーザーに通知する通知手段
    として機能させ
    前記検出手段は、前記生物の通常の動作と対象動作における、予め定められた方向での加速度の値と、該予め定められた方向に加速度が発生した時点から該方向とは逆方向に加速度が発生した時点までの間隔を用いて、該生物における通常の動作とは異なる動作の程度を検出する、
    情報処理プログラム。
  5. 情報処理装置が行う情報処理方法であって、
    前記情報処理装置は、以下の各ステップの処理を行う、
    生物に取り付けられた加速度センサーから該生物の動作中における該生物の部位の加速度データを受け付ける受付ステップと、
    前記生物の対象動作における、予め定められた方向での加速度と、該方向とは逆方向に発生した加速度を用いて、該生物における通常の動作とは異なる動作を検出する検出ステップと、
    前記検出ステップによる検出結果を、ユーザーに通知する通知ステップ
    を有し、
    前記検出ステップは、前記生物の通常の動作と対象動作における、予め定められた方向での加速度の値と、該予め定められた方向に加速度が発生した時点から該方向とは逆方向に加速度が発生した時点までの間隔を用いて、該生物における通常の動作とは異なる動作の程度を検出する、
    情報処理方法。
JP2018031891A 2018-02-26 2018-02-26 情報処理装置、情報処理プログラム及び情報処理方法 Active JP7051212B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018031891A JP7051212B2 (ja) 2018-02-26 2018-02-26 情報処理装置、情報処理プログラム及び情報処理方法
JP2021187935A JP7210852B2 (ja) 2018-02-26 2021-11-18 情報処理装置、情報処理プログラム及び情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018031891A JP7051212B2 (ja) 2018-02-26 2018-02-26 情報処理装置、情報処理プログラム及び情報処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2021187935A Division JP7210852B2 (ja) 2018-02-26 2021-11-18 情報処理装置、情報処理プログラム及び情報処理方法

Publications (2)

Publication Number Publication Date
JP2019146673A JP2019146673A (ja) 2019-09-05
JP7051212B2 true JP7051212B2 (ja) 2022-04-11

Family

ID=67849707

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018031891A Active JP7051212B2 (ja) 2018-02-26 2018-02-26 情報処理装置、情報処理プログラム及び情報処理方法

Country Status (1)

Country Link
JP (1) JP7051212B2 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006218122A (ja) 2005-02-10 2006-08-24 New Industry Research Organization 脚状態診断システムとその診断方法
US20120101411A1 (en) 2009-06-24 2012-04-26 The Medical Research, Infrastructure and Health Services Fund of the Tel Aviv Medical Center Automated near-fall detector
JP2012179114A (ja) 2011-02-28 2012-09-20 Hiroshima Univ 測定装置、測定方法、及び、測定プログラム
JP2017029686A (ja) 2015-07-30 2017-02-09 学校法人近畿大学 歩行評価装置と歩行を評価するための指針となるデータの収集方法
WO2017051480A1 (ja) 2015-09-25 2017-03-30 株式会社日立情報通信エンジニアリング 画像処理装置及び画像処理方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006218122A (ja) 2005-02-10 2006-08-24 New Industry Research Organization 脚状態診断システムとその診断方法
US20120101411A1 (en) 2009-06-24 2012-04-26 The Medical Research, Infrastructure and Health Services Fund of the Tel Aviv Medical Center Automated near-fall detector
JP2012179114A (ja) 2011-02-28 2012-09-20 Hiroshima Univ 測定装置、測定方法、及び、測定プログラム
JP2017029686A (ja) 2015-07-30 2017-02-09 学校法人近畿大学 歩行評価装置と歩行を評価するための指針となるデータの収集方法
WO2017051480A1 (ja) 2015-09-25 2017-03-30 株式会社日立情報通信エンジニアリング 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
JP2019146673A (ja) 2019-09-05

Similar Documents

Publication Publication Date Title
Liao et al. A review of computational approaches for evaluation of rehabilitation exercises
Cicirelli et al. Human gait analysis in neurodegenerative diseases: a review
AU2018250385B2 (en) Motor task analysis system and method
Pavel et al. The role of technology and engineering models in transforming healthcare
Dikovski et al. Evaluation of different feature sets for gait recognition using skeletal data from Kinect
Cuzzolin et al. Metric learning for Parkinsonian identification from IMU gait measurements
US10874343B2 (en) Methods and systems for rapid screening of mild traumatic brain injury
Scott et al. Healthcare applications of single camera markerless motion capture: a scoping review
US20200077902A1 (en) Systems and methods for detecting corrupt or inaccurate sensory representations
JP7057589B2 (ja) 医療情報処理システム、歩行状態定量化方法およびプログラム
JP2016512983A (ja) 医療データの収集
Salchow-Hömmen et al. Emerging portable technologies for gait analysis in neurological disorders
MejiaCruz et al. Walking speed measurement technology: a review
Wang et al. Automated student engagement monitoring and evaluation during learning in the wild
Pogorelc et al. Detecting gait-related health problems of the elderly using multidimensional dynamic time warping approach with semantic attributes
Romeo et al. Video based mobility monitoring of elderly people using deep learning models
Fiorini et al. User profiling to enhance clinical assessment and human–robot interaction: A feasibility study
Sethi et al. Multi‐feature gait analysis approach using deep learning in constraint‐free environment
JP7051212B2 (ja) 情報処理装置、情報処理プログラム及び情報処理方法
Fayad et al. Fall detection approaches for monitoring elderly healthcare using Kinect technology: a survey
JP7210852B2 (ja) 情報処理装置、情報処理プログラム及び情報処理方法
KR20150133903A (ko) 사용자 그룹의 공간행동 센싱 및 의미분석 시스템
Kharazian et al. Increasing safety at smart elderly homes by human fall detection from video using transfer learning approaches
Xiang et al. Single camera based gait analysis method with scaled and image coordinate key-points
Ramli Applied Machine Learning in Healthcare Systems: Classical and Deep Learning Approach for Gait Analysis and Activity Recognition

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181018

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201127

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220329

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220329

R150 Certificate of patent or registration of utility model

Ref document number: 7051212

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150