JP6906273B2 - 映像データから人の骨格位置の変位の軌跡を描写するプログラム、装置及び方法 - Google Patents
映像データから人の骨格位置の変位の軌跡を描写するプログラム、装置及び方法 Download PDFInfo
- Publication number
- JP6906273B2 JP6906273B2 JP2018115828A JP2018115828A JP6906273B2 JP 6906273 B2 JP6906273 B2 JP 6906273B2 JP 2018115828 A JP2018115828 A JP 2018115828A JP 2018115828 A JP2018115828 A JP 2018115828A JP 6906273 B2 JP6906273 B2 JP 6906273B2
- Authority
- JP
- Japan
- Prior art keywords
- skeleton
- displacement
- behavior
- predetermined period
- person
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Image Analysis (AREA)
Description
しかしながら、人物の行動によっては(例えば激しい動きの場合)、骨格同士の軌跡の重なりが多く、表示された移動軌跡は、ユーザにとって視覚的に見づらいものとなる。
これに対し、本願の発明者は、人物の行動に応じて、ユーザが注目したい骨格の移動軌跡は異なるのではないか、と考えた。
人物の行動毎に、軌跡を描写すべき1つ以上の骨格を予め対応付けた骨格設定テーブルと、
映像データから、複数の骨格位置を時系列に抽出する骨格認識手段と、
第1の所定期間の時系列の骨格位置の変位量から、人物の行動を推定する行動推定手段と、
骨格設定テーブルを用いて、行動推定手段によって認識された行動に対応する1つ以上の骨格を特定する骨格特定手段と、
骨格特定手段によって特定された骨格について、骨格認識手段によって抽出された、第2の所定期間の時系列の骨格位置の変位を軌跡として描写する骨格変位描写手段と
してコンピュータを機能させることを特徴とする。
骨格変位描写手段は、映像データに、第2の所定期間の時系列の骨格位置の変位を軌跡として重畳的に描写する
ようにコンピュータを機能させることも好ましい。
行動推定手段の第1の所定期間は、推定前時点t-n〜推定時点tであり、
骨格変位描写手段の第2の所定期間は、
推定後時点t+1〜t+kであるか、又は、
推定前時点t-m〜推定時点t〜推定後時点t+kである
ようにコンピュータを機能させることも好ましい。
人物の行動毎に、第1の所定期間における各骨格位置の変位量を時系列に並べた第1の骨格変位テーブルを更に有し、
行動推定手段は、行動毎の第1の骨格変位テーブルを用いて、第1の所定期間の時系列の骨格変位に類似する行動を検索する
ようにコンピュータを機能させることも好ましい。
人物の行動毎に、第2の所定期間における各骨格位置の変位量を時系列に並べた第2の骨格変位テーブルを更に有し、
骨格設定テーブルは、推定された当該行動における第2の骨格変位テーブルを用いて、所定ルールに基づく時系列の変位量となる骨格を設定する
ようにコンピュータを機能させることも好ましい。
骨格設定テーブルの所定ルールは、ユーザによって予め設定されたものである
ようにコンピュータを機能させることも好ましい。
骨格設定テーブルの所定ルールは、所定期間の変位量が所定条件よりも大きい骨格、又は、所定期間の変位量が所定条件よりも小さい骨格を設定する
ようにコンピュータを機能させることも好ましい。
人物の行動毎に、軌跡を描写すべき1つ以上の骨格を予め対応付けた骨格設定テーブルと、
映像データから、複数の骨格位置を時系列に抽出する骨格認識手段と、
第1の所定期間の時系列の骨格位置の変位量から、人物の行動を推定する行動推定手段と、
骨格設定テーブルを用いて、行動推定手段によって認識された行動に対応する1つ以上の骨格を特定する骨格特定手段と、
骨格特定手段によって特定された骨格について、骨格認識手段によって抽出された、第2の所定期間の時系列の骨格位置の変位を軌跡として描写する骨格変位描写手段と
を有することを特徴とする。
装置は、人物の行動毎に、軌跡を描写すべき1つ以上の骨格を予め対応付けた骨格設定テーブルを有し、
装置は、
映像データから、複数の骨格位置を時系列に抽出する第1のステップと、
第1の所定期間の時系列の骨格位置の変位量から、人物の行動を推定する第2のステップと、
骨格設定テーブルを用いて、第2のステップによって認識された行動に対応する1つ以上の骨格を特定する第3のステップと、
第3のステップによって特定された骨格について、第1のステップによって抽出された、第2の所定期間の時系列の骨格位置の変位を軌跡として描写する第4のステップと
を実行することを特徴とする。
認識装置1は、カメラを搭載したスマートフォンや携帯端末であってもよく、人物を撮影した映像データを入力する。また、認識装置1は、携帯電話網又は無線LANのようなアクセスネットワークを介して映像データを受信するものであってもよい。
勿論、認識装置1は、スマートフォン等に限られず、例えば固定設置されたWebカメラであってもよい。また、Webカメラによって撮影された映像データがSDカードに記録され、その記録された映像データを認識装置1へ入力するものであってもよい。
尚、以下では、認識装置1は、カメラを搭載するスマートフォンとして説明するが、例えばインターネットに接続されたサーバとして機能するものであってもよい。
骨格認識部11は、映像データから、人物の複数の骨格位置を時系列に抽出する。骨格を抽出する映像データは、2次元に基づくものであって、一般的なWebカメラで撮影したものであってもよい。抽出された骨格位置は、行動推定部12へ出力される。
図2によれば、映像データに1人の人物が映り込んでいる。OpenPoseの場合、18個の各骨格位置(Nose, Neck, RShoulder, RElbow,・・・)の2次元座標点及び信頼度が、各フレームで結び付けられている。
行動推定部12は、第1の所定期間の時系列の骨格位置の変位量から、人物の行動を推定する。具体的には、行動推定部12は、映像データの時系列の骨格位置の変位量に「行動」を対応付けた教師データに基づいて、深層学習の学習モデルを予め構築したものである。
そして、行動推定部12は、学習モデルを用いて、映像データの時系列の骨格位置から、「行動」を認識する。行動推定部12は、例えば「蹴る」「座る」「踊る」のような人物の行動を、人物の時系列の骨格位置から認識する。
図3によれば、骨格認識部11及び行動推定部12の両方とも、例えばOpenPoseによって構成されたものであってもよい。OpenPoseの場合、クラス分類によって、行動毎にスコアが算出される。即ち、「映像データ」を入力することによって、最も高いスコアとなる「行動」を推定することができる。
第1の骨格変位テーブル121は、人物の「行動」毎に、当該行動を特定可能な第1の所定期間における各骨格位置の変位量を時系列に並べたものである。図4によれば、例えば3次元(x,y,z)座標における前時刻からの変位量が表されている。
図4によれば、第1の所定期間は、推定前時点t-n〜推定時点tである([t-n]は、推定時点tよりも任意のn時間前の時点)。
行動推定部12は、映像データにおける推定時点tまでの行動毎の各骨格位置の変位量の変化から、第1の骨格変位テーブル121を用いて、第1の所定期間の時系列の骨格変位に類似する最も類似する「行動」を選択する。勿論、1つの行動に限られず、類似度が高い順に複数の行動が選択されてもよい。
行動「座る」の場合、全体の骨格位置の変位量が比較的小さいことが理解できる。
行動「踊る」の場合、骨格8「右ヒップ(Hip)」の位置の変位量が比較的大きいことが理解できる。
骨格設定テーブル10は、人物の行動毎に、軌跡を描写すべき1つ以上の骨格を予め対応付けたものである。
前述した図1によれば、骨格設定テーブル10には、人物の行動毎に、以下のように、骨格番号が対応付けられている。
行動「蹴る」−>骨格番号10「右足首」
行動「座る」−>骨格番号4 「右手首」
行動「踊る」−>骨格番号0 「鼻」
骨格特定部13は、骨格設定テーブル10を用いて、行動推定部12によって認識された行動に対応する1つ以上の骨格を特定する。
例えば行動推定部12によって行動「蹴る」と推定された場合、骨格設定テーブル10を用いて、骨格番号10「右足首」が選択される。
骨格変位描写部14は、骨格特定部13によって特定された骨格について、骨格認識部11によって抽出された、第2の所定期間の時系列の骨格位置の変位を軌跡として描写する。
また、骨格変位描写部14は、映像データに、骨格位置の時系列の変位を軌跡として重畳的に描写する。
(1)推定後時点t+1〜t+k ([t+k]は、推定時点tよりも任意のk時間後の時点)
この場合、推定前時点t-n〜推定時点tで「行動」を推定し、その行動から特定される骨格番号について、推定後時点t+1〜時点t+kでその骨格位置の変位の軌跡を描写する。即ち、行動が推定された後段階から骨格位置の変位を描写する。
(2)推定前時点t-m〜推定時点t〜推定後時点t+k
この場合、推定前時点t-n〜推定時点tで「行動」を推定し、その行動から特定される骨格番号について、過去に遡った推定前時点t-m〜推定後時点t+kでその骨格位置の変位の軌跡を描写する。即ち、行動が推定される前段階から骨格位置の変位を描写する([t-m]は、推定時点tよりも任意のm時間前の時点)。
(2)推定後時点t+1〜t+3の間で、骨格10「右足首」の位置の軌跡が記録されていく。骨格10「右足首」の軌跡の描写は、徐々に更新されるものであってもよいし、任意の時点t+4で表示されるものであってもよい。
図5によれば、骨格位置の変位は、2次元画像で描写されているが、勿論、3次元画像であってもよい。
骨格設定テーブル10は、特定された当該行動における第2の骨格変位テーブル101を用いて、所定ルールに基づく時系列の変位量となる骨格を設定する
[第2の骨格変位テーブル101]
第2の骨格変位テーブル101は、人物の行動毎に、第2の所定期間における各骨格位置の変位量を時系列に並べたものである。
第2の骨格変位テーブル101は、過去の統計データであって、行動毎に、経過時間に応じて各骨格位置の変位量を表したものである。図6によれば、行動「蹴る」「座る」「踊る」それぞれについて、経過時間に応じて、その人物の各骨格位置の変位量が記録されている。
[所定ルール]
所定ルールは、所定期間の変位量が所定条件よりも大きい骨格、又は、所定期間の変位量が所定条件よりも小さい骨格を設定する。
図6によれば、所定ルールとして、例えば「所定期間内の変位量が最も大きい骨格」と定義されているとする。
行動「蹴る」の場合、所定期間内の変位量が最も大きい骨格10「右足首」が登録される。
行動「座る」の場合、所定期間内の変位量が最も大きい骨格4「右手首」が登録される。
行動「踊る」の場合、所定期間内の変位量が最も大きい骨格0「鼻」が登録される。
このように、所定ルールに応じて骨格設定テーブル10が登録される。
例えば行動の推定時点t以降となる推定後時点t+1〜t+2であってもよい。
例えば行動の推定前時点t-1〜t+2であってもよい。
即ち、第2の骨格変位テーブル101における推定前時点t-n〜推定時点tの各骨格位置の変位量の数値は、第1の骨格変位テーブルと全く同じものであってもよい。
尚、第2の骨格変位テーブル101は、図6と同様である。
(ユーザA)
「蹴る」:第1の所定期間の変位量が最も大きい骨格
「座る」:第1の所定期間の変位量が最も小さい骨格
「踊る」:第2の所定期間の変位量が最も大きい骨格
(ユーザB)
「蹴る」:第1の所定期間の変位量が最も小さい骨格
「座る」:第1の所定期間の変位量が最も大きい骨格
「踊る」:第2の所定期間の変位量が最も大きい骨格
尚、所定期間も任意に設定することができる。これによって、短い時間内で激しい行動や静かな行動に基づく骨格番号を検出するだけでなく、長い時間で激しい行動や静かな行動に基づく骨格番号を検出することもできる。
また、ユーザBによれば、行動「蹴る」が推定された場合、第1の所定期間の変位量が最も小さい骨格1「首」が選択される。この場合、骨格1「首」の変位の軌跡が描写される。
また、本発明によれば、推定された行動に応じた骨格位置を、所定ルールに基づいて自動的に特定することができる。即ち、ユーザが注目すべき骨格位置の変位の軌跡を、所定ルールに応じて描写することができる。
10 骨格設定テーブル
101 第2の骨格変位テーブル
11 骨格認識部
12 行動推定部
121 第1の骨格変位テーブル
13 骨格特定部
14 骨格変位描写部
Claims (9)
- 映像データから人物の骨格位置の変位の軌跡を描写するようにコンピュータを機能させるプログラムであって、
人物の行動毎に、軌跡を描写すべき1つ以上の骨格を予め対応付けた骨格設定テーブルと、
前記映像データから、複数の骨格位置を時系列に抽出する骨格認識手段と、
第1の所定期間の時系列の骨格位置の変位量から、人物の行動を推定する行動推定手段と、
前記骨格設定テーブルを用いて、前記行動推定手段によって認識された行動に対応する1つ以上の骨格を特定する骨格特定手段と、
前記骨格特定手段によって特定された骨格について、前記骨格認識手段によって抽出された、第2の所定期間の時系列の骨格位置の変位を軌跡として描写する骨格変位描写手段と
してコンピュータを機能させることを特徴とするプログラム。 - 前記骨格変位描写手段は、前記映像データに、第2の所定期間の時系列の骨格位置の変位を軌跡として重畳的に描写する
ようにコンピュータを機能させることを特徴とする請求項1に記載のプログラム。 - 前記行動推定手段の第1の所定期間は、推定前時点t-n〜推定時点tであり、
前記骨格変位描写手段の第2の所定期間は、
推定後時点t+1〜t+kであるか、又は、
推定前時点t-m〜推定時点t〜推定後時点t+kである
ようにコンピュータを機能させることを特徴とする請求項1又は2に記載のプログラム。 - 人物の行動毎に、第1の所定期間における各骨格位置の変位量を時系列に並べた第1の骨格変位テーブルを更に有し、
前記行動推定手段は、行動毎の第1の骨格変位テーブルを用いて、第1の所定期間の時系列の骨格変位に類似する行動を検索する
ようにコンピュータを機能させることを特徴とする請求項3に記載のプログラム。 - 人物の行動毎に、第2の所定期間における各骨格位置の変位量を時系列に並べた第2の骨格変位テーブルを更に有し、
前記骨格設定テーブルは、推定された当該行動における第2の骨格変位テーブルを用いて、所定ルールに基づく時系列の変位量となる骨格を設定する
ようにコンピュータを機能させることを特徴とする請求項3又は4に記載のプログラム。 - 前記骨格設定テーブルの前記所定ルールは、ユーザによって予め設定されたものである
ようにコンピュータを機能させることを特徴とする請求項5に記載のプログラム。 - 前記骨格設定テーブルの前記所定ルールは、所定期間の変位量が所定条件よりも大きい骨格、又は、所定期間の変位量が所定条件よりも小さい骨格を設定する
ようにコンピュータを機能させることを特徴とする請求項6に記載のプログラム。 - 映像データから人物の骨格位置の変位の軌跡を描写する装置であって、
人物の行動毎に、軌跡を描写すべき1つ以上の骨格を予め対応付けた骨格設定テーブルと、
前記映像データから、複数の骨格位置を時系列に抽出する骨格認識手段と、
第1の所定期間の時系列の骨格位置の変位量から、人物の行動を推定する行動推定手段と、
前記骨格設定テーブルを用いて、前記行動推定手段によって認識された行動に対応する1つ以上の骨格を特定する骨格特定手段と、
前記骨格特定手段によって特定された骨格について、前記骨格認識手段によって抽出された、第2の所定期間の時系列の骨格位置の変位を軌跡として描写する骨格変位描写手段と
を有することを特徴とする装置。 - 映像データから人物の骨格位置の変位の軌跡を描写する装置の骨格軌跡描写方法であって、
前記装置は、人物の行動毎に、軌跡を描写すべき1つ以上の骨格を予め対応付けた骨格設定テーブルを有し、
前記装置は、
前記映像データから、複数の骨格位置を時系列に抽出する第1のステップと、
第1の所定期間の時系列の骨格位置の変位量から、人物の行動を推定する第2のステップと、
前記骨格設定テーブルを用いて、第2のステップによって認識された行動に対応する1つ以上の骨格を特定する第3のステップと、
第3のステップによって特定された骨格について、第1のステップによって抽出された、第2の所定期間の時系列の骨格位置の変位を軌跡として描写する第4のステップと
を実行することを特徴とする装置の骨格軌跡描写方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018115828A JP6906273B2 (ja) | 2018-06-19 | 2018-06-19 | 映像データから人の骨格位置の変位の軌跡を描写するプログラム、装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018115828A JP6906273B2 (ja) | 2018-06-19 | 2018-06-19 | 映像データから人の骨格位置の変位の軌跡を描写するプログラム、装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019219836A JP2019219836A (ja) | 2019-12-26 |
JP6906273B2 true JP6906273B2 (ja) | 2021-07-21 |
Family
ID=69096588
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018115828A Active JP6906273B2 (ja) | 2018-06-19 | 2018-06-19 | 映像データから人の骨格位置の変位の軌跡を描写するプログラム、装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6906273B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114846513A (zh) * | 2019-12-26 | 2022-08-02 | 三菱电机株式会社 | 动作分析***和动作分析程序 |
CN112183317B (zh) * | 2020-09-27 | 2022-04-19 | 武汉大学 | 一种基于时空图卷积神经网络的带电作业现场违章行为检测方法 |
JPWO2023079783A1 (ja) * | 2021-11-05 | 2023-05-11 | ||
JPWO2023089691A1 (ja) * | 2021-11-17 | 2023-05-25 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5881136B2 (ja) * | 2010-09-27 | 2016-03-09 | ソニー株式会社 | 情報処理装置及び方法、並びにプログラム |
WO2014104360A1 (ja) * | 2012-12-28 | 2014-07-03 | 株式会社東芝 | 動作情報処理装置及び方法 |
WO2018087853A1 (ja) * | 2016-11-09 | 2018-05-17 | 株式会社システムフレンド | 立体画像生成システム、立体画像生成方法及び立体画像生成プログラム |
-
2018
- 2018-06-19 JP JP2018115828A patent/JP6906273B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019219836A (ja) | 2019-12-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6906273B2 (ja) | 映像データから人の骨格位置の変位の軌跡を描写するプログラム、装置及び方法 | |
CN106462242B (zh) | 使用视线跟踪的用户界面控制 | |
Raheja et al. | Robust gesture recognition using Kinect: A comparison between DTW and HMM | |
JP6467965B2 (ja) | 感情推定装置及び感情推定方法 | |
WO2019245768A1 (en) | System for predicting articulated object feature location | |
Tivatansakul et al. | Emotional healthcare system: Emotion detection by facial expressions using Japanese database | |
JP6961363B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
Turabzadeh et al. | Real-time emotional state detection from facial expression on embedded devices | |
Suk et al. | Real-time facial expression recognition on smartphones | |
JP2014523019A (ja) | 動的ジェスチャー認識方法および認証システム | |
WO2022156317A1 (zh) | 视频帧处理方法及装置、电子设备和存储介质 | |
Bhuyan et al. | Trajectory guided recognition of hand gestures having only global motions | |
Ponce-López et al. | Non-verbal communication analysis in victim–offender mediations | |
Chua et al. | Vision-based hand grasping posture recognition in drinking activity | |
JPWO2020137536A1 (ja) | 人物認証装置、制御方法、及びプログラム | |
Tiwari et al. | Sign language recognition through kinect based depth images and neural network | |
Li et al. | Recognizing hand gestures using the weighted elastic graph matching (WEGM) method | |
Alugupally et al. | Analysis of landmarks in recognition of face expressions | |
JP2021026744A (ja) | 情報処理装置、画像認識方法及び学習モデル生成方法 | |
Sugimoto et al. | Robust rule-based method for human activity recognition | |
CN112005197A (zh) | 信息处理装置、信息处理方法和程序 | |
JP6836985B2 (ja) | 撮影映像から人の行動を表すコンテキストを推定するプログラム、装置及び方法 | |
Bhuyan et al. | Hand motion tracking and trajectory matching for dynamic hand gesture recognition | |
Asthana et al. | Sign Language Recognition Based on Gesture Recognition/Holistic Features Recognition: A Review of Techniques | |
Putz-Leszczynska et al. | Gait biometrics with a Microsoft Kinect sensor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200616 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210618 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210628 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210628 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6906273 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |