JP2019191981A - 行動認識装置、モデル構築装置及びプログラム - Google Patents
行動認識装置、モデル構築装置及びプログラム Download PDFInfo
- Publication number
- JP2019191981A JP2019191981A JP2018084754A JP2018084754A JP2019191981A JP 2019191981 A JP2019191981 A JP 2019191981A JP 2018084754 A JP2018084754 A JP 2018084754A JP 2018084754 A JP2018084754 A JP 2018084754A JP 2019191981 A JP2019191981 A JP 2019191981A
- Authority
- JP
- Japan
- Prior art keywords
- video
- learning
- angle
- action
- shooting angle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Analysis (AREA)
Abstract
Description
既に説明した通り、学習用抽出部11及び抽出部31における映像データからのスケルトンデータの抽出処理は共通のものであり、具体的には例えば前掲の非特許文献4に開示の既存の人物ポーズ推定手法により映像データの各フレーム画像Pから、当該画像P内における2次元骨格関節位置としてのスケルトンデータSD及び各関節の信頼度(0以上1以下で規格化された信頼度)を求めるようにすればよい。なお、非特許文献4の人物ポーズ推定手法は、静止画フレームを対象として2本立てのCNNを適用するものであり、具体的には、画像内の各位置における体の部位としての信頼度を数値化した部位信頼度マップ(part confidence map)という特徴に基づくCNN(第一CNNとする)と、画像内の各位置における体の部位同士のつながり度合いを親和度ベクトルとして表現した部位親和度フィールド(part affinity field)という特徴に基づくCNN(第二CNNとする)と、の2つを用いるものである。
既に説明した通り、学習用推定部12及び推定部32でのスケルトンデータに基づく元の映像データ(当該スケルトンデータを抽出した元の映像データ)における撮影角度の推定処理は共通のものであり、具体的には次のようにして推定することができる。ここでは一実施形態として、前述の予め定義しておく所定のn個の角度AG1,AG2,…AGnにおける数n=5であり、図4に模式的に示すように当該5個の角度が具体的にはAG1=-90度、AG2=-45度、AG3=0度、AG4=45度、AG5=90度である場合を例として説明する。
学習部13では、各々がインデクスiで指定される複数の学習用映像LM(i,t)に関して、学習用推定部12で得られたその撮影角度LAG(i)(n個の撮影角度AG1, AG2, …, AGnのいずれか)の情報を利用することにより、n個の撮影角度AG1, AG2, …, AGnごとの行動認識のための学習済モデルM1, M2, …, Mnを構築する。具体的には、以下の手順1B及び2Bによって構築することができる。
概略説明として既に説明した通り、認識部33では、記憶部2に記憶されている撮影角度AGk(k=1, 2, …, n)ごとのモデルMk(k=1, 2, …, n)のうち、推定部32で得られたテスト映像の撮影角度の推定結果AGK(1≦K≦n)に対応角度が近いと判定される複数のモデル{Mk}[近傍]={Mk|角度AGkと角度AGKとが近いと判定される}を選択し、当該選択した複数のモデル{Mk}[近傍]をテスト映像に対して適用することにより、当該モデルに予め定義されている行動種別ごとのスコア値を得て、当該スコア値を最大とするものを、テスト映像における行動認識結果として出力する。ここで、行動種別ごとのスコア値を得る際には、選択された複数のモデル{Mk}[近傍]のそれぞれのスコア値の所定の重みづけ和として得るようにする。
1…モデル構築装置、11…学習側抽出部、12…学習側推定部、13…学習部
Claims (10)
- 行動認識の対象となる映像から、スケルトンデータを抽出する抽出部と、
前記抽出したスケルトンデータに基づいて、前記映像において行動対象が撮影されている撮影角度を推定する推定部と、
前記推定された撮影角度に応じた撮影角度において予め構築されている学習済モデルを前記映像に対して適用することにより、前記映像における行動を認識する認識部と、を備えることを特徴とする行動認識装置。 - 前記推定部では、前記抽出したスケルトンデータにおける複数の所定関節の、当該抽出された際の信頼度に基づいて前記撮影角度を推定することを特徴とする請求項1に記載の行動認識装置。
- 前記複数の所定関節のうちの少なくとも一部は、撮影角度の変動に応じて異なる態様でオクルージョンが発生するものとして設定されていることを特徴とする請求項2に記載の行動認識装置。
- 前記推定部では、離散的に設定された所与の複数の候補撮影角度の中から前記映像において行動対象が撮影されている撮影角度を推定することを特徴とする請求項1ないし3のいずれかに記載の行動認識装置。
- 前記認識部では、前記離散的に設定された所与の複数の候補撮影角度の各々において予め構築されている学習済モデルのうち、前記推定された撮影角度の近傍にあると判定される候補撮影角度に対応する学習済モデルを用いて、前記映像における行動を認識することを特徴とする請求項4に記載の行動認識装置。
- 前記認識部では、前記推定された撮影角度の近傍にあると判定される候補撮影角度に対応する学習済モデルを用いることで、各学習済モデルにおいて得られる行動種別のスコア値の重みづけ和として前記映像における行動種別のスコア値を算出し、当該スコア値を最大化する行動種別を前記映像における行動の認識結果とすることを特徴とする請求項5に記載の行動認識装置。
- 前記抽出部ではスケルトンデータにおける各関節の信頼度も抽出し、
前記推定部では前記抽出した各関節の信頼度に対して事前構築された分類器を適用することで、前記離散的に設定された所与の複数の候補撮影角度の尤度を算出し、当該尤度が最大となるものとして前記映像において行動対象が撮影されている撮影角度を推定し、
前記認識部では、前記重みづけ和としてスコア値を算出する際の重みとして、前記算出された候補撮影角度の尤度を用いることを特徴とする請求項6に記載の行動認識装置。 - コンピュータを請求項1ないし7のいずれかに記載の行動認識装置として機能させることを特徴とするプログラム。
- 行動種別のラベルが事前付与された複数の学習用映像からそれぞれ、スケルトンデータを抽出する学習用抽出部と、
前記抽出したスケルトンデータに基づいて、学習用映像の各々において行動対象が撮影されている撮影角度を推定する学習用推定部と、
前記複数の学習用映像を前記推定された撮影角度ごとに学習して、撮影角度ごとの映像の行動認識モデルを構築する学習部と、を備えることを特徴とするモデル構築装置。 - 前記学習部では、前記複数の学習用映像の全部を用いて撮影角度に依存しない共通行動認識モデルを学習してから、当該共通行動認識モデルを初期値として、撮影角度ごとの学習用映像を用いて学習を行うことにより、前記撮影角度ごとの映像の行動認識モデルを構築することを特徴とする請求項9に記載のモデル構築装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018084754A JP6920246B2 (ja) | 2018-04-26 | 2018-04-26 | 行動認識装置、モデル構築装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018084754A JP6920246B2 (ja) | 2018-04-26 | 2018-04-26 | 行動認識装置、モデル構築装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019191981A true JP2019191981A (ja) | 2019-10-31 |
JP6920246B2 JP6920246B2 (ja) | 2021-08-18 |
Family
ID=68390455
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018084754A Active JP6920246B2 (ja) | 2018-04-26 | 2018-04-26 | 行動認識装置、モデル構築装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6920246B2 (ja) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111353465A (zh) * | 2020-03-12 | 2020-06-30 | 智洋创新科技股份有限公司 | 基于深度学习技术的变电站人员行为分析方法及*** |
CN112686111A (zh) * | 2020-12-23 | 2021-04-20 | 中国矿业大学(北京) | 基于注意力机制多视角自适应网络的交警手势识别方法 |
CN113963201A (zh) * | 2021-10-18 | 2022-01-21 | 郑州大学 | 骨骼动作识别方法、装置、电子设备及存储介质 |
WO2022049691A1 (ja) * | 2020-09-03 | 2022-03-10 | 日本電信電話株式会社 | 転移学習装置、転移学習方法およびプログラム |
JP2022095332A (ja) * | 2020-12-16 | 2022-06-28 | 株式会社エクサウィザーズ | 学習モデル生成方法、コンピュータプログラム及び情報処理装置 |
WO2023106846A1 (ko) * | 2021-12-09 | 2023-06-15 | 주식회사 에이치엔에이치 | 스켈레톤 포인트 기반 서비스 제공 장치 및 방법 |
KR102560480B1 (ko) * | 2022-06-28 | 2023-07-27 | 퀀텀테크엔시큐 주식회사 | 시공간 행동 인지 ai 모델링 서비스를 지원하는 시스템 및 방법 |
JP7459679B2 (ja) | 2020-06-23 | 2024-04-02 | 富士通株式会社 | 行動認識方法、行動認識プログラム及び行動認識装置 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150169961A1 (en) * | 2013-12-13 | 2015-06-18 | Fujitsu Limited | Method and apparatus for determining movement |
JP2017097492A (ja) * | 2015-11-19 | 2017-06-01 | 日本電信電話株式会社 | スパース表現変換装置、行動認識装置、方法、及びプログラム |
JP2018048890A (ja) * | 2016-09-21 | 2018-03-29 | 株式会社日立製作所 | 姿勢推定システム、姿勢推定装置、及び距離画像カメラ |
-
2018
- 2018-04-26 JP JP2018084754A patent/JP6920246B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20150169961A1 (en) * | 2013-12-13 | 2015-06-18 | Fujitsu Limited | Method and apparatus for determining movement |
JP2017097492A (ja) * | 2015-11-19 | 2017-06-01 | 日本電信電話株式会社 | スパース表現変換装置、行動認識装置、方法、及びプログラム |
JP2018048890A (ja) * | 2016-09-21 | 2018-03-29 | 株式会社日立製作所 | 姿勢推定システム、姿勢推定装置、及び距離画像カメラ |
Non-Patent Citations (2)
Title |
---|
MONA FATHOLLAHI GHEZELGHIEH, 外2名: ""Learning Camera Viewpoint Using CNN to Improve 3D Body Pose Estimation"", 2016 FOURTH INTERNATIONAL CONFERENCE ON 3D VISION (3DV), JPN6021027879, 2016, pages 685 - 693, XP033027678, ISSN: 0004555375, DOI: 10.1109/3DV.2016.75 * |
戸来賢宏, 外4名: ""パーソナルスペース・身体方向・挙動情報の統合に基づく人物親密度推定"", 研究報告コンピュータビジョンとイメージメディア(CVIM), vol. 第2017-CVIM-205巻, 第24号, JPN6021027880, 12 January 2017 (2017-01-12), JP, pages 1 - 6, ISSN: 0004555374 * |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111353465A (zh) * | 2020-03-12 | 2020-06-30 | 智洋创新科技股份有限公司 | 基于深度学习技术的变电站人员行为分析方法及*** |
JP7459679B2 (ja) | 2020-06-23 | 2024-04-02 | 富士通株式会社 | 行動認識方法、行動認識プログラム及び行動認識装置 |
WO2022049691A1 (ja) * | 2020-09-03 | 2022-03-10 | 日本電信電話株式会社 | 転移学習装置、転移学習方法およびプログラム |
JPWO2022049691A1 (ja) * | 2020-09-03 | 2022-03-10 | ||
JP7380895B2 (ja) | 2020-09-03 | 2023-11-15 | 日本電信電話株式会社 | 転移学習装置、転移学習方法およびプログラム |
JP2022095332A (ja) * | 2020-12-16 | 2022-06-28 | 株式会社エクサウィザーズ | 学習モデル生成方法、コンピュータプログラム及び情報処理装置 |
CN112686111A (zh) * | 2020-12-23 | 2021-04-20 | 中国矿业大学(北京) | 基于注意力机制多视角自适应网络的交警手势识别方法 |
CN112686111B (zh) * | 2020-12-23 | 2021-07-27 | 中国矿业大学(北京) | 基于注意力机制多视角自适应网络的交警手势识别方法 |
CN113963201A (zh) * | 2021-10-18 | 2022-01-21 | 郑州大学 | 骨骼动作识别方法、装置、电子设备及存储介质 |
CN113963201B (zh) * | 2021-10-18 | 2022-06-14 | 郑州大学 | 骨骼动作识别方法、装置、电子设备及存储介质 |
WO2023106846A1 (ko) * | 2021-12-09 | 2023-06-15 | 주식회사 에이치엔에이치 | 스켈레톤 포인트 기반 서비스 제공 장치 및 방법 |
KR102560480B1 (ko) * | 2022-06-28 | 2023-07-27 | 퀀텀테크엔시큐 주식회사 | 시공간 행동 인지 ai 모델링 서비스를 지원하는 시스템 및 방법 |
Also Published As
Publication number | Publication date |
---|---|
JP6920246B2 (ja) | 2021-08-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6920246B2 (ja) | 行動認識装置、モデル構築装置及びプログラム | |
JP7482181B2 (ja) | 画像処理装置、画像処理方法 | |
CN104317391B (zh) | 一种基于立体视觉的三维手掌姿态识别交互方法和*** | |
Kudo et al. | Unsupervised adversarial learning of 3d human pose from 2d joint locations | |
Ye et al. | Accurate 3d pose estimation from a single depth image | |
JP4318465B2 (ja) | 人物検出装置および人物検出方法 | |
JP7015152B2 (ja) | キーポイントデータに関する加工装置、方法及びプログラム | |
WO2020125499A1 (zh) | 一种操作提示方法及眼镜 | |
CN109359514B (zh) | 一种面向deskVR的手势跟踪识别联合策略方法 | |
JP2008194146A (ja) | 視線検出装置及びその方法 | |
JP2009020761A (ja) | 画像処理装置及びその方法 | |
JP2013196683A (ja) | 姿勢分類器トレーニング方法、対象物分類器トレーニング方法、対象物検出方法、姿勢分類器トレーニング装置、対象物分類器トレーニング装置、及び対象物検出装置 | |
KR20180130869A (ko) | 손 제스처를 검출하는 컨볼루션 신경망, 그리고 손 제스처에 의한 기기 제어시스템 | |
JP2016099982A (ja) | 行動認識装置、行動学習装置、方法、及びプログラム | |
JP6996557B2 (ja) | 対象物認識方法、装置、システム、プログラム | |
JP6465027B2 (ja) | 特徴点位置推定装置、特徴点位置推定方法および特徴点位置推定プログラム | |
CN107563323A (zh) | 一种视频人脸特征点定位方法 | |
EP3506149A1 (en) | Method, system and computer program product for eye gaze direction estimation | |
JP7422456B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN114036969A (zh) | 一种多视角情况下的3d人体动作识别算法 | |
JP2005351814A (ja) | 検出装置および検出方法 | |
US11048926B2 (en) | Adaptive hand tracking and gesture recognition using face-shoulder feature coordinate transforms | |
Guo et al. | Hand gesture recognition and interaction with 3D stereo camera | |
Wang et al. | Handling occlusion and large displacement through improved RGB-D scene flow estimation | |
JP2011232845A (ja) | 特徴点抽出装置および方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200608 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210625 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210721 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210726 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6920246 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |