JP2018124801A - ジェスチャ認識装置およびジェスチャ認識プログラム - Google Patents
ジェスチャ認識装置およびジェスチャ認識プログラム Download PDFInfo
- Publication number
- JP2018124801A JP2018124801A JP2017016471A JP2017016471A JP2018124801A JP 2018124801 A JP2018124801 A JP 2018124801A JP 2017016471 A JP2017016471 A JP 2017016471A JP 2017016471 A JP2017016471 A JP 2017016471A JP 2018124801 A JP2018124801 A JP 2018124801A
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- gesture
- image
- operator
- histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 43
- 230000003287 optical effect Effects 0.000 claims abstract description 35
- 239000013598 vector Substances 0.000 claims abstract description 25
- 238000009826 distribution Methods 0.000 claims abstract description 15
- 230000008569 process Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 9
- 238000000513 principal component analysis Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 claims description 2
- 238000003860 storage Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000008859 change Effects 0.000 description 9
- 230000009471 action Effects 0.000 description 8
- 230000006399 behavior Effects 0.000 description 5
- 238000010606 normalization Methods 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000000875 corresponding effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 238000007476 Maximum Likelihood Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004040 coloring Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011143 downstream manufacturing Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000000491 multivariate analysis Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Landscapes
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Position Input By Displaying (AREA)
Abstract
Description
2 カメラ
3 オプティカルフロー算出部
4 ヒストグラム生成部
5 記憶部
6 特徴量画像生成部
7 スケーリング処理部
8 マスク処理部
9 識別器
Claims (13)
- 操作者のジェスチャを認識するジェスチャ認識装置において、
センサによって時系列的に取得されたフレーム単位のセンサ画像について、オプティカルフローをフレーム毎に算出するオプティカルフロー算出部と、
前記オプティカルフロー中の動きベクトルの角度を階級毎に分類し、当該角度の度数の分布を示すヒストグラムをフレーム毎に生成するヒストグラム生成部と、
時系列的に連続した複数フレームのヒストグラムを時間軸方向に並べることによって、角度軸と時間軸とを含む空間として規定される特徴量画像を生成する特徴量画像生成部と、
前記特徴量画像に基づいて、操作者のジェスチャを識別するジェスチャ識別部と
を有することを特徴とするジェスチャ認識装置。 - 前記特徴量画像生成部は、時間の経過に伴い、時系列的に最も新しいヒストグラムを追加し、時系列的に最も古いヒストグラムを破棄し、かつ、それ以外のヒストグラムを時間軸方向にシフトさせた特徴量画像を生成することを特徴とする請求項1に記載されたジェスチャ認識装置。
- 前記ジェスチャ識別部への入力に先立ち、同一のジェスチャに関する時間軸方向の長さが一致するように、前記特徴量画像を時間軸方向に伸縮するスケーリング処理部をさらに有することを特徴とする請求項1または2に記載されたジェスチャ認識装置。
- 前記特徴量画像において、操作者のジェスチャに由来する特徴量の領域と、操作者のジェスチャに由来しない特徴量の領域とを規定したマスク画像がジェスチャ毎に予め用意されており、
前記特徴量生成部によって生成された前記特徴量画像、または、前記スケーリング処理部によって正規化された前記特徴量画像に対して、前記マスク画像のそれぞれを適用して、前記特徴量画像より、操作者のジェスチャに由来しない特徴量を除去するマスク処理部をさらに有することを特徴とする請求項1から3のいずれかに記載されたジェスチャ認識装置。 - 前記マスク画像は、複数の特徴量画像のサンプルを用いた主成分分析により、操作者のジェスチャに由来する特徴量を抽出し、当該特徴量を重み付けすることによって生成されることを特徴とする請求項4に記載されたジェスチャ認識装置。
- 前記ジェスチャ識別部は、
前記マスク処理部によってマスク画像が適用された特徴量画像のそれぞれが個別に入力され、個別に割り当てられたジェスチャであるか否かを識別する複数の識別器を有することを特徴とする請求項4に記載されたジェスチャ認識装置。 - 前記識別器のそれぞれは、前記特徴量画像と、前記ジェスチャとが対応付けられた教師データを用いた学習によって、自己が有する関数の内部パラメータが調整されていることを特徴とする請求項6に記載されたジェスチャ認識装置。
- 操作者のジェスチャを認識するジェスチャ認識プログラムにおいて、
センサによって時系列的に取得されたフレーム単位のセンサ画像について、オプティカルフローをフレーム毎に算出する第1のステップと、
前記オプティカルフロー中の動きベクトルの角度を階級毎に分類し、当該角度の度数の分布を示すヒストグラムをフレーム毎に生成する第2のステップと、
時系列的に連続した複数フレームのヒストグラムを時間軸方向に並べることによって、角度軸と時間軸とを含む空間として規定される特徴量画像を生成する第3のステップと、
前記特徴量画像に基づいて、操作者のジェスチャを識別する第4のステップと
を有する処理をコンピュータに実行させることを特徴とするジェスチャ認識プログラム。 - 前記第3のステップは、時間の経過に伴い、時系列的に最も新しいヒストグラムを追加し、時系列的に最も古いヒストグラムを破棄し、かつ、それ以外のヒストグラムを時間軸方向にシフトさせた特徴量画像を生成するステップであることを特徴とする請求項8に記載されたジェスチャ認識プログラム。
- 前記第4のステップに先立ち、同一のジェスチャに関する時間軸方向の長さが一致するように、前記特徴量画像を時間軸方向に伸縮する第5のステップをさらに有することを特徴とする請求項8または9に記載されたジェスチャ認識プログラム。
- 前記第3のステップによって生成された前記特徴量画像、または、前記第5のステップによって正規化された前記特徴量画像に対して、ジェスチャ毎に予め用意されたマスク画像のそれぞれを適用して、前記特徴量画像より、操作者のジェスチャに由来しない特徴量を除去する第6のステップをさらに有し、
前記マスク画像は、前記特徴量画像において、操作者のジェスチャに由来する特徴量の領域と、操作者のジェスチャに由来しない特徴量の領域とを規定することを特徴とする請求項8から10のいずれかに記載されたジェスチャ認識プログラム。 - 前記マスク画像は、複数の特徴量画像のサンプルを用いた主成分分析により、操作者のジェスチャに由来する特徴量を抽出し、当該特徴量を重み付けすることによって生成されることを特徴とする請求項11に記載されたジェスチャ認識プログラム。
- 前記第4のステップは、
前記マスク画像が適用された特徴量画像のそれぞれが個別に入力され、個別に割り当てられたジェスチャであるか否かを並行的に識別するステップであることを特徴とする請求項10に記載されたジェスチャ認識プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017016471A JP6812076B2 (ja) | 2017-02-01 | 2017-02-01 | ジェスチャ認識装置およびジェスチャ認識プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017016471A JP6812076B2 (ja) | 2017-02-01 | 2017-02-01 | ジェスチャ認識装置およびジェスチャ認識プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018124801A true JP2018124801A (ja) | 2018-08-09 |
JP6812076B2 JP6812076B2 (ja) | 2021-01-13 |
Family
ID=63111489
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017016471A Active JP6812076B2 (ja) | 2017-02-01 | 2017-02-01 | ジェスチャ認識装置およびジェスチャ認識プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6812076B2 (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111680618A (zh) * | 2020-06-04 | 2020-09-18 | 西安邮电大学 | 基于视频数据特性的动态手势识别方法、存储介质和设备 |
CN111913575A (zh) * | 2020-07-24 | 2020-11-10 | 合肥工业大学 | 一种手语词的识别方法 |
WO2021010342A1 (ja) * | 2019-07-12 | 2021-01-21 | 日本電信電話株式会社 | 行動認識装置、行動認識方法、及び行動認識プログラム |
CN114564104A (zh) * | 2022-02-17 | 2022-05-31 | 西安电子科技大学 | 一种基于视频中动态手势控制的会议演示*** |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010244194A (ja) * | 2009-04-02 | 2010-10-28 | Toyota Motor Corp | 物体識別装置 |
JP2012178036A (ja) * | 2011-02-25 | 2012-09-13 | Kddi Corp | 類似度評価装置及び方法並びに類似度評価プログラム及びその記憶媒体 |
JP2013164834A (ja) * | 2012-01-13 | 2013-08-22 | Sony Corp | 画像処理装置および方法、並びにプログラム |
-
2017
- 2017-02-01 JP JP2017016471A patent/JP6812076B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010244194A (ja) * | 2009-04-02 | 2010-10-28 | Toyota Motor Corp | 物体識別装置 |
JP2012178036A (ja) * | 2011-02-25 | 2012-09-13 | Kddi Corp | 類似度評価装置及び方法並びに類似度評価プログラム及びその記憶媒体 |
JP2013164834A (ja) * | 2012-01-13 | 2013-08-22 | Sony Corp | 画像処理装置および方法、並びにプログラム |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021010342A1 (ja) * | 2019-07-12 | 2021-01-21 | 日本電信電話株式会社 | 行動認識装置、行動認識方法、及び行動認識プログラム |
JP2021015479A (ja) * | 2019-07-12 | 2021-02-12 | 日本電信電話株式会社 | 行動認識装置、行動認識方法、及び行動認識プログラム |
JP7207210B2 (ja) | 2019-07-12 | 2023-01-18 | 日本電信電話株式会社 | 行動認識装置、行動認識方法、及び行動認識プログラム |
CN111680618A (zh) * | 2020-06-04 | 2020-09-18 | 西安邮电大学 | 基于视频数据特性的动态手势识别方法、存储介质和设备 |
CN111680618B (zh) * | 2020-06-04 | 2023-04-18 | 西安邮电大学 | 基于视频数据特性的动态手势识别方法、存储介质和设备 |
CN111913575A (zh) * | 2020-07-24 | 2020-11-10 | 合肥工业大学 | 一种手语词的识别方法 |
CN111913575B (zh) * | 2020-07-24 | 2021-06-11 | 合肥工业大学 | 一种手语词的识别方法 |
CN114564104A (zh) * | 2022-02-17 | 2022-05-31 | 西安电子科技大学 | 一种基于视频中动态手势控制的会议演示*** |
Also Published As
Publication number | Publication date |
---|---|
JP6812076B2 (ja) | 2021-01-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11195038B2 (en) | Device and a method for extracting dynamic information on a scene using a convolutional neural network | |
JP6018674B2 (ja) | 被写体再識別のためのシステム及び方法 | |
Sun et al. | Benchmark data and method for real-time people counting in cluttered scenes using depth sensors | |
US20190034714A1 (en) | System and method for detecting hand gestures in a 3d space | |
KR20160096460A (ko) | 복수의 분류기를 포함하는 딥 러닝 기반 인식 시스템 및 그 제어 방법 | |
CN109829382B (zh) | 基于行为特征智能分析的异常目标预警追踪***及方法 | |
JP6812076B2 (ja) | ジェスチャ認識装置およびジェスチャ認識プログラム | |
CN108985204A (zh) | 行人检测跟踪方法及装置 | |
US20190073538A1 (en) | Method and system for classifying objects from a stream of images | |
CN109255360B (zh) | 一种目标分类方法、装置及*** | |
Soleimanitaleb et al. | Single object tracking: A survey of methods, datasets, and evaluation metrics | |
JP2016081355A (ja) | 異常検知方法、異常検知装置、及びプログラム | |
CN112183304A (zh) | 离位检测方法、***及计算机存储介质 | |
CN104219488A (zh) | 目标图像的生成方法和装置、以及视频监控*** | |
CN113780145A (zh) | ***形态检测方法、装置、计算机设备和存储介质 | |
CN115497124A (zh) | 身份识别方法和装置及存储介质 | |
Seidel et al. | NAPC: A neural algorithm for automated passenger counting in public transport on a privacy-friendly dataset | |
EP3336746A1 (en) | System and method of video content filtering | |
Akhter et al. | Abnormal action recognition in crowd scenes via deep data mining and random forest | |
Thangaraj et al. | A competent frame work for efficient object detection, tracking and classification | |
Wachs et al. | Human posture recognition for intelligent vehicles | |
Revathi et al. | A survey of activity recognition and understanding the behavior in video survelliance | |
Tran-Anh et al. | License Plate Recognition Based On Multi-Angle View Model | |
US20220245855A1 (en) | Trajectory linking apparatus, trajectory linking method, and non-transitory computer readable medium storing program | |
Hajari et al. | Novel approach for pedestrian unusual activity detection in academic environment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200131 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201215 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6812076 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |