JPWO2019116495A1 - 技認識プログラム、技認識方法および技認識システム - Google Patents
技認識プログラム、技認識方法および技認識システム Download PDFInfo
- Publication number
- JPWO2019116495A1 JPWO2019116495A1 JP2019559491A JP2019559491A JPWO2019116495A1 JP WO2019116495 A1 JPWO2019116495 A1 JP WO2019116495A1 JP 2019559491 A JP2019559491 A JP 2019559491A JP 2019559491 A JP2019559491 A JP 2019559491A JP WO2019116495 A1 JPWO2019116495 A1 JP WO2019116495A1
- Authority
- JP
- Japan
- Prior art keywords
- unit
- technique
- movement
- posture
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 276
- 230000033001 locomotion Effects 0.000 claims abstract description 292
- 230000036544 posture Effects 0.000 description 117
- 230000000284 resting effect Effects 0.000 description 44
- 238000010586 diagram Methods 0.000 description 42
- 230000006870 function Effects 0.000 description 33
- 238000011156 evaluation Methods 0.000 description 32
- 238000012545 processing Methods 0.000 description 29
- 210000001503 joint Anatomy 0.000 description 26
- 230000011218 segmentation Effects 0.000 description 19
- 238000000605 extraction Methods 0.000 description 15
- 210000001624 hip Anatomy 0.000 description 12
- 230000003068 static effect Effects 0.000 description 12
- 238000005070 sampling Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 210000003127 knee Anatomy 0.000 description 6
- 230000001144 postural effect Effects 0.000 description 4
- 239000000725 suspension Substances 0.000 description 4
- 230000007704 transition Effects 0.000 description 4
- 238000005452 bending Methods 0.000 description 3
- 101100480488 Rattus norvegicus Taar8c gene Proteins 0.000 description 2
- 230000001174 ascending effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 210000002310 elbow joint Anatomy 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000002250 progressing effect Effects 0.000 description 2
- 230000000750 progressive effect Effects 0.000 description 2
- 235000005156 Brassica carinata Nutrition 0.000 description 1
- 244000257790 Brassica carinata Species 0.000 description 1
- OKTJSMMVPCPJKN-UHFFFAOYSA-N Carbon Chemical compound [C] OKTJSMMVPCPJKN-UHFFFAOYSA-N 0.000 description 1
- 241001026509 Kata Species 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000003414 extremity Anatomy 0.000 description 1
- YYJNOYZRYGDPNH-MFKUBSTISA-N fenpyroximate Chemical compound C=1C=C(C(=O)OC(C)(C)C)C=CC=1CO/N=C/C=1C(C)=NN(C)C=1OC1=CC=CC=C1 YYJNOYZRYGDPNH-MFKUBSTISA-N 0.000 description 1
- 210000004394 hip joint Anatomy 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 210000000629 knee joint Anatomy 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P13/00—Indicating or recording presence, absence, or direction, of movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Social Psychology (AREA)
- Psychiatry (AREA)
- Health & Medical Sciences (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
100 技認識装置
110 インタフェース部
120 通信部
130 入力部
140 表示部
150 記憶部
151 距離画像DB
152 関節定義データ
153 関節位置DB
154 骨格DB
155 技認識DB
160 制御部
161 取得部
162 抽出部
163 分節部
164 判別部
165 技決定部
166 出力部
Claims (15)
- コンピュータに、
3Dレーザセンサによりセンシングされた、一連の演技を実施している被写体を含む距離画像情報を、取得し、
前記距離画像情報から得られた前記被写体の3次元骨格情報を、時系列で、取得し、
前記時系列で取得した前記3次元骨格情報を、所定のルールに基づいて、複数の単位に分節し、
前記複数の単位のうちの第一の単位に対応する姿勢運動について、前記被写体が静止していることを示す特徴を有する第一の運動か、前記第一の運動とは異なる第二の運動かを判別し、
前記第一の単位に対応する判別結果と、前記第一の単位と連続する第二の単位における移動運動の種類を認識した認識結果とに基づき、前記第一の単位および前記第二の単位を少なくとも含む組み合わせに対応する技を決定する
処理を実行させることを特徴とする技認識プログラム。 - 前記姿勢運動に対応する前記第一の単位と連続する前記第二の単位は、前記第一の単位の前の単位であることを特徴とする請求項1に記載の技認識プログラム。
- 前記判別する処理は、前記演技が器具を用いた演技である場合に、前記被写体の3次元骨格情報を、前記器具の位置を基準とした3次元骨格情報に修正し、修正した3次元骨格情報を基にして、前記姿勢運動が、前記第一の運動か、前記第二の運動かを判別することを特徴とする請求項1に記載の技認識プログラム。
- 前記判別する処理は、時系列に連続する前後の各3次元骨格情報の関節位置の変化が閾値未満となる期間に基づいて、前記姿勢運動が、前記第一の運動か、前記第二の運動かを判別することを特徴とする請求項1、2または3に記載の技認識プログラム。
- 前記関節位置の時系列変化と器具の位置の時系列変化とを対応付けた視覚可能な画面情報を生成し、生成した前記画面情報を表示させる処理を更にコンピュータに実行させることを特徴とする請求項4に記載の技認識プログラム。
- コンピュータが、
3Dレーザセンサによりセンシングされた、一連の演技を実施している被写体を含む距離画像情報を、取得し、
前記距離画像情報から得られた前記被写体の3次元骨格情報を、時系列で、取得し、
前記時系列で取得した前記3次元骨格情報を、所定のルールに基づいて、複数の単位に分節し、
前記複数の単位のうちの第一の単位に対応する姿勢運動について、前記被写体が静止していることを示す特徴を有する第一の運動か、前記第一の運動とは異なる第二の運動かを判別し、
前記第一の単位に対応する判別結果と、前記第一の単位と連続する第二の単位における移動運動の種類を認識した認識結果とに基づき、前記第一の単位および前記第二の単位を少なくとも含む組み合わせに対応する技を決定する
処理を実行することを特徴とする技認識方法。 - 前記姿勢運動に対応する前記第一の単位と連続する前記第二の単位は、前記第一の単位の前の単位であることを特徴とする請求項6に記載の技認識方法。
- 前記判別する処理は、前記演技が器具を用いた演技である場合に、前記被写体の3次元骨格情報を、前記器具の位置を基準とした3次元骨格情報に修正し、修正した3次元骨格情報を基にして、前記姿勢運動が、前記第一の運動か、前記第二の運動かを判別することを特徴とする請求項6に記載の技認識方法。
- 前記判別する処理は、時系列に連続する前後の各3次元骨格情報の関節位置の変化が閾値未満となる期間に基づいて、前記姿勢運動が、前記第一の運動か、前記第二の運動かを判別することを特徴とする請求項6、7または8に記載の技認識方法。
- 前記関節位置の時系列変化と器具の位置の時系列変化とを対応付けた視覚可能な画面情報を生成し、生成した前記画面情報を表示させる処理を更に実行することを特徴とする請求項9に記載の技認識方法。
- 3Dレーザセンサと、技認識装置とを含む技認識システムであって、
前記3Dレーザセンサは、一連の演技を実施している被写体をセンシングすることで、距離画像情報を生成し、
前記技認識装置は、
前記3Dレーザセンサから前記距離画像情報を取得する取得部と、
前記距離画像情報から得られた前記被写体の3次元骨格情報を、時系列で、取得し、前記時系列で取得した前記3次元骨格情報を、所定のルールに基づいて、複数の単位に分節する分節部と、
前記複数の単位のうちの第一の単位に対応する姿勢運動について、前記被写体が静止していることを示す特徴を有する第一の運動か、前記第一の運動とは異なる第二の運動かを判別する判別部と、
前記第一の単位に対応する判別結果と、前記第一の単位と連続する第二の単位における移動運動の種類を認識した認識結果とに基づき、前記第一の単位および前記第二の単位を少なくとも含む組み合わせに対応する技を決定する技決定部と
を有することを特徴とする技認識システム。 - 前記姿勢運動に対応する前記第一の単位と連続する前記第二の単位は、前記第一の単位の前の単位であることを特徴とする請求項11に記載の技認識システム。
- 前記判別部は、前記演技が器具を用いた演技である場合に、前記被写体の3次元骨格情報を、前記器具の位置を基準とした3次元骨格情報に修正し、修正した3次元骨格情報を基にして、前記姿勢運動が、前記第一の運動か、前記第二の運動かを判別することを特徴とする請求項11に記載の技認識システム。
- 前記判別部は、時系列に連続する前後の各3次元骨格情報の関節位置の変化が閾値未満となる期間に基づいて、前記姿勢運動が、前記第一の運動か、前記第二の運動かを判別することを特徴とする請求項11、12または13に記載の技認識システム。
- 前記関節位置の時系列変化と器具の位置の時系列変化とを対応付けた視覚可能な画面情報を生成し、生成した前記画面情報を表示させる出力部を更に有することを特徴とする請求項14に記載の技認識システム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2017/044897 WO2019116495A1 (ja) | 2017-12-14 | 2017-12-14 | 技認識プログラム、技認識方法および技認識システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2019116495A1 true JPWO2019116495A1 (ja) | 2020-11-26 |
JP6943294B2 JP6943294B2 (ja) | 2021-09-29 |
Family
ID=66819075
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019559491A Active JP6943294B2 (ja) | 2017-12-14 | 2017-12-14 | 技認識プログラム、技認識方法および技認識システム |
Country Status (5)
Country | Link |
---|---|
US (1) | US11776134B2 (ja) |
EP (1) | EP3726468A4 (ja) |
JP (1) | JP6943294B2 (ja) |
CN (1) | CN111480178B (ja) |
WO (1) | WO2019116495A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021064830A1 (ja) | 2019-09-30 | 2021-04-08 | 富士通株式会社 | 評価方法、評価プログラムおよび情報処理装置 |
EP4040386A4 (en) * | 2019-10-03 | 2022-10-05 | Fujitsu Limited | MOTION DETECTION METHOD, MOTION DETECTION PROGRAM AND INFORMATION PROCESSING DEVICE |
JP7235133B2 (ja) * | 2019-10-03 | 2023-03-08 | 富士通株式会社 | 運動認識方法、運動認識プログラムおよび情報処理装置 |
EP4095794A4 (en) * | 2020-01-24 | 2023-03-01 | Fujitsu Limited | EXERCISE RECOGNITION METHOD, EXERCISE RECOGNITION PROGRAM AND INFORMATION PROCESSING DEVICE |
CN116963808A (zh) | 2021-04-01 | 2023-10-27 | 富士通株式会社 | 技巧识别方法、技巧识别装置以及体操评分支援*** |
CN113486708B (zh) * | 2021-05-24 | 2022-03-25 | 浙江大华技术股份有限公司 | 人体姿态预估方法、模型训练方法、电子设备和存储介质 |
WO2023243095A1 (ja) * | 2022-06-17 | 2023-12-21 | 富士通株式会社 | 情報処理プログラム、情報処理方法及び情報処理装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016056449A1 (ja) * | 2014-10-10 | 2016-04-14 | 富士通株式会社 | スキル判定プログラム、スキル判定方法、スキル判定装置およびサーバ |
Family Cites Families (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8014565B2 (en) * | 2005-08-26 | 2011-09-06 | Sony Corporation | Labeling used in motion capture |
US8755569B2 (en) * | 2009-05-29 | 2014-06-17 | University Of Central Florida Research Foundation, Inc. | Methods for recognizing pose and action of articulated objects with collection of planes in motion |
WO2011013299A1 (ja) * | 2009-07-31 | 2011-02-03 | パナソニック株式会社 | 移動体検出装置及び移動体検出方法 |
EP2383696A1 (en) * | 2010-04-30 | 2011-11-02 | LiberoVision AG | Method for estimating a pose of an articulated object model |
US9358456B1 (en) * | 2010-06-11 | 2016-06-07 | Harmonix Music Systems, Inc. | Dance competition game |
WO2012046392A1 (ja) * | 2010-10-08 | 2012-04-12 | パナソニック株式会社 | 姿勢推定装置及び姿勢推定方法 |
US8761437B2 (en) | 2011-02-18 | 2014-06-24 | Microsoft Corporation | Motion recognition |
JP2013065112A (ja) * | 2011-09-15 | 2013-04-11 | Omron Corp | ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体 |
JP5862143B2 (ja) * | 2011-09-15 | 2016-02-16 | オムロン株式会社 | ジェスチャ認識装置、電子機器、ジェスチャ認識装置の制御方法、制御プログラムおよび記録媒体 |
KR101908284B1 (ko) * | 2012-01-13 | 2018-10-16 | 삼성전자주식회사 | 신체 연결 관계 분석 장치 및 방법 |
JP2013200867A (ja) * | 2012-02-23 | 2013-10-03 | Tokyo Kogei Univ | アニメーション作成装置、カメラ |
US20150206409A1 (en) | 2012-07-27 | 2015-07-23 | Adelaide Research & Innovation Pty Ltd | System, method, software application and data signal for determining movement |
JP6091407B2 (ja) | 2013-12-18 | 2017-03-08 | 三菱電機株式会社 | ジェスチャ登録装置 |
KR101519775B1 (ko) * | 2014-01-13 | 2015-05-12 | 인천대학교 산학협력단 | 오브젝트의 모션 인식 기반 애니메이션 생성 방법 및 장치 |
WO2015186436A1 (ja) * | 2014-06-06 | 2015-12-10 | コニカミノルタ株式会社 | 画像処理装置、画像処理方法、および、画像処理プログラム |
KR101514731B1 (ko) * | 2014-09-05 | 2015-04-28 | 동국대학교 산학협력단 | 인간 모델의 3차원 공간 데이터를 이용한 포즈 인식 시스템 및 그 방법 |
KR101576106B1 (ko) | 2014-10-14 | 2015-12-10 | 순천향대학교 산학협력단 | 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치 와 그 방법 |
JP6356616B2 (ja) * | 2015-02-17 | 2018-07-11 | 日本電信電話株式会社 | 逐次姿勢識別装置および自律神経機能情報取得装置、方法ならびにプログラム |
JP6596309B2 (ja) * | 2015-11-11 | 2019-10-23 | 株式会社東芝 | 分析装置および分析方法 |
US11006856B2 (en) * | 2016-05-17 | 2021-05-18 | Harshavardhana Narayana Kikkeri | Method and program product for multi-joint tracking combining embedded sensors and an external sensor |
KR101784410B1 (ko) * | 2016-11-15 | 2017-11-06 | 단국대학교 천안캠퍼스 산학협력단 | 운동 자세 인식 방법 및 이를 적용하는 시스템 |
US11132533B2 (en) * | 2017-06-07 | 2021-09-28 | David Scott Dreessen | Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion |
-
2017
- 2017-12-14 EP EP17934559.0A patent/EP3726468A4/en active Pending
- 2017-12-14 JP JP2019559491A patent/JP6943294B2/ja active Active
- 2017-12-14 CN CN201780097633.0A patent/CN111480178B/zh active Active
- 2017-12-14 WO PCT/JP2017/044897 patent/WO2019116495A1/ja unknown
-
2020
- 2020-06-09 US US16/896,291 patent/US11776134B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016056449A1 (ja) * | 2014-10-10 | 2016-04-14 | 富士通株式会社 | スキル判定プログラム、スキル判定方法、スキル判定装置およびサーバ |
Non-Patent Citations (3)
Title |
---|
中村 明生,外4名: "舞踊動作の解析と応用システムの開発", 情報処理学会研究報告 VOL.2003 NO.36, vol. 第2003巻, JPN6021030862, 2003, JP, ISSN: 0004567337 * |
平野 一視,外2名: "動作モデルを用いた単眼動画像からの人体姿勢の推定", 電子情報通信学会技術研究報告 VOL.99 NO.710, vol. 第99巻, JPN6021030864, 2000, JP, ISSN: 0004567338 * |
辛 貞殷,外1名: "動画像処理によるスポーツ運動解析の研究", 電子情報通信学会技術研究報告 VOL.108 NO.47, vol. 第108巻, JPN6021030863, 2008, JP, ISSN: 0004567336 * |
Also Published As
Publication number | Publication date |
---|---|
CN111480178B (zh) | 2024-02-20 |
US11776134B2 (en) | 2023-10-03 |
JP6943294B2 (ja) | 2021-09-29 |
CN111480178A (zh) | 2020-07-31 |
WO2019116495A1 (ja) | 2019-06-20 |
EP3726468A1 (en) | 2020-10-21 |
US20200302617A1 (en) | 2020-09-24 |
EP3726468A4 (en) | 2020-12-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6943294B2 (ja) | 技認識プログラム、技認識方法および技認識システム | |
CN109863535B (zh) | 运动识别装置、存储介质以及运动识别方法 | |
US10923224B2 (en) | Non-transitory computer-readable recording medium, skill determination method, skill determination device and server | |
WO2021051579A1 (zh) | 形体姿态识别方法、***、装置及存储介质 | |
JP6915701B2 (ja) | 抽出プログラム、抽出方法および情報処理装置 | |
US20200193866A1 (en) | Non-transitory computer readable recording medium, practice assist method, and practice assist system | |
US10803762B2 (en) | Body-motion assessment device, dance assessment device, karaoke device, and game device | |
KR101975056B1 (ko) | 사용자 맞춤형 트레이닝 시스템 및 이의 트레이닝 서비스 제공 방법 | |
Connaghan et al. | Multi-sensor classification of tennis strokes | |
US8175326B2 (en) | Automated scoring system for athletics | |
CN105229666A (zh) | 3d图像中的运动分析 | |
JP7235133B2 (ja) | 運動認識方法、運動認識プログラムおよび情報処理装置 | |
CN106572816A (zh) | 步行解析***和步行解析程序 | |
JP2019136493A (ja) | 運動の採点方法、システム及びプログラム | |
US20220222975A1 (en) | Motion recognition method, non-transitory computer-readable recording medium and information processing apparatus | |
Malawski | Depth versus inertial sensors in real-time sports analysis: A case study on fencing | |
CN117109567A (zh) | 用于动感单车运动的骑行姿态监测方法、***以及穿戴式骑行姿态监测设备 | |
CN111353345B (zh) | 提供训练反馈的方法、装置、***、电子设备、存储介质 | |
JP2018099452A (ja) | 選択支援装置、選択支援システムおよび選択支援方法 | |
CN114053679A (zh) | 运动训练方法及其*** | |
JP7272470B2 (ja) | 運動認識方法、運動認識プログラムおよび情報処理装置 | |
Rymut et al. | Kinematic analysis of hurdle clearance using a mobile device | |
WO2024005183A1 (ja) | ランニングフォーム評価システム、プログラム及び方法 | |
WO2022208859A1 (ja) | 技認識方法、技認識装置および体操採点支援システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200601 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200601 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210810 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210823 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6943294 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |