JP7488704B2 - 触覚メタデータ生成装置、映像触覚連動システム、及びプログラム - Google Patents
触覚メタデータ生成装置、映像触覚連動システム、及びプログラム Download PDFInfo
- Publication number
- JP7488704B2 JP7488704B2 JP2020105700A JP2020105700A JP7488704B2 JP 7488704 B2 JP7488704 B2 JP 7488704B2 JP 2020105700 A JP2020105700 A JP 2020105700A JP 2020105700 A JP2020105700 A JP 2020105700A JP 7488704 B2 JP7488704 B2 JP 7488704B2
- Authority
- JP
- Japan
- Prior art keywords
- haptic
- skeleton
- human
- person
- trajectory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000033001 locomotion Effects 0.000 claims description 147
- 238000001514 detection method Methods 0.000 claims description 34
- 230000008859 change Effects 0.000 claims description 30
- 230000009471 action Effects 0.000 claims description 26
- 238000000605 extraction Methods 0.000 claims description 23
- 238000012545 processing Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 10
- 238000010801 machine learning Methods 0.000 claims description 10
- 230000007704 transition Effects 0.000 claims description 10
- 230000003213 activating effect Effects 0.000 claims description 9
- 230000005484 gravity Effects 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 9
- 230000002093 peripheral effect Effects 0.000 claims description 2
- 230000035939 shock Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 27
- 238000000034 method Methods 0.000 description 15
- 239000000284 extract Substances 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 11
- 238000005259 measurement Methods 0.000 description 7
- 230000000007 visual effect Effects 0.000 description 7
- 230000001133 acceleration Effects 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 208000016354 hearing loss disease Diseases 0.000 description 4
- 230000036544 posture Effects 0.000 description 4
- 238000012706 support-vector machine Methods 0.000 description 4
- 208000029257 vision disease Diseases 0.000 description 4
- 101001081590 Homo sapiens DNA-binding protein inhibitor ID-1 Proteins 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 102000049143 human ID1 Human genes 0.000 description 3
- 238000007654 immersion Methods 0.000 description 3
- 239000003550 marker Substances 0.000 description 3
- 230000035807 sensation Effects 0.000 description 3
- 208000032041 Hearing impaired Diseases 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 2
- 210000001217 buttock Anatomy 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 210000002683 foot Anatomy 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 230000004913 activation Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000006735 deficit Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 210000004936 left thumb Anatomy 0.000 description 1
- 239000002245 particle Substances 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 210000004935 right thumb Anatomy 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 230000004393 visual impairment Effects 0.000 description 1
Landscapes
- Image Analysis (AREA)
Description
以下、図面を参照して、本発明による一実施形態の触覚メタデータ生成装置12を備える映像触覚連動システム1について詳細に説明する。図1は、本発明による一実施形態の触覚メタデータ生成装置12を備える映像触覚連動システム1の概略構成を示すブロック図である。
図2は、本発明による一実施形態の触覚メタデータ生成装置12の処理例を示すフローチャートである。そして、図3は、触覚メタデータ生成装置12における人物骨格抽出処理に関する説明図である。また、図4(a)は1フレーム画像を例示する図であり、図4(b)は触覚メタデータ生成装置12における1フレーム画像における人物骨格抽出例を示す図である。図5(a),(b)は、それぞれ本発明による一実施形態の触覚メタデータ生成装置12における人物骨格抽出処理に関する人物オブジェクトの探索範囲の処理例を示す図である。図6は、触覚メタデータ生成装置12における軌跡特徴量の説明図である。図7は、本発明による一実施形態の触覚メタデータ生成装置12における動オブジェクト検出のために生成する差分画像例を示す図である。そして、図8(a)乃至(c)は、それぞれ本発明による一実施形態の触覚メタデータ生成装置12における動作状況検出処理に関する人物動きの状況変化量の説明図である。
図9は、本発明による一実施形態の映像触覚連動システム1における制御ユニット13の概略構成を示すブロック図である。制御ユニット13は、メタデータ受信部131、解析部132、記憶部133、及び駆動部134‐1,134‐2を備える。
10 映像出力装置
11 ディスプレイ
12 触覚メタデータ生成装置
13 制御ユニット
14L,14R 触覚提示デバイス
121 複数フレーム抽出部
122 人物骨格抽出部
123 人物識別部
124 軌跡特徴量生成部
125 動オブジェクト検出部
126 人物動作認識部
127 第1のメタデータ生成部
128 動作状況計測部
129 第2のメタデータ生成部
131 メタデータ受信部
132 解析部
133 記憶部
134‐1,134‐2 駆動部
141 ケース
142 振動アクチュエーター
Claims (5)
- 映像から人物オブジェクトを抽出し、動的な人物オブジェクトに対応する触覚メタデータを生成する触覚メタデータ生成装置であって、
入力された映像について、現フレーム画像を含む複数フレーム分の過去のフレーム画像を抽出する複数フレーム抽出手段と、
前記現フレーム画像を含む複数フレーム分のフレーム画像の各々について、骨格検出アルゴリズムに基づき、各人物オブジェクトの第1の骨格座標集合を生成する人物骨格抽出手段と、
前記現フレーム画像を含む複数フレーム分のフレーム画像の各々について、前記第1の骨格座標集合を基に探索範囲を可変設定し、各人物オブジェクトの骨格の位置及びサイズと、当該各人物オブジェクトの骨格の位置及びサイズを示す領域の周辺画像情報を抽出することにより人物オブジェクトを識別し、人物IDを付与した第2の骨格座標集合を生成する人物識別手段と、
前記現フレーム画像を基準に、前記複数フレーム分のフレーム画像における前記第2の骨格座標集合を時系列に連結し、人物オブジェクト毎の骨格の軌跡を示す軌跡特徴量の集合として骨格軌跡集合を生成する軌跡特徴量生成手段と、
前記現フレーム画像を基準に、当該複数フレーム分のフレーム画像における骨格軌跡集合を基準とした各人物オブジェクト間の距離、及び人物オブジェクト毎の各関節のオプティカルフロー量から各人物オブジェクトの人物動きの状況変化量を算出するとともに、骨格検出の成否、人物骨格の重心の移動量、及び前記探索範囲を表す骨格外接矩形のアスペクト比の変化量を算出し、これらを要素とする特徴ベクトルを、動作状況を表す動作状況特徴量として生成する動作状況計測手段と、
前記骨格軌跡集合の軌跡特徴量と、当該骨格軌跡集合の軌跡特徴量に対応する動作状況特徴量とを基に、機械学習により、触覚提示デバイスを作動させる衝撃提示用の情報を検出する人物動作認識手段と、
前記現フレーム画像に対応して、前記人物動作認識手段から得られる当該触覚提示デバイスを作動させる衝撃提示用の情報を含む第1の触覚メタデータを生成し、フレーム単位で外部出力する第1のメタデータ生成手段と、
前記現フレーム画像に対応して、前記動作状況計測手段から得られる各人物オブジェクトの人物動きの状況変化量を示す動作状況提示用の情報を含む第2の触覚メタデータを生成し、フレーム単位で外部出力する第2のメタデータ生成手段と、
を備えることを特徴とする触覚メタデータ生成装置。 - 前記人物識別手段は、前記探索範囲として、最大で人物骨格の全体を囲む人物探索範囲に限定し、最小で人物骨格のうち所定領域を注目探索範囲として定めた絞り込みによる可変設定を行い、状態推定アルゴリズムで得られる人物の骨格の状態遷移推定値に基づいて、少なくとも前記注目探索範囲を含むように前記探索範囲を決定して、当該人物オブジェクトを識別する処理を行う手段を有することを特徴とする、請求項1に記載の触覚メタデータ生成装置。
- 前記現フレーム画像を含む複数フレーム分のフレーム画像の各々を用いて隣接フレーム間の差分画像を基に動オブジェクトを検出し、各差分画像から検出した動オブジェクトのうち全ての人物オブジェクトの前記骨格軌跡集合を用いて特定の動オブジェクトを選定し、各差分画像から得られる特定の動オブジェクトの座標位置、大きさ、移動方向を要素とし連結した動オブジェクト情報を生成する動オブジェクト検出手段を更に備え、
前記人物動作認識手段は、前記動オブジェクト情報を基に、全ての人物オブジェクトの前記骨格軌跡集合のうち前記触覚提示デバイスを作動させるための骨格軌跡集合を選定し、選定した骨格軌跡集合の軌跡特徴量と、その選定した骨格軌跡集合に対応する動作状況特徴量とを基に、機械学習により、人物オブジェクト毎の衝撃提示用のタイミング及び速さを示す情報を検出することを特徴とする、請求項1又は2に記載の触覚メタデータ生成装置。 - 請求項1から3のいずれか一項に記載の触覚メタデータ生成装置と、
触覚刺激を提示する触覚提示デバイスと、
前記触覚メタデータ生成装置から得られる第1及び第2の触覚メタデータを基に、予め定めた駆動基準データを参照し、前記触覚提示デバイスを駆動するよう制御する制御ユニットと、
を備えることを特徴とする映像触覚連動システム。 - コンピュータを、請求項1から3のいずれか一項に記載の触覚メタデータ生成装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020105700A JP7488704B2 (ja) | 2020-06-18 | 2020-06-18 | 触覚メタデータ生成装置、映像触覚連動システム、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020105700A JP7488704B2 (ja) | 2020-06-18 | 2020-06-18 | 触覚メタデータ生成装置、映像触覚連動システム、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021197110A JP2021197110A (ja) | 2021-12-27 |
JP7488704B2 true JP7488704B2 (ja) | 2024-05-22 |
Family
ID=79195767
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020105700A Active JP7488704B2 (ja) | 2020-06-18 | 2020-06-18 | 触覚メタデータ生成装置、映像触覚連動システム、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7488704B2 (ja) |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013008869A1 (ja) | 2011-07-14 | 2013-01-17 | 株式会社ニコン | 電子機器及びデータ生成方法 |
JP2020031406A (ja) | 2018-08-24 | 2020-02-27 | 独立行政法人日本スポーツ振興センター | 判定システム、及び判定方法 |
JP2020042476A (ja) | 2018-09-10 | 2020-03-19 | 国立大学法人 東京大学 | 関節位置の取得方法及び装置、動作の取得方法及び装置 |
-
2020
- 2020-06-18 JP JP2020105700A patent/JP7488704B2/ja active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013008869A1 (ja) | 2011-07-14 | 2013-01-17 | 株式会社ニコン | 電子機器及びデータ生成方法 |
JP2020031406A (ja) | 2018-08-24 | 2020-02-27 | 独立行政法人日本スポーツ振興センター | 判定システム、及び判定方法 |
JP2020042476A (ja) | 2018-09-10 | 2020-03-19 | 国立大学法人 東京大学 | 関節位置の取得方法及び装置、動作の取得方法及び装置 |
Non-Patent Citations (1)
Title |
---|
高橋 正樹、外4名,"人物の姿勢解析に基づくスポーツ映像からの触覚提示情報抽出",映像情報メディア学会 2019年冬季大会講演予稿集,日本,一般社団法人映像情報メディア学会,2019年11月28日,pp.1-2 |
Also Published As
Publication number | Publication date |
---|---|
JP2021197110A (ja) | 2021-12-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11132533B2 (en) | Systems and methods for creating target motion, capturing motion, analyzing motion, and improving motion | |
US11638853B2 (en) | Augmented cognition methods and apparatus for contemporaneous feedback in psychomotor learning | |
US11941915B2 (en) | Golf game video analytic system | |
KR100772497B1 (ko) | 골프 클리닉 시스템 및 그것의 운용방법 | |
WO2019130527A1 (ja) | 抽出プログラム、抽出方法および情報処理装置 | |
US20060204045A1 (en) | System and method for motion performance improvement | |
CN111444890A (zh) | 一种基于机器学习的体育数据分析***和方法 | |
US20070021207A1 (en) | Interactive combat game between a real player and a projected image of a computer generated player or a real player with a predictive method | |
US9418470B2 (en) | Method and system for selecting the viewing configuration of a rendered figure | |
US20070021199A1 (en) | Interactive games with prediction method | |
CN104353240A (zh) | 基于Kinect的跑步机*** | |
CN102947777A (zh) | 用户跟踪反馈 | |
KR102320960B1 (ko) | 사용자 신체 맞춤형 홈 트레이닝 동작 안내 및 교정 시스템 | |
CN113709411B (zh) | 一种mr智能眼镜基于眼动追踪技术的体育辅助训练*** | |
KR100907704B1 (ko) | 인공지능형 캐디를 이용한 골퍼자세교정시스템 및 이를이용한 골퍼자세교정방법 | |
KR20180112656A (ko) | 인터랙티브 트램펄린 놀이 시스템 및 그 제어방법 | |
KR20100033205A (ko) | 골프연습 보조 시스템 및 그 방법 | |
JP7078577B2 (ja) | 動作類似度評価装置、方法およびプログラム | |
KR101864039B1 (ko) | 증강현실을 이용한 격투기 스포츠의 공정심사 솔루션 제공용 빅데이터 분석처리 시스템 및 그 구동방법 | |
CN111672089B (zh) | 一种针对多人对抗类项目的电子计分***及实现方法 | |
JP7488704B2 (ja) | 触覚メタデータ生成装置、映像触覚連動システム、及びプログラム | |
CN116328279A (zh) | 一种基于视觉人体姿势估计的实时辅助训练方法及设备 | |
Pai et al. | Home Fitness and Rehabilitation Support System Implemented by Combining Deep Images and Machine Learning Using Unity Game Engine. | |
JP7344096B2 (ja) | 触覚メタデータ生成装置、映像触覚連動システム、及びプログラム | |
JP7502957B2 (ja) | 触覚メタデータ生成装置、映像触覚連動システム、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230518 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240319 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240326 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240329 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240510 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7488704 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |