CN104516496B - 可调体感范围的多人指引***与其方法 - Google Patents
可调体感范围的多人指引***与其方法 Download PDFInfo
- Publication number
- CN104516496B CN104516496B CN201310643280.3A CN201310643280A CN104516496B CN 104516496 B CN104516496 B CN 104516496B CN 201310643280 A CN201310643280 A CN 201310643280A CN 104516496 B CN104516496 B CN 104516496B
- Authority
- CN
- China
- Prior art keywords
- image
- depth
- crossfire
- gravity
- center
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 230000033001 locomotion Effects 0.000 title claims description 49
- 230000009471 action Effects 0.000 claims abstract description 77
- 230000005484 gravity Effects 0.000 claims description 54
- VEMKTZHHVJILDY-UHFFFAOYSA-N resmethrin Chemical compound CC1(C)C(C=C(C)C)C1C(=O)OCC1=COC(CC=2C=CC=CC=2)=C1 VEMKTZHHVJILDY-UHFFFAOYSA-N 0.000 claims description 53
- 238000004458 analytical method Methods 0.000 claims description 41
- 238000004364 calculation method Methods 0.000 claims description 23
- 238000012546 transfer Methods 0.000 claims description 14
- 238000012545 processing Methods 0.000 claims description 10
- 230000000007 visual effect Effects 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 230000007613 environmental effect Effects 0.000 claims description 3
- 210000000988 bone and bone Anatomy 0.000 claims 1
- 230000009977 dual effect Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 8
- 238000011161 development Methods 0.000 abstract description 2
- 230000033764 rhythmic process Effects 0.000 abstract description 2
- 230000003238 somatosensory effect Effects 0.000 abstract 2
- 230000001960 triggered effect Effects 0.000 abstract 1
- 230000000875 corresponding effect Effects 0.000 description 22
- 238000010586 diagram Methods 0.000 description 14
- 238000012937 correction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000011524 similarity measure Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001020 rhythmical effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002459 sustained effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G06F19/3481—
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
- G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Public Health (AREA)
- Epidemiology (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Primary Health Care (AREA)
- Theoretical Computer Science (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Radiology & Medical Imaging (AREA)
- Physical Education & Sports Medicine (AREA)
- General Engineering & Computer Science (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本发明提供一种可调体感范围的多人指引***，通过多体感摄影机撷取深度影像的缝合模块，以扩展体感范围，由此建置出多人使用的虚拟应用情境，通过***一对多的动作指引模块，同时个别指引玩家修正动作。通过扩展检测范围的多人指引方法与***支持，可在一大检测范围内同时个别连续时刻比对多人动作相似度计算与触发个别动作指引回馈功能，以延伸更多更广的应用情境与商品开发，如虚拟健身房、虚拟韵律教室及虚拟武道馆等游戏。
Description
技术领域
本发明涉及一种可调体感范围的多人指引***与其方法。
背景技术
由于现代工商业社会的忙碌，因此人们对于适当运动日渐重视。近年来，多种运动的兴起，人们由普通健身房单调的健身器材运动，转变为身体的全身运动，例如舞蹈、有氧舞蹈或韵律体操等，通过全身的运动及多变的舞蹈跟动作，让人们在运动时不致于单调，且更能持之以恒的运动。
而大部分的全身运动皆需要有教练来教学，亦即需要付教学费用至专属健身房。然而，由于学员众多，教练常无法对个别学员的动作给予正确的指导，因此在学习时其效果不彰，学员对于姿势的正确性亦不明了。
现阶段市售XBOX360所推出的游戏，虽能通过KINECT传感器捕捉玩家的身体动作，让玩家于亲切的虚拟健身空间中接受专业的一对一健身课程，体验最真实的运动乐趣。然而，虚拟私人教练课程仅针对一对一个别玩家的训练课程，进行片断时刻的动作比对分数，无法以多人同时连续性时刻比对分数评估个别玩家姿势或动作正确性。此外，以目前现有的单一KINECT传感器来说，红外线传感器能检测的视角范围在水平方向只有57.5°，这将会造成研究、开发甚至是应用上的检测范围受到限制。另外，绝大多数的技术仅针对多台RGB(红绿蓝)摄影机进行影像缝合技术以提供扩展范围的影像。
发明内容
本发明提供一种可调体感范围的多人指引***，包括图像处理单元、用户动作撷取单元、多线程处理单元、多人比对单元以及指引数据库。所述图像处理单元用以并行地接收多个影像，并对这些影像进行深度影像缝合与用户骨架撷取，以取得多个用户信息。用户动作撷取单元对应于所述 用户信息产生对应每一用户信息对应的深度串流动作影像及各节点信息。多线程处理单元将所述用户信息对应的深度串流动作影像及各节点信息并行地传出。多人比对单元耦接到多线程处理单元，此多人比对单元接收深度串流动作影像及各节点信息，与虚拟教练信息进行比对分析，以产生多笔个人化的比对分析结果。指引数据库用以储存预先设定的多笔动作指引，并根据个人化的比对分析结果输出对应所述个人化的比对分析结果的多个动作指引，以显示这些动作指引。
本发明提供一种可调体感范围的多人指引方法，包括并行地接收多个影像，并对所述影像进行深度影像缝合与用户骨架撷取，以取得多个用户信息。对应于所述用户信息产生对应每一用户信息对应的深度串流动作影像及各节点信息。对所述深度串流动作影像及各节点信息与虚拟教练信息进行比对分析，以产生多笔个人化的比对分析结果。根据所述个人化的比对分析结果输出对应个人化的比对分析结果的多笔动作指引，以显示动作指引。
附图说明
图1为用以说明本发明多个实施范例其中之一的可调体感范围的多人指引***的方块示意图。
图2为运用本实施例的可调体感范围的多人指引***的使用环境示意图。
图3为说明运用本实施例的可调体感范围的多人指引***，以一对多的动作指引方式提供个人化指引的示意图。
图4为说明可调体感范围的多人指引***，以一对多的动作指引方式提供个人化指引的虚拟应用情境示意图。
图5为用以说明本发明多个实施范例其中之一的传感器组配置布局的示意图。
图6为用以说明本发明多个实施范例其中之一的可调式深度影像缝合与用户骨架撷取单元架构的示意图。
图7为用以说明本发明多个实施范例其中之一的可调体感范围的多人指引***中，其方法流程示意图。
100：可调体感范围的多人指引***
110：传感器组
110a～110c：传感器
120：可调式深度影像缝合与用户骨架撷取单元
130：用户动作撷取单元
140：多线程处理单元
150：多人动作比对单元
152：演算单元
154：虚拟教练动作信息单元
160：多人重心比对单元
162：用户重心计算单元
164：演算单元
166：虚拟教练重心计算单元
170：指引数据库
180：屏幕
210～214：体感摄影机1～M
220：计算机主机
222：可调体感范围的多人指引***
230：屏幕
231～233：个人化指引1～M
310：深度影像缝合与骨架点撷取
320：动作比对元件
332a、334a、336a：教练指令
332b、334b、336b：遵从度
400：虚拟应用情境
410：虚拟教练
510、520：摄影机
610a、610b、610c：体感摄影机
620：动作感测单元
630：核心架构
632～636：核心架构步骤
638：缝合后的深度影像
640：深度影像自定义产生器
650：骨架产生器
660：用户信息
S710、S720～S728、S730、S740、S750、S752、S760：方法流程步骤
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
针对目前体感***仅能单人使用，亦即***仅针对单一用户进行动作相似度计算以及触发动作指引回馈的功能。本发明的发明人所提出“动作比对方法与动作比对***”专利(台湾地区申请案号101147275、美国申请案号13/849,535、及中国申请案号201210568013.X)即属此例，在此加入参照此案的内容作为动作比对方法的描述内容。在此延伸上述的内容延伸提出支持多个用户骨架输入，并依个别用户进行动作相似度计算及触发动作指引回馈的功能，由此开发多人指引技术实现应用于各种情境。
通过扩展检测范围的多人指引方法与***支持，可在一大检测范围内同时个别连续时刻比对多人动作相似度计算与触发个别动作指引回馈功能，以延伸更多更广的应用情境与商品开发，如虚拟健身房、虚拟韵律教室及虚拟武道馆等游戏。
本发明多个实施范例其中之一，提供一种可调体感范围的多人指引***，通过多体感摄影机撷取深度影像的缝合模块，以扩展体感范围，由此建置出多人使用的虚拟应用情境，以***一对多的动作指引模块，同时个别指引玩家修正动作。
请参照图1，用以说明本发明多个实施范例其中之一的可调体感范围的多人指引***方块示意图。如图1所示，此可调体感范围的多人指引***100包括图像处理单元(例如图标的可调式深度影像缝合与用户骨架撷取单元120)、用户动作撷取单元130、多线程处理单元140、多人动作比对单元150、多人重心比对单元160、指引数据库170。此可调体感范围的 多人指引***100可以包括传感器组110或是运用外部设备既有的传感器组110。此可调体感范围的多人指引***100的输出传送到屏幕180显示相关的信息。底下将针对可调体感范围的多人指引***100中的各个单元实施范例进行说明。
传感器组110用以检测并取得影像，在这些影像中至少包括多个用户的影像。而传感器组110如图所示包括多个传感器110a～110c，但并非以此为限制。另外，传感器组110内的多个传感器可依照使用的环境需求而排列与配置。可调式深度影像缝合与用户骨架撷取单元120，用以接收由传感器组110的多个传感器所传送来的影像，并将接收的影像进行缝合运算，并撷取其中的用户信息，在本实施例中的用户信息包括影像的深度信息与骨架节点的信息等等。用户动作撷取单元130用以撷取缝合过后影像中的多个用户的深度串流动作影像及各节点信息。
而这些多个用户的深度串流动作影像及各节点信息则传送到多线程(Multithreading)处理单元140，用以同时平行化处理多个线程(Threads)。此多线程(Multithreading)，是指从软件或者硬件上实作多个线程并行执行的技术。具有多线程能力的处理器因有硬件支持而能够在同一时间执行多于一个线程，进而提升整体处理效能。具有这种能力的***包括对称多处理机、多核心处理器以及芯片级多处理(Chip-levelmultithreading)或同时多线程(Simultaneous multithreading)处理器。软件多线程，即便处理器只能执行一个线程，操作***也可以通过快速的在不同线程之间进行切换，由于时间间隔很小，造成一种多个线程同时执行的现象。这样的程序执行机制被称为软件多线程。
多线程处理单元140则是将多个用户信息相关的深度串流动作影像及各节点信息分别传送到多人动作比对单元150以及多人重心比对单元160。多人动作比对单元150在一实施例中包括演算单元152与虚拟教练动作信息单元154。多人重心比对单元160在一实施例中包括用户重心计算单元162、演算单元164、与虚拟教练重心计算单元166。
在多人动作比对单元150中，虚拟教练动作信息单元154用以提供预先录制的虚拟教练的深度串流动作影像及各节点信息，此可根据用户所选择的课程或节目的内容而有所对应的信息。演算单元152则是用以同时进 行多个用户深度串流动作轨迹与虚拟教练深度串流动作轨迹比对分析，并提供多个个人化比对分析结果。例如有M个用户，即根据M个用户深度串流动作轨迹与对应的虚拟教练深度串流动作轨迹进行比对分析。
在多人重心比对单元160中，虚拟教练重心计算单元162连接到虚拟教练动作信息单元154，用以计算虚拟教练深度串流影像的重心。用户重心计算单元162则是用以同时计算多个个别用户深度串流影像的重心。演算单元164则是用以同时进行多个个别用户重心虚实移转轨迹与虚拟教练重心虚实移转轨迹比对分析，并提供对应的个人化重心移转比对分析结果。
指引数据库170用以储存预先设定好的动作指引建议，例如动作快慢高低，重心移转快慢方向等等，依据个人化比对分析结果及个人化重心移转比对分析结果，搜寻并回馈适当的动作指引建议。可调体感范围的多人指引***100的输出传送到屏幕180以显示相关的信息。屏幕180用以显示多个个人化动作指引建议，提供给多个用户进行动作修正。
利用图1的可调体感范围的多人指引***，可以提供一种可调体感范围的多人指引***，通过多体感摄影机撷取深度影像的缝合模块，以扩展体感范围，由此建置出多人使用的虚拟应用情境，以***一对多的动作指引模块，同时个别指引玩家修正动作。
请参照图2，为运用本实施例的可调体感范围的多人指引***的使用环境示意图。有N个用户(图中所示的用户1～用户N)，而有多个传感器，例如图标中所显示的M个体感摄影机(Motion Sensing Camera)，在此以体感摄影机210～214为例，但并非以此为限制。N个用户于可调体感范围的多体感摄影机设计环境下，跟随屏幕中的虚拟教练进行运动。
由M个体感摄影机截取的影像数据传送到计算机主机220，此计算机主机220内配置有本实施例所提出的可调体感范围的多人指引***222，此多人指引***222可以运用计算机220内部的硬件架构所执行，或是配置在独立的硬件架构中皆属本实施例可运用的范围。根据体感摄影机210～214所取得的影像，经由多人指引***222的虚拟应用情境，将这些信息输出到屏幕230中显示，以一对多的动作指引方式，同时个别指引玩家修正动作。如图所示，屏幕230中显示个人化指引1～个人化指引N，在此以个人化指引231～233为例，分别对应提供这些信息给N个用户。
进行运动过程中，可通过一用户动作撷取单元所输入的新缝合深度影像中，同时撷取N个用户的深度串流动作影像及各骨架节点信息。另外，虚拟教练动作信息单元，用以提供录制的虚拟教练的深度串流动作影像及各骨架节点信息。通过多线程处理单元，处理N个个别用户骨架输入至单一的演算单元进行连续时刻的相似度动作比对，依其虚拟教练的动作轨迹及N个个别用户动作轨迹以轨迹方向、轨迹速度、轨迹距离，进行个别动作比对分析。另一方面，多线程处理单元亦处理N个个别用户深度影像输入至用户重心计算单元，及虚拟教练动作信息单元提供深度影像输入至虚拟教练重心计算单元，通过演算单元同时比对重心移转分析结果；并且依据个人化比对分析结果及个人化重心移转比对分析结果，搜寻储存动作指引建议的一指引数据库并回馈适当的N个个人化指引至一屏幕以显示给用户。
请参照图3，为说明运用本实施例的可调体感范围的多人指引***，以一对多的动作指引方式提供个人化指引的示意图。N个用户跟随着教练一起进行特定的动作。而经由多个传感器感应取得影像后，取得N个用户的用户信息，例如包括用户的深度影像信息与骨架节点信息等等(如步骤310)。而后经由比对运算后(如步骤320)，输出个人化指引的信息。上述比对运算在多个实施范例其中之一，包括将多人动作与虚拟教练动作信息的动作的比对，例如根据用户深度串流动作轨迹与对应的虚拟教练深度串流动作轨迹进行比对分析。在经过比对运算后(如步骤320)，产生并经由屏幕显示针对个别用户的个人化指引信息，例如对于用户1提供包括教练指令332a以及遵从度信息332b、对于用户2提供包括教练指令334a以及遵从度信息334b、以及对用户N提供包括教练指令336a以及遵从度信息336b。
上述比对运算在多个实施范例其中之一，也可以是重心比对。在取得N个用户的用户信息，例如深度影像信息与骨架节点信息之后，可以进行重心比对。首先，先计算虚拟教练深度串流影像的重心以及同时计算个别用户深度串流影像的重心。而后同时进行多个个别用户重心虚实移转轨迹与虚拟教练重心虚实移转轨迹比对分析，并提供对应的个人化重心移转比 对分析结果。在另一实施例中，也可以同时并行地根据取得的用户信息进行动作及重心的比对。
请参照图4，为说明可调体感范围的多人指引***，以一对多的动作指引方式提供个人化指引的虚拟应用情境示意图。假设此虚拟应用情境400中的虚拟教练410显示一个动作，而用户1～用户3分别跟着虚拟教练410作出对应的动作，经由多人指引***取得用户的用户信息，例如包括用户的深度影像信息与骨架节点信息等等，并经过比对后(例如根据用户深度串流动作轨迹与对应的虚拟教练深度串流动作轨迹进行比对，或是重心的比对)后，在屏幕上分别显示针对每个用户的个人化指引信息，例如用户1比对结果为95％，因为结果符合标准，所以不需要提供进一步的教练指令。用户3的比对结果为45％，因为结果不符合标准，所以需要提供进一步的教练指令，例如图标中的两脚靠近点。用户2的比对结果为60％，因为结果不符合标准，所以需要提供进一步的教练指令，例如图标中的右手低一点。
紧接着，将针对可调体感范围的多人指引***中的相关的单元作一详细介绍。
请参照图5，用以说明本发明多个实施范例其中之一的传感器组配置布局示意图。传感器组用以检测并取得影像，在这些影像中至少包括多个用户的影像，而其配置方式可以依照使用环境的不同而有不一样的配置。在此实施例是说明以多体感摄影机的二摄影机510与520为例的放置环境，目前已知体感摄影机在水平(X轴)方向的检测范围为57.5°，且根据规格的要求，双体感摄影机平行放置于同一高度(Y轴)，视角必须一致，且检测的深度范围(Z轴)在1.5公尺之后有效。故可得此二个体感摄影机510与520间的距离至少应为1.65公尺。
请参照图6，用以说明本发明多个实施范例其中之一的可调式深度影像缝合与用户骨架撷取单元架构示意图。当动作感测单元620取得多部体感摄影机610a、610b、610c的深度信息后，会由其核心架构630进行讯号的处理，包括通过核心架构630中的步骤632，根据先前假设的多体感摄影机位置可以得知多组真实世界坐标的对应点，由校准(Calibration)方程来进行对准程序，也就是校正多体感摄影机的视角，再将对齐后的数据投 影为新的深度信息，转换到真实世界的坐标，如步骤634。上述步骤完成后可进一步包含移除被遮蔽的物体(Hidden Surface Removal)，如步骤636。新的深度信息将会以MetaData的格式，如通过深度影像自定义(Depth Image Configuration)产生器640将数据传入骨架产生器650，以取得用户信息660。
上述的校准(Calibration)方程为多体感摄影机的视角校正的方程。在本发明多个实施范例其中之一，包括以下的步骤。首先，使用特征抽取(Feature Extraction)方法来检测每二体感摄影机中RGB影像的特征点，并使用最相近邻居搜寻法(Nearest NeighborsSearch)找出每二RGB影像中特征点对应的关系。再根据以下条件：1)特征点的深度值会因距离太近每二影像重叠率不高。2)在水平(X轴)方向，左影像左边像素以及右影像右边像素上的特征点视为无效，因为重叠率不高。3)每二对应点在两RGB影像中，垂直(Y轴)的差值不应过大。4)所有每二对应点所形成的位置分布应为一致。5)将特征点搭配深度值转换至世界坐标，并求出每二对应点的X轴差值，对所有每二对应点的X轴差值进行排序，取出两两成双的对应点，即为正确率较高的对应点。上述步骤进行直到正确率较高的对应点出现即可停止，此正确率较高可采用一临限值加以判断。
上述所得到的每二对应点可分为两组，第一组为影像A的特征点，第二组为影像B的特征点。以第一组的特征点为基准，将第二组特征点分别对水平(X轴)与垂直(Y轴)方向旋转，计算出两组特征点在世界坐标中最近距离的角度，即可对影像B做视角校正的动作，并完成每二组影像作视角校正前后差异比较的图示。最后，取得每二组影像校正并缝合后的深度影像638。将上述每二组影像校正缝合后所得到缝合后的深度影像638，以Meta Data的格式，通过深度影像自定义产生器640将数据传入用户的骨架产生器650，以取得用户信息，并可追踪用户骨架。因此，最后能于缝合后的深度影像638中可同样追踪撷取用户深度影像及骨架。
由上可知，目前已解决单一体感摄影机受限于水平(X)视角57.5°的范围，可以动态调整并扩展体感检测范围。紧接者，将针对目前仅能单一用户使用体感***的问题，进行多个用户骨架输入单一相似度动作比对元件，并依个别用户计算个别的动作相似度及动作指引，如图3所示。
请参照图7，用以说明本发明多个实施范例其中之一的可调体感范围的多人指引***中，其方法流程示意图。首先，步骤S710，N个用户于可调体感范围的多体感摄影机设计环境下，跟随屏幕中的虚拟教练进行运动。步骤S720为可调式深度影像缝合与用户骨架撷取的流程图，包括步骤S722～S728。
步骤S722，多体感摄影机各自撷取视角范围内深度影像(包含环境影像与N个用户影像)，并将个别的深度信息转换为真实世界的坐标。步骤S724，若考虑多体感摄影机视角未对齐的情况，经Calibration方程可校正对齐。步骤S726，由多体感摄影机位置可得知多组真实世界坐标的对应点，进而将其对齐并缝合成新的深度扩展影像(此步骤包含了移除被遮蔽的物体)。步骤S728，新的深度扩展影像将以Meta Data的格式通过动作感测单元的核心架构取得用户的信息。步骤S730，检测N个用户的深度串流动作影像及骨架中多个节点信息。
步骤S740为通过多线程平行处理N个用户骨架中多个节点信息。步骤S752为提供一录制的虚拟教练的深度串流动作及骨架中多个节点信息。步骤S750为提供一动作比对与指引方式及重心比对方式，N个个别用户及虚拟教练进行动作轨迹比对分析、重心移转比对分析，进而实时回馈指引。步骤S760为个别回馈N个个人化指引提供给用户动作修正。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (17)
1.一种可调体感范围的多人指引***，包括：
图像处理单元，用以并行地接收多个影像，并对所述影像进行深度影像缝合与用户骨架撷取，以取得多个用户信息；
用户动作撷取单元，对应于所述用户信息产生对应每一该用户信息对应的深度串流动作影像及各节点信息；
多线程处理单元，将所述用户信息对应的所述深度串流动作影像及各节点信息并行地传出；
多人比对单元，耦接到该多线程处理单元，该多人比对单元接收所述深度串流动作影像及各节点信息，与虚拟教练信息进行比对分析，以产生多笔个人化的比对分析结果；以及
指引数据库，用以储存预先设定的多笔动作指引，并根据所述个人化的比对分析结果输出对应所述个人化的比对分析结果的所述动作指引，以显示所述动作指引；
其中对所述影像以一校准方程进行对准程序，所述对准程序包括：
使用特征抽取方法来检测所述影像中的每二个所述影像的多个特征点，并使用最相近邻居搜寻法找出每二个所述影像中所述特征点对应的关系；以及
根据所述特征点计算得到一判断值，若该判断值高于一临限值，则采用所述特征点作为所述对准程序的依据进行校准。
2.如权利要求1所述的可调体感范围的多人指引***，其特征在于，该多人比对单元包括一多人动作比对单元，耦接到该多线程处理单元，该多人动作比对单元接收所述深度串流动作影像及各节点信息，并对所述深度串流动作影像的轨迹与该虚拟教练信息的虚拟教练深度串流动作轨迹比对分析，以作为所述个人化的比对分析结果。
3.如权利要求2所述的可调体感范围的多人指引***，其特征在于，该多人动作比对单元包括：
虚拟教练动作信息单元，用以提供预先录制的所述虚拟教练信息；以及
第一演算单元，耦接到该多线程处理单元与该虚拟教练动作信息单元，其中该第一演算单元用以同时进行所述深度串流动作轨迹与该虚拟教练深度串流动作轨迹进行比对分析。
4.如权利要求1所述的可调体感范围的多人指引***，其特征在于，该多人比对单元包括一多人重心比对单元，耦接到该多线程处理单元，该多人重心比对单元接收所述深度串流动作影像及各节点信息，并同时计算所述深度串流动作影像的重心，而后与该虚拟教练重心移转轨迹进行比对分析，以作为所述个人化的比对分析结果。
5.如权利要求4所述的可调体感范围的多人指引***，其特征在于，该多人重心比对单元包括：
虚拟教练重心计算单元，取得该虚拟教练信息并计算该虚拟教练信息的虚拟教练深度串流影像的重心；
用户重心计算单元，耦接到该多线程处理单元，该用户重心计算单元接收所述深度串流动作影像及各节点信息，并同时计算所述深度串流影像的重心；以及
第二演算单元，则是用以同时进行所述深度串流影像的重心与该虚拟教练深度串流影像的重心比对分析，并提供对应的个人化重心移转比对分析结果，以作为所述个人化的比对分析结果。
6.如权利要求1所述的可调体感范围的多人指引***，其特征在于，还包括一传感器组用以检测并取得所述影像，输出到该图像处理单元，其中该传感器组包括多个传感器，依照使用的环境需求而排列与配置。
7.如权利要求1所述的可调体感范围的多人指引***，其特征在于，该图像处理单元包括一可调式深度影像缝合单元，包括
核心架构，用以接收所述影像，并对所述影像以所述校准方程进行所述对准程序，以校正所述影像的视角后，转换所述影像到真实世界坐标；以及
深度影像自定义产生器，耦接到该核心架构，其中该深度影像自定义产生器将已经转换到该真实世界坐标的所述影像进行深度影像缝合操作以完成所述自定义影像的深度影像缝合。
8.如权利要求7所述的可调体感范围的多人指引***，其特征在于，该图像处理单元包括一用户骨架撷取单元，耦接到该可调式深度影像缝合单元，用以取得经由该深度影像缝合的所述影像，进行该用户骨架撷取程序以取得所述用户信息的所述各节点信息。
9.一种可调体感范围的多人指引方法，包括：
并行地接收多个影像，并对所述影像进行深度影像缝合与用户骨架撷取，以取得多个用户信息；
对应于所述用户信息产生对应每一该用户信息对应的深度串流动作影像及各节点信息；
对所述深度串流动作影像及各节点信息与虚拟教练信息进行比对分析，以产生多笔个人化的比对分析结果；以及
根据所述个人化的比对分析结果输出对应所述个人化的比对分析结果的所述动作指引，以显示所述动作指引；
其中并行地接收多个影像，并对所述影像进行深度影像缝合与用户骨架撷取的步骤包括对所述影像以一校准方程进行对准程序，所述对准程序包括：
使用特征抽取方法来检测所述影像中的每二个所述影像的多个特征点，并使用最相近邻居搜寻法找出每二个所述影像中所述特征点对应的关系；以及
根据所述特征点计算得到一判断值，若该判断值高于一临限值，则采用所述特征点作为所述对准程序的依据进行校准。
10.如权利要求9所述的方法，其特征在于，其中对所述深度串流动作影像及各节点信息与该虚拟教练信息进行比对分析的步骤包括：
对所述深度串流动作影像的轨迹与该虚拟教练信息的虚拟教练深度串流动作轨迹比对分析，以作为所述个人化的比对分析结果。
11.如权利要求10所述的方法，其特征在于，其中对所述深度串流动作影像的轨迹与该虚拟教练信息的虚拟教练深度串流动作轨迹比对分析的步骤包括：
提供预先录制的所述虚拟教练信息；以及
同时进行所述深度串流动作轨迹与该虚拟教练深度串流动作轨迹进行比对分析。
12.如权利要求9所述的方法，其特征在于，其中对所述深度串流动作影像及各节点信息与该虚拟教练信息进行比对分析的步骤包括:
同时计算所述深度串流动作影像的重心，而后与该虚拟教练重心移转轨迹进行比对分析，以作为所述个人化的比对分析结果。
13.如权利要求12所述的方法，其中计算所述深度串流动作影像的重心，而后与该虚拟教练重心移转轨迹进行比对分析的步骤包括：
取得该虚拟教练信息并计算该虚拟教练信息的虚拟教练深度串流影像的重心；
同时计算所述深度串流影像的重心；以及
同时进行所述深度串流影像的重心与该虚拟教练深度串流影像的重心比对分析，并提供对应的个人化重心移转比对分析结果，以作为所述个人化的比对分析结果。
14.如权利要求9所述的方法，其特征在于，其中并行地接收多个影像，并对所述影像进行深度影像缝合与用户骨架撷取的步骤包括
对所述影像以所述校准方程进行对准程序，以校正所述影像的视角后，转换所述影像到真实世界坐标；以及
将已经转换到该真实世界坐标的所述影像进行深度影像缝合操作以完成所述影像的深度影像缝合。
15.如权利要求9所述的方法，其特征在于，其中根据所述特征点计算得到该判断值考虑包括所述特征点的深度值会因距离太近而使每二个所述影像中所述特征点重叠率不高而减少该判断值。
16.如权利要求9所述的方法，其特征在于，其中根据所述特征点计算得到该判断值考虑包括将所述特征点搭配深度值转换至世界坐标，并求出每二对应点的水平轴差值，对所有所述每二对应点的该水平轴差值进行排序，取出两两成双的所述对应点，即为该判断值增加的所述对应点。
17.如权利要求14所述的方法，其特征在于，其中并行地接收多个影像，并对所述影像进行深度影像缝合与用户骨架撷取的步骤还包括
对经由该深度影像缝合的所述影像进行该用户骨架撷取程序以取得所述用户信息的所述各节点信息。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW102136045 | 2013-10-04 | ||
| TW102136045A TWI537767B (zh) | 2013-10-04 | 2013-10-04 | 可調體感範圍之多人指引系統與其方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN104516496A CN104516496A (zh) | 2015-04-15 |
| CN104516496B true CN104516496B (zh) | 2017-11-03 |
Family
ID=52776991
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310643280.3A Active CN104516496B (zh) | 2013-10-04 | 2013-12-02 | 可调体感范围的多人指引***与其方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US9275194B2 (zh) |
| CN (1) | CN104516496B (zh) |
| TW (1) | TWI537767B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022214004A1 (zh) * | 2021-04-08 | 2022-10-13 | 华为技术有限公司 | 一种目标用户确定方法、电子设备和计算机可读存储介质 |
Families Citing this family (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10440348B2 (en) * | 2015-03-24 | 2019-10-08 | University Of Florida Research Foundation, Inc. | Optical privatizing device, system and method of use |
| CN105677031B (zh) * | 2016-01-04 | 2018-12-11 | 广州华欣电子科技有限公司 | 基于手势轨迹识别的控制方法和装置 |
| US20170199631A1 (en) * | 2016-01-09 | 2017-07-13 | Apple Inc. | Devices, Methods, and Graphical User Interfaces for Enabling Display Management of Participant Devices |
| CN105847987A (zh) * | 2016-03-24 | 2016-08-10 | 乐视控股（北京）有限公司 | 通过电视和体感配件矫正人体动作及*** |
| WO2018058491A1 (zh) * | 2016-09-30 | 2018-04-05 | 深圳市赛亿科技开发有限公司 | 烹饪***及方法 |
| KR101827167B1 (ko) | 2016-11-01 | 2018-02-08 | 고려대학교 세종산학협력단 | Sift 병렬 처리를 이용한 고속 영상 스티칭 방법 및 장치 |
| TWI644235B (zh) * | 2017-04-13 | 2018-12-11 | 國立政治大學 | Wearable instant interaction system |
| CN107247924A (zh) * | 2017-05-19 | 2017-10-13 | 安徽信息工程学院 | 基于Kinect的动作比对***和比对方法 |
| CN108536297A (zh) * | 2018-03-29 | 2018-09-14 | 北京微播视界科技有限公司 | 用于多人的人机交互应用程序的实现方法和装置 |
| CN111282244A (zh) * | 2020-01-16 | 2020-06-16 | 北京布袋森林科技有限责任公司 | 一种虚拟健身房的管理方法、装置及*** |
| CN111427697B (zh) * | 2020-03-18 | 2023-06-06 | 深圳市瑞立视多媒体科技有限公司 | 基于多线程的动作捕捉方法、装置、设备及存储介质 |
| CN113655935A (zh) * | 2021-01-30 | 2021-11-16 | 华为技术有限公司 | 一种用户确定方法、电子设备和计算机可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201111014A (en) * | 2009-09-25 | 2011-04-01 | Footwear & Recreation Technology Res Inst | Human-body muscle training feedback system and method |
| CN102221886A (zh) * | 2010-06-11 | 2011-10-19 | 微软公司 | 通过化身与用户界面交互 |
| TW201308253A (zh) * | 2011-08-04 | 2013-02-16 | Univ Nat Taiwan | 運動量分析方法及採用此方法之運動量分析裝置 |
| CN102448560B (zh) * | 2009-05-29 | 2013-09-11 | 微软公司 | 经由屏幕上化身进行用户移动反馈的***和方法 |
Family Cites Families (18)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TWI286717B (en) | 2006-08-18 | 2007-09-11 | Ind Tech Res Inst | Learning assessment method and device using a virtual tutor |
| WO2010075726A1 (zh) * | 2008-12-30 | 2010-07-08 | 华为终端有限公司 | 立体全景视频流生成方法、设备及视频会议方法和设备 |
| US20100195867A1 (en) * | 2009-01-30 | 2010-08-05 | Microsoft Corporation | Visual target tracking using model fitting and exemplar |
| US8253746B2 (en) * | 2009-05-01 | 2012-08-28 | Microsoft Corporation | Determine intended motions |
| US9898675B2 (en) | 2009-05-01 | 2018-02-20 | Microsoft Technology Licensing, Llc | User movement tracking feedback to improve tracking |
| US9377857B2 (en) * | 2009-05-01 | 2016-06-28 | Microsoft Technology Licensing, Llc | Show body position |
| US8418085B2 (en) * | 2009-05-29 | 2013-04-09 | Microsoft Corporation | Gesture coach |
| US9400559B2 (en) * | 2009-05-29 | 2016-07-26 | Microsoft Technology Licensing, Llc | Gesture shortcuts |
| US8702485B2 (en) * | 2010-06-11 | 2014-04-22 | Harmonix Music Systems, Inc. | Dance game and tutorial |
| US8933884B2 (en) | 2010-01-15 | 2015-01-13 | Microsoft Corporation | Tracking groups of users in motion capture system |
| US8213680B2 (en) * | 2010-03-19 | 2012-07-03 | Microsoft Corporation | Proxy training data for human body tracking |
| US9292973B2 (en) * | 2010-11-08 | 2016-03-22 | Microsoft Technology Licensing, Llc | Automatic variable virtual focus for augmented reality displays |
| US9011293B2 (en) * | 2011-01-26 | 2015-04-21 | Flow-Motion Research And Development Ltd. | Method and system for monitoring and feed-backing on execution of physical exercise routines |
| TWI441666B (zh) | 2011-04-22 | 2014-06-21 | Tien Lung Sun | 虛擬實境之動作訓練與評估系統 |
| US9606992B2 (en) * | 2011-09-30 | 2017-03-28 | Microsoft Technology Licensing, Llc | Personal audio/visual apparatus providing resource management |
| US9183676B2 (en) * | 2012-04-27 | 2015-11-10 | Microsoft Technology Licensing, Llc | Displaying a collision between real and virtual objects |
| US20140073383A1 (en) * | 2012-09-12 | 2014-03-13 | Industrial Technology Research Institute | Method and system for motion comparison |
| US9892655B2 (en) * | 2012-11-28 | 2018-02-13 | Judy Sibille SNOW | Method to provide feedback to a physical therapy patient or athlete |
-
2013
- 2013-10-04 TW TW102136045A patent/TWI537767B/zh active
- 2013-12-02 CN CN201310643280.3A patent/CN104516496B/zh active Active
-
2014
- 2014-04-10 US US14/249,361 patent/US9275194B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN102448560B (zh) * | 2009-05-29 | 2013-09-11 | 微软公司 | 经由屏幕上化身进行用户移动反馈的***和方法 |
| TW201111014A (en) * | 2009-09-25 | 2011-04-01 | Footwear & Recreation Technology Res Inst | Human-body muscle training feedback system and method |
| CN102221886A (zh) * | 2010-06-11 | 2011-10-19 | 微软公司 | 通过化身与用户界面交互 |
| TW201308253A (zh) * | 2011-08-04 | 2013-02-16 | Univ Nat Taiwan | 運動量分析方法及採用此方法之運動量分析裝置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2022214004A1 (zh) * | 2021-04-08 | 2022-10-13 | 华为技术有限公司 | 一种目标用户确定方法、电子设备和计算机可读存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| US9275194B2 (en) | 2016-03-01 |
| US20150098625A1 (en) | 2015-04-09 |
| TW201514760A (zh) | 2015-04-16 |
| TWI537767B (zh) | 2016-06-11 |
| CN104516496A (zh) | 2015-04-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN104516496B (zh) | 可调体感范围的多人指引***与其方法 | |
| US11642047B2 (en) | Interactive training of body-eye coordination and reaction times using multiple mobile device cameras | |
| Chen et al. | Computer-assisted yoga training system | |
| US11210855B2 (en) | Analyzing 2D movement in comparison with 3D avatar | |
| Jain et al. | Three-dimensional CNN-inspired deep learning architecture for Yoga pose recognition in the real-world environment | |
| US8314840B1 (en) | Motion analysis using smart model animations | |
| CN102327697B (zh) | 投影式台球训练***及其实现方法 | |
| EP2203896B1 (en) | Method and system for selecting the viewing configuration of a rendered figure | |
| CN114078190B (zh) | 健身运动的引导设备 | |
| US20220036052A1 (en) | Detection of kinetic events and mechanical variables from uncalibrated video | |
| EP3417388A1 (en) | Device for assessing and training the perceptual, cognitive, and motor performance, and method thereof | |
| Yamaoka et al. | Feedback of flying disc throw with Kinect and its evaluation | |
| CN110502107A (zh) | 可穿戴实时动作指导***和方法 | |
| Samhitha et al. | Vyayam: Artificial Intelligence based Bicep Curl Workout Tacking System | |
| KR102095647B1 (ko) | 스마트기기를 이용한 동작 비교장치 및 동작 비교장치를 통한 댄스 비교방법 | |
| CN115761901A (zh) | 一种骑马姿势检测评估方法 | |
| Malawski | Immersive feedback in fencing training using mixed reality | |
| KR100919616B1 (ko) | 이미지맵과 모션트래킹을 이용한 전방위 운동시스템 | |
| Zhang et al. | VR-based basketball movement simulation | |
| KR102518635B1 (ko) | 비젼 ai와 사물인터넷을 이용한 인터랙티브 구기종목 연습 시스템 및 그 동작방법 | |
| WO2024105991A1 (en) | Information processing apparatus, information processing method, and program | |
| Ruan et al. | Design and Implementation of Fitness Dance Scoring System Based on Human Posture Recognition | |
| Toshniwal et al. | Ai coach for badminton | |
| Liu et al. | A computer assisted automatic grenade throw training system with simple digital cameras | |
| Gao et al. | Design and implementation of football training system based on computer vision technology |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |