CN104766044A - 评估方法和评估设备 - Google Patents

评估方法和评估设备 Download PDF

Info

Publication number
CN104766044A
CN104766044A CN201410822672.0A CN201410822672A CN104766044A CN 104766044 A CN104766044 A CN 104766044A CN 201410822672 A CN201410822672 A CN 201410822672A CN 104766044 A CN104766044 A CN 104766044A
Authority
CN
China
Prior art keywords
assessment
rhythm
frame
beat
moment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410822672.0A
Other languages
English (en)
Inventor
坂井美帆
小口淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN104766044A publication Critical patent/CN104766044A/zh
Pending legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0605—Decision makers and devices using detection means facilitating arbitration
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0616—Means for conducting or scheduling competition, league, tournaments or rankings
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0669—Score-keepers or score display devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0686—Timers, rhythm indicators or pacing apparatus using electric or electronic means
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/213—Input arrangements for video game devices characterised by their sensors, purposes or types comprising photodetecting means, e.g. cameras, photodiodes or infrared cells
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/814—Musical performances, e.g. by evaluating the player's ability to follow a notation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/0015—Dancing
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/003—Repetitive work cycles; Sequence of movements
    • G09B19/0038—Sports
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B2071/0602—Non-electronic means therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Educational Technology (AREA)
  • Educational Administration (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Image Analysis (AREA)

Abstract

公开了评估方法和评估设备。该评估方法包括：使用处理器、基于由人的踩节拍的运动表示的节奏或者由人踩节拍的时刻表示的节奏来输出对包括在通过顺序的图像捕获所获得的多个捕获的图像中的人的运动的节奏的评估，所述人的踩节拍的运动或所述人的踩节拍的时刻是从所捕获的图像中提取的。

Description

评估方法和评估设备
技术领域
本文中讨论的实施方式涉及评估程序、评估方法以及评估设备。
背景技术
已经开发了用于对人的舞蹈进行评分并且向此人通知评分结果的技术。
用于对人的舞蹈进行评分和评估的技术的示例可以包括用于对学员的舞蹈进行评分的技术。为了定量地评估舞蹈，该技术从舞蹈的学员的图像和教练员的模型图像中获取运动特征量，并且对所获取的特征量进行分析以比较其频谱。
日本公开特许公报第2012-073935号
为了对人的舞蹈进行评分或评估，期望提取人踩节奏的时刻，即人踩节拍的运动或时刻。然而，上述常规技术可能由于用于分析的大量处理而不能容易地提取人踩节拍的运动和时刻，并且上述常规技术可能不能评估人的运动的节拍速度。
在一个方面，例如通过用相机捕获人的运动、用计算机对通过捕获所获得的移动图像进行分析以及通过提取人的节奏来对人的舞蹈进行评分。在具体的方法中，例如，通过预定的识别技术如模板匹配来从移动图像中识别人的面部和身体的一部分或者人使用的器具如沙球(maraca)。这会生成所识别的面部和身体的部分或者所识别的器具的移动量的时间序列数据。随后，对该时间序列数据执行傅里叶分析等，从而从特定频带的分量中提取人的节奏。例如，通过将所提取的人的节奏与参考节奏进行比较，可以基于比较结果对人的舞蹈进行评分。在以上方面中的使用模板匹配从移动图像中识别人的面部和身体的一部分或者人使用的器具如沙球的情况下，例如，重复地执行模板与移动图像的一部分之间的比较。这增加了用于分析的处理量，从而增加了计算机的处理负荷。
因此，本发明的实施方式的一个方面的目的是根据捕获的图像来评估人的运动的节奏。
发明内容
根据实施方式的一个方面，一种评估方法包括：使用处理器、基于由人的踩节拍的运动表示的节奏或者由人踩节拍的时刻表示的节奏来输出对包括在通过顺序的图像捕获所获得的多个捕获的图像中的人的运动的节奏的评估，所述人的踩节拍的运动或所述人的踩节拍的时刻是从所捕获的图像中提取的。
附图说明
图1是根据第一实施方式的评估设备的配置的示例图；
图2是帧的示例图；
图3是时刻数据的示例图；
图4是二值化图像的示例图；
图5是背景差总量与帧编号之间的关联的示例图；
图6是用于说明由根据第一实施方式的评估设备执行的处理的示例图；
图7是通过绘制由时刻数据表示的人踩节拍的时刻所获得的曲线图的示例图；
图8是对节奏间隔的准确度的评估的示例图；
图9是由根据第一实施方式的评估设备执行的处理的示例性流程图；
图10是根据第一实施方式的评估处理的示例性流程图；
图11是根据第二实施方式的评估设备的配置的示例性框图；
图12是对节奏间隔的连续性的评估的示例图；
图13是根据第二实施方式的评估处理的示例性流程图；
图14是根据第三实施方式的评估设备的配置的示例性框图；
图15是基于声音信息来获取参考节奏的示例图；
图16是根据第三实施方式的评估处理的示例性流程图；
图17是在评估设备连同卡拉OK机一起工作的情况下的***的示例图；
图18是包括服务器的***的示例图；以及
图19是执行评估程序的计算机的图。
具体实施方式
将参照附图来说明本发明的优选实施方式。实施方式并不意在限制所公开的技术，而是可以可选地在未出现不一致性时进行组合。
[a]第一实施方式
根据第一实施方式的评估设备10的功能配置的示例
图1的示例所示的评估设备10从通过用相机对正在跳舞的人进行捕获所获得的移动图像的每个帧中提取人的运动量暂时减少的时刻作为人踩节奏的时刻，即作为人踩节拍的时刻。因而，人的运动量暂时减少的时刻被提取为人踩节拍的时刻。这是因为人在踩节拍时会暂时停止运动，由此使运动量暂时减少。评估设备10可以在不需要执行用于识别人的面部和身体的一部分或者器具的识别处理——即需要大量处理(高处理负荷)的识别处理——的情况下提取人踩节拍的时刻。因此，评估设备10可以便于提取人踩节拍的时刻。节奏意指例如节拍速度的规律性。节拍速度意指例如拍子或节拍之间的间隔的长度。
图1是根据第一实施方式的评估设备的配置的示例图。如图1的示例所示，评估设备10包括输入单元11、输出单元12、存储单元13以及控制单元14。
输入单元11将各种类型的信息输入至控制单元14。当输入单元11例如从使用评估设备10的用户接收到执行将在之后进行描述的提取处理的指令时，输入单元11将所接收的指令输入至控制单元14。输入单元11的装置的示例可以包括鼠标、键盘以及网卡，该网卡接收从其他装置(未示出)传输的各种类型的信息并且将所接收的信息输入至控制单元14。
输出单元12输出各种类型的信息。当输出单元12从将在之后进行描述的输出控制单元14e接收到人的运动的节拍速度的评估结果时，输出单元12例如显示所接收的评估结果或者将所接收的评估结果传输至用户的移动终端或外部监视器。输出单元12的装置的示例可以包括监视器和将从控制单元14传输的各种类型的信息传输至其他装置(未示出)的网卡。
存储单元13在其中存储各种类型的信息。存储单元13在其中存储例如移动图像数据13a、时刻数据13b以及评估数据13d。
移动图像数据13a为包括通过用相机对正在跳舞的人进行捕获所获得的多个帧的移动图像的数据。人的示例可以包括卡拉OK包厢中正伴随通过卡拉OK机再现的音乐唱歌并且正伴随再现的音乐跳舞的人。包括在移动图像数据13a中的帧是通过用相机进行顺序的图像捕获来获得的，并且所述帧是所捕获的图像的示例。图2是帧的示例图。在图2的示例中，帧17包括正在卡拉OK包厢90中伴随音乐唱歌和跳舞的人91。移动图像数据13a的帧速率可以被设定为期望值。在下面的描述中，将帧速率设定为30帧每秒(fps)。
时刻数据13b表示正在跳舞的人踩节拍的时间(时刻)。在包括在移动图像数据13a中的人为正在卡拉OK包厢中伴随再现的音乐唱歌和跳舞的人的情况下，时间的示例可以包括从音乐和舞蹈开始起的时间。这是因为舞蹈是与音乐的开始同时开始的。图3是时刻数据的示例图。图3的示例中所示的时刻数据13b包括“帧编号”、“时间”以及“踩节拍的时刻”的项。在项“帧编号”中，通过将在之后进行描述的获取单元14a来登记表示从音乐和舞蹈开始起的帧的编号的数值。在项“时间”中，通过将在之后进行描述的提取单元14c来登记从音乐和舞蹈开始起的时间。在项“踩节拍的时刻”中，通过将在之后进行描述的提取单元14c来在项“时间”中所登记的时间为人踩节拍的时刻的情况下登记“节拍”，而在该时间不是人踩节拍的时刻的情况下登记“无节拍”。在图3的示例所示的时刻数据13b的第一记录中，在音乐和舞蹈开始之后的“0.033”秒的时间与在项“踩节拍的时刻”中所登记的“节拍”相关联。这表示该时间为人踩节拍的时刻。在图3的示例所示的时刻数据13b第二记录中，在音乐和舞蹈开始之后的“0.066”秒的时间与在项“踩节拍的时刻”中所登记的“无节拍”相关联。这表示该时间不是人踩节拍的时刻。评估数据13d表示通过将在之后进行描述的评估单元14d所评估的人的运动的节拍速度的评估结果。该评估结果将在之后进行描述。
存储单元13例如为半导体存储器装置如闪速存储器，或者为存储装置如硬盘和光盘。
控制单元14包括内部存储器，在该内部存储器中存储有计算机程序和指定各种类型的处理过程的控制数据。控制单元14用这些数据来执行各种类型的处理。如图1所示，控制单元14包括获取单元14a、检测单元14b、提取单元14c、评估单元14d以及输出控制单元14e。
针对包括在由移动图像数据13a表示的移动图像中的多个帧中的每个帧，获取单元14a获取第一帧与在第一帧之前捕获的第二帧之间的差。针对包括在由移动图像数据13a表示的移动图像中的帧中的每个帧，获取单元14a还获取第一帧与通过对在第一帧之前捕获的帧进行累计所获得的第三帧之间的差。
将描述获取单元14a的方面。当输入单元11输入执行将在之后进行描述的提取处理的指令时，获取单元14a获取例如存储在存储单元13中的移动图像数据13a。
获取单元14a使用背景差分法，从而针对包括在由移动图像数据13a表示的移动图像中的多个帧中的每个帧来获取第一帧与在第一帧之前捕获的第二帧之间的差。获取单元14a例如使用已知函数来累计背景统计量，从而针对所述帧中的每个帧来获取第一帧与通过对在第一帧之前捕获的帧进行累计所获得的第三帧之间的差。
以下描述在获取单元14a使用函数来累计背景统计量的情况下执行的处理。获取单元14a将帧与从在该帧之前捕获的帧所获得的背景信息进行比较。通过将具有等于或小于阈值的亮度变化的像素确定为黑色像素并且将具有大于该阈值的亮度变化的像素确定为白色像素，获取单元14a生成二值化图像。所生成的信息并不限于由白色像素和黑色像素构成的二值化图像，只要可以确定出亮度变化是等于或小于阈值还是大于该阈值即可。图4是二值化图像的示例图。获取单元14a例如使用函数来累计背景统计量，从而将图2的示例中所示的帧17与从在帧17之前捕获的帧所获得的背景信息进行比较。因而，获取单元14a生成图4的示例所示的二值化图像。获取单元14a然后计算包括在所生成的二值化图像中的白色像素的总数目(背景差总量)作为人的运动量。如上所述，本实施方式使用背景差总量作为表示人的运动量的指标。获取单元14a例如计算包括在图4的示例所示的二值化图像中的白色像素的总数目作为人91的运动量。因而，获取单元14a针对每个帧获取背景差总量作为人的运动量。获取单元14a然后针对每个帧将背景差总量与帧编号相关联。图5是背景差总量与帧编号之间的关联的示例图。在图5的示例中，获取单元14a将帧编号“2”与背景差总量“267000”相关联并且将帧编号“3”与背景差总量“266000”相关联。因而，针对帧中的每个帧，获取单元14a获取第一帧与通过对在第一帧之前捕获的帧进行累计所获得的第三帧之间的差。
获取单元14a可以使用码本法，从而获取第一帧与在第一帧之前捕获的第二帧之间的差以及第一帧与通过对在第一帧之前捕获的帧进行累计所获得的第三帧之间的差。
检测单元14b检测通过顺序的图像捕获所获得的多个帧的暂时变化量暂时减小的时刻。将描述检测单元14b的方面。检测单元14b例如使用其中帧编号和背景差总量通过获取单元14a彼此相关联的信息。检测单元14b检测如下帧：该帧的背景差总量比先前帧的背景差总量小并且比之后帧的背景差总量小。图6是用于说明由根据实施方式的评估设备执行的处理的示例图。图6示出了表示通过获取单元14a彼此相关联的帧编号和背景差总量之间的关系的示例性曲线图，其中横坐标表示帧编号，而纵坐标表示背景差总量。图6的示例性曲线图示出了帧编号为1至50的帧的背景差总量。在如通过图6的示例性曲线图所示的帧编号与背景差总量通过获取单元14a彼此相关联的情况下，检测单元14b执行以下处理。检测单元14b检测到帧编号为“4”的帧具有的背景差总量比帧编号为“3”的帧的背景差总量小并且比帧编号为“5”的帧的背景差总量小。类似地，检测单元14b检测出帧编号为“6”、“10”、“18”、“20”、“25”、“33”、“38”、“40”以及“47”的帧。
检测单元14b将捕获所检测的帧的时间检测作为多个帧的暂时变化量暂时减小的时刻。例如，检测单元14b将帧编号为“4”、“6”、“10”、“18”、“20”、“25”、“33”、“38”、“40”以及“47”的帧被捕获时的时间检测作为多个帧的暂时变化量暂时减小的时刻。
提取单元14c基于通过检测单元14b所检测的时刻来提取包括在帧中的由人做出的踩节拍的运动或者人踩节拍的时刻。
将描述提取单元14c的方面。提取单元14c例如从通过检测单元14b所检测的时刻中提取以下时刻。提取单元14c从在通过检测单元14b所检测的时刻处捕获的帧中提取满足预定条件的帧。提取单元14c提取捕获所提取的帧的时间作为包括在帧中的人踩节拍的时刻。
以下描述由提取单元14c执行的用于提取满足预定条件的帧的方法的示例。提取单元14c例如选择与通过检测单元14b所检测的时刻相对应的帧中的每个帧(在所检测的时刻处捕获的帧)作为提取候选帧。每当提取单元14c提取一个提取候选帧时，提取单元14c执行以下处理。提取单元14c确定：从在提取候选帧前面预定数目处的帧到提取候选帧，背景差总量是否减小；以及从提取候选帧到在提取候选帧后面预定数目处的帧，背景差总量是否增加。如果提取单元14c确定背景差总量从在提取候选帧前面预定数目处的帧到提取候选帧减小并且从提取候选帧到在提取候选帧后面预定数目处的帧增加，则提取单元14c执行以下处理。提取单元14c提取捕获该提取候选帧的时间作为包括在帧中的人踩节拍的时刻。换言之，提取单元14c从由各个帧表示的人的运动中提取包括在该提取候选帧中的由人做出的踩节拍的运动。提取单元14c对与通过检测单元14b所检测的时刻相对应的所有帧的执行上述处理。
以下描述预定数目为“4”并且如图6的示例性曲线图中所示帧编号与背景差总量通过获取单元14a彼此相关联的情况。在此情况下，因为背景差总量从帧编号为“21”的帧到帧编号为“25”的帧减小并且从帧编号为“25”的帧到帧编号为“29”的帧增加，所以提取单元14c执行以下处理。提取单元14c提取捕获帧编号为“25”的帧的时间作为包括在帧中的人踩节拍的时刻。提取单元14c还从由各个帧表示的人的运动中提取包括在帧编号为“25”的帧中的由人做出的踩节拍的运动。用于在提取候选帧前面的帧的预定数目和用于在提取候选帧后面的帧的预定数目可以被设定为不同的值。在一个方面，例如，用于在提取候选帧前面的帧的预定数目被设定为“5”，而用于在提取候选帧后面的帧的预定数目被设定为“1”。
提取单元14c将帧编号、捕获帧的时间中与人踩节拍的时刻相对应的时间以及“节拍”以彼此相关联的方式登记在图3所示的时刻数据13b中。提取单元14c还将帧编号、捕获帧的时间中不与人踩节拍的时刻相对应的时间以及“无节拍”以彼此相关联的方式登记在图3所示的时刻数据13b中。因而，各种类型的信息被登记在时刻数据13b中，并且该时刻数据13b例如被用于评估由人踩节拍的时刻表示的人的节奏。提取单元14c将表示时刻数据13b被存储在存储单元13中的登记信息输出至评估单元14d。每当提取单元14c针对一个帧将与踩节拍的时刻相对应的时间和“节拍”以彼此相关联方式登记在时刻数据13b中或者将不与踩节拍的时刻相对应的时间和“无节拍”以彼此相关联的方式登记在时刻数据13b中时，提取单元14c可以输出表示提取单元14c将与踩节拍的时刻有关的数据登记在时刻数据13b中的登记信息。在此情况下，将在之后进行描述的评估单元14d实时地做出评估。
图7是通过绘制由时刻数据表示的人踩节拍的时刻所获得的曲线图的示例图。在图7中，横坐标表示时间(秒)，而纵坐标表示人是否踩节拍。在图7的示例中，以0.3秒的间隔来绘制其是否为人踩节拍的时刻。在图7的示例中，以每九个顺序帧如下执行绘制：在人踩节拍的时刻存在于捕获这九个帧的时刻中的情况下，在“节拍”的位置处绘制圆；以及在人踩节拍的时刻不存在于捕获这九个帧的时刻中的情况下，不绘制圆。在图7的示例中，与时间“4.3秒”相对应地在“节拍”的位置处绘制圆。这表示人踩节拍的时刻存在于如下九个帧中：这九个帧各自与从4.0秒至4.3秒的时间段中的三十分之一秒的时间相对应。在图7的示例中，未与“4.6秒”相对应地绘制圆。这表示人踩节拍的时刻不存在于如下九个帧中：这九个帧各自与从4.3秒至4.6秒的时间段中的三十分之一秒的时间相对应。这同样适用于其他时间。图7在概念上示出了时刻数据的示例，并且该时刻数据可以为除图7所示的方面之外的适当方面。
评估单元14d评估由踩节拍的时刻表示的节奏间隔的准确度。换言之，评估单元14d评估时刻数据13b中的踩节拍的时刻之间的差。
将描述评估单元14d的方面。当评估单元14d接收到来自提取单元14c的表示时刻数据13b被存储在存储单元13中的登记信息时，该评估单元14d对时刻数据13b执行评估处理。
评估单元14d从时刻数据13b中获取踩节拍的时刻的帧编号。基于踩节拍的时刻的帧编号，评估单元14d计算与踩节拍的时刻之间的差相对应的帧差。以下参照图8来描述帧差和节奏间隔。图8是对节奏间隔的准确度的评估的示例图。在图8中，由圆表示踩节拍的时刻。
如图8所示，例如，第320帧与第335帧之间的第一帧差为“15”。第335帧与第350帧之间的第二帧差为“15”。因为第一帧差和第二帧差二者均为“15”并且所述帧差之间的差为“0”，所以评估单元14d给出例如具有高评估分数的“优异！”。评估分数可以被确定为如下值：例如，在帧差之间的差为0的情况下给出“优异！”和两分；在帧差之间的差大于0并且等于或小于两帧的情况下给出“良好！”和一分；以及在帧差之间的差等于或大于三帧的情况下给出“差！”和零分。
在图8的示例中，第350帧与第360帧之间的第三帧差为“10”。在此情况下，评估单元14d确定第二帧差“15”与第三帧差“10”之间的差为“5”，从而在上述示例中给出“差”和零分。关于第四帧差和后续帧差，评估单元14d以相同的方式计算每个帧差与先前帧差之间的差。因而，评估单元14d确定与每个帧差有关的分数。评估单元14d将与每个帧差有关的分数相加，从而计算评分。该评分在每一次评估中被重置为初始值“0”，并且该评分与和每个帧差有关的分数的累计值相对应。
评估单元14d确定是否已经确定出从时刻数据13b中所获取的所有帧差的差的分数。如果评估单元14d尚未确定出所有帧差的差的分数，则评估单元14d确定关于下一帧差的分数。如果评估单元14d已经确定出所有帧差的差的分数，则评估单元14d根据评分即所累计并相加的分数来得到评估。评估单元14d例如可以通过将评分在未作任何改变的情况下用作评估来得到评估。可替选地，评估单元14d例如可以基于等式(1)、通过以100分为基础计算评分来得到评估。
在等式(1)中，“基本分数”表示能够获取的最少分数如50分。“良好和优异的总值”表示评分。“所获取节奏的数目”表示从时刻数据13b中所获取的踩节拍的时刻的数目。在等式(1)中，分式项中的分母与能够获取的最大评分相对应。在所有差均被确定为“优异！”的情况下，所评的分数被计算为100分。即使在所有差均被确定为“差！”的情况下，等式(1)提供50分，使得可以保持执行者对舞蹈的积极性。
评估单元14d将所得到的评估存储在存储单元13中作为评估数据13d，并且评估单元14d将该评估输出至输出控制单元14e。
输出控制单元14e执行控制以输出评估结果。输出控制单元14e例如将评估结果传输至输出单元12以从输出单元12输出该评估结果。
控制单元14可以被设置为电路，如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、中央处理单元(CPU)以及微处理单元(MPU)。
处理的流程
以下描述由根据第一实施方式的评估设备10执行的处理的流程。图9是由根据第一实施方式的评估设备执行的处理的示例性流程图。例如，当输入单元11将执行评估处理的指令输入至控制单元14时，通过控制单元14来执行根据第一实施方式的检测处理。
如图9所示，获取单元14a获取存储在存储单元13中的移动图像数据13a(S1)。获取单元14a获取多个帧中的每个帧的背景差总量作为人的运动量，并且将背景差总量与帧编号相关联(S2)。
检测单元14b检测通过顺序的图像捕获所获得的帧的暂时变化量暂时减小的时刻(S3)。提取单元14c基于通过检测单元14b所检测的时刻来提取包括在帧中的由人做出的踩节拍的运动或者人踩节拍的时刻(S4)。
提取单元14c将捕获帧的时间中与人踩节拍的时刻相对应的时间和“节拍”以彼此相关联的方式登记在图3所示的时刻数据13b中。提取单元14c还将捕获帧的时间中不与人踩节拍的时刻相对应的时间和“无节拍”以彼此相关联的方式登记在图3所示的时刻数据13b中(S5)。提取单元14c将登记信息输出至评估单元14d。如果评估单元14d接收到该登记信息，则评估单元14d执行评估处理(S6)。
以下参照图10来描述评估处理。图10是根据第一实施方式的评估处理的示例性流程图。如果评估单元14d接收到来自提取单元14c的表示时刻数据13b被存储在存储单元13中的登记信息，则评估单元14d对时刻数据13b执行评估处理。评估单元14d从时刻数据13b中获取踩节拍的时刻的帧编号(S61)。基于踩节拍的时刻的帧编号，评估单元14d计算与踩节拍的时刻之间的差相对应的帧差(S62)。
评估单元14d计算先前帧差与目标帧差之间的差，从而确定与目标帧差有关的分数(S63)。如果帧差之间的差为0(在S63处为零帧)，则评估单元14d给出“优异”并且将两分加至评分(S64)。如果帧差之间的差为一帧或两帧(在S63处为一帧至两帧)，则评估单元14d给出“良好”并且将一分加至评分(S65)。如果帧差之间的差为三帧或更多(在S63处为三帧或更多)，则评估单元14d给出“差”并且不对评分加分(S66)。评估单元14d将与每个帧差有关的分数相加，从而计算评分。该分数不一定基于上述的帧差之间的差——如零帧、一帧至两帧、以及三帧或者更多——来确定。该分数可以基于期望的帧差之间的差来确定。
评估单元14d确定是否已经确定出从时刻数据13b中所获取的所有帧差的差的分数(S67)。如果评估单元14d尚未确定出所有帧差的差的分数(S67处为否)，则评估单元14d将下一帧差确定为目标帧差并且再次执行步骤S63处的处理(S68)。如果评估单元14d已经确定出所有帧差的差的分数(S67处为是)，则评估单元14d根据评分得到评估(S69)。评估单元14d例如基于等式(1)计算评分在100分中所值的分数来作为评估。评估单元14d将所得到的评估存储在存储单元13中作为评估数据13d，并且评估单元14d将该评估输出至输出控制单元14e(S70)。输出控制单元14e例如经由输出单元12将从评估单元14d接收的评估显示在监视器(未示出)上。因而，可以基于评估处理中的分数来评估节奏间隔的准确度。
如上所述，基于从通过顺序的图像捕获所获得的多个捕获的图像中提取的、由人的踩节拍的运动表示的节奏或者人踩节拍的时刻表示的节奏，评估设备10输出对包括在所捕获的图像中的人的运动的节奏的评估。换言之，评估设备10提取人踩节拍的时刻，从而评估人的运动的节奏而无需执行用于识别人的面部和身体的一部分或者器具的识别处理，即无需执行需要大量处理的识别处理。因而，评估设备10可以根据所捕获的图像来评估人的运动的节奏。
评估设备10计算基于所捕获的图像提取的多个时刻之间的差。此外，评估设备10执行控制，使得随着所计算的时刻之间的差和先前的时刻之间的差二者之间的差减小，评估的评分增加。这使得可以在人以较恒定的间隔踩节拍时提高评估。
评估设备10做出评估，使得随着与先前的时刻之间的差具有等于或小于预定值的差的所计算的时刻之间的差的数目增加，该评估的评分也增加。这使得可以与以恒定间隔做出的节奏的数目相对应地提高评估。
虽然第一实施方式基于帧差之间的差即踩节拍的时刻之间的差来做出评估，但是实施方式不限于此。实施方式可以例如基于与另一帧差具有等于或小于预定值的差的连续帧差的数目来做出评估。
[b]第二实施方式
以下描述基于与另一帧差具有等于或小于预定值的差的连续帧差的数目来做出评估的实施方式作为第二实施方式。通过相似的附图标记来表示与根据第一实施方式的评估设备10中的部件相同的部件，并且将省略配置和操作的重复说明。根据第二实施方式的评估设备20与根据第一实施方式的评估设备10的不同之处在于：根据第二实施方式的评估设备20基于与另一帧差具有等于或小于预定值的的差的连续帧差的数目——即连续节奏的数目——来做出评估。
图11是根据第二实施方式的评估设备的配置的示例性框图。根据第二实施方式的评估设备20与根据第一实施方式的评估设备10的不同之处在于：根据第二实施方式的评估设备20包括评估单元24d而不是评估单元14d。
评估单元24d对由踩节拍的时刻表示的节奏间隔的连续性进行评估。换言之，评估单元24d对时刻数据13b中的踩节拍的时刻之间的差的连续性进行评估。当评估单元24d接收到来自提取单元14c的表示时刻数据13b被存储在存储单元13中的登记信息时，评估单元24d对时刻数据13b执行评估处理。
评估单元24d从时刻数据13b中获取踩节拍的时刻的帧编号。基于踩节拍的时刻的帧编号，评估单元24d计算与踩节拍的时刻之间的差相对应的帧差。以下参照图12来描述帧差和节奏间隔的连续性。图12是对节奏间隔的连续性的评估的示例图。在图12中，通过圆来表示踩节拍的时刻。
如图12所示，例如，第360帧与第380帧之间的第四帧差为“20”。第380帧与第400帧之间的第五帧差为“20”。第400帧与第421帧之间的第六帧差为“21”。第421帧与第442帧之间的第七帧差为“21”。第442帧与第457帧之间的第八帧差为“15”。
此时，第四帧差至第七帧差为“20”、“20”、“21”以及“21”。因而，评估单元24d确定第五帧差至第七帧差分别相对于先前帧差的差为“0”、“1”以及“0”。例如，在先前帧差与目标帧差之间的差等于或小于预定值——具体地等于或小于两帧——的情况下，评估单元24d确定节奏连续，并且因而开始对连续节奏的数目进行计数。在先前帧差与目标帧差之间的差大于预定值的情况下，评估单元24d将连续节奏的数目的计数重置。除了在先前帧差与目标帧差之间的差等于或小于预定值的情况下之外，评估单元24d还可以在连续节奏中的第一帧差与目标帧差之间的差等于或小于预定值的情况下对连续节奏的数目进行计数。在此方面，例如，评估单元24d不需要在节奏间隔逐渐变短即节拍速度逐渐变快的情况下利用先前帧差与目标帧差之间的等于或小于预定值的差进行计数来作为连续节奏的数目。可替选地，例如，评估单元24d不需要在节奏间隔逐渐变长即节拍速度逐渐变慢的情况下利用先前帧差与目标帧差之间的等于或小于预定值的差进行计数来作为连续节奏的数目。这可以将由人的运动表示的逐渐变快或者变慢的节拍速度反映在评估上。
评估单元24d将与连续节奏的数目相对应的分数加至评分。评估单元24d可以与连续节奏的数目相对应地增加要添加的分数，例如在连续节奏的数目为1的情况下添加一分而在连续节奏的数目为2的情况下添加两分。换言之，评估单元24d使评分随着连续节奏的数目的增加而增加。评估单元24d还将连续节奏的数目存储在存储单元13中。
评估单元24d确定是否已经针对从时刻数据13b中所获取的所有帧差的差完成连续性的确定。如果评估单元24d尚未针对所有帧差的差完成连续性的确定，则评估单元24d针对与下一帧差有关的差确定连续性。如果评估单元24d已经针对所有帧差的差完成连续性的确定，则评估单元24d根据评分得到评估。评估单元24d例如可以通过将评分在未作任何改变的情况下用作评估来得到评估。可替选地，评估单元24d例如可以基于等式(2)、通过以100分为基础计算评分来得到评估。
在等式(2)中，“基本分数”表示能够获取的最少分数如50分。“连续节奏的数目”表示连续节奏的数目的总值。例如，在如图12所示的节奏连续一次、然后在中断之后连续三次的情况下，连续节奏的数目的总值为“4”。
评估单元24d将所得到的评估存储在存储单元13中作为评估数据13d，并且评估单元24d将该评估输出至输出控制单元14e。
以下描述由根据第二实施方式的评估设备20执行的处理的流程。除了由评估单元24d执行的评估处理之外，由根据第二实施方式的评估设备20执行的处理的流程与根据第一实施方式的评估设备10的操作相同。以下描述该评估处理并且省略对其他处理的说明。
图13是根据第二实施方式的评估处理的示例性流程图。如果评估单元24d接收到来自提取单元14c的表示时刻数据13b被存储在存储单元13中的登记信息，则评估单元24d对时刻数据13b执行评估处理。评估单元24d从时刻数据13b中获取踩节拍的时刻的帧编号(S161)。基于踩节拍的时刻的帧编号，评估单元24d计算与踩节拍的时刻之间的差相对应的帧差(S162)。
评估单元24d确定先前帧差与目标帧差之间的差是否等于或小于预定值，具体地是否等于或小于例如两帧(S163)。如果先前帧差与目标帧差之间的差等于或小于预定值(S163处为是)，则评估单元24d确定节奏连续，并且因而开始对连续节奏的数目进行计数(S164)。评估单元24d将与连续节奏的数目相对应的分数加至评分(S165)。如果先前帧差与目标帧差之间的差大于预定值(S163处为否)，则评估单元24d重置对连续节奏的数目的计数(S166)。该预定值不限于上述帧数，而可以为期望的帧数。
评估单元24d确定是否已经针对从时刻数据13b中所获取的所有帧差的差完成连续性的确定(S167)。如果评估单元24d尚未针对所有帧差的差完成连续性的确定(S167处为否)，则评估单元24d将下一帧差确定为目标帧差并且再次执行步骤S163处的处理(S168)。如果评估单元24d已经针对所有帧差的差完成连续性的确定(S167处为是)，则评估单元24d根据评分得到评估(S169)。评估单元24d例如基于等式(2)计算评分在100分中所值的分数来作为评估。评估单元24d将所得到的评估存储在存储单元13中作为评估数据13d，并且评估单元24d将该评估输出至输出控制单元14e(S170)。输出控制单元14e例如经由输出单元12将从评估单元24d接收的评估显示在监视器(未示出)上。因而，可以基于评估处理中的分数来评估节奏间隔的连续性。
如上所述，评估设备20做出评估，使得该评估的评分与时刻之间的的差的连续性相对应地增加，所述时刻之间的差的值与先前的时刻之间的差的值具有等于或小于预定值的差。这使得可以与以恒定间隔连续地做出的节奏的数目相对应地提高评估。
虽然第二实施方式对帧差之间的差——即踩节拍的时刻之间的差——的连续性做出评估，但是实施方式不限于此。例如，实施方式可以通过将由人踩节拍的时刻表示的节奏与参考节奏进行比较来评估人的运动的节奏，该参考节奏是通过获取从声音信息中提取的节拍之间的差而获得的。
[c]第三实施方式
以下描述通过将由人踩节拍的时刻表示的节奏与参考节奏进行比较来做出评估的实施方式作为第三实施方式。通过相似的附图标记来表示与根据第一实施方式的评估设备10中的部件相同的部件，并且将省略配置和操作的重复说明。根据第三实施方式的评估设备30与根据第一实施方式的评估设备10的不同之处在于：根据第三实施方式的评估设备30通过将由人踩节拍的时刻表示的节奏与参考节奏进行比较来做出评估。
图14是根据第三实施方式的评估设备的配置的示例性框图。根据第三实施方式的评估设备30与根据第一实施方式的评估设备10的不同之处在于：根据第三实施方式的评估设备30包括评估单元34d而不是评估单元14d，并且将参考节奏数据33e存储在存储单元13中。
存储在存储单元13中的参考节奏数据33e为例如从声音信息中获取的节奏模式，并且参考节奏数据33e将在之后被更详细地描述。
评估单元34d对从声音信息中获取的参考节奏与基于从移动图像数据13a所获取的时刻数据13b的运动节奏之间的节奏模式的一致性进行评估。具体地，评估单元34d例如从由卡拉OK机再现的音乐中获取参考节奏。评估单元34d还使用作为移动图像数据13a的、通过对正伴随再现的音乐唱歌的人进行捕获所获得的捕获图像来获取运动节奏。评估单元34d将再现的音乐的参考节奏的节奏模式与正伴随再现的音乐唱歌的人的运动节奏的节奏模式进行比较，从而评估该参考节奏的节奏模式与该运动节奏的节奏模式之间的一致性。换言之，评估单元34d在参考节奏的节奏模式与运动节奏的节奏模式彼此较一致时提高评估。
评估单元34d获取声音信息。声音信息的示例可以包括通过麦克风(未示出)所收集的声音、通过卡拉OK机所再现的音乐以及用摄像机(未示出)记录并且存储在存储单元13中的移动图像数据13a。声音信息的示例还可以包括乐器数字接口(MIDI)。
评估单元34d从所获取的声音信息中获取参考节奏。评估单元34d对声音信息执行处理，如节拍追踪和节奏识别，从而获取参考节奏。对于执行节拍追踪和节奏识别，可以使用若干种技术，包括在非专利文献(2013年12月17日在网上搜索的“电子信息通信工程师学会，'知识库'，第2卷，第9节，第2章，2-4，Audio Alignment,Beat Tracking,RhythmRecognition”，其URL为http://www.ieice-hbkb.org/portal/doc_557.html)中描述的技术。
图15是基于声音信息来获取参考节奏的示例图。在图15的示例所示的所获取的参考节奏中，通过圆来表示踩节拍的时刻，并且踩节拍的时刻从时刻A起以“0.75秒”、“0.75秒”、“0.37秒”、“0.37秒”以及“0.75秒”的差出现。评估单元34d例如可以通过对从作为第一时刻的时刻A起的时间进行累计来表示每个时刻。
在图15的示例所示的参考节奏中，时刻A和时刻A'之间的节奏模式与时刻A'和时刻A"之间的节奏模式相同。评估单元34d可以不以时刻之间的差为单位而是以节奏模式为单位来获取参考节奏。在图15的示例中，节奏模式的长度为每个模式三秒，即在时刻A与时刻A'之间为三秒。评估单元34d还可以从所获取的参考节奏中获取节奏的速度即节拍的长度(节拍速度)。在图15的示例中，节拍速度为例如80个节拍每分钟(BPM)，其中“0.75秒”对应于一个节拍。
例如，在关于通过麦克风(未示出)所收集的声音来获取参考节奏的情况下，评估单元34d可以基于依次获取的声音信息来顺序地获取参考节奏。在此情况下，评估单元34d可以基本上实时地获取参考节奏。评估单元34d例如可以从整首歌曲中获取该歌曲的参考节奏。在此情况下，评估单元34d将所获取的参考节奏存储在存储单元13中作为参考节奏数据33e。换言之，评估单元34d获取整首歌曲的参考节奏。
此外，评估单元34d可以基于歌曲的局部部分来获取参考节奏。歌曲可能在整体上具有恒定节奏。在此情况下，评估单元34d可以获取局部部分的节奏，并且将该节奏应用于整首歌曲而无需获取整首歌曲的参考节奏。例如，在图15的参考节奏为歌曲的局部部分的情况下，评估单元34d可以获取时刻A与时刻A'之间的节奏模式作为参考节奏。在此情况下，节奏模式的重复构成整首歌曲。
评估单元34d可以将预先生成的参考节奏存储在存储单元13中作为参考节奏数据33e。该预先生成的参考节奏为例如与基于歌曲的乐谱所生成的歌曲相对应的参考节奏。评估单元34d可以如上所述的那样基于歌曲的局部部分来生成参考节奏。评估单元34d可以例如基于MIDI数据来获取参考节奏。因为MIDI数据包括关于节拍速度的信息，所以评估单元34d可以使用该信息来获取参考节奏。评估单元34d可以使用与多个图像即与移动图像平行地输出的声音信息来获取参考节奏。换言之，评估单元34d可以将包括在具有音频的移动图像中的音频和移动图像分别用作声音信息和移动图像数据13a。
当评估单元34d接收到来自提取单元14c的表示时刻数据13b被存储在存储单元13中的登记信息时，评估单元34d对时刻数据13b执行评估处理。评估单元34d从时刻数据13b中获取踩节拍的时刻的时间。基于踩节拍的时刻的时间，评估单元34d计算与踩节拍的时刻之间的差相对应的时间差。换言之，评估单元34d计算与第一实施方式和第二实施方式中的帧差相对应的时间差而不计算帧差。
评估单元34d计算先前时间差与目标时间差之间的差。换言之，评估单元34d获取时间差之间的差作为运动节奏。评估单元34d将参考节奏与运动节奏进行比较。以下描述例如使用局部部分的节奏模式来进行比较的情况。
评估单元34d例如可以从移动图像数据13a中获取参考节奏和运动节奏，移动图像数据13a为包括作为捕获目标的正伴随再现的音乐唱歌的人的所捕获图像。换言之，评估单元34d可以通过从根据移动图像数据13a所再现的音乐中提取节奏来获取参考节奏。此外，评估单元34d可以从移动图像数据13a中获取运动节奏，该移动图像数据13a为包括作为捕获目标的正伴随再现的音乐唱歌的人的所捕获图像。
评估单元34d例如使用预定的节奏模式作为参考节奏，从而确定运动节奏是否包括与预定节奏模式一致的节奏模式。例如，在参考节奏与运动节奏之间的包括在节奏模式中的时间差的总差距等于或小于0.4秒的情况下，评估单元34d确定运动节奏的节奏模式和参考节奏的节奏模式彼此一致。
评估单元34d计算参考节奏与运动节奏之间节奏模式彼此一致的次数。例如，评估单元34d计算一首歌曲中节奏模式彼此一致的次数。评估单元34d基于所计算的节奏模式彼此一致的次数来得到评估。评估单元34d例如可以基于等式(3)、通过以100分为基础计算评分来得到评估。
在等式(3)中，“基本分数”表示能够获取的最少分数如50分。“模式重复的数目(作为整体)”表示例如整首歌曲中节奏模式重复的数目。“与参考一致的模式的数目”表示节奏模式彼此一致的次数。
评估单元34d将所得到的评估存储在存储单元13中作为评估数据13d，并且评估单元34d将该评估输出至输出控制单元14e。
以下描述由根据第三实施方式的评估设备30执行的处理的流程。除了由评估单元34d执行的评估处理之外，由根据第三实施方式的评估设备30执行的处理的流程与根据第一实施方式的评估设备10的操作相同。以下描述该评估处理并且省略对其他处理的说明。
图16是根据第三实施方式的评估处理的示例性流程图。评估单元34d获取声音信息(S261)。评估单元34d根据所获取的声音信息来获取参考节奏(S262)。
评估单元34d从时刻数据13b中获取踩节拍的时刻的时间(S263)。基于踩节拍的时刻的时间，评估单元34d计算与踩节拍的时刻之间的差相对应的时间差。评估单元34d计算先前时间差与目标时间差之间的差。评估单元34d获取时间差之间的差作为运动节奏。换言之，评估单元34d根据踩节拍的时刻的时间来获取运动节奏(S264)。
评估单元34d例如将参考节奏的节奏模式与运动节奏的节奏模式进行比较(S265)。评估单元34d计算参考节奏与运动节奏之间节奏模式彼此一致的次数(S266)。评估单元34d基于所计算的节奏模式彼此一致的次数来得到评估(S267)。评估单元34d例如基于等式(3)计算评分在100分中所值的分数来作为评估。评估单元34d将所得到的评估存储在存储单元13中作为评估数据13d，并且评估单元34d将该评估输出至输出控制单元14e(S268)。输出控制单元14e例如经由输出单元12将从评估单元34d接收的评估显示在监视器(未示出)上。因而，例如可以在评估处理中评估从作为声音信息的再现音乐中提取的节奏模式与从通过对人进行捕获所获得的移动图像中获取的节奏模式之间的一致性。
如上所述，评估设备30将由人的踩节拍的运动表示的节奏或者由人踩节拍的时刻表示的节奏与参考节奏进行比较，从而输出对人的运动的节奏的评估。因而，评估设备30可以与节奏彼此一致的次数相对应地提高评估。
此外，评估设备30使用下述参考节奏：该参考节奏包括基于与图像平行地输出的声音信息所获取的节奏。因而，评估设备30可以评估声音信息的节奏与包括在移动图像中的人的运动的节奏之间的一致性。
评估设备30基于从再现的音乐中提取的节奏和正伴随再现的音乐唱歌的人踩节拍的节奏来对该正在唱歌的人的运动进行评估，并且评估设备30输出评估的结果，其中正伴随再现的音乐唱歌的人踩节拍的节奏是从包括作为捕获目标的该正在唱歌的人的所捕获图像中获取的。因而，评估设备30可以评估从再现的音乐中提取的节奏与正伴随再现的音乐唱歌的人的节奏之间的一致性。
虽然在以上实施方式中描述了参考节奏与运动节奏之间的一致性，但该一致性不限于时间一致性。例如，可以如下来评估节奏模式之间的一致性：即使节奏模式的开始时间在参考节奏和运动节奏之间不一致，也可以在节奏模式之间的一致程度较高的情况下提高评估。通过允许这样的时间差距，甚至可以在例如人在弱拍的时刻踩节奏的情况下提高评估。
虽然已经描述了所公开设备的实施方式，但是本发明可以在除以上实施方式之外的各种不同的方面中实施。
评估设备10可以结合设置在卡拉OK包厢中的卡拉OK机实时地评估人的节奏。实时提取包括例如连续地对输入帧执行处理以顺序地输出处理结果的方面。虽然以下描了使用根据第一实施方式的评估设备10作为评估设备的情况，但是可以使用根据第二实施方式的评估设备20或根据第三实施方式的评估设备30。图17是在评估设备连同卡拉OK机一起工作的情况下的***的示例图。图17的示例所示的***50包括卡拉OK机51、麦克风52、相机53、监视器54以及评估设备10。卡拉OK机51再现由进行卡拉OK的人91指定的音乐，并且从扬声器(未示出)向人91输出该音乐。这使得人91能够用麦克风52来演唱再现的音乐并且伴随该音乐跳舞。卡拉OK机51在开始音乐再现的时刻将表示现在是开始音乐再现的时刻的消息传输至评估设备10。卡拉OK机51还在结束音乐再现的时刻将表示现在是结束音乐再现的时刻的消息传输至评估设备10。
当评估设备10接收到表示现在是开始音乐再现的时刻的消息时，评估设备10将开始图像捕获的指令传输至相机53。当相机53接收到开始图像捕获的指令时，相机53开始捕获包括在图像捕获范围内的人91的图像。相机53将通过图像捕获所获得的移动图像数据13a的帧顺序地传输至评估设备10。
通过麦克风52来收集包括正伴随再现的音乐唱歌并跳舞的人的音频的声音信息，并且经由卡拉OK机51将再现的音乐顺序地传输至评估设备10。声音信息与移动图像数据13a的帧被平行地输出。
当评估设备10接收到从相机53传输的帧时，评估设备10实时地对所接收的帧执行上述各种类型的处理。因而，评估设备10提取人91踩节拍的时刻，并且将各种类型的信息登记在时刻数据13b中。评估设备10将由登记在时刻数据13b中的人91踩节拍的时刻表示的节奏与再现的音乐的节奏进行比较，从而评估人91的舞蹈。评估设备10然后将评估结果传输至卡拉OK机51。
当卡拉OK机51接收到评估结果时，卡拉OK机51将所接收的评估结果显示在监视器54上。这使得人91能够实时地掌握该评估结果。
当评估设备10接收到来自卡拉OK机51的、表示现在是结束音乐再现的时刻的消息时，评估设备10将停止图像捕获的指令传输至相机53。当相机53接收到停止图像捕获的指令时，相机53停止图像捕获。
如上所述，***50中的评估设备10可以结合设置在卡拉OK包厢中的卡拉OK机51实时地提取人的节奏，从而评估人的舞蹈。
设置在卡拉OK包厢外的服务器可以具有与评估设备10的各种类型的功能相同的功能。在此情况下，该服务器实时地提取人的节奏，从而评估人的舞蹈。虽然以下描述了使用根据第一实施方式的评估设备10作为评估设备的情况，但是可以使用根据第二实施方式的评估设备20或根据第三实施方式的评估设备30。图18是包括服务器的***的示例图。图18的示例所示的***70包括卡拉OK机71、麦克风72、相机73、服务器74以及移动终端75。卡拉OK机71再现由进行卡拉OK的人91指定的音乐，并且从扬声器(未示出)向人91输出该音乐。这使得人91能够用麦克风72来演唱再现的音乐并且伴随该音乐跳舞。卡拉OK机71在开始音乐再现的时刻将开始图像捕获的指令传输至相机73。卡拉OK机71还在结束音乐再现的时刻将停止图像捕获的指令传输至相机73。
当相机73接收到开始图像捕获的指令时，相机73开始捕获包括在图像捕获范围内的人91的图像。相机73将通过图像捕获所获得的移动图像数据13a的帧顺序地传输至卡拉OK机71。当卡拉OK机71接收到从相机73传输的帧时，卡拉OK机71将所接收的帧经由网络80顺序地传输至服务器74。此外，卡拉OK机71将再现的音乐和由麦克风72收集的声音信息经由网络80顺序地传输至服务器74，该声音信息包括正伴随再现的音乐唱歌和跳舞的人的音频。声音信息与移动图像数据13a的帧被平行地输出。
服务器74实时地对从卡拉OK机71传输的帧执行与由评估设备10执行的各种类型的处理类似的处理。因而，服务器74提取人91踩节拍的时刻，并且将各种类型的信息登记在时刻数据13b中。服务器74将由登记在时刻数据13b中的人91踩节拍的时刻表示的节奏与基于从卡拉OK机71传输的音频数据的音乐的节奏进行比较，从而评估人91的舞蹈。服务器74然后将该评估结果经由网络80和基站81传输至人91的移动终端75。
当移动终端75接收到评估结果时，移动终端75将所接收的评估结果显示在其显示器上。这使得人91能够实时地掌握评估结果。此外，人91可以在人91的移动终端75上掌握评估结果。
服务器74可以从卡拉OK机71获取移动图像数据13a，并且并非实时地执行与由评估设备10执行的各种类型的处理类似的处理。因而，服务器74提取人91踩节拍的时刻，并且将各种类型的信息登记在时刻数据13b中。在此情况下，服务器74将由登记在时刻数据13b中的人91踩节拍的时刻表示的节奏与基于从卡拉OK机71传输的音频数据的音乐的节奏进行比较，从而评估人91的舞蹈。服务器74然后将该评估结果经由网络80和基站81传输至人91的移动终端75。
检测单元14b和提取单元14c可以执行下面描述的处理。检测单元14b选择多个帧中的每个帧作为提取候选帧。每当检测单元14b提取一个提取候选帧时，检测单元14b执行以下处理。检测单元14b确定：从在提取候选帧前面预定数目处的帧到提取候选帧，背景差总量是否减小；以及从提取候选帧到在提取候选帧后面预定数目处的帧，背景差总量是否增加。如果检测单元14b确定背景差总量从在提取候选帧前面预定数目处的帧到提取候选帧减小并且从提取候选帧到在提取候选帧后面预定数目处的帧增加，则检测单元14b执行以下处理。检测单元14b检测该提取候选帧被捕获时的时间。检测单元14b对所有帧执行上述处理。提取单元14c从捕获各个帧的时刻中提取通过检测单元14b被检测为人踩节拍的时刻的时间。换言之，提取单元14c从由各个帧表示的人的运动中提取人的踩节拍的运动。
例如，根据各种类型的负荷和用途，实施方式中描述的处理中的每个步骤处的处理可以可选地进行分布或集成。此外，可以省略步骤。
例如，根据各种类型的负荷和用途，实施方式中描述的处理中的每个步骤处的处理的顺序可以进行改变。
图中所示的每个设备的部件在功能上是概念性的，并且不一定在物理上如所示的那样进行配置。换言之，每个设备的分布和集成的具体方面并不限于图中所示的那些。例如，根据各种类型的负荷和用途，全部部件或部分部件可以在功能上或物理上被分布或集成在期望的单元中。根据实施方式的相机53可以例如连接至卡拉OK机51，以能够经由卡拉OK机51与评估设备10、评估设备20或评估设备30进行通信。此外，卡拉OK机51的功能以及根据实施方式的评估设备10、评估设备20或评估设备30的功能可以由例如单个计算机提供。
检测程序
实施方式中所描述的由评估设备10、评估设备20和评估设备30执行的各种类型的处理可以由执行预先准备的计算机程序的计算机***——如个人计算机和工作站——来执行。以下参照图19来描述执行下述评估程序的计算机的示例：该评估程序具有与根据第一实施方式至第三实施方式中的任一个实施方式的评估设备的功能类似的功能。图19是执行评估程序的计算机的图。
如图19所示，计算机300包括CPU 310、只读存储器(ROM)320、硬盘驱动器(HDD)330、随机存取存储器(RAM)340、输入装置350以及输出装置360。这些装置310、320、330、340以及350经由总线370进行连接。
ROM 320在其中存储基本程序如操作***(OS)。HDD 330在其中预先存储评估程序330a，该评估程序330a发挥与实施方式中描述的获取单元14a、检测单元14b、提取单元14c、评估单元14d、24d或34d、以及输出控制单元14e的功能类似的功能。HDD 330在其中预先存储移动图像数据13a、时刻数据13b和评估数据13d。
CPU 310从HDD 330读取评估程序330a并且执行所读取的评估程序330a。CPU 310从HDD 330读取移动图像数据13a、时刻数据13b和评估数据13d，并且将这些数据存储在RAM 340中。CPU 310使用存储在RAM 340中的各种类型的数据，从而执行评估程序330a。存储在RAM 340中的所有数据并不总是存储在RAM 340中。仅下述数据可以被存储在RAM 340中：所述数据为用于处理的数据。
评估程序330a不一定从一开始就存储在HDD 330中。评估程序330a例如存储在***到计算机300中的“便携式物理介质”中，该便携式物理介质例如为软盘(FD)、只读光盘存储器(CD-ROM)、数字化通用磁盘(DVD)、磁光盘以及集成电路(IC)卡。计算机300可以从该介质读取评估程序330a并且执行所读取的评估程序330a。
可替选地，评估程序330a例如存储在经由公共线路、因特网、局域网(LAN)以及广域网(WAN)连接至计算机300的“另一计算机(或服务器)”中。计算机300可以从该计算机或服务器读取评估程序330a并且执行所读取的评估程序330a。
本发明可以根据所捕获的图像来评估人的运动的节奏。

Claims (9)

1.一种评估方法，包括：
使用处理器、基于由人的踩节拍的运动表示的节奏或者由人踩节拍的时刻表示的节奏来输出对包括在通过顺序的图像捕获所获得的多个捕获的图像中的所述人的运动的节奏的评估，所述人的踩节拍的运动或所述人的踩节拍的时刻是从所捕获的图像中提取的。
2.根据权利要求1所述的评估方法，其中，
使用所述处理器来计算从所捕获的图像中提取的时刻之间的差；以及
使用所述处理器来执行控制，使得随着所计算的时刻之间的差和先前的时刻之间的差二者之间的差减小，所述评估的评分增加。
3.根据权利要求2所述的评估方法，其中，
使用所述处理器来做出评估，使得随着与所述先前的时刻之间的差具有等于或小于预定值的差的所计算的时刻之间的差的数目增加，所述评估的评分也增加。
4.根据权利要求2或3所述的评估方法，其中，
使用所述处理器来做出评估，使得所述评估的评分与时刻之间的差的连续性相对应地增加，所述时刻之间的差的值与所述先前的时刻之间的差的值具有等于或小于预定值的差。
5.根据权利要求1所述的评估方法，其中，
使用所述处理器、基于所述由人的踩节拍的运动表示的节奏或者所述由人踩节拍的时刻表示的节奏与参考节奏的比较来输出对所述人的运动的节奏的评估。
6.根据权利要求5所述的评估方法，其中，
所述参考节奏包括基于与所捕获的图像平行地输出的声音信息所获取的节奏。
7.一种评估设备，包括：
存储器；以及
与所述存储器耦接的处理器，其中，所述处理器执行以下处理，所述处理包括：基于由人的踩节拍的运动表示的节奏或者由人踩节拍的时刻表示的节奏来输出对包括在通过顺序的图像捕获所获得的多个捕获的图像中的所述人的运动的节奏的评估，所述人的踩节拍的运动或所述人的踩节拍的时刻是从所捕获的图像中提取的。
8.一种评估方法，包括：
使用处理器、基于从再现的音乐中提取的节奏和正伴随所再现的音乐唱歌的人踩节拍的节奏来做出对所述正在唱歌的人的运动的评估，所述正伴随所再现的音乐唱歌的人踩节拍的节奏是从包括作为捕获目标的所述正在唱歌的人的所捕获图像中获取的；以及
使用所述处理器来输出所述评估的结果。
9.一种评估设备，包括：
存储器；以及
与所述存储器耦接的处理器，其中，所述处理器执行以下处理，所述处理包括：
基于从再现的音乐中提取的节奏和正伴随所再现的音乐唱歌的人踩节拍的节奏来做出对所述正在唱歌的人的运动的评估，所述正伴随所再现的音乐唱歌的人踩节拍的节奏是从包括作为捕获目标的所述正在唱歌的人的所捕获图像中获取的；以及
输出所述评估的结果。
CN201410822672.0A 2014-01-07 2014-12-25 评估方法和评估设备 Pending CN104766044A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-001215 2014-01-07
JP2014001215A JP2015128507A (ja) 2014-01-07 2014-01-07 評価プログラム、評価方法および評価装置

Publications (1)

Publication Number Publication Date
CN104766044A true CN104766044A (zh) 2015-07-08

Family

ID=53495653

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410822672.0A Pending CN104766044A (zh) 2014-01-07 2014-12-25 评估方法和评估设备

Country Status (5)

Country Link
US (1) US9847042B2 (zh)
JP (1) JP2015128507A (zh)
KR (1) KR20150082093A (zh)
CN (1) CN104766044A (zh)
SG (1) SG10201408403VA (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106249900A (zh) * 2016-08-16 2016-12-21 惠州Tcl移动通信有限公司 一种基于增强现实的音频虚拟现实实现方法及***
CN107008002A (zh) * 2015-11-24 2017-08-04 富士通株式会社 非暂态计算机可读存储介质、评估方法和评估装置
CN109475351A (zh) * 2016-09-29 2019-03-15 麦克赛尔株式会社 任务执行顺序决定***以及任务执行方法
CN111050863A (zh) * 2017-09-01 2020-04-21 富士通株式会社 练习辅助程序、练习辅助方法以及练习辅助***
CN112402952A (zh) * 2019-08-23 2021-02-26 福建凯米网络科技有限公司 一种基于音频和虚拟形象的互动方法及终端
CN112717362A (zh) * 2020-04-15 2021-04-30 融梦科技发展(北京)有限公司 用于测量活动表现的***和方法及其用途

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140220527A1 (en) * 2013-02-07 2014-08-07 AZ Board of Regents, a body corporate of the State of AZ, acting for & on behalf of AZ State Video-Based System for Improving Surgical Training by Providing Corrective Feedback on a Trainee's Movement
JP6759545B2 (ja) * 2015-09-15 2020-09-23 ヤマハ株式会社 評価装置およびプログラム
JP6923789B2 (ja) 2017-07-05 2021-08-25 富士通株式会社 情報処理プログラム、情報処理装置、情報処理方法、及び情報処理システム
CN114073854A (zh) * 2020-08-14 2022-02-22 上海哔哩哔哩科技有限公司 基于多媒体文件的游戏方法和***
US11961537B2 (en) * 2021-04-30 2024-04-16 Lemon Inc. Content creation based on rhythm

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002035191A (ja) * 2000-07-31 2002-02-05 Taito Corp 踊り採点装置。
JP2005339100A (ja) * 2004-05-26 2005-12-08 Advanced Telecommunication Research Institute International 身体動作解析装置
US20100087258A1 (en) * 2008-10-08 2010-04-08 Namco Bandai Games Inc. Information storage medium, game system, and method of controlling game system
CN102289441A (zh) * 2010-04-26 2011-12-21 索尼公司 信息处理设备和方法以及程序

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002006866A (ja) 1999-09-08 2002-01-11 Yamaha Corp カラオケ装置
JP2002166051A (ja) 2000-11-30 2002-06-11 Konami Co Ltd ゲームシステム及びそれに用いるコンピュータ読取可能な記憶媒体
DE602007001281D1 (de) 2006-01-20 2009-07-30 Yamaha Corp Vorrichtung zur Steuerung der Wiedergabe von Musik und Vorrichtung zur Wiedergabe von Musik
US9028430B2 (en) * 2007-04-19 2015-05-12 Nike, Inc. Footwork training system and method
JP2012073935A (ja) 2010-09-29 2012-04-12 Kddi Corp 動作評価装置並びに類似度評価方法及び動作評価・確認方法
JP5425940B2 (ja) 2012-01-31 2014-02-26 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法、及びプログラム
US9573052B2 (en) 2012-01-31 2017-02-21 Konami Digital Entertainment Co., Ltd. Game device, control method for a game device, and non-transitory information storage medium
JP5746644B2 (ja) 2012-01-31 2015-07-08 株式会社コナミデジタルエンタテインメント ゲーム装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002035191A (ja) * 2000-07-31 2002-02-05 Taito Corp 踊り採点装置。
JP2005339100A (ja) * 2004-05-26 2005-12-08 Advanced Telecommunication Research Institute International 身体動作解析装置
US20100087258A1 (en) * 2008-10-08 2010-04-08 Namco Bandai Games Inc. Information storage medium, game system, and method of controlling game system
CN102289441A (zh) * 2010-04-26 2011-12-21 索尼公司 信息处理设备和方法以及程序

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107008002A (zh) * 2015-11-24 2017-08-04 富士通株式会社 非暂态计算机可读存储介质、评估方法和评估装置
CN106249900A (zh) * 2016-08-16 2016-12-21 惠州Tcl移动通信有限公司 一种基于增强现实的音频虚拟现实实现方法及***
CN109475351A (zh) * 2016-09-29 2019-03-15 麦克赛尔株式会社 任务执行顺序决定***以及任务执行方法
CN109475351B (zh) * 2016-09-29 2021-08-17 麦克赛尔株式会社 任务执行顺序决定***以及任务执行方法
CN111050863A (zh) * 2017-09-01 2020-04-21 富士通株式会社 练习辅助程序、练习辅助方法以及练习辅助***
CN112402952A (zh) * 2019-08-23 2021-02-26 福建凯米网络科技有限公司 一种基于音频和虚拟形象的互动方法及终端
CN112717362A (zh) * 2020-04-15 2021-04-30 融梦科技发展(北京)有限公司 用于测量活动表现的***和方法及其用途

Also Published As

Publication number Publication date
US9847042B2 (en) 2017-12-19
KR20150082093A (ko) 2015-07-15
JP2015128507A (ja) 2015-07-16
US20150194070A1 (en) 2015-07-09
SG10201408403VA (en) 2015-08-28

Similar Documents

Publication Publication Date Title
CN104766044A (zh) 评估方法和评估设备
CN104766045A (zh) 评价方法和评价装置
Fan et al. Example-based automatic music-driven conventional dance motion synthesis
JP6137935B2 (ja) 身体動作評価装置、カラオケシステム、及びプログラム
US20160216770A1 (en) Method and system for motion based interactive service
CN109766759A (zh) 情绪识别方法及相关产品
Ellamil et al. One in the dance: musical correlates of group synchrony in a real-world club environment
EP2982422A1 (en) Body-motion assessment device, dance assessment device, karaoke device, and game device
JP2016513494A (ja) 自動的な運動の区分と認識
CN111444967A (zh) 生成对抗网络的训练方法、生成方法、装置、设备及介质
CN102473409B (zh) 声音空间的基准模型适应装置、集成电路以及av设备
CN109584904A (zh) 应用于基础音乐视唱教育的视唱音频唱名识别建模方法
CN107008002A (zh) 非暂态计算机可读存储介质、评估方法和评估装置
CN109410972B (zh) 生成音效参数的方法、装置及存储介质
CN111611973B (zh) 目标用户识别的方法、装置及存储介质
KR102171319B1 (ko) 동작 교본 저작 장치, 동작 자가 학습 장치 및 방법
CN117151548A (zh) 以手部动作判断为基础的音乐线上学习方法及***
Nymoen Methods and technologies for analysing links between musical sound and body motion
Burbano-Fernandez et al. Algorithm for the comparison of human periodic movements using wearable devices
CN208507176U (zh) 一种影音交互***
CN110585730A (zh) 游戏的节奏感测试方法、装置以及相关设备
US11609948B2 (en) Music streaming, playlist creation and streaming architecture
EP3979245A1 (en) System and method for providing interactive storytelling
Jmaa¹ et al. 1 Efrei Research Lab, Paris Panthéon-Assas University, Paris, France ahmedbaha. benjmaa@ outlook. fr 2 Images and Forms Research Group, CRISTAL Laboratory, ENSI, University of Manouba, Manouba, Tunisia
CN111354376A (zh) 一种表演能力的自动评测方法、装置及智能终端

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150708