CN104766045A - 评价方法和评价装置 - Google Patents

评价方法和评价装置 Download PDF

Info

Publication number
CN104766045A
CN104766045A CN201410822695.1A CN201410822695A CN104766045A CN 104766045 A CN104766045 A CN 104766045A CN 201410822695 A CN201410822695 A CN 201410822695A CN 104766045 A CN104766045 A CN 104766045A
Authority
CN
China
Prior art keywords
timing
beat
people
evaluation
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201410822695.1A
Other languages
English (en)
Inventor
坂井美帆
小口淳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of CN104766045A publication Critical patent/CN104766045A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0605—Decision makers and devices using detection means facilitating arbitration
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0616—Means for conducting or scheduling competition, league, tournaments or rankings
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0669—Score-keepers or score display devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0686—Timers, rhythm indicators or pacing apparatus using electric or electronic means
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B2071/0602—Non-electronic means therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

提供一种评价方法和评价装置。该评价方法包括：基于由包括在通过连续图像捕获而获得的多个捕获图像中的人打拍子的动作指示的节拍或该人打拍子的定时所指示的节拍与参考节拍的比较，输出对该人的动作的节拍的评价，该动作或定时是从捕获图像中提取的。

Description

评价方法和评价装置
技术领域
本文所讨论的实施例涉及一种评价程序、评价方法和评价装置。
背景技术
已开发出用于对人的舞蹈进行评分并且将评分结果通知给人的技术。
用于对人的舞蹈进行评分和评价的技术的示例可以包括用于对进行游戏的玩家的游戏比赛进行评价的技术，在游戏中玩家随着音乐移动身体部分。例如，该技术基于这样的确定结果来进行评价：在玩家的身体部分以等于参考速度或高于参考速度的速度移动后，该部分是否连续基本停止参考时段。
日本特开2013-154125号公报
为了对人的舞蹈进行评分或评价，需要提取人打节奏的定时，即人打拍子的动作或定时。然而，上面描述的技术，由于用于分析的大量的处理可能不能容易地提取人打拍子的动作或定时。因此，该技术可能不能容易地对人动作的节拍进行评价。
在一个方面中，例如，通过用相机捕获人的动作、用计算机分析通过捕获获得的运动图像并且提取人的节奏来对人的舞蹈进行评分。在特定的方法中，例如，通过预定的识别技术(诸如模板匹配)从运动图像来识别人的脸的部分和身体的部分或由人使用的乐器(诸如沙球)。这生成了所识别的脸的部分和身体部分或所识别的乐器的移动量的时间序列数据。随后，对时间序列数据进行傅里叶分析等，从而从特定的频带分量提取人的节奏。通过将所提取的人的节奏与参考节奏进行比较，例如，可以基于比较结果对人的舞蹈进行评分。在使用模板匹配来根据上述方面的运动图像识别人的脸的部分和身体部分或由人使用的乐器(诸如沙球)的情况下，例如在模板和运动图像的部分之间的比较被反复地执行。这增加了用于分析的处理量，从而增加了计算机的处理负荷。
因此，本发明的实施例的一个方面的目的是根据捕获的图像对人的动作的节拍进行评价。
发明内容
一种评价方法，包括：基于由通过连续图像捕获所获得的多个捕获图像中包括的人打拍子的动作指示的节拍或由人打拍子的定时指示的节拍与参考节拍的比较，输出对该人的动作的节拍的评价，该动作或该定时是从捕获的图像提取的。
附图说明
图1是根据第一实施例的评价装置的配置的示例框图；
图2是帧的示例图；
图3是定时数据的示例图；
图4是二值化图像的示例图；
图5是在背景差分量和帧号之间关联的示例图；
图6是根据第一实施例的用于说明由评价装置执行的处理的示例图；
图7是通过绘制由定时数据所指示的人打拍子的定时而获得的曲线图的示例图；
图8是用于在使用人打拍子的定时作为参考的情况下来比较定时的方法的示例图；
图9是用于在使用在参考节拍中的拍子的定时作为参考的情况下来比较定时的方法的示例图；
图10是根据第一实施例的评价处理的流程图；
图11是根据第二实施例的评价装置的配置的示例框图；
图12是用于比较定时的数量的方法的示例图；
图13是根据第三实施例的评价装置的配置的示例框图；
图14是用于比较人的动作特征和旋律特征的方法的示例图；
图15是在评价装置结合卡拉OK机操作的情况下的***的示例图；
图16是包括服务器的***的示例图；以及
图17是执行评价程序的计算机的图。
具体实施方式
将参考附图来说明优选实施例。实施例无意限制所公开的技术，并且，在不引起在处理内容上的不一致的情况下，可以对这些实施例进行适当的组合。
[a]第一实施例
根据第一实施例的评价装置10的功能配置的示例。
在图1的示例中示出的评价装置10从通过用相机捕获跳舞的人而获得的运动图像中的每一帧提取人的动作量暂时地减少的定时，作为人打节奏的定时，即人打拍子的定时。因此，人的动作量暂时减少的定时被提取为人打拍子的定时。这是因为当人打拍子时会暂时停止运动，由此动作量暂时减少。例如，节奏意味着节拍的间隔的规律性。例如，节拍意味着拍子之间的间隔的长度。评价装置10将由所提取的定时指示的节拍与用作为参考的参考节拍进行比较，从而对人的动作的节拍进行评价。如上所述，评价装置10提取人打拍子的定时，从而在不执行用于识别人的脸的部分和身体的部分或乐器的识别处理，即需要大量的处理的识别处理(高处理负荷)的情况下，来对人的动作的节拍进行评价。因此，评价装置10能够便利于对人的动作的节拍进行评价。
图1是根据第一实施例的评价装置的配置的示例框图。如在图1中的示例所示，评价装置10包括输入单元11、输出单元12、存储单元13和控制单元14。
输入单元11向控制单元14输入各种类型的信息。例如，当输入单元11从使用评价装置10的用户接收到执行评价处理的指令(将在下面描述)时，输入单元11将所接收到的指令输入到控制单元14。输入单元11的设备示例可以包括鼠标、键盘和网卡，该网卡接收从其它设备(未图示)传输的各种类型的信息并且将所接收到的信息输入到控制单元14。
输出单元12输出各种类型的信息。例如，当输出单元12从输出控制单元14e(将在下面描述)接收到人的动作的节拍的评价结果时，输出单元12显示所接收的评价结果或将所接收的评价结果发送给用户的移动终端或外部监视器。输出单元12的设备示例可以包括监视器和网卡，该网卡将发送自控制单元14的各种类型的信息发送给其它设备(未图示)。
存储单元13存储有各种类型的信息。例如，存储单元13存储有运动图像数据13a、定时数据13b、音乐节拍数据13c和评价数据13d。
运动图像数据13a是通过用相机捕获跳舞的人而获得的、包括多个帧的运动图像的数据。人的示例可以包括在卡拉OK包厢中随着由卡拉OK机再现的音乐唱歌并随着再现的音乐跳舞的人。包括在运动图像数据13a中的帧通过用相机进行连续地图像捕获而获得，并且是捕获图像的示例。图2是帧的示例图。在图2的示例中，帧15包括在卡拉OK包厢90中随着音乐唱歌和跳舞的人91。运动图像数据13a的帧速率可以被设置为期望的值。在下面的描述中，帧速率被设置为30帧每秒(fps)。
定时数据13b指示跳舞的人打拍子(打拍子)的时间(定时)。在包括在运动图像数据13a中的人是在卡拉OK包厢中随着再现的音乐唱歌和跳舞的人的情况下，时间的示例可以包括从音乐和舞蹈的开始的时间。这是因为随着音乐的开始舞蹈同时开始。图3是定时数据的示例图。在图3的示例中所示出的定时数据13b包括“时间”项和“打拍子的定时”项。在“时间”项中，从音乐和舞蹈的开始的时间由提取单元14c记录，这将在下面描述。在“打拍子的定时”项中，在记录在“时间”项的时间是人打拍子的定时的情况下，“打拍子”由提取单元14c(将在下面描述)记录，然而在该时间不是人打拍子的定时的情况下，“不打拍子”被记录。在图3中的示例所图示的定时数据13b的第一记录中，在音乐和舞蹈开始后“0.033”秒的时间与记录在“打拍子的定时”项中的“打拍子”关联。这表明该时间是人打拍子的定时。在图3中的示例所图示的定时数据13b的第二记录中，在音乐和舞蹈开始后“0.066”秒的时间与记录在“打拍子的定时”项中的“不打拍子”关联。这表明该时间不是人打拍子的定时。
音乐节拍数据13c指示参考节拍。参考节拍通过评价单元14d(将在下面描述)从声音信息中获得。声音信息的示例可以包括通过麦克风(未图示)收集的声音、通过卡拉OK机再现的音乐、与来自用摄像机等(未图示)记录的视频数据的运动图像数据13a关联地获得的音频数据，以及音乐乐器数字接口(MIDI)。
评价数据13d指示由评价单元14d(将在下面描述)评价的人的动作的节拍的评价结果。评价结果将在下面描述。
例如，存储单元13是诸如快擦写存储器的半导体存储设备或诸如硬盘和光盘的存储设备。
控制单元14包括存储有计算机程序和控制数据的内部存储器，计算机程序和控制数据指定各种类型的处理过程。控制单元14用这些数据执行各种类型的处理。如图1中所示，控制单元14包括获取单元14a、检测单元14b、提取单元14c、评价单元14d和输出控制单元14e。
获取单元14a针对包括在由运动图像数据13a指示的运动图像中的多个帧中的每个帧来获取在第一帧与在第一帧之前捕获的第二帧之间的差分(difference)。获取单元14a还针对包括在由运动图像数据13a指示的运动图像中的各帧中的每个帧来来获取第一帧与通过对在第一帧之前捕获的各帧进行累积而获得的第三帧之间的差分。
将描述获取单元14a的方面。例如，当输入单元11输入执行评价处理的指令时，这将在下面描述，获取单元14a获取存储在存储单元13中的运动图像数据13a。
获取单元14a使用背景差分法，从而针对包括在由运动图像数据13a指示的运动图像中的多个帧中的每个帧来获取在第一帧与在第一帧之前捕获的第二帧之间的差分。例如，获取单元14a使用累积背景统计量的已知功能，从而针对帧中的每个帧来获取在第一帧与通过对在第一帧之前捕获的各帧进行累积而获得的第三帧之间的差分。
下面描述在获取单元14a使用累积背景统计量的功能情况下执行的处理。获取单元14a将帧与从在该帧之前捕获的帧获得的背景信息进行比较。获取单元14a通过将具有等于阈值或小于阈值的亮度变化的像素确定为黑色像素并且将具有大于阈值的亮度变化的像素确定为白色像素来生成二值化图像。所生成的信息不限于由白色像素和黑色像素组成的二值化图像，只要可以确定亮度变化是否等于阈值或小于阈值或者大于阈值即可。图4是二值化图像的示例图。例如，获取单元14a使用累积背景统计量的功能，从而将在图2的示例中示出的帧15与从在帧15之前捕获的帧所获得的背景信息进行比较。因此，获取单元14a生成在图4的示例中所示的二值化图像。然后，获取单元14a将包括在生成的二值化图像中的白色像素的总数(背景差分量)计算为人的运动量。如上所述，本实施例使用背景差分量作为指示人的移动量的指标。例如，获取单元14a将包括在图4的示例中所示出的二值化图像中的白色像素的总数计算为人91的动作量。因此，获取单元14a针对每一帧获取背景差分量作为人的动作量。然后，获取单元14a针对每一帧将背景差分量与帧号关联。图5是在背景差分量与帧号之间的关联的示例图。在图5的示例中，获取单元14a将帧号“2”与背景差分量“267000”关联，并且将帧号“3”与背景差分量“266000”关联。因此，获取单元14a针对帧中的每个帧来获取在第一帧和通过对在第一帧之前捕获的各帧进行累积而获得的第三帧之间的差分。
获取单元14a可以使用码本方法，从而获取第一帧与在第一帧之前捕获的第二帧之间的差分和在第一帧与通过对在第一帧之前捕获的各帧进行累积而获得的第三帧之间的差分。
检测单元14b检测通过连续图像捕获获得的多个帧中的时间变化量暂时地减少的定时。将描述检测单元14b的方面。例如，检测单元14b使用帧号与背景差分量通过获取单元14a互相关联的信息。检测单元14b检测背景差分量小于先前帧的背景差分量并且小于后面帧的背景差分量的帧。图6是根据第一实施例的用于说明由评价装置执行的处理的示例图。图6例示指示通过获取单元14a互相关联的帧号与背景差分量之间的关系的示例曲线图，其中横坐标指示帧号，并且纵坐标指示背景差分量。图6中的示例曲线图例示具有帧号1至50的帧的背景差分量。如由图6的示例曲线图所指示的，在帧号和背景差分量通过获取单元14a互相关联的情况下，检测单元14b执行下面的处理。检测单元14b检测其背景差分量小于帧号为“3”的帧的背景差分量并且小于帧号为“5”的帧的背景差分量的帧号为“4”的帧。类似的，检测单元14b检测帧号为“6”、“10”、“18”、“20”、“25”、“33”、“38”、“40”和“47”的帧。
检测单元14b检测捕获所检测的帧的时间作为多个帧中的时间变化量暂时地减少的定时。例如，检测单元14b检测当帧号为“4”、“6”、“10”、“18”、“20”、“25”、“33”、“38”、“40”和“47”的帧被捕获时的时间作为多个帧中的时间变化量暂时地减少的定时。
提取单元14c基于由检测单元14b检测的定时来提取由包括在帧中的人进行的打拍子的动作或人打拍子的定时。
将描述提取单元14c的方面。例如，提取单元14c根据由检测单元14b检测的定时来提取下面的定时。提取单元14c从在由检测单元14b检测的定时处所捕获的帧提取满足预定条件的帧。提取单元14c将捕获所提取的帧的时间提取作为包括在帧中的人打拍子的定时。
下面描述由提取单元14c执行的用于提取满足预定条件的帧的方法的示例。例如，提取单元14c选择与由检测单元14b检测的定时对应的帧(在检测的定时处捕获的帧)中的每个帧，作为提取候选帧。每当提取单元14c提取一个提取候选帧时，提取单元14c执行下面的处理。提取单元14c确定从提取候选帧之前预定数的帧到提取候选帧背景差分量是否减少，以及从提取候选帧到在提取候选帧之后预定数的帧背景差分量是否增加。如果提取单元14c确定从提取候选帧之前预定数的帧到提取候选帧背景差分量减少，并且从提取候选帧到在提取候选帧之后预定数的帧背景差分量增加，则提取单元14c执行下面的处理。提取单元14c将捕获提取候选帧的时间提取作为包括在帧中的人打拍子的定时。换言之，提取单元14c从由各个帧所指示的人的动作来提取由包括在提取候选帧中的人进行的打拍子的动作。提取单元14c对与由检测单元14b检测的定时相对应的所有帧执行上面描述的处理。
如在图6中的示例曲线图所示出的，下面描述在预定数为“4”并且帧号和背景差分量通过获取单元14a互相关联的情况。在该情况下，因为从帧号“21”的帧到帧号“25”的帧背景差分量减少并且从帧号“25”的帧到帧号“29”的帧背景差分量增加，因此提取单元14c执行下面的处理。提取单元14c将捕获帧号“25”的帧的时间提取作为包括在帧中的人打拍子的定时。提取单元14c还从由各个帧所指示的人的动作来提取由包括在帧号“25”的帧中的人进行的打拍子的动作。用于提取候选帧之前的帧的预定数和用于提取候选帧之后的帧的预定数可以被设置为不同值。例如，在一方面中，将用于提取候选帧之前的帧的预定数设为“5”，并且将用于提取候选帧之后的帧的预定数设为“1”。
提取单元14c将与来自捕获帧的时间的与人打拍子的定时相对应的时间和“打拍子”以互相关联的方式记录在图3中所示的定时数据13b中。提取单元14c还将来自捕获帧的时间的与人打拍子的定时不对应的时间和“不打拍子”以互相关联的方式记录在图3中所示的定时数据13b中。因此，例如，定时数据13b记录有各种类型的信息，并且被用来对由人打拍子的定时所指示的人的节奏进行评价。提取单元14c针对所有帧将与打拍子的定时对应的时间和“打拍子”以互相关联的方式记录在定时数据13b中，或者将与打拍子的定时不对应的时间和“不打拍子”以互相关联的方式记录在定时数据13b中。然后，提取单元14c执行下面的处理。提取单元14c发送记录信息，该记录信息指示提取单元14c将与所有帧的打拍子的定时有关的数据记录在定时数据13b中。每当提取单元14c针对一个帧将与打拍子的定时相对应的时间和“打拍子”以互相关联的方式记录在定时数据13b中，或者将与打拍子的定时不对应的时间和“不打拍子”以互相关联的方式记录在定时数据13b中时，提取单元14c可以发送指示提取单元14c将与打拍子的定时有关的数据记录在定时数据13b中的记录信息。在该情况下，评价单元14d(将在下面描述)实时进行评价。
图7是通过绘制由定时数据指示的人打拍子的定时而获得的图形的示例图。在图7中，横坐标指示时间(秒)，并且纵坐标指示人是否打拍子。在图7的示例中，不管是否是人打拍子的定时均以0.3秒的间隔绘制。在图7的示例中，绘制以每连续九帧的方式进行如下：在人打拍子的定时存在于捕获九个帧的定时中的情况下在“打拍子”的位置绘制圆圈；并且在不存在人打拍子的定时时不绘制圆圈。在图7的示例中，圆圈被绘制在与时间“4.3秒”对应地“打拍子”的位置。这表明人打拍子的定时存在于九个帧中，其中每个帧对应于从4.0秒到4.3秒的时间段的三十分之一秒的时间。在图7的示例中，对应于时间“4.6”秒没有绘制圆圈。这表明人打拍子的定时不存在于九个帧中，其中每个帧对应于从4.3秒到4.6秒的时间段的三十分之一秒的时间。这同样适用于其它时间。图7概念地例示定时数据的示例，并且定时数据可以是除了在图7中例示的其它合适的方面。
评价单元14d将由从帧中提取的由包括在多个帧中的人进行的打拍子的动作所指示的节拍或人打拍子的定时所指示的节拍与参考节拍进行比较，从而对人的动作的节拍进行评价。此外，评价单元14d基于从再现的歌曲(音乐)提取的节拍并且基于人打节奏的定时来对人的动作进行评价，其中，人打节奏的定时从包括作为捕获目标的、随着再现的音乐唱歌的人的帧获取。
将描述评价单元14d的方面。当评价单元14d接收到从提取单元14c发送的记录消息时，评价单元14d从定时数据13b获取人打拍子的定时的时间。
评价单元14d从声音信息获取参考节拍。评价单元14d对包括由卡拉OK包厢中的麦克风(未图示)收集的、随着再现的音乐唱歌和跳舞的人的音频和再现的音乐的声音信息进行下面的处理。评价单元14d使用诸如拍子跟踪和节奏识别的技术来获取参考节拍。为了进行拍子跟踪和节奏识别，可以使用几个技术，包括在非专利文献(“the Institute of Electronics,Information and Communication Engineers,“Knowledge Base”,第2卷,第9节,第2章,2-4,Audio Alignment,Beat Tracking,RhythmRecognition”在线，于2013年12月17日搜索，URL为http://www.ieice-hbkb.org/portal/doc_557.html)中描述的技术。可替代地，评价单元14d可以从对应于再现的音乐的MIDI数据获取参考节拍。评价单元14d将所获取的参考节拍作为音乐节拍数据13c存储在存储单元13中。
评价单元14d将由音乐节拍数据13c指示的参考节拍中的拍子的定时与从定时数据13b获取的人打拍子的定时进行比较。
例如，评价单元14d使用人打拍子的定时作为参考来比较定时。图8是用于在使用人打拍子的定时作为参考的情况下比较定时的方法的示例图。在图8的示例中例示了由人打拍子的定时指示的节拍和参考节拍。在图8中，在上面线上的圆圈指示人打拍子的定时，然而在下面线上的圆圈指示在参考节拍中的拍子的定时。在图8的示例中，评价单元14d计算人打拍子的定时中的每个定时与来自参考节拍中的拍子的定时的在时间上最接近其的定时之间的差值。然后，评价单元14d计算与差值的幅度对应的分数，并且将所计算的分数加到评分。例如，在差值为“0”秒(第一阈值)的情况下，评价单元14d给出“优秀！”，并且将2加到评价的评分。在差值大于“0”秒并且等于或小于“0.2”秒(第二阈值)的情况下，评价单元14d给出“好！”并且将1加到评价的评分。在差值大于“0.2”秒的情况下，评价单元14d给出“不好！”并且将-1加到评价的评分。评价单元14d针对人打拍子的所有的定时计算差值，并且将与差值对应的分数加到评分。在评价处理开始时，评分被设置为0。第一阈值和第二阈值不限于上面描述的值，并且可以设为期望的值。
在图8的示例中，评价单元14d计算在人打拍子的定时(22.2秒)与在参考节拍中的拍子的定时(22.3秒)之间的差值为“0.1秒”。在该情况下，评价单元14d给出“好！”并且将1加到评价的评分。评价单元14d计算在人打拍子的定时(23.5秒)与在参考节拍中的拍子的定时(23.2秒)之间的差值为“0.3秒”。在该情况下，评价单元14d给出“不好！”并且将-1加到评价的评分。评价单元14d计算出在人打拍子的定时(24秒)与在参考节拍中的拍子的定时(24秒)之间的差值为“0秒”。在该情况下，评价单元14d给出“优秀！”并且将2加到评价的评分。
评价单元14d可以使用在参考节拍中的拍子的定时作为参考来比较定时。图9是用于在使用在参考节拍中的拍子的定时作为参考的情况下来比较定时的方法的示例图。图9的示例例示了由人打拍子的定时指示的节拍和参考节拍。在图9中，在上面线上的圆圈指示在参考节拍中的拍子的定时，然而在下面线上的圆圈指示人打拍子的定时。在图9的示例中，评价单元14d计算在参考节拍中的拍子的定时中的每个定时与来自人打拍子的定时中的在时间上最接近其的定时之间的差值。然后，评价单元14d计算与差值的幅度对应的分数，并且将所计算的分数加到评分。例如，在差值为“0”秒(第一阈值)的情况下，评价单元14d给出“优秀！”并且将2加到评价的评分。在差值大于“0”秒并且等于或小于“0.2”秒(第二阈值)的情况下，评价单元14d给出“好！”并且将1加到评价的评分。在差值大于“0.2”秒的情况下，评价单元14d给出“不好！”并且将-1加到评价的评分。评价单元14d针对在参考节拍中的拍子的所有定时来计算差值，并且将与差值对应的分数加到评分。在评价处理开始时，评分被设置为0。第一阈值和第二阈值不限于上面描述的值，并且可以设为期望值。
在图9的示例中，评价单元14d计算出参考节拍中的拍子的定时(22.2秒)与人打拍子的定时(22.3秒)之间的差值为“0.1秒”。在该情况下，评价单元14d给出“好！”，并且将1加到评价的评分。由于不存在与参考节拍中的拍子的定时(22.5秒)对应的人打拍子的定时，所以评价单元14d给出“不好！”并且将-1加到评价的评分。评价单元14d计算出参考节拍中的拍子的定时(23秒)与人打拍子的定时(23秒)之间的差值为“0秒”(无差值)。在该情况下，评价单元14d给出“优秀！”并且将2加到评价的评分。由于不存在与参考节拍中的拍子的定时(23.5秒)对应的人打拍子的定时，所以评价单元14d给出“不好！”并且将-1加到评价的评分。评价单元14d计算出参考节拍中的拍子的定时(24秒)与人打拍子的定时(23.8秒)之间的差值为“0.2秒”。在该情况下，评价单元14d给出“好！”并且将1加到评价的评分。在图9的示例中，由用于评价的参考节拍指示的定时还可以包括在从声音信息获取的定时之间的定时，即所谓的弱拍的定时。这使得可以适当地评价以弱拍的定时打拍子的人的节奏。打弱拍比以从声音信息获取的定时打拍子(强拍)更困难。鉴于此，当人打拍子的定时与弱拍一致时要加的评分可以被设置为比当该定时与强拍一致时要加的评分更高。
当评价单元14d将人打拍子的所有定时的分数或在参考节拍中的所有拍子的定时的分数加到评分时，评价单元14d使用评分得出评价。例如，评价单元14d可以在不进行任何改变的情况下使用评分作为评价。可替代地，评价单元14d可以基于式(1)来计算基于100分的评分分数并且使用评分分数作为评价。
在式(1)中，“基本分”表示最少可获得的分数，诸如50分。“节拍数”表示人打拍子的所有定时的数量或在参考节拍中的所有拍子的定时的数量。“优秀分”表示“2”。在式(1)中，在分数项中的分母对应于最大可获得的评分。在所有定时被确定为“优秀！”的情况下，分母被计算为100分。即使在所有定时被确定为“不好！”的情况下，式(1)提供50分，使得可以维持对跳舞的人的激励。
在使用式(1)的情况下，评价单元14d可以计算评分，使得评分的值随着具有与由参考节拍指示的定时的差小于预定值的人打拍子的定时的数量的增加而增加。这使得可以依据人打拍子的定时与由参考节拍指示的定时是否一致来对人的动作的节拍进行评价。
评价单元14d将得到的评价作为评价数据13d存储在存储单元13中，并且将评价发送向输出控制单元14e。
输出控制单元14e执行控制，以便输出作为评价的结果的评价结果。例如，输出控制单元14e将评价结果发送给输出单元12，以便从输出单元12输出该评价结果。
控制单元14可以被设置为电路，诸如专用集成电路(ASIC)、现场可编程门阵列(FPGA)、中央处理单元(CPU)和微处理单元(MPU)。
处理流程
下面描述根据第一实施例的由评价装置10执行的处理的流程。图10是根据第一实施例的评价处理的流程图。例如，当输入单元11将用于执行评价处理的指令输入到控制单元14时，通过控制单元14来执行根据实施例的评价处理。
如图10中所示，获取单元14a获取储存在存储单元13中的运动图像数据13a(S1)。获取单元14a获取多个帧中的每个帧的背景差分量作为人的动作量，并且将背景差分量与帧号进行关联(S2)。
检测单元14b检测由连续的图像捕获获得的帧中的时间变化量暂时减少的定时(S3)。提取单元14c基于由检测单元14b检测的定时来提取由包括在帧中的人进行的打拍子的动作或人打拍子的定时(S4)。
提取单元14c将来自捕获帧的时间的与人打拍子的定时对应的时间和“打拍子”以相互关联的方式记录在图3中例示的定时数据13b中。提取单元14c还将来自捕获帧的时间的与人打拍子的定时不对应的时间和“不打拍子”以相互关联的方式记录在图3中例示的定时数据13b中(S5)。评价单元14d进行评价(S6)。输出控制单元14e将评价结果发送给输出单元12，以便从输出单元12输出评价结果(S7)，并且结束评价处理。
如上所述，评价装置10将从多个帧中提取的、由包括在该多个帧中的人进行的打拍子的动作指示的节拍或人打拍子的定时所指示的节拍与参考节拍进行比较，从而输出对人的动作的节拍的评价。换言之，评价装置10提取人打拍子的定时，从而在不执行用于识别人的脸的部分和身体的部分或乐器的识别处理(即需要大量的处理的识别处理)的情况下来对人的动作的节拍进行评价。因此，评价装置10能够便利于对人的动作的节拍进行评价。
在使用式(1)的情况下，评价装置10计算评分，使得评分的值随着与由参考节拍指示的定时的差小于预定值的人打拍子的定时的数量的增加而增加。因此，评价装置10可以依据人打拍子的定时与由参考节拍指示的定时是否一致来对人的动作的节拍进行评价。
虽然第一实施例评价人打拍子的定时与由参考节拍指示的定时是否一致，但是评价装置不限于此。例如，评价装置可以将时间划分为多个段并且在每个段中评价人打拍子的定时的数目与由参考节拍指示的定时的数目是否符合。
[b]第二实施例
下面描述作为第二实施例的下述实施例：在每个段中评价人打拍子的定时的数目与由参考节拍指示的定时的数目是否符合。与根据第一实施例的评价装置10中的部件相同的部件由相同的附图标记来表示，并且将会省略对其的重复说明。根据第二实施例的评价装置20与第一实施例的不同之处在于：评价装置20在每个段中评价人打拍子的定时的数目与由参考节拍指示的定时的数目是否符合。
图11是根据第二实施例的评价装置的配置的示例框图。根据第二实施例的评价装置20与根据第一实施例的评价装置10的不同之处在于：评价装置20包括评价单元24d而非评价单元14d。
评价单元24d将由从多个帧中提取的、由包括在该多个帧中的人进行的打拍子的动作指示的节拍或人打拍子的定时所指示的节拍与参考节拍进行比较，从而对人的动作的节拍进行评价。此外，评价单元24d基于从再现的歌曲(音乐)提取的节拍并且基于人打节奏的定时来对人的动作的节拍进行评价，其中，人打节奏的定时从包括作为捕获目标的、随着再现的音乐唱歌的人的帧提取。
将描述评价单元24d的方面。当评价单元24d接收到从提取单元14c发送的记录消息时，评价单元24d从定时数据13b获取人打拍子的定时的时间。
与根据第一实施例的评价单元14d类似，评价单元24d从声音信息获取参考节拍。评价单元24d将所获取的参考节拍作为音乐节拍数据13c存储在存储单元13中。
评价单元24d将时间划分为多个段并且在每个段中将由音乐节拍数据13c指示的参考节拍中的拍子的定时的数量与从定时数据13b所获取的人打拍子的定时的数量进行比较。
图12是用于比较定时的数量的方法的示例图。在图12中的示例例示了由人打拍子的定时指示的节拍和参考节拍。在图12中，在上面线上的圆圈指示人打拍子的定时，而在下面线上的圆圈指示在参考节拍中的拍子的定时。在图12的示例中，评价单元24d在具有三秒范围的每个段中计算在参考节拍中的拍子的定时的数量和人打拍子的定时的数量之间的差值。评价单元24d计算与差值的幅度对应的分数并且将所计算的分数加到评分。例如，在差值为“0”(第三阈值)的情况下，评价单元24d给出“优秀！”并且将2加到评价的评分。在差值为“1”(第四阈值)的情况下，评价单元24d给出“好！”并且将1加到评价的评分。在差值为“2”(第五阈值)的情况下，评价单元24d给出“不好！”并且将-1加到评价的评分。评价单元24d在所有段中计算差值，并且将与差值对应的分数加到评分。在评价处理开始时，评分被设置为0。第三阈值、第四阈值和第五阈值不限于上面描述的值，并且可以被设置为期望的值。
在图12的示例中，评价单元24d在21秒以后(包括21秒)且24秒之前的段中计算人打拍子的定时(22.5秒和23.2秒)的数量“2”与参考节拍中的拍子的定时(21.5秒和23.7秒)的数量“2”之间的差值“0”。在该情况下，评价单元24d给出“优秀！”并且将2加到评价的评分。评价单元24d在24秒以后(包括24秒)且27秒之前的段中计算在人打拍子的定时(24.2秒和25.2秒)的数量“2”与参考节拍中的拍子的定时(24.2秒)的数量“1”之间的差值“1”。在该情况下，评价单元24d给出“好！”并且将1加到评价的评分。评价单元24d在27秒以后(包括27秒)且30秒之前的段中计算在人打拍子的定时(27.6秒和28.1秒)的数量“2”与参考节拍中的拍子的定时(27.6秒、27.7秒、28秒和28.3秒)的数量“4”之间计算差值“2”。在该情况下，评价单元24d给出“不好！”并且将-1加到评价的评分。
当评价单元24d将所有段的分数加到评分时，评价单元24d使用评分得到评价。例如，评价单元24d可以在不进行任何改变的情况下使用评分作为评价。可替代地，评价单元24d可以基于式(2)计算基于100分的评分分数并且使用评分分数作为评价。
在式(2)中，“基本分”表示最少可获得的分数，诸如50分。“段数”表示段的数量。“优秀分”表示“2”。在式(2)中，在分数项中的分母对应于最大可获得的评分。在所有定时被确定为“优秀！”的情况下，分母被计算为100分。即使在所有定时被确定为“不好！”情况下，式(2)提供50分，使得可以维持对跳舞的人的激励。
在使用式(2)的情况下，评价单元24d可以计算评分，使得评分的值随着人打拍子的定时与参考节拍所指示的定时之间的差值的减小而增加。这使得可以准确地评价脱离音乐节奏打拍子的人的动作节拍。
评价单元24d将得到的评价作为评价数据13d存储在存储单元13中，并且将评价发送给输出控制单元14e。
如上所述，评价装置20将从多个帧中提取的由包括在该多个帧中的人进行的打拍子的动作所指示的节拍或人打拍子的定时所指示的节拍与参考节拍进行比较，从而输出对人的动作的节拍的评价。换言之，评价装置20提取人打拍子的定时，从而在不执行用于识别人的脸的部分和身体的部分或乐器的识别处理(即需要大量的处理的识别处理)的情况下来对人的动作的节拍进行评价。因此，评价装置20能够便利于对人的动作的节拍进行评价。
在使用式(2)的情况下，评价装置20可以计算评分，使得评分的值随着在人打拍子的定时与由参考节拍所指示的定时之间的差值的减少而增加。这使得可以对脱离音乐节奏打拍子的人(即打所谓的弱拍的人)的动作的节拍进行准确地评价。
虽然第二实施例在每个段中评价人打拍子的定时的数量与由参考节拍指示的定时的数量是否一致，但是评价装置不限于此。例如，评价装置可以评价人的动作量与由参考节拍指示的旋律是否匹配。例如，旋律表明音乐的音调并且通过“强烈”和“缓慢”来表达。
[c]第三实施例
下面描述作为第三实施例的下述实施例：在每个段中评价人的动作量与由参考节拍指示的旋律是否匹配。与根据第一实施例的评价装置10和根据第二实施例的评价装置20中的部件相同的部件由相同的附图标记来表示，并且将会省略对其的重复说明。根据第三实施例的评价装置30与第一实施例和第二实施例的不同之处在于：评价装置30评价人的动作量与由参考节拍所指示的旋律是否匹配。
图13是根据第三实施例的评价装置的配置的示例框图。根据第三实施例的评价装置30与根据第二实施例的评价装置20不同之处在于：评价装置30包括评价单元34d而非评价单元24d。此外，根据第三实施例的评价装置30与根据第二实施例的评价装置20不同之处在于：存储单元13针对多个帧中的每个帧存储有使背景差分量与捕获帧的定时关联的动作量数据13e。
除了由在第一实施例中描述的获取单元14a执行的处理之外，根据第三实施例的获取单元14a针对多个帧中的每个帧将使背景差分量与捕获帧的定时关联的动作量数据13e存储在存储单元13中。
评价单元34d在每个段中评价由背景差分量所指示的人的动作量与由参考节拍指示的旋律是否匹配。
将描述评价单元34d的方面。当评价单元34d接收到从提取单元14c发送的记录信息时，评价单元34d针对多个帧中的每个帧从动作量数据13e获取背景差分量和捕获帧的定时。
与根据第一实施例的评价单元14d类似，评价单元34d从声音信息获取参考节拍。评价单元34d将所获取的参考节拍作为音乐节拍数据13c存储在存储单元13中。
评价单元34d将时间划分为多个段并且计算在每个段中的总的背景差分量。由于在总的背景差分量处在所有段的最高的三分之一的段中，人的动作被假定为强烈，因此评价单元34d将该段与特征“强烈”关联。由于在总的背景差分量处在所有段的最低的三分之一的段中，人的动作被假定为缓慢，因此评价单元34d将该段与特征“缓慢”关联。由于在所有段的其余的三分之一段中，人的动作被假定为正常，因此评价单元34d将该段与特征“正常”关联。通过以该方式关联这些特征，可以依据每个人将各段与强烈或缓慢的特征关联。例如，这可以防止评价结果在原本活跃的人与原本不活跃的人之间变化。换言之，这可以防止评价结果依据活动中的个体的不同而变化。因此，评价单元34d在每个段中设置人的动作的特征。
评价单元34d在每个段中计算在参考节拍中的拍子的数量。由于在其拍子的数量处于所有段的最高的三分之一的段中，旋律被假定为强烈，因此评价单元34d将该段与特征“强烈”关联。由于在拍子的数量处于所有段的最低的三分之一的段中，旋律被假定为缓慢，因此评价单元34d将该段与特征“缓慢”关联。由于在所有段的其余的三分之一的段中，旋律被假定为正常，因此评价单元34d将该段与特征“正常”关联。因此，评价单元34d在每个段中设定旋律的特征。
评价单元34d在所有段中将人的动作的特征与旋律的特征进行比较。图14是用于比较人的动作的特征和旋律的特征的方法的示例图。在图14中的示例例示了背景差分量的时间序列数据71和在参考节拍中的拍子的定时的时间序列数据72。在图14中，由背景差分量的时间序列数据71指示的背景差分量的值是通过用1/10000乘以实际值获得的。在图14中例示的时间序列数据72中，具有值“1”的时间为在参考节拍中的拍子的定时，而具有值“0”的时间不是拍子的定时。在图14的示例中，评价单元34d在具有三秒的范围的每个段中确定人的动作特征与旋律特征是否符合。评价单元34d在所有段中确定人的动作特征与旋律特征是否符合。
在图14的示例中，评价单元34d在54秒以后(包括54秒)且57秒之前的段中确定人的动作的特征“强烈”与旋律的特征“强烈”符合。此外，评价单元34d在57秒以后(包括57秒)且60秒之前的段中确定人的动作的特征“缓慢”与旋律的特征“正常”不符合。
当评价单元34d在所有段中确定人的动作特征与旋律的特征是否符合时，评价单元34d得到人的动作量与由参考节拍指示的旋律是否匹配的评价。例如，评价单元34d可以在不进行任何改变的情况下使用特征符合的段的数量作为评价。可替代地，评价单元34d可以基于式(3)计算基于100分的评分分数，并且使用评分分数作为评价。
在式(3)中，“基本分”表示最少可获得的分数，诸如50分。在所有段中特征被确定为符合的情况下，式(3)被计算为100分。即使在所有段中特征被确定为不符合的情况下，式(3)提供50分，使得可以维持对跳舞的人的激励。
评价单元34d将得到的评价作为评价数据13d存储在存储单元13中，并且将评价发送给输出控制单元14e。
如上所述，评价装置30将从多个帧提取的人的动作量与参考节拍进行比较，从而输出对人的动作的评价。换言之，评价装置30提取人的动作量，从而在不执行用于识别人的脸的部分和身体的部分或乐器的识别处理(即需要大量的处理的识别处理)的情况下来对人的动作进行评价。因此，评价装置30能够便利于对人的动作进行评价。
在使用式(3)的情况下，评价装置30可以计算评分，使得评分的值随着动作特征与旋律特征符合的段的数量的增加而增加。这使得可以对正在随着旋律跳舞的人的动作进行评价。
虽然已经描述了所公开装置的实施例，但是本发明可以用除了上面实施例之外的各种不同方面来实施。
例如，评价装置10、20和30(其在下文中可以被简称为评价装置)可以结合设置在卡拉OK包厢中的卡拉OK机来提取人的节奏。例如，评价装置10和20可以结合卡拉OK机实时提取人的节奏。例如，实时提取包括对输入帧连续地执行处理以顺序地输出处理结果的方面。图15是在评价装置结合卡拉OK机操作的情况下的***的示例图。图15中的示例例示的***40包括卡拉OK机41、麦克风42、相机43、监视器44和评价装置。卡拉OK机41再现由执行卡拉OK的人91指定的音乐并且为人91从扬声器(未图示)输出音乐。这使得人91能够用麦克风42唱再现的音乐并且随着音乐跳舞。卡拉OK机41在开始再现音乐的定时处将指示开始再现音乐的定时的消息发送给评价装置。卡拉OK机41还在结束再现音乐的定时处，将指示结束再现音乐的定时的消息发送给评价装置。
当评价装置接收指示开始音乐的再现的定时的消息时，评价装置将用于开始图像捕获的指令发送给相机43。当相机43接收用于开始图像捕获的指令时，相机43开始捕获被包括在图像捕获范围中的人91的图像。相机43将通过图像捕获获得的运动图像数据13a的帧顺序地发送给评价装置。
包括再现的音乐和由麦克风42收集的、随着再现的音乐唱歌和跳舞的人的音频的声音信息被顺序地经由卡拉OK机41传输给评价装置。声音信息与运动图像数据13a的帧并行地输出。
当评价装置接收从相机43发送的帧时，评价装置对所接收的帧进行上面描述的各种类型的处理。因此，评价装置提取人91打拍子的定时并且在定时数据13b中记录各种类型的信息。评价装置可以对所接收到的帧执行上面描述的各种类型的处理，从而生成动作量数据13e。当评价装置接收来自卡拉OK机41的声音信息时，评价装置根据接收到的声音信息获取参考节拍。然后，评价装置进行上面描述的评价，并且将评价结果发送给卡拉OK机41。
当卡拉OK机41接收评价结果时，卡拉OK机41将所接收的评价结果显示在监视器44上。这使得人91能够了解评价结果。在评价装置为评价装置10或评价装置20的情况下，可以实时将评价结果显示在监视器44上。因此，在评价装置为评价装置10或评价装置20的情况下，***40能够快速地输出评价结果。
当评价装置从卡拉OK机41接收到指示结束音乐的再现的定时的消息时，评价装置将停止图像捕获的指令发送给相机43。当相机43接收停止图像捕获的指令时，相机43停止图像捕获。
如上所述，在***40中的评价装置可以结合设置在卡拉OK包厢中的卡拉OK机41来输出评价结果。
设置在卡拉OK包厢外部的服务器可以具有与评价装置的各种类型的功能相同的功能，并且输出评价结果。图16是包括服务器的***的示例图。在图16中的示例中例示的***50包括卡拉OK机51、麦克风52、相机53、服务器54和移动终端55。卡拉OK机51再现由执行卡拉OK的人91指定的音乐，并且为人91从扬声器(未图示)输出音乐。这使得人91能够用麦克风52唱再现的音乐并且随着音乐跳舞。卡拉OK机51在开始音乐的再现的定时处将开始图像捕获的指令发送给相机53。卡拉OK机51还在结束音乐的再现的定时处将停止图像捕获的指令发送给相机53。
当相机53接收开始图像捕获的指令时，相机53开始捕获包括在图像捕获范围中的人91的图像。相机53将通过图像捕获获得的运动图像数据13a的帧顺序地发送给卡拉OK机51。当卡拉OK机51接收到来自相机53发送的帧时，卡拉OK机51将所接收的帧经由网络80顺序地发送给服务器54。此外，卡拉OK机51将包括再现的音乐和由麦克风52收集的、随着再现的音乐唱歌和跳舞的人的音频的声音信息经由网络80顺序地发送给服务器54。声音信息与运动图像数据13a的帧并行地输出。
服务器54以类似于在上面描述的由评价装置执行的各种类型的处理的方式来对从卡拉OK机51发送的帧进行处理。因此，服务器54提取人91打拍子的定时并且在定时数据13b中记录各种类型的信息。服务器54可以对所接收的帧执行上面描述的各种类型的处理，从而生成动作量数据13e。当服务器54接收来自卡拉OK机51的声音信息时，服务器54从接收到的声音信息获取参考节拍。然后，服务器54执行上面描述的评价，并且将评价结果经由网络80和基站81发送给人91的移动终端55。
当移动终端55接收评价结果时，移动终端55将所接收的评价显示在其显示器上。这使得人91能够了解在人91的移动终端55上的评价结果。
例如，在实施例中描述的处理中的每个步骤处的处理可以依据各种类型的负载和用途而选择地分布或集成。此外，步骤可以被省略。
例如，在实施例中描述的处理中的每个步骤处的处理的顺序可以根据各种类型的负载和用途而改变。
在附图中所示的每个装置的部件为功能性概念，并且不必如所示的那样物理地配置。换言之，每个装置的分布和集成的特定方面不限制于在附图中所示的那些方面。例如，所有部件或部件中的部分部件可以根据各种类型的负载和用途功能地或物理地分布或集成在所期望的单元中。例如，根据实施例的相机43可以连接到卡拉OK机41，以使相机43可经由卡拉OK机41与评价装置通信。此外，例如，根据实施例的卡拉OK机41和评价装置的功能可以通过单个计算机来提供。
评价程序
在实施例中由描述的评价装置10、20和30进行的各种类型的处理可以由计算机***(诸如个人计算机和工作站)执行预先准备好的计算机程序的来执行。下面参照图17来描述执行评价程序的计算机的示例，该计算机具有与根据第一实施例至第三实施例中的任一实施例的评价装置的功能类似的功能。图17是执行评价程序的计算机的图。
如图17中例示的，计算机300包括CPU 310、只读存储器(ROM)320、硬盘驱动器(HDD)330、随机存取存储器(RAM)340、输入设备350和输出设备360。这些设备310、320、330、340、350和360经由总线370连接。
ROM 320存储有基本程序，诸如操作***(OS)。HDD 330预先存储有评价程序330a，评价程序330a发挥与在实施例中所描述的获取单元14a、检测单元14b、提取单元14c、评价单元14d、24d或34d以及输出控制单元14e的功能相似的功能。HDD 330预先存储有运动图像数据13a、定时数据13b、音乐节拍数据13c、评价数据13d以及动作量数据13e。
CPU 310从HDD 330读取并且执行评价程序330a。CPU 310从HDD330读取运动图像数据13a、定时数据13b、音乐节拍数据13c、评价数据13d以及动作量数据13e，并且将这些数据存储在RAM 340中。CPU 310使用存储在RAM 340中的各种类型的数据，从而执行评价程序330a。不是所有的存储在RAM 340中的数据总是存储在RAM 340中。可以仅将用于处理的数据存储在RAM 340中。
评价程序330a不必一开始就存储在HDD 330中。例如，评价程序330a存储在***到计算机300中的“便携式物理介质”，诸如软盘(FD)、致密盘只读存储器(CD-ROM)、数字多功能盘(DVD)、磁光盘和集成电路(IC)卡中。计算机300可以从介质读取并且执行评价程序330a。
可替代地，例如，评价程序330a存储在经由公共线路、因特网、局域网(LAN)和广域网(WAN)连接到计算机300的“另一计算机(或服务器)”中。计算机300可以从所述计算机或服务器读取并且执行评价程序330a。
实施例可以根据所捕获的图像对人的动作的节拍进行评价。

Claims (7)

1.一种评价方法，包括：
基于由包括在通过连续图像捕获而获得的多个捕获图像中的人打拍子的动作指示的节拍或所述人打拍子的定时所指示的节拍与参考节拍的比较，输出对所述人的动作的节拍的评价，所述动作或所述定时是从所述捕获图像中提取的。
2.根据权利要求1所述的评价方法，其中，所述参考节拍包括基于与所述捕获图像并行地输出的声音信息获取的节拍。
3.根据权利要求1所述的评价方法，还包括：执行控制使得所述评价的评分随着与由所述参考节拍指示的定时的差值小于预定值的所提取定时的数量的增加而增加。
4.根据权利要求1至3中任一项所述的评价方法，还包括：执行控制使得所述评价的评分随着由所提取定时指示的节拍和所述参考节拍之间差值的减小而增加。
5.一种评价装置，包括：
输出单元，其基于由包括在通过连续图像捕获而获得的多个捕获图像中的人打拍子的动作指示的节拍或所述人打拍子的定时所指示的节拍与参考节拍的比较，输出对所述人的动作的节拍的评价，所述动作或所述定时是从所述捕获图像中提取的。
6.一种评价方法，包括：
基于从再现的音乐中提取的节拍和根据所述再现的音乐来唱歌的人打拍子的定时对所述唱歌的人的动作进行评价，所述定时是从包括作为捕获目标的所述唱歌的人的捕获图像中获取的；以及
输出所述评价的结果。
7.一种评价装置，包括：
评价单元，其基于从再现的音乐中提取的节拍和根据所述再现的音乐来唱歌的人打拍子的定时对所述唱歌的人的动作进行评价，所述定时是从包括作为捕获目标的所述唱歌的人的捕获图像中获取的；以及
输出单元，其输出所述评价的结果。
CN201410822695.1A 2014-01-07 2014-12-25 评价方法和评价装置 Pending CN104766045A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014-001253 2014-01-07
JP2014001253A JP6539941B2 (ja) 2014-01-07 2014-01-07 評価プログラム、評価方法及び評価装置

Publications (1)

Publication Number Publication Date
CN104766045A true CN104766045A (zh) 2015-07-08

Family

ID=53495436

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201410822695.1A Pending CN104766045A (zh) 2014-01-07 2014-12-25 评价方法和评价装置

Country Status (5)

Country Link
US (1) US20150193654A1 (zh)
JP (1) JP6539941B2 (zh)
KR (1) KR20150082094A (zh)
CN (1) CN104766045A (zh)
SG (1) SG10201408497VA (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108028051A (zh) * 2015-09-15 2018-05-11 雅马哈株式会社 评估装置和记录介质
CN108461011A (zh) * 2018-03-26 2018-08-28 广东小天才科技有限公司 一种自动识别音乐节奏的方法及可穿戴设备
CN109613007A (zh) * 2018-12-25 2019-04-12 宁波迪比亿贸易有限公司 琴竹破损识别平台
CN109682823A (zh) * 2018-12-28 2019-04-26 梁丹红 起毛程度判断平台
CN111050863A (zh) * 2017-09-01 2020-04-21 富士通株式会社 练习辅助程序、练习辅助方法以及练习辅助***
WO2022104917A1 (zh) * 2020-11-23 2022-05-27 瑞声声学科技(深圳)有限公司 节拍识别方法、装置及存储介质

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6238324B2 (ja) * 2016-10-31 2017-11-29 真理 井上 空気調和機および空気調和システム
JP7047295B2 (ja) * 2017-09-20 2022-04-05 カシオ計算機株式会社 情報処理装置、情報処理システム、プログラム及び情報処理方法
JP6904935B2 (ja) * 2018-09-27 2021-07-21 Kddi株式会社 トレーニング支援方法および装置
CN113938720B (zh) * 2020-07-13 2023-11-17 华为技术有限公司 多设备协作的方法、电子设备及多设备协作***
CN112699754B (zh) * 2020-12-23 2023-07-18 北京百度网讯科技有限公司 信号灯识别方法、装置、设备以及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002035191A (ja) * 2000-07-31 2002-02-05 Taito Corp 踊り採点装置。
JP2005339100A (ja) * 2004-05-26 2005-12-08 Advanced Telecommunication Research Institute International 身体動作解析装置
US20100087258A1 (en) * 2008-10-08 2010-04-08 Namco Bandai Games Inc. Information storage medium, game system, and method of controlling game system
CN102289441A (zh) * 2010-04-26 2011-12-21 索尼公司 信息处理设备和方法以及程序

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3031676B1 (ja) * 1998-07-14 2000-04-10 コナミ株式会社 ゲ―ムシステムおよびコンピュ―タ読み取り可能な記憶媒体
JP2001175266A (ja) * 1999-12-16 2001-06-29 Taito Corp 伴奏テンポ自動調整カラオケ装置
JP4151189B2 (ja) * 2000-03-06 2008-09-17 ヤマハ株式会社 音楽ゲーム装置及び方法並びに記憶媒体
JP4307193B2 (ja) * 2003-09-12 2009-08-05 株式会社バンダイナムコゲームス プログラム、情報記憶媒体、及びゲームシステム
JP4220340B2 (ja) * 2003-09-12 2009-02-04 株式会社バンダイナムコゲームス ゲームシステム、プログラムおよび情報記憶媒体
JP2006068315A (ja) * 2004-09-02 2006-03-16 Sega Corp ポーズ検出プログラム、ビデオゲーム装置、ポーズ検出方法、および、プログラムを記録したコンピュータ読み取り可能な記録媒体
US20080200224A1 (en) * 2007-02-20 2008-08-21 Gametank Inc. Instrument Game System and Method
JP4977223B2 (ja) * 2010-03-15 2012-07-18 株式会社コナミデジタルエンタテインメント ゲームシステム、それに用いる制御方法及び、コンピュータプログラム
US8654250B2 (en) * 2010-03-30 2014-02-18 Sony Corporation Deriving visual rhythm from video signals
JP5238900B2 (ja) * 2011-09-14 2013-07-17 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法、及びプログラム
JP5715583B2 (ja) * 2012-01-31 2015-05-07 株式会社コナミデジタルエンタテインメント ゲーム装置及びプログラム
KR101304111B1 (ko) * 2012-03-20 2013-09-05 김영대 댄싱 가라오케 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002035191A (ja) * 2000-07-31 2002-02-05 Taito Corp 踊り採点装置。
JP2005339100A (ja) * 2004-05-26 2005-12-08 Advanced Telecommunication Research Institute International 身体動作解析装置
US20100087258A1 (en) * 2008-10-08 2010-04-08 Namco Bandai Games Inc. Information storage medium, game system, and method of controlling game system
CN102289441A (zh) * 2010-04-26 2011-12-21 索尼公司 信息处理设备和方法以及程序

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108028051A (zh) * 2015-09-15 2018-05-11 雅马哈株式会社 评估装置和记录介质
CN111050863A (zh) * 2017-09-01 2020-04-21 富士通株式会社 练习辅助程序、练习辅助方法以及练习辅助***
CN108461011A (zh) * 2018-03-26 2018-08-28 广东小天才科技有限公司 一种自动识别音乐节奏的方法及可穿戴设备
CN109613007A (zh) * 2018-12-25 2019-04-12 宁波迪比亿贸易有限公司 琴竹破损识别平台
CN109682823A (zh) * 2018-12-28 2019-04-26 梁丹红 起毛程度判断平台
WO2022104917A1 (zh) * 2020-11-23 2022-05-27 瑞声声学科技(深圳)有限公司 节拍识别方法、装置及存储介质

Also Published As

Publication number Publication date
US20150193654A1 (en) 2015-07-09
KR20150082094A (ko) 2015-07-15
JP2015128510A (ja) 2015-07-16
SG10201408497VA (en) 2015-08-28
JP6539941B2 (ja) 2019-07-10

Similar Documents

Publication Publication Date Title
CN104766045A (zh) 评价方法和评价装置
US11238900B2 (en) Event reel generator for video content
JP6137935B2 (ja) 身体動作評価装置、カラオケシステム、及びプログラム
CN105405436B (zh) 评分装置以及评分方法
CN104766044A (zh) 评估方法和评估设备
CN101999108B (zh) 大笑检测器以及用于追踪对媒体呈现的情绪反应的***和方法
JP7033587B2 (ja) 映像ハイライトを自動的に製作する方法及びシステム
JP4655047B2 (ja) 音声評価装置及びカラオケ装置
Fan et al. Injecting life into toys
JP2007097047A (ja) コンテンツの編集装置、コンテンツの編集方法及びコンテンツの編集プログラム
JP6649231B2 (ja) 検索装置、検索方法およびプログラム
KR101884089B1 (ko) 평가 프로그램, 평가 방법 및 평가 장치
CN105450911A (zh) 图像处理装置、图像处理方法
US11790952B2 (en) Pose estimation for video editing
TWI408950B (zh) 分析運動視訊之系統、方法及具有程式之電腦可讀取記錄媒體
KR102624650B1 (ko) 스포츠 이벤트를 검출하는 방법 및 이를 수행하는 시스템
JP5772124B2 (ja) カラオケ装置
US9684969B2 (en) Computer-readable recording medium, detecting method, and detecting apparatus detecting an amount of image difference
Sanjeewa Automated Highlights Generator for DOTA 2 Game Using Audio-Visual Framework
JP2023076341A (ja) 画像解析システム、画像解析方法およびプログラム
JP5351408B2 (ja) 防犯音響システム

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
EXSB Decision made by sipo to initiate substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20150708

WD01 Invention patent application deemed withdrawn after publication