WO2018070414A1 - 運動認識装置、運動認識プログラムおよび運動認識方法 - Google Patents

運動認識装置、運動認識プログラムおよび運動認識方法 Download PDF

Info

Publication number
WO2018070414A1
WO2018070414A1 PCT/JP2017/036797 JP2017036797W WO2018070414A1 WO 2018070414 A1 WO2018070414 A1 WO 2018070414A1 JP 2017036797 W JP2017036797 W JP 2017036797W WO 2018070414 A1 WO2018070414 A1 WO 2018070414A1
Authority
WO
WIPO (PCT)
Prior art keywords
subject
frames
frame
group
motion recognition
Prior art date
Application number
PCT/JP2017/036797
Other languages
English (en)
French (fr)
Inventor
矢吹　彰彦
中村　仁彦
渉 高野
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to CN201780062410.0A priority Critical patent/CN109863535B/zh
Priority to EP17859616.9A priority patent/EP3528207B1/en
Priority to JP2018545018A priority patent/JP6733738B2/ja
Publication of WO2018070414A1 publication Critical patent/WO2018070414A1/ja
Priority to US16/362,701 priority patent/US11176359B2/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
    • A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
    • A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B5/00—Apparatus for jumping
    • A63B5/12—Bolster vaulting apparatus, e.g. horses, bucks, tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/10—Athletes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
    • A63B2024/0071—Distinction between different activities, movements, or kind of sports performed
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/05—Image processing for measuring physical parameters
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/20—Distances or displacements
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30221—Sports video; Sports image

Definitions

  • the present invention relates to a motion recognition device and the like.
  • Prior art 1 is a technique for evaluating a player performing a horizontal bar.
  • Prior art 1 detects a keyboard from a two-dimensional silhouette image, recognizes a technique from a combination of keyboards, and performs automatic scoring.
  • the technique since the technique is recognized using the two-dimensional silhouette image, only a part of the competition technique that can be discriminated only by the two-dimensional silhouette can be recognized.
  • Prior art 2 is a technique in which a prototype of a player's skeleton movement for each technique is generated in advance, and each generated prototype is compared with the skeleton information of the player performing the action to determine the technique. .
  • an object of the present invention is to provide a motion recognition device, a motion recognition program, and a motion recognition method that can efficiently evaluate a subject's performance.
  • the motion recognition device includes a segment part, an identification part, and a first evaluation part.
  • the segmentation unit chronologically segments a plurality of frames including position information of feature points corresponding to a predetermined part or joint part of the subject's body based on the position of the predetermined part of the subject's body.
  • a plurality of frames are classified into a plurality of groups in time series.
  • the identification unit identifies, for each group, the type of basic motion corresponding to the group based on the movement of the feature points included in the continuous frames.
  • a 1st evaluation part evaluates the technique and difficulty of the exercise
  • FIG. 1 is a diagram illustrating a configuration of a system according to the present embodiment.
  • FIG. 2 is a diagram for explaining an example of the feature points of the skeleton.
  • FIG. 3 is a diagram illustrating an example of the data structure of the skeleton data.
  • FIG. 4 is a functional block diagram showing the configuration of the motion recognition device.
  • FIG. 5 is a diagram illustrating an example of a data structure of calculation result data.
  • FIG. 6 is a diagram for explaining an example of the body vector.
  • FIG. 7 is a diagram for explaining the angle between the horse and the body.
  • FIG. 8 is a diagram illustrating an example of a data structure of the technique authorization rule data.
  • FIG. 9 is a diagram illustrating an example of an angle region.
  • FIG. 1 is a diagram illustrating a configuration of a system according to the present embodiment.
  • FIG. 2 is a diagram for explaining an example of the feature points of the skeleton.
  • FIG. 3 is a diagram illustrating an example of
  • FIG. 10 is a diagram illustrating an example of a support position.
  • FIG. 11 is a diagram illustrating an example of the data structure of the upgrade rule data.
  • FIG. 12 is a diagram illustrating an example of a data structure of the evaluation result data.
  • FIG. 13 is a diagram for explaining an example of the segment processing.
  • FIG. 14 is a diagram for explaining the evaluation function F (k).
  • FIG. 15 is a diagram illustrating an example of a display screen.
  • FIG. 16 is a flowchart (1) illustrating a processing procedure of the motion recognition apparatus.
  • FIG. 17 is a flowchart (2) illustrating the processing procedure of the motion recognition apparatus.
  • FIG. 18 is a flowchart showing a processing procedure for determining a technique name and a difficulty level.
  • FIG. 16 is a flowchart (1) illustrating a processing procedure of the motion recognition apparatus.
  • FIG. 17 is a flowchart (2) illustrating the processing procedure of the motion recognition apparatus.
  • FIG. 18 is a flowchart showing
  • FIG. 19 is a flowchart illustrating a processing procedure for upgrading the difficulty level.
  • FIG. 20 is a diagram illustrating an example of processing of the motion recognition device.
  • FIG. 21 is a diagram for explaining examples of other body vectors.
  • FIG. 22 is a diagram illustrating an example of a hardware configuration of a computer that realizes the same function as the motion recognition apparatus.
  • FIG. 1 is a diagram illustrating a configuration of a system according to the present embodiment.
  • this system includes a 3D (dimension) sensor 10, a skeleton recognition device 20, and a motion recognition device 100.
  • the subject 5 performs a predetermined gymnastic exercise within the imaging range of the 3D sensor 10.
  • the present invention is not limited to this and may be other gymnastics.
  • the 3D sensor 10 is a sensor that measures distance information from the installation position of the 3D sensor 10 to each observation point on the subject 5 included in the shooting range of the 3D sensor 10. For example, the 3D sensor 10 generates three-dimensional data indicating the three-dimensional coordinates of each observation point for each frame, and outputs the generated three-dimensional data to the skeleton recognition device 20.
  • the frame indicates the information of the three-dimensional coordinates of each observation point measured by the 3D sensor 10 at a certain timing, and the three-dimensional data is composed of a plurality of frames.
  • the skeleton recognition device 20 is a device that recognizes a plurality of feature points constituting the skeleton of the subject 5 based on the three-dimensional data.
  • FIG. 2 is a diagram for explaining an example of the feature points of the skeleton. As shown in FIG. 2, the feature points of the skeleton include feature points 5a to 5p.
  • Feature point 5a is a point corresponding to the position of the head.
  • the feature points 5b and 5e are points corresponding to the positions of the shoulder joints (the right shoulder joint and the left shoulder joint).
  • the feature points 5c and 5f are points corresponding to the position of the elbow joint (right elbow joint, left elbow joint).
  • the feature points 5d and 5g are points corresponding to the positions of the wrists (the right wrist and the left wrist).
  • the feature point 5h is a point corresponding to the neck position.
  • the feature point 5i is a point corresponding to the back (center of the back).
  • the feature point 5j is a point corresponding to the waist (center of the waist).
  • the feature points 5k and 5n are points corresponding to the positions of the hip joints (the right hip joint and the left hip joint).
  • the feature points 5l and 5o are points corresponding to the positions of the knee joints (the right knee joint and the left knee joint).
  • the feature points 5m and 5p are points corresponding to the positions of
  • the skeleton recognition device 20 recognizes the feature points of the skeleton for each frame based on the three-dimensional data for each frame, and generates skeleton data.
  • FIG. 3 is a diagram illustrating an example of the data structure of the skeleton data. As shown in FIG. 3, the skeleton data has three-dimensional coordinates of the feature points 5a to 5p for each frame. Each frame is given a frame number that uniquely identifies the frame.
  • the motion recognition device 100 is a device that evaluates the skill and difficulty of the gymnastics performed by the subject 5 based on the skeleton data.
  • FIG. 4 is a functional block diagram showing the configuration of the motion recognition device. As illustrated in FIG. 4, the motion recognition apparatus 100 includes an interface unit 110, an input unit 120, a storage unit 140, and a control unit 150.
  • the interface unit 110 is an interface that transmits and receives data to and from the skeleton recognition device 20 and other external devices.
  • the control unit 150 described later exchanges data with the skeleton identification device 20 via the interface 110.
  • the input unit 120 is an input device for inputting various information to the motion recognition device 100.
  • the input unit 120 corresponds to a keyboard, a mouse, a touch panel, or the like.
  • the display unit 130 is a display device that displays information output from the control unit 150.
  • the display unit 130 corresponds to a liquid crystal display, a touch panel, or the like.
  • the storage unit 140 includes skeleton data 141, calculation result data 142, technique authorization rule data 143, upgrade rule data 144, and evaluation result data 145.
  • the storage unit 140 corresponds to a semiconductor memory element such as a RAM (Random Access Memory), a ROM (Read Only Memory), and a flash memory (Flash Memory), and a storage device such as an HDD (Hard Disk Drive).
  • the skeleton data 141 is skeleton data generated by the skeleton recognition device 20.
  • the data structure of the skeleton data 141 is the same as the data structure of the skeleton data described with reference to FIG.
  • the calculation result data 142 is data having information regarding the positions and postures of the limbs and the limbs of the subject 5.
  • the calculation result data 142 is calculated by the calculation unit 152 described later.
  • FIG. 5 is a diagram illustrating an example of a data structure of calculation result data. As shown in FIG. 5, the calculation result data 142 associates frame numbers, hand / foot position data, body vector data, and segment numbers.
  • the frame number is information that uniquely identifies the frame.
  • the hand / foot position data is data indicating the three-dimensional coordinates of both hands and feet.
  • the hand position data corresponds to the three-dimensional coordinates of the wrist feature points 5d and 5g.
  • the foot position data corresponds to the three-dimensional coordinates of the ankle feature points 5m and 5p.
  • Body vector data is data indicating the direction and size of the body vector.
  • FIG. 6 is a diagram for explaining an example of the body vector.
  • the body mass vector 7 corresponds to a normal vector of the plane 6 passing through the feature point 5b of the right shoulder joint, the feature point 5e of the left shoulder joint, and the feature point 5i of the back.
  • the size of the body vector 7 is “1”.
  • the body vector is defined by an orthogonal coordinate system including an X axis, a Y axis, and a Z axis.
  • the direction of the X axis is the longitudinal direction of the horse 8.
  • the direction of the Y axis is a direction orthogonal to the X axis.
  • the direction of the Z axis is defined as the vertically upward direction of the XY plane.
  • FIG. 7 is a diagram for explaining the angle between the horse and the body.
  • the angle ⁇ between the horse and the body is an angle formed by the line segment 1a and the line segment 1b.
  • the line segment 1 b is a line segment obtained by projecting the body vector 7 onto the XY plane and extending in front of the subject 5.
  • the line segment 1a is a line segment corresponding to the Y axis.
  • the segment number is a number indicating to which group the frame belongs.
  • a group handles each frame from the frame that is the starting point of the basic motion to the frame that is the end point of the basic motion as a set when the subject performs a certain basic motion.
  • the same segment number is assigned to frames belonging to the same group.
  • the segment number is set by a segment unit 153 described later. For example, in a plurality of frames that are continuous in time series, a plurality of frames that are included from a frame that becomes a node to a frame that becomes the next node become frames included in the same group. In the following description, a plurality of frames belonging to the same group will be referred to as “partial data” as appropriate.
  • the identifying unit 154 to be described later identifies the type of basic exercise corresponding to the partial data for each partial data.
  • the technique authorization rule data 143 is data used when the first evaluation unit 155 described later determines the technique name and the difficulty level.
  • FIG. 8 is a diagram illustrating an example of a data structure of the technique authorization rule data. As shown in FIG. 8, the technique authorization rule data 143 includes basic motion type, start point body angle region, end point body angle region, start point left hand support position, start point right hand support position, end point left hand support position, end point right hand support position, front Corresponds basic exercise type, technical name, group, difficulty.
  • the basic exercise type indicates the type of basic exercise.
  • the starting point body angle region indicates in which angle region the direction of the body vector is included in the frame of the starting point included in the partial data.
  • the end point body angle area indicates in which angle region the direction of the body vector is included in the end point frame included in the partial data.
  • a (B) may be the A region or the B region in a combination outside () or inside (). It shows that.
  • FIG. 9 is a diagram illustrating an example of an angle region.
  • the angle region includes a 0 ° region, a 90 ° region, a 180 ° region, and a 270 ° region.
  • the line segment 1 b is a line segment obtained by projecting the body vector 7 of the subject 5 onto the XY plane and extending in front of the subject 5.
  • the direction of the body vector 7 is a 0 ° region.
  • the start-point left-hand support position indicates which support position on the horse is determined in advance by the position of the left hand (left wrist) of the subject 5 in the start-point frame included in the partial data.
  • the starting point right-hand support position indicates which support position on the horse is determined in advance by the position of the right hand (right wrist) of the subject 5 in the frame of the starting point included in the partial data.
  • a (B) may be the supporting position A or the supporting position B in a combination outside () or inside (). Also shows good.
  • the end-point left-hand support position indicates which support position on the horse is determined in advance by the position of the left hand (left wrist) of the subject 5 in the end-point frame included in the partial data.
  • the end right hand support position indicates which support position on the horse is determined in advance by the position of the right hand (right wrist) of the subject 5 in the end point frame included in the partial data.
  • a (B) may be the support position A or the support position B in a combination outside () or inside (). Also shows good.
  • FIG. 10 is a diagram illustrating an example of a support position.
  • the position of the hand corresponds to the support position “1”.
  • the position of the hand corresponds to the support position “2”.
  • the position of the hand corresponds to the support position “3”.
  • the position of the hand corresponds to the support position “4”.
  • the position of the hand corresponds to the support position “5”.
  • the previous basic exercise type indicates the type of basic exercise corresponding to the partial data one time before the partial data of interest.
  • the previous basic exercise type “any” indicates that the type of the previous basic exercise may be any.
  • the partial data immediately before the partial data to be focused on is expressed as “previous partial data”.
  • the technique name is a technique specified by a combination of basic exercise type, start point body angle area, end body angle area, start point left hand support position, start point right hand support position, end point left hand support position, end point right hand support position, and previous basic motion type. It is a name.
  • the group indicates a group into which the technique specified by the technique name is classified.
  • the difficulty level indicates the difficulty level of the technique.
  • the difficulty of the technique increases in the order of A, B, C, D, E. Difficulty A is the least difficult.
  • the upgrade rule data 144 is data used when the upgrade unit 156, which will be described later, determines whether or not to upgrade the skill difficulty level.
  • FIG. 11 is a diagram illustrating an example of the data structure of the upgrade rule data. As shown in FIG. 11, the upgrade rule data 144 includes the technical name, the body rotation angle in the previous exercise, the start left hand support position in the previous exercise, the start right hand support position in the previous exercise, the end left hand support position in the previous exercise, the front And an end right hand support position in motion. Further, the upgrade rule data 144 includes the previous basic exercise type and the number of difficulty upgrades.
  • the technical name corresponds to the technical name specified by the first evaluation unit 155 for the focused partial data, and is a target of whether or not to upgrade the difficulty level.
  • the body rotation angle in the previous motion indicates the total sum of the rotation angles of the body vector from the start point frame to the end point frame included in the front part data.
  • the rotation angle is the rotation angle when the body vector is projected onto the XY plane as described with reference to FIG.
  • the total rotation angle is calculated assuming that the position where the body vector of the frame serving as the start point of the previous part data is projected on the XY plane is 0 °.
  • the starting point left hand support position in the front motion indicates which support position on the horse is determined in advance by the position of the left hand (left wrist) of the subject 5 in the starting point frame included in the front part data.
  • the starting-point right-hand support position in the front movement indicates which support position on the horse is determined in advance by the position of the right hand (right wrist) of the subject 5 in the frame of the starting point included in the front part data.
  • the end-point left-hand support position in the front movement indicates which support position on the horse is determined in advance by the position of the left hand (left wrist) of the subject 5 in the end-point frame included in the front part data.
  • the end-point right-hand support position in the front exercise indicates which support position on the horse is determined in advance by the position of the right hand (right wrist) of the subject 5 in the end-point frame included in the front part data.
  • the previous basic exercise type indicates the type of basic exercise corresponding to the previous partial data.
  • the difficulty level upgrade number is information indicating how many levels the difficulty level of the technique specified by the first evaluation unit 155 is to be upgraded when hitting a corresponding condition.
  • the technical name specified by the first evaluation unit 155 is “front crossing”, the body rotation angle is “less than 360 °”, and the support positions of the start point / end point and the left hand / right hand in the previous motion are “3”. ”And the previous basic exercise type is“ inverted twist ”.
  • the record in the first column of the upgrade rule data 144 is hit, and the difficulty upgrade number is “1”. For example, when the current difficulty level is “A”, if the one-level difficulty level is upgraded, the corrected difficulty level becomes “B”.
  • Evaluation result data 145 is data that holds information related to the performance evaluation results of the subject 5.
  • FIG. 12 is a diagram illustrating an example of a data structure of the evaluation result data. As shown in FIG. 12, this evaluation result data 145 associates a frame number, right hand position, left hand position, body angle, foot height, body direction, segment flag, basic exercise type, technical name, difficulty, and E score. .
  • the frame number is information that uniquely identifies the frame.
  • the right hand position indicates which support position on the horse is determined in advance by the position of the right hand (right wrist) of the subject 5.
  • the left hand position indicates which support position on the horse is determined in advance by the position of the left hand (left wrist) of the subject 5.
  • the body angle indicates the body angle of the subject 5.
  • the angle formed by the line segment when the body vector obtained from the corresponding frame is projected on the XY plane and the Y axis is defined as the body angle.
  • the height of the foot indicates the higher position of the position of the right foot (right ankle) of the subject 5 and the position of the left foot (left ankle) of the subject.
  • the body direction indicates whether the direction of the Z axis of the body vector is a positive direction or a negative direction.
  • the body direction “down” indicates that the direction of the Z axis of the body vector is negative.
  • the body orientation “up” indicates that the orientation of the Z axis of the body vector is positive.
  • the segment flag is information indicating whether or not the corresponding frame corresponds to a segment point. Whether or not the corresponding frame is a segment is determined by the segment unit 153 described later. If the corresponding frame is a node, the segment flag is “1”. If the corresponding frame is not a node, the segment flag is “0”.
  • the explanation about the basic exercise type, the technical name, and the difficulty level is the same as the explanation about the basic exercise type, the technical name, and the difficulty level described with reference to FIG.
  • E score indicates the E score of the basic exercise type corresponding to the partial data.
  • the E score is calculated by the second evaluation unit 157 described later.
  • the control unit 150 includes an acquisition unit 151, a calculation unit 152, a segmentation unit 153, an identification unit 154, a first evaluation unit 155, an upgrade unit 156, a second evaluation unit 157, and a display control unit 158.
  • the control unit 150 can be realized by a CPU (Central Processing Unit) or an MPU (Micro Processing Unit).
  • the control unit 150 can also be realized by hard wired logic such as ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array).
  • the acquisition unit 151 is a processing unit that acquires the skeleton data 141 from the skeleton recognition device 20.
  • the acquisition unit 151 registers the acquired skeleton data 141 in the storage unit 140.
  • the data structure of the skeleton data 141 has been described with reference to FIG.
  • the calculation unit 152 is a processing unit that calculates the calculation result data 142 based on the skeleton data 141.
  • the data structure of the calculation result data 142 has been described with reference to FIG.
  • hand / foot position data and body vector data corresponding to the frame number are registered by the calculation unit 152, and segment numbers are registered by the segment unit 153.
  • the calculation unit 152 calculates hand / foot position data and body vector data for each frame. For example, the calculation unit 152 calculates the three-dimensional coordinates of the feature points 5d and 5g of the skeleton data 141 as the hand position. The calculation unit 152 calculates the three-dimensional coordinates of the feature points 5m and 5p of the skeleton data 141 as the foot position. The calculation unit 152 registers hand / foot position data in the calculation result data 142 in association with the frame number of the corresponding frame.
  • the calculation unit 152 calculates a normal vector of the plane 6 passing through the feature point 5b of the right shoulder joint, the feature point 5e of the left shoulder joint, and the feature point 5i of the back as a body vector.
  • the calculation unit 152 registers the body vector data in the calculation result data 142 in association with the frame number of the corresponding frame.
  • the calculation unit 152 generates the calculation result data 142 by repeatedly executing the above process for each frame of the skeleton data 141.
  • the segment unit 153 is a processing unit that identifies a frame serving as a segment point based on the calculation result data 142 and classifies the plurality of frames into a plurality of groups based on the identified segment point.
  • the segment unit 153 accesses the calculation result data 142 and sets the segment numbers of the frames belonging to the same group to be the same.
  • the segment unit 153 refers to hand / foot position data corresponding to a certain frame number in the calculation result data 142.
  • the segment unit 153 determines that a frame corresponding to a certain frame number is a segment point when all of the following conditions A1, A2, and A3 are satisfied. When all of the conditions A1 to A3 are satisfied, it means that the subject 5 places both hands on the horse 8 and the direction of the body vector is downward.
  • Condition A1 The position of the left hand of the subject 5 is located in any of the regions 8a to 8e shown in FIG.
  • Condition A2 The position of the right hand of the subject 5 is located in any of the areas 8a to 8e shown in FIG.
  • Condition A3 The Z-axis component of the body vector is negative.
  • the segment unit 153 accesses the evaluation result data and sets the segment flag corresponding to the frame number determined to be a segment point to “1”. The initial value of the segment flag is set to “0”.
  • FIG. 13 is a diagram for explaining an example of the segment processing.
  • the plurality of frames shown in FIG. 13 are arranged in time series.
  • the frames 30a, 31a, and 32a satisfy the above-described conditions A1 to A3, and are frame frames.
  • the segment unit 153 classifies each frame included in the range 30 into the same group.
  • the segment unit 153 classifies the frames included in the range 31 into the same group.
  • the segment unit 153 classifies the frames included in the range 32 into the same group.
  • the segment number of each frame included in the range 30 is “n”, the segment number of each frame included in the range 31 is “n + 1”, and the segment number of each frame included in the range 32 is “n + 2”.
  • n is a natural number of 1 or more.
  • the top frame 30a is the start frame
  • the end frame 30b is the end frame.
  • the first frame 31a is the start frame
  • the last frame 31b is the end frame.
  • the first frame 32a is the start frame
  • the last frame 32b is the end frame.
  • partial data and “previous partial data” will be described again.
  • Data obtained by collecting the frames included in the ranges 30, 31, and 32 is partial data. Assuming that the partial data of interest is each frame included in the range 31, the previous partial data is each frame included in the range 31.
  • the identification unit 154 is a processing unit that identifies, for each partial data, the basic motion type corresponding to the partial data based on the motion of the feature points of the frames included in the partial data.
  • the identifying unit 154 acquires information on the feature points of the frames included in the partial data from the calculation result data 142.
  • the identification unit 154 registers the identification result in the evaluation result data 145 in association with the frame number.
  • the identification unit 154 uses an HMM (Hidden Markov Model).
  • the HMM is a probability model that takes time-series data as input and determines which category (basic exercise type) the time-series data belongs to.
  • the identification unit 154 has a learning phase and a recognition phase.
  • the HMM determines four parameter sets ⁇ for each basic exercise type in the learning phase.
  • the parameter set ⁇ is defined by equation (1).
  • ⁇ ⁇ Q, A, B, ⁇ (1)
  • Q represents a set of states and is defined by equation (2).
  • Q ⁇ a 1 , q 2 ,..., Q n ⁇ (2)
  • A represents a state transition probability matrix that is a set of transition probabilities a ij from state q i to state q j , and is defined by Expression (3).
  • A ⁇ a ij ⁇ (3)
  • B represents a set of probability distributions that output a vector x in the state q j .
  • Equation (5) the probability density function in the state qi is defined by Equation (5).
  • u i represents an average vector of the probability density function.
  • ⁇ i indicates a covariance matrix of the probability density function.
  • the identification unit 154 randomly sets HMM parameters as an initial state when obtaining a parameter set ⁇ of a certain basic exercise type.
  • the identification unit 154 prepares a plurality of partial data corresponding to a certain basic motion identification, and performs a process of calculating the likelihood P (O segment
  • the identifying unit 154 repeatedly performs the process of optimizing the parameter set of ⁇ k using the partial data with the maximum likelihood P as the ⁇ k teacher signal for the HMM.
  • the identification unit 154 identifies a parameter set ⁇ of a certain basic exercise type through such processing.
  • the identification unit 154 learns the parameter set ⁇ for each basic exercise type by performing the same process for other basic exercise types.
  • the identification unit 154 acquires the partial data to be recognized for the basic exercise type, the maximum value among ⁇ k for each parameter set ⁇ is obtained while changing the parameter set learned in the learning phase based on Expression (6). Specify ⁇ k0 .
  • the identification unit 154 determines the basic exercise type corresponding to the parameter set ⁇ used when ⁇ k0 is calculated as the basic exercise type of the partial data to be recognized.
  • 1st evaluation part 155 is a process part which evaluates the technique and difficulty of the exercise
  • the first evaluation unit 155 will be described.
  • the partial data to be evaluated is simply referred to as partial data
  • the partial data immediately before the partial data to be evaluated is referred to as previous partial data.
  • the first evaluation unit 155 identifies the basic exercise type of the partial data based on the frame number included in the partial data and the evaluation result data 145.
  • the first evaluation unit 155 identifies the previous basic exercise type of the previous partial data based on the frame number included in the previous partial data and the evaluation result data 145.
  • the first evaluation unit 155 refers to the calculation result data 142 using the frame number of the start point frame included in the partial data as a key, and specifies the start point body angle region, the start point left hand support position, and the start point right hand support position.
  • the first evaluation unit 155 refers to the calculation result data 142 using the frame number of the end point frame included in the partial data as a key, and specifies the end point body angle region, the end point left hand support position, and the end point right hand support position.
  • the first evaluation unit 155 compares the definition of each angle region described in FIG. 9 with the body vector, and specifies the start point body angle region and the end point body angle region.
  • the first evaluation unit 155 compares the regions 8a to 8e described with reference to FIG. 10 with the hand position data, so that the start point left hand support position, the start point right hand support position, the end point left hand support position, and the end point right hand support position are determined. Identify.
  • the first evaluation unit 155 compares the identified information with the technique authorization rule data 143, and identifies the technique name, difficulty level, and group corresponding to the partial data.
  • each specified information includes a basic exercise type and a previous exercise type.
  • Each identified information includes a start point body angle area, a start point left hand support position, a start point right hand support position, an end point body angle angle area, an end point left hand support position, and an end point right hand support position.
  • the first evaluation unit 155 registers the specified technique name, difficulty level, and group in the evaluation result data 145 in association with the frame number of the frame included in the partial data. Further, the first evaluation unit 155 registers the right hand position, the left hand position, the body angle, the foot height, and the body direction in association with the frame number. The first evaluation unit 155 identifies the technique name, the degree of difficulty, and the group by repeatedly executing the above processing for other partial data, and registers it in the evaluation result data 145.
  • the upgrade unit 156 is a processing unit that determines whether or not to upgrade the difficulty level evaluated by the first evaluation unit 155 and upgrades the difficulty level based on the determination result.
  • the partial data to be evaluated is simply referred to as partial data
  • the partial data immediately before the partial data to be evaluated is referred to as previous partial data.
  • the upgrade unit 156 refers to the evaluation result data 145 using the frame number of the frame included in the partial data as a key, and identifies the technical name corresponding to the partial data evaluated by the first evaluation unit 155.
  • the upgrade unit 156 calculates the body rotation angle based on the body vector of each frame included in the partial data.
  • the body rotation angle is the sum of changes in the body angle from the start point frame to the end point frame.
  • the upgrade unit 156 acquires the data of the body vector of each frame from the calculation result data 142.
  • the upgrade unit 156 refers to the calculation result data 142 using the frame number of the start point frame included in the partial data as a key, and specifies the start point left hand support position and the start point right hand support position.
  • the upgrade unit 156 refers to the calculation result data 142 with the frame number of the end point frame included in the partial data as a key, and specifies the end point left hand support position and the end point right hand support position.
  • the upgrade unit 156 specifies the previous basic exercise type of the previous partial data based on the frame number included in the previous partial data and the evaluation result data 145.
  • the upgrade unit 156 compares each identified information with the upgrade rule data 144 to determine whether or not to upgrade the difficulty corresponding to the partial data.
  • each specified information includes a technical name, a body rotation angle, a start point left hand support position, a start point right hand support position, an end point left hand support position, an end point right hand support position, and a previous basic motion type.
  • the upgrade unit 156 determines that the difficulty level is to be upgraded when there is a column record that hits each identified information in the upgrade rule data 144.
  • the upgrade unit 156 determines that the difficulty level is not upgraded when the column record that hits each identified information does not exist in the upgrade rule data 144.
  • the number of steps to be upgraded refers to the number of difficulty upgrades of hit column records.
  • the technical name of the partial data is “Cross-crossing”
  • the body rotation angle is “less than 360 °”
  • the start / end points of the previous movement and the support positions of the left / right hand are “3”.
  • the exercise type is “inverted twist”.
  • the record in the first column of the upgrade rule data 144 is hit, and the difficulty upgrade number is “1”.
  • the upgrade unit 156 corrects the difficulty level to “B”.
  • the upgrade unit 156 updates the difficulty level of the evaluation result data 145 by repeatedly executing the above processing for other partial data.
  • the second evaluation unit 157 is a processing unit that evaluates the E score of the basic exercise for each partial data. It is assumed that a policy for calculating an E score is set in the second evaluation unit 157 in advance for each basic exercise type.
  • the second evaluation unit 157 calculates the E score of the basic exercise type “down”.
  • “down” indicates a basic motion when the subject 5 descends from the horse.
  • the second evaluation unit 157 uses an evaluation function F (k) shown in Expression (7).
  • the evaluation function F (k) is a function for evaluating the kth frame among a plurality of frames included in the partial data to be evaluated.
  • F (k) arcsin (Tz / Tx) (7)
  • FIG. 14 is a diagram for explaining the evaluation function F (k).
  • Tx corresponds to the length of the X component from the shoulder joint of the subject 5 to the toe (ankle) in the kth frame.
  • Tz corresponds to the length of the Z component from the shoulder joint to the tip of the subject 5 in the kth frame.
  • the position of the shoulder joint corresponds to the position of the feature point 5b or 5e.
  • the tip of the foot corresponds to the position of the feature point 5m or 5p.
  • the second evaluation unit 157 When evaluating “downlink”, the second evaluation unit 157 repeatedly executes the above process for each frame included in the target partial data, and calculates the value of F (k) for each frame. The second evaluation unit 157 determines the defect “0.3” when a frame having a value of F (k) less than 30 ° appears in each frame.
  • the second evaluation unit 157 calculates a final E score for the basic exercise based on the equation (8).
  • ⁇ shown in the equation (8) indicates the sum total of the defects determined by the result of the evaluation function in all partial data.
  • the “downhill” evaluation function has been described as an example.
  • other basic motions are also determined by the evaluation function corresponding to the corresponding basic motion.
  • the evaluation function of the “turning” partial data is an evaluation function for evaluating how the left and right feet are aligned, and the more the left and right feet are not aligned, the greater the disadvantage.
  • the second evaluation unit 157 registers the calculated E score information in the evaluation result data 145 in association with the frame number.
  • the second evaluation unit 157 may register the E score in the record of each frame included in the same partial data, or the E score is recorded in the record of the start frame among the frames included in the same partial data. You can register your score.
  • the second evaluation unit 157 calculates an E score for other partial data in the same manner, and registers it in the evaluation result data 145.
  • the first evaluation unit 155 may re-determine the difficulty level of the technique based on the evaluation result data 145 and a logical expression indicating a rule.
  • a logical expression representing a rule is a logical expression that associates the order of the technical names of each basic movement with a D score (Difficulty score).
  • the display control unit 158 is a processing unit that generates a display screen based on the evaluation result data 145 and causes the display unit 130 to display the display screen.
  • FIG. 15 is a diagram illustrating an example of a display screen. As shown in FIG. 15, the display screen 50 includes areas 50a to 50g.
  • the display control unit 158 may display the evaluation result data 145 on the display unit 130 as it is.
  • the region 50a is a region for displaying the current position / hand position data and body vector data of the subject 5.
  • the area 50b is an area for displaying hand / foot position data and body vector data when the subject 5 starts acting.
  • the area 50c is an area for displaying hand / foot position data and body vector data of the subject 5 specified by the frame immediately before the current frame.
  • the area 50d is an area for displaying hand / foot position data and body vector data of the subject 5 specified by a frame two frames before the current frame.
  • the area 50e is an area for displaying hand / foot position data and body vector data of the subject 5 specified by the frame three frames before the current frame.
  • the area 50f is an area for displaying a technique name of the basic exercise specified by the partial data including the current frame.
  • the region 50g is a region for displaying an image in which information of the 3D sensor 10 is visualized.
  • 16 and 17 are flowcharts showing the processing procedure of the motion recognition apparatus.
  • the motion recognition apparatus 100 updates the processing target frame number with a value obtained by adding 1 to the frame number (step S ⁇ b> 101).
  • the calculation unit 152 of the motion recognition apparatus 100 reads the skeleton data 141 (step S102).
  • the calculating unit 152 calculates hand / foot position data and body vector data based on the skeleton data 141 (step S103).
  • the segment part 153 of the motion recognition apparatus 100 sets the front support flag (step S104).
  • the segment unit 153 sets the front support flag to “1” when all of the above-described conditions A1, A2, and A3 are satisfied.
  • the segment part 153 sets the front support flag to “0” when all of the conditions A1, A2, and A3 are not satisfied.
  • the front support flag is associated with the frame number to be processed.
  • the segment unit 153 sets a landing flag (step S105).
  • step S105 the segment unit 153 sets the landing flag to “1” when the position of the left foot tip (left ankle) or the position of the right foot (right ankle) of the subject 5 is less than a predetermined threshold.
  • the segment unit 153 sets the landing flag to “0” when the position of the left foot tip (left ankle) or the right foot (right ankle) of the subject 5 is equal to or greater than a predetermined threshold.
  • the landing flag is associated with the frame number to be processed.
  • the segment unit 153 performs a segment point determination process (step S106).
  • step S106 the segment unit 153 determines that the front support flag corresponding to the previous frame number is “0” and the front support flag corresponding to the processing target frame number is “1”. It is determined that the frame corresponding to the frame number is a node.
  • the segment unit 153 determines the frame number to be processed when the front support flag corresponding to the previous frame number is “1” or the front support flag corresponding to the frame number to be processed is “0”. It is determined that the frame corresponding to is not a node.
  • step S107 When the segment unit 153 determines that the segment point is not a segment point (No in step S107), the hand / foot position data, the body vector data, and the current segment number are associated with the frame number in the calculation result data 142. Register (step S108), and proceed to step S101.
  • step S107 determines that the segment is a segment point (step S107, Yes)
  • the identification unit 154 of the motion recognition apparatus 100 determines the basic motion type based on the frame of the segment number n (step S110).
  • the first evaluation unit 155 of the motion recognition apparatus 100 determines a technique name and a difficulty level based on the technique authorization rule data 143 (step S111a).
  • the upgrade unit 156 of the motion recognition apparatus 100 upgrades the difficulty level based on the upgrade rule data 144 (step S112), and proceeds to step S113.
  • movement recognition apparatus 100 calculates E score regarding a basic exercise
  • the motion recognition apparatus 100 registers the technique, the difficulty level, and the E score in the evaluation result table 145 in association with the frame number (step S113).
  • the movement recognition device 100 performs a performance end determination process (step S114).
  • step S114 the motion recognition apparatus 100 determines that the performance is complete when the group to which the technique belongs is a predetermined group.
  • the motion recognition device 100 determines that the performance is complete when the value of the fall count obtained by counting the landing flags is equal to or greater than a predetermined number.
  • Step S115 the motion recognition apparatus 100 proceeds to Step S101 in FIG. If the performance is finished (step S115, Yes), the motion recognition apparatus 100 sets the landing flag, the fall count, and the segment number to initial values (step S116).
  • the first evaluation unit 155 of the motion recognition apparatus 100 re-determines the difficulty level of the technique based on the evaluation result data 145 and a logical expression indicating a rule, and calculates a D score (step S117).
  • the display control unit 158 of the motion recognition apparatus 100 displays the evaluation result (step S118).
  • FIG. 18 is a flowchart showing a processing procedure for determining a technique name and a difficulty level.
  • the first evaluation unit 155 of the motion recognition apparatus 100 acquires the hand / foot position data and body vector data of the frame corresponding to the segment number n from the calculation result data 142 (step S201). .
  • the first evaluation unit 155 identifies the starting point body angle region, the starting point left hand supporting position, and the starting point right hand supporting position based on the hand / foot position data corresponding to the starting point frame (step S202).
  • the first evaluation unit 155 identifies the end point body angle region, the end point left hand support position, and the end point right hand support position based on the hand / foot position data corresponding to the end point frame (step S203).
  • the first evaluation unit 155 identifies the basic exercise type and the previous exercise type corresponding to the segment number n (step S204).
  • the first evaluation unit 155 compares each specified information with the technique authorization rule data 143 to determine whether there is a hit column record (step S205).
  • each specified information includes a starting point body angle area, a starting point left hand support position, a starting point right hand supporting position, an ending body arm angle area, an ending point left hand supporting position, an ending point right hand supporting position, a basic motion type, and a previous basic motion type.
  • the first evaluation unit 155 specifies the technique name, group, and difficulty included in the hit column record as the technique name, group, and difficulty corresponding to the segment number n ( Step S207).
  • the first evaluation unit 155 determines that the technical name corresponding to the segment number n is unknown, and sets the group and the difficulty level to 0 (Step S208).
  • FIG. 19 is a flowchart illustrating a processing procedure for upgrading the difficulty level.
  • the upgrade unit 156 of the motion recognition apparatus 100 acquires the hand / foot position data and body vector data of the frame corresponding to the segment number n from the calculation result data 142 (step S301).
  • the upgrade unit 156 calculates the body rotation angle based on the body vector from the start frame to the end frame (step S302).
  • the upgrade unit 156 specifies the start-point left-hand support position and the start-point right-hand support position based on the hand / foot position data corresponding to the start-point frame (step S303). Based on the hand / foot position data corresponding to the end point frame, the end point left hand support position and the end point right hand support position are specified (step S304).
  • the upgrade unit 156 identifies the technique name and the previous basic exercise type corresponding to the segment number n (step S305).
  • the upgrade unit 156 compares each identified information with the upgrade rule data 144 to determine whether there is a hit column record (step S306). In the case of a hit (step S307, Yes), the upgrade unit 156 upgrades the difficulty level according to the number of difficulty upgrades (step S308). If the upgrade unit 156 does not hit (No in step S307), the upgrade unit 156 ends the process.
  • FIG. 20 is a diagram illustrating an example of processing of the motion recognition device.
  • the segment unit 153 sets the segment points 60a to 60g based on the calculation result data 142. For example, in the frame of the segment points 60a, 60b and 60c, the left hand support position of the subject 5 is “2” and the right hand support position is “4”. In the frame of the node 60d, the left hand support position of the subject 5 is “4” and the right hand support position is “4”. In the frame of the node 60e, the left hand support position of the subject 5 is “4” and the right hand support position is “2”.
  • the left hand support position of the subject 5 is “2” and the right hand support position is “2”.
  • the body vector is pointing downward.
  • the body angle of the frame of the segment points 60a, 60b, 60c is 180 °.
  • the body angle of the frame at the node 60d is 90 °.
  • the body angle of the frame of the node 60e is 0 °.
  • the body angle of the frame of the segment points 60f and 60g is 270 °.
  • the identification unit 154 determines that the basic motion type is “CCW turning” from the motion of the feature points of each frame included in the node points 60a to 60b.
  • the identification unit 154 determines that the basic motion type is “CCW turning” from the motion of the feature points of each frame included in the nodes 60b to 60c.
  • the identification unit 154 determines that the basic motion type is “CCW downward reverse 1/4 turn” from the motion of the feature points of each frame included in the nodes 60c to 60d.
  • the identification unit 154 determines that the basic motion type is “CCW upward reverse 1/4 turn” from the motion of the feature points of each frame included in the node points 60d to 60e.
  • the identification unit 154 determines that the basic motion type is “CCW downward reverse 1/4 turn” from the motion of the feature points of each frame included in the nodes 60e to 60f. The identification unit 154 determines that the basic motion type is “CCW turning” from the motion of the feature points of each frame included in the node points 60f to 60g.
  • the first evaluation unit 155 uses the technique authorization rule data 143 based on the technique name that the subject performed between the frames included in the nodes 60a to 60b as “lateral turn” and the difficulty “A”. judge.
  • the first evaluation unit 155 determines, based on the technique authorization rule data 143, the technique name performed by the subject between the frames included in the nodes 60b to 60c as “lateral turn” and the difficulty “A”.
  • the first evaluation unit 155 determines that the technique name performed by the subject between the frames included in the nodes 60c to 60e is “turning the handle up and down” and the difficulty level “B”. To do.
  • the first evaluation unit 155 Based on the technique authorization rule data 143, the first evaluation unit 155 does not hit the technique name and difficulty performed by the subject between the frames included in the nodes 60e to 60f, but the technique name "Unknown", difficulty level It is determined as “ ⁇ ”. Based on the technique authorization rule data 143, the first evaluation unit 155 assigns the technique name performed by the subject between the frames included in the nodes 60f to 60g as “one hand up vertically turning” and the difficulty “B”. judge.
  • the second evaluation unit 157 determines that the E score of the performance performed by the subject between the frames included in the node points 60a to 60b is “8”.
  • the second evaluation unit 157 determines that the E score of the performance performed by the subject between the frames included in the node points 60b to 60c is “8.5”.
  • the second evaluation unit 157 determines that the E score of the performance performed by the subject between the frames included in the nodes 60c to 60e is “7.8”.
  • the second evaluation unit 157 determines that the E score of the performance performed by the subject between the frames included in the nodes 60e to 60f is “1”.
  • the second evaluation unit 157 determines that the E score of the performance performed by the subject between the frames included in the nodes 60f to 60g is “8.3”.
  • the motion recognition apparatus 100 identifies a frame serving as a node based on the skeleton data 141 of the subject 5 and classifies the frame into a plurality of partial data.
  • the motion recognition device 100 identifies the basic motion type of each partial data, and evaluates the technique name and difficulty level of the exercise performed by the subject based on the order of the basic motion types of the partial data continuous in time series. As described above, since the technique name and the difficulty level are evaluated based on the order of the basic exercise types, the exercise recognition apparatus 100 can efficiently evaluate the performance of the subject 5.
  • the motion recognition device 100 upgrades the difficulty level of motion based on the order of basic motion types and the body rotation angle of partial data that continues in time series. For this reason, the exact difficulty corresponding to the complex evaluation criteria of a game can be specified.
  • the motion recognition apparatus 100 calculates an E score corresponding to the partial data based on an evaluation criterion in which the feature points and points of each frame included in the partial data are associated with each other. For this reason, in addition to a technique and a difficulty level, E score can also be calculated appropriately.
  • the motion recognition apparatus 100 identifies a frame in which the body vector is directed downward and the both hands of the subject 5 are located in a predetermined area as a segment point. For this reason, a some frame can be segmented appropriately and the determination precision of a technique or difficulty can be improved.
  • the calculation unit 152 of the motion recognition apparatus 100 calculates the normal vector 7 of the plane 6 that passes through the feature point 5b of the right shoulder joint, the feature point 5e of the left shoulder joint, and the feature point 5i of the back.
  • the present invention is not limited to this.
  • FIG. 21 is a diagram for explaining an example of other body vectors.
  • the calculation unit 152 may calculate a normal vector 7a of a plane 6a passing through the feature points 5k and 5n of each hip joint (right hip joint and left hip joint) and the back feature point 5i as a body vector.
  • the direction of the normal vector 7a is the ventral side of the subject 5, and the size of the normal vector 7a is “1”.
  • the normal vector 7a is referred to as a body vector 7a.
  • the start point of the body vector 7a may be anywhere as long as it is fixed on the plane (triangle) 6a, but may be the midpoint of the feature points 5k, 5n, or the center of gravity of the plane 6a.
  • the segment unit 153 can appropriately segment a plurality of frames and improve the accuracy of skill and difficulty determination. Further, the body vector 7 a is more suitable for evaluating the direction of the lower torso than the body vector 7.
  • the calculation unit 152 adjusts the position coordinates of the feature points 5b, 5e, 5i, 5k, and 5n by inverse kinematic calculation using the entire feature point position coordinates so as to match the actual motion of the subject 5.
  • the body vector 7 and body vector 7a may be calculated by estimation.
  • the calculation unit 152 may adopt the unit normal vector of the adjusted or estimated feature point 5b, 5e, 5i plane 6 or 5i, 5k, 5n plane 6a as the body vector.
  • the reason for occlusion and the like is obtained. Therefore, it is possible to cope with the case where the feature point of the target person 5 cannot be detected directly or when the error of the position of the feature point becomes large, and the technique determination accuracy can be improved.
  • FIG. 22 is a diagram illustrating an example of a hardware configuration of a computer that realizes the same function as the motion recognition apparatus.
  • the computer 200 includes a CPU 201 that executes various arithmetic processes, an input device 202 that receives input of data from a user, and a display 203.
  • the computer 200 also includes a reading device 204 that reads programs and the like from a storage medium, and an interface device 205 that exchanges data with other computers via a network.
  • the computer 200 acquires skeleton data from the skeleton recognition device 20 via the interface device 205.
  • the computer 200 also includes a RAM 206 that temporarily stores various information and a hard disk device 207.
  • the devices 201 to 207 are connected to the bus 208.
  • the hard disk device 207 includes an acquisition program 207a, a calculation program 207b, a segmentation program 207c, an identification program 207d, a first evaluation program 207e, an upgrade program 207f, a second evaluation program 207g, and a display program 207h.
  • the CPU 201 reads each program 207 a to 207 h and develops it in the RAM 206.
  • the acquisition program 207a functions as the acquisition process 206a.
  • the calculation program 207b functions as a calculation process 206b.
  • the segment program 207c functions as a segment process 206c.
  • the identification program 207d functions as an identification process 206d.
  • the first evaluation program 207e functions as the first evaluation process 206e.
  • the upgrade program 207f functions as an upgrade process 206f.
  • the second evaluation program 207g functions as the second evaluation process 206g.
  • the display program 207h functions as a display process 206h.
  • the processing of the acquisition process 206a corresponds to the processing of the acquisition unit 151.
  • the process of the calculation process 206 b corresponds to the process of the calculation unit 152.
  • the process of the segment process 206c corresponds to the process of the segment unit 153.
  • the process of the identification process 206d corresponds to the process of the identification unit 154.
  • the process of the first evaluation process 206e corresponds to the process of the first evaluation unit 155.
  • the process of the upgrade process 206f corresponds to the process of the upgrade unit 156.
  • the process of the second evaluation process 206g corresponds to the process of the second evaluation unit 157.
  • the process of the display process 206h corresponds to the process of the display control unit 158.
  • each program 207a to 207h are not necessarily stored in the hard disk device 207 from the beginning.
  • each program is stored in a “portable physical medium” such as a flexible disk (FD), a CD-ROM, a DVD disk, a magneto-optical disk, and an IC card inserted into the computer 200.
  • the computer 200 may read and execute each of the programs 207a to 207h.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Physiology (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Public Health (AREA)
  • Dentistry (AREA)
  • Biophysics (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Human Computer Interaction (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Geometry (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Quality & Reliability (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

運動認識装置（１００）は、分節部（１５３）と、識別部（１５４）と、第１評価部（１５５）とを有する。分節部（１５３）は、対象者の体の所定の部位または関節部に対応する特徴点の位置情報を含む複数のフレームを、対象者の体の所定の部位の位置に基づいて時系列に分節することで、複数のフレームを時系列に複数のグループに分類する。識別部（１５４）は、グループ毎に、連続するフレームに含まれる特徴点の動きを基にして、グループに対応する基本運動の種別を識別する。第１評価部（１５５）は、時系列に連続するグループに対応する基本運動の種別の順序を基にして、対象者が行った運動の技および難度を評価する。

Description

運動認識装置、運動認識プログラムおよび運動認識方法
　本発明は、運動認識装置等に関する。
　各種のスポーツの分野では、公平かつ正確に選手の演技を評価するため、長年にわたり多くの努力や改革が行われてきた。しかし、最近の競技の技術進歩はめざましく、審判員の目視だけでは正確な評価を行うことが困難な場合もある。このため、自動的に選手の演技を評価する技術が望まれている。以下において、自動的に選手の演技を評価する従来技術の一例について説明する。
　従来技術１は、鉄棒を行う選手を評価する技術である。従来技術１は、２次元シルエット画像からキーボーズを検出し、キーボーズの組み合わせから技を認識し、自動採点を行う。しかし、従来技術１では、２次元シルエット画像を用いて技を認識するため、２次元シルエットのみで判別可能な一部の競技の技しか認識することができない。
　従来技術１を解消するものとして、従来技術２がある。従来技術２は、技毎の選手の骨格の動きのプロトタイプを予め生成しておき、生成しておいた各プロトタイプと、演技を行う選手の骨格情報を比較して、技を判定する技術である。
国際公開第２０１２／１１２４０２号
吉村拓哉　橋本剛"機械学習を用いたジェスチャー認識精度向上方法の研究"ゲームプログラミングワークショップ　2012　論文集　2012.6(2012)　167-170. J.Shin　and　Ozawa,"A　Study　on　Motion　Analysis　of　an　Artistic　Gymnastics　by　using　Dynamic　Image　Processing"　IEEE　International　Conference　on　Systems　Man　and　Cybernetics,　pp.　1037-1040,2008
　しかしながら、上述した従来技術では、対象者の演技を効率的に評価することができないという問題がある。
　例えば、従来技術２では、技毎に用意した各プロトタイプを用いて、技を識別する。このため、多種多様な技を判別するためには、比較対象となるプロトタイプの数が多くなり、該当する技を認識するまでに時間を要する。
　１つの側面では、本発明は、対象者の演技を効率的に評価することができる運動認識装置、運動認識プログラムおよび運動認識方法を提供することを目的とする。
　第１の案では、運動認識装置は、分節部と、識別部と、第１評価部とを有する。分節部は、対象者の体の所定の部位または関節部に対応する特徴点の位置情報を含む複数のフレームを、対象者の体の所定の部位の位置に基づいて時系列に分節することで、複数のフレームを時系列に複数のグループに分類する。識別部は、グループ毎に、連続するフレームに含まれる特徴点の動きを基にして、グループに対応する基本運動の種別を識別する。第１評価部は、時系列に連続するグループに対応する基本運動の種別の順序を基にして、対象者が行った運動の技および難度を評価する。
　対象者の演技を効率的に評価することができる。
図１は、本実施例に係るシステムの構成を示す図である。 図２は、骨格の特徴点の一例を説明するための図である。 図３は、骨格データのデータ構造の一例を示す図である。 図４は、運動認識装置の構成を示す機能ブロック図である。 図５は、算出結果データのデータ構造の一例を示す図である。 図６は、体躯ベクトルの一例を説明するための図である。 図７は、鞍馬と体躯との角度を説明するための図である。 図８は、技認定規則データのデータ構造の一例を示す図である。 図９は、角度領域の一例を示す図である。 図１０は、支持位置の一例を示す図である。 図１１は、格上げ規則データのデータ構造の一例を示す図である。 図１２は、評価結果データのデータ構造の一例を示す図である。 図１３は、分節部の処理の一例を説明するための図である。 図１４は、評価関数Ｆ（ｋ）を説明するための図である。 図１５は、表示画面の一例を示す図である。 図１６は、運動認識装置の処理手順を示すフローチャート（１）である。 図１７は、運動認識装置の処理手順を示すフローチャート（２）である。 図１８は、技名と難度と判定する処理手順を示すフローチャートである。 図１９は、難度を格上げする処理手順を示すフローチャートである。 図２０は、運動認識装置の処理の一例を示す図である。 図２１は、その他の体躯ベクトルの一例を説明するための図である。 図２２は、運動認識装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
　以下に、本願の開示する運動認識装置、運動認識プログラムおよび運動認識方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
　図１は、本実施例に係るシステムの構成を示す図である。図１に示すように、このシステムは、３Ｄ（dimension）センサ１０と、骨格認識装置２０と、運動認識装置１００とを有する。例えば、対象者５は、３Ｄセンサ１０の撮影範囲で、所定の体操を行う。本実施例では一例として、対象者５が鞍馬を演技する場合について説明するが、これに限定されるものではなく、その他の体操競技であっても良い。
　３Ｄセンサ１０は、３Ｄセンサ１０の設置位置から、３Ｄセンサ１０の撮影範囲に含まれる対象者５上の各観測点までの距離情報を計測するセンサである。例えば、３Ｄセンサ１０は、フレーム毎に、各観測点の３次元座標を示す３次元データを生成し、生成した３次元データを骨格認識装置２０に出力する。フレームは、あるタイミングにおいて、３Ｄセンサ１０が計測した各観測点の３次元座標の情報を示すものであり、３次元データは、複数のフレームから構成される。
　骨格認識装置２０は、３次元データを基にして、対象者５の骨格を構成する複数の特徴点を認識する装置である。図２は、骨格の特徴点の一例を説明するための図である。図２に示すように、骨格の特徴点は、特徴点５ａ～５ｐが含まれる。
　特徴点５ａは、頭部の位置に対応する点である。特徴点５ｂ，５ｅは、肩関節（右肩関節、左肩関節）の位置に対応する点である。特徴点５ｃ，５ｆは、肘関節（右肘関節、左肘関節）の位置に対応する点である。特徴点５ｄ，５ｇは、手首（右手首、左手首）の位置に対応する点である。特徴点５ｈは、首の位置に対応する点である。特徴点５ｉは、背中（背中の中心）に対応する点である。特徴点５ｊは、腰（腰の中心）に対応する点である。特徴点５ｋ，５ｎは、股関節（右股関節、左股関節）の位置に対応する点である。特徴点５ｌ，５ｏは、膝関節（右膝関節、左膝関節）の位置に対応する点である。特徴点５ｍ，５ｐは、足首（右足首、左足首）の位置に対応する点である。
　骨格認識装置２０は、フレーム毎の３次元データを基にして、フレーム毎の骨格の特徴点を認識し、骨格データを生成する。図３は、骨格データのデータ構造の一例を示す図である。図３に示すように、骨格データは、フレーム毎に、各特徴点５ａ～５ｐの３次元座標を有する。各フレームは、フレームを一意に識別するフレーム番号が付与される。
　運動認識装置１００は、骨格データを基にして、対象者５が演技した体操の技および難度を評価する装置である。図４は、運動認識装置の構成を示す機能ブロック図である。図４に示すように、この運動認識装置１００は、インタフェース部１１０と、入力部１２０と、記憶部１４０と、制御部１５０とを有する。
　インタフェース部１１０は、骨格認識装置２０やその他の外部装置とデータを送受信するインタフェースである。後述する制御部１５０は、インタフェース１１０を介して、骨格識別装置２０とデータをやり取りする。
　入力部１２０は、運動認識装置１００に各種の情報を入力するための入力装置である。例えば、入力部１２０は、キーボードやマウス、タッチパネル等に対応する。
　表示部１３０は、制御部１５０から出力される情報を表示する表示装置である。例えば、表示部１３０は、液晶ディスプレイやタッチパネル等に対応する。
　記憶部１４０は、骨格データ１４１、算出結果データ１４２、技認定規則データ１４３、格上げ規則データ１４４、評価結果データ１４５を有する。記憶部１４０は、ＲＡＭ（Random　Access　Memory）、ＲＯＭ（Read　Only　Memory）、フラッシュメモリ（Flash　Memory）などの半導体メモリ素子や、ＨＤＤ（Hard　Disk　Drive）などの記憶装置に対応する。
　骨格データ１４１は、骨格認識装置２０により生成される骨格データである。骨格データ１４１のデータ構造は、図３で説明した骨格データのデータ構造と同様である。
　算出結果データ１４２は、対象者５の手足先、体躯の位置・姿勢に関する情報を有するデータである。算出結果データ１４２は、後述する算出部１５２により算出される。図５は、算出結果データのデータ構造の一例を示す図である。図５に示すように、この算出結果データ１４２は、フレーム番号と、手・足の位置データと、体躯ベクトルデータと、分節番号とを対応付ける。
　フレーム番号は、フレームを一意に識別する情報である。手・足の位置データは、両手、両足の３次元座標を示すデータである。例えば、手の位置データは、手首の特徴点５ｄ，５ｇの３次元座標に対応する。足の位置データは、足首の特徴点５ｍ，５ｐの３次元座標に対応する。体躯ベクトルデータは、体躯ベクトルの方向および大きさを示すデータである。
　図６は、体躯ベクトルの一例を説明するための図である。図６に示すように、体躯ベクトル７は、右肩関節の特徴点５ｂと、左肩関節の特徴点５ｅと、背中の特徴点５ｉとを通る平面６の法線ベクトルに対応する。例えば、体躯ベクトル７の大きさを「１」とする。例えば、体躯ベクトルは、Ｘ軸、Ｙ軸、Ｚ軸からなる直交座標系で定義される。Ｘ軸の方向を、鞍馬８の長手方向とする。Ｙ軸の方向を、Ｘ軸と直交する方向とする。Ｚ軸の方向を、ＸＹ平面の鉛直上方向とする。なお、体躯ベクトル７が求まると、鞍馬と体躯との角度を定義することができる。
　鞍馬と体躯との角度について説明する。図７は、鞍馬と体躯との角度を説明するための図である。図７に示すように、鞍馬と体躯との角度θは、線分１ａと線分１ｂとのなす角である。線分１ｂは、体躯ベクトル７をＸＹ平面に投影したものを対象者５の前方に延長した線分である。線分１ａはＹ軸に対応する線分である。
　分節番号は、フレームがいずれのグループに属するかを示す番号である。グループは、ある１つの基本運動を対象者が行った場合において、基本運動の始点となるフレームから基本運動の終点となるフレームまでの各フレームを集合として扱うものである。
　同一のグループに属するフレームには、同一の分節番号が割り当てられる。分節番号は、後述する分節部１５３によって設定される。例えば、時系列に連続する複数のフレームにおいて、分節点となるフレームから、次の分節点となるフレームまでに含まれる複数のフレームが、同一のグループに含まれるフレームとなる。以下の説明では適宜、同一のグループに属する複数のフレームを、「部分データ」と表記する。後述する識別部１５４は、部分データ毎に、部分データに対応する基本運動の種別を特定する。
　図４の説明に戻る。技認定規則データ１４３は、後述する第１評価部１５５が、技の名称と、難度とを判定する場合に用いるデータである。図８は、技認定規則データのデータ構造の一例を示す図である。図８に示すように、この技認定規則データ１４３は、基本運動種別、始点体躯角度領域、終点体躯角度領域、始点左手支持位置、始点右手支持位置、終点左手支持位置、終点右手支持位置、前基本運動種別、技名、グループ、難度を対応付ける。
　基本運動種別は、基本運動の種別を示すものである。始点体躯角度領域は、部分データに含まれる始点のフレームにおいて、体躯ベクトルの方向が、予め定められたいずれの角度領域に含まれるのかを示すものである。終点体躯角度領域は、部分データに含まれる終点のフレームにおいて、体躯ベクトルの方向が、予め定められたいずれの角度領域に含まれるのかを示すものである。図８の始点体躯角度領域および終点体躯角度領域において、Ａ（Ｂ）は、（）外または（）内の組み合わせにおいて、角度領域がＡ領域であっても良いし、Ｂ領域であっても良いことを示す。
　図９は、角度領域の一例を示す図である。図９に示すように、角度領域は、０°領域、９０°領域、１８０°領域、２７０°領域を含む。線分１ｂは、対象者５の体躯ベクトル７をＸＹ平面に投影したものを対象者５の前方に延長した線分である。図９に示す例では、体躯ベクトル７の方向は、０°領域となる。
　始点左手支持位置は、部分データに含まれる始点のフレームにおいて、対象者５の左手（左手首）の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。始点右手支持位置は、部分データに含まれる始点のフレームにおいて、対象者５の右手（右手首）の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。図８の始点左手支持位置および始点右手支持位置において、Ａ（Ｂ）は、（）外または（）内の組み合わせにおいて、支持位置が支持位置Ａであっても良いし、支持位置Ｂであっても良いことを示す。
　終点左手支持位置は、部分データに含まれる終点のフレームにおいて、対象者５の左手（左手首）の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。終点右手支持位置は、部分データに含まれる終点のフレームにおいて、対象者５の右手（右手首）の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。図８の終点左手支持位置および終点右手支持位置において、Ａ（Ｂ）は、（）外または（）内の組み合わせにおいて、支持位置が支持位置Ａであっても良いし、支持位置Ｂであっても良いことを示す。
　図１０は、支持位置の一例を示す図である。対象者５の手（左手または右手）が領域８ａに存在する場合には、手の位置は、支持位置「１」に対応する。対象者５の手が領域８ｂに存在する場合には、手の位置は、支持位置「２」に対応する。対象者５の手が領域８ｃに存在する場合には、手の位置は、支持位置「３」に対応する。対象者５の手が領域８ｄに存在する場合には、手の位置は、支持位置「４」に対応する。対象者５の手が領域８ｅに存在する場合には、手の位置は、支持位置「５」に対応する。
　前基本運動種別は、着目する部分データよりも時系列で一つ前の部分データに対応する基本運動の種別を示すものである。前基本運動種別「ａｎｙ」は、前の基本運動の種別が何であっても良いことを示す。以下の説明では、着目する部分データよりも時系列で一つ前の部分データを、「前部分データ」と表記する。
　技名は、基本運動種別、始点体躯角度領域、終点体躯角度領域、始点左手支持位置、始点右手支持位置、終点左手支持位置、終点右手支持位置、前基本運動種別の組み合わせにより特定される技の名称である。
　グループは、技名により特定される技が分類されるグループを示すものである。難度は、技の難度を示すものである。技の難度は、Ａ，Ｂ，Ｃ，Ｄ，Ｅの順に難度が高くなる。難度Ａが最も難度が低い。
　図４の説明に戻る。格上げ規則データ１４４は、後述する格上げ部１５６が、技の難度を格上げするか否かを判定する場合に用いるデータである。図１１は、格上げ規則データのデータ構造の一例を示す図である。図１１に示すように、この格上げ規則データ１４４は、技名と、前運動における体躯回転角度、前運動における始点左手支持位置、前運動における始点右手支持位置、前運動における終点左手支持位置、前運動における終点右手支持位置とを有する。また、格上げ規則データ１４４は、前基本運動種別と、難度格上げ数とを有する。
　図１１において、技名は、着目する部分データについて、第１評価部１５５により特定された技名に対応し、難度の格上げを行うか否かの対象となるものである。前運動における体躯回転角度は、前部分データに含まれる始点のフレームから終点のフレームまでの体躯ベクトルの回転角度の総和を示す。例えば、回転角度は、図９で説明したように、体躯ベクトルをＸＹ平面に投影した場合の、回転角度とする。前部分データの始点となるフレームの体躯ベクトルをＸＹ平面に投影した位置を０°として、回転角度の合計が算出される。
　前運動における始点左手支持位置は、前部分データに含まれる始点のフレームにおいて、対象者５の左手（左手首）の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。前運動における始点右手支持位置は、前部分データに含まれる始点のフレームにおいて、対象者５の右手（右手首）の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。
　前運動における終点左手支持位置は、前部分データに含まれる終点のフレームにおいて、対象者５の左手（左手首）の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。前運動における終点右手支持位置は、前部分データに含まれる終点のフレームにおいて、対象者５の右手（右手首）の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。
　前基本運動種別は、前部分データに対応する基本運動の種別を示すものである。
　難度格上げ数は、該当する条件にヒットする場合に、第１評価部１５５によって特定された技の難度を何段階格上げするのかを示す情報である。例えば、第１評価部１５５によって特定された技名が「正交差」であり、体躯回転角度が「３６０°未満」であり、前運動における始点・終点、左手・右手の各支持位置が「３」であり、前基本運動種別が「倒立ひねり」であるとする。この場合には、格上げ規則データ１４４の１列目のレコードにヒットし、難度格上げ数は「１」となる。例えば、現在の難度が「Ａ」である場合には、１段階難度を格上げすると、補正後の難度は「Ｂ」となる。
　評価結果データ１４５は、対象者５の演技の評価結果に関する情報を保持するデータである。図１２は、評価結果データのデータ構造の一例を示す図である。図１２に示すように、この評価結果データ１４５は、フレーム番号、右手位置、左手位置、体躯角度、足の高さ、体躯向き、分節フラグ、基本運動種別、技名、難度、Ｅスコアを対応付ける。
　フレーム番号は、フレームを一意に識別する情報である。右手位置は、対象者５の右手（右手首）の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。左手位置は、対象者５の左手（左手首）の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。
　体躯角度は、対象者５の体躯角度を示すものである。例えば、該当するフレームから求められる体躯ベクトルをＸＹ平面に投影した場合の線分と、Ｙ軸とのなす角を、体躯角度とする。足の高さは、対象者５の右足（右足首）の位置および対象者の左足（左足首）位置のうち、高い方の位置を示すものである。
　体躯向きは、体躯ベクトルのＺ軸の向きが正の方向であるか負の方向であるかを示すものである。体躯向きが「下」とは、体躯ベクトルのＺ軸の向きが負であることを示す。体躯向きが「上」とは、体躯ベクトルのＺ軸の向きが正であることを示す。
　分節フラグは、該当するフレームが分節点に対応するか否かを示す情報である。該当するフレームが分節点であるか否かは、後述する分節部１５３によって判定される。該当するフレームが分節点である場合には、分節フラグが「１」となる。該当するフレームが分節点でない場合には、分節フラグが「０」となる。
　基本運動種別、技名、難度に関する説明は、図８で説明した基本運動種別、技名、難度に関する説明と同様である。
　Ｅスコア（Execution　score）は、部分データに対応する基本運動種別のＥスコアを示すものである。Ｅスコアは、後述する第２評価部１５７により算出される。
　図４の説明に戻る。制御部１５０は、取得部１５１、算出部１５２、分節部１５３、識別部１５４、第１評価部１５５、格上げ部１５６、第２評価部１５７、表示制御部１５８を有する。制御部１５０は、ＣＰＵ（Central　Processing　Unit）やＭＰＵ（Micro　Processing　Unit）などによって実現できる。また、制御部１５０は、ＡＳＩＣ（Application　Specific　Integrated　Circuit）やＦＰＧＡ（Field　Programmable　Gate　Array）などのハードワイヤードロジックによっても実現できる。
　取得部１５１は、骨格認識装置２０から骨格データ１４１を取得する処理部である。取得部１５１は、取得した骨格データ１４１を記憶部１４０に登録する。骨格データ１４１のデータ構造は、図３で説明したものである。
　算出部１５２は、骨格データ１４１を基にして、算出結果データ１４２を算出する処理部である。算出結果データ１４２のデータ構造は、図５で説明したものである。算出結果データ１４２のうち、フレーム番号に対応する手・足の位置データ、体躯ベクトルデータは、算出部１５２により登録され、分節番号は、分節部１５３により登録される。
　算出部１５２は、フレーム毎に、手・足の位置データ、体躯ベクトルデータを算出する。例えば、算出部１５２は、骨格データ１４１の特徴点５ｄ，５ｇの３次元座標を、手の位置として算出する。算出部１５２は、骨格データ１４１の特徴点５ｍ，５ｐの３次元座標を、足の位置として算出する。算出部１５２は、該当するフレームのフレーム番号と対応付けて、手・足の位置データを、算出結果データ１４２に登録する。
　算出部１５２は、右肩関節の特徴点５ｂと、左肩関節の特徴点５ｅと、背中の特徴点５ｉとを通る平面６の法線ベクトルを、体躯ベクトルとして算出する。算出部１５２は、該当するフレームのフレーム番号と対応付けて、体躯ベクトルデータを、算出結果データ１４２に登録する。
　算出部１５２は、骨格データ１４１の各フレームについて、上記処理を繰り返し実行することで、算出結果データ１４２を生成する。
　分節部１５３は、算出結果データ１４２を基にして、分節点となるフレームを特定し、特定した分節点に基づいて、複数のフレームを複数のグループに分類する処理部である。分節部１５３は、算出結果データ１４２にアクセスし、同一のグループに属するフレームの分節番号を、同一に設定する。
　分節部１５３は、算出結果データ１４２において、あるフレーム番号に対応する手・足の位置データを参照する。分節部１５３は、下記の条件Ａ１、Ａ２、Ａ３を全て満たす場合に、あるフレーム番号に対応するフレームが、分節点であると判定する。条件Ａ１～Ａ３を全て満たす場合には、対象者５は両手を鞍馬８につき、体躯ベクトルの方向が下向きになっていることを意味する。
　条件Ａ１：対象者５の左手の位置が、図１０に示した領域８ａ～８ｅのいずれかに位置する。
　条件Ａ２：対象者５の右手の位置が、図１０に示した領域８ａ～８ｅのいずれかに位置する。
　条件Ａ３：体躯ベクトルのＺ軸成分が負である。
　分節部１５３は、評価結果データにアクセスし、分節点であると判定したフレーム番号に対応する分節フラグを「１」に設定する。分節フラグの初期値を「０」とする。
　図１３は、分節部の処理の一例を説明するための図である。図１３に示す複数のフレームは、時系列に並んでいる。一例として、フレーム３０ａ、３１ａ，３２ａが、上記の条件Ａ１～Ａ３を満たし、分節点のフレームであるとする。この場合には、分節部１５３は、範囲３０に含まれる各フレームを同一のグループに分類する。分節部１５３は、範囲３１に含まれる各フレームを同一のグループに分類する。分節部１５３は、範囲３２に含まれる各フレームを同一のグループに分類する。
　範囲３０に含まれる各フレームの分節番号は「ｎ」、範囲３１に含まれる各フレームの分節番号は「ｎ＋１」、範囲３２に含まれる各フレームの分節番号は「ｎ＋２」となる。ｎは１以上の自然数とする。
　例えば、範囲３０に含まれる各フレームにおいて、先頭のフレーム３０ａが、始点のフレームとなり、末尾のフレーム３０ｂが、終点のフレームとなる。範囲３１に含まれる各フレームにおいて、先頭のフレーム３１ａが、始点のフレームとなり、末尾のフレーム３１ｂが、終点のフレームとなる。範囲３２に含まれる各フレームにおいて、先頭のフレーム３２ａが、始点のフレームとなり、末尾のフレーム３２ｂが、終点のフレームとなる。
　ここで、「部分データ」、「前部分データ」について再度説明する。範囲３０，３１，３２に含まれる各フレームをまとめたデータが、それぞれ、部分データとなる。着目する部分データを、範囲３１に含まれる各フレームであるとすると、前部分データは、範囲３１に含まれる各フレームとなる。
　識別部１５４は、部分データ毎に、部分データに含まれるフレームの特徴点の動きを基にして、部分データに対応する基本運動種別を識別する処理部である。識別部１５４は、部分データに含まれるフレームの特徴点の情報を、算出結果データ１４２から取得する。識別部１５４は、部分データに対応する基本運動種別を識別すると、識別結果を、フレーム番号と対応付けて、評価結果データ１４５に登録する。
　例えば、識別部１５４は、ＨＭＭ（Hidden　Markov　Model）を利用する。ＨＭＭは、時系列データを入力とし、その時系列データがどのカテゴリ（基本運動種別）に属するのかを決定する確率モデルである。識別部１５４には、学習フェーズと、認識フェーズとがある。
　ＨＭＭは、学習フェーズにおいて、基本運動種別毎に４組のパラメータセットλを求めておく。パラメータセットλは、式（１）によって定義される。
λ＝｛Ｑ、Ａ、Ｂ、Π｝・・・（１）
　式（１）において、Ｑは、状態の集合を示し、式（２）によって定義される。
Ｑ＝｛ａ１、ｑ２、・・・、ｑｎ｝・・・（２）
　式（１）において、Ａは、状態ｑｉから状態ｑｊへの遷移確率ａｉｊの集合である状態遷移確率行列を示し、式（３）によって定義される。
Ａ＝｛ａｉｊ｝・・・（３）
　式（１）において、Ｂは、状態ｑｊでのベクトルｘを出力する確率分布の集合を示す。式（１）において、Πは、初期状態の集合を示し、式（４）によって定義される。
Π＝｛πｉ｝・・・（４）
　ここで、状態ｑｉでの確率密度関数は、式（５）で定義される。式（５）において、ｕｉは、確率密度関数の平均ベクトルを示す。Σｉは、確率密度関数の共分散行列を示す。
Figure JPOXMLDOC01-appb-M000001
　識別部１５４の学習フェーズの処理の一例について説明する。識別部１５４は、ある基本運動種別のパラメータセットλを求める場合に、初期状態としてＨＭＭのパラメータをランダムに設定する。識別部１５４は、ある基本運動識別に対応する部分データを複数用意し、部分データOsegmentに対してＨＭＭの尤度Ｐ（Osegment｜Λｋ）を算出する処理を行う。
　識別部１５４は、尤度Ｐが最大となる部分データを、ＨＭＭに関するΛｋの教師信号とし、Λｋのパラメータセットを最適化する処理を繰り返し実行する。識別部１５４は、係る処理により、ある基本運動種別のパラメータセットλを特定する。識別部１５４は、他の基本運動種別についても同様の処理を行うことで、基本運動種別毎のパラメータセットλを学習する。
　識別部１５４の認識フェーズの処理の一例について説明する。識別部１５４は、基本運動種別の認識対象となる部分データを取得すると、式（６）に基づき、学習フェーズで学習したパラメータセットを変えつつ、パラメータセットλ毎のΛｋのうち、最大となるΛｋ０を特定する。識別部１５４は、Λｋ０を算出した際に用いたパラメータセットλに対応する基本運動種別を、認識対象となる部分データの基本運動種別として判定する。
Figure JPOXMLDOC01-appb-M000002
　第１評価部１５５は、時系列に連続する部分データに対応する基本運動種別の順序を基にして、対象者５が行った運動の技および難度を評価する処理部である。以下において、第１評価部１５５の処理の一例について説明する。ここでは、評価対象となる部分データを、単に部分データと表記し、評価対象となる部分データよりも一つ前の部分データを前部分データと表記する。
　第１評価部１５５は、部分データに含まれるフレーム番号と、評価結果データ１４５とを基にして、部分データの基本運動種別を特定する。第１評価部１５５は、前部分データに含まれるフレーム番号と、評価結果データ１４５とを基にして、前部分データの前基本運動種別を特定する。
　第１評価部１５５は、部分データに含まれる始点のフレームのフレーム番号をキーにして、算出結果データ１４２を参照し、始点体躯角度領域、始点左手支持位置、始点右手支持位置を特定する。第１評価部１５５は、部分データに含まれる終点のフレームのフレーム番号をキーにして、算出結果データ１４２を参照し、終点体躯角度領域、終点左手支持位置、終点右手支持位置を特定する。
　例えば、第１評価部１５５は、図９で説明した各角度領域の定義と、体躯ベクトルとを比較して、始点体躯角度領域、終点体躯角度領域を特定する。第１評価部１５５は、図１０で説明した各領域８ａ～８ｅと、手の位置データとを比較することで、始点左手支持位置、始点右手支持位置、終点左手支持位置、終点右手支持位置を特定する。
　第１評価部１５５は、特定した各情報と、技認定規則データ１４３とを比較して、部分データに対応する技名と難度とグループとを特定する。ここで、特定した各情報は、基本運動種別、前運動種別を含む。また、特定した各情報は、始点体躯角度領域、始点左手支持位置、始点右手支持位置、終点体躯角度領域、終点左手支持位置、終点右手支持位置を含む。
　第１評価部１５５は、特定した技名と難度とグループとを、部分データに含まれるフレームのフレーム番号と対応付けて、評価結果データ１４５に登録する。また、第１評価部１５５は、フレーム番号と対応付けて、右手位置、左手位置、体躯角度、足の高さ、体躯向きを登録する。第１評価部１５５は、他の部分データについても上記処理を繰り返し実行することで、技名、難度、グループを特定し、評価結果データ１４５に登録する。
　格上げ部１５６は、第１評価部１５５が評価した難度を格上げするか否かを判定し、判定結果を基にして、難度を格上げする処理部である。以下において、格上げ部１５６の処理の一例について説明する。ここでは、評価対象となる部分データを、単に部分データと表記し、評価対象となる部分データよりも一つ前の部分データを前部分データと表記する。
　格上げ部１５６は、部分データに含まれるフレームのフレーム番号をキーにして、評価結果データ１４５を参照し、第１評価部１５５により評価された、部分データに対応する技名を特定する。
　格上げ部１５６は、部分データに含まれる各フレームの体躯ベクトルを基にして、体躯回転角度を算出する。体躯回転角度は、始点のフレームから終点のフレームまでの体躯角度の変化の総和である。格上げ部１５６は、各フレームの体躯ベクトルのデータを、算出結果データ１４２から取得する。
　格上げ部１５６は、部分データに含まれる始点のフレームのフレーム番号をキーにして、算出結果データ１４２を参照し、始点左手支持位置、始点右手支持位置を特定する。格上げ部１５６は、部分データに含まれる終点のフレームのフレーム番号をキーにして、算出結果データ１４２を参照し、終点左手支持位置、終点右手支持位置を特定する。格上げ部１５６は、前部分データに含まれるフレーム番号と、評価結果データ１４５とを基にして、前部分データの前基本運動種別を特定する。
　格上げ部１５６は、特定した各情報と、格上げ規則データ１４４とを比較して、部分データに対応する難度を格上げするか否かを判定する。ここで、特定した各情報は、技名、体躯回転角度、始点左手支持位置、始点右手支持位置、終点左手支持位置、終点右手支持位置、前基本運動種別を含む。
　格上げ部１５６は、特定した各情報にヒットする列レコードが、格上げ規則データ１４４に存在する場合には、難度を格上げすると判定する。格上げ部１５６は、特定した各情報にヒットする列レコードが、格上げ規則データ１４４に存在しない場合には、難度を格上げしないと判定する。何段階格上げするのかは、ヒットした列レコードの難度格上げ数を参照する。
　例えば、部分データの技名が「正交差」であり、体躯回転角度が「３６０°未満」であり、前運動における始点・終点、左手・右手の各支持位置が「３」であり、前基本運動種別が「倒立ひねり」であるとする。この場合には、格上げ規則データ１４４の１列目のレコードにヒットし、難度格上げ数は「１」となる。そして、部分データの現在の難度が「Ａ」である場合には、格上げ部１５６は、難度を「Ｂ」に補正する。
　格上げ部１５６は、他の部分データについても上記処理を繰り返し実行することで、評価結果データ１４５の難度を更新する。
　第２評価部１５７は、各部分データについて、基本運動のＥスコアを評価する処理部である。第２評価部１５７には、予め基本運動種別毎に、Ｅスコアを算出するためのポリシーが設定されているものとする。ここでは一例として、第２評価部１５７が、基本運動種別「下り」のＥスコアを算出する例について説明する。ここでの「下り」は、鞍馬から対象者５が下りる際の基本運動を示す。
　第２評価部１５７は、式（７）に示す評価関数Ｆ（ｋ）を用いる。評価関数Ｆ（ｋ）は、評価対象となる部分データに含まれる複数のフレームのうち、ｋ番目のフレームを評価する関数である。
　Ｆ（ｋ）＝ａｒｃｓｉｎ（Ｔｚ／Ｔｘ）・・・（７）
　図１４は、評価関数Ｆ（ｋ）を説明するための図である。図１４において、Ｔｘは、ｋ番目のフレームにおける対象者５の肩関節から足先（足首）までのＸ成分の長さに対応する。Ｔｚは、ｋ番目のフレームにおける対象者５の肩関節から足先までのＺ成分の長さに対応する。例えば、肩関節の位置は、特徴点５ｂまたは５ｅの位置に対応する。足先は、特徴点５ｍまたは５ｐの位置に対応する。
　第２評価部１５７は、「下り」を評価する場合には、対象となる部分データに含まれる各フレームについて、上記処理を繰り返し実行し、各フレームに対するＦ（ｋ）の値を算出する。第２評価部１５７は、各フレームにおいて、Ｆ（ｋ）の値が３０°未満となるフレームが出現した場合には、欠点「０．３」を決定する。
　第２評価部１５７は、式（８）に基づいて、基本運動に対する最終的なＥスコアを算出する。式（８）に示すΣは、全ての部分データにおける評価関数の結果で決定された欠点の総和を示すものである。なお、上記では一例として「下り」の評価関数について説明したが、その他の基本運動についても、該当する基本運動に対応した評価関数により欠点が決定される。例えば、「旋回」の部分データの評価関数は、左右足先の揃い方を評価する評価関数となり、左右両足が揃わないほど、欠点が大きくなる。
　Ｅスコア＝１０－Σ・・・（８）
　第２評価部１５７は、算出したＥスコアの情報を、フレーム番号に対応付けて、評価結果データ１４５に登録する。第２評価部１５７は、同一の部分データに含まれる各フレームのレコードに、Ｅスコアを登録しても良いし、同一の部分データに含まれる各フレームのうち、始点のフレームのレコードに、Ｅスコアを登録して良い。第２評価部１５７は、他の部分データについても同様にＥスコアを算出し、評価結果データ１４５に登録する。
　なお、上記の第１評価部１５５は、評価結果データ１４５と、規則を示す論理式により、技の難度を再判定しても良い。規則を表す論理式は、各基本運動の技名の順序と、Ｄスコア（Difficulty　score）とを対応付ける論理式である。
　表示制御部１５８は、評価結果データ１４５を基にして、表示画面を生成し、表示部１３０に表示させる処理部である。図１５は、表示画面の一例を示す図である。図１５に示すように、この表示画面５０には、領域５０ａ～５０ｇが含まれる。なお、表示制御部１５８は、評価結果データ１４５をそのまま、表示部１３０に表示しても良い。
　領域５０ａは、現在の対象者５の手・足の位置データ、体躯ベクトルデータを表示する領域である。領域５０ｂは、対象者５の演技開始時の手・足の位置データ、体躯ベクトルデータを表示する領域である。領域５０ｃは、現在のフレームよりも１つ前のフレームにより特定される対象者５の手・足の位置データ、体躯ベクトルデータを表示する領域である。領域５０ｄは、現在のフレームよりも２つ前のフレームにより特定される対象者５の手・足の位置データ、体躯ベクトルデータを表示する領域である。領域５０ｅは、現在のフレームよりも３つ前のフレームにより特定される対象者５の手・足の位置データ、体躯ベクトルデータを表示する領域である。領域５０ｆは、現在のフレームを含む部分データにより特定される基本運動の技名を表示する領域である。領域５０ｇは、３Ｄセンサ１０の情報を可視化した画像を表示する領域である。
　次に、本実施例に係る運動認識装置１００の処理手順について説明する。図１６および図１７は、運動認識装置の処理手順を示すフローチャートである。図１６に示すように、運動認識装置１００は、処理対象のフレーム番号を、フレーム番号に１を加算した値によって更新する（ステップＳ１０１）。運動認識装置１００の算出部１５２は、骨格データ１４１を読み込む（ステップＳ１０２）。
　算出部１５２は、骨格データ１４１を基にして、手・足の位置データ、体躯ベクトルデータを算出する（ステップＳ１０３）。運動認識装置１００の分節部１５３は、正面支持フラグの設定を行う（ステップＳ１０４）。ステップＳ１０４において、分節部１５３は、上述した条件Ａ１，Ａ２，Ａ３を全て満たす場合に、正面支持フラグを「１」に設定する。分節部１５３は、条件Ａ１，Ａ２，Ａ３の全てを満たさない場合には、正面支持フラグを「０」に設定する。正面支持フラグは、処理対象のフレーム番号と対応付けられる。
　分節部１５３は、着地フラグを設定する（ステップＳ１０５）。ステップＳ１０５において、分節部１５３は、対象者５の左足先（左足首）の位置または右足（右足首）の位置が所定の閾値未満である場合に、着地フラグを「１」に設定する。分節部１５３は、対象者５の左足先（左足首）の位置または右足（右足首）の位置が所定の閾値以上である場合に、着地フラグを「０」に設定する。着地フラグは、処理対象のフレーム番号と対応付けられる。
　分節部１５３は、分節点判定処理を行う（ステップＳ１０６）。ステップＳ１０６において、分節部１５３は、前回のフレーム番号に対応する正面支持フラグが「０」で、かつ、処理対象のフレーム番号に対応する正面支持フラグが「１」である場合に、処理対象のフレーム番号に対応するフレームが、分節点であると判定する。分節部１５３は、前回のフレーム番号に対応する正面支持フラグが「１」であるか、または、処理対象のフレーム番号に対応する正面支持フラグが「０」である場合に、処理対象のフレーム番号に対応するフレームが、分節点でないと判定する。
　分節部１５３は、分節点でないと判定した場合には（ステップＳ１０７，Ｎｏ）、フレーム番号に対応付けて、手・足の位置データ、体躯ベクトルデータ、現在の分節番号を、算出結果データ１４２に登録し（ステップＳ１０８）、ステップＳ１０１に移行する。
　分節部１５３は、分節点であると判定した場合には（ステップＳ１０７，Ｙｅｓ）、現在の分節番号を更新し（ステップＳ１０９）、図１７のステップＳ１１０に移行する。
　運動認識装置１００の識別部１５４は、分節番号ｎのフレームを基にして、基本運動種別を判定する（ステップＳ１１０）。運動認識装置１００の第１評価部１５５は、技認定規則データ１４３を基にして、技名と難度とを判定する（ステップＳ１１１ａ）。運動認識装置１００の格上げ部１５６は、格上げ規則データ１４４を基にして、難度を格上げし（ステップＳ１１２）、ステップＳ１１３に移行する。
　運動認識装置１００の第２評価部１５７は、基本運動に関するＥスコアを算出し（ステップＳ１１１ｂ）、ステップＳ１１３に移行する。
　運動認識装置１００は、フレーム番号に対応付けて、技と難度とＥスコアとを評価結果テーブル１４５に登録する（ステップＳ１１３）。
　運動認識装置１００は、演技終了判定処理を行う（ステップＳ１１４）。ステップＳ１１４において、運動認識装置１００は、技の属するグループが所定のグループである場合に、演技が終了であると判定する。運動認識装置１００は、着地フラグを集計した落下カウントの値が所定数以上である場合に、演技が終了であると判定する。
　運動認識装置１００は、演技が終了でない場合には（ステップＳ１１５，Ｎｏ）、図１６のステップＳ１０１に移行する。運動認識装置１００は、演技が終了である場合には（ステップＳ１１５，Ｙｅｓ）、着地フラグ、落下カウント、分節番号を初期値に設定する（ステップＳ１１６）。
　運動認識装置１００の第１評価部１５５は、評価結果データ１４５と、規則を示す論理式により、技の難度を再判定し、Ｄスコアを算出する（ステップＳ１１７）。運動認識装置１００の表示制御部１５８は、評価結果を表示する（ステップＳ１１８）。
　次に、図１７のステップＳ１１１ａで説明した技認定規則データを基にして技名と難度とを判定する処理の一例について説明する。図１８は、技名と難度と判定する処理手順を示すフローチャートである。図１８に示すように、運動認識装置１００の第１評価部１５５は、分節番号ｎに対応するフレームの手・足の位置データおよび体躯ベクトルデータを、算出結果データ１４２から取得する（ステップＳ２０１）。
　第１評価部１５５は、始点のフレームに対応する手・足の位置データを基にして、始点体躯角度領域、始点左手支持位置、始点右手支持位置を特定する（ステップＳ２０２）。第１評価部１５５は、終点のフレームに対応する手・足の位置データを基にして、終点体躯角度領域、終点左手支持位置、終点右手支持位置を特定する（ステップＳ２０３）。
　第１評価部１５５は、分節番号ｎに対応する基本運動種別および前運動種別を特定する（ステップＳ２０４）。
　第１評価部１５５は、特定した各情報と、技認定規則データ１４３とを比較して、ヒットする列レコードが存在するか否かを判定する（ステップＳ２０５）。ここで、特定した各情報は、始点体躯角度領域、始点左手支持位置、始点右手支持位置、終点体躯角度領域、終点左手支持位置、終点右手支持位置、基本運動種別、前基本運動種別を含む。
　第１評価部１５５は、ヒットした場合には（ステップＳ２０６，Ｙｅｓ）、ヒットした列レコードに含まれる技名、グループ、難度を、分節番号ｎに対応する技名、グループ、難度として特定する（ステップＳ２０７）。
　第１評価部１５５は、ヒットしない場合には（ステップＳ２０６，Ｎｏ）、分節番号ｎに対応する技名を不明とし、グループおよび難度を０とする（ステップＳ２０８）。
　次に、図１７のステップＳ１１２で説明した格上げ規則データを基にして難度を格上げする処理の一例について説明する。図１９は、難度を格上げする処理手順を示すフローチャートである。図１９に示すように、運動認識装置１００の格上げ部１５６は、分節番号ｎに対応するフレームの手・足の位置データおよび体躯ベクトルデータを、算出結果データ１４２から取得する（ステップＳ３０１）。
　格上げ部１５６は、始点のフレームから終点のフレームの体躯ベクトルを基にして、体躯回転角度を算出する（ステップＳ３０２）。
　格上げ部１５６は、始点のフレームに対応する手・足の位置データを基にして、始点左手支持位置、始点右手支持位置を特定する（ステップＳ３０３）。終点のフレームに対応する手・足の位置データを基にして、終点左手支持位置、終点右手支持位置を特定する（ステップＳ３０４）。
　格上げ部１５６は、分節番号ｎに対応する技名および前基本運動種別を特定する（ステップＳ３０５）。
　格上げ部１５６は、特定した各情報と、格上げ規則データ１４４とを比較して、ヒットする列レコードが存在するか否かを判定する（ステップＳ３０６）。格上げ部１５６は、ヒットした場合には（ステップＳ３０７，Ｙｅｓ）、難度格上げ数に応じて、難度を格上げする（ステップＳ３０８）。格上げ部１５６は、ヒットしない場合には（ステップＳ３０７，Ｎｏ）、処理を終了する。
　図２０は、運動認識装置の処理の一例を示す図である。図２０に示す例では、分節部１５３は、算出結果データ１４２を基にして、分節点６０ａ～６０ｇを設定する。例えば、分節点６０ａ，６０ｂ，６０ｃのフレームでは、対象者５の左手支持位置が「２」、右手支持位置が「４」となっている。分節点６０ｄのフレームでは、対象者５の左手支持位置が「４」、右手支持位置が「４」となっている。分節点６０ｅのフレームでは、対象者５の左手支持位置が「４」、右手支持位置が「２」となっている。分節点６０ｆ，６０ｇのフレームでは、対象者５の左手支持位置が「２」、右手支持位置が「２」となっている。なお、分節点６０ａ～６０ｇのフレームでは、図示を省略するが、体躯ベクトルが下を向いているものとする。
　一例として、分節点６０ａ，６０ｂ，６０ｃのフレームの体躯角度は１８０°である。分節点６０ｄのフレームの体躯角度は９０°である。分節点６０ｅのフレームの体躯角度は０°である。分節点６０ｆ，６０ｇのフレームの体躯角度は２７０°である。
　一例として、識別部１５４は、分節点６０ａから６０ｂに含まれる各フレームの特徴点の動きから、基本運動種別を「ＣＣＷ旋回」と判定する。識別部１５４は、分節点６０ｂから６０ｃに含まれる各フレームの特徴点の動きから、基本運動種別を「ＣＣＷ旋回」と判定する。識別部１５４は、分節点６０ｃから６０ｄに含まれる各フレームの特徴点の動きから、基本運動種別を「ＣＣＷ下向き逆１／４転向」と判定する。識別部１５４は、分節点６０ｄから６０ｅに含まれる各フレームの特徴点の動きから、基本運動種別を「ＣＣＷ上向き逆１／４旋回」と判定する。識別部１５４は、分節点６０ｅから６０ｆに含まれる各フレームの特徴点の動きから、基本運動種別を「ＣＣＷ下向き逆１／４旋回」と判定する。識別部１５４は、分節点６０ｆから６０ｇに含まれる各フレームの特徴点の動きから、基本運動種別を「ＣＣＷ旋回」と判定する。
　一例として、第１評価部１５５は、技認定規則データ１４３を基にして、分節点６０ａから６０ｂに含まれる各フレーム間に対象者が行った技名を「横旋回」、難度「Ａ」と判定する。第１評価部１５５は、技認定規則データ１４３を基にして、分節点６０ｂから６０ｃに含まれる各フレーム間に対象者が行った技名を「横旋回」、難度「Ａ」と判定する。第１評価部１５５は、技認定規則データ１４３を基にして、分節点６０ｃから６０ｅに含まれる各フレーム間に対象者が行った技名を「把手上下向き転向」、難度「Ｂ」と判定する。第１評価部１５５は、技認定規則データ１４３を基にして、分節点６０ｅから６０ｆに含まれる各フレーム間に対象者が行った技名、難度はヒットせず、技名「不明」、難度「－」と判定する。第１評価部１５５は、技認定規則データ１４３を基にして、分節点６０ｆから６０ｇに含まれる各フレーム間に対象者が行った技名を「一把手上縦向き旋回」、難度「Ｂ」と判定する。
　一例として、第２評価部１５７は、分節点６０ａから６０ｂに含まれる各フレーム間に対象者が行った演技のＥスコアを「８」と判定する。第２評価部１５７は、分節点６０ｂから６０ｃに含まれる各フレーム間に対象者が行った演技のＥスコアを「８．５」と判定する。第２評価部１５７は、分節点６０ｃから６０ｅに含まれる各フレーム間に対象者が行った演技のＥスコアを「７．８」と判定する。第２評価部１５７は、分節点６０ｅから６０ｆに含まれる各フレーム間に対象者が行った演技のＥスコアを「１」と判定する。第２評価部１５７は、分節点６０ｆから６０ｇに含まれる各フレーム間に対象者が行った演技のＥスコアを「８．３」と判定する。
　次に、本実施例に係る運動認識装置１００の効果について説明する。運動認識装置１００は、対象者５の骨格データ１４１を基にして、分節点となるフレームを特定し、複数の部分データに分類する。運動認識装置１００は、各部分データの基本運動種別を特定し、時系列に連続する部分データの基本運動種別の順序を基にして、対象者が行った運動の技名および難度を評価する。このように、基本運動種別の順序に基づき、技名および難度を評価するため、運動認識装置１００によれば、対象者５の演技を効率的に評価することができる。
　運動認識装置１００は、時系列に連続する部分データの基本運動種別の順序および体躯回転角度を基にして、運動の難度を格上げする。このため、競技の複雑な評価基準に対応した正確な難度を特定することができる。
　運動認識装置１００は、部分データに含まれる各フレームの特徴点の特徴と点数とを対応付けた評価基準に基づいて、部分データに対応するＥスコアを算出する。このため、技や難度に加えて、Ｅスコアも適切に算出することができる。
　運動認識装置１００は、体躯ベクトルが下方向を向き、かつ、対象者５の両手が、予め定められた領域に位置するフレームを、分節点として特定する。このため、複数のフレームを適切に分節することができ、技や難度の判定精度を向上することができる。
　ところで、本実施例に係る運動認識装置１００の算出部１５２は、右肩関節の特徴点５ｂと、左肩関節の特徴点５ｅと、背中の特徴点５ｉとを通る平面６の法線ベクトル７を、体躯ベクトルとして算出していたが、これに限定されるものではない。
　図２１は、その他の体躯ベクトルの一例を説明するための図である。算出部１５２は、各股関節（右股関節、左股関節）の特徴点５ｋ，５ｎと、背中の特徴点５ｉとを通る平面６ａの法線ベクトル７ａを、体躯ベクトルとして算出してもよい。なお、法線ベクトル７ａの方向は、対象者５の腹側とし、法線ベクトル７ａの大きさを「１」とする。以下の説明では、法線ベクトル７ａを、体躯ベクトル７ａと表記する。体躯ベクトル７ａの始点は、平面（三角形）６ａ上に固定されていればどこでもよいが、特徴点５ｋ，５ｎの中点であっても良いし、平面６ａの重心であってもよい。分節部１５３は、体躯ベクトル７の代わりに、体躯ベクトル７ａを用いた場合でも、複数のフレームを適切に分節することができ、技や難度の判定精度を向上することができる。さらに、体躯ベクトル７ａは、体躯ベクトル７と比較して、胴体下部の向きを評価することに適している。
　なお、計算部１５２は、対象者５の実際の運動と整合するように、特徴点５ｂ，５ｅ，５ｉ，５ｋ，５ｎの位置座標を全体の特徴点位置座標を用いて逆運動学計算で調整または推定し、体躯ベクトル７および体躯ベクトル７ａを算出してもよい。計算部１５２は、調整または推定した特徴点５ｂ，５ｅ，５ｉの平面６あるいは５ｉ，５ｋ，５ｎの平面６ａの単位法線ベクトルを、体躯ベクトルとして採用してもよい。このように、各特徴点５ｂ，５ｅ，５ｉ，５ｋ，５ｎの位置座標を実際の運動と整合するように調整または推定して算出した体躯ベクトル７，７ａを採用することで、オクルージョン等の理由により、対象者５の特徴点を直接検出出来ない場合や、特徴点の位置の誤差が大きくなる場合に対応でき、技の判定精度を向上させることができる。
　次に、上記実施例に示した運動認識装置１００と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図２２は、運動認識装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
　図２２に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、ユーザからのデータの入力を受け付ける入力装置２０２と、ディスプレイ２０３とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る読み取り装置２０４と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインタフェース装置２０５とを有する。コンピュータ２００は、インタフェース装置２０５を介して、骨格認識装置２０から骨格データを取得する。また、コンピュータ２００は、各種情報を一時記憶するＲＡＭ２０６と、ハードディスク装置２０７とを有する。そして、各装置２０１～２０７は、バス２０８に接続される。
　ハードディスク装置２０７は、取得プログラム２０７ａ、算出プログラム２０７ｂ、分節プログラム２０７ｃ、識別プログラム２０７ｄ、第１評価プログラム２０７ｅ、格上げプログラム２０７ｆ、第２評価プログラム２０７ｇ、表示プログラム２０７ｈを有する。ＣＰＵ２０１は、各プログラム２０７ａ～２０７ｈを読み出して、ＲＡＭ２０６に展開する。
　取得プログラム２０７ａは、取得プロセス２０６ａとして機能する。算出プログラム２０７ｂは、算出プロセス２０６ｂとして機能する。分節プログラム２０７ｃは、分節プロセス２０６ｃとして機能する。識別プログラム２０７ｄは、識別プロセス２０６ｄとして機能する。第１評価プログラム２０７ｅは、第１評価プロセス２０６ｅとして機能する。格上げプログラム２０７ｆは、格上げプロセス２０６ｆとして機能する。第２評価プログラム２０７ｇは、第２評価プロセス２０６ｇとして機能する。表示プログラム２０７ｈは、表示プロセス２０６ｈとして機能する。
　取得プロセス２０６ａの処理は、取得部１５１の処理に対応する。算出プロセス２０６ｂの処理は、算出部１５２の処理に対応する。分節プロセス２０６ｃの処理は、分節部１５３の処理に対応する。識別プロセス２０６ｄの処理は、識別部１５４の処理に対応する。第１評価プロセス２０６ｅの処理は、第１評価部１５５の処理に対応する。格上げプロセス２０６ｆの処理は、格上げ部１５６の処理に対応する。第２評価プロセス２０６ｇの処理は、第２評価部１５７の処理に対応する。表示プロセス２０６ｈの処理は、表示制御部１５８の処理に対応する。
　なお、各プログラム２０７ａ～２０７ｈについては、必ずしも最初からハードディスク装置２０７に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ２００が各プログラム２０７ａ～２０７ｈを読み出して実行するようにしても良い。
　１０　３Ｄセンサ
　２０　骨格認識装置
　１００　運動認識装置

Claims (15)

  1. 　対象者の体の所定の部位または関節部に対応する特徴点の位置情報を含む複数のフレームを、前記対象者の体の所定の部位の位置に基づいて時系列に分節することで、前記複数のフレームを時系列に複数のグループに分類する分節部と、
    　グループ毎に、連続するフレームに含まれる特徴点の動きを基にして、グループに対応する基本運動の種別を識別する識別部と、
    　時系列に連続するグループに対応する基本運動の種別の順序を基にして、前記対象者が行った運動の技および難度を評価する第１評価部と
    　を有することを特徴とする運動認識装置。
  2. 　時系列に連続するグループに対応する基本運動の順序および前記対象者の体躯の回転角度を基にして、前記第１評価部に評価された前記対象者が行った運動の難度を格上げする格上げ部を更に有することを特徴とする請求項１に記載の運動認識装置。
  3. 　フレームに含まれる特徴点の特徴と点数とを対応付けた評価基準を基にして、グループ毎に、フレームに含まれる特徴点の特徴と前記評価基準とを比較することで、グループ毎の点数を特定し、グループのスコアを評価する第２評価部を更に有することを特徴とする請求項１または２に記載の運動認識装置。
  4. 　前記分節部は、前記対象者の両肩と背中とを通る平面の法線ベクトルの方向と、前記対象者の両手の位置とを基にして、分節点となるフレームを判定する処理を繰り返し実行し、分節点となるフレームに挟まれる複数のフレームを１つのグループに分類することを特徴とする請求項１に記載の運動認識装置。
  5. 　前記分節部は、前記対象者の両股と背中とを通る平面の法線ベクトルの方向と、前記対象者の両手の位置とを基にして、分節点となるフレームを判定する処理を繰り返し実行し、分節点となるフレームに挟まれる複数のフレームを１つのグループに分類することを特徴とする請求項１に記載の運動認識装置。
  6. 　コンピュータに、
    　対象者の体の所定の部位または関節部に対応する特徴点の位置情報を含む複数のフレームを、前記対象者の体の所定の部位の位置に基づいて時系列に分節することで、前記複数のフレームを時系列に複数のグループに分類し、
    　グループ毎に、連続するフレームに含まれる特徴点の動きを基にして、グループに対応する基本運動の種別を識別し、
    　時系列に連続するグループに対応する基本運動の種別の順序を基にして、前記対象者が行った運動の技および難度を評価する
    　処理を実行させることを特徴とする運動認識プログラム。
  7. 　時系列に連続するグループに対応する基本運動の順序および前記対象者の体躯の回転角度を基にして、前記対象者が行った運動の難度を格上げする処理を更にコンピュータに実行させることを特徴とする請求項６に記載の運動認識プログラム。
  8. 　フレームに含まれる特徴点の特徴と点数とを対応付けた評価基準を基にして、グループ毎に、フレームに含まれる特徴点の特徴と前記評価基準とを比較することで、グループ毎の点数を特定し、グループのスコアを評価する処理を更にコンピュータに実行させることを特徴とする請求項６または７に記載の運動認識プログラム。
  9. 　前記分類する処理は、前記対象者の両肩と背中とを通る平面の法線ベクトルの方向と、前記対象者の両手の位置とを基にして、分節点となるフレームを判定する処理を繰り返し実行し、分節点となるフレームに挟まれる複数のフレームを１つのグループに分類することを特徴とする請求項６に記載の運動認識プログラム。
  10. 　前記分類する処理は、前記対象者の両股と背中とを通る平面の法線ベクトルの方向と、前記対象者の両手の位置とを基にして、分節点となるフレームを判定する処理を繰り返し実行し、分節点となるフレームに挟まれる複数のフレームを１つのグループに分類することを特徴とする請求項６に記載の運動認識プログラム。
  11. 　コンピュータが実行する運動認識方法であって、
    　対象者の体の所定の部位または関節部に対応する特徴点の位置情報を含む複数のフレームを、前記対象者の体の所定の部位の位置に基づいて時系列に分節することで、前記複数のフレームを時系列に複数のグループに分類し、
    　グループ毎に、連続するフレームに含まれる特徴点の動きを基にして、グループに対応する基本運動の種別を識別し、
    　時系列に連続するグループに対応する基本運動の種別の順序を基にして、前記対象者が行った運動の技および難度を評価する
    　処理を実行することを特徴とする運動認識方法。
  12. 　時系列に連続するグループに対応する基本運動の順序および前記対象者の体躯の回転角度を基にして、前記対象者が行った運動の難度を格上げする処理を更に実行することを特徴とする請求項１１に記載の運動認識方法。
  13. 　フレームに含まれる特徴点の特徴と点数とを対応付けた評価基準を基にして、グループ毎に、フレームに含まれる特徴点の特徴と前記評価基準とを比較することで、グループ毎の点数を特定し、グループのスコアを評価する処理を更に実行することを特徴とする請求項１１または１２に記載の運動認識方法。
  14. 　前記分類する処理は、前記対象者の両肩と背中とを通る平面の法線ベクトルの方向と、前記対象者の両手の位置とを基にして、分節点となるフレームを判定する処理を繰り返し実行し、分節点となるフレームに挟まれる複数のフレームを１つのグループに分類することを特徴とする請求項１１に記載の運動認識方法。
  15. 　前記分類する処理は、前記対象者の両股と背中とを通る平面の法線ベクトルの方向と、前記対象者の両手の位置とを基にして、分節点となるフレームを判定する処理を繰り返し実行し、分節点となるフレームに挟まれる複数のフレームを１つのグループに分類することを特徴とする請求項１１に記載の運動認識方法。
PCT/JP2017/036797 2016-10-11 2017-10-11 運動認識装置、運動認識プログラムおよび運動認識方法 WO2018070414A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN201780062410.0A CN109863535B (zh) 2016-10-11 2017-10-11 运动识别装置、存储介质以及运动识别方法
EP17859616.9A EP3528207B1 (en) 2016-10-11 2017-10-11 Motion recognition device, motion recognition program, and motion recognition method
JP2018545018A JP6733738B2 (ja) 2016-10-11 2017-10-11 運動認識装置、運動認識プログラムおよび運動認識方法
US16/362,701 US11176359B2 (en) 2016-10-11 2019-03-25 Motion recognition device and motion recognition method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2016/080150 WO2018069981A1 (ja) 2016-10-11 2016-10-11 運動認識装置、運動認識プログラムおよび運動認識方法
JPPCT/JP2016/080150 2016-10-11

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/362,701 Continuation US11176359B2 (en) 2016-10-11 2019-03-25 Motion recognition device and motion recognition method

Publications (1)

Publication Number Publication Date
WO2018070414A1 true WO2018070414A1 (ja) 2018-04-19

Family

ID=61905221

Family Applications (2)

Application Number Title Priority Date Filing Date
PCT/JP2016/080150 WO2018069981A1 (ja) 2016-10-11 2016-10-11 運動認識装置、運動認識プログラムおよび運動認識方法
PCT/JP2017/036797 WO2018070414A1 (ja) 2016-10-11 2017-10-11 運動認識装置、運動認識プログラムおよび運動認識方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/080150 WO2018069981A1 (ja) 2016-10-11 2016-10-11 運動認識装置、運動認識プログラムおよび運動認識方法

Country Status (5)

Country Link
US (1) US11176359B2 (ja)
EP (1) EP3528207B1 (ja)
JP (1) JP6733738B2 (ja)
CN (1) CN109863535B (ja)
WO (2) WO2018069981A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020038440A (ja) * 2018-09-03 2020-03-12 国立大学法人 東京大学 動作認識方法及び装置
CN111222737A (zh) * 2018-11-27 2020-06-02 富士施乐株式会社 用于实时技能评估的方法及***以及计算机可读介质
WO2021064963A1 (ja) 2019-10-03 2021-04-08 富士通株式会社 運動認識方法、運動認識プログラムおよび情報処理装置
WO2021064960A1 (ja) 2019-10-03 2021-04-08 富士通株式会社 運動認識方法、運動認識プログラムおよび情報処理装置
WO2021149250A1 (ja) 2020-01-24 2021-07-29 富士通株式会社 運動認識方法、運動認識プログラムおよび情報処理装置
JPWO2021199392A1 (ja) * 2020-04-02 2021-10-07
US20210398297A1 (en) * 2020-06-23 2021-12-23 Fujitsu Limited Behavior recognition method and information processing apparatus
JP2022506637A (ja) * 2019-01-29 2022-01-17 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 画像処理方法および装置、ネットワークトレーニング方法および装置
WO2022208859A1 (ja) * 2021-04-01 2022-10-06 富士通株式会社 技認識方法、技認識装置および体操採点支援システム
WO2023100246A1 (ja) * 2021-11-30 2023-06-08 富士通株式会社 技認識プログラム、技認識方法および情報処理装置
US11995845B2 (en) 2019-09-30 2024-05-28 Fujitsu Limited Evaluation method, storage medium, and information processing apparatus

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3527268A1 (en) * 2016-10-11 2019-08-21 Fujitsu Limited Scoring support program, scoring support apparatus, and scoring support method
WO2019146024A1 (ja) * 2018-01-24 2019-08-01 富士通株式会社 画面生成プログラム、画面生成方法および情報処理装置
US10853934B2 (en) 2018-09-19 2020-12-01 Indus.Ai Inc Patch-based scene segmentation using neural networks
US10769422B2 (en) 2018-09-19 2020-09-08 Indus.Ai Inc Neural network-based recognition of trade workers present on industrial sites
TWI715903B (zh) * 2018-12-24 2021-01-11 財團法人工業技術研究院 動作追蹤系統及方法
CN111382624B (zh) * 2018-12-28 2023-08-11 杭州海康威视数字技术股份有限公司 动作识别方法、装置、设备及可读存储介质
CN111460870A (zh) * 2019-01-18 2020-07-28 北京市商汤科技开发有限公司 目标的朝向确定方法及装置、电子设备及存储介质
CN110516112B (zh) * 2019-08-28 2021-04-27 北京理工大学 一种基于层次模型的人体动作检索方法及设备
CN112668359A (zh) * 2019-10-15 2021-04-16 富士通株式会社 动作识别方法、动作识别装置和电子设备
WO2021084165A1 (fr) 2019-11-03 2021-05-06 St37 Sport Et Technologie Procede et systeme de caracterisation d'un mouvement d'une entite en mouvement
JP6908312B1 (ja) * 2020-08-07 2021-07-21 ハイパーダイン株式会社 情報処理装置、情報処理方法及びプログラム
CN112288766B (zh) * 2020-10-28 2024-05-28 中国科学院深圳先进技术研究院 运动评估方法、装置、***及存储介质
GB2602248A (en) * 2020-11-11 2022-06-29 3D4Medical Ltd Motion assessment instrument
WO2022162781A1 (ja) * 2021-01-27 2022-08-04 富士通株式会社 行動系列判定装置、行動系列判定方法、及び行動系列判定プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012112402A2 (en) 2011-02-18 2012-08-23 Microsoft Corporation Motion recognition
WO2016056449A1 (ja) * 2014-10-10 2016-04-14 富士通株式会社 スキル判定プログラム、スキル判定方法、スキル判定装置およびサーバ

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4420512B2 (ja) * 1999-06-01 2010-02-24 富士通マイクロエレクトロニクス株式会社 移動物体間動作分類方法及び装置並びに画像認識装置
JP2005209137A (ja) * 2003-12-26 2005-08-04 Mitsubishi Heavy Ind Ltd 対象物認識方法及び対象物認識装置、並びに顔方向識別装置
JP5186656B2 (ja) * 2008-09-03 2013-04-17 独立行政法人産業技術総合研究所 動作評価装置および動作評価方法
US8755569B2 (en) * 2009-05-29 2014-06-17 University Of Central Florida Research Foundation, Inc. Methods for recognizing pose and action of articulated objects with collection of planes in motion
US9981193B2 (en) * 2009-10-27 2018-05-29 Harmonix Music Systems, Inc. Movement based recognition and evaluation
JP2011170856A (ja) * 2010-02-22 2011-09-01 Ailive Inc 複数の検出ストリームを用いたモーション認識用システム及び方法
JP2011215967A (ja) * 2010-03-31 2011-10-27 Namco Bandai Games Inc プログラム、情報記憶媒体及び物体認識システム
WO2012006549A2 (en) * 2010-07-09 2012-01-12 The Regents Of The University Of California System comprised of sensors, communications, processing and inference on servers and other devices
JP6011154B2 (ja) * 2012-08-24 2016-10-19 富士通株式会社 画像処理装置、画像処理方法
CN103839040B (zh) * 2012-11-27 2017-08-25 株式会社理光 基于深度图像的手势识别方法和装置
JP6044306B2 (ja) * 2012-12-03 2016-12-14 株式会社リコー 情報処理装置、情報処理システム及びプログラム
CN103310193B (zh) * 2013-06-06 2016-05-25 温州聚创电气科技有限公司 一种记录体操视频中运动员重要技术动作时刻的方法
CN104461000B (zh) * 2014-12-03 2017-07-21 北京航空航天大学 一种基于少量缺失信号的在线连续人体运动识别方法
WO2016098415A1 (ja) * 2014-12-18 2016-06-23 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN112998649A (zh) * 2015-01-06 2021-06-22 大卫·伯顿 移动式可穿戴的监控***

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012112402A2 (en) 2011-02-18 2012-08-23 Microsoft Corporation Motion recognition
WO2016056449A1 (ja) * 2014-10-10 2016-04-14 富士通株式会社 スキル判定プログラム、スキル判定方法、スキル判定装置およびサーバ

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
J.SHIN; OZAWA: "A Study on Motion Analysis of an Artistic Gymnastics by using Dynamic Image Processing", IEEE INTERNATIONAL CONFERENCE ON SYSTEMS MAN AND CYBERNETICS, 2008
See also references of EP3528207A4
SHIN, JEONGEUN ET AL.: "A Study on Motion Analysis of an Artistic Gymnastics by using Dynamic Image Processing", IEICE TECHNICAL REPORT, RECOGNITION OF PATTERN AND UNDERSTANDING OF MEDIA, vol. 108, no. 46, 15 May 2008 (2008-05-15), pages 13 - 18, XP031447210, ISSN: 0913-5685 *
TAKUYA YOSHIMURA; TSUYOSHI HASHIMOTO: "Study of gesture recognition accuracy improvement method using machine learning", GAME PROGRAMMING WORKSHOP, 2012, pages 167 - 170

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020050111A1 (ja) * 2018-09-03 2020-03-12 国立大学法人東京大学 動作認識方法及び装置
JP2020038440A (ja) * 2018-09-03 2020-03-12 国立大学法人 東京大学 動作認識方法及び装置
JP7146247B2 (ja) 2018-09-03 2022-10-04 国立大学法人 東京大学 動作認識方法及び装置
CN111222737A (zh) * 2018-11-27 2020-06-02 富士施乐株式会社 用于实时技能评估的方法及***以及计算机可读介质
JP2020087437A (ja) * 2018-11-27 2020-06-04 富士ゼロックス株式会社 カメラシステムを使用した、ユーザの身体部分によって実行されるタスクの完了の評価のための方法、プログラム、及びシステム
CN111222737B (zh) * 2018-11-27 2024-04-05 富士胶片商业创新有限公司 用于实时技能评估的方法及***以及计算机可读介质
JP7392348B2 (ja) 2018-11-27 2023-12-06 富士フイルムビジネスイノベーション株式会社 カメラシステムを使用した、ユーザの身体部分によって実行されるタスクの完了の評価のための方法、プログラム、及びシステム
JP2022506637A (ja) * 2019-01-29 2022-01-17 ベイジン センスタイム テクノロジー デベロップメント カンパニー， リミテッド 画像処理方法および装置、ネットワークトレーニング方法および装置
US11995845B2 (en) 2019-09-30 2024-05-28 Fujitsu Limited Evaluation method, storage medium, and information processing apparatus
JP7235133B2 (ja) 2019-10-03 2023-03-08 富士通株式会社 運動認識方法、運動認識プログラムおよび情報処理装置
WO2021064960A1 (ja) 2019-10-03 2021-04-08 富士通株式会社 運動認識方法、運動認識プログラムおよび情報処理装置
JPWO2021064963A1 (ja) * 2019-10-03 2021-04-08
WO2021064963A1 (ja) 2019-10-03 2021-04-08 富士通株式会社 運動認識方法、運動認識プログラムおよび情報処理装置
WO2021149250A1 (ja) 2020-01-24 2021-07-29 富士通株式会社 運動認識方法、運動認識プログラムおよび情報処理装置
WO2021199392A1 (ja) * 2020-04-02 2021-10-07 日本電信電話株式会社 学習装置、学習方法及び学習プログラム、並びに、スコア推定装置、スコア推定方法及びスコア推定プログラム
JPWO2021199392A1 (ja) * 2020-04-02 2021-10-07
JP7352119B2 (ja) 2020-04-02 2023-09-28 日本電信電話株式会社 学習装置、学習方法及び学習プログラム、並びに、スコア推定装置、スコア推定方法及びスコア推定プログラム
US20210398297A1 (en) * 2020-06-23 2021-12-23 Fujitsu Limited Behavior recognition method and information processing apparatus
US11538174B2 (en) * 2020-06-23 2022-12-27 Fujitsu Limited Behavior recognition method and information processing apparatus
WO2022208859A1 (ja) * 2021-04-01 2022-10-06 富士通株式会社 技認識方法、技認識装置および体操採点支援システム
EP4316614A4 (en) * 2021-04-01 2024-05-01 Fujitsu Limited SKILL RECOGNITION METHOD, SKILL RECOGNITION APPARATUS AND GYMNASTICS SCORING SUPPORT SYSTEM
WO2023100246A1 (ja) * 2021-11-30 2023-06-08 富士通株式会社 技認識プログラム、技認識方法および情報処理装置

Also Published As

Publication number Publication date
US20190220657A1 (en) 2019-07-18
WO2018069981A1 (ja) 2018-04-19
US11176359B2 (en) 2021-11-16
JP6733738B2 (ja) 2020-08-05
EP3528207B1 (en) 2024-04-10
EP3528207A1 (en) 2019-08-21
EP3528207A4 (en) 2019-10-30
JPWO2018070414A1 (ja) 2019-06-24
CN109863535A (zh) 2019-06-07
CN109863535B (zh) 2022-11-25

Similar Documents

Publication Publication Date Title
WO2018070414A1 (ja) 運動認識装置、運動認識プログラムおよび運動認識方法
CN105229666B (zh) 3d图像中的运动分析
WO2021051579A1 (zh) 形体姿态识别方法、***、装置及存储介质
JP6082101B2 (ja) 身体動作採点装置、ダンス採点装置、カラオケ装置及びゲーム装置
JP6617830B2 (ja) 骨格推定装置、骨格推定方法および骨格推定プログラム
CN102693413B (zh) 运动识别
US20200230482A1 (en) Swing quality measurement system
WO2011009302A1 (zh) 一种基于多跟踪点的人体动作识别方法
JP6943294B2 (ja) 技認識プログラム、技認識方法および技認識システム
JP7235133B2 (ja) 運動認識方法、運動認識プログラムおよび情報処理装置
JP6677319B2 (ja) スポーツ動作解析支援システム、方法およびプログラム
KR100907704B1 (ko) 인공지능형 캐디를 이용한 골퍼자세교정시스템 및 이를이용한 골퍼자세교정방법
CN115331314A (zh) 一种基于app筛查功能的运动效果评估方法和***
CN114093032A (zh) 一种基于动作状态信息的人体动作评估方法
JP7409390B2 (ja) 運動認識方法、運動認識プログラムおよび情報処理装置
CN111353347A (zh) 动作识别纠错方法、电子设备、存储介质
CN111353345A (zh) 提供训练反馈的方法、装置、***、电子设备、存储介质
CN117015802A (zh) 用于改进无标记运动分析的方法
WO2022026693A1 (en) Methods and systems for performing object detection and object/user interaction to assess user performance
JP7272470B2 (ja) 運動認識方法、運動認識プログラムおよび情報処理装置
JP7375829B2 (ja) 生成方法、生成プログラム及び情報処理システム
Miyashita et al. Analyzing Fine Motion Considering Individual Habit for Appearance-Based Proficiency Evaluation
US20220343649A1 (en) Machine learning for basketball rule violations and other actions
WO2021064942A1 (ja) 評価方法、評価プログラムおよび情報処理システム
JP2023178888A (ja) 判定装置、判定方法、及びプロググラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17859616

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018545018

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2017859616

Country of ref document: EP

Effective date: 20190513