WO2018070414A1 - 運動認識装置、運動認識プログラムおよび運動認識方法 - Google Patents
運動認識装置、運動認識プログラムおよび運動認識方法 Download PDFInfo
- Publication number
- WO2018070414A1 WO2018070414A1 PCT/JP2017/036797 JP2017036797W WO2018070414A1 WO 2018070414 A1 WO2018070414 A1 WO 2018070414A1 JP 2017036797 W JP2017036797 W JP 2017036797W WO 2018070414 A1 WO2018070414 A1 WO 2018070414A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- subject
- frames
- frame
- group
- motion recognition
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1121—Determining geometric values, e.g. centre of rotation or angular range of movement
- A61B5/1122—Determining geometric values, e.g. centre of rotation or angular range of movement of movement trajectories
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B5/00—Apparatus for jumping
- A63B5/12—Bolster vaulting apparatus, e.g. horses, bucks, tables
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/215—Motion-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
- G06V20/47—Detecting features for summarising video content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2503/00—Evaluating a particular growth phase or type of persons or animals
- A61B2503/10—Athletes
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0062—Monitoring athletic performances, e.g. for determining the work of a user on an exercise apparatus, the completed jogging or cycling distance
- A63B2024/0071—Distinction between different activities, movements, or kind of sports performed
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/05—Image processing for measuring physical parameters
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/20—Distances or displacements
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/80—Special sensors, transducers or devices therefor
- A63B2220/806—Video cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
Definitions
- the present invention relates to a motion recognition device and the like.
- Prior art 1 is a technique for evaluating a player performing a horizontal bar.
- Prior art 1 detects a keyboard from a two-dimensional silhouette image, recognizes a technique from a combination of keyboards, and performs automatic scoring.
- the technique since the technique is recognized using the two-dimensional silhouette image, only a part of the competition technique that can be discriminated only by the two-dimensional silhouette can be recognized.
- Prior art 2 is a technique in which a prototype of a player's skeleton movement for each technique is generated in advance, and each generated prototype is compared with the skeleton information of the player performing the action to determine the technique. .
- an object of the present invention is to provide a motion recognition device, a motion recognition program, and a motion recognition method that can efficiently evaluate a subject's performance.
- the motion recognition device includes a segment part, an identification part, and a first evaluation part.
- the segmentation unit chronologically segments a plurality of frames including position information of feature points corresponding to a predetermined part or joint part of the subject's body based on the position of the predetermined part of the subject's body.
- a plurality of frames are classified into a plurality of groups in time series.
- the identification unit identifies, for each group, the type of basic motion corresponding to the group based on the movement of the feature points included in the continuous frames.
- a 1st evaluation part evaluates the technique and difficulty of the exercise
- FIG. 1 is a diagram illustrating a configuration of a system according to the present embodiment.
- FIG. 2 is a diagram for explaining an example of the feature points of the skeleton.
- FIG. 3 is a diagram illustrating an example of the data structure of the skeleton data.
- FIG. 4 is a functional block diagram showing the configuration of the motion recognition device.
- FIG. 5 is a diagram illustrating an example of a data structure of calculation result data.
- FIG. 6 is a diagram for explaining an example of the body vector.
- FIG. 7 is a diagram for explaining the angle between the horse and the body.
- FIG. 8 is a diagram illustrating an example of a data structure of the technique authorization rule data.
- FIG. 9 is a diagram illustrating an example of an angle region.
- FIG. 1 is a diagram illustrating a configuration of a system according to the present embodiment.
- FIG. 2 is a diagram for explaining an example of the feature points of the skeleton.
- FIG. 3 is a diagram illustrating an example of
- FIG. 10 is a diagram illustrating an example of a support position.
- FIG. 11 is a diagram illustrating an example of the data structure of the upgrade rule data.
- FIG. 12 is a diagram illustrating an example of a data structure of the evaluation result data.
- FIG. 13 is a diagram for explaining an example of the segment processing.
- FIG. 14 is a diagram for explaining the evaluation function F (k).
- FIG. 15 is a diagram illustrating an example of a display screen.
- FIG. 16 is a flowchart (1) illustrating a processing procedure of the motion recognition apparatus.
- FIG. 17 is a flowchart (2) illustrating the processing procedure of the motion recognition apparatus.
- FIG. 18 is a flowchart showing a processing procedure for determining a technique name and a difficulty level.
- FIG. 16 is a flowchart (1) illustrating a processing procedure of the motion recognition apparatus.
- FIG. 17 is a flowchart (2) illustrating the processing procedure of the motion recognition apparatus.
- FIG. 18 is a flowchart showing
- FIG. 19 is a flowchart illustrating a processing procedure for upgrading the difficulty level.
- FIG. 20 is a diagram illustrating an example of processing of the motion recognition device.
- FIG. 21 is a diagram for explaining examples of other body vectors.
- FIG. 22 is a diagram illustrating an example of a hardware configuration of a computer that realizes the same function as the motion recognition apparatus.
- FIG. 1 is a diagram illustrating a configuration of a system according to the present embodiment.
- this system includes a 3D (dimension) sensor 10, a skeleton recognition device 20, and a motion recognition device 100.
- the subject 5 performs a predetermined gymnastic exercise within the imaging range of the 3D sensor 10.
- the present invention is not limited to this and may be other gymnastics.
- the 3D sensor 10 is a sensor that measures distance information from the installation position of the 3D sensor 10 to each observation point on the subject 5 included in the shooting range of the 3D sensor 10. For example, the 3D sensor 10 generates three-dimensional data indicating the three-dimensional coordinates of each observation point for each frame, and outputs the generated three-dimensional data to the skeleton recognition device 20.
- the frame indicates the information of the three-dimensional coordinates of each observation point measured by the 3D sensor 10 at a certain timing, and the three-dimensional data is composed of a plurality of frames.
- the skeleton recognition device 20 is a device that recognizes a plurality of feature points constituting the skeleton of the subject 5 based on the three-dimensional data.
- FIG. 2 is a diagram for explaining an example of the feature points of the skeleton. As shown in FIG. 2, the feature points of the skeleton include feature points 5a to 5p.
- Feature point 5a is a point corresponding to the position of the head.
- the feature points 5b and 5e are points corresponding to the positions of the shoulder joints (the right shoulder joint and the left shoulder joint).
- the feature points 5c and 5f are points corresponding to the position of the elbow joint (right elbow joint, left elbow joint).
- the feature points 5d and 5g are points corresponding to the positions of the wrists (the right wrist and the left wrist).
- the feature point 5h is a point corresponding to the neck position.
- the feature point 5i is a point corresponding to the back (center of the back).
- the feature point 5j is a point corresponding to the waist (center of the waist).
- the feature points 5k and 5n are points corresponding to the positions of the hip joints (the right hip joint and the left hip joint).
- the feature points 5l and 5o are points corresponding to the positions of the knee joints (the right knee joint and the left knee joint).
- the feature points 5m and 5p are points corresponding to the positions of
- the skeleton recognition device 20 recognizes the feature points of the skeleton for each frame based on the three-dimensional data for each frame, and generates skeleton data.
- FIG. 3 is a diagram illustrating an example of the data structure of the skeleton data. As shown in FIG. 3, the skeleton data has three-dimensional coordinates of the feature points 5a to 5p for each frame. Each frame is given a frame number that uniquely identifies the frame.
- the motion recognition device 100 is a device that evaluates the skill and difficulty of the gymnastics performed by the subject 5 based on the skeleton data.
- FIG. 4 is a functional block diagram showing the configuration of the motion recognition device. As illustrated in FIG. 4, the motion recognition apparatus 100 includes an interface unit 110, an input unit 120, a storage unit 140, and a control unit 150.
- the interface unit 110 is an interface that transmits and receives data to and from the skeleton recognition device 20 and other external devices.
- the control unit 150 described later exchanges data with the skeleton identification device 20 via the interface 110.
- the input unit 120 is an input device for inputting various information to the motion recognition device 100.
- the input unit 120 corresponds to a keyboard, a mouse, a touch panel, or the like.
- the display unit 130 is a display device that displays information output from the control unit 150.
- the display unit 130 corresponds to a liquid crystal display, a touch panel, or the like.
- the storage unit 140 includes skeleton data 141, calculation result data 142, technique authorization rule data 143, upgrade rule data 144, and evaluation result data 145.
- the storage unit 140 corresponds to a semiconductor memory element such as a RAM (Random Access Memory), a ROM (Read Only Memory), and a flash memory (Flash Memory), and a storage device such as an HDD (Hard Disk Drive).
- the skeleton data 141 is skeleton data generated by the skeleton recognition device 20.
- the data structure of the skeleton data 141 is the same as the data structure of the skeleton data described with reference to FIG.
- the calculation result data 142 is data having information regarding the positions and postures of the limbs and the limbs of the subject 5.
- the calculation result data 142 is calculated by the calculation unit 152 described later.
- FIG. 5 is a diagram illustrating an example of a data structure of calculation result data. As shown in FIG. 5, the calculation result data 142 associates frame numbers, hand / foot position data, body vector data, and segment numbers.
- the frame number is information that uniquely identifies the frame.
- the hand / foot position data is data indicating the three-dimensional coordinates of both hands and feet.
- the hand position data corresponds to the three-dimensional coordinates of the wrist feature points 5d and 5g.
- the foot position data corresponds to the three-dimensional coordinates of the ankle feature points 5m and 5p.
- Body vector data is data indicating the direction and size of the body vector.
- FIG. 6 is a diagram for explaining an example of the body vector.
- the body mass vector 7 corresponds to a normal vector of the plane 6 passing through the feature point 5b of the right shoulder joint, the feature point 5e of the left shoulder joint, and the feature point 5i of the back.
- the size of the body vector 7 is “1”.
- the body vector is defined by an orthogonal coordinate system including an X axis, a Y axis, and a Z axis.
- the direction of the X axis is the longitudinal direction of the horse 8.
- the direction of the Y axis is a direction orthogonal to the X axis.
- the direction of the Z axis is defined as the vertically upward direction of the XY plane.
- FIG. 7 is a diagram for explaining the angle between the horse and the body.
- the angle ⁇ between the horse and the body is an angle formed by the line segment 1a and the line segment 1b.
- the line segment 1 b is a line segment obtained by projecting the body vector 7 onto the XY plane and extending in front of the subject 5.
- the line segment 1a is a line segment corresponding to the Y axis.
- the segment number is a number indicating to which group the frame belongs.
- a group handles each frame from the frame that is the starting point of the basic motion to the frame that is the end point of the basic motion as a set when the subject performs a certain basic motion.
- the same segment number is assigned to frames belonging to the same group.
- the segment number is set by a segment unit 153 described later. For example, in a plurality of frames that are continuous in time series, a plurality of frames that are included from a frame that becomes a node to a frame that becomes the next node become frames included in the same group. In the following description, a plurality of frames belonging to the same group will be referred to as “partial data” as appropriate.
- the identifying unit 154 to be described later identifies the type of basic exercise corresponding to the partial data for each partial data.
- the technique authorization rule data 143 is data used when the first evaluation unit 155 described later determines the technique name and the difficulty level.
- FIG. 8 is a diagram illustrating an example of a data structure of the technique authorization rule data. As shown in FIG. 8, the technique authorization rule data 143 includes basic motion type, start point body angle region, end point body angle region, start point left hand support position, start point right hand support position, end point left hand support position, end point right hand support position, front Corresponds basic exercise type, technical name, group, difficulty.
- the basic exercise type indicates the type of basic exercise.
- the starting point body angle region indicates in which angle region the direction of the body vector is included in the frame of the starting point included in the partial data.
- the end point body angle area indicates in which angle region the direction of the body vector is included in the end point frame included in the partial data.
- a (B) may be the A region or the B region in a combination outside () or inside (). It shows that.
- FIG. 9 is a diagram illustrating an example of an angle region.
- the angle region includes a 0 ° region, a 90 ° region, a 180 ° region, and a 270 ° region.
- the line segment 1 b is a line segment obtained by projecting the body vector 7 of the subject 5 onto the XY plane and extending in front of the subject 5.
- the direction of the body vector 7 is a 0 ° region.
- the start-point left-hand support position indicates which support position on the horse is determined in advance by the position of the left hand (left wrist) of the subject 5 in the start-point frame included in the partial data.
- the starting point right-hand support position indicates which support position on the horse is determined in advance by the position of the right hand (right wrist) of the subject 5 in the frame of the starting point included in the partial data.
- a (B) may be the supporting position A or the supporting position B in a combination outside () or inside (). Also shows good.
- the end-point left-hand support position indicates which support position on the horse is determined in advance by the position of the left hand (left wrist) of the subject 5 in the end-point frame included in the partial data.
- the end right hand support position indicates which support position on the horse is determined in advance by the position of the right hand (right wrist) of the subject 5 in the end point frame included in the partial data.
- a (B) may be the support position A or the support position B in a combination outside () or inside (). Also shows good.
- FIG. 10 is a diagram illustrating an example of a support position.
- the position of the hand corresponds to the support position “1”.
- the position of the hand corresponds to the support position “2”.
- the position of the hand corresponds to the support position “3”.
- the position of the hand corresponds to the support position “4”.
- the position of the hand corresponds to the support position “5”.
- the previous basic exercise type indicates the type of basic exercise corresponding to the partial data one time before the partial data of interest.
- the previous basic exercise type “any” indicates that the type of the previous basic exercise may be any.
- the partial data immediately before the partial data to be focused on is expressed as “previous partial data”.
- the technique name is a technique specified by a combination of basic exercise type, start point body angle area, end body angle area, start point left hand support position, start point right hand support position, end point left hand support position, end point right hand support position, and previous basic motion type. It is a name.
- the group indicates a group into which the technique specified by the technique name is classified.
- the difficulty level indicates the difficulty level of the technique.
- the difficulty of the technique increases in the order of A, B, C, D, E. Difficulty A is the least difficult.
- the upgrade rule data 144 is data used when the upgrade unit 156, which will be described later, determines whether or not to upgrade the skill difficulty level.
- FIG. 11 is a diagram illustrating an example of the data structure of the upgrade rule data. As shown in FIG. 11, the upgrade rule data 144 includes the technical name, the body rotation angle in the previous exercise, the start left hand support position in the previous exercise, the start right hand support position in the previous exercise, the end left hand support position in the previous exercise, the front And an end right hand support position in motion. Further, the upgrade rule data 144 includes the previous basic exercise type and the number of difficulty upgrades.
- the technical name corresponds to the technical name specified by the first evaluation unit 155 for the focused partial data, and is a target of whether or not to upgrade the difficulty level.
- the body rotation angle in the previous motion indicates the total sum of the rotation angles of the body vector from the start point frame to the end point frame included in the front part data.
- the rotation angle is the rotation angle when the body vector is projected onto the XY plane as described with reference to FIG.
- the total rotation angle is calculated assuming that the position where the body vector of the frame serving as the start point of the previous part data is projected on the XY plane is 0 °.
- the starting point left hand support position in the front motion indicates which support position on the horse is determined in advance by the position of the left hand (left wrist) of the subject 5 in the starting point frame included in the front part data.
- the starting-point right-hand support position in the front movement indicates which support position on the horse is determined in advance by the position of the right hand (right wrist) of the subject 5 in the frame of the starting point included in the front part data.
- the end-point left-hand support position in the front movement indicates which support position on the horse is determined in advance by the position of the left hand (left wrist) of the subject 5 in the end-point frame included in the front part data.
- the end-point right-hand support position in the front exercise indicates which support position on the horse is determined in advance by the position of the right hand (right wrist) of the subject 5 in the end-point frame included in the front part data.
- the previous basic exercise type indicates the type of basic exercise corresponding to the previous partial data.
- the difficulty level upgrade number is information indicating how many levels the difficulty level of the technique specified by the first evaluation unit 155 is to be upgraded when hitting a corresponding condition.
- the technical name specified by the first evaluation unit 155 is “front crossing”, the body rotation angle is “less than 360 °”, and the support positions of the start point / end point and the left hand / right hand in the previous motion are “3”. ”And the previous basic exercise type is“ inverted twist ”.
- the record in the first column of the upgrade rule data 144 is hit, and the difficulty upgrade number is “1”. For example, when the current difficulty level is “A”, if the one-level difficulty level is upgraded, the corrected difficulty level becomes “B”.
- Evaluation result data 145 is data that holds information related to the performance evaluation results of the subject 5.
- FIG. 12 is a diagram illustrating an example of a data structure of the evaluation result data. As shown in FIG. 12, this evaluation result data 145 associates a frame number, right hand position, left hand position, body angle, foot height, body direction, segment flag, basic exercise type, technical name, difficulty, and E score. .
- the frame number is information that uniquely identifies the frame.
- the right hand position indicates which support position on the horse is determined in advance by the position of the right hand (right wrist) of the subject 5.
- the left hand position indicates which support position on the horse is determined in advance by the position of the left hand (left wrist) of the subject 5.
- the body angle indicates the body angle of the subject 5.
- the angle formed by the line segment when the body vector obtained from the corresponding frame is projected on the XY plane and the Y axis is defined as the body angle.
- the height of the foot indicates the higher position of the position of the right foot (right ankle) of the subject 5 and the position of the left foot (left ankle) of the subject.
- the body direction indicates whether the direction of the Z axis of the body vector is a positive direction or a negative direction.
- the body direction “down” indicates that the direction of the Z axis of the body vector is negative.
- the body orientation “up” indicates that the orientation of the Z axis of the body vector is positive.
- the segment flag is information indicating whether or not the corresponding frame corresponds to a segment point. Whether or not the corresponding frame is a segment is determined by the segment unit 153 described later. If the corresponding frame is a node, the segment flag is “1”. If the corresponding frame is not a node, the segment flag is “0”.
- the explanation about the basic exercise type, the technical name, and the difficulty level is the same as the explanation about the basic exercise type, the technical name, and the difficulty level described with reference to FIG.
- E score indicates the E score of the basic exercise type corresponding to the partial data.
- the E score is calculated by the second evaluation unit 157 described later.
- the control unit 150 includes an acquisition unit 151, a calculation unit 152, a segmentation unit 153, an identification unit 154, a first evaluation unit 155, an upgrade unit 156, a second evaluation unit 157, and a display control unit 158.
- the control unit 150 can be realized by a CPU (Central Processing Unit) or an MPU (Micro Processing Unit).
- the control unit 150 can also be realized by hard wired logic such as ASIC (Application Specific Integrated Circuit) or FPGA (Field Programmable Gate Array).
- the acquisition unit 151 is a processing unit that acquires the skeleton data 141 from the skeleton recognition device 20.
- the acquisition unit 151 registers the acquired skeleton data 141 in the storage unit 140.
- the data structure of the skeleton data 141 has been described with reference to FIG.
- the calculation unit 152 is a processing unit that calculates the calculation result data 142 based on the skeleton data 141.
- the data structure of the calculation result data 142 has been described with reference to FIG.
- hand / foot position data and body vector data corresponding to the frame number are registered by the calculation unit 152, and segment numbers are registered by the segment unit 153.
- the calculation unit 152 calculates hand / foot position data and body vector data for each frame. For example, the calculation unit 152 calculates the three-dimensional coordinates of the feature points 5d and 5g of the skeleton data 141 as the hand position. The calculation unit 152 calculates the three-dimensional coordinates of the feature points 5m and 5p of the skeleton data 141 as the foot position. The calculation unit 152 registers hand / foot position data in the calculation result data 142 in association with the frame number of the corresponding frame.
- the calculation unit 152 calculates a normal vector of the plane 6 passing through the feature point 5b of the right shoulder joint, the feature point 5e of the left shoulder joint, and the feature point 5i of the back as a body vector.
- the calculation unit 152 registers the body vector data in the calculation result data 142 in association with the frame number of the corresponding frame.
- the calculation unit 152 generates the calculation result data 142 by repeatedly executing the above process for each frame of the skeleton data 141.
- the segment unit 153 is a processing unit that identifies a frame serving as a segment point based on the calculation result data 142 and classifies the plurality of frames into a plurality of groups based on the identified segment point.
- the segment unit 153 accesses the calculation result data 142 and sets the segment numbers of the frames belonging to the same group to be the same.
- the segment unit 153 refers to hand / foot position data corresponding to a certain frame number in the calculation result data 142.
- the segment unit 153 determines that a frame corresponding to a certain frame number is a segment point when all of the following conditions A1, A2, and A3 are satisfied. When all of the conditions A1 to A3 are satisfied, it means that the subject 5 places both hands on the horse 8 and the direction of the body vector is downward.
- Condition A1 The position of the left hand of the subject 5 is located in any of the regions 8a to 8e shown in FIG.
- Condition A2 The position of the right hand of the subject 5 is located in any of the areas 8a to 8e shown in FIG.
- Condition A3 The Z-axis component of the body vector is negative.
- the segment unit 153 accesses the evaluation result data and sets the segment flag corresponding to the frame number determined to be a segment point to “1”. The initial value of the segment flag is set to “0”.
- FIG. 13 is a diagram for explaining an example of the segment processing.
- the plurality of frames shown in FIG. 13 are arranged in time series.
- the frames 30a, 31a, and 32a satisfy the above-described conditions A1 to A3, and are frame frames.
- the segment unit 153 classifies each frame included in the range 30 into the same group.
- the segment unit 153 classifies the frames included in the range 31 into the same group.
- the segment unit 153 classifies the frames included in the range 32 into the same group.
- the segment number of each frame included in the range 30 is “n”, the segment number of each frame included in the range 31 is “n + 1”, and the segment number of each frame included in the range 32 is “n + 2”.
- n is a natural number of 1 or more.
- the top frame 30a is the start frame
- the end frame 30b is the end frame.
- the first frame 31a is the start frame
- the last frame 31b is the end frame.
- the first frame 32a is the start frame
- the last frame 32b is the end frame.
- partial data and “previous partial data” will be described again.
- Data obtained by collecting the frames included in the ranges 30, 31, and 32 is partial data. Assuming that the partial data of interest is each frame included in the range 31, the previous partial data is each frame included in the range 31.
- the identification unit 154 is a processing unit that identifies, for each partial data, the basic motion type corresponding to the partial data based on the motion of the feature points of the frames included in the partial data.
- the identifying unit 154 acquires information on the feature points of the frames included in the partial data from the calculation result data 142.
- the identification unit 154 registers the identification result in the evaluation result data 145 in association with the frame number.
- the identification unit 154 uses an HMM (Hidden Markov Model).
- the HMM is a probability model that takes time-series data as input and determines which category (basic exercise type) the time-series data belongs to.
- the identification unit 154 has a learning phase and a recognition phase.
- the HMM determines four parameter sets ⁇ for each basic exercise type in the learning phase.
- the parameter set ⁇ is defined by equation (1).
- ⁇ ⁇ Q, A, B, ⁇ (1)
- Q represents a set of states and is defined by equation (2).
- Q ⁇ a 1 , q 2 ,..., Q n ⁇ (2)
- A represents a state transition probability matrix that is a set of transition probabilities a ij from state q i to state q j , and is defined by Expression (3).
- A ⁇ a ij ⁇ (3)
- B represents a set of probability distributions that output a vector x in the state q j .
- Equation (5) the probability density function in the state qi is defined by Equation (5).
- u i represents an average vector of the probability density function.
- ⁇ i indicates a covariance matrix of the probability density function.
- the identification unit 154 randomly sets HMM parameters as an initial state when obtaining a parameter set ⁇ of a certain basic exercise type.
- the identification unit 154 prepares a plurality of partial data corresponding to a certain basic motion identification, and performs a process of calculating the likelihood P (O segment
- the identifying unit 154 repeatedly performs the process of optimizing the parameter set of ⁇ k using the partial data with the maximum likelihood P as the ⁇ k teacher signal for the HMM.
- the identification unit 154 identifies a parameter set ⁇ of a certain basic exercise type through such processing.
- the identification unit 154 learns the parameter set ⁇ for each basic exercise type by performing the same process for other basic exercise types.
- the identification unit 154 acquires the partial data to be recognized for the basic exercise type, the maximum value among ⁇ k for each parameter set ⁇ is obtained while changing the parameter set learned in the learning phase based on Expression (6). Specify ⁇ k0 .
- the identification unit 154 determines the basic exercise type corresponding to the parameter set ⁇ used when ⁇ k0 is calculated as the basic exercise type of the partial data to be recognized.
- 1st evaluation part 155 is a process part which evaluates the technique and difficulty of the exercise
- the first evaluation unit 155 will be described.
- the partial data to be evaluated is simply referred to as partial data
- the partial data immediately before the partial data to be evaluated is referred to as previous partial data.
- the first evaluation unit 155 identifies the basic exercise type of the partial data based on the frame number included in the partial data and the evaluation result data 145.
- the first evaluation unit 155 identifies the previous basic exercise type of the previous partial data based on the frame number included in the previous partial data and the evaluation result data 145.
- the first evaluation unit 155 refers to the calculation result data 142 using the frame number of the start point frame included in the partial data as a key, and specifies the start point body angle region, the start point left hand support position, and the start point right hand support position.
- the first evaluation unit 155 refers to the calculation result data 142 using the frame number of the end point frame included in the partial data as a key, and specifies the end point body angle region, the end point left hand support position, and the end point right hand support position.
- the first evaluation unit 155 compares the definition of each angle region described in FIG. 9 with the body vector, and specifies the start point body angle region and the end point body angle region.
- the first evaluation unit 155 compares the regions 8a to 8e described with reference to FIG. 10 with the hand position data, so that the start point left hand support position, the start point right hand support position, the end point left hand support position, and the end point right hand support position are determined. Identify.
- the first evaluation unit 155 compares the identified information with the technique authorization rule data 143, and identifies the technique name, difficulty level, and group corresponding to the partial data.
- each specified information includes a basic exercise type and a previous exercise type.
- Each identified information includes a start point body angle area, a start point left hand support position, a start point right hand support position, an end point body angle angle area, an end point left hand support position, and an end point right hand support position.
- the first evaluation unit 155 registers the specified technique name, difficulty level, and group in the evaluation result data 145 in association with the frame number of the frame included in the partial data. Further, the first evaluation unit 155 registers the right hand position, the left hand position, the body angle, the foot height, and the body direction in association with the frame number. The first evaluation unit 155 identifies the technique name, the degree of difficulty, and the group by repeatedly executing the above processing for other partial data, and registers it in the evaluation result data 145.
- the upgrade unit 156 is a processing unit that determines whether or not to upgrade the difficulty level evaluated by the first evaluation unit 155 and upgrades the difficulty level based on the determination result.
- the partial data to be evaluated is simply referred to as partial data
- the partial data immediately before the partial data to be evaluated is referred to as previous partial data.
- the upgrade unit 156 refers to the evaluation result data 145 using the frame number of the frame included in the partial data as a key, and identifies the technical name corresponding to the partial data evaluated by the first evaluation unit 155.
- the upgrade unit 156 calculates the body rotation angle based on the body vector of each frame included in the partial data.
- the body rotation angle is the sum of changes in the body angle from the start point frame to the end point frame.
- the upgrade unit 156 acquires the data of the body vector of each frame from the calculation result data 142.
- the upgrade unit 156 refers to the calculation result data 142 using the frame number of the start point frame included in the partial data as a key, and specifies the start point left hand support position and the start point right hand support position.
- the upgrade unit 156 refers to the calculation result data 142 with the frame number of the end point frame included in the partial data as a key, and specifies the end point left hand support position and the end point right hand support position.
- the upgrade unit 156 specifies the previous basic exercise type of the previous partial data based on the frame number included in the previous partial data and the evaluation result data 145.
- the upgrade unit 156 compares each identified information with the upgrade rule data 144 to determine whether or not to upgrade the difficulty corresponding to the partial data.
- each specified information includes a technical name, a body rotation angle, a start point left hand support position, a start point right hand support position, an end point left hand support position, an end point right hand support position, and a previous basic motion type.
- the upgrade unit 156 determines that the difficulty level is to be upgraded when there is a column record that hits each identified information in the upgrade rule data 144.
- the upgrade unit 156 determines that the difficulty level is not upgraded when the column record that hits each identified information does not exist in the upgrade rule data 144.
- the number of steps to be upgraded refers to the number of difficulty upgrades of hit column records.
- the technical name of the partial data is “Cross-crossing”
- the body rotation angle is “less than 360 °”
- the start / end points of the previous movement and the support positions of the left / right hand are “3”.
- the exercise type is “inverted twist”.
- the record in the first column of the upgrade rule data 144 is hit, and the difficulty upgrade number is “1”.
- the upgrade unit 156 corrects the difficulty level to “B”.
- the upgrade unit 156 updates the difficulty level of the evaluation result data 145 by repeatedly executing the above processing for other partial data.
- the second evaluation unit 157 is a processing unit that evaluates the E score of the basic exercise for each partial data. It is assumed that a policy for calculating an E score is set in the second evaluation unit 157 in advance for each basic exercise type.
- the second evaluation unit 157 calculates the E score of the basic exercise type “down”.
- “down” indicates a basic motion when the subject 5 descends from the horse.
- the second evaluation unit 157 uses an evaluation function F (k) shown in Expression (7).
- the evaluation function F (k) is a function for evaluating the kth frame among a plurality of frames included in the partial data to be evaluated.
- F (k) arcsin (Tz / Tx) (7)
- FIG. 14 is a diagram for explaining the evaluation function F (k).
- Tx corresponds to the length of the X component from the shoulder joint of the subject 5 to the toe (ankle) in the kth frame.
- Tz corresponds to the length of the Z component from the shoulder joint to the tip of the subject 5 in the kth frame.
- the position of the shoulder joint corresponds to the position of the feature point 5b or 5e.
- the tip of the foot corresponds to the position of the feature point 5m or 5p.
- the second evaluation unit 157 When evaluating “downlink”, the second evaluation unit 157 repeatedly executes the above process for each frame included in the target partial data, and calculates the value of F (k) for each frame. The second evaluation unit 157 determines the defect “0.3” when a frame having a value of F (k) less than 30 ° appears in each frame.
- the second evaluation unit 157 calculates a final E score for the basic exercise based on the equation (8).
- ⁇ shown in the equation (8) indicates the sum total of the defects determined by the result of the evaluation function in all partial data.
- the “downhill” evaluation function has been described as an example.
- other basic motions are also determined by the evaluation function corresponding to the corresponding basic motion.
- the evaluation function of the “turning” partial data is an evaluation function for evaluating how the left and right feet are aligned, and the more the left and right feet are not aligned, the greater the disadvantage.
- the second evaluation unit 157 registers the calculated E score information in the evaluation result data 145 in association with the frame number.
- the second evaluation unit 157 may register the E score in the record of each frame included in the same partial data, or the E score is recorded in the record of the start frame among the frames included in the same partial data. You can register your score.
- the second evaluation unit 157 calculates an E score for other partial data in the same manner, and registers it in the evaluation result data 145.
- the first evaluation unit 155 may re-determine the difficulty level of the technique based on the evaluation result data 145 and a logical expression indicating a rule.
- a logical expression representing a rule is a logical expression that associates the order of the technical names of each basic movement with a D score (Difficulty score).
- the display control unit 158 is a processing unit that generates a display screen based on the evaluation result data 145 and causes the display unit 130 to display the display screen.
- FIG. 15 is a diagram illustrating an example of a display screen. As shown in FIG. 15, the display screen 50 includes areas 50a to 50g.
- the display control unit 158 may display the evaluation result data 145 on the display unit 130 as it is.
- the region 50a is a region for displaying the current position / hand position data and body vector data of the subject 5.
- the area 50b is an area for displaying hand / foot position data and body vector data when the subject 5 starts acting.
- the area 50c is an area for displaying hand / foot position data and body vector data of the subject 5 specified by the frame immediately before the current frame.
- the area 50d is an area for displaying hand / foot position data and body vector data of the subject 5 specified by a frame two frames before the current frame.
- the area 50e is an area for displaying hand / foot position data and body vector data of the subject 5 specified by the frame three frames before the current frame.
- the area 50f is an area for displaying a technique name of the basic exercise specified by the partial data including the current frame.
- the region 50g is a region for displaying an image in which information of the 3D sensor 10 is visualized.
- 16 and 17 are flowcharts showing the processing procedure of the motion recognition apparatus.
- the motion recognition apparatus 100 updates the processing target frame number with a value obtained by adding 1 to the frame number (step S ⁇ b> 101).
- the calculation unit 152 of the motion recognition apparatus 100 reads the skeleton data 141 (step S102).
- the calculating unit 152 calculates hand / foot position data and body vector data based on the skeleton data 141 (step S103).
- the segment part 153 of the motion recognition apparatus 100 sets the front support flag (step S104).
- the segment unit 153 sets the front support flag to “1” when all of the above-described conditions A1, A2, and A3 are satisfied.
- the segment part 153 sets the front support flag to “0” when all of the conditions A1, A2, and A3 are not satisfied.
- the front support flag is associated with the frame number to be processed.
- the segment unit 153 sets a landing flag (step S105).
- step S105 the segment unit 153 sets the landing flag to “1” when the position of the left foot tip (left ankle) or the position of the right foot (right ankle) of the subject 5 is less than a predetermined threshold.
- the segment unit 153 sets the landing flag to “0” when the position of the left foot tip (left ankle) or the right foot (right ankle) of the subject 5 is equal to or greater than a predetermined threshold.
- the landing flag is associated with the frame number to be processed.
- the segment unit 153 performs a segment point determination process (step S106).
- step S106 the segment unit 153 determines that the front support flag corresponding to the previous frame number is “0” and the front support flag corresponding to the processing target frame number is “1”. It is determined that the frame corresponding to the frame number is a node.
- the segment unit 153 determines the frame number to be processed when the front support flag corresponding to the previous frame number is “1” or the front support flag corresponding to the frame number to be processed is “0”. It is determined that the frame corresponding to is not a node.
- step S107 When the segment unit 153 determines that the segment point is not a segment point (No in step S107), the hand / foot position data, the body vector data, and the current segment number are associated with the frame number in the calculation result data 142. Register (step S108), and proceed to step S101.
- step S107 determines that the segment is a segment point (step S107, Yes)
- the identification unit 154 of the motion recognition apparatus 100 determines the basic motion type based on the frame of the segment number n (step S110).
- the first evaluation unit 155 of the motion recognition apparatus 100 determines a technique name and a difficulty level based on the technique authorization rule data 143 (step S111a).
- the upgrade unit 156 of the motion recognition apparatus 100 upgrades the difficulty level based on the upgrade rule data 144 (step S112), and proceeds to step S113.
- movement recognition apparatus 100 calculates E score regarding a basic exercise
- the motion recognition apparatus 100 registers the technique, the difficulty level, and the E score in the evaluation result table 145 in association with the frame number (step S113).
- the movement recognition device 100 performs a performance end determination process (step S114).
- step S114 the motion recognition apparatus 100 determines that the performance is complete when the group to which the technique belongs is a predetermined group.
- the motion recognition device 100 determines that the performance is complete when the value of the fall count obtained by counting the landing flags is equal to or greater than a predetermined number.
- Step S115 the motion recognition apparatus 100 proceeds to Step S101 in FIG. If the performance is finished (step S115, Yes), the motion recognition apparatus 100 sets the landing flag, the fall count, and the segment number to initial values (step S116).
- the first evaluation unit 155 of the motion recognition apparatus 100 re-determines the difficulty level of the technique based on the evaluation result data 145 and a logical expression indicating a rule, and calculates a D score (step S117).
- the display control unit 158 of the motion recognition apparatus 100 displays the evaluation result (step S118).
- FIG. 18 is a flowchart showing a processing procedure for determining a technique name and a difficulty level.
- the first evaluation unit 155 of the motion recognition apparatus 100 acquires the hand / foot position data and body vector data of the frame corresponding to the segment number n from the calculation result data 142 (step S201). .
- the first evaluation unit 155 identifies the starting point body angle region, the starting point left hand supporting position, and the starting point right hand supporting position based on the hand / foot position data corresponding to the starting point frame (step S202).
- the first evaluation unit 155 identifies the end point body angle region, the end point left hand support position, and the end point right hand support position based on the hand / foot position data corresponding to the end point frame (step S203).
- the first evaluation unit 155 identifies the basic exercise type and the previous exercise type corresponding to the segment number n (step S204).
- the first evaluation unit 155 compares each specified information with the technique authorization rule data 143 to determine whether there is a hit column record (step S205).
- each specified information includes a starting point body angle area, a starting point left hand support position, a starting point right hand supporting position, an ending body arm angle area, an ending point left hand supporting position, an ending point right hand supporting position, a basic motion type, and a previous basic motion type.
- the first evaluation unit 155 specifies the technique name, group, and difficulty included in the hit column record as the technique name, group, and difficulty corresponding to the segment number n ( Step S207).
- the first evaluation unit 155 determines that the technical name corresponding to the segment number n is unknown, and sets the group and the difficulty level to 0 (Step S208).
- FIG. 19 is a flowchart illustrating a processing procedure for upgrading the difficulty level.
- the upgrade unit 156 of the motion recognition apparatus 100 acquires the hand / foot position data and body vector data of the frame corresponding to the segment number n from the calculation result data 142 (step S301).
- the upgrade unit 156 calculates the body rotation angle based on the body vector from the start frame to the end frame (step S302).
- the upgrade unit 156 specifies the start-point left-hand support position and the start-point right-hand support position based on the hand / foot position data corresponding to the start-point frame (step S303). Based on the hand / foot position data corresponding to the end point frame, the end point left hand support position and the end point right hand support position are specified (step S304).
- the upgrade unit 156 identifies the technique name and the previous basic exercise type corresponding to the segment number n (step S305).
- the upgrade unit 156 compares each identified information with the upgrade rule data 144 to determine whether there is a hit column record (step S306). In the case of a hit (step S307, Yes), the upgrade unit 156 upgrades the difficulty level according to the number of difficulty upgrades (step S308). If the upgrade unit 156 does not hit (No in step S307), the upgrade unit 156 ends the process.
- FIG. 20 is a diagram illustrating an example of processing of the motion recognition device.
- the segment unit 153 sets the segment points 60a to 60g based on the calculation result data 142. For example, in the frame of the segment points 60a, 60b and 60c, the left hand support position of the subject 5 is “2” and the right hand support position is “4”. In the frame of the node 60d, the left hand support position of the subject 5 is “4” and the right hand support position is “4”. In the frame of the node 60e, the left hand support position of the subject 5 is “4” and the right hand support position is “2”.
- the left hand support position of the subject 5 is “2” and the right hand support position is “2”.
- the body vector is pointing downward.
- the body angle of the frame of the segment points 60a, 60b, 60c is 180 °.
- the body angle of the frame at the node 60d is 90 °.
- the body angle of the frame of the node 60e is 0 °.
- the body angle of the frame of the segment points 60f and 60g is 270 °.
- the identification unit 154 determines that the basic motion type is “CCW turning” from the motion of the feature points of each frame included in the node points 60a to 60b.
- the identification unit 154 determines that the basic motion type is “CCW turning” from the motion of the feature points of each frame included in the nodes 60b to 60c.
- the identification unit 154 determines that the basic motion type is “CCW downward reverse 1/4 turn” from the motion of the feature points of each frame included in the nodes 60c to 60d.
- the identification unit 154 determines that the basic motion type is “CCW upward reverse 1/4 turn” from the motion of the feature points of each frame included in the node points 60d to 60e.
- the identification unit 154 determines that the basic motion type is “CCW downward reverse 1/4 turn” from the motion of the feature points of each frame included in the nodes 60e to 60f. The identification unit 154 determines that the basic motion type is “CCW turning” from the motion of the feature points of each frame included in the node points 60f to 60g.
- the first evaluation unit 155 uses the technique authorization rule data 143 based on the technique name that the subject performed between the frames included in the nodes 60a to 60b as “lateral turn” and the difficulty “A”. judge.
- the first evaluation unit 155 determines, based on the technique authorization rule data 143, the technique name performed by the subject between the frames included in the nodes 60b to 60c as “lateral turn” and the difficulty “A”.
- the first evaluation unit 155 determines that the technique name performed by the subject between the frames included in the nodes 60c to 60e is “turning the handle up and down” and the difficulty level “B”. To do.
- the first evaluation unit 155 Based on the technique authorization rule data 143, the first evaluation unit 155 does not hit the technique name and difficulty performed by the subject between the frames included in the nodes 60e to 60f, but the technique name "Unknown", difficulty level It is determined as “ ⁇ ”. Based on the technique authorization rule data 143, the first evaluation unit 155 assigns the technique name performed by the subject between the frames included in the nodes 60f to 60g as “one hand up vertically turning” and the difficulty “B”. judge.
- the second evaluation unit 157 determines that the E score of the performance performed by the subject between the frames included in the node points 60a to 60b is “8”.
- the second evaluation unit 157 determines that the E score of the performance performed by the subject between the frames included in the node points 60b to 60c is “8.5”.
- the second evaluation unit 157 determines that the E score of the performance performed by the subject between the frames included in the nodes 60c to 60e is “7.8”.
- the second evaluation unit 157 determines that the E score of the performance performed by the subject between the frames included in the nodes 60e to 60f is “1”.
- the second evaluation unit 157 determines that the E score of the performance performed by the subject between the frames included in the nodes 60f to 60g is “8.3”.
- the motion recognition apparatus 100 identifies a frame serving as a node based on the skeleton data 141 of the subject 5 and classifies the frame into a plurality of partial data.
- the motion recognition device 100 identifies the basic motion type of each partial data, and evaluates the technique name and difficulty level of the exercise performed by the subject based on the order of the basic motion types of the partial data continuous in time series. As described above, since the technique name and the difficulty level are evaluated based on the order of the basic exercise types, the exercise recognition apparatus 100 can efficiently evaluate the performance of the subject 5.
- the motion recognition device 100 upgrades the difficulty level of motion based on the order of basic motion types and the body rotation angle of partial data that continues in time series. For this reason, the exact difficulty corresponding to the complex evaluation criteria of a game can be specified.
- the motion recognition apparatus 100 calculates an E score corresponding to the partial data based on an evaluation criterion in which the feature points and points of each frame included in the partial data are associated with each other. For this reason, in addition to a technique and a difficulty level, E score can also be calculated appropriately.
- the motion recognition apparatus 100 identifies a frame in which the body vector is directed downward and the both hands of the subject 5 are located in a predetermined area as a segment point. For this reason, a some frame can be segmented appropriately and the determination precision of a technique or difficulty can be improved.
- the calculation unit 152 of the motion recognition apparatus 100 calculates the normal vector 7 of the plane 6 that passes through the feature point 5b of the right shoulder joint, the feature point 5e of the left shoulder joint, and the feature point 5i of the back.
- the present invention is not limited to this.
- FIG. 21 is a diagram for explaining an example of other body vectors.
- the calculation unit 152 may calculate a normal vector 7a of a plane 6a passing through the feature points 5k and 5n of each hip joint (right hip joint and left hip joint) and the back feature point 5i as a body vector.
- the direction of the normal vector 7a is the ventral side of the subject 5, and the size of the normal vector 7a is “1”.
- the normal vector 7a is referred to as a body vector 7a.
- the start point of the body vector 7a may be anywhere as long as it is fixed on the plane (triangle) 6a, but may be the midpoint of the feature points 5k, 5n, or the center of gravity of the plane 6a.
- the segment unit 153 can appropriately segment a plurality of frames and improve the accuracy of skill and difficulty determination. Further, the body vector 7 a is more suitable for evaluating the direction of the lower torso than the body vector 7.
- the calculation unit 152 adjusts the position coordinates of the feature points 5b, 5e, 5i, 5k, and 5n by inverse kinematic calculation using the entire feature point position coordinates so as to match the actual motion of the subject 5.
- the body vector 7 and body vector 7a may be calculated by estimation.
- the calculation unit 152 may adopt the unit normal vector of the adjusted or estimated feature point 5b, 5e, 5i plane 6 or 5i, 5k, 5n plane 6a as the body vector.
- the reason for occlusion and the like is obtained. Therefore, it is possible to cope with the case where the feature point of the target person 5 cannot be detected directly or when the error of the position of the feature point becomes large, and the technique determination accuracy can be improved.
- FIG. 22 is a diagram illustrating an example of a hardware configuration of a computer that realizes the same function as the motion recognition apparatus.
- the computer 200 includes a CPU 201 that executes various arithmetic processes, an input device 202 that receives input of data from a user, and a display 203.
- the computer 200 also includes a reading device 204 that reads programs and the like from a storage medium, and an interface device 205 that exchanges data with other computers via a network.
- the computer 200 acquires skeleton data from the skeleton recognition device 20 via the interface device 205.
- the computer 200 also includes a RAM 206 that temporarily stores various information and a hard disk device 207.
- the devices 201 to 207 are connected to the bus 208.
- the hard disk device 207 includes an acquisition program 207a, a calculation program 207b, a segmentation program 207c, an identification program 207d, a first evaluation program 207e, an upgrade program 207f, a second evaluation program 207g, and a display program 207h.
- the CPU 201 reads each program 207 a to 207 h and develops it in the RAM 206.
- the acquisition program 207a functions as the acquisition process 206a.
- the calculation program 207b functions as a calculation process 206b.
- the segment program 207c functions as a segment process 206c.
- the identification program 207d functions as an identification process 206d.
- the first evaluation program 207e functions as the first evaluation process 206e.
- the upgrade program 207f functions as an upgrade process 206f.
- the second evaluation program 207g functions as the second evaluation process 206g.
- the display program 207h functions as a display process 206h.
- the processing of the acquisition process 206a corresponds to the processing of the acquisition unit 151.
- the process of the calculation process 206 b corresponds to the process of the calculation unit 152.
- the process of the segment process 206c corresponds to the process of the segment unit 153.
- the process of the identification process 206d corresponds to the process of the identification unit 154.
- the process of the first evaluation process 206e corresponds to the process of the first evaluation unit 155.
- the process of the upgrade process 206f corresponds to the process of the upgrade unit 156.
- the process of the second evaluation process 206g corresponds to the process of the second evaluation unit 157.
- the process of the display process 206h corresponds to the process of the display control unit 158.
- each program 207a to 207h are not necessarily stored in the hard disk device 207 from the beginning.
- each program is stored in a “portable physical medium” such as a flexible disk (FD), a CD-ROM, a DVD disk, a magneto-optical disk, and an IC card inserted into the computer 200.
- the computer 200 may read and execute each of the programs 207a to 207h.
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Physiology (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Public Health (AREA)
- Dentistry (AREA)
- Biophysics (AREA)
- Physical Education & Sports Medicine (AREA)
- Human Computer Interaction (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Geometry (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Data Mining & Analysis (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Artificial Intelligence (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
運動認識装置(100)は、分節部(153)と、識別部(154)と、第1評価部(155)とを有する。分節部(153)は、対象者の体の所定の部位または関節部に対応する特徴点の位置情報を含む複数のフレームを、対象者の体の所定の部位の位置に基づいて時系列に分節することで、複数のフレームを時系列に複数のグループに分類する。識別部(154)は、グループ毎に、連続するフレームに含まれる特徴点の動きを基にして、グループに対応する基本運動の種別を識別する。第1評価部(155)は、時系列に連続するグループに対応する基本運動の種別の順序を基にして、対象者が行った運動の技および難度を評価する。
Description
本発明は、運動認識装置等に関する。
各種のスポーツの分野では、公平かつ正確に選手の演技を評価するため、長年にわたり多くの努力や改革が行われてきた。しかし、最近の競技の技術進歩はめざましく、審判員の目視だけでは正確な評価を行うことが困難な場合もある。このため、自動的に選手の演技を評価する技術が望まれている。以下において、自動的に選手の演技を評価する従来技術の一例について説明する。
従来技術1は、鉄棒を行う選手を評価する技術である。従来技術1は、2次元シルエット画像からキーボーズを検出し、キーボーズの組み合わせから技を認識し、自動採点を行う。しかし、従来技術1では、2次元シルエット画像を用いて技を認識するため、2次元シルエットのみで判別可能な一部の競技の技しか認識することができない。
従来技術1を解消するものとして、従来技術2がある。従来技術2は、技毎の選手の骨格の動きのプロトタイプを予め生成しておき、生成しておいた各プロトタイプと、演技を行う選手の骨格情報を比較して、技を判定する技術である。
吉村拓哉 橋本剛"機械学習を用いたジェスチャー認識精度向上方法の研究"ゲームプログラミングワークショップ 2012 論文集 2012.6(2012) 167-170.
J.Shin and Ozawa,"A Study on Motion Analysis of an Artistic Gymnastics by using Dynamic Image Processing" IEEE International Conference on Systems Man and Cybernetics, pp. 1037-1040,2008
しかしながら、上述した従来技術では、対象者の演技を効率的に評価することができないという問題がある。
例えば、従来技術2では、技毎に用意した各プロトタイプを用いて、技を識別する。このため、多種多様な技を判別するためには、比較対象となるプロトタイプの数が多くなり、該当する技を認識するまでに時間を要する。
1つの側面では、本発明は、対象者の演技を効率的に評価することができる運動認識装置、運動認識プログラムおよび運動認識方法を提供することを目的とする。
第1の案では、運動認識装置は、分節部と、識別部と、第1評価部とを有する。分節部は、対象者の体の所定の部位または関節部に対応する特徴点の位置情報を含む複数のフレームを、対象者の体の所定の部位の位置に基づいて時系列に分節することで、複数のフレームを時系列に複数のグループに分類する。識別部は、グループ毎に、連続するフレームに含まれる特徴点の動きを基にして、グループに対応する基本運動の種別を識別する。第1評価部は、時系列に連続するグループに対応する基本運動の種別の順序を基にして、対象者が行った運動の技および難度を評価する。
対象者の演技を効率的に評価することができる。
以下に、本願の開示する運動認識装置、運動認識プログラムおよび運動認識方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。
図1は、本実施例に係るシステムの構成を示す図である。図1に示すように、このシステムは、3D(dimension)センサ10と、骨格認識装置20と、運動認識装置100とを有する。例えば、対象者5は、3Dセンサ10の撮影範囲で、所定の体操を行う。本実施例では一例として、対象者5が鞍馬を演技する場合について説明するが、これに限定されるものではなく、その他の体操競技であっても良い。
3Dセンサ10は、3Dセンサ10の設置位置から、3Dセンサ10の撮影範囲に含まれる対象者5上の各観測点までの距離情報を計測するセンサである。例えば、3Dセンサ10は、フレーム毎に、各観測点の3次元座標を示す3次元データを生成し、生成した3次元データを骨格認識装置20に出力する。フレームは、あるタイミングにおいて、3Dセンサ10が計測した各観測点の3次元座標の情報を示すものであり、3次元データは、複数のフレームから構成される。
骨格認識装置20は、3次元データを基にして、対象者5の骨格を構成する複数の特徴点を認識する装置である。図2は、骨格の特徴点の一例を説明するための図である。図2に示すように、骨格の特徴点は、特徴点5a~5pが含まれる。
特徴点5aは、頭部の位置に対応する点である。特徴点5b,5eは、肩関節(右肩関節、左肩関節)の位置に対応する点である。特徴点5c,5fは、肘関節(右肘関節、左肘関節)の位置に対応する点である。特徴点5d,5gは、手首(右手首、左手首)の位置に対応する点である。特徴点5hは、首の位置に対応する点である。特徴点5iは、背中(背中の中心)に対応する点である。特徴点5jは、腰(腰の中心)に対応する点である。特徴点5k,5nは、股関節(右股関節、左股関節)の位置に対応する点である。特徴点5l,5oは、膝関節(右膝関節、左膝関節)の位置に対応する点である。特徴点5m,5pは、足首(右足首、左足首)の位置に対応する点である。
骨格認識装置20は、フレーム毎の3次元データを基にして、フレーム毎の骨格の特徴点を認識し、骨格データを生成する。図3は、骨格データのデータ構造の一例を示す図である。図3に示すように、骨格データは、フレーム毎に、各特徴点5a~5pの3次元座標を有する。各フレームは、フレームを一意に識別するフレーム番号が付与される。
運動認識装置100は、骨格データを基にして、対象者5が演技した体操の技および難度を評価する装置である。図4は、運動認識装置の構成を示す機能ブロック図である。図4に示すように、この運動認識装置100は、インタフェース部110と、入力部120と、記憶部140と、制御部150とを有する。
インタフェース部110は、骨格認識装置20やその他の外部装置とデータを送受信するインタフェースである。後述する制御部150は、インタフェース110を介して、骨格識別装置20とデータをやり取りする。
入力部120は、運動認識装置100に各種の情報を入力するための入力装置である。例えば、入力部120は、キーボードやマウス、タッチパネル等に対応する。
表示部130は、制御部150から出力される情報を表示する表示装置である。例えば、表示部130は、液晶ディスプレイやタッチパネル等に対応する。
記憶部140は、骨格データ141、算出結果データ142、技認定規則データ143、格上げ規則データ144、評価結果データ145を有する。記憶部140は、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ(Flash Memory)などの半導体メモリ素子や、HDD(Hard Disk Drive)などの記憶装置に対応する。
骨格データ141は、骨格認識装置20により生成される骨格データである。骨格データ141のデータ構造は、図3で説明した骨格データのデータ構造と同様である。
算出結果データ142は、対象者5の手足先、体躯の位置・姿勢に関する情報を有するデータである。算出結果データ142は、後述する算出部152により算出される。図5は、算出結果データのデータ構造の一例を示す図である。図5に示すように、この算出結果データ142は、フレーム番号と、手・足の位置データと、体躯ベクトルデータと、分節番号とを対応付ける。
フレーム番号は、フレームを一意に識別する情報である。手・足の位置データは、両手、両足の3次元座標を示すデータである。例えば、手の位置データは、手首の特徴点5d,5gの3次元座標に対応する。足の位置データは、足首の特徴点5m,5pの3次元座標に対応する。体躯ベクトルデータは、体躯ベクトルの方向および大きさを示すデータである。
図6は、体躯ベクトルの一例を説明するための図である。図6に示すように、体躯ベクトル7は、右肩関節の特徴点5bと、左肩関節の特徴点5eと、背中の特徴点5iとを通る平面6の法線ベクトルに対応する。例えば、体躯ベクトル7の大きさを「1」とする。例えば、体躯ベクトルは、X軸、Y軸、Z軸からなる直交座標系で定義される。X軸の方向を、鞍馬8の長手方向とする。Y軸の方向を、X軸と直交する方向とする。Z軸の方向を、XY平面の鉛直上方向とする。なお、体躯ベクトル7が求まると、鞍馬と体躯との角度を定義することができる。
鞍馬と体躯との角度について説明する。図7は、鞍馬と体躯との角度を説明するための図である。図7に示すように、鞍馬と体躯との角度θは、線分1aと線分1bとのなす角である。線分1bは、体躯ベクトル7をXY平面に投影したものを対象者5の前方に延長した線分である。線分1aはY軸に対応する線分である。
分節番号は、フレームがいずれのグループに属するかを示す番号である。グループは、ある1つの基本運動を対象者が行った場合において、基本運動の始点となるフレームから基本運動の終点となるフレームまでの各フレームを集合として扱うものである。
同一のグループに属するフレームには、同一の分節番号が割り当てられる。分節番号は、後述する分節部153によって設定される。例えば、時系列に連続する複数のフレームにおいて、分節点となるフレームから、次の分節点となるフレームまでに含まれる複数のフレームが、同一のグループに含まれるフレームとなる。以下の説明では適宜、同一のグループに属する複数のフレームを、「部分データ」と表記する。後述する識別部154は、部分データ毎に、部分データに対応する基本運動の種別を特定する。
図4の説明に戻る。技認定規則データ143は、後述する第1評価部155が、技の名称と、難度とを判定する場合に用いるデータである。図8は、技認定規則データのデータ構造の一例を示す図である。図8に示すように、この技認定規則データ143は、基本運動種別、始点体躯角度領域、終点体躯角度領域、始点左手支持位置、始点右手支持位置、終点左手支持位置、終点右手支持位置、前基本運動種別、技名、グループ、難度を対応付ける。
基本運動種別は、基本運動の種別を示すものである。始点体躯角度領域は、部分データに含まれる始点のフレームにおいて、体躯ベクトルの方向が、予め定められたいずれの角度領域に含まれるのかを示すものである。終点体躯角度領域は、部分データに含まれる終点のフレームにおいて、体躯ベクトルの方向が、予め定められたいずれの角度領域に含まれるのかを示すものである。図8の始点体躯角度領域および終点体躯角度領域において、A(B)は、()外または()内の組み合わせにおいて、角度領域がA領域であっても良いし、B領域であっても良いことを示す。
図9は、角度領域の一例を示す図である。図9に示すように、角度領域は、0°領域、90°領域、180°領域、270°領域を含む。線分1bは、対象者5の体躯ベクトル7をXY平面に投影したものを対象者5の前方に延長した線分である。図9に示す例では、体躯ベクトル7の方向は、0°領域となる。
始点左手支持位置は、部分データに含まれる始点のフレームにおいて、対象者5の左手(左手首)の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。始点右手支持位置は、部分データに含まれる始点のフレームにおいて、対象者5の右手(右手首)の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。図8の始点左手支持位置および始点右手支持位置において、A(B)は、()外または()内の組み合わせにおいて、支持位置が支持位置Aであっても良いし、支持位置Bであっても良いことを示す。
終点左手支持位置は、部分データに含まれる終点のフレームにおいて、対象者5の左手(左手首)の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。終点右手支持位置は、部分データに含まれる終点のフレームにおいて、対象者5の右手(右手首)の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。図8の終点左手支持位置および終点右手支持位置において、A(B)は、()外または()内の組み合わせにおいて、支持位置が支持位置Aであっても良いし、支持位置Bであっても良いことを示す。
図10は、支持位置の一例を示す図である。対象者5の手(左手または右手)が領域8aに存在する場合には、手の位置は、支持位置「1」に対応する。対象者5の手が領域8bに存在する場合には、手の位置は、支持位置「2」に対応する。対象者5の手が領域8cに存在する場合には、手の位置は、支持位置「3」に対応する。対象者5の手が領域8dに存在する場合には、手の位置は、支持位置「4」に対応する。対象者5の手が領域8eに存在する場合には、手の位置は、支持位置「5」に対応する。
前基本運動種別は、着目する部分データよりも時系列で一つ前の部分データに対応する基本運動の種別を示すものである。前基本運動種別「any」は、前の基本運動の種別が何であっても良いことを示す。以下の説明では、着目する部分データよりも時系列で一つ前の部分データを、「前部分データ」と表記する。
技名は、基本運動種別、始点体躯角度領域、終点体躯角度領域、始点左手支持位置、始点右手支持位置、終点左手支持位置、終点右手支持位置、前基本運動種別の組み合わせにより特定される技の名称である。
グループは、技名により特定される技が分類されるグループを示すものである。難度は、技の難度を示すものである。技の難度は、A,B,C,D,Eの順に難度が高くなる。難度Aが最も難度が低い。
図4の説明に戻る。格上げ規則データ144は、後述する格上げ部156が、技の難度を格上げするか否かを判定する場合に用いるデータである。図11は、格上げ規則データのデータ構造の一例を示す図である。図11に示すように、この格上げ規則データ144は、技名と、前運動における体躯回転角度、前運動における始点左手支持位置、前運動における始点右手支持位置、前運動における終点左手支持位置、前運動における終点右手支持位置とを有する。また、格上げ規則データ144は、前基本運動種別と、難度格上げ数とを有する。
図11において、技名は、着目する部分データについて、第1評価部155により特定された技名に対応し、難度の格上げを行うか否かの対象となるものである。前運動における体躯回転角度は、前部分データに含まれる始点のフレームから終点のフレームまでの体躯ベクトルの回転角度の総和を示す。例えば、回転角度は、図9で説明したように、体躯ベクトルをXY平面に投影した場合の、回転角度とする。前部分データの始点となるフレームの体躯ベクトルをXY平面に投影した位置を0°として、回転角度の合計が算出される。
前運動における始点左手支持位置は、前部分データに含まれる始点のフレームにおいて、対象者5の左手(左手首)の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。前運動における始点右手支持位置は、前部分データに含まれる始点のフレームにおいて、対象者5の右手(右手首)の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。
前運動における終点左手支持位置は、前部分データに含まれる終点のフレームにおいて、対象者5の左手(左手首)の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。前運動における終点右手支持位置は、前部分データに含まれる終点のフレームにおいて、対象者5の右手(右手首)の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。
前基本運動種別は、前部分データに対応する基本運動の種別を示すものである。
難度格上げ数は、該当する条件にヒットする場合に、第1評価部155によって特定された技の難度を何段階格上げするのかを示す情報である。例えば、第1評価部155によって特定された技名が「正交差」であり、体躯回転角度が「360°未満」であり、前運動における始点・終点、左手・右手の各支持位置が「3」であり、前基本運動種別が「倒立ひねり」であるとする。この場合には、格上げ規則データ144の1列目のレコードにヒットし、難度格上げ数は「1」となる。例えば、現在の難度が「A」である場合には、1段階難度を格上げすると、補正後の難度は「B」となる。
評価結果データ145は、対象者5の演技の評価結果に関する情報を保持するデータである。図12は、評価結果データのデータ構造の一例を示す図である。図12に示すように、この評価結果データ145は、フレーム番号、右手位置、左手位置、体躯角度、足の高さ、体躯向き、分節フラグ、基本運動種別、技名、難度、Eスコアを対応付ける。
フレーム番号は、フレームを一意に識別する情報である。右手位置は、対象者5の右手(右手首)の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。左手位置は、対象者5の左手(左手首)の位置が、予め定められた鞍馬上のいずれの支持位置に対応するのかを示すものである。
体躯角度は、対象者5の体躯角度を示すものである。例えば、該当するフレームから求められる体躯ベクトルをXY平面に投影した場合の線分と、Y軸とのなす角を、体躯角度とする。足の高さは、対象者5の右足(右足首)の位置および対象者の左足(左足首)位置のうち、高い方の位置を示すものである。
体躯向きは、体躯ベクトルのZ軸の向きが正の方向であるか負の方向であるかを示すものである。体躯向きが「下」とは、体躯ベクトルのZ軸の向きが負であることを示す。体躯向きが「上」とは、体躯ベクトルのZ軸の向きが正であることを示す。
分節フラグは、該当するフレームが分節点に対応するか否かを示す情報である。該当するフレームが分節点であるか否かは、後述する分節部153によって判定される。該当するフレームが分節点である場合には、分節フラグが「1」となる。該当するフレームが分節点でない場合には、分節フラグが「0」となる。
基本運動種別、技名、難度に関する説明は、図8で説明した基本運動種別、技名、難度に関する説明と同様である。
Eスコア(Execution score)は、部分データに対応する基本運動種別のEスコアを示すものである。Eスコアは、後述する第2評価部157により算出される。
図4の説明に戻る。制御部150は、取得部151、算出部152、分節部153、識別部154、第1評価部155、格上げ部156、第2評価部157、表示制御部158を有する。制御部150は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などによって実現できる。また、制御部150は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などのハードワイヤードロジックによっても実現できる。
取得部151は、骨格認識装置20から骨格データ141を取得する処理部である。取得部151は、取得した骨格データ141を記憶部140に登録する。骨格データ141のデータ構造は、図3で説明したものである。
算出部152は、骨格データ141を基にして、算出結果データ142を算出する処理部である。算出結果データ142のデータ構造は、図5で説明したものである。算出結果データ142のうち、フレーム番号に対応する手・足の位置データ、体躯ベクトルデータは、算出部152により登録され、分節番号は、分節部153により登録される。
算出部152は、フレーム毎に、手・足の位置データ、体躯ベクトルデータを算出する。例えば、算出部152は、骨格データ141の特徴点5d,5gの3次元座標を、手の位置として算出する。算出部152は、骨格データ141の特徴点5m,5pの3次元座標を、足の位置として算出する。算出部152は、該当するフレームのフレーム番号と対応付けて、手・足の位置データを、算出結果データ142に登録する。
算出部152は、右肩関節の特徴点5bと、左肩関節の特徴点5eと、背中の特徴点5iとを通る平面6の法線ベクトルを、体躯ベクトルとして算出する。算出部152は、該当するフレームのフレーム番号と対応付けて、体躯ベクトルデータを、算出結果データ142に登録する。
算出部152は、骨格データ141の各フレームについて、上記処理を繰り返し実行することで、算出結果データ142を生成する。
分節部153は、算出結果データ142を基にして、分節点となるフレームを特定し、特定した分節点に基づいて、複数のフレームを複数のグループに分類する処理部である。分節部153は、算出結果データ142にアクセスし、同一のグループに属するフレームの分節番号を、同一に設定する。
分節部153は、算出結果データ142において、あるフレーム番号に対応する手・足の位置データを参照する。分節部153は、下記の条件A1、A2、A3を全て満たす場合に、あるフレーム番号に対応するフレームが、分節点であると判定する。条件A1~A3を全て満たす場合には、対象者5は両手を鞍馬8につき、体躯ベクトルの方向が下向きになっていることを意味する。
条件A1:対象者5の左手の位置が、図10に示した領域8a~8eのいずれかに位置する。
条件A2:対象者5の右手の位置が、図10に示した領域8a~8eのいずれかに位置する。
条件A3:体躯ベクトルのZ軸成分が負である。
条件A1:対象者5の左手の位置が、図10に示した領域8a~8eのいずれかに位置する。
条件A2:対象者5の右手の位置が、図10に示した領域8a~8eのいずれかに位置する。
条件A3:体躯ベクトルのZ軸成分が負である。
分節部153は、評価結果データにアクセスし、分節点であると判定したフレーム番号に対応する分節フラグを「1」に設定する。分節フラグの初期値を「0」とする。
図13は、分節部の処理の一例を説明するための図である。図13に示す複数のフレームは、時系列に並んでいる。一例として、フレーム30a、31a,32aが、上記の条件A1~A3を満たし、分節点のフレームであるとする。この場合には、分節部153は、範囲30に含まれる各フレームを同一のグループに分類する。分節部153は、範囲31に含まれる各フレームを同一のグループに分類する。分節部153は、範囲32に含まれる各フレームを同一のグループに分類する。
範囲30に含まれる各フレームの分節番号は「n」、範囲31に含まれる各フレームの分節番号は「n+1」、範囲32に含まれる各フレームの分節番号は「n+2」となる。nは1以上の自然数とする。
例えば、範囲30に含まれる各フレームにおいて、先頭のフレーム30aが、始点のフレームとなり、末尾のフレーム30bが、終点のフレームとなる。範囲31に含まれる各フレームにおいて、先頭のフレーム31aが、始点のフレームとなり、末尾のフレーム31bが、終点のフレームとなる。範囲32に含まれる各フレームにおいて、先頭のフレーム32aが、始点のフレームとなり、末尾のフレーム32bが、終点のフレームとなる。
ここで、「部分データ」、「前部分データ」について再度説明する。範囲30,31,32に含まれる各フレームをまとめたデータが、それぞれ、部分データとなる。着目する部分データを、範囲31に含まれる各フレームであるとすると、前部分データは、範囲31に含まれる各フレームとなる。
識別部154は、部分データ毎に、部分データに含まれるフレームの特徴点の動きを基にして、部分データに対応する基本運動種別を識別する処理部である。識別部154は、部分データに含まれるフレームの特徴点の情報を、算出結果データ142から取得する。識別部154は、部分データに対応する基本運動種別を識別すると、識別結果を、フレーム番号と対応付けて、評価結果データ145に登録する。
例えば、識別部154は、HMM(Hidden Markov Model)を利用する。HMMは、時系列データを入力とし、その時系列データがどのカテゴリ(基本運動種別)に属するのかを決定する確率モデルである。識別部154には、学習フェーズと、認識フェーズとがある。
HMMは、学習フェーズにおいて、基本運動種別毎に4組のパラメータセットλを求めておく。パラメータセットλは、式(1)によって定義される。
λ={Q、A、B、Π}・・・(1)
λ={Q、A、B、Π}・・・(1)
式(1)において、Qは、状態の集合を示し、式(2)によって定義される。
Q={a1、q2、・・・、qn}・・・(2)
Q={a1、q2、・・・、qn}・・・(2)
式(1)において、Aは、状態qiから状態qjへの遷移確率aijの集合である状態遷移確率行列を示し、式(3)によって定義される。
A={aij}・・・(3)
A={aij}・・・(3)
式(1)において、Bは、状態qjでのベクトルxを出力する確率分布の集合を示す。式(1)において、Πは、初期状態の集合を示し、式(4)によって定義される。
Π={πi}・・・(4)
Π={πi}・・・(4)
識別部154の学習フェーズの処理の一例について説明する。識別部154は、ある基本運動種別のパラメータセットλを求める場合に、初期状態としてHMMのパラメータをランダムに設定する。識別部154は、ある基本運動識別に対応する部分データを複数用意し、部分データOsegmentに対してHMMの尤度P(Osegment|Λk)を算出する処理を行う。
識別部154は、尤度Pが最大となる部分データを、HMMに関するΛkの教師信号とし、Λkのパラメータセットを最適化する処理を繰り返し実行する。識別部154は、係る処理により、ある基本運動種別のパラメータセットλを特定する。識別部154は、他の基本運動種別についても同様の処理を行うことで、基本運動種別毎のパラメータセットλを学習する。
識別部154の認識フェーズの処理の一例について説明する。識別部154は、基本運動種別の認識対象となる部分データを取得すると、式(6)に基づき、学習フェーズで学習したパラメータセットを変えつつ、パラメータセットλ毎のΛkのうち、最大となるΛk0を特定する。識別部154は、Λk0を算出した際に用いたパラメータセットλに対応する基本運動種別を、認識対象となる部分データの基本運動種別として判定する。
第1評価部155は、時系列に連続する部分データに対応する基本運動種別の順序を基にして、対象者5が行った運動の技および難度を評価する処理部である。以下において、第1評価部155の処理の一例について説明する。ここでは、評価対象となる部分データを、単に部分データと表記し、評価対象となる部分データよりも一つ前の部分データを前部分データと表記する。
第1評価部155は、部分データに含まれるフレーム番号と、評価結果データ145とを基にして、部分データの基本運動種別を特定する。第1評価部155は、前部分データに含まれるフレーム番号と、評価結果データ145とを基にして、前部分データの前基本運動種別を特定する。
第1評価部155は、部分データに含まれる始点のフレームのフレーム番号をキーにして、算出結果データ142を参照し、始点体躯角度領域、始点左手支持位置、始点右手支持位置を特定する。第1評価部155は、部分データに含まれる終点のフレームのフレーム番号をキーにして、算出結果データ142を参照し、終点体躯角度領域、終点左手支持位置、終点右手支持位置を特定する。
例えば、第1評価部155は、図9で説明した各角度領域の定義と、体躯ベクトルとを比較して、始点体躯角度領域、終点体躯角度領域を特定する。第1評価部155は、図10で説明した各領域8a~8eと、手の位置データとを比較することで、始点左手支持位置、始点右手支持位置、終点左手支持位置、終点右手支持位置を特定する。
第1評価部155は、特定した各情報と、技認定規則データ143とを比較して、部分データに対応する技名と難度とグループとを特定する。ここで、特定した各情報は、基本運動種別、前運動種別を含む。また、特定した各情報は、始点体躯角度領域、始点左手支持位置、始点右手支持位置、終点体躯角度領域、終点左手支持位置、終点右手支持位置を含む。
第1評価部155は、特定した技名と難度とグループとを、部分データに含まれるフレームのフレーム番号と対応付けて、評価結果データ145に登録する。また、第1評価部155は、フレーム番号と対応付けて、右手位置、左手位置、体躯角度、足の高さ、体躯向きを登録する。第1評価部155は、他の部分データについても上記処理を繰り返し実行することで、技名、難度、グループを特定し、評価結果データ145に登録する。
格上げ部156は、第1評価部155が評価した難度を格上げするか否かを判定し、判定結果を基にして、難度を格上げする処理部である。以下において、格上げ部156の処理の一例について説明する。ここでは、評価対象となる部分データを、単に部分データと表記し、評価対象となる部分データよりも一つ前の部分データを前部分データと表記する。
格上げ部156は、部分データに含まれるフレームのフレーム番号をキーにして、評価結果データ145を参照し、第1評価部155により評価された、部分データに対応する技名を特定する。
格上げ部156は、部分データに含まれる各フレームの体躯ベクトルを基にして、体躯回転角度を算出する。体躯回転角度は、始点のフレームから終点のフレームまでの体躯角度の変化の総和である。格上げ部156は、各フレームの体躯ベクトルのデータを、算出結果データ142から取得する。
格上げ部156は、部分データに含まれる始点のフレームのフレーム番号をキーにして、算出結果データ142を参照し、始点左手支持位置、始点右手支持位置を特定する。格上げ部156は、部分データに含まれる終点のフレームのフレーム番号をキーにして、算出結果データ142を参照し、終点左手支持位置、終点右手支持位置を特定する。格上げ部156は、前部分データに含まれるフレーム番号と、評価結果データ145とを基にして、前部分データの前基本運動種別を特定する。
格上げ部156は、特定した各情報と、格上げ規則データ144とを比較して、部分データに対応する難度を格上げするか否かを判定する。ここで、特定した各情報は、技名、体躯回転角度、始点左手支持位置、始点右手支持位置、終点左手支持位置、終点右手支持位置、前基本運動種別を含む。
格上げ部156は、特定した各情報にヒットする列レコードが、格上げ規則データ144に存在する場合には、難度を格上げすると判定する。格上げ部156は、特定した各情報にヒットする列レコードが、格上げ規則データ144に存在しない場合には、難度を格上げしないと判定する。何段階格上げするのかは、ヒットした列レコードの難度格上げ数を参照する。
例えば、部分データの技名が「正交差」であり、体躯回転角度が「360°未満」であり、前運動における始点・終点、左手・右手の各支持位置が「3」であり、前基本運動種別が「倒立ひねり」であるとする。この場合には、格上げ規則データ144の1列目のレコードにヒットし、難度格上げ数は「1」となる。そして、部分データの現在の難度が「A」である場合には、格上げ部156は、難度を「B」に補正する。
格上げ部156は、他の部分データについても上記処理を繰り返し実行することで、評価結果データ145の難度を更新する。
第2評価部157は、各部分データについて、基本運動のEスコアを評価する処理部である。第2評価部157には、予め基本運動種別毎に、Eスコアを算出するためのポリシーが設定されているものとする。ここでは一例として、第2評価部157が、基本運動種別「下り」のEスコアを算出する例について説明する。ここでの「下り」は、鞍馬から対象者5が下りる際の基本運動を示す。
第2評価部157は、式(7)に示す評価関数F(k)を用いる。評価関数F(k)は、評価対象となる部分データに含まれる複数のフレームのうち、k番目のフレームを評価する関数である。
F(k)=arcsin(Tz/Tx)・・・(7)
F(k)=arcsin(Tz/Tx)・・・(7)
図14は、評価関数F(k)を説明するための図である。図14において、Txは、k番目のフレームにおける対象者5の肩関節から足先(足首)までのX成分の長さに対応する。Tzは、k番目のフレームにおける対象者5の肩関節から足先までのZ成分の長さに対応する。例えば、肩関節の位置は、特徴点5bまたは5eの位置に対応する。足先は、特徴点5mまたは5pの位置に対応する。
第2評価部157は、「下り」を評価する場合には、対象となる部分データに含まれる各フレームについて、上記処理を繰り返し実行し、各フレームに対するF(k)の値を算出する。第2評価部157は、各フレームにおいて、F(k)の値が30°未満となるフレームが出現した場合には、欠点「0.3」を決定する。
第2評価部157は、式(8)に基づいて、基本運動に対する最終的なEスコアを算出する。式(8)に示すΣは、全ての部分データにおける評価関数の結果で決定された欠点の総和を示すものである。なお、上記では一例として「下り」の評価関数について説明したが、その他の基本運動についても、該当する基本運動に対応した評価関数により欠点が決定される。例えば、「旋回」の部分データの評価関数は、左右足先の揃い方を評価する評価関数となり、左右両足が揃わないほど、欠点が大きくなる。
Eスコア=10-Σ・・・(8)
第2評価部157は、算出したEスコアの情報を、フレーム番号に対応付けて、評価結果データ145に登録する。第2評価部157は、同一の部分データに含まれる各フレームのレコードに、Eスコアを登録しても良いし、同一の部分データに含まれる各フレームのうち、始点のフレームのレコードに、Eスコアを登録して良い。第2評価部157は、他の部分データについても同様にEスコアを算出し、評価結果データ145に登録する。
なお、上記の第1評価部155は、評価結果データ145と、規則を示す論理式により、技の難度を再判定しても良い。規則を表す論理式は、各基本運動の技名の順序と、Dスコア(Difficulty score)とを対応付ける論理式である。
表示制御部158は、評価結果データ145を基にして、表示画面を生成し、表示部130に表示させる処理部である。図15は、表示画面の一例を示す図である。図15に示すように、この表示画面50には、領域50a~50gが含まれる。なお、表示制御部158は、評価結果データ145をそのまま、表示部130に表示しても良い。
領域50aは、現在の対象者5の手・足の位置データ、体躯ベクトルデータを表示する領域である。領域50bは、対象者5の演技開始時の手・足の位置データ、体躯ベクトルデータを表示する領域である。領域50cは、現在のフレームよりも1つ前のフレームにより特定される対象者5の手・足の位置データ、体躯ベクトルデータを表示する領域である。領域50dは、現在のフレームよりも2つ前のフレームにより特定される対象者5の手・足の位置データ、体躯ベクトルデータを表示する領域である。領域50eは、現在のフレームよりも3つ前のフレームにより特定される対象者5の手・足の位置データ、体躯ベクトルデータを表示する領域である。領域50fは、現在のフレームを含む部分データにより特定される基本運動の技名を表示する領域である。領域50gは、3Dセンサ10の情報を可視化した画像を表示する領域である。
次に、本実施例に係る運動認識装置100の処理手順について説明する。図16および図17は、運動認識装置の処理手順を示すフローチャートである。図16に示すように、運動認識装置100は、処理対象のフレーム番号を、フレーム番号に1を加算した値によって更新する(ステップS101)。運動認識装置100の算出部152は、骨格データ141を読み込む(ステップS102)。
算出部152は、骨格データ141を基にして、手・足の位置データ、体躯ベクトルデータを算出する(ステップS103)。運動認識装置100の分節部153は、正面支持フラグの設定を行う(ステップS104)。ステップS104において、分節部153は、上述した条件A1,A2,A3を全て満たす場合に、正面支持フラグを「1」に設定する。分節部153は、条件A1,A2,A3の全てを満たさない場合には、正面支持フラグを「0」に設定する。正面支持フラグは、処理対象のフレーム番号と対応付けられる。
分節部153は、着地フラグを設定する(ステップS105)。ステップS105において、分節部153は、対象者5の左足先(左足首)の位置または右足(右足首)の位置が所定の閾値未満である場合に、着地フラグを「1」に設定する。分節部153は、対象者5の左足先(左足首)の位置または右足(右足首)の位置が所定の閾値以上である場合に、着地フラグを「0」に設定する。着地フラグは、処理対象のフレーム番号と対応付けられる。
分節部153は、分節点判定処理を行う(ステップS106)。ステップS106において、分節部153は、前回のフレーム番号に対応する正面支持フラグが「0」で、かつ、処理対象のフレーム番号に対応する正面支持フラグが「1」である場合に、処理対象のフレーム番号に対応するフレームが、分節点であると判定する。分節部153は、前回のフレーム番号に対応する正面支持フラグが「1」であるか、または、処理対象のフレーム番号に対応する正面支持フラグが「0」である場合に、処理対象のフレーム番号に対応するフレームが、分節点でないと判定する。
分節部153は、分節点でないと判定した場合には(ステップS107,No)、フレーム番号に対応付けて、手・足の位置データ、体躯ベクトルデータ、現在の分節番号を、算出結果データ142に登録し(ステップS108)、ステップS101に移行する。
分節部153は、分節点であると判定した場合には(ステップS107,Yes)、現在の分節番号を更新し(ステップS109)、図17のステップS110に移行する。
運動認識装置100の識別部154は、分節番号nのフレームを基にして、基本運動種別を判定する(ステップS110)。運動認識装置100の第1評価部155は、技認定規則データ143を基にして、技名と難度とを判定する(ステップS111a)。運動認識装置100の格上げ部156は、格上げ規則データ144を基にして、難度を格上げし(ステップS112)、ステップS113に移行する。
運動認識装置100の第2評価部157は、基本運動に関するEスコアを算出し(ステップS111b)、ステップS113に移行する。
運動認識装置100は、フレーム番号に対応付けて、技と難度とEスコアとを評価結果テーブル145に登録する(ステップS113)。
運動認識装置100は、演技終了判定処理を行う(ステップS114)。ステップS114において、運動認識装置100は、技の属するグループが所定のグループである場合に、演技が終了であると判定する。運動認識装置100は、着地フラグを集計した落下カウントの値が所定数以上である場合に、演技が終了であると判定する。
運動認識装置100は、演技が終了でない場合には(ステップS115,No)、図16のステップS101に移行する。運動認識装置100は、演技が終了である場合には(ステップS115,Yes)、着地フラグ、落下カウント、分節番号を初期値に設定する(ステップS116)。
運動認識装置100の第1評価部155は、評価結果データ145と、規則を示す論理式により、技の難度を再判定し、Dスコアを算出する(ステップS117)。運動認識装置100の表示制御部158は、評価結果を表示する(ステップS118)。
次に、図17のステップS111aで説明した技認定規則データを基にして技名と難度とを判定する処理の一例について説明する。図18は、技名と難度と判定する処理手順を示すフローチャートである。図18に示すように、運動認識装置100の第1評価部155は、分節番号nに対応するフレームの手・足の位置データおよび体躯ベクトルデータを、算出結果データ142から取得する(ステップS201)。
第1評価部155は、始点のフレームに対応する手・足の位置データを基にして、始点体躯角度領域、始点左手支持位置、始点右手支持位置を特定する(ステップS202)。第1評価部155は、終点のフレームに対応する手・足の位置データを基にして、終点体躯角度領域、終点左手支持位置、終点右手支持位置を特定する(ステップS203)。
第1評価部155は、分節番号nに対応する基本運動種別および前運動種別を特定する(ステップS204)。
第1評価部155は、特定した各情報と、技認定規則データ143とを比較して、ヒットする列レコードが存在するか否かを判定する(ステップS205)。ここで、特定した各情報は、始点体躯角度領域、始点左手支持位置、始点右手支持位置、終点体躯角度領域、終点左手支持位置、終点右手支持位置、基本運動種別、前基本運動種別を含む。
第1評価部155は、ヒットした場合には(ステップS206,Yes)、ヒットした列レコードに含まれる技名、グループ、難度を、分節番号nに対応する技名、グループ、難度として特定する(ステップS207)。
第1評価部155は、ヒットしない場合には(ステップS206,No)、分節番号nに対応する技名を不明とし、グループおよび難度を0とする(ステップS208)。
次に、図17のステップS112で説明した格上げ規則データを基にして難度を格上げする処理の一例について説明する。図19は、難度を格上げする処理手順を示すフローチャートである。図19に示すように、運動認識装置100の格上げ部156は、分節番号nに対応するフレームの手・足の位置データおよび体躯ベクトルデータを、算出結果データ142から取得する(ステップS301)。
格上げ部156は、始点のフレームから終点のフレームの体躯ベクトルを基にして、体躯回転角度を算出する(ステップS302)。
格上げ部156は、始点のフレームに対応する手・足の位置データを基にして、始点左手支持位置、始点右手支持位置を特定する(ステップS303)。終点のフレームに対応する手・足の位置データを基にして、終点左手支持位置、終点右手支持位置を特定する(ステップS304)。
格上げ部156は、分節番号nに対応する技名および前基本運動種別を特定する(ステップS305)。
格上げ部156は、特定した各情報と、格上げ規則データ144とを比較して、ヒットする列レコードが存在するか否かを判定する(ステップS306)。格上げ部156は、ヒットした場合には(ステップS307,Yes)、難度格上げ数に応じて、難度を格上げする(ステップS308)。格上げ部156は、ヒットしない場合には(ステップS307,No)、処理を終了する。
図20は、運動認識装置の処理の一例を示す図である。図20に示す例では、分節部153は、算出結果データ142を基にして、分節点60a~60gを設定する。例えば、分節点60a,60b,60cのフレームでは、対象者5の左手支持位置が「2」、右手支持位置が「4」となっている。分節点60dのフレームでは、対象者5の左手支持位置が「4」、右手支持位置が「4」となっている。分節点60eのフレームでは、対象者5の左手支持位置が「4」、右手支持位置が「2」となっている。分節点60f,60gのフレームでは、対象者5の左手支持位置が「2」、右手支持位置が「2」となっている。なお、分節点60a~60gのフレームでは、図示を省略するが、体躯ベクトルが下を向いているものとする。
一例として、分節点60a,60b,60cのフレームの体躯角度は180°である。分節点60dのフレームの体躯角度は90°である。分節点60eのフレームの体躯角度は0°である。分節点60f,60gのフレームの体躯角度は270°である。
一例として、識別部154は、分節点60aから60bに含まれる各フレームの特徴点の動きから、基本運動種別を「CCW旋回」と判定する。識別部154は、分節点60bから60cに含まれる各フレームの特徴点の動きから、基本運動種別を「CCW旋回」と判定する。識別部154は、分節点60cから60dに含まれる各フレームの特徴点の動きから、基本運動種別を「CCW下向き逆1/4転向」と判定する。識別部154は、分節点60dから60eに含まれる各フレームの特徴点の動きから、基本運動種別を「CCW上向き逆1/4旋回」と判定する。識別部154は、分節点60eから60fに含まれる各フレームの特徴点の動きから、基本運動種別を「CCW下向き逆1/4旋回」と判定する。識別部154は、分節点60fから60gに含まれる各フレームの特徴点の動きから、基本運動種別を「CCW旋回」と判定する。
一例として、第1評価部155は、技認定規則データ143を基にして、分節点60aから60bに含まれる各フレーム間に対象者が行った技名を「横旋回」、難度「A」と判定する。第1評価部155は、技認定規則データ143を基にして、分節点60bから60cに含まれる各フレーム間に対象者が行った技名を「横旋回」、難度「A」と判定する。第1評価部155は、技認定規則データ143を基にして、分節点60cから60eに含まれる各フレーム間に対象者が行った技名を「把手上下向き転向」、難度「B」と判定する。第1評価部155は、技認定規則データ143を基にして、分節点60eから60fに含まれる各フレーム間に対象者が行った技名、難度はヒットせず、技名「不明」、難度「-」と判定する。第1評価部155は、技認定規則データ143を基にして、分節点60fから60gに含まれる各フレーム間に対象者が行った技名を「一把手上縦向き旋回」、難度「B」と判定する。
一例として、第2評価部157は、分節点60aから60bに含まれる各フレーム間に対象者が行った演技のEスコアを「8」と判定する。第2評価部157は、分節点60bから60cに含まれる各フレーム間に対象者が行った演技のEスコアを「8.5」と判定する。第2評価部157は、分節点60cから60eに含まれる各フレーム間に対象者が行った演技のEスコアを「7.8」と判定する。第2評価部157は、分節点60eから60fに含まれる各フレーム間に対象者が行った演技のEスコアを「1」と判定する。第2評価部157は、分節点60fから60gに含まれる各フレーム間に対象者が行った演技のEスコアを「8.3」と判定する。
次に、本実施例に係る運動認識装置100の効果について説明する。運動認識装置100は、対象者5の骨格データ141を基にして、分節点となるフレームを特定し、複数の部分データに分類する。運動認識装置100は、各部分データの基本運動種別を特定し、時系列に連続する部分データの基本運動種別の順序を基にして、対象者が行った運動の技名および難度を評価する。このように、基本運動種別の順序に基づき、技名および難度を評価するため、運動認識装置100によれば、対象者5の演技を効率的に評価することができる。
運動認識装置100は、時系列に連続する部分データの基本運動種別の順序および体躯回転角度を基にして、運動の難度を格上げする。このため、競技の複雑な評価基準に対応した正確な難度を特定することができる。
運動認識装置100は、部分データに含まれる各フレームの特徴点の特徴と点数とを対応付けた評価基準に基づいて、部分データに対応するEスコアを算出する。このため、技や難度に加えて、Eスコアも適切に算出することができる。
運動認識装置100は、体躯ベクトルが下方向を向き、かつ、対象者5の両手が、予め定められた領域に位置するフレームを、分節点として特定する。このため、複数のフレームを適切に分節することができ、技や難度の判定精度を向上することができる。
ところで、本実施例に係る運動認識装置100の算出部152は、右肩関節の特徴点5bと、左肩関節の特徴点5eと、背中の特徴点5iとを通る平面6の法線ベクトル7を、体躯ベクトルとして算出していたが、これに限定されるものではない。
図21は、その他の体躯ベクトルの一例を説明するための図である。算出部152は、各股関節(右股関節、左股関節)の特徴点5k,5nと、背中の特徴点5iとを通る平面6aの法線ベクトル7aを、体躯ベクトルとして算出してもよい。なお、法線ベクトル7aの方向は、対象者5の腹側とし、法線ベクトル7aの大きさを「1」とする。以下の説明では、法線ベクトル7aを、体躯ベクトル7aと表記する。体躯ベクトル7aの始点は、平面(三角形)6a上に固定されていればどこでもよいが、特徴点5k,5nの中点であっても良いし、平面6aの重心であってもよい。分節部153は、体躯ベクトル7の代わりに、体躯ベクトル7aを用いた場合でも、複数のフレームを適切に分節することができ、技や難度の判定精度を向上することができる。さらに、体躯ベクトル7aは、体躯ベクトル7と比較して、胴体下部の向きを評価することに適している。
なお、計算部152は、対象者5の実際の運動と整合するように、特徴点5b,5e,5i,5k,5nの位置座標を全体の特徴点位置座標を用いて逆運動学計算で調整または推定し、体躯ベクトル7および体躯ベクトル7aを算出してもよい。計算部152は、調整または推定した特徴点5b,5e,5iの平面6あるいは5i,5k,5nの平面6aの単位法線ベクトルを、体躯ベクトルとして採用してもよい。このように、各特徴点5b,5e,5i,5k,5nの位置座標を実際の運動と整合するように調整または推定して算出した体躯ベクトル7,7aを採用することで、オクルージョン等の理由により、対象者5の特徴点を直接検出出来ない場合や、特徴点の位置の誤差が大きくなる場合に対応でき、技の判定精度を向上させることができる。
次に、上記実施例に示した運動認識装置100と同様の機能を実現するコンピュータのハードウェア構成の一例について説明する。図22は、運動認識装置と同様の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
図22に示すように、コンピュータ200は、各種演算処理を実行するCPU201と、ユーザからのデータの入力を受け付ける入力装置202と、ディスプレイ203とを有する。また、コンピュータ200は、記憶媒体からプログラム等を読み取る読み取り装置204と、ネットワークを介して他のコンピュータとの間でデータの授受を行うインタフェース装置205とを有する。コンピュータ200は、インタフェース装置205を介して、骨格認識装置20から骨格データを取得する。また、コンピュータ200は、各種情報を一時記憶するRAM206と、ハードディスク装置207とを有する。そして、各装置201~207は、バス208に接続される。
ハードディスク装置207は、取得プログラム207a、算出プログラム207b、分節プログラム207c、識別プログラム207d、第1評価プログラム207e、格上げプログラム207f、第2評価プログラム207g、表示プログラム207hを有する。CPU201は、各プログラム207a~207hを読み出して、RAM206に展開する。
取得プログラム207aは、取得プロセス206aとして機能する。算出プログラム207bは、算出プロセス206bとして機能する。分節プログラム207cは、分節プロセス206cとして機能する。識別プログラム207dは、識別プロセス206dとして機能する。第1評価プログラム207eは、第1評価プロセス206eとして機能する。格上げプログラム207fは、格上げプロセス206fとして機能する。第2評価プログラム207gは、第2評価プロセス206gとして機能する。表示プログラム207hは、表示プロセス206hとして機能する。
取得プロセス206aの処理は、取得部151の処理に対応する。算出プロセス206bの処理は、算出部152の処理に対応する。分節プロセス206cの処理は、分節部153の処理に対応する。識別プロセス206dの処理は、識別部154の処理に対応する。第1評価プロセス206eの処理は、第1評価部155の処理に対応する。格上げプロセス206fの処理は、格上げ部156の処理に対応する。第2評価プロセス206gの処理は、第2評価部157の処理に対応する。表示プロセス206hの処理は、表示制御部158の処理に対応する。
なお、各プログラム207a~207hについては、必ずしも最初からハードディスク装置207に記憶させておかなくても良い。例えば、コンピュータ200に挿入されるフレキシブルディスク(FD)、CD-ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に各プログラムを記憶させておく。そして、コンピュータ200が各プログラム207a~207hを読み出して実行するようにしても良い。
10 3Dセンサ
20 骨格認識装置
100 運動認識装置
20 骨格認識装置
100 運動認識装置
Claims (15)
- 対象者の体の所定の部位または関節部に対応する特徴点の位置情報を含む複数のフレームを、前記対象者の体の所定の部位の位置に基づいて時系列に分節することで、前記複数のフレームを時系列に複数のグループに分類する分節部と、
グループ毎に、連続するフレームに含まれる特徴点の動きを基にして、グループに対応する基本運動の種別を識別する識別部と、
時系列に連続するグループに対応する基本運動の種別の順序を基にして、前記対象者が行った運動の技および難度を評価する第1評価部と
を有することを特徴とする運動認識装置。 - 時系列に連続するグループに対応する基本運動の順序および前記対象者の体躯の回転角度を基にして、前記第1評価部に評価された前記対象者が行った運動の難度を格上げする格上げ部を更に有することを特徴とする請求項1に記載の運動認識装置。
- フレームに含まれる特徴点の特徴と点数とを対応付けた評価基準を基にして、グループ毎に、フレームに含まれる特徴点の特徴と前記評価基準とを比較することで、グループ毎の点数を特定し、グループのスコアを評価する第2評価部を更に有することを特徴とする請求項1または2に記載の運動認識装置。
- 前記分節部は、前記対象者の両肩と背中とを通る平面の法線ベクトルの方向と、前記対象者の両手の位置とを基にして、分節点となるフレームを判定する処理を繰り返し実行し、分節点となるフレームに挟まれる複数のフレームを1つのグループに分類することを特徴とする請求項1に記載の運動認識装置。
- 前記分節部は、前記対象者の両股と背中とを通る平面の法線ベクトルの方向と、前記対象者の両手の位置とを基にして、分節点となるフレームを判定する処理を繰り返し実行し、分節点となるフレームに挟まれる複数のフレームを1つのグループに分類することを特徴とする請求項1に記載の運動認識装置。
- コンピュータに、
対象者の体の所定の部位または関節部に対応する特徴点の位置情報を含む複数のフレームを、前記対象者の体の所定の部位の位置に基づいて時系列に分節することで、前記複数のフレームを時系列に複数のグループに分類し、
グループ毎に、連続するフレームに含まれる特徴点の動きを基にして、グループに対応する基本運動の種別を識別し、
時系列に連続するグループに対応する基本運動の種別の順序を基にして、前記対象者が行った運動の技および難度を評価する
処理を実行させることを特徴とする運動認識プログラム。 - 時系列に連続するグループに対応する基本運動の順序および前記対象者の体躯の回転角度を基にして、前記対象者が行った運動の難度を格上げする処理を更にコンピュータに実行させることを特徴とする請求項6に記載の運動認識プログラム。
- フレームに含まれる特徴点の特徴と点数とを対応付けた評価基準を基にして、グループ毎に、フレームに含まれる特徴点の特徴と前記評価基準とを比較することで、グループ毎の点数を特定し、グループのスコアを評価する処理を更にコンピュータに実行させることを特徴とする請求項6または7に記載の運動認識プログラム。
- 前記分類する処理は、前記対象者の両肩と背中とを通る平面の法線ベクトルの方向と、前記対象者の両手の位置とを基にして、分節点となるフレームを判定する処理を繰り返し実行し、分節点となるフレームに挟まれる複数のフレームを1つのグループに分類することを特徴とする請求項6に記載の運動認識プログラム。
- 前記分類する処理は、前記対象者の両股と背中とを通る平面の法線ベクトルの方向と、前記対象者の両手の位置とを基にして、分節点となるフレームを判定する処理を繰り返し実行し、分節点となるフレームに挟まれる複数のフレームを1つのグループに分類することを特徴とする請求項6に記載の運動認識プログラム。
- コンピュータが実行する運動認識方法であって、
対象者の体の所定の部位または関節部に対応する特徴点の位置情報を含む複数のフレームを、前記対象者の体の所定の部位の位置に基づいて時系列に分節することで、前記複数のフレームを時系列に複数のグループに分類し、
グループ毎に、連続するフレームに含まれる特徴点の動きを基にして、グループに対応する基本運動の種別を識別し、
時系列に連続するグループに対応する基本運動の種別の順序を基にして、前記対象者が行った運動の技および難度を評価する
処理を実行することを特徴とする運動認識方法。 - 時系列に連続するグループに対応する基本運動の順序および前記対象者の体躯の回転角度を基にして、前記対象者が行った運動の難度を格上げする処理を更に実行することを特徴とする請求項11に記載の運動認識方法。
- フレームに含まれる特徴点の特徴と点数とを対応付けた評価基準を基にして、グループ毎に、フレームに含まれる特徴点の特徴と前記評価基準とを比較することで、グループ毎の点数を特定し、グループのスコアを評価する処理を更に実行することを特徴とする請求項11または12に記載の運動認識方法。
- 前記分類する処理は、前記対象者の両肩と背中とを通る平面の法線ベクトルの方向と、前記対象者の両手の位置とを基にして、分節点となるフレームを判定する処理を繰り返し実行し、分節点となるフレームに挟まれる複数のフレームを1つのグループに分類することを特徴とする請求項11に記載の運動認識方法。
- 前記分類する処理は、前記対象者の両股と背中とを通る平面の法線ベクトルの方向と、前記対象者の両手の位置とを基にして、分節点となるフレームを判定する処理を繰り返し実行し、分節点となるフレームに挟まれる複数のフレームを1つのグループに分類することを特徴とする請求項11に記載の運動認識方法。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP17859616.9A EP3528207B1 (en) | 2016-10-11 | 2017-10-11 | Motion recognition device, motion recognition program, and motion recognition method |
JP2018545018A JP6733738B2 (ja) | 2016-10-11 | 2017-10-11 | 運動認識装置、運動認識プログラムおよび運動認識方法 |
CN201780062410.0A CN109863535B (zh) | 2016-10-11 | 2017-10-11 | 运动识别装置、存储介质以及运动识别方法 |
US16/362,701 US11176359B2 (en) | 2016-10-11 | 2019-03-25 | Motion recognition device and motion recognition method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2016/080150 WO2018069981A1 (ja) | 2016-10-11 | 2016-10-11 | 運動認識装置、運動認識プログラムおよび運動認識方法 |
JPPCT/JP2016/080150 | 2016-10-11 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US16/362,701 Continuation US11176359B2 (en) | 2016-10-11 | 2019-03-25 | Motion recognition device and motion recognition method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2018070414A1 true WO2018070414A1 (ja) | 2018-04-19 |
Family
ID=61905221
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/080150 WO2018069981A1 (ja) | 2016-10-11 | 2016-10-11 | 運動認識装置、運動認識プログラムおよび運動認識方法 |
PCT/JP2017/036797 WO2018070414A1 (ja) | 2016-10-11 | 2017-10-11 | 運動認識装置、運動認識プログラムおよび運動認識方法 |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/080150 WO2018069981A1 (ja) | 2016-10-11 | 2016-10-11 | 運動認識装置、運動認識プログラムおよび運動認識方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11176359B2 (ja) |
EP (1) | EP3528207B1 (ja) |
JP (1) | JP6733738B2 (ja) |
CN (1) | CN109863535B (ja) |
WO (2) | WO2018069981A1 (ja) |
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020050111A1 (ja) * | 2018-09-03 | 2020-03-12 | 国立大学法人東京大学 | 動作認識方法及び装置 |
CN111222737A (zh) * | 2018-11-27 | 2020-06-02 | 富士施乐株式会社 | 用于实时技能评估的方法及***以及计算机可读介质 |
WO2021064963A1 (ja) | 2019-10-03 | 2021-04-08 | 富士通株式会社 | 運動認識方法、運動認識プログラムおよび情報処理装置 |
WO2021064960A1 (ja) | 2019-10-03 | 2021-04-08 | 富士通株式会社 | 運動認識方法、運動認識プログラムおよび情報処理装置 |
WO2021149250A1 (ja) | 2020-01-24 | 2021-07-29 | 富士通株式会社 | 運動認識方法、運動認識プログラムおよび情報処理装置 |
WO2021199392A1 (ja) * | 2020-04-02 | 2021-10-07 | 日本電信電話株式会社 | 学習装置、学習方法及び学習プログラム、並びに、スコア推定装置、スコア推定方法及びスコア推定プログラム |
US20210398297A1 (en) * | 2020-06-23 | 2021-12-23 | Fujitsu Limited | Behavior recognition method and information processing apparatus |
JP2022506637A (ja) * | 2019-01-29 | 2022-01-17 | ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド | 画像処理方法および装置、ネットワークトレーニング方法および装置 |
WO2022208859A1 (ja) * | 2021-04-01 | 2022-10-06 | 富士通株式会社 | 技認識方法、技認識装置および体操採点支援システム |
WO2023100246A1 (ja) * | 2021-11-30 | 2023-06-08 | 富士通株式会社 | 技認識プログラム、技認識方法および情報処理装置 |
US11995845B2 (en) | 2019-09-30 | 2024-05-28 | Fujitsu Limited | Evaluation method, storage medium, and information processing apparatus |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN109789329B (zh) * | 2016-10-11 | 2020-12-01 | 富士通株式会社 | 评分辅助程序、评分辅助装置以及评分辅助方法 |
WO2019146024A1 (ja) * | 2018-01-24 | 2019-08-01 | 富士通株式会社 | 画面生成プログラム、画面生成方法および情報処理装置 |
US10853934B2 (en) | 2018-09-19 | 2020-12-01 | Indus.Ai Inc | Patch-based scene segmentation using neural networks |
US10769422B2 (en) * | 2018-09-19 | 2020-09-08 | Indus.Ai Inc | Neural network-based recognition of trade workers present on industrial sites |
TWI715903B (zh) * | 2018-12-24 | 2021-01-11 | 財團法人工業技術研究院 | 動作追蹤系統及方法 |
CN111382624B (zh) * | 2018-12-28 | 2023-08-11 | 杭州海康威视数字技术股份有限公司 | 动作识别方法、装置、设备及可读存储介质 |
CN111460871B (zh) * | 2019-01-18 | 2023-12-22 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、存储介质 |
CN110516112B (zh) * | 2019-08-28 | 2021-04-27 | 北京理工大学 | 一种基于层次模型的人体动作检索方法及设备 |
CN112668359A (zh) * | 2019-10-15 | 2021-04-16 | 富士通株式会社 | 动作识别方法、动作识别装置和电子设备 |
WO2021084165A1 (fr) | 2019-11-03 | 2021-05-06 | St37 Sport Et Technologie | Procede et systeme de caracterisation d'un mouvement d'une entite en mouvement |
JP6908312B1 (ja) * | 2020-08-07 | 2021-07-21 | ハイパーダイン株式会社 | 情報処理装置、情報処理方法及びプログラム |
CN112288766B (zh) * | 2020-10-28 | 2024-05-28 | 中国科学院深圳先进技术研究院 | 运动评估方法、装置、***及存储介质 |
GB2602248A (en) * | 2020-11-11 | 2022-06-29 | 3D4Medical Ltd | Motion assessment instrument |
JPWO2022162781A1 (ja) * | 2021-01-27 | 2022-08-04 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012112402A2 (en) | 2011-02-18 | 2012-08-23 | Microsoft Corporation | Motion recognition |
WO2016056449A1 (ja) * | 2014-10-10 | 2016-04-14 | 富士通株式会社 | スキル判定プログラム、スキル判定方法、スキル判定装置およびサーバ |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4420512B2 (ja) * | 1999-06-01 | 2010-02-24 | 富士通マイクロエレクトロニクス株式会社 | 移動物体間動作分類方法及び装置並びに画像認識装置 |
JP2005209137A (ja) * | 2003-12-26 | 2005-08-04 | Mitsubishi Heavy Ind Ltd | 対象物認識方法及び対象物認識装置、並びに顔方向識別装置 |
JP5186656B2 (ja) * | 2008-09-03 | 2013-04-17 | 独立行政法人産業技術総合研究所 | 動作評価装置および動作評価方法 |
US8755569B2 (en) * | 2009-05-29 | 2014-06-17 | University Of Central Florida Research Foundation, Inc. | Methods for recognizing pose and action of articulated objects with collection of planes in motion |
US9981193B2 (en) * | 2009-10-27 | 2018-05-29 | Harmonix Music Systems, Inc. | Movement based recognition and evaluation |
JP2011170856A (ja) * | 2010-02-22 | 2011-09-01 | Ailive Inc | 複数の検出ストリームを用いたモーション認識用システム及び方法 |
JP2011215967A (ja) * | 2010-03-31 | 2011-10-27 | Namco Bandai Games Inc | プログラム、情報記憶媒体及び物体認識システム |
GB2494356B (en) * | 2010-07-09 | 2017-05-31 | Univ California | System comprised of sensors, communications, processing and inference on servers and other devices |
JP6011154B2 (ja) * | 2012-08-24 | 2016-10-19 | 富士通株式会社 | 画像処理装置、画像処理方法 |
CN103839040B (zh) * | 2012-11-27 | 2017-08-25 | 株式会社理光 | 基于深度图像的手势识别方法和装置 |
JP6044306B2 (ja) * | 2012-12-03 | 2016-12-14 | 株式会社リコー | 情報処理装置、情報処理システム及びプログラム |
CN103310193B (zh) * | 2013-06-06 | 2016-05-25 | 温州聚创电气科技有限公司 | 一种记录体操视频中运动员重要技术动作时刻的方法 |
CN104461000B (zh) * | 2014-12-03 | 2017-07-21 | 北京航空航天大学 | 一种基于少量缺失信号的在线连续人体运动识别方法 |
JP6673221B2 (ja) * | 2014-12-18 | 2020-03-25 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
CN112998649A (zh) * | 2015-01-06 | 2021-06-22 | 大卫·伯顿 | 移动式可穿戴的监控*** |
-
2016
- 2016-10-11 WO PCT/JP2016/080150 patent/WO2018069981A1/ja active Application Filing
-
2017
- 2017-10-11 EP EP17859616.9A patent/EP3528207B1/en active Active
- 2017-10-11 JP JP2018545018A patent/JP6733738B2/ja active Active
- 2017-10-11 WO PCT/JP2017/036797 patent/WO2018070414A1/ja unknown
- 2017-10-11 CN CN201780062410.0A patent/CN109863535B/zh active Active
-
2019
- 2019-03-25 US US16/362,701 patent/US11176359B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2012112402A2 (en) | 2011-02-18 | 2012-08-23 | Microsoft Corporation | Motion recognition |
WO2016056449A1 (ja) * | 2014-10-10 | 2016-04-14 | 富士通株式会社 | スキル判定プログラム、スキル判定方法、スキル判定装置およびサーバ |
Non-Patent Citations (4)
Title |
---|
J.SHIN; OZAWA: "A Study on Motion Analysis of an Artistic Gymnastics by using Dynamic Image Processing", IEEE INTERNATIONAL CONFERENCE ON SYSTEMS MAN AND CYBERNETICS, 2008 |
See also references of EP3528207A4 |
SHIN, JEONGEUN ET AL.: "A Study on Motion Analysis of an Artistic Gymnastics by using Dynamic Image Processing", IEICE TECHNICAL REPORT, RECOGNITION OF PATTERN AND UNDERSTANDING OF MEDIA, vol. 108, no. 46, 15 May 2008 (2008-05-15), pages 13 - 18, XP031447210, ISSN: 0913-5685 * |
TAKUYA YOSHIMURA; TSUYOSHI HASHIMOTO: "Study of gesture recognition accuracy improvement method using machine learning", GAME PROGRAMMING WORKSHOP, 2012, pages 167 - 170 |
Cited By (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020038440A (ja) * | 2018-09-03 | 2020-03-12 | 国立大学法人 東京大学 | 動作認識方法及び装置 |
US12045994B2 (en) | 2018-09-03 | 2024-07-23 | The University Of Tokyo | Motion recognition method and device |
WO2020050111A1 (ja) * | 2018-09-03 | 2020-03-12 | 国立大学法人東京大学 | 動作認識方法及び装置 |
JP7146247B2 (ja) | 2018-09-03 | 2022-10-04 | 国立大学法人 東京大学 | 動作認識方法及び装置 |
CN111222737A (zh) * | 2018-11-27 | 2020-06-02 | 富士施乐株式会社 | 用于实时技能评估的方法及***以及计算机可读介质 |
JP2020087437A (ja) * | 2018-11-27 | 2020-06-04 | 富士ゼロックス株式会社 | カメラシステムを使用した、ユーザの身体部分によって実行されるタスクの完了の評価のための方法、プログラム、及びシステム |
CN111222737B (zh) * | 2018-11-27 | 2024-04-05 | 富士胶片商业创新有限公司 | 用于实时技能评估的方法及***以及计算机可读介质 |
JP7392348B2 (ja) | 2018-11-27 | 2023-12-06 | 富士フイルムビジネスイノベーション株式会社 | カメラシステムを使用した、ユーザの身体部分によって実行されるタスクの完了の評価のための方法、プログラム、及びシステム |
JP2022506637A (ja) * | 2019-01-29 | 2022-01-17 | ベイジン センスタイム テクノロジー デベロップメント カンパニー, リミテッド | 画像処理方法および装置、ネットワークトレーニング方法および装置 |
US11995845B2 (en) | 2019-09-30 | 2024-05-28 | Fujitsu Limited | Evaluation method, storage medium, and information processing apparatus |
JP7235133B2 (ja) | 2019-10-03 | 2023-03-08 | 富士通株式会社 | 運動認識方法、運動認識プログラムおよび情報処理装置 |
JPWO2021064963A1 (ja) * | 2019-10-03 | 2021-04-08 | ||
WO2021064960A1 (ja) | 2019-10-03 | 2021-04-08 | 富士通株式会社 | 運動認識方法、運動認識プログラムおよび情報処理装置 |
WO2021064963A1 (ja) | 2019-10-03 | 2021-04-08 | 富士通株式会社 | 運動認識方法、運動認識プログラムおよび情報処理装置 |
WO2021149250A1 (ja) | 2020-01-24 | 2021-07-29 | 富士通株式会社 | 運動認識方法、運動認識プログラムおよび情報処理装置 |
JPWO2021199392A1 (ja) * | 2020-04-02 | 2021-10-07 | ||
WO2021199392A1 (ja) * | 2020-04-02 | 2021-10-07 | 日本電信電話株式会社 | 学習装置、学習方法及び学習プログラム、並びに、スコア推定装置、スコア推定方法及びスコア推定プログラム |
JP7352119B2 (ja) | 2020-04-02 | 2023-09-28 | 日本電信電話株式会社 | 学習装置、学習方法及び学習プログラム、並びに、スコア推定装置、スコア推定方法及びスコア推定プログラム |
US20210398297A1 (en) * | 2020-06-23 | 2021-12-23 | Fujitsu Limited | Behavior recognition method and information processing apparatus |
US11538174B2 (en) * | 2020-06-23 | 2022-12-27 | Fujitsu Limited | Behavior recognition method and information processing apparatus |
WO2022208859A1 (ja) * | 2021-04-01 | 2022-10-06 | 富士通株式会社 | 技認識方法、技認識装置および体操採点支援システム |
EP4316614A4 (en) * | 2021-04-01 | 2024-05-01 | Fujitsu Limited | SKILL RECOGNITION METHOD, SKILL RECOGNITION APPARATUS AND GYMNASTICS SCORING SUPPORT SYSTEM |
WO2023100246A1 (ja) * | 2021-11-30 | 2023-06-08 | 富士通株式会社 | 技認識プログラム、技認識方法および情報処理装置 |
Also Published As
Publication number | Publication date |
---|---|
CN109863535B (zh) | 2022-11-25 |
CN109863535A (zh) | 2019-06-07 |
JPWO2018070414A1 (ja) | 2019-06-24 |
EP3528207A4 (en) | 2019-10-30 |
JP6733738B2 (ja) | 2020-08-05 |
EP3528207A1 (en) | 2019-08-21 |
US20190220657A1 (en) | 2019-07-18 |
WO2018069981A1 (ja) | 2018-04-19 |
EP3528207B1 (en) | 2024-04-10 |
US11176359B2 (en) | 2021-11-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2018070414A1 (ja) | 運動認識装置、運動認識プログラムおよび運動認識方法 | |
CN105229666B (zh) | 3d图像中的运动分析 | |
WO2021051579A1 (zh) | 形体姿态识别方法、***、装置及存储介质 | |
JP6082101B2 (ja) | 身体動作採点装置、ダンス採点装置、カラオケ装置及びゲーム装置 | |
JP6617830B2 (ja) | 骨格推定装置、骨格推定方法および骨格推定プログラム | |
CN102693413B (zh) | 运动识别 | |
US20200230482A1 (en) | Swing quality measurement system | |
WO2011009302A1 (zh) | 一种基于多跟踪点的人体动作识别方法 | |
JP6943294B2 (ja) | 技認識プログラム、技認識方法および技認識システム | |
JP7235133B2 (ja) | 運動認識方法、運動認識プログラムおよび情報処理装置 | |
JP6677319B2 (ja) | スポーツ動作解析支援システム、方法およびプログラム | |
KR100907704B1 (ko) | 인공지능형 캐디를 이용한 골퍼자세교정시스템 및 이를이용한 골퍼자세교정방법 | |
CN115331314A (zh) | 一种基于app筛查功能的运动效果评估方法和*** | |
CN114093032A (zh) | 一种基于动作状态信息的人体动作评估方法 | |
JP7409390B2 (ja) | 運動認識方法、運動認識プログラムおよび情報処理装置 | |
CN111353347A (zh) | 动作识别纠错方法、电子设备、存储介质 | |
CN111353345A (zh) | 提供训练反馈的方法、装置、***、电子设备、存储介质 | |
CN117015802A (zh) | 用于改进无标记运动分析的方法 | |
WO2022026693A1 (en) | Methods and systems for performing object detection and object/user interaction to assess user performance | |
JP7272470B2 (ja) | 運動認識方法、運動認識プログラムおよび情報処理装置 | |
JP7375829B2 (ja) | 生成方法、生成プログラム及び情報処理システム | |
Miyashita et al. | Analyzing Fine Motion Considering Individual Habit for Appearance-Based Proficiency Evaluation | |
US20220343649A1 (en) | Machine learning for basketball rule violations and other actions | |
WO2021064942A1 (ja) | 評価方法、評価プログラムおよび情報処理システム | |
JP2023178888A (ja) | 判定装置、判定方法、及びプロググラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 17859616 Country of ref document: EP Kind code of ref document: A1 |
|
ENP | Entry into the national phase |
Ref document number: 2018545018 Country of ref document: JP Kind code of ref document: A |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
ENP | Entry into the national phase |
Ref document number: 2017859616 Country of ref document: EP Effective date: 20190513 |