KR102510014B1 - Method for evaluating taekwondo competition according to training level of user using artificial intelligence - Google Patents
Method for evaluating taekwondo competition according to training level of user using artificial intelligence Download PDFInfo
- Publication number
- KR102510014B1 KR102510014B1 KR1020220128751A KR20220128751A KR102510014B1 KR 102510014 B1 KR102510014 B1 KR 102510014B1 KR 1020220128751 A KR1020220128751 A KR 1020220128751A KR 20220128751 A KR20220128751 A KR 20220128751A KR 102510014 B1 KR102510014 B1 KR 102510014B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- taekwondo
- information
- motion
- motions
- Prior art date
Links
- 238000012549 training Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000013473 artificial intelligence Methods 0.000 title description 13
- 230000033001 locomotion Effects 0.000 claims abstract description 213
- 238000011156 evaluation Methods 0.000 claims abstract description 76
- 210000000746 body region Anatomy 0.000 claims description 19
- 230000007123 defense Effects 0.000 claims description 9
- 230000000875 corresponding effect Effects 0.000 description 69
- 230000009471 action Effects 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 238000005516 engineering process Methods 0.000 description 8
- 238000000605 extraction Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 210000002683 foot Anatomy 0.000 description 4
- 210000001624 hip Anatomy 0.000 description 4
- 230000033228 biological regulation Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 210000001255 hallux Anatomy 0.000 description 3
- 210000004197 pelvis Anatomy 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 2
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 210000000454 fifth toe Anatomy 0.000 description 2
- 210000003811 finger Anatomy 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 210000003127 knee Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 210000001015 abdomen Anatomy 0.000 description 1
- 230000037237 body shape Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 210000004936 left thumb Anatomy 0.000 description 1
- 210000000088 lip Anatomy 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000001681 protective effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 210000004935 right thumb Anatomy 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 210000000623 ulna Anatomy 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0605—Decision makers and devices using detection means facilitating arbitration
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2220/00—Measuring of physical parameters relating to sporting activity
- A63B2220/80—Special sensors, transducers or devices therefor
- A63B2220/806—Video cameras
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B2244/00—Sports without balls
- A63B2244/10—Combat sports
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20036—Morphological image processing
- G06T2207/20044—Skeletonization; Medial axis transform
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30221—Sports video; Sports image
Landscapes
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Physical Education & Sports Medicine (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 인공지능을 이용한 사용자 수련 수준에 따른 태권도 겨루기 평가 방법 및 장치에 관한 것으로, 더욱 상세하게는 센싱 장치 없이 겨루기 영상만으로 사용자의 숙련도에 대응되는 수련 수준에 기반한 겨루기 평가 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for evaluating taekwondo sparring according to a user's training level using artificial intelligence, and more particularly, to a sparring evaluation method and apparatus based on a training level corresponding to a user's skill level only with a sparring image without a sensing device. .
태권도는 무기 없이 손과 발을 이용해 공격 또는 방어하는 무도로, 빠르고 강력한 발차기 기술을 특징으로 하는 현대에 형성된 전통무예 무술이다. 1988년 하계 올림픽에서 시범 종목으로 채택되었고, 2000년 하계 올림픽부터 정식 종목으로 채택되었다.Taekwondo is a martial art that attacks or defends using hands and feet without weapons, and is a traditional martial art formed in modern times characterized by fast and powerful kicking techniques. It was adopted as a demonstration sport at the 1988 Summer Olympics and adopted as an official sport from the 2000 Summer Olympics.
태권도는 크게 품새(형), 겨루기(대련) 및 격파(단련)로 구분될 수 있으며, 올림픽 종목으로 채택된 태권도는 겨루기 종목으로 서로 타격을 통한 득점을 통해 승자와 패자가 결정된다.Taekwondo can be largely divided into poomsae (type), gyeorugi (swealth), and breaking down (training), and Taekwondo, which was adopted as an Olympic event, is a sparring event, and the winner and loser are determined by scoring points through striking each other.
이러한 겨루기 종목의 정확한 판정을 위해 선수들은 타격하는 손 또는 발에 센서를 부착하고, 타격 대상이 되는 호구 및 보호구에 센서를 부착하여 경기를 진행하였다.In order to accurately judge these sparring events, players attached sensors to the hitting hand or foot, and attached sensors to the target gear and protective gear to play the game.
다만, 센서 오류로 인한 오판정으로 인해 정확한 판정이 무색해지고 있으며, 타격 강도가 고려되지 않는 센서 시스템 특성으로 인해 태권도 겨루기 본연의 모습도 사라지고 있는 추세이다.However, due to erroneous judgments due to sensor errors, accurate judgments are becoming overshadowed, and due to the characteristics of the sensor system, which does not consider the strength of strikes, the original appearance of taekwondo sparring is also disappearing.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 인공지능을 이용한 사용자 수련 수준에 따른 태권도 겨루기 평가 방법을 제공하는데 있다.An object of the present invention to solve the above problems is to provide a taekwondo sparring evaluation method according to a user's training level using artificial intelligence.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은 인공지능을 이용한 사용자 수련 수준에 따른 태권도 겨루기 평가 장치를 제공하는데 있다.Another object of the present invention to solve the above problems is to provide a taekwondo sparring evaluation apparatus according to a user's training level using artificial intelligence.
본 출원이 해결하고자 하는 과제가 상술한 과제로 제한되는 것은 아니며, 언급되지 아니한 과제들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The problem to be solved by this application is not limited to the above-mentioned problem, and problems not mentioned will be clearly understood by those skilled in the art from this specification and the accompanying drawings. .
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 적어도 하나의 서버에 의해 수행되는 사용자 수련 수준에 따른 태권도 겨루기 평가 방법은 제1 사용자의 겨루기 움직임을 포함하는 영상 정보를 획득하는 단계, 상기 영상 정보를 기반으로 상기 제1 사용자의 겨루기 움직임에 대응되는 스켈레톤 정보를 도출하는 단계, 상기 제1 사용자의 제1 수련 수준 정보를 획득하는 단계, 상기 제1 수련 수준 정보를 기반으로 복수의 태권도 동작들 중 적어도 하나의 태권도 평가 대상 동작을 결정하는 단계, 상기 스켈레톤 정보를 기반으로 상기 복수의 태권도 동작들 중 제1 사용자가 수행한 태권도 수행 동작을 결정하는 단계 및 상기 태권도 수행 동작 및 상기 적어도 하나의 태권도 평가 대상 동작을 기반으로 상기 제1 사용자가 상기 적어도 하나의 태권도 평가 대상 동작 중 적어도 일부를 수행하였는지 판단하는 단계를 포함할 수 있다.To achieve the above object, a Taekwondo competition evaluation method according to a user's training level performed by at least one server according to an embodiment of the present invention includes obtaining image information including a competition movement of a first user, the video Deriving skeleton information corresponding to the first user's sparring movement based on information, acquiring first training level information of the first user, and performing a plurality of taekwondo movements based on the first training level information determining at least one motion to be evaluated for Taekwondo among, determining a Taekwondo performance performed by a first user among the plurality of Taekwondo motions based on the skeleton information, and the Taekwondo performance motion and the at least one Taekwondo motion The method may include determining whether the first user has performed at least some of the at least one Taekwondo evaluation target motion based on the motion to be evaluated.
여기서, 상기 태권도 수행 동작 및 상기 적어도 하나의 태권도 평가 대상 동작을 기반으로 상기 적어도 하나의 태권도 평가 대상 동작 각각에 대응되는 상기 제1 사용자의 동작 횟수를 결정하는 단계를 더 포함할 수 있다.Here, the method may further include determining the number of motions of the first user corresponding to each of the at least one Taekwondo evaluation target motion based on the Taekwondo performance motion and the at least one Taekwondo evaluation subject motion.
여기서, 상기 적어도 하나의 태권도 평가 대상 동작 각각에 대응되는 상기 제1 사용자의 동작 횟수 및 상기 복수의 태권도 동작들 중 상기 태권도 수행 동작에 대응되는 동작의 종류 정보를 기반으로 상기 제1 사용자의 사용 기술 다양성 정보를 판단하는 단계를 더 포함할 수 있다.Here, based on the number of motions of the first user corresponding to each of the at least one Taekwondo evaluation target motion and the type information of the motion corresponding to the Taekwondo performing motion among the plurality of Taekwondo motions, the technique used by the first user The step of determining diversity information may be further included.
여기서, 상기 복수의 태권도 동작들 중 상기 태권도 수행 동작에 대응되는 동작의 종류 정보를 기반으로 상기 제1 사용자의 공격 동작의 수 및 상기 제1 사용자의 방어 동작의 수를 판단하는 단계 및 상기 공격 동작의 수 및 상기 방어 동작의 수를 기반으로 상기 제1 사용자의 공방 비율 정보를 결정하는 단계를 더 포함할 수 있다.Here, the step of determining the number of attack actions and the number of defense actions of the first user based on information on the type of action corresponding to the Taekwondo performance among the plurality of Taekwondo actions, and the attack action The method may further include determining on-and-off ratio information of the first user based on the number of defensive moves and the number of defensive moves.
여기서, 상기 영상 정보는 상기 제1 사용자의 겨루기 상대인 제2 사용자의 겨루기 움직임을 더 포함하고, 상기 영상 정보로부터 상기 제1 사용자에 대한 제1 신체 영역 및 상기 제2 사용자에 대한 제2 신체 영역을 결정하는 단계, 상기 제1 신체 영역, 상기 제2 신체 영역 및 상기 스켈레톤 정보를 기반으로 상기 제1 사용자의 상기 제2 사용자에 대한 타격이 유효한지 판단하는 단계, 상기 복수의 태권도 동작들 중 상기 스켈레톤 정보를 기반으로 상기 타격이 유효하다고 판단된 시점의 상기 제1 사용자의 겨루기 움직임에 대응되는 타격 동작을 결정하는 단계, 상기 제1 사용자의 제1 신체 정보 및 상기 제2 사용자의 제2 신체 정보를 획득하는 단계, 상기 제1 신체 정보 및 상기 제2 신체 정보를 기반으로 상기 타격 동작을 보정하는 단계 및 상기 보정한 타격 동작 및 상기 타격이 유효하다고 판단된 시점의 상기 제1 사용자의 겨루기 움직임을 기반으로 상기 타격 동작에 대한 상기 제1 사용자의 평가 수치를 결정하는 단계를 더 포함할 수 있다.Here, the image information further includes a contest movement of a second user, a contest opponent of the first user, and a first body region for the first user and a second body region for the second user are obtained from the image information. Determining whether the first user hits the second user based on the first body region, the second body region, and the skeleton information; Determining a hitting motion corresponding to the contesting motion of the first user at a time when the hitting is determined to be valid based on skeleton information, first user's first body information and second user's second body information Obtaining, correcting the batting motion based on the first body information and the second body information, and the corrected batting motion and the contesting movement of the first user at a time when the batting is determined to be effective Based on the above, the method may further include determining an evaluation value of the first user for the hitting motion.
상기 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 사용자 수련 수준에 따른 태권도 겨루기 평가 방법을 수행하는 전자 장치는 프로세서(processor) 및 상기 프로세서에 의해 수행되는 적어도 하나의 명령을 저장하는 메모리(memory)를 포함하고, 상기 적어도 하나의 명령은 제1 사용자의 겨루기 움직임을 포함하는 영상 정보를 획득하도록 실행되고, 상기 영상 정보를 기반으로 상기 제1 사용자의 겨루기 움직임에 대응되는 스켈레톤 정보를 도출하도록 실행되고, 상기 제1 사용자의 제1 수련 수준 정보를 획득하도록 실행되고, 상기 제1 수련 수준 정보를 기반으로 복수의 태권도 동작들 중 적어도 하나의 태권도 평가 대상 동작을 결정하도록 실행되고, 상기 스켈레톤 정보를 기반으로 상기 복수의 태권도 동작들 중 제1 사용자가 수행한 태권도 수행 동작을 결정하도록 실행되고, 상기 태권도 수행 동작 및 상기 적어도 하나의 태권도 평가 대상 동작을 기반으로 상기 제1 사용자가 상기 적어도 하나의 태권도 평가 대상 동작 중 적어도 일부를 수행하였는지 판단하도록 실행될 수 있다.An electronic device for performing a Taekwondo contest evaluation method according to a user's training level according to an embodiment of the present invention for achieving the other object includes a processor and a memory for storing at least one command executed by the processor ( memory), wherein the at least one command is executed to acquire image information including a contest movement of the first user, and to derive skeleton information corresponding to the contest movement of the first user based on the image information Execute to acquire first training level information of the first user, execute to determine at least one Taekwondo evaluation target motion among a plurality of Taekwondo motions based on the first training level information, and execute the skeleton information is executed to determine a Taekwondo performing motion performed by a first user among the plurality of Taekwondo motions based on, and the first user determines the at least one Taekwondo performing motion based on the Taekwondo performing motion and the at least one Taekwondo evaluation target motion. It may be executed to determine whether at least some of the motions to be evaluated in Taekwondo have been performed.
과제의 해결 수단이 상술한 해결 수단들로 제한되는 것은 아니며, 언급되지 아니한 해결 수단들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.The solution to the problem is not limited to the above-mentioned solution, and solutions not mentioned will be clearly understood by those skilled in the art from this specification and the accompanying drawings. .
본 발명에 따르면, 선수들이 별도의 센서가 부착된 장비 없이 겨루기 평가가 진행될 수 있다.According to the present invention, competition evaluation can be performed by players without equipment to which a separate sensor is attached.
본 발명에 따르면, 센서가 이용되지 않는 바, 센서의 오작동으로 인한 오판정의 가능성을 방지할 수 있다.According to the present invention, since no sensor is used, the possibility of erroneous determination due to malfunction of the sensor can be prevented.
본 발명에 따르면, 영상만으로 사용자의 수련 수준(급, 품, 단 등)에 따라 수행하여야 하는 동작을 겨루기 경기 내에서 몇 회 수행하였는지, 얼마나 정확하게 수행하였는지, 공방의 정도는 어떠한지, 얼마나 다양한 기술을 사용하였는지를 전반적으로 파악할 수 있다.According to the present invention, it is possible to determine how many times the action to be performed according to the user's training level (Grade, Poom, Dan, etc.) was performed, how accurately it was performed, the degree of workshop, and how many different techniques were performed using only the video. You can get an overall idea of how much you've used.
다양한 실시예들에 따르면, 효과가 상술한 효과로 제한되는 것은 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 출원이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.According to various embodiments, effects are not limited to the above-mentioned effects, and effects not mentioned will be clearly understood by those skilled in the art from this specification and the accompanying drawings. .
도 1은 본 발명의 일 실시예에 따른 인공지능을 이용한 사용자 수련 수준에 따른 태권도 겨루기 평가 방법을 수행하는 전자 장치의 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 인공지능을 이용한 사용자 수련 수준에 따른 태권도 겨루기 평가 방법을 설명하기 위한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 인공지능을 이용한 사용자 수련 수준에 따른 태권도 겨루기 평가 방법의 순서도이다.
도 4는 본 발명의 일 실시예에 따른 영상으로부터 사용자의 움직임을 인식하기 위해 사용되는 키 포인트를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 수련 수준에 따라 태권도 평가 대상 동작이 결정되는 구성을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 태권도 평가 대상 동작 각각에 대한 사용자의 동작 횟수가 카운팅되는 구성을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 상대방의 신체 정보에 기반하여 태권도 평가 대상 동작을 보정하는 구성을 설명하기 위한 도면이다.1 is a block diagram of an electronic device that performs a taekwondo sparring evaluation method according to a user's training level using artificial intelligence according to an embodiment of the present invention.
2 is a conceptual diagram for explaining a Taekwondo sparring evaluation method according to a user's training level using artificial intelligence according to an embodiment of the present invention.
3 is a flow chart of a taekwondo sparring evaluation method according to a user's training level using artificial intelligence according to an embodiment of the present invention.
4 is a diagram illustrating key points used to recognize a user's motion from an image according to an embodiment of the present invention.
5 is a diagram for explaining a configuration in which motions to be evaluated in Taekwondo are determined according to a training level according to an embodiment of the present invention.
6 is a diagram for explaining a configuration in which the number of motions of a user for each motion to be evaluated in Taekwondo is counted according to an embodiment of the present invention.
7 is a diagram for explaining a configuration for correcting a motion to be evaluated in Taekwondo based on body information of the other party according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. Since the present invention can make various changes and have various embodiments, specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to specific embodiments, and should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. Like reference numerals have been used for like elements throughout the description of each figure.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. Terms such as first, second, A, and B may be used to describe various components, but the components should not be limited by the terms. These terms are only used for the purpose of distinguishing one component from another. For example, a first element may be termed a second element, and similarly, a second element may be termed a first element, without departing from the scope of the present invention. The term “and/or” includes any combination of a plurality of related listed items or any of a plurality of related listed items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. It is understood that when an element is referred to as being "connected" or "connected" to another element, it may be directly connected or connected to the other element, but other elements may exist in the middle. It should be. On the other hand, when an element is referred to as “directly connected” or “directly connected” to another element, it should be understood that no other element exists in the middle.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Terms used in this application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly dictates otherwise. In this application, the terms "include" or "have" are intended to designate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, but one or more other features It should be understood that the presence or addition of numbers, steps, operations, components, parts, or combinations thereof is not precluded.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having a meaning consistent with the meaning in the context of the related art, and unless explicitly defined in the present application, they should not be interpreted in an ideal or excessively formal meaning. don't
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.Hereinafter, with reference to the accompanying drawings, preferred embodiments of the present invention will be described in more detail. In order to facilitate overall understanding in the description of the present invention, the same reference numerals are used for the same components in the drawings, and redundant descriptions of the same components are omitted.
도 1은 본 발명의 일 실시예에 따른 인공지능을 이용한 사용자 수련 수준에 따른 태권도 겨루기 평가 방법을 수행하는 전자 장치의 블록 구성도이다.1 is a block diagram of an electronic device that performs a taekwondo sparring evaluation method according to a user's training level using artificial intelligence according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 인공지능을 이용한 사용자 수련 수준에 따른 태권도 겨루기 평가 방법을 수행하는 전자 장치(100)는 적어도 하나의 프로세서(110), 메모리(120) 및 송수신 장치(130)를 포함하여 구성될 수 있다. 또한, 전자 장치(100)는 입력 인터페이스 장치(140), 출력 인터페이스 장치(150) 및 저장 장치(160) 중 적어도 하나를 더 포함하여 구성될 수도 있다.Referring to FIG. 1 , an
예를 들어, 적어도 하나의 프로세서(110)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(120) 및 저장 장치(160) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(120)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중 하나일 수 있고, 저장 장치(160)는, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SSD), 또는 각종 메모리 카드(예를 들어, micro SD 카드) 등일 수 있다.For example, the at least one
또한, 송수신 장치(transceiver)(130)는 무선 네트워크를 통해 통신을 수행할 수 있으며, 전자 장치(100)에 포함된 각각의 구성 요소들은 버스(bus)(170)에 의해 연결되어 서로 통신을 수행할 수 있다.In addition, the
예를 들어, 메모리(120)는 프로세서(110)에 의해 수행되는 적어도 하나의 명령(instruction)을 저장할 수 있으며, 적어도 하나의 명령은 후술하는 인공지능을 이용한 사용자 수련 수준에 따른 태권도 겨루기 평가 방법의 적어도 일부 동작이 수행되도록 실행될 수 있다.For example, the
도 2는 본 발명의 일 실시예에 따른 인공지능을 이용한 사용자 수련 수준에 따른 태권도 겨루기 평가 방법을 설명하기 위한 개념도이다.2 is a conceptual diagram for explaining a Taekwondo sparring evaluation method according to a user's training level using artificial intelligence according to an embodiment of the present invention.
도 2를 참조하면, 본 발명의 일 실시예에 따른 인공지능을 이용한 사용자 수련 수준에 따른 태권도 겨루기 평가 방법을 수행하는 전자 장치(100)는 제1 사용자의 겨루기 움직임 및/또는 제1 사용자의 겨루기 상대인 제2 사용자의 겨루기 움직임을 포함하는 영상 정보를 획득할 수 있으며, 획득한 영상 정보를 기반으로 겨루기 동작을 분석 및 평가할 수 있다.Referring to FIG. 2 , an
여기서, 전자 장치(100)는 적어도 하나의 서버를 나타낼 수 있다. 또는, 전자 장치(100)는 태권도 겨루기 평가 서버라고 나타낼 수도 있다. 전자 장치(100)는 사용자 단말(200)과 유선 또는 무선 통신을 통해 정보를 송수신하여 태권도 겨루기 평가 방법을 수행할 수 있다. Here, the
예를 들어, 사용자 단말(200)은 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), 디지털 카메라(digital camera), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있으나, 이에 한정되지 않으며, 컴퓨팅 가능한 전자기기를 모두 포함할 수 있다.For example, the
예를 들어, 무선 통신은 LTE, LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), GSM(Global System for Mobile Communications), WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 등 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 또는 유선 통신은 USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다.For example, wireless communication includes LTE, LTE Advance (LTE-A), code division multiple access (CDMA), wideband CDMA (WCDMA), universal mobile telecommunications system (UMTS), wireless broadband (WiBro), and global system for GSM (GSM). Mobile Communications), WiFi (wireless fidelity), Bluetooth, Bluetooth Low Energy (BLE), Zigbee, near field communication (NFC), Magnetic Secure Transmission (Magnetic Secure Transmission), radio frequency (RF), or body area network ( BAN) and the like, but is not limited thereto. Alternatively, wired communication may include at least one of universal serial bus (USB), high definition multimedia interface (HDMI), recommended standard 232 (RS-232), power line communication, or plain old telephone service (POTS).
또는 다른 실시예에 따르면, 사용자 단말(200)은 전자 장치(100)와의 정보 송수신 없이 자체적으로 획득한 영상 정보를 기반으로 태권도 겨루기 동작을 분석 및 평가할 수도 있다. 즉, 태권도 겨루기 동작 평가 방법의 구현 방식에 따라 사용자 단말(200) 자체에서 분석 및 평가가 수행될 수 있으며, 전자 장치(100)가 사용자 단말(200)로부터 영상 정보를 획득한 후, 분석 및 평가가 수행되고, 이에 따른 결과 정보를 사용자 단말(200)에게 제공할 수도 있다. Alternatively, according to another embodiment, the
실시예들에 따른 태권도 겨루기 평가 방법에 관한 보다 상세한 설명은 후술하도록 하겠다.A more detailed description of the taekwondo sparring evaluation method according to embodiments will be described later.
도 3은 본 발명의 일 실시예에 따른 인공지능을 이용한 사용자 수련 수준에 따른 태권도 겨루기 평가 방법의 순서도이다.3 is a flow chart of a taekwondo sparring evaluation method according to a user's training level using artificial intelligence according to an embodiment of the present invention.
도 3을 참조하면 S310 동작에서, 일 실시예는 제1 사용자의 겨루기 움직임을 포함하는 영상 정보를 획득할 수 있다. 예를 들어, 영상 정보는 동영상 또는 복수의 정지 영상에 관한 정보를 나타낼 수 있다. 또는 영상 정보는 서로 다른 시간에 획득된 복수의 영상 정보를 포함할 수 있으며, 상기 복수의 영상 정보는 시간의 순서에 따라 순서가 결정되어 있을 수 있다. 상기 영상 정보는 겨루기 경기 또는 평가의 시작부터 종료까지 중 적어도 일부에 대한 영상에 관한 정보를 포함할 수 있다.Referring to FIG. 3 , in operation S310 , an embodiment may acquire image information including a competition movement of the first user. For example, the image information may represent information about a moving image or a plurality of still images. Alternatively, the image information may include a plurality of image information acquired at different times, and the order of the plurality of image information may be determined according to the order of time. The image information may include information about images of at least a part of a contest or an evaluation from start to finish.
S320 동작에서, 일 실시예는 영상 정보를 기반으로 제1 사용자의 겨루기 움직임에 대응되는 스켈레톤 정보를 도출할 수 있다. 겨루기 움직임에 대응되는 스켈레톤 정보를 도출하는 구성은 도 4와 함께 더욱 상세하게 설명하겠다.In operation S320, an embodiment may derive skeleton information corresponding to the competition movement of the first user based on the image information. A configuration for deriving skeleton information corresponding to a sparring movement will be described in detail with reference to FIG. 4 .
도 4는 본 발명의 일 실시예에 따른 영상으로부터 사용자의 움직임을 인식하기 위해 사용되는 키 포인트를 나타낸 도면이다.4 is a diagram illustrating key points used to recognize a user's motion from an image according to an embodiment of the present invention.
도 4를 참조하면, 일 실시예는 태권도 동작으로부터 미리 학습된 스켈레톤 추출 모델을 이용하여 스켈레톤 정보를 도출할 수 있다. 여기서, 스켈레톤 정보는 복수의 키 포인트들 및 두 키 포인트들 간의 선에 관한 정보를 포함할 수 있다. 예를 들어, 복수의 키 포인트들은 30개일 수 있으며, 각 키 포인트는 0번부터 30번까지 네이밍될 수 있다.Referring to FIG. 4 , in one embodiment, skeleton information may be derived using a skeleton extraction model pre-learned from Taekwondo motions. Here, the skeleton information may include information about a plurality of key points and a line between the two key points. For example, there may be 30 key points, and each key point may be named from 0 to 30.
예를 들어, 0번 키 포인트는 코(또는 인중)에 대응되는 부분을 나타낼 수 있고, 1번 키 포인트는 좌측 귀(또는 관자놀)에 대응되는 부분을 나타낼 수 있다. 2번 키 포인트는 좌측 눈에 대응되는 대응되는 부분을 나타낼 수 있고, 3번 키 포인트는 우측 눈에 대응되는 부분을 나타낼 수 있고, 4번 키 포인트는 우측 귀(또는 관자놀)에 대응되는 부분을 나타낼 수 있다. 5번 키 포인트는 턱 끝에 대응되는 부분을 나타낼 수 있고, 6번 키 포인트는 목의 중심 또는 울대뼈에 대응되는 부분을 나타낼 수 있다.For example,
7번 키 포인트는 좌측 어깨에 대응되는 부분을 나타낼 수 있다. 8번 키 포인트는 좌측 팔꿈치에 대응되는 부분을 나타낼 수 있다. 9번 키 포인트는 좌측 손목에 대응되는 부분을 나타낼 수 있고, 10번 키 포인트는 좌측 엄지손가락 끝에 대응되는 부분을 나타낼 수 있고, 11번 키 포인트는 좌측 중지손가락 끝에 대응되는 부분을 나타낼 수 있다.The seventh key point may indicate a part corresponding to the left shoulder. The eighth key point may indicate a part corresponding to the left elbow. Key point 9 may indicate a part corresponding to the left wrist,
12번 키 포인트는 우측 어깨에 대응되는 부분을 나타낼 수 있고, 13번 키 포인트는 우측 팔꿈치에 대응되는 부분을 나타낼 수 있고, 14번 키 포인트는 우측 손목에 대응되는 부분을 나타낼 수 있다. 15번 키 포인트는 우측 엄지손가락 끝에 대응되는 부분을 나타낼 수 있고, 16번 키 포인트는 우측 중지손가락 끝에 대응되는 부분을 나타낼 수 있다. The 12th key point may indicate a part corresponding to the right shoulder, the 13th key point may indicate a part corresponding to the right elbow, and the 14th key point may indicate a part corresponding to the right wrist. The 15th key point may represent a portion corresponding to the tip of the right thumb, and the 16th key point may represent a portion corresponding to the tip of the right middle finger.
17번 키 포인트는 가슴의 중심(또는 명치)에 대응되는 부분을 나타낼 수 있고, 18번 키 포인트는 허리의 중심(또는 단전)에 대응되는 부분을 나타낼 수 있다.The 17th key point may indicate a part corresponding to the center of the chest (or Plexus), and the 18th key point may indicate a part corresponding to the center of the waist (or the lower abdomen).
19번 키 포인트는 좌측 골반(또는 엉덩이)의 중심에 대응되는 부분을 나타낼 수 있고, 20번 키 포인트는 좌측 무릎에 대응되는 부분을 나타낼 수 있고, 21번 키 포인트는 좌측 발목에 대응되는 부분을 나타낼 수 있다. 22번 키 포인트는 좌측 발의 뒤꿈치에 대응되는 부분을 나타낼 수 있고, 23번 키 포인트는 좌측 엄지발가락 끝에 대응되는 부분을 나타낼 수 있고, 24번 키 포인트는 좌측 새끼발가락 끝에 대응되는 부분을 나타낼 수 있다.The 19th key point can represent the part corresponding to the center of the left pelvis (or hip), the 20th key point can represent the part corresponding to the left knee, and the 21st key point can represent the part corresponding to the left ankle. can indicate Key point No. 22 may indicate a part corresponding to the heel of the left foot, key point No. 23 may indicate a part corresponding to the tip of the left big toe, and key point No. 24 may indicate a part corresponding to the tip of the left little toe. .
25번 키 포인트는 우측 골반(또는 엉덩이)의 중심에 대응되는 부분을 나타낼 수 있다. 26번 키 포인트는 우측 무릎에 대응되는 부분을 나타낼 수 있고, 27번 키 포인트는 우측 발목에 대응되는 부분을 나타낼 수 있고, 28번 키 포인트는 우측 발의 뒷꿈치에 대응되는 부분을 나타낼 수 있다. 29번 키 포인트는 우측 엄지발가락 끝에 대응되는 부분을 나타낼 수 있고, 30번 키 포인트는 우측 새끼발가락 끝에 대응되는 부분을 나타낼 수 있다. 여기서, 키 포인트는 에지(edge)라고 표현할 수도 있다.
예를 들어, 특정 키 포인트에 관한 정보는 특정 키 포인트가 나타내는 부분, 특정 키 포인트의 움직임 정보 및 영상 내의 특정 키 포인트의 위치 정보 중 적어도 하나를 포함할 수 있다.For example, the information on a specific key point may include at least one of a part indicated by the specific key point, motion information of the specific key point, and location information of the specific key point in an image.
여기서, 스켈레톤 추출 모델은 동작에 관한 학습용 영상 정보 및 상기 학습용 영상 정보에 대응되는 학습용 스켈레톤 정보를 학습 데이터 셋으로 구성하여 머신러닝을 통해 학습될 수 있으며, 머신러닝에 이용되는 알고리즘은 DNN(deep neural network), 합성곱 신경망(CNN, Convoultional Neural Network), 순환 신경망(RNN, Recurrent Neural Network), 제한 볼츠만 머신(RBM, Restricted Boltzmann Machine), 심층 신뢰 신경망(DBN, Deep Belief Network) 알고리즘들 중 적어도 하나가 이용될 수 있으나, 이에 한정되는 것은 아니며, 보다 효율이 좋은 다른 알고리즘이 이용될 수도 있다. 각각의 알고리즘들은 주지의 기술이므로 설명은 생략한다.Here, the skeleton extraction model can be learned through machine learning by configuring learning image information about motion and learning skeleton information corresponding to the learning image information as a learning data set, and the algorithm used for machine learning is DNN (deep neural network), Convolutional Neural Network (CNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), and Deep Belief Network (DBN) algorithms. may be used, but is not limited thereto, and other more efficient algorithms may be used. Since each algorithm is a well-known technology, a description thereof will be omitted.
다시 도 3을 참조하면 S330 동작에서, 일 실시예는 제1 사용자의 제1 수련 수준 정보를 획득할 수 있고, S340 동작에서, 일 실시예는 제1 수련 수준 정보를 기반으로 복수의 태권도 동작들 중 적어도 하나의 태권도 평가 대상 동작을 결정할 수 있다. 수련 수준에 따라 태권도 평가 대상 동작에 결정되는 구성은 도 5와 함께 더욱 상세하게 설명하겠다.Referring back to FIG. 3 , in operation S330, an embodiment may obtain first training level information of a first user, and in operation S340, an embodiment performs a plurality of taekwondo operations based on the first training level information. At least one motion to be evaluated in Taekwondo may be determined. The configuration that determines the motion to be evaluated in Taekwondo according to the level of training will be described in detail with reference to FIG. 5 .
도 5는 본 발명의 일 실시예에 따른 수련 수준에 따라 태권도 평가 대상 동작이 결정되는 구성을 설명하기 위한 도면이다.5 is a diagram for explaining a configuration in which motions to be evaluated in Taekwondo are determined according to a training level according to an embodiment of the present invention.
도 5를 참조하면, 태권도 평가 대상 동작은 각 수련 수준에 따라 미리 설정되어 있을 수 있다. 예를 들어, 수련 수준은 급, 품 및 단 중 하나를 나타낼 수 있으나, 이에 한정되는 것은 아니다. 즉, 수련 수진이 1품인 경우의 태권도 평가 대상 동작과 2품인 경우의 태권도 평가 대상 동작은 서로 모두 다를 수 있고, 일부만 다르고 나머지는 동일할 수도 있다. 이는 승품 규정, 승단 규정, 승급 규정 또는 사용자 설정에 따라 달라질 수 있다.Referring to FIG. 5 , motions to be evaluated in Taekwondo may be preset according to each training level. For example, the training level may represent one of rank, rank, and rank, but is not limited thereto. That is, the motions to be evaluated for taekwondo evaluation in the case of a 1st class training course and the motions to be evaluated in a case of a 2nd class training course may all be different from each other, only some of them may be different, and the rest may be the same. This may vary according to promotion regulations, promotion regulations, promotion regulations, or user settings.
제1 사용자가 2품인 경우, 겨루기 경기 중에 2품에 대응되는 태권도 평가 대상 동작 중 적어도 일부 동작을 수행하여야 하며, 이에 따라 평가가 이루어질 수 있다.If the first user is a 2nd rank, he must perform at least some of the motions to be evaluated in Taekwondo corresponding to the 2nd rank during a sparring match, and evaluation can be made accordingly.
다시 도 3을 참조하면 S350 동작에서, 일 실시예는 스켈레톤 정보를 기반으로 복수의 태권도 동작들 중 제1 사용자가 수행한 태권도 수행 동작을 결정할 수 있다. 즉, 일 실시예는 스켈레톤 정보를 기초로 제1 사용자가 수행한 동작이 여러 태권도 동작들 중 어떠한 동작을 수행한 것인지 판단 또는 결정할 수 있다.Referring back to FIG. 3 , in operation S350, an embodiment may determine a Taekwondo performance performed by the first user among a plurality of Taekwondo motions based on the skeleton information. That is, according to an embodiment, it is possible to determine or determine which of several Taekwondo motions the motion performed by the first user is based on the skeleton information.
일 실시예는 사용자가 수행한 태권도 동작을 결정하기 위해 제1 사용자의 겨루기 움직임에 대응되는 스켈레톤 정보와 미리 설정된 복수의 태권도 동작들에 대응되는 복수의 스켈레톤 정보들을 비교할 수 있으며, 제1 사용자의 스켈레톤 정보 및 복수의 스켈레톤 정보들 간의 유사도를 각각 도출할 수 있고, 복수의 스켈레톤 정보들 중 가장 유사도가 높은 스켈레톤 정보에 대응되는 태권도 동작을 도출하여 사용자가 수행한 태권도 수행 동작으로 결정할 수 있다.One embodiment may compare skeleton information corresponding to a first user's sparring movement with a plurality of skeleton information corresponding to a plurality of preset Taekwondo movements in order to determine a taekwondo movement performed by the user, and the skeleton of the first user A similarity between the information and a plurality of pieces of skeleton information may be derived, and a Taekwondo motion corresponding to the skeleton information having the highest similarity among the plurality of pieces of skeleton information may be derived and determined as a Taekwondo motion performed by the user.
S360 동작에서, 일 실시예는 태권도 수행 동작 및 적어도 하나의 태권도 평가 대상 동작을 기반으로 제1 사용자가 적어도 하나의 태권도 평가 대상 동작 중 적어도 일부를 수행하였는지 판단할 수 있다. 즉, 일 실시예는 제1 사용자의 수련 수준에 대응되는 동작을 평가하기 위하여 제1 사용자의 태권도 수행 동작이 제1 사용자의 수련 수준에 대응되는 태권도 평가 대상 동작에 포함되는지 판단할 수 있다.In operation S360, an embodiment may determine whether the first user has performed at least part of at least one Taekwondo evaluation target motion based on the Taekwondo performance motion and the at least one Taekwondo evaluation target motion. That is, in an embodiment, in order to evaluate a motion corresponding to the first user's training level, it may be determined whether the first user's Taekwondo performance motion is included in the Taekwondo evaluation target motion corresponding to the first user's training level.
도 6은 본 발명의 일 실시예에 따른 태권도 평가 대상 동작 각각에 대한 사용자의 동작 횟수가 카운팅되는 구성을 설명하기 위한 도면이다.6 is a diagram for explaining a configuration in which the number of motions of a user for each motion to be evaluated in Taekwondo is counted according to an embodiment of the present invention.
도 6을 참조하면, 일 실시예는 제1 사용자의 태권도 수행 동작 및 수련 수준에 대응되는 적어도 하나의 태권도 평가 대상 동작을 기반으로 수련 수준에 대응되는 적어도 하나의 태권도 평가 대상 동작 각각에 대하여 제1 사용자가 몇 회 수행하였는지 카운팅할 수 있으며, 겨루기 경기가 종료되는 경우, 겨루기 경기 동안 태권도 평가 대상 동작 각각에 대한 제1 사용자의 동작 횟수를 결정하여 제공할 수 있다.Referring to FIG. 6 , in an embodiment, based on the Taekwondo performance motion of the first user and the at least one Taekwondo evaluation target motion corresponding to the training level, a first step is performed for each of the at least one Taekwondo evaluation subject motion corresponding to the training level. It is possible to count how many times the user has performed it, and when the competition is over, the number of motions performed by the first user for each motion to be evaluated in taekwondo during the competition may be determined and provided.
더불어, 일 실시예는 제1 사용자의 태권도 평가 대상 동작 각각에 대한 제1 사용자의 동작 횟수를 기반으로 제1 사용자의 사용 기술 다양성 정보를 판단할 수도 있다.In addition, according to an embodiment, information on the diversity of techniques used by the first user may be determined based on the number of motions of the first user for each of the taekwondo evaluation target motions of the first user.
또는 일 실시예는 제1 사용자의 태권도 평가 대상 동작 각각에 대한 제1 사용자의 동작 횟수 및 복수의 태권도 동작들 중 태권도 평가 대상 동작이 아닌 동작들의 종류 정보를 기반으로 제1 사용자의 사용 기술 다양성 정보를 판단할 수도 있다. 또는 일 실시예는 제1 사용자의 태권도 평가 대상 동작 각각에 대한 제1 사용자의 동작 횟수 및 복수의 태권도 동작들 중 태권도 평가 대상 동작이 아닌 동작들의 종류 정보 및 종류별 동작 횟수를 기반으로 제1 사용자의 사용 기술 다양성 정보를 판단할 수도 있다.Alternatively, according to an embodiment, the number of motions of the first user for each of the Taekwondo evaluation target motions of the first user and the diversity information of techniques used by the first user based on the type information of motions that are not Taekwondo evaluation target motions among a plurality of Taekwondo motions. can also judge. Alternatively, in an embodiment, based on the number of motions of the first user for each motion to be evaluated in Taekwondo of the first user and type information of motions that are not Taekwondo evaluation target motions among a plurality of Taekwondo motions and the number of motions for each type, It is also possible to determine the technology variety information used.
예를 들어, 사용 기술 다양성 정보는 기술 다양성 스코어를 포함할 수 있다. 이 경우, 기술 다양성 스코어는 사용자가 수행한 동작의 종류가 많을수록 높게 판단될 수 있고, 동작 별 횟수의 차이가 적을수록 높게 판단될 수 있다. 또한, 태권도 평가 대상 동작만으로 사용 기술 다양성 정보가 결정될 수 있으나, 기술 활용도 측면에서 태권도 평가 대상 동작뿐만 아니라 복수의 태권도 동작들이 모두 고려하여 사용 기술 다양성 정보가 결정될 수도 있다.For example, the used technology diversity information may include a technology diversity score. In this case, the skill diversity score may be determined higher as the number of types of motion performed by the user increases, and may be determined higher as the difference in the number of times for each motion decreases. In addition, although the diversity information of techniques used may be determined only by motions to be evaluated in Taekwondo, the diversity information of techniques in use may be determined by considering not only motions to be evaluated in Taekwondo but also a plurality of Taekwondo motions in terms of technology utilization.
또한, 일 실시예는 제1 사용자가 수행한 태권도 수행 동작을 기반으로 공방 비율 정보를 결정할 수도 있다. 예를 들어, 일 실시예는 복수의 태권도 동작들 중 제1 사용자 수행한 태권도 수행 동작에 대응되는 동작의 종류 정보를 기반으로 제1 사용자의 공격 동작의 수 및 제1 사용자의 방어 동작의 수를 산출 및 판단할 수 있으며, 공격 동작의 수 및 방어 동작의 수를 기반으로 겨루기 경기에서의 제1 사용자의 공방 비율 정보를 결정하여 제공할 수도 있다.In addition, according to an embodiment, battle rate information may be determined based on a Taekwondo performance performed by the first user. For example, in one embodiment, the number of attack actions of the first user and the number of defensive actions of the first user are determined based on the type information of the action corresponding to the Taekwondo action performed by the first user among the plurality of Taekwondo actions. It is possible to calculate and determine, and based on the number of offensive motions and the number of defensive motions, the first user's attack/defense ratio information in the contest may be determined and provided.
도 7은 본 발명의 일 실시예에 따른 상대방의 신체 정보에 기반하여 태권도 평가 대상 동작을 보정하는 구성을 설명하기 위한 도면이다.7 is a diagram for explaining a configuration for correcting a motion to be evaluated in Taekwondo based on body information of the other party according to an embodiment of the present invention.
도 7을 참조하면, 일 실시예는 태권도 평가 대상 동작에 대하여 제1 사용자의 겨루기 움직임을 평가할 경우, 단일한 기준이 아닌 신체 정보를 고려한 변동 기준을 이용할 수 있다.Referring to FIG. 7 , in an embodiment, when evaluating a first user's competition movement for a motion to be evaluated in Taekwondo, a variation criterion considering body information may be used instead of a single criterion.
이 경우, 일 실시예는 사용자의 겨루기 움직임에 대한 평가 시 타격이 유효한 움직임만을 대상으로 평가할 수 있으나, 타격이 유효하지 않은 움직임을 포함하여 평가할 수도 있다.In this case, in one embodiment, when evaluating the user's movement for sparring, only motions for which batting is effective may be evaluated, but motions for which batting is not effective may be included in the evaluation.
예를 들어, 타격이 유효하지 않은 움직임을 포함하여 평가하는 경우, 일 실시예는 제1 사용자의 제1 신체 정보 및 제1 사용자의 겨루기 대상인 제2 사용자의 제2 신체 정보를 획득할 수 있고, 제1 신체 정보 및 제2 신체 정보를 기반으로 정타격 높이를 조절할 수 있다. 다시 말해, 일 실시예는 키 정보를 포함하는 신체 정보를 이용하여 제1 사용자가 제2 사용자의 키를 고려한 특정 부위의 높이를 향하여 정확히 동작을 수행하였는지 판단될 수 있다.For example, when a hit includes an invalid motion for evaluation, an embodiment may obtain first body information of a first user and second body information of a second user who is a contest target of the first user; It is possible to adjust the hit height based on the first body information and the second body information. In other words, according to an embodiment, it may be determined whether the first user correctly moves toward the height of a specific part considering the height of the second user by using body information including key information.
예를 들어, 사용자의 신체 정보는 사용자의 키 정보, 몸무게 정보 및 체형 정보 중 적어도 하나를 포함할 수 있으며, 체형 정보는 상체 길이 정보, 하체 길이 정보 및 상하체 비율 정보 중 적어도 하나를 포함할 수 있다. 또한, 사용자의 신체 정보는 골격 정보를 포함할 수도 있다. 골격 정보는 신체의 특정 부위에 대응되는 골격의 길이 정보 및 두계 정보를 포함할 수 있다.For example, the user's body information may include at least one of the user's height information, weight information, and body type information, and the body type information may include at least one of upper body length information, lower body length information, and upper and lower body ratio information. . Also, the user's body information may include skeleton information. The skeleton information may include information on the length and head of the skeleton corresponding to a specific part of the body.
또는 예를 들어, 타격이 유효한 움직임만을 대상으로 평가하는 경우, 일 실시예는 타격이 유효한지 판단하기 위하여 제1 사용자의 겨루기 움직임 및 제1 사용자의 겨루기 상대인 제2 사용자의 겨루기 움직임을 모두 포함하는 영상 정보를 획득할 수 있고, 영상 정보로부터 제1 사용자에 대한 제1 신체 영역 및 제2 사용자에 대한 제2 신체 영역을 결정할 수 있고, 제1 신체 영역, 제2 신체 영역 및 스켈레톤 정보를 기반으로 제1 사용자의 제2 사용자에 대한 타격이 유효한지 판단할 수 있다. 예를 들어, 신체 영역은 영상 정보 내의 사용자 신체의 윤곽선 또는 바디 쉐입(body shape)을 기반으로 결정될 수 있다. 신체 영역에 관한 정보는 사용자 간의 신체가 서로 닿았는지 또는 타격되었는지를 판단하기 위해 이용될 수 있다.Or, for example, in the case of evaluating only a valid strike motion, one embodiment includes both the contest motion of the first user and the contest motion of the second user, the opponent of the first user, in order to determine whether the hit is effective. It is possible to obtain image information for the first user, and determine a first body region for the first user and a second body region for the second user from the image information, based on the first body region, the second body region, and skeleton information. As a result, it can be determined whether the blow of the first user to the second user is effective. For example, the body region may be determined based on an outline or body shape of the user's body in image information. The information on the body region may be used to determine whether the bodies of users are in contact with each other or hit.
예를 들어, 일 실시예는 제1 사용자의 제1 신체 영역이 제2 사용자의 제2 신체 영역에 닿은 경우, 스켈레톤 정보의 복수의 키 포인트들 중 닿은 부위에 대응되는 키 포인트를 공격 키 포인트로 결정할 수 있다. 이후, 일 실시예는 공격 키 포인트가 복수의 키 포인트들 중 공격이 유효한 신체 부위에 대응되는 유효 키 포인트에 포함되는지 판단할 수 있으며, 공격 키 포인트가 유효 키 포인트에 포함되는 경우, 공격 키 포인트를 타격 키 포인트로 결정할 수 있고, 이 경우 타격이 유효하다고 판단할 수 있다.For example, in one embodiment, when a first body region of a first user touches a second body region of a second user, a key point corresponding to the touched part among a plurality of key points of skeleton information is used as an attack key point. can decide Thereafter, an embodiment may determine whether the attack key point is included in a valid key point corresponding to a body part for which an attack is valid among a plurality of key points, and if the attack key point is included in the valid key points, the attack key point can be determined as the hitting key point, and in this case, it can be determined that the hitting is effective.
예를 들어, 제2 사용자의 제2 신체 영역에 닿은 키 포인트가 좌측 골반(또는 엉덩이)의 중심에 대응되는 부분인 19번 키 포인트인 경우, 19번 키 포인트는 공격이 유효한 신체 부위가 아니므로 유효 키 포인트에 포함되지 않고, 이에 따라 제2 사용자의 제2 신체 영역에 닿아도 19번 키 포인트는 타격 키 포인트로 결정되지 않을 수 있다. 이에 반해, 제2 사용자의 제2 신체 영역에 닿은 키 포인트가 우측 엄지발가락 끝에 대응되는 부분인 29번 키 포인트인 경우, 29번 키 포인트는 공격이 유효한 신체 부위이므로 유효 키 포인트에 포함되고, 이에 따라 제2 사용자의 제2 신체 영역에 닿은 29번 키 포인트는 타격 키 포인트로 결정될 수 있다.For example, if the key point touching the second user's second body area is the 19th key point corresponding to the center of the left pelvis (or hip), the 19th key point is not an effective body part for an attack. Even if it is not included in the valid key points and therefore touches the second body region of the second user, the 19th key point may not be determined as a hitting key point. On the other hand, if the key point touching the second user's second body region is the 29th key point corresponding to the tip of the right big toe, the 29th key point is included in the effective key point because it is a body part for which an attack is valid. Accordingly, the 29th key point touching the second body region of the second user may be determined as a hitting key point.
일 실시예는 타격이 유효하다고 판단된 경우, 복수의 태권도 동작들 중 스켈레톤 정보를 기반으로 타격이 유효하다고 판단된 시점의 제1 사용자의 겨루기 움직임에 대응되는 타격 동작을 결정할 수 있고, 제1 사용자의 제1 신체 정보 및 제2 사용자의 제2 신체 정보를 획득할 수 있고, 획득한 제1 신체 정보 및 제2 신체 정보를 기반으로 타격 동작을 보정할 수 있다. 다시 말해, 제2 사용자를 타격한 동작에 대응되는 태권도 동작(타격 동작)의 타격 높이를 제2 사용자의 신체 정보를 기초로 보정할 수 있다. According to an embodiment, when it is determined that the hitting is effective, among a plurality of taekwondo motions, a batting motion corresponding to the competition movement of the first user at the time when the hitting is determined to be effective may be determined based on skeleton information, and the first user First body information of the user and second body information of the second user may be obtained, and a hitting motion may be corrected based on the obtained first body information and second body information. In other words, the hitting height of the taekwondo motion (hitting motion) corresponding to the motion of hitting the second user may be corrected based on the body information of the second user.
상술한 바와 같이 보정된 타격 동작은 제1 사용자의 제1 신체 정보 및 제2 사용자의 제2 신체 정보가 반영된 제1 사용자의 현재 상황에서의 최적의 동작을 나타낼 수 있으며, 이와 같이 보정한 타격 동작 및 타격이 유효하다고 판단된 시점의 제1 사용자의 겨루기 움직임을 기반으로 타격 동작에 대한 상기 제1 사용자의 평가 수치를 결정할 수 있다.As described above, the corrected hitting motion may indicate an optimal motion in the current situation of the first user in which the first body information of the first user and the second body information of the second user are reflected, and the corrected hitting motion as described above and an evaluation value of the first user for the batting motion may be determined based on the first user's contest movement at the time when the batting is determined to be effective.
예를 들어, 평가 수치는 보정한 타격 동작에 대응되는 복수의 키 포인트의 위치 정보 및 타격이 유효하다고 판단된 시점의 제1 사용자의 겨루기 움직임에 대응되는 스켈레톤 정보의 복수의 키 포인트 위치 정보를 기반으로 도출될 수 있다. 또는 평가 수치는 보정한 타격 동작 및 타격이 유효하다고 판단된 시점의 제1 사용자의 겨루기 움직임 각각의 복수의 키 포인트 위치 정보를 기초로 동일 부위의 위치 차이 정보를 산출한 후, 이를 기반으로 평가 수치를 도출할 수도 있다. 여기서, 평가 수치는 정확도에 관한 평가 수치를 나타낼 수 있다.For example, the evaluation value is based on location information of a plurality of key points corresponding to the corrected batting motion and location information of a plurality of key points of skeleton information corresponding to the contest movement of the first user at the time when the batting is determined to be effective. can be derived as Alternatively, the evaluation value is calculated based on the positional difference information of the same part based on the corrected batting motion and the location information of a plurality of key points of each of the first user's contest movements at the time when the batting is determined to be effective, and then the evaluation value based on this can also be derived. Here, the evaluation numerical value may indicate an evaluation numerical value related to accuracy.
예를 들어, 일 실시예는 제1 사용자의 숙련성 정보를 결정할 수도 있다. 여기서, 숙련성 정보는 거리 조절 정보, 힘의 강약 정보 및 동작의 연속성 정보 중 적어도 하나를 포함할 수 있다. 예를 들어, 숙련성 정보는 거리 조절 정보, 힘의 강략 정보 및 동작의 연속성 정보 간의 서로 다른 비율 또는 가중치에 따라 결정될 수 있으나, 동일한 비율 또는 가중치로 결정될 수도 있다. 이러한 비율 또는 가중치는 설정에 따라 달라질 수 있으며, 수련 수준에 따라 자동으로 변경될 수도 있다.For example, an embodiment may determine proficiency information of the first user. Here, the proficiency information may include at least one of distance control information, force intensity information, and motion continuity information. For example, proficiency information may be determined according to different ratios or weights among distance control information, force strength information, and motion continuity information, but may be determined with the same ratio or weight. These ratios or weights may vary according to settings and may be automatically changed according to the level of training.
일 실시예는 제1 사용자의 수련 수준에 따라 평가 항목 별 가중치가 다르게 설정될 수 있다.In an embodiment, weights for each evaluation item may be set differently according to the training level of the first user.
거리 조절 정보는 제1 사용자가 특정 동작을 수행했을 경우, 해당 동작에 대한 최적의 상대방과의 거리 정보를 기초로 획득될 수 있다. 예를 들어, 일 실시예는 제1 사용자의 태권도 수행 동작이 결정되는 경우, 태권도 수행 동작에 대응되는 미리 설정된 겨루기 상대방과의 기준 거리 정보를 획득할 수 있고, 제1 사용자의 제1 신체 정보 및 겨루기 상대방인 제2 사용자의 제2 신체 정보를 기반으로 기준 거리 정보를 실제 겨루기 대상자들의 신체에 맞추어 보정할 수 있다. The distance adjustment information may be obtained based on distance information with the other party that is optimal for the corresponding action when the first user performs a specific action. For example, in an embodiment, when a first user's Taekwondo performing motion is determined, reference distance information with a previously set competition opponent corresponding to the Taekwondo performing motion may be obtained, and the first user's first body information and Based on the second body information of the second user who is the contesting opponent, the reference distance information may be corrected to match the bodies of actual contestants.
이후, 일 실시예는 영상 정보를 통해 제1 사용자가 태권도 수행 동작이 결정된 시점의 제1 사용자 및 제2 사용자 간의 동작 수행 거리 정보를 도출할 수 있고, 도출한 동작 수행 거리 정보 및 보정한 기준 거리 정보를 기반으로 제1 사용자가 적절한 거리에서 해당 동작을 수행하였는지에 관한 거리 조절 정보를 결정할 수 있다. 예를 들어, 거리 조절 정보는 사용자가 수행하였던 동작들 각각에 대한 동작 수행 거리 정보 및 보정한 기준 거리 정보 간의 차이들을 기초로 결정될 수 있으나, 이에 한정되는 것은 아니다.Thereafter, an embodiment may derive motion performance distance information between the first user and the second user at the time when the first user determines the Taekwondo performance motion through image information, and the derived motion distance information and the corrected reference distance. Based on the information, distance adjustment information regarding whether the first user performed a corresponding operation at an appropriate distance may be determined. For example, the distance adjustment information may be determined based on differences between motion performance distance information for each motion performed by the user and corrected reference distance information, but is not limited thereto.
힘의 강약 정보는 제1 사용자의 타격에 어느정도의 힘이 실려있는지 즉 타격의 강도를 기반으로 획득될 수 있다. 이를 위해, 일 실시예는 제1 사용자의 타격이 유효하다고 판단된 경우, 영상 정보를 통해 복수의 키 포인트들 중 타격 키 포인트에 대응되는 키 포인트의 시간에 따른 위치 정보를 획득할 수 있으며, 시간에 따른 위치 정보를 기초로 타격 키 포인트의 가속도 정보를 도출할 수 있다. 이후, 일 실시예는 제1 사용자의 제1 신체 정보 및 가속도 정보를 기초로 타격의 강도를 결정할 수 있으며, 각 타격별 타격의 강도를 기초로 힘의 강약 정보를 결정할 수 있다.The strength and weakness information of the force may be obtained based on how much force is applied to the blow of the first user, that is, the intensity of the blow. To this end, in one embodiment, when it is determined that the hitting of the first user is effective, position information according to time of a key point corresponding to a hitting key point among a plurality of key points may be obtained through image information, and Acceleration information of the hit key point may be derived based on the location information according to . Thereafter, according to an embodiment, the strength of the blow may be determined based on the first body information and the acceleration information of the first user, and strength and weakness information may be determined based on the strength of each blow.
동작의 연속성 정보는 제1 사용자가 여러 태권도 동작을 연속적으로 사용하였는지를 나타낼 수 있다. 예를 들어, 일 실시예는 제1 사용자의 태권도 수행 동작이 결정되는 시점 간의 시간적 차이 정보를 도출할 수 있고, 이를 기초로 동작의 연속성 정보를 결정할 수 있다. 예를 들어, 제1 태권도 수행 동작과 다음 제2 태권도 수행 동작 간의 시점 차이가 임계시간 이하인 경우, 이를 제1 태권도 수행 동작 및 제2 태권도 수행 동작은 연속한 동작으로 판단될 수 있으며, 연속한 동작으로 판단된 동작들은 하나의 연속 동작으로 군집될 수 있다. 예를 들어, 일 실시예는 군집된 연속 동작의 개수 및 군집된 연속 동작 중 가장 많은 동작으로 구성된 연속 동작 내의 동작 횟수를 기반으로 동작의 연속성 정보를 결정할 수 있으나, 이에 한정되는 것은 아니다.The motion continuity information may indicate whether the first user continuously uses several Taekwondo motions. For example, according to an embodiment, temporal difference information between points in time at which the first user's Taekwondo performing motion is determined may be derived, and motion continuity information may be determined based on this. For example, if the time difference between the first Taekwondo performance and the next second Taekwondo performance is less than or equal to the threshold time, the first Taekwondo performance and the second Taekwondo performance may be determined as a continuous operation, and the continuous operation The motions determined to be may be clustered as one continuous motion. For example, one embodiment may determine motion continuity information based on the number of clustered continuous motions and the number of motions in a continuous motion consisting of the largest number of motions among the clustered continuous motions, but is not limited thereto.
또한 예를 들어, 일 실시예는 제1 사용자의 표현성 정보를 결정할 수도 있다. 여기서, 표현성 정보는 기합 정보 및 창의적 기술 정보 중 적어도 하나를 포함할 수 있다. 예를 들어, 표현성 정보는 기합 정보 및 창의적 기술 정보 간의 서로 다른 비율 또는 가중치에 따라 결정될 수 있으나, 동일한 비율 또는 가중치로 결정될 수도 있다. 이러한 비율 또는 가중치는 설정에 따라 달라질 수 있으며, 수련 수준에 따라 자동으로 변경될 수도 있다.Also, for example, an embodiment may determine expressiveness information of the first user. Here, the expressiveness information may include at least one of spirit information and creative skill information. For example, expressiveness information may be determined according to different ratios or weights between spirit information and creative skill information, but may be determined with the same ratio or weight. These ratios or weights may vary according to settings and may be automatically changed according to the level of training.
일 실시예는 영상 정보에 대응되는 오디오 정보를 획득할 수도 있으며, 오디오 정보로부터 제1 사용자의 태권도 수행 동작이 결정된 시점 또는 타격이 유효하다고 판단된 시점에 대응되는 동작 시점 오디오 정보를 도출할 수 있다. 여기서, 제1 사용자의 태권도 수행 동작이 결정된 시점 또는 타격이 유효하다고 판단된 시점은 오디오 추출 기준 시점이라 나타낼 수 있다.According to an embodiment, audio information corresponding to video information may be obtained, and from the audio information, audio information at an action point corresponding to a point in time at which a Taekwondo performance action of the first user is determined or when a strike is determined to be effective may be derived. . Here, the time at which the first user's taekwondo performance motion is determined or the time at which it is determined that the strike is effective may be referred to as an audio extraction reference time point.
동작 시점 오디오 정보는 오디오 추출 기준 시점의 이전에 위치하는 시작 시점으로부터 오디오 추출 기준 시점의 이후에 위치하는 종료 시점까지의 오디오 정보를 포함할 수 있으며, 오디오 추출 기준 시점 및 시작 시점 간의 제1 시간적 차이 및 오디오 추출 기준 시점 및 종료 시점 간의 제2 시간적 차이는 각각 미리 설정될 수 있으며, 서로 다를 수 있다. 일 실시예는 동작 시점 오디오 정보를 기반으로 기합 정보를 결정할 수 있다.The operation time audio information may include audio information from a start time point located before the audio extraction reference time point to an end time point positioned after the audio extraction reference time point, and a first temporal difference between the audio extraction reference time point and the start time point. and the second temporal difference between the audio extraction reference time point and the end time point may be set in advance and may be different from each other. According to an embodiment, spirit information may be determined based on audio information at an operation time point.
창의적 기술 정보는 미리 설정된 복수의 태권도 동작들이 아닌 제1 사용자의 창의적인 겨루기 움직임에 관한 정보를 나타낼 수 있다. 창의적 기술 정보는 미리 네트워트를 통해 연결된 평가위원 단말을 통해 획득될 수 있으며, 평가위원 단말은 평가위원이 입력한 창의적 기술 점수를 포함하는 창의적 기술 정보를 전달할 수 있다.The creative technique information may indicate information about the first user's creative competition movements other than a plurality of preset Taekwondo movements. Creative technology information can be acquired through an evaluator's terminal connected through a network in advance, and the evaluator's terminal can deliver creative technology information including creative technology scores input by an evaluator.
일 실시예는 제1 사용자에 대한 종합 평가 정보를 결정할 수 있다. 예를 들어, 종합 평가 정보는 종합 평가 수치를 포함할 수 있으며, 정확도 정보, 숙련성 정보, 표현성 정보, 기술 다양성 정보 및 공격/방어력 정보 중 적어도 하나를 기반으로 결정될 수 있으며, 각 정보를 평가 항목이라 나타낼 수 있다. 여기서, 정확도 정보는 정확도에 관한 평가 수치를 포함할 수 있고, 기술 다양성 정보는 사용 기술 다양성 정보를 포함할 수 있고, 공격/방어력 정보는 공방 비율 정보를 포함할 수 있다.An embodiment may determine comprehensive evaluation information for the first user. For example, the comprehensive evaluation information may include comprehensive evaluation figures, and may be determined based on at least one of accuracy information, proficiency information, expressiveness information, skill diversity information, and attack/defense information, and each information is referred to as an evaluation item. can indicate Here, the accuracy information may include an evaluation value related to accuracy, the skill diversity information may include used skill diversity information, and the attack/defense power information may include attack/defense ratio information.
예를 들어, 일 실시예는 제1 사용자의 수련 수준에 따라 평가 항목 별 가중치가 다르게 설정될 수 있다. 예를 들어, 제1 사용자가 1품인 경우 종합 평가 정보 내의 정확도 정보가 차지하는 비율과 제1 사용자가 2품인 경우 종합 평가 정보 내의 정확도 정보가 차지하는 비율이 서로 다를 수도 있다. 다시 말해, 각 항목의 차지하는 비율 또는 가중치는 제1 사용자의 수련 수준에 따라 동일한 비율 또는 가중치를 차지하는 항목이 일부 존재할 수 있으나, 비율 또는 가중치가 항목 모두 다르게 설정될 수도 있다.For example, in an embodiment, weights for each evaluation item may be set differently according to the training level of the first user. For example, a ratio occupied by accuracy information in the comprehensive evaluation information when the first user is 1 item may be different from a ratio occupied by accuracy information in the comprehensive evaluation information when the first user is 2 items. In other words, although some items occupying the same ratio or weight may exist according to the training level of the first user, all items may have different ratios or weights.
이후, 일 실시예는 결정된 제1 사용자의 종합 평가 정보를 사용자 단말 또는 네트워크를 통해 연결된 다른 단말에 제공할 수 있다. 또는, 일 실시예는 종합 평가 정보에 포함된 종합 평가 수치가 합격 기준치 이상인 경우, 제1 사용자의 겨루기 평가 결과를 합격으로 판단할 수 있으며, 현재 수련 수준을 한 단계 높여 제1 사용자의 수련 수준을 업데이트할 수 있다.Thereafter, according to an embodiment, the determined comprehensive evaluation information of the first user may be provided to a user terminal or another terminal connected through a network. Alternatively, in an embodiment, when the comprehensive evaluation value included in the comprehensive evaluation information is equal to or greater than the pass standard, the first user's sparring evaluation result may be determined to be pass, and the current training level may be raised by one step to increase the training level of the first user. can be updated
본 명세서의 실시예에 따른 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.Operations according to the embodiments of the present specification can be implemented as computer-readable programs or codes on a computer-readable recording medium. A computer-readable recording medium includes all types of recording devices in which data that can be read by a computer system is stored. In addition, computer-readable recording media may be distributed to computer systems connected through a network to store and execute computer-readable programs or codes in a distributed manner.
실시예가 소프트웨어로 구현될 때, 상술한 기법은 상술한 기능을 수행하는 모듈(과정, 기능 등)로 구현될 수 있다. 모듈은 메모리에 저장되고, 프로세서에 의해 실행될 수 있다. 메모리는 프로세서 내부 또는 외부에 있을 수 있고, 잘 알려진 다양한 수단으로 프로세서와 연결될 수 있다.When the embodiment is implemented as software, the above-described technique may be implemented as a module (process, function, etc.) that performs the above-described functions. A module can be stored in memory and executed by a processor. The memory may be internal or external to the processor, and may be coupled with the processor in a variety of well-known means.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.In addition, the computer-readable recording medium may include hardware devices specially configured to store and execute program instructions, such as ROM, RAM, and flash memory. The program command may include high-level language codes that can be executed by a computer using an interpreter or the like as well as machine code generated by a compiler.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다. Although some aspects of the invention have been described in the context of an apparatus, it may also represent a description according to a corresponding method, where a block or apparatus corresponds to a method step or feature of a method step. Similarly, aspects described in the context of a method may also be represented by a corresponding block or item or a corresponding feature of a device. Some or all of the method steps may be performed by (or using) a hardware device such as, for example, a microprocessor, programmable computer or electronic circuitry. In some embodiments, one or more of the most important method steps may be performed by such an apparatus.
실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그래머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그래머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.In embodiments, a programmable logic device (eg, a field programmable gate array) may be used to perform some or all of the functions of the methods described herein. In embodiments, a field programmable gate array may operate in conjunction with a microprocessor to perform one of the methods described herein. Generally, methods are preferably performed by some hardware device.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art will variously modify and change the present invention within the scope not departing from the spirit and scope of the present invention described in the claims below. You will understand that it can be done.
Claims (6)
제1 사용자의 겨루기 움직임을 포함하는 영상 정보를 획득하는 단계;
상기 영상 정보를 기반으로 상기 제1 사용자의 겨루기 움직임에 대응되는 스켈레톤 정보를 도출하는 단계;
상기 제1 사용자의 제1 수련 수준 정보를 획득하는 단계;
상기 제1 수련 수준 정보를 기반으로 복수의 태권도 동작들 중 적어도 하나의 태권도 평가 대상 동작을 결정하는 단계;
상기 스켈레톤 정보를 기반으로 상기 복수의 태권도 동작들 중 제1 사용자가 수행한 태권도 수행 동작을 결정하는 단계; 및
상기 태권도 수행 동작 및 상기 적어도 하나의 태권도 평가 대상 동작을 기반으로 상기 제1 사용자가 상기 적어도 하나의 태권도 평가 대상 동작 중 적어도 일부를 수행하였는지 판단하는 단계를 포함하고,
상기 태권도 수행 동작 및 상기 적어도 하나의 태권도 평가 대상 동작을 기반으로 상기 적어도 하나의 태권도 평가 대상 동작 각각에 대응되는 상기 제1 사용자의 동작 횟수를 결정하는 단계;
상기 적어도 하나의 태권도 평가 대상 동작 각각에 대응되는 상기 제1 사용자의 동작 횟수 및 상기 복수의 태권도 동작들 중 상기 태권도 수행 동작에 대응되는 동작의 종류 정보를 기반으로 상기 제1 사용자의 사용 기술 다양성 정보를 판단하는 단계;
상기 복수의 태권도 동작들 중 상기 태권도 수행 동작에 대응되는 동작의 종류 정보를 기반으로 상기 제1 사용자의 공격 동작의 수 및 상기 제1 사용자의 방어 동작의 수를 판단하는 단계; 및
상기 공격 동작의 수 및 상기 방어 동작의 수를 기반으로 상기 제1 사용자의 공방 비율 정보를 결정하는 단계를 더 포함하는, 사용자 수련 수준에 따른 태권도 겨루기 평가 방법.In the taekwondo competition evaluation method according to the user training level performed by at least one server,
obtaining image information including a competition movement of a first user;
deriving skeleton information corresponding to a competition movement of the first user based on the image information;
obtaining first training level information of the first user;
determining at least one motion to be evaluated for Taekwondo among a plurality of Taekwondo motions based on the first training level information;
determining a Taekwondo performance performed by a first user from among the plurality of Taekwondo motions based on the skeleton information; and
Determining whether the first user has performed at least some of the at least one Taekwondo evaluation target motion based on the Taekwondo performance motion and the at least one Taekwondo evaluation subject motion;
determining the number of motions of the first user corresponding to each of the at least one taekwondo motion to be evaluated based on the taekwondo performed motion and the at least one taekwondo motion to be evaluated;
Based on the number of motions of the first user corresponding to each of the at least one Taekwondo evaluation target motion and type information of motions corresponding to the Taekwondo performing motions among the plurality of Taekwondo motions, diversity information of techniques used by the first user determining;
determining the number of offensive motions and the number of defensive motions of the first user based on motion type information corresponding to the taekwondo performing motion among the plurality of taekwondo motions; and
The method of evaluating taekwondo sparring according to user training levels, further comprising determining attack and defense ratio information of the first user based on the number of attack movements and the number of defense movements.
상기 영상 정보는 상기 제1 사용자의 겨루기 상대인 제2 사용자의 겨루기 움직임을 더 포함하고,
상기 영상 정보로부터 상기 제1 사용자에 대한 제1 신체 영역 및 상기 제2 사용자에 대한 제2 신체 영역을 결정하는 단계;
상기 제1 신체 영역, 상기 제2 신체 영역 및 상기 스켈레톤 정보를 기반으로 상기 제1 사용자의 상기 제2 사용자에 대한 타격이 유효한지 판단하는 단계;
상기 복수의 태권도 동작들 중 상기 스켈레톤 정보를 기반으로 상기 타격이 유효하다고 판단된 시점의 상기 제1 사용자의 겨루기 움직임에 대응되는 타격 동작을 결정하는 단계;
상기 제1 사용자의 제1 신체 정보 및 상기 제2 사용자의 제2 신체 정보를 획득하는 단계;
상기 제1 신체 정보 및 상기 제2 신체 정보를 기반으로 상기 타격 동작을 보정하는 단계; 및
상기 보정한 타격 동작 및 상기 타격이 유효하다고 판단된 시점의 상기 제1 사용자의 겨루기 움직임을 기반으로 상기 타격 동작에 대한 상기 제1 사용자의 평가 수치를 결정하는 단계를 더 포함하는, 사용자 수련 수준에 따른 태권도 겨루기 평가 방법.The method of claim 1,
The video information further includes a contest movement of a second user who is a contest opponent of the first user;
determining a first body region for the first user and a second body region for the second user from the image information;
determining whether a blow by the first user to the second user is effective based on the first body region, the second body region, and the skeleton information;
determining a batting motion corresponding to a competition movement of the first user at a point in time when it is determined that the hitting is effective based on the skeleton information among the plurality of taekwondo motions;
obtaining first body information of the first user and second body information of the second user;
correcting the hitting motion based on the first body information and the second body information; and
determining an evaluation value of the first user for the batting motion based on the corrected batting motion and the contesting movement of the first user at a time when the batting is determined to be effective; Taekwondo sparring evaluation method according to.
프로세서(processor); 및
상기 프로세서에 의해 수행되는 적어도 하나의 명령을 저장하는 메모리(memory)를 포함하고,
상기 적어도 하나의 명령은,
제1 사용자의 겨루기 움직임을 포함하는 영상 정보를 획득하도록 실행되고,
상기 영상 정보를 기반으로 상기 제1 사용자의 겨루기 움직임에 대응되는 스켈레톤 정보를 도출하도록 실행되고,
상기 제1 사용자의 제1 수련 수준 정보를 획득하도록 실행되고,
상기 제1 수련 수준 정보를 기반으로 복수의 태권도 동작들 중 적어도 하나의 태권도 평가 대상 동작을 결정하도록 실행되고,
상기 스켈레톤 정보를 기반으로 상기 복수의 태권도 동작들 중 제1 사용자가 수행한 태권도 수행 동작을 결정하도록 실행되고,
상기 태권도 수행 동작 및 상기 적어도 하나의 태권도 평가 대상 동작을 기반으로 상기 제1 사용자가 상기 적어도 하나의 태권도 평가 대상 동작 중 적어도 일부를 수행하였는지 판단하도록 실행되고,
상기 태권도 수행 동작 및 상기 적어도 하나의 태권도 평가 대상 동작을 기반으로 상기 적어도 하나의 태권도 평가 대상 동작 각각에 대응되는 상기 제1 사용자의 동작 횟수를 결정하도록 실행되고,
상기 적어도 하나의 태권도 평가 대상 동작 각각에 대응되는 상기 제1 사용자의 동작 횟수 및 상기 복수의 태권도 동작들 중 상기 태권도 수행 동작에 대응되는 동작의 종류 정보를 기반으로 상기 제1 사용자의 사용 기술 다양성 정보를 판단하도록 실행되고,
상기 복수의 태권도 동작들 중 상기 태권도 수행 동작에 대응되는 동작의 종류 정보를 기반으로 상기 제1 사용자의 공격 동작의 수 및 상기 제1 사용자의 방어 동작의 수를 판단하도록 실행되고,
상기 공격 동작의 수 및 상기 방어 동작의 수를 기반으로 상기 제1 사용자의 공방 비율 정보를 결정하도록 실행되는, 전자 장치.In an electronic device that performs a taekwondo sparring evaluation method according to a user's training level,
processor; and
Includes a memory (memory) for storing at least one instruction executed by the processor,
The at least one command,
Acquiring image information including a competition movement of a first user;
It is executed to derive skeleton information corresponding to the competition movement of the first user based on the image information;
Acquire first training level information of the first user;
At least one motion to be evaluated for Taekwondo among a plurality of Taekwondo motions is determined based on the first training level information;
It is executed to determine a Taekwondo performance performed by a first user among the plurality of Taekwondo motions based on the skeleton information,
It is executed to determine whether the first user has performed at least some of the at least one Taekwondo evaluation target motion based on the Taekwondo performance motion and the at least one Taekwondo evaluation target motion,
Determine the number of motions of the first user corresponding to each of the at least one Taekwondo evaluation subject motion based on the Taekwondo performance motion and the at least one Taekwondo evaluation subject motion;
Based on the number of motions of the first user corresponding to each of the at least one Taekwondo evaluation target motion and type information of motions corresponding to the Taekwondo performing motions among the plurality of Taekwondo motions, diversity information of techniques used by the first user is executed to determine
Determines the number of attack movements of the first user and the number of defensive movements of the first user based on type information of movements corresponding to the Taekwondo performing movements among the plurality of Taekwondo movements;
and determine attack/defense ratio information of the first user based on the number of attack moves and the number of defense moves.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220128751A KR102510014B1 (en) | 2022-10-07 | 2022-10-07 | Method for evaluating taekwondo competition according to training level of user using artificial intelligence |
| KR1020230031243A KR20240049129A (en) | 2022-10-07 | 2023-03-09 | Method and apparatus for evaluating multiple criteria using artificial intelligence in taekwondo competition |
| PCT/KR2023/011209 WO2024075958A1 (en) | 2022-10-07 | 2023-08-01 | Taekwondo sparring evaluation method according to user training level using artificial intelligence |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220128751A KR102510014B1 (en) | 2022-10-07 | 2022-10-07 | Method for evaluating taekwondo competition according to training level of user using artificial intelligence |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230031243A Division KR20240049129A (en) | 2022-10-07 | 2023-03-09 | Method and apparatus for evaluating multiple criteria using artificial intelligence in taekwondo competition |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102510014B1 true KR102510014B1 (en) | 2023-03-15 |
Family
ID=85512182
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220128751A KR102510014B1 (en) | 2022-10-07 | 2022-10-07 | Method for evaluating taekwondo competition according to training level of user using artificial intelligence |
| KR1020230031243A KR20240049129A (en) | 2022-10-07 | 2023-03-09 | Method and apparatus for evaluating multiple criteria using artificial intelligence in taekwondo competition |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020230031243A KR20240049129A (en) | 2022-10-07 | 2023-03-09 | Method and apparatus for evaluating multiple criteria using artificial intelligence in taekwondo competition |
Country Status (2)
| Country | Link |
|---|---|
| KR (2) | KR102510014B1 (en) |
| WO (1) | WO2024075958A1 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102619792B1 (en) * | 2023-05-19 | 2024-01-03 | 주식회사 에이아이비즈 | System and method for judging martial arts using image information based on artificial intelligence |
| WO2024075958A1 (en) * | 2022-10-07 | 2024-04-11 | 주식회사 에이아이태권도 | Taekwondo sparring evaluation method according to user training level using artificial intelligence |
| KR102670939B1 (en) * | 2023-07-12 | 2024-06-03 | 주식회사 에이아이비즈 | Sportrs posture evaluation system and method using sensor data |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160043297A (en) * | 2014-10-13 | 2016-04-21 | 주식회사 진스튜디오 | Real-time apparatus for analyzing taekwondo motion using kinect sensor and method thereof |
| KR20160100753A (en) | 2015-02-16 | 2016-08-24 | (주)콘텐츠비젼 | Taekwondo poomsae evaluation system and method using gesture recognition |
| KR20170119338A (en) * | 2016-04-18 | 2017-10-27 | (주)아이들 | Apparatus and Method for Processing of Exercise Information |
| KR102381907B1 (en) * | 2021-09-23 | 2022-04-04 | 최중구 | Curriculum-based learning aid method and device for Taekwondo movement |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9981193B2 (en) * | 2009-10-27 | 2018-05-29 | Harmonix Music Systems, Inc. | Movement based recognition and evaluation |
| KR102510014B1 (en) * | 2022-10-07 | 2023-03-15 | 주식회사 에이아이태권도 | Method for evaluating taekwondo competition according to training level of user using artificial intelligence |
-
2022
- 2022-10-07 KR KR1020220128751A patent/KR102510014B1/en active IP Right Grant
-
2023
- 2023-03-09 KR KR1020230031243A patent/KR20240049129A/en unknown
- 2023-08-01 WO PCT/KR2023/011209 patent/WO2024075958A1/en unknown
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20160043297A (en) * | 2014-10-13 | 2016-04-21 | 주식회사 진스튜디오 | Real-time apparatus for analyzing taekwondo motion using kinect sensor and method thereof |
| KR20160100753A (en) | 2015-02-16 | 2016-08-24 | (주)콘텐츠비젼 | Taekwondo poomsae evaluation system and method using gesture recognition |
| KR20170119338A (en) * | 2016-04-18 | 2017-10-27 | (주)아이들 | Apparatus and Method for Processing of Exercise Information |
| KR102381907B1 (en) * | 2021-09-23 | 2022-04-04 | 최중구 | Curriculum-based learning aid method and device for Taekwondo movement |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024075958A1 (en) * | 2022-10-07 | 2024-04-11 | 주식회사 에이아이태권도 | Taekwondo sparring evaluation method according to user training level using artificial intelligence |
| KR102619792B1 (en) * | 2023-05-19 | 2024-01-03 | 주식회사 에이아이비즈 | System and method for judging martial arts using image information based on artificial intelligence |
| KR102670939B1 (en) * | 2023-07-12 | 2024-06-03 | 주식회사 에이아이비즈 | Sportrs posture evaluation system and method using sensor data |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2024075958A1 (en) | 2024-04-11 |
| KR20240049129A (en) | 2024-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102510014B1 (en) | Method for evaluating taekwondo competition according to training level of user using artificial intelligence | |
| KR102486337B1 (en) | Method and apparatus for determination of hitting values in taekwondo competition using artificial intelligence | |
| US20180322337A1 (en) | Systems and methods for determining reduced player performance in sporting events | |
| KR102265914B1 (en) | Tennis autonomous training system | |
| US7988555B2 (en) | Method and device for controlling a motion-sequence within a simulated game or sports event | |
| CN108694466A (en) | The recommendation method and device of path of the stroke | |
| WO2020010040A1 (en) | Systems and methods for determining reduced player performance in sporting events | |
| US20230330485A1 (en) | Personalizing Prediction of Performance using Data and Body-Pose for Analysis of Sporting Performance | |
| KR101346211B1 (en) | Cyber-physical game | |
| TWI772624B (en) | Game system, game control apparatus, computer program product, and game control method | |
| WO2022057795A1 (en) | Motion recognition method and apparatus, terminal device, and sport monitoring system | |
| JP7510290B2 (en) | Game program and game method | |
| KR102548933B1 (en) | Method and apparatus for providing customized curriculum according to result of taekwondo competition using artificial intelligence | |
| Huang et al. | Analysis Technology of Tennis Sports Match Based on Data Mining and Image Feature Retrieval | |
| KR102630828B1 (en) | Method and apparatus for evaluating taekwondo group poomsae movement using artificial intelligence | |
| CN113111683B (en) | Serve violation posture recognition platform and method | |
| KR20210115465A (en) | Artificial intelligence smart table tennis system and operation method | |
| KR102619792B1 (en) | System and method for judging martial arts using image information based on artificial intelligence | |
| JP6278998B2 (en) | GAME METHOD AND GAME PROGRAM | |
| KR102182173B1 (en) | Automatic Table Tennis Score Counting Method And System Using Wearable Devices And Smartphones | |
| WO2024151965A1 (en) | Systems and methods for monitoring players in dispersed athletic games | |
| WO2017143814A1 (en) | Method, device and system for ball game data statistics, smart basketball and wrist band | |
| EP4325443A1 (en) | Data processing apparatus and method | |
| EP4325448A1 (en) | Data processing apparatus and method | |
| US11954258B1 (en) | Rendering AI-based haptic feedback with recommendations in a VR environment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A107 | Divisional application of patent | ||
| GRNT | Written decision to grant |