KR20200088562A

KR20200088562A - Method and system for analyzing motion and muscular strength using deep learning

Info

Publication number: KR20200088562A
Application number: KR1020190004956A
Authority: KR
Inventors: 송병훈; 최호준
Original assignee: 주식회사 케이티
Priority date: 2019-01-15
Filing date: 2019-01-15
Publication date: 2020-07-23

Abstract

The present invention relates to a method for analyzing a motion and muscular strength using a neural network and a system thereof and, more specifically, to a method for analyzing a motion and muscular strength using a neural network and a system thereof, which can perform stereoscopic motion analysis and muscular strength analysis from one or more images taken of a motion of a user using a neural network like a deep neural network. The present invention provides a method for analyzing a motion and muscular strength using a neural network which analyzes a motion of each physical body portion between joints of the user and muscular strength in accordance therewith. The method comprises: a stereoscopic motion data producing step of producing stereoscopic motion data expressing a stereoscopic (three dimensional) motion of each physical body portion of the user in a first neural network by using one or more two dimensional images taken of the motion of the user; and a muscular strength data producing step of receiving the stereoscopic data to produce the muscular strength data at each physical body portion according to the motion of the user in a second neural network.

Description

심층 신경망을 이용한 동작 및 근력 분석 방법 및 시스템{METHOD AND SYSTEM FOR ANALYZING MOTION AND MUSCULAR STRENGTH USING DEEP LEARNING}METHOD AND SYSTEM FOR ANALYZING MOTION AND MUSCULAR STRENGTH USING DEEP LEARNING}

본 발명은 신경망을 이용한 동작 및 근력 분석 방법 및 시스템에 관한 것으로서, 보다 구체적으로는 심층 신경망 등의 신경망을 이용하여 사용자의 동작을 촬영한 하나 이상의 영상으로부터 입체적인 동작 분석 및 근력 분석을 산출할 수 있는 신경망을 이용한 동작 및 근력 분석 방법 및 시스템에 관한 것이다.The present invention relates to a method and system for analyzing motion and muscle power using a neural network, and more specifically, to calculate a three-dimensional motion analysis and a muscle power analysis from one or more images of a user's motion using a neural network such as a deep neural network. It relates to a method and system for analyzing motion and strength using a neural network.

근래 들어 영상을 기반으로 사용자의 움직임을 인식하는 모션인식 기술은 운동 선수의 자세 분석 및 기록 시스템, 무인 감시 시스템 등에서 폭넓게 활용되고 있다. Recently, motion recognition technology that recognizes a user's movement based on an image has been widely used in an athlete's posture analysis and recording system, and an unmanned surveillance system.

보다 구체적으로, 도 1에서 볼 수 있는 바와 같이, 종래에는 카메라 등을 사용하여 운동 선수 등 사용자의 운동 동작 등을 촬영하여 자세 영상을 축적하고 축적된 자세 영상을 비교하여 자세 분석을 수행하거나, 나아가 운동 선수 등 사용자에게 근전도 센서 등 근력을 측정할 수 있는 센서를 부착하여 운동 동작 중의 근력을 측정하고 이를 바탕으로 상기 운동 동작에서의 근력 분석을 수행하는 정도에 그쳤다.More specifically, as can be seen in FIG. 1, conventionally, a camera or the like is used to photograph a user's movement, such as an athlete, to accumulate posture images and compare accumulated posture images to perform posture analysis or further A sensor capable of measuring muscle strength, such as an electromyography sensor, is attached to an athlete, such as an athlete, to measure muscle strength during an exercise, and based on this, only analyzes the strength in the exercise.

그런데, 위와 같은 방식에서는 운동 선수 등 사용자에 대한 자세 분석을 수행함에 있어서, 축적된 여러 자세 영상을 분석자가 육안으로 비교 분석하는 정도에 그쳐 객관적이고 정확한 분석 결과를 도출하기에 부족했으며, 특히 근력 분석을 위해서는 근력 센서를 부착한 상태에서 운동 동작을 수행하여야 하므로 제한된 공간 및 시간에서만 근력 분석이 가능하다는 제약이 따랐다.However, in the above method, in performing the posture analysis for the user such as an athlete, it was insufficient to derive an objective and accurate analysis result by analyzing and analyzing the accumulated posture images with the naked eye. In order to do this, the exercise must be performed while the muscle strength sensor is attached, so there is a limitation that muscle strength analysis is possible only in limited space and time.

이에 따라, 카메라 등을 사용하여 사용자의 동작을 촬영함으로써 사용자의 동작 분석을 정확하고 신속하게 수행할 수 있을 뿐만 아니라, 근력 분석도 수행할 수 있는 방안에 요구가 있으나, 아직 이에 대한 적절한 해법이 제시되지 못하고 있다.Accordingly, there is a need for a method capable of accurately and quickly performing user's motion analysis by photographing the user's motion using a camera or the like, as well as a method for performing muscle strength analysis, but an appropriate solution is still proposed. It is not.

대한민국 등록특허 제 10-1826268호(2018년 2월 6일 공고)Republic of Korea Registered Patent No. 10-1826268 (announced on February 6, 2018)

본 발명은 상기와 같은 종래 기술의 문제점을 해결하기 위해 창안된 것으로, 카메라 등을 사용하여 사용자의 동작을 촬영함으로써 사용자의 동작 분석을 정확하고 신속하게 수행할 수 있을 뿐만 아니라, 근력 분석도 수행할 수 있는 동작 및 근력 분석 방법 및 시스템을 제공하는 것을 목적으로 한다.The present invention was created to solve the problems of the prior art as described above, and it is possible to accurately and quickly perform a user's motion analysis by photographing a user's motion using a camera or the like, and also perform muscle strength analysis. An object of the present invention is to provide a method and system for analyzing motion and strength.

그 외 본 발명의 세부적인 목적은 아래에 기재되는 구체적인 내용을 통하여 이 기술 분야의 전문가나 연구자에게 자명하게 파악되고 이해될 수 있을 것이다.Other detailed objects of the present invention will be clearly understood and understood by experts or researchers in this technical field through specific contents described below.

상기 과제를 해결하기 위한 본 발명의 한 측면에 따른 신경망을 이용한 동작 및 근력 분석 방법은, 사용자의 관절 사이 각 신체부위의 움직임과 그에 따른 근력을 분석하는 동작 및 근력 분석 방법으로서, 상기 사용자의 동작을 촬영한 하나 이상의 2D 영상을 이용하여, 제1 신경망에서 상기 사용자의 각 신체부위의 입체적(3D) 움직임을 나타내는 입체 동작 데이터를 산출하는 입체 동작 데이터 산출 단계; 및 제2 신경망에서 상기 입체 동작 데이터를 입력 받아 상기 사용자의 동작에 따른 각 신체부위에서의 근력 데이터를 산출하는 근력 데이터 산출 단계;를 포함하는 것을 특징으로 한다.Motion and muscle strength analysis method using a neural network according to an aspect of the present invention for solving the above problems is a motion and muscle strength analysis method for analyzing the movement of each body part between the user's joints and the resulting muscle strength, the user's motion A three-dimensional motion data calculation step of calculating three-dimensional motion data representing three-dimensional (3D) motion of each body part of the user in a first neural network using one or more 2D images photographed with; And a muscle power data calculation step of receiving the stereoscopic motion data from a second neural network and calculating muscle power data at each body part according to the user's motion.

이때, 상기 입체 동작 데이터 산출 단계에서는, 서로 다른 각도에서 상기 사용자의 동작을 촬영한 복수의 2D 영상을 이용하여 상기 입체 동작 데이터를 산출할 수 있다.At this time, in the three-dimensional motion data calculation step, the three-dimensional motion data may be calculated using a plurality of 2D images captured by the user from different angles.

여기서, 상기 입체 동작 데이터 산출 단계는, 상기 복수의 2D 영상 각각에 대하여 상기 사용자의 관절의 2D 영상에서의 위치를 나타내는 관절 2D 위치 데이터를 산출하는 관절 2D 위치 데이터 산출 단계; 상기 관절 2D 위치 데이터를 이용하여 상기 사용자의 관절의 입체적인(3D) 위치를 나타내는 관절 입체 위치 데이터를 산출하는 관절 입체 위치 데이터 산출 단계; 상기 관절 입체 위치 데이터를 이용하여 상기 각 신체부위의 입체 위치 데이터를 산출하는 신체부위 입체 위치 데이터 산출 단계; 및 상기 제1 신경망이 상기 신체부위 입체 위치 데이터를 이용하여 상기 입체 동작 데이터를 연산하는 입체 동작 데이터 연산 단계;를 포함할 수 있다.Here, the three-dimensional motion data calculation step, for each of the plurality of 2D image joint 2D position data calculation step of calculating the joint 2D position data indicating the position in the 2D image of the user's joint; A joint stereoscopic position data calculation step of calculating joint stereoscopic position data representing a stereoscopic (3D) position of the user's joint using the joint 2D position data; A body part stereoscopic position data calculating step of calculating stereoscopic position data of each body part using the joint stereoscopic position data; And a stereoscopic motion data calculation step in which the first neural network calculates the stereoscopic motion data using the body part stereoscopic position data.

나아가, 상기 관절 입체 위치 데이터 산출 단계에서는, 상기 복수의 카메라의 위치를 고려하여 상기 복수의 영상에서의 관절 2D 위치 데이터에 대한 연산을 통해 상기 관절 입체 위치 데이터를 산출할 수 있다.Further, in the step of calculating the joint stereoscopic position data, the joint stereoscopic position data may be calculated by calculating the joint 2D position data in the plurality of images in consideration of the positions of the plurality of cameras.

또한, 상기 신체부위 입체 위치 데이터 산출 단계에서는, 상기 사용자의 각 신체부위의 예상 위치를 나타내는 신체부위 입체 위치 데이터를 산출하고, 상기 입체 동작 데이터 연산 단계에서는, 상기 제1 신경망을 이용하여 상기 신체부위 입체 위치 데이터를 상기 사용자의 실제 신체부위 위치로 매핑하는 연산을 통해 상기 입체 동작 데이터를 산출할 수 있다.In addition, in the step of calculating the body part stereoscopic position data, the body part stereoscopic position data indicating the expected position of each user's body part is calculated, and in the step of calculating the stereoscopic motion data, the body part is used by using the first neural network. The three-dimensional motion data may be calculated through an operation of mapping the three-dimensional position data to the actual body part position of the user.

또한, 상기 입체 동작 데이터 연산 단계에서, 상기 제1 신경망은 상기 사용자의 각 신체부위에 대응하여 개별적으로 구현된 복수의 신경망으로 이루어질 수 있다.In addition, in the three-dimensional motion data calculation step, the first neural network may be composed of a plurality of neural networks individually implemented corresponding to each body part of the user.

또한, 상기 제1 신경망은 단순 회귀 분석을 사용하는 회귀 신경망(Regression Neural Network)일 수 있다.In addition, the first neural network may be a regression neural network using simple regression analysis.

또한, 상기 근력 데이터 산출 단계에서, 상기 제2 신경망은 단일 신경망으로 구성되어 상기 각 신체부위에 대한 입체 동작 데이터를 입력 받아 상기 사용자의 동작에 따른 각 신체부위에서의 근력 데이터를 산출할 수 있다.In addition, in the step of calculating the muscle strength data, the second neural network may be composed of a single neural network, receive stereoscopic motion data for each body part, and calculate muscle power data in each body part according to the user's motion.

또한, 본 발명의 다른 측면에 따른 신경망을 이용한 동작 및 근력 분석 시스템은, 사용자의 관절 사이 각 신체부위의 움직임과 그에 따른 근력을 분석하는 동작 및 근력 분석 시스템으로서, 상기 사용자의 동작을 촬영한 하나 이상의 2D 영상을 이용하여, 제1 신경망에서 상기 사용자의 각 신체부위의 입체적(3D) 움직임을 나타내는 입체 동작 데이터를 산출하는 입체 동작 데이터 산출부; 및 제2 신경망에서 상기 입체 동작 데이터를 입력 받아 상기 사용자의 동작에 따른 각 신체부위에서의 근력 데이터를 산출하는 근력 데이터 산출부;를 포함하는 것을 특징으로 한다.In addition, the motion and muscle strength analysis system using a neural network according to another aspect of the present invention is a motion and muscle strength analysis system that analyzes the movement of each body part between the user's joints and the resulting muscle strength, and photographs the motion of the user A stereoscopic motion data calculator for calculating stereoscopic motion data representing three-dimensional (3D) motion of each user's body part in the first neural network using the above 2D image; And a muscle power data calculator configured to receive the stereoscopic motion data from a second neural network and calculate muscle power data at each body part according to the user's motion.

이에 따라, 본 발명의 일 실시예에 따른 신경망을 이용한 동작 및 근력 분석 방법 및 시스템에서는, 사용자의 동작을 촬영한 하나 이상의 2D 영상을 입력받아, 제1 신경망에서 사용자의 각 신체부위의 입체적(3D) 움직임을 나타내는 입체 동작 데이터를 산출하고, 제2 신경망에서 상기 입체 동작 데이터로부터 사용자의 동작에 따른 각 신체부위에서의 근력 데이터를 산출하도록 함으로써, 사용자의 각 신체부위의 동작을 정확하고 신속하게 분석할 수 있을 뿐만 아니라, 상기 각 신체부위에서의 근력 분석도 수행할 수 있게 된다.Accordingly, in the method and system for analyzing motion and strength using a neural network according to an embodiment of the present invention, one or more 2D images captured by a user's motion are received, and a stereoscopic (3D) of each body part of the user is performed in the first neural network. ) 3D motion data representing movement is calculated, and muscle power data in each body part according to the user's motion is calculated from the 3D motion data in the second neural network, thereby accurately and quickly analyzing the motion of each user's body parts. In addition, it is possible to perform muscle strength analysis in each of the body parts.

본 발명에 관한 이해를 돕기 위해 상세한 설명의 일부로 포함되는, 첨부도면은 본 발명에 대한 실시예를 제공하고, 상세한 설명과 함께 본 발명의 기술적 사상을 설명한다.
도 1은 종래 기술에 따른 동작 분석 및 근력 분석 기술을 설명하는 도면이다.
도 2는 본 발명의 일 실시예에 따른 신경망을 이용한 동작 및 근력 분석 방법의 순서도이다.
도 3은 본 발명의 일 실시예에 따른 신경망을 이용한 동작 및 근력 분석 시스템의 구성도이다.
도 4는 본 발명의 일 실시예에 따른 신경망을 이용한 동작 및 근력 분석 방법에서 입체 동작 데이터 산출 단계의 구체적인 순서도이다.
도 5는 본 발명의 일 실시예에 따른 신경망을 이용한 동작 및 근력 분석 방법에서 입체 동작 데이터를 산출하는 과정을 설명하는 도면이다.
도 6과 도 7은 본 발명의 일 실시예에 따른 신경망을 이용한 동작 및 근력 분석 방법의 동작을 설명하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 신경망을 이용한 동작 및 근력 분석 방법에서 제1 신경망의 구체적인 구성 및 동작을 설명하는 도면이다.
도 9는 본 발명의 일 실시예에 따른 신경망을 이용한 동작 및 근력 분석 방법에서 제2 신경망이 입체 동작 데이터를 입력 받아 근력 데이터를 산출하는 구성을 설명하는 도면이다.
도 10은 본 발명의 일 실시예에 따른 신경망을 이용한 동작 및 근력 분석 방법에서의 출력 결과물을 예시하는 도면이다.
도 11은 본 발명의 일 실시예에 따른 신경망을 이용한 동작 및 근력 분석 시스템의 구체적인 구성도이다.The accompanying drawings, which are included as part of the detailed description to aid understanding of the present invention, provide embodiments of the present invention and describe the technical spirit of the present invention together with the detailed description.
1 is a view for explaining a motion analysis and muscle strength analysis technology according to the prior art.
2 is a flowchart of a method of analyzing motion and strength using a neural network according to an embodiment of the present invention.
3 is a block diagram of a system for analyzing motion and strength using a neural network according to an embodiment of the present invention.
4 is a detailed flowchart of a step of calculating stereoscopic motion data in a method of analyzing motion and strength using a neural network according to an embodiment of the present invention.
5 is a view for explaining a process of calculating the stereoscopic motion data in the motion and muscle strength analysis method using a neural network according to an embodiment of the present invention.
6 and 7 are diagrams illustrating an operation using a neural network and an operation of a muscle strength analysis method according to an embodiment of the present invention.
8 is a view for explaining a specific configuration and operation of the first neural network in the method of analyzing motion and strength using a neural network according to an embodiment of the present invention.
9 is a view illustrating a configuration in which a second neural network receives stereoscopic motion data and calculates muscle power data in a method of analyzing motion and muscle power using a neural network according to an embodiment of the present invention.
10 is a diagram illustrating output results from a method for analyzing motion and strength using a neural network according to an embodiment of the present invention.
11 is a detailed configuration diagram of a motion and muscle strength analysis system using a neural network according to an embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 이하에서는 특정 실시예들을 첨부된 도면을 기초로 상세히 설명하고자 한다.The present invention can be applied to various conversions and can have various embodiments. Hereinafter, specific embodiments will be described in detail with reference to the accompanying drawings.

이하의 실시예는 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.The following examples are provided to aid in a comprehensive understanding of the methods, devices and/or systems described herein. However, this is only an example and the present invention is not limited thereto.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시 예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다. In describing the embodiments of the present invention, when it is determined that a detailed description of known technology related to the present invention may unnecessarily obscure the subject matter of the present invention, the detailed description will be omitted. In addition, terms to be described later are terms defined in consideration of functions in the present invention, which may vary according to a user's or operator's intention or practice. Therefore, the definition should be made based on the contents throughout this specification. The terminology used in the detailed description is only for describing embodiments of the present invention and should not be limiting. Unless expressly used otherwise, a singular form includes a plural form. In this description, expressions such as “including” or “equipment” are intended to indicate certain characteristics, numbers, steps, actions, elements, parts or combinations thereof, and one or more other than described. It should not be interpreted to exclude the presence or possibility of other characteristics, numbers, steps, actions, elements, or parts or combinations thereof.

또한, 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되는 것은 아니며, 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.Further, terms such as first and second may be used to describe various components, but the components are not limited by the terms, and the terms are used to distinguish one component from other components. Used only.

아래에서는, 본 발명의 일 실시예에 따른 신경망을 이용한 동작 및 근력 분석 방법 및 시스템에 대한 예시적인 실시 형태들을 첨부된 도면을 참조하여 차례로 설명한다.Hereinafter, exemplary embodiments of a method and system for analyzing motion and strength using a neural network according to an embodiment of the present invention will be sequentially described with reference to the accompanying drawings.

먼저, 도 2에서는 본 발명의 일 실시예에 따른 신경망을 이용한 동작 및 근력 분석 방법의 순서도가 도시되어 있다. 도 2에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 신경망을 이용한 동작 및 근력 분석 방법은, 사용자의 관절 사이 각 신체부위의 움직임과 그에 따른 근력을 분석하는 동작 및 근력 분석 방법에 있어서, 상기 사용자의 동작을 촬영한 하나 이상의 2D 영상을 이용하여, 제1 신경망에서 상기 사용자의 각 신체부위의 입체적(3D) 움직임을 나타내는 입체 동작 데이터를 산출하는 입체 동작 데이터 산출 단계(S110) 및 제2 신경망에서 상기 입체 동작 데이터를 입력 받아 상기 사용자의 동작에 따른 각 신체부위에서의 근력 데이터를 산출하는 근력 데이터 산출 단계(S120)를 포함하여 구성된다.First, FIG. 2 is a flowchart of a method of analyzing motion and strength using a neural network according to an embodiment of the present invention. As can be seen in Figure 2, the motion and muscle strength analysis method using a neural network according to an embodiment of the present invention, in the motion and muscle strength analysis method for analyzing the movement of each body part between the user's joints and the resulting muscle strength , Three-dimensional motion data calculation step (S110) and calculating three-dimensional motion data representing three-dimensional (3D) motion of each body part of the user in the first neural network using one or more 2D images of the user's motion taken (S110) It comprises a step (S120) of calculating the strength data in each body part according to the user's motion by receiving the three-dimensional motion data from the neural network.

여기서, 사용자의 신체부위는 여러 관절 사이의 부위를 이야기하며, 보다 구체적으로 사용자의 고관절과 무릎 관절 사이의 대퇴부, 무릎 관절과 발목 관절 사이의 정강이부, 손목 관절과 팔꿈치 관절 사이의 팔뚝부 등을 예시할 수 있다.Here, the user's body part refers to a region between several joints, and more specifically, the user's thigh between the hip joint and the knee joint, the shin between the knee joint and the ankle joint, and the forearm between the wrist joint and the elbow joint. Can be illustrated.

이때, 상기 입체 동작 데이터 산출 단계(S110)에서는, 서로 다른 각도에서 상기 사용자의 동작을 촬영한 복수의 2D 영상을 이용하여 상기 사용자에 대한 입체 동작 데이터를 산출하는 수 있다. 그러나, 본 발명이 반드시 이에 한정되는 것은 아니며, 하나의 2D 영상을 이용하거나, 이와 함께 추가 정보를 이용하는 등 여러 방법으로 상기 사용자의 각 신체부위의 입체적 움직임을 나타내는 입체 동작 데이터를 산출하는 것도 가능하다.At this time, in the three-dimensional motion data calculation step (S110), three-dimensional motion data for the user may be calculated using a plurality of 2D images of the user's motion from different angles. However, the present invention is not necessarily limited to this, and it is also possible to calculate stereoscopic motion data representing three-dimensional movement of each user's body part in various ways, such as using one 2D image or using additional information. .

이때, 보다 구체적으로, 상기 입체 동작 데이터 산출 단계(S110)는, 도 4에서 볼 수 있는 바와 같이, 상기 복수의 2D 영상 각각에 대하여 상기 사용자의 관절의 2D 영상에서의 위치를 나타내는 관절 2D 위치 데이터를 산출하는 관절 2D 위치 데이터 산출 단계(S111), 상기 관절 2D 위치 데이터를 이용하여 상기 사용자의 관절의 입체적인(3D) 위치를 나타내는 관절 입체 위치 데이터를 산출하는 관절 입체 위치 데이터 산출 단계(S112), 상기 관절 입체 위치 데이터를 이용하여 상기 각 신체부위의 입체 위치 데이터를 산출하는 신체부위 입체 위치 데이터 산출 단계(S113) 및 상기 제1 신경망이 상기 신체부위 입체 위치 데이터를 이용하여 상기 입체 동작 데이터를 연산하는 입체 동작 데이터 연산 단계(S114)를 포함할 수 있다.In this case, more specifically, the three-dimensional motion data calculation step (S110), as can be seen in Figure 4, for each of the plurality of 2D image joint 2D position data indicating the position in the 2D image of the user's joint The joint 2D position data calculation step (S111) for calculating the joint, the joint stereoscopic position data calculation step (S112) for calculating the joint stereoscopic position data representing the stereoscopic (3D) position of the user's joint using the joint 2D position data (S112), Body part three-dimensional position data calculation step (S113) of calculating the three-dimensional position data of each body part using the joint three-dimensional position data, and the first neural network calculates the three-dimensional motion data using the body part three-dimensional position data It may include a three-dimensional operation data operation step (S114).

여기서, 상기 관절 입체 위치 데이터 산출 단계(S112)에서는, 상기 복수의 카메라의 위치를 고려하여 상기 복수의 영상에서의 관절 2D 위치 데이터에 대한 연산을 통해 상기 관절 입체 위치 데이터를 산출할 수 있다.Here, in the step of calculating the joint stereoscopic position data (S112 ), the joint stereoscopic position data may be calculated by calculating the joint 2D position data in the plurality of images in consideration of the positions of the plurality of cameras.

또한, 상기 신체부위 입체 위치 데이터 산출 단계(S113)에서는 상기 사용자의 각 신체부위의 예상 위치를 나타내는 신체부위 입체 위치 데이터를 산출하고, 상기 입체 동작 데이터 연산 단계(S114)에서는 상기 제1 신경망을 이용하여 상기 신체부위 입체 위치 데이터를 상기 사용자의 실제 신체부위 위치로 매핑하는 연산을 통해 상기 입체 동작 데이터를 산출할 수 있다.In addition, in the step of calculating the three-dimensional position data of the body part (S113), the three-dimensional position data of the body part representing the expected position of each body part of the user is calculated, and in the step of calculating the three-dimensional motion data (S114), the first neural network is used. Thus, the three-dimensional motion data may be calculated through an operation of mapping the three-dimensional position data of the body part to the actual body part position of the user.

이에 따라, 본 발명의 일 실시예에 따른 동작 및 근력 분석 방법 및 시스템(10)에서는, 동작 및 근력 분석 장치(110)가 사용자의 동작을 촬영한 하나 이상의 2D 영상을 영상 입력 장치(120)로부터 입력받아, 제1 신경망에서 사용자의 각 신체부위의 입체적(3D) 움직임을 나타내는 입체 동작 데이터를 산출하고, 제2 신경망에서 상기 입체 동작 데이터로부터 사용자의 동작에 따른 각 신체부위에서의 근력 데이터를 산출하도록 함으로써, 사용자의 각 신체부위의 동작을 정확하고 신속하게 분석할 수 있을 뿐만 아니라, 상기 각 신체부위에서의 근력 분석도 수행할 수 있게 된다.Accordingly, in the motion and muscle strength analysis method and system 10 according to an embodiment of the present invention, the motion and muscle strength analysis device 110 receives one or more 2D images of the user's motion from the image input device 120. Received input, the first neural network calculates three-dimensional motion data representing three-dimensional (3D) motion of each body part of the user, and calculates muscle strength data in each body part according to the user's motion from the three-dimensional motion data in the second neural network. By doing so, it is possible not only to accurately and quickly analyze the motion of each user's body parts, but also to perform muscle strength analysis at each body part.

보다 구체적인 예를 들어, 본 발명의 일 실시예에 따른 동작 및 근력 분석 방법 및 시스템(10)은 야구, 골프, 테니스, 탁구 등 자세가 반복적이고 근력 조절이 결과에 큰 영향을 미치는 운동 선수들에 대한 관리를 위하여 사용될 수 있으나, 본 발명이 반드시 이에 한정되는 것은 아니며 운동 선수 이외에도 자세 교정 등 헬스케어나 의료 목적으로 사용하는 것도 가능하다.For a more specific example, the motion and muscle strength analysis method and system 10 according to an embodiment of the present invention are repeated for athletes whose postures such as baseball, golf, tennis, table tennis, etc. are repetitive and strength control has a great influence on the results. It can be used for management, but the present invention is not necessarily limited to this, and it is also possible to use for health care or medical purposes such as posture correction in addition to athletes.

또한, 도 3에서는 본 발명의 일 실시예에 따른 신경망을 이용한 동작 및 근력 분석 시스템(10)의 구성도가 예시되어 있다. 도 3에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 신경망을 이용한 동작 및 근력 분석 시스템(10)은, 동작 및 근력 분석 장치(110)와 하나 이상의 영상 입력 장치(120)를 포함하여 구성될 수 있으며, 이에 따라 상기 영상 입력 장치(120)는 사용자의 동작을 촬영한 2D 영상을 통신 네트워크(130)를 통해 상기 동작 및 근력 분석 장치(110)로 전달하여 사용자의 각 신체부위의 움직임과 그에 따른 근력을 분석하게 된다.In addition, FIG. 3 illustrates a configuration diagram of an operation and muscle strength analysis system 10 using a neural network according to an embodiment of the present invention. As can be seen in FIG. 3, the motion and muscle strength analysis system 10 using a neural network according to an embodiment of the present invention includes a motion and muscle strength analysis device 110 and one or more image input devices 120 According to this configuration, the image input device 120 transmits a 2D image of a user's motion to the motion and muscle strength analysis device 110 through the communication network 130 to move each user's body part. And the resulting muscle strength.

보다 구체적으로, 상기 영상 입력 장치(120)는 상기 사용자의 동작에 대한 2D(2 dimensional space) 평면 영상을 촬영하는 카메라 등의 영상 장비일 수 있으며, 또는 하나 이상의 영상 장비에서 촬영된 2D 영상을 전송받은 장치일 수도 있다. 예를 들어, 상기 영상 입력 장치(120)로서 카메라 등의 영상 장비를 사용하거나, 상기 카메라 등의 영상 장비로부터 2D 영상을 전송받은 퍼스널 컴퓨터(Personal Computer), 서버 등의 장치이거나, 나아가 상기 카메라 등의 영상 장비를 구비하는 스마트폰 등의 장치일 수도 있다.More specifically, the image input device 120 may be a video equipment such as a camera that photographs a 2D (2 dimensional space) plane image of the user's motion, or transmits a 2D image captured by one or more video equipment. It may be a device that has been received. For example, as the image input device 120, an image device such as a camera is used, or a device such as a personal computer, a server, or the like, which receives a 2D image from an image device such as the camera, or further, the camera, etc. It may be a device such as a smart phone having a video equipment.

이에 따라, 상기 영상 입력 장치(120)는 사용자의 동작을 촬영한 2D 영상을 통신 네트워크(130)를 통해 상기 동작 및 근력 분석 장치(110)로 전송하게 된다.Accordingly, the image input device 120 transmits a 2D image of a user's motion to the motion and strength analysis device 110 through the communication network 130.

이때, 상기 영상 입력 장치(120)와 동작 및 근력 분석 장치(110)를 연결하는 통신 네트워크(130)로서는 유선 네트워크와 무선 네트워크를 포함할 수 있으며, 구체적으로, 근거리 통신망 (LAN: Local Area Network), 도시권 통신망 (MAN: Metropolitan Area Network), 광역 통신망 (WAN: Wide Area Network) 등의 다양한 통신망을 포함할 수 있다. 또한, 상기 네트워크(130)는 공지의 월드 와이드 웹(WWW: World Wide Web)을 포함할 수도 있다. 그러나, 본 발명에 따른 통신 네트워크(130)는 상기 열거된 네트워크에 국한되지 않고, 공지의 무선 데이터 네트워크나 공지의 전화 네트워크 또는 공지의 유무선 텔레비전 네트워크를 적어도 일부로 포함할 수도 있다. 나아가, 상기 카메라 등의 영상 장비를 직접 동작 및 근력 분석 장치(110)로 연결하는 유선 케이블 등일 수도 있다.At this time, the communication network 130 connecting the video input device 120 and the motion and muscle strength analysis device 110 may include a wired network and a wireless network. Specifically, a local area network (LAN) , Metropolitan Area Network (MAN), Wide Area Network (WAN), and the like. In addition, the network 130 may include a known World Wide Web (WWW). However, the communication network 130 according to the present invention is not limited to the networks listed above, and may include at least a part of a known wireless data network, a known telephone network, or a known wired/wireless television network. Furthermore, it may be a wired cable connecting the video equipment such as the camera directly to the motion and strength analysis apparatus 110.

또한, 상기 동작 및 근력 분석 장치(110)에서는, 상기 사용자의 동작을 촬영한 하나 이상의 2D 영상을 입력받아, 제1 신경망에서 상기 사용자의 각 신체부위의 입체적(3D) 움직임을 나타내는 입체 동작 데이터를 산출한 후, 제2 신경망에서 상기 입체 동작 데이터로부터 상기 사용자의 동작에 따른 각 신체부위에서의 근력 데이터를 산출하게 된다. 이때, 상기 동작 및 근력 분석 장치(110)는 서버 등을 이용하여 구현될 수 있으며, 나아가 적용 어플리케이션에 따라서는 전용 장치로 구현되거나, 개인용 컴퓨터(PC)나 스마트폰 등을 이용하여 구현될 수도 있다.In addition, the motion and muscle strength analysis device 110 receives one or more 2D images of the motion of the user, and outputs three-dimensional motion data representing three-dimensional (3D) motion of each body part of the user in the first neural network. After calculation, the muscle power data at each body part according to the user's motion is calculated from the stereoscopic motion data in the second neural network. At this time, the motion and muscle strength analysis device 110 may be implemented using a server, etc. Further, depending on the application, it may be implemented as a dedicated device, or may be implemented using a personal computer (PC) or a smartphone. .

이하, 도 2 및 도 3을 참조하여 본 발명의 일 실시예에 따른 신경망을 이용한 동작 및 근력 분석 방법 및 시스템(10)을 각 구성별로 나누어 보다 자세하게 살핀다.Hereinafter, referring to FIGS. 2 and 3, a method and system 10 for analyzing motion and strength using a neural network according to an embodiment of the present invention are divided into components and examined in more detail.

먼저, 상기 입체 동작 데이터 산출 단계(S110)에서는, 상기 사용자의 동작을 촬영한 하나 이상의 2D 영상을 이용하여, 제1 신경망에서 상기 사용자의 각 신체부위의 입체적(3D) 움직임을 나타내는 입체 동작 데이터를 산출하게 된다.First, in the three-dimensional motion data calculation step (S110), three-dimensional motion data representing three-dimensional (3D) motion of each body part of the user in the first neural network is obtained by using one or more 2D images of the motion of the user. Will calculate.

이때, 상기 입체 동작 데이터 산출 단계(S110)에서는, 서로 다른 각도에서 상기 사용자의 동작을 촬영한 복수의 2D 영상을 이용하여 상기 입체 동작 데이터를 산출할 수 있다.At this time, in the three-dimensional motion data calculation step (S110), the three-dimensional motion data may be calculated using a plurality of 2D images captured by the user from different angles.

그런데, 본 발명이 반드시 이에 한정되는 것은 아니며, 하나의 카메라 에서 촬영된 2D 영상을 입력 받아 사용자에 대한 입체 동작 데이터를 산출할 수도 있다. 보다 구체적으로, 도 5에서 볼 수 있는 바와 같이, 하나의 카메라 에서 촬영된 2D 영상을 입력 받아 사용자의 2D 자세 데이터를 산출하고 심층 신경망 등을 거쳐 사용자의 각 신체부위의 입체적(3D) 움직임을 나타내는 입체 동작 데이터를 산출할 수도 있다.However, the present invention is not necessarily limited to this, and it is also possible to receive a 2D image captured by one camera and calculate stereoscopic motion data for a user. More specifically, as can be seen in FIG. 5, a 2D image photographed by one camera is input, the user's 2D posture data is calculated, and a three-dimensional (3D) movement of each body part of the user is displayed through a deep neural network or the like. It is also possible to calculate three-dimensional motion data.

그런데, 이러한 경우에는 은닉층이 다층으로 구현되면서 심층 신경망을 학습하기 위한 과정이 매우 오래 걸릴 수 있다. 예를 들어, 콘볼루션 네트워크(Convolution Neural Network, CNN) 등을 이용하여 상기 심층 신경망을 구현하는 경우 은닉층이 20층 이상으로 1200만개 이상의 파라미터를 가지게 되면서 이를 위한 학습 과정이 매우 길어지게 되는 어려움이 따를 수 있다.However, in this case, as the hidden layer is implemented in multiple layers, a process for learning a deep neural network may take a very long time. For example, when the deep neural network is implemented using a convolutional network (CNN), the hidden layer has more than 12 million parameters over 20 layers, and the learning process for this is very long. Can.

이에 대하여, 본 발명에서는 도 6에서 볼 수 있는 바와 같이, 서로 다른 각도에서 상기 사용자의 동작을 촬영한 복수의 2D 영상을 이용하여 상기 입체 동작 데이터를 산출하도록 함으로써 신경망의 학습을 신속하게 처리하면서도 사용자의 각 신체부위의 동작을 정확하게 분석할 수 있게 된다.On the other hand, in the present invention, as shown in FIG. 6, the user can process the learning of the neural network quickly by processing the learning of the neural network by using the plurality of 2D images captured by the user from different angles to calculate the three-dimensional motion data. It is possible to accurately analyze the motion of each body part of the.

보다 구체적으로 도 6에서 볼 수 있는 바와 같이, 서로 다른 각도에서 상기 사용자의 동작을 촬영한 복수의 2D 영상(S200) 각각에 대하여 상기 사용자의 관절의 2D 영상에서의 위치를 나타내는 관절 2D 위치 데이터를 산출한 후(S201), 상기 관절 2D 위치 데이터를 이용하여 상기 사용자의 관절의 입체적인(3D) 위치를 나타내는 관절 입체 위치 데이터를 산출하고 이로부터 상기 각 신체부위의 입체 위치 데이터를 산출하게 된다(S202). 이어서, 상기 사용자의 각 신체부위에 다한 입체 위치 데이터를 신경망으로 입력하여 상기 사용자의 자세 및 근력 분석을 수행하고(S203), 나아가 상기 분석 결과를 시각화하여 제공하게 된다(S204).More specifically, as can be seen in FIG. 6, for each of a plurality of 2D images S200 photographing the user's motion from different angles, joint 2D position data indicating a position in the 2D image of the user's joint is displayed. After calculating (S201), the joint stereoscopic position data representing the stereoscopic (3D) position of the user's joint is calculated using the joint 2D position data, and the stereoscopic position data of each body part is calculated therefrom (S202). ). Subsequently, the user's posture and muscle strength analysis is performed by inputting three-dimensional position data on each body part of the user into the neural network (S203), and further, the analysis result is visualized and provided (S204).

또한, 상기 입체 동작 데이터 산출 단계(S110)는, 도 4에서 볼 수 있는 바와 같이, 상기 복수의 2D 영상 각각에 대하여 상기 사용자의 관절의 2D 영상에서의 위치를 나타내는 관절 2D 위치 데이터를 산출하는 관절 2D 위치 데이터 산출 단계(S111), 상기 관절 2D 위치 데이터를 이용하여 상기 사용자의 관절의 입체적인(3D) 위치를 나타내는 관절 입체 위치 데이터를 산출하는 관절 입체 위치 데이터 산출 단계(S112), 상기 관절 입체 위치 데이터를 이용하여 상기 각 신체부위의 입체 위치 데이터를 산출하는 신체부위 입체 위치 데이터 산출 단계S(113) 및 상기 제1 신경망이 상기 신체부위 입체 위치 데이터를 이용하여 상기 입체 동작 데이터를 연산하는 입체 동작 데이터 연산 단계(S114)를 포함할 수 있다.In addition, the three-dimensional motion data calculation step (S110), as can be seen in Figure 4, for each of the plurality of 2D images joints for calculating the joint 2D position data indicating the position in the 2D image of the user's joint 2D position data calculation step (S111), using the joint 2D position data to calculate the joint stereoscopic position data representing the stereoscopic (3D) position of the user's joint (S112), the joint stereoscopic position calculation step (S112) Body part three-dimensional position data calculation step S (113) for calculating the three-dimensional position data of each body part using data, and three-dimensional motion in which the first neural network calculates the three-dimensional motion data using the body part three-dimensional position data It may include a data operation step (S114).

나아가, 상기 관절 입체 위치 데이터 산출 단계(S112)에서는, 상기 복수의 카메라의 위치를 고려하여 상기 복수의 영상에서의 관절 2D 위치 데이터에 대한 연산을 통해 상기 관절 입체 위치 데이터를 산출할 수 있다.Further, in the step of calculating the joint stereoscopic position data (S112 ), the joint stereoscopic position data may be calculated by calculating the joint 2D position data in the plurality of images in consideration of the positions of the plurality of cameras.

또한, 상기 신체부위 입체 위치 데이터 산출 단계(S113)에서는, 상기 사용자의 각 신체부위의 예상 위치를 나타내는 신체부위 입체 위치 데이터를 산출하고, 상기 입체 동작 데이터 연산 단계(S114)에서는, 상기 제1 신경망을 이용하여 상기 신체부위 입체 위치 데이터를 상기 사용자의 실제 신체부위 위치로 매핑하는 연산을 통해 상기 입체 동작 데이터를 산출할 수 있다.In addition, in the step of calculating the three-dimensional position data of the body part (S113), the three-dimensional position data of the body part representing the expected position of each body part of the user is calculated, and in the three-dimensional motion data calculation step (S114), the first neural network is performed. The three-dimensional motion data may be calculated through an operation of mapping the three-dimensional body part position data to the actual body part position of the user.

또한, 상기 입체 동작 데이터 연산 단계(S110)에서, 상기 제1 신경망은 상기 사용자의 각 신체부위에 대응하여 개별적으로 구현된 복수의 신경망으로 이루어질 수 있다,In addition, in the three-dimensional motion data calculation step (S110), the first neural network may be composed of a plurality of neural networks individually implemented corresponding to each body part of the user,

보다 구체적으로, 도 7을 참조하여 본 발명의 일 실시예에 따른 신경망을 이용한 동작 및 근력 분석 방법을 살펴보면 다음과 같다.More specifically, referring to FIG. 7, a method for analyzing motion and strength using a neural network according to an embodiment of the present invention will be described as follows.

먼저, 본 발명의 일 실시예에 따른 신경망을 이용한 동작 및 근력 분석 방법에서는 2대의 카메라를 이용하여 촬영된 영상을 입력 받을 수 있다(S300). 이때, 상기 영상은 미리 정해진 주기(예를 들어, 30fps)로 촬영되어 입력된다. First, in an operation and muscle strength analysis method using a neural network according to an embodiment of the present invention, an image photographed using two cameras may be input (S300 ). At this time, the image is captured and input at a predetermined period (for example, 30 fps).

이어서, 상기 관절 2D 위치 데이터 산출 단계(S111)에서는, 상기 복수의 2D 영상 각각에 대하여 상기 사용자의 관절의 2D 영상에서의 위치를 나타내는 관절 2D 위치 데이터를 산출하게 된다(도 7의 S301). 이때, 부분 신뢰 맵(Part Confidence Map) 방법 등을 이용하여 상기 사용자의 관절의 위치를 산출할 수 있다. 예를 들어, 도 7에서 볼 수 있는 바와 같이 사용자에 대하여 미리 정해진 81개 관절의 위치 데이터를 산출할 수 있다.Subsequently, in the step of calculating the joint 2D position data (S111 ), joint 2D position data indicating a position in the 2D image of the user's joint is calculated for each of the plurality of 2D images (S301 in FIG. 7 ). At this time, the position of the joint of the user may be calculated using a method such as a Part Confidence Map method. For example, as shown in FIG. 7, position data of 81 joints predetermined for a user may be calculated.

다음으로, 상기 관절 입체 위치 데이터 산출 단계(S112)에서는, 상기 관절 2D 위치 데이터를 이용하여 상기 사용자의 관절의 입체적인(3D) 위치를 나타내는 관절 입체 위치 데이터를 산출하게 된다.Next, in the step of calculating the joint stereoscopic position data (S112 ), the joint stereoscopic position data representing the stereoscopic (3D) position of the user's joint is calculated using the joint 2D positional data.

보다 구체적으로, 도 8을 참조하여 살펴보면, 2대의 카메라에서 촬영된 2D 영상에서 산출된 관절 2D 위치 데이터를 이용하여(도 8(a)), 상기 사용자의 관절의 입체적인(3D) 위치를 나타내는 관절 입체 위치 데이터(도 8(b)의 11, 12, 13)를 산출하게 된다(도 8(b)). 이때, 도 6에서와 같이 은닉층이 많은 심층 신경망을 사용하지 않고, 서로 다른 각도의 2대 카메라에서 촬영된 2개의 2D 영상을 이용하여 수치적인 연산을 통해 용이하게 상기 관절 입체 위치 데이터를 산출하는 것이 가능해 진다. More specifically, referring to FIG. 8, using joint 2D position data calculated from 2D images captured by two cameras (FIG. 8(a)), a joint representing a stereoscopic (3D) position of the user's joint The three-dimensional position data (11, 12, 13 of Fig. 8(b)) is calculated (Fig. 8(b)). At this time, it is easy to calculate the joint stereoscopic position data through numerical calculation using two 2D images captured by two cameras of different angles without using a deep neural network having many hidden layers as shown in FIG. 6. It becomes possible.

이어서, 상기 신체부위 입체 위치 데이터 산출 단계(S113)에서는, 상기 관절 입체 위치 데이터를 이용하여 상기 각 신체부위의 입체 위치 데이터를 산출하게 된다.Subsequently, in the step of calculating the three-dimensional position data of the body part (S113 ), the three-dimensional position data of each body part is calculated using the three-dimensional position data of the joint.

또한, 상기 입체 동작 데이터 연산 단계(S114)에서는, 상기 제1 신경망이 상기 신체부위 입체 위치 데이터를 이용하여 상기 입체 동작 데이터를 연산하게 된다.In addition, in the operation of calculating the three-dimensional motion data (S114 ), the first neural network calculates the three-dimensional motion data using the three-dimensional position data of the body part.

이때, 상기 신체부위 입체 위치 데이터 산출 단계(S113)에서, 상기 사용자의 각 신체부위의 예상 위치를 나타내는 신체부위 입체 위치 데이터를 산출한 후, 상기 입체 동작 데이터 연산 단계(S114)에서, 상기 제1 신경망을 이용하여 상기 신체부위 입체 위치 데이터를 상기 사용자의 실제 신체부위 위치로 매핑하는 연산을 통해 상기 입체 동작 데이터를 산출할 수 있다.At this time, in the body part stereoscopic position data calculation step (S113), after calculating the body part stereoscopic position data indicating the expected position of each user's body part, in the stereoscopic motion data calculation step (S114), the first The three-dimensional motion data may be calculated through an operation of mapping the three-dimensional position data of the body part to the actual body part position of the user using a neural network.

보다 구체적으로, 상기 신체부위 입체 위치 데이터 산출 단계(S113)에서는, 도 7에서 볼 수 있는 바와 같이, 2대의 카메라 영상을 동기화하고 3D 변환하여 보정되지 않은 모션 캡쳐(Mocap) 센서 및 근력 센서의 예상 위치 값을 계산한다(S302). 예를 들어, 도 8(b)에서 볼 수 있는 바와 같이, 관절 포인트 12(무릎 관절), 13(발목 관절)의 위치를 얻은 후 3등분하고, 사용자의 신체 구조 정보(부위의 두께 등)를 이용해 다리 근육의 초기 예상 위치를 계산할 수 있다. More specifically, in the step of calculating the three-dimensional position data of the body part (S113), as shown in FIG. 7, synchronization of two camera images and 3D conversion are performed to predict an uncorrected motion capture sensor and a muscle strength sensor. The position value is calculated (S302). For example, as can be seen in FIG. 8(b), after obtaining the positions of the joint points 12 (knee joint) and 13 (ankle joint), it is divided into three, and the user's body structure information (such as the thickness of the part) You can use it to calculate the initial predicted position of your leg muscles.

다음으로, 상기 예상 위치 값을 도 8의 (c)에 도시된 바와 같이 실제 위치 값으로 매핑하게 된다(S303). 이때, 상기 매핑 과정을 도 8(d)을 참조하여 보다 자세하게 살펴보면, 상기 매핑을 위한 제1 신경망의 파라미터 개수는 입력 3개 노드(초기 예상 위치값 x, y, z), 은닉층 3개 노드, 출력 3개 노드(모션 캡쳐 센서, 근력 센서가 부착되는 실제 위치 x, y, z) 및 80개 신체부위(81개의 관절에 대한 신체부위 숫자)의 수치를 모두 곱한 2,160개(= 3 x 3 x 3 x 80)이다. 이때, 상기 신체부위 별로 별개의 신경망을 가지게 되며, 이때 상기 1개 신경망 당 27개의 파라미터를 가질 수 있다. Next, the predicted position value is mapped to an actual position value as shown in FIG. 8(c) (S303). At this time, referring to the mapping process in more detail with reference to FIG. 8(d), the number of parameters of the first neural network for the mapping is 3 input nodes (initial estimated position values x, y, z), 3 hidden layers, 2,160 (= 3 x 3 x) multiplied by the values of all 3 output nodes (motion capture sensor, physical position x, y, z where the sensor is attached) and 80 body parts (number of body parts for 81 joints) 3 x 80). At this time, each body part has a separate neural network, and may have 27 parameters per one neural network.

또한, 상기 제1 신경망은 단순 회귀 분석을 사용하기 때문에 학습시간을 단축할 수 있게 된다(예를 들어, 앞서 1200만개의 파라미터와 비교하더라도 매우 적은 숫자의 파라미터임을 알 수 있다). 이에 따라, 상기 제1 신경망은 상기 모션 캡쳐(Mocap) 센서 및 근력 센서의 초기 예상 위치값을 상기 센서들이 부착되는 실제 위치값으로 매핑하게 된다.In addition, since the first neural network uses a simple regression analysis, the learning time can be shortened (for example, it can be seen that it is a very small number of parameters even if compared with 12 million parameters previously). Accordingly, the first neural network maps the initial predicted position values of the motion capture sensor and the muscle strength sensor to actual position values to which the sensors are attached.

또한, 상기 근력 데이터 산출 단계(S120)에서는, 제2 신경망에서 상기 입체 동작 데이터를 입력 받아 상기 사용자의 동작에 따른 각 신체부위에서의 근력 데이터를 산출하게 된다.In addition, in the step of calculating the muscle strength data (S120 ), the stereoscopic motion data is received from the second neural network to calculate muscle strength data at each body part according to the user's motion.

보다 구체적인 예를 들어, 도 7에서 볼 수 있는 바와 같이, 상기 80개 신체부위에 대한 입체 동작 데이터를 입력 받아 상기 제2 신경망에서는 상기 사용자의 동작에 따른 80개 신체부위에서의 근력 데이터를 산출하게 된다(S304).For a more specific example, as shown in FIG. 7, the stereoscopic motion data for the 80 body parts is received and the second neural network calculates muscle strength data in 80 body parts according to the user's motion. It becomes (S304).

보다 구체적으로, 도 9에서 볼 수 있는 바와 같이, 상기 제2 신경망은 상기 상기 80개 신체부위에 대한 입체 동작 데이터를 입력 받으며, 이때 80개 신체부위의 위치(x, y, z)를 받기 때문에 총 240개의 변수를 입력으로 받게 된다. 이어서, 상기 240개의 변수는 예를 들어 500, 300, 100개의 노드를 가진 각 은닉층을 통과하게 되고 최종 80개의 근력 데이터가 결과로 출력된다. 이때 상기 제2 신경망의 총 파라미터 개수는 240x500 + 500x300 + 300x100 + 100x80 = 308,000개가 된다. 상기 일련의 과정을 통해 2개의 영상을 입력받아 선수의 동작 분석 데이터 및 그에 따른 신체부위별 근력이 산출될 수 있다.More specifically, as can be seen in FIG. 9, the second neural network receives stereoscopic motion data for the 80 body parts, and at this time, since 80 body parts (x, y, z) are received, A total of 240 variables are received as input. Subsequently, the 240 variables pass through each hidden layer having, for example, 500, 300, and 100 nodes, and the final 80 muscle strength data is output as a result. At this time, the total number of parameters of the second neural network is 240x500 + 500x300 + 300x100 + 100x80 = 308,000. Through the series of processes, two images may be input and motion analysis data of the athlete and muscle strength for each body part may be calculated accordingly.

나아가, 본 발명의 일 실시예에 따른 신경망을 이용한 동작 및 근력 분석 방법에서는 학습을 통해 상기 제1 신경망과 제2 신경망을 생성할 수 있다. 이때, 상기 학습 과정에서는 도 7의 S306 및 S307을 통해 모션 캡쳐(Mocap) 센서를 통해 측정된 사용자의 신체부위별 입체(3D) 좌표 정보 데이터(80개 신체부위의 움직임을 나타내는 데이터)와 상기 각 신체부위의 움직임에 따라 근력 센서를 통해 측정된 각 신체부위에 대한 근력 데이터(80개)를 사용할 수 있다. 이때, 상기 모션 캡쳐(Mocap) 센서와 근력 센서를 사용해 측정된 데이터는 사용자의 움직임 동안 지속적으로 얻어지는 시계열 데이터가 된다. 위와 같이 얻어진 데이터는 학습 과정에서 정답 데이터로 사용된다. 이때, 상기 각 데이터는 미리 정해진 주기에 따라(30fps) 입력되는 영상의 주기를 낮춘 후(5fps), 각 프레임에 맞춰 동기화하여 데이터베이스에 저장될 수 있다.Furthermore, in the method for analyzing motion and strength using a neural network according to an embodiment of the present invention, the first neural network and the second neural network may be generated through learning. In this case, in the learning process, three-dimensional (3D) coordinate information data (data representing movement of 80 body parts) of each user's body part measured through a motion capture sensor through S306 and S307 of FIG. 7 and each According to the movement of the body part, muscle strength data (80 pieces) for each body part measured by the muscle strength sensor may be used. At this time, the data measured using the motion capture sensor and the muscle strength sensor becomes time series data continuously obtained during the user's movement. The data obtained as above is used as correct answer data in the learning process. At this time, the data may be stored in a database by synchronizing with each frame after lowering the period of the input image (5 fps) according to a predetermined period (30 fps).

이에 따라, 본 발명의 일 실시예에 따른 신경망을 이용한 동작 및 근력 분석 방법에서는, 도 10에서 볼 수 있는 바와 같이, 사용자의 각 신체부위의 움직임을 나타내는 일련의 입체 동작 데이터(도 10(a)) 및 상기 사용자의 동작에 따른 각 신체부위에서의 근력 데이터(도 10(b))를 산출할 수 있게 된다. 나아가, 본 발명에서 상기 학습데이터로서 특정 사용자에 대하여 측정된 데이터를 사용함으로써, 각 개별 사용자에 대하여 보다 정확한 동작 분석 및 근력 분석 결과를 도출할 수도 있게 된다.Accordingly, in the method for analyzing motion and strength using a neural network according to an embodiment of the present invention, as can be seen in FIG. 10, a series of three-dimensional motion data representing movement of each body part of the user (FIG. 10(a)) ) And muscle strength data (FIG. 10(b)) in each body part according to the user's motion. Furthermore, in the present invention, by using data measured for a specific user as the learning data, it is possible to derive more accurate motion analysis and muscle strength analysis results for each individual user.

또한, 도 11에서는 본 발명의 일 실시예에 따른 신경망을 이용한 동작 및 근력 분석 시스템(10)을 예시하고 있다. 도 11에서 볼 수 있는 바와 같이, 본 발명의 일 실시예에 따른 신경망을 이용한 동작 및 근력 분석 시스템(10)은, 사용자의 관절 사이 각 신체부위의 움직임과 그에 따른 근력을 분석하는 동작 및 근력 분석 시스템(10)으로서, 상기 사용자의 동작을 촬영한 하나 이상의 2D 영상을 이용하여, 제1 신경망에서 상기 사용자의 각 신체부위의 입체적(3D) 움직임을 나타내는 입체 동작 데이터를 산출하는 입체 동작 데이터 산출부(111) 및 제2 신경망에서 상기 입체 동작 데이터를 입력 받아 상기 사용자의 동작에 따른 각 신체부위에서의 근력 데이터를 산출하는 근력 데이터 산출부(112)를 포함하여 구성될 수 있다.In addition, FIG. 11 illustrates an operation and muscle strength analysis system 10 using a neural network according to an embodiment of the present invention. As can be seen in Figure 11, the motion and muscle strength analysis system 10 using a neural network according to an embodiment of the present invention, motion and muscle strength analysis to analyze the movement of each body part between the user's joints and the resulting muscle strength As a system 10, a three-dimensional motion data calculator that calculates three-dimensional motion data representing three-dimensional (3D) motion of each body part of the user in a first neural network using one or more 2D images of the user's motion It may be configured to include (111) and the muscle data calculation unit 112 for calculating the muscle data in each body part according to the user's motion by receiving the three-dimensional motion data from the second neural network.

이에 따라, 본 발명의 일 실시예에 따른 신경망을 이용한 동작 및 근력 분석 방법 및 시스템(10) 사용자의 동작을 촬영한 하나 이상의 2D 영상을 입력받아, 제1 신경망에서 사용자의 각 신체부위의 입체적(3D) 움직임을 나타내는 입체 동작 데이터를 산출하고, 제2 신경망에서 상기 입체 동작 데이터로부터 사용자의 동작에 따른 각 신체부위에서의 근력 데이터를 산출하도록 함으로써, 사용자의 각 신체부위의 동작을 정확하고 신속하게 분석할 수 있을 뿐만 아니라, 상기 각 신체부위에서의 근력 분석도 수행할 수 있게 된다.Accordingly, according to an embodiment of the present invention, a method and a system for analyzing muscles and muscles using a neural network 10 and receiving one or more 2D images of a user's motion are input, and a stereoscopic ( 3D) By calculating the three-dimensional motion data representing movement, and calculating the muscle strength data in each body part according to the user's motion from the three-dimensional motion data in the second neural network, the motion of each body part of the user is accurately and quickly In addition to analysis, it is also possible to perform muscle strength analysis in each of the body parts.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 발명에 기재된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의해서 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those skilled in the art to which the present invention pertains may make various modifications and variations without departing from the essential characteristics of the present invention. Therefore, the embodiments described in the present invention are not intended to limit the technical spirit of the present invention, but to explain, and are not limited to these embodiments. The scope of protection of the present invention should be interpreted by the claims below, and all technical spirits within the scope equivalent thereto should be interpreted as being included in the scope of the present invention.

10 : 동작 및 근력 분석 시스템
110 : 동작 및 근력 분석 장치
120, 120a, 120b : 영상 입력 장치
130 : 통신 네트워크10: motion and muscle strength analysis system
110: motion and strength analysis device
120, 120a, 120b: video input device
130: communication network

Claims

사용자의 관절 사이 각 신체부위의 움직임과 그에 따른 근력을 분석하는 동작 및 근력 분석 방법에 있어서,
상기 사용자의 동작을 촬영한 하나 이상의 2D 영상을 이용하여, 제1 신경망에서 상기 사용자의 각 신체부위의 입체적(3D) 움직임을 나타내는 입체 동작 데이터를 산출하는 입체 동작 데이터 산출 단계; 및
제2 신경망에서 상기 입체 동작 데이터를 입력 받아 상기 사용자의 동작에 따른 각 신체부위에서의 근력 데이터를 산출하는 근력 데이터 산출 단계;
를 포함하는 것을 특징으로 하는 신경망을 이용한 동작 및 근력 분석 방법.In the movement and muscle strength analysis method for analyzing the movement of each body part between the user's joints and the resulting muscle strength,
A three-dimensional motion data calculation step of calculating three-dimensional motion data representing three-dimensional (3D) motion of each body part of the user in a first neural network using one or more 2D images of the user's motion; And
A muscle power data calculating step of receiving the stereoscopic motion data from a second neural network and calculating muscle power data in each body part according to the user's motion;
Method for analyzing motion and strength using a neural network, comprising a.

제1항에 있어서,
상기 입체 동작 데이터 산출 단계에서는,
서로 다른 각도에서 상기 사용자의 동작을 촬영한 복수의 2D 영상을 이용하여 상기 입체 동작 데이터를 산출하는 것을 특징으로 하는 신경망을 이용한 동작 및 근력 분석 방법.According to claim 1,
In the three-dimensional motion data calculation step,
Method for analyzing motion and strength using a neural network, characterized in that the three-dimensional motion data is calculated using a plurality of 2D images of the user's motion from different angles.

제2항에 있어서,
상기 입체 동작 데이터 산출 단계는,
상기 복수의 2D 영상 각각에 대하여 상기 사용자의 관절의 2D 영상에서의 위치를 나타내는 관절 2D 위치 데이터를 산출하는 관절 2D 위치 데이터 산출 단계;
상기 관절 2D 위치 데이터를 이용하여 상기 사용자의 관절의 입체적인(3D) 위치를 나타내는 관절 입체 위치 데이터를 산출하는 관절 입체 위치 데이터 산출 단계;
상기 관절 입체 위치 데이터를 이용하여 상기 각 신체부위의 입체 위치 데이터를 산출하는 신체부위 입체 위치 데이터 산출 단계; 및
상기 제1 신경망이 상기 신체부위 입체 위치 데이터를 이용하여 상기 입체 동작 데이터를 연산하는 입체 동작 데이터 연산 단계;
를 포함하는 것을 특징으로 하는 신경망을 이용한 동작 및 근력 분석 방법.According to claim 2,
The three-dimensional motion data calculation step,
A joint 2D position data calculation step of calculating joint 2D position data indicating a position in a 2D image of the user's joint for each of the plurality of 2D images;
A joint stereoscopic position data calculation step of calculating joint stereoscopic position data representing a stereoscopic (3D) position of the user's joint using the joint 2D position data;
A body part stereoscopic position data calculating step of calculating stereoscopic position data of each body part using the joint stereoscopic position data; And
A three-dimensional motion data calculation step in which the first neural network calculates the three-dimensional motion data using the three-dimensional position data of the body part;
Method for analyzing motion and strength using a neural network, comprising a.

제3항에 있어서,
상기 관절 입체 위치 데이터 산출 단계에서는,
상기 복수의 카메라의 위치를 고려하여 상기 복수의 영상에서의 관절 2D 위치 데이터에 대한 연산을 통해 상기 관절 입체 위치 데이터를 산출하는 것을 특징으로 하는 신경망을 이용한 동작 및 근력 분석 방법.According to claim 3,
In the step of calculating the joint stereoscopic position data,
A motion and muscle strength analysis method using a neural network, characterized in that the joint stereoscopic position data is calculated by calculating the joint 2D position data in the plurality of images in consideration of the positions of the plurality of cameras.

제3항에 있어서,
상기 신체부위 입체 위치 데이터 산출 단계에서는,
상기 사용자의 각 신체부위의 예상 위치를 나타내는 신체부위 입체 위치 데이터를 산출하고,
상기 입체 동작 데이터 연산 단계에서는,
상기 제1 신경망을 이용하여 상기 신체부위 입체 위치 데이터를 상기 사용자의 실제 신체부위 위치로 매핑하는 연산을 통해 상기 입체 동작 데이터를 산출하는 것을 특징으로 하는 신경망을 이용한 동작 및 근력 분석 방법.According to claim 3,
In the step of calculating the three-dimensional position data of the body part,
Calculating body part stereoscopic position data representing the expected position of each user's body part,
In the three-dimensional motion data calculation step,
A motion and muscle strength analysis method using a neural network, characterized in that the three-dimensional motion data is calculated through an operation of mapping the three-dimensional body part position data to the actual body part position of the user using the first neural network.

제3항에 있어서,
상기 입체 동작 데이터 연산 단계에서,
상기 제1 신경망은 상기 사용자의 각 신체부위에 대응하여 개별적으로 구현된 복수의 신경망으로 이루어지는 것을 특징으로 하는 신경망을 이용한 동작 및 근력 분석 방법.According to claim 3,
In the three-dimensional motion data calculation step,
The first neural network is a method for analyzing motion and strength using a neural network, characterized in that it comprises a plurality of neural networks that are individually implemented in correspondence to each body part of the user.

제3항에 있어서,
상기 제1 신경망은 단순 회귀 분석을 사용하는 회귀 신경망(Regression Neural Network)인 것을 특징으로 하는 신경망을 이용한 동작 및 근력 분석 방법.According to claim 3,
The first neural network is a regression neural network using a simple regression analysis.

제1항에 있어서,
상기 근력 데이터 산출 단계에서,
상기 제2 신경망은 단일 신경망으로 구성되어 상기 각 신체부위에 대한 입체 동작 데이터를 입력 받아 상기 사용자의 동작에 따른 각 신체부위에서의 근력 데이터를 산출하는 것을 특징으로 하는 신경망을 이용한 동작 및 근력 분석 방법.According to claim 1,
In the step of calculating the muscle strength data,
The second neural network is composed of a single neural network, and inputs three-dimensional motion data for each body part, and calculates muscle power data for each body part according to the user's motion. .

사용자의 관절 사이 각 신체부위의 움직임과 그에 따른 근력을 분석하는 동작 및 근력 분석 시스템에 있어서,
상기 사용자의 동작을 촬영한 하나 이상의 2D 영상을 이용하여, 제1 신경망에서 상기 사용자의 각 신체부위의 입체적(3D) 움직임을 나타내는 입체 동작 데이터를 산출하는 입체 동작 데이터 산출부; 및
제2 신경망에서 상기 입체 동작 데이터를 입력 받아 상기 사용자의 동작에 따른 각 신체부위에서의 근력 데이터를 산출하는 근력 데이터 산출부;
를 포함하는 것을 특징으로 하는 신경망을 이용한 동작 및 근력 분석 시스템.In the motion and muscle strength analysis system for analyzing the movement of each body part between the user's joints and muscle strength accordingly,
A three-dimensional motion data calculator for calculating three-dimensional motion data representing three-dimensional (3D) motion of each body part of the user in a first neural network using one or more 2D images of the user's motion; And
A muscle power data calculator configured to receive the three-dimensional motion data from a second neural network and calculate muscle power data at each body part according to the user's motion;
Motion and muscle strength analysis system using a neural network comprising a.