KR102163240B1 - Method and apparatus for providing exercise information based on video data and sensing data - Google Patents

Method and apparatus for providing exercise information based on video data and sensing data Download PDF

Info

Publication number
KR102163240B1
KR102163240B1 KR1020190003690A KR20190003690A KR102163240B1 KR 102163240 B1 KR102163240 B1 KR 102163240B1 KR 1020190003690 A KR1020190003690 A KR 1020190003690A KR 20190003690 A KR20190003690 A KR 20190003690A KR 102163240 B1 KR102163240 B1 KR 102163240B1
Authority
KR
South Korea
Prior art keywords
data
information
exercise
accumulated
sensing
Prior art date
Application number
KR1020190003690A
Other languages
Korean (ko)
Other versions
KR20200087436A (en
Inventor
김영석
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020190003690A priority Critical patent/KR102163240B1/en
Publication of KR20200087436A publication Critical patent/KR20200087436A/en
Application granted granted Critical
Publication of KR102163240B1 publication Critical patent/KR102163240B1/en

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B71/0619—Displays, user interfaces and indicating devices, specially adapted for sport equipment, e.g. display mounted on treadmills
    • A63B71/0622—Visual, audio or audio-visual systems for entertaining, instructing or motivating the user
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
    • A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
    • A63B2071/0694—Visual indication, e.g. Indicia
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/10—Positions
    • A63B2220/12—Absolute positions, e.g. by using GPS

Landscapes

  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Position Fixing By Use Of Radio Waves (AREA)
  • Navigation (AREA)

Abstract

사용자의 움직임에 따른 영상 데이터 및 센싱 데이터를 획득하는 단계, 센싱 데이터를 기초로 특성 데이터 매트릭스를 업데이트하는 단계, 특성 데이터 매트릭스를 기초로 누적 데이터 분포를 생성하는 단계 및 영상 데이터와 누적 데이터 분포를 포함하는 사용자의 운동 정보를 디스플레이하는 단계를 포함하는 영상 데이터 및 센싱 데이터에 기반한 운동 정보 제공 방법이 개시된다.Acquiring image data and sensing data according to the user's movement, updating a characteristic data matrix based on the sensing data, generating a cumulative data distribution based on the characteristic data matrix, and including image data and cumulative data distribution Disclosed is a method of providing exercise information based on image data and sensing data including the step of displaying exercise information of a user.

Figure R1020190003690
Figure R1020190003690

Description

영상 데이터 및 센싱 데이터에 기반한 운동 정보 제공 방법 및 장치{METHOD AND APPARATUS FOR PROVIDING EXERCISE INFORMATION BASED ON VIDEO DATA AND SENSING DATA}Method and device for providing exercise information based on image data and sensing data {METHOD AND APPARATUS FOR PROVIDING EXERCISE INFORMATION BASED ON VIDEO DATA AND SENSING DATA}

본 발명은 영상 데이터 및 센싱 데이터에 기반한 운동 정보 제공 방법 및 장치에 관한 것으로, 더욱 상세하게는 1인칭 영상 데이터 및 GPS-IMU(Global Positioning System-Inertial Measurement Unit) 센싱 데이터에 기반한 운동 정보 제공 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for providing exercise information based on image data and sensing data, and more particularly, a method for providing exercise information based on first person image data and GPS-IMU (Global Positioning System-Inertial Measurement Unit) sensing data, and It relates to the device.

고프로(gopro)와 같은 액션캠이 보편화됨에 따라 1인칭 영상의 촬영이 손쉬워졌으며, 스포츠 산업에서는 이를 이용하여 코치가 스포츠 선수의 입장에 몰입하여 스포츠 선수에게 도움을 주는 모니터링 방법으로서 이용되고 있다. As action cams such as gopro become more common, first-person video recording has become easier, and in the sports industry, coaches are immersed in the position of sports players and are used as a monitoring method to help sports players.

또한, 최근 스포츠 산업에서는 첨단 기술과 스포츠 과학의 융합이 활성화되고 있으며, 각종 센서를 통해 스포츠 선수로부터 데이터를 추출하여 스포츠 데이터를 분석하는 방법도 고도화되고 있다.In addition, in the recent sports industry, the convergence of cutting-edge technology and sports science is being activated, and methods of analyzing sports data by extracting data from sports players through various sensors are also being advanced.

다만, 현재 스포츠 데이터를 분석하는 방법은 그 결과가 데이터 전문가가 아닌 경우 결과를 이해하기 어려운 수준이다. 이에 따라, 이를 활용하고자 하는 스포츠 감독, 코치, 선수 및 일반인 등과 같은 데이터 비전문가들이 이용하기 어려운 문제점이 대두되었으며, 이러한 문제점을 해결하기 위해 쉽게 파악 가능하며 직관적으로 데이터 분석 결과를 활용할 수 있는 방법이 지속적으로 연구되고 있는 실정이다.However, the current method of analyzing sports data is difficult to understand if the result is not a data expert. Accordingly, there has been a problem that it is difficult to use data non-professionals such as sports coaches, coaches, athletes, and the general public who wish to utilize this problem, and to solve this problem, a method that can be easily grasped and intuitively utilizes the data analysis results continues. It is currently being studied.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 영상 데이터 및 센싱 데이터에 기반한 운동 정보 제공 방법을 제공하는 데 있다.An object of the present invention for solving the above problems is to provide a method of providing exercise information based on image data and sensing data.

상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은 영상 데이터 및 센싱 데이터에 기반한 운동 정보 제공 장치를 제공하는 데 있다.Another object of the present invention for solving the above problems is to provide an apparatus for providing exercise information based on image data and sensing data.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 운동 정보 제공 방법은, 사용자의 움직임에 따른 영상 데이터 및 센싱 데이터를 획득하는 단계, 센싱 데이터를 기초로 특성 데이터 매트릭스를 업데이트하는 단계, 특성 데이터 매트릭스를 기초로 누적 데이터 분포를 생성하는 단계 및 영상 데이터와 누적 데이터 분포를 포함하는 사용자의 운동 정보를 디스플레이하는 단계를 포함할 수 있다.A method of providing exercise information according to an embodiment of the present invention for achieving the above object includes: obtaining image data and sensing data according to a user's movement, updating a characteristic data matrix based on the sensing data, and characteristic data It may include generating a cumulative data distribution based on the matrix, and displaying exercise information of a user including image data and the cumulative data distribution.

여기서, 센싱 데이터는, GPS(Global Positioning System) 데이터 및 IMU(Inertial Measurement Unit) 데이터를 포함할 수 있다.Here, the sensing data may include Global Positioning System (GPS) data and Inertial Measurement Unit (IMU) data.

여기서, GPS 데이터 및 IMU 데이터를 전처리하여 통합 센싱 데이터를 생성하는 단계를 더 포함할 수 있다.Here, the step of generating integrated sensing data by pre-processing the GPS data and the IMU data may be further included.

여기서, 센싱 데이터를 기초로 특성 데이터 매트릭스를 업데이트하는 단계는, 누적 데이터 분포의 미리 설정된 영역 내의 센싱 데이터에 대응하는 좌표 정보를 획득하는 단계 및 센싱 데이터를 기초로 좌표 정보에 대응하는 특성 데이터 매트릭스의 값을 업데이트하는 단계를 포함할 수 있다.Here, the updating of the characteristic data matrix based on the sensing data includes acquiring coordinate information corresponding to the sensing data in a preset area of the accumulated data distribution, and the characteristic data matrix corresponding to the coordinate information based on the sensing data. It may include updating the value.

여기서, 센싱 데이터를 기초로 특성 데이터 매트릭스를 업데이트하는 단계는, 좌표와 일정한 거리 내에 위치하는 주변 좌표 정보를 획득하는 단계 및 좌표와 주변 좌표 간의 거리 정보 및 센싱 데이터를 기초로 주변 좌표 정보에 대응하는 특성 데이터 매트릭스의 값을 업데이트하는 단계를 더 포함할 수 있다.Here, the updating of the characteristic data matrix based on the sensing data includes obtaining information about the surrounding coordinates located within a certain distance from the coordinates, and corresponding to the surrounding coordinate information based on the distance information and sensing data between the coordinates and the surrounding coordinates. It may further include updating the value of the characteristic data matrix.

여기서, 영상 데이터와 누적 데이터 분포를 포함하는 사용자의 운동 정보를 디스플레이하는 단계는, 특성 데이터 매트릭스의 업데이트에 따라 누적되는 데이터의 수를 기초로 누적 데이터 분포 상에서 누적되는 데이터에 대응하는 위치의 색상을 조정하는 단계를 포함할 수 있다.Here, the displaying of the user's exercise information including the image data and the accumulated data distribution includes selecting a color of a location corresponding to the accumulated data on the accumulated data distribution based on the number of accumulated data according to the update of the characteristic data matrix. It may include the step of adjusting.

여기서, 누적 데이터 분포를 기초로 미리 설정된 테이블 상의 각 존에 포함되는 시간을 분석하여 사용자의 운동 강도 정보 및 피로도 정보를 추출하는 단계를 더 포함할 수 있다.Here, the step of extracting the user's exercise intensity information and fatigue level information by analyzing a time included in each zone on a preset table based on the accumulated data distribution may be further included.

여기서, 누적 데이터 분포를 기초로 사용자의 운동 부하 정보를 추출하는 단계를 더 포함할 수 있다.Here, the step of extracting the user's exercise load information based on the accumulated data distribution may be further included.

여기서, 영상 데이터와 누적 데이터 분포를 포함하는 사용자의 운동 정보를 디스플레이하는 단계는, 영상 데이터의 시각 정보 및 센싱 데이터의 시각 정보를 기초로 영상 데이터와 누적 데이터 분포를 동기화하는 단계를 포함할 수 있다.Here, the displaying of the user's exercise information including the image data and the accumulated data distribution may include synchronizing the image data and the accumulated data distribution based on the visual information of the image data and the visual information of the sensing data. .

상기 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 운동 정보 제공 장치는, 프로세서(processor) 및 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리(memory)를 포함하고, 적어도 하나의 명령은, 사용자의 움직임에 따른 영상 데이터 및 센싱 데이터를 획득하도록 실행되고, 센싱 데이터를 기초로 특성 데이터 매트릭스를 업데이트하도록 실행되고, 특성 데이터 매트릭스를 기초로 누적 데이터 분포를 생성하도록 실행되고, 영상 데이터와 누적 데이터 분포를 포함하는 사용자의 운동 정보를 디스플레이하도록 실행될 수 있다.An exercise information providing apparatus according to an embodiment of the present invention for achieving the other object includes a processor and a memory in which at least one instruction executed through the processor is stored, and at least one instruction is , Is executed to obtain image data and sensing data according to the user's movement, is executed to update the characteristic data matrix based on the sensing data, executed to generate a cumulative data distribution based on the characteristic data matrix, and accumulated with the image data It may be implemented to display exercise information of the user including the data distribution.

여기서, 상기 센싱 데이터는, GPS(Global Positioning System) 데이터 및 IMU(Inertial Measurement Unit) 데이터를 포함할 수 있다.Here, the sensing data may include Global Positioning System (GPS) data and Inertial Measurement Unit (IMU) data.

여기서, 적어도 하나의 명령은, GPS 데이터 및 IMU 데이터를 전처리하여 통합 센싱 데이터를 생성하도록 실행될 수 있다.Here, at least one command may be executed to generate integrated sensing data by preprocessing GPS data and IMU data.

여기서, 적어도 하나의 명령은, 누적 데이터 분포의 미리 설정된 영역 내의 센싱 데이터에 대응하는 좌표 정보를 획득하도록 실행되고, 센싱 데이터를 기초로 좌표 정보에 대응하는 특성 데이터 매트릭스의 값을 업데이트하도록 실행될 수 있다.Here, the at least one command may be executed to obtain coordinate information corresponding to sensing data in a preset area of the accumulated data distribution, and may be executed to update a value of a characteristic data matrix corresponding to the coordinate information based on the sensing data. .

여기서, 적어도 하나의 명령은, 좌표와 일정한 거리 내에 위치하는 주변 좌표 정보를 획득하도록 실행되고, 좌표와 주변 좌표 간의 거리 정보 및 센싱 데이터를 기초로 주변 좌표 정보에 대응하는 특성 데이터 매트릭스의 값을 업데이트하도록 실행될 수 있다.Here, at least one command is executed to obtain the coordinates and surrounding coordinate information located within a certain distance, and updates the value of the characteristic data matrix corresponding to the surrounding coordinate information based on the distance information and sensing data between the coordinates and the surrounding coordinates. Can be implemented to

여기서, 적어도 하나의 명령은, 특성 데이터 매트릭스의 업데이트에 따라 누적되는 데이터의 수를 기초로 누적 데이터 분포 상에서 누적되는 데이터에 대응하는 위치의 색상을 조정하도록 실행될 수 있다.Here, at least one command may be executed to adjust a color of a location corresponding to the accumulated data on the accumulated data distribution based on the number of accumulated data according to the update of the characteristic data matrix.

여기서, 적어도 하나의 명령은, 누적 데이터 분포를 기초로 미리 설정된 테이블 상의 각 존에 포함되는 시간을 분석하여 사용자의 운동 강도 정보 및 피로도 정보를 추출하도록 실행될 수 있다.Here, the at least one command may be executed to extract the user's exercise intensity information and fatigue level information by analyzing a time included in each zone on a preset table based on the accumulated data distribution.

여기서, 적어도 하나의 명령은, 누적 데이터 분포를 기초로 사용자의 운동 부하 정보를 추출하도록 실행될 수 있다.Here, the at least one command may be executed to extract the user's exercise load information based on the accumulated data distribution.

여기서, 적어도 하나의 명령은, 영상 데이터의 시각 정보 및 센싱 데이터의 시각 정보를 기초로 영상 데이터와 누적 데이터 분포를 동기화하도록 실행될 수 있다.Here, the at least one command may be executed to synchronize the image data and the accumulated data distribution based on the time information of the image data and the time information of the sensing data.

본 발명에 따르면, 영상 데이터와 센싱 데이터를 동시에 비교 분석하여 스포츠 코칭의 효율을 향상시킬 수 있다.According to the present invention, it is possible to improve the efficiency of sports coaching by comparing and analyzing image data and sensing data at the same time.

본 발명에 따르면, 영상 데이터와 센싱 데이터를 동시에 확인하여 데이터 관련 비전문가들이 직관적으로 데이터 분석 결과를 활용할 수 있다.According to the present invention, by simultaneously checking image data and sensing data, non-experts related to data can intuitively utilize the data analysis result.

도 1은 본 발명의 일 실시예에 따른 GPS-IMU 센서의 모습을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 GPS-IMU 센서의 센싱 데이터를 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 전처리 과정에 대한 프로그래밍 코드의 일부를 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 히트맵을 표시하는 프로그래밍 코드의 일부를 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 Cdata 매트릭스에 대한 프로그래밍 코드의 일부를 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 히트맵 UI를 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 운동 정보 제공 장치의 블록 구성도이다.
도 8은 본 발명의 일 실시예에 따른 운동 정보 제공 방법의 순서도이다.1 is a diagram showing a state of a GPS-IMU sensor according to an embodiment of the present invention.
2 is a diagram illustrating sensing data of a GPS-IMU sensor according to an embodiment of the present invention.
3 is a diagram illustrating a part of programming code for a pre-processing process according to an embodiment of the present invention.
4 is a diagram showing a part of programming code for displaying a heat map according to an embodiment of the present invention.
5 is a diagram illustrating a part of programming code for a Cdata matrix according to an embodiment of the present invention.
6 is a diagram showing a heat map UI according to an embodiment of the present invention.
7 is a block diagram of an exercise information providing apparatus according to an embodiment of the present invention.
8 is a flowchart of a method of providing exercise information according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. In the present invention, various modifications may be made and various embodiments may be provided, and specific embodiments will be illustrated in the drawings and described in detail in the detailed description. However, this is not intended to limit the present invention to a specific embodiment, it is to be understood to include all changes, equivalents, and substitutes included in the spirit and scope of the present invention. In describing each drawing, similar reference numerals have been used for similar elements.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. Terms such as first, second, A, and B may be used to describe various elements, but the elements should not be limited by the terms. These terms are used only for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, a first element may be referred to as a second element, and similarly, a second element may be referred to as a first element. The term "and/or" includes a combination of a plurality of related stated items or any of a plurality of related stated items.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. When a component is referred to as being "connected" or "connected" to another component, it is understood that it may be directly connected or connected to the other component, but other components may exist in the middle. Should be. On the other hand, when a component is referred to as being "directly connected" or "directly connected" to another component, it should be understood that there is no other component in the middle.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terms used in the present application are only used to describe specific embodiments, and are not intended to limit the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In the present application, terms such as "comprise" or "have" are intended to designate the presence of features, numbers, steps, actions, components, parts, or combinations thereof described in the specification, but one or more other features. It is to be understood that the presence or addition of elements or numbers, steps, actions, components, parts, or combinations thereof, does not preclude in advance.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless otherwise defined, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which the present invention belongs. Terms as defined in a commonly used dictionary should be interpreted as having a meaning consistent with the meaning in the context of the related technology, and should not be interpreted as an ideal or excessively formal meaning unless explicitly defined in this application. Does not.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다. 이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments of the present invention will be described in more detail with reference to the accompanying drawings. In describing the present invention, in order to facilitate an overall understanding, the same reference numerals are used for the same elements in the drawings, and duplicate descriptions for the same elements are omitted. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 GPS7-IMU 센서의 모습을 나타낸 도면이다.1 is a view showing a state of a GPS7-IMU sensor according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 운동 정보 제공 방법은 사용자의 움직임을 센서를 통해 측정한 센싱 데이터를 이용하며, 센싱 데이터는 GPS(Global Positioning System) 데이터 및 IMU(Inertial Measurement Unit) 데이터를 포함할 수 있다. An exercise information providing method according to an embodiment of the present invention uses sensing data obtained by measuring a user's movement through a sensor, and the sensing data may include Global Positioning System (GPS) data and Inertial Measurement Unit (IMU) data. have.

여기서, GPS는 위성에서 보내는 신호를 수신하여 사용자의 위치를 산출하는 시스템을 의미할 수 있으며, IMU는 물체의 속도, 방향, 중력 및 가속도 등을 측정하는 관성 측정 장치를 의미할 수 있다.Here, GPS may refer to a system that calculates a user's location by receiving a signal from a satellite, and IMU may refer to an inertial measurement device that measures the speed, direction, gravity, and acceleration of an object.

도 1을 참조하면, 검은 색의 박스 모양의 센서는 GPS 데이터 및 IMU 데이터를 함께 측정할 수 있는 GPS-IMU 센서 장치이며, 사용자의 신체 중 등에 부착 또는 탑재되어 사용자의 움직임에 대한 센싱 데이터를 획득할 수 있으나, 센서의 모양, 색상 및 부착되는 신체의 위치 등이 이에 한정되는 것은 아니다. 또한, GPS 데이터 및 IMU 데이터는 GPS 센서 장치 및 IMU 센서 장치를 통해 각각 획득될 수도 있으므로, 본 발명의 범위가 통합된 센서에 한정되는 것은 아니다.Referring to FIG. 1, the black box-shaped sensor is a GPS-IMU sensor device capable of measuring GPS data and IMU data together, and is attached or mounted on the back of the user's body to obtain sensing data on the user's movement. However, the shape, color, and location of a body to which the sensor is attached are not limited thereto. Further, since the GPS data and the IMU data may be obtained respectively through the GPS sensor device and the IMU sensor device, the scope of the present invention is not limited to the integrated sensor.

여기서, GPS 센서는 2.5 m 이내의 위치 오차, 0.1 m/s 이내의 속도 오차 및 10 Hz의 성능을 가질 수 있으며, IMU 센서는 ±16 g의 최대 가속 범위 및 ± 2000 엔의 각도 측정 속도의 성능을 가질 수 있으나, 이는 일 실시예이므로, 각 센서의 성능이 이에 한정되는 것은 아니다.Here, the GPS sensor can have a position error within 2.5 m, a speed error within 0.1 m/s, and a performance of 10 Hz, and the IMU sensor has a maximum acceleration range of ±16 g and an angular measurement speed of ± 2000 yen. However, since this is an exemplary embodiment, the performance of each sensor is not limited thereto.

도 2는 본 발명의 일 실시예에 따른 GPS-IMU 센서의 센싱 데이터를 나타낸 도면이다.2 is a diagram illustrating sensing data of a GPS-IMU sensor according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 GPS-IMU 센서는 실시간으로 사용자의 움직임을 측정할 수 있으며, 측정한 GPS 데이터 및 IMU 데이터를 운동 정보 제공 장치로 송신할 수 있다.The GPS-IMU sensor according to an embodiment of the present invention may measure a user's movement in real time, and transmit the measured GPS data and IMU data to an exercise information providing device.

GPS 데이터 및 IMU 데이터는 각각 텍스트 파일로 나타날 수 있다. 여기서, GPS 데이터는 측정 시각 정보, 위도 정보, 경도 정보 및 속도 정보(m/s) 중 적어도 하나를 순서대로 포함할 수 있으며, IMU 데이터는 측정 시각 정보, x축 가속도 정보, x축 각속도 정보, y축 가속도 정보, y축 각속도 정보, z축 가속도 정보 및 z축 각속도 정보 중 적어도 하나를 순서대로 포함할 수 있으나, 이에 한정되는 것은 아니다. 여기서, 각 정보의 기준은 통상의 기준에 따를 수 있으나, 미리 설정될 수도 있다.The GPS data and IMU data can each be displayed as a text file. Here, the GPS data may include at least one of measurement time information, latitude information, longitude information, and speed information (m/s) in order, and the IMU data includes measurement time information, x-axis acceleration information, x-axis angular velocity information, At least one of y-axis acceleration information, y-axis angular velocity information, z-axis acceleration information, and z-axis angular velocity information may be included in order, but is not limited thereto. Here, the standard of each information may follow a conventional standard, but may be set in advance.

도 2를 참조하면, GPS 데이터의 한 행에 포함된 값들은 특정 시각에서의 GPS 데이터를 나타낼 수 있다. 다시 말해, GPS 데이터의 첫 번째 행의 값들은 하나의 GPS 데이터를 의미할 수 있으며, 2018.07.18.21.23.0.0의 측정 시각 정보, 36.0177278333333의 위도 정보, 129.324110333333의 경도 정보 및 5.650452의 속도 정보를 포함할 수 있다. Referring to FIG. 2, values included in one row of GPS data may represent GPS data at a specific time. In other words, the values of the first row of GPS data may mean one GPS data, and include measurement time information of 2018.07.18.21.23.0.0, latitude information of 36.0177278333333, longitude information of 129.324110333333, and speed information of 5.650452. can do.

IMU 데이터의 한 행에 포함된 값들은 특정 시각에서의 IMU 데이터를 나타낼 수 있다. 다시 말해, IMU 데이터의 첫 번째 행의 값들은 하나의 IMU 데이터를 의미할 수 있으며, 2018.07.18.21.23.0.0의 측정 시각 정보, 1298의 x축 가속도 정보, -456의 x축 각속도 정보, -768의 y축 가속도 정보, -94의 y축 각속도 정보, -35의 z축 가속도 정보 및 -264의 z축 각속도 정보를 포함할 수 있다.Values included in one row of IMU data may represent IMU data at a specific time. In other words, the values of the first row of IMU data may mean one IMU data, and measurement time information of 2018.07.18.21.23.0.0, x-axis acceleration information of 1298, x-axis angular velocity information of -456,- 768 y-axis acceleration information, -94 y-axis angular velocity information, -35 z-axis acceleration information, and -264 z-axis angular velocity information may be included.

도 3은 본 발명의 일 실시예에 따른 전처리 과정에 대한 프로그래밍 코드의 일부를 나타낸 도면이다.3 is a diagram illustrating a part of programming code for a pre-processing process according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 운동 정보 제공 장치는 GPS-IMU 센서로부터 획득한 GPS 데이터와 IMU 데이터를 통합하여 통합 센싱 데이터를 생성할 수 있다.The exercise information providing apparatus according to an embodiment of the present invention may generate integrated sensing data by integrating GPS data acquired from a GPS-IMU sensor and IMU data.

다시 말해, GPS 데이터와 IMU 데이터는 서로 다른 주파수로 측정되어 별도의 데이터를 구성하므로, 데이터 분석을 위해 특정 프로그래밍 코드를 이용하여 데이터 파싱(parsing) 및 전처리를 수행할 수 있다.In other words, since GPS data and IMU data are measured at different frequencies to form separate data, data parsing and preprocessing can be performed using a specific programming code for data analysis.

도 3을 참조하면, 본 발명의 일 실시예에 따른 운동 정보 제공 장치는 파이썬(python) 코드를 이용할 수 있으며, '1_och.txt'는 GPS 데이터를 의미할 수 있고, '1_imu.txt'는 IMU 데이터를 의미할 수 있다. 또한, 'output2.txt'는 GPS 데이터와 IMU 데이터를 통합한 통합 센싱 데이터를 의미할 수 있다. 다만, 도 3의 파이썬 코드는 변경될 수 있으며, 다른 프로그래밍 코드를 이용할 수도 있으므로, 본 발명의 범위가 이에 한정되는 거은 아니다.Referring to FIG. 3, the exercise information providing device according to an embodiment of the present invention may use a python code, '1_och.txt' may refer to GPS data, and '1_imu.txt' may be an IMU. It can mean data. In addition,'output2.txt' may mean integrated sensing data in which GPS data and IMU data are integrated. However, since the Python code of FIG. 3 may be changed and other programming codes may be used, the scope of the present invention is not limited thereto.

도 4는 본 발명의 일 실시예에 따른 히트맵을 표시하는 프로그래밍 코드의 일부를 나타낸 도면이다.4 is a diagram showing a part of programming code for displaying a heat map according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 운동 정보 제공 장치는 GPS 데이터 및 IMU 데이터를 통합한 통합 센싱 데이터를 이용하여 누적 데이터 분포를 생성할 수 있으며, 누적 데이터 분포를 표시하기 위하여 미리 디스플레이 설정을 수행할 수 있다. 여기서, 누적 데이터 분포는 히트맵으로 지칭할 수 있다.The exercise information providing apparatus according to an embodiment of the present invention may generate a cumulative data distribution using integrated sensing data in which GPS data and IMU data are integrated, and may perform a display setting in advance to display the cumulative data distribution. have. Here, the accumulated data distribution may be referred to as a heat map.

도 4를 참조하면, 본 발명의 일 실시예에 따른 운동 정보 제공 장치는 히트맵의 해상도를 200x150으로 설정할 수 있으며, 데이터를 처리하는 스레드(thread)와 히트랩을 렌더하는 스레드를 별도로 설정할 수 있고, 이에 따른 데이터 처리 스레드를 이용하여 데이터 처리 및 디스플레이를 수행할 수 있다. 다만, 히트맵 표시를 위한 설정은 센싱 데이터의 위도 정보 및 경도 정보에 따라 크기 및/또는 해상도가 결정될 수도 있으며, 사용자의 움직임, 스포츠 종목 및 디스플레이 효과를 위해 다른 해상도 등으로 변경될 수 있으므로, 이에 한정되는 것은 아니다.Referring to FIG. 4, the exercise information providing apparatus according to an embodiment of the present invention may set the resolution of a heat map to 200x150, and may separately set a thread that processes data and a thread that renders the heat wrap. , Data processing and display may be performed using the corresponding data processing thread. However, the setting for the heat map display may be determined in size and/or resolution according to the latitude information and longitude information of the sensing data, and may be changed to a different resolution for the user's movement, sports event, and display effect. It is not limited.

본 발명의 일 실시예는 히트맵 표시를 위해 인터액티브 데이터 디스플레이(interactive data display) 라이브러리를 이용하여 라이브러리에서 이용하는 데이터 포맷 및 렌더 방식에 따라 코드를 변경 및 통합할 수 있다. 다만, 본 발명의 일 실시예는 커스터마이징(customizing) 정도 또는 처리 속도를 고려하여 데이터그리드뷰(datagridview)를 이용하여 직접 표시할 수도 있으므로, 본 발명의 범위가 이에 한정되는 것은 아니다.According to an embodiment of the present invention, using an interactive data display library to display a heat map, codes may be changed and integrated according to a data format and a rendering method used in the library. However, in an exemplary embodiment of the present invention, the scope of the present invention is not limited thereto, since it may be directly displayed using a datagridview in consideration of the degree of customization or processing speed.

도 5는 본 발명의 일 실시예에 따른 Cdata 매트릭스에 대한 프로그래밍 코드의 일부를 나타낸 도면이다.5 is a diagram illustrating a part of programming code for a Cdata matrix according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 운동 정보 제공 장치는 도 4와 같은 설정에 따라 히트맵을 표시하기 위해 GPS 데이터 및 IMU 데이터를 통합한 통합 센싱 데이터를 이용하여 누적 데이터 분포를 생성할 수 있다.The exercise information providing apparatus according to an embodiment of the present invention may generate a cumulative data distribution by using integrated sensing data in which GPS data and IMU data are integrated to display a heat map according to a setting as shown in FIG. 4.

보다 상세히 설명하면, 본 발명의 일 실시예에 따른 운동 정보 제공 장치는 통합 센싱 데이터를 기초로 특성 데이터 매트릭스(cdata matrix)를 업데이트할 수 있으며, 특성 데이터 매트릭스를 렌더링하여 히트맵를 나타낼 수 있다. In more detail, the exercise information providing apparatus according to an embodiment of the present invention may update a characteristic data matrix based on integrated sensing data, and render the characteristic data matrix to display a heat map.

다시 말해, 본 발명의 일 실시예는 데이터 처리 스레드와 렌더링 스레드를 별도로 설정한 경우, 데이터 처리 스레드가 실시간으로 획득되는 통합 센싱 데이터를 기초로 특성 데이터 매트릭스를 실시간으로 업데이트할 수 있으며, 렌더링 스레드가 업데이트됨에 따라 특성 데이터 매트릭스를 기초로 히트맵을 생성할 수 있다.In other words, according to an embodiment of the present invention, when the data processing thread and the rendering thread are separately set, the data processing thread can update the characteristic data matrix in real time based on the integrated sensing data acquired in real time, and the rendering thread As it is updated, a heat map can be generated based on the characteristic data matrix.

여기서, 운동 정보 제공 장치는 히트맵의 설정에 따른 영역 내에서 센싱 데이터에 대응하는 좌표 정보를 획득할 수 있으며, 좌표 정보에 대응하는 특성 데이터 매트릭스의 값을 업데이트할 수 있다. 또한, 운동 정보 제공 장치는 획득한 좌표 정보의 좌표로부터 일정한 거리 내에 위치하는 주변 좌표 정보를 획득할 수 있으며, 일정한 거리 내에 위치하는 모든 주변 좌표 정보에 대응하는 특성 데이터 매트릭스의 값도 함께 업데이트할 수 있다. 여기서, 주변 좌표 정보에 대응하는 특성 데이터 매트릭스의 값은 센싱 데이터에 대응하는 좌표로부터의 거리에 따라 다르게 업데이트할 수 있으며, 거리에 비례하게 값을 변경할 수 있으나, 이에 한정되는 것은 아니다.Here, the exercise information providing apparatus may obtain coordinate information corresponding to the sensing data within an area according to the setting of the heat map, and may update a value of a characteristic data matrix corresponding to the coordinate information. In addition, the exercise information providing device may acquire peripheral coordinate information located within a certain distance from the coordinates of the obtained coordinate information, and also update the value of the characteristic data matrix corresponding to all surrounding coordinate information located within a certain distance. have. Here, the value of the characteristic data matrix corresponding to the surrounding coordinate information may be updated differently according to the distance from the coordinate corresponding to the sensing data, and the value may be changed in proportion to the distance, but is not limited thereto.

도 6은 본 발명의 일 실시예에 따른 히트맵 UI를 나타낸 도면이다.6 is a diagram showing a heat map UI according to an embodiment of the present invention.

도 6을 참조하면, 본 발명의 일 실시예에 따른 히트맵 UI(User Interface)는 사용자의 움직임에 따른 영상 데이터와 통합 센싱 데이터에 기초한 히트맵을 함께 나타낼 수 있으며, 영상 데이터와 히트맵은 시간 동기화되어 있을 수 있고, forward, backward 및 pause 등과 같이 통상의 동영상 재생과 관련된 동작이 사용자에 의해 수행될 수 있다.Referring to FIG. 6, a heat map UI (User Interface) according to an embodiment of the present invention may display image data according to a user's movement and a heat map based on integrated sensing data, and the image data and the heat map are time They may be synchronized, and operations related to normal video playback, such as forward, backward, and pause, may be performed by the user.

본 발명의 일 실시예에 따른 운동 정보 제공 장치는 영상 데이터와 히트맵을 동시에 제공하기 위해 센싱 데이터에 대응하는 사용자의 움직임에 따른 영상 데이터를 촬영 장치를 통해 획득할 수 있으며, 영상 데이터와 히트맵을 시간 동기화할 수 있다. 다시 말해, 운동 정보 제공 장치는 영상 데이터의 시각 정보와 히트맵의 기초가 된 센싱 데이터의 시각 정보를 기초로 동기화할 수 있다. The exercise information providing apparatus according to an embodiment of the present invention may acquire image data according to a user's movement corresponding to the sensing data through a photographing device in order to simultaneously provide the image data and the heat map, and the image data and the heat map Time synchronization. In other words, the exercise information providing apparatus may synchronize based on the visual information of the image data and the visual information of the sensing data that is the basis of the heat map.

또한, 본 발명의 일 실시예는 미리 촬영된 영상과 이에 대응하는 히트맵을 나타낼 수 있으며, 실시간 영상과 이에 대응하는 실시간 히트맵을 나타낼 수도 있다. 여기서, 미리 촬영된 영상 및 이에 대응하는 히트맵을 나타내는 경우, 해당 영상에 대응하는 센싱 데이터를 기초로 미리 히트맵을 생성할 수 있다.In addition, according to an embodiment of the present invention, a pre-photographed image and a heat map corresponding thereto may be displayed, and a real-time image and a corresponding real-time heat map may be displayed. Here, in the case of indicating a pre-photographed image and a heat map corresponding thereto, the heat map may be generated in advance based on sensing data corresponding to the image.

여기서, 운동 정보 제공 장치는 특성 데이터 매트릭스의 업데이트에 따라 누적되는 데이터의 수를 기초로 히트맵 상에서 누적되는 데이터에 대응하는 위치의 색상을 조정할 수 있다. 다시 말해, 운동 정보 제공 장치는 도 6과 같이 히트맵 상에 데이터의 누적 수가 높은 곳과 적은 곳에 색상 차이를 두어 사용자가 용이하게 확인 가능하도록 할 수 있다. 색상은 누적 수에 따라 점진적으로 변화되도록 설정될 수 있으나, 각 색상은 설정에 따라 변경될 수 있다.Here, the exercise information providing apparatus may adjust a color of a location corresponding to the accumulated data on the heat map based on the number of accumulated data according to the update of the characteristic data matrix. In other words, as shown in FIG. 6, the exercise information providing apparatus may allow a user to easily check by placing a color difference between a high and a small number of accumulated data on the heat map. The color may be set to gradually change according to the accumulated number, but each color may be changed according to the setting.

또한, 본 발명의 일 실시예에 따른 운동 정보 제공 장치는 누적 데이터 분포를 기초로 사용자의 운동 강도 정보 및 피로도 정보를 추출할 수 있다. 다시 말해, 운동 정보 제공 장치는 미리 설정된 테이블 상의 각 존(zone)에 포함되는 시간을 분석할 수 있으며, 각 존에 포함된 시간들을 기초로 운동 강도 정보 및 피로도 정보를 추출할 수 있다. 여기서, 미리 설정된 테이블은 표 1과 같을 수 있으나, 이에 한정되는 것은 아니다.In addition, the exercise information providing apparatus according to an embodiment of the present invention may extract the user's exercise intensity information and fatigue level information based on the accumulated data distribution. In other words, the exercise information providing apparatus may analyze a time included in each zone on a preset table, and extract exercise intensity information and fatigue information based on the times included in each zone. Here, the preset table may be the same as Table 1, but is not limited thereto.

Figure 112019003591675-pat00001
Figure 112019003591675-pat00001

표 1을 참조하면, 운동 정보 제공 장치는 센싱 데이터에 포함된 속도 정보를 기초로 해당하는 존을 결정할 수 있으며, 이를 기초로 사용자의 움직임이 각 존에 해당하는 시간을 분석할 수 있다.Referring to Table 1, the exercise information providing apparatus may determine a corresponding zone based on speed information included in sensing data, and based on this, may analyze a time when a user's movement corresponds to each zone.

본 발명의 일 실시예에 따른 운동 정보 제공 장치는 누적 데이터 분포를 기초로 사용자의 운동 부하 정보도 추출할 수 있다. 다시 말해, 운동 정보 제공 장치는 미리 설정된 방법에 따라 일정 시간 동안의 센싱 데이터에 포함된 가속도 정보를 기초로 사용자의 운동 부하 정보를 산출할 수 있다. 여기서, 미리 설정된 방법은 수학식 1과 같을 수 있으나, 이에 한정되는 것은 아니다.The exercise information providing apparatus according to an embodiment of the present invention may also extract the exercise load information of the user based on the accumulated data distribution. In other words, the exercise information providing apparatus may calculate exercise load information of a user based on acceleration information included in sensing data for a predetermined time according to a preset method. Here, the preset method may be the same as in Equation 1, but is not limited thereto.

Figure 112019003591675-pat00002
Figure 112019003591675-pat00002

수학식 1을 참조하면, PlayerLoad는 운동 부하 정보 또는 운동 부하 값을 의미할 수 있으며, fwd, side 및 up은 x축 가속도 정보, y축 가속도 정보 및 z축 가속도 정보를 각각 의미할 수 있고, t는 센싱 데이터 획득 시간 단위에 따른 시간 정보를 의미할 수 있다. 다시 말해, 운동 정보 제공 장치는 센싱 데이터에 포함된 각 축별로 가속도 정보를 기초로 일정 시간 동안의 사용자의 운동 부하 정보를 산출할 수 있다.Referring to Equation 1, PlayerLoad may mean exercise load information or exercise load value, and fwd, side and up may mean x-axis acceleration information, y-axis acceleration information, and z-axis acceleration information, respectively, and t May mean time information according to the sensing data acquisition time unit. In other words, the exercise information providing apparatus may calculate exercise load information of the user for a predetermined time based on acceleration information for each axis included in the sensing data.

도 7은 본 발명의 일 실시예에 따른 운동 정보 제공 장치의 블록 구성도이다.7 is a block diagram of an exercise information providing apparatus according to an embodiment of the present invention.

도 7을 참조하면, 본 발명의 일 실시예에 따른 운동 정보 제공 장치(700)는 적어도 하나의 프로세서(710), 메모리(720) 및 저장 장치(730)를 포함할 수 있다.Referring to FIG. 7, an exercise information providing apparatus 700 according to an embodiment of the present invention may include at least one processor 710, a memory 720, and a storage device 730.

프로세서(710)는 메모리(720) 및/또는 저장 장치(730)에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(710)는 중앙 처리 장치(CPU, Central Processing Unit), 그래픽 처리 장치(GPU, Graphics Processing Unit) 또는 본 발명에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(720)와 저장 장치(730)는 휘발성 저장 매체 및/또는 비휘발성 저장 매체로 구성될 수 있다. 예를 들어, 메모리(720)는 읽기 전용 메모리(ROM, Read Only Memory) 및/또는 랜덤 액세스 메모리(RAM, Random Access Memory)로 구성될 수 있다.The processor 710 may execute a program command stored in the memory 720 and/or the storage device 730. The processor 710 may mean a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor in which the methods according to the present invention are performed. The memory 720 and the storage device 730 may be formed of a volatile storage medium and/or a nonvolatile storage medium. For example, the memory 720 may be composed of a read-only memory (ROM) and/or a random access memory (RAM).

메모리(720)는 프로세서(710)를 통해 실행되는 적어도 하나의 명령을 저장하고 있을 수 있다. 적어도 하나의 명령은 사용자의 움직임에 따른 영상 데이터 및 센싱 데이터를 획득하는 명령, 센싱 데이터를 기초로 특성 데이터 매트릭스를 업데이트하는 명령, 특성 데이터 매트릭스를 기초로 누적 데이터 분포를 생성하는 명령 및 영상 데이터와 누적 데이터 분포를 포함하는 사용자의 운동 정보를 디스플레이하는 명령을 포함할 수 있다.The memory 720 may store at least one instruction executed through the processor 710. The at least one command includes a command for acquiring image data and sensing data according to a user's movement, a command for updating a characteristic data matrix based on the sensing data, a command for generating a cumulative data distribution based on the characteristic data matrix, and image data. It may include a command to display exercise information of the user including the cumulative data distribution.

여기서, 센싱 데이터는, GPS(Global Positioning System) 데이터 및 IMU(Inertial Measurement Unit) 데이터를 포함할 수 있다.Here, the sensing data may include Global Positioning System (GPS) data and Inertial Measurement Unit (IMU) data.

여기서, 적어도 하나의 명령은 GPS 데이터 및 IMU 데이터를 전처리하여 통합 센싱 데이터를 생성하는 명령을 더 포함할 수 있다.Here, the at least one command may further include a command for generating integrated sensing data by preprocessing GPS data and IMU data.

여기서, 센싱 데이터를 기초로 특성 데이터 매트릭스를 업데이트하는 명령은, 누적 데이터 분포의 미리 설정된 영역 내의 센싱 데이터에 대응하는 좌표 정보를 획득하는 명령 및 센싱 데이터를 기초로 좌표 정보에 대응하는 특성 데이터 매트릭스의 값을 업데이트하는 명령을 포함할 수 있다.Here, the command for updating the characteristic data matrix based on the sensing data includes a command for obtaining coordinate information corresponding to the sensing data in a preset area of the accumulated data distribution and the characteristic data matrix corresponding to the coordinate information based on the sensing data. May contain instructions to update values.

여기서, 센싱 데이터를 기초로 특성 데이터 매트릭스를 업데이트하는 명령은, 좌표와 일정한 거리 내에 위치하는 주변 좌표 정보를 획득하는 명령 및 좌표와 주변 좌표 간의 거리 정보 및 센싱 데이터를 기초로 주변 좌표 정보에 대응하는 특성 데이터 매트릭스의 값을 업데이트하는 명령을 더 포함할 수 있다.Here, the command for updating the characteristic data matrix based on the sensing data includes a command for acquiring the coordinates and surrounding coordinate information located within a certain distance, and the distance information between the coordinates and the surrounding coordinates and corresponding to the surrounding coordinate information based on the sensing data. An instruction for updating the value of the characteristic data matrix may be further included.

여기서, 영상 데이터와 누적 데이터 분포를 포함하는 사용자의 운동 정보를 디스플레이하는 명령은, 특성 데이터 매트릭스의 업데이트에 따라 누적되는 데이터의 수를 기초로 누적 데이터 분포 상에서 누적되는 데이터에 대응하는 위치의 색상을 조정하는 명령을 포함할 수 있다.Here, the command to display the user's exercise information including the image data and the cumulative data distribution includes a color of a location corresponding to the accumulated data on the cumulative data distribution based on the number of data accumulated according to the update of the characteristic data matrix. May contain an order to adjust.

여기서, 누적 데이터 분포를 기초로 미리 설정된 테이블 상의 각 존에 포함되는 시간을 분석하여 사용자의 운동 강도 정보 및 피로도 정보를 추출하는 명령을 더 포함할 수 있다.Here, a command for extracting user's exercise intensity information and fatigue level information by analyzing a time included in each zone on a preset table based on the accumulated data distribution may be further included.

여기서, 누적 데이터 분포를 기초로 사용자의 운동 부하 정보를 추출하는 명령을 더 포함할 수 있다.Here, a command for extracting the user's exercise load information based on the accumulated data distribution may be further included.

여기서, 영상 데이터와 누적 데이터 분포를 포함하는 사용자의 운동 정보를 디스플레이하는 명령은, 영상 데이터의 시각 정보 및 센싱 데이터의 시각 정보를 기초로 영상 데이터와 누적 데이터 분포를 동기화하는 명령을 포함할 수 있다.Here, the command for displaying the user's exercise information including the image data and the accumulated data distribution may include a command for synchronizing the image data and the accumulated data distribution based on the visual information of the image data and the visual information of the sensing data. .

도 8은 본 발명의 일 실시예에 따른 운동 정보 제공 방법의 순서도이다.8 is a flowchart of a method of providing exercise information according to an embodiment of the present invention.

도 8을 참조하면, 본 발명의 일 실시예에 따른 운동 정보 제공 장치는 우선, 사용자의 움직임에 따른 영상 데이터 및 센싱 데이터를 획득할 수 있다(S810). 여기서, 영상 데이터는 연결된 촬영 장치로부터 획득할 수 있고, 센싱 데이터는 연결된 GPS-IMU 센서로부터 획득할 수 있다.Referring to FIG. 8, the apparatus for providing exercise information according to an embodiment of the present invention may first acquire image data and sensing data according to a user's movement (S810). Here, image data may be obtained from a connected photographing device, and sensing data may be obtained from a connected GPS-IMU sensor.

운동 정보 제공 장치는 획득한 센싱 데이터를 기초로 특성 데이터 매트릭스를 업데이트할 수 있다(S820). 여기서, 센싱 데이터는 GPS 데이터 및 IMU 데이터를 통합한 데이터를 의미할 수 있으며, 통합한 데이터를 기초로 특성 데이터 매트릭스를 업데이트할 수 있다. 또한, 운동 정보 제공 장치는 센싱 데이터를 기초로 누적 데이터 분포를 표시하기 위한 설정을 우선 수행할 수도 있다.The exercise information providing apparatus may update the characteristic data matrix based on the acquired sensing data (S820). Here, the sensing data may mean data in which GPS data and IMU data are integrated, and a characteristic data matrix may be updated based on the integrated data. In addition, the exercise information providing apparatus may first perform setting to display the accumulated data distribution based on the sensing data.

또한, 운동 정보 제공 장치는 업데이트한 특성 데이터 매트릭스를 기초로 누적 데이터 분포를 생성할 수 있다(S830). 여기서, 누적 데이터 분포는 히트맵으로 지칭할 수 있으며, 특성 데이터 매트릭스에 렌더링되어 생성될 수 있다. 또한, 특성 데이터 매트릭스로부터 누적 데이터 분포를 생성하는 스레드는 센싱 데이터로부터 특성 데이터 매트릭스를 업데이트하는 스레드와 별도로 설정될 수 있다.In addition, the exercise information providing apparatus may generate a cumulative data distribution based on the updated characteristic data matrix (S830). Here, the cumulative data distribution may be referred to as a heat map, and may be generated by rendering in a characteristic data matrix. Also, a thread that generates an accumulated data distribution from the characteristic data matrix may be set separately from a thread that updates the characteristic data matrix from the sensing data.

이후, 운동 정보 제공 장치는 영상 데이터의 시각 정보 및 센싱 데이터의 시각 정보를 기초로 영상 데이터와 누적 데이터 분포를 동기화할 수 있으며(S840), 동기화된 영상 데이터 및 누적 데이터 분포를 함께 디스플레이할 수 있다(S850). 여기서, 누적 데이터 분포는 데이터의 누적양에 따라 다른 색상을 이용하여 누적 데이터 분포 상에 누적된 위치를 나타낼 수 있다. 또한, 운동 정보 제공 장치는 센싱 데이터를 기초로 운동 강도 정보, 피로도 및 운동 부하 정보를 추출할 수도 있으며, 이를 사용자에게 함께 제공할 수도 있다.Thereafter, the exercise information providing apparatus may synchronize the image data and the accumulated data distribution based on the visual information of the image data and the time information of the sensing data (S840), and may display the synchronized image data and the accumulated data distribution together. (S850). Here, the cumulative data distribution may represent a position accumulated on the cumulative data distribution using different colors according to the cumulative amount of data. In addition, the exercise information providing apparatus may extract exercise intensity information, fatigue level, and exercise load information based on the sensing data, and provide the same to the user.

본 발명의 실시예에 따른 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다. The operation according to an embodiment of the present invention can be implemented as a computer-readable program or code on a computer-readable recording medium. The computer-readable recording medium includes all types of recording devices that store data that can be read by a computer system. In addition, the computer-readable recording medium may be distributed over a computer system connected through a network to store and execute a computer-readable program or code in a distributed manner.

또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.In addition, the computer-readable recording medium may include a hardware device specially configured to store and execute program commands, such as ROM, RAM, and flash memory. The program instructions may include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.

본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다. While some aspects of the invention have been described in the context of an apparatus, it may also represent a description according to a corresponding method, where a block or apparatus corresponds to a method step or characteristic of a method step. Similarly, aspects described in the context of a method can also be represented by a corresponding block or item or a feature of a corresponding device. Some or all of the method steps may be performed by (or using) a hardware device such as, for example, a microprocessor, a programmable computer or electronic circuit. In some embodiments, one or more of the most important method steps may be performed by such an apparatus.

실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그래머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그래머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.In embodiments, a programmable logic device (eg, a field programmable gate array) may be used to perform some or all of the functionality of the methods described herein. In embodiments, the field programmable gate array may work with a microprocessor to perform one of the methods described herein. In general, the methods are preferably performed by some hardware device.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to preferred embodiments of the present invention, those skilled in the art will variously modify and change the present invention within the scope not departing from the spirit and scope of the present invention described in the following claims. You will understand that you can do it.

Claims (18)

사용자의 움직임에 따른 영상 데이터 및 센싱 데이터를 획득하는 단계;
상기 센싱 데이터를 기초로 특성 데이터 매트릭스를 업데이트하는 단계;
상기 특성 데이터 매트릭스를 기초로 누적 데이터 분포를 생성하는 단계; 및
상기 영상 데이터와 상기 누적 데이터 분포를 포함하는 상기 사용자의 운동 정보를 디스플레이하는 단계를 포함하며,
상기 센싱 데이터를 기초로 특성 데이터 매트릭스를 업데이트하는 단계는,
상기 누적 데이터 분포의 미리 설정된 영역 내의 상기 센싱 데이터에 대응하는 좌표 정보를 획득하는 단계; 및
상기 센싱 데이터를 기초로 상기 좌표 정보에 대응하는 상기 특성 데이터 매트릭스의 값을 업데이트하는 단계를 포함하는, 운동 정보 제공 방법.
Obtaining image data and sensing data according to a user's movement;
Updating a characteristic data matrix based on the sensing data;
Generating a cumulative data distribution based on the characteristic data matrix; And
And displaying the exercise information of the user including the image data and the accumulated data distribution,
Updating the characteristic data matrix based on the sensing data,
Obtaining coordinate information corresponding to the sensing data in a preset area of the accumulated data distribution; And
And updating a value of the characteristic data matrix corresponding to the coordinate information based on the sensing data.
 청구항 1에 있어서,
상기 센싱 데이터는,
GPS(Global Positioning System) 데이터 및 IMU(Inertial Measurement Unit) 데이터를 포함하는, 운동 정보 제공 방법.The method according to claim 1,
The sensing data,
A method of providing exercise information, including Global Positioning System (GPS) data and Inertial Measurement Unit (IMU) data. 청구항 2에 있어서,
상기 GPS 데이터 및 상기 IMU 데이터를 전처리하여 통합 센싱 데이터를 생성하는 단계를 더 포함하는, 운동 정보 제공 방법.The method according to claim 2,
Pre-processing the GPS data and the IMU data to generate integrated sensing data. 삭제delete 청구항 1에 있어서,
상기 센싱 데이터를 기초로 특성 데이터 매트릭스를 업데이트하는 단계는,
상기 좌표와 일정한 거리 내에 위치하는 주변 좌표 정보를 획득하는 단계; 및
상기 좌표와 상기 주변 좌표 간의 거리 정보 및 상기 센싱 데이터를 기초로 상기 주변 좌표 정보에 대응하는 상기 특성 데이터 매트릭스의 값을 업데이트하는 단계를 더 포함하는, 운동 정보 제공 방법.The method according to claim 1,
Updating the characteristic data matrix based on the sensing data,
Obtaining information on surrounding coordinates located within a certain distance from the coordinates; And
And updating a value of the characteristic data matrix corresponding to the peripheral coordinate information based on distance information between the coordinates and the peripheral coordinates and the sensing data. 청구항 1에 있어서,
상기 영상 데이터와 상기 누적 데이터 분포를 포함하는 상기 사용자의 운동 정보를 디스플레이하는 단계는,
상기 특성 데이터 매트릭스의 업데이트에 따라 누적되는 데이터의 수를 기초로 상기 누적 데이터 분포 상에서 상기 누적되는 데이터에 대응하는 위치의 색상을 조정하는 단계를 포함하는, 운동 정보 제공 방법.The method according to claim 1,
Displaying the exercise information of the user including the image data and the accumulated data distribution,
And adjusting a color of a location corresponding to the accumulated data on the accumulated data distribution based on the number of accumulated data according to the update of the characteristic data matrix. 청구항 1에 있어서,
상기 누적 데이터 분포를 기초로 미리 설정된 테이블 상의 각 존에 포함되는 시간을 분석하여 상기 사용자의 운동 강도 정보 및 피로도 정보를 추출하는 단계를 더 포함하는, 운동 정보 제공 방법.The method according to claim 1,
Analyzing a time included in each zone on a preset table based on the cumulative data distribution, and extracting information about the user's exercise intensity and fatigue level. 청구항 1에 있어서,
상기 누적 데이터 분포를 기초로 상기 사용자의 운동 부하 정보를 추출하는 단계를 더 포함하는, 운동 정보 제공 방법.The method according to claim 1,
Further comprising the step of extracting the exercise load information of the user based on the accumulated data distribution, exercise information providing method. 청구항 1에 있어서,
상기 영상 데이터와 상기 누적 데이터 분포를 포함하는 상기 사용자의 운동 정보를 디스플레이하는 단계는,
상기 영상 데이터의 시각 정보 및 상기 센싱 데이터의 시각 정보를 기초로 상기 영상 데이터와 상기 누적 데이터 분포를 동기화하는 단계를 포함하는, 운동 정보 제공 방법.The method according to claim 1,
Displaying the exercise information of the user including the image data and the accumulated data distribution,
And synchronizing the image data and the accumulated data distribution based on the visual information of the image data and the visual information of the sensing data. 프로세서(processor); 및
상기 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리(memory)를 포함하고,
상기 적어도 하나의 명령은,
사용자의 움직임에 따른 영상 데이터 및 센싱 데이터를 획득하도록 실행되고,
상기 센싱 데이터를 기초로 특성 데이터 매트릭스를 업데이트하도록 실행되고,
상기 특성 데이터 매트릭스를 기초로 누적 데이터 분포를 생성하도록 실행되고,
상기 영상 데이터와 상기 누적 데이터 분포를 포함하는 상기 사용자의 운동 정보를 디스플레이하도록 실행되며,
상기 특성 데이터 매트릭스를 업데이트 하는 경우,
상기 하나 이상의 명령은,
상기 누적 데이터 분포의 미리 설정된 영역 내의 상기 센싱 데이터에 대응하는 좌표 정보를 획득하고; 그리고,
상기 센싱 데이터를 기초로 상기 좌표 정보에 대응하는 상기 특성 데이터 매트릭스의 값을 업데이트 하도록 실행되는, 운동 정보 제공 장치.Processor; And
Includes a memory (memory) in which at least one instruction executed through the processor is stored,
The at least one command,
Executed to obtain image data and sensing data according to the user's movement,
Executed to update a characteristic data matrix based on the sensing data,
Executed to generate a cumulative data distribution based on the characteristic data matrix,
It is executed to display the exercise information of the user including the image data and the accumulated data distribution,
When updating the characteristic data matrix,
The one or more commands,
Obtaining coordinate information corresponding to the sensing data in a preset area of the accumulated data distribution; And,
The exercise information providing apparatus, which is executed to update a value of the characteristic data matrix corresponding to the coordinate information based on the sensing data. 청구항 10에 있어서,
상기 센싱 데이터는,
GPS(Global Positioning System) 데이터 및 IMU(Inertial Measurement Unit) 데이터를 포함하는, 운동 정보 제공 장치.The method of claim 10,
The sensing data,
A device for providing exercise information, including Global Positioning System (GPS) data and Inertial Measurement Unit (IMU) data. 청구항 11에 있어서,
상기 적어도 하나의 명령은,
상기 GPS 데이터 및 상기 IMU 데이터를 전처리하여 통합 센싱 데이터를 생성하도록 실행되는, 운동 정보 제공 장치.The method of claim 11,
The at least one command,
Exercise information providing apparatus, which is executed to generate integrated sensing data by preprocessing the GPS data and the IMU data. 삭제delete 청구항 10에 있어서,
상기 적어도 하나의 명령은,
상기 좌표와 일정한 거리 내에 위치하는 주변 좌표 정보를 획득하도록 실행되고,
상기 좌표와 상기 주변 좌표 간의 거리 정보 및 상기 센싱 데이터를 기초로 상기 주변 좌표 정보에 대응하는 상기 특성 데이터 매트릭스의 값을 업데이트하도록 실행되는, 운동 정보 제공 장치.The method of claim 10,
The at least one command,
It is executed to obtain information on surrounding coordinates located within a certain distance from the coordinates,
The exercise information providing apparatus is executed to update a value of the characteristic data matrix corresponding to the peripheral coordinate information based on the distance information between the coordinates and the peripheral coordinates and the sensing data. 청구항 10에 있어서,
상기 적어도 하나의 명령은,
상기 특성 데이터 매트릭스의 업데이트에 따라 누적되는 데이터의 수를 기초로 상기 누적 데이터 분포 상에서 상기 누적되는 데이터에 대응하는 위치의 색상을 조정하도록 실행되는, 운동 정보 제공 장치.The method of claim 10,
The at least one command,
The exercise information providing apparatus, which is executed to adjust a color of a position corresponding to the accumulated data on the accumulated data distribution based on the number of accumulated data according to the update of the characteristic data matrix. 청구항 10에 있어서,
상기 적어도 하나의 명령은,
상기 누적 데이터 분포를 기초로 미리 설정된 테이블 상의 각 존에 포함되는 시간을 분석하여 상기 사용자의 운동 강도 정보 및 피로도 정보를 추출하도록 실행되는, 운동 정보 제공 장치.The method of claim 10,
The at least one command,
The exercise information providing apparatus is executed to extract the exercise intensity information and the fatigue degree information of the user by analyzing a time included in each zone on a preset table based on the accumulated data distribution. 청구항 10에 있어서,
상기 적어도 하나의 명령은,
상기 누적 데이터 분포를 기초로 상기 사용자의 운동 부하 정보를 추출하도록 실행되는, 운동 정보 제공 장치.The method of claim 10,
The at least one command,
Exercise information providing apparatus which is executed to extract exercise load information of the user based on the accumulated data distribution. 청구항 10에 있어서,
상기 적어도 하나의 명령은,
상기 영상 데이터의 시각 정보 및 상기 센싱 데이터의 시각 정보를 기초로 상기 영상 데이터와 상기 누적 데이터 분포를 동기화하도록 실행되는, 운동 정보 제공 장치.The method of claim 10,
The at least one command,
The exercise information providing apparatus, which is executed to synchronize the image data and the accumulated data distribution based on the time information of the image data and the time information of the sensing data.
KR1020190003690A 2019-01-11 2019-01-11 Method and apparatus for providing exercise information based on video data and sensing data KR102163240B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190003690A KR102163240B1 (en) 2019-01-11 2019-01-11 Method and apparatus for providing exercise information based on video data and sensing data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190003690A KR102163240B1 (en) 2019-01-11 2019-01-11 Method and apparatus for providing exercise information based on video data and sensing data

Publications (2)

Publication Number Publication Date
KR20200087436A KR20200087436A (en) 2020-07-21
KR102163240B1 true KR102163240B1 (en) 2020-10-08

Family

ID=71832707

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190003690A KR102163240B1 (en) 2019-01-11 2019-01-11 Method and apparatus for providing exercise information based on video data and sensing data

Country Status (1)

Country Link
KR (1) KR102163240B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023033459A1 (en) * 2021-08-30 2023-03-09 주식회사 핏투게더 Method for providing exercise load information
KR20230033587A (en) 2021-08-30 2023-03-08 주식회사 핏투게더 A method for providing exercise load information

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008143536A (en) * 2006-12-07 2008-06-26 Hosokawa Yoko Co Ltd Plug unit and bag body using the same

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101914194B1 (en) * 2016-11-30 2018-11-01 조선대학교산학협력단 Motion acquisition system using inertial sensor and depth camera and motion acquisition method using the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008143536A (en) * 2006-12-07 2008-06-26 Hosokawa Yoko Co Ltd Plug unit and bag body using the same

Also Published As

Publication number Publication date
KR20200087436A (en) 2020-07-21

Similar Documents

Publication Publication Date Title
US11285371B2 (en) Medium, method, and apparatus for displaying joint angle of performer for scoring
JP6626223B2 (en) Indoor ranging method
US20170050080A1 (en) Pedaling measurement apparatus, pedaling measurement system, pedaling measurement method, and recording medium
JP7423584B2 (en) Discrimination device, discrimination method and program
CN105303550B (en) Image processing apparatus and image processing method
US10296196B2 (en) System, method and apparatus for displaying a non-biasing and self-adjusting visual analog scale on a computing device
US10289902B2 (en) Data analysis device, data analysis method and storage medium
KR102163240B1 (en) Method and apparatus for providing exercise information based on video data and sensing data
CN105229666A (en) Motion analysis in 3D rendering
JP2015002910A (en) Motion analysis device and motion analysis program
US20170120122A1 (en) Electronic apparatus, system, method, program, and recording medium
US9348953B2 (en) Swing simulation system, swing simulation apparatus, and swing simulation method
CN109508702A (en) A kind of three-dimensional face biopsy method based on single image acquisition equipment
CN109640798A (en) The control method and program of blood pressure measurement apparatus, blood pressure measurement apparatus
US10783376B2 (en) Information processing apparatus
US10591987B2 (en) Method, virtual reality apparatus and recording medium for fast moving in virtual reality
CN108366764A (en) Exclude light and shade, viewer's mood decision maker, viewer's mood decision-making system and the program of breathing and the influence of pulse
US20210244317A1 (en) Walking mode display method, walking mode display system and walking mode analyzer
KR20160076485A (en) Exercise analysis device, exercise analysis system, exercise analysis method, display device, and recording medium
KR20180093313A (en) Method and apparatus for identifying location/angle of terminal
US20180250571A1 (en) Motion analysis device, motion analysis method, motion analysis system, and display method
WO2016115536A2 (en) Determining three-dimensional information from projections or placement of two-dimensional patterns
KR101321022B1 (en) Computing device, method and system for embodying augmented reality
CN114445496A (en) Test method, device, equipment, system and medium for relocation module
JP2022075741A (en) Animation creation device, animation creation method, and program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right