KR101576106B1 - 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치 와 그 방법 - Google Patents
깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치 와 그 방법 Download PDFInfo
- Publication number
- KR101576106B1 KR101576106B1 KR1020150006676A KR20150006676A KR101576106B1 KR 101576106 B1 KR101576106 B1 KR 101576106B1 KR 1020150006676 A KR1020150006676 A KR 1020150006676A KR 20150006676 A KR20150006676 A KR 20150006676A KR 101576106 B1 KR101576106 B1 KR 101576106B1
- Authority
- KR
- South Korea
- Prior art keywords
- motion
- unit
- recognition
- depth camera
- poomsae
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B71/00—Games or sports accessories not covered in groups A63B1/00 - A63B69/00
- A63B71/06—Indicating or scoring devices for games or players, or for other sports activities
- A63B71/0605—Decision makers and devices using detection means facilitating arbitration
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
- A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
- A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
- A63B24/0006—Computerised comparison for qualitative assessment of motion sequences or the course of a movement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
- G09B19/00—Teaching not covered by other main groups of this subclass
- G09B19/003—Repetitive work cycles; Sequence of movements
- G09B19/0038—Sports
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0085—Motion estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Entrepreneurship & Innovation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physical Education & Sports Medicine (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Computer Interaction (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
본 발명은 깊이 카메라를 이용하여 인체의 골격기반의 태권도 품새를 인식하고 이를 이용하여 자동으로 승단 여부를 판정해주는 승단 심사 장치와 그 방법에 대한 것이다.
본 발명의 주요 구성은 깊이 카메라로부터 입력된 오브젝트의 특징을 추출하는 오브젝트 특징 추출부, 오브젝트의 다양한 동작들을 정의하기 위한 동작 정의부, 오브젝트 특징 추출부와 동작 정의부를 통해 얻어진 정보를 이용하여 오브젝트의 행동을 인식하는 동작 인식부, 동작 인식부에서 확정된 오브젝트의 동작의 정확도를 판정하는 판정부를 포함하는 것을 특징으로 한다.
본 발명의 주요 구성은 깊이 카메라로부터 입력된 오브젝트의 특징을 추출하는 오브젝트 특징 추출부, 오브젝트의 다양한 동작들을 정의하기 위한 동작 정의부, 오브젝트 특징 추출부와 동작 정의부를 통해 얻어진 정보를 이용하여 오브젝트의 행동을 인식하는 동작 인식부, 동작 인식부에서 확정된 오브젝트의 동작의 정확도를 판정하는 판정부를 포함하는 것을 특징으로 한다.
Description
본 발명은 키넥트와 같은 깊이 카메라를 이용하여 인체의 골격을 추출하여 이를 태권도 품새 인식 및 승단 심사에 이용하기 위한 승단 심사 장치와 그 방법에 대한 것이다.
사람의 동작인식 기술은 센서나 특정 장치를 사람의 신체에 부착하여 신체의 움직임을 감지한 데이터를 동작인식에 활용하는 접촉 방식과 카메라를 이용하여 사람의 움직임 영상을 추적하여 동작인식 정보를 추출하는 비 접촉 방식으로 구분 된다. 접촉 방식은 사용자의 움직임을 감지할 수 있는 센서나 장치를 사람의 몸에 직접 부착해 정보를 획득하는 방식으로 직접센서를 통하여 비교적 정확한 정보를 얻을 수 있는 장점이 있지만, 사용자가 센서나 장비를 착용해야하는 불편함이 매우 큰 단점이다. 비 접촉 방식은 대부분 사람의 움직임을 영상으로 촬영한 후 움직임 정보를 추출하는 기술을 이용 한다.
접촉 방식의 3D 콘텐츠 제어 방법은 사용자자의 움직임 감지가 가능한 센서나 장치를 사용자가 직접 착용하여 3D 콘텐츠와 상호작용하는 것이다. 접촉 방식으로 사용되는 대표적인 인터페이스는 광섬유, 마크네틱 센서, 자이로 센서를 이용한 데이터 글로브, 모션트랙커 등이 있다. 접촉 방식에 의한 입력 장치들은 대부분 상용화 되어 있다. 예를 들어, 3D로 제작된 네비게이션 콘텐츠에서 터치기반 3D 인터랙션 조작 인터페이스, 닌텐도의 Wii Remote 모션 컨트롤러 인터페이스, 소니사의 PlayStation Move 인터페이스, 스페이스 마우스를 대처하는 GlobalFish 인터페이스, 조이스텍 기능을 탄성체 링으로 만들어 터치패드를 내장한 Groove Pad 인터페이스 등 다양한 3D 물리적 인테이스가 있다.
비 접촉 방식 기반의 3D 콘텐츠 제어 방법은 대부분 카메라를 통화여 획득한 영상 정보로부터 사람의 움직임을 추적하고 인식한다. 비 접촉식 방식은 신체 부위에 특정 마커를 부착하고 시각 기술을 이용하여 신체 움직임을 추적 하는 마커 기반 방식과 마카를 사용하지 않은 마커리스 방식 두 가지가 있다. 마커 방식은 영상의 컬러, 형태, LED, 적외선 등을 마커 속성에 미리 정해두고 그 마커를 추적하는 것으로 비교적 쉽고 빠르게 사용자의 동작을 추적할 수 있다. 이 방법은 영상의 특징점 추출을 상대적으로 빠르게 할 수 있으나 사용자는 여전히 부자연스러운 마커를 부착해야 하는 단점이 있다. 마커리스 방식은 옵티컬 플로우, 배경분리 기법, 모션 히스토리이미지 등의 기법을 이용하여 사용자 움직임의 방향 및 속도 등을 감지하여 움직임을 실시간으로 빠르게 추적할 수 있고 광원의 밝기를 추적하여 움직임을 추적하기도 한다. 마커리스 방식은 카메랑의 위치, 광원의 간섭, 그림자 등과 같은 외부 요인에 취약한 단점이 있다.
태권도 승단 심사는 전적으로 심사위원의 주관에 의해서 결정되는 것으로 심사위원 개개인의 성향, 기분 등 외적인 요인들이 영향을 받고, 일관된 기준이 없어 잡음이 끊이지 않고 있다.
본 발명의 배경기술은 대한민국 특허청에 공개특허공보 10-2013-0044473호가 2010.05.03자로 개시되어 있다.
상술한 문제점을 해결하기 위해 안출된 본 발명의 과제는, 깊이 카메라를 이용하여 사람의 움직임에 대한 깊이 정보와 비주얼 정보를 추출하고, 이를 이용하여 태권도 품새를 인식하고 승단 심사를 자동으로 해주는 승단 심사 장치를 제공하는 하는 것이다.
본 발명의 다른 해결과제는 사람의 태권도 동작의 승단기준 부합 여부를 판단하기 위해 표준 품새동작에 대한 데이터가 저장되어 있는 표준 품새동작 데이터베이스의 데이터와 깊이 카메라로부터 좌표를 전달받아 미리 저장되어 있는 좌표 값과 비교하여 정확도를 측정하고 태권도 품새의 연속된 시퀀스를 비교하여 합격 기준의 충족여부를 판단하는 방법을 포함한 승단 심사 장치를 제공하는 것이다.
본 발명의 일실시 예에 따른 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치에 있어서, 상기 승단 심사 장치는 깊이 카메라로부터 입력된 오브젝트의 특징을 추출하는 오브젝트 특징 추출부, 상기 승단 심사 장치는 상기 오브젝트의 다양한 동작들을 정의하기 위한 동작 정의부, 상기 승단 심사 장치는 상기 오브젝트 특징 추출부와 상기 동작 정의부를 통해 얻어진 정보를 이용하여 상기 오브젝트의 행동을 인식하는 동작 인식부, 상기 승단 심사 장치는 상기 동작 인식부에서 확정된 상기 오브젝트의 동작의 정확도를 판정하는 판정부를 포함하는 것을 특징으로 한다.
본 발명의 일실시 예에 따른 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사방법에 있어서, 상기 방법은 깊이 카메라로부터 입력된 오브젝트의 특징을 추출하는 오브젝트 특징 추출단계, 상기 방법은 상기 오브젝트의 다양한 동작들을 정의하기 위한 동작 정의단계, 상기 방법은 상기 오브젝트 특징 추출부와 상기 동작 정의부를 통해 얻어진 정보를 이용하여 상기 오브젝트의 행동을 인식하는 동작 인식 단계, 상기 방법은 상기 동작 인식부에서 확정된 상기 오브젝트의 동작의 정확도를 판정하는 판정단계를 포함하는 것을 특징으로 한다.
본 발명의 일실시 예에 따른 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치를 이용하여 사람의 태권도 동작에 대한 정확한 품새를 인식하고, 승단 심사 시 발생할 수 있는 채점 및 판정오류 등을 방지할 수 있다.
도 1은 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치의 전체 구조도를 도시한 것이다.
도 2는 RGB-D 센서를 통한 깊이 정보와 스켈렉톤 데이터를 도시한 것이다.
도 3은 사람의 관절과 추출된 스켈렉톤의 파라메터를 도시한 것이다.
도 4는 사람서서 오른손을 잡아 당겼을 때의 각 관절의 좌표부터 나온 거리 값을 나타낸다.
도 5는 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치의 전체 흐름도를 도시한 것이다.
도 6는 본 발명의 일실시 예에 따른 판정단계의 세부 흐름도를 도시한 것이다.
도 2는 RGB-D 센서를 통한 깊이 정보와 스켈렉톤 데이터를 도시한 것이다.
도 3은 사람의 관절과 추출된 스켈렉톤의 파라메터를 도시한 것이다.
도 4는 사람서서 오른손을 잡아 당겼을 때의 각 관절의 좌표부터 나온 거리 값을 나타낸다.
도 5는 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치의 전체 흐름도를 도시한 것이다.
도 6는 본 발명의 일실시 예에 따른 판정단계의 세부 흐름도를 도시한 것이다.
기타 실시 예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
도 1에 도시된 바와 같이 본 발명에 따른 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치의 전체 구조도를 나타낸다. 본 발명의 태권도 품새 및 승단 심사 장치는 깊이 카메라로부터 입력된 인체골격 즉, 오브젝트로부터 깊이와 비주얼 특징을 추출하는 특징추출부(110), 오브젝트의 동작이 구체적으로 어떠한 동작을 나타내는지 정의하기 위해 오브젝트의 동작 각각을 분해하는 동작분해부(121)를 포함하는 동작정의부(120), 특징추출부(110), 동작정의부(120)에 추출된 정보를 이용하여 동작을 인식하는 동작인식부(130)를 포함하고 있다. 상기 오브젝트의 깊이 특징은 깊이 카메라로부터 추출된 RGB 데이터와 오브젝트의 깊이(Depth) 정보를 조합한 RGB-D 데이터이다. 또한, 상기 동작인식부(130)에서는 상기 추출된 정보의 동작을 인식하기 위해 동작인식 데이터베이스(150)를 더 포함하고 있다. 상기 동작인식 데이터베이스에는 인식된 태권도 동작에 대한 데이터가 저장되는데 예를 들면, 주춤서기, 왼쪽 아래막기, 오른쪽 아래막기, 왼발 앞차기, 오른발 앞차기 등과 같은 데이터가 될 수 있다.
상기 동작인식부(130)는 동작매칭부(131), 동작분류부(132), 동작확정부(133)의 세부모듈을 포함하고 있다. 상기 동작매칭부(131)는 상기 특징추출부(110)와 상기 동작정의부(120)로부터 추출된 정보와 상기 동작인식 데이터베이스(150)의 데이터와 비교를 통해 동작을 매칭하고, 매칭된 결과를 이용하여 동작을 분류한 후 동작을 확정하게 된다.
상기 오브젝트의 동작을 확정한 후 동작의 연결(Sequence)을 판정하여 승단여부를 결정해주는 판정부(140)을 포함한다. 상기 판정부는 상기 동작인식부(130)에서 인식된 동작의 연결이 정확한지 판정하기 위해 표준 품새동작 데이터베이스(160)를 포함한다. 상기 표준 품새동작 데이터베이스(160)에는 일반적으로 알려져 있는 태권도의 유단자의 품새인 태극 1장부터 8장까지 데이터와 유급자의 품새인 고려, 금강, 태백, 평원등의 품새 데이터를 포함하고 있다.
도 2는 RGB-D센서를 통해 입력된 데이터의 깊이정보와 스켈렉톤을 도시한 것이다. 도 2의 (a)는 RGB-D 카메라를 통해 입력된 RGB 카메라 이미지를 나타낸다. 상기 이미지에서는 두 개의 오브젝트(사람)가 나타나있다. 그림(b)는 그림(a)의 두 개의 오브젝트에 대한 깊이 정보를 나타낸 것으로 깊이 카메라로부터 자동적으로 세그먼트되어 표시된다. 노란색과 보라색 레이블은 세그먼트된 오브젝트를 나타낸다. 회색 레이블은 의자와 바닥과 같은 비 반사(non IR reflective) 영역을 나타낸다. 그림(c)는 깊이 카메라가 마킹된 영역에 적외선을 투사하여 연결된 점들의 반사파 강도를 측정하고, 반사강도를 통해 거리를 측정하고, 반사강도가 약한 점들은 멀리서부터, 강도가 높은 점들은 전면에 있는 사용자로부터 온 것으로 추정하여 오브젝트의 주요 스켈렉톤을 인식한 것을 나타낸다.
그림 3은 사람의 관절과 추출된 스켈렉톤의 파라메터를 도시한 것이다. 깊이 카메라가 사람의 골격을 인지하는 기법을 이용하여 사람의 손목, 팔목, 어깨 움직임에 기반한 동작을 정의할 수 있다. 예를 들면, 좌로 이동은 오른팔을 이용하여 어깨선을 중심으로 손목, 팔꿈치 변화가 좌측으로 이동하는 것을 말하고, 우로 이동은 좌측 팔이 어깨선을 기준으로 손목, 팔꿈치가 우축으로 이동하고, 위로 이동은 어깨선 보다 위로, 아래로 이동은 어깨선보다 밑으로, 확대는 양손이 기준보다 밖으로 이동, 축소는 양손이 기준보다 안쪽으로 이동하는 것이고, 선택은 한손을 정면으로 이동하는 것을 말한다. 이와 같이, 그림 3의 (b)와 같이 사람의 스켈렉톤 간 연결 포인트인 관절(joint)의 좌표 변화와 각도에 따라 움직임을 판단할 수 가 있다.
도 4는 사람이 서서 오른쪽 손을 당겼을 때의 관절간의 좌표에 대한 거리를 나타낸 것이다. 본 발명에서는 사람의 자세와 동작의 모델링을 위해서 입력 시퀀스의 이동 거리를 매칭하기 위해 표준 품새의 연결동작을 이용하여 각 관절의 거리 편차를 고려한다. 예를 들면, 상체 동작을 감지하기 위해서 시간에 따라 각 관절 P i 와 원점(reference point)간의 거리 D r , i 를 계산한다. 왼쪽과 오른쪽 어깨 관절의 왼쪽과 오른쪽 간의 중심점(center point)은 원점을 분석하여 계산한다. 상체 중심점 각 관절의 거리 편차를 이용하여와 는 [수학식 1]과 같이 계산된다.
[수학식 1]
[수학식 2]
[수학식 3]
하체에 대한 동작인식도 상기의 상체 동작을 감지하기 위한 계산식과 동일하게 계산할 수 있다.
동작은 서(stand)있는 동작과 누워 있는(lie down)동작으로 나눌 수 있는 데 이를 구별하기 위해서는 척추(spine)와 x축 간의 각도 A SP 를 [수학식 4]와 같이 계산한다.
[수학식 4]
여기서, CUP과 Clow는 상기의 상체 중심점 각 관절의 거리 편차를 이용한와 의 계산식과 각 관절의 i의 좌표값 와 의 계산식을 이용하여 구할 수 있다. 인사(bow)와 같은 굽히는 동작을 위해서는 두 가지 벡터인 Vup과 Vlow간의 각도인 Aup, low를 구하면 되고, 계산식은 [수학식 5]와 같다.
[수학식 5]
여기서, J sp 는 척추를 나타낸다.
도 5는 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치의 전체 흐름도를 나타낸다.
태권도 품새 인식 및 승단을 위해서 승단 심사가 시작이 되면 사람은 시작위치에 서 있어야 한다(S510). 시작위치는 깊이 카메라로부터 최소 40cm ~ 5m 이내여야 한다. 사람이 시작위치에 서면 품새의 시작을 알리는 메시지가 알려주고(S520), 사람은 메시지를 본 시점부터 해당 심사의 품새 및 동작을 카메라를 보면서 수행하면 된다. 동작을 수행하는 사람을 품새와 동작을 정확인 인식하기 위해서 깊이 카메라는 사람 주변에 최소 1대에서 최대 4대까지 설치한다. 상기 품새와 동작의 수행 중에는 상기 깊이 카메라의 깊이 센서와 비주얼 센서를 통해 사람이 수행하는 동작에 대한 특징을 실시간으로 사용자 동작인식 데이터베이스에 저장되고(S530), 상기 저장된 데이터는 동작을 인식을 위해 동작매칭단계(S533), 동작 분류단계(S534), 동작확정단계(S535)를 거쳐 최종적으로 사람의 동작이 어떠한 동작인지 인식하게 된다.
상기 인식된 사람의 동작은 품새 및 동작에 대한 표준 데이터가 저장되어 있는 표준 품새동작 데이터베이스의 데이터와 비교하여 판정하는 단계(S540)를 거쳐 최종 합격여부를 결정(S550)하게 된다.
도 6은 판정단계의 세부 흐름도는 나타낸다.
상기 판정단계(S540)에서 상기 깊이 카메라로부터 좌표를 전달받아 미리 저장되어 있는 좌표값과 비교하여 정확도를 측정하는 단계(S610), 태권도 품새의 연속된 시퀀스를 비교해서 판단하는 단계(S620), 합격기준의 충족여부를 판단하는 단계(S630)를 더 포함하고 있다. 태권도 품새에 대한 동작의 시퀀스를 비교해서 판단할 때에 상기 동작의 정확도는 오브젝트의 x, y, z축의 좌표 값과 축 간의 각도를 비교하여 판정을 하고, 상기 판정 후 동작의 정확도가 60% ~ 100% 인 경우 합격을 통보하게 된다.
본 발명에서는 정확도 측정을 위해 동적 시간 워프(Dynamic Time Warping)알고리즘을 이용하여 동작에 대한 데이터 값들을 396개로 정의하였다. 즉, 처음 움직임이 있는 동작의 시작점과 동작이 끝나는 끝점 사이에 필요한 값들을 동적 시간 워프 알고리즘을 이용해 396개로 정렬시킨다. 상기 정확도를 측정하는 단계(S610)는 동작의 시작점과 상기 동작이 끝나는 끝점 사이에 필요한 값들을 동적 시간 워프 알고리즘을 통해 정렬한 데이터를 이용해 구하고, 상기 좌표 값과 상기 정렬한 데이터를 이용해 정확도를 구한다.
본 발명은 상술한 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술 분야의 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 청구범의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 간주한다.
Claims (17)
- 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치에 있어서,
깊이 카메라로부터 입력된 오브젝트의 특징을 추출하는 특징 추출부;
상기 오브젝트의 동작들을 정의하기 위한 동작 정의부;
상기 특징 추출부와 상기 동작 정의부를 통해 얻어진 정보를 이용하여 상기 오브젝트의 행동을 인식하는 동작 인식부;
상기 동작 인식부에서 확정된 상기 오브젝트 동작의 시퀀스를 판정하여 승단 여부를 결정해주는 판정부를 포함하되,
상기 동작 인식부는 상기 오브젝트의 동작을 분류하는 동작 분류부와, 동작을 매칭하는 동작 매칭부와, 상기 오브젝트의 동작을 확정하는 동작 확정부를 포함하고,
상기 동작 인식부는 상기 오브젝트의 각 관절의 거리편차를 고려하여 동작을 인식하고, 상기 오브젝트의 동작은 서있는 동작과 누워있는 동작으로 나뉘어져있고, 상기 오브젝트의 동작을 구별하기 위해 척추와 x축 간의 각도를 이용하는 것을 특징으로 하는 태권도 품새 인식 및 승단 심사 장치. - 삭제
- 청구항 제1항에 있어서, 상기 동작 정의부는 동작 분해부를 더 포함하는 것을 특징으로 하는 태권도 품새 인식 및 승단 심사 장치.
- 삭제
- 청구항 제1항에 있어서, 상기 동작인식부는 확정된 상기 동작들을 저장하는 사용자 동작인식 데이터베이스를 포함하는 것을 특징으로 하는 태권도 품새 인식 및 승단 심사 장치.
- 청구항 제1항에 있어서, 상기 판정부는 표준 품새동작 데이터베이스를 더 포함하고, 상기 깊이 카메라로부터 좌표를 전달받아 미리 저장되어 있는 좌표 값과 비교하여 정확도를 측정하는 것을 특징으로 하는 태권도 품새 인식 및 승단 심사 장치.
- 청구항 제6항에 있어서, 상기 정확도를 측정하는 것은 상기 동작의 시작점과 상기 동작이 끝나는 끝점 사이에 필요한 값들을 동적 시간 워프 알고리즘을 통해 정렬한 데이터를 이용해 구하고, 상기 좌표 값과 상기 정렬한 데이터를 이용해 정확도를 구하는 것을 특징으로 하는 태권도 품새 인식 및 승단 심사 장치.
- 청구항 제7항에 있어서, 상기 좌표값은 상기 오브젝트의 x, y, z 축의 좌표값인 것을 특징으로 하는 태권도 품새 인식 및 승단 심사 장치.
- 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사방법에 있어서,
깊이 카메라로부터 입력된 오브젝트의 특징을 추출하는 특징 추출단계;
상기 오브젝트의 동작들을 정의하기 위한 동작 정의단계;
상기 특징 추출단계와 상기 동작 정의단계를 통해 얻어진 정보를 이용하여 상기 오브젝트의 행동을 인식하는 동작 인식 단계;
상기 동작 인식 단계에서 확정된 상기 오브젝트 동작의 시퀀스를 판정하여 승단 여부를 결정해주는 판정단계를 포함하되,
상기 동작 인식단계는 상기 오브젝트의 동작을 분류하는 동작 분류단계와, 동작을 매칭하는 동작 매칭단계와, 상기 오브젝트의 동작을 확정하는 동작 확정단계;를 포함하고,
상기 동작 인식단계는 상기 오브젝트의 각 관절의 거리편차를 고려하여 동작을 인식하고, 상기 오브젝트의 동작은 서있는 동작과 누워있는 동작으로 나뉘어져있고, 상기 오브젝트의 동작을 구별하기 위해 척추와 x축 간의 각도를 이용하는 것을 특징으로 하는 태권도 품새 인식 및 승단 심사방법. - 삭제
- 청구항 제9항에 있어서, 상기 동작 정의단계는 동작 분해단계를 더 포함하는 것을 특징으로 하는 태권도 품새 인식 및 승단 심사방법.
- 청구항 제11항에 있어서, 상기 동작 인식단계는 상기 오브젝트의 동작을 분류하는 동작 분류단계, 동작을 매칭하는 동작 매칭단계와 상기 오브젝트의 동작을 확정하는 동작 확정단계를 포함하는 것을 특징으로 하는 태권도 품새 인식 및 승단 심사방법.
- 청구항 제9항에 있어서, 상기 동작 인식단계는 확정된 상기 동작들을 저장하는 사용자 동작인식 데이터베이스를 포함하는 것을 특징으로 하는 태권도 품새 인식 및 승단 심사방법.
- 청구항 제13항에 있어서, 상기 판정단계는 표준 품새동작 데이터베이스를 더 포함하고, 상기 깊이 카메라로부터 좌표를 전달받아 미리 저장되어 있는 좌표 값과 비교하여 정확도를 측정 단계, 태권도 품새의 연속된 시퀀스를 비교해서 판단하는 단계, 합격 기준의 충족여부를 판단해 통보하는 단계를 더 포함하는 것을 특징으로 하는 태권도 품새 인식 및 승단 심사방법.
- 청구항 제14항에 있어서, 상기 정확도를 측정하는 단계는 상기 동작의 시작점과 상기 동작이 끝나는 끝점 사이에 필요한 값들을 동적 시간 워프 알고리즘을 통해 정렬한 데이터를 이용해 구하고, 상기 좌표 값과 상기 정렬한 데이터를 이용해 정확도를 구하는 것을 특징으로 하는 태권도 품새 인식 및 승단 심사 방법.
- 청구항 제15항에 있어서, 상기 좌표 값은 상기 오브젝트의 x, y, z 축의 좌표 값인 것을 특징으로 하는 태권도 품새 인식 및 승단 심사방법.
- 청구항 제16항에 있어서, 상기 합격 기준은 상기 동작의 정확도가 60% ~ 100% 인 것을 특징으로 하는 태권도 품새 인식 및 승단 심사방법.
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP15154204.0A EP3009957A3 (en) | 2014-10-14 | 2015-02-06 | Apparatus and method for poomsae recognition and dan promotion test of taekwondo based on skeleton of human body using depth camera |
US14/629,561 US20160104298A1 (en) | 2014-10-14 | 2015-02-24 | Apparatus and method for poomsae recognition and dan promotion test of taekwondo based on skeleton of human body using depth camera |
JP2015041146A JP5986656B2 (ja) | 2014-10-14 | 2015-03-03 | 深度カメラを用いた人体の骨格に基づくテコンドープムセの認識及び昇段審査装置とその方法 |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020140138411 | 2014-10-14 | ||
KR20140138411 | 2014-10-14 |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101576106B1 true KR101576106B1 (ko) | 2015-12-10 |
Family
ID=54979200
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150006676A KR101576106B1 (ko) | 2014-10-14 | 2015-01-14 | 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치 와 그 방법 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20160104298A1 (ko) |
EP (1) | EP3009957A3 (ko) |
JP (1) | JP5986656B2 (ko) |
KR (1) | KR101576106B1 (ko) |
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018056677A1 (ko) * | 2016-09-22 | 2018-03-29 | 우하성 | 태권도 승품 및 승단 심사 전산화 시스템 및 그 운용방법 |
KR20190111304A (ko) * | 2018-03-22 | 2019-10-02 | 한국전자통신연구원 | 무술 트레이닝 시스템 및 방법 |
KR20200022788A (ko) * | 2018-08-23 | 2020-03-04 | 전자부품연구원 | 동작분석 장치 및 방법 |
KR102112236B1 (ko) | 2019-09-26 | 2020-05-18 | 주식회사 홀로웍스 | 모션 디텍팅 기반의 가상 품새 에스티메이팅 시스템 |
KR102304641B1 (ko) * | 2020-12-15 | 2021-09-24 | (주)나노아이티 | 인공지능형 태권도 품새 판독 및 교육 시스템 |
KR102381907B1 (ko) * | 2021-09-23 | 2022-04-04 | 최중구 | 태권도 동작에 대한 커리큘럼 기반의 학습 보조 방법 및 장치 |
KR102630828B1 (ko) | 2023-02-06 | 2024-01-31 | 주식회사 에이아이태권도 | 인공지능을 이용한 태권도 단체 품새 동작 평가 방법 및 장치 |
KR20240068871A (ko) | 2022-11-09 | 2024-05-20 | 주식회사 스마일스퀘어 | 학습자별 최적 동작 학습이 가능한 골프 학습 장치 및 시스템 |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101559972B1 (ko) * | 2015-04-15 | 2015-10-14 | 김태오 | 태권도 품새 단련 시스템 |
JP7067561B2 (ja) | 2017-09-05 | 2022-05-16 | 富士通株式会社 | 採点方法、採点プログラムおよび採点装置 |
EP3726468A4 (en) | 2017-12-14 | 2020-12-16 | Fujitsu Limited | PROGRAM DETECTION PROGRAM, PROCEDURE DETECTION METHOD, AND PROCEDURE DETECTION SYSTEM |
CN111527520A (zh) | 2017-12-27 | 2020-08-11 | 富士通株式会社 | 提取程序、提取方法以及信息处理装置 |
CN110098961B (zh) * | 2019-04-25 | 2022-04-01 | 北京天融信网络安全技术有限公司 | 一种数据质量评估方法、装置及存储介质 |
WO2022034771A1 (ja) | 2020-08-11 | 2022-02-17 | 株式会社三菱ケミカルホールディングス | プログラム、方法、情報処理装置 |
CN111950485B (zh) * | 2020-08-18 | 2022-06-17 | 中科人工智能创新技术研究院(青岛)有限公司 | 一种基于人体骨架的人体行为识别方法及*** |
US11854305B2 (en) | 2021-05-09 | 2023-12-26 | International Business Machines Corporation | Skeleton-based action recognition using bi-directional spatial-temporal transformer |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100607046B1 (ko) * | 2004-09-09 | 2006-08-01 | 주식회사 쿼터뷰 | 체감형 게임용 화상처리 방법 및 이를 이용한 게임 방법 |
KR101428922B1 (ko) * | 2013-04-19 | 2014-08-11 | 한밭대학교 산학협력단 | 퍼지 시스템을 이용한 골프 스윙 분류 장치 및 방법 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100430840B1 (ko) * | 2001-11-19 | 2004-05-10 | 쓰리에스휴먼 주식회사 | 동작비교를 통한 자세교정 운동 장치 및 동작비교 방법,이 동작비교 방법을 저장한 기록매체 |
JP2011090273A (ja) * | 2009-10-23 | 2011-05-06 | Tomonori Shiraishi | ヴァーチャル対戦による段位認定システム |
JP2013101529A (ja) * | 2011-11-09 | 2013-05-23 | Sony Corp | 情報処理装置、表示制御方法、およびプログラム |
US20140267611A1 (en) * | 2013-03-14 | 2014-09-18 | Microsoft Corporation | Runtime engine for analyzing user motion in 3d images |
US9875664B2 (en) * | 2014-06-02 | 2018-01-23 | Xerox Corporation | Virtual trainer optimizer method and system |
-
2015
- 2015-01-14 KR KR1020150006676A patent/KR101576106B1/ko active IP Right Grant
- 2015-02-06 EP EP15154204.0A patent/EP3009957A3/en not_active Withdrawn
- 2015-02-24 US US14/629,561 patent/US20160104298A1/en not_active Abandoned
- 2015-03-03 JP JP2015041146A patent/JP5986656B2/ja not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100607046B1 (ko) * | 2004-09-09 | 2006-08-01 | 주식회사 쿼터뷰 | 체감형 게임용 화상처리 방법 및 이를 이용한 게임 방법 |
KR101428922B1 (ko) * | 2013-04-19 | 2014-08-11 | 한밭대학교 산학협력단 | 퍼지 시스템을 이용한 골프 스윙 분류 장치 및 방법 |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2018056677A1 (ko) * | 2016-09-22 | 2018-03-29 | 우하성 | 태권도 승품 및 승단 심사 전산화 시스템 및 그 운용방법 |
KR20190111304A (ko) * | 2018-03-22 | 2019-10-02 | 한국전자통신연구원 | 무술 트레이닝 시스템 및 방법 |
KR102331890B1 (ko) * | 2018-03-22 | 2021-11-29 | 한국전자통신연구원 | 무술 트레이닝 시스템 및 방법 |
KR20200022788A (ko) * | 2018-08-23 | 2020-03-04 | 전자부품연구원 | 동작분석 장치 및 방법 |
KR102238085B1 (ko) * | 2018-08-23 | 2021-04-08 | 한국전자기술연구원 | 동작분석 장치 및 방법 |
KR102112236B1 (ko) | 2019-09-26 | 2020-05-18 | 주식회사 홀로웍스 | 모션 디텍팅 기반의 가상 품새 에스티메이팅 시스템 |
KR102304641B1 (ko) * | 2020-12-15 | 2021-09-24 | (주)나노아이티 | 인공지능형 태권도 품새 판독 및 교육 시스템 |
KR102381907B1 (ko) * | 2021-09-23 | 2022-04-04 | 최중구 | 태권도 동작에 대한 커리큘럼 기반의 학습 보조 방법 및 장치 |
KR20240068871A (ko) | 2022-11-09 | 2024-05-20 | 주식회사 스마일스퀘어 | 학습자별 최적 동작 학습이 가능한 골프 학습 장치 및 시스템 |
KR102630828B1 (ko) | 2023-02-06 | 2024-01-31 | 주식회사 에이아이태권도 | 인공지능을 이용한 태권도 단체 품새 동작 평가 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
EP3009957A2 (en) | 2016-04-20 |
JP5986656B2 (ja) | 2016-09-06 |
US20160104298A1 (en) | 2016-04-14 |
JP2016081504A (ja) | 2016-05-16 |
EP3009957A3 (en) | 2016-05-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101576106B1 (ko) | 깊이 카메라를 이용한 인체골격 기반의 태권도 품새 인식 및 승단 심사 장치 와 그 방법 | |
US9898651B2 (en) | Upper-body skeleton extraction from depth maps | |
US8428306B2 (en) | Information processor and information processing method for performing process adapted to user motion | |
EP3035164B1 (en) | Wearable sensor for tracking articulated body-parts | |
US8488888B2 (en) | Classification of posture states | |
CN108845668B (zh) | 人机交互***和方法 | |
CN104063677B (zh) | 用于估计人体姿态的设备和方法 | |
US8638987B2 (en) | Image-based hand detection apparatus and method | |
Maisto et al. | An accurate algorithm for the identification of fingertips using an RGB-D camera | |
KR101360149B1 (ko) | 센서리스 기반 손가락 모션 트래킹 방법 및 그 장치 | |
KR20110139694A (ko) | 제스쳐 인식 방법 및 시스템 | |
US9008442B2 (en) | Information processing apparatus, information processing method, and computer program | |
Parra-Dominguez et al. | 3D human motion analysis to detect abnormal events on stairs | |
KR101436050B1 (ko) | 손모양 깊이영상 데이터베이스 구축방법, 손모양 인식방법 및 손모양 인식 장치 | |
JP2011115460A (ja) | 視線制御装置、視線制御方法、及びそのプログラム | |
CN106933343A (zh) | 用于识别虚拟现实头戴装置中的手势的设备和方法 | |
JP2017117341A (ja) | 物体検出方法、装置、及びプログラム | |
KR101818198B1 (ko) | 다방향 인식을 이용한 태권도 동작 평가 장치 및 방법 | |
US20200272810A1 (en) | Response apparatus and response method | |
JP2009288917A (ja) | 情報処理装置、情報処理方法、およびプログラム | |
CN110991292A (zh) | 动作识别比对方法、***、计算机存储介质和电子装置 | |
CN103870814A (zh) | 基于智能相机的非接触式实时眼动识别方法 | |
Bansal et al. | Elderly people fall detection system using skeleton tracking and recognition | |
KR101861096B1 (ko) | 사용자의 손 동작을 인식하여 화면에 표시되는 정보를 제어하는 방법 및 장치 | |
JP6303918B2 (ja) | ジェスチャ管理システム、ジェスチャ管理プログラム、ジェスチャ管理方法および指さし認識装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20191113 Year of fee payment: 5 |