KR101962045B1 - 안무 평가 장치 및 방법 - Google Patents

안무 평가 장치 및 방법 Download PDF

Info

Publication number
KR101962045B1
KR101962045B1 KR1020170184573A KR20170184573A KR101962045B1 KR 101962045 B1 KR101962045 B1 KR 101962045B1 KR 1020170184573 A KR1020170184573 A KR 1020170184573A KR 20170184573 A KR20170184573 A KR 20170184573A KR 101962045 B1 KR101962045 B1 KR 101962045B1
Authority
KR
South Korea
Prior art keywords
joint
data
choreography
learner
unit
Prior art date
Application number
KR1020170184573A
Other languages
English (en)
Inventor
김연호
김대진
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR1020170184573A priority Critical patent/KR101962045B1/ko
Application granted granted Critical
Publication of KR101962045B1 publication Critical patent/KR101962045B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06K9/00342—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

상기 안무 평가 장치 및 방법이 개시된다. 상기 안무 평가 장치 및 방법은 자세 추정부 및 안무 비교부를 포함함으로써, 복잡한 자세가 많은 안무 동작에서도 관절의 위치 파악이 용이하고, 몸통 및 사지의 움직임까지 분석함으로써, 고성능, 고정밀, 고신뢰성의 안무 평가 장치가 제공될 수 있다.

Description

안무 평가 장치 및 방법{APPARATUS AND METHOD FOR TESTING 3-DIMENSIONAL POSITION}
본 발명은 안무 평가 장치 및 방법에 관한 것으로, 더욱 상세하게는 깊이 영상을 이용하여, 학습자의 안무를 평가하는 안무 평가 장치 및 방법에 관한 것이다.
새로운 문화 콘텐츠로, 가수들의 안무를 그대로 모방해 표현하는 커버댄스가 젊은 층 사이에서 유행하고 있다.
이에 따라, 종래의 안무 습득을 희망하는 사람들은 전문가를 통해 지도를 받거나 또는 영상 매체 등을 통한 독학으로 안무를 습득하였다.
그러나, 전문가를 통한 강습 방법은 비용 및 시간 측면에서 비효율적이며, 독학의 경우, 정확한 동작 습득이 어려운 단점이 있었다.
최근에는 정보 기술 발전에 의해, 모션캡쳐 기술 및 동작 감지 센서에 의한 안무 평가 방법 등이 제공되고 있다.
그러나, 모션캡처 기술 및 동작 감지 센서를 이용한 안무 평가 방법의 경우, 간단한 안무 동작의 자세 검사는 가능하나, 정밀한 동작 자세를 학습하는 데에는 한계가 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은 고정밀 및 고신뢰성의 안무 평가 장치를 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은 고정밀 및 고신뢰성의 안무 평가 방법을 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 실시예에 따라 안무자와 학습자의 안무를 평가하는 안무 평가 장치는, 깊이 영상(Depth Image) 데이터로부터 관절의 초기 위치를 추적 및 검증하여 안무자 및 학습자의 안무 자세를 추정하는 자세 추정부 및 상기 자세 추정부로부터 산출된 관절의 위치를 바탕으로 안무 특성을 추출하여 안무자 및 학습자의 안무 동작을 비교 및 평가하는 안무 비교부를 포함한다.
상기 자세 추정부는 안무자 및 학습자의 신체 정보, 자세 정보 및 세부 정보 중 적어도 하나의 정보가 합성된 상기 깊이 영상 데이터 및 운동 모델(Kinemetic Model)을 생성하는 데이터 생성부 및 상기 깊이 영상 데이터로부터 신체 관절의 초기 위치 정보를 추출하고, 상기 신체 관절의 이동 예측 위치를 추정하는 데이터 학습부를 포함를 포함할 수 있다.
상기 데이터 학습부는 랜덤 포레스트(Random Forest)를 이용하여 상기 깊이 영상 데이터로부터 신체 관절의 초기 위치 정보를 추출하는 제1 데이터 학습부 및 산등성이 데이터(Ridge Data)를 이용하여 상기 신체 관절의 이동 예측 위치를 추정하는 제2 데이터 학습부를 포함할 수 있다.
상기 신체 관절 간의 거리 정보 및 특정 관절 사이의 각도 정보를 포함하는 상기 운동 모델(Kinemetic Model)을 이용하여, 상기 제2 데이터 학습부의 상기 신체 관절의 이동 예측 위치를 검증할 수 있다.
상기 안무 비교부는 안무자 및 학습자의 안무 특징을 추출하는 특징 추출부 및 안무자 및 학습자의 추출된 상기 안무 특징을 각각 비교하여 안무 정확도를 측정하는 특징 비교부를 포함할 수 있다.
상기 특징 추출부는 상기 자세 추정부로부터 추출된 관절의 위치 데이터로부터 몸통 특징 벡터를 추출 및 분석하는 몸통 특징부 및 상기 관절 위치 데이터로부터 관절 특징 벡터를 추출 및 분석하는 관절 특징부를 포함할 수 있다.
상기 몸통 특징부는 몸통의 중심 관절을 기준으로 상반부에 위치한 복수의 몸통 관절들의 3차원 공간에서의 이동 방향을 결정하여 몸통 벡터를 산출하는 몸통 특징 추출부 및 상기 산출된 몸통 벡터로부터 몸통의 움직임을 분석하는 몸통 특징 분석부를 포함할 수 있다.
이때, 상기 몸통 특징 추출부는 제1 좌표를 기준으로, 좌우 어깨 관절들 및 상기 몸통 중심 관절의 위치들의 제1 몸통 특징 벡터를 산출하는 제1 몸통 특징 추출부 및 제2 좌표를 기준으로, 좌우 고관절들 및 몸통 중심 관절의 위치들의 제1 몸통 특징 벡터를 산출하는 제2 몸통 특징 추출부를 포함하되, 상기 제1 좌표는 좌우 어깨 관절들을 잇는 직선을 x축으로 하고, 상기 x축에 수직이며 몸통 중심 관절을 잇는 직선을 y축으로 하며, 상기 x축 및 상기 y축을 직교하는 직선을 z축으로 하는 좌표이고, 상기 제2 좌표는 좌우 고관절들을 잇는 직선을 x축으로 하고, 상기 x축에 수직이며, 몸통 중심 관절을 잇는 직선을 y축으로 하며, 상기 x축 및 상기 y축을 직교하는 직선을 z축으로 하는 좌표일 수 있다.
상기 특징 비교부는 안무자 및 학습자 간의 상기 안무 동작의 타이밍 정확도를 산출하는 제1 특징 비교부, 안무자 및 학습자 간의 상기 안무 동작의 자세 정확도를 산출하는 제2 특징 비교부 및 상기 안무 동작의 타이밍 정확도 및 상기 자세 정확도를 합산하여, 상기 안무 동작의 전체 정확도를 산출할 수 있다.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따라 안무자와 학습자의 안무를 평가하는 안무 평가 방법은, 안무자 및 학습자의 깊이 영상 데이터로부터 자세를 각각 추정하는 단계, 안무자 및 학습자의 안무 동작을 각각 추출하는 단계 및 안무자 및 학습자의 안무 동작에 대한 안무 정확도를 산출하는 단계를 포함한다.
이때, 상기 자세를 각각 추정하는 단계는 관절의 위치 정보를 추출하는 단계, 상기 관절의 초기 위치를 검출하는 단계, 운동 모델(kinematic model)을 생성하는 단계, 상기 관절의 위치를 예측하는 단계 및 예측된 상기 관절의 위치 타당성을 검증하는 단계를 포함할 수 있다.
본 발명의 실시예에 따른 안무 평가 장치 및 방법은 자세 추정부에 깊이 영상 데이터 내의 관절의 초기 위치 검출 및 예측 위치 추정을 실시함으로써, 복잡한 자세가 많은 안무 동작에서도 관절의 위치 파악이 용이한 고정밀 및 고신뢰성의 안무 평가 장치 및 방법이 제공될 수 있다.
또한, 안무 비교부에 의해 몸통 및 사지의 움직임을 분석함으로써, 전문 안무자 없이 학습자 혼자서도 안무 연습이 가능한 고효율의 안무 평가 장치 및 방법이 제공될 수 있다.
도 1은 본 발명의 실시예에 따른 안무 평가 장치의 블록 구성도이다.
도 2는 본 발명의 실시예에 따른 안무 평가 장치 내 특징 추출부의 블록 구성도이다.
도 3은 본 발명의 실시예에 따른 안무 평가 장치의 특징 추출부 내 몸통 특징부를 설명하기 위한 개념도이다.
도 4는 본 발명의 실시예에 따른 안무 평가 장치의 특징 추출부 내 관절 특징부를 설명하기 위한 개념도이다.
도 5는 본 발명의 실시예에 따른 안무 평가 방법 내 자세를 추정하는 단계를 설명하기 위한 순서도이다.
도 6은 본 발명의 실시예에 따른 안무 평가 방법 내 자세를 추정하는 단계를 설명하기 위한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다. 이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 안무 평가 장치의 블록 구성도이다.
도 1을 참조하면, 안무 평가 장치는 깊이 영상(Depth Image)를 이용하여 학습자의 안무 동작을 평가할 수 있다. 이때, 깊이 영상(Depth Image)은 3차원 공간 상의 안무자 및/또는 학습자의 위치로부터 깊이 영상 카메라(Depth Camera)까지의 거리 정보를 각각 픽셀 값으로 저장한 영상일 수 있다.
안무 평가 장치는 자세 추정부(1000) 및 안무 비교부(5000)를 포함할 수 있다. 자세 추정부(1000)는 안무자 및 학습자로부터 관절의 위치 데이터를 각각 추출할 수 있다. 보다 구체적으로 설명하면, 자세 추정부(1000)는 데이터 생성부(1100) 및 데이터 학습부(1500)를 포함할 수 있다.
데이터 생성부(1100)는 후술될 데이터 학습부(1500)의 학습 데이터 생성을 위해, 적어도 하나의 신체 모델을 생성 및 저장할 수 있다. 이때, 신체 모델은 적어도 하나의 신체 외형을 표현한 3차원 입체 모델일 수 있다. 상기 신체 모델은 DB 형태로 저장될 수 있다.
보다 구체적으로 설명하면, 데이터 생성부(1100)는 상기 신체 모델을 생성하기 위해, 제1 정보로부터 기초 모델을 생성할 수 있다. 이때, 제1 정보는 신장, 체형 및/또는 성별 중 적어도 하나를 포함하는 신체 정보일 수 있으며, 기초 모델은 3차원 모델링 기법에 의해 제공될 수 있다.
데이터 생성부(1100)는 생성된 기초 모델에 제2 정보를 반영할 수 있다. 이때, 제2 정보는 신체로 표현할 수 있는 적어도 하나의 자세 정보일 수 있다. 이에 따라, 데이터 생성부(1100)는 자세 정보가 반영된 기초 모델로부터 개별 관절의 3차원 위치 정보를 획득할 수 있다.
또한, 데이터 생성부(1100)는 신체 정보 및 자세 정보가 반영된 임의의 기초 모델 및 깊이 영상(Depth Image)을 합성할 수 있다. 이때, 데이터 생성부(1100)는 깊이 영상(Depth Image)에 매칭되도록 임의 선택된 기초 모델의 세부 정보를 변형하거나 및/또는 첨부할 수 있다. 여기서, 세부 정보는 신체 구성의 길이 및 크기, 악세서리 착용 유무 및 착용 의상 종류 등의 정보일 수 있다.
따라서, 데이터 생성부(1100)는 개별 관절의 3차원 위치 정보 및 깊이 영상(Depth Image) 형태의 적어도 하나의 신체 모델을 생성 및 저장할 수 있다. 예를 들어, 데이터 생성부(1100)는 개별 관절의 3차원 위치 정보 및 신체 모델을 DB 형태로 저장할 수 있다.
데이터 학습부(1500)는 깊이 영상(Depth Image)로부터 안무자 및/또는 학습자의 관절을 파악하여 자세를 추정할 수 있다.
데이터 학습부(1500)는 깊이 영상(Depth Image)로부터 관절을 검출하여 자세를 추정하는 제1 데이터 학습부(1510) 및 검출된 관절을 추적하는 제2 데이터 학습부(1550)를 포함할 수 있다.
제1 데이터 학습부(1510)는 관절의 초기 위치 정보를 산출할 수 있다. 실시예에 따르면, 제1 데이터 학습부(1510)는 관절별 랜덤 포레스트(Random Forest) 학습을 이용하여 관절을 검출할 수 있다.
예를 들어, 랜덤 포레스트(Random Forest)를 이용하는 제1 데이터 학습부(1510)는 데이터 생성부(1100)로부터 저장된 적어도 하나의 신체 모델로부터 학습 데이터를 생성할 수 있다. 이때, 제1 데이터 학습부(1510)는 생성된 학습 데이터로부터 특정 관절로의 3차원 방향 정보를 함께 생성할 수 있다.
보다 구체적으로 설명하면, 제1 데이터 학습부(1510)는 개별 관절을 위해 학습된 랜덤 포레스트(Random Forest)에 임의의 3차원 위치를 입력할 수 있다.
제1 데이터 학습부(1510)는 깊이 영상(Depth Image) 카메라의 내부 파라미터를 이용하여 3차원 좌표를 2차원 영상에 투영시켜 2차원 위치를 찾을 수 있다.
2차원 위치 산출 후, 제1 데이터 학습부(1510)는 Tree 탐색을 실시할 수 있다. 이에 따라, 제1 데이터 학습부(1510)는 상기 위치로부터 해당 관절이 발견될 확률을 산출할 수 있다.
이후, 제1 데이터 학습부(1510)는 단말 노드에 저장된 확률 별 방향 정보에 따라, 확률값에 따른 임의의 방향을 선택하여 이동할 수 있다. 이에 따라, 제1 데이터 학습부(1510)는 3차원 위치를 산출할 수 있다.
제1 데이터 학습부(1510)는 3차원 위치를 산출하는 상기 과정들을 임의의 횟수만큼 반복 진행함으로써, 복수의 3차원 위치 좌표들을 산출할 수 있다.
또한, 제1 데이터 학습부(1510)는 산출된 복수의 3차원 위치 좌표들의 평균을 산출함으로써, 특정 관절의 위치를 추정할 수 있다. 이때, 특정 관절의 위치 추정은 몸통 관절을 시작으로하여, 각 사지와 머리 쪽으로 순차적으로 산출할 수 있다. 다시 말하면, 제1 데이터 학습부(1510)는 전체 학습 데이터에 대한 정보 이득(Information Gain)을 최대로 하는 분리 조건을 획득하는 형태로 학습될 수 있다.
랜덤 포레스트(Random Forest)를 이용한 모든 관절의 초기 위치 정보 산출 후, 제1 데이터 학습부(1510)는 운동 모델(Kinematic Model)을 생성할 수 있다. 보다 구체적으로 설명하면, 제1 데이터 학습부(1510)는 각 관절 간의 거리 정보 및/또는 특정 관절 사이의 각도 정보를 이용하여 안무자 및/또는 학습자의 운동 모델(Kinematic Model)을 생성할 수 있다.
제1 데이터 학습부(1510)로부터 추출된 초기 관절 위치 정보 및/또는 운동 모델(Kinematic Model)들은 후술될 제2 데이터 학습부(1550)로 송신되어 이용될 수 있다.
제2 데이터 학습부(1550)는 앞서 설명된 바와 같이, 제1 데이터 학습부(1510)로부터 수신된 초기 관절 위치 정보 및/또는 운동 모델(Kinematic Model)들을 활용하여, 관절의 위치를 추정할 수 있다.
실시예에 따르면, 제2 데이터 학습부(1550)는 산등성이 데이터(Ridge Data) 학습을 이용하여 관절을 검출할 수 있다.
예를 들어, 산등성이 데이터(Ridge Data)를 이용하는 제2 데이터 학습부(1550)는 산등성이 데이터(Ridge Data)를 추출할 수 있다.
보다 구체적으로 설명하면, 제2 데이터 학습부(1550)는 외곽 깊이 영상(Edge Depth Image)을 이용하여 안무자 및/또는 학습자의 뼈대 정보를 추출할 수 있다. 이때, 산등성이 데이터(Ridge Data)의 추출 시 사용되는 매개변수는 실재 거리 정보를 이용할 수 있다.
이에 따라, 본 발명의 실시예에 따른 안무 평가 장치의 제2 데이터 학습부는 종래의 2차원 영상 대비 신뢰도 높은 외곽 깊이 영상(Edge Depth Image)을 이용하여 산등성이 데이터(Ridge Data)를 산출하며, 외곽 깊이 영상(Edge Depth Image)의 2차원 변환 시 별도의 매개변수가 필요하지 않으므로, 고신뢰성의 안무 평가 장치가 제공될 수 있다.
산등성이 데이터(Ridge Data)를 산출 후, 제2 데이터 학습부(1550)는 개별 관절이 발견될 가능성이 높은 위치를 예측할 수 있다.
보다 구체적으로 설명하면, 제2 데이터 학습부(1550)는 개별 관절 당 이전에 추출된 외곽 깊이 영상(Edge Depth Image)까지의 이동 경로를 분석할 수 있다.
이후, 제2 데이터 학습부(1550)는 분석된 이동 경로 데이터를 바탕으로, 해당 관절이 발견될 가능성이 높은 위치를 예측할 수 있다. 실시예에 따르면, 제2 데이터 학습부(1550)는 개별 관절의 속도 모델을 이용하여 상기 관절의 발견 가능성이 높은 위치를 예측할 수 있다.
이때, 속도 모델은 관절에 따라 직선 운동 혹은 회전 운동으로 정의할 수 있다.
일 실시예에 따르면, 머리 관절 및/또는 몸통 관절의 경우, 속도 모델은 직선 운동 모델로 적용할 수 있다.
다른 실시예에 따르면, 팔꿈치 관절 및/또는 손목 관절의 경우, 속도 모델은 부모 관절을 기준으로 회전 운동 모델로 적용할 수 있다.
개별 관절의 위치 예측 후, 제2 데이터 학습부(1550)는 해당 관절의 위치 주변의 산등성이 데이터(Ridge Data) 혹은 깊이 영상 데이터(Depth Image Data)를 수집할 수 있다.
이후, 제2 데이터 학습부(1550)는 해당 관절에 대해 수집된 상기 데이터들 중에서 무의미한 데이터를 제거할 수 있다. 실시예에 따르면, 제2 데이터 학습부(1550)는 운동 모델(Kinematic Model)에 정의된 길이 정보 및 각도 정보를 이용하여, 무의미한 데이터를 제거할 수 있다. 따라서, 제2 데이터 학습부(1550)는 해당 관절과 관련된 관련 데이터를 추출하여, 해당 관절의 위치 추정 및 검증을 진행할 수 있다.
실시예에 따르면, 제2 데이터 학습부(1550)는 관련 데이터 중 산등성이 데이터(Ridge Data)를 이용하여 해당 관절의 위치를 추정할 수 있다.
또한, 제2 데이터 학습부(1550)는 관련 데이터 중 깊이 영상 데이터(Depth Image Data)를 이용하여 상기 추정된 해당 관절의 위치 타당성을 검증할 수 있다. 예를 들어, 제2 데이터 학습부(1550)는 산등성이 데이터(Ridge Data)를 이용하여 추정된 해당 관절의 위치로부터 깊이 영상 데이터(Depth Image Data)까지의 수직 성분을 산출할 수 있다. 이후, 제2 데이터 학습부(1550)는 산출된 수직 성분의 길이를 기준으로 위치 타당성을 판단할 수 있다. 예를 들어, 제2 데이터 학습부(1550)는 산출된 수직 성분의 길이가 일정할 경우, 산등성이 데이터(Ridge Data)에 의해 추정된 상기 해당 관절의 위치가 타당하다고 판단할 수 있다.
이후, 제2 데이터 학습부(1550)는 안무자 및/또는 학습자의 관절 위치를 추정한 이후, 운동 모델(Kinematic Model)의 파라미터를 일정 주기마다 갱신할 수 있다.
실시예에 따르면, 제2 데이터 학습부(1550)는 일정 비율로 기존의 파라미터 및 신규 획득한 파라미터를 융합하여 갱신할 수 있다. 이때, 신규 획득한 파라미터 및 기존 파라미터의 차이가 일정 수준 이상일 경우, 제2 데이터 학습부(1550)는 신규 획득한 파라미터를 갱신하지 않고, 기존 파라미터를 유지할 수 있다.
본 발명의 실시예에 따른 안무 평가 장치 내 데이터 학습부는 안무자 및/또는 학습자의 관절의 위치를 추정 및 추적함으로써, 신체의 회전이나 사지의 움직임에 의해 가려져 인식이 어려운 신체 관절들의 위치까지도 검출될 수 있다.
또한, 상기 관절들의 위치 및 안무자 및/또는 학습자의 운동 정보(Kinematic Information)를 이용하면 음영 지역에 있는 신체 관절들도 추론이 가능할 수 있다. 따라서, 복잡한 자세가 많은 안무 동작에서도 관절의 위치 파악이 용이함으로써, 고성능 및 고정밀의 안무 평가 장치가 제공될 수 있다.
안무 비교부(5000)는 안무자 및 학습자의 안무 특징을 각각 추출하고, 이를 비교하여 안무 정확도를 측정할 수 있다.
보다 구체적으로 설명하면, 안무 비교부(5000)는 특징 추출부(5100) 및 특징 비교부(5500)를 포함할 수 있다.
도 2는 본 발명의 실시예에 따른 안무 평가 장치 내 특징 추출부의 블록 구성도이다.
도 2를 참조하면, 특징 추출부(5100)는 안무자 및 학습자의 안무 특징을 추출할 수 있다. 실시예에 따르면, 안무 특징은 앞서 설명된 바와 같이, 자세 추정부(1000)로부터 추출된 관절 위치 데이터로부터 추출할 수 있다.
특징 추출부(5100)는 안무 특징을 구성하는 몸통 특징부(5110) 및 관절 특징부(5150)을 포함할 수 있다.
도 3은 본 발명의 실시예에 따른 안무 평가 장치의 특징 추출부 내 몸통 특징부를 설명하기 위한 개념도이다.
도 3을 참조하면, 몸통 특징부(5110)는 관절 위치 데이터로부터 몸통 특징 벡터를 추출하고, 이를 분석할 수 있다. 실시예에 따르면, 몸통 특징부(5110)는 몸통 특징 추출부(5111) 및 몸통 특징 분석부(5115)를 포함할 수 있다.
몸통 특징부(5110)는 몸통 내 5개의 관절을 이용하여 몸통 특징 벡터를 산출 및 분석할 수 있다. 보다 구체적으로 설명하면, 몸통 특징 추출부(5111)는 제1 몸통 특징 추출부(5111A) 및 제2 몸통 특징 추출부(5111B)를 포함할 수 있다.
제1 몸통 특징 추출부(5111A)는 몸통의 중심 관절(T)을 기준으로 상반부에 위치한 복수의 몸통 관절들의 3차원 공간에서의 제1 방향을 결정할 수 있다. 이에 따라, 제1 몸통 특징 추출부(5111A)는 복수의 몸통 관절(T, LS, LR, HS, HR)들의 위치 및 방향을 토대로, 적어도 하나의 제1 몸통 벡터를 산출할 수 있다.
예를 들어, 제1 몸통 특징 추출부(5111A)는 좌우 어깨 관절(LS, LR)들을 잇는 직선을 x축으로 하고, 상기 x축에 수직이며 몸통 중심 관절(T)을 잇는 직선을 y축으로 하며, 상기 x축 및 상기 y축을 직교하는 직선을 z축으로 하는 제1 좌표를 생성할 수 있다.
제1 몸통 특징 추출부(5111A)는 제1 좌표를 기준으로, 좌우 어깨 관절(LS, LR)들 및 몸통 중심 관절(T)의 위치들의 특징 벡터를 산출할 수 있다. 다시 말하면, 제1 몸통 특징 추출부(5111A)는 제1 좌표를 기준으로, 좌우 어깨 관절(LS, LR)들 및 몸통 중심 관절(T) 위치들의 적어도 하나의 제1 몸통 벡터를 산출할 수 있다.
제2 몸통 특징 추출부(5111B)는 몸통의 중심 관절(T)을 기준으로 하반부에 위치한 복수의 몸통 관절들의 3차원 공간에서의 제2 방향을 결정할 수 있다. 이에 따라, 제2 몸통 특징 추출부(5111B)는 복수의 몸통 관절들의 위치 및 방향을 토대로, 적어도 하나의 제2 몸통 특징 벡터를 산출할 수 있다.
예를 들어, 제2 몸통 특징 추출부(5111B)는 좌우 고관절(HS, HR)들을 잇는 직선을 x축으로 하고, 상기 x축에 수직이며, 몸통 중심 관절(T)을 잇는 직선을 y축으로 하며, 상기 x축 및 상기 y축을 직교하는 직선을 z축으로 하는 제2 좌표를 생성할 수 있다.
제2 몸통 특징 추출부(5111B)는 제2 좌표를 기준으로, 좌우 고관절(HS, HR)들 및 몸통 중심 관절(T)의 위치들의 특징 벡터를 산출할 수 있다. 다시 말하면, 제2 몸통 특징 추출부(5111B)는 제2 좌표를 기준으로, 좌우 고관절(HS, HR)들 및 몸통 중심 관절(T) 위치들의 적어도 하나의 제2 몸통 특징 벡터를 산출할 수 있다.
다시 도 2를 참조하면, 몸통 특징 분석부(5115)는 몸통 특징 추출부(5111)로부터 추출된 특징 벡터들로부터 몸통의 움직임을 분석할 수 있다.
보다 구체적으로 설명하면, 몸통 특징 분석부(5115)는 제1 몸통 특징 분석부(5115A), 제2 몸통 특징 분석부(5115B), 제3 몸통 특징 분석부(5115C) 및 제4 몸통 특징 분석부(5115D)를 포함할 수 있다.
제1 몸통 특징 분석부(5115A)는 몸통의 회전 정보를 분석할 수 있다. 예를 들어, 제1 몸통 특징 분석부(5115A)는 이전 영상에서 산출된 제1 방향 대비 현재 영상에서 산출된 제1 방향의 차를 계산하여, 제1 좌표 상의 3차원 데이터 형태로 표현할 수 있다.
제2 몸통 특징 분석부(5115B)는 몸통의 구부림 정도를 분석할 수 있다. 예를 들어, 제2 몸통 특징 분석부(5115B)는 현재 영상에서의 제1 방향 및 제2 방향의 x 축 사이의 각도를 산출하여 분석할 수 있다.
제3 몸통 특징 분석부(5115C)는 몸통의 뒤틀림 정도를 분석할 수 있다. 예를 들어, 제3 몸통 특징 분석부(5115C)는 현재 영상에서의 제1 방향 및 제2 방향의 y축 사이의 각도를 산출하여 분석할 수 있다.
제4 몸통 특징 분석부(5115D)는 몸통의 꺾임 정도를 분석할 수 있다. 예를 들어, 제4 몸통 특징 분석부(5115D)는 현재 영상에서의 제1 방향 및 제2 방향의 z축 사이의 각도를 산출하여 분석할 수 있다.
도 4는 본 발명의 실시예에 따른 안무 평가 장치의 특징 추출부 내 관절 특징부를 설명하기 위한 개념도이다. 보다 구체적으로, 도 4의 (a)는 제1 관절 특징부를 설명하기 위한 개념도이고, 도 4의 (b)는 제2 관절 특징부를 설명하기 위한 개념도이다. 이때, LS는 부모 관절, LE는 자식 관절일 수 있다.
도 4를 참조하면, 관절 특징부(5150)는 관절 위치 데이터로부터 관절 특징 벡터를 추출하고, 이를 분석할 수 있다. 실시예에 따르면, 관절 특징부(5150)는 제1 관절 특징부(5151) 및 제2 관절 특징부(5155)를 포함할 수 있다.
제1 관절 특징부(5151)는 팔꿈치 관절 및 무릎 관절의 경사도 및 방위각을 산출하여 특징 벡터를 산출할 수 있다. 보다 구체적으로 설명하면, 제1 관절 특징부(5151)는 제1 관절 특징 추출부A(5151A) 및 제1 관절 특징 추출부B(5151B)를 포함할 수 있다.
제1 관절 특징 추출부A(5151A)는 경사도를 산출할 수 있다. 일 실시예에 따르면, 제1 관절 특징 추출부A(5151A)가 팔꿈치 관절의 경사도를 산출할 경우, 제1 좌표 상에서 팔꿈치 관절과 y축 사이의 각도로 산출될 수 있다.
다른 실시예에 따르면, 제1 관절 특징 추출부A(5151A)가 무릎 관절의 경사도를 산출할 경우, 제2 좌표 상에서 무릎 관절과 y축 사이의 각도로 산출될 수 있다.
제1 관절 특징 추출부B(5151B)는 방위각을 산출할 수 있다. 일 실시예에 따르면, 제1 관절 특징 추출부B(5151B)가 팔꿈치 관절의 방위각을 산출할 경우, 제1 좌표 상에서 팔꿈치 관절과 x축 사이의 각도로 산출될 수 있다.
다른 실시예에 따르면, 제1 관절 특징 추출부B(5151B)가 무릎 관절의 방위각을 산출할 경우, 제2 좌표 상에서 무릎 관절과 x축 사이의 각도로 산출될 수 있다.
제2 관절 특징부(5155)는 손목 관절 및 발목 관절의 경사도 및 방위각을 산출하여 특징 벡터를 산출할 수 있다. 보다 구체적으로 설명하면, 제2 관절 특징부(5155)는 제2 관절 특징 추출부A(5155A) 및 제2 관절 특징 추출부B(5155B)를 포함할 수 있다.
제2 관절 특징 추출부A(5155A)는 경사도를 산출할 수 있다. 일 실시예에 따르면, 제2 관절 특징 추출부A(5155A)가 손목 관절의 경사도를 산출할 경우, 팔꿈치 관절의 y축 방향 및 손목 관절 사이의 각도로 산출될 수 있다.
다른 실시예에 따르면, 제2 관절 특징 추출부A(5155A)가 발목 관절의 경사도를 산출할 경우, 무릎 관절의 y축 방향 및 발목 관절 사이의 각도로 산출될 수 있다.
이때, 팔꿈치 관절 및 무릎 관절의 y축 방향들은 직접적으로 계산하기 어려우므로, 각각 제1 좌표 및 제2 좌표 상의 y축이 직교하는 평면에 투영하여 결정할 수 있다.
제2 관절 특징 추출부B(5155B)는 방위각을 산출할 수 있다. 일 실시예에 따르면, 제2 관절 특징 추출부B(5155B)가 손목 관절의 방위각을 산출할 경우, 팔꿈치 안무 관절의 x축 방향 및 손목 관절 사이의 각도로 산출될 수 있다.
다른 실시예에 따르면, 제2 관절 특징 추출부B(5155B)가 발목 관절의 방위각을 산출할 경우, 무릎 관절의 x축 방향 및 발목 관절 사이의 각도로 산출될 수 있다.
이때, 팔꿈치 관절 및 무릎 관절의 x축 방향들은 앞서 설명된 y축 방향들과 같이, 직접적으로 계산하기 어려우므로, 각각 제1 좌표 및 제2 좌표 상의 x축이 직교하는 평면에 투영하여 결정할 수 있다.
다시 도 1을 참조하면, 특징 비교부(5500)는 특징 추출부(5100)로부터 추출된 안무 특징을 비교하여 안무 정확도를 산출할 수 있다.
실시예에 따르면, 특징 비교부(5500)는 제1 특징 비교부(5510), 제2 특징 비교부(5530) 및 제3 특징 비교부(5550)를 포함할 수 있다.
제1 특징 비교부(5510)는 안무의 타이밍 정확도를 산출할 수 있다. 하기 [수학식 1] 내지 [수학식 3]을 참조하여 보다 구체적으로 설명하면, 제1 특징 비교부(5510)는 DTW(Dynamic Time Warping)를 이용하여 안무의 타이밍 정확도를 산출할 수 있다. 실시예에 따르면, DTW(Dynamic Time Warping)는 전체 안무 영상 중 2초 단위로 나눈 부분 영상으로 수행할 수 있다.
[수학식 1]
Figure 112017131305577-pat00001
St: 안무 타이밍 정확도
α: 매개변수
[수학식 2]
Figure 112017131305577-pat00002
Tt: 안무자의 DTW(Dynamic Time Warping) 데이터
[수학식 3]
Figure 112017131305577-pat00003
Tl: 학습자의 DTW(Dynamic Time Warping) 데이터
안무자 및 학습자의 DTW(Dynamic Time Warping) 데이터들은 2초 단위 부분 영상에 대해 DTW(Dynamic Time Warping)를 적용하여 Matching된 시점의 중점으로 계산할 수 있다.
또한, α는 타이밍 정확도 수치를 조절하는 매개변수일 수 있다. 보다 구체적으로 설명하면, α는 자세 정확성 대비 타이밍 정확성의 중요도를 설정할 수 있다.
제2 특징 비교부(5530)는 안무의 자세 정확도를 측정할 수 있다. 하기 [수학식 4]를 참조하여 보다 구체적으로 설명하면, 제2 특징 비교부(5530)는 제1 특징 비교부(5510)의 타이밍 정확도 산출을 위해 실시된 DTW(Dynamic Time Warping)의 결과, 매칭(Matching)된 프레임(f)의 안무 특징을 비교하여 계산할 수 있다.
[수학식 4]
Figure 112017131305577-pat00004
Sp: 안무 자세 정확도
제3 특징 비교부(5550)는 안무의 전체 정확도를 측정할 수 있다. [수학식 5]를 참조하여 보다 구체적으로 설명하면, 제3 특징 비교부(5550)는 제1 특징 비교부(5510)로부터 추출된 타이밍 정확도 및 제2 특징 비교부(5530)로부터 추출된 자세 정확도를 합산하여 안무의 전체 정확도를 측정할 수 있다.
[수학식 5]
Figure 112017131305577-pat00005
이상 본 발명의 실시예에 따른 안무 평가 장치를 살펴보았다. 이하에서는 안무 평가 장치를 이용한 안무 평가 방법을 설명하겠다.
도 5는 본 발명의 실시예에 따른 안무 평가 방법을 설명하기 위한 순서도이다.
도 5를 참조하면, 안무 평가 장치는 안무자 및/또는 학습자로부터 신체 모델 및 관절의 위치 정보를 산출하여 자세를 추정할 수 있다(S1000). 자세를 추정하는 단계는 하기 도 5를 참조하여 보다 구체적으로 설명하겠다.
도 6은 본 발명의 실시예에 따른 안무 평가 방법 내 자세를 추정하는 단계를 설명하기 위한 순서도이다.
도 6을 참조하면, 앞서 설명된 바와 같이, 안무 평가 장치는 안무자 및/또는 학습자로부터 신체 모델 및 관절의 위치 정보를 추출할 수 있다(S1100). 이때, 신체 모델은 제1 정보, 제2 정보 및 세부 정보를 포함한 깊이 영상(Depth Image) 데이터일 수 있다.
보다 구체적으로 설명하면, 안무 평가 장치는 신체 모델로부터 안무자 및/또는 학습자의 관절의 초기 위치를 검출할 수 있다(S1200). 실시예에 따르면, 관절의 초기 위치는 랜덤 포레스트(Random Forest)에 의해 산출될 수 있다. 이후, 안무 평가 장치는 운동 모델(kinematic model)을 생성할 수 있다(S1300).
안무 평가 장치는 생성된 초기 관절 위치 및 운동 모델(kinematic model)을 바탕으로, 안무자 및/또는 학습자의 관절 위치를 추정할 수 있다(S1400). 다시 말하면, 안무 평가 장치는 생성된 초기 관절 위치 및 운동 모델을 바탕으로, 안무자 및/또는 학습자의 개별 관절이 발견될 가능성이 높은 위치를 예측할 수 있다. 실시예에 따르면, 관절의 위치 추정은 산등성이 데이터(Ridge Data)를 이용하여 산출할 수 있다.
이후, 안무 평가 장치는 예측된 관절의 위치 타당성을 검증할 수 있다(S1500). 보다 구체적으로 설명하면, 안무 평가 장치는 예측된 관절의 위치 주변의 깊이 영상(Depth Image) 데이터 및 산등성이 데이터(Ridge Data)를 수집할 수 있다. 안무 평가 장치는 수집된 상기 데이터들 중 예측된 해당 관절의 관련 데이터를 추출할 수 있다. 관련 데이터 중 깊이 영상 데이터(Depth Image Data)를 이용하여 상기 추정된 해당 관절의 위치 타당성을 검증할 수 있다. 앞서 설명한 바와 같이, 안무 평가 장치는 산등성이 데이터(Ridge Data)를 이용하여 추정된 해당 관절의 위치로부터 깊이 영상 데이터(Depth Image Data)까지의 수직 성분을 산출할 수 있다. 이후, 산출된 수직 성분의 길이가 일정할 경우, 추정된 상기 해당 관절의 위치가 타당하다고 판단할 수 있다.
이후, 안무 평가 장치는 운동 모델(Kinematic Model)의 파라미터를 갱신할 수 있다. 실시예에 따르면, 안무 평가 장치는 일정 비율로 기존의 파라미터 및 신규 획득한 파라미터를 융합하여 갱신할 수 있다. 이때, 신규 획득한 파라미터 및 기존 파라미터의 차이가 일정 수준 이상일 경우, 안무 평가 장치는 신규 획득한 파라미터를 갱신하지 않고, 기존 파라미터를 유지할 수 있다.
다시 도 5를 참조하면, 안무 평가 장치는 안무자 및/또는 학습자의 안무 동작을 각각 추출할 수 있다(S3000). 실시예에 따르면, 안무 평가 장치는 안무자 및/또는 학습자의 안무 동작을 추출할 수 있다.
안무 동작은 안무자 및/또는 학습자의 관절 위치 데이터로부터 안무 특징을 추출할 수 있다. 실시예에 따르면, 안무 특징은 몸통 특징 벡터, 제1 관절 특징 벡터 및 제2 관절 특징 벡터를 추출하여 획득할 수 있으며, 각각 6차원, 8차원, 8차원의 특징으로 추출될 수 있다. 상기 특징 벡터들을 추출하는 방법은 앞서 기재한 설명과 중복되는 사항이므로 생략하도록 하겠다.
이후, 안무 평가 장치는 안무자 및/또는 학습자의 안무 동작에 대한 안무 정확도를 산출할 수 있다(S5000). 일 실시예에 따르면, 안무 평가 장치는 안무의 타이밍 정확도를 산출할 수 있다. 또한, 다른 실시예에 따르면, 안무 평가 장치는 안무의 자세 정확도를 산출할 수 있다.
안무 평가 장치의 안무 정확도 산출 방법은 앞서 설명된 바와 중복되므로, 생략하도록 하겠다.
이상, 본 발명의 실시 에에 따른 안무 평가 장치 및 방법을 살펴보았다. 상기 안무 평가 장치 및 방법은 자세 추정부 및 안무 비교부를 포함함으로써, 복잡한 자세가 많은 안무 동작에서도 관절의 위치 파악이 용이하고, 몸통 및 사지의 움직임까지 분석함으로써, 고성능, 고정밀, 고신뢰성의 안무 평가 장치가 제공될 수 있다.
본 발명의 실시예에 따른 방법의 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.
실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.
이상 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
1000: 자세 추정부 1100: 데이터 생성부
1500: 데이터 학습부 1510: 제1 데이터 학습부
1550: 제2 데이터 학습부 5000: 안무 비교부
5100: 특징 추출부 5110: 몸통 특징부
5111: 몸통 특징 추출부 5111A: 제1 몸통 특징 추출부
5111B: 제2 몸통 특징 추출부 5115: 몸통 특징 분석부
5115A: 제1 몸통 특징 분석부 5115B: 제2 몸통 특징 분석부
5115C: 제3 몸통 특징 분석부 5115D: 제4 몸통 특징 분석부
5150: 관절 특징부 5151: 제1 관절 특징부
5151A: 제1 관절 특징 추출부A 5151B: 제1 관절 특징 추출부B
5155: 제2 관절 특징부 5155A: 제2 관절 특징 추출부A
5155B: 제2 관절 특징 추출부B 5500: 특징 비교부
5510: 제1 특징 비교부 5530: 제2 특징 비교부
5550: 제3 특징 비교부

Claims (11)

  1. 안무자와 학습자의 안무를 평가하는 안무 평가 장치로서,
    깊이 영상(Depth Image) 데이터로부터 관절의 초기 위치 정보를 추적 및 검증하고, 상기 관절의 초기 위치 정보를 이용해 운동 모델(Kinemetic Model)을 생성하여 안무자 및 학습자의 안무 자세를 추정하는 자세 추정부; 및
    상기 자세 추정부로부터 산출된 관절의 위치를 바탕으로 안무 특성을 추출하여 안무자 및 학습자의 안무 동작을 비교 및 평가하는 안무 비교부를 포함하되,
    상기 안무 비교부는
    안무자 및 학습자의 안무 특징을 추출하는 특징 추출부; 및
    안무자 및 학습자의 추출된 상기 안무 특징을 각각 비교하여 안무 정확도를 측정하는 특징 비교부를 포함하고,
    상기 특징 비교부는
    하기 수학식 1을 만족하도록 안무자 및 학습자 간의 상기 안무 동작의 타이밍 정확도를 산출하는 제1 특징 비교부 및 하기 수학식 4를 만족하도록 안무자 및 학습자 간의 상기 안무 동작의 자세 정확도를 산출하는 제2 특징 비교부를 포함하여 하기 수학식 5에 따라 상기 안무 동작의 전체 정확도를 산출하되,
    [수학식 1]
    Figure 112018117557683-pat00012

    [수학식 4]
    Figure 112018117557683-pat00013

    [수학식 5]
    Figure 112018117557683-pat00014

    수학식 1에서의 St는 타이밍 정확도, Tt는 안무자의 DTW(Dynamic Time Warping) 데이터, Tl은 학습자의 DTW 데이터, α는 매개변수이고,
    수학식 4에서의 Sp는 자세 정확도,
    Figure 112018117557683-pat00015
    은 안무자의 단위 영상에 대한 DTW 데이터,
    Figure 112018117557683-pat00016
    는 학습자의 단위 영상에 대한 DTW 데이터, fl은 학습자의 프레임 특징 벡터, ft는 안무자의 프레임 특징 벡터, β는 매개변수이며.
    수학식 5에서의 S는 안무 동작의 전체 정확도인, 안무 평가 장치.
  2. 제1 항에 있어서,
    상기 자세 추정부는
    안무자 및 학습자의 신체 정보, 자세 정보 및 세부 정보 중 적어도 하나의 정보가 합성된 상기 깊이 영상 데이터를 생성하는 데이터 생성부; 및
    상기 깊이 영상 데이터로부터 신체 관절의 초기 위치 정보를 추출하고, 상기 신체 관절의 이동 예측 위치를 추정하는 데이터 학습부를 포함하는 안무 평가 장치.
  3. 제2 항에 있어서,
    상기 데이터 학습부는
    랜덤 포레스트(Random Forest)를 이용하여 상기 깊이 영상 데이터로부터 신체 관절의 초기 위치 정보를 추출하는 제1 데이터 학습부; 및
    산등성이 데이터(Ridge Data)를 이용하여 상기 신체 관절의 이동 예측 위치를 추정하는 제2 데이터 학습부를 포함하는 안무 평가 장치.
  4. 제3 항에 있어서,
    상기 신체 관절 간의 거리 정보 및 특정 관절 사이의 각도 정보를 포함하는 상기 운동 모델(Kinemetic Model)을 이용하여, 상기 제2 데이터 학습부의 상기 신체 관절의 이동 예측 위치를 검증하는 안무 평가 장치.
  5. 삭제
  6. 제1 항에 있어서,
    상기 특징 추출부는
    상기 자세 추정부로부터 산출된 관절의 위치 데이터로부터 몸통 특징 벡터를 추출 및 분석하는 몸통 특징부; 및
    상기 산출된 관절의 위치 데이터로부터 관절 특징 벡터를 추출 및 분석하는 관절 특징부를 포함하는 안무 평가 장치.
  7. 제6 항에 있어서,
    상기 몸통 특징부는
    몸통의 중심 관절을 기준으로 상반부에 위치한 복수의 몸통 관절들의 3차원 공간에서의 이동 방향을 결정하여 몸통 벡터를 산출하는 몸통 특징 추출부; 및
    상기 산출된 몸통 벡터로부터 몸통의 움직임을 분석하는 몸통 특징 분석부를 포함하는 안무 평가 장치.
  8. 제7 항에 있어서,
    상기 몸통 특징 추출부는
    제1 좌표를 기준으로, 좌우 어깨 관절들 및 상기 몸통 중심 관절의 위치들의 제1 몸통 특징 벡터를 산출하는 제1 몸통 특징 추출부; 및
    제2 좌표를 기준으로, 좌우 고관절들 및 몸통 중심 관절의 위치들의 제1 몸통 특징 벡터를 산출하는 제2 몸통 특징 추출부를 포함하되,
    상기 제1 좌표는 좌우 어깨 관절들을 잇는 직선을 x축으로 하고, 상기 x축에 수직이며 몸통 중심 관절을 잇는 직선을 y축으로 하며, 상기 x축 및 상기 y축을 직교하는 직선을 z축으로 하는 좌표이고,
    상기 제2 좌표는 좌우 고관절들을 잇는 직선을 x축으로 하고, 상기 x축에 수직이며, 몸통 중심 관절을 잇는 직선을 y축으로 하며, 상기 x축 및 상기 y축을 직교하는 직선을 z축으로 하는 좌표인 안무 평가 장치.
  9. 삭제
  10. 안무자와 학습자의 안무를 평가하는 안무 평가 방법으로서,
    안무자 및 학습자의 깊이 영상 데이터로부터 관절의 초기 위치 정보를 추적 및 검증하고, 상기 관절의 초기 위치 정보를 이용해 운동 모델(Kinemetic Model)을 생성하여 안무자 및 학습자의 안무 자세를 각각 추정하는 단계;
    안무자 및 학습자의 안무 동작을 각각 추출하는 단계; 및
    안무자 및 학습자의 추출된 상기 안무 동작에 대한 안무 정확도를 산출하는 단계를 포함하되,
    상기 안무 정확도를 산출하는 단계는
    하기 수학식 1을 만족하도록 안무자 및 학습자 간의 상기 안무 동작의 타이밍 정확도를 산출하는 단계;
    하기 수학식 4를 만족하도록 안무자 및 학습자 간의 상기 안무 동작의 자세 정확도를 산출하는 단계; 및
    하기 수학식 5에 따라 상기 안무 동작의 전체 정확도를 산출하는 단계를 포함하고,
    [수학식 1]
    Figure 112018117557683-pat00017

    [수학식 4]
    Figure 112018117557683-pat00018

    [수학식 5]
    Figure 112018117557683-pat00019

    수학식 1에서의 St는 타이밍 정확도, Tt는 안무자의 DTW(Dynamic Time Warping) 데이터, Tl은 학습자의 DTW 데이터, α는 매개변수이며,
    수학식 4에서의 Sp는 자세 정확도,
    Figure 112018117557683-pat00020
    은 안무자의 단위 영상에 대한 DTW 데이터,
    Figure 112018117557683-pat00021
    는 학습자의 단위 영상에 대한 DTW 데이터, fl은 학습자의 프레임 특징 벡터, ft는 안무자의 프레임 특징 벡터, β는 매개변수이고.
    수학식 5에서의 S는 안무 동작의 전체 정확도인, 안무 평가 방법.
  11. 제10 항에 있어서,
    상기 자세를 각각 추정하는 단계는
    상기 운동 모델(kinematic model)을 이용하여, 상기 관절의 위치를 예측하는 단계; 및
    예측된 관절의 위치에 대한 타당성을 검증하는 단계를 더 포함하는 안무 평가 방법.
KR1020170184573A 2017-12-29 2017-12-29 안무 평가 장치 및 방법 KR101962045B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170184573A KR101962045B1 (ko) 2017-12-29 2017-12-29 안무 평가 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170184573A KR101962045B1 (ko) 2017-12-29 2017-12-29 안무 평가 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101962045B1 true KR101962045B1 (ko) 2019-03-25

Family

ID=65907710

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170184573A KR101962045B1 (ko) 2017-12-29 2017-12-29 안무 평가 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101962045B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102201050B1 (ko) * 2019-07-04 2021-01-11 주식회사 펀웨이브 댄스모션 분석 평가장치 및 방법
KR102557953B1 (ko) * 2023-03-16 2023-07-20 주식회사 케이에이씨미디어그룹 안무 분석 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160044999A (ko) * 2014-10-16 2016-04-26 한국전자통신연구원 질의동작기반 안무 검색 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160044999A (ko) * 2014-10-16 2016-04-26 한국전자통신연구원 질의동작기반 안무 검색 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102201050B1 (ko) * 2019-07-04 2021-01-11 주식회사 펀웨이브 댄스모션 분석 평가장치 및 방법
KR102557953B1 (ko) * 2023-03-16 2023-07-20 주식회사 케이에이씨미디어그룹 안무 분석 시스템

Similar Documents

Publication Publication Date Title
CN111199564B (zh) 智能移动终端的室内定位方法、装置与电子设备
US6552729B1 (en) Automatic generation of animation of synthetic characters
US20180315329A1 (en) Augmented reality learning system and method using motion captured virtual hands
US10189162B2 (en) Model generation apparatus, information processing apparatus, model generation method, and information processing method
JP5931215B2 (ja) 姿勢を推定する方法及び装置
Piao et al. Real-time visual–inertial SLAM based on adaptive keyframe selection for mobile AR applications
CN108051002A (zh) 基于惯性测量辅助视觉的运输车空间定位方法及***
US9275276B2 (en) Posture estimation device and posture estimation method
JP2003346157A (ja) 物体追跡装置及び方法
KR20160096473A (ko) 동작 평가 시스템 및 방법
CN109298778B (zh) 追踪***及其方法
CN103310188A (zh) 用于姿态识别的方法和设备
CN105094335A (zh) 场景提取方法、物体定位方法及其***
JP7164045B2 (ja) 骨格認識方法、骨格認識プログラムおよび骨格認識システム
KR102291039B1 (ko) 사용자 맞춤형 운동 서비스 제공 방법 및 장치
CN110688929A (zh) 一种人体骨架关节点定位方法及装置
CN111194122A (zh) 一种体感互动灯光控制***
KR101962045B1 (ko) 안무 평가 장치 및 방법
KR101636171B1 (ko) 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템
WO2022003963A1 (ja) データ生成方法、データ生成プログラムおよび情報処理装置
CN113033501A (zh) 一种基于关节四元数的人体分类方法及装置
CN116740618A (zh) 一种运动视频动作评估方法、***、计算机设备及介质
JP5061808B2 (ja) 感情判定方法
Cordea et al. 3-D head pose recovery for interactive virtual reality avatars
CN113033242A (zh) 动作识别方法及***

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant