KR20220028654A - 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 장치 및 방법 - Google Patents

Abstract

일 개시에 의하여 적어도 하나의 카메라 및 적어도 하나의 센서를 이용하여 태권도 자세를 수행하는 사용자의 영상 및 사용자의 동작 정보를 획득하는 단계, 획득한 사용자의 영상을 미러 디스플레이에 표시함과 동시에, 사용자의 동작 정보에 매칭되는 전문가의 동작 정보를 표시하는 단계, 사용자의 동작 정보를 이용하여 사용자의 3D 골격 모델을 생성하고, 사용자의 3D 골격 모델의 좌표 변화와 전문가의 동작 정보를 비교하여 동작 유사도를 산출하는 단계, 동작 유사도에 기초하여, 사용자가 수행한 태권도 자세의 동작 정확성 및 동작 표현력을 평가하여 점수화하는 단계, 동작 정확성 및 동작 표현력의 점수에 따른 사용자 맞춤형 태권도 코칭 정보를 생성하는 단계 및 사용자 맞춤형 태권도 코칭 정보를 미러 디스플레이를 이용하여 출력하는 단계를 포함하는, 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 방법을 제공할 수 있다.

Description

미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 장치 및 방법{APPARATUS AND METHOD FOR PROVIDING TAEKWONDO MOVEMENT COACHING SERVICE USING MIRROR DISPALY}

일 개시에 의하여, 미러 디스플레이릍 통해 획득한 사용자의 태권도 동작과 전문가의 태권도 동작을 비교하여 분석하고, 분석한 결과를 기초로 맞춤형 태권도 동작 코칭 서비스를 즉각적으로 제공하는 장치 및 방법을 제공한다.

최근 체력 증진 또는 근력 강화 등을 위해 헬스장 및 홈 트레이닝(Home Training)을 이용하는 사람이 증가하고 있다. 특히, 근력 강화를 위해 다수의 관절 및 근육이 사용되면서 매우 정교한 움직임이 요구되는 운동기구들을 이용한 근력 운동이 인기를 끌고 있다.

태권도의 경우 최근 50여년간 국내외 수련인구가 폭발적으로 증가하고 있으며, 한국문화의 대표 컨텐츠로 부상하고 있다. 나아가, 정부의 태권도 문화컨텐츠화로 인한 연구개발 투자가 지속적으로 이루어지고 있다. 특히, 가상현실 및 증강현실등을 이용한 교육 컨텐츠로서의 개발 및 활용 분야가 각광받고 있다.

최근 AI와 디지털컨텐츠를 융합한 홈트레이닝 시장이 급증하고 있으며, 특히 스마트미러(Smart Mirror)를 통한 홈트레이닝 컨텐츠 시장은 약 4,090만 달러의 시장으로 7년새 13배의 급성장을 보여줬다. 2020년 트랜스퍼런시 마켓 리서치에 따르면 2020년부터 2030년까지 10년간 글로벌 홈 피트니스 컨텐츠 시장이 21%의 연평균 성장률을 기록할 것이라 예측하였다.

비대면 환경에서도 운동을 하고자 하는 소비자의 수요는 줄어들지 않을 것이고, 따라서 온라인 트레이닝 시장도 지속적으로 성장할 것으로 예측된다. 나아가, 단순히 동영상을 따라하는 것에 만족하지 않고 추가적인 비용을 지불하고라도 온라인 트레이너와 함께 운동하는 시장에 대한 수요가 증가할 것으로 예측된다.

다만, 기존 태권도 품새 측정 훈련의 경우 거울을 통해 측정하거나, 어플리케이션을 통해 자세를 따라하는 방식으로서, 실시간 자세교정에 대한 한계와 집중력 저하로 인한 꾸준한 훈련이 어려웠다. 따라서, 올바른 자세 코칭이 가능한 동시에 즉각적인 피드백이 가능한 태권도 자세 코칭 서비스를 제공할 수 있는 시스템 구축의 필요성이 증가하였다.

대한민국 특허공개번호 제 10-2020-0093185호 (2020.08.05 공개) 대한민국 특허공개번호 제 10-2019-0136483호 (2019.12.10 공개)

일 개시에 의한 기술적 과제는 태권도 동작을 수행하는 사용자의 영상을 분석하여, 전문 선수와의 유사도 값을 판단한 결과에 기초하여 사용자에게 자세 코칭 서비스를 실시간 제공하는 장치 및 방법을 제공한다.

제 1 실시예에 의하여, 적어도 하나의 카메라 및 적어도 하나의 센서를 이용하여 태권도 자세를 수행하는 사용자의 영상 및 사용자의 동작 정보를 획득하는 단계, 획득한 사용자의 영상을 미러 디스플레이에 표시함과 동시에, 사용자의 동작 정보에 매칭되는 전문가의 동작 정보를 표시하는 단계, 사용자의 동작 정보를 이용하여 사용자의 3D 골격 모델을 생성하고, 사용자의 3D 골격 모델의 좌표 변화와 전문가의 동작 정보를 비교하여 동작 유사도를 산출하는 단계, 동작 유사도에 기초하여, 사용자가 수행한 태권도 자세의 동작 정확성 및 동작 표현력을 평가하여 점수화하는 단계, 동작 정확성 및 동작 표현력의 점수에 따른 사용자 맞춤형 태권도 코칭 정보를 생성하는 단계 및 사용자 맞춤형 태권도 코칭 정보를 미러 디스플레이를 이용하여 출력하는 단계를 포함하는, 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 방법을 제공할 수 있다.

제 2 실시예에 의하여, 태권도 자세를 수행하는 사용자의 영상을 촬영하는 적어도 하나의 카메라, 태권도 자세를 수행하는 사용자의 동작 정보를 획득하기 위한 적어도 하나의 센서, 사용자 맞춤형 태권도 코칭 정보를 생성하는 프로세서, 및 사용자의 영상 및 사용자 맞춤형 태권도 코칭 정보를 표시하는 미러 디스플레이를 포함하고, 프로세서는, 미러 디스플레이를 이용하여 사용자의 영상 및 사용자의 동작 정보에 매칭되는 전문가의 동작 정보를 표시하고, 사용자의 동작 정보를 이용하여 사용자의 3D 골격 모델을 생성하고, 사용자의 3D 골격 모델의 좌표 변화와 전문가의 동작 정보를 비교하여 동작 유사도를 산출하고, 동작 유사도에 기초하여, 사용자가 수행한 태권도 자세의 동작 정확성 및 동작 표현력을 평가하여 점수화하고, 동작 정확성 및 동작 표현력의 점수에 따른 사용자 맞춤형 태권도 코칭 정보를 생성하고, 사용자 맞춤형 태권도 코칭 정보를 미러 디스플레이를 이용하여 출력하는, 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 장치를 제공할 수 있다.

제 3 실시예에 의하여, 일 실시예에 의한 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 방법을 실행할 수 있는 컴퓨터로 읽을 수 있는 저장 매체를 포함하는 컴퓨터 프로그램 제품을 제공할 수 있다.

제 4 실시예에 따라, 일 실시예에 의한 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 방법을 구현하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체를 제공할 수 있다.

일 개시에 따르면, 대한민국 고유 무술인 태권도는 다양한 자세와 품새 종류가 있어서 정확한 자세를 혼자 습득하기에는 한계가 있었지만, 스마트 미러를 이용한 태권도 코칭 서비스를 이용하여 앞면, 후면, 옆면 방향의 자세에 대한 정확한 피드백을 받을 수 있어 태권도 자세의 상세한 코칭을 받을 수 있다.

또한, 전문 태권도 선수의 품새 동작과 사용자의 동작을 유사도값 측정을 통해 분석하고, 화면상에 실시간 제공함으로써 초보인 사용자의 즉각적인 자세 교정 서비스를 제공할 수 있다.

또한, 사용자에게 태권도 운동이 끝난후에 사용자의 운동 데이터를 쉽게 체크하고, 품새 일치율 결과값을 확인할 수 있는 화면을 제공함으로써, 사용자는 누적된 운동 결과 및 개선된 자세에 대한 정보를 손쉽게 확인할 수 있다.

일 개시에 의한 본 발명은 3차원 동작인식 카메라 기술인 키텍트(Kinect)를 접목하여 실시간으로 사용자의 팔, 다리 등의 자세 및 각도를 트래킹하고 영상을 획득하는 바, 효과적으로 사용자의 자세 정보를 획득할 수 있다.

도 1은 일 개시에 의한 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 기술적 특징을 설명하기 위한 도면이다.
도 2는 일 개시에 의한 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.
도 3은 일 개시에 의한 사용자의 태권도 자세와 전문가의 자세의 유사도를 비교하여 분석한 정보를 제공하기 위한 화면을 설명하기 위한 도면이다.
도 4는 일 개시에 의한 사용자의 영상 및 사용자의 동작을 획득하기 위한 특징을 설명하기 위한 도면이다.
도 5는 일 개시에 의한 사용자의 3D 특징점을 이용하여 사용자의 자세를 분석하기 위한 특징을 설명하기 위한 도면이다.
도 6은 일 개시에 의한 사용자의 골격 및 관절 구조를 이용하여 사용자의 태권도 동작 자세를 분석하는 특징을 설명하기 위한 도면이다.
도 7은 일 개시에 의한 사용자의 태권도 자세에 대한 동작 정확성 및 동작 표현력을 이용하여 사용자 코칭 정보를 생성하는 특징을 설명하기 위한 도면이다,
도 8은 일 개시에 의한 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 장치의 구성을 설명하기 위한 도면이다.

이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.

본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.

A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.

본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.

어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.

이하에서, 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 장치(100)는 태권도 코칭 서비스 제공 장치(100)로 축약하여 설명하도록 한다.

도 1은 일 개시에 의한 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 기술적 특징을 설명하기 위한 도면이다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 사용자의 운동 동작을 실시간 측정 및 분석하고, 운동 동작 관련 정보를 실시간 렌더링 처리를 통해 직관적인 사용자 인터페이스(UI, User Interface)를 갖는 거울(mirror) 형태의 미러 디스플레이를 제공한다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 사용자(1001)가 미러 디스플레이를 바라보며 태권도 동작을 수행하는 경우, 사용자의 모습과 동일한 형상의 사용자 캐릭터(1002)를 미러 디스플레이에 표시할 수 있으며, 사용자 캐릭터(1002)의 모습과 전문가 캐릭터(1003)의 모습을 동시에 표시할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 전문가 캐릭터(1003)의 팔, 다리, 목 등의 신체와 사용자의 관절의 움직임을 분석하여 사용자 캐릭터(1002)의 자세가 바른 자세인지, 어느 정도의 각도만큼 더 움직여야 바른 자세가 되는지 여부를 분석하고, 분석된 결과를 사용자에게 제공할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 미러 디스플레이를 이용하여 사용자의 태권도 동작을 사용자에게 보여주는 동시에 사용자의 영상을 촬영할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 사용자가 올바른 태권도 자세를 취하는지 여부를 실시간으로 화면에 표시하고, 사용자의 자세가 전문가의 자세와 어느 정도 일치하는지 여부를 판단하여 표시할 수 있다. 또한, 사용자의 태권도 자세와 전문가 자세의 일치율에 따라 사용자의 자세를 바로잡을 수 있는 피드백을 제공할 수 있다. 여기서 피드백은 미러 디스플레이 및 스피커를 이용한 자세 교정 정보를 포함할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 사용자의 태권도 자세의 정확성 및 동적 표현력을 근거로 사용자의 태권도 자세를 판단하고, 사용자의 태권도 자세에 대한 데이터를 저장할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 위계 구조를 갖는 골격 기반의 데이터 HVH 포맷 파일의 형식을 데이터로서 취득할 수 있으며, 모션 캡처(Motion Capture) 장비를 사용하여 사용자의 3차원 관절좌표값을 기준으로 키넥트의 인체 관절 데이터 정확성을 측정할 수 있다.

또한, 일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 적외선 카메라 및 IMU 센서를 이용하여 사용자의 움직임을 기록하고, 컴퓨터로 분석할 수 있는 데이터로 변환하여 사용자의 움직임을 시간의 흐름에 따라 누적하여 저장할 수 있다.

운동 시설 내 미러 또는 전신 거울 설치는 필수적이며, 사용자의 자세와 동작에 대해 피드백을 주는 용도로 활용되고 있다. 일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 동작 분석을 통해 현재 수행되는 태권도 동작과 관련된 실사용 근육과 관련된 부분만을 판단하고, 실사용 근육 또는 관절만을 다른 부분과 다르게 사용자의 신체와 정합된 근육과 관절 모양으로 실시간 렌더링하여 합성한 신체 이미지를 생성하여 미러 디스플레이를 통해 디스플레이 할 수 있다.

미러 디스플레이, 미러 디스플레이 또는 거울 디스플레이는 거울의 외형을 가지면서 거울에 디스플레이 장치가 부착되고 통합되어 있어, 거울에 부가 정보가 함께 보이는 디스플레이 장치를 의미한다. 이와 같은 미러 디스플레이는 사용자에게 시각적으로 다양한 정보 및 실감형 디스플레이를 제공할 수 있어 광고, 패션 분야에서 점차 많이 사용되고 있다. 특히, 패션 분야에서 이미지 센서를 장착한 키오스크 형태의 미러 디스플레이 앞에서 사용자의 신체 부위에 가상의 의류나 액세서리를 그래픽적으로 렌더링하여 가상 체험을 제공해주는 서비스가 제공되고 있다.

도 2는 일 개시에 의한 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 방법을 설명하기 위한 흐름도이다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 블록 201에서 적어도 하나의 카메라 및 적어도 하나의 센서를 이용하여 태권도 자세를 수행하는 사용자의 영상 및 사용자의 동작 정보를 획득할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 적어도 하나의 카메라에서 촬영한 사용자의 운동 동작과 관련된 영상을 수신한다. 일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 별도로 설치된 이미지 센서, 또는 카메라와 유무선 통신 등을 통해 사용자의 촬영 영상 및 캡쳐 이미지 등의 데이터를 수신하여 저장할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 획득한 사용자의 이미지 또는 영상 등에 기초하여 사용자를 식별하도록 구성된 사용자 인식 모듈을 포함할 수 있다. 사용자 인식 모듈은 사용자의 생체신호를 통한 인증으로, 얼굴 인식, 홍채 인식, 지문 인식, 음성 인식, 심박패턴 인식, 운동 패턴 인식 등에 기초하여 무자각 및 무인지하게 사용자를 식별함으로써, 사용자의 별도의 로그인 정보 입력 없이 간편하게 사용자 식별 인식이 가능하며, 동작 분석, 동작 오류 판단, 동작 오류 예측 등을 기 저장된 사용자 정보에 기초하여 수행할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 블록 202에서 획득한 사용자의 영상을 미러 디스플레이에 표시함과 동시에, 사용자의 동작 정보에 매칭되는 전문가의 동작 정보를 표시할 수 있다.

여기서 전문가는 태권도 분야의 전문가들이며 다양한 스펙의 전문가들을 포함할 수 있다. 일 개시에 의한, 전문가의 동작 정보는 전문가의 연령, 나이, 신체 치수 등에 따라 분류될 수 있으며, 태권도 코칭 서비스 제공 장치(100)는 사용자와 비슷한 스펙의 전문가와 매칭할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 사용자를 미러 디스플레이에 표시할 때, 사용자의 키, 연령, 성별 등과 비슷한 전문가의 동작을 결정하여 표시할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 블록 203에서 사용자의 동작 정보를 이용하여 사용자의 3D 골격 모델을 생성하고, 사용자의 3D 골격 모델의 좌표 변화와 전문가의 동작 정보를 비교하여 동작 유사도를 산출할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 동작 유사도는 사용자가 수행하는 태권도 자세를 기준으로 품새의 각도 및 위치 등을 트래킹한 영상을 분석하여 결정될 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 블록 204에서 동작 유사도에 기초하여, 사용자가 수행한 태권도 자세의 동작 정확성 및 동작 표현력을 평가하여 점수화 할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 사용자가 태권도 자세를 수행하는 동안 사용자의 포즈와 타이밍의 정확도를 계산하고, 다이나믹스 정확도를 계산함으로써 사용자의 동작 정확성 및 동작 표현력을 평가할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 블록 205에서, 동작 정확성 및 동작 표현력의 점수에 따른 사용자 맞춤형 태권도 코칭 정보를 생성할 수 있다.

사용자 맞춤형 태권도 코칭 정보는 사용자의 자세를 교정할 수 있는 교정 정보, 사용자에게 필요한 운동 횟수 및 운동 시간, 사용자의 변화된 모습 등을 포함할 수 있으며, 사용자의 선택에 따라 새로운 코칭 항목이 추가될 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 블록 206에서 및 사용자 맞춤형 태권도 코칭 정보를 미러 디스플레이를 이용하여 출력할 수 있다. 일 개시에 의한 맞춤형 태권도 코칭 정보는 사용자가 설정한 기본 정보를 표시하고, 사용자의 입력에 따른 항목별 정보를 표시할 수 있다.

일 개시에 의한 맞춤형 태권도 코칭 정보는 기 등록된 사용자의 단말 또는 다른 사용자의 단말로 전송될 수 있다. 또한, 맞춤형 태권도 코칭 정보는 클라우드 또는 서버에 저장되어 다른 사용자들에게 제공될 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 태권도 동작분석의 정확도를 95%이상 일치하도록 평가할 수 있으며, 태권도 동작의 수행을 위한 응답시간을 1초 이내로 판단할 수 있다.

또한, 일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 사용자의 태권도 동작을 분석하는 데이터 리포트 응답시간을 1초 이내로 제공할 수 있으며, 사용자의 태권도 자세 및 품새를 판단하기 위한 표준 자세수를 자세당 20건 이상 판단할 수 있다.

도 3은 일 개시에 의한 사용자의 태권도 자세와 전문가의 자세의 유사도를 비교하여 분석한 정보를 제공하기 위한 화면을 설명하기 위한 도면이다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 사용자의 태권도 동작과 관련된 영상 화면을 디스플레이할 수 있으며, 동시에 전문가의 태권도 동작을 디스플레이할 수 있다. 예를 들어, 사용자의 캐릭터(1002) 및 사용자와 동일한 동작을 수행하는 전문가의 캐릭터(1003)를 동시에 표시할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 사용자와 전문가의 태권도 품새의 유사도를 산출하여 그래프 형태(3001)로 표시할 수 있다. 또한, 유사도를 선택하는 사용자 입력(3002)에 따라 사용자에게 필요한 또 다른 코칭 정보(3003)를 표시할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 태권도 동작 정확성 및 동작 표현력의 점수에 따라 복수개의 그룹을 생성할 수 있다. 일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 복수개의 그룹 각각에 필요한 태권도 품새별 운동시간, 운동횟수 및 휴식시간 및 하위 그룹에서 상위 그룹으로 올라가기 위해 더 필요한 운동정보를 포함하는 태권도 코칭 정보를 생성할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 누적된 사용자의 영상을 분석하여 사용자를 복수개의 그룹 중 어느 하나의 그룹에 할당할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 미러 디스플레이에 사용자의 영상을 실시간 표시하는 동시에, 사용자가 속한 그룹의 태권도 코칭 정보를 표시할 수 있다. 일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 사용자가 속한 그룹에 매칭된 전문가의 태권도 자세와 사용자의 태권도 자세를 비교하여 표시할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 이미지 센서를 통해 현재 사용자의 태권도 동작을 획득하고, 태권도 동작 영상의 분석을 통해 사용자의 신체 치수를 측정하고, 측정된 신체 치수에 기초하여 사용자의 3차원(3D) 모델을 생성할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 기초적인 동작 검사를 통해 사용자의 머리, 몸통, 팔 및 다리를 인식함으로써, 사용자의 몸통, 두 팔 및 두 다리의 길이를 측정하는 단계와 사용자의 시상면과 관상면의 실루엣 사이의 거리 측정에 기초하여 사용자의 몸통, 두 팔 및 두 다리의 둘레를 측정하는 단계를 포함할 수 있다.

도 4는 일 개시에 의한 사용자의 영상 및 사용자의 동작을 획득하기 위한 특징을 설명하기 위한 도면이다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 사용자의 동작을 모션 캡처한 정보, 3D 카메라 기반으로 획득한 정보 및 2D 카메라 기반으로 획득한 정보를 이용하여 사용자의 태권도 자세를 분석 및 평가할 수 있다.

일 개시에 의하여 모션 캡처 기반으로 획득한 정보는 복수개의 센서를 통해 획득한 사용자의 자세 정보, 깊이 정보이며, 모션 캡처 정보를 사용한 경우 평가 정확성은 높아지지만, 효율성 및 범용성은 낮아진다.

또한, 2D 카메라 기반으로 획득한 정보는 평가 정확성은 낮아지지만 효율성 및 범용성이 증가하다. 따라서, 일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 세 가지 방법을 모두 활용하여 사용자의 자세의 각도, 위치, 정확성 등을 판단할 수 있다.

도 5는 일 개시에 의한 사용자의 3D 특징점을 이용하여 사용자의 자세를 분석하기 위한 특징을 설명하기 위한 도면이다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 태권도의 기본 품새 및 자세의 이미지 및 영상을 포함하는 데이터베이스(5001)를 포함할 수 있다. 데이터베이스(5001)에는 그룹별 전문가의 태권도 자세, 영상을 포함할 수 있으며 다른 사용자의 태권도 자세, 누적된 사용자의 누적된 태권도 자세 등이 포함될 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 3차원 카메라를 이용하여 촬영된 사용자의 영상 및 거리센서를 이용하여 측정된 사용자의 동작 정보에 기초하여 사용자의 3D 골격 모델(5002)을 생성할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 사용자의 3D 골격 모델에서 사용자의 팔, 다리, 척추 및 관절을 포함한 복수개의 3차원 특징점을 결정할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 복수개의 3차원 특징점의 좌표를 기준으로 사용자의 태권도 자세를 특정한 후, 복수의 태권도 전문가 자세로 이루어진 빅데이터를 기반으로 특정된 태권도 자세를 학습할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 인공지능 모델을 이용하여 사용자의 태권도 자세를 학습할 수 있다. 여기서 인공지능 모델은 빅데이터를 이용하여 태권도 자세의 정확성을 학습한 모델이며, 태권도 초보자 및 전문가까지 모든 빅데이터를 이용하여 학습을 반복하여 생성된 모델이다

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 학습된 결과를 기초로 복수개의 3차원 특징점의 좌표와 전문가 자세에서 추출한 좌표의 유사성을 판단하여 동작 유사도를 산출할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 사용자로부터 획득한 성별 또는 연령 정보와 같은 개인 정보를 이용하여 개인 정보 및 측정된 신체 치수 정보에 기초하여 표준화된 3D 모델을 생성할 수 있다. 3D 모델은 투명한 선을 기준으로 작성되며, 표면의 주요 근육군이 구분되도록 모델링될 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 3D 신체 자세 매칭은 3D 근골격 모델에 기초하여 사용자의 관절 위치를 추정하고, 추정된 관절 위치 또는 이동에 기초하여 운동 동작을 매칭하여 인식하도록 이루어진다

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 깊이(Depth) 센서 또는 동작별 관절위치 정보 기계학습 기반의 일반 컬러 이미지 센서를 통해 최초 각 관절별 좌표를 받아 트래킹 노이즈(tracking noise) 최소화를 위해 포지션별 칼만 필터(Kalman Filter)를 적용할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 최초자세와 변형자세의 비교를 위해 관절별 중간의 간격을 특정하여 자세별 정밀도를 높인다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 사용자의 3D 모델을 함수 최적화 기법 중 하나인 레벤버그 마쿼드(Levenberg marquardt) 최적화 방식으로 입력된 깊이 영상에 정합하여 관절 위치를 추정한다. 정확도 향상을 위해 사용자의 동작별 관절영역을 인식하고 3D 근골격 메시모델을 실시간으로 정합하는 최적화 알고리즘을 적용한다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 관절별 동작범위 제한 조건문 적용을 통해 관절별 가동범위와 움직임 축 정의를 하고 트레킹 오류를 필터링한다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 사용자의 운동동작 변형에 따른 3D 모델의 실사용 근육군(주동근, 협력근, 길항근, 안정근)의 실시간 증강현실 디스플레이를 위해 운동 정보 DB의 서버와 연동한다. 알고리즘상 움직임으로 감지되는 관절별 과표값의 동작 정도 역치값을 설정하여 역치값 이하로 입력될 경우 동작으로 인식하지 않는다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 3D 신체 자세 매칭 정보에 기초하여 실시간 실사용 근육과 관절을 보여주는 렌더링 화면을 미러 디스플레이를 통해 출력할 수 있다.

또한, 움직임이 감지되는 특정 관절의 좌표 정보 인식에 따라 운동 정보 DB의 정보에 기초하여 인식되는 실제 사용 근육을 미러 디스플레이상에 실시간 렌더링하며, 움직임이 감지되지 않는 특정 관절은 사용자의 형상이 동일하게 미러에 비춰지게 된다. 이와 같이 사용자 신체의 전체 근육을 표시하는 것이 아니라 실시간으로 실사용 근육 또는 움직임이 인식되는 근육만을 차별적으로 표시함으로써 실사용 근육과 관절의 인식의 직관성이 증대되고, 해부학적 근육 표시에 대한 거부감도 상당히 줄어들 것이다. 또한, 동시에 여러 관절의 움직임이 감지될 경우 각 관절에 동일한 방식을 적용하여, 동작 순서와 속도를 미러 속 사용자와 일치시켜 렌더링할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 기계학습 기반의 동작별 관절위치 정보와 기초적인 동작 검사를 통해 획득한 영상에 기초하여 사용자의 각 사지, 즉 사용자의 머리, 몸통, 팔 및 다리를 인식함으로써, 사용자의 몸통 및 두 팔 그리고 두 다리의 길이를 측정할 수 있다. 또한, 필요에 따라 사용자의 몸통 길이를 제외하고 두팔 및 두 다리의 길이만을 측정할 수 있다. 또한, 신체 측정부(220)는 각 관절정보 중간값에 몸통의 수직선을 이어 시상면과 관상면의 실루엣 사이의 거리에 기초하여 사용자의 몸통 및 각 사지 둘레측정을 수행할 수 있으며, 예컨대 브레슨햄(Bresenham) 알고리즘을 이용하여 측정가능하다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 3D 근골격 메시 모델(mesh model)에 기초하여 사용자의 관절 위치를 추정하고, 사용자의 관절 위치의 추정에 기초하여 운동 동작을 인식 및 식별할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 사용자의 관절 위치의 변화와 관련된 정보 및 운동 정보 데이터베이스(DB)로부터 획득한 정보에 기초하여 현재 사용자가 수행하는 운동 동작과 관련된 실사용 근육 또는 관절 부위를 판단할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 사용자의 관절 위치의 측정값에 기초하여 관절 위치의 이동 범위가 미리 결정된 범위 이내인 경우 동작을 미인식하도록 구성될 수 있다. 즉, 알고리즘 상 움직임으로 인식되는 관절별 위치 이동과 관련하여 역치값(threshold value)을 설정함으로써, 역치값 이하의 이동인 경우 동작으로 인식하지 않을 수 있다.

도 6은 일 개시에 의한 사용자의 골격 및 관절 구조를 이용하여 사용자의 태권도 동작 자세를 분석하는 특징을 설명하기 위한 도면이다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 사용자의 영상을 복수개의 2D 이미지 시퀀스로 분할할 수 있다. 일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 사용자의 영상 정보 및 사용자의 모션 정보를 입력 센서 데이터로서 활용하여 사용자의 영상을 분석하기 위한 이미지 시퀀스를 생성할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 사용자의 손, 발, 관절 등의 움직임을 분석하여 사용자의 움직임을 분석할 수 있다. 일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 사용자의 정적인 이미지에서 특징점(예를 들어 관절)을 결정하고 특징점의 각도를 파악함으로써 사용자의 자세를 분석할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 3차원 특징점을 결정하여 사용자의 3차원 모델을 생성할 수 있다. 예를 들어 3차원 특징점은 사용자의 뼈와 뼈를 연결하는 관절 부위일 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 적어도 4개의 3차원 특징점들을 결정할 수 있다. 그 이유는, 3차원 관절 모델을 2차원 학습 이미지에 피팅(fitting)하는데 있어서, 알고리즘적으로 최소 4개가 필요하기 때문이다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 3차원 모델을 2차원 학습 이미지에 피팅하기 위해, 카메라 캘리브레이션(camera calibration)을 통해 캘리브레이션 된 카메라 정보가 필요하며, 캘리브레이션 된 카메라 정보는 캘리브레이션 모듈로부터 획득될 수 있다.

캘리브레이션 모듈은 카메라의 카메라 정보에 대해 카메라 캘리브레이션을 수행하여, 3차원 메쉬 모델을 2차원 학습 이미지에 피팅하기 위한 회전 변환 행렬 및 평행 이동 변환 행렬을 계산한다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 3차원 메쉬 모델이 피팅된 2차원 학습 이미지에서 차량의 자세 추정에 필요한 학습 데이터를 추출한다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 3차원 메쉬 모델이 2차원 학습 이미지에 피팅됨에 따라, 2차원 학습 이미지로부터 3차원 메쉬 모델이 가지고 있는 3차원 기하학적인 정보, 즉, 차량의 위치(3축 위치), 방향(3축 방위), 종류, 크기, 형상 등과 같은 자세 추정에 필요한 학습 데이터가 획득될 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 사용자의 태권도 자세를 추정하기 위하여 형상 정보, 분류 정보, 자세 정보, 캘브레이션된 카메라 정보를 포함하는 멀티 입력 정보를 기반으로 학습된 모델이기 때문에, 자세 추정을 위해 종류, 자세(위치 및 방향), 외형, 크기 별로 구분되는 다수의 인식 단계가 하나의 자세 추정 모델에 의해 하나의 단계로 용합될 수 있다. 결과적으로, 멀티 입력 정보를 기반으로 학습된 자세 추정 모델은 하나의 이미지만으로도 사용자 태권도 자세의 형상, 각도, 종류를 모두 추정할 수 있다.

도 7은 일 개시에 의한 사용자의 태권도 자세에 대한 동작 정확성 및 동작 표현력을 이용하여 사용자 코칭 정보를 생성하는 특징을 설명하기 위한 도면이다,

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 복수개의 2D 이미지 시퀀스를 기 정해진 평가 항목별로 분류할 수 있다. 예를 들어, 바디피트 위치, 깊이 영상 시퀀스, 2D 영상 시퀀스 등의 항목으로 분할할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 평가 항목 별로 분류된 2D 이미지 시퀀스 각각에 포함된 사용자의 태권도 자세를 전문가의 동작 정보와 비교하여, 각각의 평가 항목별로 동작 정확성 및 동작 표현력을 결정할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 전문가 자세와 사용자 자세를 시퀀스 별로 분석함으로써 자세의 일치율이 얼마 정도인지 판단할 수 있다. 자세의 일치율이 높을수록 유사도가 높다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 결정된 동작 정확성 및 동작 표현력을 수학식 1의 변수로서 이용하여 태권도 자세 평가값(M)을 산출할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 태권도 자세 평가값의 결과에 기초하여, 사용자의 태권도 자세를 개선할 수 있는 사용자 맞춤형 태권도 코칭 정보를 생성할 수 있다.

여기서, Pi는 각각의 평가 항목별 동작 정확성, wi는 동작 정확성의 가중치, Ej는 각각의 평가 항목별 동작 표현력, wj는 동작 표현력의 가중치, α는 사용자의 성별, 나이 및 신체조건을 기초로 분류된 그룹의 가중치를 나타내는 것을 특징으로 한다.

도 8은 일 개시에 의한 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 장치의 구성을 설명하기 위한 도면이다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 통신부(130), 메모리(150), 프로세서(140), 미러 디스플레이(180), 촬영부(160), 센서부(170)를 포함할 수 있다.

미러 디스플레이(180)는 일반 거울과 유사한 형태를 가지며, 거울에 디스플레이 장치가 부착되어 통합된 디스플레이 장치로서, 예컨대 반사율과 투과율이 일정 수준 이상인 유리의 후면에 디스플레이 패널을 부착한 형태로 구성될 수 있다.

또한,　미러 디스플레이(180)는 예컨대 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이, 퀀텀닷 디스플레이(quantum dot display), 마이크로 LED, 마이크로 전자기계 시스템(MEMS; micro electro mechanical systems) 디스플레이 등을 포함할 수 있으며, 이들에 제한되지 않는다. 또한, 이와 같은　미러 디스플레이(180)의 일부는 입력 부(400)와 결합되어 터치 스크린(touch screen)의 형태로 구현될 수 있다.

미러 디스플레이(180)는 사용자에게 운동 동작과 관련된 참고 영상 등을 디스플레이하기 위한 적어도 하나의 영상 디스플레이 및 사용자의 모습 및 운동 동작을 렌더링된 화면으로 디스플레이하기 위한 적어도 하나의 렌더링 디스플레이를 포함할 수 있다. 영상 디스플레이 및 렌더링 디스플레이는　미러 디스플레이(180) 내의 적절한 위치에 서로 겹치지 않도록 배치될 수 있다.

또한, 일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 별도의 디스플레이부를 포함할 수 있으며, 디스플레이부는 예컨대 액정 디스플레이(LCD; liquid crystal display), 발광 다이오드(LED; light emitting diode) 디스플레이, 유기 발광 다이오드(OLED; organic LED) 디스플레이, 마이크로 LED, 마이크로 전자기계 시스템(MEMS; micro electro mechanical systems) 디스플레이 및 전자 종이(electronic paper) 디스플레이를 포함할 수 있으며, 이들에 제한되지 않는다. 또한, 이와 같은 디스플레이부는 입력 수신부와 결합되어 터치 스크린(touch screen)의 형태로 구현될 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 하나 이상의 인스트럭션을 저장하는 메모리(150) 및 메모리(150)에 저장된 하나 이상의 인스트럭션을 실행하는 프로세서(140)를 포함할 수 있다. 일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)에 포함된 프로세서(140)는 하나 이상의 인스트럭션을 실행함으로써 본원의 방법을 수행할 수 있다.

프로세서(140)는, 통상적으로 태권도 코칭 서비스 제공 장치(100)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(140)는, 메모리(150)에 저장된 프로그램들을 실행함으로써, 태권도 코칭 서비스 제공 장치(100)에 포함된 다른 구성들을 전반적으로 제어할 수 있다. 또한, 프로세서(140)는 메모리(150)에 저장된 프로그램들을 실행함으로써, 태권도 코칭 서비스 제공 장치(100)의 기능을 수행할 수 있다. 프로세서(140)는 적어도 하나의 프로세서를 구비할 수 있다. 프로세서(140)는 그 기능 및 역할에 따라, 복수의 프로세서들을 포함하거나, 통합된 형태의 하나의 프로세서를 포함할 수 있다. 일 실시예에서, 프로세서(140)는 메모리(150)에 저장된 적어도 하나의 프로그램을 실행함으로써 알림 메시지를 제공하도록 하는 적어도 하나의 프로세서를 포함할 수 있다.

일 실시예에 따른 프로세서(140)는 데이터 학습부(1101) 및 데이터 인식부(1102)를 포함할 수 있다.

데이터 학습부(1101) 및 데이터 인식부(1102) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(1101) 및 데이터 인식부(1102) 중 적어도 하나는 인공 지능(AI, artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다.

이 경우, 데이터 학습부(1101) 및 데이터 인식부(1102)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 학습부(1101) 및 데이터 인식부(1102) 중 하나는 전자 장치에 포함되고, 나머지 하나는 서버에 포함될 수 있다. 또한, 데이터 학습부(1101) 및 데이터 인식부(1102)는 유선 또는 무선으로 통하여, 데이터 학습부(1101)가 구축한 모델 정보를 데이터 인식부(1102)로 제공할 수도 있고, 데이터 인식부(1102)로 입력된 데이터가 추가 학습 데이터로서 데이터 학습부(1101)로 제공될 수도 있다.

한편, 데이터 학습부(1101) 및 데이터 인식부(1102) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(1101) 및 데이터 인식부(1102) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 또한, 이 경우, 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 적어도 하나의 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.

메모리(150)는, 프로세서(140)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 태권도 코칭 서비스 제공 장치(100)로 입력되거나 태권도 코칭 서비스 제공 장치(100)로부터 출력되는 데이터를 저장할 수도 있다.

메모리(150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리(150) 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

메모리(150)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 여기서, 복수 개의 모듈들은 하드웨어가 아닌 소프트웨어로서, 기능적으로 동작하는 모듈을 의미한다.

메모리(150)는, 프로세서(140)의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 태권도 코칭 서비스 제공 장치(100)로 입력되는 이미지 또는 태권도 코칭 서비스 제공 장치(100)로부터 출력되는 가이드 정보를 저장할 수도 있다. 또한, 메모리(150)는 가이드 정보의 출력 여부 판단을 위한 특정 정보를 저장할 수 있다.

메모리(150)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.

메모리(150)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈, 터치 스크린 모듈, 알림 모듈 등으로 분류될 수 있다.

UI 모듈은, 애플리케이션 별로 태권도 코칭 서비스 제공 장치(100)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 터치 스크린 모듈은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 프로세서(140)로 전달할 수 있다. 일 실시예에 따른 터치 스크린 모듈은 터치 코드를 인식하고 분석할 수 있다. 터치 스크린 모듈은 컨트롤러를 포함하는 별도의 하드웨어로 구성될 수도 있다.

알림 모듈은 태권도 코칭 서비스 제공 장치(100)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 태권도 코칭 서비스 제공 장치(100)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 키 신호 입력, 일정 알림 등이 있다.

프로세서(140)는, 통상적으로 태권도 코칭 서비스 제공 장치(100)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(140)는, 메모리(150)에 저장된 프로그램들을 실행함으로써, 다른 모듈 들의 등을 전반적으로 제어할 수 있다. 또한, 프로세서(140)는 메모리(150)에 저장된 프로그램들을 실행함으로써, 태권도 코칭 서비스 제공 장치(100)의 기능을 수행할 수 있다.

프로세서(140)는 이미지 센서(300)로부터 획득한 영상에 기초하여 사용자의 신체 치수를 측정하고, 측정된 신체 치수에 기초하여 사용자의 3차원(3D) 모델을 생성할 수 있다. 또한, 프로세서(140)는 생성된 3D 모델에 기초하여 사용자의 관절 위치를 추정하고, 사용자의 관절 위치의 추정에 기초하여 운동 동작을 인식하고, 이와 같이 인식된 운동 동작에 기초하여 실시간 렌더링된 사용자의 신체 이미지를 생성할 수 있다. 프로세서(140)는 사용자의 동작 인식, 분석 및 렌더링 화면 생성과 관련된 각종 제어 및 처리 동작을 수행하며, 복수의 구성 요소들의 제어 및 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 예컨대, 프로세서(140)는 중앙 처리 장치(CPU), 어플리케이션 프로세서(AP) 등을 포함할 수 있으며, 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있는 메모리를 내부에 포함하거나, 또는 필요한 경우 외부 메모리와 통신하여 필요한 정보에 액세스할 수 있다.

또한, 프로세서(140)는 통신부(130)를 이용하여 다른 장치 및 다른 서버와 통신할 수 있다. 통신부는, 태권도 코칭 서비스 제공 장치(100)가 다른 장치(미도시) 및 서버(미도시)와 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 다른 장치(미도시)는 태권도 코칭 서비스 제공 장치(100)와 같은 컴퓨팅 장치이거나, 센싱 장치일 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 통신부는, 근거리 통신부, 이동 통신부, 방송 수신부를 포함할 수 있다.

근거리 통신부(short-range wireless communication unit)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

이동 통신부는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

방송 수신부는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 태권도 코칭 서비스 제공 장치(100)가 방송 수신부를 포함하지 않을 수도 있다.

촬영부(160)는 사용자의 모습 또는 운동 동작을 촬영 및 캡처(capture)할 수 있는 적어도 하나 이상의 카메라를 포함할 수 있으며, 예컨대 거리 측정이 가능한 깊이(depth) 카메라 또는 일반 컬러 카메라의 형태로 구성될 수 있으며, 3D 동작인식 카메라를 포함할 수 있다. 촬영부(160)는 사용자의 운동 동작과 관련된 영상을 획득하기 위한 적절한 위치에 배치될 수 있으며, 예컨대,　미러 디스플레이(180)의 가장자리 근처, 예컨대 상단 중앙 등의 위치에 설치되어 앉거나 서서 운동하는 사용자의 모습을 촬영할 수 있으며 하단에 설치되어 바닥에서 운동하는 사용자의 모습을 촬영할 수 있다. 또한 서로 상이한 위치에 배치되는 촬영부(160)로 구성되어 사용자의 전면 및 후면을 모두 촬영하는 것도 가능하다.

센서부(170)는 사용자의 동작을 센싱할 수 있는 복수개의 센서를 포함할 수 있다. 예를 들어, 센서부(170)는 깊이 센서(depth sensor) 또는 적외선 센서 중 하나 이상을 포함할 수 있다. 센서부(170)는, 미러 디스플레이의 상단, 하단 중앙 등 적절한 위치에 설치될 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 사용자의 조작 및 선택을 위해 다양한 입력을 수신하기 위해, 터치 패드(touch pad), 터치 패널(touch pad), 키 패드(Key pad), 돔 스위치(dome switch), 물리 버튼, 조그 셔틀(jog shuttle) 및 센서(sensor) 중 적어도 하나를 포함할 수 있으며, 이들에 제한되지 않는다. 또한, 일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 사용자의 음성을 수신하기 위한 마이크(microphone)를 더 포함할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 통신부(130)를 통해 사용자 단말 또는 운동 동작 분석과 관련된 외부 메인 서버 또는 관련 앱(application) 서버와 연결되어 통신 가능하다. 통신부(130)는 유선 통신이나 무선 통신 중 적어도 하나를 통한 데이터 송수신을 수행하며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN, Metropolitan Area Network), 광역 통신망(WAN: Wide Area Network)등 다양한 통신망을 지원하도록 구성될 수 있으며, 예컨대 통신 방식은 LTE(long term evolution), WCDMA(wideband code division multiple access), CDMA(code division multiple access), GSM(global system for mobile communications), WiFi(wireless fidelity), 블루투스(bluetooth) 및 NFC(near field communications) 중 적어도 하나를 포함할 수 있으며, 이들에 제한되지 않는다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 통신부(130)를 통해 통신하는 사용자 단말은 사용자의 입출력 조작에 따라 유무선 통신망 등을 경유하여 각종 데이터 등을 송수신 및 처리하고, 디스플레이할 수 있는 단말기일 수 있으며, 예컨대　스마트폰(smart phone), 태블릿(tablet) 컴퓨터, 데스크탑(desktop) 컴퓨터, 랩탑(laptop) 컴퓨터, 노트북, 워크스테이션(workstation), PDA (Personal Digital Assistants), 포터블(portable) 컴퓨터, 무선 전화기(wireless phone), 모바일 폰(mobile phone), e-북(e-book), PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 블랙박스(black box), 디지털 카메라(digital camera), 텔레비전(television), 웨어러블 디바이스(wearable device), 음성 인식 스피커,　스마트　스피커, AI(인공지능) 스피커 중 하나일 수 있으며, 이들에 제한되지 않는다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 사용자 자세를 분석함에 따라 발생하는 오류를 최소화할 수 있다, 일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 태권도 자세 데이터베이스로부터 추출한 정보에 기초하여 운동 동작의 오류를 분석하고 오류 정보를 생성할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 사용자의 현재 관절 위치 및 운동 정보 DB로부터 획득한 관련 관절의 운동 범위에 기초하여 운동 동작의 오류 여부를 판단하고, 오류 특징 정보를 추출할 수 있다. 예컨대, 운동 동작의 오류가 있다고 판단하는 경우 오류와 관련된 근육과 관절 부위를 결정할 수 있다. 또한, 운동 동작의 오류 판단은 사용자의 관상면, 횡단면 및 시상면에 기초하여 해당 운동 동작 관련 관절의 운동 궤도와 범위를 기준으로 결정될 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 오류와 관련된 근육 부위가 결정되면 렌더링 처리를 통해 사용자의 신체 이미지에서 오류와 관련된 근육 부위를 구분하여 표시할 수 있다. 예컨대, 운동 동작 오류에 따라 보상적으로 사용되는 근육을 정상 동작 시 사용되는 근육과 색상을 달리하여 표현하거나, 잘못 사용되는 근육을 원형 형상 등으로 별도 표시할 수 있을 것이다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 해당 사용자의 맞춤형 운동 동작 오류 개선 모델을 생성할 수 있다.예를 들어 예컨대, 해당 사용자에게 자주 오류가 발생하는 태권도 동작이나, 오류가 발생하는 특정 근육 및 관절 정보, 타이밍 정보 등에 기초하여 교정 솔루션을 생성할 수 있다. 누적된 운동 정보 데이터에 기초하여, 교정 운동 시행에 따라 타 사용자의 운동 동작 패턴 데이터와 해당 사용자의 운동동작 패턴 데이터를 축적 및 분석하고, 기계 학습 기반으로 운동 동작의 변화도를 분석하고 학습 모델을 생성함으로써 효과적인 오류 개선 모델을 생성할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 오류 패턴 분석에 따라 1차적 해결방안을 제공할 수 있다. 예를 들어, 교정운동과 생활 습관 개선을 제시할 수 있으며, 오류의 재발 방지를 위해 기계 학습을 통해 유사한 동작패턴 수행 시 관절별 오류 연관성을 분석하여 재발 방지를 위해 반복 수행 시 오류 피드백을 제공할 수 있다. 분석 결과의 정확도 유지를 위해 규칙 기반 운동 동작 분석을 기초로 하여 기계 학습 기반의 운동 동작 분석을 사용할 수 있으며, 이때 지도학습 기반의 딥 러닝(deep learning) 및 앙상블(ensemble)과 같은 알고리즘을 사용할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 이와 같은 오류 개선 모델을 제공함으로써, 동작 패턴 분석에 따라 반복적인 오류 동작을 수행 시, 오류 피드백을 통한 운동 재학습 과정을 거쳐 운동 패턴을 교정할 수 있도록 돕고, 지속적으로 관찰하여 해당 오류 패턴 재발할 경우 동일한 피드백 과정을 거쳐 완전한 교정이 될 수 있도록 할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 또한, 운동 동작 중 오류 패턴의 교정 과정에서 데이터 정보와 더불어 제안되는 일상 생활 습관 교정 정보 및 교정 운동 정보들은 운동 정보 DB에 저장될 수 있으며, 개인 또는 운동 관리자가 스마트 기기들을 통해 실시간 열람이 가능하게 할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는운동 동작 개선 모델의 생성과 함께 해당 사용자의 운동 동작 오류 예측을 생성할 수 있다. 해당 사용자의 운동 동작 오류 판단과 관련된 누적 데이터에 기초하여 사용자의 동작 오류 패턴을 미리 예측함으로써, 관련 솔루션을 함께 제공할 수 있다. 이와 같이, 근육과 관절의 구조적 균형을 위해 개선된 교정 운동 시행 후, 운동 학습의 재교육을 위해 사용자가 틀릴 수 있는 동작 패턴을 미리 예측하여 해당 운동 동작을 수행하기 전에 또는 수행 시에 운동 동작 오류 패턴을 알려줌으로써 해당 사용자에게 맞춤형으로 올바른 운동 동작을 유도할 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 오류 개선이 진행되면 오류 개선 모델 생성 과정이 삭제되며, 이후 반복적으로 오류가 재발할 경우 동일한 과정의 반복을 통해 오류 개선 모델이 다시 생성될 수 있다.

일 개시에 의하여 태권도 코칭 서비스 제공 장치(100)는 태권도 자세 "I 품새 별로 파생되는 동작들에 대한 규칙성을 기초 단계에서 적용 및 학습할 수 있다. 오류가 빈번한 패턴의 규칙성을 기반으로 사용자의 특이성을 파악하여 오류가 반복될 시, 오류로 인하여 잘못 사용되는 근육과 해당 부위, 그리고 정상적인 동작의 관절이동 궤도를 실시간으로 나타내어 사용자의 만성적인 운동 동작상 오류를 개선할 수 있도록 피드백을 생성할 수 있을 것이다.

일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

또한, 본 명세서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (5)

1. 적어도 하나의 카메라 및 적어도 하나의 센서를 이용하여 태권도 자세를 수행하는 사용자의 영상 및 사용자의 동작 정보를 획득하는 단계;
   상기 획득한 사용자의 영상을 미러 디스플레이에 표시함과 동시에, 상기 사용자의 동작 정보에 매칭되는 전문가의 동작 정보를 표시하는 단계;
   상기 사용자의 동작 정보를 이용하여 상기 사용자의 3D 골격 모델을 생성하고, 상기 사용자의 3D 골격 모델의 좌표 변화와 상기 전문가의 동작 정보를 비교하여 동작 유사도를 산출하는 단계;
   상기 동작 유사도에 기초하여, 상기 사용자가 수행한 태권도 자세의 동작 정확성 및 동작 표현력을 평가하여 점수화하는 단계;
   상기 동작 정확성 및 동작 표현력의 점수에 따른 사용자 맞춤형 태권도 코칭 정보를 생성하는 단계; 및
   상기 사용자 맞춤형 태권도 코칭 정보를 상기 미러 디스플레이를 이용하여 출력하는 단계를 포함하는, 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 방법.
   
2. 제 1 항에 있어서,
   상기 동작 유사도를 산출하는 단계는,
   3차원 카메라를 이용하여 촬영된 사용자의 영상 및 거리센서를 이용하여 측정된 사용자의 동작 정보에 기초하여 상기 사용자의 3D 골격 모델을 생성하는 단계;
   상기 사용자의 3D 골격 모델에서 사용자의 팔, 다리, 척추 및 관절을 포함한 복수개의 3차원 특징점을 결정하는 단계;
   상기 복수개의 3차원 특징점의 좌표를 기준으로 상기 사용자의 태권도 자세를 특정한 후, 복수의 태권도 전문가 자세로 이루어진 빅데이터를 기반으로 상기 특정된 태권도 자세를 학습하는 단계; 및
   상기 학습된 결과를 기초로 상기 복수개의 3차원 특징점의 좌표와 전문가 자세에서 추출한 좌표의 유사성을 판단하여 동작 유사도를 산출하는 단계를 포함하는, 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 방법.
   
3. 제 1 항에 있어서,
   상기 사용자의 영상을 복수개의 2D 이미지 시퀀스로 분할하는 단계;
   상기 복수개의 2D 이미지 시퀀스를 기 정해진 평가 항목별로 분류하는 단계;
   상기 평가 학목별로 분류된 2D 이미지 시퀀스 각각에 포함된 사용자의 태권도 자세를 전문가의 동작 정보와 비교하여, 각각의 평가 항목별로 동작 정확성 및 동작 표현력을 결정하는 단계;
   상기 결정된 동작 정확성 및 동작 표현력을 수학식 1의 변수로서 이용하여 태권도 자세 평가값(M)을 산출하는 단계; 및
   상기 태권도 자세 평가값의 결과에 기초하여, 상기 사용자의 태권도 자세를 개선할 수 있는 사용자 맞춤형 태권도 코칭 정보를 생성하는 단계를 포함하되,
   상기 수학식 1은 아래와 같으며,
   

   

   
   여기서, Pi는 각각의 평가 항목별 동작 정확성, wi는 동작 정확성의 가중치, Ej는 각각의 평가 항목별 동작 표현력, wj는 동작 표현력의 가중치, α는 사용자의 성별, 나이 및 신체조건을 기초로 분류된 그룹의 가중치를 나타내는 것을 특징으로 하는, 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 방법.
   
4. 제 1 항에 있어서,
   상기 사용자 맞춤형 태권도 코칭 정보는,
   태권도 동작 정확성 및 동작 표현력의 점수에 따라 복수개의 그룹을 생성하는 단계;
   상기 복수개의 그룹 각각에 필요한 태권도 품새별 운동시간, 운동횟수 및 휴식시간 및 하위 그룹에서 상위 그룹으로 올라가기 위해 더 필요한 운동정보를 포함하는 태권도 코칭 정보를 생성하는 단계;
   누적된 사용자의 영상을 분석하여 상기 사용자를 상기 복수개의 그룹 중 어느 하나의 그룹에 할당하는 단계;
   상기 미러 디스플레이에 상기 사용자의 영상을 실시간 표시하는 동시에, 상기 사용자가 속한 그룹의 태권도 코칭 정보를 표시하는 단계; 및
   상기 사용자가 속한 그룹에 매칭된 전문가의 태권도 자세와 사용자의 태권도 자세를 비교하여 표시하는 단계를 포함하는, 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 방법.
   
5. 태권도 자세를 수행하는 사용자의 영상을 촬영하는 적어도 하나의 카메라;
   상기 태권도 자세를 수행하는 사용자의 동작 정보를 획득하기 위한 적어도 하나의 센서;
   상기 사용자 맞춤형 태권도 코칭 정보를 생성하는 프로세서; 및
   상기 사용자의 영상 및 사용자 맞춤형 태권도 코칭 정보를 표시하는 미러 디스플레이를 포함하고,
   상기 프로세서는,
   상기 미러 디스플레이를 이용하여 상기 사용자의 영상 및 상기 사용자의 동작 정보에 매칭되는 전문가의 동작 정보를 표시하고,
   상기 사용자의 동작 정보를 이용하여 상기 사용자의 3D 골격 모델을 생성하고, 상기 사용자의 3D 골격 모델의 좌표 변화와 상기 전문가의 동작 정보를 비교하여 동작 유사도를 산출하고,
   상기 동작 유사도에 기초하여, 상기 사용자가 수행한 태권도 자세의 동작 정확성 및 동작 표현력을 평가하여 점수화하고,
   상기 동작 정확성 및 동작 표현력의 점수에 따른 사용자 맞춤형 태권도 코칭 정보를 생성하고,
   상기 사용자 맞춤형 태권도 코칭 정보를 상기 미러 디스플레이를 이용하여 출력하는, 미러 디스플레이를 이용하여 태권도 동작 코칭 서비스를 제공하는 장치.

Images