KR20180062069A

KR20180062069A - 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템 및 이를 이용한 골프 스윙 분석 방법

Info

Publication number: KR20180062069A
Application number: KR1020160161943A
Authority: KR
Inventors: 반성범; 황세현; 고경리
Original assignee: 조선대학교산학협력단
Priority date: 2016-11-30
Filing date: 2016-11-30
Publication date: 2018-06-08
Also published as: KR101913667B1

Abstract

본 발명은 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템 및 이를 이용한 골프 스윙 분석 방법에 관한 것으로서, 상기 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템은 골프 스윙을 하는 사용자에 대한 깊이 영상을 촬영하는 뎁스 카메라와, 상기 사용자의 골프 스윙을 촬영하는 고프레임 카메라와, 골프 스윙시 사용자 손의 위치를 감지하기 위해 사용자의 손에 장착된 관성센서와, 상기 뎁스 카메라를 통해 획득된 깊이 영상을 토대로 사용자의 자세정보를 산출하는 자세 산출부와, 상기 고프레임 카메라로부터 촬영된 스윙 영상으로부터 사용자가 파지하는 골프 클럽의 움직임을 검출하는 클럽 산출부와, 상기 관성센서를 통해 측정된 감지정보를 토대로 스윙시 상기 사용자의 손의 움직임을 산출하는 핸드 산출부를 구비한다.
본 발명에 따른 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템 및 이를 이용한 골프 스윙 분석 방법은 골프 스윙시 사용자의 손을 추적할 수 있도록 관성센서가 마련되고, 뎁스 카메라를 통해 획득한 깊이영상을 토대로 사용자의 스윙시 자세를 분석하고, 고프레임 카메라를 통해 스윙시 골프 클럽의 움직임을 감지할 수 있으므로 골프 스윙에 대한 보다 정확한 분석 결과를 획득할 수 있다는 장점이 있다.

Description

다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템 및 이를 이용한 골프 스윙 분석 방법{Golf swing analysis system using inertial sensor and Multiple cameras and Golf swing analysis method using the same}

본 발명은 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템 및 이를 이용한 골프 스윙 분석 방법에 관한 것으로서, 뎁스 카메라, 고프레임 카메라 및 사용자의 손에 장착된 관성센서를 통해 획득한 데이터를 토대로 사용자의 골프 스윙을 분석하는 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템 및 이를 이용한 골프 스윙 분석 방법에 관한 것이다.

골프란 코스 위에 정지해 있는 볼을 골프 클럽으로 쳐서 정해진 홀에 넣어 그 때까지 소용된 타수의 많고 적음으로 우열을 겨루는 경기이다. 골프 스윙을 잘하기 위해서는 다양한 골프 동작에 대해 이해가 필요하며 잘못된 자세에 대한 숙지 및 예방이 필요하다.

골프 스윙의 연습에 있어서 어드레스(address)부터 백스윙(back swing), 다운스윙(down swing), 임팩트(impact) 및 피니쉬(finish)에 이르기까지 각 동작이 정확하게 구현이 되어야만 비로소 좋은 골프 스윙이 나올수 있다. 이와 같은 좋은 골프 스윙을 위해서는 자신의 골프 스윙에 대한 전문가의 정확한 분석을 토대로 꾸준한 연습과 분석 결과를 바탕으로 한 교정을 반복적으로 수행하여야 한다.

현재 기록 향상 및 자세교정을 위한 각종 자세 분석 시뮬레이션 시스템에 대한 연구가 활발히 진행되고 있다.

종래에 사용되는 분석 시스템으로서, 카메라를 이용한 2D 분석의 경우에는 대상자의 정면 또는 측면에 카메라를 위치시키고 스윙 진행 모습을 영상으로 저장한 이후에 전문가에 의해 분석된다. 이러한 경우, 스포츠 동작을 인간의 눈으로 평가하고 분석하는 것은 사람의 주관에 따라 크게 달라질 수 있으며, 영상 내에 나타나지 않는 관절에 대해서는 분석이 어려운 단점이 있다.

또한, 이러한 2차원적 분석의 단점을 해결하기 위해, 최근에는 여러 가지 방식의 센서를 이용한 모션 분석 시스템에 관한 연구가 활발히 이루어지고 있다. 그러나 인체의 모션을 취득하기 위해서는 최소 15개 이상의 센서를 몸에 부착해야하는 불편함이 있다.

공개특허공보 제10-2014-0044754호: 골프스윙 해석장치 및 골프스윙 해석방법

본 발명은 상기와 같은 문제점을 개선하기 위해 창안된 것으로서, 골프 스윙시 사용자의 손을 추적할 수 있도록 관성센서가 마련되고, 뎁스 카메라를 통해 획득한 깊이영상을 토대로 사용자의 스윙시 자세를 분석하고, 고프레임 카메라를 통해 스윙시 골프 클럽의 움직임을 감지할 수 있는 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템 및 이를 이용한 골프 스윙 분석 방법을 제공하는데 그 목적이 있다.

상기 목적을 달성하기 위한 본 발명에 따른 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템은 골프 스윙을 하는 사용자에 대한 깊이 영상을 촬영하는 뎁스 카메라와, 상기 사용자의 골프 스윙을 촬영하는 고프레임 카메라와, 골프 스윙시 사용자 손의 위치를 감지하기 위해 사용자의 손에 장착된 관성센서와, 상기 뎁스 카메라를 통해 획득된 깊이 영상을 토대로 사용자의 자세정보를 산출하는 자세 산출부와, 상기 고프레임 카메라로부터 촬영된 스윙 영상으로부터 사용자가 파지하는 골프 클럽의 움직임을 검출하는 클럽 산출부와, 상기 관성센서를 통해 측정된 감지정보를 토대로 스윙시 상기 사용자의 손의 움직임을 산출하는 핸드 산출부를 구비

상기 자세 산출부는 상기 뎁스 카메라로부터 획득한 깊이 영상을 토대로 스켈레톤 영상을 생성하고, 생성된 스켈레톤 영상에서 사용자의 각 관절에 대응되는 좌표를 추출하는 스켈레톤 영상 생성부와, 상기 스켈레톤 영상 생성부를 통해 추출된 좌표들 중 사용자의 어깨 및 양발의 좌표를 추출하는 좌표 추출부와, 상기 좌표 추출부를 통해 추출된 사용자의 어깨 및 양발의 좌표를 토대로 사용자의 어깨 기울기 및 양발의 스탠스 상태를 산출하는 상태검출부를 구비한다.

상기 상태검출부는 양발의 스탠스 상태로서, 사용자의 양발의 좌우 폭 및 양발의 전후방향 이격거리를 산출하는 것이 바람직하다.

상기 관성센서는 골프 스윙에 따라 발생하는 사용자 손의 3축 가속도 값 및 3축 각속도 값을 측정하고, 상기 핸드 산출부는 상기 관성센서로부터 측정된 사용자 손의 3축 가속도 값을 토대로 사용자 손의 이동궤적을 산출한다.

상기 관성센서는 골프 스윙에 따라 발생하는 사용자 손의 3축 가속도 값을 측정하고, 본 발명에 따른 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템은 상기 관성센서를 통해 측정된 감지정보를 토대로 스윙 시작시점, 상기 골프클럽이 골프공을 타격하는 타격시점 및 상기 스윙 시작시점과 타격시점 사이에 상기 골프클럽의 헤드가 최상측에 위치하는 탑 오브 스윙(top of swing) 시점을 산출하는 시점 산출부를 더 구비할 수도 있다.

상기 시점 산출부는 사용자의 골프 스윙에 따라 발생하는 상기 관성센서의 3축 가속도 값을 SVM(Signal Vector Magnitude) 알고리즘을 이용하여 에너지로 변환하는 에너지 변환부와, 상기 에너지 변환부를 통해 변환된 에너지 값을 토대로 상기 스윙 시작시점, 탑 오브 스윙 시점 및 타격시점을 판별하는 판별부를 구비한다.

상기 판별부는 상기 에너지 변환부를 통해 변환된 에너지 값이 기설정된 기준값에서 상기 기준값을 초과하는 시점을 상기 스윙 시작시점으로 판별하고, 상기 스윙 시작시점 이후에 상기 에너지 값이 상기 기준값 이하가 되는 시점을 상기 탑 오브 스윙 시점으로 판별하고, 상기 탑 오브 스윙 시점 이후에 상기 에너지 값이 최대값이 되는 시점을 상기 타격시점으로 판별할 수도 있다.

한편, 본 발명에 따른 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템은 상기 시점 산출부를 통해 산출된 각 시점 정보를 토대로, 상기 스윙시작시점부터 상기 탑 오브 스윙 시점까지의 경과시간과 상기 탑 오브 스윙 시점부터 상기 타격시점까지의 경과시간의 비를 산출하는 스윙 템포 산출부를 더 구비할 수도 있다.

상기 클럽 산출부는 상기 고프레임 카메라를 통해 획득한 스윙영상에서 현재 프레임의 영상인 기준영상과, 상기 기준영상의 이전 프레임의 영상인 제1이전영상의 차이를 이용하여 차영상을 생성하는 제1차영상 생성부와, 상기 스윙 영상에서 상기 제1이전영상과, 상기 제1이전영상의 이전 프레임의 영상인 제2이전영상의 차이를 이용하여 차영상을 생성하는 제2차영상 생성부와, 상기 제1 및 제2차영상 생성부를 통해 생성된 차영상들에서 상호 중첩되는 부분을 검출하여 분석영상을 생성하는 분석영상 생성부와, 상기 분석영상 생성부에서 생성된 분석영상에서 상기 골프 클럽의 샤프트 또는 헤드를 검출하는 이미지 검출부를 구비한다.

상기 클럽 산출부는 상기 분석영상 생성부를 통해 생성된 상기 분석영상의 잡음을 제거할 수 있도록 필터링하기 위해 상기 분석영상에 모폴로지(morphology) 연산을 적용하는 잡음제거부를 더 구비할 수도 있다.

상기 이미지 검출부는 허프변환(Hough Transform)을 이용하여 상기 분석영상에서 상기 골프 클럽을 검출하고, 검출된 상기 골프 클럽에서 상기 헤드의 오검출을 방지하기 위해 커브피팅을 수행하는 것이 바람직하다.

한편, 본 발명에 따른 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 방법은 뎁스 카메라로부터 골프 스윙을 수행하는 사용자에 대한 깊이 영상을 획득하는 깊이 영상 획득단계와, 상기 골프 스윙 시 사용자의 손에 장착된 관성센서의 감지정보를 획득하는 센서 정보 획득단계와, 고프레임 카메라로부터 상기 골프 스윙시 사용자의 스윙에 대한 스윙 영상을 획득하는 스윙 영상 획득단계와, 상기 깊이 영상 획득단계를 통해 획득한 깊이 영상을 토대로 사용자의 자세정보를 산출하는 자세 정보 산출단계와, 상기 센서 정보 획득단계를 통해 획득한 상기 관성센서의 감지정보를 토대로 골프 스윙시 사용자의 손의 움직임을 산출하는 핸드 정보 산출단계와, 상기 스윙 영상 획득단계를 통해 획득한 스윙영상을 토대로 골프스윙시 사용자가 파지한 골프클럽의 샤프트 또는 헤드의 움직임을 산출하는 클럽 정보 산출단계를 포함한다.

상기 관성센서는 골프 스윙에 따라 발생하는 사용자 손의 3축 가속도 값을 측정하는 것이 바람직하다.

본 발명에 따른 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 방법은 상기 관성센서를 통해 측정된 감지정보를 토대로 스윙 시작시점, 상기 골프클럽 헤드가 골프공을 타격하는 타격시점 및 상기 스윙 시작시점과 타격시점 사이에 상기 골프클럽 헤드가 최상측에 위치하는 탑 오브 스윙(top of swing) 시점을 산출하는 시점 산출단계를 더 포함한다.

상기 시점 산출단계는 사용자의 골프 스윙에 따라 발생하는 상기 관성센서의 3축 가속도 값을 SVM(Signal Vector Magnitude) 알고리즘을 이용하여 에너지로 변환하는 에너지 변환단계와, 상기 에너지 변환단계를 통해 변환된 사용자의 골프 스윙에 따른 에너지 값에 따라 상기 스윙 시작시점, 탑 오브 스윙 시점 및 타격시점을 판별하는 판별단계를 구비한다.

상기 판별단계에서, 상기 에너지 변환단계를 통해 변환된 에너지 값이 기설정된 기준값에서 상기 기준값을 초과하는 시점을 상기 스윙 시작시점으로 판별하고, 상기 스윙 시작시점 이후에 상기 에너지 값이 상기 기준값 이하가 되는 시점을 상기 탑 오브 스윙 시점으로 판별하고, 상기 탑 오브 스윙 시점 이후에 상기 에너지 값이 최대값이 되는 시점을 상기 타격시점으로 판별하는 것이 바람직하다.

한편, 본 발명에 따른 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 방법은 상기 시점 산출단계를 통해 산출된 각 시점 정보를 토대로, 상기 스윙시작시점부터 상기 탑 오브 스윙 시점까지의 경과시간과 상기 탑 오브 스윙 시점부터 상기 타격시점까지의 경과시간의 비를 산출하는 스윙 템포 산출단계를 더 포함할 수도 있다.

상기 자세 정보 산출단계는 상기 뎁스 카메라로부터 획득한 깊이 영상을 토대로 스켈레톤 영상을 생성하고, 생성된 스켈레톤 영상에서 사용자의 각 관절에 대응되는 좌표를 추출하는 스켈레톤 영상 생성단계와, 상기 스켈레톤 영상 생성단계를 통해 추출된 좌표들 중 사용자의 어깨 및 양발의 좌표를 추출하는 좌표 추출단계와, 상기 좌표 추출단계를 통해 추출된 사용자의 어깨 및 양발의 좌표를 토대로 사용자의 어깨 기울기 및 양발의 스탠스 상태를 산출하는 상태검출단계를 구비한다.

상기 클럽 정보 산출단계는 상기 고프레임 카메라를 통해 획득한 스윙영상에서 현재 프레임의 영상인 기준영상과, 상기 기준영상의 이전 프레임의 영상인 제1이전영상의 차이를 이용하여 차영상을 생성하는 제1차영상 생성단계와, 상기 스윙 영상에서 상기 제1이전영상과, 상기 제1이전영상의 이전 프레임의 영상인 제2이전영상의 차이를 이용하여 차영상을 생성하는 제2차영상 생성단계와, 상기 제1 및 제2차영상 생성단계를 통해 생성된 차영상들에서 상호 중첩되는 부분을 검출하여 분석영상을 생성하는 분석영상 생성단계와, 상기 분석영상 생성단계에서 생성된 분석영상에서 골프 클럽의 샤프트 또는 골프 클럽의 헤드를 검출하는 이미지 검출단계를 구비한다.

상기 핸드 정보 산출단계는 상기 분석영상 생성단계를 통해 생성된 분석영상에서 잡음을 제거하기 위해 상기 분석영상에 모폴로지(morphology) 연산을 적용하는 잡음제거단계를 더 포함할 수도 있다.

상기 이미지 검출단계에서, 허프변환(Hough Transform)을 이용하여 상기 분석영상에서 상기 골프 클럽을 검출하고, 검출된 상기 골프 클럽에서 골프 클럽의 헤드부분의 오검출을 방지하기 위해 커브피팅을 수행하는 것이 바람직하다.

본 발명에 따른 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템 및 이를 이용한 골프 스윙 분석 방법은 골프 스윙시 사용자의 손을 추적할 수 있도록 관성센서가 마련되고, 뎁스 카메라를 통해 획득한 깊이영상을 토대로 사용자의 스윙시 자세를 분석하고, 고프레임 카메라를 통해 스윙시 골프 클럽의 움직임을 감지할 수 있으므로 골프 스윙에 대한 보다 정확한 분석 결과를 획득할 수 있다는 장점이 있다.

도 1은 본 발명에 따른 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템에 대한 개념도이고,
도 2는 도 1의 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템에 대한 블럭도이고,
도 3은 도 1의 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템의 자세 산출부에 대한 블럭도이고,
도 4는 도 1의 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템의 시점 산출부에 대한 블럭도이고,
도 5는 도 1의 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템의 클럽 산출부에 대한 블럭도이고,
도 6은 도 1의 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템의 스켈레톤 영상 생성부에 의해 생성된 좌표가 표시된 스켈레톤 영상에 대한 예시이고,
도 7은 도 1의 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템의 상태검출부에 의해 검출된 결과에 대한 사진 및 그래프이고,
도 8은 도 1의 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템의 핸드 산출부에 의해 산출된 손의 궤적에 대한 그래프이고,
도 9는 도 1의 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템의 에너지 변환부에 의해 변환된 에너지 값에 대한 그래프이고,
도 10은 도 1의 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템의 제1차영상 생성부, 제2차영상 생성부 및 분석영상 생성부에 의해 생성된 영상이고,
도 11은 도 1의 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템의 잡음제거부에 의해 잡음이 제거된 분석영상이고,
도 12는 도 1의 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템의 이미지 검출부가 분석영상에서 케니 에지 검출한 영상이고,
도 13은 도 1의 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템의 이미지 검출부가 분석영상에서 케니 에지 검출한 영상이고,
도 14는 도 1의 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템의 이미지 검출부를 통해 검출된 골프클럽의 궤적을 나타낸 그래프이다.

이하, 첨부한 도면을 참조하여 본 발명의 실시예에 따른 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템 및 이를 이용한 골프 스윙 분석 방법에 대해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

도 1 내지 도 5에는 본 발명에 따른 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템이 도시되어 있다.

도면을 참조하면, 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템(100)은 골프 스윙을 하는 사용자에 대한 깊이 영상을 촬영하는 뎁스 카메라(110)와, 상기 사용자의 골프 스윙을 촬영하는 고프레임 카메라(130)와, 골프 스윙시 사용자 손의 위치를 감지하기 위해 사용자의 손에 장착된 관성센서(120)와, 뎁스 카메라(110), 고프레임 카메라(130) 및 관성센서(120)를 통해 획득한 정보를 토대로 사용자의 골프 스윙을 분석하는 정보처리유닛(200)을 구비한다.

뎁스 카메라(110)는 사용자에 대한 깊이 영상을 촬영할 수 있도록 사용자의 정면에 대해 전방으로 소정거리 이격된 위치에 설치되어 있다. 뎁스 카메라(110)는 컬러영상 및 깊이 영상을 획득할 수 있는 카메라 및 깊이 센서가 포함된 키넥트(Kinect)와 같은 기기인 것이 바람직하다.

고프레임 카메라(130)는 고프레임으로 영상을 촬영할 수 있는 RGB(Red Green Blue) 카메라로서, 뎁스 카메라(110)에 인접된 위치에서 사용자의 정면을 촬영한다. 고프레임 카메라(130)는 골프스윙시 골프클럽의 움직임이 촬영한다.

이때, 상기 골프클럽은 일단부에 사용자가 파지할 수 있는 손잡이가 마련된 샤프트와, 샤프트의 타단부에 형성되어 골프공을 타격하는 헤드를 구비한다. 상기 골프클럽은 골프 운동시 일반적으로 사용되는 종래의 골프클럽이므로 상세한 설명은 생략한다.

관성센서(120)는 사용자가 손에 착용한 장갑에 설치되거나 사용자의 손에 부착되는 것으로서, 골프 스윙에 따라 발생하는 사용자 손의 3축 가속도 값을 측정하는 센서이다. 관성센서(120)는 손의 움직임 추적을 위해서 3축 각속도를 측정할 수 있는 자이로 센서와, 3축 가속도를 측정할 수 있는 가속도 센서를 구비한다.

자이로 센서는 x,y,z 축의 각속도 데이터를 구할 수 있으며, 하기의 수학식1로 표현되며, 가속도 센서는 x,y,z 축의 가속도 데이터를 구할 수 있으며, 하기의 수학식2로 표현된다.

상기 관성센서(120)는 종래에 일반적으로 사용되는 3축 가속도 값을 측정하는 센서이므로 상세한 설명은 생략한다.

정보처리유닛(200)은 상기 뎁스 카메라(110)를 통해 획득된 깊이 영상을 토대로 사용자의 자세정보를 산출하는 자세 산출부(210)와, 상기 고프레임 카메라(130)로부터 촬영된 스윙 영상으로부터 사용자가 파지하는 골프 클럽의 움직임을 검출하는 클럽 산출부(220)와, 상기 관성센서(120)를 통해 측정된 감지정보를 토대로 스윙시 상기 사용자의 손의 움직임을 산출하는 핸드 산출부(230)와, 상기 관성센서(120)를 통해 측정된 감지정보를 토대로 스윙에 대한 시점들 각각 산출하는 시점 산출부(240)와, 시점 산출부(240)를 통해 산출된 시점 정보를 토대로 스윙템포를 산출하는 스윙 템포 산출부(250)를 구비한다.

자세 산출부(210)는 골프 스윙시 사용자의 어깨기울기 및 양발의 스탠스 상태를 측정하는 것으로서, 스켈레톤 영상 생성부(211), 좌표 추출부(212) 및 상태 검출부(213)를 구비한다.

스켈레톤 영상 생성부(211)는 상기 뎁스 카메라(110)로부터 획득한 깊이 영상을 토대로 스켈레톤 영상을 생성하고, 생성된 스켈레톤 영상에서 사용자의 각 관절에 대응되는 좌표를 추출한다. 스켈레톤 영상 생성부(211)는 뎁스 카메라(110)로부터 제공받은 깊이 영상에서 사용자의 신체를 추출한다. 이때, 스켈레톤 영상 생성부(211)는 사람의 주요 관절 20개를 인식할 수 있는 관절 추적 소프트웨어가 적용되어 있어 도 6과 같이 추출된 깊이 영상의 신체 범위에서 관절부분의 좌표를 생성한다.

좌표 추출부(212)는 상기 스켈레톤 영상 생성부(211)를 통해 추출된 좌표들 중 사용자의 어깨 및 양발의 좌표를 추출한다.

상태 검출부(213)는 상기 좌표 추출부(212)를 통해 추출된 사용자의 어깨 및 양발의 좌표를 토대로 사용자의 어깨 기울기 및 양발의 스탠스 상태를 산출한다. 도 7에는 상태 검출부(213)에 의해 산출된 어깨 기울기에 대한 사진 및 그래프가 도시되어 있다. 도시된 바와 같이 상태 검출부(213)는 좌우 어깨의 좌표를 추출하고, 어깨 좌표들을 지나는 선의 기울기를 산출하여 사용자의 어깨의 기울기를 계산한다.

또한, 상태 검출부(213)는 사용자 양발의 스탠스 상태를 산출하는데, 좌표 추출부(212)를 통해 추출된 사용자의 좌우 발의 좌표를 토대로 사용자 양발의 좌우 폭 또는 양발의 전후방향 이격거리를 산출한다.

핸드 산출부(230)는 상기 관성센서(120)로부터 측정된 사용자 손의 3축 가속도 값을 토대로 사용자 손의 이동궤적을 산출한다. 핸드 산출부(230)는 관성센서(120)를 통해 측정된 사용자 손의 3축 각속도 데이터 및 3축 가속도 데이터를 토대로 사용자 손의 위치를 추적한다. 핸드 산출부(230)에서 관성센서(120)의 데이터를 통해 손의 궤적을 산출하는 방법을 상세히 설명하면 다음과 같다.

관성센서(120)를 통해 얻어진 각속도 및 가속도의 데이터는 쿼터니언을 만들기 위해 사용되며, 초기 쿼터니언 데이터는 존재하지 않으므로 임의 초기 설정 값을 입력한다.

시간에 따라 변화하는 쿼터니언 정보를 얻기 위해서는 가속도 데이터를 이용하여 중력의 방향 정보를 얻어야 하지만, 초기 입력되는 가속도 데이터는 불필요한 데이터와 비교적 많은 데이터가 포함되어 있기 때문에 정규화 작업이 필요하며, 정규화 작업이 진행된 가속도 데이터는

로 표현된다. 정규화된 가속도와 초기 쿼터니언 데이터를 하기의 수학식 3에 대입하여 중력의 예상 움직임 방향을 추출한다.

출력된 중력 방향 데이터를 샘플링 주기 및 각속도에 곱함으로써 시간에 대한 각속도 변화량을 구한다.

각속도와 초기 쿼터니언을 이용하여 시간에 따라 증가하는 값을 추정함으로써 변해가느 속도를 알 수 있는 쿼터니언의 발산지수인

를 출력한다. 다음, 발산지수인 β와 커터니언q 그리고 샘플링 주기 Δt를 곱하여 하기의 수학식 4와 같이 쿼터니언 정보를 추출한다.

추출된 쿼터니언 데이터는 바로 연산이 불가능하므로 하기의 수학식 5를 이용하여 회전매트릭스로 변환 후 연산한다.

한편, 위치 추적을 위해서는 쿼터니언 회전 정보 및 속도 정보가 필요하는데, 속도를 계산하기 위해서 회전 매트릭스와 가속도 데이터의 역행렬을 곱하여 가속도 데이터의 기울기 오차 보상(

)을 계산하고, 이를 이용하여 속도 (

)를 구한다. 출력된 속도 데이터는 드리프트 현상을 줄이기 위해 하이패스필터를 통해 오류를 줄이고 초기 설정된 위치 좌표에

와 같이 계산하여 위치를 추적한다.

핸드 산출부(230)는 골프 스윙시 사용자 손의 궤적을 추적하여 도 8과 같이 그래프로 제공한다.

시점 산출부(240)는 관성센서(120)를 통해 측정된 감지정보를 토대로 스윙 시작시점, 상기 골프클럽이 골프공을 타격하는 타격시점 및 상기 스윙 시작시점과 타격시점 사이에 상기 골프클럽의 헤드가 최상측에 위치하는 탑 오브 스윙(top of swing) 시점, 스윙이 끝나는 피니쉬 시점을 산출하는 것으로서, 에너지 변환부(241) 및 판별부(242)를 구비한다.

에너지 변환부(241)는 사용자의 골프 스윙에 따라 발생하는 상기 관성센서(120)의 3축 가속도 값을 SVM(Signal Vector Magnitude) 알고리즘을 이용하여 에너지로 변환한다. 에너지 변환부(241)는 하기의 수학식 6을 이용하여 관성센서(120)로부터 제공되는 3축 가속도 데이터를 에너지(E)로 변환하고, 그 값은 도 9와 같이 표시된다.

판별부(242)는 상기 에너지 변환부(241)를 통해 변환된 에너지 값을 토대로 상기 스윙 시작시점, 탑 오브 스윙 시점 및 타격시점을 판별한다. 일반적으로 골프 스윙에 있어서, 스윙 전의 준비 상태인 어드레스 자세에서는 상기 에너지 값이 1에 가까운 값을 유지한다. 판별부(242)는 상기 에너지 변환부(241)를 통해 변환된 에너지 값이 기설정된 기준값에서 상기 기준값을 초과하는 시점을 백스윙 시점 즉, 상기 스윙 시작시점으로 판별한다. 이때, 상기 기준값은 1이거나 0.5 내지 1.5 중 어느 한 값일 수도 있다. 상기 기준값은 사용자에 따라 어드레스 자세의 에너지 값을 산출한 다음 설정할 수 있다. 스윙 시작시점 전에는 어드레스 상태로 판별하는 것이 바람직하다.

또한, 스윙 시작 시점 이후에 탑 오스 스윙에 도달하면 움직임이 거의 없기 때문에 에너지 값은 0에 가까운 값을 가지게 된다. 따라서, 판별부(242)는 상기 스윙 시작시점 이후에 상기 에너지 값이 상기 기준값 이하가 되는 시점을 상기 탑 오브 스윙 시점으로 판별한다.

그리고, 탑 오브 스윙 시점 이후에 골프공을 타격하는 순간에 에너지 값이 최대가 된다. 따라서, 판별부(242)는 상기 탑 오브 스윙 시점 이후에 상기 에너지 값이 최대값이 되는 시점을 상기 타격시점으로 판별한다. 또한, 타격시점 이후에 스윙이 끝났을 경우, 에너지값은 다시 기준값에 가까워지므로 판별부(242)는 타격시점 이후에 에너지값이 기준값이하가 되는 시점을 피니쉬 시점으로 판별한다. 또한, 판별부(242)는 판별된 시점들을 도 8 및 도 9에 표시하여 손의 궤적 그래프 및 에너지 변화 그래프에 표시하여 사용자에게 제공한다.

스윙 템포 산출부(250)는 상기 시점 산출부(240)를 통해 산출된 각 시점 정보를 토대로, 상기 스윙시작시점부터 상기 탑 오브 스윙 시점까지의 경과시간과 상기 탑 오브 스윙 시점부터 상기 타격시점까지의 경과시간의 비를 산출한다. 즉, 스윙 템포 산출부(250)는 하기의 수학식 7에 따라 스윙 템포를 계산한다.

여기서, BS_time은 스윙시작시점부터 상기 탑 오브 스윙 시점까지의 경과시간이고, DS_time은 상기 탑 오브 스윙 시점부터 상기 타격시점까지의 경과시간이다. 이때, 이상적인 스윙 템포는 3:1이며, 스윙 템포 산출부(250)는 이상적인 스윙템포 값과 계산된 스윙 템포 정보를 사용자에게 제공한다.

클럽 산출부(220)는 상기 고프레임 카메라(130)로부터 촬영된 스윙 영상으로부터 사용자가 파지하는 골프 클럽의 움직임을 검출하는 것으로서, 제1차영상 생성부(221), 제2차영상 생성부(222), 분석영상 생성부(223), 잡음제거부(224) 및 이미지 검출부(225)를 구비한다.

제1차영상 생성부(221)는 고프레임 카메라(130)로부터 제공된 스윙영상을 그레이 영상으로 변환한 다음, 스윙영상에서 현재 프레임의 영상인 기준영상과, 상기 기준영상의 이전 프레임의 영상인 제1이전영상의 차이를 이용하여 차영상을 생성한다. 이때, 제1차영상 생성부(221)는 기준영상과 제1이전영상 중 상호 변경된 부분을 추출하여 차영상으로 생성하며, 하기의 수학식 8을 이용한다.

여기서, Gray_t는 기준영상이고, Gray_t _- ₁는 제1이전영상이고, Diff₁은 제1차영상 생성부(221)에 의해 생성된 차영상이다.

제2차영상 생성부(222)는 그레이 영상으로 변환된 스윙 영상에서 상기 제1이전영상과, 상기 제1이전영상의 이전 프레임의 영상인 제2이전영상의 차이를 이용하여 차영상을 생성한다. 이때, 제2차영상 생성부(222)는 제1이전영상과 제2이전영상 중 상호 변경된 부분을 추출하여 차영상으로 생성하며 하기의 수학식 9를 이용한다.

여기서, Gray_t _- ₁는 제1이전영상이고, Gray_t _-2는 제2이전영상이고, Diff₂은 제2차영상 생성부(222)에 의해 생성된 차영상이다.

분석영상 생성부(223)는 상기 제1 및 제2차영상 생성부(222)를 통해 생성된 차영상들에서 상호 중첩되는 부분을 검출하여 분석영상을 생성한다. 분석영상 생성부(223)는 상기 차영상들의 중첩된 부분을 검출하기 위해 And 연산(

)을 이용한다.

도 10에는 제1차영상 생성부(221), 제2차영상 생성부(222) 및 분석영상 생성부(223)에 의해 생성된 영상들이 게시되어 있다. 여기서, t영상은 기준영상이고, t-1영상은 제1이전영상이고, t-2영상은 제2이전영상이고, 차영상1,차영상2는 제1차영상 생성부(221) 및 제2차영상 생성부(222)에서 생성된 차영상들이고, And 영상은 분석영상 생성부(223)에 의해 생성된 분석영상이다.

잡음제거부(224)는 상기 분석영상 생성부(223)를 통해 생성된 상기 분석영상의 잡음을 제거할 수 있도록 필터링한다. 분석영상 생성부(223)에 의해 생성된 분석영상은 원본 영상 안에서 움직임이 있는 부분만을 검출하게 되지만, 영상 내에 잡음이 생성되는데, 잡음제거부(224)는 상기 분석영상에 모폴로지(morphology) 연산을 적용하여 잡음을 제거한다.

모폴로지 연산은 영상처리 분야에서 이미지의 경계, 골격과 같은 영역 형태를 표현하거나 서술하는데 유용한 영상 특징을 추출하기 위한 방법으로서, 에지나 영역의 겹침, 잡음 등을 처리하는데 유용하게 사용되며, 팽창, 침식, 닫힘, 열림 등의 방법이 있다.

팽창연산은 이미지 주위의 픽셀을 이용하여 밝은 영역을 늘려가는 연산이며,

으로 표현된다. 여기서 A는 분석영상이고, B는 모폴로지 연산의 시행에 필요한 구조요소 3X3배열입니다. 침식연산은 팽창과 반대로 밝은 영역을 줄이고, 어두운 영역을 늘려가는 연산으로

으로 표현된다. 열기와 닫힘연산은 침식과 팽창 연산을 이용하여 구현할 수 있는데, 열기 연산은 일반적으로 객체의 돌출한 부위를 제거해주는 역할과 잡음을 제거하는 역할로

으로 표현된다. 닫힘연산은 외곽선 부분들을 메우고, 비워진 픽셀들을 제거해서 부드럽게 만들어주며,

으로 표현된다.

잡음제거부(224)는 모폴로지 연산 중 열기연산을 통하여 부드러운 외곽선을 추출하고, 잡음을 제거한다. 도 11에는 잡음제거부(224)에 의해 잡음이 제거된 분석영상이 게제되어 있다.

이미지 검출부(225)는 상기 분석영상 생성부(223)에서 생성된 분석영상에서 상기 골프 클럽의 샤프트 또는 헤드를 검출한다. 이때, 이미지 검출부(225)는 잡음제거부(224)에 의해 잡음이 제거된 분석영상으로부터 골프 클럽의 샤프트 또는 헤드를 검출한다.

이미지 검출부(225)는 분석영상을 에지 검출의 하나인 케니 연산을 진행한다. 케니 연산자는 화소에 대해 밝기 값의 변화가 가장 큰 방향에 있는 주변 화소와 비교하여 이웃 화소들의 기울기 보다 클 경우 에지로 분류하는 방법으로 허프 변환을 하기 위해 요구되는 연산이다. 도 12에는 분석영상에서 케니 에지 검출한 영상이 게제되어 있다.

이미지 검출부(225)는 추출한 에지 영상을 이용하여 표현 가능한 직선을 찾기 위해 허프 변환은 사용한다. 상기 허프 변환은 영상 안에서의 y-x 기울기를 절편 공간 b-a로 매핑하여 직선을 찾는 알고리즘이다. 도 13에는 잡음의 제거된 분석영상에서 허프 변환을 이용하여 직선 검출 결과가 게제되어 있다. 도 13에서 검출된 직선은 골프 클럽의 샤프트를 나타내며, 직선의 단부를 이용하여 골프 스윙 궤도를 추정할 수 있다.

한편, 이미지 검출부(225)는 허프 변환에 의한 직선 검출의 오검출을 방지하기 위해 커브 피팅을 사용하여 골프클럽의 샤프트 또는 헤드를 검출한다. 커브 피팅은 영상 이미지들을 적합한 곡선으로 맞추는 작업을 의미하여, 이를 통해 수학적 모델의 함수를 찾아 빠진 데이터를 추측하여 데이터와 데이터 사이의 빈 공간에 알맞은 데이터를 채워 넣는다. 커브 피팅에는 크게 회귀분석과 보간법이 존재하는데, 회귀분석은 데이터가 상당한 크기의 오차를 포함하거나 데이터가 산재하는 경우 사용되며, 고차 다항식, 푸리에, 가우시안, 사인 등이 있다. 보간법은 데이터가 실제 데이터에 근사한 경우에 사용되며, B-스플라인, 큐빅 스플라인, 선형 보간, 최근방 보간 등이 있다.

도 14에는 이미지 검출부(225)를 통해 검출된 골프클럽의 궤적을 나타낸 그래프가 게제되어 있다. 도면을 참조하면, 커브 피팅에 의해 보다 부드러운 스윙궤도가 추정된 것을 알 수 있다.

한편, 정보처리유닛(200)은 도면에 도시되진 않았지만, 자세 산출부(210), 클럽 산출부(220), 핸드 산출부(230), 시점 산출부(240) 및 스윙 템포 산출부(250)에서 산출된 결과를 사용자에게 표시할 수 있도록 디스플레이부를 더 구비한다. 디스플레이부는 LCD와 같은 디스플레이 장치가 적용되는 것이 바람직하다.

상술된 바와 같이 구성된 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템(100)을 이용한 골프 스윙 분석 방법을 상세히 설명하면 다음과 같다.

본 발명에 따른 골프 스윙 분석 방법은 깊이 영상 획득단계, 센서 정보 획득단계, 스윙 영상 획득단계, 자세 정보 산출단계, 핸드 정보 산출단계, 시점산출단계, 스윙 템포 산출단계 및 클럽 정보 산출단계를 포함한다.

깊이 영상 획득단계는 뎁스 카메라(110)로부터 골프 스윙을 수행하는 사용자에 대한 깊이 영상을 획득하는 단계이다. 사용자의 정면에 설치된 뎁스 카메라(110)는 사용자가 골프 스윙을 할 때, 사용자에 대한 깊이 영상을 촬영하여 정보처리유닛(200)으로 전송한다.

센서 정보 획득단계는 상기 골프 스윙 시 사용자의 손에 장착된 관성센서(120)의 감지정보를 획득하는 단계이다. 관성센서(120)는 사용자 손에 착용한 장갑이나 사용자 손의 부착되어 스윙시 손의 3축 각속도 데이터 및 3축 가속도 데이터를 정보처리유닛(200)으로 전송한다.

스윙 영상 획득단계는 고프레임 카메라(130)로부터 상기 골프 스윙시 사용자의 스윙에 대한 스윙 영상을 획득하는 단계이다. 뎁스 카메라(110)에 인접된 위치에 설치된 고프레임 카메라(130)는 스윙시 사용자를 촬영하고, 촬영된 스윙영상은 정보처리유닛(200)으로 전송된다.

상술된 깊이 영상 획득단계, 센서 정보 획득단계 및 스윙 영상 획득단계는 사용자가 골프 스윙시 동시에 진행되는 것이 바람직하다.

자세 정보 산출단계는 상기 깊이 영상 획득단계를 통해 획득한 깊이 영상을 토대로 사용자의 자세정보를 산출하는 단계로서, 스켈레톤 영상 생성단계, 좌표 추출단계 및 상태검출단계를 포함한다.

스켈레톤 영상 생성단계는 상기 뎁스 카메라(110)로부터 획득한 깊이 영상을 토대로 스켈레톤 영상을 생성하고, 생성된 스켈레톤 영상에서 사용자의 각 관절에 대응되는 좌표를 추출하는 단계이다. 스켈레톤 연상생성부는 뎁스 카메라(110)로부터 제공받은 깊이영상에 스켈레톤 영상 즉 신체 골격 영상을 생성하고, 관절 추적 소프트웨어에 의해 스켈레톤 영상에서 사람의 각 관절 좌표를 생성한다.

좌표 추출단계는 상기 스켈레톤 영상 생성단계를 통해 추출된 좌표들 중 사용자의 어깨 및 양발의 좌표를 추출하는 단계이다. 좌표 추출부(212)는 스켈레톤 영상의 관절좌표에서 사용자의 좌우 어깨 좌표 및 좌우 발의 좌표를 추출한다.

상태검출단계는 상기 좌표 추출단계를 통해 추출된 사용자의 어깨 및 양발의 좌표를 토대로 사용자의 어깨 기울기 및 양발의 스탠스 상태를 산출하는 단계이다. 상태 검출부(213)는 상술된 바와 같이 좌표 추출부(212)로부터 추출된 좌표들을 토대로 어깨의 기울기 및 양발의 좌우 폭, 양발의 전후방향 이격거리를 산출한다. 상태 검출부(213)로부터 산출된 결과 값은 디스플레이부를 통해 사용자에게 표시된다.

핸드 정보 산출단계는 상기 센서 정보 획득단계를 통해 획득한 상기 관성센서(120)의 감지정보를 토대로 골프 스윙시 사용자의 손의 움직임을 산출하는 단계이다. 핸드 산출부(230)는 상기 관성센서(120)로부터 측정된 사용자 손의 3축 가속도 값 및 3축 각속도 값을 토대로 사용자 손의 이동궤적을 산출한다. 핸드 산출부(230)는 산출된 손의 이동궤적을 디스플레이부를 통해 사용자에게 표시한다.

시점산출단계는 상기 관성센서(120)를 통해 측정된 감지정보를 토대로 스윙 시작시점, 상기 골프클럽의 헤드가 골프공을 타격하는 타격시점 및 상기 스윙 시작시점과 타격시점 사이에 상기 골프클럽 헤드가 최상측에 위치하는 탑 오브 스윙(top of swing) 시점을 산출하는 단계로서, 에너지 변환단계 및 판별단계를 포함한다.

상기 에너지 변환단계는 사용자의 골프 스윙에 따라 발생하는 상기 관성센서(120)의 3축 가속도 값을 SVM(Signal Vector Magnitude) 알고리즘을 이용하여 에너지로 변환하는 단계이다. 시점 산출부(240)의 에너지 변환부(241)는 골프 스윙에 따라 발생하는 상기 관성센서(120)의 3축 가속도 값을 이용하여 에너지로 변환하며, 시간에 따른 에너지 값의 변화를 그래프로 산출하여 디스플레이부를 통해 표시한다.

판별단계는 상기 에너지 변환단계를 통해 변환된 사용자의 골프 스윙에 따른 에너지 값에 따라 상기 스윙 시작시점, 탑 오브 스윙 시점 및 타격시점을 판별하는 단계이다. 시점 산출부(240)의 판별부(242)는 상술된 바와 같이 상기 에너지 변환부(241)를 통해 변환된 에너지 값을 토대로 상기 스윙 시작시점, 탑 오브 스윙 시점 및 타격시점을 판별한다. 이때, 판별부(242)는 상기 에너지 변환단계를 통해 변환된 에너지 값이 기설정된 기준값에서 상기 기준값을 초과하는 시점을 상기 스윙 시작시점으로 판별하고, 상기 스윙 시작시점 이후에 상기 에너지 값이 상기 기준값 이하가 되는 시점을 상기 탑 오브 스윙 시점으로 판별하고, 상기 탑 오브 스윙 시점 이후에 상기 에너지 값이 최대값이 되는 시점을 상기 타격시점으로 판별한다.

판별부(242)는 산출된 시점들을 에너지 변환부(241)에 산출된 그래프 및 핸드 산출부(230)에 산출된 그래프에 표시하여 디스플레이부를 통해 디스플레이한다.

스윙 템포 산출단계는 상기 시점 산출단계를 통해 산출된 각 시점 정보를 토대로, 상기 스윙시작시점부터 상기 탑 오브 스윙 시점까지의 경과시간과 상기 탑 오브 스윙 시점부터 상기 타격시점까지의 경과시간의 비를 산출하는 단계이다. 스윙 템포 산출부(250)는 상기 시점 산출부(240)를 통해 산출된 각 시점 정보를 토대로, 상기 스윙시작시점부터 상기 탑 오브 스윙 시점까지의 경과시간과 상기 탑 오브 스윙 시점부터 상기 타격시점까지의 경과시간의 비를 산출한다.

클럽 정보 산출단계는 상기 스윙 영상 획득단계를 통해 획득한 스윙영상을 토대로 골프스윙시 사용자가 파지한 골프클럽의 샤프트 또는 헤드의 움직임을 산출하는 단계로서, 제1차영상 생성단계, 제2차영상 생성단계, 분석영상 생성단계, 잡음제거단계 및 이미지 검출단계를 포함한다.

제1차영상 생성단계는 상기 고프레임 카메라(130)를 통해 획득한 스윙영상에서 현재 프레임의 영상인 기준영상과, 상기 기준영상의 이전 프레임의 영상인 제1이전영상의 차이를 이용하여 차영상을 생성하는 단계이다. 제1차영상 생성부(221)는 고프레임 카메라(130)로부터 제공된 스윙영상을 그레이 영상으로 변환한 다음, 스윙영상에서 현재 프레임의 영상인 기준영상과, 상기 기준영상의 이전 프레임의 영상인 제1이전영상의 차이를 이용하여 차영상을 생성한다.

제2차영상 생성단계는 상기 스윙 영상에서 상기 제1이전영상과, 상기 제1이전영상의 이전 프레임의 영상인 제2이전영상의 차이를 이용하여 차영상을 생성하는 단계이다. 제2차영상 생성부(222)는 그레이 영상으로 변환된 스윙 영상에서 상기 제1이전영상과, 상기 제1이전영상의 이전 프레임의 영상인 제2이전영상의 차이를 이용하여 차영상을 생성한다.

분석영상 생성단계는 상기 제1 및 제2차영상 생성단계를 통해 생성된 차영상들에서 상호 중첩되는 부분을 검출하여 분석영상을 생성하는 단계이다. 분석영상 생성부(223)는 And 연상을 이용하여 상기 제1 및 제2차영상 생성부(222)를 통해 생성된 차영상들에서 상호 중첩되는 부분을 검출하여 분석영상을 생성한다.

잡음제거단계는 상기 분석영상 생성단계를 통해 생성된 분석영상에서 잡음을 제거하는 단계이다. 이때, 잡음제거부(224)는 분석영상에 모폴로지(morphology) 연산을 적용하여 잡음을 제거한다.

이미지 검출단계는 상기 분석영상 생성단계에서 생성된 분석영상에서 골프 클럽의 샤프트 또는 골프 클럽의 헤드를 검출하는 단계이다. 이때, 이미지 검출부(225)를 통해 허프변환(Hough Transform)을 이용하여 상기 분석영상에서 상기 골프 클럽을 검출하고, 검출된 상기 골프 클럽에서 골프 클럽의 헤드부분의 오검출을 방지하기 위해 커브피팅을 수행한다. 이미지 검출부(225)는 검출된 결과물을 디스플레이부를 통해 사용자에게 표시한다.

상술된 바와 같이 본 발명에 따른 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템(100) 및 이를 이용한 골프 스윙 분석 방법은 골프 스윙시 사용자의 손을 추적할 수 있도록 관성센서(120)가 마련되고, 뎁스 카메라(110)를 통해 획득한 깊이영상을 토대로 사용자의 스윙시 자세를 분석하고, 고프레임 카메라(130)를 통해 스윙시 골프 클럽의 움직임을 감지할 수 있으므로 골프 스윙에 대한 보다 정확한 분석 결과를 획득할 수 있다는 장점이 있다.

제시된 실시예들에 대한 설명은 임의의 본 발명의 기술분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.

100: 다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템
110: 뎁스 카메라
130: 고프레임 카메라
120: 관성센서
200: 정보처리유닛
210: 자세 산출부
211: 스켈레톤 영상 생성부
212: 좌표 추출부
213: 상태 검출부
220: 클럽 산출부
221: 제1차영상 생성부
222: 제2차영상 생성부
223: 분석영상 생성부
224: 잡음제거부
225: 이미지 검출부
230: 핸드 산출부
240: 시점 산출부
241: 에너지 변환부
242: 판별부
250: 스윙 템포 산출부

Claims

골프 스윙을 하는 사용자에 대한 깊이 영상을 촬영하는 뎁스 카메라와;
상기 사용자의 골프 스윙을 촬영하는 고프레임 카메라와;
골프 스윙시 사용자 손의 위치를 감지하기 위해 사용자의 손에 장착된 관성센서와;
상기 뎁스 카메라를 통해 획득된 깊이 영상을 토대로 사용자의 자세정보를 산출하는 자세 산출부와;
상기 고프레임 카메라로부터 촬영된 스윙 영상으로부터 사용자가 파지하는 골프 클럽의 움직임을 검출하는 클럽 산출부와;
상기 관성센서를 통해 측정된 감지정보를 토대로 스윙시 상기 사용자의 손의 움직임을 산출하는 핸드 산출부;를 구비하는,
다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템.
제1항에 있어서,
상기 자세 산출부는
상기 뎁스 카메라로부터 획득한 깊이 영상을 토대로 스켈레톤 영상을 생성하고, 생성된 스켈레톤 영상에서 사용자의 각 관절에 대응되는 좌표를 추출하는 스켈레톤 영상 생성부와;
상기 스켈레톤 영상 생성부를 통해 추출된 좌표들 중 사용자의 어깨 및 양발의 좌표를 추출하는 좌표 추출부와;
상기 좌표 추출부를 통해 추출된 사용자의 어깨 및 양발의 좌표를 토대로 사용자의 어깨 기울기 및 양발의 스탠스 상태를 산출하는 상태검출부;를 구비하는,
다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템.
제2항에 있어서,
상기 상태검출부는 양발의 스탠스 상태로서, 사용자의 양발의 좌우 폭 및 양발의 전후방향 이격거리를 산출하는,
다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템.
제1항에 있어서,
상기 관성센서는 골프 스윙에 따라 발생하는 사용자 손의 3축 가속도 값 및 3축 각속도 값을 측정하고,
상기 핸드 산출부는 상기 관성센서로부터 측정된 사용자 손의 3축 가속도 값을 토대로 사용자 손의 이동궤적을 산출하는,
다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템.
제1항에 있어서,
상기 관성센서는 골프 스윙에 따라 발생하는 사용자 손의 3축 가속도 값을 측정하고,
상기 관성센서를 통해 측정된 감지정보를 토대로 스윙 시작시점, 상기 골프클럽이 골프공을 타격하는 타격시점 및 상기 스윙 시작시점과 타격시점 사이에 상기 골프클럽의 헤드가 최상측에 위치하는 탑 오브 스윙(top of swing) 시점을 산출하는 시점 산출부;를 더 구비하는,
다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템.
제5항에 있어서,
상기 시점 산출부는
사용자의 골프 스윙에 따라 발생하는 상기 관성센서의 3축 가속도 값을 SVM(Signal Vector Magnitude) 알고리즘을 이용하여 에너지로 변환하는 에너지 변환부와,
상기 에너지 변환부를 통해 변환된 에너지 값을 토대로 상기 스윙 시작시점, 탑 오브 스윙 시점 및 타격시점을 판별하는 판별부;를 구비하는,
다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템.
제6항에 있어서,
상기 판별부는
상기 에너지 변환부를 통해 변환된 에너지 값이 기설정된 기준값에서 상기 기준값을 초과하는 시점을 상기 스윙 시작시점으로 판별하고, 상기 스윙 시작시점 이후에 상기 에너지 값이 상기 기준값 이하가 되는 시점을 상기 탑 오브 스윙 시점으로 판별하고, 상기 탑 오브 스윙 시점 이후에 상기 에너지 값이 최대값이 되는 시점을 상기 타격시점으로 판별하는,
다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템.
제5항에 있어서,
상기 시점 산출부를 통해 산출된 각 시점 정보를 토대로, 상기 스윙시작시점부터 상기 탑 오브 스윙 시점까지의 경과시간과 상기 탑 오브 스윙 시점부터 상기 타격시점까지의 경과시간의 비를 산출하는 스윙 템포 산출부;를 더 구비하는,
다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템.
제1항에 있어서,
상기 클럽 산출부는
상기 고프레임 카메라를 통해 획득한 스윙영상에서 현재 프레임의 영상인 기준영상과, 상기 기준영상의 이전 프레임의 영상인 제1이전영상의 차이를 이용하여 차영상을 생성하는 제1차영상 생성부와;
상기 스윙 영상에서 상기 제1이전영상과, 상기 제1이전영상의 이전 프레임의 영상인 제2이전영상의 차이를 이용하여 차영상을 생성하는 제2차영상 생성부와;
상기 제1 및 제2차영상 생성부를 통해 생성된 차영상들에서 상호 중첩되는 부분을 검출하여 분석영상을 생성하는 분석영상 생성부와;
상기 분석영상 생성부에서 생성된 분석영상에서 상기 골프 클럽의 샤프트 또는 헤드를 검출하는 이미지 검출부;를 구비하는,
다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 시스템.
제9항에 있어서,
상기 클럽 산출부는 상기 분석영상 생성부를 통해 생성된 상기 분석영상의 잡음을 제거할 수 있도록 필터링하기 위해 상기 분석영상에 모폴로지(morphology) 연산을 적용하는 잡음제거부;를 더 구비하는,
다중 카메라 및 단일 관성 센서를 이용한 골프 스윙 분석 시스템.
제9항에 있어서,
상기 이미지 검출부는 허프변환(Hough Transform)을 이용하여 상기 분석영상에서 상기 골프 클럽을 검출하고, 검출된 상기 골프 클럽에서 상기 헤드의 오검출을 방지하기 위해 커브피팅을 수행하는,
다중 카메라 및 단일 관성 센서를 이용한 골프 스윙 분석 시스템.
뎁스 카메라로부터 골프 스윙을 수행하는 사용자에 대한 깊이 영상을 획득하는 깊이 영상 획득단계와;
상기 골프 스윙 시 사용자의 손에 장착된 관성센서의 감지정보를 획득하는 센서 정보 획득단계와;
고프레임 카메라로부터 상기 골프 스윙시 사용자의 스윙에 대한 스윙 영상을 획득하는 스윙 영상 획득단계와;
상기 깊이 영상 획득단계를 통해 획득한 깊이 영상을 토대로 사용자의 자세정보를 산출하는 자세 정보 산출단계와;
상기 센서 정보 획득단계를 통해 획득한 상기 관성센서의 감지정보를 토대로 골프 스윙시 사용자의 손의 움직임을 산출하는 핸드 정보 산출단계와;
상기 스윙 영상 획득단계를 통해 획득한 스윙영상을 토대로 골프스윙시 사용자가 파지한 골프클럽의 샤프트 또는 헤드의 움직임을 산출하는 클럽 정보 산출단계;를 포함하는,
다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 방법.
제12항에 있어서,
상기 관성센서는 골프 스윙에 따라 발생하는 사용자 손의 3축 가속도 값을 측정하고,
상기 관성센서를 통해 측정된 감지정보를 토대로 스윙 시작시점, 상기 골프클럽 헤드가 골프공을 타격하는 타격시점 및 상기 스윙 시작시점과 타격시점 사이에 상기 골프클럽 헤드가 최상측에 위치하는 탑 오브 스윙(top of swing) 시점을 산출하는 시점 산출단계;를 더 포함하는,
다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 방법.
제13항에 있어서,
상기 시점 산출단계는
사용자의 골프 스윙에 따라 발생하는 상기 관성센서의 3축 가속도 값을 SVM(Signal Vector Magnitude) 알고리즘을 이용하여 에너지로 변환하는 에너지 변환단계와,
상기 에너지 변환단계를 통해 변환된 사용자의 골프 스윙에 따른 에너지 값에 따라 상기 스윙 시작시점, 탑 오브 스윙 시점 및 타격시점을 판별하는 판별단계;를 구비하는,
다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 방법.
제14항에 있어서,
상기 판별단계에서, 상기 에너지 변환단계를 통해 변환된 에너지 값이 기설정된 기준값에서 상기 기준값을 초과하는 시점을 상기 스윙 시작시점으로 판별하고, 상기 스윙 시작시점 이후에 상기 에너지 값이 상기 기준값 이하가 되는 시점을 상기 탑 오브 스윙 시점으로 판별하고, 상기 탑 오브 스윙 시점 이후에 상기 에너지 값이 최대값이 되는 시점을 상기 타격시점으로 판별하는,
다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 방법.
제13항에 있어서,
상기 시점 산출단계를 통해 산출된 각 시점 정보를 토대로, 상기 스윙시작시점부터 상기 탑 오브 스윙 시점까지의 경과시간과 상기 탑 오브 스윙 시점부터 상기 타격시점까지의 경과시간의 비를 산출하는 스윙 템포 산출단계;를 더 포함하는,
다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 방법.
제12항에 있어서,
상기 자세 정보 산출단계는
상기 뎁스 카메라로부터 획득한 깊이 영상을 토대로 스켈레톤 영상을 생성하고, 생성된 스켈레톤 영상에서 사용자의 각 관절에 대응되는 좌표를 추출하는 스켈레톤 영상 생성단계와,
상기 스켈레톤 영상 생성단계를 통해 추출된 좌표들 중 사용자의 어깨 및 양발의 좌표를 추출하는 좌표 추출단계와,
상기 좌표 추출단계를 통해 추출된 사용자의 어깨 및 양발의 좌표를 토대로 사용자의 어깨 기울기 및 양발의 스탠스 상태를 산출하는 상태검출단계;를 구비하는,
다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 방법.
제12항에 있어서,
상기 클럽 정보 산출단계는
상기 고프레임 카메라를 통해 획득한 스윙영상에서 현재 프레임의 영상인 기준영상과, 상기 기준영상의 이전 프레임의 영상인 제1이전영상의 차이를 이용하여 차영상을 생성하는 제1차영상 생성단계와,
상기 스윙 영상에서 상기 제1이전영상과, 상기 제1이전영상의 이전 프레임의 영상인 제2이전영상의 차이를 이용하여 차영상을 생성하는 제2차영상 생성단계와,
상기 제1 및 제2차영상 생성단계를 통해 생성된 차영상들에서 상호 중첩되는 부분을 검출하여 분석영상을 생성하는 분석영상 생성단계와,
상기 분석영상 생성단계에서 생성된 분석영상에서 골프 클럽의 샤프트 또는 골프 클럽의 헤드를 검출하는 이미지 검출단계를 구비하는,
다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석 방법.
제18항에 있어서,
상기 핸드 정보 산출단계는
상기 분석영상 생성단계를 통해 생성된 분석영상에서 잡음을 제거하기 위해 상기 분석영상에 모폴로지(morphology) 연산을 적용하는 잡음제거단계를 더 포함하는,
다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석방법.
제18항에 있어서,
상기 이미지 검출단계에서, 허프변환(Hough Transform)을 이용하여 상기 분석영상에서 상기 골프 클럽을 검출하고, 검출된 상기 골프 클럽에서 골프 클럽의 헤드부분의 오검출을 방지하기 위해 커브피팅을 수행하는,
다중 카메라 및 단일 관성센서를 이용한 골프 스윙 분석방법.