KR102228639B1

KR102228639B1 - 손동작 추적 장치 및 그 방법

Info

Publication number: KR102228639B1
Application number: KR1020190097588A
Authority: KR
Inventors: 유회준; 한동현
Original assignee: 한국과학기술원
Priority date: 2019-08-09
Filing date: 2019-08-09
Publication date: 2021-03-16
Also published as: KR20210017788A

Abstract

본 발명은 3차원 깊이 추출 카메라로부터 전달된 3차원 깊이 정보를 이용하여 손동작을 추적하는 추적부를 포함하는 손동작 추적 장치를 이용하여, 손동작을 추출하되, 상기 3차원 깊이 추출 카메라로부터 전달된, 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보에 의거하여 사용자의 손 모양 정보를 반영한 최적의 3차원 손 모델을 자동으로 생성하는 손 모델 자동 생성 단계; 및 상기 3차원 깊이 추출 카메라를 통해 촬영된 사용자의 손동작에 대한 3차원 깊이 정보의 입력에 응답하여, 상기 3차원 깊이 정보에 포함된 잡음을 제거하는 잡음 제거 단계를 수행한 후 상기 자동 생성된 3차원 손 모델을 이용하여 사용자의 손동작을 추적하는 손동작 추적단계를 수행한다. 따라서, 본 발명은 정확하고 편리하게 손모델을 생성할 수 있으며, 이로 인해 손동작을 정확하게 추적할 수 있는 장점이 있다.

Description

손동작 추적 장치 및 그 방법{APPARATUS AND METHOD FOR TRACKING HAND MOTION}

본 발명은 손동작 추적 장치 및 그 방법에 관한 것으로서, 보다 상세하게는, 3차원 깊이 추출 카메라에서 촬영한 영상으로부터 추출한 3차원 깊이 정보를 이용하여 사용자별로 최적의 손 모델을 생성하고, 그 손 모델을 이용하여 손동작을 추적하는 손동작 추적 장치 및 그 방법에 관한 것이다.

최근 가상현실 또는 증강 현실과 관련된 다양한 전자기기와 소프트웨어가 활발하게 개발되고 있다. 이러한 가상현실 또는 증강 현실에서, 사용자와 가상 모델 간의 상호 작용, 또는 가상 모델 간의 상호 작용에 의해, 사용자는 마치 가상공간에 있는 것처럼 느낄 수 있다.

HMD(Head Mounted Display)는 이와 같이 사용자에게 가상공간을 제공하는 대표적인 장치로서, 안경처럼 머리에 쓰고 대형 영상을 즐길 수 있는 영상표시 장치이다. 최근에는 게임기나 의료기기에 이러한 HMD를 적용하고, 동작 정보를 감지하는 센서를 이용하거나, 사용자의 손동작을 추적하는 기능을 이용하여 가상공간에서의 사용자의 움직임을 감지하고 그 움직임에 따라 조작신호를 발생시키는 기술이 사용되고 있다. 즉, 가상공간 내에서 가상 손 모델에 의해 가상 객체 모델을 조작하는 동작이 구현될 수 있다.

도 1은 가상현실(VR: Virtual Reality) 또는 증강현실(AR: Augmented Reality)용 HMD(Head Mounted Display)의 사용 예를 도시한 도면이다. 도 1의 (a)는 HMD(10) 및 센서가 부착된 장갑(20)을 착용하고 있는 예로서, 이 경우 HMD(10)는 장갑(20)과 연동하여, 사용자의 손의 위치를 HMD(10) 영상에 표시하고 그 장갑(20)에 부착된 센서의 움직임에 의해 객체 모델을 조작할 수 있다.

도 1의 (b)는 HMD(30)만을 착용하고 있는 예로서, 이 경우 HMD(30)에 장착된 카메라(미도시)를 통해 사용자의 손을 촬영한 후 그 촬영정보에 의거하여 사용자의 손동작을 추적해서 사용자의 손을 HMD(30)의 영상에 표시하며, 상기 사용자의 손동작에 의해 객체 모델을 조작할 수 있다.

이러한 조작 방식의 예로 제스처 기반 조작 방식과 직접 조작 방식이 있다. 제스처 기반 조작 방식은 특정 제스처와 조작 동작을 사전에 매칭시켜 저장하고, 미리 설정된 제스처가 입력되면 대응된 조작 동작을 수행하는 방식이다. 이러한 제스처 기반 조작 방식에 의하면, 조작 구현을 단순화할 수 있으나 구체적인 동작을 구현하는데 한계가 있는 단점이 있다.

한편, 직접 조작 방식은 실제 공간에서의 동작 정보를 기초로 가상공간에서의 조작 동작을 구현하여 가상공간 내의 물체와의 상호 작용을 직접적으로 구현하는 방식으로서, 이를 구현하기 위해, 실제 공간에서의 동작 정보를 입력받는 장비(예컨대, 모션 트래커(motion tracker) 등)가 필요하다. 예를 들어, 직접 조작 방식은 상기 장비를 이용하여 실제 공간에서의 손의 움직임을 인식하고, 그 움직임을 기초로 가상공간 내의 가상 손 모델의 동작을 구현함으로써, 가상 손 모델과 가상 객체 모델 간의 상호 작용에 따른 조작 동작을 수행할 수 있다. 그러나 상기 직접 조작 방식은 상술한 장비가 대부분 고가이며 장비를 설치하고 이용함에 따른 접근성이 상대적으로 낮은 문제점이 있었다.

따라서, 사용성 및 접근성이 높은 장비를 이용하여 직접 조작 방식으로도 가상 공간 내에서의 동작을 정확하고 신속하게 구현할 수 있는 가상 모델의 제어 방법이 요구된다.

대한민국 등록특허공보 등록번호 제10-1360322호

따라서, 본 발명은 사용성 및 접근성이 높은 장비를 이용하여 직접 조작방식을 구현하되, 가상공간 내에서의 동작을 정확하고 신속하게 구현할 수 있는 손동작 추적 장치 및 그 방법을 제공하고자 한다.

또한, 본 발명은 3차원 깊이 추출 카메라에서 촬영한 영상으로부터 추출된 3차원 깊이 정보를 이용하여 사용자별로 최적의 손모델을 자동으로 생성함으로써, 정확하고 편리하게 손모델을 생성할 수 있으며, 이로 인해 손동작을 정확하게 추적할 수 있는 손동작 추적 장치 및 그 방법을 제공하고자 한다.

또한, 본 발명은 3차원 깊이 추출 카메라에서 촬영한 영상으로부터 추출된 3차원 깊이 정보에 포함된 잡음을 제거한 후, 그 3차원 깊이 정보를 이용하여 손동작을 추적함으로써, 손동작을 정확하게 추적할 수 있는 손동작 추적 장치 및 그 방법을 제공하고자 한다.

또한, 본 발명은 손동작 추적 결과들을 프레임 단위로 저장하고, 이전 프레임의 손바닥 중심점을 기준으로 거리에 따라 샘플링 개수를 차별화함으로써, 잡음에 강하면서 빠르게 손동작을 추적할 수 있는 손동작 추적 장치 및 그 방법을 제공하고자 한다.

상기 목적을 달성하기 위해, 본 발명에서 제공하는 손동작 추적 장치는 3차원 영상을 촬영하고 그 촬영 정보로부터 촬영 대상의 3차원 깊이 정보를 추출하는 3차원 깊이 추출 카메라로부터, 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보를 입력받는 입력부; 상기 입력부를 통해 입력된 3차원 깊이 정보에 의거하여, 사용자의 손 모양 정보를 반영한 최적의 3차원 손 모델을 자동으로 생성하고, 상기 입력부를 통해 사용자의 손동작 촬영 정보에 대한 3차원 깊이 정보가 입력되면 상기 자동 생성된 손 모델을 이용하여 상기 손동작을 추적하는 추적부; 및 상기 추적부에서 생성한 최적의 3차원 손 모델 및 미리 설정된 손동작 추적 알고리즘을 저장하는 저장부를 포함하되, 상기 추적부는 상기 입력부를 통해 손동작 촬영 정보에 대한 3차원 깊이 정보가 입력되면, 상기 3차원 깊이 정보에 포함된 잡음을 제거하는 과정을 거친 후, 상기 자동 생성된 손 모델을 이용하여 상기 손동작을 추적할 수 있다.

바람직하게는, 상기 추적부는 평균 손 형태를 기준으로 각각의 깊이 정보를 가지는 다양한 크기의 기본 손 모델들을 제작한 후, 상기 손모델들 각각에 대하여 상기 손모양에 대한 깊이 정보와의 거리차를 최소화하기 위한 깊이 조절, 손가락 길이 조절, 및 관절 위치 조절 과정을 거쳐 최적의 손 모델을 자동으로 생성할 수 있다.

바람직하게는, 상기 저장부는 평균 손 형태를 기준으로 다양한 크기의 기본 손 모델들 각각에 대한 깊이 정보를 저장하고, 상기 추적부는 상기 저장부에 저장된 손모델들 각각에 대하여 상기 사용자의 손 모양에 대한 깊이 정보와의 거리차를 최소화하기 위한 깊이 조절, 손가락 길이 조절, 및 관절 위치 조절 과정을 거쳐 최적의 손 모델을 자동으로 생성할 수 있다.

바람직하게는, 상기 추적부는 상기 3차원 깊이 정보에 포함된 잡음을 제거하기 위해, 상기 3차원 깊이 정보를 판독하여, 상기 3차원 깊이 추출 카메라로부터 일정 거리 이상 떨어진 3차원 깊이 정보를 제거할 수 있다.

바람직하게는, 상기 추적부는 상기 3차원 깊이 정보에 포함된 잡음을 제거하기 위해, 상기 3차원 깊이 추출 카메라의 촬영 정보로부터 상기 촬영 정보를 구성하는 픽셀들 각각의 3차원 깊이 정보를 도출하고, 인접한 픽셀들 중 적어도 하나의 픽셀과의 3차원 깊이 차이가 일정 범위 이상인 픽셀의 3차원 깊이 정보를 제거할 수 있다.

바람직하게는, 상기 추적부는 상기 3차원 깊이 정보에 포함된 잡음을 제거하기 위해, 거리 변환(distance transform) 알고리즘을 적용하여, 상기 3차원 깊이 추출 카메라의 촬영 정보로부터 배경과 물체를 서로 다르게 코딩한 후 소정 크기 이하의 물체를 제거할 수 있다.

바람직하게는, 상기 추적부는 상기 3차원 깊이 정보에 포함된 잡음을 제거하기 위해, 손동작 추적 이력을 저장하고, 이전 손동작 추적 결과를 활용해 이전 프레임에 존재했던 손의 위치와 거리가 먼 깊이 정보들을 배제할 수 있다.

바람직하게는, 상기 추적부는 상기 3차원 깊이 정보에 포함된 잡음을 제거하기 위해, 상기 3차원 깊이 추출 카메라의 촬영 정보로부터 획득된 세그먼트(segment)들 중 가장 큰 세그먼트(segment)만을 선택할 수 있다.

바람직하게는, 상기 추적부는 손동작 추적 결과들을 프레임 단위로 저장하고, 이전 프레임의 손바닥 중심점을 기준으로, 일정 범위 이내에 포함된 영역의 샘플링 개수 보다 상기 일정 범위를 벗어나는 영역의 샘플링 개수를 더 많이 선택할 수 있다.

또한, 상기 목적을 달성하기 위해, 본 발명의 다른 실시 예에 따라 본 발명에서 제공하는 손동작 추적 장치는 사용자의 손 모양 및 손동작에 대한 3차원 영상을 촬영하고, 그 촬영 정보로부터 3차원 깊이 정보를 추출하는 3차원 깊이 추출 카메라; 상기 3차원 깊이 추출 카메라를 통해 전달된 3차원 깊이 정보에 의거하여, 사용자의 손 모양 정보를 반영한 최적의 3차원 손 모델을 자동으로 생성하고, 상기 3차원 깊이 추출 카메라를 통해 사용자의 손동작 촬영 정보에 대한 3차원 깊이 정보가 입력되면 상기 자동 생성된 손 모델을 이용하여 상기 손동작을 추적하는 추적부; 및 상기 추적부에서 생성한 최적의 3차원 손 모델 및 미리 설정된 손동작 추적 알고리즘을 저장하는 저장부를 포함하되, 상기 추적부는 상기 3차원 깊이 추출 카메라를 통해 손동작 촬영 정보에 대한 3차원 깊이 정보가 입력되면, 상기 3차원 깊이 정보에 포함된 잡음을 제거하는 과정을 거친 후, 상기 손 자동 생성된 손 모델을 이용하여 상기 손동작을 추적할 수 있다.

또한, 상기 목적을 달성하기 위해, 본 발명에서 제공하는 손동작 추적 방법은 3차원 영상을 촬영하고 그 촬영 정보로부터 촬영 대상의 3차원 깊이 정보를 추출하는 3차원 깊이 추출 카메라로부터 전달된, 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보에 의거하여 사용자의 손 모양 정보를 반영한 최적의 3차원 손 모델을 자동으로 생성하는 손 모델 자동 생성 단계; 및 상기 3차원 깊이 추출 카메라를 통해 사용자의 손동작 촬영 정보에 대한 3차원 깊이 정보가 입력되면 상기 자동 생성된 3차원 손 모델을 이용하여 사용자의 손동작을 추적하는 손동작 추적단계를 포함하되, 상기 손동작 추적단계는 상기 3차원 깊이 정보에 포함된 잡음을 제거하는 잡음 제거 단계를 포함할 수 있다.

바람직하게는, 상기 손 모델 자동생성 단계는 평균 손 형태를 기준으로 기 제작된 다양한 크기의 3차원 기본 손 모델들 각각에 대한 손동작 추적을 통해, 상기 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보와 상기 3차원 기본 손 모델들 각각의 깊이 정보의 거리차를 최소화하는 제1 깊이 조절 단계; 상기 기본 손 모델들 각각에 대하여 손바닥 및 손가락 위치를 식별한 후, 손바닥 크기는 고정하고 손가락 5개의 길이를 각각 변화시켜 상기 기본 손 모델별로 상기 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보와의 거리차를 최소화하는 손가락 길이 조절 단계; 상기 기본 손 모델들 각각에 대하여 손가락과 손바닥을 연결하는 관절의 위치를 조절하여 상기 기본 손 모델별로 상기 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보와의 거리차를 최소화하는 관절 위치 조절 단계; 상기 제1 깊이 조절단계, 상기 손가락 길이 조절단계 및 상기 관절 위치 조절단계를 거쳐 조정된 손 모델들 각각에 대한 손동작 추적을 통해, 상기 조정된 손 모델들 각각의 깊이 정보와 상기 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보와의 거리차를 최소화하는 제2 깊이 조절단계; 및 상기 제2 깊이 조절단계를 거친 상기 조정된 손 모델들 중 상기 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보와의 거리 오차가 가장 작은 손 모델 하나를 선택하는 선택단계를 포함할 수 있다.

바람직하게는, 상기 손 모델 자동생성 단계는 평균 손 형태를 기준으로, 다양한 크기의 3차원 기본 손 모델들을 제작하는 기본 손 모델 제작 단계를 더 포함할 수 있다.

바람직하게는, 상기 제1 깊이 조절 단계는 상기 기본 손 모델들 각각에 대하여, ICP(Iterative Closest Point) 알고리즘과 PSO(Particle Swarm Optimization) 알고리즘을 결합한 ICP-PSO 알고리즘을 적용하여 손동작을 추적하고, 상기 손동작 추적을 거친 기본 손 모델들 각각에 대하여 상기 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보와의 거리차를 산출하여 상기 거리차가 최소화되도록 상기 기본 손 모델들을 조정할 수 있다.

바람직하게는, 상기 손가락 길이 조절 단계는 상기 제1 깊이 조절 단계를 거친 기본 손 모델들 각각에 대하여, ICP (Iterative Closest Point) 알고리즘을 적용할 수 있다.

바람직하게는, 상기 관절 위치 조절 단계는 상기 손가락 조절 단계를 거친 기본 손 모델들 각각에 대하여, ICP (Iterative Closest Point) 알고리즘을 적용할 수 있다.

바람직하게는, 상기 제2 깊이 조절 단계는 상기 조정된 손 모델들 각각에 대하여, ICP(Iterative Closest Point) 알고리즘과 PSO(Particle Swarm Optimization) 알고리즘을 결합한 ICP-PSO 알고리즘을 적용하여 손동작을 추적하고, 상기 손동작 추적을 거친 조정된 손 모델들 각각에 대하여 상기 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보와의 거리차를 산출하여 상기 거리차가 최소화되도록 상기 손 모델들을 조정할 수 있다.

바람직하게는, 상기 잡음 제거 단계는 상기 3차원 깊이 정보를 판독하여, 상기 3차원 깊이 추출 카메라로부터 일정 거리 이상 떨어진 3차원 깊이 정보를 제거할 수 있다.

바람직하게는, 상기 잡음 제거 단계는 상기 3차원 깊이 추출 카메라의 촬영 정보로부터 상기 촬영 정보를 구성하는 픽셀들 각각의 3차원 깊이 정보를 도출하고, 인접한 픽셀들 중 적어도 하나의 픽셀과의 3차원 깊이 차이가 일정 범위 이상인 픽셀의 3차원 깊이 정보를 제거할 수 있다.

바람직하게는, 상기 잡음 제거 단계는 거리 변환(distance transform) 알고리즘을 적용하여, 상기 3차원 깊이 추출 카메라의 촬영 정보로부터 배경과 물체를 서로 다르게 코딩한 후 소정 크기 이하의 물체를 제거할 수 있다.

바람직하게는, 상기 잡음 제거 단계는 손동작 추적 이력을 저장하고, 이전 손동작 추적 결과를 활용해 이전 프레임에 존재했던 손의 위치와 거리가 먼 깊이 정보들을 배제할 수 있다.

바람직하게는, 상기 잡음 제거 단계는 상기 3차원 깊이 추출 카메라의 촬영 정보로부터 획득된 세그먼트(segment)들 중 가장 큰 세그먼트(segment)만을 선택할 수 있다.

바람직하게는, 상기 손동작 추적단계는 손동작 추적 결과들을 프레임 단위로 저장하고, 이전 프레임의 손바닥 중심점을 기준으로, 일정 범위 이내에 포함된 영역의 샘플링 개수 보다 상기 일정 범위를 벗어나는 영역의 샘플링 개수를 더 많이 선택하는 샘플링 개수 선택 단계를 더 포함할 수 있다.

본 발명은 사용성 및 접근성이 높은 3차원 깊이 추출 카메라에서 촬영한 영상으로부터 추출된 3차원 깊이 정보를 이용하여 사용자별로 최적의 손모델을 자동으로 생성함으로써, 정확하고 편리하게 손모델을 생성할 수 있으며, 이로 인해 손동작을 정확하게 추적할 수 있는 장점이 있다. 또한, 본 발명은 3차원 깊이 정보에 포함된 잡음을 제거한 후, 그 3차원 깊이 정보를 이용하여 손동작을 추적함으로써, 손동작 추적의 정확도를 더욱 높일 수 있는 장점이 있다. 뿐만 아니라, 본 발명은 손동작 추적 결과들을 프레임 단위로 저장하고, 이전 프레임의 손바닥 중심점을 기준으로 거리에 따라 샘플링 개수를 차별화함으로써, 잡음에 강하면서 빠르게 손동작을 추적할 수 있는 장점이 있다.

이러한 본 발명은 영상에서 깊이 정보가 사용되는 모든 분야에 응용될 수 있으며, 특히, AR/VR 기기에서 HMD 이외의 별도 장치 없이 사용자의 손이 입력장치가 될 수 있도록 도와주며, 클릭, 회전, 잡기 등의 고차원 동작들을 인식할 수 있게 도와줄 수 있다.

도 1은 가상현실(VR: Virtual Reality) 또는 증강현실(AR: Augmented Reality)용 HMD(Head Mounted Display)의 사용 예를 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 손동작 추적 장치에 대한 개략적인 블록도이다.
도 3은 본 발명의 일 실시 예에 따른 손동작 추적 방법에 대한 처리 흐름도이다.
도 4는 본 발명의 일 실시 예에 따른 손 모델 자동 생성 과정에 대한 처리 흐름도이다.
도 5는 본 발명의 일 실시 예에 따른 손 모델 자동 생성 과정을 도식화하여 설명한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 깊이 추출 카메라를 통한 손동작 추적시 발생 가능한 잡음 문제를 정리한 도면이다.
도 7 내지 도 9는 본 발명의 일 실시 예에 따른 손동작 추적 장치 및 방법을 이용하여 잡음이 제거된 예를 설명하기 위한 도면들이다.
도 10은 본 발명의 일 실시 예에 따른 손동작 추적 장치 및 방법을 이용하여 샘플링 개수를 차별적으로 선택한 경우의 예를 설명하기 위한 도면이다.
도 11은 본 발명의 다른 실시 예에 따른 손동작 추적 장치에 대한 개략적인 블록도이다.
도 12는 본 발명에 따른 손동작 추적 결과 개선된 효과를 설명하기 위한 도면이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 설명하되, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 한편 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한 상세한 설명을 생략하여도 본 기술 분야의 당업자가 쉽게 이해할 수 있는 부분의 설명은 생략하였다.

명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.

도 2는 본 발명의 일 실시 예에 따른 손동작 추적 장치에 대한 개략적인 블록도이다. 도 2를 참조하면, 본 발명의 일 실시 예에 따른 손동작 추적 장치(100)는 3차원 깊이 추출 카메라(200)에서 촬영된 정보에 의거하어 사용자의 손동작을 추적하며, 이를 위해, 입력부(110), 추적부(120), 저장부(130) 및 표시부(140)를 포함한다.

3차원 깊이 추출 카메라(200)는 3차원 영상을 촬영하고, 그 촬영 정보로부터 촬영 대상의 3차원 깊이 정보를 추출하는 장치로서, RIDAR(LIght Detection And Ranging), TOF(Time-or-flight) 스테레오 비전 카메라(Stereo Vision Camera) 등의 깊이(Depth) 카메라를 적용할 수 있다. 이들 중 머리 착용 디스플레이(HMD: Head Mounted Display) 용으로는 스테레오 비전 카메라를 주로 사용하는데, 이는 RGB 이미지뿐만 아니라 깊이 정보까지 같이 활용하여, 보다 정확한 손 모양 추적이 가능하도록 만들어주기 때문이다.

입력부(110)는 3차원 깊이 추출 카메라(200)를 통해 촬영된 영상에 대한 3차원 깊이 정보를 입력받는다. 특히, 입력부(110)는 사용자의 손 모델을 생성하기 위해 정지된 손을 촬영한 손 모양 및 손의 움직임을 촬영한 손동작에 대한 3차원 깊이 정보를 입력받는다.

추적부(120)는 입력부(110)를 통해 입력된 3차원 깊이 정보에 의거하여, 사용자의 손모양 정보를 반영한 최적의 3차원 손 모델을 자동으로 생성한다. 이와 같이 3차원 손 모델을 자동으로 생성함으로써, 손 모델을 보다 정확하게 생성할 수 있다. 즉, 본 발명은, 사용자가 입력한 손가락 길이 및 손바닥 정보를 이용하여 손 모델을 생성하는 종래의 기술과 비교하여, 사용자의 입력 오류로 인해 손 모델이 부정확하게 생성되는 가능성을 줄임으로써 정확한 손 모델을 생성할 수 있다.

그리고, 상기 3차원 손 모델이 생성된 후 입력부(110)를 통해 사용자의 손동작 촬영 정보에 대한 3차원 깊이 정보가 입력되면 상기 자동 생성된 손 모델을 이용하여 상기 손동작을 추적한다.

저장부(130)는 손동작 추적 장치(100)의 동작을 위해 필요한 각종 정보들을 저장한다. 예를 들어, 저장부(130)는 추적부(120)에서 생성한 최적의 3차원 손 모델 및 미리 설정된 손동작 추적 알고리즘(예컨대, ICP(Iterative Closest Point) 알고리즘, PSO(Particle Swarm Optimization) 알고리즘 및 이들을 결합한 ICP-PSO 알고리즘 등)을 저장할 수 있다.

표시부(140)는 손동작 추적 장치(100)의 동작 상태를 표시한다. 예를 들어, 표시부(140)는 손동작 추적 상태 또는 3차원 깊이 추출 카메라(200)에서 촬영된 정보 등을 표시할 수 있다.

도 3은 본 발명의 일 실시 예에 따라 손동작을 추적하는 손동작 추적 방법에 대한 처리 흐름도이다. 도 2 및 도 3을 참조하면, 본 발명의 일 실시 예에 따른 손동작 추적 장치(100)를 이용하여 손동작을 추적하기 위한 처리 과정은 다음과 같다.

먼저, 단계 S100에서, 추적부(120)는 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보에 의거하여 사용자의 손 모양 정보를 반영한 최적의 3차원 손 모델을 자동으로 생성한다. 이를 위해, 추적부(120)는, 3차원 영상을 촬영하고 그 촬영 정보로부터 촬영 대상의 3차원 깊이 정보를 추출하는 3차원 깊이 추출 카메라(200)로부터, 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보를 전달받을 수 있다. 한편, 단계 S100에서, 추적부(120)는 평균 손 형태를 기준으로 각각의 깊이 정보를 가지는 다양한 크기의 기본 손 모델들을 먼저 제작한 후, 상기 손 모델들 각각에 대하여 상기 사용자의 손 모양에 대한 깊이 정보와의 거리차를 최소화하기 위한 깊이 조절, 손가락 길이 조절, 및 관절 위치 조절 과정을 거쳐 최적의 손 모델을 자동으로 생성할 수 있다.

도 4는 본 발명의 일 실시 예에 따른 손 모델 자동 생성 과정에 대한 처리 흐름도이다. 즉, 도 4는 도 3에 예시된 손 모델 자동 생성 과정(S100)에 대한 처리 과정을 예시하고 있다.

도 2 및 도 4를 참조하면, 손 모델을 자동으로 생성하기 위해, 먼저, 단계 S110에서는, 추적부(120)가 다양한 크기의 기본 손 모델들을 제작한다. 이 때, 상기 기본 손 모델들은 상기한 바와 같이 추적부(120)에서 제작하거나, 기 제작된 정보를 저장부(130)에 저장한 후 추적부(120)에서는 저장부(130)의 내용을 참조만 할 수도 있다. 즉, 평균 손 형태를 기준으로 다양한 크기의 기본 손 모델들 각각에 대한 깊이 정보를 저장부(130)에 저장하고, 추적부(120)는 저장부(130)로부터 상기 손모델들 각각에 대한 깊이 정보를 읽어 와서 사용할 수도 있다. 따라서, 이 경우 상기 단계 S110는 생략 가능하다.

이와 같이 기본 손 모델을 제작하였으면, 단계 S120에서는, 추적부(120)가 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보와 상기 3차원 기본 손 모델들 각각의 깊이 정보간 거리 차이를 최소화하는 제1 깊이 조절 단계를 수행한다. 이를 위해, 추적부(120)는 평균 손 형태를 기준으로 기 제작된 다양한 크기의 3차원 기본 손 모델들 각각에 대한 손동작 추적을 수행한다. 이 때, 추적부(120)는 상기 3차원 기본 손 모델들 각각에 대하여, ICP(Iterative Closest Point) 알고리즘과 PSO(Particle Swarm Optimization) 알고리즘을 결합한 ICP-PSO 알고리즘을 적용하여 손동작을 추적할 수 있다. 또한, 추적부(120)는 상기 손동작 추적을 거친 기본 손 모델들 각각에 대하여 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보와의 거리차를 산출하고, 상기 거리차가 최소화되도록 상기 기본 손 모델들을 조정할 수 있다.

단계 S130에서는, 추적부(120)가 손가락 길이 조절 단계를 수행한다. 즉, 단계 S130에서, 추적부(120)는 상기 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보와의 거리차를 최소화하는 손가락 길이를 찾는다. 이를 위해, 추적부(120)는 상기 단계 S120를 거친 기본 손 모델들 각각에 대하여, ICP(Iterative Closest Point) 알고리즘을 적용할 수 있으며, 상기 3차원 기본 손 모델들 각각에 대하여 손바닥 및 손가락 위치를 식별한 후, 손바닥 크기는 고정하고 손가락 5개의 길이를 각각 변화시키면서, 상기 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보와의 거리차를 산출하여 상기 거리차가 최소인 손가락 길이를 찾는다.

단계 S140에서는, 추적부(120)가 관절 위치 조절 단계를 수행한다. 즉, 단계 S140에서, 추적부(120)는 상기 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보와의 거리차를 최소화하는 관절의 위치를 찾는다. 이를 위해, 추적부(120)는 상기 단계 S130를 거친 기본 손 모델들 각각에 대하여, ICP (Iterative Closest Point) 알고리즘을 적용할 수 있으며, 상기 3차원 기본 손 모델들 각각에 대하여 손가락과 손바닥을 연결하는 관절의 위치를 변화시키면서, 상기 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보와의 거리차를 산출하여 상기 거리차가 최소인 관절의 위치를 찾는다.

단계 S150에서는, 추적부(120)가 상기 단계 S120 내지 단계 S140을 거치면서, 조정된 손 모델들 각각에 대한 손동작 추적을 통해, 상기 조정된 손 모델들 각각의 깊이 정보와 상기 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보와의 거리차를 최소화하는 제2 깊이 조절 단계를 수행한다. 이를 위해, 추적부(120)는 상기 조정된 손 모델들 각각에 대하여, ICP(Iterative Closest Point) 알고리즘과 PSO(Particle Swarm Optimization) 알고리즘을 결합한 ICP-PSO 알고리즘을 적용하여 손동작을 추적할 수 있다. 또한, 추적부(120)는 상기 손동작 추적을 거친, 조정된 손 모델들 각각에 대하여 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보와의 거리차를 산출하고, 상기 거리차가 최소화되도록 상기 손 모델들을 조정할 수 있다.

단계 S160에서는, 추적부(120)가 상기 단계 S150를 거친 상기 손 모델들 중 상기 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보와의 거리 오차가 가장 작은 손 모델 하나를 선택한다.

이 때, 추적부(120)는 최적의 3차원 손 모델을 찾을 때까지, 상기 단계 S130 내지 단계 S150를 반복 수행할 수 있다.

도 5는 본 발명의 일 실시 예에 따른 손 모델 자동 생성 과정을 도식화하여 설명한 도면으로서, 도 4 및 도 5를 참조하여 상기 손 모델 자동 생성 과정(S100)을 다시 설명하면 다음과 같다.

먼저, 단계 S110에서 제작한 다양한 크기의 기본 손모델들(D)은, 단계 S120에서, ICP-PSO 추적을 통해, 3차원 깊이 정보(C)와의 거리 차가 최소인 상태로 깊이가 조절된다.

단계 S130에서는, 단계 S120를 거친 상기 기본 손모델들에 대하여 ICP 알고리즘을 적용하여 손가락 길이를 조절하고, 단계 S140에서는, 단계 S130을 거친 상기 손모델들에 대하여 ICP 알고리즘을 적용하여 관절의 위치를 조절한다.

또한, 단계 S150에서는, 상기 단계 S140를 거친 상기 손모델들에 대하여 ICP-PSO 추적 알고리즘을 적용하여 3차원 깊이 정보(C)와의 거리 차가 최소인 상태로 깊이를 조절한다.

마지막으로, 상기 단계 S150을 거친 손모델 중 최적의 3차원 손 모델(E)을 선택한다.

이 때, 상기 단계 S130 내지 단계 150은 도 5에 예시된 바와 같이 반복 수행할 수 있다. 예를 들어, 상기 선택된 손 모델(E)에 오류가 발견되거나, 사용자가 선호하는 모델이 아닌 경우, 상기 단계들(단계 S130 내지 단계 S150)을 추가로 더 수행하여 최적의 3차원 손 모델을 선택하도록 할 수 있다.

본 발명은, 이와 같이 3차원 손 모델을 자동으로 생성함으로써, 손 모델을 보다 정확하게 생성할 수 있다. 즉, 본 발명은, 사용자가 입력한 손가락 길이 및 손바닥 정보를 이용하여 손 모델을 생성하는 종래의 기술과 비교하여, 사용자의 입력 오류로 인해 손 모델이 부정확하게 생성되는 가능성을 줄임으로써 정확한 손 모델을 생성할 수 있다.

한편, 다시 도 2 및 도 3을 참조하면, 상기와 같이 최적의 3차원 손 모델을 자동으로 생성한 후, 단계 S200에서는, 3차원 깊이 추출 카메라(200)를 통해 촬영된 사용자의 손동작에 대한 손동작 추적을 수행한다. 이를 위해, 추적부(120)는 3차원 깊이 추출 카메라(200)를 통한 3차원 깊이 정보의 입력에 응답하여, 손동작을 추적하되, 상기 자동 생성된 3차원 손 모델을 이용하여 사용자의 손동작을 추적할 수 있다.

그런데, 이와 같이 3차원 깊이 추출 카메라(200)를 통해 손동작을 추적할 경우, 도 6에 예시된 바와 같은 잡음 문제가 발생할 수 있다.

도 6은 본 발명의 일 실시 예에 따른 깊이 추출 카메라를 통한 손동작 추적시 발생 가능한 잡음 문제를 정리한 도면들로서, 도 6의 (a)는 손의 깊이 추출 결과 가장 자리(A)에 불필요한 잡음들이 포함되어 있는 경우의 예를 도시하고, 도 6의 (b)는 뒤쪽 배경에 다양한 장애물의 깊이 정보가 같이 포함된 경우의 예를 도시하고, 도 6의 (c)는 깊이 추출 이미지의 가장 자리(B)에서 깊이 정보가 잘려, 해당 영역(B)을 손가락으로 잘못 인식하고, 이로 인해 손동작을 부정확하게 인식하는 경우의 예를 도시하고 있다.

따라서, 도 2 및 도 3의 예에서, 추적부(120)는, 입력부(110)를 통해 3차원 깊이 정보가 입력된 경우, 상기 3차원 깊이 정보에 포함된 잡음을 제거하는 과정(미도시)을 거친 후, 손동작을 추적하는 것이 바람직하다.

상기 3차원 깊이 정보에 포함된 잡음을 제거하기 위해, 추적부(120)는 상기 3차원 깊이 정보를 판독하여, 3차원 깊이 추출 카메라(200)로부터 일정 거리 이상 떨어진 3차원 깊이 정보를 제거할 수 있다. 예를 들어, HMD 환경에서 손동작을 추정한다고 가정하면, 3차원 깊이 추출 카메라(200)로부터 5cm ~ 40cm 범위 이내에 포함되는 3차원 깊이 정보만을 유효한 정보로 활용하고, 상기 범위를 벗어나는 3차원 깊이 정보는 무시함으로써, 잡음을 제거할 수 있다.

또한, 추적부(120)는 상기 3차원 깊이 추출 카메라의 촬영 정보로부터 상기 촬영 정보를 구성하는 픽셀들 각각의 3차원 깊이 정보를 도출하고, 인접한 픽셀들 중 적어도 하나의 픽셀과의 3차원 깊이 차이가 일정 범위 이상인 픽셀의 3차원 깊이 정보를 제거할 수 있다. 즉, 인접한 픽셀과의 3차원 깊이 차이가 많이 나는 경우 그 픽셀의 3차원 깊이 정보를 제거할 수 있다. 이 과정에서 뒷배경에 존재하는 다양한 장애물들의 깊이 정보들을 배제할 수 있다.

도 7은 이러한 잡음 제거 과정을 수행한 결과의 예를 도시한 도면으로서, 도 7의 (a)에서 제1 영역(Aa)과 제2 영역(Ba)는 잡음을 포함한 부분이고, 도 7의 (b)에서 제3 영역(Ab)과 제4 영역(Bb)는 잡음이 제거된 결과를 예시하고 있다. 도 7의 (a) 및 도 7의 (b)를 참조하면, 3차원 깊이 추출 카메라(200)로부터 일정 거리 이상 떨어진 3차원 깊이 정보를 제거한 결과, 도 7(a)의 제2 영역(Ba)이 도 7(b)의 제4 영역(Bb)와 같이 개선되고, 3차원 깊이 추출 카메라(200)로부터 전달된 3차원 깊이 정보들 중 인접한 픽셀과 깊이 차이가 많이 나는 픽셀의 깊이 정보를 제거한 결과, 도 7의 (a)의 제1 영역(Aa)이 도 7의 (b)의 제3 영역(Ab)과 같이 개선됨을 알 수 있다.

또한, 추적부(120)는 거리 변환(distance transform) 알고리즘을 적용하여 3차원 깊이 추출 카메라(200)의 촬영 정보로부터 배경과 물체를 서로 다르게 코딩한 후 소정 크기 이하의 물체를 제거하는 방법으로 잡음을 제거할 수 있다. 이 때, 상기 거리 변환 알고리즘은 배경과 물체를 각각 다르게 코딩하고, 물체 영역에 해당하는 픽셀에서 가장 가까운 배경 픽셀까지 얼마나 먼지를 알려주는 알고리즘으로서, 상기 거리 변환 알고리즘을 적용함으로써, 3차원 깊이 추출 카메라(200)의 촬영 정보로부터 배경을 식별해낼 수 있게 된다.

도 8은 이러한 잡음 제거 과정을 수행한 결과의 예를 도시한 도면으로서, 도 8의 (a)에서 제5 영역(Ca)은 잡음을 포함한 부분이고, 도 8의 (b)는 상기 잡음이 제거된 결과를 예시하고 있다. 도 8의 (a) 및 (b)를 참조하면, 거리 변환(distance transform) 알고리즘을 적용하여 3차원 깊이 추출 카메라(200)의 촬영 정보로부터 배경과 물체를 서로 다르게 코딩한 후 소정 크기 이하의 물체를 제거한 경우, 도 8(a)의 제5 영역(Ca)이 도 8(b)와 같이 개선됨을 알 수 있다.

또한, 추적부(120)는 손동작 추적 이력을 저장하고 이전 손동작 추적 결과를 활용해 이전 프레임에 존재했던 손의 위치와 거리가 먼 깊이 정보들을 배제하거나, 상기 3차원 깊이 추출 카메라의 촬영 정보로부터 획득된 세그먼트(segment)들 중 가장 큰 세그먼트(segment)만을 선택하는 방법으로 잡음을 제거할 수 있다.

도 9는 이러한 잡음 제거 과정을 수행한 결과의 예를 도시한 도면으로서, 도 9의 (a)에서 제6 영역(Da)과 제7 영역(Ea)는 잡음을 포함한 부분이고, 도 9의 (b)에서 제8 영역(Db)과 제9 영역(Eb)는 잡음이 제거된 결과를 예시하고 있다. 도 9의 (a) 및 도 9의 (b)를 참조하면, 이전 손동작 추적 결과를 활용해 이전 프레임에 존재했던 손의 위치와 거리가 먼 깊이 정보들을 배제한 결과, 도 9(a)의 제6 영역(Da)이 도 9(b)의 제8 영역(Db)와 같이 개선되고, 상기 3차원 깊이 추출 카메라의 촬영 정보로부터 획득된 세그먼트(segment)들 중 가장 큰 세그먼트(segment)만을 선택한 결과, 도 9(a)의 제7 영역(Ea)이 도 9(b)의 제9 영역(Eb)과 같이 개선됨을 알 수 있다.

한편, 추적부(120)는 잡음에 강하면서 빠르게 손동작을 추적할 수 있도록 하기 위해, 샘플링 개수를 가변하는 과정(미도시)을 더 포함할 수 있는데, 이를 위해, 추적부(120)는 손동작 추적 결과들을 프레임 단위로 저장하고, 이전 프레임의 손바닥 중심점을 기준으로, 일정 범위 이내에 포함된 영역의 샘플링 개수 보다 상기 일정 범위를 벗어나는 영역의 샘플링 개수를 더 많이 선택할 수 있다. 즉, 추적부(120)가 전체 샘플링 개수가 일정한 상태에서, 상대적으로 움직임이 많은 손가락 부분에 대한 샘플링 개수를 더 많이 선택하도록 함으로써 정확한 손동작 추적 결과를 얻을 수 있고, 손동작 추적을 더 빠르게 수행할 수 있도록 한다.

도 10은 본 발명의 일 실시 예에 따른 손동작 추적 장치 및 방법을 이용하여 샘플링 개수를 차별적으로 선택한 경우의 예를 설명하기 위한 도면으로서, 도 10(a)는 일반적인 샘플링 개수 선택 방법이 적용된 예를 도시하고, 도 10(b)는 본 발명의 일 실시 예에 따라 샘플링 개수를 선택하는 방법이 적용된 예를 도시한다. 도 10(a)를 참조하면, 무작위로 샘플링을 수행한 결과, 손가락 끝부분들(Fa, Ga, Ha, Ia)에 대한 샘플링 개수가 손바닥 부분의 샘플링 개수 보다 더 적다. 한편, 도 10(b)를 참조하면, 손바닥 중심점(K)으로부터 일정 범위(J)를 벗어나는 영역의 샘플링 개수를 더 많이 선택한 결과, 손가락 끝부분들(Fb, Gb, Hb, Ib)에 대한 샘플링 개수가 손바닥 부분의 샘플링 개수보다 더 많다. 따라서, 이 경우 손가락 끝부분들(Fb, Gb, Hb, Ib)에 대한 손동작 추적 결과를 보다 빠르고 정확하게 얻을 수 있게 된다.

도 11은 본 발명의 다른 실시 예에 따른 손동작 추적 장치에 대한 개략적인 블록도로서, 도 11을 참조하면, 본 발명의 다른 실시 예에 따른 손동작 추적 장치(300)는 3차원 깊이 추출 카메라(310), 추적부(320), 저장부(330) 및 표시부(340)를 포함한다.

3차원 깊이 추출 카메라(310)는 사용자의 손 모양 및 손동작에 대한 3차원 영상을 촬영하고, 그 촬영 정보로부터 3차원 깊이 정보를 추출한다. 그리고, 그 추출 결과를 추적부(320)로 전달한다.

추적부(320)는 3차원 깊이 추출 카메라(310)를 통해 전달된 3차원 깊이 정보에 의거하여, 사용자의 손 모양 정보를 반영한 최적의 3차원 손 모델을 자동으로 생성한다. 그리고, 상기 3차원 깊이 추출 카메라를 통해 사용자의 손동작 촬영 정보에 대한 3차원 깊이 정보가 입력되면 상기 자동 생성된 손 모델을 이용하여 상기 손동작을 추적한다. 특히, 추적부(320)는 3차원 깊이 추출 카메라(310)를 통해 손동작 촬영 정보에 대한 3차원 깊이 정보가 입력되면, 상기 3차원 깊이 정보에 포함된 잡음을 제거하는 과정을 거친 후, 상기 손 자동 생성된 손 모델을 이용하여 상기 손동작을 추적할 수 있다.

저장부(330)는 손동작 추적 장치(300)의 동작을 위해 필요한 각종 정보들을 저장한다. 예를 들어, 저장부(330)는 추적부(320)에서 생성한 최적의 3차원 손 모델 및 미리 설정된 손동작 추적 알고리즘(예컨대, ICP(Iterative Closest Point) 알고리즘, PSO(Particle Swarm Optimization) 알고리즘 및 이들을 결합한 ICP-PSO 알고리즘 등)을 저장할 수 있다.

표시부(340)는 손동작 추적 장치(300)의 동작 상태를 표시한다. 예를 들어, 표시부(340)는 손동작 추적 상태 또는 3차원 깊이 추출 카메라(200)에서 촬영된 정보 등을 표시할 수 있다.

이 때, 상기 손동작 추적 장치(300)는 도 1에 예시된 본 발명의 일 실시 예에 따른 손동작 추적 장치(100)와 비교하여 3차원 깊이 추출 카메라(200)를 내장하고 있는 점이 다를 뿐, 다른 동작 및 효과는 동일하다.

따라서, 추적부(320), 저장부(330) 및 표시부(340) 각각에 대한 구체적인 동작 및 구성 설명은 도 2 내지 도 10을 참조한 설명 부분에 기재된 내용으로 대체할 수 있다.

도 12는 본 발명에 따른 손동작 추적 결과 개선된 효과를 설명하기 위한 도면으로서, 종래(Previous result)의 경우와 본 발명(Final result)의 경우에 300개의 샘플로부터 발생할 수 있는 에러의 양(error evaluation)를 도식화하여 비교하고 있다. 도 12를 참조하면, 본 발명의 손동작 추적 장치의 경우 종래와 비교하여 에러의 양이 현저하게 감소하였음을 알 수 있다. 즉, 본 발명은 도 12에 예시된 바와 같이 손동작 추적 정확도를 향상시킬 수 있음을 알 수 있다.

상술한 예시적인 시스템에서, 방법들은 일련의 단계 또는 블록으로써 순서도를 기초로 설명되고 있지만, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다.

또한, 당업자라면 순서도에 나타낸 단계들이 배타적이지 않고, 다른 단계가 포함되거나 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.

Claims

3차원 영상을 촬영하고 그 촬영 정보로부터 촬영 대상의 3차원 깊이 정보를 추출하는 3차원 깊이 추출 카메라로부터, 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보를 입력받는 입력부;
상기 입력부를 통해 입력된 3차원 깊이 정보에 의거하여, 사용자의 손 모양 정보를 반영한 3차원 손 모델을 생성하되, 평균 손 형태를 기준으로 각각의 깊이 정보를 가지는 다양한 크기의 기본 손 모델을 제작한 후, 상기 손 모델들 각각에 대하여 깊이 조절, 손가락 길이 조절, 및 관절 위치 조절 과정을 거쳐 상기 사용자의 손 모양에 대한 깊이 정보와의 거리차가 최소가 되는 손 모델을 생성하고, 상기 입력부를 통해 사용자의 손동작 촬영 정보에 대한 3차원 깊이 정보가 입력되면 상기 생성된 3차원 손 모델을 이용하여 상기 손동작을 추적하는 추적부; 및
상기 추적부에서 생성한 3차원 손 모델 및 미리 설정된 손동작 추적 알고리즘을 저장하는 저장부를 포함하되,
상기 추적부는
상기 입력부를 통해 손동작 촬영 정보에 대한 3차원 깊이 정보가 입력되면, 상기 3차원 깊이 정보에 포함된 잡음을 제거하는 과정을 거친 후, 상기 생성된 3차원 손 모델을 이용하여 상기 손동작을 추적하는 손동작 추적 장치.
삭제
제1항에 있어서, 상기 저장부는
평균 손 형태를 기준으로 다양한 크기의 기본 손 모델들 각각에 대한 깊이 정보를 저장하고,
상기 추적부는
상기 저장부에 저장된 손모델들 각각에 대하여 깊이 조절, 손가락 길이 조절, 및 관절 위치 조절 과정을 거쳐 상기 사용자의 손 모양에 대한 깊이 정보와의 거리차가 최소가 되는 3차원 손 모델을 생성하는 손동작 추적 장치.
제1항에 있어서, 상기 추적부는
상기 3차원 깊이 정보에 포함된 잡음을 제거하기 위해,
상기 3차원 깊이 정보를 판독하여, 상기 3차원 깊이 추출 카메라로부터 일정 거리 이상 떨어진 3차원 깊이 정보를 제거하는 손동작 추적 장치.
제1항에 있어서, 상기 추적부는
상기 3차원 깊이 정보에 포함된 잡음을 제거하기 위해,
상기 3차원 깊이 추출 카메라의 촬영 정보로부터 상기 촬영 정보를 구성하는 픽셀들 각각의 3차원 깊이 정보를 도출하고, 인접한 픽셀들 중 적어도 하나의 픽셀과의 3차원 깊이 차이가 일정 범위 이상인 픽셀의 3차원 깊이 정보를 제거하는 손동작 추적 장치.
제1항에 있어서, 상기 추적부는
상기 3차원 깊이 정보에 포함된 잡음을 제거하기 위해,
거리 변환(distance transform) 알고리즘을 적용하여, 상기 3차원 깊이 추출 카메라의 촬영 정보로부터 배경과 물체를 서로 다르게 코딩한 후 소정 크기 이하의 물체를 제거하는 손동작 추적 장치.
제1항에 있어서, 상기 추적부는
상기 3차원 깊이 정보에 포함된 잡음을 제거하기 위해,
손동작 추적 이력을 저장하고, 이전 손동작 추적 결과를 활용해 이전 프레임에 존재했던 손의 위치와 거리가 먼 깊이 정보들을 배제하는 손동작 추적 장치.
제1항에 있어서, 상기 추적부는
상기 3차원 깊이 정보에 포함된 잡음을 제거하기 위해,
상기 3차원 깊이 추출 카메라의 촬영 정보로부터 획득된 세그먼트(segment)들 중 가장 큰 세그먼트(segment)만을 선택하는 손동작 추적 장치.
제1항에 있어서, 상기 추적부는
손동작 추적 결과들을 프레임 단위로 저장하고,
이전 프레임의 손바닥 중심점을 기준으로, 일정 범위 이내에 포함된 영역의 샘플링 개수 보다 상기 일정 범위를 벗어나는 영역의 샘플링 개수를 더 많이 선택하는 손동작 추적 장치.
사용자의 손 모양 및 손동작에 대한 3차원 영상을 촬영하고, 그 촬영 정보로부터 3차원 깊이 정보를 추출하는 3차원 깊이 추출 카메라;
상기 3차원 깊이 추출 카메라를 통해 전달된 3차원 깊이 정보에 의거하여, 사용자의 손 모양 정보를 반영한 3차원 손 모델을 생성하되, 평균 손 형태를 기준으로 각각의 깊이 정보를 가지는 다양한 크기의 기본 손 모델을 제작한 후, 상기 손 모델들 각각에 대하여 깊이 조절, 손가락 길이 조절, 및 관절 위치 조절 과정을 거쳐 상기 사용자의 손 모양에 대한 깊이 정보와의 거리차가 최소가 되는 손 모델을 생성하고, 상기 3차원 깊이 추출 카메라를 통해 사용자의 손동작 촬영 정보에 대한 3차원 깊이 정보가 입력되면 상기 생성된 3차원 손 모델을 이용하여 상기 손동작을 추적하는 추적부; 및
상기 추적부에서 생성한 3차원 손 모델 및 미리 설정된 손동작 추적 알고리즘을 저장하는 저장부를 포함하되,
상기 추적부는
상기 3차원 깊이 추출 카메라를 통해 손동작 촬영 정보에 대한 3차원 깊이 정보가 입력되면, 상기 3차원 깊이 정보에 포함된 잡음을 제거하는 과정을 거친 후, 상기 생성된 3차원 손 모델을 이용하여 상기 손동작을 추적하는 손동작 추적 장치.
3차원 영상을 촬영하고 그 촬영 정보로부터 촬영 대상의 3차원 깊이 정보를 추출하는 3차원 깊이 추출 카메라로부터 전달된, 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보에 의거하여 사용자의 손 모양 정보를 반영한 3차원 손 모델을 생성하되, 평균 손 형태를 기준으로 각각의 깊이 정보를 가지는 다양한 크기의 기본 손 모델을 제작한 후, 상기 손 모델들 각각에 대하여 깊이 조절, 손가락 길이 조절, 및 관절 위치 조절 과정을 거쳐 상기 사용자의 손 모양에 대한 깊이 정보와의 거리차가 최소가 되는 손 모델을 생성하는 손 모델 자동 생성 단계; 및
상기 3차원 깊이 추출 카메라를 통해 촬영된 사용자의 손동작에 대한 3차원 깊이 정보의 입력에 응답하여, 상기 생성된 3차원 손 모델을 이용하여 사용자의 손동작을 추적하는 손동작 추적단계를 포함하되,
상기 손동작 추적단계는
상기 3차원 깊이 정보에 포함된 잡음을 제거하는 잡음 제거 단계를 포함하는 손동작 추적 방법.
제11항에 있어서, 상기 손 모델 자동생성 단계는
평균 손 형태를 기준으로 기 제작된 다양한 크기의 3차원 기본 손 모델들 각각에 대한 손동작 추적을 통해, 상기 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보와 상기 3차원 기본 손 모델들 각각의 깊이 정보의 거리차를 최소화하는 제1 깊이 조절 단계;
상기 기본 손 모델들 각각에 대하여 손바닥 및 손가락 위치를 식별한 후, 손바닥 크기는 고정하고 손가락 5개의 길이를 각각 변화시켜 상기 기본 손 모델별로 상기 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보와의 거리차를 최소화하는 손가락 길이 조절 단계;
상기 기본 손 모델들 각각에 대하여 손가락과 손바닥을 연결하는 관절의 위치를 조절하여 상기 기본 손 모델별로 상기 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보와의 거리차를 최소화하는 관절 위치 조절 단계;
상기 제1 깊이 조절단계, 상기 손가락 길이 조절단계 및 상기 관절 위치 조절단계를 거쳐 조정된 손 모델들 각각에 대한 손동작 추적을 통해, 상기 조정된 손 모델들 각각의 깊이 정보와 상기 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보와의 거리차를 최소화하는 제2 깊이 조절단계; 및
상기 제2 깊이 조절단계를 거친 상기 조정된 손 모델들 중 상기 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보와의 거리 오차가 가장 작은 손 모델 하나를 선택하는 선택단계를 포함하는 손동작 추적 방법.
제12항에 있어서, 상기 손 모델 자동생성 단계는
평균 손 형태를 기준으로, 다양한 크기의 3차원 기본 손 모델들을 제작하는 기본 손 모델 제작 단계를 더 포함하는 손동작 추적 방법.
제12항에 있어서, 상기 제1 깊이 조절 단계는
상기 기본 손 모델들 각각에 대하여, ICP(Iterative Closest Point) 알고리즘과 PSO(Particle Swarm Optimization) 알고리즘을 결합한 ICP-PSO 알고리즘을 적용하여 손동작을 추적하고,
상기 손동작 추적을 거친 기본 손 모델들 각각에 대하여 상기 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보와의 거리차를 산출하여 상기 거리차가 최소화되도록 상기 기본 손 모델들을 조정하는 손동작 추적 방법.
제12항에 있어서, 상기 손가락 길이 조절 단계는
상기 제1 깊이 조절 단계를 거친 기본 손 모델들 각각에 대하여, ICP (Iterative Closest Point) 알고리즘을 적용하는 손동작 추적 방법.
제12항에 있어서, 상기 관절 위치 조절 단계는
상기 손가락 길이 조절 단계를 거친 기본 손 모델들 각각에 대하여, ICP (Iterative Closest Point) 알고리즘을 적용하는 손동작 추적 방법.
제12항에 있어서, 상기 제2 깊이 조절 단계는
상기 조정된 손 모델들 각각에 대하여, ICP(Iterative Closest Point) 알고리즘과 PSO(Particle Swarm Optimization) 알고리즘을 결합한 ICP-PSO 알고리즘을 적용하여 손동작을 추적하고,
상기 손동작 추적을 거친 조정된 손 모델들 각각에 대하여 상기 사용자의 손 모양 및 손동작에 대한 3차원 깊이 정보와의 거리차를 산출하여 상기 거리차가 최소화되도록 상기 손 모델들을 조정하는 손동작 추적 방법.
제11항에 있어서, 상기 잡음 제거 단계는
상기 3차원 깊이 정보를 판독하여, 상기 3차원 깊이 추출 카메라로부터 일정 거리 이상 떨어진 3차원 깊이 정보를 제거하는 손동작 추적 방법.
제11항에 있어서, 상기 잡음 제거 단계는
상기 3차원 깊이 추출 카메라의 촬영 정보로부터 상기 촬영 정보를 구성하는 픽셀들 각각의 3차원 깊이 정보를 도출하고, 인접한 픽셀들 중 적어도 하나의 픽셀과의 3차원 깊이 차이가 일정 범위 이상인 픽셀의 3차원 깊이 정보를 제거하는 손동작 추적 방법.
제11항에 있어서, 상기 잡음 제거 단계는
거리 변환(distance transform) 알고리즘을 적용하여, 상기 3차원 깊이 추출 카메라의 촬영 정보로부터 배경과 물체를 서로 다르게 코딩한 후 소정 크기 이하의 물체를 제거하는 손동작 추적 방법.
제11항에 있어서, 상기 잡음 제거 단계는
손동작 추적 이력을 저장하고, 이전 손동작 추적 결과를 활용해 이전 프레임에 존재했던 손의 위치와 거리가 먼 깊이 정보들을 배제하는 손동작 추적 방법.
제11항에 있어서, 상기 잡음 제거 단계는
상기 3차원 깊이 추출 카메라의 촬영 정보로부터 획득된 세그먼트(segment)들 중 가장 큰 세그먼트(segment)만을 선택하는 손동작 추적 방법.
제11항에 있어서, 상기 손동작 추적단계는
손동작 추적 결과들을 프레임 단위로 저장하고,
이전 프레임의 손바닥 중심점을 기준으로, 일정 범위 이내에 포함된 영역의 샘플링 개수 보다 상기 일정 범위를 벗어나는 영역의 샘플링 개수를 더 많이 선택하는 샘플링 개수 선택 단계를 더 포함하는 손동작 추적 방법.