KR20200073031A

KR20200073031A - 높은 정확도를 갖는 손 동작 추적을 위한 3차원 손 모델 제작 방법

Info

Publication number: KR20200073031A
Application number: KR1020180161275A
Authority: KR
Inventors: 유회준; 한동현; 박준영
Original assignee: 주식회사 유엑스팩토리
Priority date: 2018-12-13
Filing date: 2018-12-13
Publication date: 2020-06-23

Abstract

본 발명의 높은 정확도를 갖는 손 동작 추적을 위한 3차원 손 모델 제작 방법에 따르면, 깊이 추출 카메라 영상에서 추출한 3D 깊이 정보를 이용한 3D 손 모델에 ICP(Iterative Closest Point) 알고리즘과 PSO(Particle Swarm Optimization) 알고리즘을 결합한 ICP-PSO 방법을 적용하여 손 동작 추적을 쉽게 할 수 있으며, 26 Degree-of-freedom(DOF)와 46개의 구를 사용하여 3차원 깊이 정보와 참조 모델 간의 이질성을 측정하고, 이질성을 최소화하는 방향으로 참조 모델을 조정함으로써 이질성 측정을 단순히 하면서 적은 파라미터 개수로 손 동작 추적이 가능하여, 고속, 저 전력 손 동작 추적이 가능한 효과가 있다.

Description

높은 정확도를 갖는 손 동작 추적을 위한 3차원 손 모델 제작 방법{3D Hand Model Manufacturing Method for Hand Motion Tracking having High Accuracy}

본 발명은 높은 정확도를 갖는 손 동작 추적을 위한 3차원 손 모델 제작 방법에 관한 것으로, 더욱 상세하게는 깊이 추출 카메라 영상에서 추출한 3D 깊이 정보를 이용한 3D 손 모델에 ICP(Iterative Closest Point) 알고리즘과 PSO(Particle Swarm Optimization) 알고리즘을 결합한 ICP-PSO 방법을 적용하여 손 동작 추적을 쉽게 하기 위한 것으로, 26 Degree-of-freedom(DOF)와 46개의 구를 사용하여 3차원 깊이 정보와 참조 모델 간의 이질성을 측정하고, 이질성을 최소화하는 방향으로 참조 모델을 조정하는 높은 정확도를 갖는 손 동작 추적을 위한 3차원 손 모델 제작 방법에 관한 것이다.

최근 가상 현실 또는 증강 현실과 관련된 다양한 전자기기와 소프트웨어가 활발하게 개발되고 있다.

이러한 가상 현실 또는 증강 현실에서는 사용자와 가상 모델, 또는 가상 모델 간의 상호 작용에 의해 사용자는 마치 가상 공간에 있는 것처럼 느낄 수 있다.

가상 공간 내에서 가상 손 모델에 의해 가상 객체 모델을 조작하는 동작이 구현될 수 있다.

가상 공간 내의 가상 객체 모델을 조작하는 방식으로는 제스처 기반 조작 방식과 직접 조작 방식이 있다.

제스처 기반 조작 방식의 경우, 미리 설정된 제스처의 입력 시 설정된 조작 동작을 수행하는 방식으로써, 이러한 방식에 의하면, 조작 구현을 단순화할 수 있으나 구체적인 동작을 구현하는데 한계가 있다.

직접 조작 방식의 경우 실제 공간에서의 동작 정보를 기초로 가상 공간에서의 조작 동작을 구현하여 가상 공간 내의 물체와의 상호 작용을 직접적으로 구현한다.

이때, 실제 공간에서의 동작 정보를 입력 받기 위해 모션 트래커(motion tracker) 등과 같은 장비를 이용하고 있다.

예를 들면, 손의 움직임을 기초로 가상 공간 내의 가상 손 모델의 동작을 구현하여 가상 손 모델과 가상 객체 모델 간의 상호 작용에 따른 조작 동작을 수행할 수 있다.

그러나, 상술한 장비가 대부분 고가이며 장비를 설치하고 이용함에 따른 접근성이 상대적으로 낮은 문제점이 있었다.

따라서, 사용성 및 접근성이 높은 장비를 이용하여 직접 조작 방식으로도 가상 공간 내에서의 동작을 정확하고 신속하게 구현할 수 있는 가상 모델의 제어 방법이 요구된다.

대한민국 등록특허공보 등록번호 제10-1360322호

본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로서, 깊이 추출 카메라 영상에서 추출한 3D 깊이 정보를 이용한 3D 손 모델에 ICP(Iterative Closest Point) 알고리즘과 PSO(Particle Swarm Optimization) 알고리즘을 결합한 ICP-PSO 방법을 적용하여 손 동작 추적을 쉽게 할 수 있으며, 26 Degree-of-freedom(DOF)와 46개의 구를 사용하여 3차원 깊이 정보와 참조 모델 간의 이질성을 측정하고, 이질성을 최소화하는 방향으로 참조 모델을 조정함으로써 이질성 측정을 단순히 하면서 적은 파라미터 개수로 손 동작 추적이 가능하여, 고속, 저 전력 손 동작 추적이 가능한 높은 정확도를 갖는 손 동작 추적을 위한 3차원 손 모델 제작 방법을 제공하는 것이다.

상술한 목적을 달성하기 위한 본 발명의 높은 정확도를 갖는 손 동작 추적을 위한 3차원 손 모델 제작 방법은 깊이 추출 카메라 영상에서 추출한 3D 깊이 정보를 이용해 손 동작 추적을 하기 위한 기본 3D 손 모델의 제작 방법에 관한 것으로, ICP 알고리즘과 PSO 알고리즘을 결합한 ICP-PSO 알고리즘을 통해 26 DOF와 46개의 구를 사용하여 손 형태를 구성하는 제1단계 및 손바닥과 손가락 사이를 연결해 주는 관절 위치를 결정하는 과정, 손가락의 좌우 이동 각도와 손가락의 접힌 각도를 결정하는 과정, 손가락에 위치하는 각 관절의 위치를 결정하는 과정, 손가락 관절 사이에 구를 하나씩 추가한 후 손바닥 부근에 남은 구를 채우는 과정, 손바닥의 회전 각도를 활용해 회전시킨 후 손바닥 중심부의 좌표에 따라 평행 이동시켜 손 모양이 결정되는 제2단계를 포함한다.

제1단계에서, 46개의 구 위치를 결정하기 위한 것으로, 26 DOF는 다섯 손가락 좌우 이동 각도를 결정하는 5개의 DOF를 결정하는 단계, 다섯 손가락 각각의 접힌 각도를 결정하는 15개의 DOF를 결정하는 단계, 손바닥 중심 부위의 좌표를 결정하는 3 DOF를 결정하는 단계, 손바닥의 회전 각도를 결정하는 3 DOF를 결정하는 단계를 포함할 수 있다.

제2단계에서, 손가락 관절마다 구를 하나씩 배치한 후 그 사이에 구를 하나씩 더 추가하는 단계, 손바닥 부분은 손바닥과 손가락을 연결해 주는 관절에서부터 연장되어 4개씩 이어 연결되어 형성되는 단계, 엄지손가락은 손바닥과 손가락을 연결해 주는 관절에서부터 제일 끝에 위치한 구에 연결되어 형성되는 단계를 포함할 수 있다.

손가락 5개의 길이와 손바닥의 크기 정보가 입력되면, 손 모양을 형성하는 구의 반지름 및 구와 구 사이의 거리가 결정되는 단계를 포함할 수 있다.

ICP-PSO 알고리즘은 Depth Map 정보를 받아들이는 단계; Random Particle을 만드는 단계; 각 particle 별로 ICP 알고리즘을 수행하는 단계; ICP 알고리즘 수행 결과를 토대로 global optima를 공유하는 PSO 알고리즘을 수행하는 단계를 포함할 수 있다.

이상에서 설명한 바와 같은 본 발명의 높은 정확도를 갖는 손 동작 추적을 위한 3차원 손 모델 제작 방법에 따르면, 깊이 추출 카메라 영상에서 추출한 3D 깊이 정보를 이용한 3D 손 모델에 ICP(Iterative Closest Point) 알고리즘과 PSO(Particle Swarm Optimization) 알고리즘을 결합한 ICP-PSO 방법을 적용하여 손 동작 추적을 쉽게 할 수 있으며, 26 Degree-of-freedom(DOF)와 46개의 구를 사용하여 3차원 깊이 정보와 참조 모델 간의 이질성을 측정하고, 이질성을 최소화하는 방향으로 참조 모델을 조정함으로써 이질성 측정을 단순히 하면서 적은 파라미터 개수로 손 동작 추적이 가능하여, 고속, 저 전력 손 동작 추적이 가능한 효과가 있다.

도 1은 본 발명의 일실시예에 따른 ICP 알고리즘 개요를 나타낸 도면이며,
도 2는 본 발명의 일실시예에 따른 PSO 알고리즘 개요를 나타낸 도면이며,
도 3은 본 발명의 일실시예에 따른 ICP-PSO 알고리즘 개요를 나타낸 도면이며,
도 4는 본 발명의 일실시예에 따른 손 모양 추적을 위한 Cost Function의 구성을 나타낸 도면이며,
도 5는 본 발명의 일실시예에 따른 ICP-PSO 알고리즘을 활용한 손 모양 추적 알고리즘 개요를 나타낸 도면이며,
도 6은 본 발명의 일실시예에 따른 26 DOF를 활용한 3D 손 모델 제작 과정을 나타낸 도면이며,
도 7은 본 발명의 일실시예에 따른 각 변수 및 상수의 값 정리를 나타낸 도면이며,
도 8은 본 발명의 일실시예에 따른 손 모델에서 사용한 변수 및 상수 이름 개요를 나타낸 도면이며,
도 9는 본 발명의 일실시예에 따른 46개의 구를 사용하는 3D 손 모델의 도면 및 번호를 나타낸 도면이며,
도 10은 본 발명의 일실시예에 따른 3D 손 모델을 사용한 손 모양 추적 결과를 나타낸 도면이다.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 상세히 설명하기 위하여, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 상세하게 설명한다.

먼저, 본 발명에 따른 손 동작 추적을 위한 3차원 손 모델은 깊이 추출 카메라 영상에서 추출한 3D 깊이 정보를 이용해 손 모양 추적을 하기 위한 기본 3D 손 모델에 관한 것으로, 더욱 상세하게는 ICP(Iterative Closest Point) 알고리즘과 PSO(Particle Swarm Optimization) 알고리즘을 결합한 ICP-PSO 알고리즘을 통해 손 모양을 추적하기 위한 참조 모델을 의미한다.

ICP-PSO 알고리즘은 추출한 3D 깊이 정보와 참조 모델 간의 이질성을 측정하고, 이질성을 최소화하는 방향으로 참조 모델을 조정하는 방법을 의미하며, 깊이 정보는 RIDAR, TOF(Time-or-flight) Stereo Vision Camera 등의 Depth 카메라를 통하여 획득할 수 있다.

머리 착용 디스플레이(HMD; Head Mounted Display) 용으로는 스테레오 카메라를 많이 사용하며, 이는 RGB 이미지뿐만 아니라 깊이 정보 까지 같이 활용하여 보다 정확한 손 모양 추적이 가능하도록 만들어준다.

이질성을 최소화하는 방향으로 참조 모델을 조정하는 방법으로써, 이질성 측정 함수 값을 최소화 하는 방향으로 26 DOF(Degree-of-freedom)를 조정한다.

26 DOF(Degree-of-freedom)를 조정하는 방법은 손 모양 추적을 위해 연구되었던 알고리즘으로써, ICP(Iterative Closest Point) 알고리즘과, random search 인 PSO(Particle Swarm Optimization) 알고리즘을 결합한 ICP-PSO 알고리즘 방식을 사용한다.

ICP 알고리즘은 도 1에 나타낸 바와 같이, Gradient Descent 방식의 Optimization 방법이며, Model과 Scene이 있을 때 두 모델 사이 Correspondence를 구하고, 이를 통해 Cost Function을 계산한다.

따라서, Cost Function을 최소화시키기 위해 Gradient Descent 방식을 사용하고, Correspondence를 구하기 위해서는 일반적으로 K-Nearest Neighbor 알고리즘을 사용하며, 본 발명에서는 KD-Tree 알고리즘을 기반으로 하고 있다.

이후 각각의 DOF 변화에 따른 Gradient 값을 비교하여 26 DOF를 결정한다.

PSO 알고리즘은 도 2에 나타낸 바와 같이, 26 파라미터(Parameter)를 변수로 벡터를 Particle로 정의하는 것으로, 초기에 무작위 값을 갖는 각각의 Particle 들을 여러 개 만들고, 각각 Cost Function을 계산한다.

이어서, 각각의 Cost Function 중 가장 Cost Function이 낮았던 점을 기억하고, 각각 기억하고 있는 Optimal Point를 서로 공유하고 가장 Optimal 한 Particle 주변으로 Parameter 들을 다시 초기화 한다.

이 과정을 반복하여 점차 가장 Optimal 한 점 (Global Optimization)을 점차 찾는다.

상술한 바와 같이, ICP 알고리즘은 Gradient Descent 방법을 활용하고 있으므로 빠르게 Cost Function을 줄여나갈 수 있다는 장점이 있지만, Local Minimum에 쉽게 빠질 수 있어 손 모양 추적에 활용할 경우, 실시간 구현은 가능하지만, 추적 정확도가 낮다.

이에 반해, PSO 알고리즘은 Stochastic 기반의 방법이므로, 느리게 Cost Function을 줄여나가지만, Local Minimum에 쉽게 빠지지 않기 때문에 Glocal Minimum을 찾는데 더욱 유용하여, 손 모양 추적에 활용할 경우 실시간 구현은 어렵지만, 추적 정확도를 높일 수 있다.

이렇게 장단점이 다른 알고리즘을 결합하여 빠르면서도 정확한 손 모양 추적이 가능한 알고리즘이 바로 ICP-PSO 알고리즘이다.

도 3에 나타낸 바와 같이, ICP 알고리즘과 PSO 알고리즘을 결합하기 위하여, 먼저, 수신 입력으로써(Receive inputs) Depth Map 정보를 받아들인 후, Random Particle을 만든다.

이어서, 각 Particle 별로 ICP 알고리즘을 수행한다.

ICP 알고리즘 수행 결과를 토대로 Global Optima를 공유하고(PSO), 이 과정을 어느 정도 반복하여 Global Optima를 찾는다.

ICP-PSO 알고리즘으로 추출한 3D 깊이 정보와 참조 모델 간의 이질성 측정은 손 모양 추적을 위한 기본 함수(이질성 측정 함수)를 결정하는 것으로, 이를 위해서는 깊이 측정이 가능한 카메라의 Depth Map의 각 Pixel이 제작한 손 모델(Hand Model)의 46개의 구 중 어느 구와 가장 가까운 지 알아야 한다.

이를 위해 KD-tree 기반 알고리즘을 이용한다.

그리고, 손 모델(Hand Model)과 Depth Map 사이 관련성(Corresspondence)을 결정하면, 손 모양 추적을 위한 손실 함수(Cost Function)를 정의할 수 있다.

손실 함수(Cost Function)는 현재 손 모양 추적이 잘 이루어지고 있는지를 판단하는 지표가 된다.

손실 함수는 도 4에 나타낸 바와 같이, 첫째, Depth Map과 손 모델(Hand Model) 사이 떨어진 거리는 Depth Map과 손 모델(Hand Model) 사이의 유사도를 나타낸다.

둘째, Depth Map 앞에 손 모델(Hand Model)이 위치할 경우에 패널티(Penalty)로써, Depth 카메라에서 Depth 정보를 추출하면 실제로는 손이 Depth Map 뒤에 위치한다.

하지만 Depth Map과 손 모델(Hand Model) 사이 떨어진 거리만 이용하면, Depth Map이 앞에 있더라도 패널티(Penalty)가 주어지지 않으며, 떨어진 거리뿐만 아니라 손 모델이 Depth Map 앞에 위치하면 패널티를 주게 된다.

셋째, 손 모델의 구들 사이 Collision에 대한 패널티로써, 손 모양 추적을 하다 보면 손 모델 사이에 Collision이 일어날 수 있으며, 이를 방지하고자 self-Collision에 대해서도 Penalty 항을 추가한다.

상술한 Correspondence를 구하는 과정은 Tracking을 위해 가장 기본이 되는 부분이며, 최대한 빠르게 Correspondence를 구하고, Cost Function을 측정해야 다양한 Particle에 대한 연산을 빠르게 수행할 수 있다.

본 발명에서 제안하는 3D 모델은 Correspondence를 구하는 데 매우 쉬운 장점이 있으며, 사용하는 파라미터 개수를 최소화시켰다.

Correspondence를 계산하기 위해서는, 손 모델과 깊이 추출 결과 사이 거리를 쉽게 계산할 수 있어야 하고, 더불어 빠른 연산 처리를 위해서는 사용하는 파라미터의 개수를 최소화할 수 있어야 하며, 사람 손 크기에 따라 Adaptive 하게 크기 변화가 가능해야 한다.

먼저 Correspondence를 쉽게 계산하기 위해 3차원 손 모델을 여러 개의 구로 구성하였다.

이 경우, 반지름 등의 정보 없이, 각 구의 중심점과의 거리만 비교하더라도 3차원 손 모델과 깊이 추출 결과 사이 Correspondence를 쉽게 구할 수 있어, 손 모양 추적을 위해 필요로 하는 연산 시간을 획기적으로 줄일 수 있다.

빠르고 정확한 손 모양 추적을 위해서는 보다 적은 DOF(Degree of Freedom)을 활용하여 손 모델을 만들 수 있어야 하며, 이질성을 측정하기 용이해야 한다.

본 발명에 따른 3D 손 모델은 46개의 서로 다른 크기의 구를 사용하여 3D 손 형태를 구성하며, 46개의 구는 각각의 x, y, z 중심점 좌표를 모두 결정해 주어야 하므로, 총 필요로 하는 파라미터의 개수가 128개로 매우 많다.

따라서, 본 발명에서 제안하는 3D 손 모델은 46개의 서로 다른 크기의 구를 사용하여 3D 손 형태를 구성하고, 각 구의 위치를 결정하기 위해 26 DOF를 사용한다.

46개의 구는 각각의 x, y, z 중심점 좌표를 모두 결정해 줄 필요 없이 26개의 파라미터 값을 결정하면, 자동으로 중심점이 자리 잡도록 구성하였으며, 구의 중심 좌표와 반지름을 활용하면 이질성을 쉽게 측정할 수 있게 하였다.

즉, 손 모양은 어느 정도 구성이 잡혀 있는 상태에서 손가락 각도 등에 의해 모양을 결정해 줄 수 있어서, 128개의 파라미터를 모두 독립적으로 결정해 줄 필요 없이 26개의 파라미터 값만 결정하면 된다.

참고로, 26개의 파라미터 값을 결정된 후 자동으로 중심점이 자리 잡는 과정은 26개의 파라미터 값 중, 손바닥 중심점의 좌표를 나타내는 파라미터가 3개 있으므로, 형태가 바뀐 손 모양을 평행이동 시키면 된다.

아울러, 구의 중심 좌표와 반지름을 활용하면 이질성을 쉽게 측정할 수 있는 것으로, 구의 반지름은 구의 중심에서 모든 같은 거리에 있기 때문에, 구 외부에 있는 어느 점과 구 사이 거리를 측정하기 위해서는 단순히 중심점과 외부 점과의 유클리디안 거리에 반지름을 빼주기만 하면 된다.

이러한 방법을 통해 빠르고 쉬운 이질성 측정을 가능하게 하고, 요구하는 파라미터 개수를 128개에서 26개로 크게 줄일 수 있다.

이하에는 첨부한 도면을 참조하여 본 발명에서 3D 손 모델이 어떻게 구성되는지 상세하게 설명한다.

도 5는 본 발명의 일실시예에 따른 3D 손 모델을 활용하여 손 모양 추적을 하는 전체 과정으로써, Time-of-flight (TOF) 혹은 stereo 카메라 등을 활용하여 추출한 깊이 정보(depth map)를 추출하고, 주변 장애물 제거, noise 제거, 손 영역 색 추출 등을 통해 손 영역에만 해당하는 깊이 정보를 정확히 추출한다.

이렇게 추출한 깊이 정보를 활용해 손 모양 추적을 시작한다.

손 모양 추적을 위해서는 초기 손 모양을 결정해 주어야 하며 손 모양 초기 과정(Hand initialization)이라고 부른다.

이 과정은 Principle Component Analysis(PCA) 알고리즘을 활용하여 어느 정도 근사하거나, 이전 프레임의 손 모양 추적 결과를 활용한다.

이후에는 ICP-PSO 알고리즘을 활용하여, 깊이 정보와 손 모델 사이 이질성을 최소화한다.

최종적으로 손 모양이 깊이 정보와 유사해지면, 추적 결과를 활용하여 Finger Tip Detection, Gesture Recognition 등에 활용할 수 있다.

도 6은 26개의 적은 파라미터 개수로 46개의 구 위치를 결정하는 방법에 대한 설명이다.

26 DOF는 ICP-PSO 알고리즘을 통하여 다섯 손가락 좌우 이동 각도를 결정하는 5개의 DOF, ICP-PSO 알고리즘을 통하여 각 손가락이 접힌 각도를 결정하는 15개의 DOF, 손바닥 중심 부위의 x, y, z 좌표를 결정하는 3 DOF, 마지막으로 손바닥의 회전 각도를 결정하는 3 DOF로 구성된다.

손바닥 중심 부위의 x, y, z 좌표, 손바닥의 회전 각도를 결정하기 위한 기준선 및 기준점은, 카메라를 중앙으로 두고, Depth Map을 Global Coordinate로 변환한 뒤 Translation, Rotation 등을 계산하여 결정될 수 있다.

26 DOF가 결정되면, 손바닥을 구성하는 순서는 다음과 같다.

먼저, 손바닥과 손가락 사이를 연결해 주는 관절 위치를 결정하며, 이는 상수 값으로, 도 7에서 joint-vec[1~4][3]에 해당한다.

이어서, 손가락의 좌우 이동 각도 5개(phi)와 손가락의 접힌 각도(theta)가 결정되면 손가락에 위치하는 각 관절의 위치를 결정한다.

이어서, 손가락 관절마다 구를 하나씩 배치하고, 그 사이에 구를 하나씩 더 추가하고, 손바닥 부근에 남은 구를 채워 넣는다.

손바닥 부분은 손바닥과 손가락을 연결해 주는 관절에서부터 연장되어 4개씩 이어 연결되고, 엄지손가락은 손바닥과 손가락을 연결해 주는 관절에서부터 제일 끝에 위치한 손바닥을 형성하는 구에 연결되어 형성된다.

따라서, 손가락마다 6개의 구를 사용함으로써 총 30개의 구와 손바닥 부분에 16개의 구를 사용하였다.

이와 같이, 총 46개의 구로 구성된 3차원 모델을 26 DOF에 의해 모양이 결정되며, 각각 구는 Correspondence를 계산하는 데 사용된다.

마지막으로 손바닥의 회전 각도를 활용해 회전시킨 뒤, 손바닥 중심부의 x, y, z 좌표에 따라 평행이동 시킬 수 있다.

도 7은 46 sphere - 26 DOF의 3차원 손 모델을 만드는 데 필요한 상수 및 변수들에 대한 구체적인 정보이며, 각 변수의 위치를 도 8에 간략화해 표시해 두었다.

도 9는 최종적으로 46개의 구를 사용해 만든 최종 3차원 손 모델의 도면이며, 각 번호는 도 7의 표에서 각 sphere의 번호에 해당한다.

도 10은 본 발명에 따른 3차원 손 모델과 ICP-PSO 알고리즘을 활용하여, 손 모양 추적을 한 결과이며, 노란 점은 TOF 카메라를 통해 추출한 깊이 정보이다.

아울러, 본 발명이 적용될 수 있는 분야는 영상에서 깊이 정보가 사용되는 모든 분야에 응용될 수 있는 것으로, 특히, AR/VR기기에서 HMD 기기 이외의 별도 장치 없이 사용자의 손이 입력장치가 될 수 있도록 도와주며, 클릭, 회전, 잡기 등의 고차원 동작들을 인식할 수 있게 도와준다.

스마트폰, 소형 로봇 등에 사용자 제스처 인식으로도 사용될 수 있다.

이상의 설명에서는 본 발명의 바람직한 실시예를 제시하여 설명하였으나, 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경할 수 있음을 쉽게 알 수 있을 것이다.

Claims

깊이 추출 카메라 영상에서 추출한 3D 깊이 정보를 이용해 손 동작 추적을 하기 위한 기본 3D 손 모델의 제작 방법에 관한 것으로,
ICP 알고리즘과 PSO 알고리즘을 결합한 ICP-PSO 알고리즘을 통해 26 DOF와 46개의 구를 사용하여 손 형태를 구성하는 제1단계; 및
손바닥과 손가락 사이를 연결해 주는 관절 위치를 결정하는 과정, 손가락의 좌우 이동 각도와 손가락의 접힌 각도를 결정하는 과정, 손가락에 위치하는 각 관절의 위치를 결정하는 과정, 손가락 관절 사이에 구를 하나씩 추가한 후 손바닥 부근에 남은 구를 채우는 과정, 손바닥의 회전 각도를 활용해 회전시킨 후 손바닥 중심부의 좌표에 따라 평행 이동시켜 손 모양이 결정되는 제2단계
를 포함하는 것을 특징으로 하는 높은 정확도를 갖는 손 동작 추적을 위한 3차원 손 모델 제작 방법.
청구항 1에 있어서, 제1단계에서, 46개의 구 위치를 결정하기 위한 것으로, 26 DOF는 다섯 손가락 좌우 이동 각도를 결정하는 5개의 DOF를 결정하는 단계, 다섯 손가락 각각의 접힌 각도를 결정하는 15개의 DOF를 결정하는 단계, 손바닥 중심 부위의 좌표를 결정하는 3 DOF를 결정하는 단계, 손바닥의 회전 각도를 결정하는 3 DOF를 결정하는 단계를 포함하는 것을 특징으로 하는 높은 정확도를 갖는 손 동작 추적을 위한 3차원 손 모델 제작 방법.
청구항 1에 있어서, 제2단계에서, 손가락 관절마다 구를 하나씩 배치한 후 그 사이에 구를 하나씩 더 추가하는 단계, 손바닥 부분은 손바닥과 손가락을 연결해 주는 관절에서부터 연장되어 4개씩 이어 연결되어 형성되는 단계, 엄지손가락은 손바닥과 손가락을 연결해 주는 관절에서부터 제일 끝에 위치한 구에 연결되어 형성되는 단계를 포함하는 것을 특징으로 하는 높은 정확도를 갖는 손 동작 추적을 위한 3차원 손 모델 제작 방법.
청구항 3에 있어서, 손가락 5개의 길이와 손바닥의 크기 정보가 입력되면, 손 모양을 형성하는 구의 반지름 및 구와 구 사이의 거리가 결정되는 단계를 포함하는 것을 특징으로 하는 높은 정확도를 갖는 손 동작 추적을 위한 3차원 손 모델 제작 방법.
청구항 1에 있어서, ICP-PSO 알고리즘은 Depth Map 정보를 받아들이는 단계; Random Particle을 만드는 단계; 각 particle 별로 ICP 알고리즘을 수행하는 단계; ICP 알고리즘 수행 결과를 토대로 global optima를 공유하는 PSO 알고리즘을 수행하는 단계를 포함하는 것을 특징으로 하는 높은 정확도를 갖는 손 동작 추적을 위한 3차원 손 모델 제작 방법.