KR20160031873A

KR20160031873A - 제스처 인식기 설정 방법, 제스처 인식 방법 및 그 장치

Info

Publication number: KR20160031873A
Application number: KR1020140122194A
Authority: KR
Inventors: 김대은; 임현구
Original assignee: 연세대학교 산학협력단
Priority date: 2014-09-15
Filing date: 2014-09-15
Publication date: 2016-03-23
Also published as: KR101627929B1

Abstract

제스처 인식기 설정 방법, 제스처 인식 방법 및 그 장치가 개시된다. 제스처 인식기 설정 방법은, (a) 타겟 제스처를 수행하는 객체를 포함하는 입력 영상에서 상기 객체에 대한 색상정보에 기반하여 상기 입력 영상을 복수의 이진 영상으로 변환하는 단계-상기 입력 영상은 연속된 복수의 영상임; (b) 상기 변환된 복수의 이진 영상에서 상기 객체의 중심을 추출하여 제스처 데이터를 각각 획득하는 단계; (c) 상기 각각 획득된 제스처 데이터를 클러스터링하고, 상기 클러스터링 결과를 이용하여 각 클러스터의 클래스를 각 상태로 포함하는 상태 시퀀스를 획득하는 단계; (d) 상기 상태 시퀀스에서 각 클러스터간의 천이확률값을 계산하는 단계; 및 (e) 상기 상태 시퀀스 및 상기 계산된 천이확률값을 이용하여 상기 타겟 제스처에 대한 인식기를 설정하는 단계를 포함한다.

Description

제스처 인식기 설정 방법, 제스처 인식 방법 및 그 장치{Gesture recognizer setting method, gesture recognition method and apparatus}

본 발명은 컴퓨터 비전(vision)을 이용하여 제스처를 인식할 수 있는 방법 및 그 장치에 관한 것이다.

현재 사람이 컴퓨터와 자연스럽게 인터랙션(interaction)할 수 있는 손 제스처(hand gesture)를 사용하여 제어하는 방법에 대해 꾸준히 연구가 수행되고 있다. 기존의 방법들은 대부분 HMM(Hidden Markov Model)을 이용하는 방법이 주를 이루고 있다.

HMM을 이용하여 제스처를 인식하는 경우, 일반적으로 노이즈에 강인하고 제스처 인식 결과가 좋기 때문에 널리 사용되고 있다. 그러나, HMM의 경우 계산량이 많고 트레이닝을 하기 위해 많은 트레이닝 데이터가 필요한 단점이 있다. 또한, HMM을 사용하는 경우, 미리 트레이닝된 제스처만을 인식할 수 있는 단점을 가지고 있다.

본 발명은 비교적 적은 트레이닝 데이터로도 휼륭한 제스처 인식 결과를 얻을 수 있는 제스처 인식기 설정 방법, 제스처 인식 방법 및 그 장치를 제공하기 위한 것이다.

또한, 본 발명은 사용자가 직접 자신이 사용하고자 하는 제스처를 비교적 적은 횟수로 입력하여 제스처를 인식하도록 할 수 있는 제스처 인식기 설정 방법, 제스처 인식 방법 및 그 장치를 제공하기 위한 것이다.

또한, 본 발명은 사용자마다 제스처를 위한 동작 속도나 시간이 다르더라도 별도의 트레이닝 과정 없이도 정확하게 이를 인식할 수 있는 제스처 인식기 설정 방법, 제스처 인식 방법 및 그 장치를 제공하기 위한 것이다.

본 발명의 일 측면에 따르면, 비교적 적은 트레이닝 데이터로도 휼륭한 제스처 인식 결과를 얻을 수 있도록 각 제스처에 대한 인식기를 설정하고, 이를 이용하여 제스처를 인식하는 방법이 제공된다.

본 발명의 일 실시예에 따르면, (a) 타겟 제스처를 수행하는 객체를 포함하는 입력 영상에서 상기 객체에 대한 색상정보에 기반하여 상기 입력 영상을 복수의 이진 영상으로 변환하는 단계-상기 입력 영상은 연속된 복수의 영상임; (b) 상기 변환된 복수의 이진 영상에서 상기 객체의 중심을 추출하여 제스처 데이터를 각각 획득하는 단계; (c) 상기 각각 획득된 제스처 데이터를 클러스터링하고, 상기 클러스터링 결과를 이용하여 각 클러스터의 클래스를 각 상태로 포함하는 상태 시퀀스를 획득하는 단계; (d) 상기 상태 시퀀스에서 각 클러스터간의 천이확률값을 계산하는 단계; 및 (e) 상기 상태 시퀀스 및 상기 계산된 천이확률값을 이용하여 상기 타겟 제스처에 대한 인식기를 설정하는 단계를 포함하는 제스처 인식을 위한 인식기 설정 방법이 제공될 수 있다.

본 발명의 다른 실시예에 따르면, 복수의 제스처에 대한 복수의 인식기가 설정된 상태에서 제스처를 인식하는 방법에 있어서-상기 인식기는 각 제스처에 대한 상태 시퀀스와 천이확률값을 포함함, 특정 제스처를 수행하는 객체를 포함하는 연속된 복수의 입력 영상에서 상기 객체에 대한 색상정보에 기초하여 상기 복수의 입력 영상을 각각 이진 영상으로 변환하는 단계; 상기 복수의 변환된 이진 영상에서 상기 객체의 중심을 추출하여 제스처 데이터를 각각 획득하는 단계;

상기 각 제스처 데이터에 대한 클러스터 클래스를 확인하는 단계; 및 상기 클러스터 클래스가 상기 상태 시퀀스와 일치하는 제스처로 상기 특정 제스처를 인식하는 단계를 포함하는 제스처 인식 방법이 제공될 수 있다.

본 발명의 다른 측면에 따르면, 비교적 적은 트레이닝 데이터로도 휼륭한 제스처 인식 결과를 얻을 수 있도록 각 제스처에 대한 인식기를 설정한 후 이를 이용하여 제스처를 인식하는 장치가 제공된다.

본 발명의 일 실시예에 따르면, 타겟 제스처를 수행하는 객체를 포함하는 입력 영상에서 상기 객체에 대한 색상정보에 기반하여 상기 입력 영상을 복수의 이진 영상으로 변환하는 이진 영상 변환부-상기 입력 영상은 연속된 복수의 영상임; 상기 변환된 복수의 이진 영상에서 상기 객체의 중심을 추출하여 제스처 데이터를 각각 추출하는 추적부; 상기 각각 획득된 제스처 데이터를 클러스터링하고, 상기 클러스터링 결과를 이용하여 각 클러스터를 각각의 상태로 포함하는 상기 타겟 제스처에 대한 상태 시퀀스를 생성하는 시퀀스 획득부; 상기 상태 시퀀스에서 각 클러스터간의 천이확률값을 계산하는 계산부; 및 상기 상태 시퀀스 및 상기 계산된 천이확률값을 이용하여 상기 타겟 제스처에 대한 인식기를 설정하는 인식기 설정부를 포함하는 제스처 인식 장치가 제공될 수 있다.

본 발명의 다른 실시예에 따르면, 복수의 제스처에 대한 복수의 인식기가 설정된 상태에서 제스처를 인식하는 장치에 있어서-상기 인식기는 각 제스처에 대한 상태 시퀀스와 천이확률값을 포함함, 특정 제스처를 수행하는 객체를 포함하는 연속된 복수의 입력 영상에서 상기 객체에 대한 색상정보에 기초하여 상기 복수의 입력 영상을 각각 이진 영상으로 변환하는 이진 영상 변환부; 상기 복수의 변환된 이진 영상에서 상기 객체의 중심을 추출하여 제스처 데이터를 각각 획득하는 추적부; 상기 각 제스처 데이터에 대한 클러스터 클래스를 확인하는 분류부; 시간 순서를 고려하여 상기 클러스터 클래스와 일치하는 상태 시퀀스에 대응하는 제스처로 상기 특정 제스처를 인식하는 인식부를 포함하는 제스처 인식 장치가 제공될 수 있다.

본 발명의 일 실시예에 따른 제스처 인식기 설정 방법, 제스처 인식 방법 및 그 장치를 제공함으로써, 비교적 적은 트레이닝 데이터로도 휼륭한 제스처 인식 결과를 얻을 수 있는 이점이 있다.

또한, 본 발명은 사용자가 직접 자신이 사용하고자 하는 제스처를 비교적 적은 횟수로 입력하여 제스처를 인식하도록 할 수 있는 이점도 있다.

또한, 본 발명은 사용자마다 제스처를 위한 동작 속도나 시간이 다르더라도 별도의 트레이닝 과정 없이도 정확하게 이를 인식할 수 있는 이점도 있다.

도 1은 본 발명의 일 실시예에 따른 제스처 인식을 위해 각 제스처에 대한 인식기를 설정하는 방법을 나타낸 순서도.
도 2는 본 발명의 일 실시예에 따른 손 중심에 추출에 대한 예시도면.
도 3은 본 발명의 일 실시예에 따른 제스처 데이터 추적에 대한 예시도면.
도 4는 본 발명의 일 실시예에 따른 제스처 데이터의 정규화를 설명하기 위해 도시한 도면.
도 5는 본 발명의 일 실시예에 따른 제스처 데이터에 대한 평면으로의 정사영을 설명하기 위해 도시한 도면.
도 6은 본 발명의 일 실시예에 따른 제스처 데이터의 클러스터링을 설명하기 위해 도시한 도면.
도 7은 본 발명의 일 실시예에 따른 상태 시퀀스와 천이확률값을 설명하기 위해 도시한 도면.
도 8은 도 1에 의해 설정된 복수의 인식기를 이용하여 제스처를 인식하는 방법을 설명하는 순서도.
도 9는 본 발명의 일 실시예에 따른 제스처 인식 장치의 내부 구성을 도시한 블록도.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 제스처 인식을 위해 각 제스처에 대한 인식기를 설정하는 방법을 나타낸 순서도이고, 도 2는 본 발명의 일 실시예에 따른 손 중심에 추출에 대한 예시도면이며, 도 3은 본 발명의 일 실시예에 따른 제스처 데이터 추적에 대한 예시도면이고, 도 4는 본 발명의 일 실시예에 따른 제스처 데이터의 정규화를 설명하기 위해 도시한 도면이며, 도 5는 본 발명의 일 실시예에 따른 제스처 데이터에 대한 평면으로의 정사영을 설명하기 위해 도시한 도면이고, 도 6은 본 발명의 일 실시예에 따른 제스처 데이터의 클러스터링을 설명하기 위해 도시한 도면이며, 도 7은 본 발명의 일 실시예에 따른 상태 시퀀스와 천이확률값을 설명하기 위해 도시한 도면이다. 제스처 인식을 위한 인식기를 설정하는 것은 제스처 인식을 위해 제스처 인식 장치에서 선행적으로 수행될 수 있는바, 도 1에서는 각 단계를 수행하는 주체를 제스처 인식 장치로 통칭하여 설명하기로 한다. 그러나, 구현 방법에 따라 제스처 인식 장치(100)는 각 제스처에 대해 설정된 인식기를 입력받을 수도 있으며, 이와 같은 경우, 제스처 인식 장치(100)는 해당 제스처 인식을 위한 인식기 설정을 위한 구성을 포함하지 않고 별도의 구성으로 존재할 수도 있음은 당연하다.

단계 110에서 제스처 인식 장치(100)는 제스처를 수행하는 객체(예를 들어, 손)을 촬영하여 입력 영상을 획득하고, 획득된 입력 영상을 색상정보에 기반하여 이진 영상으로 변환한다. 이하, 본 발명의 일 실시예에서는 객체가 손인 것을 가정하여 이를 중심으로 설명하기로 한다. 또한, 도 1에서는 제스처 인식 장치(100)가 제스처를 수행하는 손을 촬영하여 입력 영상을 획득하는 것을 가정하나, 입력 영상은 별도로 외부에서 입력될 수도 있음은 당연하다.

본 발명의 일 실시예에 따른 제스처 인식 장치(100)는 사용자의 손에 대한 제스처를 인식하기 위한 것으로, 사용자의 손에 대한 색상정보에 기반하여 입력 영상을 이진 영상으로 변환할 수 있다.

즉, 제스처 인식 장치(100)는 손이 가지고 있는 일반적인 색상정보를 이용하여 입력 영상의 RGB 또는 HSV 등의 각 픽셀의 색상정보에 기반하여 각 픽셀이 손에 해당하는 색상정보에 포함되는 경우, 해당 픽셀의 픽셀값은 제1 값으로 변환하고, 나머지 픽셀의 픽셀값은 제2 값으로 픽셀값을 변환하여 이진화할 수 있다.

본 발명의 일 실시예에서는 색상정보에 기반한 입력 영상의 이진화를 설명하기 위해 손의 색상정보를 이용한 입력 영상의 색상정보에 기반한 이진화를 중심으로 설명하였으나. 이외에 다른 방법을 통해 손을 추출할 수 있는 경우, 이에 국한되지 않고 적용될 수 있음은 당연하다.

단계 115에서 제스처 인식 장치(100)는 이진 영상에 대해 필터링을 수행하여 에러를 제거한다.

일반적으로 사람의 손은 연속적이며 부드러운 경계를 가지고 있다. 따라서, 제스처 인식 장치(100)는 이진 영상에서 손에 해당하는 각 픽셀에 대해 색상정보의 오류로 인해 중간중간 간헐적으로 발생하는 점 형태의 에러에 대해 마스크를 씌어 에러를 제거한다.

이때, 필터는 실시간 처리를 위해 가로, 세로, 대각선 방향으로 단순한 형태로 적용될 수 있다. 또한, 필터를 복수의 반복 적용되어 이진 영상에서 에러를 제거할 수 있다.

보다 상세하게, 제스처 인식 장치(100)는 이진 영상의 손 영역에 포함되는 픽셀 중 특정 픽셀이 주변 모든 픽셀들과 상이한 경우, 해당 특정 픽셀의 픽셀값을 주변 픽셀들과 일치시킬 수 있다.

예를 들어, 이진 영상에서 손 영역에 해당하는 픽셀값이 제1 값이고, 그외의 픽셀값이 제2 값이라고 가정하자. 이때, 손 영역에 포함되는 픽셀들 중 특정 픽셀의 픽셀값이 제2 값이고, 특정 픽셀의 주변 모든 픽셀의 픽셀값이 제1 값이라고 가정하자. 이와 같은 경우, 손 영역에 색상 오류로 인해 이진 영상 변환시 에러가 발생한 것이므로, 제스처 인식 장치(100)는 필터를 적용하여 특정 픽셀의 픽셀값을 제1 값으로 변경하여 에러를 제거할 수 있다.

단계 120에서 제스처 인식 장치(100)는 에러가 제거된 이진 영상을 이용하여 손 중심을 획득하고, 각 영상에서의 손 중심을 추출하여 제스처 데이터를 획득한다.

제스처 인식 장치(100)는 에러가 제거된 이진 영상에서 손에 해당하는 전체 픽셀들에 대한 평균 중심을 계산한 후 이를 손 중심으로 설정할 수 있다.

이와 같은 방법으로 연속적으로 획득되는 복수의 영상에서 각각 손 중심을 추출하고, 추출된 손 중심에 대한 데이터(제스처 데이터)를 추출할 수 있다.

도 2에는 영상에서 손 중심을 추출한 일 예가 도시되어 있다.

또한, 도 3에는 연속된 영상에서 각각 손 중심에 대한 데이터(이하, 제스처 데이터라 칭하기로 함)를 도시한 도면이다. 도 3은 연속된 영상에서 각 프레임단위로 손 중심을 추출하여 제스처 데이터를 획득한 일 예를 나타낸 것이다.

단계 125에서 제스처 인식 장치(100)는 획득된 제스처 데이터를 공간상에서의 위치 보정을 위해 정규화하여 저장한다.

도 4의 (a)에는 연속된 복수의 영상에서 획득된 제스처 데이터가 도시되어 있으며, 이를 공간상에서의 위치 보정을 위해 정규화한 일 예가 도 4의 (b)에 도시되어 있다.

단계 130에서 제스처 인식 장치(100)는 정규화된 제스처 데이터를 시간에 상관없이 평면상으로 정사영시킨다.

일반적으로 획득된 제스처 데이터는 2차원으로 저장되나 제스처가 입력되는 시간을 고려하면 데이터는 3차원이 된다.

도 5의 (a)에는 시간을 고려한 제스처 데이터가 도시되어 있다.도 5의 (a)와 같은 3차원 제스처 데이터를 공간상에서 클러스터링하기 위해 시간에 상관없이 제스처 데이터를 평면상으로 정사영시킨다.

도 5의 (a)와 같은 제스처 데이터를 시간에 상관없이 2차원 평면상으로 정사영시키면, 도 5의 (b)와 같이 나타난다.

단계 135에서 제스처 인식 장치(100)는 시간에 상관없이 2차원 평면상으로 정사영된 제스처 데이터를 클러스터링한다.

이때, 제스처 인식 장치(100)는 가우시안 혼합 모델(GMM: Gaussian Mixture Modeling)을 이용하여 데이터를 클러스터링할 수 있다. 여기서, 가우시안 혼합 모델 자체는 이미 당업자에게는 자명한 사항이므로 이에 대한 별도의 설명은 생략하기로 한다.

또한, 제스처 인식 장치(100)는 가우시안 혼합 모델을 이용함에 있어 혼합 개수는 1로 설정하며, 공분산의 형태를 전체(Full)로 설정하여 정사영된 제스처 데이터를 클러스터링할 수 있다.

도 6에는 도 5의 (b)와 같이 정사영된 제스처 데이터에 대한 클러스터링 결과가 도시되어 있다.

도 6에 도시된 바와 같이, 클러스터링이 완료되면, 정사영된 제스쳐 데이터의 모든 데이터들은 자신과 가장 가까이 있는 클러스터로 클래스(class)가 분류된다. 여기서, 클러스터의 클래스는 각 클러스터를 구분하기 위한 클러스터 인덱스일 수 있다. 이때, 제스처 인식 장치(100)는 정사영된 제스처 데이터들간의 거리값을 이용할 수 있다. 거리값은 마하라노비스의 거리(mahalanobis’s distance)를 이용할 수 있다.

단계 140에서 제스처 인식 장치(100)는 클러스터링된 결과값을 시간 순서에 맞게 정렬한다.

도 6의 클러스터링 결과를 시간 순서에 맞게 정렬하면, 예를 들어, 다음과 같이 나타날 수 있다.

333……33332222….2222111…1111555…555333…333444…444

이와 같이, 시간 순서대로 정렬된 클러스터링 결과에 따른 클래스를 첫번째 클래스만을 이용하여 시간 순서에 따라 정리하면 “a” 제스처에 대한 상태 시퀀스는 3 →2→1→5→3→4와 같이 정리될 수 있다(단계 145).

단계 150에서 제스처 인식 장치(100)는 제스처에 대한 상태 시퀀스의 각 상태(클러스터)들간의 천이 확률값을 계산한다. 이때, 제스처 인식 장치(100)는 Baum-Welch 알고리즘과 유사한 방법으로 각 상태(예를 들어, 각 클러스터)간의 천이 확률값을 계산할 수 있다.

이를 수식으로 나타내면, 하기 수 1과 같다.

여기서, S(t)는 시간 t에서 제스처 데이터와 가장 가까이 있는 상태(클러스터)를 나타낸다. 또한,

는

이거나

일 확률값을 나타낸다.

즉,

는 모든 시간에 대해

,

에 있는 제스처 데이터의 개수를 의미한다.

는 모든 시간에 대해

에 있는 제스처 데이터의 개수를 의미한다.

따라서, 수 1을 이용하여 각 상태 시퀀스간의 천이확률값(

)를 계산할 수 있다.

예를 들어, “a” 제스처에 대한 상태 시퀀스가 3 →2→1→5→3→4와 같을 때, 각 상태(클러스터)들간 천이확률값은 하기와 같이 정리될 수 있다.

상기 수식과 같이 계산된 제스처에 대한 상태 시퀀스에서 각 상태(클래스간)의 천이확률값을 각 상태 시퀀스에 적용하여 나타내면 도 7과 같이 나타낼 수 있다.

단계 155에서 제스처 인식 장치(100)는 상태 시퀀스간의 천이확률값과 상태 시퀀스를 이용하여 해당 제스처에 대한 인식기를 설정한다.

도 1에서는 “a” 제스처에 대한 인식기를 생성하는 것을 중심으로 설명하였다. 도 1에서 설명한 바와 같은 방식으로, 제스처 인식 장치(100)는 복수의 제스처 각각에 대해 상태 시퀀스를 도출하고, 상태 시퀀스에 대한 천이확률값을 계산한 후 이를 이용하여 각 제스처에 대한 인식기를 각각 설계할 수 있다.

다른 제스처에 대해서도 도 1에서 설명한 바와 동일한 방식으로 인식기를 구현할 수 있는 바, 중복되는 설명은 생략하기로 한다.

도 8은 도 1에 의해 설정된 복수의 인식기를 이용하여 제스처를 인식하는 방법을 설명하는 순서도이다.

즉, 도 8에서는 각각의 제스처의 인식을 위해 각 인식기마다 상태 시퀀스 및 그에 따른 천이확률값이 대응되어 저장된 것을 가정하여 설명하기로 한다. 이후, 사용자가 특정 제스처를 인식하기 위해 제스처를 수행하는 경우를 가정하여 이후의 과정에 대해 설명하기로 한다.

단계 810에서 제스처 인식 장치(100)는 특정 제스처를 수행하는 손(객체)을 포함하는 입력 영상을 획득하고, 획득된 입력 영상에서 손의 색상정보에 기반하여 이진 영상으로 변환한다. 이를 통해 제스처 인식 장치(100)는 손과 같은 객체 영역을 추출할 수 있다.

이어, 단계 815에서 제스처 인식 장치(100)는 이진 영상에서 손 중심을 추출하고, 제스처 데이터를 각각 획득한다.

연속되는 복수의 입력 영상 또는 비디오의 각 프레임 단위로 단계 810 내지 단계 815를 반복적으로 수행하여 연속된 제스처 데이터를 각각 획득할 수 있다.

단계 820에서 제스처 인식 장치(100)는 각각 획득된 제스처 데이터를 클러스터링하여 클러스터 클래스를 각각 분류한다. 여기서, 클러스터 클래스는 각 제스처 데이터의 클래스의 인덱스를 나타낸다. 도 1에서 전술한 바와 같이, 제스처 데이터는 복수의 클러스터로 클러스터링될 수 있다. 이때, 각 클러스터를 클래스(class)로 인덱싱할 수 있다. 따라서, 본 명세서에서 클러스터 클래스는 각 클러스터의 인덱스로 이해되어야 할 것이다.

이때, 제스처 인식 장치(100)는 제스처 데이터와 가장 근접한 클러스터로 제스처 데이터를 분류할 수 있다.

이어, 단계 825에서 제스처 인식 장치(100)는 시간 순서를 고려한 각각 분류된 클러스터 클래스와 일치하는 상태 시퀀스에 대응하는 제스처로 특정 제스처를 인식한다.

즉, 복수의 인식기에 설정된 각 상태 시퀀스와 시간 순서를 고려하여 동일한 상태 순서대로 클러스터 클래스가 분류되는 상태 시퀀스에 대응하는 제스처로 특정 제스처를 판별할 수 있다.

이때, 해당 클러스터 클래스와 일치하는 상태 시퀀스가 복수인 경우를 가정하자.

즉, 클러스터 클래스가 트레이닝된 상태 시퀀스의 순서에 맞게 입력되는 것을 확인한 결과 복수의 상태 시퀀스와 순서가 맞게 입력되는 경우, 제스처 인식 장치(100)는 각 클러스터 클래스를 이용하여 복수의 인식기의 상태 시퀀스의 각 상태에 대한 거리값을 도출하고, 이에 대한 평균 거리를 구한 후 최소값을 가지는 인식기에 대응하는 제스처로 특정 제스처를 인식할 수 있다.

보다 상세히 설명하면, 제스처 인식 장치(100)는 복수의 인식기에 설정된 상태 시퀀스의 각 상태에 대한 거리값을 초기화한다.

이어, 제스처 인식 장치(100)는 시간 순서에 따른 클러스터 클래스가 천이되는 경우, 천이전 클러스터 클래스에 해당하는 상태 시퀀스의 상태에 대한 거리값을 도출한다. 이때, 거리값은 클러스터 클래스로 분류되는 제스처 데이터들과 클러스터 클래스의 중심과의 거리값으로 해당 클러스터 클래스에 대응하는 상태의 거리값을 갱신할 수 있다.

예를 들어, 제스처 데이터가 제3 클러스터 클래스로 분류된 후 제2 클러스터 클래스로 전이되었다고 가정하자. 이때, 제스처 인식 장치(100)는 제3 클러스터 클래스에 대응하여 복수의 인식기의 제3 상태의 거리값을 계산하여 갱신할 수 있다.

이와 같은 과정을 모두 거쳐 마지막 클러스터 클래스로 전이되면, 제스처 인식 장치(100)는 각 인식기의 상태의 거리값을 모두 합한 후 평균값을 계산하여 평균 거리를 계산할 수 있다.

제스처 인식 장치(100)는 해당 평균 거리가 최소인 인식기에 대응하는 제스처로 해당 특정 제스처를 인식할 수 있다.

도 9는 본 발명의 일 실시예에 따른 제스처 인식 장치의 내부 구성을 도시한 블록도이다.

도 9을 참조하면, 본 발명의 일 실시예에 따른 제스처 인식 장치(100)는 영상 획득부(910), 이진 영상 변환부(915), 추적부(920), 분류부(925), 인식기 설정부(930), 인식부(935), 메모리(940) 및 제어부(945)를 포함하여 구성된다.

영상 획득부(910)는 제스처를 수행하는 객체를 촬영하여 입력 영상을 획득하는 기능을 수행한다. 예를 들어, 영상 획득부(910)는 카메라일 수 있다.

이진 영상 변환부(915)는 제스처를 수행하는 객체(손)을 포함하는 연속되는 복수의 입력 영상을 객체의 색상정보에 기반하여 이진 영상으로 변환하는 기능을 수행한다. 이때, 이진 영상 변환부(915)는 시간 순서에 따라 입력 영상을 지속적으로 입력받아 이진 영상으로 변환할 수 있다.

추적부(920)는 이진 영상에서 인식한 객체 중심을 추출한 후 이를 추적하여 제스처 데이터를 획득하는 기능을 수행한다.

예를 들어, 객체가 손이라고 가정하면, 이진 영상에서 손의 중심을 추출하고, 후속하는 입력 영상 또는 비디오의 프레임에서 손의 중심을 추적하여 제스처 데이터를 각각 추출할 수 있다.

예를 들어, 사용자가 손을 이용하여 제스처를 사용하는 경우, 제스처 수행에 따른 손을 포함하는 입력 영상이 연속적으로 입력될 수 있으며, 추적부(920)는 연속적으로 입력되는 영상에서 손의 중심을 추적하여 제스처 데이터를 각각 추출할 수 있다.

분류부(925)는 제스처 데이터를 각 클러스터로 클러스터링하는 기능을 수행한다. 제스처 데이터는 시간 순서를 가지고 입력된다. 이에 따라 시간 순서를 고려하는 경우, 제스처 데이터는 3차원 데이터가 된다. 이에 따라, 분류부(925)는 제스처 데이터를 시간 순서를 고려하지 않고, 2차원 평면상에 정사영시킨 후 제스처 데이터를 각각의 클러스터로 클러스터링한다. 이는 이미 전술한 바와 동일하므로 중복되는 설명은 생략하기로 한다.

이는 이미 도 1에서 충분히 설명한 바 중복되는 설명은 생략하기로 한다.

인식기 설정부(930)는 각 제스처에 따른 인식기를 설정하는 기능을 수행한다.

예를 들어, 사용자가 손을 이용하여 “a”를 입력하는 제스처를 가정하면, 인식기 설정부(930)는 제스처 데이터를 이용하여 “a” 제스처에 따른 인식기를 설정할 수 있다.

이를 위해, 인식기 설정부(930)는 시퀀스 획득부와 계산부를 더 포함할 수 있다.

여기서, 시퀀스 획득부는 클러스터링 결과를 이용하여 각 클러스터를 각각의 상태로 포함하는 상기 타겟 제스처에 대한 상태 시퀀스를 생성하는 기능을 한다.

또한, 계산부는 상태 시퀀스에서 각 상태(클러스터)간의 천이확률값을 게산하는 기능을 한다.

인식기 설정부(930)는 최종적으로 상태 시퀀스 및 계산된 천이확률값을 이용하여 해당 제스처에 대한 인식기를 설정할 수 있다.

이에 대해서는 도 1에서 상세히 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다.

또한, 도 1에서 전술한 바와 같이, 제스처 인식 장치(100)는 인식기 설정부(930)를 미포함할 수도 있다. 이와 같은 경우, 제스처 인식 장치(100)는 각 제스처에 대한 인식기를 설정하는 장치로부터 해당 제스처에 대한 인식기를 각각 입력받을 수도 있음은 당연하다.

인식부(935)는 각 제스처에 대해 설정된 인식기를 이용하여 특정 제스처를 인식하는 기능을 수행한다.

예를 들어, 인식부(935)는 특정 제스처에 대한 제스처 데이터를 추적부(920)를 통해 지속적으로 입력받고, 입력된 제스처 데이터에 대한 클러스터 클래스를 확인하여 시간 순서를 고려하여 설정된 각 인식기의 상태 시퀀스와 동일한 상태(클러스터) 순서대로 입력되는지 여부를 확인하여 특정 제스처를 인식할 수 있다.

즉, 인식부(935)는 복수의 인식기에 설정된 상태 시퀀스 중 시간 순서를 고려하여 클러스터 클래스가 입력되는 순서가 동일한 상태 시퀀스에 해당하는 제스처로 해당 특정 제스처를 인식할 수 있다.

인식부(935)와 인식기 설정부(930)는 각각 이진 영상 변환부(915), 추적부(920) 등을 공유할 수 있음은 당연하다.

메모리(940)는 본 발명의 일 실시예에 따른 제스처 인식 장치(100)를 운용하기 위해 필요한 다양한 알고리즘, 이 과정에서 파생되는 다양한 데이터 등을 저장하는 수단이다.

제어부(945)는 본 발명의 일 실시예에 따른 제스처 인식 장치(100)의 내부 구성 요소들(예를 들어, 이진 영상 변환부(915), 추적부(920), 분류부(925), 인식기 설정부(930), 인식부(935), 메모리(940) 등)을 제어하는 기능을 수행한다.

한편, 본 발명의 실시예에 따른 제스처 인식 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조등을 단독으로 또는 조합하여 포함할 수 있다.

저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

100: 제스처 인식 장치
910: 영상 획득부
915: 이진 영상 변환부
920: 추적부
925; 분류부
930: 인식기 설정부
935: 인식부
940: 메모리
945: 제어부

Claims

(a) 타겟 제스처를 수행하는 객체를 포함하는 입력 영상에서 상기 객체에 대한 색상정보에 기반하여 상기 입력 영상을 복수의 이진 영상으로 변환하는 단계-상기 입력 영상은 연속된 복수의 영상임;
(b) 상기 변환된 복수의 이진 영상에서 상기 객체의 중심을 추출하여 제스처 데이터를 각각 획득하는 단계;
(c) 상기 각각 획득된 제스처 데이터를 클러스터링하고, 상기 클러스터링 결과를 이용하여 각 클러스터의 클래스를 각 상태로 포함하는 상태 시퀀스를 생성하는 단계;
(d) 상기 상태 시퀀스에서 각 클러스터간의 천이확률값을 계산하는 단계; 및
(e) 상기 상태 시퀀스 및 상기 계산된 천이확률값을 이용하여 상기 타겟 제스처에 대한 인식기를 설정하는 단계를 포함하는 제스처 인식을 위한 인식기 설정 방법.
제1 항에 있어서,
상기 (b) 단계 이전에,
상기 복수의 이진 영상 각각에 대해 필터를 적용하여 에러를 제거하는 단계를 포함하되,
상기 (b) 단계는 에러가 제거된 이진 영상을 이용하여 상기 제스처 데이터를 획득하는 것을 특징으로 하는 제스처 인식을 위한 인식기 설정 방법.
제1 항에 있어서,
상기 (c) 단계 이전에,
상기 제스처 데이터를 정규화하는 단계를 포함하는 것을 특징으로 하는 제스처 인식을 위한 인식기 설정 방법.
제1 항에 있어서,
상기 (c) 단계는,
상기 각각 획득된 제스처 데이터를 시간 순서에 상관없이 평면에 정사영시키는 단계;
상기 정사영된 제스처 데이터를 클러스터링하는 단계;
상기 클러스터링 결과에 따라 각 클러스터의 클래스(class)를 상기 시간 순서에 맞게 정렬하는 단계; 및
상기 시간 순서에 맞게 정렬된 클래스들 중 각 클래스의 첫번째 클래스만을 포함하여 상기 상태 시퀀스를 생성하는 단계를 포함하는 제스처 인식을 위한 인식기 설정 방법.
제4 항에 있어서,
상기 클러스터링하는 단계는,
상기 정사영된 제스처 데이터들간의 거리값을 계산하여 클러스터링하는 것을 특징으로 하는 제스처 인식을 위한 인식기 설정 방법.
제5 항에 있어서,
상기 거리값은 상기 정사영된 제스처 데이터들간의 마하라노비스의 거리(mahalanobis’s distance)로 계산되는 것을 특징으로 하는 제스처 인식을 위한 인식기 설정 방법.
제1 항에 있어서,
상기 천이확률값은,
상기 상태 시퀀스에서 제1 클러스터에 후행하여 제2 클러스터가 나타날 확률인 것을 특징으로 하는 제스처 인식을 위한 인식기 설정 방법.
복수의 제스처에 대한 복수의 인식기가 설정된 상태에서 제스처를 인식하는 방법에 있어서-상기 인식기는 각 제스처에 대한 상태 시퀀스와 천이확률값을 포함함,
특정 제스처를 수행하는 객체를 포함하는 연속된 복수의 입력 영상에서 상기 객체에 대한 색상정보에 기초하여 상기 복수의 입력 영상을 각각 이진 영상으로 변환하는 단계;
상기 복수의 변환된 이진 영상에서 상기 객체의 중심을 추출하여 제스처 데이터를 각각 획득하는 단계;
상기 각 제스처 데이터에 대한 클러스터 클래스를 확인하는 단계; 및
상기 클러스터 클래스가 상기 상태 시퀀스와 일치하는 제스처로 상기 특정 제스처를 인식하는 단계를 포함하는 제스처 인식 방법.
제8 항에 있어서,
상기 각 제스처 데이터의 클러스터 클래스를 확인하는 단계는,
상기 각 제스처 데이터와 거리상 가장 근접한 거리의 클러스터로 클러스터 클래스를 분류하는 것을 특징으로 하는 제스처 인식 방법.
제8 항에 있어서,
상기 제스처를 인식하는 단계에서 상기 상태 시퀀스와 일치하는 클러스터 클래스가 복수인 경우,
상기 클러스터 클래스간의 천이에 따라 상기 복수의 인식기의 상태 시퀀스의 각 상태의 거리값을 갱신하는 단계; 및
상기 갱신된 거리값의 평균 거리가 최소인 인식기에 대응하는 제스처로 상기 특정 제스처를 인식하는 단계를 포함하는 제스처 인식 방법.
제10 항에 있어서,
상기 상태 시퀀스의 각 상태의 거리를 갱신하는 단계는,
상기 클러스터 클래스의 천이에 따라 상기 천이되기 이전 클러스터 클래스에 포함되는 제스처 데이터들과 상기 클러스터 클래스의 중심간의 거리값을 계산하여 상기 클러스터 클래스에 따른 상태 시퀀스의 상태에 대한 거리값을 갱신하는 것을 특징으로 하는 제스처 인식 방법.
제1 항 내지 제12 항 중 어느 하나의 항에 따른 방법을 수행하기 위한 프로그램 코드를 기록한 기록매체 제품.
타겟 제스처를 수행하는 객체를 포함하는 입력 영상에서 상기 객체에 대한 색상정보에 기반하여 상기 입력 영상을 복수의 이진 영상으로 변환하는 이진 영상 변환부-상기 입력 영상은 연속된 복수의 영상임;
상기 변환된 복수의 이진 영상에서 상기 객체의 중심을 추출하여 제스처 데이터를 각각 추출하는 추적부;
상기 각각 획득된 제스처 데이터를 클러스터링하고, 상기 클러스터링 결과를 이용하여 각 클러스터를 각각의 상태로 포함하는 상기 타겟 제스처에 대한 상태 시퀀스를 생성하는 시퀀스 획득부;
상기 상태 시퀀스에서 각 클러스터간의 천이확률값을 계산하는 계산부; 및
상기 상태 시퀀스 및 상기 계산된 천이확률값을 이용하여 상기 타겟 제스처에 대한 인식기를 설정하는 인식기 설정부를 포함하는 제스처 인식 장치.
제13 항에 있어서,
상기 시퀀스 획득부는,
상기 각각 획득된 제스처 데이터를 시간 순서에 상관없이 평면에 정사영시키고, 상기 정사영된 제스처 데이터를 클러스터링하며, 상기 클러스터링 결과에 따라 각 클러스터의 클래스(class)를 상기 시간 순서에 맞게 정렬한 후 상기 시간 순서에 맞게 정렬된 클래스들 중 각 클래스의 첫번째 클래스만을 포함하여 상기 상태 시퀀스를 획득하는 것을 특징으로 하는 제스처 인식 장치.
제13 항에 있어서,
상기 시퀀스 획득부는, 상기 정사영된 제스처 데이터들간의 거리값을 계산하여 클러스터링하는 것을 특징으로 하는 제스처 인식 장치.
복수의 제스처에 대한 복수의 인식기가 설정된 상태에서 제스처를 인식하는 장치에 있어서-상기 인식기는 각 제스처에 대한 상태 시퀀스와 천이확률값을 포함함,
특정 제스처를 수행하는 객체를 포함하는 연속된 복수의 입력 영상에서 상기 객체에 대한 색상정보에 기초하여 상기 복수의 입력 영상을 각각 이진 영상으로 변환하는 이진 영상 변환부;
상기 복수의 변환된 이진 영상에서 상기 객체의 중심을 추출하여 제스처 데이터를 각각 획득하는 추적부;
상기 각 제스처 데이터에 대한 클러스터 클래스를 확인하는 분류부;
시간 순서를 고려하여 상기 클러스터 클래스와 일치하는 상태 시퀀스에 대응하는 제스처로 상기 특정 제스처를 인식하는 인식부를 포함하는 제스처 인식 장치.
제16 항에 있어서,
상기 인식부는,
상기 시간 순서에 따라 상기 클러스터 클래스와 일치하는 상태 시퀀스가 복수이면, 상기 클러스터 클래스간의 천이에 따라 상기 복수의 인식기의 상태 시퀀스의 각 상태의 거리값을 갱신하고, 상기 갱신된 거리값의 평균 거리가 최소인 인식기에 대응하는 제스처로 상기 특정 제스처를 인식하는 것을 특징으로 하는 제스처 인식 장치.