KR101299695B1 - 시차 맵을 사용한 포인팅 장치 및 제스쳐 인식 방법 - Google Patents

Abstract

포인팅 장치가 복수의 카메라를 통해 입력된 복수의 영상 정보로부터 사용자 제스처를 인식하기 위하여, 복수의 영상 정보로부터 영상 정보의 시차 맵을 추출하고, 추출한 시차 맵이 미리 설정한 임계값 보다 크면, 마스킹 정보로 생성한다. 생성한 마스킹 정보를 토대로 좌표를 생성하고, 좌표를 토대로 사용자 제스처를 인식하여 사용자 제스처에 따른 결과를 사용자에게 제공한다.

Description

시차 맵을 사용한 포인팅 장치 및 제스쳐 인식 방법{Pointing device using disparity map and method of gesture}

본 발명은 시차 맵을 사용한 포인팅 장치 및 제스쳐 인식 방법에 관한 것이다.

다양한 입력 장치들은 오직 키보드를 통해 문자열을 입력 받아 명령어를 수행하는 1차원적인 입력 장치를 나타내는 도스(DOS) 시대, 마우스와 같이 2차원적인 입력 장치로 좌우 좌표 입력과 클릭으로 인한 직관적인 명령 입력이 가능한 윈도우 시대, 터치 스크린의 등장으로 디스플레이에 표출되는 영상을 터치하는 등 디바이스와의 접촉을 통해 직관적인 명령의 입력이 가능한 스마트 폰 시대를 거쳐, 디스플레이와 접촉하지 않고도 명령 입력이 가능하도록 하는 제스쳐(gesture) 시대까지 다양하게 발전되고 있다.

특히 제스쳐 시대에서 사용하는 입력 장치들을 구현하기 위해서는 제스쳐를 인식할 수 있는 강력한 센서와 제스처를 처리할 수 있는 높은 성능의 프로세싱부가 필요하다. 다시 말해, 카메라가 제스처를 영상으로 인지하면, 영상에서 오브젝트를 확인한 후 트래킹(tracking)을 통해 제스처를 파악하는 일련의 작업이 필요한데, 이를 위해서는 고 성능의 디바이스(예를 들어, PC 급의 성능을 나타내는 디바이스 등)가 반드시 요구될 뿐만 아니라 구현에 따른 많은 비용이 요구된다.

따라서, 본 발명은 가전 또는 휴대용 기기에 활용할 수 있는 시차 맵을 사용한 포인팅 장치 및 제스쳐 인식 방법을 제공한다.

상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 하나의 특징인 복수의 카메라를 통해 입력된 복수의 영상 정보로부터 사용자인 피사체의 제스처를 인식하는 포인팅 장치는,

상기 복수의 영상 정보로부터 상기 복수의 카메라와 사용자인 피사체 사이의 거리 정보인 시차 맵을 상기 복수의 영상 정보에 대응하여 각각 추출하는 시차 맵 생성부; 상기 시차 맵 생성부로부터 추출한 시차 맵을 이용하여, 미리 설정된 문턱값 보다 큰 시차 맵들을 포함하는 복수의 마스킹 정보를 생성하는 마스크 생성부; 및 상기 마스크 생성부에서 생성한 상기 복수의 마스킹 정보로부터 복수의 좌표를 생성하고, 상기 생성한 복수의 좌표를 토대로 상기 피사체의 제스처를 인식하도록 출력하는 좌표 생성부를 포함한다.

상기 복수의 카메라는 제1 카메라 및 제2 카메라를 포함하고, 상기 제1 카메라로부터 입력되는 제1 영상 정보를 수집하여 상기 제2 카메라로부터 수집한 제2 영상 정보와의 동기를 맞추는 제1 인터페이스부; 및 상기 제2 카메라로부터 입력되는 상기 제2 영상 정보를 수집하여 상기 제1 카메라로부터 수집한 제1 영상 정보와의 동기를 맞추는 제2 인터페이스부를 포함할 수 있다.

상기 포인팅 장치는 상기 좌표 생성부에서 출력한 복수의 좌표를 토대로 상기 피사체의 제스처를 인식하고, 인식한 상기 피사체의 제스처에 대한 결과를 출력하는 제스처 인식부를 포함할 수 있다.

상기 본 발명의 기술적 과제를 달성하기 위한 본 발명의 또 다른 특징인 포인팅 장치가 복수의 카메라를 통해 입력된 복수의 영상 정보로부터 사용자인 피사체의 제스처를 인식하는 방법은,

상기 복수의 영상 정보로부터 복수의 영상 정보에 대한 복수의 시차 맵을 각각 추출하는 단계; 상기 각각 추출한 시차 맵이 미리 설정한 임계값 보다 크면, 임계값 보다 복수의 큰 시차 맵 각각을 복수의 마스킹 정보로 생성하는 단계; 상기 생성한 복수의 마스킹 정보를 토대로 상기 피사체의 제스처에 대한 복수의 좌표를 생성하는 단계; 및 상기 복수의 좌표를 토대로, 상기 복수의 좌표가 각각 발생한 시간 순서에 따라 상기 피사체의 제스처를 확인하는 단계를 포함한다.

상기 복수의 시차 맵을 각각 추출하는 단계는 상기 복수의 영상 정보를 이용하여 상기 복수의 카메라와 피사체 사이의 거리를 계산하여 상기 복수의 영상 정보에 대한 복수의 시차 맵으로 각각 추출할 수 있다.

상기 복수의 마스킹 정보로 생성하는 단계는 상기 추출한 복수의 시차 맵이 미리 설정한 임계값 보다 작으면, 상기 임계값 보다 작은 시차 맵을 삭제하는 단계를 포함할 수 있다.

상기 복수의 좌표를 생성하는 단계는, 복수의 시차 맵 중 어느 하나의 시차 맵이 포함된 마스킹 정보 중, 상기 복수의 카메라와 피사체 사이의 거리가 짧은 순서로 정렬하고, 복수의 거리 중 상기 카메라와 피사체 사이의 거리가 가장 짧은 부분을 좌표로 생성하되, 하나의 시차 맵에서 하나의 좌표를 생성할 수 있다.

상기 피사체의 제스처를 확인하는 단계는, 하나의 제스처에 대해 발생한 복수의 좌표를 입력받는 단계; 상기 복수의 좌표를 좌표가 발생한 시간 순서에 따라 정렬하는 단계; 상기 정렬한 좌표를 토대로 상기 피사체의 제스처를 확인하는 단계; 상기 확인한 피사체의 제스처와 미리 저장해 놓은 제스처를 비교하고, 상기 확인한 피사체의 제스처에 대응하는 결과를 제공하는 단계를 포함할 수 있다.

본 발명에 따르면 시차(disparity) 정보를 이용하여 제스처를 인식하기 때문에, 제스처 인식에 필요한 계산량을 줄일 수 있다.

또한 제스처를 인지하는 디바이스를 포인팅 디바이스와 같이 구현할 수 있기 때문에 가전 또는 휴대용 기기에 적용할 수 있을 뿐만 아니라, 저 비용으로도 디바이스를 구현할 수 있게 된다.

도 1은 본 발명의 실시예에 따른 시차 맵을 사용한 포인팅 장치의 예시도이다.
도 2는 본 발명의 실시예에 따른 시차 맵을 사용한 포인팅 장치의 구조도이다.
도 3은 본 발명의 실시예에 따른 포인팅 장치를 이용한 제스처 인식 방법을 나타낸 흐름도이다.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

이하 도면을 참조로 하여 본 발명의 실시예에 따른 시차 맵을 사용한 포인팅 장치와, 이를 이용한 제스처 인식 방법에 대하여 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 시차 맵을 사용한 포인팅 장치의 예시도이다.

도 1에 도시된 바와 같이, 본 발명의 실시예에 따른 포인팅 장치(100)는 포인팅 장치(100) 앞면에 영상 정보 수집 수단(200)이 구비되어 있으며, 제스처를 수행하는 사용자는 포인팅 장치에서 근접한 위치에서 제스처를 취하게 된다. 본 발명의 실시예에서는 설명의 편의를 위하여 영상 정보 수집 수단으로 카메라를 예로 하여 설명하나, 반드시 이와 같이 한정되는 것은 아니다. 그리고 영상 정보를 수집하기 위하여 카메라는 렌즈가 두 개 달린 스테레오 카메라를 이용한다.

포인팅 장치(100)는 스테레오 카메라를 통해 수집한 영상 정보로부터 사용자가 취한 제스처를 시차 맵(disparity map)을 이용하여 제스처를 추적하고, 제스처에 해당하여 미리 설정한 결과를 사용자에게 제공한다. 이때, 시차 맵은 양안 카메라에 맺힌 피사체의 거리를 계산한 결과를 의미한다. 여기서 피사체라 함은 제스처를 취하는 사용자를 의미하며, 이하 설명의 편의를 위하여 피사체와 사용자를 혼용하여 기재하기로 한다.

다음은 사용자의 제스처를 인지하는 포인팅 장치(100)의 구조에 대하여 도 2를 참조로 설명하기로 한다.

도 2는 본 발명의 실시예에 따른 시차 맵을 사용한 포인팅 장치의 구조도이다.

도 2에 도시된 바와 같이 포인팅 장치(100)는 제1 인터페이스부(110), 제2 인터페이스부(120), 시차 맵 생성부(130), 마스크 생성부(140), 좌표 생성부(150) 및 제스처 인식부(160)를 포함한다.

제1 인터페이스부(110)와 제2 인터페이스부(120)는 각각 카메라(200)의 제1 렌즈와 제2 렌즈에 연동하여, 영상 정보 수집 수단(200)에서 피사체에 의해 입력되어 들어오는 제1 영상과 제2 영상을 수신하고, 두 개의 영상의 동기를 맞춘다. 이는 본 발명의 실시예에서는 두 개의 렌즈가 장착된 영상 정보 수집 수단(200)를 이용하여 영상 정보를 수집하기 때문이다.

즉, 카메라(200)의 제1 렌즈에서 수집한 제1 영상과 제2 렌즈에서 수집한 제2 영상이 각각 제1 인터페이스부(110)와 제2 인터페이스부(120)로 전달될 경우, 두 개의 영상이 임의의 한 시점에 이루어진 제스처임을 파악할 수 있도록 하기 위해 동기를 맞춰준다. 여기서 동기를 맞추는 방법은 이미 알려진 사항으로, 본 발명의 실시예에서는 상세한 설명을 생략하기로 한다.

또한 제1 인터페이스부(110)와 제2 인터페이스부(120)는 영상 정보 수집 수단(200)의 영상 오류를 복원하기도 한다. 이때의 영상 오류 복원 방법도 이미 알려진 사항으로, 본 발명의 실시예에서는 상세한 설명을 생략하기로 한다.

시차 맵 생성부(130)는 제1 인터페이스부(110)와 제2 인터페이스부(120)로부터 출력되는 제1 영상 및 제2 영상을 입력 받아, 두 개의 영상을 비교하여 영상 정보 수집 수단(200)과 피사체 사이의 거리 정보 즉, 시차 맵을 추출한다.

마스크 생성부(140)는 시차 맵 생성부(130)에서 추출한 시차 맵을 입력 받아, 의미 있는 정보와 무의미한 정보로 분리한 후, 의미 있는 정보만을 남겨둔다. 즉, 시차 맵을 미리 설정해 놓은 문턱값과 비교하여, 문턱값보다 낮은 값을 갖는 거리 정보는 배경에 해당하는 정보로 무의미한 정보라 분리하고, 문턱값 보다 높은 값을 갖는 시차 맵은 실제 제스처를 취한 물체일 확률이 높기 때문에 문턱값 보다 높은 시차 맵만을 남겨둔다. 마스크 생성부(140)에서 출력된 정보를 마스킹 정보라 지칭한다.

좌표 생성부(150)는 마스크 생성부(140)에서 추출한 의미 있는 정보인 마스킹 정보를 수집하여, 가중치(weight)가 높은 순서대로 마스킹 정보를 추출하여 마스킹 정보로부터 좌표를 생성하여 출력한다. 여기서 가중치는 카메라와 피사체 사이의 거리가 짧을수록 가중치가 높아지게 되고, 카메라와 피사체 사이의 거리가 길수록 가중치가 낮아지게 된다.

제스처 인식부(160)는 좌표 생성부(150)에서 출력한 좌표 정보를 토대로 피사체에서 발생한 제스처를 인식한다. 즉, 좌표 정보로부터 노이즈를 제거하고, 노이즈가 제거된 좌표 정보로부터 제스처를 인식하고, 인식한 제스처에 대하여 미리 저장해 놓은 제스처별 인식 결과를 피사체 즉, 사용자에게 제공한다.

다시 말해, 제스처 인식부(160)가 좌표 생성부(150)에서 하나의 제스처가 완료되는 순간까지의 복수의 좌표를 수신하면, 좌표 정보를 토대로 어떠한 제스처가 이루어졌는지를 파악하게 된다. 본 발명의 실시예에서는 제스처 인식부(160)는 소프트웨어로 구현되는 것을 예로 하여 설명한다.

이상에서 설명한 포인팅 장치를 이용하여 피사체에서 발생한 제스처를 인식하는 방법에 대하여 도 3을 참조로 설명하기로 한다.

도 3은 본 발명의 실시예에 따른 포인팅 장치를 이용한 제스처 인식 방법을 나타낸 흐름도이다.

도 3에 도시된 바와 같이, 어떤 사용자가 두 개의 렌즈를 구비한 영상 정보 수집 수단(200) 앞에서 임의의 제스처를 취했다고 가정하면, 두 개의 렌즈를 통해 입력되는 제1 영상과 제2 영상을 제1 인터페이스부(110) 및 제2 인터페이스부(120)가 각각 전달받아 두 개의 영상에 대한 동기를 맞추고 오류가 발생한 영상을 복원하는 등의 절차를 거쳐 두 개의 영상 정보를 수집한다(S100).

S100 단계를 통해 두 개의 영상 정보가 수집되면, 시차 맵 생성부(130)는 두 개의 영상 정보를 이용하여 시차 맵을 추출한다(S110). 시차 맵은 양안 카메라에 맺힌 피사체의 거리를 계산한 결과로, 두 개의 카메라를 통해 입력된 정보를 이용하기 때문에 거리를 계산할 수 있게 된다.

시차 맵 생성부(130)가 S110 단계를 통해 시차 맵을 추출하면, 마스크 생성부(140)는 시차 맵이 미리 설정한 임계값 보다 큰지 여부를 파악한다(S120). 즉, 하나의 화면에는 배경 뿐만 아니라 제스처를 취하는 손 또는 손가락과 같은 지시 물체가 모두 혼합되어 있고, 지시 물체는 배경보다 카메라와 가까운 위치에 있기 때문에 지시 물체만을 남겨두기 위해 화면 전체에 각각 나타난 시차 맵 중에서 미리 설정한 임계값 보다 큰 값들만 남겨둔다면 지시 물체만을 취할 수 있게 된다.

따라서 시차 맵이 임계값 보다 작다면 배경에 해당하는 부분이라 판단하여 해당 시차 맵은 삭제한다(S130). 그러나, 시차 맵이 미리 설정한 임계값보다 크다면 마스크 생성부(140)는 해당 시차 맵들을 모아 마스킹 정보로 생성한다(S140). 마스킹 정보는 하나의 덩어리 형태로 나타날 수 있다.

좌표 생성부(150)는 S140 단계에서 마스크 생성부(140)가 생성한 마스킹 정보로부터 좌표를 생성한다(S150). 이때, 하나의 덩어리 중에서 가장 가중치가 높은 순서대로 정보를 추출하고, 가장 가중치가 높은 부분의 좌표를 생성하게 된다. 여기서 가중치는 카메라와 피사체 사이의 거리가 짧을수록 가중치가 높아지게 되고, 카메라와 피사체 사이의 거리가 길수록 가중치가 낮아지게 된다.

이는, 지시 물체가 손가락인 경우에는, 펼쳐진 손가락뿐만 아니라 손가락 이외의 주먹에 해당하는 부분까지 하나의 마스킹 정보로 나타나기 때문에, 카메라에 가장 가까운 위치에 있는 손가락 부분이 가중치가 가장 높은 부분이 되어 실제 취해진 제스처를 더욱 명확하게 파악할 수 있게 된다.

좌표 생성부(150)에서 S150 단계를 통해 좌표를 생성하면, 제스처 인식부(160)는 시간 순서대로 입력되는 해당 좌표들을 토대로 사용자에 의해 취해진 제스처의 종류를 인식하게 된다. 그리고 인식한 제스처와 미리 저장되어 있는 제스처 정보를 검토하여, 제스처에 대한 인식 결과를 사용자에게 제공한다(S160).

즉, 하나의 제스처에 대해 발생한 복수의 좌표를 입력 받으면, 복수의 좌표를 좌표가 발생한 시간 순서에 따라 정렬한다. 그리고 정렬한 좌표를 토대로 사용자 제스처를 인식하고, 인식한 사용자 제스처와 미리 저장해 놓은 제스처를 비교하여, 인식한 사용자 제스처에 대응하는 결과를 사용자에게 제공한다. S160 단계의 절차는 본 발명의 실시예에서는 소프트웨어로 처리하는 것을 예로 하여 설명한다.

이상에서 설명한 제스처 인식 방법에 대해 하나의 예를 들어 상세히 설명하면 다음과 같다. 영상 정보 수집 수단(200)이 임의의 크기에 해당하며 1초에 60프레임의 영상 정보를 수집할 수 있다고 가정하고, 사용자가 임의의 제스처를 취한 시간이 1분이라고 가정한다. 그리고, 사용자가 제스처로 동그라미를 그릴 경우, 포인팅 장치(100)가 삽입된 모바일 기기에 전원이 꺼지도록 설정하였다고 가정한다.

그러면 제1 인터페이스부(110) 및 제2 인터페이스부(120)는 각각 전체 360 프레임에 해당하는 360개의 영상 정보를 수집하게 된다. 360개의 영상 정보는 시간 순서대로 차례대로 영상 정보 수집 수단(200)을 통해 포인팅 장치(100)로 입력되기 때문에 사용자가 취한 제스처가 어떠한 순서로 이루어졌는지 파악할 수 있게 된다.

제1 인터페이스부(110) 및 제2 인터페이스부(120)가 360개에 해당하는 영상 정보를 각각 수집하면, 시차 맵 생성부(130)는 360개에 해당하는 시차 맵을 생성하고 마스크 생성부(140)는 360개의 시차 맵으로부터 각각 마스킹 정보를 생성한다. 좌표 생성부(150)는 360개의 마스킹 정보로부터 가중치가 가장 높은 부분만을 추출하여 360개의 좌표를 생성하는데, 이때의 좌표는 영상이 촬영된 시간에 따라 각각 다른 좌표들을 나타내게 된다.

따라서, 제스처 인식부(160)는 360개의 좌표를 모아 사용자가 취한 제스처를 파악하게 되고, 사용자의 제스처가 동그라미를 나타냄을 알게 된다. 그러면 미리 저장되어 있는 제스처 중 동그라미에 해당하는 전원 종료를 실행하기 위해 포인팅 장치(100)가 삽입된 모바일 기기의 전원을 종료시키기 위한 추후 절차를 실행한다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (8)

1. 복수의 카메라를 통해 입력된 복수의 영상 정보로부터 사용자인 피사체의 제스처를 인식하는 포인팅 장치에 있어서,
   상기 복수의 영상 정보로부터 상기 복수의 카메라와 사용자인 피사체 사이의 거리 정보인 시차 맵을 상기 복수의 영상 정보에 대응하여 각각 추출하는 시차 맵 생성부;
   상기 시차 맵 생성부로부터 추출한 시차 맵을 이용하여, 미리 설정된 문턱값 보다 큰 시차 맵들을 포함하는 복수의 마스킹 정보를 생성하는 마스크 생성부; 및
   상기 마스크 생성부에서 생성한 상기 복수의 마스킹 정보로부터 복수의 좌표를 생성하고, 상기 생성한 복수의 좌표를 토대로 상기 피사체의 제스처를 인식하도록 출력하는 좌표 생성부
   를 포함하는 포인팅 장치.
2. 제1항에 있어서,
   상기 복수의 카메라는 제1 카메라 및 제2 카메라를 포함하고,
   상기 제1 카메라로부터 입력되는 제1 영상 정보를 수집하여 상기 제2 카메라로부터 수집한 제2 영상 정보와의 동기를 맞추는 제1 인터페이스부; 및
   상기 제2 카메라로부터 입력되는 상기 제2 영상 정보를 수집하여 상기 제1 카메라로부터 수집한 제1 영상 정보와의 동기를 맞추는 제2 인터페이스부
   를 포함하는 포인팅 장치.
3. 제2항에 있어서,
   상기 좌표 생성부에서 출력한 복수의 좌표를 토대로 상기 피사체의 제스처를 인식하고, 인식한 상기 피사체의 제스처에 대한 결과를 출력하는 제스처 인식부
   를 더 포함하는 포인팅 장치.
4. 포인팅 장치가 복수의 카메라를 통해 입력된 복수의 영상 정보로부터 사용자인 피사체의 제스처를 인식하는 방법에 있어서,
   상기 복수의 영상 정보로부터 복수의 영상 정보에 대한 복수의 시차 맵을 각각 추출하는 단계;
   상기 각각 추출한 시차 맵이 미리 설정한 임계값 보다 크면, 임계값 보다 큰 복수의 시차 맵들을 포함하는 복수의 마스킹 정보를 생성하는 단계;
   상기 생성한 복수의 마스킹 정보를 토대로 상기 피사체의 제스처에 대한 복수의 좌표를 생성하는 단계; 및
   상기 복수의 좌표를 토대로, 상기 복수의 좌표가 각각 발생한 시간 순서에 따라 상기 피사체의 제스처를 확인하는 단계
   를 포함하는 사용자 제스처 인식 방법.
5. 제4항에 있어서,
   상기 복수의 시차 맵을 각각 추출하는 단계는 상기 복수의 영상 정보를 이용하여 상기 복수의 카메라와 피사체 사이의 거리를 계산하여 상기 복수의 영상 정보에 대한 복수의 시차 맵으로 각각 추출하는 사용자 제스처 인식 방법.
6. 제4항에 있어서,
   상기 복수의 마스킹 정보로 생성하는 단계는
   상기 추출한 복수의 시차 맵이 미리 설정한 임계값 보다 작으면, 상기 임계값 보다 작은 시차 맵을 삭제하는 단계
   를 포함하는 사용자 제스처 인식 방법.
7. 제4항에 있어서,
   상기 복수의 좌표를 생성하는 단계는,
   복수의 시차 맵 중 어느 하나의 시차 맵이 포함된 마스킹 정보 중, 상기 복수의 카메라와 피사체 사이의 거리가 짧은 순서로 정렬하고, 복수의 거리 중 상기 카메라와 피사체 사이의 거리가 가장 짧은 부분을 좌표로 생성하되, 하나의 시차 맵에서 하나의 좌표를 생성하는 사용자 제스처 인식 방법.
8. 제4항에 있어서,
   상기 피사체의 제스처를 확인하는 단계는,
   하나의 제스처에 대해 발생한 복수의 좌표를 입력받는 단계;
   상기 복수의 좌표를 좌표가 발생한 시간 순서에 따라 정렬하는 단계;
   상기 정렬한 좌표를 토대로 상기 피사체의 제스처를 확인하는 단계;
   상기 확인한 피사체의 제스처와 미리 저장해 놓은 제스처를 비교하고, 상기 확인한 피사체의 제스처에 대응하는 결과를 제공하는 단계
   를 포함하는 사용자 제스처 인식 방법.

Images