KR101592999B1 - 휴대용 단말기에서 손 모양을 인식하기 위한 장치 및 방법 - Google Patents

Abstract

본 발명은 휴대용 단말기에서 특정 손 모양 및 손 동작을 검출하기 위한 검출 장치 및 방법에 관한 것으로, 특히 에이다부스트 검출기를 이용하여 손 모양을 검출할 경우, 일괄적이고 간편하게 대량의 훈련 이미지를 생성하고 회전에 대한 검출이 가능하도록 검출기 패턴 자체를 회전시켜 이미지 간의 매칭 정확도를 높이기 위한 장치 및 방법에 관한 것으로, 원본 이미지에서 얻어지는 관심 영역의 다수 이미지를 일괄적으로 같은 자세, 같은 크기로 생성하는 균일한 훈련 이미지 데이터를 생성하고, 상기 생성한 훈련 이미지 데이터에서 검출을 원하지 않는 부분에서는 특징점이 생기지 않도록 훈련하는 훈련기와, 상기 훈련 과정 후, 입력받은 데이터에서 회전 물체를 검출하는 검출기를 포함한다.

얼굴 검출, 검출기, 손동작, 훈련기, 이미지 검출

Description

휴대용 단말기에서 손 모양을 인식하기 위한 장치 및 방법{APPARATUS AND METHOD FOR RECOGNZING HAND SHAFE IN PORTABLE TERMINAL}

본 발명은 휴대용 단말기에서 특정 손 모양 및 손 동작을 검출하기 위한 검출 장치 및 방법에 관한 것으로, 특히 에이다부스트 검출기를 이용하여 손 모양을 검출할 경우, 일괄적이고 간편하게 대량의 훈련 이미지를 생성하고 회전에 대한 검출이 가능하도록 검출기 패턴 자체를 회전시켜 이미지 간의 매칭 정확도를 높이기 위한 장치 및 방법에 관한 것이다.

최근 휴대용 단말기의 급격한 발달에 따라 특히, 무선 음성 통화 및 정보 교환이 가능한 휴대용 단말기는 필수품이 되었다. 휴대용 단말기 초기에는 단순히 휴대할 수 있고, 무선 통화가 가능한 것으로 인식되었으나, 그 기술이 발달함과 무선 인터넷의 도입에 따라 상기 휴대용 단말기는 단순한 전화 통화의 목적뿐만 아니라 게임, 위성 방송의 시청, 근거리 통신을 이용한 리모컨, 장착된 디지털 카메라에 의한 이미지 촬영, 및 일정 관리 등의 그 활용범위가 갈수록 커지고 있어 사용자의 욕구를 충족시키고 있다.

상기와 같은 디지털 카메라 기능은 정지된 영상(still picture)뿐만 아니라 움직이는 피사체를 위한 동영상(moving picture) 촬영 기능도 구비하고 있는데, 특히 휴대용 영상 촬영 기기는 인물에 대한 영상을 촬영하는데에 많이 이용되고 있다.

상기와 같은 휴대용 단말기를 이용하여 인물의 정지영상을 촬영할 경우, 인물의 위치 선정이 쉽지 않기 때문에 인물이 계속해서 움직이는 상황에서 정면 얼굴을 찍고 싶을 경우, 정면 얼굴이 화면이 들어오는 순간을 포착해서 정확하게 셔터를 누르는 것이 힘들다는 문제점이 있다.

상기와 같은 문제점을 해결하기 위하여 최근에는 얼굴표정 인식 시스템 및 사용자 인지/적응 HCI시스템구축에 대한 연구가 활발히 진행되고 있으나 표정인지를 위해서는 정확한 얼굴 검출이 전제되어야 하며 정지 영상이나 동영상으로부터 정확하게 얼굴을 검출해 낸다는 것은 결코 쉽지가 않다.

이것은 다양한 얼굴크기 그리고 수염, 안경과 같은 구조적요소의 존재 여부, 얼굴자세, 조명의 변화나 카메라 특성, 얼굴표정의 변화등이 얼굴을검출하는데 어려움으로 작용하기 때문이다. 즉, 상기와 같은 기능을 수행하기 위해서는 검출기 모델을 생성하기 위한 많은 훈련 이미지가 필요하고 상기 훈련 이미지의 자세를 일정하게 유지해야하는데 많은 과정을 수행해야하는 훈련과정을 수행해야 한다는 문제점이 있다.

뿐만 아니라 회전한 얼굴을 검출시 많은 각도 변화가 발생할 경우, 하나의 입력 이미지에 대하여 다양한 각도로 검출하는 과정을 반복해야하는 검출 과정을 수행해야 한다는 문제점이 있다.

상기와 같은 문제는 얼굴 영역 보다 자세 변화가 많은 손 동작을 검출할 경우에는 더 많이 발생하게 된다.

최근에는 휴대용 단말기에서 손 동작을 인식하는 기능이 적용되는 제품이 출시되나 이에 따른 손 동작 검출 성능은 떨어진다는 문제점이 있다.

본 발명은 상술한 바와 같은 문제점을 해결하기 위하여 도출된 것으로서, 본 발명의 목적은 휴대용 단말기에서 에이다부스트 검출기를 이용하여 손 모양을 검출 성능을 향상시키기 위한 장치 및 방법을 제공함에 있다.

본 발명의 다른 목적은 휴대용 단말기에서 손 모양 검출 성능을 향상시키기 위하여 손 모양 검출을 위한 훈련 과정을 향상시키기 위한 장치 및 방법을 제공함에 있다.

본 발명의 또 다른 목적은 휴대용 단말기에서 손 모양 검출 성능을 향상시키기 위하여 회전에 대한 검출이 가능하도록 검출기 패턴 자체를 회전시켜 이미지 간의 매칭 정확도를 높이기 위한 장치 및 방법을 제공함에 있다

상술한 목적들을 달성하기 위한 본 발명의 제 1 견지에 따르면, 휴대용 단말기에서 손 모양을 인식하기 위한 장치는 원본 이미지에서 얻어지는 관심 영역의 다수 이미지를 일괄적으로 같은 자세, 같은 크기로 생성하는 균일한 훈련 이미지 데이터를 생성하고, 상기 생성한 훈련 이미지 데이터에서 검출을 원하지 않는 부분에서는 특징점이 생기지 않도록 훈련하는 훈련기와, 상기 훈련 과정 후, 입력받은 데이터에서 회전 물체를 검출하는 검출기를 포함하는 것을 특징으로 한다.

상술한 목적들을 달성하기 위한 본 발명의 제 2 견지에 따르면, 휴대용 단말 기에서 손 모양을 인식하기 위한 방법은 원본 이미지에서 얻어지는 관심 영역의 다수 이미지를 일괄적으로 같은 자세, 같은 크기로 생성하는 균일한 훈련 이미지 데이터 생성 과정과, 상기 생성한 훈련 이미지 데이터에서 검출을 원하지 않는 부분에서는 특징점이 생기지 않도록 훈련하는 과정과, 상기 훈련 과정 후, 입력받은 데이터에서 회전 물체를 검출하는 과정을 포함하는 것을 특징으로 한다.

상술한 바와 같이 본 발명은 원본 이미지에서 얻어지는 관심 영역의 다수 이미지를 일괄적으로 같은 자세, 같은 크기로 생성하는 균일한 훈련 이미지 데이터를 생성하고 검출을 원하지 않는 부분에서는 특징점이 생기지 않도록 훈련함으로써 일괄적으로 간편하게 대량의 훈련 이미지를 얻을 수 있는 장점을 제공하며 검출 과정에서 배경의 영향을 줄이고 관심 영역 내의 특징점을 많이 고려함으로써 검출기의 정확도를 높이고 오검출률을 줄일 수 있다.

또한 본 발명은 회전에 대한 검출이 가능하도록 검출기 모델 패턴 자체를 회전시킬 수 있으며 각도에 따른 검출기 실행 순서를 제어함으로써 실시간 검출이 가능하게 하고 검출 성능을 향상시킨다.

이하 본 발명의 바람직한 실시 예를 첨부된 도면의 참조와 함께 상세히 설명한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다.

이하 설명에서는 본 발명에 따른 휴대용 단말기에서 에이다부스트 검출기를 이용하여 손 모양을 검출 성능을 향상시키기 위하여 훈련 이미지 데이터를 생성하는 훈련방법과 회전에 대한 검출이 가능하도록 검출기 패턴 자체를 회전시켜 이미지 간의 매칭 정확도를 높이는 검출 장치 및 방법에 대하여 설명할 것이다.

도 1은 본 발명에 따라 손검출 정확도를 향상시키는 휴대용 단말기의 구성을 도시한 블록도이다.

상기 도 1을 참조하면, 상기 휴대용 단말기는 제어부(100), 메모리부(102), 카메라부(104), 입력부(106), 표시부(108), 통신부(110) 및 동작 검출부(120)를 포함하여 구성할 수 있으며, 상기 동작 검출부(120)는 훈련기(122)와 검출기(124)를 포함할 수 있다.

상기 휴대용 단말기의 제어부(100)는 상기 휴대용 단말기의 전반적인 동작을 제어한다. 예를 들어, 음성통화 및 데이터 통신을 위한 처리 및 제어를 수행하며, 통상적인 기능에 더하여 본 발명에 따라, 상기 제어부(100)는 상기 휴대용 단말기를 이용하여 손 동작을 검출하기 위한 검출기 모델을 생성하기 위한 다수의 훈련 이미지인 균일된 훈련 이미지 데이터를 생성하도록 처리한다. 여기에서, 상기 제어부(100)에 의해 생성되는 균일된 훈련 이미지 데이터는 기존의 원본 이미지에서 일정 영역을 표시하여 잘라내는 방법 대신에 본 발명에 따라 원본 이미지에서 얻어지는 관심 영역의 이미지를 일괄적으로 같은 자세, 같은 크기로 생성한다.

또한, 상기 제어부(100)는 입력 이미지에서 손동작 검출을 위한 특징점을 획득하여 LBP 변환을 수행한 후, 회전 알고리즘 과정을 수행하여 회전에 대한 검출이 가능하도록 검출기 패턴 자체를 회전시켜 이미지 간의 매칭 정확도를 향상시키는 검출 과정을 처리하도록 한다. 뿐만 아니라 상기 제어부는 다수의 검출기를 이용한 검출 과정을 수행할 경우, 특정 물체를 검출하는 검출기를 우선 순위로 설정하고 나머지 다른 검출기의 검출 순서를 결정한다.

상기 휴대용 단말기의 메모리부(102)는 롬(ROM ; Read Only Memory), 램(RAM ; Random Access Memory), 플래쉬롬(flash ROM)으로 구성된다. 상기 롬은 상기 제어부(100) 및, 상기 동작 검출부(120)의 처리 및 제어를 위한 프로그램의 마이크로코드와 각종 참조 데이터를 저장한다.

상기 램은 상기 제어부(100)의 워킹 메모리(working memory)로, 각종 프로그램 수행 중에 발생하는 일시적인 데이터를 저장한다. 또한, 상기 플래쉬롬은 전화번호부(phone book), 발신메시지, 수신메시지를 저장한다.

상기 카메라부(104)는 정지 영상 또는 동영상의 데이터를 입력받으며 상기 입력부(106)는 0 ~ 9의 숫자키 버튼들과, 메뉴버튼(menu), 취소버튼(지움), 확인버튼, 통화버튼(TALK), 종료버튼(END), 인터넷접속 버튼, 네비게이션 키(또는 방향키) 버튼들 및 문자 입력 키 등 다수의 기능키들을 구비하며, 사용자가 누르는 키에 대응하는 키 입력 데이터를 상기 제어부(100)로 제공한다.

상기 표시부(108)는 상기 휴대용 단말기의 동작 중에 발생하는 상태 정보, 제한된 숫자의 문자들, 다량의 동영상 및 정지영상 등을 디스플레이한다. 상기 표시부(108)는 컬러 액정 디스플레이 장치(LCD ; Liquid Crystal Display)를 사용할 수 있으며 상기 표시부(108)는 터치 입력 장치를 구비하여 터치 입력 방식의 휴대용 단말기에 적용할 경우 입력 장치로 사용할 수 있다.

상기 통신부(110)는 안테나(미도시)를 통해 입출력되는 데이터의 무선신호를 송수신 처리하는 기능을 수행한다. 예를 들어, 송신인 경우, 송신할 데이터를 채널 코딩(Channel coding) 및 확산(Spreading)한 후, RF처리하여 송신하는 기능을 수행하고, 수신인 경우, 수신된 RF신호를 기저대역신호로 변환하고 상기 기저대역신호를 역 확산(De-spreading) 및 채널 복호(Channel decoding)하여 데이터를 복원하는 기능을 수행한다.

상기 동작 확인부(120)의 훈련기(122)는 상기 제어부(100)의 지시를 받아 손 동작을 검출하기 위한 검출기 모델을 생성하기 위한 다수의 훈련 이미지인 균일된 훈련 이미지 데이터를 생성하도록 처리한다.

일 예로 상기 훈련기(122)는 모든 원본 이미지에 대하여 객체를 대표하는 특징점의 좌표를 확인하여 특징점의 좌표를 모아둔 관심 영역 리스트 생성하고 상기 좌표와 간단한 연산을 통해 회전 정보를 확인한다.

이후, 상기 훈련기(122)는 원본 이미지들이 일정한 방향으로 되도록 일괄적으로 회전시키는 것으로, 일정한 크기를 가지도록 리사이징하도록 하는 회전각 보정 과정을 수행한다.

상기 동작 확인부(120)의 검출기(124)는 손동작 검출시 LBP변환 자체는 1회 만 실행하고 다른 각도에 대해 검출할 경우에는 단순히 각 픽셀의 LBP 값을 원하는 각도와 매칭되는 LBP 변환 테이블에서 찾아내어 검출기의 각도를 변경하여 손 동작을 검출하도록 처리한다.

또한, 상기 검출기(124)는 현재 검출된 프레임의 바로 다음 프레임의 이미지에서는 물체가 많은 각도를 회전하는 경우는 드물기 때문에 특정 물체를 검출한 검출기를 자주 실행하는 것을 이용하여 상기 특정 물체를 검출한 검출기 위주의 검출기 검출 순서를 결정한다. 즉, 상기 검출기는 K번째 검출기에서 원하는 물체가 검출 되었다면 그 각도 검출기를 더 자주 실행할 수 있기 때문에 K, K+1, K-1, K+2, K-2에 해당하는 검출 순서를 결정하여 해당 순서를 이용한 검출 과정을 수행하도록 처리한다.

상기 동작 확인부(120)의 역할은 상기 휴대용 단말기의 제어부(100)에 의해 수행할 수 있으나, 본 발명에서 이를 별도로 구성하여 도시한 것은 설명의 편의를 위한 예시적인 구성이지 결코 본 발명의 범위를 제한하자는 것이 아니며, 당업자라면 본 발명의 범위 내에서 다양한 변형 구성이 가능하다는 것을 알 수 있을 것이다. 예를 들어, 이들 모두를 상기 제어부(100)에서 처리하도록 구성할 수도 있다.

이상은 본 발명에 따른 휴대용 단말기에서 에이다부스트 검출기를 이용하여 손 모양을 검출 성능을 향상시키기 위한 장치에 대하여 설명하였고, 이하 설명에서는 본 발명의 바람직한 일 실시 예에 따른 상기 장치를 이용하여손 모양을 검출 성능을 향상시키기 위한 훈련 이미지 데이터를 생성하는 훈련방법과 회전에 대한 검출이 가능하도록 검출기 패턴 자체를 회전시켜 이미지 간의 매칭 정확도를 높이는 검출 방법에 대하여 설명할 것이다.

도 2는 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 손동작 검출을 위한 훈련 과정을 도시한 흐름도이다.

상기 도 2를 참조하면, 상기 휴대용 단말기는 손동작을 검출하기 위한 훈련된 모델을 생성하기 위한 훈련기에 관한 동작을 수행한다.

먼저 상기 휴대용 단말기는 201단계에서 균일한 훈련 이미지 데이터를 생성하는 과정을 수행한다.

여기에서, 상기 균일한 훈련 이미지 데이터는 상기 손동작을 검출하기 위한 검출기 모델을 생성하기 위한 다수의 훈련 이미지로 기존의 원본 이미지에서 일정 영역을 표시하여 잘라내는 방법 대신에 본 발명에 따라 원본 이미지에서 얻어지는 관심 영역의 이미지를 일괄적으로 같은 자세, 같은 크기로 생성한다. 상기 균일한 훈련 이미지 데이터 생성 방법은 하기 도 3에서 상세히 설명할 것이다.

이후, 상기 휴대용 단말기는 203단계로 진행하여 상기 손동작과 같은 특징점을 추출한 후, 205단계로 진행하여 마스크(MASK)를 이용한 훈련 과정을 수행한다. 여기에서, 상기 마스크를 이용한 훈련 과정은 기존의 훈련 방법에서 발생하는 검출을 원하지 않는 부분에서는 특징점이 생기지 않도록 하기 위한 훈련 방법으로 상기 휴대용 단말기가 손동작 검출시 배결 부분의 이미지 정보에 영향을 받아 발생하는 오검출 상황을 줄이기 위한 방법을 말하는 것으로 사기 훈련 방법에 대해서는 하기 도 4에서 상세히 설명한다.

이후, 상기 휴대용 단말기는 207단계로 진행하여 상기 훈련 과정을 통해 손동작 검출을 위한 검출기 모델을 생성한 후, 본 알고리즘을 종료한다.

도 3은 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 균일한 훈련 이미지 데이터를 생성하는 과정을 도시한 흐름도이다.

상기 도 3을 참조하면, 상기 휴대용 단말기는 먼저 앞서 설명한 상기 도 2의 201단계를 수행하기 위하여 301단계에서 훈련용 이미지에서 객체를 대표하는 특징점을 확인한다.

여기에서 상기 객체를 대표하는 특징점은 손동작을 표현할 수 있는 점들을 말하며 V자의 손동작을 예를 들면 두 손가락의 끝점과 그 중심 점이 상기 객체를 대표하는 특징점이 될수 있다.

이후, 상기 휴대용 단말기는 303단계로 진행하여 상기 확인한 특징점의 좌표를 확인한 후, 305단계로 진행하여 모든 원본 이미지에 대한 특징점 좌표를 확인하였는지 확인한다.

만일, 상기 305단계에서 모든 원본 이미지에 대한 특징점 좌표를 확인하지 않음을 확인할 경우, 상기 휴대용 단말기는 상기 301단계의 과정을 재수행한다.

한편, 상기 305단계에서 모든 원본 이미지에 대한 특징점 좌표를 확인한 경우, 상기 휴대용 단말기는 307단계로 진행하여 특징점의 좌표를 모아둔 관심 영역 리스트 생성을 완료한다.

이후, 상기 휴대용 단말기는 309단계로 진행하여 상기 관심 영역 리스트를 통해 객체들의 회전 정보를 확인한다. 여기에서, 상기 회전 정보는 사용자가 검출을 원하는 각도와 현재 원본 이미지가 회전되어 있는 각도의 차이, 사용자가 검출을 원하는 크기와 원본 이미지 내의 관심 영역의 크기 차이 등을 말하는 것으로, 상기 휴대용 단말기는 관심 영역을 설정하게 되면 간단한 삼각함수 및 수학 연산만으로 상기 회전 정보를 확인할 수 있다.

이후, 상기 휴대용 단말기는 311단계로 진행하여 모든 훈련 이미지의 객체 회전 각을 보정한 후, 313단계로 진행하여 균일한 훈련 이미지 데이터를 생성한다.

여기에서, 상기 모든 훈련 이미지의 객체 회전 각을 보정하는 것은 원본 이미지들이 일정한 방향으로 되도록 일괄적으로 회전시키는 것으로, 일정한 크기를 가지도록 리사이징하도록 한다. 이에 따라 상기 휴대용 단말기는 훈련기에 사용될 균형화된 모양과 크기의 균일한 훈련 이미지 데이터를 생성할 수 있다.

이후, 상기 휴대용 단말기는 본 알고리즘을 종료한다.

도 4는 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 손 동작을 검출하기 위한 훈련 과정을 도시한 흐름도이다.

상기 도 4를 참조하면, 상기 휴대용 단말기는 일반적인 에이부스트(AdaBoost)의 훈련 과정을 간단하고 마스크(Mask)를 사용하여 검출기 모델을 훈련시켜서 성능을 개선하는 것으로

상기 휴대용 단말기는 먼저 401단계로 진행하여 모든 훈련 이미지 데이터에 대한 가중치를 초기화한 후, 403단계로 진행하여 마스크를 확인한다.

여기에서, 상기 훈련 이미지 데이터는 검출을 원하는 손 동작의 이미지 셋(Positive Image Set)과 이를 제외한 다른 이미지 셋(Negative Image Set)으로 구성되며 상기 마스크는 약한 분류기를 위한 룩업 테이블(Lookup table)을 생성할 때 훈련 이미지상에서 원하지 않는 픽셀 위치의 분류기는 고려되지 않도록 하기 위한 것으로 손동작 검출의 정확도를 높이기 위한 마스크를 말한다.

이후, 상기 휴대용 단말기는 405단계로 진행하여 약한 분류기를 위한 룩업 테이블을 생성하는 과정을 수행한 후, 407단계로 진행하여 룩업 테이블의 에러를 확인한다.

이후, 상기 휴대용 단말기는 407단계로 진행하여 룩업 테이블의 에러를 확인한 후, 409단계로 진행하여 이미지 간 에러를 최소화하는 위치를 확인하는 과정을 수행한다. 상기와 같은 룩업 테이블을 생성하는 과정은 일반적인 기술에 해당하는 것으로 본 발명에서의 상세한 설명은 생략한다.

이후, 상기 휴대용 단말기는 411단계로 진행하여 상기 409단계에서 확인한 위치가 마스크 영역에 포함되는지 확인한다.

여기에서, 상기 411단계는 본 발명의 바람직한 일 실시 예에 따른 것으로 훈련 이미지상에서 원하지 않는 픽셀 위치의 분류기를 제외하기 위하여 해당 마스크 영역 밖의 위치는 룩업 테이블 생성하는 과정에서 제외한다.

즉, 상기 휴대용 단말기는 상기 411단계에서 상기 이미지간 에러를 최소화하는 위치가 상기 마스크 영역에 포함되지 않음을 확인할 경우, 상기 409단계의 과정을 재수행한다.

한편, 상기 휴대용 단말기는 상기 411단계에서 상기 이미지간 에러를 최소화하는 위치가 상기 마스크 영역에 포함됨을 확인할 경우, 상기 413단계로 진행하여 해당 지점에 대한 룩업 테이블을 생성한 후, 415단계로 진행하여 훈련 이미지 데이터에 대한 가중치를 갱신한다.

즉, 상기 휴대용 단말기는 훈련의 시작 단계에서 서브 윈도우의 이미지 사이즈에 맞는 검출을 하고자 하는 부분을 표시한 마스크를 읽어들여 최소 에러를 가지는 특징점 검출시에 마스크 영역에 포함되지 않는, 다시 말하여 검출을 원하지 않는 부분에서는 특징점이 생기지 않도록 함으로서 실제 검출기를 동작시킬 때, 서브 윈도우 내의 이러한 픽셀들에 대하여는 매칭을 시도하지 않게 된다. 따라서 검출기가 배경 부분의 이미지 정보에 영향을 받아 오검출 하는 것을 막고, 원하는 손 모양의 손 부분에서만 검출을 함으로서 검출 정확도를 높일 수 있는 강한 분류기를 생성할 수 있다.

상기 휴대용 단말기는 상기와 같은 훈련 과정을 수행한 후, 상기 도 2의 207단계로 진행하여 검출기 모델을 생성하게 된다.

도 5는 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 균일한 훈련 이미지 데이터를 생성하는 과정을 도시한 도면이다.

상기 도 5를 참조하면, 훈련 원본 영상 데이터 베이스의 훈련용 이미지에서 객체를 대표하는 특징점을 확인한다. 즉, V자의 손동작을 예를 들면 두 손가락의 끝점과 그 중심 점이 상기 객체를 대표하는 특징점이 될수 있다. 이때, 상기 휴대 용 단말기는 상기 특징점을 P1, P2, P3라 정의(501)하고 상기 특징점의 좌표를 확인하여 관심 영역 설정 리스트를 생성(503)한다. 이때, 상기 휴대용 단말기는 P1~P3또는 P2~P3간의 길이를 이용하여 회전 정보를 확인할 수 있다.

이후, 상기 휴대용 단말기는 원본 이미지들이 일정한 방향으로 되도록 일괄적으로 회전(510)시키고, 일정한 크기를 가지도록 리사이징(512)하여 훈련기에 사용될 균형화된 모양과 크기의 균일한 훈련 이미지 데이터를 생성할 수 있다.

도 6은 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기의 훈련 과정과 기존의 훈련 과정을 도시한 도면이다.

상기 도 6을 참조하면, 기존의 검출 방법은 실제 검출하고자 하는 물체, 본 실시예에서는 손 모양과 관련이 없는 부분에서 특징점이 선택되어, 실제 검출시에 배경 영역에 비슷한 LBP 특징을 가지는 부분이 있을 경우 오검출이 발생하게 된다.

또한 훈련시 미리 정해놓은 선택하는 특징점의 개수 중 일부가 배경 영역의 특징점으로 채워지게 되므로 실제 검출 영역의 특징을 충분히 얻을 수가 없어서 검출 성공률을 떨어지게 된다.

본 발명의 따라 개선된 훈련 방법은 훈련의 시작 단계에서 서브 윈도우의 이미지 사이즈에 맞는 검출을 하고자 하는 부분을 표시한 마스크를 읽어들여 최소 에러를 가지는 특징점 검출시에 마스크 영역에 포함되지 않는, 다시 말하여 검출을 원하지 않는 부분에서는 특징점이 생기지 않도록 함으로서 실제 검출기를 동작시킬 때, 서브 윈도우 내의 이러한 픽셀들에 대하여는 매칭을 시도하지 않게 된다. 따라 서 검출기가 배경 부분의 이미지 정보에 영향을 받아 오검출 하는 것을 막고, 원하는 손 모양의 손 부분에서만 검출을 함으로서 검출 정확도를 높일 수 있는 강한 분류기를 생성할 수 있다.

따라서 본 발명에서 개선된 훈련 방법을 사용하게 되면 기존의 방법보다 검출 정확도와 검출 성공률을 높일 수 있다.

도 7은 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 손동작을 검출하는 과정을 도시한 흐름도이다.

상기 도 7을 참조하면, 상기 휴대용 단말기는 본 발명에 따라 회전이 없는 LBP 변환이 가질 수 있는 모든 값 [0, 255]에 대한 각 회전에 대한 LBP값을 미리 테이블에 저장시켜 두고 실제 검출할 때는 LBP변환 자체는 1회만 실행하고 다른 각도에 대해 검출할 경우에는 단순히 각 픽셀의 LBP 값을 원하는 각도와 매칭되는 LBP 변환 테이블에서 찾아낸다. 여기에서, 상기 휴대용 단말기는 시계방향으로 45도 회전한 물체를 검출하기 위한 방법으로, 회전된 LBP 변환은 원래의 LBP 변환을 45도 회전한 만큼, 다시 말하면 변환값을 읽는 순서를 1비트씩을 움직이면 얻을 수 있는 것으로, 주변 8픽셀만을 고려하는 LBP 변환의 경우이므로 45도 단위의 각도 변환만을 제공하지만 더 넓은 윈도우 범위를 가지는 변환의 경우나 더 세밀한 각도 변화가 가능한 변환의 경우에는 더 작은 각도 단위로 변환할 수 있다.

먼저 상기 휴대용 단말기는 701단계에서 입력 이미지를 확인한 후, 703단계로 진행하여 손동작 검출을 위한 특징점을 획득하기 위한 LBP 변환을 수행한다.

이후, 상기 휴대용 단말기는 705단계로 진행하여 회전 알고리즘 과정을 수행한다.

여기에서, 상기 회전 알고리즘은 본 발명에 따라 LBP 변환을 1회만 수행하고 다른 각도에 대해 검출할 경우, 수행하는 것으로 상기 휴대용 단말기는 기 저장하고 있는 LBP 변환이 가질 수 있는 모든 값 [0, 255]에 대한 각 회전에 대한 LBP값을 확인하고 이에 따른 검출기를 동작하도록 하는 것이다.

상기와 같은 회전 알고리즘 과정을 수행하기 위한 휴대용 단말기는 707단계로 진행하여 검색하고자 하는 각도에 대한 LBP 값을 기저장하고 있는 테이블에서 확인한다. 이후, 상기 휴대용 단말기는 709단계로 진행하여 해당 각도에 대한 검출기를 동작한 후, 711단계로 진행하여 손동작 검출을 성공하는지 확한다.

만일, 상기 711단계에서 손동작 검출을 성공하지 않음을 확인할 경우, 상기 휴대용 단말기는 상기 707단계의 과정을 재수행한다.

한편, 상기 711단계에서 손동작 검출을 성공함을 확인할 경우, 상기 휴대용 단말기는 본 알고리즘을 종료한다.

상기와 같은 휴대용 단말기는 손동작 검출시 LBP변환 자체는 1회만 실행하고 다른 각도에 대해 검출할 경우에는 단순히 각 픽셀의 LBP 값을 원하는 각도와 매칭되는 LBP 변환 테이블에서 찾아내어 변경하도록 하여 이미지 픽셀 개수만큼의 연산만이 있을 뿐이므로 빠른 실행이 가능하다.

도 8은 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 다수의 검 출기를 이용한 검출 과정을 도시한 흐름도이다.

상기 도 8을 참조하면, 상기 휴대용 단말기는 먼저 801단계에서 N개의 검출기를 이용한 검출 과정을 수행한다. 여기에서, 상기 휴대용 단말기에는 1~N번째까지의 회전 검출기가 존재한 상태이다.

이후, 상기 휴대용 단말기는 803단계로 진행하여 특정 물체를 검출하는지 확인한다.

만일, 상기 803단계에서 특정 물체를 검출하지 않을 경우, 상기 휴대용 단말기는 상기 801단계의 과정을 재수행한다. 즉, 상기 휴대용 단말기는 특정 물체를 검출하지 않을 경우, 1~N을 순서대로 실행하여 특정 물체를 검출하는 것이다.

한편, 상기 803단계에서 특정 물체를 검출함을 확인할 경우, 상기 휴대용 단말기는 805단계로 진행하여 특정 물체를 검출한 검출기를 우선 순위로 설정한 후, 507단계로 진행하여 다른 검출기의 검출 순서를 결정한다.

여기에서, 상기 휴대용 단말기는 실시간으로 검출기가 동작한다고 가정할 경우, 현재 검출된 프레임의 바로 다음 프레임의 이미지에서는 물체가 많은 각도를 회전하는 경우는 드물기 때문에 특정 물체를 검출한 검출기를 자주 실행하는 것을 이용하여 상기 특정 물체를 검출한 검출기 위주의 검출기 검출 순서를 결정한다. 즉, 상기 휴대용 단말기는 K번째 검출기에서 원하는 물체가 검출 되었다면 그 각도 검출기를 더 자주 실행할 수 있기 때문에 K, K+1, K-1, K+2, K-2에 해당하는 검출 순서를 결정할 수 있다.

예를 들어, 상기 휴대용 단말기가 V 손가락을 검출하려고 하는데, V가 직립 된 손 모양이(0도라고 한다) 검출되었다면 그 다음부터는 [0도 → 30도 → 0도 → 330도 → 0도 → 60도 ...] 처럼 0도를 위주로 검출하도록 처리하는 것이다.

이후, 상기 휴대용 단말기는 809단계로 진행하여 상기 807단계에서 결정한 검출 순서로 검출 과정을 수행한 후, 811단계로 진행하여 특정 물체를 검출하는지 확인한다.

만일, 상기 휴대용 단말기는 상기 811단계에서 특정 물체를 검출할 경우, 상기 807단계로 진행하여 새로 검출된 각도를 중심으로 상기 다른 검출기의 검출 순서를 결정하는 과정을 수행한다.

한편, 상기 휴대용 단말기는 상기 811단계에서 특정 물체를 검출하지 않을 경우, 상기 809단계의 과정을 재수행한다.

한편 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.

도 1은 본 발명에 따라 손검출 정확도를 향상시키는 휴대용 단말기의 구성을 도시한 블록도,

도 2는 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 손동작 검출을 위한 훈련 과정을 도시한 흐름도,

도 3은 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 균일한 훈련 이미지 데이터를 생성하는 과정을 도시한 흐름도,

도 4는 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 손 동작을 검출하기 위한 훈련 과정을 도시한 흐름도,

도 5는 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 균일한 훈련 이미지 데이터를 생성하는 과정을 도시한 도면,

도 6은 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기의 훈련 과정과 기존의 훈련 과정을 도시한 도면,

도 7은 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 손동작을 검출하는 과정을 도시한 흐름도 및,

도 8은 본 발명의 바람직한 일 실시 예에 따른 휴대용 단말기에서 다수의 검출기를 이용한 검출 과정을 도시한 흐름도.

Claims (16)

1. 전자 장치에 있어서,

   적어도 하나의 원본 이미지에서 얻어지는 적어도 하나의 관심 영역 이미지를 같은 자세가 되도록 생성하고, 상기 적어도 하나의 관심 영역 이미지에서 원하지 않는 영역에 특징점이 생기지 않도록 검출기 모델을 생성하는 훈련기; 및

   입력 이미지에 대하여 특징을 추출하고, 상기 추출된 특징을 기반으로 회전된 상태의 특징을 미리 저장된 테이블에서 추출하고, 상기 입력 이미지에 대한 특징 및 상기 회전된 상태의 특징과 상기 검출기 모델을 이용하여 회전 물체를 검출하는 검출기를 포함하는 것을 특징으로 하는 전자 장치.
2. 제 1항에 있어서,

   상기 훈련기는,

   상기 적어도 하나의 원본 이미지에서 객체를 대표하는 특징점의 좌표를 기반으로 객체의 회전을 확인하고, 상기 회전된 객체가 미리 정해진 방향으로 향하도록 보정하여 상기 관심 영역 이미지를 같은 자세가 되도록 생성하는 것을 특징으로 하는 전자 장치.
3. 제 1항에 있어서,

   상기 훈련기는,

   상기 같은 자세가 되도록 생성된 관심 영역 이미지를 동일한 크기로 생성하는 것을 특징으로 하는 전자 장치.
4. 제 1항에 있어서,

   상기 훈련기는,

   약한 분류기를 위한 룩업 테이블을 생성한 후, 이미지간 에러를 최소하는 위치를 확인하고 상기 위치가 마스크에 해당할 경우, 해당 위치에 대한 룩업 테이블을 생성함으로써 상기 생성한 훈련 이미지 데이터에서 검출을 원하지 않는 부분에서는 특징점이 생기지 않도록 훈련하는 것을 특징으로 하는 전자 장치.
5. 제 1항에 있어서,

   상기 검출기는,

   상기 입력 이미지에 대한 특징 및 상기 회전된 상태의 특징 가운데 상기 회전 물체를 검출한 특징을 우선 순위로 설정하여 회전 물체를 검출하는 것을 특징으로 하는 장치.
6. 제 1항에 있어서,

   상기 추출된 특징은,

   LBP(Local Binary Pattern) 변환 값임을 특징으로 하는 전자 장치.
7. 제 1항에 있어서,

   상기 테이블은,

   회전되지 않은 이미지의 LBP 변환 값이 가질 수 있는 회전 각도에 대응하는 LBP 변환 값을 정의한 테이블임을 특징으로 하는 전자 장치.
8. 제 5항에 있어서,

   상기 검출기는,

   상기 회전 물체를 검출한 경우, 상기 미리 저장된 테이블에서 회전 물체를 검출한 특징과 유사한 회전 상태를 가지는 특징을 추출하여 회전 물체 검출에 사용하는 것을 특징으로 하는 전자 장치.
9. 전자 장치의 동작 방법에 있어서,

   적어도 하나의 원본 이미지에서 얻어지는 적어도 하나의 관심 영역 이미지를 같은 자세가 되도록 생성하는 동작;

   상기 생성한 관심 영역 이미지에서 원하지 않는 영역에 특징점이 생기지 않도록 검출기 모델을 생성하는 동작;

   입력 이미지에 대하여 특징을 추출하고, 상기 추출된 특징을 기반으로 회전된 상태의 특징을 미리 저장된 테이블에서 추출하는 동작; 및

   상기 입력 이미지에 대한 특징 및 상기 회전된 상태의 특징과 상기 검출기 모델을 이용하여 회전 물체를 검출하는 동작을 포함하는 것을 특징으로 하는 전자 장치의 동작 방법.
10. 제 9항에 있어서,

    상기 적어도 하나의 관심 영역 이미지를 같은 자세가 되도록 생성하는 동작은,

    상기 적어도 하나의 원본 이미지에서 객체를 대표하는 특징점의 좌표를 기반으로 객체의 회전을 확인하는 동작; 및

    상기 회전된 객체가 미리 정해진 방향으로 향하도록 보정하여 상기 관심 영역 이미지를 같은 자세가 되도록 생성하는 동작을 포함하는 것을 특징으로 하는 전자 장치의 동작 방법.
11. 제 9항에 있어서,

    상기 적어도 하나의 관심 영역 이미지를 같은 자세가 되도록 생성하는 동작은,

    상기 같은 자세가 되도록 생성된 관심 영역 이미지를 동일한 크기로 생성하는 동작을 더 포함하는 것을 특징으로 하는 전자 장치의 동작 방법.
12. 제 9항에 있어서,

    상기 생성한 관심 영역 이미지에서 원하지 않는 영역에 특징점이 생기지 않도록 검출기 모델을 생성하는 동작은,

    약한 분류기를 위한 룩업 테이블을 생성한 후, 이미지간 에러를 최소하는 위치를 확인하는 동작; 및

    상기 위치가 마스크에 해당할 경우, 해당 위치에 대한 룩업 테이블을 생성하는 동작을 포함하는 것을 특징으로 하는 전자 장치의 동작 방법.
13. 제 9항에 있어서,

    상기 회전 물체를 검출하는 동작은,

    상기 입력 이미지에 대한 특징 및 상기 회전된 상태의 특징 가운데 상기 회전 물체를 검출한 특징을 우선 순위로 설정하여 회전 물체를 검출하는 동작을 포함하는 것을 특징으로 하는 전자 장치의 동작 방법.
14. 제 9항에 있어서,

    상기 추출된 특징은,

    LBP(Local Binary Pattern) 변환 값임을 특징으로 하는 전자 장치의 동작 방법.
15. 제 9항에 있어서,

    상기 테이블은,

    회전되지 않은 이미지의 LBP 변환 값이 가질 수 있는 회전 각도에 대응하는 LBP 변환 값을 정의한 테이블임을 특징으로 하는 전자 장치의 동작 방법.
16. 제 13항에 있어서,

    상기 회전 물체를 검출하는 동작은,

    상기 회전 물체를 검출한 경우, 상기 미리 저장된 테이블에서 회전 물체를 검출한 특징과 유사한 회전 상태를 가지는 특징을 추출하여 회전 물체를 검출하는 동작을 포함하는 것을 특징으로 하는 전자 장치의 동작 방법.

Images