KR101761062B1 - 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법 및 시스템 - Google Patents

근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법 및 시스템 Download PDF

Info

Publication number
KR101761062B1
KR101761062B1 KR1020160057128A KR20160057128A KR101761062B1 KR 101761062 B1 KR101761062 B1 KR 101761062B1 KR 1020160057128 A KR1020160057128 A KR 1020160057128A KR 20160057128 A KR20160057128 A KR 20160057128A KR 101761062 B1 KR101761062 B1 KR 101761062B1
Authority
KR
South Korea
Prior art keywords
image
fingertip
estimating
low
finger
Prior art date
Application number
KR1020160057128A
Other languages
English (en)
Inventor
이기혁
손정민
구지성
김선준
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020160057128A priority Critical patent/KR101761062B1/ko
Application granted granted Critical
Publication of KR101761062B1 publication Critical patent/KR101761062B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법 및 시스템이 제시된다. 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법은, 이미지 센서로부터 각 프레임의 로우(Raw) 이미지를 획득하는 단계; 각 프레임의 상기 로우(Raw) 이미지로부터 이미지 이로전(Erosion) 및 딜레이션(Dilation)을 반복한 결과를 빼는 단계; 및 가우시안(Gaussian) 템플릿과 로우(Raw) 이미지 사이의 오차 함수(Error Function)의 값이 가장 낮은 로우(Raw) 이미지 상의 위치를 손가락 끝의 위치로 추정하는 단계를 포함할 수 있다.

Description

근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법 및 시스템{Fingertip Tracking Method and System on the Optical Hover Tracking Touchpad with Low Resolution}
아래의 실시예들은 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법 및 시스템에 관한 것이다.
최근 많은 장치들에서 손가락의 근접 상태와 그 위치를 감지하는 기술이 사용되고 있다. 이러한 근접감지 기술을 구현하기 위해서는 광학/정전기 이미지로부터 손가락 끝을 추출하는 이미지 처리 방법이 필요하다. 여러 연구들에서는 터치 혹은 근접 상태의 손가락 끝 위치를 추출하기 위해 다양한 이미지 처리 방법을 사용하고 있다.
예컨대, 정전기식 이미지를 사용하는 경우 가장 높은 캐패시터 값(capacitor value)를 가지는 위치를 사용하거나 주변부의 캐패시터 값(capacitor value)을 활용하여 모델링을 하는 방법을 사용할 수 있다.
다른 예로, 카메라/깊이(Depth) 이미지를 사용하는 경우 로우(Raw) 이미지에서 배경 차분(Background Subtraction)을 진행한 결과에서 가장 밝은 위치를 찾거나, 윤곽점(Contour Point)의 벡터(Vector) 값을 활용하여 피크 탐지(peak detection)를 수행할 수 있다.
또 다른 예로, 적외선을 활용한 광학 이미징(Optical Imaging)을 쓰는 경우 배경 차분(Background Subtraction) 후 가장 밝은 값을 나타내는 위치를 찾거나 가우시안(Gaussian) 템플릿이 가장 알맞은 위치를 찾을 수 있다.
기존에 사용된 이미지 처리 방법 중 실제 카메라 이미지나 깊이 이미지(depth image)를 사용하는 경우에는 이미지의 해상도가 높아 이미지에 분명히 나타나는 손가락 형태를 분리하여 피크(peak) 위치를 찾을 수 있다. 반면, 해상도가 낮은 경우에는 가장 높은 밝기 값을 갖는 위치를 바탕으로 손가락 끝 위치를 추출할 수 있다. 그런데 이 방법은 손가락 외 손바닥 등의 넓은 부위가 가장 밝은 값을 보이는 경우에 정확한 위치를 추정하는데 한계가 있다.
한국공개특허 10-2012-0071230호는 이러한 증강 현실 환경에서 손가락 끝 트래킹 방법 및 이를 위한 장치에 관한 것으로, 증강 현실 환경에서 사용자의 손 모양을 인식하여 증강 현실과 사용자간의 상호작용을 제공하는 손가락 끝 트래킹 방법 및 이를 위한 장치에 관한 기술을 기재하고 있다.
실시예들은 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법 및 시스템에 관하여 기술하며, 보다 구체적으로 새로운 이미지 처리 방법을 통해 저해상도의 근접감지 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 보다 정확하게 추정하는 기술을 제공한다.
실시예들은 이미지 이로전(Erosion) 및 딜레이션(Dilation) 과정을 통해 손가락 끝을 강조함으로써, 저해상도 광학식 터치패드에서 손가락 끝의 위치를 정확하게 추정하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법 및 시스템을 제공하는데 있다.
실시예들은 최적화 알고리즘을 통해 가장 가우시안(Gaussian) 형태에 알맞은 손가락 끝을 추정하고, 최적화 이전에 손가락 끝의 위치를 대략적으로 추정하는 방법을 제공하여 신속한 최적화가 가능한 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법 및 시스템을 제공하는데 있다.
일 실시예에 따른 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법은, 이미지 센서로부터 각 프레임의 로우(Raw) 이미지를 획득하는 단계; 각 프레임의 상기 로우(Raw) 이미지로부터 이미지 이로전(Erosion) 및 딜레이션(Dilation)을 반복한 결과를 빼는 단계; 및 가우시안(Gaussian) 템플릿과 로우(Raw) 이미지 사이의 오차 함수(Error Function)의 값이 가장 낮은 로우(Raw) 이미지 상의 위치를 손가락 끝의 위치로 추정하는 단계를 포함한다.
상기 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수의 값이 가장 낮은 로우(Raw) 이미지 상의 위치를 손가락 끝의 위치로 추정하는 단계는, 상기 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수를 정의하는 단계; 및 상기 오차 함수의 값이 가장 낮은 위치를 찾기 위해 최적화(Optimization) 과정을 통해 손가락 끝의 위치를 추정하는 단계를 포함할 수 있다.
이진(Binary) 이미지를 생성하는 단계; 및 각 손가락의 상기 이진(Binary) 이미지에서 손가락 끝으로 추정되는 위치를 예측하는 단계를 더 포함하고, 상기 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수의 값이 가장 낮은 로우(Raw) 이미지 상의 위치를 손가락 끝의 위치로 추정하는 단계는, 상기 예측된 손가락 끝의 위치에서 상기 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수의 값이 가장 낮은 위치를 찾기 위해 최적화(Optimization) 과정을 통해 손가락 끝의 위치를 추정하는 단계일 수 있다.
복수의 손가락이 터치패드 위에 있는 경우, 각 손가락에 대해서 손가락 끝을 찾기 위한 사전 작업으로 연결 요소 라벨링(Connected Component Labeling)을 수행하는 단계를 더 포함하고, 상기 이진(Binary) 이미지를 생성하는 단계는, 각 라벨(Label) 이미지에 대해 상기 이진(Binary) 이미지를 생성하는 단계일 수 있다.
상기 복수의 손가락이 터치패드 위에 있는 경우, 각 손가락에 대해서 손가락 끝을 찾기 위한 사전 작업으로 연결 요소 라벨링(Connected Component Labeling)을 수행하는 단계는, 획득한 손가락 끝 이미지의 각 윤곽(Contour) 별로 체인 코드를 생성하고 체인 코드의 모든 점을 꼭지점으로 변환하여 라벨(Label)을 수행할 수 있다.
상기 이진(Binary) 이미지를 생성하는 단계는, 각 라벨(Label) 이미지에 대해 특정 밝기 값을 기준으로 이진화된 이진(Binary) 이미지를 생성하는 단계이고, 상기 각 손가락의 상기 이진(Binary) 이미지에서 손가락 끝으로 추정되는 위치를 예측하는 단계는, 상기 이진(Binary) 이미지 내에서 정사각형 윈도우를 만들어 윈도우의 상, 하, 좌, 우 가장자리(edge)의 0의 개수와 가장자리가 아닌 내부의 평균 밝기 값을 구하는 단계; 및 상기 윈도우의 상, 하, 좌, 우 가장자리에 0이 일정 개수 이상 존재하는 동시에 상기 윈도우의 상부 가장자리가 모두 0인 위치 중 가장자리가 아닌 내부의 평균 밝기 값이 가장 높은 윈도우의 중심을 손가락 끝으로 예측하는 단계를 포함할 수 있다.
상기 오차 함수의 값이 가장 낮은 위치를 찾기 위해 최적화(Optimization) 과정을 통해 손가락 끝의 위치를 추정하는 단계는, 상기 오차 함수의 값이 가장 낮은 위치인지 여부를 확인하기 위해 신뢰 구역(Trust Region)의 상기 최적화 과정을 통해 검증하는 단계를 포함할 수 있다.
상기 각 프레임의 상기 로우(Raw) 이미지로부터 이미지 이로전(Erosion) 및 딜레이션(Dilation)을 반복한 결과를 빼는 단계는, 상기 로우(Raw) 이미지에서 상기 이로전(Erosion)과 딜레이션(Dilation)을 반복하여 손가락 근위부(Finger Proximal) 만을 강조한 이미지를 얻고, 상기 로우(Raw) 이미지에서 손가락 근위부(Finger Proximal) 이미지를 빼(substitute) 손가락 끝 이미지를 획득할 수 있다.
다른 실시예에 따른 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 시스템은, 이미지 센서로부터 각 프레임의 로우(Raw) 이미지를 획득하는 로우 이미지 수집부; 각 프레임의 상기 로우(Raw) 이미지로부터 이미지 이로전(Erosion) 및 딜레이션(Dilation)을 반복한 결과를 빼는 이로전 및 딜레이션부; 및 가우시안(Gaussian) 템플릿과 로우(Raw) 이미지 사이의 오차 함수(Error Function)의 값이 가장 낮은 로우(Raw) 이미지 상의 위치를 손가락 끝의 위치로 추정하는 위치 추정부를 포함한다.
상기 위치 추정부는, 상기 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수를 정의하는 오차 함수부; 및 상기 오차 함수의 값이 가장 낮은 위치를 찾기 위해 최적화(Optimization) 과정을 통해 손가락 끝의 위치를 추정하는 최적화 알고리즘을 포함할 수 있다.
이진(Binary) 이미지를 생성하는 이진 이미지 생성부; 및 각 손가락의 상기 이진(Binary) 이미지에서 손가락 끝으로 추정되는 위치를 예측하는 위치 예측부를 더 포함하고, 상기 위치 추정부는, 상기 위치 예측부에서 예측된 손가락 끝의 위치에서 상기 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수의 값이 가장 낮은 위치를 찾기 위해 최적화(Optimization) 과정을 통해 손가락 끝의 위치를 추정할 수 있다.
복수의 손가락이 터치패드 위에 있는 경우, 각 손가락에 대해서 손가락 끝을 찾기 위한 사전 작업으로 연결 요소 라벨링(Connected Component Labeling)을 수행하는 라벨링부를 더 포함하고, 상기 이진 이미지 생성부는, 상기 라벨링부에 의해 생성된 각 라벨(Label) 이미지에 대해 상기 이진(Binary) 이미지를 생성할 수 있다.
상기 라벨링부는, 획득한 손가락 끝 이미지의 각 윤곽(Contour) 별로 체인 코드를 생성하고 체인 코드의 모든 점을 꼭지점으로 변환하여 라벨(Label)을 수행할 수 있다.
상기 이진 이미지 생성부는, 각 라벨(Label) 이미지에 대해 특정 밝기 값을 기준으로 이진화된 이진(Binary) 이미지를 생성하고, 상기 위치 예측부는, 상기 이진(Binary) 이미지 내에서 정사각형 윈도우를 만들어 윈도우의 상, 하, 좌, 우 가장자리(edge)의 0의 개수와 가장자리가 아닌 내부의 평균 밝기 값을 구하고, 상기 윈도우의 상, 하, 좌, 우 가장자리에 0이 일정 개수 이상 존재하는 동시에 상기 윈도우의 상부 가장자리가 모두 0인 위치 중 가장자리가 아닌 내부의 평균 밝기 값이 가장 높은 윈도우의 중심을 손가락 끝으로 예측할 수 있다.
상기 최적화 알고리즘은, 상기 오차 함수의 값이 가장 낮은 위치인지 여부를 확인하기 위해 신뢰 구역(Trust Region)의 상기 최적화 과정을 통해 검증할 수 있다.
상기 이로전 및 딜레이션부는, 상기 로우(Raw) 이미지에서 상기 이로전(Erosion)과 딜레이션(Dilation)을 반복하여 손가락 근위부(Finger Proximal) 만을 강조한 이미지를 얻고, 상기 로우(Raw) 이미지에서 손가락 근위부(Finger Proximal) 이미지를 빼(substitute) 손가락 끝 이미지를 획득할 수 있다.
실시예들에 따르면 이미지 이로전(Erosion) 및 딜레이션(Dilation) 과정을 통해 손가락 끝을 강조함으로써, 저해상도 광학식 터치패드에서 손가락 끝의 위치를 정확하게 추정하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법 및 시스템을 제공할 수 있다.
실시예들에 따르면 최적화 알고리즘을 통해 가장 가우시안(Gaussian) 형태에 알맞은 손가락 끝을 추정하고, 최적화 이전에 손가락 끝의 위치를 대략적으로 추정하는 방법을 제공하여 신속한 최적화가 가능한 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법 및 시스템을 제공할 수 있다.
도 1은 일 실시예에 따른 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 시스템을 나타내는 블록도이다.
도 2는 일 실시예에 따른 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법을 나타내는 흐름도이다.
도 3은 일 실시예에 따른 연결 요소 라벨링 결과를 나타내는 도면이다.
도 4는 일 실시예에 따른 대략적으로 추정된 손가락 끝의 위치를 근접 이미지를 나타내는 도면이다.
도 5는 일 실시예에 따른 윈도우가 손가락 끝에 위치했을 때의 예를 나타내는 도면이다.
도 6은 일 실시예에 따른 손가락 끝의 위치를 추정한 결과 이미지를 나타내는 도면이다.
도 7은 일 실시예에 따른 다양한 상황에서 손가락 끝을 찾는 예를 나타내는 도면이다.
도 8은 일 실시예에 따른 다양한 상황에서 손가락 끝을 찾는 다른 예를 나타내는 도면이다.
도 9는 일 실시예에 따른 다양한 상황에서 손가락 끝을 찾는 또 다른 예를 나타내는 도면이다.
도 10은 일 실시예에 따른 다양한 상황에서 손가락 끝을 찾는 또 다른 예를 나타내는 도면이다.
이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
아래의 실시예들은 저해상도의 근접감지 광학식 터치패드에서 근접 및 터치 상태에 있는 여러 손가락의 손가락 끝 위치를 추정하는 기술에 관한 것이다. 고해상도의 이미지와 달리 저해상도의 광학 이미지에서는 손가락의 분명한 형태를 구분하기 어렵기 때문에 기존의 손가락 형태를 구분하는 이미지 처리 방식을 적용하기 어렵다. 또한 기존의 저해상도 광학 이미지에서 사용되는 가장 밝은 위치를 손가락 끝으로 추정하는 방법은 손가락 외 손바닥 등의 넓은 부위가 가장 밝은 값을 보이는 경우에 정확한 위치를 추정하는데 한계가 있다.
본 실시예들은 새로운 이미지 처리 방법을 통해 저해상도의 광학 이미지에서 가장 밝은 위치를 사용하는 기존 이미지 처리 방법의 한계를 해결하고, 근접 및 터치 상태에 있는 여러 손가락의 손가락 끝 위치를 보다 정확하게 추정할 수 있다.
도 1은 일 실시예에 따른 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 시스템을 나타내는 블록도이다.
도 1을 참조하면, 일 실시예에 따른 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 시스템(100)은 로우 이미지 수집부(110), 이로전 및 딜레이션부(120), 및 위치 추정부(160)를 포함하여 이루어질 수 있다. 실시예에 따라 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 시스템(100)은 라벨링부(130), 이진 이미지 생성부(140), 및 위치 예측부(150)를 더 포함하여 이루어질 수 있다.
로우 이미지 수집부(110)는 이미지 센서로부터 각 프레임의 로우(Raw) 이미지를 획득할 수 있다.
실제 카메라 이미지나 깊이 이미지(depth image)를 사용하는 경우에는 이미지의 해상도가 높아 이미지에 분명히 나타나는 손가락 형태를 분리하여 피크(peak) 위치를 찾을 수 있다. 반면, 해상도가 낮은 경우에는 가장 높은 밝기 값을 갖는 위치를 바탕으로 손가락 끝 위치를 추출할 수 있다. 그런데 이 방법은 손가락 외 손바닥 등의 넓은 부위가 가장 밝은 값을 보이는 경우에 정확한 위치를 추정하는데 한계가 있다. 이를 해결하기 위해 이미지 이로전(Erosion) 및 딜레이션(Dilation) 과정을 통해 손가락 끝을 강조하는 방법을 제공할 수 있다.
이로전 및 딜레이션부(120)는 각 프레임의 로우(Raw) 이미지로부터 이미지 이로전(Erosion) 및 딜레이션(Dilation)을 반복한 결과를 뺄 수 있다.
이로전 및 딜레이션부(120)는 로우(Raw) 이미지에서 이로전(Erosion)과 딜레이션(Dilation)을 반복하여 손가락 근위부(Finger Proximal) 만을 강조한 이미지를 얻고, 로우(Raw) 이미지에서 손가락 근위부(Finger Proximal) 이미지를 빼(substitute) 손가락 끝 이미지를 획득할 수 있다.
라벨링부(130)는 복수의 손가락이 터치패드 위에 있는 경우, 각 손가락에 대해서 손가락 끝을 찾기 위한 사전 작업으로 연결 요소 라벨링(Connected Component Labeling)을 수행할 수 있다.
더 구체적으로, 라벨링부(130)는 획득한 손가락 끝 이미지의 각 윤곽(Contour) 별로 체인 코드를 생성하고 체인 코드의 모든 점을 꼭지점으로 변환하여 라벨(Label)을 수행할 수 있다.
그리고, 이진 이미지 생성부(140)는 이진(Binary) 이미지를 생성하는 것으로, 더 구체적으로 라벨링부(130)에 의해 생성된 각 라벨(Label) 이미지에 대해 이진(Binary) 이미지를 생성할 수 있다.
위치 예측부(150)는 각 손가락의 이진(Binary) 이미지에서 손가락 끝으로 추정되는 위치를 예측할 수 있다. 이에 따라 위치 추정부(160)는 위치 예측부(150)에서 예측된 손가락 끝의 위치에서 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수의 값이 가장 낮은 위치를 찾기 위해 최적화(Optimization) 과정을 통해 손가락 끝의 위치를 추정할 수 있다.
특히, 이진 이미지 생성부(140)는 각 라벨(Label) 이미지에 대해 특정 밝기 값을 기준으로 이진화된 이진(Binary) 이미지를 생성하고, 위치 예측부(150)는 이진(Binary) 이미지 내에서 정사각형 윈도우를 만들어 가장자리가 아닌 내부의 평균 밝기 값이 가장 높은 윈도우의 중심을 손가락 끝으로 예측할 수 있다.
더 구체적으로, 위치 예측부(150)는 이진(Binary) 이미지 내에서 정사각형 윈도우를 만들어 윈도우의 상, 하, 좌, 우 가장자리(edge)의 0의 개수와 가장자리가 아닌 내부의 평균 밝기 값을 구하고, 윈도우의 상, 하, 좌, 우 가장자리에 0이 일정 개수 이상 존재하는 동시에 윈도우의 상부 가장자리가 모두 0인 위치 중 가장자리가 아닌 내부의 평균 밝기 값이 가장 높은 윈도우의 중심을 손가락 끝으로 예측할 수 있다.
위치 추정부(160)는 가우시안(Gaussian) 템플릿과 로우(Raw) 이미지 사이의 오차 함수(Error Function)의 값이 가장 낮은 로우(Raw) 이미지 상의 위치를 손가락 끝의 위치로 추정할 수 있다.
더 구체적으로 위치 추정부(160)는 오차 함수부 및 최적화 알고리즘을 포함할 수 있다.
오차 함수부는 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수를 정의할 수 있다.
최적화 알고리즘은 오차 함수의 값이 가장 낮은 위치를 찾기 위해 최적화(Optimization) 과정을 통해 손가락 끝의 위치를 추정할 수 있다.
최적화 알고리즘은 오차 함수의 값이 가장 낮은 위치인지 여부를 확인하기 위해 신뢰 구역(Trust Region)의 최적화 과정을 통해 검증할 수 있다.
이와 같이 최적화 알고리즘을 통해 가장 가우시안(Gaussian) 형태에 알맞은 손가락 끝을 추정하고, 빠른 최적화를 위해 최적화 이전에 손가락 끝의 위치를 대략적으로 추정할 수 있다.
실시예들에 따르면 이미지 이로전(Erosion) 및 딜레이션(Dilation) 과정을 통해 손가락 끝을 강조함으로써, 저해상도 광학식 터치패드에서 손가락 끝의 위치를 정확하게 추정하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법 및 시스템을 제공할 수 있다.
또한, 실시예들에 따르면 최적화 알고리즘을 통해 가장 가우시안(Gaussian) 형태에 알맞은 손가락 끝을 추정하고, 최적화 이전에 손가락 끝의 위치를 대략적으로 추정하는 방법을 제공하여 신속한 최적화가 가능하다.
도 2는 일 실시예에 따른 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법을 나타내는 흐름도이다.
도 2를 참조하면, 이미지 센서로부터 얻은 로우(Raw) 이미지로부터 손가락 끝 위치를 추정하는 과정을 나타내는 것으로, 실시예들에 따르면 새로운 이미지 처리 방법을 통해 저해상도의 근접감지 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 보다 정확하게 추정할 수 있다.
일 실시예에 따른 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법은 일 실시예에 따른 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법은, 이미지 센서로부터 각 프레임의 로우(Raw) 이미지를 획득하는 단계(210), 각 프레임의 상기 로우(Raw) 이미지로부터 이미지 이로전(Erosion) 및 딜레이션(Dilation)을 반복한 결과를 빼는 단계(220), 및 가우시안(Gaussian) 템플릿과 로우(Raw) 이미지 사이의 오차 함수(Error Function)의 값이 가장 낮은 로우(Raw) 이미지 상의 위치를 손가락 끝의 위치로 추정하는 단계(260)를 포함하여 이루어질 수 있다.
여기서 2개 이상의 손가락이 터치패드 위에 있는 경우, 각 손가락에 대해서 손가락 끝을 찾기 위한 사전 작업으로 연결 요소 라벨링(Connected Component Labeling)을 수행하는 단계(230)를 더 포함하여 이루어질 수 있다.
또한, 이진(Binary) 이미지를 생성하는 단계(240) 및 각 손가락의 상기 이진(Binary) 이미지에서 손가락 끝으로 추정되는 위치를 예측하는 단계(250)를 더 포함하여 이루어질 수 있다.
저해상도 광학식 터치패드에서 각 손가락 끝 주변의 밝기 데이터는 가우시안(Gaussian) 형태를 띤다. 따라서 가우시안(Gaussian) 템플릿과 로우(Raw) 이미지 사이의 오차 함수(Error Function)를 정의하고 오차 함수(Error Function)의 값이 가장 낮은 로우(Raw) 이미지 상의 위치를 손가락 끝이라 추정할 수 있다. 그러나 손가락 끝 외의 손바닥 등 넓은 부위가 밝은 값을 보이는 경우에는 가우시안(Gaussian) 템플릿과의 매칭만으로는 손가락 끝의 위치를 추정하기 어렵다. 이를 해결하기 위해 이미지 이로전(Erosion) 및 딜레이션(Dilation) 과정을 통해 손가락 끝을 강조하는 방법을 제공할 수 있다. 더불어 최적화 알고리즘을 통해 가장 가우시안(Gaussian) 형태에 알맞은 손가락 끝을 추정하는 방법을 제공하고, 빠른 최적화를 위해 최적화 이전에 손가락 끝의 위치를 대략적으로 추정하는 방법을 제공할 수 있다.
실시예들에 따르면 저해상도 근접감지 광학식 터치패드에서 사용되던 기존 이미지 처리 방법의 한계인 손가락 외의 부위가 가장 밝을 때 오작동한다는 점을 해결하면서 보다 정확한 손가락 끝의 위치를 추출할 수 있다.
아래에서는 일 실시예에 따른 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법의 각 단계에 대해 상세히 설명하기로 한다.
일 실시예에 따른 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법은 도 1에서 설명한 일 실시예에 따른 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 시스템을 이용하여 더 구체적으로 설명할 수 있다.
일 실시예에 따른 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 시스템(100)은 로우 이미지 수집부(110), 이로전 및 딜레이션부(120), 및 위치 추정부(160)를 포함하여 이루어질 수 있다. 실시예에 따라 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 시스템(100)은 라벨링부(130), 이진 이미지 생성부(140), 및 위치 예측부(150)를 더 포함하여 이루어질 수 있다.
단계(210)에서, 로우 이미지 수집부(110)는 이미지 센서로부터 각 프레임의 로우(Raw) 이미지를 획득할 수 있다.
단계(220)에서, 이로전 및 딜레이션부(120)는 각 프레임의 로우(Raw) 이미지로부터 이미지 이로전(Erosion) 및 딜레이션(Dilation)을 반복한 결과를 뺄 수 있다.
손가락 끝이 비교적 밝다는 점을 활용하기 위하여 손가락 끝 부분이 아니면서 높은 밝기 값을 보이는 손가락 근위부(Finger Proximal) 부위의 이미지를 최대한 제거해야 한다. 이에 따라 이로전 및 딜레이션부(120)는 로우(Raw) 이미지에서 이로전(Erosion)과 딜레이션(Dilation)을 반복하여 손가락 근위부(Finger Proximal) 만을 강조한 이미지를 얻고, 로우(Raw) 이미지에서 손가락 근위부(Finger Proximal) 이미지를 빼(substitute) 손가락 끝 이미지를 획득할 수 있다.
단계(230)에서, 라벨링부(130)는 복수의 손가락이 터치패드 위에 있는 경우, 각 손가락에 대해서 손가락 끝을 찾기 위한 사전 작업으로 연결 요소 라벨링(Connected Component Labeling)을 수행할 수 있다. 즉, 2개 이상의 손가락이 터치패드 위에 있는 경우에 각 손가락에 대해서 손가락 끝을 찾아야 한다. 이와 같이 각 손가락에 대한 손가락 끝을 용이하게 찾기 위해서 각 손가락을 구분하기 위한 연결 요소 라벨링(Connected Component Labeling)을 수행할 수 있다.
라벨링부(130)는 획득한 손가락 끝 이미지의 각 윤곽(Contour) 별로 체인 코드를 생성하고 체인 코드의 모든 점을 꼭지점으로 변환하여 라벨(Label)을 수행할 수 있다. 이후, 이미지에서 각 라벨(Label) 부분에 대해 손가락 끝으로 추정되는 대략적인 위치를 찾아내기 위해서 이진(Binary) 이미지를 활용할 수 있다.
단계(240)에서, 이진 이미지 생성부(140)는 이진(Binary) 이미지를 생성할 수 있다. 더 구체적으로 이진 이미지 생성부(140)는 라벨링부(130)에 의해 생성된 각 라벨(Label) 이미지에 대해 이진(Binary) 이미지를 생성할 수 있다.
단계(250)에서, 위치 예측부(150)는 각 손가락의 이진(Binary) 이미지에서 손가락 끝으로 추정되는 위치를 예측할 수 있다. 이에 따라 위치 추정부(160)는 위치 예측부(150)에서 예측된 손가락 끝의 위치에서 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수의 값이 가장 낮은 위치를 찾기 위해 최적화(Optimization) 과정을 통해 손가락 끝의 위치를 추정할 수 있다.
특히, 이진 이미지 생성부(140)는 각 라벨(Label) 이미지에 대해 특정 밝기 값을 기준으로 이진화된 이진(Binary) 이미지를 생성하고, 위치 예측부(150)는 이진(Binary) 이미지 내에서 정사각형 윈도우를 만들어 가장자리가 아닌 내부의 평균 밝기 값이 가장 높은 윈도우의 중심을 손가락 끝으로 예측할 수 있다.
더 구체적으로, 위치 예측부(150)는 이진(Binary) 이미지 내에서 정사각형 윈도우를 만들어 윈도우의 상, 하, 좌, 우 가장자리(edge)의 0의 개수와 가장자리가 아닌 내부의 평균 밝기 값을 구하고, 윈도우의 상, 하, 좌, 우 가장자리에 0이 일정 개수 이상 존재하는 동시에 윈도우의 상부 가장자리가 모두 0인 위치 중 가장자리가 아닌 내부의 평균 밝기 값이 가장 높은 윈도우의 중심을 손가락 끝으로 예측할 수 있다.
단계(260)에서, 위치 추정부(160)는 가우시안(Gaussian) 템플릿과 로우(Raw) 이미지 사이의 오차 함수(Error Function)의 값이 가장 낮은 로우(Raw) 이미지 상의 위치를 손가락 끝의 위치로 추정할 수 있다.
더 구체적으로 위치 추정부(160)는 오차 함수부 및 최적화 알고리즘을 포함할 수 있다.
오차 함수부는 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수를 정의할 수 있다.
최적화 알고리즘은 오차 함수의 값이 가장 낮은 위치를 찾기 위해 최적화(Optimization) 과정을 통해 손가락 끝의 위치를 추정할 수 있다.
예컨대 손가락 끝과 주변부의 밝기 값을 관찰한 결과, 손가락 끝이 가장 밝고 주변으로 갈수록 어두워지는 가우시안(Gaussian) 형태를 보일 수 있다. 이를 이용하여 정사각형 가우시안(Gaussian) 템플릿과 로우(Raw) 이미지 사이의 오차 함수(Error Function) 값이 가장 낮은 값을 가지는 로우(Raw) 이미지 상의 위치를 손가락 끝이라 판단할 수 있다.
가장 낮은 오차 함수(Error Function) 값을 갖는 위치를 확인하기 위해 신뢰 구역(Trust Region)의 최적화 과정을 사용할 수 있다. 최적화 과정(105)에서 사용되는 오차 함수(Error Function)는 다음 식과 같이 표현될 수 있다.
[수학식 1]
Figure 112016044552810-pat00001
여기서, x0, y0, z0는 최적화 파라미터를 나타낼 수 있으며, 더 구체적으로 손가락 끝 위치 (x0, y0)와 최적 비례계수 z0으로 나타낼 수 있다. G(x, y)는 로우(Raw) 이미지 상 (x, y) 좌표의 밝기 데이터를 나타내고, k는 오차 함수(Error Function) 값을 얻을 정사각형 윈도우 크기를 지정하며,
Figure 112016044552810-pat00002
는 가우시안(Gaussian) 템플릿에 사용되는 가우시안 함수(Gaussian function)의 폭을 의미할 수 있다.
즉, 최적화 알고리즘은 오차 함수의 값이 가장 낮은 위치인지 여부를 확인하기 위해 신뢰 구역(Trust Region)의 최적화 과정을 통해 검증할 수 있다.
이와 같이 실시예들에 따르면 이로전(Erosion) 및 딜레이션(Dilation) 과정을 통해 손가락 끝을 강조함으로써, 저해상도의 근접감지 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 보다 정확하게 추정할 수 있다.
또한, 최적화 알고리즘을 통해 가장 가우시안(Gaussian) 형태에 알맞은 손가락 끝을 추정하고, 최적화 이전에 손가락 끝의 위치를 대략적으로 추정하는 방법을 제공하여 신속한 최적화가 가능하다.
도 3은 일 실시예에 따른 연결 요소 라벨링 결과를 나타내는 도면이다.
도 3을 참조하면, 로우(Raw) 이미지로부터 이로전(Erosion)과 딜레이션(Dilation)의 과정을 반복한 결과를 뺀(substitute) 이미지에 연결 요소 라벨링(Connected Component Labeling)을 수행한 결과 이미지의 예를 나타낸다. 즉, 연결 요소 라벨링(Connected Component Labeling) 결과 이미지를 나타내는 것이다.
손가락 끝이 비교적 밝다는 점을 활용하기 위하여 손가락 끝 부분이 아니면서 높은 밝기 값을 보이는 손가락 근위부(Finger Proximal) 부위의 이미지를 최대한 제거해야 한다. 이를 위해 로우(Raw) 이미지에서 이로전(Erosion)과 딜레이션(Dilation)을 반복하여 손가락 근위부(Finger Proximal) 만을 강조한 이미지를 얻고 로우(Raw) 이미지에서 손가락 근위부(Finger Proximal) 이미지를 빼(substitute) 손가락 끝 이미지를 획득할 수 있다.
적어도 2개 이상의 손가락이 터치패드 위에 있는 경우 각 손가락에 대해서 손가락 끝을 찾아야 한다. 이와 같이 각 손가락에 대한 손가락 끝을 용이하게 찾기 위해서 각 손가락을 구분하기 위한 연결 요소 라벨링(Connected Component Labeling)을 수행할 수 있다.
다시 말하면, 획득한 손가락 끝 이미지의 각 윤곽(Contour) 별로 체인 코드를 생성하고 체인 코드의 모든 점을 꼭지점으로 변환하여 라벨(Label)을 할 수 있다.
도 4는 일 실시예에 따른 대략적으로 추정된 손가락 끝의 위치를 근접 이미지를 나타내는 도면이다.
도 4를 참조하면, 각 라벨(Label) 이미지의 이진(Binary) 이미지 데이터로부터 손가락 끝 특징을 사용한 윈도우 탐색을 통해 얻은 대략적인 손가락 끝의 위치를 보여주는 예이다. 이는, 대략적으로 추정된 손가락 끝의 위치를 근접 이미지에 나타낸 것으로, 도 4a는 검지 손가락을 나타내며 도 4b는 오른손의 엄지 손가락을 나타낸다. 여기서 이미지에서 각 라벨(Label) 부분에 대해 손가락 끝으로 추정되는 대략적인 위치를 찾아내기 위해서 이진(Binary) 이미지를 활용할 수 있다.
라벨(Label) 이미지에 대해 특정 밝기 값을 기준으로 이진화된 이진(Binary) 이미지를 만들 수 있다. 이진(Binary) 이미지 내에서 정사각형 윈도우를 만들어 윈도우의 상, 하, 좌, 우 가장자리(edge)의 0의 개수와 가장자리가 아닌 내부의 평균 밝기 값을 구할 수 있다. 윈도우의 상, 하, 좌, 우 가장자리에 0이 일정 개수 이상 존재하면서 윈도우의 위 가장자리가 모두 0인 위치 중 가장자리가 아닌 내부의 평균 밝기 값이 가장 높은 윈도우의 중심을 손가락 끝이라고 추정할 수 있다.
도 5는 일 실시예에 따른 윈도우가 손가락 끝에 위치했을 때의 예를 나타내는 도면이다.
도 5를 참조하면, 각 라벨(Label) 이미지의 이진(Binary) 이미지 데이터로부터 대략적인 손가락 끝 위치를 예측하는 과정 중 정사각형 윈도우가 손가락 끝에 위치했을 때의 예를 나타낸다. 즉, 대략적인 손가락 끝 위치를 찾는 과정 중 윈도우가 손가락 끝에 위치했을 때의 예를 나타낸다.
예를 들어 윈도우 가장자리의 0의 개수는 일정 개수 이상이 되며 상부의 가장자리가 모두 0이 될 수 있다. 그리고 가장자리가 아닌 내부의 평균 밝기 값이 가장 높은 위치이기 때문에 해당 윈도우의 중심을 손가락 끝의 대략적인 위치라고 추정할 수 있다.
도 6은 일 실시예에 따른 손가락 끝의 위치를 추정한 결과 이미지를 나타내는 도면이다.
도 6을 참조하면, 모든 과정을 거치고 추정된 손가락 끝 위치를 나타내는 이미지의 예를 나타내는 것으로, 손가락 끝의 위치를 추정한 결과 이미지를 나타낸 것이다. 도 6a는 검지, 중지, 약지의 세 손가락을 나타내며, 도 6b는 양측 엄지 손가락을 나타낸다.
예측한 손가락 끝의 대략적인 추정 위치로부터 보다 정확한 손가락 끝 위치를 찾기 위해서 최적화 과정을 수행할 수 있다. 손가락 끝과 주변부의 밝기 값을 관찰한 결과, 손가락 끝이 가장 밝고 주변으로 갈수록 어두워지는 가우시안(Gaussian) 형태를 보일 수 있다.
이를 이용하여 정사각형 가우시안(Gaussian) 템플릿과 로우(Raw) 이미지 사이의 오차 함수(Error Function) 값이 가장 낮은 값을 가지는 로우(Raw) 이미지 상의 위치를 손가락 끝이라 판단할 수 있다.
그리고 가장 낮은 오차 함수(Error Function) 값을 갖는 위치를 확인하기 위해 신뢰 구역(Trust Region)의 최적화 과정을 사용할 수 있다.
도 7 내지 도 10은 일 실시예에 따른 다양한 상황에서 손가락 끝을 찾는 예를 나타내는 도면이다.
도 7 내지 도 10을 참조하면, 저해상도의 근접감지 광학식 터치패드에서 근접 및 터치 상태에 있는 여러 손가락의 손가락 끝 위치를 추정하는 기술의 적용 예를 확인할 수 있다. 고해상도의 이미지와 달리 저해상도의 광학 이미지에서는 손가락의 분명한 형태를 구분하기 어렵기 때문에 기존의 손가락 형태를 구분하는 이미지 처리 방식을 적용하기 어렵다. 또한 기존의 저해상도 광학 이미지에서 사용되는 가장 밝은 위치를 손가락 끝으로 추정하는 방법은 손가락 외 손바닥 등의 넓은 부위가 가장 밝은 값을 보이는 경우에 정확한 위치를 추정하는데 한계가 있다.
이에 따라 새로운 이미지 처리 방법을 통해 저해상도의 광학 이미지에서 가장 밝은 위치를 사용하는 기존 이미지 처리 방법의 한계를 해결하고, 근접 및 터치 상태에 있는 여러 손가락의 손가락 끝 위치를 보다 정확하게 추정할 수 있다.
저해상도 광학식 터치패드에서 각 손가락 끝 주변의 밝기 데이터는 가우시안(Gaussian) 형태를 띤다. 따라서 가우시안(Gaussian) 템플릿과 로우(Raw) 이미지 사이의 오차 함수(Error Function)를 정의하고 오차 함수(Error Function)의 값이 가장 낮은 로우(Raw) 이미지 상의 위치를 손가락 끝이라 추정할 수 있다. 그러나 손가락 끝 외의 손바닥 등 넓은 부위가 밝은 값을 보이는 경우에는 가우시안(Gaussian) 템플릿과의 매칭만으로는 손가락 끝의 위치를 추정하기 어렵다. 이를 해결하기 위해 이미지 이로전(Erosion) 및 딜레이션(Dilation) 과정을 통해 손가락 끝을 강조하는 방법을 제공할 수 있다. 더불어 최적화 알고리즘을 통해 가장 가우시안(Gaussian) 형태에 알맞은 손가락 끝을 추정하는 방법을 제공하고, 빠른 최적화를 위해 최적화 이전에 손가락 끝의 위치를 대략적으로 추정하는 방법을 제공할 수 있다.
이와 같이 다양한 상황에서 사용자의 손가락 끝을 인지할 수 있다.
실시예들은 노트북이나 가정용 텔레비전에 필요한 터치패드형 리모트 컨트롤러를 광학식 터치패드로 구현하는 경우 작은 범위의 저해상도 이미지만으로도 손가락 끝의 근접 위치를 정확히 추적할 수 있다.
최근 근접감지 기술은 노트북, 휴대폰, 테이블탑 등 다양한 장치들에 적용되고 있으며 근접감지를 활용한 상호작용 시나리오 등도 연구 및 개발되고 있다. 하지만 대부분은 고해상도의 근접 이미지를　제공할 수 있는 장치들로 제한적이고 그렇지 않은 경우에는　오작동의 문제로 널리 사용되지는 않고 있다. 하지만 저해상도의 광학식 이미지로부터 손가락 끝을 충분히 정확하게 추적할 수 있다면 작은 크기의 장치 및 저해상도 이미지를 제공하는 전자 기기들에 근접감지 기술을 적용할 수 있으며, 이를 통해 새로운 전자기기 시장을 생성할 수 있을 것으로 예상된다.
기존의 근접감지 기술이 널리 사용되지 못하는 원인 중 하나는 손가락 끝을 추적하기 위해서 충분히 큰 크기의 고해상도 근접 이미지를　제공하여야 적은 오작동 결과를 얻을 수 있기 때문이다. 본 실시예들을 통해 저해상도의 이미지로부터 손가락 끝 위치를 정확히 추적함으로써 노트북 등의 터치패드/텔레비전용 리모컨 등의 터치패드 등 다양한 크기의 입력 장치에서도 근접감지 기술을 사용할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (16)

  1. 이미지 센서로부터 각 프레임의 로우(Raw) 이미지를 획득하는 단계;
    각 프레임의 상기 로우(Raw) 이미지로부터 이미지 이로전(Erosion) 및 딜레이션(Dilation)을 반복한 결과를 빼는 단계;
    이진(Binary) 이미지를 생성하는 단계;
    각 손가락의 상기 이진(Binary) 이미지에서 손가락 끝으로 추정되는 위치를 예측하는 단계; 및
    가우시안(Gaussian) 템플릿과 로우(Raw) 이미지 사이의 오차 함수(Error Function)의 값이 가장 낮은 로우(Raw) 이미지 상의 위치를 손가락 끝의 위치로 추정하는 단계
    를 포함하고,
    상기 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수의 값이 가장 낮은 로우(Raw) 이미지 상의 위치를 손가락 끝의 위치로 추정하는 단계는,
    예측된 상기 손가락 끝의 위치에서 상기 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수의 값이 가장 낮은 위치를 찾기 위해 최적화(Optimization) 과정을 통해 손가락 끝의 위치를 추정하는 단계이며,
    복수의 손가락이 터치패드 위에 있는 경우, 각 손가락에 대해서 손가락 끝을 찾기 위한 사전 작업으로 연결 요소 라벨링(Connected Component Labeling)을 수행하는 단계를 더 포함하고,
    상기 이진(Binary) 이미지를 생성하는 단계는,
    각 라벨(Label) 이미지에 대해 상기 이진(Binary) 이미지를 생성하는 단계인 것을 특징으로 하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법.
  2. 제1항에 있어서,
    상기 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수의 값이 가장 낮은 로우(Raw) 이미지 상의 위치를 손가락 끝의 위치로 추정하는 단계는,
    상기 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수를 정의하는 단계; 및
    상기 오차 함수의 값이 가장 낮은 위치를 찾기 위해 최적화(Optimization) 과정을 통해 손가락 끝의 위치를 추정하는 단계
    를 포함하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 복수의 손가락이 터치패드 위에 있는 경우, 각 손가락에 대해서 손가락 끝을 찾기 위한 사전 작업으로 연결 요소 라벨링(Connected Component Labeling)을 수행하는 단계는,
    획득한 손가락 끝 이미지의 각 윤곽(Contour) 별로 체인 코드를 생성하고 체인 코드의 모든 점을 꼭지점으로 변환하여 라벨(Label)을 수행하는 것
    을 특징으로 하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법.
  6. 제1항에 있어서,
    상기 이진(Binary) 이미지를 생성하는 단계는,
    각 라벨(Label) 이미지에 대해 특정 밝기 값을 기준으로 이진화된 이진(Binary) 이미지를 생성하는 단계이고,
    상기 각 손가락의 상기 이진(Binary) 이미지에서 손가락 끝으로 추정되는 위치를 예측하는 단계는,
    상기 이진(Binary) 이미지 내에서 정사각형 윈도우를 만들어 윈도우의 상, 하, 좌, 우 가장자리(edge)의 0의 개수와 가장자리가 아닌 내부의 평균 밝기 값을 구하는 단계; 및
    상기 윈도우의 상, 하, 좌, 우 가장자리에 0이 일정 개수 이상 존재하는 동시에 상기 윈도우의 상부 가장자리가 모두 0인 위치 중 가장자리가 아닌 내부의 평균 밝기 값이 가장 높은 윈도우의 중심을 손가락 끝으로 예측하는 단계
    를 포함하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법.
  7. 제2항에 있어서,
    상기 오차 함수의 값이 가장 낮은 위치를 찾기 위해 최적화(Optimization) 과정을 통해 손가락 끝의 위치를 추정하는 단계는,
    상기 오차 함수의 값이 가장 낮은 위치인지 여부를 확인하기 위해 신뢰 구역(Trust Region)의 상기 최적화 과정을 통해 검증하는 단계
    를 포함하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법.
  8. 제1항에 있어서,
    상기 각 프레임의 상기 로우(Raw) 이미지로부터 이미지 이로전(Erosion) 및 딜레이션(Dilation)을 반복한 결과를 빼는 단계는,
    상기 로우(Raw) 이미지에서 상기 이로전(Erosion)과 딜레이션(Dilation)을 반복하여 손가락 근위부(Finger Proximal) 만을 강조한 이미지를 얻고, 상기 로우(Raw) 이미지에서 손가락 근위부(Finger Proximal) 이미지를 빼(substitute) 손가락 끝 이미지를 획득하는 것
    을 특징으로 하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법.
  9. 이미지 센서로부터 각 프레임의 로우(Raw) 이미지를 획득하는 로우 이미지 수집부;
    각 프레임의 상기 로우(Raw) 이미지로부터 이미지 이로전(Erosion) 및 딜레이션(Dilation)을 반복한 결과를 빼는 이로전 및 딜레이션부;
    복수의 손가락이 터치패드 위에 있는 경우, 각 손가락에 대해서 손가락 끝을 찾기 위한 사전 작업으로 연결 요소 라벨링(Connected Component Labeling)을 수행하는 라벨링부;
    이진(Binary) 이미지를 생성하는 이진 이미지 생성부;
    각 손가락의 상기 이진(Binary) 이미지에서 손가락 끝으로 추정되는 위치를 예측하는 위치 예측부; 및
    가우시안(Gaussian) 템플릿과 로우(Raw) 이미지 사이의 오차 함수(Error Function)의 값이 가장 낮은 로우(Raw) 이미지 상의 위치를 손가락 끝의 위치로 추정하는 위치 추정부
    를 포함하고,
    상기 위치 추정부는,
    상기 위치 예측부에서 예측된 손가락 끝의 위치에서 상기 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수의 값이 가장 낮은 위치를 찾기 위해 최적화(Optimization) 과정을 통해 손가락 끝의 위치를 추정하며,
    상기 이진 이미지 생성부는,
    상기 라벨링부에 의해 생성된 각 라벨(Label) 이미지에 대해 상기 이진(Binary) 이미지를 생성하는 것을 특징으로 하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 시스템.
  10. 제9항에 있어서,
    상기 위치 추정부는,
    상기 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수를 정의하는 오차 함수부; 및
    상기 오차 함수의 값이 가장 낮은 위치를 찾기 위해 최적화(Optimization) 과정을 통해 손가락 끝의 위치를 추정하는 최적화 알고리즘
    을 포함하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 시스템.
  11. 삭제
  12. 삭제
  13. 제9항에 있어서,
    상기 라벨링부는,
    획득한 손가락 끝 이미지의 각 윤곽(Contour) 별로 체인 코드를 생성하고 체인 코드의 모든 점을 꼭지점으로 변환하여 라벨(Label)을 수행하는 것
    을 특징으로 하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 시스템.
  14. 제9항에 있어서,
    상기 이진 이미지 생성부는,
    각 라벨(Label) 이미지에 대해 특정 밝기 값을 기준으로 이진화된 이진(Binary) 이미지를 생성하고,
    상기 위치 예측부는,
    상기 이진(Binary) 이미지 내에서 정사각형 윈도우를 만들어 윈도우의 상, 하, 좌, 우 가장자리(edge)의 0의 개수와 가장자리가 아닌 내부의 평균 밝기 값을 구하고,
    상기 윈도우의 상, 하, 좌, 우 가장자리에 0이 일정 개수 이상 존재하는 동시에 상기 윈도우의 상부 가장자리가 모두 0인 위치 중 가장자리가 아닌 내부의 평균 밝기 값이 가장 높은 윈도우의 중심을 손가락 끝으로 예측하는 것
    을 특징으로 하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 시스템.
  15. 제10항에 있어서,
    상기 최적화 알고리즘은,
    상기 오차 함수의 값이 가장 낮은 위치인지 여부를 확인하기 위해 신뢰 구역(Trust Region)의 상기 최적화 과정을 통해 검증하는 것
    를 포함하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 시스템.
  16. 제9항에 있어서,
    상기 이로전 및 딜레이션부는,
    상기 로우(Raw) 이미지에서 상기 이로전(Erosion)과 딜레이션(Dilation)을 반복하여 손가락 근위부(Finger Proximal) 만을 강조한 이미지를 얻고, 상기 로우(Raw) 이미지에서 손가락 근위부(Finger Proximal) 이미지를 빼(substitute) 손가락 끝 이미지를 획득하는 것
    을 특징으로 하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 시스템.
KR1020160057128A 2016-05-10 2016-05-10 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법 및 시스템 KR101761062B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160057128A KR101761062B1 (ko) 2016-05-10 2016-05-10 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160057128A KR101761062B1 (ko) 2016-05-10 2016-05-10 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR101761062B1 true KR101761062B1 (ko) 2017-07-26

Family

ID=59426917

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160057128A KR101761062B1 (ko) 2016-05-10 2016-05-10 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101761062B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102252658B1 (ko) * 2020-12-09 2021-05-17 주식회사 모빌린트 라이다 센서를 이용한 터치패드 입력 제어 방법 및 이를 이용한 노트북 컴퓨터

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070217668A1 (en) * 2005-09-23 2007-09-20 Lars Bornemann Method and apparatus of segmenting an object in a data set and of determination of the volume of segmented object

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070217668A1 (en) * 2005-09-23 2007-09-20 Lars Bornemann Method and apparatus of segmenting an object in a data set and of determination of the volume of segmented object

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102252658B1 (ko) * 2020-12-09 2021-05-17 주식회사 모빌린트 라이다 센서를 이용한 터치패드 입력 제어 방법 및 이를 이용한 노트북 컴퓨터
WO2022124453A1 (ko) * 2020-12-09 2022-06-16 주식회사 모빌린트 라이다 센서를 이용한 터치패드 입력 제어 방법 및 이를 이용한 노트북 컴퓨터

Similar Documents

Publication Publication Date Title
KR102137264B1 (ko) 카메라 포즈 추정 장치 및 방법
US9218537B2 (en) Image processing device and image processing method
US8885923B2 (en) Feature point selecting system, feature point selecting method and feature point selecting program
CN104123529B (zh) 人手检测方法及***
US20130050076A1 (en) Method of recognizing a control command based on finger motion and mobile device using the same
KR102347248B1 (ko) 터치 제스쳐 인식 방법 및 장치
US20150310617A1 (en) Display control device and display control method
RU2014108820A (ru) Процессор изображений, содержащий систему распознавания жестов с функциональными возможностями обнаружения и отслеживания пальцев
US8417026B2 (en) Gesture recognition methods and systems
TWI431538B (zh) 基於影像之動作手勢辨識方法及系統
CN107346538A (zh) 对象跟踪方法及设备
US10586335B2 (en) Hand segmentation in a 3-dimensional image
KR20120044484A (ko) 이미지 처리 시스템에서 물체 추적 장치 및 방법
KR101994319B1 (ko) 깊이 영상을 이용하는 객체 인식 장치 및 그 장치를 이용한 방법
KR101281461B1 (ko) 영상분석을 이용한 멀티 터치 입력 방법 및 시스템
KR101761062B1 (ko) 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법 및 시스템
KR101436695B1 (ko) 깊이 영상을 이용한 손 검출 장치 및 방법
US20190026952A1 (en) Human feedback in 3d model fitting
KR101614798B1 (ko) 컬러 이미지 분석을 이용한 비접촉 멀티 터치 인식 방법 및 시스템
KR102211159B1 (ko) 사용자 영상의 신체 부위를 검출하는 장치 및 방법
JP6393495B2 (ja) 画像処理装置および物体認識方法
KR101994311B1 (ko) 자세 인식 장치 및 그 동작 방법
KR100994366B1 (ko) 영상 추적 장치의 이동표적 움직임 추적 방법
KR101834084B1 (ko) 다중 객체 추적 방법 및 장치
KR101777948B1 (ko) 엔트로피와 배경변화율 차이점을 이용한 주요 객체 자동 검출 장치

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant