KR101761062B1 - Fingertip Tracking Method and System on the Optical Hover Tracking Touchpad with Low Resolution - Google Patents
Fingertip Tracking Method and System on the Optical Hover Tracking Touchpad with Low Resolution Download PDFInfo
- Publication number
- KR101761062B1 KR101761062B1 KR1020160057128A KR20160057128A KR101761062B1 KR 101761062 B1 KR101761062 B1 KR 101761062B1 KR 1020160057128 A KR1020160057128 A KR 1020160057128A KR 20160057128 A KR20160057128 A KR 20160057128A KR 101761062 B1 KR101761062 B1 KR 101761062B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- fingertip
- estimating
- low
- finger
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03547—Touch pads, in which fingers can move on a surface
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
- G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
Abstract
근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법 및 시스템이 제시된다. 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법은, 이미지 센서로부터 각 프레임의 로우(Raw) 이미지를 획득하는 단계; 각 프레임의 상기 로우(Raw) 이미지로부터 이미지 이로전(Erosion) 및 딜레이션(Dilation)을 반복한 결과를 빼는 단계; 및 가우시안(Gaussian) 템플릿과 로우(Raw) 이미지 사이의 오차 함수(Error Function)의 값이 가장 낮은 로우(Raw) 이미지 상의 위치를 손가락 끝의 위치로 추정하는 단계를 포함할 수 있다. A method and system for estimating fingertip positions of multiple fingers in a low resolution optical touchpad capable of proximity detection are presented. A method of estimating a fingertip position of a plurality of fingers in a low-resolution optical touch pad capable of proximity detection includes the steps of: acquiring a raw image of each frame from an image sensor; Subtracting the result of repeating image erosion and dilation from the raw image of each frame; And estimating a position on the raw image having the lowest value of the error function between the Gaussian template and the raw image as the position of the fingertip.
Description
아래의 실시예들은 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법 및 시스템에 관한 것이다. The following embodiments relate to a method and system for estimating fingertip positions of multiple fingers in a low-resolution optical touch pad capable of proximity sensing.
최근 많은 장치들에서 손가락의 근접 상태와 그 위치를 감지하는 기술이 사용되고 있다. 이러한 근접감지 기술을 구현하기 위해서는 광학/정전기 이미지로부터 손가락 끝을 추출하는 이미지 처리 방법이 필요하다. 여러 연구들에서는 터치 혹은 근접 상태의 손가락 끝 위치를 추출하기 위해 다양한 이미지 처리 방법을 사용하고 있다. Recently, many devices have been used to detect the proximity of a finger and its position. To implement such proximity sensing techniques, an image processing method is needed to extract fingertips from optical / electrostatic images. Several studies have used a variety of image processing methods to extract fingertip positions in touch or proximity.
예컨대, 정전기식 이미지를 사용하는 경우 가장 높은 캐패시터 값(capacitor value)를 가지는 위치를 사용하거나 주변부의 캐패시터 값(capacitor value)을 활용하여 모델링을 하는 방법을 사용할 수 있다. For example, when an electrostatic image is used, a method of using a position having the highest capacitor value or modeling using a capacitor value of a peripheral portion may be used.
다른 예로, 카메라/깊이(Depth) 이미지를 사용하는 경우 로우(Raw) 이미지에서 배경 차분(Background Subtraction)을 진행한 결과에서 가장 밝은 위치를 찾거나, 윤곽점(Contour Point)의 벡터(Vector) 값을 활용하여 피크 탐지(peak detection)를 수행할 수 있다. As another example, when a camera / depth image is used, the brightest position is found in the result of background subtraction in the raw image, or the vector value of the contour point Can be used to perform peak detection.
또 다른 예로, 적외선을 활용한 광학 이미징(Optical Imaging)을 쓰는 경우 배경 차분(Background Subtraction) 후 가장 밝은 값을 나타내는 위치를 찾거나 가우시안(Gaussian) 템플릿이 가장 알맞은 위치를 찾을 수 있다. As another example, when using optical imaging (Infrared Imaging), you can find the position that represents the brightest value after the background subtraction, or find the most appropriate location for the Gaussian template.
기존에 사용된 이미지 처리 방법 중 실제 카메라 이미지나 깊이 이미지(depth image)를 사용하는 경우에는 이미지의 해상도가 높아 이미지에 분명히 나타나는 손가락 형태를 분리하여 피크(peak) 위치를 찾을 수 있다. 반면, 해상도가 낮은 경우에는 가장 높은 밝기 값을 갖는 위치를 바탕으로 손가락 끝 위치를 추출할 수 있다. 그런데 이 방법은 손가락 외 손바닥 등의 넓은 부위가 가장 밝은 값을 보이는 경우에 정확한 위치를 추정하는데 한계가 있다. When using the actual camera image or depth image, the resolution of the image is high and the peak position can be found by separating the shape of the finger clearly appearing in the image. On the other hand, if the resolution is low, the fingertip position can be extracted based on the position having the highest brightness value. However, this method has limitations in estimating the exact position when the widest areas such as fingers and palms show the brightest values.
한국공개특허 10-2012-0071230호는 이러한 증강 현실 환경에서 손가락 끝 트래킹 방법 및 이를 위한 장치에 관한 것으로, 증강 현실 환경에서 사용자의 손 모양을 인식하여 증강 현실과 사용자간의 상호작용을 제공하는 손가락 끝 트래킹 방법 및 이를 위한 장치에 관한 기술을 기재하고 있다. Korean Patent Laid-Open No. 10-2012-0071230 relates to a fingertip tracking method and an apparatus therefor in such an augmented reality environment. The fingertip tracking method recognizes a hand shape of a user in an augmented reality environment, A tracking method and an apparatus for the same.
실시예들은 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법 및 시스템에 관하여 기술하며, 보다 구체적으로 새로운 이미지 처리 방법을 통해 저해상도의 근접감지 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 보다 정확하게 추정하는 기술을 제공한다. Embodiments describe a method and system for estimating fingertip positions of various fingers in a low resolution optical touch pad capable of proximity sensing. More specifically, a method of processing a plurality of fingers And provides a technique for more accurately estimating the end position.
실시예들은 이미지 이로전(Erosion) 및 딜레이션(Dilation) 과정을 통해 손가락 끝을 강조함으로써, 저해상도 광학식 터치패드에서 손가락 끝의 위치를 정확하게 추정하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법 및 시스템을 제공하는데 있다. Embodiments of the present invention are directed to a touch sensing apparatus and a touch sensing method which are capable of sensing a position of a fingertip in a low resolution optical touch pad by emphasizing the fingertip through an image erosion and a dilation process, And to provide a method and system for estimating an end position.
실시예들은 최적화 알고리즘을 통해 가장 가우시안(Gaussian) 형태에 알맞은 손가락 끝을 추정하고, 최적화 이전에 손가락 끝의 위치를 대략적으로 추정하는 방법을 제공하여 신속한 최적화가 가능한 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법 및 시스템을 제공하는데 있다. Embodiments provide a method of estimating the fingertip suitable for the most Gaussian form through an optimization algorithm and roughly estimating the position of the fingertip prior to optimization, thereby providing a low-resolution optical touchpad capable of proximity sensing capable of rapid optimization And a method and a system for estimating the fingertip position of a plurality of fingers.
일 실시예에 따른 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법은, 이미지 센서로부터 각 프레임의 로우(Raw) 이미지를 획득하는 단계; 각 프레임의 상기 로우(Raw) 이미지로부터 이미지 이로전(Erosion) 및 딜레이션(Dilation)을 반복한 결과를 빼는 단계; 및 가우시안(Gaussian) 템플릿과 로우(Raw) 이미지 사이의 오차 함수(Error Function)의 값이 가장 낮은 로우(Raw) 이미지 상의 위치를 손가락 끝의 위치로 추정하는 단계를 포함한다. A method for estimating a fingertip position of a plurality of fingers in a low-resolution optical touchpad capable of proximity sensing according to an exemplary embodiment includes acquiring a raw image of each frame from an image sensor; Subtracting the result of repeating image erosion and dilation from the raw image of each frame; And estimating a position on a raw image having a lowest value of an error function between a Gaussian template and a raw image as a position of a fingertip.
상기 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수의 값이 가장 낮은 로우(Raw) 이미지 상의 위치를 손가락 끝의 위치로 추정하는 단계는, 상기 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수를 정의하는 단계; 및 상기 오차 함수의 값이 가장 낮은 위치를 찾기 위해 최적화(Optimization) 과정을 통해 손가락 끝의 위치를 추정하는 단계를 포함할 수 있다. Wherein the step of estimating a position on the raw image having the lowest error function value between the Gaussian template and the raw image as the position of the fingertip includes calculating an error function between the Gaussian template and the raw image Defining; And estimating a position of a fingertip through an optimization process to find a position where the error function has the lowest value.
이진(Binary) 이미지를 생성하는 단계; 및 각 손가락의 상기 이진(Binary) 이미지에서 손가락 끝으로 추정되는 위치를 예측하는 단계를 더 포함하고, 상기 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수의 값이 가장 낮은 로우(Raw) 이미지 상의 위치를 손가락 끝의 위치로 추정하는 단계는, 상기 예측된 손가락 끝의 위치에서 상기 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수의 값이 가장 낮은 위치를 찾기 위해 최적화(Optimization) 과정을 통해 손가락 끝의 위치를 추정하는 단계일 수 있다. Generating a binary image; And predicting a position estimated by the fingertip in the binary image of each finger, wherein the step of estimating a position of the fingertip on the raw image having the lowest value of the error function between the Gaussian template and the raw image The step of estimating the position as the position of the fingertip may include optimizing the position of the fingertip in order to find the position of the error function between the Gaussian template and the raw image at the predicted fingertip position, And estimating the position of the end.
복수의 손가락이 터치패드 위에 있는 경우, 각 손가락에 대해서 손가락 끝을 찾기 위한 사전 작업으로 연결 요소 라벨링(Connected Component Labeling)을 수행하는 단계를 더 포함하고, 상기 이진(Binary) 이미지를 생성하는 단계는, 각 라벨(Label) 이미지에 대해 상기 이진(Binary) 이미지를 생성하는 단계일 수 있다. Further comprising performing connected component labeling as a pre-operation for finding a fingertip with respect to each finger when the plurality of fingers is on the touch pad, wherein the step of generating the binary image , And generating the binary image for each label image.
상기 복수의 손가락이 터치패드 위에 있는 경우, 각 손가락에 대해서 손가락 끝을 찾기 위한 사전 작업으로 연결 요소 라벨링(Connected Component Labeling)을 수행하는 단계는, 획득한 손가락 끝 이미지의 각 윤곽(Contour) 별로 체인 코드를 생성하고 체인 코드의 모든 점을 꼭지점으로 변환하여 라벨(Label)을 수행할 수 있다. The step of performing connected component labeling as a preliminary operation for finding a fingertip with respect to each finger when the plurality of fingers is on the touch pad comprises the steps of: You can generate a code and convert all the points in the chain code to vertices to perform a label.
상기 이진(Binary) 이미지를 생성하는 단계는, 각 라벨(Label) 이미지에 대해 특정 밝기 값을 기준으로 이진화된 이진(Binary) 이미지를 생성하는 단계이고, 상기 각 손가락의 상기 이진(Binary) 이미지에서 손가락 끝으로 추정되는 위치를 예측하는 단계는, 상기 이진(Binary) 이미지 내에서 정사각형 윈도우를 만들어 윈도우의 상, 하, 좌, 우 가장자리(edge)의 0의 개수와 가장자리가 아닌 내부의 평균 밝기 값을 구하는 단계; 및 상기 윈도우의 상, 하, 좌, 우 가장자리에 0이 일정 개수 이상 존재하는 동시에 상기 윈도우의 상부 가장자리가 모두 0인 위치 중 가장자리가 아닌 내부의 평균 밝기 값이 가장 높은 윈도우의 중심을 손가락 끝으로 예측하는 단계를 포함할 수 있다. The step of generating the binary image is a step of generating a binary image based on a specific brightness value for each label image, The step of predicting the position estimated by the fingertip may include forming a square window in the binary image to determine the number of zeros at the top, bottom, left, and right edges of the window and the average brightness value ; And the center of the window having the highest average brightness value of the inside, which is not the edge among the positions where all the upper edges of the window are 0, And a step of predicting.
상기 오차 함수의 값이 가장 낮은 위치를 찾기 위해 최적화(Optimization) 과정을 통해 손가락 끝의 위치를 추정하는 단계는, 상기 오차 함수의 값이 가장 낮은 위치인지 여부를 확인하기 위해 신뢰 구역(Trust Region)의 상기 최적화 과정을 통해 검증하는 단계를 포함할 수 있다. The step of estimating the position of the fingertip through an optimization process to find a position having the lowest value of the error function comprises the steps of: And a step of performing a verification through the optimization process.
상기 각 프레임의 상기 로우(Raw) 이미지로부터 이미지 이로전(Erosion) 및 딜레이션(Dilation)을 반복한 결과를 빼는 단계는, 상기 로우(Raw) 이미지에서 상기 이로전(Erosion)과 딜레이션(Dilation)을 반복하여 손가락 근위부(Finger Proximal) 만을 강조한 이미지를 얻고, 상기 로우(Raw) 이미지에서 손가락 근위부(Finger Proximal) 이미지를 빼(substitute) 손가락 끝 이미지를 획득할 수 있다. The step of subtracting the result of repeating the image erosion and the dilation from the raw image of each frame may include the steps of determining the erosion and dilation in the raw image, ) May be repeated to obtain an image in which only the proximal portion of the finger is emphasized and a fingertip image may be obtained to substitute the finger proximal image in the raw image.
다른 실시예에 따른 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 시스템은, 이미지 센서로부터 각 프레임의 로우(Raw) 이미지를 획득하는 로우 이미지 수집부; 각 프레임의 상기 로우(Raw) 이미지로부터 이미지 이로전(Erosion) 및 딜레이션(Dilation)을 반복한 결과를 빼는 이로전 및 딜레이션부; 및 가우시안(Gaussian) 템플릿과 로우(Raw) 이미지 사이의 오차 함수(Error Function)의 값이 가장 낮은 로우(Raw) 이미지 상의 위치를 손가락 끝의 위치로 추정하는 위치 추정부를 포함한다. According to another aspect of the present invention, there is provided a system for estimating a fingertip position of a plurality of fingers in a low resolution optical touchpad capable of proximity sensing, comprising: a low image acquisition unit for acquiring a low image of each frame from an image sensor; An aging and dilation section for subtracting the result of repeating image erosion and dilation from the raw image of each frame; And a position estimator for estimating a position on a raw image having a lowest value of an error function between a Gaussian template and a raw image as a position of a fingertip.
상기 위치 추정부는, 상기 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수를 정의하는 오차 함수부; 및 상기 오차 함수의 값이 가장 낮은 위치를 찾기 위해 최적화(Optimization) 과정을 통해 손가락 끝의 위치를 추정하는 최적화 알고리즘을 포함할 수 있다. The position estimator may include an error function unit that defines an error function between the Gaussian template and a raw image; And an optimization algorithm for estimating a position of a fingertip through an optimization process to find a position having the lowest value of the error function.
이진(Binary) 이미지를 생성하는 이진 이미지 생성부; 및 각 손가락의 상기 이진(Binary) 이미지에서 손가락 끝으로 추정되는 위치를 예측하는 위치 예측부를 더 포함하고, 상기 위치 추정부는, 상기 위치 예측부에서 예측된 손가락 끝의 위치에서 상기 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수의 값이 가장 낮은 위치를 찾기 위해 최적화(Optimization) 과정을 통해 손가락 끝의 위치를 추정할 수 있다. A binary image generating unit for generating a binary image; And a position predicting unit for predicting a position estimated by the fingertip in the binary image of each finger, wherein the position estimating unit predicts a position of the finger at the position of the fingertip predicted by the position predicting unit, The position of the fingertip can be estimated through an optimization process to find the position where the error function value between the Raw images is lowest.
복수의 손가락이 터치패드 위에 있는 경우, 각 손가락에 대해서 손가락 끝을 찾기 위한 사전 작업으로 연결 요소 라벨링(Connected Component Labeling)을 수행하는 라벨링부를 더 포함하고, 상기 이진 이미지 생성부는, 상기 라벨링부에 의해 생성된 각 라벨(Label) 이미지에 대해 상기 이진(Binary) 이미지를 생성할 수 있다. Further comprising a labeling unit for performing connected component labeling as a preliminary operation for finding a finger tip with respect to each finger when the plurality of fingers is on the touch pad, And generate the binary image for each generated label image.
상기 라벨링부는, 획득한 손가락 끝 이미지의 각 윤곽(Contour) 별로 체인 코드를 생성하고 체인 코드의 모든 점을 꼭지점으로 변환하여 라벨(Label)을 수행할 수 있다. The labeling unit may generate a chain code for each contour of the obtained fingertip image and convert all the points of the chain code to vertexes to perform a label.
상기 이진 이미지 생성부는, 각 라벨(Label) 이미지에 대해 특정 밝기 값을 기준으로 이진화된 이진(Binary) 이미지를 생성하고, 상기 위치 예측부는, 상기 이진(Binary) 이미지 내에서 정사각형 윈도우를 만들어 윈도우의 상, 하, 좌, 우 가장자리(edge)의 0의 개수와 가장자리가 아닌 내부의 평균 밝기 값을 구하고, 상기 윈도우의 상, 하, 좌, 우 가장자리에 0이 일정 개수 이상 존재하는 동시에 상기 윈도우의 상부 가장자리가 모두 0인 위치 중 가장자리가 아닌 내부의 평균 밝기 값이 가장 높은 윈도우의 중심을 손가락 끝으로 예측할 수 있다. The binary image generation unit generates a binary image based on a specific brightness value for each label image, and the position prediction unit generates a square window in the binary image, The number of 0's on the upper, lower, left, and right edges and the average brightness value of the inside of the window are determined, and a certain number of 0's exist on the upper, lower, left, and right edges of the window, It is possible to predict the center of the window having the highest average brightness value of the inside, rather than the edge, of the positions where the upper edge is all 0, with the fingertip.
상기 최적화 알고리즘은, 상기 오차 함수의 값이 가장 낮은 위치인지 여부를 확인하기 위해 신뢰 구역(Trust Region)의 상기 최적화 과정을 통해 검증할 수 있다. The optimization algorithm may be verified through the optimization process of the Trust Region to determine whether the value of the error function is the lowest.
상기 이로전 및 딜레이션부는, 상기 로우(Raw) 이미지에서 상기 이로전(Erosion)과 딜레이션(Dilation)을 반복하여 손가락 근위부(Finger Proximal) 만을 강조한 이미지를 얻고, 상기 로우(Raw) 이미지에서 손가락 근위부(Finger Proximal) 이미지를 빼(substitute) 손가락 끝 이미지를 획득할 수 있다. The dilation and dilation section obtains an image in which only the finger proximal portion is emphasized by repeating the erosion and dilation in the raw image to obtain an image in which the finger Finger Proximal You can acquire a fingertip image by substituting an image.
실시예들에 따르면 이미지 이로전(Erosion) 및 딜레이션(Dilation) 과정을 통해 손가락 끝을 강조함으로써, 저해상도 광학식 터치패드에서 손가락 끝의 위치를 정확하게 추정하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법 및 시스템을 제공할 수 있다. According to the embodiments, in the low-resolution optical touchpad capable of proximity sensing, which accurately estimates the position of the fingertip in the low resolution optical touch pad, by emphasizing the fingertip through the image erosion and dilation process, A method and a system for estimating a fingertip position of a finger can be provided.
실시예들에 따르면 최적화 알고리즘을 통해 가장 가우시안(Gaussian) 형태에 알맞은 손가락 끝을 추정하고, 최적화 이전에 손가락 끝의 위치를 대략적으로 추정하는 방법을 제공하여 신속한 최적화가 가능한 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법 및 시스템을 제공할 수 있다. According to embodiments, a method of estimating a fingertip suitable for a Gaussian form most accurately through an optimization algorithm and a method of roughly estimating a position of a fingertip prior to optimization provides a low-resolution optical touch It is possible to provide a method and a system for estimating a fingertip position of a plurality of fingers on a pad.
도 1은 일 실시예에 따른 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 시스템을 나타내는 블록도이다.
도 2는 일 실시예에 따른 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법을 나타내는 흐름도이다.
도 3은 일 실시예에 따른 연결 요소 라벨링 결과를 나타내는 도면이다.
도 4는 일 실시예에 따른 대략적으로 추정된 손가락 끝의 위치를 근접 이미지를 나타내는 도면이다.
도 5는 일 실시예에 따른 윈도우가 손가락 끝에 위치했을 때의 예를 나타내는 도면이다.
도 6은 일 실시예에 따른 손가락 끝의 위치를 추정한 결과 이미지를 나타내는 도면이다.
도 7은 일 실시예에 따른 다양한 상황에서 손가락 끝을 찾는 예를 나타내는 도면이다.
도 8은 일 실시예에 따른 다양한 상황에서 손가락 끝을 찾는 다른 예를 나타내는 도면이다.
도 9는 일 실시예에 따른 다양한 상황에서 손가락 끝을 찾는 또 다른 예를 나타내는 도면이다.
도 10은 일 실시예에 따른 다양한 상황에서 손가락 끝을 찾는 또 다른 예를 나타내는 도면이다. FIG. 1 is a block diagram illustrating a system for estimating fingertip positions of various fingers in a low-resolution optical touch pad capable of proximity sensing according to an exemplary embodiment.
2 is a flowchart illustrating a method of estimating fingertip positions of a plurality of fingers in a low-resolution optical touch pad capable of proximity detection according to an exemplary embodiment.
FIG. 3 is a diagram illustrating a result of coupling element labeling according to an embodiment.
4 is a view showing a proximity image of a position of a roughly estimated fingertip according to an embodiment.
5 is a view showing an example where a window according to an embodiment is located at a fingertip.
6 is a view showing an image obtained by estimating the position of a fingertip according to an embodiment.
FIG. 7 is a diagram illustrating an example of finding a fingertip in various situations according to an embodiment.
FIG. 8 is a view showing another example of finding a fingertip in various situations according to an embodiment.
9 is a view showing another example of finding a finger tip in various situations according to an embodiment.
10 is a view showing another example of finding a finger tip in various situations according to an embodiment.
이하, 첨부된 도면을 참조하여 실시예들을 설명한다. 그러나, 기술되는 실시예들은 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시예들에 의하여 한정되는 것은 아니다. 또한, 여러 실시예들은 당해 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 더욱 완전하게 설명하기 위해서 제공되는 것이다. 도면에서 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
Hereinafter, embodiments will be described with reference to the accompanying drawings. However, the embodiments described may be modified in various other forms, and the scope of the present invention is not limited by the embodiments described below. In addition, various embodiments are provided to more fully describe the present invention to those skilled in the art. The shape and size of elements in the drawings may be exaggerated for clarity.
아래의 실시예들은 저해상도의 근접감지 광학식 터치패드에서 근접 및 터치 상태에 있는 여러 손가락의 손가락 끝 위치를 추정하는 기술에 관한 것이다. 고해상도의 이미지와 달리 저해상도의 광학 이미지에서는 손가락의 분명한 형태를 구분하기 어렵기 때문에 기존의 손가락 형태를 구분하는 이미지 처리 방식을 적용하기 어렵다. 또한 기존의 저해상도 광학 이미지에서 사용되는 가장 밝은 위치를 손가락 끝으로 추정하는 방법은 손가락 외 손바닥 등의 넓은 부위가 가장 밝은 값을 보이는 경우에 정확한 위치를 추정하는데 한계가 있다. The following embodiments relate to techniques for estimating the fingertip position of multiple fingers in proximity and touch state in a low-resolution proximity-sensing optical touchpad. Unlike high-resolution images, it is difficult to distinguish finger shapes from low-resolution optical images. In addition, the method of estimating the brightest position used in the conventional low resolution optical image with the fingertip is limited in estimating the accurate position when the widest part such as the palm of the finger shows the brightest value.
본 실시예들은 새로운 이미지 처리 방법을 통해 저해상도의 광학 이미지에서 가장 밝은 위치를 사용하는 기존 이미지 처리 방법의 한계를 해결하고, 근접 및 터치 상태에 있는 여러 손가락의 손가락 끝 위치를 보다 정확하게 추정할 수 있다.
The present embodiments solve the limitations of the conventional image processing method using the brightest position in the low-resolution optical image through the new image processing method and can more accurately estimate the finger end positions of the fingers in the proximity and touch state .
도 1은 일 실시예에 따른 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 시스템을 나타내는 블록도이다. FIG. 1 is a block diagram illustrating a system for estimating fingertip positions of various fingers in a low-resolution optical touch pad capable of proximity sensing according to an exemplary embodiment.
도 1을 참조하면, 일 실시예에 따른 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 시스템(100)은 로우 이미지 수집부(110), 이로전 및 딜레이션부(120), 및 위치 추정부(160)를 포함하여 이루어질 수 있다. 실시예에 따라 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 시스템(100)은 라벨링부(130), 이진 이미지 생성부(140), 및 위치 예측부(150)를 더 포함하여 이루어질 수 있다. Referring to FIG. 1, a
로우 이미지 수집부(110)는 이미지 센서로부터 각 프레임의 로우(Raw) 이미지를 획득할 수 있다. The row image collecting unit 110 may acquire a raw image of each frame from the image sensor.
실제 카메라 이미지나 깊이 이미지(depth image)를 사용하는 경우에는 이미지의 해상도가 높아 이미지에 분명히 나타나는 손가락 형태를 분리하여 피크(peak) 위치를 찾을 수 있다. 반면, 해상도가 낮은 경우에는 가장 높은 밝기 값을 갖는 위치를 바탕으로 손가락 끝 위치를 추출할 수 있다. 그런데 이 방법은 손가락 외 손바닥 등의 넓은 부위가 가장 밝은 값을 보이는 경우에 정확한 위치를 추정하는데 한계가 있다. 이를 해결하기 위해 이미지 이로전(Erosion) 및 딜레이션(Dilation) 과정을 통해 손가락 끝을 강조하는 방법을 제공할 수 있다.When using a real camera image or a depth image, you can find the peak position by separating the shape of the finger that appears clearly in the image because of the high resolution of the image. On the other hand, if the resolution is low, the fingertip position can be extracted based on the position having the highest brightness value. However, this method has limitations in estimating the exact position when the widest areas such as fingers and palms show the brightest values. To solve this problem, it is possible to provide a method of emphasizing the fingertip through the image erosion and dilation processes.
이로전 및 딜레이션부(120)는 각 프레임의 로우(Raw) 이미지로부터 이미지 이로전(Erosion) 및 딜레이션(Dilation)을 반복한 결과를 뺄 수 있다. The transferring and deleting unit 120 may subtract the result of repeating image erosion and dilation from a raw image of each frame.
이로전 및 딜레이션부(120)는 로우(Raw) 이미지에서 이로전(Erosion)과 딜레이션(Dilation)을 반복하여 손가락 근위부(Finger Proximal) 만을 강조한 이미지를 얻고, 로우(Raw) 이미지에서 손가락 근위부(Finger Proximal) 이미지를 빼(substitute) 손가락 끝 이미지를 획득할 수 있다. The dilation and deriving section 120 obtains an image in which only the finger proximal portion is emphasized by repeating the erosion and dilation in the raw image and obtains an image in which the proximal portion of the finger Finger Proximal) You can acquire a fingertip image by substituting the image.
라벨링부(130)는 복수의 손가락이 터치패드 위에 있는 경우, 각 손가락에 대해서 손가락 끝을 찾기 위한 사전 작업으로 연결 요소 라벨링(Connected Component Labeling)을 수행할 수 있다. When the plurality of fingers is on the touch pad, the labeling unit 130 may perform connected component labeling as a preliminary operation for finding a finger tip with respect to each finger.
더 구체적으로, 라벨링부(130)는 획득한 손가락 끝 이미지의 각 윤곽(Contour) 별로 체인 코드를 생성하고 체인 코드의 모든 점을 꼭지점으로 변환하여 라벨(Label)을 수행할 수 있다. More specifically, the labeling unit 130 may generate a chain code for each contour of the acquired fingertip image, and convert all the points of the chain code to vertices to perform a label.
그리고, 이진 이미지 생성부(140)는 이진(Binary) 이미지를 생성하는 것으로, 더 구체적으로 라벨링부(130)에 의해 생성된 각 라벨(Label) 이미지에 대해 이진(Binary) 이미지를 생성할 수 있다. The binary
위치 예측부(150)는 각 손가락의 이진(Binary) 이미지에서 손가락 끝으로 추정되는 위치를 예측할 수 있다. 이에 따라 위치 추정부(160)는 위치 예측부(150)에서 예측된 손가락 끝의 위치에서 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수의 값이 가장 낮은 위치를 찾기 위해 최적화(Optimization) 과정을 통해 손가락 끝의 위치를 추정할 수 있다. The
특히, 이진 이미지 생성부(140)는 각 라벨(Label) 이미지에 대해 특정 밝기 값을 기준으로 이진화된 이진(Binary) 이미지를 생성하고, 위치 예측부(150)는 이진(Binary) 이미지 내에서 정사각형 윈도우를 만들어 가장자리가 아닌 내부의 평균 밝기 값이 가장 높은 윈도우의 중심을 손가락 끝으로 예측할 수 있다. In particular, the binary
더 구체적으로, 위치 예측부(150)는 이진(Binary) 이미지 내에서 정사각형 윈도우를 만들어 윈도우의 상, 하, 좌, 우 가장자리(edge)의 0의 개수와 가장자리가 아닌 내부의 평균 밝기 값을 구하고, 윈도우의 상, 하, 좌, 우 가장자리에 0이 일정 개수 이상 존재하는 동시에 윈도우의 상부 가장자리가 모두 0인 위치 중 가장자리가 아닌 내부의 평균 밝기 값이 가장 높은 윈도우의 중심을 손가락 끝으로 예측할 수 있다. More specifically, the
위치 추정부(160)는 가우시안(Gaussian) 템플릿과 로우(Raw) 이미지 사이의 오차 함수(Error Function)의 값이 가장 낮은 로우(Raw) 이미지 상의 위치를 손가락 끝의 위치로 추정할 수 있다. The
더 구체적으로 위치 추정부(160)는 오차 함수부 및 최적화 알고리즘을 포함할 수 있다. More specifically, the
오차 함수부는 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수를 정의할 수 있다. The error function part can define the error function between the Gaussian template and the raw image.
최적화 알고리즘은 오차 함수의 값이 가장 낮은 위치를 찾기 위해 최적화(Optimization) 과정을 통해 손가락 끝의 위치를 추정할 수 있다. The optimization algorithm can estimate the position of the fingertip through an optimization process to find the lowest value of the error function.
최적화 알고리즘은 오차 함수의 값이 가장 낮은 위치인지 여부를 확인하기 위해 신뢰 구역(Trust Region)의 최적화 과정을 통해 검증할 수 있다. The optimization algorithm can be verified through the optimization process of the Trust Region to determine whether the value of the error function is the lowest.
이와 같이 최적화 알고리즘을 통해 가장 가우시안(Gaussian) 형태에 알맞은 손가락 끝을 추정하고, 빠른 최적화를 위해 최적화 이전에 손가락 끝의 위치를 대략적으로 추정할 수 있다.In this way, the optimal algorithm estimates the fingertip suitable for the Gaussian form, and estimates the position of the fingertip before optimization for quick optimization.
실시예들에 따르면 이미지 이로전(Erosion) 및 딜레이션(Dilation) 과정을 통해 손가락 끝을 강조함으로써, 저해상도 광학식 터치패드에서 손가락 끝의 위치를 정확하게 추정하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법 및 시스템을 제공할 수 있다. According to the embodiments, in the low-resolution optical touchpad capable of proximity sensing, which accurately estimates the position of the fingertip in the low resolution optical touch pad, by emphasizing the fingertip through the image erosion and dilation process, A method and a system for estimating a fingertip position of a finger can be provided.
또한, 실시예들에 따르면 최적화 알고리즘을 통해 가장 가우시안(Gaussian) 형태에 알맞은 손가락 끝을 추정하고, 최적화 이전에 손가락 끝의 위치를 대략적으로 추정하는 방법을 제공하여 신속한 최적화가 가능하다.
In addition, according to the embodiments, it is possible to quickly optimize a fingertip suitable for a Gaussian shape through an optimization algorithm and provide a method of roughly estimating a position of a fingertip before optimization.
도 2는 일 실시예에 따른 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법을 나타내는 흐름도이다. 2 is a flowchart illustrating a method of estimating fingertip positions of a plurality of fingers in a low-resolution optical touch pad capable of proximity detection according to an exemplary embodiment.
도 2를 참조하면, 이미지 센서로부터 얻은 로우(Raw) 이미지로부터 손가락 끝 위치를 추정하는 과정을 나타내는 것으로, 실시예들에 따르면 새로운 이미지 처리 방법을 통해 저해상도의 근접감지 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 보다 정확하게 추정할 수 있다. Referring to FIG. 2, there is shown a process of estimating a fingertip position from a raw image obtained from an image sensor. According to embodiments, a new image processing method is used to detect a fingertip position in a low- The end position can be estimated more accurately.
일 실시예에 따른 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법은 일 실시예에 따른 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법은, 이미지 센서로부터 각 프레임의 로우(Raw) 이미지를 획득하는 단계(210), 각 프레임의 상기 로우(Raw) 이미지로부터 이미지 이로전(Erosion) 및 딜레이션(Dilation)을 반복한 결과를 빼는 단계(220), 및 가우시안(Gaussian) 템플릿과 로우(Raw) 이미지 사이의 오차 함수(Error Function)의 값이 가장 낮은 로우(Raw) 이미지 상의 위치를 손가락 끝의 위치로 추정하는 단계(260)를 포함하여 이루어질 수 있다. A method of estimating a fingertip position of a plurality of fingers in a low-resolution optical touch pad capable of proximity sensing according to an embodiment of the present invention is a method of estimating fingertip positions of a plurality of fingers in a low-
여기서 2개 이상의 손가락이 터치패드 위에 있는 경우, 각 손가락에 대해서 손가락 끝을 찾기 위한 사전 작업으로 연결 요소 라벨링(Connected Component Labeling)을 수행하는 단계(230)를 더 포함하여 이루어질 수 있다. If the two or more fingers are above the touchpad, performing (230) Connected Component Labeling as a pre-operation to find a fingertip for each finger.
또한, 이진(Binary) 이미지를 생성하는 단계(240) 및 각 손가락의 상기 이진(Binary) 이미지에서 손가락 끝으로 추정되는 위치를 예측하는 단계(250)를 더 포함하여 이루어질 수 있다. In addition, a
저해상도 광학식 터치패드에서 각 손가락 끝 주변의 밝기 데이터는 가우시안(Gaussian) 형태를 띤다. 따라서 가우시안(Gaussian) 템플릿과 로우(Raw) 이미지 사이의 오차 함수(Error Function)를 정의하고 오차 함수(Error Function)의 값이 가장 낮은 로우(Raw) 이미지 상의 위치를 손가락 끝이라 추정할 수 있다. 그러나 손가락 끝 외의 손바닥 등 넓은 부위가 밝은 값을 보이는 경우에는 가우시안(Gaussian) 템플릿과의 매칭만으로는 손가락 끝의 위치를 추정하기 어렵다. 이를 해결하기 위해 이미지 이로전(Erosion) 및 딜레이션(Dilation) 과정을 통해 손가락 끝을 강조하는 방법을 제공할 수 있다. 더불어 최적화 알고리즘을 통해 가장 가우시안(Gaussian) 형태에 알맞은 손가락 끝을 추정하는 방법을 제공하고, 빠른 최적화를 위해 최적화 이전에 손가락 끝의 위치를 대략적으로 추정하는 방법을 제공할 수 있다.In the low resolution optical touch pad, the brightness data around each fingertip is Gaussian. Therefore, an error function between a Gaussian template and a raw image can be defined, and a position on a raw image with the lowest value of an error function can be estimated as a fingertip. However, when a wide area such as the palm of the fingertip shows a bright value, it is difficult to estimate the position of the fingertip merely by matching with a Gaussian template. To solve this problem, it is possible to provide a method of emphasizing the fingertip through the image erosion and dilation processes. In addition, a method of estimating the fingertip suitable for the Gaussian form is provided through the optimization algorithm, and a method of roughly estimating the position of the fingertip prior to optimization can be provided for quick optimization.
실시예들에 따르면 저해상도 근접감지 광학식 터치패드에서 사용되던 기존 이미지 처리 방법의 한계인 손가락 외의 부위가 가장 밝을 때 오작동한다는 점을 해결하면서 보다 정확한 손가락 끝의 위치를 추출할 수 있다.
According to the embodiments, it is possible to extract the position of the fingertip more accurately while solving the problem that the portion other than the finger, which is the limit of the conventional image processing method used in the low-resolution proximity sensing optical touch pad, malfunctions at the brightest portion.
아래에서는 일 실시예에 따른 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법의 각 단계에 대해 상세히 설명하기로 한다. Hereinafter, each step of the method of estimating the fingertip positions of the plurality of fingers in the low-resolution optical touch pad capable of proximity sensing according to an exemplary embodiment will be described in detail.
일 실시예에 따른 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법은 도 1에서 설명한 일 실시예에 따른 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 시스템을 이용하여 더 구체적으로 설명할 수 있다. A method of estimating the fingertip position of a plurality of fingers in a low-resolution optical touch pad capable of detecting proximity according to an embodiment of the present invention is a method of estimating the fingertip position of a plurality of fingers in a low- More detailed explanation can be made using the estimation system.
일 실시예에 따른 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 시스템(100)은 로우 이미지 수집부(110), 이로전 및 딜레이션부(120), 및 위치 추정부(160)를 포함하여 이루어질 수 있다. 실시예에 따라 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 시스템(100)은 라벨링부(130), 이진 이미지 생성부(140), 및 위치 예측부(150)를 더 포함하여 이루어질 수 있다. A
단계(210)에서, 로우 이미지 수집부(110)는 이미지 센서로부터 각 프레임의 로우(Raw) 이미지를 획득할 수 있다. In
단계(220)에서, 이로전 및 딜레이션부(120)는 각 프레임의 로우(Raw) 이미지로부터 이미지 이로전(Erosion) 및 딜레이션(Dilation)을 반복한 결과를 뺄 수 있다. In
손가락 끝이 비교적 밝다는 점을 활용하기 위하여 손가락 끝 부분이 아니면서 높은 밝기 값을 보이는 손가락 근위부(Finger Proximal) 부위의 이미지를 최대한 제거해야 한다. 이에 따라 이로전 및 딜레이션부(120)는 로우(Raw) 이미지에서 이로전(Erosion)과 딜레이션(Dilation)을 반복하여 손가락 근위부(Finger Proximal) 만을 강조한 이미지를 얻고, 로우(Raw) 이미지에서 손가락 근위부(Finger Proximal) 이미지를 빼(substitute) 손가락 끝 이미지를 획득할 수 있다. In order to utilize the fact that the fingertip is relatively bright, it is necessary to remove the image of the finger proximal portion which is not the fingertip but has a high brightness value as much as possible. Accordingly, the ejaculation and dilation unit 120 obtains an image in which only the proximal portion of the finger (Finger Proximal) is emphasized by repeating erosion and dilation in a raw image, and in the raw image, Finger Proximal You can acquire a fingertip image by substituting an image.
단계(230)에서, 라벨링부(130)는 복수의 손가락이 터치패드 위에 있는 경우, 각 손가락에 대해서 손가락 끝을 찾기 위한 사전 작업으로 연결 요소 라벨링(Connected Component Labeling)을 수행할 수 있다. 즉, 2개 이상의 손가락이 터치패드 위에 있는 경우에 각 손가락에 대해서 손가락 끝을 찾아야 한다. 이와 같이 각 손가락에 대한 손가락 끝을 용이하게 찾기 위해서 각 손가락을 구분하기 위한 연결 요소 라벨링(Connected Component Labeling)을 수행할 수 있다. In
라벨링부(130)는 획득한 손가락 끝 이미지의 각 윤곽(Contour) 별로 체인 코드를 생성하고 체인 코드의 모든 점을 꼭지점으로 변환하여 라벨(Label)을 수행할 수 있다. 이후, 이미지에서 각 라벨(Label) 부분에 대해 손가락 끝으로 추정되는 대략적인 위치를 찾아내기 위해서 이진(Binary) 이미지를 활용할 수 있다. The labeling unit 130 may generate a chain code for each contour of the acquired fingertip image and convert all the points of the chain code to vertexes to perform a label. Then, a binary image can be utilized to find an approximate position estimated by the fingertip for each label portion in the image.
단계(240)에서, 이진 이미지 생성부(140)는 이진(Binary) 이미지를 생성할 수 있다. 더 구체적으로 이진 이미지 생성부(140)는 라벨링부(130)에 의해 생성된 각 라벨(Label) 이미지에 대해 이진(Binary) 이미지를 생성할 수 있다. In
단계(250)에서, 위치 예측부(150)는 각 손가락의 이진(Binary) 이미지에서 손가락 끝으로 추정되는 위치를 예측할 수 있다. 이에 따라 위치 추정부(160)는 위치 예측부(150)에서 예측된 손가락 끝의 위치에서 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수의 값이 가장 낮은 위치를 찾기 위해 최적화(Optimization) 과정을 통해 손가락 끝의 위치를 추정할 수 있다. In
특히, 이진 이미지 생성부(140)는 각 라벨(Label) 이미지에 대해 특정 밝기 값을 기준으로 이진화된 이진(Binary) 이미지를 생성하고, 위치 예측부(150)는 이진(Binary) 이미지 내에서 정사각형 윈도우를 만들어 가장자리가 아닌 내부의 평균 밝기 값이 가장 높은 윈도우의 중심을 손가락 끝으로 예측할 수 있다. In particular, the binary
더 구체적으로, 위치 예측부(150)는 이진(Binary) 이미지 내에서 정사각형 윈도우를 만들어 윈도우의 상, 하, 좌, 우 가장자리(edge)의 0의 개수와 가장자리가 아닌 내부의 평균 밝기 값을 구하고, 윈도우의 상, 하, 좌, 우 가장자리에 0이 일정 개수 이상 존재하는 동시에 윈도우의 상부 가장자리가 모두 0인 위치 중 가장자리가 아닌 내부의 평균 밝기 값이 가장 높은 윈도우의 중심을 손가락 끝으로 예측할 수 있다. More specifically, the
단계(260)에서, 위치 추정부(160)는 가우시안(Gaussian) 템플릿과 로우(Raw) 이미지 사이의 오차 함수(Error Function)의 값이 가장 낮은 로우(Raw) 이미지 상의 위치를 손가락 끝의 위치로 추정할 수 있다. In
더 구체적으로 위치 추정부(160)는 오차 함수부 및 최적화 알고리즘을 포함할 수 있다. More specifically, the
오차 함수부는 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수를 정의할 수 있다. The error function part can define the error function between the Gaussian template and the raw image.
최적화 알고리즘은 오차 함수의 값이 가장 낮은 위치를 찾기 위해 최적화(Optimization) 과정을 통해 손가락 끝의 위치를 추정할 수 있다. The optimization algorithm can estimate the position of the fingertip through an optimization process to find the lowest value of the error function.
예컨대 손가락 끝과 주변부의 밝기 값을 관찰한 결과, 손가락 끝이 가장 밝고 주변으로 갈수록 어두워지는 가우시안(Gaussian) 형태를 보일 수 있다. 이를 이용하여 정사각형 가우시안(Gaussian) 템플릿과 로우(Raw) 이미지 사이의 오차 함수(Error Function) 값이 가장 낮은 값을 가지는 로우(Raw) 이미지 상의 위치를 손가락 끝이라 판단할 수 있다. For example, as a result of observing the brightness values of the fingertip and the periphery, it is possible to show a Gaussian form in which the fingertip is brightest and darker toward the periphery. The position on the raw image having the lowest error function value between the square Gaussian template and the raw image can be determined as the fingertip.
가장 낮은 오차 함수(Error Function) 값을 갖는 위치를 확인하기 위해 신뢰 구역(Trust Region)의 최적화 과정을 사용할 수 있다. 최적화 과정(105)에서 사용되는 오차 함수(Error Function)는 다음 식과 같이 표현될 수 있다.The Trust Region optimization process can be used to identify the location with the lowest Error Function value. The error function used in the optimization process 105 can be expressed as the following equation.
[수학식 1][Equation 1]
여기서, x0, y0, z0는 최적화 파라미터를 나타낼 수 있으며, 더 구체적으로 손가락 끝 위치 (x0, y0)와 최적 비례계수 z0으로 나타낼 수 있다. G(x, y)는 로우(Raw) 이미지 상 (x, y) 좌표의 밝기 데이터를 나타내고, k는 오차 함수(Error Function) 값을 얻을 정사각형 윈도우 크기를 지정하며, 
즉, 최적화 알고리즘은 오차 함수의 값이 가장 낮은 위치인지 여부를 확인하기 위해 신뢰 구역(Trust Region)의 최적화 과정을 통해 검증할 수 있다. That is, the optimization algorithm can be verified through the optimization process of the trust region to check whether the value of the error function is the lowest.
이와 같이 실시예들에 따르면 이로전(Erosion) 및 딜레이션(Dilation) 과정을 통해 손가락 끝을 강조함으로써, 저해상도의 근접감지 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 보다 정확하게 추정할 수 있다. According to the embodiments, the fingertip position of the fingertips can be more accurately estimated in the low-resolution proximity-sensing optical touchpad by emphasizing the fingertip through the erosion and dilation processes.
또한, 최적화 알고리즘을 통해 가장 가우시안(Gaussian) 형태에 알맞은 손가락 끝을 추정하고, 최적화 이전에 손가락 끝의 위치를 대략적으로 추정하는 방법을 제공하여 신속한 최적화가 가능하다.
In addition, it is possible to estimate the fingertip suitable for the most Gaussian form through the optimization algorithm, and to quickly estimate the position of the fingertip before optimization.
도 3은 일 실시예에 따른 연결 요소 라벨링 결과를 나타내는 도면이다. FIG. 3 is a diagram illustrating a result of coupling element labeling according to an embodiment.
도 3을 참조하면, 로우(Raw) 이미지로부터 이로전(Erosion)과 딜레이션(Dilation)의 과정을 반복한 결과를 뺀(substitute) 이미지에 연결 요소 라벨링(Connected Component Labeling)을 수행한 결과 이미지의 예를 나타낸다. 즉, 연결 요소 라벨링(Connected Component Labeling) 결과 이미지를 나타내는 것이다. Referring to FIG. 3, Connected Component Labeling is performed on an image obtained by subtracting the result of repeating the process of erosion and dilation from a raw image, For example. That is, it represents the Connected Component Labeling result image.
손가락 끝이 비교적 밝다는 점을 활용하기 위하여 손가락 끝 부분이 아니면서 높은 밝기 값을 보이는 손가락 근위부(Finger Proximal) 부위의 이미지를 최대한 제거해야 한다. 이를 위해 로우(Raw) 이미지에서 이로전(Erosion)과 딜레이션(Dilation)을 반복하여 손가락 근위부(Finger Proximal) 만을 강조한 이미지를 얻고 로우(Raw) 이미지에서 손가락 근위부(Finger Proximal) 이미지를 빼(substitute) 손가락 끝 이미지를 획득할 수 있다. In order to utilize the fact that the fingertip is relatively bright, it is necessary to remove the image of the finger proximal portion which is not the fingertip but has a high brightness value as much as possible. To do this, it is necessary to repeat the Erosion and Dilation in the raw image to obtain an image in which only the Finger Proximal is emphasized and the Finger Proximal image is removed from the Raw image. ) You can acquire a fingertip image.
적어도 2개 이상의 손가락이 터치패드 위에 있는 경우 각 손가락에 대해서 손가락 끝을 찾아야 한다. 이와 같이 각 손가락에 대한 손가락 끝을 용이하게 찾기 위해서 각 손가락을 구분하기 위한 연결 요소 라벨링(Connected Component Labeling)을 수행할 수 있다. If you have at least two fingers on the touchpad, you need to find the fingertip for each finger. In order to easily find the fingertip of each finger, it is possible to perform connected component labeling for distinguishing each finger.
다시 말하면, 획득한 손가락 끝 이미지의 각 윤곽(Contour) 별로 체인 코드를 생성하고 체인 코드의 모든 점을 꼭지점으로 변환하여 라벨(Label)을 할 수 있다.
In other words, it is possible to generate a chain code for each contour of the obtained fingertip image, and convert all the points of the chain code to vertexes to form a label.
도 4는 일 실시예에 따른 대략적으로 추정된 손가락 끝의 위치를 근접 이미지를 나타내는 도면이다. 4 is a view showing a proximity image of a position of a roughly estimated fingertip according to an embodiment.
도 4를 참조하면, 각 라벨(Label) 이미지의 이진(Binary) 이미지 데이터로부터 손가락 끝 특징을 사용한 윈도우 탐색을 통해 얻은 대략적인 손가락 끝의 위치를 보여주는 예이다. 이는, 대략적으로 추정된 손가락 끝의 위치를 근접 이미지에 나타낸 것으로, 도 4a는 검지 손가락을 나타내며 도 4b는 오른손의 엄지 손가락을 나타낸다. 여기서 이미지에서 각 라벨(Label) 부분에 대해 손가락 끝으로 추정되는 대략적인 위치를 찾아내기 위해서 이진(Binary) 이미지를 활용할 수 있다. Referring to FIG. 4, the location of the approximate fingertip obtained through the window search using the fingertip feature from the binary image data of each label image is shown. This shows a roughly estimated position of the fingertip in a close-up image. Fig. 4A shows the index finger and Fig. 4B shows the thumb of the right hand. Here, a binary image can be utilized to find an approximate position estimated by the fingertip for each label portion in the image.
라벨(Label) 이미지에 대해 특정 밝기 값을 기준으로 이진화된 이진(Binary) 이미지를 만들 수 있다. 이진(Binary) 이미지 내에서 정사각형 윈도우를 만들어 윈도우의 상, 하, 좌, 우 가장자리(edge)의 0의 개수와 가장자리가 아닌 내부의 평균 밝기 값을 구할 수 있다. 윈도우의 상, 하, 좌, 우 가장자리에 0이 일정 개수 이상 존재하면서 윈도우의 위 가장자리가 모두 0인 위치 중 가장자리가 아닌 내부의 평균 밝기 값이 가장 높은 윈도우의 중심을 손가락 끝이라고 추정할 수 있다.
Label You can create a binary image based on a specific brightness value for the image. You can create a square window within a binary image to find the number of zeros on the top, bottom, left, and right edges of the window and the average brightness value inside the edge, not the edge. It can be assumed that the center of the window having the highest average brightness value of the inside, rather than the edge, of the positions where all the upper edges of the window are 0 exists at the upper, lower, left, and right edges of the window, .
도 5는 일 실시예에 따른 윈도우가 손가락 끝에 위치했을 때의 예를 나타내는 도면이다. 5 is a view showing an example where a window according to an embodiment is located at a fingertip.
도 5를 참조하면, 각 라벨(Label) 이미지의 이진(Binary) 이미지 데이터로부터 대략적인 손가락 끝 위치를 예측하는 과정 중 정사각형 윈도우가 손가락 끝에 위치했을 때의 예를 나타낸다. 즉, 대략적인 손가락 끝 위치를 찾는 과정 중 윈도우가 손가락 끝에 위치했을 때의 예를 나타낸다. Referring to FIG. 5, an example of a case where a square window is located at the fingertip during the process of predicting the approximate fingertip position from the binary image data of each label image is shown. That is, an example of when the window is located at the fingertip during the process of finding the approximate fingertip position is shown.
예를 들어 윈도우 가장자리의 0의 개수는 일정 개수 이상이 되며 상부의 가장자리가 모두 0이 될 수 있다. 그리고 가장자리가 아닌 내부의 평균 밝기 값이 가장 높은 위치이기 때문에 해당 윈도우의 중심을 손가락 끝의 대략적인 위치라고 추정할 수 있다.
For example, the number of zeros on the window edge is more than a certain number, and the upper edge may be all zeros. Since the average brightness value of the inside of the window is the highest, the center of the window can be estimated as the approximate position of the fingertip.
도 6은 일 실시예에 따른 손가락 끝의 위치를 추정한 결과 이미지를 나타내는 도면이다. 6 is a view showing an image obtained by estimating the position of a fingertip according to an embodiment.
도 6을 참조하면, 모든 과정을 거치고 추정된 손가락 끝 위치를 나타내는 이미지의 예를 나타내는 것으로, 손가락 끝의 위치를 추정한 결과 이미지를 나타낸 것이다. 도 6a는 검지, 중지, 약지의 세 손가락을 나타내며, 도 6b는 양측 엄지 손가락을 나타낸다. Referring to FIG. 6, there is shown an example of an image showing the estimated fingertip position through all processes, which is an image obtained by estimating the position of a fingertip. FIG. 6A shows three fingers of a finger, a finger, a finger, and FIG. 6B shows both thumbs.
예측한 손가락 끝의 대략적인 추정 위치로부터 보다 정확한 손가락 끝 위치를 찾기 위해서 최적화 과정을 수행할 수 있다. 손가락 끝과 주변부의 밝기 값을 관찰한 결과, 손가락 끝이 가장 밝고 주변으로 갈수록 어두워지는 가우시안(Gaussian) 형태를 보일 수 있다. An optimization process can be performed to find a more accurate fingertip position from the approximate estimated position of the predicted fingertip. As a result of observing the brightness values of the fingertip and the periphery, it is possible to show a Gaussian form in which the fingertip is brightest and darker toward the periphery.
이를 이용하여 정사각형 가우시안(Gaussian) 템플릿과 로우(Raw) 이미지 사이의 오차 함수(Error Function) 값이 가장 낮은 값을 가지는 로우(Raw) 이미지 상의 위치를 손가락 끝이라 판단할 수 있다. The position on the raw image having the lowest error function value between the square Gaussian template and the raw image can be determined as the fingertip.
그리고 가장 낮은 오차 함수(Error Function) 값을 갖는 위치를 확인하기 위해 신뢰 구역(Trust Region)의 최적화 과정을 사용할 수 있다.
And we can use the optimization process of the Trust Region to identify the location with the lowest Error Function value.
도 7 내지 도 10은 일 실시예에 따른 다양한 상황에서 손가락 끝을 찾는 예를 나타내는 도면이다. FIGS. 7 to 10 are views showing an example of finding a fingertip in various situations according to an embodiment.
도 7 내지 도 10을 참조하면, 저해상도의 근접감지 광학식 터치패드에서 근접 및 터치 상태에 있는 여러 손가락의 손가락 끝 위치를 추정하는 기술의 적용 예를 확인할 수 있다. 고해상도의 이미지와 달리 저해상도의 광학 이미지에서는 손가락의 분명한 형태를 구분하기 어렵기 때문에 기존의 손가락 형태를 구분하는 이미지 처리 방식을 적용하기 어렵다. 또한 기존의 저해상도 광학 이미지에서 사용되는 가장 밝은 위치를 손가락 끝으로 추정하는 방법은 손가락 외 손바닥 등의 넓은 부위가 가장 밝은 값을 보이는 경우에 정확한 위치를 추정하는데 한계가 있다. Referring to FIGS. 7 to 10, an application example of a technique of estimating a fingertip position of a plurality of fingers in a proximity and a touch state in a low-resolution proximity-sensing optical touch pad can be confirmed. Unlike high-resolution images, it is difficult to distinguish finger shapes from low-resolution optical images. In addition, the method of estimating the brightest position used in the conventional low resolution optical image with the fingertip is limited in estimating the accurate position when the widest part such as the palm of the finger shows the brightest value.
이에 따라 새로운 이미지 처리 방법을 통해 저해상도의 광학 이미지에서 가장 밝은 위치를 사용하는 기존 이미지 처리 방법의 한계를 해결하고, 근접 및 터치 상태에 있는 여러 손가락의 손가락 끝 위치를 보다 정확하게 추정할 수 있다.Accordingly, the new image processing method solves the limitation of the conventional image processing method using the brightest position in the low-resolution optical image and more accurately estimates the fingertip positions of the fingers in the proximity and the touch state.
저해상도 광학식 터치패드에서 각 손가락 끝 주변의 밝기 데이터는 가우시안(Gaussian) 형태를 띤다. 따라서 가우시안(Gaussian) 템플릿과 로우(Raw) 이미지 사이의 오차 함수(Error Function)를 정의하고 오차 함수(Error Function)의 값이 가장 낮은 로우(Raw) 이미지 상의 위치를 손가락 끝이라 추정할 수 있다. 그러나 손가락 끝 외의 손바닥 등 넓은 부위가 밝은 값을 보이는 경우에는 가우시안(Gaussian) 템플릿과의 매칭만으로는 손가락 끝의 위치를 추정하기 어렵다. 이를 해결하기 위해 이미지 이로전(Erosion) 및 딜레이션(Dilation) 과정을 통해 손가락 끝을 강조하는 방법을 제공할 수 있다. 더불어 최적화 알고리즘을 통해 가장 가우시안(Gaussian) 형태에 알맞은 손가락 끝을 추정하는 방법을 제공하고, 빠른 최적화를 위해 최적화 이전에 손가락 끝의 위치를 대략적으로 추정하는 방법을 제공할 수 있다.In the low resolution optical touch pad, the brightness data around each fingertip is Gaussian. Therefore, an error function between a Gaussian template and a raw image can be defined, and a position on a raw image with the lowest value of an error function can be estimated as a fingertip. However, when a wide area such as the palm of the fingertip shows a bright value, it is difficult to estimate the position of the fingertip merely by matching with a Gaussian template. To solve this problem, it is possible to provide a method of emphasizing the fingertip through the image erosion and dilation processes. In addition, a method of estimating the fingertip suitable for the Gaussian form is provided through the optimization algorithm, and a method of roughly estimating the position of the fingertip prior to optimization can be provided for quick optimization.
이와 같이 다양한 상황에서 사용자의 손가락 끝을 인지할 수 있다. In such a variety of situations, the user's fingertip can be recognized.
실시예들은 노트북이나 가정용 텔레비전에 필요한 터치패드형 리모트 컨트롤러를 광학식 터치패드로 구현하는 경우 작은 범위의 저해상도 이미지만으로도 손가락 끝의 근접 위치를 정확히 추적할 수 있다.Embodiments can precisely track the proximity of the fingertip with a low-resolution image of a small range when the touch pad type remote controller necessary for a notebook or household television is implemented with an optical touch pad.
최근 근접감지 기술은 노트북, 휴대폰, 테이블탑 등 다양한 장치들에 적용되고 있으며 근접감지를 활용한 상호작용 시나리오 등도 연구 및 개발되고 있다. 하지만 대부분은 고해상도의 근접 이미지를 제공할 수 있는 장치들로 제한적이고 그렇지 않은 경우에는 오작동의 문제로 널리 사용되지는 않고 있다. 하지만 저해상도의 광학식 이미지로부터 손가락 끝을 충분히 정확하게 추적할 수 있다면 작은 크기의 장치 및 저해상도 이미지를 제공하는 전자 기기들에 근접감지 기술을 적용할 수 있으며, 이를 통해 새로운 전자기기 시장을 생성할 수 있을 것으로 예상된다.Recently, proximity sensing technology has been applied to various devices such as notebooks, mobile phones, tabletop, etc., and interaction scenarios using proximity sensing are also being studied and developed. However, most of them are limited to devices capable of providing high resolution close-up images and are not widely used as a problem of malfunction. However, if the fingertip can be tracked sufficiently precisely from low-resolution optical images, proximity detection technology can be applied to electronic devices that provide small-sized devices and low-resolution images, thereby creating a new electronic device market It is expected.
기존의 근접감지 기술이 널리 사용되지 못하는 원인 중 하나는 손가락 끝을 추적하기 위해서 충분히 큰 크기의 고해상도 근접 이미지를 제공하여야 적은 오작동 결과를 얻을 수 있기 때문이다. 본 실시예들을 통해 저해상도의 이미지로부터 손가락 끝 위치를 정확히 추적함으로써 노트북 등의 터치패드/텔레비전용 리모컨 등의 터치패드 등 다양한 크기의 입력 장치에서도 근접감지 기술을 사용할 수 있다.
One of the reasons that the conventional proximity detection technology is not widely used is that it is necessary to provide a high resolution close-up image of a size large enough to track the fingertip, so that a small malfunction result can be obtained. The proximity sensing technology can be used in input devices of various sizes such as a touch pad of a touch pad / television remote controller of a notebook computer or the like by accurately tracking the fingertip position from an image of low resolution through the embodiments.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 컨트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 컨트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.The apparatus described above may be implemented as a hardware component, a software component, and / or a combination of hardware components and software components. For example, the apparatus and components described in the embodiments may be implemented within a computer system, such as, for example, a processor, controller, arithmetic logic unit (ALU), digital signal processor, microcomputer, field programmable array (FPA) A programmable logic unit (PLU), a microprocessor, or any other device capable of executing and responding to instructions. The processing device may execute an operating system (OS) and one or more software applications running on the operating system. The processing device may also access, store, manipulate, process, and generate data in response to execution of the software. For ease of understanding, the processing apparatus may be described as being used singly, but those skilled in the art will recognize that the processing apparatus may have a plurality of processing elements and / As shown in FIG. For example, the processing apparatus may comprise a plurality of processors or one processor and one controller. Other processing configurations are also possible, such as a parallel processor.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.The software may include a computer program, code, instructions, or a combination of one or more of the foregoing, and may be configured to configure the processing device to operate as desired or to process it collectively or collectively Device can be commanded. The software and / or data may be in the form of any type of machine, component, physical device, virtual equipment, computer storage media, or device , Or may be permanently or temporarily embodied in a transmitted signal wave. The software may be distributed over a networked computer system and stored or executed in a distributed manner. The software and data may be stored on one or more computer readable recording media.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.
Claims (16)
각 프레임의 상기 로우(Raw) 이미지로부터 이미지 이로전(Erosion) 및 딜레이션(Dilation)을 반복한 결과를 빼는 단계;
이진(Binary) 이미지를 생성하는 단계;
각 손가락의 상기 이진(Binary) 이미지에서 손가락 끝으로 추정되는 위치를 예측하는 단계; 및
가우시안(Gaussian) 템플릿과 로우(Raw) 이미지 사이의 오차 함수(Error Function)의 값이 가장 낮은 로우(Raw) 이미지 상의 위치를 손가락 끝의 위치로 추정하는 단계
를 포함하고,
상기 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수의 값이 가장 낮은 로우(Raw) 이미지 상의 위치를 손가락 끝의 위치로 추정하는 단계는,
예측된 상기 손가락 끝의 위치에서 상기 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수의 값이 가장 낮은 위치를 찾기 위해 최적화(Optimization) 과정을 통해 손가락 끝의 위치를 추정하는 단계이며,
복수의 손가락이 터치패드 위에 있는 경우, 각 손가락에 대해서 손가락 끝을 찾기 위한 사전 작업으로 연결 요소 라벨링(Connected Component Labeling)을 수행하는 단계를 더 포함하고,
상기 이진(Binary) 이미지를 생성하는 단계는,
각 라벨(Label) 이미지에 대해 상기 이진(Binary) 이미지를 생성하는 단계인 것을 특징으로 하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법. Obtaining a raw image of each frame from an image sensor;
Subtracting the result of repeating image erosion and dilation from the raw image of each frame;
Generating a binary image;
Predicting a position estimated from a finger tip in the binary image of each finger; And
Estimating a position on a raw image having a lowest value of an error function between a Gaussian template and a raw image as a position of a fingertip
Lt; / RTI >
The step of estimating the position of the fingertip on the low image having the smallest error function value between the Gaussian template and the Raw image,
Estimating a position of a fingertip through an optimization process to find a position at which a value of an error function between the Gaussian template and a raw image is lowest at a predicted fingertip position,
Further comprising performing connected component labeling as a preliminary operation to find a fingertip for each finger when the plurality of fingers is on the touch pad,
Wherein the generating the binary image comprises:
And generating the binary image with respect to each label image. A method for estimating a fingertip position of a plurality of fingers in a low-resolution optical touchpad capable of proximity detection.
상기 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수의 값이 가장 낮은 로우(Raw) 이미지 상의 위치를 손가락 끝의 위치로 추정하는 단계는,
상기 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수를 정의하는 단계; 및
상기 오차 함수의 값이 가장 낮은 위치를 찾기 위해 최적화(Optimization) 과정을 통해 손가락 끝의 위치를 추정하는 단계
를 포함하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법. The method according to claim 1,
The step of estimating the position of the fingertip on the low image having the smallest error function value between the Gaussian template and the Raw image,
Defining an error function between the Gaussian template and a raw image; And
Estimating a position of a fingertip through an optimization process to find a position at which the value of the error function is lowest;
A method for estimating the fingertip position of multiple fingers in a low-resolution optical touch pad capable of proximity detection.
상기 복수의 손가락이 터치패드 위에 있는 경우, 각 손가락에 대해서 손가락 끝을 찾기 위한 사전 작업으로 연결 요소 라벨링(Connected Component Labeling)을 수행하는 단계는,
획득한 손가락 끝 이미지의 각 윤곽(Contour) 별로 체인 코드를 생성하고 체인 코드의 모든 점을 꼭지점으로 변환하여 라벨(Label)을 수행하는 것
을 특징으로 하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법. The method according to claim 1,
The step of performing connected component labeling as a preliminary operation for finding a finger tip with respect to each finger, when the plurality of fingers is on the touch pad,
A chain code is generated for each contour of the obtained fingertip image, and a label is performed by converting all the points of the chain code into vertexes
A method for estimating the fingertip position of multiple fingers in a low-resolution optical touch pad capable of proximity detection.
상기 이진(Binary) 이미지를 생성하는 단계는,
각 라벨(Label) 이미지에 대해 특정 밝기 값을 기준으로 이진화된 이진(Binary) 이미지를 생성하는 단계이고,
상기 각 손가락의 상기 이진(Binary) 이미지에서 손가락 끝으로 추정되는 위치를 예측하는 단계는,
상기 이진(Binary) 이미지 내에서 정사각형 윈도우를 만들어 윈도우의 상, 하, 좌, 우 가장자리(edge)의 0의 개수와 가장자리가 아닌 내부의 평균 밝기 값을 구하는 단계; 및
상기 윈도우의 상, 하, 좌, 우 가장자리에 0이 일정 개수 이상 존재하는 동시에 상기 윈도우의 상부 가장자리가 모두 0인 위치 중 가장자리가 아닌 내부의 평균 밝기 값이 가장 높은 윈도우의 중심을 손가락 끝으로 예측하는 단계
를 포함하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법. The method according to claim 1,
Wherein the generating the binary image comprises:
Generating a binarized binary image based on a specific brightness value for each label image,
Wherein the step of predicting a finger-estimated position in the binary image of each finger comprises:
Creating a square window in the binary image to obtain a number of zeros at the top, bottom, left, and right edges of the window and an average brightness value inside the window rather than the edge; And
A predetermined number of 0's exist on the upper, lower, left, and right edges of the window, and the center of the window having the highest average brightness value of the inside, which is not the edge among the positions where all the upper edges of the window are 0, Step
A method for estimating the fingertip position of multiple fingers in a low-resolution optical touch pad capable of proximity detection.
상기 오차 함수의 값이 가장 낮은 위치를 찾기 위해 최적화(Optimization) 과정을 통해 손가락 끝의 위치를 추정하는 단계는,
상기 오차 함수의 값이 가장 낮은 위치인지 여부를 확인하기 위해 신뢰 구역(Trust Region)의 상기 최적화 과정을 통해 검증하는 단계
를 포함하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법. 3. The method of claim 2,
Estimating a position of a fingertip through an optimization process to find a position having a lowest value of the error function,
Verifying the reliability region through the optimization process to determine whether the value of the error function is the lowest value
A method for estimating the fingertip position of multiple fingers in a low-resolution optical touch pad capable of proximity detection.
상기 각 프레임의 상기 로우(Raw) 이미지로부터 이미지 이로전(Erosion) 및 딜레이션(Dilation)을 반복한 결과를 빼는 단계는,
상기 로우(Raw) 이미지에서 상기 이로전(Erosion)과 딜레이션(Dilation)을 반복하여 손가락 근위부(Finger Proximal) 만을 강조한 이미지를 얻고, 상기 로우(Raw) 이미지에서 손가락 근위부(Finger Proximal) 이미지를 빼(substitute) 손가락 끝 이미지를 획득하는 것
을 특징으로 하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 방법.The method according to claim 1,
Subtracting the result of repeating the image erosion and dilation from the raw image of each frame,
The Erosion and Dilation are repeated in the Raw image to obtain an image in which only the Finger Proximal is emphasized and the Finger Proximal image is extracted from the Raw image acquiring a substitute fingertip image
A method for estimating the fingertip position of multiple fingers in a low-resolution optical touch pad capable of proximity detection.
각 프레임의 상기 로우(Raw) 이미지로부터 이미지 이로전(Erosion) 및 딜레이션(Dilation)을 반복한 결과를 빼는 이로전 및 딜레이션부;
복수의 손가락이 터치패드 위에 있는 경우, 각 손가락에 대해서 손가락 끝을 찾기 위한 사전 작업으로 연결 요소 라벨링(Connected Component Labeling)을 수행하는 라벨링부;
이진(Binary) 이미지를 생성하는 이진 이미지 생성부;
각 손가락의 상기 이진(Binary) 이미지에서 손가락 끝으로 추정되는 위치를 예측하는 위치 예측부; 및
가우시안(Gaussian) 템플릿과 로우(Raw) 이미지 사이의 오차 함수(Error Function)의 값이 가장 낮은 로우(Raw) 이미지 상의 위치를 손가락 끝의 위치로 추정하는 위치 추정부
를 포함하고,
상기 위치 추정부는,
상기 위치 예측부에서 예측된 손가락 끝의 위치에서 상기 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수의 값이 가장 낮은 위치를 찾기 위해 최적화(Optimization) 과정을 통해 손가락 끝의 위치를 추정하며,
상기 이진 이미지 생성부는,
상기 라벨링부에 의해 생성된 각 라벨(Label) 이미지에 대해 상기 이진(Binary) 이미지를 생성하는 것을 특징으로 하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 시스템. A low image acquisition unit for acquiring a low image of each frame from the image sensor;
An aging and dilation section for subtracting the result of repeating image erosion and dilation from the raw image of each frame;
A labeling unit that performs connected component labeling as a preliminary operation for finding a fingertip with respect to each finger when a plurality of fingers is on the touch pad;
A binary image generating unit for generating a binary image;
A position predicting unit for predicting a position estimated from a finger tip in the binary image of each finger; And
A position estimating unit estimating a position on a raw image having a lowest value of an error function between a Gaussian template and a raw image as a position of a fingertip;
Lt; / RTI >
The position estimating unit may calculate,
Estimating a position of a fingertip through an optimization process to find a position of an error function between the Gaussian template and a raw image at a position of a fingertip predicted by the position predictor,
Wherein the binary image generating unit comprises:
And generating the binary image with respect to each label image generated by the labeling unit. 2. The system as claimed in claim 1, further comprising:
상기 위치 추정부는,
상기 가우시안 템플릿과 로우(Raw) 이미지 사이의 오차 함수를 정의하는 오차 함수부; 및
상기 오차 함수의 값이 가장 낮은 위치를 찾기 위해 최적화(Optimization) 과정을 통해 손가락 끝의 위치를 추정하는 최적화 알고리즘
을 포함하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 시스템. 10. The method of claim 9,
The position estimating unit may calculate,
An error function unit that defines an error function between the Gaussian template and the raw image; And
An optimization algorithm for estimating the position of the fingertip through an optimization process to find a position where the error function has the lowest value
A system for estimating the fingertip position of multiple fingers in a low-resolution optical touch pad capable of proximity sensing including a plurality of fingers.
상기 라벨링부는,
획득한 손가락 끝 이미지의 각 윤곽(Contour) 별로 체인 코드를 생성하고 체인 코드의 모든 점을 꼭지점으로 변환하여 라벨(Label)을 수행하는 것
을 특징으로 하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 시스템. 10. The method of claim 9,
The labeling unit,
A chain code is generated for each contour of the obtained fingertip image, and a label is performed by converting all the points of the chain code into vertexes
A system for estimating the fingertip position of multiple fingers in a low-resolution optical touch pad capable of proximity detection.
상기 이진 이미지 생성부는,
각 라벨(Label) 이미지에 대해 특정 밝기 값을 기준으로 이진화된 이진(Binary) 이미지를 생성하고,
상기 위치 예측부는,
상기 이진(Binary) 이미지 내에서 정사각형 윈도우를 만들어 윈도우의 상, 하, 좌, 우 가장자리(edge)의 0의 개수와 가장자리가 아닌 내부의 평균 밝기 값을 구하고,
상기 윈도우의 상, 하, 좌, 우 가장자리에 0이 일정 개수 이상 존재하는 동시에 상기 윈도우의 상부 가장자리가 모두 0인 위치 중 가장자리가 아닌 내부의 평균 밝기 값이 가장 높은 윈도우의 중심을 손가락 끝으로 예측하는 것
을 특징으로 하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 시스템. 10. The method of claim 9,
Wherein the binary image generating unit comprises:
A binarized binary image is generated based on a specific brightness value for each label image,
The position predicting unit,
A square window is created in the binary image to determine the number of 0's on the top, bottom, left, and right edges of the window and the average brightness value inside the window,
A predetermined number of 0's exist on the upper, lower, left, and right edges of the window, and the center of the window having the highest average brightness value of the inside, which is not the edge among the positions where all the upper edges of the window are 0, To do
A system for estimating the fingertip position of multiple fingers in a low-resolution optical touch pad capable of proximity detection.
상기 최적화 알고리즘은,
상기 오차 함수의 값이 가장 낮은 위치인지 여부를 확인하기 위해 신뢰 구역(Trust Region)의 상기 최적화 과정을 통해 검증하는 것
를 포함하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 시스템. 11. The method of claim 10,
The optimization algorithm comprises:
Verifying through the optimization process of the Trust Region to ascertain whether the value of the error function is at the lowest position
A system for estimating the fingertip position of multiple fingers in a low-resolution optical touch pad capable of proximity detection.
상기 이로전 및 딜레이션부는,
상기 로우(Raw) 이미지에서 상기 이로전(Erosion)과 딜레이션(Dilation)을 반복하여 손가락 근위부(Finger Proximal) 만을 강조한 이미지를 얻고, 상기 로우(Raw) 이미지에서 손가락 근위부(Finger Proximal) 이미지를 빼(substitute) 손가락 끝 이미지를 획득하는 것
을 특징으로 하는 근접감지가 가능한 저해상도 광학식 터치패드에서 여러 손가락의 손가락 끝 위치를 추정하는 시스템.10. The method of claim 9,
The above-described degaussing and dilation unit may comprise:
The Erosion and Dilation are repeated in the Raw image to obtain an image in which only the Finger Proximal is emphasized and the Finger Proximal image is extracted from the Raw image acquiring a substitute fingertip image
A system for estimating the fingertip position of multiple fingers in a low-resolution optical touch pad capable of proximity detection.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160057128A KR101761062B1 (en) | 2016-05-10 | 2016-05-10 | Fingertip Tracking Method and System on the Optical Hover Tracking Touchpad with Low Resolution |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160057128A KR101761062B1 (en) | 2016-05-10 | 2016-05-10 | Fingertip Tracking Method and System on the Optical Hover Tracking Touchpad with Low Resolution |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101761062B1 true KR101761062B1 (en) | 2017-07-26 |
Family
ID=59426917
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160057128A KR101761062B1 (en) | 2016-05-10 | 2016-05-10 | Fingertip Tracking Method and System on the Optical Hover Tracking Touchpad with Low Resolution |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101761062B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102252658B1 (en) * | 2020-12-09 | 2021-05-17 | 주식회사 모빌린트 | Method of managing input of touchpad using LIDAR sensor and notebook computer using thereof |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070217668A1 (en) * | 2005-09-23 | 2007-09-20 | Lars Bornemann | Method and apparatus of segmenting an object in a data set and of determination of the volume of segmented object |
-
2016
- 2016-05-10 KR KR1020160057128A patent/KR101761062B1/en active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070217668A1 (en) * | 2005-09-23 | 2007-09-20 | Lars Bornemann | Method and apparatus of segmenting an object in a data set and of determination of the volume of segmented object |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102252658B1 (en) * | 2020-12-09 | 2021-05-17 | 주식회사 모빌린트 | Method of managing input of touchpad using LIDAR sensor and notebook computer using thereof |
| WO2022124453A1 (en) * | 2020-12-09 | 2022-06-16 | 주식회사 모빌린트 | Method for controlling touchpad input by using lidar sensor, and laptop computer using same |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102137264B1 (en) | Apparatus and method for camera pose estimation | |
| US9218537B2 (en) | Image processing device and image processing method | |
| US8913019B2 (en) | Multi-finger detection and component resolution | |
| US8885923B2 (en) | Feature point selecting system, feature point selecting method and feature point selecting program | |
| KR101681538B1 (en) | Image processing apparatus and method | |
| US20130050076A1 (en) | Method of recognizing a control command based on finger motion and mobile device using the same | |
| KR102347248B1 (en) | Method and apparatus for recognizing touch gesture | |
| US20150310617A1 (en) | Display control device and display control method | |
| RU2014108820A (en) | IMAGE PROCESSOR CONTAINING A SYSTEM FOR RECOGNITION OF GESTURES WITH FUNCTIONAL FEATURES FOR DETECTING AND TRACKING FINGERS | |
| US8417026B2 (en) | Gesture recognition methods and systems | |
| TWI431538B (en) | Image based motion gesture recognition method and system thereof | |
| CN107346538A (en) | Method for tracing object and equipment | |
| US10586335B2 (en) | Hand segmentation in a 3-dimensional image | |
| KR20120044484A (en) | Apparatus and method for tracking object in image processing system | |
| KR101994319B1 (en) | Apparatus of recognizing an object using a depth image and method thereof | |
| KR101761062B1 (en) | Fingertip Tracking Method and System on the Optical Hover Tracking Touchpad with Low Resolution | |
| KR101436695B1 (en) | Apparatus and method for detecting finger using depth image | |
| KR101614798B1 (en) | Non-contact multi touch recognition method and system using color image analysis | |
| KR102211159B1 (en) | Apparatus and Method of Body Parts Detection | |
| JP6393495B2 (en) | Image processing apparatus and object recognition method | |
| KR101994311B1 (en) | Pose recognition apparatus and method using the same | |
| KR100994366B1 (en) | Method for tracking a movement of a moving target of image tracking apparatus | |
| KR101834084B1 (en) | Method and device for tracking multiple objects | |
| KR101777948B1 (en) | Apparatus for automatically detecting an object using an entropy and difference of background rate of change | |
| KR20190076202A (en) | 3d hand posture recognition apparatus and method using the same |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |