KR101167784B1 - A method for recognizing pointers and a method for recognizing control commands, based on finger motions on the back of the portable information terminal - Google Patents
A method for recognizing pointers and a method for recognizing control commands, based on finger motions on the back of the portable information terminal Download PDFInfo
- Publication number
- KR101167784B1 KR101167784B1 KR1020100066230A KR20100066230A KR101167784B1 KR 101167784 B1 KR101167784 B1 KR 101167784B1 KR 1020100066230 A KR1020100066230 A KR 1020100066230A KR 20100066230 A KR20100066230 A KR 20100066230A KR 101167784 B1 KR101167784 B1 KR 101167784B1
- Authority
- KR
- South Korea
- Prior art keywords
- finger
- pointer
- image
- information terminal
- portable information
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Data Mining & Analysis (AREA)
- Mathematical Physics (AREA)
- Mathematical Optimization (AREA)
- Health & Medical Sciences (AREA)
- Computational Mathematics (AREA)
- Algebra (AREA)
- Pure & Applied Mathematics (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Mathematical Analysis (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Multimedia (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 휴대형 정보 단말기를 파지한 손의 손가락 움직임에 따라서 상기 손가락의 끝이 위치한 지점인 포인터를 인식하는 방법에 관한 것으로서, 본 발명에 따른 손가락 움직임에 따른 포인터 인식 방법은 휴대형 정보 단말기의 후면부에 부착된 영상 획득 장치가 손가락 영역을 포함하는 영상을 획득하는 제1 단계; 피부색을 나타내는 임계치를 이용해서 손가락 영역을 추출하고, 손가락 영역을 포함하는 영상에 대해 이진화를 수행해서 이진화된 영상을 생성하는 제2 단계; 상기 이진화된 영상으로부터 노이즈를 제거하여 노이즈가 제거된 영상을 생성하는 제3 단계; 상기 노이즈가 제거된 영상으로부터 손가락 영역의 윤곽선을 추출하는 제4 단계; 상기 손가락 영역의 윤곽선으로부터 손가락 영역의 중심선인 뼈대를 추출하는 제5 단계; 및 상기 추출된 뼈대의 말단 부분을 손가락 영역의 포인터로서 추출하는 제6 단계;를 포함한다.The present invention relates to a method for recognizing a pointer, which is a point at which an end of a finger is located, according to a finger movement of a hand holding a portable information terminal. The method of recognizing a pointer according to a finger movement according to the present invention includes a rear portion of a portable information terminal. A first step of acquiring, by the attached image capturing apparatus, an image including a finger region; A second step of extracting a finger region by using a threshold representing a skin color and performing a binarization on an image including the finger region to generate a binarized image; Generating a video from which the noise is removed by removing noise from the binarized video; Extracting an outline of a finger region from the image from which the noise is removed; Extracting a skeleton, which is a centerline of the finger region, from the contour of the finger region; And a sixth step of extracting the end portion of the extracted skeleton as a pointer of a finger region.
Description
본 발명은 단말기의 후면부 손가락 움직임에 따른 포인터 인식 방법 및 제어 명령어 인식 방법에 관한 것으로서, 더욱 상세하게는 휴대형 정보 단말기 후면부(뒷면)에 구비된 고정형 또는 탈부착이 가능한 영상 획득 장치를 이용하여 휴대형 정보 단말기를 파지한 해당 손의 손가락 움직임에 따른 포인터 등을 평면 또는 다차원 해석이 가능한 손가락 영역 영상으로 획득한 후, 해당 포인터의 변화 및 이동 속도 등을 인식하여 이를 미리 정의되어 있는 관련 콘텐츠 등을 제어할 수 있는 제어 명령어를 인식하는 방법에 관한 것이다.The present invention relates to a method for recognizing a pointer and a control command according to a finger movement of a rear part of a terminal, and more particularly, to a portable information terminal using a fixed or detachable image acquisition device provided on a rear part (back side) of a portable information terminal. After acquiring a pointer or the like according to the movement of the finger of the corresponding hand held as a finger region image capable of plane or multi-dimensional analysis, it recognizes the change and the moving speed of the pointer and controls the related related content that is defined in advance. The present invention relates to a method for recognizing a control command.
휴대형 정보 단말기를 사용하는 사용자의 사용환경에 따라서는 한 손만으로도 휴대형 정보 단말기 및 휴대형 정보 단말기에 내장된 관련 콘텐츠를 제어할 필요가 있는 상황이 발생할 수 있다. 그럼에도 불구하고, 기존에 존재하는 제스처 인식 기반 모바일 사용자 인터페이스에서는 휴대형 정보 단말기를 파지한 한 손만으로 휴대형 정보 단말기 및 휴대형 정보 단말기의 콘텐츠를 제어할 수 있는 기술이 존재하지 않았다. Depending on the usage environment of the user using the portable information terminal, a situation may arise in which it is necessary to control the portable information terminal and related contents embedded in the portable information terminal with only one hand. Nevertheless, in the existing gesture recognition-based mobile user interface, there is no technology for controlling the contents of the portable information terminal and the portable information terminal with only one hand holding the portable information terminal.
이러한 문제점을 해결하기 위해서, 본 발명은 휴대형 정보 단말기 후면부(뒷면)에 구비된 고정형 또는 탈부착이 가능한 영상 획득 장치를 이용하여 휴대형 정보 단말기를 파지한 해당 손의 손가락 움직임 즉, 2차원 평면 또는 다차원 공간 영역 내의 손가락 포인터의 위치 변화 등을 평면 또는 다차원 해석이 가능한 손가락 영역 영상으로 획득하고 이를 인식하여 휴대형 정보 단말기 및 관련 콘텐츠 등을 제어할 수 있는 방법을 제공하며 휴대형 정보 단말기를 파지한 해당 손에서 비교적 자유도가 높은 검지의 제스처 및 움직임 영상을 인식하여 보다 편리하고 효율적인 사용자 인터페이스를 제공하는 것을 목적으로 한다.In order to solve this problem, the present invention uses a fixed or detachable image acquisition apparatus provided on the rear portion (back side) of the portable information terminal, which is a finger movement of the hand held by the portable information terminal, that is, a two-dimensional plane or a multi-dimensional space. A method of acquiring a change in the position of a finger pointer in an area as a finger region image capable of plane or multi-dimensional analysis and providing a method of controlling the portable information terminal and related contents by recognizing it, and relatively in the corresponding hand holding the portable information terminal An object of the present invention is to provide a more convenient and efficient user interface by recognizing a gesture and a motion image of a high degree of index finger.
본 발명은 휴대형 정보 단말기를 파지한 손의 손가락 움직임에 따라서 상기 손가락의 끝이 위치한 지점인 포인터를 인식하는 방법에 관한 것으로서, 상술한 목적을 달성하기 위한 본 발명에 따른 손가락 움직임에 따른 포인터 인식 방법은 휴대형 정보 단말기의 후면부에 부착된 영상 획득 장치가 손가락 영역을 포함하는 영상을 획득하는 제1 단계; 피부색을 나타내는 임계치를 이용해서 손가락 영역을 추출하고, 손가락 영역을 포함하는 영상에 대해 이진화를 수행해서 이진화된 영상을 생성하는 제2 단계; 상기 이진화된 영상으로부터 노이즈를 제거하여 노이즈가 제거된 영상을 생성하는 제3 단계; 상기 노이즈가 제거된 영상으로부터 손가락 영역의 윤곽선을 추출하는 제4 단계; 상기 손가락 영역의 윤곽선으로부터 손가락 영역의 중심선인 뼈대를 추출하는 제5 단계; 및 상기 추출된 뼈대의 말단 부분을 손가락 영역의 포인터로서 추출하는 제6 단계;를 포함한다.The present invention relates to a method for recognizing a pointer which is a point at which an end of a finger is located according to a finger movement of a hand holding a portable information terminal, and a pointer recognition method according to a finger movement according to the present invention for achieving the above object. Is a first step of acquiring an image including a finger region by an image acquisition device attached to a rear surface of a portable information terminal; A second step of extracting a finger region by using a threshold representing a skin color and performing a binarization on an image including the finger region to generate a binarized image; Generating a video from which the noise is removed by removing noise from the binarized video; Extracting an outline of a finger region from the image from which the noise is removed; Extracting a skeleton, which is a centerline of the finger region, from the contour of the finger region; And a sixth step of extracting the end portion of the extracted skeleton as a pointer of a finger region.
본 발명의 일실시예에 따르면, 본 발명에 따른 손가락 움직임에 따른 포인터 인식 방법은 제3 단계에서 상기 이진화된 영상으로부터 노이즈를 제거함에 있어서, 팽창연산 및 침식연산을 이용해서 노이즈를 제거할 수 있다.According to an embodiment of the present invention, the pointer recognition method according to the finger movement according to the present invention may remove the noise by using the expansion operation and the erosion operation in removing the noise from the binary image in the third step. .
또한, 본 발명은 휴대형 정보 단말기를 파지한 손의 손가락 움직임에 따라서 상기 손가락의 끝이 위치한 지점인 포인터를 인식해서, 휴대형 정보 단말기 및 휴대형 정보 단말기에 포함된 콘텐츠에 대한 제어 명령어를 인식하는 방법에 관한 것으로서, 상술한 목적을 달성하기 위한 본 발명에 따른 제어 명령어 인식 방법은 상기 제1 단계 내지 제6 단계를 수행하여 손가락 움직임에 따른 포인터를 인식한 이후에, 상기 노이즈가 제거된 영상에서 상기 뼈대가 구부려졌다 펴지는 현상을 감지하여 상기 뼈대가 구부러진 후 다시 펴질 때까지의 포인터의 이동 방향 및 포인터의 위치 변화량이 기준 변화량 이상인 경우에 클릭 제어 명령어로 인식하는 제7 단계; 또는 상기 노이즈가 제거된 영상에서 프레임간 포인터의 위치 변화량 및 포인터의 이동 방향을 측정해서 포인터의 위치 변화량이 기준 변화량 이상인 경우에 포인터의 이동 방향을 고려해서 제어 명령어로 인식하는 제7 단계;를 포함한다.In addition, the present invention relates to a method for recognizing a pointer which is the point where the end of the finger is located in accordance with the movement of the finger of the hand holding the portable information terminal, to recognize a control command for the content included in the portable information terminal and the portable information terminal. In accordance with an aspect of the present invention, there is provided a method of recognizing a control command according to the present invention. After recognizing a pointer according to a finger movement by performing the first to sixth steps, the skeleton in the image from which the noise is removed. A seventh step of detecting a phenomenon of being bent and unfolded and recognizing it as a click control command when the movement direction of the pointer and the position change amount of the pointer from the bent to the unfolded are more than a reference change amount; Or a seventh step of measuring the position change amount of the inter-frame pointer and the moving direction of the pointer in the image from which the noise is removed, and recognizing it as a control command in consideration of the moving direction of the pointer when the position change amount of the pointer is greater than or equal to the reference change amount. do.
본 발명의 일실시예에 따르면, 상기 제7 단계 이전에, 휴대형 정보 단말기의 후면부의 제어 명령어 인식 영역을 휴대형 정보 단말기의 전면부의 화면 사이즈에 맞추도록 설정하는 단계를 더 포함할 수 있다.According to an embodiment of the present disclosure, the method may further include setting the control command recognition area of the rear part of the portable information terminal to match the screen size of the front part of the portable information terminal before the seventh step.
본 발명에 따르면 간단한 손가락 동작으로 휴대형 정보 단말기(이동 단말 장치)의 프로그램을 비접촉 방식으로 제어함으로써 사용자의 편의를 증대시킬 수 있는 효과가 있다. According to the present invention, a user's convenience can be increased by controlling a program of a portable information terminal (mobile terminal device) with a simple finger operation in a non-contact manner.
본 발명에 따르면 터치스크린 패널 및 키패드 등과 같은 기존의 휴대형 정보 단말기 제어 방법 및 기능과 겸하여 사용하는 것이 가능하고, 손가락 움직임만을 이용해서 독립적으로 휴대형 정보 단말기를 제어하는 것 또한 가능하다. According to the present invention, it can be used in combination with existing portable information terminal control methods and functions such as a touch screen panel and a keypad, and it is also possible to independently control the portable information terminal using only a finger movement.
본 발명에 따르면 사용자가 휴대형 정보 단말기를 파지한 한 손만으로도 휴대용 정보 단말기를 운용하고 제어하는 것이 가능하게 되므로, 보다 편리하고 효율적인 사용자 환경을 제공해 줄 수 있다는 이점을 가진다.According to the present invention, since the user can operate and control the portable information terminal using only one hand holding the portable information terminal, the user can provide a more convenient and efficient user environment.
도 1은 본 발명에 따른 단말기의 후면부 손가락 움직임에 따른 포인터 인식 방법 및 제어 명령어 인식 방법의 일실시예에 대한 흐름도이다.
도 2는 본 발명에 따른 후면부 손가락 움직임에 따른 포인터 인식 방법의 일실시예에 대한 흐름도이다.
도 3은 본 발명에 따라서 손가락 영역의 포인터를 인식하는 일실시예를 나타낸 도면이다.
도 4는 본 발명에 따라서 단순 커서 이동 제어의 일실시예를 나타낸 도면이다.
도 5는 본 발명에 따른 단순 커서 이동 제어에 의해서 콘텐츠 내 객체의 이동 및 제어를 수행하는 일실시예를 나타낸 도면이다.
도 6은 본 발명에 따라서 선택(클릭) 제어 명령어 생성의 일실시예를 나타낸 도면이다.
도 7은 본 발명에 따라서 "상" 제어 명령어 생성 및 인식의 일실시예를 나타낸 도면이다.
도 8은 본 발명에 따라서 "하" 제어 명령어 생성 및 인식의 일실시예를 나타낸 도면이다.
도 9는 본 발명에 따라서 "우" 제어 명령어 생성 및 인식의 일실시예를 나타낸 도면이다.
도 10은 본 발명에 따라서 "좌" 제어 명령어 생성 및 인식의 일실시예를 나타낸 도면이다.
도 11은 본 발명에 따라서 손가락 움직임 추적기반 사용자 인터페이스를 이용한 프로그램 시작 시 휴대형 정보 단말기의 후면부의 제어 명령어 인식 영역을 전면부의 화면 사이즈에 맞추도록 설정하는 단계의 일실시예를 나타낸 도면이다.1 is a flowchart illustrating an embodiment of a pointer recognition method and a control command recognition method according to a finger movement of a rear part of a terminal according to the present invention.
2 is a flowchart illustrating an embodiment of a pointer recognition method according to a rear finger movement according to the present invention.
3 is a diagram illustrating an embodiment of recognizing a pointer of a finger region according to the present invention.
4 is a diagram illustrating an embodiment of a simple cursor movement control according to the present invention.
5 is a diagram illustrating an embodiment of moving and controlling an object in a content by simple cursor movement control according to the present invention.
6 illustrates an embodiment of generating a selection (click) control command according to the present invention.
7 illustrates an embodiment of generation and recognition of "up" control commands in accordance with the present invention.
8 is a diagram illustrating one embodiment of generating and recognizing a "lower" control command according to the present invention.
9 is a diagram illustrating an embodiment of generating and recognizing a "right" control command according to the present invention.
10 illustrates an embodiment of generation and recognition of a "left" control command in accordance with the present invention.
FIG. 11 is a diagram for one embodiment of setting a control command recognition area of a rear part of a portable information terminal to match a screen size of a front part when starting a program using a finger motion tracking based user interface according to the present invention.
본 발명은 휴대형 정보 단말기의 후면부(뒷면)에 구비된 영상 획득 장치를 이용하여 손가락 움직임에 따른 포인터를 획득하고 인식한다. 본 명세서에서 포인터라고 함은 영상 획득 장치를 통해서 인식의 대상이 되고 있는 손가락의 끝이 위치하는 지점 또는 좌표를 의미한다. 포인터의 활용 용도는 포인터의 이동에 따라 단순하게 커서 이동을 제어하는 용도와 포인터의 단위 프레임당 이동픽셀의 변화량에 따라 상, 하, 좌, 우, 클릭 등의 명령어에 맵핑해서 내장된 관련 콘텐츠를 제어하는 용도로 크게 나누어진다.The present invention acquires and recognizes a pointer according to a finger movement by using an image acquisition device provided on a rear side (back side) of a portable information terminal. In the present specification, the pointer refers to a point or coordinates where the end of a finger, which is the object of recognition, is located through the image capturing apparatus. The purpose of the pointer is to control the movement of the cursor simply by moving the pointer and to map the related contents embedded by mapping to the commands such as up, down, left, right, and click according to the amount of change of the moving pixel per unit frame of the pointer. It is largely divided into controlling purposes.
도 1은 본 발명에 따른 단말기의 후면부 손가락 움직임에 따른 포인터 인식 방법 및 제어 명령어 인식 방법의 일실시예에 대한 흐름도이다. 1 is a flowchart illustrating an embodiment of a pointer recognition method and a control command recognition method according to a finger movement of a rear part of a terminal according to the present invention.
도 1에서 도시된 바와 같이, 본 발명에 있어서 손가락 움직임에 따른 포인터의 인식 방법은 사용자의 손가락 영역 영상, 특히 휴대형 정보 단말기를 파지한 손에서 비교적 자유도가 높은 검지 등의 움직임을 표현하는 손가락 영역 영상을 단말기 후면부 카메라를 통해서 획득하는 단계(S101), 상기 획득된 손가락 영역 영상에 기초하여 색상모델 변화 및 피부색 영역 추출, 이진화 등을 수행하는 손가락 영역 영상의 전처리 단계(S103), 손가락 영역의 윤곽선을 추출하는 단계(S105), 해당 윤곽선 정보를 이용하여 골격화(Skeletonization)하는 단계, 즉 뼈대를 추출하는 단계(S107), 및 추출된 뼈대(Skeleton) 정보로부터 포인터를 획득하는 단계, 즉 포인터를 인식하는 단계(S109)를 포함한다.As shown in FIG. 1, in the present invention, a method of recognizing a pointer according to a finger movement includes a finger region image of a user, in particular, a finger region image representing a relatively high degree of freedom of a finger, such as a hand held by a portable information terminal. Acquiring the image through the rear camera of the terminal (S101), preprocessing of the finger region image for performing color model change, skin color region extraction, and binarization based on the acquired finger region image (S103), and contour of the finger region. Extracting step S105, skeletalization using the contour information, that is, extracting the skeleton S107, and obtaining a pointer from the extracted skeleton information, that is, recognizing the pointer. It includes the step (S109).
이렇게 인식된 손가락 움직임에 따른 포인터를 이용해서 휴대형 정보 단말기 및 콘텐츠를 제어하는 방법은 다음과 같다. 우선, 추출된 손가락 영역의 특징 즉, 2차원 평면 또는 다차원 공간 영역 내의 손가락 포인터의 위치 변화 등을 비교 및 인식함으로써 포인터의 급격한 이동인지, 손가락의 구부림인지, 포인터의 급격한 이동과 손가락의 구부림 어느 것도 아닌지를 판단(S113)한 후, 포인터의 급격한 이동인 경우라고 판단된 경우에는 프레임간 포인터의 이동픽셀 변화량, 즉 단위 프레임당 포인터의 이동픽셀 변화량 및 방향을 측정(S115)해서 상, 하, 좌, 우 등의 제어 명령어를 실행(S117)함으로써 휴대형 정보 단말기 및 내장된 관련 콘텐츠를 제어(S125)하고, 또는 손가락의 구부림이라고 판단된 경우에는 포인터의 급격한 "하"→"상"으로 움직임 현상을 감지하고 이동픽셀 변화량을 측정(S121)해서 선택(클릭) 제어 명령어를 실행(S123)함으로써 휴대형 정보 단말기 및 내장된 관련 콘텐츠를 제어(S125)하고, 또는 포인터의 급격한 이동과 손가락의 구부림 어느 것도 아닌 경우에는 손가락 움직임의 시각화 및 커서의 단순 이동 명령을 실행(S119)함으로써 휴대형 정보 단말기 및 내장된 관련 콘텐츠를 제어(S125)한다. The method of controlling the portable information terminal and the content by using the pointer according to the recognized finger movement is as follows. First, by comparing and recognizing the characteristics of the extracted finger region, that is, the change of the position of the finger pointer in a two-dimensional plane or a multi-dimensional space region, whether the pointer is suddenly moved, the finger is bent, the pointer is suddenly moved, or the finger is bent. If it is determined in step S113 that the pointer is suddenly moved, the moving pixel change amount of the pointer between frames, that is, the moving pixel change amount and direction of the pointer per unit frame, is measured (S115), and the upper, lower, and left sides are measured. Control the portable information terminal and the related contents by executing a control command such as or right (S117), or if it is determined that the finger is bent, the movement phenomenon is suddenly moved from "lower" to "up" of the pointer. The portable information terminal and the built-in pipe are detected by detecting the moving pixel variation (S121) and executing a selection (click) control command (S123). If the content is controlled (S125), or if the pointer is not moved suddenly or the finger is bent, the portable information terminal and the related related contents are controlled (S119) by executing a visualization of the finger movement and a simple movement command of the cursor (S125). )do.
여기서, 손가락 영역 영상이라 함은 2차원 평면 이미지로부터 그 깊이(거리) 정보를 알 수 있는 3차원 이미지 정보 등을 포함하며 휴대형 정보 단말기의 후면부(뒷면)에 구비된 고정형 또는 탈부착이 가능한 단일/다중 카메라 또는 스테레오 카메라 등을 영상 획득 장치로 이용할 수 있다. 이러한 영상 획득 장치를 통해서 획득되어 인식된 포인터는, 포인터의 이동에 따라 단순하게 커서의 이동을 제어하는데 이용되거나, 포인터의 단위 프레임당 이동픽셀의 변화량에 따라 상, 하, 좌, 우, 클릭 등의 명령어를 실행해서 내장된 관련 콘텐츠를 제어하는 데 이용될 수 있다.Here, the finger region image includes three-dimensional image information, etc., from which a depth (distance) information can be known from a two-dimensional plane image, and is a fixed or detachable single / multi-attached device provided on the rear side (back side) of the portable information terminal. A camera or a stereo camera may be used as the image acquisition device. The pointer acquired and recognized through the image capturing apparatus is used to simply control the movement of the cursor according to the movement of the pointer, or the up, down, left, right, click, etc. according to the change amount of the moving pixel per unit frame of the pointer. It can be used to control the associated related content by executing the command of.
요컨대, 본 발명에 있어 손가락 영역의 특징이라 함은 휴대형 정보 단말기의 후면부(뒷면)에 구비된 영상 촬영 장치 등으로 촬영가능한 범위 내에서의 2차원 평면 또는 다차원 공간 영역 내의 손가락 포인터의 위치 변화 등을 의미하는 것이며, 이것이 미리 정의되어 있는 휴대형 정보 단말기 제어 명령 또는 내장된 관련 콘텐츠의 제어 명령 등과 링크됨으로써 해당 손가락의 움직임 또는 제스처 등의 인식을 통해 해당 제어 명령어를 운용 및 실행하는 일련의 과정을 거치게 된다.In other words, the feature of the finger region in the present invention is the change of the position of the finger pointer in the two-dimensional plane or the multi-dimensional space region within the range that can be photographed by an image photographing apparatus or the like provided in the rear portion (back side) of the portable information terminal. This means that it is linked with a pre-defined portable information terminal control command or a control command of embedded related content, and thus, a series of processes for operating and executing the control command are performed through recognition of a corresponding finger movement or gesture. .
본 발명은 휴대형 정보 단말기의 후면부(뒷면)에 구비된 영상 획득 장치를 이용하여 손가락 움직임에 따른 포인터의 변화 등을 인식하고 이를 미리 정의되어 있는 명령어와 맵핑하여 휴대형 정보 단말기 및 내장된 관련 콘텐츠 등을 제어할 수 있는 제어 명령어의 인식 방법 등을 제시하고 있다. 보다 상세하게는, 본 명세서에는 휴대형 정보 단말기 후면부(뒷면)에 구비된 고정형 또는 탈부착이 가능한 영상 획득 장치를 이용하여 휴대형 정보 단말기를 파지한 해당 손의 손가락 움직임 즉, 2차원 평면 또는 다차원 공간 영역 내의 손가락 포인터의 위치 변화 등을 평면 또는 다차원 해석이 가능한 손가락 영역 영상으로 획득하고 이를 인식하여 휴대형 정보 단말기 및 관련 콘텐츠 등을 제어할 수 있는 방법을 제공하며 휴대형 정보 단말기를 파지한 해당 손의 비교적 자유도가 높은 검지의 제스처 및 움직임 영상을 인식하여 보다 편리하고 효율적인 사용자 인터페이스를 제공할 수 있는 방법을 제공한다. The present invention recognizes a change in a pointer according to a finger movement by using an image acquisition device provided on a rear side (back side) of a portable information terminal, maps it to a predefined command, and maps the portable information terminal and embedded related contents. A method of recognizing control commands that can be controlled is presented. More specifically, in the present specification, a finger movement of a corresponding hand held by the portable information terminal using a fixed or detachable image acquisition device provided on the rear portion (back side) of the portable information terminal, that is, within a two-dimensional plane or a multi-dimensional space region. Provides a method to control the portable information terminal and related contents by acquiring the change of the position of the finger pointer as a finger region image capable of plane or multi-dimensional analysis and to recognize the change. The present invention provides a method for recognizing a high index gesture and motion image to provide a more convenient and efficient user interface.
도 2는 본 발명에 따른 후면부 손가락 움직임에 따른 포인터 인식 방법의 일실시예에 대한 흐름도이고, 도 3은 본 발명에 따라서 손가락 영역의 포인터를 인식하는 일실시예를 나타낸 도면이다.2 is a flowchart illustrating an embodiment of a pointer recognition method according to a rear finger movement according to the present invention, and FIG. 3 is a diagram illustrating an embodiment of recognizing a pointer of a finger region according to the present invention.
이하에서는, 손가락의 움직임에 따른 포인터 변화 등을 인식하는 방법과 이에 상응하는 제어 명령어의 구성 등에 대하여 상세히 설명하고 이를 활용한 휴대형 정보 단말기 및 콘텐츠 제어 관한 바람직한 실시예를 제공한다.Hereinafter, a method of recognizing a change in a pointer according to the movement of a finger, a configuration of a control command corresponding thereto, and the like will be described in detail, and a preferred embodiment of a portable information terminal and content control using the same will be provided.
도 2에서 도시된 바와 같이, 본 발명에 의한 후면부 손가락 움직임에 따른 포인터를 인식하는 방법은 휴대형 정보 단말기의 후면부(뒷면)에 구비된 고정형 또는 탈부착이 가능한 영상 획득 장치를 이용하여 해당 단말기를 파지한 해당 손의 비교적 자유도가 높은 검지의 제스처 및 움직임 영상을 획득하는 단계(S201), 피부색(살색) 영역의 추출 및 이진 영상의 획득을 위하여 상기 획득된 영상 신호에 기초하여 해당 영상의 RGB 색상 모델을 YCbCr 컬러모델로 변환하는 단계(S203), 임계치를 이용하여 피부색 영역을 추출하고 획득된 영상을 이진화하는 단계(S205), 팽창연산(Dilation) 및 침식연산(Erosion)을 이용한 영상 노이즈 제거 단계(S207), 손가락 영역의 윤곽선을 추출하는 단계(S209), 손가락 윤곽선에 기초하여 뼈대(Skeleton)를 추출하는 단계(S211), 및 추출된 뼈대로부터 손가락 영역의 포인터를 추출하는 단계(S213)를 포함한다.As shown in FIG. 2, the method for recognizing a pointer according to a rear finger movement according to the present invention uses a fixed or detachable image acquisition device provided on a rear portion (back side) of a portable information terminal to hold a corresponding terminal. Acquiring a gesture and motion image of the index finger of a relatively high degree of freedom of the corresponding hand (S201), extracting a skin color (pigmented) area, and obtaining an binary image based on the RGB color model of the corresponding image based on the acquired image signal Converting to a YCbCr color model (S203), extracting the skin color region using a threshold value and binarizing the obtained image (S205), image noise removal step using expansion and erosion operation (S207) ), Extracting the contour of the finger region (S209), extracting a skeleton (Skeleton) based on the finger contour (S211), and the extracted skeleton From a step (S213) of extracting the pointer to the finger region.
또한, 본 발명에 따른 손가락 움직임에 따른 포인터 인식 방법을 수행하는 휴대형 정보 단말기는, 본 발명에 따른 방법에 포함된 각 단계를 수행하기 위해서, 단말기 후면부에 고정형 또는 탈부착이 가능한 영상 획득 장치뿐만 아니라, 획득된 영상의 RGB 색상 모델을 YCbCr 컬러모델로 변환하는 색상모델 변환부, 피부색 영역을 추출하는 피부색 영역 추출부, 획득된 영상을 이진화하는 영상 이진화부, 영상의 노이즈를 제거하는 영상 노이즈 제거부, 손가락 영역의 윤곽선을 추출하는 손가락 영역 윤곽선 추출부, 골격화(뼈대 추출)를 수행하는 골격화부, 및 손가락 영역의 포인터를 추출하는 손가락 영역 포인터 추출부를 하드웨어 또는 소프트웨어로서 포함할 수 있다.In addition, the portable information terminal for performing the pointer recognition method according to the finger movement according to the present invention, in order to perform each step included in the method according to the present invention, as well as the image acquisition device that can be fixed or detachable to the rear of the terminal, A color model converting unit for converting the RGB color model of the acquired image into a YCbCr color model, a skin color region extracting unit for extracting the skin color region, an image binarization unit for binarizing the obtained image, an image noise removing unit for removing noise of the image, A finger region contour extracting unit for extracting the contour of the finger region, a skeletalization unit for performing skeletalization (skeleton extraction), and a finger region pointer extracting unit for extracting the pointer of the finger region may be included as hardware or software.
색상모델을 변환하는 단계(S203)는 RGB 색상 모델 기반으로 획득된 손 영역(손가락 영역) 영상을 YCbCr 컬러 모델로 변환한다. In the step S203 of converting the color model, the hand region (finger region) image acquired based on the RGB color model is converted into a YCbCr color model.
피부색 영역을 추출하고 이진화하는 단계(S205)는 해당 손가락 영역의 검출을 위한 전처리 단계로서, Cb 및 Cr 값의 임계치를 적용하되 그 기준은 수학식 1과 같이 표현된다.Extracting and binarizing the skin color region (S205) is a preprocessing step for detecting the corresponding finger region, and applies thresholds of Cb and Cr values, but the criterion is expressed as in Equation 1 below.
본 발명에 따른 실험에서는 피부색 영역을 나타내는 Cb 및 Cr 값의 임계치로서 각각 77≤Cb≤127과 133≤Cr≤137의 값을 적용하여 성공적인 결과를 도출하였으나, 이는 본 발명의 구성과 작용에 있어 하나의 실시예로서 설명되는 것으로, 구체적인 실시예에 따라서 다양한 피부색을 고려하여 해당 임계치를 변경하는 것이 가능하며 Cb 및 Cr 값의 임계치의 경계값에 의해 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다. 피부색 영역을 나타내는 임계치를 이용해서 피부색 영역이 검출되면, 피부색 영역을 손가락 영역으로 구분하고 손가락 영역에 대해서 배경 대비 손가락 영역에 대한 이진화를 수행한다.In the experiment according to the present invention, successful results were obtained by applying the values of 77≤Cb≤127 and 133≤Cr≤137 as threshold values of Cb and Cr values representing the skin color region, respectively. As described as an embodiment of the present invention, it is possible to change the threshold value in consideration of various skin colors according to a specific embodiment, and the technical idea of the present invention and its core configuration and operation by the threshold value of the threshold values of Cb and Cr values. This is not limited. When a skin color region is detected using a threshold representing the skin color region, the skin color region is divided into a finger region, and the finger region is binarized with respect to the background.
영상 노이즈 제거 단계(S207)에서는 손가락 영역을 포함하는 후면부 손가락 영상에 있어 해당 관심 영역의 보다 정확한 검출을 위하여 불필요한 객체 또는 노이즈 등을 제거하기 위하여 휴대형 정보 단말기의 낮은 컴퓨팅 파워에 따른 연산 속도의 저하 및 잡음 제거시 손가락 영역도 같이 줄어드는 현상 등을 고려해서 팽창연산 및 침식연산을 이용할 수 있다.In the image noise removing step (S207), in order to remove unnecessary objects or noise for more accurate detection of the region of interest in the rear finger image including the finger region, a decrease in arithmetic speed due to low computing power of the portable information terminal, and The expansion operation and the erosion operation can be used in consideration of the phenomenon that the finger area is also reduced when the noise is removed.
팽창연산(Dilation)은 A와 B를 화소의 집합이라고 가정했을 때, 형태소 B로 A를 팽창시킨 
팽창연산은 객체 내부의 돌출부는 감소하고 외부의 돌출부는 증가시켜서 물체내부나 배경에서 발생한 구멍과 같은 공간을 채우거나 짧게 끊어진 영역을 연결하는데 주로 사용되며 이진 영상에서 팽창연산은 입력 화소가 균일한 곳에서는 변화가 없으나 흑백 화소가 같이 있는 영역에서 수행되어 변화를 낳는다. The expansion operation is mainly used to fill the space such as the hole inside the object or the background, or to connect the short broken area by increasing the protrusion inside the object and increasing the outside protrusion.In the binary image, the expansion operation is used where the input pixel is uniform. No change is made in the region where black and white pixels are present together, resulting in a change.
침식연산(Erosion)은 A와 B를 화소의 집합이라고 가정했을 때, 형태소 B로 A를 침식시킨 
여기서, 
이러한 팽창연산 및 침식연산은 본 발명의 구성과 작용에 있어 적어도 하나 이상의 실시예로서 설명되는 것으로, 기존의 영상 처리 기술에 있어 적용된 예컨대, 웨이블릿 영역에서 가우시안 확률밀도함수에 기초한 방법, 순차필터 및 평균필터 등을 포함하는 공간필터링 방법, 웨이너필터 등과 같은 영상 노이즈 감소 및 제거 기술 등을 팽창연산 및 침식연산에 대체하여 적용하거나 팽창연산 및 침식연산에 추가하여 적용하는 것이 가능하며 이것에 의해 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다. Such expansion and erosion operations are described as at least one embodiment in the construction and operation of the present invention, and are applied to, for example, a Gaussian probability density function based on a Gaussian probability density function, a sequential filter, and an average applied to existing image processing techniques. It is possible to apply a spatial filtering method including a filter, an image noise reduction and elimination technique such as a Weiner filter, etc. in place of the expansion operation and the erosion operation, or in addition to the expansion operation and the erosion operation. The technical spirit of the present invention and its core configuration and operation are not limited.
휴대형 정보 단말기를 파지한 해당 손의 손가락 움직임에 따른 포인터를 획득하고 인식하기 위해서는 기본적으로 전체 영상 중에서 손가락 영역을 추출할 필요가 있고, 연속된 손가락의 다차원 상 움직임 거리(좌표 변환)를 추적 및 분석하기 위해서는 2차원 평면 및 다차원 손가락 모델의 재구성이 필요하다. 따라서, 본 발명에서는 도 3의 (a)에 도시된 바와 같이 휴대형 정보 단말기의 후면부에 구비된 영상 획득 장치를 이용하여 손가락 영역의 원본 영상을 획득(S201)하고, 원본 영상에 대한 색상모델의 변환(S203)을 거친 후, 도 3의 (b)에 도시된 바와 같이 영상에 대해서 손가락 영역 검출 및 이진화를 수행(S205)하고, 도 3의 (c)에 도시된 바와 같이 영상에서 노이즈를 제거(S207)한다. 이 과정에서, 도 3의 (b)에서 점선으로 표시된 원 내에 존재하는 노이즈가 제거된 결과, 도 3의 (c)에서 점선으로 표시된 원 내에는 존재하지 않게 되었다는 것을 확인할 수 있다. 이후, 도 3의 (d)에 도시된 바와 같이 손가락 영역의 윤곽선을 추출(S209)하고, 도 3의 (e)에서 도시된 바와 같이 추출된 손가락 윤곽선을 기초로 하여 골격화(뼈대 추출; Skeletonization)를 수행하여 해당 손가락의 포인터를 획득하게 된다. 도 3의 (e)에서 점선으로 표시된 원 내에서 열십자로 표시된 부분이 손가락의 포인터가 된다.In order to acquire and recognize the pointer according to the finger movement of the hand held by the portable information terminal, it is basically necessary to extract the finger region from the entire image, and to track and analyze the multi-dimensional phase movement distance (coordinate transformation) of the consecutive fingers. This requires reconstruction of two-dimensional plane and multidimensional finger models. Therefore, in the present invention, as shown in (a) of FIG. 3, an original image of a finger region is obtained using an image acquisition device provided at the rear of the portable information terminal (S201), and the color model is converted into the original image. After passing through S203, finger region detection and binarization are performed on the image as shown in FIG. 3B, and noise is removed from the image as shown in FIG. S207). In this process, as a result of removing the noise existing in the circle indicated by the dotted line in FIG. 3 (b), it can be confirmed that it does not exist in the circle indicated by the dotted line in FIG. 3 (c). Then, as shown in (d) of FIG. 3, the contour of the finger region is extracted (S209), and skeletalization (skeleton extraction) is performed based on the extracted finger contour as shown in (e) of FIG. ) To obtain a pointer of the finger. In (e) of FIG. 3, the portion indicated by the cross is indicated by the finger of the finger within the circle indicated by the dotted line.
이와 같이, 골격화 단계(S211)에서는 뼈대를 추출하게 된다. 골격화(뼈대 추출)는 수학식 4로 정의되며, 이는 객체의 중심선을 찾는 알고리즘으로서 픽셀 제거의 반복 과정이며 주로 이미지를 분석하거나 문자인식을 할 때 사용된다. As such, the skeleton is extracted in step S211. Skeletalization (skeleton extraction) is defined by
픽셀 제거 반복과정은 영상에 포함된 각각의 이미지 내에서 객체의 외곽 픽셀을 한 계층씩 제거해 나가는 과정으로서, 더 이상 제거할 픽셀이 없을 때까지 픽셀 제거 과정을 반복한다. 전체 연산 과정에 있어서는 수학식 4에서 알 수 있는 바와 같이 객체, 즉 손가락 영역의 왼쪽 끝 픽셀(
골격화에 의해 추출된 손가락 영역의 뼈대 영상의 말단 부분은 해당 손가락의 포인터 영역으로 대치되어 손가락의 움직임에 따라 뼈대 영상 또한 위치 좌표가 변화되게 되는데, 이러한 골격화는 포인터의 변화 값을 획득할 수 있는 하나의 방법이라고 할 수 있다. 포인터의 변화는 손가락의 움직임에 따라 필연적으로 수반되는 손가락 움직임의 대표 특징으로 추출되며 이는 전면부 패널 상에서 해당 움직임의 이동 경로 및 선택 등의 시각적 효과를 동시에 사용자에게 제공함으로써 후면부에서 발생되는 손가락의 움직임을 통해서 휴대형 정보 단말기 및 그 콘텐츠를 직접적으로 제어할 수 있다. 또한, 이러한 기능은 터치스크린 패널 및 키패드 등과 같은 기존의 휴대형 정보 단말기 제어 방법 및 기능과 겸용해서 또는 독립적으로 사용할 수 있기 때문에 사용자가 휴대형 정보 단말기를 파지한 한 손만으로도 휴대용 정보 단말기의 운용 및 제어를 가능하게 함으로써 보다 편리하고 효율적인 사용자 환경을 제공해 줄 수 있다는 이점을 가진다.The distal end of the skeleton image of the finger region extracted by skeletalization is replaced with the pointer region of the finger so that the skeleton image also changes the position coordinates as the finger moves. Such skeletalization can obtain a change value of the pointer. It can be said to be one way. The change of the pointer is extracted as a representative feature of the finger movement that is inevitably accompanied by the movement of the finger, which provides the user with visual effects such as the movement path and selection of the movement on the front panel at the same time, and thus the movement of the finger generated at the rear portion. Through the portable information terminal and its contents can be directly controlled. In addition, since these functions can be used in combination with or independently of existing portable information terminal control methods and functions such as a touch screen panel and a keypad, the user can operate and control the portable information terminal with only one hand holding the portable information terminal. By doing so, it is possible to provide a more convenient and efficient user environment.
이상에서는 본 발명에 따른 후면부 손가락 움직임에 따른 포인터 인식 방법을 설명하였고, 이하에서는 인식된 포인터를 이용하여 휴대형 정보 단말기 및 내장된 관련 콘텐츠 제어를 위한 제어 명령어 생성 및 인식 방법을 설명한다. In the above description, a method of recognizing a pointer according to a rear finger movement according to the present invention has been described. Hereinafter, a method of generating and recognizing a control command for controlling a portable information terminal and embedded related content using a recognized pointer will be described.
도 4는 본 발명에 따라서 단순 커서 이동 제어의 일실시예를 나타낸 도면이다. 4 is a diagram illustrating an embodiment of a simple cursor movement control according to the present invention.
본 발명에서는 손가락 움직임에 따른 포인터의 획득 및 인식에 있어 포인터의 변화에 따른 손가락 움직임의 변화 정도를 관찰하고, 이를 커서의 움직임 또는 마우스포인팅 등의 시각적 효과와 더불어 상, 하, 좌, 우, 선택(클릭) 등과 같은 제어 명령어를 생성할 수 있다. 본 발명에서는 휴대형 정보 단말기의 후면부(뒷면)에 구비된 영상 획득 장치의 특성 및 손가락 움직임 또는 제스처 표현의 범위를 고려하여 휴대형 정보 단말기 및 내장된 관련 콘텐츠 제어를 위한 실시예로서 상기 5가지 제어 명령어를 구성하였다. In the present invention, in the acquisition and recognition of the pointer according to the finger movement, the degree of change in the finger movement according to the change of the pointer is observed, and this is selected along with visual effects such as the movement of the cursor or the mouse pointing. Control commands such as (click) can be generated. According to an embodiment of the present invention, the five control commands are described as an embodiment for controlling the portable information terminal and related related contents in consideration of the characteristics of the image capturing apparatus provided on the rear part (back side) of the portable information terminal and the range of finger movement or gesture expression. Configured.
도 4는 본 발명에 따라서 단순 커서 이동 제어의 일실시예를 나타낸 도면이다. 도 4의 (a)는 커서의 상 방향 이동, 도 4의 (b)는 커서의 하 방향 이동, 도 4의 (c)는 커서의 좌 방향 이동, 도 4의 (d)는 커서의 우 방향 이동을 각각 나타낸다. 4 is a diagram illustrating an embodiment of a simple cursor movement control according to the present invention. FIG. 4A illustrates the upward movement of the cursor, FIG. 4B illustrates the downward movement of the cursor, FIG. 4C illustrates the left movement of the cursor, and FIG. 4D illustrates the right direction of the cursor. Represent each movement.
단순 커서 이동 제어는 본 발명에 따른 제어 명령어가 인식된 것으로 판단되지 않은 경우에 기능을 하는 것이다. 도 4에서 도시한 바와 같이 손가락의 움직임에 따른 좌표 변화를 이용한 상, 하, 좌, 우 커서 이동은 후면부(뒷면)에 구비된 영상 획득 장치와 해당 손가락의 거리가 가까우면 손가락 객체 영역의 골격화 라인의 끝점, 즉 포인터는 전면부 패널에 도식화됨과 아울러 패널을 중심으로 해당 커서의 위치가 위쪽에 분포하는 형태를 보이고 있으며, 이와 반대로 손가락 중심의 거리가 멀어지면 해당 객체의 포인터 위치가 상대적으로 아래쪽에 분포되는 것을 확인할 수 있다. 따라서, 포인터의 상하 이동은 후면부(뒷면)에 구비된 영상 획득 장치와 해당 손가락의 거리가 가까우면 "상" 방향 이동으로 정하고, 이와 반대로 손가락의 움직임이 영상 획득 장치와 멀어진 상태를 "하" 방향 이동으로 정하고 해당 좌표를 커서의 이동 위치로 사용하여 전면부 패널에 도식화하게 된다. 또한, 손가락의 좌우 움직임을 이용하는 경우에 사용자는 휴대형 정보 단말기의 후면부(뒷면)에 구비된 영상 획득 장치를 이용하여 좌 또는 우 방향으로 이동된 손가락 영역의 포인터를 획득하고 해당 좌표를 커서의 이동 위치로 사용한다. 이렇게 검출된 포인터의 해당 좌표를 커서의 이동 위치로 인식하여 전면부 패널에 디스플레이하게 된다.Simple cursor movement control functions when the control command according to the present invention is not determined to be recognized. As shown in FIG. 4, the up, down, left, and right cursor movements using the coordinate change according to the movement of the finger are skeletal of the finger object region when the distance between the image acquisition device provided on the rear part (back) and the corresponding finger is close. The end point of the line, that is, the pointer is drawn on the front panel, and the position of the cursor is distributed upward from the panel. On the contrary, when the distance between the center of the finger increases, the pointer position of the object is relatively lower. It can be seen that the distribution. Therefore, the up and down movement of the pointer is determined as "up" when the distance between the image capturing device provided on the rear part (back) and the corresponding finger is close, and the motion of the finger away from the image capturing device is "down". It is decided to move, and the coordinates are used as the movement position of the cursor, and it is plotted on the front panel. In addition, in the case of using the left and right movement of the finger, the user acquires a pointer of the finger region moved in the left or right direction by using an image acquisition device provided on the rear side (back side) of the portable information terminal and moves the coordinates to the corresponding position of the cursor. Used as. The corresponding coordinate of the detected pointer is recognized as the movement position of the cursor and displayed on the front panel.
도 5는 본 발명에 따른 단순 커서 이동 제어에 의해서 콘텐츠 내 객체의 이동 및 제어를 수행하는 일실시예를 나타낸 도면이다. 도 5에서는 후면부 손가락의 포인터 이동을 이용해서 컨트롤 바를 이동하는 예로서 후면부 카메라로부터 손가락의 포인터를 획득하고 이에 따라 콘텐츠 내의 컨트롤 바가 상, 하, 좌, 우로 이동되는 실행 과정을 나타내고 있다.5 is a diagram illustrating an embodiment of moving and controlling an object in a content by simple cursor movement control according to the present invention. In FIG. 5, an example of moving the control bar by using the pointer movement of the rear finger acquires a pointer of the finger from the rear camera, and accordingly, a control bar in the content is moved up, down, left, and right.
도 6은 본 발명에 따라서 선택(클릭) 제어 명령어 생성의 일실시예를 나타낸 도면이다. 도 6을 참조하여 선택(클릭) 제어 명령어에 대해서 설명한다. 6 illustrates an embodiment of generating a selection (click) control command according to the present invention. A selection (click) control command will be described with reference to FIG.
휴대형 정보 단말기 및 내장된 관련 콘텐츠를 선택하거나 실행을 위한 제어 명령어, 즉 윈도우 기반의 클릭 또는 더블 클릭 기능 등과 유사한 선택 기능을 제어함에 있어 상기 포인터 특징 등을 이용하되 해당 손가락의 움직임 또는 제스처의 급격한 변화 양상 등을 이용하여 해당 제어 명령어를 생성할 수 있다. In order to select a portable information terminal and embedded related content or execute a control command for executing or executing a selection function similar to a window-based click or double-click function, the pointer feature is used to abruptly change the movement or gesture of the corresponding finger. The control command can be generated using an aspect or the like.
일실시예로서, 도 6에서 도시한 바와 같이 휴대형 정보 단말기를 파지한 해당 손의 검지를 해당 영상 획득 장치에 노출시킨 후 잠시 손가락을 구부리게 되면 해당 손가락 영역의 포인터가 "하" 방향으로 이동하게 되고 다시 검지를 펼치게 되면 포인터의 "상" 방향 이동 시점 이후에 다시 포인터를 획득할 수 있으므로 이러한 검지의 프레임간 급격한 포인터 변화가 있을 경우에 이를 인식하여 휴대형 정보 단말기 및 내장된 관련 콘텐츠를 선택하거나 실행을 위한 제어 명령어로 활용할 수 있다. As an example, as shown in FIG. 6, when the index finger of the hand held by the portable information terminal is exposed to the image acquisition device and the finger is bent for a while, the pointer of the finger region moves in the "down" direction. When the index finger is unfolded again, the pointer can be acquired again after the "upward" movement of the pointer. Therefore, when there is a sudden change in the pointer between the frames of the index finger, it recognizes and selects or executes the portable information terminal and the related contents. It can be used as a control command for.
다시 말해, 도 6의 (a)에 도시된 바와 같이 특정 손가락이 영상 획득 장치에 노출되어 포인터 인식이 수행되고 있는 상태에서 손가락을 구부리면 포인터의 "하" 이동이 이루어진다. 그리고, 도 6의 (b) 와 (c)에서 도시된 바와 같이 포인터의 "상" 이동이 이루어질 경우 프레임간 그 이동 범위가 기준 범위(α)보다 클 경우에 클릭 명령어로 인식함으로써 제어 명령어로 이용할 수 있는 것이다.In other words, as illustrated in (a) of FIG. 6, when a finger is bent while a specific finger is exposed to the image acquisition apparatus and pointer recognition is being performed, the pointer moves downward. As shown in (b) and (c) of FIG. 6, when the "up" movement of the pointer is performed, when the movement range between frames is larger than the reference range (α), it is recognized as a click command and used as a control command. It can be.
도 7 내지 도 10은 각각 본 발명에 따라서 "상", "하", "우", "좌" 제어 명령어 생성 및 인식의 일실시예를 나타낸 도면이다. 7 to 10 are diagrams illustrating one embodiment of generating and recognizing "up", "down", "right", and "left" control commands according to the present invention, respectively.
"상", "하", "좌", 및 "우" 제어 명령어를 생성하기 위해서, 도 7 내지 도 10에서와 같이 포인터의 변화를 관측하고 체스보드 거리(Chessboard distance)를 이용하여 "상", "하", "좌", 및 "우" 제어 명령어에 맵핑한다. 이전 프레임 포인터의 좌표를 
"상", "하", "좌", 및 "우" 제어 명령어 생성의 일실시예로서, 수학식 5에서, 
이와 같이 제어 명령어가 정의되면 휴대용 정보 단말기는 프레임간 포인터의 이동픽셀 변화량 및 방향을 측정해서, 다시 말해, 프레임간 포인터의 위치 변화량 및 포인터의 이동 방향을 측정해서, 포인터의 위치 변화량이 기준 변화량(예컨대, 상하 이동 방향에 대해서는 m/4, 좌우 이동 방향에 대해서는 n/4) 이상인 경우에 포인터의 이동 방향을 고려해서 제어 명령어로 인식하게 된다.When the control command is defined as described above, the portable information terminal measures the moving pixel change amount and direction of the inter-frame pointer, that is, the position change amount of the inter-frame pointer and the moving direction of the pointer, so that the position change amount of the pointer ( For example, when it is m / 4 or more in the up and down direction and n / 4 or more in the left and right direction, the control direction is recognized in consideration of the moving direction of the pointer.
이러한 제어 명령어는 포인터의 속도 변화를 이용하여 해당 콘텐츠를 상, 하, 좌, 우로 이동시키는 방향 이동용 제어 명령어로 활용할 수 있을 뿐만 아니라, 상, 하, 좌, 우의 방향성과는 무관하게 특정 제어 명령어에 맵핑시켜서 단축키 개념의 명령어 실행용 제어 명령어로 활용할 수도 있다.This control command can be used as a direction control command for moving the contents up, down, left, and right by using the speed change of the pointer, and can be used for a specific control command regardless of the direction of up, down, left, and right. It can also be used as a control command for command execution in the context of a shortcut key.
상술한 휴대형 정보 단말기 및 콘텐츠 제어를 위한 명령어 생성 및 인식 방법은 본 발명의 구성 및 작용을 설명하기 위해 하나의 실시예로서 설명된 것으로, 이것에 의해 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다. 예컨대, 상술한 제어 명령어 이외에서도 포인터를 이용한 "줌인" 또는 "줌아웃" 과 같은 제어 명령어를 생성하는 것 또한 가능하다. The above-described portable information terminal and the method for generating and recognizing the contents for controlling the contents have been described as an exemplary embodiment for explaining the configuration and operation of the present invention, whereby the technical spirit of the present invention and its core configuration and The action is not limited. For example, in addition to the above-described control commands, it is also possible to generate control commands such as "zoom in" or "zoom out" using the pointer.
본 발명을 구현함에 있어서, 휴대형 정보 단말기의 후면부(뒷면)에서 손가락 움직임에 따른 포인터의 변화 및 거리변화에 따는 면적 변화 등으로 발생하는 손가락의 이동 경로, 터치 및 더블터치 등과 같은 해당 제어 명령어를 인식하고 인식된 결과를 마우스포인팅 등과 같은 시각적 표현으로 제시하는 것이 가능하며, 시스템 제어 및 운용 명령어 등을 입력함에 있어 터치스크린, 키패드 등으로 대표되는 전면부(앞면) 사용자 인터페이스와 겸용 또는 독립적으로 사용 가능할 뿐만 아니라, 본 발명에 따른 방법을 수행하는 휴대형 정보 단말기는 후면부의 손가락 제스처 인식을 이용한 입력이 존재하는지 여부를 판단하는 입력 모드 판단부를 구비할 수 있고, 사용자가 후면부(뒷면)에서 입력한 제어 명령어가 전면부(앞면)에 표시되도록 구성될 수 있다.In implementing the present invention, the control unit recognizes a corresponding control command such as a finger movement path, a touch and a double touch generated by a change in a pointer according to a finger movement and an area change according to a distance change in a rear portion (back side) of the portable information terminal. It is possible to present the recognized result in a visual expression such as mouse pointing, and can be used either independently or independently of the front (front) user interface represented by the touch screen and keypad in inputting system control and operation commands. In addition, the portable information terminal for performing the method according to the present invention may include an input mode determination unit for determining whether an input using finger gesture recognition on the rear side is present, and a control command input by the user from the rear side (back side). May be configured to be displayed on the front side (front side).
도 11은 본 발명에 따라서 손가락 움직임 추적기반 사용자 인터페이스를 이용한 프로그램 시작 시 휴대형 정보 단말기의 후면부의 제어 명령어 인식 영역을 전면부의 화면 사이즈에 맞추도록 설정하는 단계의 일실시예를 나타낸 도면이다. 도 11에 도시된 바와 같이, 본 발명은 제어 명령어에 대한 인식을 수행하기 전에, 예컨대, 손가락 움직임 추적기반 사용자 인터페이스를 이용한 프로그램을 시작할 때에, 휴대형 정보 단말기의 후면부의 제어 명령어 인식 영역을 휴대형 정보 단말기의 전면부의 화면 사이즈에 맞추도록 설정하는 단계를 포함할 수 있다. 이러한 화면 맞춤 설정 단계에서, 손가락의 포인터 이동이 전면부 화면의 커서와 정확히 일치되는지 확인하기 위하여 화면이 맞춰질 때까지 + 표시가 계속 움직이고 손가락 포인터를 이용하여 전면부 화면에 + 표시된 각 위치들을 정확하게 선택한다.FIG. 11 is a diagram for one embodiment of setting a control command recognition area of a rear part of a portable information terminal to match a screen size of a front part when starting a program using a finger motion tracking based user interface according to the present invention. As shown in FIG. 11, the present invention provides a portable information terminal with a control command recognition area of a rear portion of the portable information terminal before starting a program using, for example, a finger motion tracking based user interface, before performing the control command recognition. It may include setting to fit the screen size of the front portion of the. In this screen alignment step, the + mark continues to move until the screen is aligned to ensure that the pointer movement of the finger exactly matches the cursor on the front screen, using the finger pointer to accurately select each of the + marks on the front screen. do.
Claims (7)
휴대형 정보 단말기의 후면부에 부착된 영상 획득 장치가 손가락 영역을 포함하는 영상을 획득하는 제1 단계;
피부색을 나타내는 임계치를 이용해서 손가락 영역을 추출하고, 손가락 영역을 포함하는 영상에 대해 이진화를 수행해서 이진화된 영상을 생성하는 제2 단계;
상기 이진화된 영상으로부터 노이즈를 제거하여 노이즈가 제거된 영상을 생성하는 제3 단계;
상기 노이즈가 제거된 영상으로부터 손가락 영역의 윤곽선을 추출하는 제4 단계;
상기 손가락 영역의 윤곽선으로부터 손가락 영역의 중심선인 뼈대를 추출하는 제5 단계; 및
상기 추출된 뼈대의 말단 부분을 손가락 영역의 포인터로서 추출하는 제6 단계;를 포함하고,
제5 단계에서, 하기 수학식 1을 이용해서 상기 손가락 영역의 윤곽선으로부터 손가락 영역의 중심선인 뼈대를 추출하는 것을 특징으로 하는 손가락 움직임에 따른 포인터 인식 방법.
<수학식 1>
여기서, Maxrow는 이미지에서의 행의 크기를 의미하고, C는 중심선 픽셀을 의미하고,
A first step of acquiring an image including a finger region by an image acquisition device attached to a rear surface of a portable information terminal;
A second step of extracting a finger region by using a threshold representing a skin color and performing a binarization on an image including the finger region to generate a binarized image;
Generating a video from which the noise is removed by removing noise from the binarized video;
Extracting an outline of a finger region from the image from which the noise is removed;
Extracting a skeleton, which is a centerline of the finger region, from the contour of the finger region; And
And extracting the distal end portion of the extracted armature as a pointer of a finger region.
In the fifth step, using the equation (1) to extract a skeleton that is the centerline of the finger region from the contour of the finger region, the pointer recognition method according to the finger movement.
&Quot; (1) "
Where Maxrow is the size of the row in the image, C is the centerline pixel,
제3 단계에서, 상기 이진화된 영상으로부터 노이즈를 제거함에 있어서, 팽창연산 및 침식연산을 이용해서 노이즈를 제거하는 것을 특징으로 하는 손가락 움직임에 따른 포인터 인식 방법.The method of claim 1,
In the third step, in removing the noise from the binarized image, the pointer recognition method according to the finger movement, characterized in that to remove the noise by using the expansion operation and erosion operation.
휴대형 정보 단말기의 후면부에 부착된 영상 획득 장치가 손가락 영역을 포함하는 영상을 획득하는 제1 단계;
피부색을 나타내는 임계치를 이용해서 손가락 영역을 추출하고, 손가락 영역을 포함하는 영상에 대해 이진화를 수행해서 이진화된 영상을 생성하는 제2 단계;
상기 이진화된 영상으로부터 노이즈를 제거하여 노이즈가 제거된 영상을 생성하는 제3 단계;
상기 노이즈가 제거된 영상으로부터 손가락 영역의 윤곽선을 추출하는 제4 단계;
상기 손가락 영역의 윤곽선으로부터 손가락 영역의 중심선인 뼈대를 추출하는 제5 단계;
상기 추출된 뼈대의 말단 부분을 손가락 영역의 포인터로서 추출하는 제6 단계; 및
상기 노이즈가 제거된 영상에서 상기 뼈대가 구부려졌다 펴지는 현상을 감지하여 상기 뼈대가 구부러진 후 다시 펴질 때까지의 포인터의 이동 방향 및 포인터의 위치 변화량이 기준 변화량 이상인 경우에 클릭 제어 명령어로 인식하는 제7 단계;를 포함하고,
제5 단계에서, 하기 수학식 1을 이용해서 상기 손가락 영역의 윤곽선으로부터 손가락 영역의 중심선인 뼈대를 추출하는 것을 특징으로 하는 제어 명령어 인식 방법.
<수학식 1>
여기서, Maxrow는 이미지에서의 행의 크기를 의미하고, C는 중심선 픽셀을 의미하고,
A first step of acquiring an image including a finger region by an image acquisition device attached to a rear surface of a portable information terminal;
A second step of extracting a finger region by using a threshold representing a skin color and performing a binarization on an image including the finger region to generate a binarized image;
Generating a video from which the noise is removed by removing noise from the binarized video;
Extracting an outline of a finger region from the image from which the noise is removed;
Extracting a skeleton, which is a centerline of the finger region, from the contour of the finger region;
Extracting the distal end portion of the extracted skeleton as a pointer of a finger region; And
The image is detected by the click control command when the skeleton is bent and unfolded in the image from which the noise is removed and the direction of movement of the pointer and the amount of change in the position of the pointer until the skeleton is bent and unfolded are more than a reference variation. 7 steps; including;
In a fifth step, the control command recognition method characterized in that to extract the skeleton that is the centerline of the finger region from the contour of the finger region using the following equation (1).
&Quot; (1) "
Where Maxrow is the size of the row in the image, C is the centerline pixel,
휴대형 정보 단말기의 후면부에 부착된 영상 획득 장치가 손가락 영역을 포함하는 영상을 획득하는 제1 단계;
피부색을 나타내는 임계치를 이용해서 손가락 영역을 추출하고, 손가락 영역을 포함하는 영상에 대해 이진화를 수행해서 이진화된 영상을 생성하는 제2 단계;
상기 이진화된 영상으로부터 노이즈를 제거하여 노이즈가 제거된 영상을 생성하는 제3 단계;
상기 노이즈가 제거된 영상으로부터 손가락 영역의 윤곽선을 추출하는 제4 단계;
상기 손가락 영역의 윤곽선으로부터 손가락 영역의 중심선인 뼈대를 추출하는 제5 단계;
상기 추출된 뼈대의 말단 부분을 손가락 영역의 포인터로서 추출하는 제6 단계; 및
휴대형 정보 단말기가 상기 노이즈가 제거된 영상에서 프레임간 포인터의 위치 변화량 및 포인터의 이동 방향을 측정해서 포인터의 위치 변화량이 기준 변화량 이상인 경우에 포인터의 이동 방향을 고려해서 제어 명령어로 인식하는 제7 단계;를 포함하고,
제5 단계에서, 하기 수학식 1을 이용해서 상기 손가락 영역의 윤곽선으로부터 손가락 영역의 중심선인 뼈대를 추출하는 것을 특징으로 하는 제어 명령어 인식 방법.
<수학식 1>
여기서, Maxrow는 이미지에서의 행의 크기를 의미하고, C는 중심선 픽셀을 의미하고,
A first step of acquiring an image including a finger region by an image acquisition device attached to a rear surface of a portable information terminal;
A second step of extracting a finger region by using a threshold representing a skin color and performing a binarization on an image including the finger region to generate a binarized image;
Generating a video from which the noise is removed by removing noise from the binarized video;
Extracting an outline of a finger region from the image from which the noise is removed;
Extracting a skeleton, which is a centerline of the finger region, from the contour of the finger region;
Extracting the distal end portion of the extracted skeleton as a pointer of a finger region; And
A seventh step of measuring, by the portable information terminal, the position change amount of the inter-frame pointer and the moving direction of the pointer in the image from which the noise is removed, and considering the moving direction of the pointer as a control command when the position change amount of the pointer is equal to or greater than the reference change amount; Including;
In a fifth step, the control command recognition method characterized in that to extract the skeleton that is the centerline of the finger region from the contour of the finger region using the following equation (1).
&Quot; (1) "
Where Maxrow is the size of the row in the image, C is the centerline pixel,
제7 단계 이전에, 휴대형 정보 단말기의 후면부의 제어 명령어 인식 영역을 휴대형 정보 단말기의 전면부의 화면 사이즈에 맞추도록 설정하는 단계를 더 포함하는 것을 특징으로 하는 제어 명령어 인식방법.The method according to claim 4 or 5,
And before the seventh step, setting the control command recognition area of the rear part of the portable information terminal to match the screen size of the front part of the portable information terminal.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100066230A KR101167784B1 (en) | 2010-07-09 | 2010-07-09 | A method for recognizing pointers and a method for recognizing control commands, based on finger motions on the back of the portable information terminal |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020100066230A KR101167784B1 (en) | 2010-07-09 | 2010-07-09 | A method for recognizing pointers and a method for recognizing control commands, based on finger motions on the back of the portable information terminal |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20120005674A KR20120005674A (en) | 2012-01-17 |
| KR101167784B1 true KR101167784B1 (en) | 2012-07-25 |
Family
ID=45611671
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020100066230A KR101167784B1 (en) | 2010-07-09 | 2010-07-09 | A method for recognizing pointers and a method for recognizing control commands, based on finger motions on the back of the portable information terminal |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101167784B1 (en) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8761448B1 (en) * | 2012-12-13 | 2014-06-24 | Intel Corporation | Gesture pre-processing of video stream using a markered region |
| US8805017B2 (en) | 2012-12-13 | 2014-08-12 | Intel Corporation | Gesture pre-processing of video stream to reduce platform power |
| US9104240B2 (en) | 2013-01-09 | 2015-08-11 | Intel Corporation | Gesture pre-processing of video stream with hold-off period to reduce platform power |
| US9292103B2 (en) * | 2013-03-13 | 2016-03-22 | Intel Corporation | Gesture pre-processing of video stream using skintone detection |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3863809B2 (en) | 2002-05-28 | 2006-12-27 | 独立行政法人科学技術振興機構 | Input system by hand image recognition |
| US20090228841A1 (en) | 2008-03-04 | 2009-09-10 | Gesture Tek, Inc. | Enhanced Gesture-Based Image Manipulation |
-
2010
- 2010-07-09 KR KR1020100066230A patent/KR101167784B1/en not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3863809B2 (en) | 2002-05-28 | 2006-12-27 | 独立行政法人科学技術振興機構 | Input system by hand image recognition |
| US20090228841A1 (en) | 2008-03-04 | 2009-09-10 | Gesture Tek, Inc. | Enhanced Gesture-Based Image Manipulation |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20120005674A (en) | 2012-01-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101189633B1 (en) | A method for recognizing ponter control commands based on finger motions on the mobile device and a mobile device which controls ponter based on finger motions | |
| CN107885327B (en) | Fingertip detection method based on Kinect depth information | |
| CN103135758B (en) | Realize the method and system of shortcut function | |
| KR101514169B1 (en) | Information processing device, information processing method, and recording medium | |
| JP5887775B2 (en) | Human computer interaction system, hand-to-hand pointing point positioning method, and finger gesture determination method | |
| EP2980755B1 (en) | Method for partitioning area, and inspection device | |
| RU2013154102A (en) | FINGER RECOGNITION AND TRACKING SYSTEM | |
| CN103544472A (en) | Processing method and processing device based on gesture images | |
| JP2014235634A (en) | Finger operation detection device, finger operation detection method, finger operation detection program, and virtual object processing system | |
| TW201322058A (en) | Gesture recognition system and method | |
| CN103777748A (en) | Motion sensing input method and device | |
| JP6141108B2 (en) | Information processing apparatus and method | |
| JP2017117341A (en) | Object detection method, device and program | |
| KR101167784B1 (en) | A method for recognizing pointers and a method for recognizing control commands, based on finger motions on the back of the portable information terminal | |
| US10146375B2 (en) | Feature characterization from infrared radiation | |
| KR20150071722A (en) | Method and system for modifying contour of object in image | |
| KR102052449B1 (en) | System for virtual mouse and method therefor | |
| JP2016167268A (en) | Gesture modeling device, gesture modeling method, program for gesture modeling system, and gesture modeling system | |
| JP6501806B2 (en) | INFORMATION PROCESSING APPARATUS, OPERATION DETECTING METHOD, AND COMPUTER PROGRAM | |
| KR101281461B1 (en) | Multi-touch input method and system using image analysis | |
| CN112488059B (en) | Spatial gesture control method based on deep learning model cascade | |
| KR101967858B1 (en) | Apparatus and method for separating objects based on 3D depth image | |
| CN115793893B (en) | Touch writing handwriting generation method and device, electronic equipment and storage medium | |
| KR101614798B1 (en) | Non-contact multi touch recognition method and system using color image analysis | |
| JP2012003724A (en) | Three-dimensional fingertip position detection method, three-dimensional fingertip position detector and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20150703 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20160607 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20170703 Year of fee payment: 6 |
|
| LAPS | Lapse due to unpaid annual fee |