KR20120070133A - Apparatus for providing virtual touch interface using camera and method thereof - Google Patents

Apparatus for providing virtual touch interface using camera and method thereof Download PDF

Info

Publication number
KR20120070133A
KR20120070133A KR1020100131564A KR20100131564A KR20120070133A KR 20120070133 A KR20120070133 A KR 20120070133A KR 1020100131564 A KR1020100131564 A KR 1020100131564A KR 20100131564 A KR20100131564 A KR 20100131564A KR 20120070133 A KR20120070133 A KR 20120070133A
Authority
KR
South Korea
Prior art keywords
screen
camera
virtual touch
virtual
touch screen
Prior art date
Application number
KR1020100131564A
Other languages
Korean (ko)
Inventor
김형주
김재명
오문균
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100131564A priority Critical patent/KR20120070133A/en
Publication of KR20120070133A publication Critical patent/KR20120070133A/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

PURPOSE: A virtual touch interface providing apparatus and a method for the same are provided to input characters without malfunction with respect to a small-sized screen although a user wears gloves. CONSTITUTION: A recognizing part(210) recognizes fingers as cursors based on a camera. A virtual screen size setting part(220) generates a virtual touch screen based on the camera and sets the size of the virtual touch screen. A mapping part(230) maps the virtual touch screen and an actual screen. When a user clicks the virtual touch screen with a finger, the mapping part selects and operates the keypad button and the application program icon of the actual screen.

Description

카메라를 이용한 가상 터치 인터페이스 제공 장치 및 그 방법{Apparatus for providing virtual touch interface using camera and method thereof}Apparatus and providing virtual touch interface using camera and method

본 발명은 카메라를 이용한 가상 터치 인터페이스 제공 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 카메라를 통해 가상의 터치 화면을 생성하여 단말기의 응용을 실행할 수 있는 기술에 관한 것이다.The present invention relates to an apparatus and method for providing a virtual touch interface using a camera, and more particularly, to a technology for executing a terminal application by generating a virtual touch screen through a camera.

휴대 단말기는 키패드 버튼을 통한 문자입력 부분과 입력된 내용 또는 사용 가능한 응용프로그램을 보여주는 화면 창으로 구분되어 있던 형태의 단말에서 최근 들어서는 화면에 터치 기능이 적용된 터치 화면을 사용하여 하드웨어적인 키패드가 사라지고 터치 화면에 가상 키패드를 채용하여 동작하는 형태로 사용되고 있다. The mobile terminal is divided into a character input section through the keypad buttons and a screen window showing input contents or available applications. In the terminal recently entered, the touch screen with the touch function applied to the screen disappears and the hardware keypad disappears. It is used to operate by adopting a virtual keypad on the screen.

또한, 카메라 모듈의 가격이 저렴해 지면서 고해상도의 카메라 모듈이 휴대 단말기에 기본적으로 장착되고 있다.In addition, as the price of the camera module becomes cheaper, a high resolution camera module is basically installed in the portable terminal.

휴대 단말기는 휴대의 편리성을 위해서 계속 작아지다가 최근 들어 스마트폰이 주류를 이루면서 다시 커지고 있으나 휴대성 때문에 일정 크기까지 밖에 커지지 않고 있다. Portable terminals continue to decrease in size for convenience of portability, and have grown in recent years as smartphones have become mainstream, but have only grown to a certain size due to portability.

도 1은 일반적인 터치기능이 구현된 휴대 단말기를 나타낸다.1 illustrates a portable terminal in which a general touch function is implemented.

도 1을 참조하면, 휴대 가능한 소형의 일반 화면 크기로 카메라가 탑재되어 카메라 기능을 통하여 터치 기능을 구현할 수 있는 것을 알 수 있다. Referring to FIG. 1, it can be seen that a camera is mounted at a small size of a portable general screen, so that a touch function can be implemented through a camera function.

휴대 단말기는 단말 본체(100), 화면(101), 카메라(102)와 전원 및 선택 기능 버튼(103)으로 구성된다.The portable terminal is composed of a terminal body 100, a screen 101, a camera 102, a power source, and a selection function button 103.

전원 및 선택 기능 버튼(103)은 길게 누르면 전원 ON/OFF 버튼으로 동작하며, 그냥 누르면 선택 기능 버튼으로 동작한다.The power and selection function button 103 is operated by pressing and holding the power ON / OFF button, and is operated as a selection function button by simply pressing.

이렇게, 휴대 단말기는 단말 본체(100)는 터치 화면 기능이 되는 단말기를 이용하여 화면상의 키패드를 통하여 문자입력 및 응용프로그램을 실행하기 위해서는 별도의 터치펜을 이용하거나 손가락을 사용하여 조심스럽게 문자를 입력해야만 한다. In this way, the mobile terminal is a terminal body 100 using a terminal that is a touch screen function to input text and applications through the keypad on the screen using a separate touch pen or using a finger carefully input the text must do it.

이로 인해, 장갑 등을 사용하는 작업현장에서는 터치 화면 기능이 탑재된 휴대 단말기를 통하여 문자를 입력하거나 다양한 응용프로그램을 실행하기 어려운 문제점이 있었다. For this reason, in a workplace using gloves or the like, it is difficult to input characters or execute various applications through a mobile terminal equipped with a touch screen function.

또한, 휴대 단말기는 단말 본체(100)는 터치 화면을 직접 손가락으로 클릭함으로써 화면에 지문이 남아 지저분해지거나 흠집 등이 발생하여 화면의 선명도 등이 떨어지게 되는 문제점이 있었다. In addition, the portable terminal has a problem in that the terminal body 100 directly clicks the touch screen with a finger so that fingerprints remain on the screen, resulting in messy or scratches, thereby degrading the sharpness of the screen.

본 발명의 목적은, 일반화면과 카메라를 통해 사용자가 원하는 크기의 가상의 터치 화면을 생성하여 장갑 착용 및 작은 화면에서도 오동작 없이 문자를 입력하거나, 휴대 단말 응용 프로그램 아이콘을 정확하게 선택하여 작업할 수 있도록 함으로써 사용자의 편리성을 증대시키는 카메라를 이용한 가상 터치 인터페이스 제공 장치 및 그 방법을 제공하는 것이다.
An object of the present invention is to create a virtual touch screen of the user's desired size through a normal screen and a camera so that characters can be input without malfunctions even when wearing gloves and small screens, or by accurately selecting a mobile terminal application icon. By providing a device and a method for providing a virtual touch interface using a camera to increase the user's convenience.

상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시예에 따른 카메라를 이용한 가상 터치 인터페이스 제공 장치는, 카메라를 통해 손가락을 커서로 인식하는 인식부와; 상기 카메라를 통해 가상의 터치 화면을 생성하여, 상기 가상의 터치 화면의 크기를 설정하는 가상화면 크기 설정부와; 상기 가상의 터치 화면과 실제화면을 맵핑하는 맵핑부;를 포함한다. In order to achieve the above object, a virtual touch interface providing apparatus using a camera according to a preferred embodiment of the present invention, the recognition unit for recognizing a finger as a cursor through the camera; A virtual screen size setting unit for generating a virtual touch screen through the camera and setting a size of the virtual touch screen; It includes; mapping unit for mapping the virtual touch screen and the actual screen.

또한, 인식부는, 상기 손가락 동작을 인식하는 손가락 동작 인식모듈과; 상기 손가락을 제외한 나머지 배경을 제거하는 삭제모듈과; 기 설정된 시간 동안 버튼 선택 감지 여부를 판단하는 판단모듈;을 더 포함한다.The recognition unit may further include: a finger gesture recognition module recognizing the finger gesture; A deletion module for removing a background other than the finger; And a determining module for determining whether to detect a button selection for a preset time.

또한, 가상화면 크기 설정부는, 상기 인식부를 통해 인식되는 손가락의 터치 깊이를 설정하는 터치 깊이 설정모듈;을 더 포함한다.The virtual screen size setting unit may further include a touch depth setting module configured to set a touch depth of a finger recognized through the recognition unit.

상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시예에 따른 카메라를 이용한 가상 터치 인터페이스 제공 방법은, 인식부를 근거로 카메라를 통해 손가락을 커서로 인식하는 단계; 가상화면 크기 설정부를 근거로 상기 카메라를 통해 가상의 터치 화면을 생성하여, 상기 가상의 터치 화면의 크기를 설정하는 단계; 맵핑부를 근거로 상기 가상의 터치 화면과 실제화면을 맵핑하는 단계;를 포함한다.In order to achieve the above object, a method of providing a virtual touch interface using a camera according to a preferred embodiment of the present invention includes: recognizing a finger as a cursor through a camera based on a recognition unit; Setting a size of the virtual touch screen by generating a virtual touch screen through the camera based on a virtual screen size setting unit; And mapping the virtual touch screen and the actual screen based on the mapping unit.

또한, 인식하는 단계는, 손가락 동작 인식 모듈을 통해 상기 손가락 동작을 인식하는 단계; 삭제모듈을 통해 상기 손가락을 제외한 나머지 배경을 제거하는 단계; 판단모듈을 통해 기 설정된 시간 동안 버튼 선택 감지 여부를 판단하는 단계;를 더 포함한다.The recognizing may include recognizing the finger gesture through a finger gesture recognition module; Removing a background other than the finger through a deletion module; And determining whether to detect a button selection for a preset time through the determination module.

또한, 터치화면의 크기를 설정하는 단계, 터치 깊이 설정모듈을 통해 상기 인식부를 통해 인식되는 손가락의 터치 깊이를 설정하는 단계;를 더 포함한다.The method may further include setting a size of a touch screen, and setting a touch depth of a finger recognized through the recognition unit through a touch depth setting module.

본 발명에 따르면, 일반화면과 카메라를 통해 사용자가 원하는 크기의 가상의 터치 화면을 생성하여 장갑 착용 및 작은 화면에서도 오동작 없이 문자를 입력하거나, 휴대 단말 응용 프로그램 아이콘을 정확하게 선택하여 작업할 수 있도록 함으로써 사용자의 편리성을 증대시킬 수 있는 효과가 있다.
According to the present invention, by creating a virtual touch screen of the user's desired size through the normal screen and the camera to input a character without malfunction even in wearing gloves and small screen, or to accurately select a mobile terminal application icon to work There is an effect that can increase the convenience of the user.

도 1은 일반적인 터치기능이 구현된 휴대 단말기를 설명하기 위한 도면.
도 2는 본 발명의 실시예에 따른 카메라를 이용한 가상 터치 인터페이스 제공 장치의 전체 블럭도.
도 3은 도 2에 따른 카메라를 이용한 가상 터치 인터페이스 제공 장치의 상세 블럭도.
도 4는 본 발명의 실시예에 따른 가상화면이 생성됨을 설명하기 위한 도면.
도 5는 본 발명의 실시예에 따른 카메라를 이용한 가상 터치 인터페이스 제공 방법의 흐름도.
도 6은 도 5에 따른 가상 터치 화면을 생성하는 흐름도.1 is a view for explaining a mobile terminal in which a general touch function is implemented.
2 is an overall block diagram of a virtual touch interface providing apparatus using a camera according to an embodiment of the present invention.
3 is a detailed block diagram of an apparatus for providing a virtual touch interface using a camera according to FIG. 2.
4 is a view for explaining that a virtual screen is created according to an embodiment of the present invention.
5 is a flowchart of a method for providing a virtual touch interface using a camera according to an embodiment of the present invention.
6 is a flowchart of generating a virtual touch screen according to FIG. 5.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시 예를 첨부 도면을 참조하여 설명하기로 한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명은 생략한다.Hereinafter, the most preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the technical idea of the present invention. . In the drawings, the same reference numerals are used to designate the same or similar components throughout the drawings. In addition, in the description of the present invention, a detailed description of a related known configuration or function is omitted.

이하, 본 발명의 실시예에 따른 카메라를 이용한 가상 터치 인터페이스 제공 장치 및 그 방법을 첨부된 도면을 참조하여 상세하게 설명하면 아래와 같다.
Hereinafter, an apparatus and method for providing a virtual touch interface using a camera according to an embodiment of the present invention will be described in detail with reference to the accompanying drawings.

도 2는 본 발명의 실시예에 따른 카메라를 이용한 가상 터치 인터페이스 제공 장치의 전체 블럭도이다.2 is an overall block diagram of an apparatus for providing a virtual touch interface using a camera according to an embodiment of the present invention.

도 2를 참조하면, 카메라를 이용한 가상 터치 인터페이스 제공 장치(200)는 인식부(210), 가상화면 크기 설정부(220), 맵핑부(230)를 포함한다.2, the apparatus 200 for providing a virtual touch interface using a camera includes a recognizer 210, a virtual screen size setting unit 220, and a mapping unit 230.

인식부(210)는 카메라를 통해 사용자의 손가락을 커서로 인식한다.The recognition unit 210 recognizes a user's finger as a cursor through a camera.

가상화면 크기 설정부(220)는 카메라를 통해 가상의 터치 LCD 화면을 생성하여, 터치 화면의 크기를 설정한다.The virtual screen size setting unit 220 generates a virtual touch LCD screen through a camera and sets the size of the touch screen.

즉, 가상화면 크기 설정부(220)는 가상의 터치 화면이 설정되어 있지 않으면 카메라가 자동으로 동작하게 되어 카메라를 통해 보이는 공간에 사용자가 원하는 크기의 가상의 터치 화면을 설정한다.In other words, if the virtual touch screen is not set, the virtual screen size setting unit 220 automatically operates the camera and sets the virtual touch screen having the size desired by the user in the space visible through the camera.

맵핑부(230)는 가상의 터치 화면과 실제 화면을 맵핑한다.The mapping unit 230 maps the virtual touch screen and the actual screen.

즉, 맵핑부(230)는 가상의 터치 화면을 손가락으로 클릭할 때, 실제 화면의 키패드 버튼 또는 응용 프로그램 아이콘 등을 선택하여 동작하게 된다.That is, the mapping unit 230 operates by selecting a keypad button or an application program icon of an actual screen when the virtual touch screen is clicked with a finger.

따라서, 카메라를 이용한 가상 터치 인터페이스 제공 장치(200)는 일반화면과 카메라를 통해 사용자가 원하는 크기의 가상의 터치 화면을 생성하여 장갑 착용 및 작은 화면에서도 오동작 없이 문자를 입력하거나, 단말기의 응용 프로그램 아이콘을 정확하게 선택하여 작업할 수 있다.
Accordingly, the apparatus 200 for providing a virtual touch interface using a camera generates a virtual touch screen having a size desired by a user through a general screen and a camera, and inputs characters without malfunction even when wearing gloves and a small screen, or an application icon of a terminal. You can choose to work correctly.

도 3은 도 2에 따른 카메라를 이용한 가상 터치 인터페이스 제공 장치의 상세 블럭도이다.3 is a detailed block diagram of an apparatus for providing a virtual touch interface using a camera according to FIG. 2.

도 3을 참조하면, 카메라를 이용한 가상 터치 인터페이스 제공 장치(200)의 인식부(210)는 손가락 동작 인식모듈(211), 삭제모듈(212), 판단모듈(213)을 포함한다.Referring to FIG. 3, the recognition unit 210 of the apparatus 200 for providing a virtual touch interface using a camera includes a finger gesture recognition module 211, a deletion module 212, and a determination module 213.

손가락 동작 인식모듈(211)은 손가락을 커서로 인식할 수 있도록 사용자의 손가락 동작을 인식한다.The finger gesture recognition module 211 recognizes a finger gesture of a user to recognize a finger as a cursor.

또한, 손가락 동작 인식모듈(211)은 손가락 동작이 인식됨과 동시에 카메라가 작동되며, 손가락 동작 인식이 끝나면 카메라는 작동되지 않는다.In addition, the finger motion recognition module 211 operates the camera at the same time as the finger motion is recognized, and the camera is not operated after the finger motion recognition is completed.

삭제모듈(212)은 손가락을 제외한 나머지 배경을 제거한다.The deleting module 212 removes the background except for the finger.

판단모듈(213)은 기 설정된 시간 동안 버튼 선택 감지 여부를 판단한다.The determination module 213 determines whether the button selection is detected for a preset time.

즉, 판단모듈(213)은 사용자가 다시 손가락 동작 인식 모듈(211)을 조정하거나 다른 사용자의 손가락 동작 인식이 필요할 경우, 손가락의 동작 인식 판단 뒤에 일정 시간 안에 버튼이 선택되었는지를 판단한다.That is, when the user adjusts the finger gesture recognition module 211 or recognizes the finger gesture of another user, the determination module 213 determines whether the button is selected within a predetermined time after determining the finger gesture recognition.

또한, 카메라를 이용한 가상 터치 인터페이스 제공 장치(200)의 가상화면 크기 설정부(220)는 인식부(210)를 통해 인식되는 손가락의 터치 깊이를 설정하는 터치 깊이 설정모듈(221)을 포함한다.In addition, the virtual screen size setting unit 220 of the apparatus 200 for providing a virtual touch interface using the camera includes a touch depth setting module 221 for setting a touch depth of a finger recognized by the recognition unit 210.

맵핑부(230)는 가상의 터치 화면과 실제 화면을 맵핑한다.The mapping unit 230 maps the virtual touch screen and the actual screen.

즉, 맵핑부(230)는 가상의 터치 화면을 손가락으로 클릭할 때, 실제 화면의 키패드 버튼 또는 응용 프로그램 아이콘 등을 선택하여 동작하게 된다.
That is, the mapping unit 230 operates by selecting a keypad button or an application program icon of an actual screen when the virtual touch screen is clicked with a finger.

도 4는 본 발명의 실시예에 따른 가상화면이 생성됨을 설명하기 위한 도면이다.4 is a view for explaining the creation of a virtual screen according to an embodiment of the present invention.

도 4를 참조하면, 카메라를 이용한 가상 터치 인터페이스 제공 장치(200)는 카메라를 통해 사용자의 손가락(400)으로 가상의 지점에 만들고자 하는 가상화면 터치선(201) 즉, 터치 화면 4점을 선택하면, 카메라를 이용한 가상 터치 인터페이스 제공 장치(200)의 실제화면에 보이는 터치 깊이 설정 선(204) 지점에 가상의 터치 화면이 표시된다.Referring to FIG. 4, when an apparatus 200 for providing a virtual touch interface using a camera selects a virtual screen touch line 201, that is, four touch screen points, to be made at a virtual point with a user's finger 400 through a camera, The virtual touch screen is displayed at the touch depth setting line 204 point shown on the actual screen of the apparatus 200 for providing a virtual touch interface using a camera.

카메라를 이용한 가상 터치 인터페이스 제공 장치(200)는 가상의 터치 화면이 손가락(400)으로 눌렸는지를 감지하도록 일정한 터치 깊이 설정 선(202) 지점에 터치 깊이를 설정한다.The apparatus 200 for providing a virtual touch interface using a camera sets the touch depth at a predetermined touch depth setting line 202 to detect whether the virtual touch screen is pressed by the finger 400.

카메라를 이용한 가상 터치 인터페이스 제공 장치(200)는 터치 깊이가 설정되면 실제화면에 보이는 가상화면 터치 선(203) 지점의 면이 가상 터치 인터페이스 제공 장치(200)의 실제화면에 표시된다.
In the virtual touch interface providing apparatus 200 using a camera, when the touch depth is set, the surface of the virtual screen touch line 203 visible on the actual screen is displayed on the actual screen of the virtual touch interface providing apparatus 200.

도 5는 본 발명의 실시예에 따른 카메라를 이용한 가상 터치 인터페이스 제공 방법의 흐름도이다.5 is a flowchart illustrating a method of providing a virtual touch interface using a camera according to an embodiment of the present invention.

도 5를 참조하면, 카메라를 이용한 가상 터치 인터페이스 제공 방법은 카메라를 이용한 가상 터치 인터페이스 제공 장치(200)의 전원 및 버튼을 길게 누르면 카메라를 이용한 가상 터치 인터페이스 제공 장치(200)가 부팅 된다.Referring to FIG. 5, in the method of providing a virtual touch interface using a camera, when the power and a button of the virtual touch interface providing apparatus 200 using the camera are pressed and held, the virtual touch interface providing apparatus 200 using the camera is booted.

이후, 부팅 단계에서 손가락(400)을 커서로 인식할 수 있도록 손가락 동작 인식모듈(211)기능이 설정되었는지를 확인(S100)하고, 설정되지 않았으면 인식부(210)를 통해 손가락 동작 인식 설정 과정을 수행한다(S200). Subsequently, in the booting step, it is checked whether the finger motion recognition module 211 function is set to recognize the finger 400 as the cursor (S100), and if not, the finger motion recognition setting process is performed through the recognition unit 210. Perform (S200).

이때, 손가락 동작 인식 모듈(211)은 진행 과정으로 수행됨과 동시에 카메라가 작동하게 된다(S300). At this time, the finger gesture recognition module 211 is performed as a progress process and at the same time the camera is operated (S300).

또한, 손가락 동작 인식 모듈(211)은 진행과정이 끝나면 자동으로 카메라(103)가 꺼진다. In addition, the finger gesture recognition module 211 automatically turns off the camera 103 after the process is completed.

카메라를 이용한 가상 터치 인터페이스 제공 장치(200)는 손가락 동작 인식 모듈(211)이 설정되어 있어도 사용자가 다시 손가락 동작 인식 모듈(211)을 재조정하거나 다른 사용자의 손가락 동작 인식 모듈(211)이 필요할 경우, 판단모듈(213)을 통해 손가락 동작 인식 판단 뒤에 일정 시간 안에 선택버튼이 눌렸는지를 감지한다(S400).In the virtual touch interface providing apparatus 200 using the camera, even when the finger gesture recognition module 211 is set, when the user readjusts the finger gesture recognition module 211 or another finger gesture recognition module 211 is needed, The determination module 213 detects whether the selection button is pressed within a predetermined time after the finger motion recognition determination (S400).

이후, 사용자가 선택 버튼을 누름으로써 손가락 동작 인식안됨 설정 과정을 거쳐 손가락 동작 인식 모듈(211)를 다시 수행하여 조정할 수 있게 된다.Thereafter, the user presses the selection button to perform the finger gesture recognition module 211 and perform the finger gesture recognition module 211 again.

이후, 카메라를 이용한 가상 터치 인터페이스 제공 장치(200)는 손가락 동작 인식 모듈(211) 과정에 의해 손가락(400)을 커서로 사용할 수 있게 되면, 가상의 터치 화면이 설정되어 있는지를 체크한다(S500).Thereafter, the apparatus 200 for providing a virtual touch interface using the camera checks whether a virtual touch screen is set when the finger 400 can be used as a cursor by the process of finger gesture recognition module 211 (S500). .

또한, 카메라를 이용한 가상 터치 인터페이스 제공 방법은 가상 터치 화면이 설정되어 있지 않으면, 카메라가 자동으로 동작하게 되어 가상화면 크기 설정부(220)를 통해 가상의 터치 LCD 화면을 생성(S600),하여, 가상의 터치 화면의 크기를 설정한다.In addition, in the method of providing a virtual touch interface using a camera, when the virtual touch screen is not set, the camera is automatically operated to generate a virtual touch LCD screen through the virtual screen size setting unit 220 (S600), Set the size of the virtual touch screen.

즉, 가상화면 크기 설정부(220)는 가상의 터치 화면이 설정되어 있지 않으면 카메라가 자동으로 동작하게 되어 카메라를 통해 보이는 공간에 사용자가 원하는 크기의 가상의 터치 화면을 설정하게 된다.In other words, if the virtual touch screen is not set, the virtual screen size setting unit 220 automatically operates the camera to set the virtual touch screen having a desired size in the space visible through the camera.

이후, 카메라를 이용한 가상 터치 인터페이스 제공 방법은 가상의 터치 화면이 설정된 후에 다시 사용자가 가상의 터치 화면을 재설정할 수 있도록 버튼선택으로 가상화면 크기 설정을 초기화하고, 가상화면 크기 설정부(220)를 통해 변경할 수 있다.Subsequently, the method for providing a virtual touch interface using a camera initializes the virtual screen size setting by button selection so that the user can reset the virtual touch screen again after the virtual touch screen is set, and the virtual screen size setting unit 220 is executed. Can be changed.

이후, 카메라를 이용한 가상 터치 인터페이스 제공 방법은 가상화면 크기 설정부(220)를 통해 생성된 가상의 터치 화면과 실제 화면을 맵핑부(230)를 통해 터치 화면을 손가락으로 클릭할 때, 실제 화면의 키패드 버튼 또는 응용 프로그램 아이콘 등을 선택하여 동작하게 된다(S700).Subsequently, the method for providing a virtual touch interface using a camera may include a virtual touch screen generated by the virtual screen size setting unit 220 and a real screen when a user clicks the touch screen with a finger through the mapping unit 230. The keypad button or the application program icon is selected and operated (S700).

이렇게, 가상의 터치 화면과 실제 화면 맵핑은 버튼 선택 과정을 통해 초기화를 수행하여 다시 설정할 수 있다(S800).In this way, the virtual touch screen and the actual screen mapping may be reset by performing an initialization through a button selection process (S800).

이후, 카메라를 이용한 가상 터치 인터페이스 제공 장치(200)는 손가락 동작을 인식하는 S100단계와, 가상의 터치 화면을 설정하는 S500단계와, 가상의 터치 화면과 실제 화면을 맵핑하는 S700 단계를 수행한 후, 일반 화면과 카메라를 통하여 터치 기능이 동작하게 되면 터치 화면을 통한 휴대 단말과 같은 단말 기능 동작을 수행하게 된다(S900).
Subsequently, the apparatus 200 for providing a virtual touch interface using the camera performs an operation S100 for recognizing a finger motion, an operation S500 for setting a virtual touch screen, and an operation S700 for mapping a virtual touch screen with an actual screen. When the touch function is operated through the general screen and the camera, a terminal function operation such as a portable terminal through the touch screen is performed (S900).

도 6은 도 5에 따른 가상 터치 화면을 생성하는 흐름도이다.6 is a flowchart of generating a virtual touch screen according to FIG. 5.

도 6을 참조하면, 도 5에 상술한 S600단계의 가상 터치 화면을 생성하는 과정을 설명한다.Referring to FIG. 6, a process of generating a virtual touch screen of operation S600 described above with reference to FIG. 5 will be described.

가상 터치 화면을 생성하는 과정은 먼저 카메라를 통해 사용자의 손가락(400)으로 가상의 지점에 만들고자 하는 가상의 터치 화면 4점을 인식한다(S601).The process of generating the virtual touch screen first recognizes four virtual touch screens to be made at the virtual point with the user's finger 400 through the camera (S601).

이후, 가상 터치 화면을 생성하는 과정은 S601 단계에서 인식된 4개의 좌표를 영상처리과정을 통해 카메라를 이용하여 가상화면 크기 설정부(220)를 통해 가상의 터치 LCD 화면을 생성하여, 터치 화면의 크기를 설정한 후 가상 터치 인터페이스 제공 장치(200)의 화면상에 표시한다(S602).Subsequently, the process of generating the virtual touch screen generates a virtual touch LCD screen through the virtual screen size setting unit 220 using a camera through the image processing process of the four coordinates recognized in step S601, After setting the size, it displays on the screen of the virtual touch interface providing apparatus 200 (S602).

이후, 카메라를 이용한 가상 터치 인터페이스 제공 장치(200)는 가상의 터치 화면이 손가락(400)으로 눌렸는지를 감지하도록 일정한 터치 깊이 설정 선(202) 지점에 터치 깊이를 설정하여 가상의 눌림 깊이 4점을 인식한다(S603).Subsequently, the apparatus 200 for providing a virtual touch interface using the camera sets the touch depth at a predetermined touch depth setting line 202 to detect whether the virtual touch screen is pressed by the finger 400, and thus the virtual touch depth 4 points. It is recognized (S603).

이후, 가상 터치 화면을 생성하는 과정은 S603 단계에서 인식된 4개의 좌표를 영상처리과정을 통해 실제화면상에 가상의 터치 눌림 깊이 화면으로 표시된다(S604).Thereafter, the process of generating the virtual touch screen is displayed as a virtual touch pressing depth screen on the real screen through the four coordinates recognized in step S603 through the image processing process (S604).

따라서, 카메라를 이용한 가상 터치 인터페이스 제공 장치(200)는 일반화면과 카메라를 통해 사용자가 원하는 크기의 가상의 터치 화면을 생성하여 장갑 착용 및 작은 화면에서도 오동작 없이 문자를 입력하거나, 단말기의 응용 프로그램 아이콘을 정확하게 선택하여 작업할 수 있다.
Accordingly, the apparatus 200 for providing a virtual touch interface using a camera generates a virtual touch screen having a size desired by a user through a general screen and a camera, and inputs characters without malfunction even when wearing gloves and a small screen, or an application icon of a terminal. You can choose to work correctly.

이상에서 본 발명에 따른 바람직한 실시 예에 대해 설명하였으나, 다양한 형태로 변형이 가능하며, 본 기술분야에서 통상의 지식을 가진자라면 본 발명의 특허 청구범위를 벗어남이 없이 다양한 변형예 및 수정예를 실시할 수 있을 것으로 이해된다.
Although a preferred embodiment according to the present invention has been described above, it can be modified in various forms, and those skilled in the art can make various modifications and modifications without departing from the claims of the present invention. It is understood that it may be practiced.

200: 가상 터치 인터페이스 제공장치 201: 가상화면 터치 선
202: 터치 깊이 설정 선 210: 인식부
211: 손가락 동작 인식모듈 212: 삭제모듈
213: 판단모듈 220:가상화면 크기 설정부
221: 터치 깊이 설정모듈 230: 맵핑부
400: 손가락200: virtual touch interface providing apparatus 201: virtual screen touch line
202: touch depth setting line 210: recognition unit
211: finger gesture recognition module 212: delete module
213: judgment module 220: virtual screen size setting unit
221: touch depth setting module 230: mapping unit
400: finger

Claims (1)

카메라를 통해 손가락을 커서로 인식하는 인식부;
상기 카메라를 통해 가상의 터치 화면을 생성하여, 상기 가상의 터치 화면의 크기를 설정하는 가상화면 크기 설정부; 및
상기 가상의 터치 화면과 실제화면을 맵핑하는 맵핑부;를 포함하는 카메라를 이용한 가상 터치 인터페이스 제공 장치.
A recognition unit for recognizing a finger as a cursor through a camera;
A virtual screen size setting unit for generating a virtual touch screen through the camera and setting a size of the virtual touch screen; And
And a mapping unit for mapping the virtual touch screen and the actual screen.
KR1020100131564A 2010-12-21 2010-12-21 Apparatus for providing virtual touch interface using camera and method thereof KR20120070133A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100131564A KR20120070133A (en) 2010-12-21 2010-12-21 Apparatus for providing virtual touch interface using camera and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100131564A KR20120070133A (en) 2010-12-21 2010-12-21 Apparatus for providing virtual touch interface using camera and method thereof

Publications (1)

Publication Number Publication Date
KR20120070133A true KR20120070133A (en) 2012-06-29

Family

ID=46688068

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100131564A KR20120070133A (en) 2010-12-21 2010-12-21 Apparatus for providing virtual touch interface using camera and method thereof

Country Status (1)

Country Link
KR (1) KR20120070133A (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10365713B2 (en) 2014-08-01 2019-07-30 Starship Vending-Machine Corp. Method and apparatus for providing interface recognizing movement in accordance with user's view
CN113569635A (en) * 2021-06-22 2021-10-29 惠州越登智能科技有限公司 Gesture recognition method and system

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10365713B2 (en) 2014-08-01 2019-07-30 Starship Vending-Machine Corp. Method and apparatus for providing interface recognizing movement in accordance with user's view
CN113569635A (en) * 2021-06-22 2021-10-29 惠州越登智能科技有限公司 Gesture recognition method and system

Similar Documents

Publication Publication Date Title
CN104375758B (en) Method and apparatus for icon-based application control
AU2014208041B2 (en) Portable terminal and method for providing haptic effect to input unit
KR101947034B1 (en) Apparatus and method for inputting of portable device
KR100783552B1 (en) Input control method and device for mobile phone
US20140380209A1 (en) Method for operating portable devices having a touch screen
JP6165485B2 (en) AR gesture user interface system for mobile terminals
TW201531895A (en) Multi-task switching method, system and electronic device for touching interface
KR20090019161A (en) Electronic device and method for operating the same
WO2006104132A1 (en) User interface system
KR20130024220A (en) Input device and method on terminal equipment having a touch module
JPWO2009031214A1 (en) Portable terminal device and display control method
JP2010146032A (en) Mobile terminal device and display control method
CN114690887A (en) Feedback method and related equipment
KR20160019762A (en) Method for controlling touch screen with one hand
CN103927114A (en) Display method and electronic equipment
TWI615747B (en) System and method for displaying virtual keyboard
JP6235349B2 (en) Display device with touch operation function
JP2013171529A (en) Operation input device, operation determination method, and program
JP2014176019A (en) Portable information processing device, input method for the same, and computer-executable program
KR20140140407A (en) Terminal and method for controlling multi-touch operation in the same
KR20130102670A (en) For detailed operation of the touchscreen handset user-specific finger and touch pen point contact location method and system for setting
WO2017041254A1 (en) Data editing method and device
KR20120070133A (en) Apparatus for providing virtual touch interface using camera and method thereof
KR102307354B1 (en) Electronic device and Method for controlling the electronic device
CN108700958A (en) Wearable information terminal

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid