KR20140112920A - Method for providing user's interaction using multi hovering gesture - Google Patents

Method for providing user's interaction using multi hovering gesture Download PDF

Info

Publication number
KR20140112920A
KR20140112920A KR1020130027600A KR20130027600A KR20140112920A KR 20140112920 A KR20140112920 A KR 20140112920A KR 1020130027600 A KR1020130027600 A KR 1020130027600A KR 20130027600 A KR20130027600 A KR 20130027600A KR 20140112920 A KR20140112920 A KR 20140112920A
Authority
KR
South Korea
Prior art keywords
user
terminal
hand
hovering
gesture
Prior art date
Application number
KR1020130027600A
Other languages
Korean (ko)
Other versions
KR102091028B1 (en
Inventor
전진영
강지영
김대성
김진용
이보영
임승경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to KR1020130027600A priority Critical patent/KR102091028B1/en
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP14159931.6A priority patent/EP2778853B1/en
Priority to AU2014201588A priority patent/AU2014201588B2/en
Priority to BR102014006152A priority patent/BR102014006152A2/en
Priority to TW103109521A priority patent/TWI633460B/en
Priority to US14/211,982 priority patent/US9372617B2/en
Priority to CN201410095171.7A priority patent/CN104049737B/en
Priority to RU2014109966A priority patent/RU2662690C2/en
Priority to CA2846531A priority patent/CA2846531C/en
Priority to JP2014051607A priority patent/JP6366309B2/en
Publication of KR20140112920A publication Critical patent/KR20140112920A/en
Application granted granted Critical
Publication of KR102091028B1 publication Critical patent/KR102091028B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

A method for operating an object of user equipment according to the present invention includes a step of displaying at least one object on a display unit; a step of detecting a multi-finger hovering gesture which selects the object displayed on the display unit; a step of driving a camera in response to the multi-finger hovering gesture; a step of recognizing the hand of a user based on an image collected from the camera; and a step of changing the selected object to a power transmission standby status when the recognized hand of the user disappears within a viewing angle of the camera.

Description

사용자 기기의 오브젝트 운용 방법 및 장치 {METHOD　FOR PROVIDING USER'S INTERACTION USING MULTI HOVERING　GESTURE}METHOD FOR PROVIDING USER'S INTERACTION USING MULTI HOVERING GESTURE [0002]

본 발명은 사용자 기기의 오브젝트 운용 방법 및 장치에 관한 것으로, 특히 멀티 호버링을 이용한 사용자 기기의 오브젝트 운용 방법 및 장치에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and apparatus for operating an object of a user equipment, and more particularly, to a method and apparatus for operating an object of a user equipment using multi-hovering.

사용자 기기(user device) 예를 들어, 스마트폰, 태블릿 PC, 노트북 등은 이용의 편의성과 휴대의 용이성으로 인해 매우 폭넓은 분야에서 이용되고 있다. 특히, 터치스크린을 구비하는 사용자 기기는 지속적으로 개발되고 있다. 터치스크린을 구비하는 기기는 표시부를 통해 다양한 기능들을 제공함으로써, 기능을 보다 직관적으로 이용할 수 있도록 지원하고 있다. 사용자는 터치, 음성, 모션 등의 다양한 입력 수단을 이용하여 표시부에 표시된 기능들을 조작하거나 기기에 필요한 정보들을 입력할 수 있다. User devices For example, smart phones, tablet PCs, notebooks, etc. are used in a wide variety of fields due to their ease of use and portability. In particular, user devices equipped with a touch screen are continuously being developed. A device with a touch screen provides various functions through a display unit, thereby making it possible to use functions more intuitively. The user can operate the functions displayed on the display unit or input information necessary for the device by using various input means such as touch, voice, motion and the like.

최근 사용자 기기에서 제공되는 기능들이 복잡해짐에 따라, 사용자 인터렉션(interaction)에 대한 방법이 다양하게 연구되고 있다. 일반적으로 사용자는 사용자 기기에서 제공되는 사용자 인터페이스(UI; User Interface) 화면을 기반으로 화면을 조작하고 있다. 즉, 사용자는 사용자 기기의 특정 기능을 실행하기 위해서는 기기 설계의 원칙에 따라 일련의 과정들을 수행해야 한다. 예를 들어, 사용자가 특정 컨텐츠를 타 단말기로 전송하기 위해서는, 타 단말기와 연결하기 위한 입력, 특정 컨텐츠를 선택하기 위한 입력, 전송 메뉴로 진입하기 위한 입력 및 전송을 요청하기 위한 입력을 순차적으로 진행해야 한다. 이러한 사용자의 입력 동작은 현실에서의 직관적인 사용성을 반영하지 못하며, 기기에 대한 동작 이해가 어려운 사람들에게는 기기의 기능을 충분히 활용하지 못하는 단점이 존재한다. 따라서, 사용자 기기를 조작하는 데 있어서, 현실에서와 같은 직관적인 제스처를 이용하여 사용자 기기를 조작하기 위한 연구가 이루어지고 있다.2. Description of the Related Art [0002] Recently, as functions provided by a user device become complicated, various methods for user interaction have been studied. Generally, a user operates a screen based on a user interface (UI) screen provided by the user device. That is, the user must perform a series of processes according to the principle of device design in order to execute a specific function of the user equipment. For example, in order for a user to transmit a specific content to another terminal, an input for connecting to another terminal, an input for selecting a specific content, an input for entering a transmission menu, and an input for requesting transmission are sequentially Should be. Such a user's input operation does not reflect the intuitive usability in reality, and there are disadvantages that those who can not understand the operation of the device can not fully utilize the functions of the device. Therefore, in order to operate the user device, research has been conducted to operate the user device using an intuitive gesture as in reality.

상기 안출된 문제를 해결하기 위해, 본 발명은 사용자 기기를 현실에서와 같은 직관적인 제스처를 이용하여 사용자 기기의 기능을 조작할 수 있는 사용자 기기의 오브젝트 운용 방법 및 장치를 제공하는 데 그 목적이 있다. In order to solve the above problems, an object of the present invention is to provide a method and an apparatus for operating an object of a user device capable of operating a function of a user device using an intuitive gesture such as a reality .

본 발명은 사용자 기기를 직접적으로 터치하지 않고, 현실에서 사용하는 제스처와 동일한 제스처를 통해 컨텐츠에 대한 특정 기능 예컨대, 파일 전송, 삭제 기능을 실행할 수 있는 사용자 기기의 오브젝트 운용 방법 및 장치를 제공하는 데 그 목적이 있다. The present invention provides a method and apparatus for operating an object of a user device capable of executing a specific function, for example, a file transfer function and a deletion function, on a content through a gesture identical to a gesture used in reality without directly touching the user device It has its purpose.

본 발명에 따른 사용자 기기의 오브젝트 운용 방법은, 표시부에 적어도 하나의 오브젝트를 표시하는 단계; 상기 표시부에 표시된 오브젝트를 선택하는 멀티 핑거 호버링 제스처를 검출하는 단계; 상기 멀티 핑거 호버링 제스처에 응답하여 카메라를 구동하는 단계; 상기 카메라로부터 수집된 영상을 기반으로 사용자의 핸드를 인식하는 단계; 및 상기 인식된 사용자의 핸드가 상기 카메라의 시야각 내에서 사라지는 경우, 상기 선택된 오브젝트를 파일 전송 대기 상태로 변경하는 단계를 포함한다. A method of operating an object of a user equipment according to the present invention includes: displaying at least one object on a display unit; Detecting a multi-finger hovering gesture for selecting an object displayed on the display unit; Driving the camera in response to the multi-finger hovering gesture; Recognizing a user's hand based on the image collected from the camera; And changing the selected object to a file transfer waiting state when the recognized user's hand disappears within a viewing angle of the camera.

본 발명에 따른 사용자 기기는, 무선 통신 신호를 송수신하는 무선 통신부; 적어도 하나의 오브젝트를 표시하는 표시부; 상기 오브젝트에 대한 사용자 제스처를 감지하는 센서부; 상기 사용자 제스처 영상을 수집하는 카메라; 및 상기 센서부를 통해 오브젝트를 선택하는 멀티 핑거 호버링 제스처를 검출하고, 상기 멀티 핑거 호버링 제스처에 응답하여 카메라를 구동하고, 상기 카메라로부터 수집된 영상을 기반으로 사용자의 핸드를 인식하고, 상기 인식된 사용자의 핸드가 상기 카메라의 시야각 내에서 사라지는 경우, 상기 선택된 오브젝트를 파일 전송 대기 상태로 변경하도록 제어하는 제어부를 포함한다. A user equipment according to the present invention includes: a wireless communication unit for transmitting and receiving a wireless communication signal; A display unit for displaying at least one object; A sensor unit for sensing a user gesture with respect to the object; A camera for collecting the user gesture image; And a controller for detecting a multi-finger hovering gesture for selecting an object through the sensor unit, driving the camera in response to the multi-finger hovering gesture, recognizing a user's hand based on the image collected from the camera, The control unit changes the selected object to a file transfer waiting state when the hand of the camera disappears within a viewing angle of the camera.

본 발명에 따른 사용자 기기의 오브젝트 운용 방법 및 장치에 따르면, 사용자가 표시부에 표시된 컨텐츠를 아날로그적인 사용 경험을 그대로 유지하여 보다 직관적으로 컨텐츠에 대한 기능을 운용할 수 있다. 사용자는 현실에서 사용하는 제스처와 동일한 제스처를 통해 컨텐츠를 타 단말기로 전송하거나, 삭제할 수 있다. According to the object operating method and apparatus of the user equipment according to the present invention, the user can intuitively operate the functions of the contents by maintaining the analog experience of the contents displayed on the display unit. The user can transmit or delete the content to another terminal through the same gesture as the gesture used in the real world.

또한, 본 발명에 따르면, 단말기의 특정 기능 실행을 위해 계층적인 메뉴 구조를 이용하지 않고, 빠른 실행 명령을 제공하는 유저 익스피어런스(UX; User Experience)를 제공할 수 있다. Also, according to the present invention, it is possible to provide a user experience (UX) that provides a quick execution command without using a hierarchical menu structure for executing a specific function of a terminal.

도 1은 본 발명의 실시예에 따른 휴대 단말기를 설명하기 위해 나타내 보인 블록도이다.
도 2는 본 발명의 실시예에 따른 사용자 기기의 오브젝트 운용 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 실시예에 따른 사용자 기기에서 오브젝트를 전송하는 사용자 인터렉션을 설명하기 위한 예시도이다.
도 4는 발명의 실시예에 따른 사용자 기기에서 오브젝트를 삭제하는 사용자 인터렉션을 설명하기 위한 예시도이다.
도 5는 본 발명의 실시예에 따라 그랩 제스처에 대응하여 시각적 피드백을 출력하는 화면 예시도이다.
도 6은 본 발명의 실시예에 따른 단말기 사이의 파일 전송 과정을 설명하기 위해 나타내 보인 도면이다.
도 7은 본 발명의 실시예에 따른 단말기 사이의 오브젝트의 송수신 과정을 설명하기 위한 화면 예시도이다.
도 8은 본 발명의 실시예에 따라 파일 수신에 대응하여 시각적 피드백을 출력하는 화면 예시도이다.
도 9는 본 발명의 실시예에 따른 동영상 파일의 송수신 과정을 설명하기 위해 나타내 보인 화면이다. 1 is a block diagram illustrating a portable terminal according to an embodiment of the present invention.
2 is a flowchart illustrating a method of operating an object of a user equipment according to an embodiment of the present invention.
3 is an exemplary diagram illustrating a user interaction for transmitting an object in a user equipment according to an embodiment of the present invention.
4 is an exemplary diagram illustrating a user interaction for deleting an object in a user equipment according to an embodiment of the present invention.
FIG. 5 is a diagram illustrating a screen for outputting visual feedback corresponding to a grab gesture according to an embodiment of the present invention. FIG.
6 is a diagram for explaining a file transfer process between terminals according to an embodiment of the present invention.
FIG. 7 is a diagram illustrating a process of transmitting and receiving an object between terminals according to an embodiment of the present invention.
FIG. 8 is a diagram illustrating a screen for outputting visual feedback in response to file reception according to an embodiment of the present invention.
FIG. 9 is a view for explaining a transmission / reception process of a moving picture file according to an embodiment of the present invention.

이하에는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따라 메시지 관리 방법 및 장치에 대해서 상세하게 설명한다. 본 발명의 상세한 설명에 앞서, 이하에서 사용되는 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다. 따라서, 본 명세서와 도면은 본 발명의 바람직한 실시예에 불과할 뿐이고, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원 시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. 또한, 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 따라서 본 발명은 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한되어지지 않는다.Hereinafter, a message management method and apparatus according to a preferred embodiment of the present invention will be described in detail with reference to the accompanying drawings. Before describing the present invention, it is to be understood that the terminology used herein is for the purpose of description and should not be interpreted to limit the scope of the present invention. Accordingly, the specification and drawings are to be regarded in an illustrative rather than a restrictive sense only and not for purposes of limitation, and that various equivalents and modifications may be substituted for them at the time of filing of the present application . Also, in the accompanying drawings, some of the elements are exaggerated, omitted or schematically shown, and the size of each element does not entirely reflect the actual size. Accordingly, the present invention is not limited by the relative size or spacing depicted in the accompanying drawings.

본 발명에 따른 사용자 기기는 터치스크린과 터치 입력 기구 사이의 이격 거리 예컨대, 깊이(depth)에 따라 사용자 입력 예를 들어, 터치 및 호버링을 검출하는 기능을 지원한다. 또한, 사용자 기기는 하나의 영역에서 입력 이벤트가 발생되는 싱글 입력(single input)과, 둘 이상의 영역에서 입력 이벤트가 동시에 발생되는 멀티 입력(multi input)을 검출하는 기능을 지원한다. The user equipment according to the present invention supports a function of detecting user input, for example, touch and hovering according to the distance between the touch screen and the touch input mechanism, for example, depth. Also, the user equipment supports a single input in which an input event is generated in one area and a multi input in which an input event occurs simultaneously in two or more areas.

본 발명에서 '호버링'은 터치 입력 기구가 터치스크린으로부터 기 정의된 이격 거리 이내로 접근하여 발생된 입력 신호로 정의된다. 예컨대, 호버링은 사용자 기기가 터치 입력 기구의 위치를 검출할 수 있는 수준까지 접근하여 발생된 입력 신호로 지칭될 수 있다. In the present invention, 'hovering' is defined as an input signal generated by approaching the touch input mechanism within a predetermined distance from the touch screen. For example, hovering may be referred to as an input signal generated by approaching a level at which the user equipment can detect the position of the touch input mechanism.

본 발명에서 '제스처'는 사용자의 입력 동작을 의미하며, 멀티 호버링 제스처와, 핸드 제스처로 구별될 수 있다. 여기서, '멀티 호버링 제스처'는 터치스크린으로부터 전달된 호버링을 통해 인식된 사용자의 동작을 의미하며, 호버링 기반의 손가락 제스처에 해당될 수 있다. '핸드 제스처'는 카메라로부터 수집된 영상으로부터 인식되는 핸드 이미지를 통해 인식되는 핸드 동작(motion)을 의미하며, 카메라 기반으로 손 제스처에 해당될 수 있다. In the present invention, 'gesture' means a user's input operation, and can be distinguished as a multi-hovering gesture and a hand gesture. Here, the 'multi-hovering gesture' refers to a user's operation recognized through hovering transmitted from the touch screen, and may correspond to a hovering-based finger gesture. A 'hand gesture' refers to a hand motion recognized through a hand image recognized from an image collected from a camera, and may correspond to a hand gesture based on a camera.

본 발명에 따른 방법 및 장치는 휴대 단말기에 적용될 수 있다. 이러한 휴대 단말기는 휴대폰, 스마트폰, 태블릿 PC, 핸드헬드(hand-held) PC, PMP(Portable Multimedia Player), PDA(Personal Digital Assistant) 등이 될 수 있음은 자명하다. 이하 설명에서는 본 발명에 따른 사용자 기기의 오브젝트 운용 방법 및 장치가 휴대 단말기에 적용되는 것으로 가정하여 설명한다.The method and apparatus according to the present invention can be applied to a portable terminal. It is obvious that such a mobile terminal can be a mobile phone, a smart phone, a tablet PC, a hand-held PC, a portable multimedia player (PMP), a personal digital assistant (PDA) In the following description, it is assumed that a method and an apparatus for operating an object of a user equipment according to the present invention are applied to a mobile terminal.

도 1은 본 발명의 실시예에 따른 휴대 단말기를 설명하기 위해 나타내 보인 블록도이다. 1 is a block diagram illustrating a portable terminal according to an embodiment of the present invention.

도 1을 참조하면, 본 발명에 따른 단말기(100)는 표시부(110), 입력부(120), 무선 통신부(130), 오디오 처리부(140), 카메라(150), 센서부(160), GPS 수신부(170), 저장부(180) 및 제어부(190)를 포함하여 이루어질 수 있다. Referring to FIG. 1, a terminal 100 according to the present invention includes a display unit 110, an input unit 120, a wireless communication unit 130, an audio processing unit 140, a camera 150, a sensor unit 160, A memory unit 170, a storage unit 180, and a control unit 190.

표시부(110)는 단말기(110)의 운용 과정에 필요한 다양한 기능 화면을 표시한다. 표시부(110)는 제어부(190)의 제어 하에, 제어부(190)로부터 입력받은 영상 데이터를 아날로그 신호로 변환하여 표시한다. 표시부(110)는 단말기의 운용에 따른 화면 예를 들면, 잠금 화면, 홈 화면, 어플리케이션(이하, 앱(APP)이라 한다) 실행 화면, 메뉴 화면, 키패드 화면, 메시지 작성 화면, 인터넷 화면 등을 제공할 수 있다. The display unit 110 displays various function screens required for the operation of the terminal 110. Under the control of the control unit 190, the display unit 110 converts the image data received from the control unit 190 into analog signals and displays them. The display unit 110 provides a screen according to the operation of the terminal, for example, a lock screen, a home screen, an application (hereinafter referred to as APP) execution screen, a menu screen, a keypad screen, can do.

본 발명에서 표시부(110)는 사용자의 멀티 호버링 제스처에 따라 표시부(110)에 출력된 오브젝트의 그래픽을 다르게 처리하여 출력하는 기능을 지원한다. 예컨대, 표시부(110)는 멀티 호버링 기반의 그랩 제스처가 검출되는 경우, 표시부에 표시된 화면 또는 오브젝트의 크기 사이즈가 축소되는 그래픽 효과를 출력할 수 있다. 이 경우, 표시부(110)는 제어부(190)의 제어 하에, 사용자의 핸드와 화면 사이의 이격 간격 즉, 깊이(depth)에 따라 오브젝트의 표시 사이즈(size)를 축소하거나 확대하는 그래픽 효과를 제공하도록 지원한다. 또한, 표시부(110)는 멀티 호버링 기반의 릴리즈 제스처가 검출되는 경우, 표시부(110)에 출력되는 오브젝트의 크기 사이즈가 확대되는 그래픽 효과를 출력할 수 있다. 이 경우, 표시부(110)에 출력되는 오브젝트는 타 단말기로부터 수신되는 오브젝트 파일이 해당될 수 있다. 또한, 표시부(110)는 타 단말기로부터 수신된 데이터 전송량에 따라 표시부에 출력된 화면의 크기를 점점 확대하는 그래픽 효과를 제공하도록 지원한다. In the present invention, the display unit 110 supports a function of processing graphics of an object output to the display unit 110 differently according to a user's multi-hovering gesture and outputting the graphics. For example, when a multi-hovering based grab gesture is detected, the display unit 110 may output a graphical effect in which the size of the screen or object displayed on the display unit is reduced. In this case, under the control of the controller 190, the display unit 110 provides a graphical effect of reducing or enlarging the display size of the object according to the distance between the user's hand and the screen, that is, the depth Support. In addition, when a multi-hovering based release gesture is detected, the display unit 110 may output a graphical effect in which the size of the object output to the display unit 110 is enlarged. In this case, the object output to the display unit 110 may correspond to an object file received from another terminal. The display unit 110 also provides a graphical effect for increasing the size of the screen output to the display unit according to the amount of data received from another terminal.

표시부(110)는 액정 표시 장치 (Liquid Crystal Display : LCD), OLED(Organic Light Emitted Diode), AMOLED(Active Matrix Organic Light Emitted Diode), 플렉서블 디스플레이, 투명 디스플레이 등의 형태로 형성될 수 있다. The display unit 110 may be formed in the form of a liquid crystal display (LCD), an organic light emitting diode (OLED), an active matrix organic light emitting diode (AMOLED), a flexible display,

표시부(110)는 단말기 운용에 따라 다양한 화면을 제공하는 표시 패널과, 표시 패널의 전면 또는 후면에 터치 이벤트 생성을 지원하는 터치 패널을 포함할 수 있다. 예컨대, 터치 패널은 표시부에 안착(Place on)된다. 터치 패널은 표시부(110) 전면에 위치하는 애드 온 타입(add-on type)이나 표시부(110) 내에 삽입되는 온 셀 타입(on-cell type) 또는 인 셀 타입(in-cell type)으로 구현될 수 있다. 터치 패널은 저항막 방식(resistive type), 정전용량 방식(capacitive type) 및 전자유도 방식(electromagnetic induction type) 등이 적용될 수 있다. 표시부(110)는 단말기(100)의 회전 방향(또는 놓인 방향)에 따른 앱 실행 정보, 가로 모드와 세로 모드 간의 변화에 따른 적응적 화면 전환 표시를 지원할 수 있다.The display unit 110 may include a display panel that provides various screens according to the operation of the terminal, and a touch panel that supports creation of a touch event on the front or rear of the display panel. For example, the touch panel is placed on the display unit. The touch panel may be implemented as an add-on type located on the front of the display unit 110 or an on-cell type or an in-cell type inserted into the display unit 110 . The touch panel may be a resistive type, a capacitive type, or an electromagnetic induction type. The display unit 110 may support the application execution information according to the rotation direction (or the set direction) of the terminal 100, and the adaptive screen switching display according to the change between the horizontal mode and the vertical mode.

입력부(120)는 단말기(110) 운용에 필요한 다양한 입력 신호를 생성한다. 입력부(110)는 숫자 또는 문자 정보를 입력받고, 각종 기능들을 설정하기 위한 다수의 입력 키 및 기능키들 예컨대, 사이드 키, 단축 키 및 홈 키 등을 포함할 수 있다. 입력부(120)는 사용자 설정 및 사용자 기기의 기능 제어와 관련된 키 신호를 생성하여 제어부(190)로 전달한다. 제어부(190)는 이러한 키 신호에 응답하여 해당 입력 신호에 따른 기능들을 제어한다. 입력부(120)는 단말기(100)의 터치 패널이 풀 터치스크린형태로 지원된 경우, 가상 터치 패드로 제공될 수 있다.The input unit 120 generates various input signals required for the operation of the terminal 110. The input unit 110 may include a plurality of input keys and function keys, such as a side key, a shortcut key, and a home key, for receiving numeric or character information and setting various functions. The input unit 120 generates a key signal related to the user setting and the function control of the user equipment and transmits the key signal to the control unit 190. The controller 190 controls the functions corresponding to the input signals in response to the key signals. The input unit 120 may be provided as a virtual touch pad when the touch panel of the terminal 100 is supported in the form of a full touch screen.

또한, 표시부(110)에 터치 패널을 포함하는 경우, 표시부(110)는 입력부(120)로서 동작할 수 있다. 이 경우, 단말기 운용을 위한 입력 신호는 터치 패널을 통해 생성될 수 있다. 터치 패널은 터치 입력 기구(예, 사용자의 핸드, 터치 펜 등)에 의한 입력 이벤트 생성을 지원한다. 특히, 터치 패널이 정전용량 방식으로 구성되는 경우, 터치 패널은 터치 입력 기구와의 화면 사이의 이격 거리에 따른 정전용량 변화를 감지하고, 정전용량 값의 크기에 따라 사용자의 동작을 구분할 수 있도록 지원한다. 또한. 터치 입력기구와 화면 사이의 이격거리는 거리 측정 센서 예를 들어 적외선 센서를 통해 이격거리 즉, 깊이 값을 측정할 수도 있다. 본 발명에서 입력부(120)는 사용자의 입력 조작에 응답하여 터치, 멀티 터치, 싱글 호버링 및 멀티 호버링 중 적어도 하나의 입력 이벤트 생성을 지원한다. In addition, when the display unit 110 includes a touch panel, the display unit 110 can operate as the input unit 120. [ In this case, an input signal for terminal operation can be generated through the touch panel. The touch panel supports the generation of an input event by a touch input mechanism (e.g., a user's hand, a touch pen, etc.). Particularly, when the touch panel is constituted by the electrostatic capacity type, the touch panel senses the capacitance change according to the separation distance between the screen and the touch input mechanism, and discriminates the operation of the user according to the capacitance value do. Also. The distance between the touch input device and the screen can be measured by a distance measuring sensor, for example, an infrared ray sensor, or a depth value. In the present invention, the input unit 120 supports creation of at least one input event of touch, multi-touch, single hovering, and multi-hovering in response to a user's input operation.

무선 통신부(130)는 단말기의 통신을 수행한다. 무선 통신부(130)는 지원 가능한 이동 통신 네트워크와 통신 채널을 형성하여 음성 통신, 화상 통신 및 데이터 통신과 같은 통신을 수행한다. 무선 통신부(130)는 송신되는 신호의 주파수를 저잡음 증폭 및 하강 변환하는 무선주파수 수신부 등을 포함할 수 있다. 또한, 무선 통신부(130)는 이동 통신 모듈(예컨대, 3세대(3-Generation) 이동통신모듈, 3.5 세대(3.5-Generation) 이동통신모듈 또는 4세대(4-Generation) 이동통신모듈 등), 및 디지털 방송 모듈(예컨대, DMB 모듈) 및 근거리 통신 모듈을 포함할 수 있다. 여기서, 근거리 통신 모듈은 와이 파이 모듈, 블루투스 모듈, 와이파이 다이렉트 모듈 중 적어도 하나를 포함할 수 있다. 본 발명에서 근거리 통신 모듈은 타 단말기와 통신 채널을 형성하여 제어부(190)의 제어 하에, 특정 오브젝트의 파일 또는 데이터를 송수신하는 기능을 지원한다. The wireless communication unit 130 performs communication of the terminal. The wireless communication unit 130 forms a communication channel with a supportable mobile communication network to perform communication such as voice communication, video communication, and data communication. The wireless communication unit 130 may include a radio frequency receiver for low-noise amplification and down-conversion of the frequency of the transmitted signal. The wireless communication unit 130 may include a mobile communication module (e.g., a 3-generation mobile communication module, a 3.5-generation mobile communication module or a 4-generation mobile communication module) A digital broadcasting module (e.g., a DMB module), and a short-range communication module. Here, the short-range communication module may include at least one of a Wi-Fi module, a Bluetooth module, and a Wi-Fi direct module. In the present invention, the short-range communication module forms a communication channel with another terminal and supports a function of transmitting or receiving a file or data of a specific object under the control of the controller 190.

본 발명에서 단말기(100)는 액세스 포인트(AP: access point)로 사용되는 기능을 지원할 수도 있다. 단말기(100)가 액세스 포인트로 사용되는 경우, 단말기(100)는 해당 단말기(100)를 액세스 포인트로 이용하는 타 단말기와 직접 파일을 송수신할 수 있다. 또는 단말기(100)가 특정 액세스 포인트에 접속된 경우, 특정 액세스 포인트에 연결된 타 단말기와 파일을 송수신하는 경우, 특정 액세스 포인트를 통해 파일을 송수신할 수 있다. In the present invention, the terminal 100 may support a function used as an access point (AP). When the terminal 100 is used as an access point, the terminal 100 can directly transmit / receive a file to / from another terminal using the terminal 100 as an access point. Or when the terminal 100 is connected to a specific access point, when the terminal 100 transmits / receives a file to / from another terminal connected to the specific access point, the terminal 100 can transmit / receive the file through the specific access point.

오디오 처리부(140)는 오디오 처리부(140)는 단말기(100)에서 생성된 또는 복호된 오디오 신호 출력을 지원하는 스피커(SPK)와 음성 통화나 영상 통화, 녹음 기능 등을 지원하기 위해 오디오 신호를 수집하는 마이크(MIC)를 포함할 수 있다. 오디오 처리부(140)는 제어부(160)로부터 입력받은 음성 등의 오디오 데이터를 DA(Digital to Analog) 변환하여 스피커(SPK)로 전송하고, 마이크(MIC)로부터 입력받은 음성 등의 오디오 데이터를 AD(Analog to Digital) 변환하여 제어부(160)로 전달한다. 오디오 처리부(150)는 코덱(codec; coder/decoder)으로 구성될 수 있으며, 코덱은 패킷 데이터 등을 처리하는 데이터 코덱과 음성 등의 오디오 신호를 처리하는 오디오 코덱을 구비할 수 있다. 오디오 처리부(140)는 수신되는 디지털 오디오신호를 오디오 코덱을 통해 아날로그 신호로 변환하여 스피커를 통해 재생한다. 오디오 처리부(150)는 마이크로부터 입력되는 아날로그 오디오 신호를 오디오 코덱을 통해 디지털 오디오신호로 변환하여 제어부(190)로 전달한다. The audio processing unit 140 receives the audio signal to support a voice call, a video call, and a recording function with a speaker (SPK) supporting the output of the audio signal generated or decoded by the terminal 100 And a microphone (MIC). The audio processing unit 140 converts DA (digital to analog) audio data, such as voice, input from the control unit 160 and transmits the audio data to the speaker SPK and audio data such as voice inputted from the microphone MIC to the AD Analog to digital) and transmits the converted signal to the controller 160. The audio processor 150 may include a codec (codec), and the codec may include a data codec for processing packet data and an audio codec for processing audio signals such as voice. The audio processor 140 converts the received digital audio signal into an analog signal through an audio codec and reproduces the analog signal through a speaker. The audio processing unit 150 converts an analog audio signal input from a microphone into a digital audio signal through an audio codec and transmits the digital audio signal to the controller 190.

카메라(150)는 촬영을 통하여 영상을 수집하는 기능을 지원한다. 카메라(150)는 입력된 광 신호를 전기적 신호로 변환하는 카메라 센서와, 카메라 센서로부터 촬영되는 아날로그 영상 신호를 디지털 데이터로 변환하는 영상처리 장치(Image Signal Processor) 및 영상처리 장치에서 출력되는 디지털 데이터를 터치스크린에 표시하기 위해 비디오 신호를 영상 처리(예, 크기 조정(scaling), 잡음 제거, RCG 신호 변환 등) 하는 신호처리장치(Digital Signal Processor) 등을 포함할 수 있다. 여기서, 카메라 센서는 CCD(Charge-coupled Device) 센서 또는 CMOS(Complementary Metal-Oxide Semiconductor) 센서 등이 사용될 수 있고, 신호 처리장치는 구성이 생략되고, DSP로 구현될 수도 있다. The camera 150 supports a function of collecting images through photographing. The camera 150 includes a camera sensor that converts an input optical signal into an electrical signal, an image signal processor that converts an analog image signal photographed by the camera sensor into digital data, A digital signal processor for image processing (e.g., scaling, noise cancellation, RCG signal conversion, etc.) of a video signal to display the video signal on a touch screen. Here, the camera sensor may be a charge-coupled device (CCD) sensor, a complementary metal-oxide semiconductor (CMOS) sensor, or the like, and the signal processing device may be omitted from the configuration and implemented as a DSP.

본 발명에서 카메라(150)는 사용자 제스처를 인식하기 위한 센서 기능을 지원한다. 카메라(150)는 제어부(190)의 제어 하에, 백그라운드(background) 기능으로 활성화될 수 있다. 예컨대, 카메라(150)는 제어부(190)의 제어 하에, 특정 앱이 실행된 상태에서 렌즈를 통해 수집되는 영상을 제어부(190)로 전달할 수 있다. In the present invention, the camera 150 supports a sensor function for recognizing a user gesture. The camera 150 can be activated with a background function under the control of the control unit 190. [ For example, under the control of the control unit 190, the camera 150 may transmit an image collected through the lens to the control unit 190 in a state where a specific application is executed.

센서부(160)는 사용자 기기(100)를 기반으로 이루어지는 사용자의 입력 정보 및 주변 환경 변화를 감지하고, 그에 따른 정보를 제어부(190)로 전달하는 기능을 지원한다. 본 발명에서 센서부(160)는, 터치 입력을 인식할 수 있는 터치 센서, 터치 입력 기구의 접근을 감지하는 근접 센서, 터치 입력 기구와 기기 사이의 거리를 측정할 수 있는 거리 측정 센서, 영상이미지 수집할 수 있는 이미지 센서, 3차원 공간의 동작 및 움직임을 인식할 수 있는 동작 인식 센서, 방향 등을 감지할 수 있는 방향 센서, 및 이동 속도를 검출할 수 있는 가속도 센서 중 적어도 하나를 포함할 수 있다. The sensor unit 160 detects a change in the user's input information and the surrounding environment based on the user device 100, and transmits the information to the controller 190. In the present invention, the sensor unit 160 includes a touch sensor that can recognize a touch input, a proximity sensor that detects approach of the touch input mechanism, a distance measurement sensor that can measure a distance between the touch input mechanism and the device, An image sensor capable of collecting, a motion recognition sensor capable of recognizing motion and motion of a three-dimensional space, a direction sensor capable of sensing a direction and the like, and an acceleration sensor capable of detecting a moving speed have.

GPS(Global Positioning System) 수신부(170)는 제어부(190)의 제어 하에, GPS 위성으로부터 GPS 위성 신호를 수신하여 제어부(190)로 전달하는 기능을 지원한다. GPS 수신부(160)는 수신신호에 따라 GPS 위성과 접속하여 GPS 위성 신호를 수신받는다. GPS 수신부(170)는 수신된 GPS 위성 신호를 제어부(170)로 전달한다. 제어부(190)는 GPS 위성 신호를 이용하여 현재 위치한 휴대 단말기의 위치 정보를 계산한다. The GPS (Global Positioning System) receiving unit 170 supports a function of receiving a GPS satellite signal from a GPS satellite and transmitting the GPS satellite signal to the controller 190 under the control of the controller 190. The GPS receiving unit 160 connects to the GPS satellite according to the received signal and receives the GPS satellite signal. The GPS receiver 170 transmits the received GPS satellite signal to the controller 170. The control unit 190 calculates the location information of the portable terminal currently positioned using the GPS satellite signal.

본 발명에서 GPS 수신부(170)는 타 단말기와 통신 연결하는 수단으로 이용될 수 있다. 예컨대, 제어부(190)는 멀티 호버링 제스처가 검출되면, GPS 수신부(170)를 통해 사용자 기기의 GPS 정보를 GPS서버로 전송한다. 제어부(190)는 기 정의된 시간 이내에 GPS 서버로부터 타 단말기의 GPS 좌표 정보가 수신되면, 해당 서버로부터 파일을 수신받을 수 있다. In the present invention, the GPS receiver 170 may be used as a means for communicating with other terminals. For example, when the multi-hovering gesture is detected, the controller 190 transmits the GPS information of the user device to the GPS server through the GPS receiver 170. The controller 190 can receive a file from the server when the GPS coordinate information of the other terminal is received from the GPS server within a predetermined time.

저장부(180)는 단말기(100)의 운영체제(OS; Operating System) 및 다양한 어플리케이션(이하, 앱)을 비롯하여, 휴대 단말에서 생성되는 다양한 데이터 등을 저장한다. 데이터는 단말기의 어플리케이션 (이하, 앱) 실행에 발생하는 데이터 및 단말기를 이용하여 생성하거나 외부(예컨대, 외부 서버, 다른 휴대 단말, 개인용 컴퓨터)로부터 수신하여 저장 가능한 모든 형태의 데이터들을 포함할 수 있다. 저장부(180)는 단말기에서 제공되는 사용자 인터페이스 및 기능 처리에 대한 다양한 설정 정보를 저장할 수 있다. The storage unit 180 stores various data such as an operating system (OS) and various applications (hereinafter, referred to as apps) of the terminal 100, as well as various data generated in the portable terminal. The data may include data generated in the execution of an application of a terminal (hereinafter, referred to as an application) and generated by using a terminal or may include all types of data that can be received and stored from an external (e.g., an external server, another portable terminal, a personal computer) . The storage unit 180 may store various setting information about the user interface and the function processing provided in the terminal.

본 발명에서 저장부(180)는 사용자의 제스처를 결정하는 제스처 인식 프로그램을 포함할 수 있다. 제스처 인식 프로그램은 호버링 기반의 멀티 호버링 제스처와 카메라 기반의 핸드 제스처를 인식하는 기능을 지원한다. 제스처 인식 프로그램은 카메라로부터 수집된 영상으로부터 핸드 영역을 분리하고, 핸드 형태를 인식하는 기능을 지원한다. 또한, 제스처 인식 프로그램은 수집된 영상에서 사용자의 핸드 모양이 특정 상태 및 동작으로 변화되는 경우, 해당 동작 상태 및 동작과 매칭되는 제스처를 판별하는 기능을 지원한다. In the present invention, the storage unit 180 may include a gesture recognition program for determining a gesture of a user. The gesture recognition program supports hovering based multi-hovering gestures and camera-based hand gesture recognition. The gesture recognition program separates the hand area from the image collected from the camera and supports the recognition of the hand shape. In addition, the gesture recognition program supports a function of determining a gesture matched with a corresponding operation state and an operation when a shape of a user's hand changes to a specific state and operation in the collected image.

본 발명에서 저장부(180)는 사람이 손을 이용해 동작할 수 있는 다양한 핸드 제스처에 대한 정보 예컨대, 손가락의 배치 형태, 손가락의 위치 정보, 핸드의 동작 모양, 핸드 형태 등의 정보를 저장할 수 있다. 또한, 저장부(180)는 사용자의 제스처에 대응하여 기 설정된 명령(command) 정보를 포함할 수 있다. 사용자 제스처에 대응하는 명령은 제조 시에 정의될 수 있으나, 사용자 편의에 따라 설정이 가능하다. In the present invention, the storage unit 180 may store information on various hand gestures that a person can operate using his or her hand, such as arrangement of fingers, position information of fingers, movement patterns of hands, and hand shapes . In addition, the storage unit 180 may include predetermined command information corresponding to the gesture of the user. The command corresponding to the user gesture can be defined at the time of manufacture, but can be set according to user convenience.

제어부(190)는 사용자 기기의 전반적인 동작 및 사용자 기기의 내부 구성들 간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(190)는 배터리에서 내부 구성들로의 전원 공급을 제어한다. 제어부(190)는 전원이 공급되면, 사용자 기기의 부팅 과정을 제어하고, 사용자의 설정에 따라 사용자 기기의 기능 실행을 위해 프로그램 영역에 저장된 각종 응용 프로그램을 실행한다. The control unit 190 controls the overall operation of the user equipment and the signal flow between the internal components of the user equipment and performs a function of processing data. The control unit 190 controls the power supply from the battery to the internal structures. When the power is supplied, the controller 190 controls the booting process of the user equipment and executes various application programs stored in the program area in order to execute functions of the user equipment according to the setting of the user.

본 발명에서 제어부(190)는 터치스크린으로부터 수신되는 입력 이벤트를 수신하여 입력 이벤트에 따른 사용자 제스처를 구분하는 기능을 지원한다. 제어부(190)는 터치 입력 기구의 접근을 감지하고, 터치 입력 기구와 터치스크린 사이의 이격 간격을 계산한다. 여기서, 터치 입력 기구는 터치 펜이나 사용자의 핸드일 수 있으나, 본 발명에서는 터치 입력기구가 사용자의 핸드인 경우로 가정하여 설명한다. In the present invention, the controller 190 receives an input event received from the touch screen and supports a function of identifying a user gesture according to an input event. The controller 190 senses the approach of the touch input mechanism and calculates the spacing between the touch input mechanism and the touch screen. Here, the touch input mechanism may be a touch pen or a user's hand. In the present invention, it is assumed that the touch input mechanism is a user's hand.

제어부(190)는 둘 사이의 이격 간격이 기 정의된 이격 거리 이내인 경우, 호버링을 검출할 수 있다. 특히, 본 발명에서 제어부는 싱글 호버링과 멀티 호버링을 검출할 수 있다. 싱글 호버링은 터치 입력 기구로부터 하나의 호버링 영역이 검출되는 경우로 정의된다. 멀티 호버링은 터치 입력 기구로부터 둘 이상의 호버링 영역이 검출되는 경우로 정의된다. The control unit 190 can detect hovering if the spacing between the two is within a predefined separation distance. In particular, in the present invention, the control unit can detect the single hovering and the multi-hovering. Single hovering is defined as when one hovering region is detected from the touch input mechanism. Multi-hovering is defined as when more than one hovering region is detected from the touch input mechanism.

제어부(190)는 멀티 호버링 영역들의 위치 정보를 기반으로 호버링 영역의 움직임을 계산하고, 움직임을 기반으로 사용자의 멀티 호버링 제스처를 결정할 수 있다. 여기서, 위치 정보는 호버링 영역의 좌표 정보를 포함할 수 있다. 예컨대, 제어부(190)는 멀티 호버링이 검출된 최초의 영역들을 기준으로 중심점을 계산하고, 호버링 영역들이 중심점에 가까이 접근하는 경우, 호버링 기반의 그랩 제스처(grab gesture)가 발생됐다고 결정할 수 있다. 또한, 제어부(190)는 멀티 호버링이 검출된 최초의 영역들을 기준으로 호버링 영역들이 서로 멀어진 경우, 호버링 기반의 릴리즈 제스처(release gesture)가 발생됐다고 결정할 수 있다. 또한, 제어부(190)는 제스처 인식 프로그램을 이용하여 카메라를 통해 수집된 영상으로부터 핸드 영역을 분리하고, 핸드 영역으로부터 추출된 이미지를 통해 핸드 형태를 계산한다. 제어부(190)는 계산된 손의 형태가 변경되는 경우, 패턴 매칭을 통해 카메라 기반의 핸드 제스처를 결정할 수 있다. The control unit 190 may calculate the movement of the hovering region based on the position information of the multi-hovering regions, and may determine the user's multi-hovering gesture based on the movement. Here, the position information may include coordinate information of the hovering region. For example, the control unit 190 may calculate a center point based on the first regions where multi-hovering is detected, and determine that a hovering based grab gesture has occurred when the hovering regions approach the center point. In addition, the control unit 190 may determine that a hovering-based release gesture occurs when the hovering regions are distant from each other based on the first regions in which the multi-hovering is detected. In addition, the control unit 190 separates the hand region from the image collected through the camera using the gesture recognition program, and calculates the hand shape through the image extracted from the hand region. The control unit 190 can determine a camera-based hand gesture through pattern matching when the calculated hand shape is changed.

제어부(190)는 사용자의 제스처 예컨대, 멀티 호버링 제스처 또는 핸드 제스처가 검출되면, 해당 제스처에 대응하여 수행 가능한 기능 또는 기 정의된 명령에 따른 기능을 실행하고, 그의 실행 화면을 표시부(110)에 출력한다. When a user's gesture, such as a multi-hovering gesture or a hand gesture, is detected, the control unit 190 executes a function corresponding to the gesture or a function corresponding to a predefined command, and outputs an execution screen thereof to the display unit 110 do.

제어부의 구체적인 기능은 다음의 도 2를 참조하여 상세하게 설명하고자 한다. The specific functions of the control unit will be described in detail with reference to FIG.

도 2는 본 발명의 실시예에 따른 사용자 기기의 오브젝트 운용 방법을 설명하기 위한 흐름도이다. 2 is a flowchart illustrating a method of operating an object of a user equipment according to an embodiment of the present invention.

도 2를 참조하면, 단계 210에서 단말기(100)는 사용자 입력 또는 기 정의된 스케쥴에 따라 표시부(110) 화면에 적어도 하나의 오브젝트를 표시한다. 여기서, 오브젝트는 사용자 기기에서 제공되는 디지털화된 정보에 대응하여 화면에 출력되는 객체를 의미한다. 오브젝트는 표시부(110)에 출력된 아이콘, 썸네일 등으로 해석될 수 있다. 본 발명에서 오브젝트는 그에 대응하는 데이터 파일, 예컨대, 텍스트 파일, 음성 파일, 영상 파일, 이미지 파일, URL 정보 파일을 포함하는 것의 정의될 수 있다. Referring to FIG. 2, in step 210, the terminal 100 displays at least one object on the screen of the display unit 110 according to a user input or a predefined schedule. Here, the object refers to an object output on the screen in correspondence with the digitized information provided by the user equipment. The object may be interpreted as an icon, a thumbnail, or the like output to the display unit 110. In the present invention, an object can be defined to include a corresponding data file, for example, a text file, a voice file, a video file, an image file, and a URL information file.

이 경우, 단말기의 운영 모드는 호버링 인식 모드로 운용 중일 수 있다. 호버링 인식 모드는 호버링 인식 기능이 지원되는 특정 앱이 실행된 상태이거나, 호버링 인식 기능이 실행된 상태일 수 있다. 본 발명에서 호버링 인식 기능은 표시부에 특정 컨텐츠가 풀 모드로 출력된 상태, 또는 사용자 입력에 따라 복수의 오브젝트가 선택된 상태에서 호버링을 인식할 수 있으나, 이에 한정하는 것은 아니다. In this case, the operating mode of the terminal may be operating in the hovering recognition mode. The hovering recognition mode may be a state in which a specific application supporting hover recognition is activated or a hover recognition function is activated. In the present invention, the hovering recognition function can recognize hovering while a specific content is displayed in a full mode on a display unit or a plurality of objects are selected according to a user input, but the present invention is not limited thereto.

단계 220에서 단말기(100)는 기 정의된 이격 거리 이내에서 멀티 호버링을 검출한다. 예컨대, 단말기(100)는 단말기로 접근하는 인체 예컨대, 사용자의 핸드로부터 변화되는 정전용량값을 측정한다. 단말기(100)는 적어도 둘 이상의 영역에서 정전용량값의 변화를 검출할 수 있다. 단말기(100)는 측정된 변화량을 기반으로 사용자의 핸드와 화면 간의 이격 거리를 계산한다. 단말기(100)는 사용자의 핸드와 화면 사이의 이격 거리가 기 정해진 이격 거리(예, 3cm) 이내로 접근하는 경우, 호버링을 검출할 수 있다. 단말기(100)는 호버링이 검출되면, 검출된 호버링의 위치 정보를 측정할 수 있다. In step 220, the terminal 100 detects multi-hovering within a predefined separation distance. For example, the terminal 100 measures a capacitance value that changes from a human body, such as a user's hand, which is approaching the terminal. The terminal 100 may detect a change in the capacitance value in at least two areas. The terminal 100 calculates a distance between the user's hand and the screen based on the measured change amount. The terminal 100 can detect hovering when the distance between the user's hand and the screen approaches within a predetermined distance (e.g., 3 cm). When the hovering is detected, the terminal 100 can measure the position information of the detected hovering.

이때, 단말기(100)는 둘 이상의 영역에서 호버링이 검출되는 경우, 멀티 호버링으로 결정할 수 있다. 즉, 단말기(100)는 둘 이상의 위치에서 터치 입력 기구들(예, 복 수의 손가락)이 제1 이격 거리 이내에서 검출되는 경우, 둘 이상의 영역에서 검출된 호버링을 유효 데이터로 인식할 수 있다. At this time, if the hovering is detected in two or more areas, the terminal 100 can determine the multi-hovering. That is, when the touch input devices (e.g., multiple fingers) are detected within a first separation distance at two or more positions, the terminal 100 can recognize hovering detected in two or more areas as valid data.

단계 230에서 단말기(100)는 기 정해진 시간 이내에 발생되는 멀티 호버링의 움직임을 기반으로 그랩(grab) 제스처가 발생됐는지 여부를 결정한다. 단말기(100)는 최초로 검출된 호버링 영역들을 기준으로 사용자의 제스처에 따른 호버링의 방향, 거리, 빠르기 등을 결정할 수 있다. In step 230, the terminal 100 determines whether a grab gesture has occurred based on the movement of the multi-hovering occurring within a predetermined time. The terminal 100 may determine the direction, distance, and speed of hovering according to the user's gesture based on the hovering regions detected for the first time.

구체적으로, 단말기(100)는 멀티 호버링의 움직인 방향 및 거리를 이용하여 위치 벡터를 산출하고, 산출된 위치 벡터들을 이용하여 그랩 제스처가 발생됐는지 여부를 결정할 수 있다. 단말기(100)는 둘 이상의 호버링 영역들로부터 중심점을 결정하고, 호버링 움직임이 중심점을 기준으로 가까워지는지는 경우, 그랩 제스처가 발생됐다고 결정할 수 있다. 또한, 제어부(190)는 둘 이상의 호버링 영역들을 포함하는 외곽 테두리를 결정하고, 호버링의 움직임이 외곽 테두리 안쪽으로 변경된 경우, 그랩 제스처가 발생됐다고 결정할 수 있다. Specifically, the terminal 100 may calculate the position vector using the moving direction and the distance of the multi-hovering, and may determine whether the grab gesture is generated using the calculated position vectors. The terminal 100 may determine a center point from two or more hovering regions and determine that a grab gesture has occurred if the hovering motion is approaching a center point. In addition, the controller 190 may determine an outline border that includes two or more hovering areas, and may determine that a grab gesture has occurred if the hovering movement has changed inside the outline border.

단계 240에서 단말기(100)는 호버링 기반의 그랩 제스처가 발생됐다고 결정되면, 표시부(110)에 표시된 오브젝트를 특정 기능을 실행하기 위한 선택 오브젝트로 결정한다. 이 경우, 단말기(100)는 표시부(110)에 출력된 하나의 오브젝트를 선택 오브젝트로 결정할 수 있으나, 사용자 입력에 따라 미리 선택된 오브젝트들의 선택 결정을 유지할 수도 있다. If it is determined in step 240 that the hovering-based grab gesture is generated, the terminal 100 determines the object displayed on the display unit 110 as a selection object for executing a specific function. In this case, the terminal 100 may determine one object output to the display unit 110 as a selection object, but may maintain the selection decision of the objects selected in advance according to the user input.

단말기(100)는 그랩 제스처에 의해 선택된 오브젝트에 대한 시각적 피드백 효과를 출력할 수 있다. 예를 들어, 단말기(100)는 그랩 제스처에 대응하여 사용자가 실질적으로 물건을 들어 올리는 것과 같은 그래픽 효과를 제공할 수 있다. The terminal 100 may output a visual feedback effect on the object selected by the grab gesture. For example, the terminal 100 may provide a graphical effect such that the user substantially lifts the object in response to the grab gesture.

단계 250에서 단말기(100)는 선택 오브젝트가 결정되면, 카메라(150)를 활성화시킨다. 여기서, 카메라(150)는 단말이 전면에 장착되는 전면 카메라일 수 있다. 이때, 카메라(150)는 사용자의 핸드를 인식할 수 있는 센서 기능으로 이용되며, 백그라운드로 실행될 수 있다. In step 250, the terminal 100 activates the camera 150 when the selected object is determined. Here, the camera 150 may be a front camera mounted on the front side of the terminal. At this time, the camera 150 is used as a sensor function for recognizing a user's hand, and can be executed in the background.

단계 260에서 단말기(100)는 카메라(150)로부터 영상을 수집하여 사용자의 핸드를 인식한다. 예를 들어, 단말기(100)는 카메라로부터 획득되는 영상에서 색상 정보를 이용하여 배경을 제외하고, 핸드 영역을 분리할 수 있다. 단말기(100)는 분리된 핸드 영역으로부터 핸드의 특징점을 추출하고 핸드의 형태를 계산할 수 있다. 단말기(100)는 계산된 핸드의 형태 정보를 이용하여 핸드 모양과 동작을 인식할 수 있다. 단말기(100)는 핸드 모양과 동작을 기반으로 패턴 매칭(pattern matching)을 수행하여 핸드 제스처를 검출할 수 있다. In step 260, the terminal 100 collects images from the camera 150 and recognizes the user's hand. For example, the terminal 100 may separate the hand region except for the background using the color information in the image obtained from the camera. The terminal 100 can extract the feature points of the hand from the separated hand region and calculate the shape of the hand. The terminal 100 can recognize the hand shape and the operation using the calculated hand shape information. The terminal 100 may detect the hand gesture by performing pattern matching based on the hand shape and the motion.

단계 270에서 단말기(100)는 카메라(150) 시야각 내에서 사용자의 핸드가 사라졌는지 여부를 결정한다. 단말기(100)는 색상 정보를 통해 영상으로부터 핸드 영역을 분리할 수 없는 경우, 카메라 시야각 내에서 사용자의 핸드가 사라졌다고 결정할 수 있다. In step 270, the terminal 100 determines whether the user's hand has disappeared within the viewing angle of the camera 150. [ If the handset 100 can not separate the hand area from the image through the color information, the terminal 100 can determine that the user's hand has disappeared within the camera viewing angle.

단계 275에서 단말기(100)는 카메라 시야각 내에서 사용자의 핸드가 사라졌다고 결정되면, 선택된 오브젝트를 파일 전송 대기 상태로 변경한다. 이 경우, 단말기(100)는 타 단말기와의 통신 채널을 형성하여 타 단말기로 전송 대기 신호를 전송하거나, 통신 채널이 기 설정된 경우, 타 단말기로 전송 대기 신호를 전송할 수 있다. 파일 전송 대기에 대한 구체적인 설명은 도 6을 기반으로 상세히 설명하고자 한다. In step 275, if the terminal 100 determines that the user's hand has disappeared within the viewing angle of the camera, it changes the selected object to the file transfer standby state. In this case, the terminal 100 may establish a communication channel with another terminal to transmit a transmission wait signal to another terminal, or may transmit a transmission wait signal to another terminal when the communication channel is preset. A specific description of the file transfer wait will be described in detail based on FIG.

단계 290에서 단말기(100)는 타 단말기로부터 전송 요청 신호가 수신되는지 여부를 결정한다. 단말기(100)는 전송 요청 신호는 타 단말기로부터 수신되는 응답 신호가 해당될 수 있다. 단계 295에서 단말기(100)는 전송 요청 신호가 수신되는 경우, 전송요청 신호를 발신한 타 단말기로 선택 오브젝트로 결정된 오브젝트의 파일 또는 데이터를 전송한다. In step 290, the terminal 100 determines whether a transmission request signal is received from another terminal. The transmission request signal of the terminal 100 may correspond to a response signal received from another terminal. In step 295, when a transmission request signal is received, the terminal 100 transmits a file or data of the object determined as the selected object to another terminal that has transmitted the transmission request signal.

단계 280에서 단말기(100)는 사용자의 핸드가 카메라(150) 시야각 내에서 사라지지 않는 경우, 카메라(150) 기반의 핸드 제스처를 검출할 수 있다. 예를 들어, 사용자가 특정 오브젝트가 선택된 상태에서 카메라 시야각 내에서 던지는 제스처를 수행할 수 있다. 단말기(100)는 카메라(150)로부터 수집되는 영상으로부터 사용자의 핸드 형태를 결정하고, 패턴 매칭을 통해 사용자 핸드가 던지는 동작을 수행했다고 결정할 수 있다.  At step 280, the terminal 100 may detect a hand gesture based on the camera 150 if the user's hand does not disappear within the viewing angle of the camera 150. [ For example, a user may perform a gesture to throw within a camera viewing angle with a particular object selected. The terminal 100 may determine the shape of the user's hand from the image collected from the camera 150 and determine that the user's hand has performed the throwing operation through pattern matching.

단계 285에서 단말기(100)는 핸드 제스처가 검출된 경우, 해당 핸드 제스처에 대응하여 선택된 오브젝트에 대한 특정 기능을 실행할 수 있다. 예를 들어, 던지는 동작에 대응하여 오브젝트 삭제 명령이 정의된 경우, 단말기(100)는 던지는 제스처에 응답하여 해당 오브젝트 삭제하는 기능을 실행한다. In step 285, when the hand gesture is detected, the terminal 100 can execute a specific function for the selected object corresponding to the hand gesture. For example, when an object delete command is defined in response to a throwing operation, the terminal 100 performs a function of deleting the corresponding object in response to a throwing gesture.

도 3은 본 발명의 실시예에 따른 사용자 기기에서 오브젝트 전송하는 사용자 인터렉션을 설명하기 위한 예시도이다. 3 is an exemplary diagram illustrating a user interaction for transferring an object in a user equipment according to an embodiment of the present invention.

도 3을 참조하면, 표시부(110)는 사용자의 요청 또는 기 정의된 스케쥴에 따라 하나 이상의 오브젝트를 화면에 출력할 수 있다. 표시부(110)는 화면에 특정 오브젝트가 풀 모드(full mode)로 지원하거나, 다수의 오브젝트들이 표시되는 화면을 출력할 수 있다. Referring to FIG. 3, the display unit 110 may display one or more objects on the screen according to a user's request or a predefined schedule. The display unit 110 may support a specific object in a full mode on the screen or may output a screen on which a plurality of objects are displayed.

예를 들어, 사용자는 사용자 기기에서 제공하는 갤러리 기능을 실행할 수 있다. 사용자 기기는 사용자의 요청에 응답하여 <a> 화면에 도시된 바와 같이, 특정 사진 컨텐츠(310)가 풀 모드로 지원된 화면을 출력할 수 있다. 또한, 사용자 기기는 다수의 사진 오브젝트 목록이 표시되고, 사진 목록 중 특정 사진들이 선택된 화면을 출력할 수 도 있다. For example, the user can execute the gallery function provided by the user device. The user device can output a screen in which specific picture contents 310 are supported in the full mode, as shown in the <a> screen in response to the user's request. Also, the user device may display a list of a plurality of photo objects, and may output a screen in which specific photographs of the photo list are selected.

사용자는 특정 사진이 표시된 상태에서 해당 사진에 대한 기능을 실행하기 위해 사용자의 핸드(320)를 화면에 접근할 수 있다. 여기서, 사용자 기기는 호버링과 터치를 구분하기 위해 화면과 터치 입력 기구 사이의 기 정의된 이격 거리가 설정될 수 있다. 기 정의된 이격 거리는 사용자 기기가 터치 입력 기구의 위치를 검출할 수 있는 수준까지 접근하는 임계값일 수 있다. The user can access the screen of the user's hand 320 in order to perform a function for the selected photograph while displaying the specific picture. Here, the predefined separation distance between the screen and the touch input mechanism may be set to distinguish the hovering and touch from the user equipment. The predefined separation distance may be a threshold at which the user equipment can reach a level at which the position of the touch input mechanism can be detected.

사용자 기기는 사용자의 핸드(320)가 기 정의된 이격 거리 이내로 접근하는 경우, 손가락들로부터 둘 이상의 호버링 영역(330)들을 검출한다. 사용자 기기는 <a> 화면과 같이, 손가락들의 접근을 감지하여 네 개의 호버링 영역(330)들을 검출할 수 있다. 이 경우, 사용자의 다섯 손가락이 모두 기 정의된 이격 거리 이내로 접근할 수 있으나, 손가락 길이에 따라, 특정 손가락들만 기 정의된 이격 거리 이내로 접근할 수 있다. The user device detects two or more hovering regions 330 from fingers when the user's hand 320 approaches within a predefined separation distance. The user device can detect the four hovering areas 330 by sensing the approach of the fingers, such as the <a> screen. In this case, all five fingers of the user can be accessed within a predetermined distance, but only certain fingers can approach the predetermined distance according to the length of the finger.

호버링 상태에서 사용자는 물체를 집는 것과 같이 손가락을 중심으로 모을 수 있다. 그러면, 사용자 기기는 둘 이상의 호버링 영역들이 중심점으로 가까워진다고 결정하고, 호버링 기반의 그랩 제스처를 검출할 수 있다. 사용자 기기는 그랩 제스처에 응답하여 표시부에 표시된 오브젝트 즉, 사진 컨텐츠를 선택 오브젝트로 결정한다. In the hovering state, the user can gather around the finger as if picking up an object. Then, the user equipment can determine that two or more hovering regions are close to the center point and can detect hovering based grab gestures. In response to the grab gesture, the user device determines the object displayed on the display unit, that is, the photographic content, as the selected object.

그러한 상태에서 사용자 기기는 <b> 화면에 도시된 바와 같이, 카메라(150)를 활성화시켜 사용자 영상을 획득한다. 카메라(150)는 사용자의 핸드 동작을 인식하기 위한 센서로 이용될 수 있다. 사용자 기기는 카메라(150)로부터 영상을 획득하고 색상 정보를 이용해 핸드 영역을 분리하고, 핸드 모양 및 형태를 인식할 수 있다. 사용자 기기는 카메라(150)로부터 획득된 영상으로부터 핸드 영역을 분리할 수 있는지 여부로 카메라(150)의 시야각 내에서 사용자의 핸드가 사라졌다고 결정할 수 있다. In such a state, the user device activates the camera 150 to acquire the user image as shown in the <b> screen. The camera 150 may be used as a sensor for recognizing the hand motion of the user. The user device can acquire an image from the camera 150, separate the hand area using the color information, and recognize the shape and shape of the hand. The user equipment can determine that the user's hand has disappeared within the viewing angle of the camera 150 whether or not the hand area can be separated from the image obtained from the camera 150. [

그러한 상태에서 사용자는 <c> 화면에 도시된 바와 같이, 카메라(150)의 시야각에서 벗어나도록 사용자의 핸드(320)를 움직일 수 있다. 그러면, 제어부는 카메라(150)의 시야각 내에서 사용자의 핸드(320)가 사라졌다고 결정하고, 선택된 사진 컨텐츠(310)에 대한 파일을 전송 대기 상태로 변경한다. 이 경우, 사용자 기기는 타 사용자 기기와 통신 채널이 형성된 상태일 수 있다. 사용자 기기는 전송 대기 상태인 경우, 통신 연결된 타 사용자 기기로 파일 전송 대기 신호를 전송할 수 있다. In such a state, the user can move the user's hand 320 away from the viewing angle of the camera 150, as shown in the <c> screen. The controller then determines that the user's hand 320 has disappeared within the viewing angle of the camera 150 and changes the file for the selected photo content 310 to a transfer waiting state. In this case, the user equipment may be in a state in which a communication channel with another user equipment is formed. If the user equipment is in a transmission standby state, it can transmit a file transfer wait signal to another user equipment connected to the communication.

도 4는 발명의 실시예에 따른 사용자 기기에서 오브젝트를 삭제하는 사용자 인터렉션을 설명하기 위한 예시도이다. 4 is an exemplary diagram illustrating a user interaction for deleting an object in a user equipment according to an embodiment of the present invention.

도 4를 참조하면, 사용자는 사용자 기기에서 제공하는 갤러리 기능을 실행하고, 특정 사진 컨텐츠(410)를 풀 모드로 출력할 수 있다. 사용자 기기는 사진 컨텐츠(410)를 선택하는 멀티 호버링 제스처 예컨대, 그랩 제스처가 검출되면, 카메라(150)를 구동시킬 수 있다. Referring to FIG. 4, a user may execute a gallery function provided by a user device and output a specific photo content 410 in a full mode. The user device can drive the camera 150 when a multi-hovering gesture, such as a grab gesture, is selected to select the photo content 410. [

그러한 상태에서 사용자는 카메라(150)의 시야각 내에서 사용자의 핸드(420)로 특정 모션 예를 들어, <a> 화면에 도시된 바와 같이, 던지는 제스처(throw gesture)를 수행할 수 있다. 사용자 기기는 카메라(150)를 통해 획득된 영상으로부터 손 영역을 분리하고, 손의 형태로부터 손의 움직임과 모양을 인식할 수 있다. In such a state, the user can perform a throw gesture with the user's hand 420 within the viewing angle of the camera 150, as shown in the specific motion, e.g., in the <a> screen. The user device can separate the hand area from the image obtained through the camera 150 and recognize the movement and shape of the hand from the shape of the hand.

사용자 기기는 사용자의 핸드 모션이 패턴 매칭을 통해 던지는(throw) 동작으로 결정되면, <b> 화면에 도시된 바와 같이, 그랩 제스처에 의해 선택된 사진 컨텐츠(410)를 삭제할 수 있다. The user device may delete the photo content 410 selected by the grab gesture, as shown in the <b> screen, if the user's hand motion is determined to be an operation that throws through pattern matching.

도 5는 본 발명의 실시예에 따라 그랩 제스처에 대응하여 시각적 피드백을 출력하는 화면 예시도이다. FIG. 5 is a diagram illustrating a screen for outputting visual feedback corresponding to a grab gesture according to an embodiment of the present invention. FIG.

도 5를 참조하면, 사용자는 특정 컨텐츠를 선택하기 위해 사용자 기기 위에서 물체를 집는 것과 같이 손가락을 중심으로 모을 수 있다. 그러면, 사용자 기기는 호버링 상태에서 그랩 제스처가 발생됐다고 결정하고, 표시부에 표시된 특정 컨텐츠(510)를 선택 오브젝트로 결정한다. Referring to FIG. 5, a user may gather around a finger, such as picking up an object on a user's device to select specific content. Then, the user equipment determines that a grab gesture has occurred in the hovering state, and determines the specific content 510 displayed on the display unit as a selection object.

이 때, 사용자 기기는 사용자에게 오브젝트 선택에 대한 시각적인 피드백을 제공할 수 있다. 사용자 기기는 표시부(110)에 표시된 컨텐츠(510)의 크기를 축소하여 출력할 수 있다. 또한, 사용자 기기는 사용자의 핸드(520)와 화면 사이의 이격 거리 간격이 변경되면, 변경된 이격 거리에 따라 그래픽 처리된 컨텐츠(510)의 크기를 확대하거나 축소하여 출력할 수 있다. 예컨대, 사용자 기기는 사용자가 터치스크린 위에서 물건을 잡아 끌어 올리는 것과 같은 시각적 피드백 효과를 제공할 수 있다. 이로 인해, 사용자는 특정 컨텐츠를 현실에서와 같이 물건을 집어들어 물건이 사용자의 손에 의해 끌려나오는 것과 같은 효과를 경험할 수 있다. At this time, the user equipment may provide the user with visual feedback on object selection. The user equipment can reduce the size of the content 510 displayed on the display unit 110 and output it. In addition, when the distance between the user's hand 520 and the screen is changed, the size of the graphically processed content 510 may be enlarged or reduced according to the changed distance. For example, the user device may provide a visual feedback effect such as a user picking up an object on the touch screen. As a result, the user can experience the same effect as picking up a specific content as if it is a reality and pulling the object by the user's hand.

그러한 상태에서 사용자가 사용자의 핸드를 움직이는 경우, 사용자 기기는 <b> 화면에 도시된 바와 같이, 그래픽 처리된 컨텐츠(510)를 사용자의 핸드(520)가 움직인 방향에 따라 이동시켜 표시할 수 있다. When the user moves the user's hand in such a state, the user device can move and display the graphically processed content 510 according to the direction in which the user's hand 520 moves, as shown in the <b> screen have.

도 6은 본 발명의 실시예에 따른 파일 전송 과정을 설명하기 위해 나타내 보인 도면이다. 6 is a diagram for explaining a file transfer process according to an embodiment of the present invention.

도 6을 참조하면, 본 발명에 따른 파일 전송 과정은 송신측 기기(A)와 수신측 기기(B)로 분리하여 설명하고자 한다. 본 발명에 따른 사용자 기기는 파일 전송을 수행하는데 있어서, 송신측 기기(A)와 수신측 기기(B) 모두 적용이 가능하다. 또한, 송신측 기기(A)와 수신측 기기(B)는 통신 채널이 연결된 상태 예를 들어, 페어링, 와이파이 다이렉트, 블루투스 통신 등으로 연결된 상태로 가정한다. Referring to FIG. 6, the file transmission process according to the present invention will be described separately as a transmitting-side device A and a receiving-side device B, respectively. The user equipment according to the present invention can be applied to both the transmitting-side device A and the receiving-side device B in performing file transfer. In addition, it is assumed that the transmitting-side device A and the receiving-side device B are connected to each other through a communication channel, for example, a pairing, a Wi-Fi direct, or a Bluetooth communication.

먼저, 송신측 기기(A)에서 특정 컨텐츠가 선택된 후, 카메라 시야각 내에서 사용자의 핸드가 사라졌다고 결정되면, 단계 610에서 송신측 기기는 선택된 특정 컨텐츠를 파일 전송 대기 상태로 변경한다. 송신측 기기(A)는 통신 채널이 형성된 단말기가 있는지 여부를 결정하고, 타 단말기와 통신 채널이 형성된 경우, 단계 620에서 수신측 기기(B)로 파일 전송 대기 신호를 전송한다. 이 경우, 수신측 단말기는 전송 대기 신호에 응답하여 표시부에 파일 전송 대기 알람 정보(예, 전송대기 메시지)를 출력할 수 있으나, 이에 한정하는 것은 아니다. First, if it is determined that the user's hand has disappeared within the viewing angle of the camera after the specific content is selected in the transmitting-side device A, the transmitting-side device changes the selected specific content to the file transfer waiting state in step 610. The transmitting device A determines whether or not there is a terminal having a communication channel established therein. If a communication channel is established with another terminal, the transmitting device A transmits a file transmission wait signal to the receiving device B in step 620. In this case, the receiving-side terminal can output the file transfer waiting alarm information (e.g., the transmission waiting message) to the display unit in response to the transmission waiting signal, but the present invention is not limited thereto.

그러면, 수신측 기기(B)는 송신측 기기(A)로부터 파일 전송 요청 신호 수신한 후, 단계 630에서 멀티 호버링을 검출하고, 단계 640에서 멀티 호버링의 움직임에 따라 릴리즈 제스처를 검출할 수 있다. 구체적으로, 수신측 기기(B)는 둘 이상의 호버링 영역들을 기준으로 호버링 영역들이 서로 멀어지는 경우, 릴리즈 제스처가 검출됐다고 결정할 수 있다. 또는 수신측 기기(B)는 둘 이상의 호버링 영역들을 포함하는 외곽 테두리를 결정하고, 호버링 영역들이 외곽 테두리 밖으로 변경되는 경우, 릴리즈 제스처가 검출됐다고 결정할 수 있다. Then, the receiving-side device B can receive the file transfer request signal from the transmitting-side device A, detect the multi-hovering in step 630, and detect the release gesture in step 640 according to the movement of the multi-hovering. Specifically, the receiving-side device B can determine that a release gesture has been detected when the hovering regions are distant from each other based on the two or more hovering regions. Or the receiving-side device B may determine the outer frame including the two or more hovering areas and determine that the release gesture has been detected when the hovering areas are changed out of the outer frame.

수신측 기기(B)는 릴리즈 제스처가 검출되면, 단계 650에서 릴리즈 제스처에 응답하여 수신측 기기로 전송 요청 신호에 응답하는 응답신호를 전송한다. 그러면, 단계 660에서 송신측 기기(A)는 응답 신호에 응답하여 선택된 특정 오브젝트파일을 수신측 기기로 파일 전송을 시작한다. 수신측 기기(B)는 송신측 기기(A)로부터 전송되는 오브젝트정보를 표시부에 표시할 수 있다. If a release gesture is detected, the receiving device B transmits a response signal in response to the release request to the receiving device in response to the release gesture at step 650. Then, in step 660, the transmitting-side device A, in response to the response signal, starts transferring the selected specific object file to the receiving-side device. The receiving-side apparatus B can display the object information transmitted from the transmitting-side apparatus A on the display section.

도 7은 본 발명의 실시예에 따른 오브젝트의 송수신 과정을 설명하기 위한 화면 예시도이다. FIG. 7 is a view for explaining an object transmission / reception process according to an embodiment of the present invention.

도 7을 참조하면, 본 발명에서 송신측 기기(A) 및 수신측 기기(B) 사이에 통신 채널이 형성된 경우, 파일 송수신을 위한 사용자 인터렉션은 먼저, 송신측 기기(A)에서 도 3에 도시된 바와 같이, 호버링 상태에서 사용자의 핸드를 그랩한 후, 카메라의 시야각 내에서 사용자의 핸드를 사라지게 이동시킬 수 있다. 7, when a communication channel is formed between the transmitting-side device A and the receiving-side device B in the present invention, the user interaction for file transmission / As described above, after grabbing the user's hand in the hovering state, the user's hand can be moved to disappear within the viewing angle of the camera.

그러면, 송신측 기기(A)는 표시부에 표시된 사진 컨텐츠(710)을 선택 오브젝트로 결정하고, 결정된 사진 컨텐츠를 파일 전송 대기 상태로 변경한다. 이 때, 송신측 기기(A)는 결정된 사진 컨텐츠가 전송 대기 상태임을 알리는 파일 전송 대기 신호를 통신 채널이 형성된 기기 예컨대, 수신측 기기(B)로 전송한다. 이 경우, 송신측 기기(A)는 파일 전송 대기 신호를 통해 전송 대기 중인 컨텐츠가 있음을 인지할 수 있다. Then, the transmitting-side device A determines the selected photographic content 710 as the selected object, and changes the determined photographic content to the file transfer standby state. At this time, the transmitting-side device A transmits a file transfer waiting signal for notifying that the determined photographic content is in the transfer standby state to the device having the communication channel, for example, the receiving-side device B. In this case, the transmitting-side device A can recognize that there is content waiting to be transmitted through the file transfer waiting signal.

그러한 상태에서 수신측 기기(B)에서 사용자는 기기를 터치하지 않고, 기기로부터 기 정의된 간격이 떨어진 공간에서 물건을 들었다 놓은 것과 같은 모션을 수행할 수 있다. 수신측 기기(B)는 손가락의 접근을 감지하여 손가락의 접근을 감지하여 둘 이상의 호버링 영역들을 검출하고, 호버링 영역들이 검출된 시작점을 기준으로 멀어진다고 결정되는 경우, 릴리즈 제스처가 검출됐다고 결정할 수 있다. In such a state, the user at the receiving-side device B can perform the same motion as if he or she picked up and placed the object at a predetermined interval from the device without touching the device. The recipient device B senses the approach of the finger to sense the approach of the finger to detect more than one hovering region and may determine that a release gesture has been detected if the hovering regions are determined to be distant relative to the detected starting point .

수신측 기기(B)는 릴리즈 제스처가 검출됐다고 결정되면, 릴리즈 제스처에 응답하여 송신측 기기(A)로 파일 전송 대기 신호에 응답하는 응답 신호를 전송한다. 그러면, 송신측 기기(A)는 파일 전송 대기 상태인 특정 사진 컨텐츠를 수신측 기기(B)로 전송한다. 수신측 기기(B)는 파일이 전송 중 또는 전송이 완료된 경우, 도시된 바와 같이, 수신측 기기(B)부터 전송된 사진 컨텐츠(730)를 표시부에 표시할 수 있다. When it is determined that a release gesture has been detected, the receiving-side device B transmits a response signal responding to the file transfer wait signal to the transmitting-side device A in response to the release gesture. Then, the transmitting-side device A transmits the specific photographic contents waiting for the file transfer to the receiving-side device B. The receiving-side apparatus B can display the photographic contents 730 transmitted from the receiving-side apparatus B on the display unit, as shown in the figure, when the file is being transmitted or the transmission is completed.

송신측 기기와 수신측 기기의 파일 전송은 블루투스 통신, 와이파이 다이렉트 통신, GPS 수신부 및 서버 통신, 액세스 포인트를 통한 연결 통신 등 다양한 방식으로 연결되어 파일을 송수신할 수 있다. The file transmission between the transmitting side device and the receiving side device can be performed in various ways such as a Bluetooth communication, a Wi-Fi direct communication, a GPS receiving unit and a server communication, and a connection communication through an access point.

도 8 은 본 발명의 실시예에 따라 파일 수신에 대응하여 시각적 피드백을 출력하는 화면 예시도이다. FIG. 8 is a diagram illustrating a screen for outputting visual feedback in response to file reception according to an embodiment of the present invention.

도 8을 참조하면, 사용자 기기는 통신 채널이 형성된 타 단말기로부터 특정컨텐츠에 대한 파일 및 데이터를 수신할 수 있다. 사용자 기기는 타 단말기로부터 특정 컨텐츠에 대한 파일 및 데이터가 수신되면, 해당 컨텐츠(810)가 전송 상태임을 지시하는 시각적 피드백 효과를 제공할 수 있다. 예컨대, 사용자 기기는 도 8에 도시된 바와 같이, 수신되는 파일의 데이터량에 따라 화면에 출력되는 오브젝트의 크기 사이즈를 점점 확대하여 출력하는 그래픽 효과를 지원할 수 있다. 사용자는 표시부에 출력된 화면의 크기 사이즈에 따라 파일 전송 중 또는 파일 전송이 완료됐음을 인지할 수 있다. Referring to FIG. 8, the user equipment can receive files and data for specific contents from another terminal having a communication channel. The user device can provide a visual feedback effect indicating that the content 810 is in a transmission state when a file and data of a specific content are received from another terminal. For example, as shown in FIG. 8, the user equipment can support a graphical effect of gradually enlarging and outputting the size of an object output on the screen according to the amount of data of the received file. The user can recognize that the file transfer or the file transfer is completed according to the size size of the screen output on the display unit.

도 9는 본 발명의 실시예에 따른 동영상 파일의 송수신 과정을 설명하기 위해 나타내 보인 화면이다. FIG. 9 is a view for explaining a transmission / reception process of a moving picture file according to an embodiment of the present invention.

도 9를 참조하면, 송신측 기기(A)가 동영상을 재생하여 출력하고 있다고 가정해보자. 송신측 기기(A)에서 동영상 재생 모드에서 호버링 기반의 그랩 제스처가 검출되는 경우, 재생 중인 동영상 컨텐츠를 전송 대기 상태로 결정하고, 수신측 기기(B)로 전송 대기 신호를 전송한다. 9, it is assumed that the transmitting device A reproduces and outputs a moving image. When a hovering-based grab gesture is detected in the moving image playback mode in the transmitting device (A), the moving image content being reproduced is determined to be in a transmission standby state and a transmission waiting signal is transmitted to the receiving device (B).

다음에, 수신측 기기(B)에서 호버링 기반의 릴리즈 제스처가 검출되는 경우, 릴리즈 제스처에 응답하여 전송 대기 신호에 응답하는 응답 신호를 송신측 기기(A) 전송한다. 송신측 기기(A)는 응답 신호에 응답하여 재생 중인 동영상 컨텐츠를 송신측 기기(A)로 전송한다. 이 때, 송신측 기기(A)는 동영상 컨텐츠에 대한 파일 뿐만 아니라 재생 정보를 포함하여 제공할 수 있다. Next, when a hovering-based release gesture is detected in the receiving-side device B, the transmitting-side device A transmits a response signal in response to the transfer wait signal in response to the release gesture. The transmitting-side device A transmits the video content being reproduced to the transmitting-side device A in response to the response signal. At this time, the transmitting-side device A can provide not only the file for the moving picture contents but also the reproducing information.

예를 들어, 송신측 기기(A)에서 재생 도중 동영상 컨텐츠를 수신측 기기(B)로 전송하는 경우, 수신측 기기(B)는 제공된 재생 정보를 기반으로 송신측 기기(A)에서 재생이 정지된 시점부터 동영상 파일을 재생할 수 있다.For example, when the transmitting-side device A transmits the moving-image content to the receiving-side device B during reproduction, the receiving-side device B stops reproducing from the transmitting-side device A based on the provided reproducing information The moving picture file can be played back from the point of time.

이상에서와 같이, 본 발명에 따른 사용자 기기의 오브젝트 운용 방법에 대하여 본 명세서 및 도면을 통해 바람직한 실시예를 들어 설명하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고, 발명의 이해를 돕기 위해 일반적인 의미에서 사용된 것일 뿐, 본 발명이 전술한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 기술적 사상에 바탕을 둔 다양한 실시 예가 가능 함은 본 발명이 속하는 기술 분야에서 통산의 지식을 가진 자에게 자명한 것이다.As described above, a method of operating an object of a user equipment according to the present invention has been described with reference to the present specification and drawings, and although specific terms have been used, The present invention is not limited to the above-described embodiments. That is, it is apparent to those skilled in the art that various embodiments based on the technical idea of the present invention are possible.

100: 사용자 기기
110: 표시부 120: 입력부
130: 무선 통신부 140: 오디오 처리부
150: 카메라 160: 센서부
170: GPS수신부 180: 저장부
190: 제어부100: User device
110: display section 120: input section
130: wireless communication unit 140: audio processing unit
150: camera 160: sensor unit
170: GPS receiver 180:
190:

Claims (25)

표시부에 적어도 하나의 오브젝트를 표시하는 단계;
상기 표시부에 표시된 오브젝트를 선택하는 멀티 핑거 호버링 제스처를 검출하는 단계;
상기 멀티 핑거 호버링 제스처에 응답하여 카메라를 구동하는 단계;
상기 카메라로부터 수집된 영상을 기반으로 사용자의 핸드를 인식하는 단계; 및
상기 인식된 사용자의 핸드가 상기 카메라의 시야각 내에서 사라지는 경우, 상기 선택된 오브젝트를 파일 전송 대기 상태로 변경하는 단계를 포함하는 사용자 기기의 오브젝트 운용 방법. Displaying at least one object on a display unit;
Detecting a multi-finger hovering gesture for selecting an object displayed on the display unit;
Driving the camera in response to the multi-finger hovering gesture;
Recognizing a user's hand based on the image collected from the camera; And
And changing the selected object to a file transfer waiting state when the recognized user's hand disappears within a viewing angle of the camera. 제1항에 있어서,
상기 카메라의 시야각 내에서 인식된 사용자의 핸드 동작이 변경되는 되는 경우, 상기 변경된 핸드 동작에 대응하여 상기 선택된 오브젝트에 대해 기 정의된 기능을 실행하는 단계를 더 포함하는 사용자 기기의 오브젝트 운용 방법. The method according to claim 1,
And executing a predefined function for the selected object corresponding to the changed hand operation when the hand operation of the user recognized in the viewing angle of the camera is changed. 제1항에 있어서,
상기 멀티 핑거 호버링 제스처를 검출하는 단계는,
상기 표시부에 둘 이상의 호버링 영역을 검출하는 단계; 및
상기 검출된 둘 이상의 호버링 영역들이 서로 가까워지는 움직임으로 결정되는 경우, 상기 멀티 핑거 호버링 제스처를 검출하는 단계로 이루어지는 사용자 기기의 오브젝트 운용 방법. The method according to claim 1,
Wherein detecting the multi-finger hovering gesture comprises:
Detecting at least two hovering regions on the display unit; And
And detecting the multi-finger hovering gesture when the detected two or more hovering regions are determined to be a movement approaching each other. 제1항에 있어서,
상기 선택된 오브젝트는 상기 오브젝트의 표시 사이즈를 변경하여 표시하는 것을 특징으로 하는 사용자 기기의 오브젝트 운용 방법. The method according to claim 1,
And the selected object is displayed by changing the display size of the object. 제4항에 있어서,
상기 선택된 오브젝트는 화면과 사용자 핸드 사이의 이격 거리 간격에 따라 오브젝트의 표시 사이즈가 축소되거나 확대되어 표시하는 것을 특징으로 하는 사용자 기기의 오브젝트 운용 방법.5. The method of claim 4,
Wherein the selected object is displayed by reducing or enlarging the display size of the object according to the distance between the screen and the user's hand. 제1항에 있어서,
상기 오브젝트를 표시하는 단계는,
특정 오브젝트가 풀 모드로 표시하거나, 사용자 입력에 따라 선택된 복수의 오브젝트들을 표시하는 단계로 이루어지는 것을 특징으로 하는 사용자 기기의 오브젝트 운용 방법. The method according to claim 1,
Wherein the step of displaying the object comprises:
Displaying a specific object in a full mode or displaying a plurality of objects selected according to a user input. 제1항에 있어서,
상기 사용자의 핸드를 인식하는 단계;
상기 카메라로부터 수집되는 영상을 획득하는 단계;
상기 획득된 영상을 색상 정보를 기반으로 핸드 영역과 배경 영역을 분리하는 단계;
상기 분리된 핸드 영역으로부터 핸드 형태를 인식하는 단계; 및
상기 핸드 형태를 패턴 매칭하여 핸드의 움직임과 모양을 인식하는 단계로 이루어지는 것을 특징으로 하는 사용자 기기의 오브젝트 운용 방법. The method according to claim 1,
Recognizing the hand of the user;
Obtaining an image collected from the camera;
Separating the obtained image into a hand area and a background area based on color information;
Recognizing a hand shape from the separated hand area; And
And recognizing the movement and shape of the hand by pattern matching the hand shape. 제1항에 있어서,
상기 파일 전송 대기 상태로 변경하는 단계는,
사용자 기기의 운용 모드를 전송 대기 모드로 변경하는 것을 특징으로 하는 사용자 기기의 오브젝트 운용 방법. The method according to claim 1,
Wherein the step of changing to the file transfer waiting state comprises:
And changing an operation mode of the user equipment to a transmission standby mode. 제8항 에 있어서,
상기 전송 대기 모드로 변경하는 단계는,
타 단말기의 통신 연결이 있는지 여부를 결정하고, 통신 연결이 있는 경우, 통신이 연결된 단말기로 전송 대기 신호를 전송하는 단계; 또는
타 단말기와 통신 연결이 없는 경우, 특정 단말기와 통신 연결을 수행하고, 통신이 연결된 단말기로 전송 대기 신호를 전송하는 단계로 이루어지는 것을 특징으로 하는 사용자 기기의 오브젝트 운용 방법. 9. The method of claim 8,
Wherein the changing to the transmission standby mode comprises:
Determining whether there is a communication connection of another terminal, and if there is a communication connection, transmitting a transmission waiting signal to the terminal to which the communication is connected; or
And performing a communication connection with the specific terminal when the communication connection with the other terminal is not established, and transmitting a transmission wait signal to the terminal to which the communication is connected. 제9항에 있어서,
상기 전송 대기 신호를 전송하는 단계 이후에 통신 연결된 단말기로부터 응답 신호를 수신하는 단계; 및
상기 수신된 응답 신호에 응답하기 상기 선택된 오브젝트를 통신 연결된 단말기로 전송하는 단계를 더 포함하는 사용자 기기의 오브젝트 운용 방법. 10. The method of claim 9,
Receiving a response signal from a terminal connected to a communication after transmitting the transmission wait signal; And
And transmitting the selected object to a communication-connected terminal in response to the received response signal. 제1항에 있어서,
타 단말기와 통신 연결된 상태에서 파일 전송 요청에 응답하는 멀티 호버링 제스처를 검출하는 단계;
상기 파일 전송 요청에 응답하는 멀티 호버링 제스처에 응답하여 타 단말기로 응답 신호를 전송하는 단계;
상기 타 단말기로부터 전송되는 오브젝트를 수신하는 단계; 및
상기 수신된 오브젝트를 표시부에 표시하는 단계를 더 포함하는 사용자 기기의 오브젝트 운용 방법. The method according to claim 1,
Detecting a multi-hovering gesture responsive to a file transfer request in communication with another terminal;
Sending a response signal to the other terminal in response to the multi-hovering gesture responsive to the file transfer request;
Receiving an object transmitted from the other terminal; And
And displaying the received object on a display unit. 제11항에 있어서,
상기 파일 전송 요청에 응답하는 멀티 호버링 제스처를 검출하는 단계는,
상기 표시부에 둘 이상의 호버링 영역을 검출하는 단계; 및
상기 검출된 둘 이상의 호버링 영역들이 서로 멀어지는 움직임으로 결정되는 경우, 상기 파일 전송 요청에 응답하는 멀티 핑거 호버링 제스처를 검출하는 단계로 이루어지는 것을 특징으로 하는 사용자 기기의 오브젝트 운용 방법. 12. The method of claim 11,
Wherein detecting a multi-hovering gesture responsive to the file transfer request comprises:
Detecting at least two hovering regions on the display unit; And
Detecting a multi-finger hovering gesture responding to the file transfer request when the detected two or more hovering regions are determined to be moving away from each other. 제11항에 있어서,
상기 수신된 오브젝트를 표시부에 표시하는 단계는,
상기 수신된 오브젝트의 데이터 전송량에 따라 오브젝트의 표시 사이즈가 확대되는 시각적 피드백으로 표시하는 것을 특징으로 하는 사용자 기기의 오브젝트 운용 방법.12. The method of claim 11,
The step of displaying the received object on a display unit includes:
And displaying the object as visual feedback that enlarges the display size of the object according to the data transmission amount of the received object. 무선 통신 신호를 송수신하는 무선 통신부;
적어도 하나의 오브젝트를 표시하는 표시부;
상기 오브젝트에 대한 사용자 제스처를 감지하는 센서부;
상기 사용자 제스처 영상을 수집하는 카메라; 및
상기 센서부를 통해 오브젝트를 선택하는 멀티 핑거 호버링 제스처를 검출하고, 상기 멀티 핑거 호버링 제스처에 응답하여 카메라를 구동하고, 상기 카메라로부터 수집된 영상을 기반으로 사용자의 핸드를 인식하고, 상기 인식된 사용자의 핸드가 상기 카메라의 시야각 내에서 사라지는 경우, 상기 선택된 오브젝트를 파일 전송 대기 상태로 변경하도록 제어하는 제어부를 포함하는 사용자 기기. A wireless communication unit for transmitting and receiving wireless communication signals;
A display unit for displaying at least one object;
A sensor unit for sensing a user gesture with respect to the object;
A camera for collecting the user gesture image; And
A hovering gesture detecting unit for detecting a hovering gesture for selecting an object through the sensor unit, driving the camera in response to the multi-finger hovering gesture, recognizing a user's hand based on the image collected from the camera, And controlling the selected object to change to a file transfer waiting state when the hand disappears within a viewing angle of the camera. 제14항에 있어서,
상기 제어부는,
상기 카메라의 시야각 내에서 인식된 사용자의 핸드 동작이 변경되는 되는 경우, 상기 변경된 핸드 동작에 대응하여 상기 선택된 오브젝트에 대해 기 정의된 기능을 실행하도록 제어하는 것을 특징으로 하는 사용자 기기.15. The method of claim 14,
Wherein,
And controls to execute a predefined function for the selected object corresponding to the changed hand operation when the hand operation of the user recognized in the viewing angle of the camera is changed. 제14항에 있어서,
상기 센서부는,
상기 표시부에서 발생된 둘 이상의 호버링 영역에 대한 정보를 제어부로 전달하고,
상기 제어부는,
상기 검출된 둘 이상의 호버링 영역들이 서로 가까워지는 움직임이 검출되는 경우, 상기 멀티 핑거 호버링 제스처가 발생됐다고 결정하는 것을 특징으로 하는 사용자 기기. 15. The method of claim 14,
The sensor unit includes:
And transmits information on two or more hovering regions generated in the display unit to the control unit,
Wherein,
And a determination is made that the multi-finger hovering gesture has occurred if a detected movement of the detected two or more hovering regions approaches each other. 제14항에 있어서,
상기 표시부는,
상기 멀티 핑거 호버링 제스처에 의해 선택된 오브젝트의 표시 사이즈를 변경하여 표시하는 것을 특징으로 하는 사용자 기기. 15. The method of claim 14,
The display unit includes:
The display size of the object selected by the multi-finger hovering gesture is changed and displayed. 제14항에 있어서,
상기 표시부는,
상기 표시부와 사용자 핸드 사이의 이격 거리 간격에 따라 오브젝트의 표시 사이즈를 축소하거나 확대하여 표시하는 것을 특징으로 하는 사용자 기기.15. The method of claim 14,
The display unit includes:
Wherein the display size of the object is reduced or enlarged according to the distance between the display unit and the user hand. 제14항에 있어서,
상기 표시부는,
특정 오브젝트가 풀 모드로 표시하거나, 사용자 입력에 따라 선택된 복수의 오브젝트들을 표시하는 것을 특징으로 하는 사용자 기기. 15. The method of claim 14,
The display unit includes:
Wherein a specific object is displayed in a full mode or a plurality of objects selected in accordance with a user input are displayed. 제14항에 있어서,
상기 제어부는,
상기 카메라로부터 수집되는 영상을 획득하고, 상기 획득된 영상을 색상 정보를 기반으로 핸드 영역과 배경 영역을 분리하고, 상기 분리된 핸드 영역으로부터 핸드 형태를 인식하고, 상기 핸드 형태를 패턴 매칭하여 핸드의 움직임과 모양을 인식하는 것을 특징으로 하는 사용자 기기. 15. The method of claim 14,
Wherein,
The image processing method according to claim 1, further comprising: acquiring an image collected from the camera; separating a hand area and a background area from the obtained image based on color information; recognizing a hand shape from the separated hand area; And recognizes the movement and the shape of the user. 제14항에 있어서,
상기 제어부는,
타 단말기의 통신 연결이 있는지 여부를 결정하고, 통신 연결이 있는 경우, 상기 무선통신부를 통해 통신이 연결된 단말기로 전송 대기 신호를 전송하고, 타 단말기와 통신 연결이 없는 경우, 특정 단말기와 통신 연결을 수행하고, 통신이 연결된 단말기로 전송 대기 신호를 전송하도록 제어하는 것을 특징으로 하는 사용자 기기. 15. The method of claim 14,
Wherein,
Determines whether or not there is a communication connection with another terminal, and transmits a transmission wait signal to the terminal through which the communication is connected through the wireless communication unit when there is a communication connection. If there is no communication connection with the other terminal, And controls transmission of a transmission wait signal to a terminal connected to the communication. 제21항에 있어서,
상기 제어부는
상기 통신 연결된 단말기로부터 응답 신호가 수신되는 경우, 상기 수신된 응답 신호에 응답하기 상기 선택된 오브젝트를 통신 연결된 단말기로 전송하도록 제어하는 것을 특징으로 하는 사용자 기기. 22. The method of claim 21,
The control unit
And controls to transmit the selected object to a communication-connected terminal in response to the received response signal when a response signal is received from the communication-connected terminal. 제14항에 있어서,
상기 제어부는,
타 단말기와 통신 연결된 상태에서 파일 전송 요청에 응답하는 멀티 호버링 제스처를 검출하는 경우, 상기 무선통신부를 통해 멀티 호버링 제스처에 응답하여 타 단말기로 응답 신호를 전송하고, 상기 타 단말기로부터 전송되는 오브젝트를 수신하고, 상기 수신된 오브젝트를 표시부에 표시하도록 제어하는 것을 특징으로 하는 사용자 기기. 15. The method of claim 14,
Wherein,
Hovering gesture responding to a file transfer request in a state of being connected to another terminal, transmits a response signal to the other terminal in response to the multi-hovering gesture through the wireless communication unit, and receives an object And controls the display unit to display the received object. 제23항에 있어서,
상기 제어부는,
상기 표시부에 발생된 둘 이상의 호버링 영역들이 서로 멀어지는 움직임이 검출되는 경우, 상기 파일 전송 요청에 응답하는 멀티 핑거 호버링 제스처가 발생됐다고 결정하는 것을 특징으로 사용자 기기. 24. The method of claim 23,
Wherein,
Wherein a determination is made that a multi-finger hovering gesture responsive to the file transfer request has occurred, when a motion in which two or more hovering regions generated on the display are moved away from each other is detected. 제23항에 있어서,
상기 표시부는,
상기 수신된 오브젝트의 데이터 전송량에 따라 오브젝트의 표시 사이즈가 확대되도록 그래픽 처리하여 표시하는 것을 특징으로 하는 사용자 기기.24. The method of claim 23,
The display unit includes:
And graphically processes the displayed object so that the display size of the object is enlarged according to the data transmission amount of the received object.
KR1020130027600A 2013-03-14 2013-03-14 Method for providing user's interaction using multi hovering gesture KR102091028B1 (en)

Priority Applications (10)

Application Number Priority Date Filing Date Title
KR1020130027600A KR102091028B1 (en) 2013-03-14 2013-03-14 Method for providing user's interaction using multi hovering gesture
AU2014201588A AU2014201588B2 (en) 2013-03-14 2014-03-14 Object control method and apparatus of user device
BR102014006152A BR102014006152A2 (en) 2013-03-14 2014-03-14 user device object control method and apparatus
TW103109521A TWI633460B (en) 2013-03-14 2014-03-14 Object control method and apparatus of user device
EP14159931.6A EP2778853B1 (en) 2013-03-14 2014-03-14 Object control method and apparatus of user device
US14/211,982 US9372617B2 (en) 2013-03-14 2014-03-14 Object control method and apparatus of user device
CN201410095171.7A CN104049737B (en) 2013-03-14 2014-03-14 The object control method and apparatus of user equipment
RU2014109966A RU2662690C2 (en) 2013-03-14 2014-03-14 User apparatus object control device and method of management
CA2846531A CA2846531C (en) 2013-03-14 2014-03-14 Object control method and apparatus of user device
JP2014051607A JP6366309B2 (en) 2013-03-14 2014-03-14 User equipment object operation method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130027600A KR102091028B1 (en) 2013-03-14 2013-03-14 Method for providing user's interaction using multi hovering gesture

Publications (2)

Publication Number Publication Date
KR20140112920A true KR20140112920A (en) 2014-09-24
KR102091028B1 KR102091028B1 (en) 2020-04-14

Family

ID=50478169

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130027600A KR102091028B1 (en) 2013-03-14 2013-03-14 Method for providing user's interaction using multi hovering gesture

Country Status (10)

Country Link
US (1) US9372617B2 (en)
EP (1) EP2778853B1 (en)
JP (1) JP6366309B2 (en)
KR (1) KR102091028B1 (en)
CN (1) CN104049737B (en)
AU (1) AU2014201588B2 (en)
BR (1) BR102014006152A2 (en)
CA (1) CA2846531C (en)
RU (1) RU2662690C2 (en)
TW (1) TWI633460B (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170104988A (en) * 2014-10-29 2017-09-18 마이크로칩 테크놀로지 저머니 게엠베하 Human interface device and method

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102140791B1 (en) * 2013-10-11 2020-08-03 삼성전자주식회사 Touch Controller, Electronic Device and Display Device including Touch Controller, and Method for Touch Sensing
US20150188988A1 (en) * 2013-12-27 2015-07-02 Htc Corporation Electronic devices, and file sharing methods thereof
US11809811B2 (en) * 2014-10-25 2023-11-07 Yieldmo, Inc. Methods for serving interactive content to a user
CN104407797B (en) * 2014-10-27 2017-11-07 联想(北京)有限公司 A kind of information processing method and electronic equipment
US10444977B2 (en) * 2014-12-05 2019-10-15 Verizon Patent And Licensing Inc. Cellphone manager
JP2016130925A (en) 2015-01-14 2016-07-21 レノボ・シンガポール・プライベート・リミテッド Method of performing cooperative operation by multiple electronic apparatuses, electronic apparatus, and computer program
CN104714642A (en) * 2015-03-02 2015-06-17 惠州Tcl移动通信有限公司 Mobile terminal and gesture recognition processing method and system thereof
WO2016200197A1 (en) * 2015-06-10 2016-12-15 (주)브이터치 Method and apparatus for detecting gesture in user-based spatial coordinate system
CN105786388A (en) * 2016-03-02 2016-07-20 惠州Tcl移动通信有限公司 Application control method and system based on short-range induction and mobile terminal
CN105785376A (en) * 2016-05-11 2016-07-20 滁州学院 Javelin throwing electronic measuring instrument
US20180032170A1 (en) * 2016-07-27 2018-02-01 Samsung Electronics Co., Ltd. System and method for estimating location of a touch object in a capacitive touch panel
US10416777B2 (en) * 2016-08-16 2019-09-17 Microsoft Technology Licensing, Llc Device manipulation using hover
US20210278904A1 (en) * 2016-11-08 2021-09-09 Sony Corporation Information processing device, information processing method, and program
US10795450B2 (en) * 2017-01-12 2020-10-06 Microsoft Technology Licensing, Llc Hover interaction using orientation sensing
KR102316024B1 (en) * 2017-03-02 2021-10-26 삼성전자주식회사 Display apparatus and user interface displaying method thereof
US10627911B2 (en) 2017-04-25 2020-04-21 International Business Machines Corporation Remote interaction with content of a transparent display
KR102330655B1 (en) * 2017-09-29 2021-11-23 애플 인크. Vein scanning device for automatic gesture and finger recognition
US20190324621A1 (en) * 2018-04-23 2019-10-24 Qualcomm Incorporated System and Methods for Utilizing Multi-Finger Touch Capability to Efficiently Perform Content Editing on a Computing Device
US10579153B2 (en) * 2018-06-14 2020-03-03 Dell Products, L.P. One-handed gesture sequences in virtual, augmented, and mixed reality (xR) applications
US10698603B2 (en) * 2018-08-24 2020-06-30 Google Llc Smartphone-based radar system facilitating ease and accuracy of user interactions with displayed objects in an augmented-reality interface
JP2020177315A (en) * 2019-04-16 2020-10-29 アルパイン株式会社 Electronics device
CN110164440B (en) * 2019-06-03 2022-08-09 交互未来(北京)科技有限公司 Voice interaction awakening electronic device, method and medium based on mouth covering action recognition
CN110515468A (en) * 2019-08-30 2019-11-29 Oppo广东移动通信有限公司 Control method, control device, electronic device and storage medium
CN111443802B (en) * 2020-03-25 2023-01-17 维沃移动通信有限公司 Measurement method and electronic device
CN117008777A (en) * 2020-10-30 2023-11-07 华为技术有限公司 Cross-equipment content sharing method, electronic equipment and system
CN117492557A (en) * 2021-04-26 2024-02-02 华为技术有限公司 Multi-screen interaction method and device, terminal equipment and vehicle
CN115480662A (en) * 2021-05-28 2022-12-16 华为技术有限公司 Method and device for separating induction area during suspension control and suspension control remote controller

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH064258A (en) * 1992-06-23 1994-01-14 Toshiba Corp Information processor
WO2010098050A1 (en) * 2009-02-25 2010-09-02 日本電気株式会社 Interface for electronic device, electronic device, and operation method, operation program, and operation system for electronic device
US20110316790A1 (en) * 2010-06-25 2011-12-29 Nokia Corporation Apparatus and method for proximity based input

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265689A (en) * 1992-03-19 1993-10-15 Hitachi Ltd Information processor
JP2004334590A (en) * 2003-05-08 2004-11-25 Denso Corp Operation input device
US20100071965A1 (en) 2008-09-23 2010-03-25 Panasonic Corporation System and method for grab and drop gesture recognition
KR101503835B1 (en) 2008-10-13 2015-03-18 삼성전자주식회사 Apparatus and method for object management using multi-touch
US8581856B2 (en) * 2009-05-27 2013-11-12 Microsoft Corporation Touch sensitive display apparatus using sensor input
US8681124B2 (en) * 2009-09-22 2014-03-25 Microsoft Corporation Method and system for recognition of user gesture interaction with passive surface video displays
US20110088002A1 (en) 2009-10-13 2011-04-14 Carl Johan Freer Method and platform for gestural transfer of digital content for mobile devices
US8756532B2 (en) * 2010-01-21 2014-06-17 Cisco Technology, Inc. Using a gesture to transfer an object across multiple multi-touch devices
JP5360166B2 (en) * 2010-09-22 2013-12-04 株式会社ニコン Image display device
JP2012133729A (en) * 2010-12-24 2012-07-12 Sony Corp Information processing device, information processing method and program
JP2012173980A (en) * 2011-02-21 2012-09-10 Aisin Aw Co Ltd Display device, display method and display program
TWI471792B (en) * 2011-03-30 2015-02-01 Edamak Corp Method for detecting multi-object behavior of a proximity-touch detection device
US20120304107A1 (en) * 2011-05-27 2012-11-29 Jennifer Nan Edge gesture
RU2455676C2 (en) * 2011-07-04 2012-07-10 Общество с ограниченной ответственностью "ТРИДИВИ" Method of controlling device using gestures and 3d sensor for realising said method
GB2493701B (en) * 2011-08-11 2013-10-16 Sony Comp Entertainment Europe Input device, system and method
JP6034401B2 (en) * 2011-12-28 2016-11-30 ノキア テクノロジーズ オーユー Providing an open instance of the application

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH064258A (en) * 1992-06-23 1994-01-14 Toshiba Corp Information processor
WO2010098050A1 (en) * 2009-02-25 2010-09-02 日本電気株式会社 Interface for electronic device, electronic device, and operation method, operation program, and operation system for electronic device
US20110316790A1 (en) * 2010-06-25 2011-12-29 Nokia Corporation Apparatus and method for proximity based input

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170104988A (en) * 2014-10-29 2017-09-18 마이크로칩 테크놀로지 저머니 게엠베하 Human interface device and method

Also Published As

Publication number Publication date
AU2014201588A1 (en) 2014-10-02
EP2778853A2 (en) 2014-09-17
AU2014201588B2 (en) 2019-03-21
JP6366309B2 (en) 2018-08-01
JP2014179099A (en) 2014-09-25
US20140282070A1 (en) 2014-09-18
KR102091028B1 (en) 2020-04-14
BR102014006152A2 (en) 2016-02-23
CA2846531C (en) 2021-11-02
TWI633460B (en) 2018-08-21
CA2846531A1 (en) 2014-09-14
EP2778853B1 (en) 2017-12-27
RU2014109966A (en) 2015-09-20
EP2778853A3 (en) 2015-01-21
RU2662690C2 (en) 2018-07-26
US9372617B2 (en) 2016-06-21
TW201447646A (en) 2014-12-16
CN104049737A (en) 2014-09-17
CN104049737B (en) 2019-05-28

Similar Documents

Publication Publication Date Title
JP6366309B2 (en) User equipment object operation method and apparatus
KR102031142B1 (en) Electronic device and method for controlling image display
WO2020063091A1 (en) Picture processing method and terminal device
US20140192081A1 (en) Method and apparatus for laying out image using image recognition
WO2019000287A1 (en) Icon display method and device
WO2021129536A1 (en) Icon moving method and electronic device
WO2021109960A1 (en) Image processing method, electronic device, and storage medium
WO2021169954A1 (en) Search method and electronic device
CN109408072A (en) A kind of application program delet method and terminal device
KR102255087B1 (en) Electronic device and method for displaying object
EP3905037A1 (en) Session creation method and terminal device
CN109491964B (en) File sharing method and terminal
KR20180017638A (en) Mobile terminal and method for controlling the same
CN111158575B (en) Method, device and equipment for terminal to execute processing and storage medium
US20150253962A1 (en) Apparatus and method for matching images
CN111338521A (en) Icon display control method and electronic equipment
CN110502248A (en) A kind of application program installation method and terminal
KR20170019248A (en) Mobile terminal and method for controlling the same
KR101575991B1 (en) Mobile terminal and method for controlling the same
KR101651011B1 (en) Mobile terminal
KR102117450B1 (en) Display device and method for controlling thereof
KR20160031299A (en) Mobile terminal and control method for the mobile terminal
KR20150094355A (en) Mobile terminal and controlling method thereof
KR102157621B1 (en) Portable apparatus and method for sharing content thereof
CN111104024B (en) Method for sending media file and electronic equipment

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right