KR101256917B1 - Apparatus and method for operating of mobile device using gesture recognition - Google Patents

Apparatus and method for operating of mobile device using gesture recognition Download PDF

Info

Publication number
KR101256917B1
KR101256917B1 KR1020110096770A KR20110096770A KR101256917B1 KR 101256917 B1 KR101256917 B1 KR 101256917B1 KR 1020110096770 A KR1020110096770 A KR 1020110096770A KR 20110096770 A KR20110096770 A KR 20110096770A KR 101256917 B1 KR101256917 B1 KR 101256917B1
Authority
KR
South Korea
Prior art keywords
user
motion
application
detected
mobile terminal
Prior art date
Application number
KR1020110096770A
Other languages
Korean (ko)
Other versions
KR20130032994A (en
Inventor
박현철
하성도
김건희
이성일
최예은
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020110096770A priority Critical patent/KR101256917B1/en
Publication of KR20130032994A publication Critical patent/KR20130032994A/en
Application granted granted Critical
Publication of KR101256917B1 publication Critical patent/KR101256917B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0362—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 1D translations or rotations of an operating part of the device, e.g. scroll wheels, sliders, knobs, rollers or belts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 이동 단말을 이용한 사용자 동작을 인식하고, 인식된 사용자 동작에 따라 이동 단말에 설치되어 있는 애플리케이션 및 화면을 제어할 수 있도록 하는 동작 인식을 이용한 이동 단말의 조작 장치 및 방법에 관한 것이다.
이를 위해, 본 발명은 사용자가 이동 단말을 이용하여 회전, 기울이기, 두드리기 등의 동작을 수행함에 따라 동작 인식 센서에서 생성하는 센서 값을 수집하고, 수집된 센서 값을 이용하여 사용자 동작을 인식한 후, 사용자가 동작을 수행한 시점의 화면과 애플리케이션에 대한 정보를 수집하고, 수집된 정보와 인식된 동작에 의거하여 애플리케이션 및 화면을 제어하도록 구성되는 것이 바람직하다.
이에 따라, 본 발명은 사용자 동작을 인식하여 이동 단말에 설치되어 있는 애플리케이션 및 화면을 제어함으로써, 애플리케이션 및 화면의 제어를 보다 직관적이고 손쉽게 할 수 있게 된다. The present invention relates to an apparatus and method for operating a mobile terminal using motion recognition to recognize a user motion using a mobile terminal and to control an application and a screen installed in the mobile terminal according to the recognized user motion.
To this end, the present invention collects the sensor value generated by the motion recognition sensor as the user performs an operation such as rotation, tilting and tapping using the mobile terminal, and recognizes the user's motion using the collected sensor value. Afterwards, it is preferable that the user is configured to collect information about the screen and the application at the time of performing the operation, and control the application and the screen based on the collected information and the recognized operation.
Accordingly, the present invention can control the application and the screen installed in the mobile terminal by recognizing the user's motion, it is possible to more intuitively and easily control the application and the screen.

Description

동작 인식을 이용한 이동 단말의 조작 장치 및 방법{APPARATUS AND METHOD FOR OPERATING OF MOBILE DEVICE USING GESTURE RECOGNITION}A device and method for operating a mobile terminal using motion recognition {APPARATUS AND METHOD FOR OPERATING OF MOBILE DEVICE USING GESTURE RECOGNITION}

본 발명은 동작 인식을 이용한 이동 단말의 조작 장치 및 방법에 관한 것으로서, 특히 이동 단말을 이용한 사용자 동작을 인식하고, 인식된 사용자 동작에 따라 이동 단말에 설치되어 있는 애플리케이션 및 화면을 제어할 수 있도록 하는 동작 인식을 이용한 이동 단말의 조작 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for operating a mobile terminal using motion recognition, and more particularly, to recognize a user motion using a mobile terminal and to control an application and a screen installed in the mobile terminal according to the recognized user motion. An apparatus and method for operating a mobile terminal using motion recognition are provided.

이동통신 기술의 발달, 이동통신 시장의 성장과 함께 휴대 가능한 이동 단말의 대중화가 이루어졌으며, 이동 단말이 제공하는 기능 역시 점차 다양해지고 있다.With the development of mobile communication technology and the growth of the mobile communication market, the popularization of portable mobile terminals has been achieved, and the functions provided by mobile terminals are also becoming increasingly diverse.

또한, 이동 단말의 발달과 더불어 사용자로 하여금 이동 단말의 사용을 편리케 하기 위해 이동 단말의 입력 기술도 버튼방식, 터치방식, 동작인식방식의 변화를 거쳐 발달하게 되었다.In addition, with the development of the mobile terminal, the input technology of the mobile terminal has also been developed through a change of a button method, a touch method, and a motion recognition method in order to facilitate a user's use of the mobile terminal.

즉, 종래에는 이동 단말 본체에 장착되어 있는 네 방향의 내비게이션 키와 같은 물리적인 입력버튼을 사용하여 애플리케이션의 기능 모드를 전환하거나 화면을 전환하는 버튼방식이 주로 사용되었다.That is, in the related art, a button method of switching a function mode or a screen of an application using a physical input button such as four navigation keys mounted on a main body of a mobile terminal has been mainly used.

그러다 터치 패널이 장착된 이동 단말의 수가 급증하면서 단말에 장착되어 있는 물리적인 버튼이 아닌 화면에 출력되는 디지털화된 버튼을 터치하거나 화면을 드래깅(dragging)함으로써, 애플리케이션의 기능 모드를 전환하거나 화면을 전환하는 터치방식이 주로 사용되기에 이르렀으며, 최근에는 이동 단말에 내장되어 있는 동작 인식 센서를 통해 사용자의 동작에 따른 이동 단말의 움직임을 인식하고, 인식된 동작에 대해 사전에 정의된 기능을 수행하는 동작인식방식이 추가적으로 구현되어 사용되고 있다.Then, as the number of mobile terminals equipped with touch panels increases rapidly, by touching or dragging the digitized buttons displayed on the screen instead of the physical buttons mounted on the terminals, the function mode of the application or the screen are switched. Recently, the touch method has been mainly used, and recently, the motion recognition sensor embedded in the mobile terminal recognizes the movement of the mobile terminal according to the user's motion and performs a predefined function for the recognized motion. Motion recognition method is additionally implemented and used.

예를 들어, 사용자가 이동 단말을 세로방향에서 가로방향으로 회전시키거나 가로방향에서 세로방향으로 회전시키면, 이동 단말이 동작 인식 센서를 통해 이를 인지하여 회전된 방향에 적합하게 화면을 출력한다.For example, when the user rotates the mobile terminal in the vertical direction to the horizontal direction or rotates in the horizontal direction to the vertical direction, the mobile terminal recognizes this through the motion recognition sensor and outputs a screen suitable for the rotated direction.

그러나, 종래에는 인식된 사용자 동작에 대응하여 수행할 수 있는 동작이 한정되어 있고, 동작인식방식이 주로 게임 애플리케이션에서만 사용되는 문제점이 있다.However, in the related art, an operation that can be performed in response to a recognized user motion is limited, and a motion recognition method is mainly used only in a game application.

한국공개특허공보 제2005-97288호Korean Patent Publication No. 2005-97288 한국공개특허공보 제2011-64535호Korean Laid-Open Patent Publication No. 2011-64535 한국공개특허공보 제2011-62648호Korean Laid-Open Patent Publication No. 2011-62648

본 발명은 전술한 문제점을 해결하기 위해 안출된 것으로서, 이동 단말을 이용한 사용자 동작을 인식한 후, 사용자가 동작을 수행한 시점의 화면과 애플리케이션에 대한 정보를 수집하고, 인식된 사용자 동작과 수집된 정보를 바탕으로 이동 단말에 설치되어 있는 애플리케이션 및 화면을 제어할 수 있도록 하는 동작 인식을 이용한 이동 단말의 조작 장치 및 방법을 제공함에 그 목적이 있다.The present invention has been made to solve the above-described problems, and after recognizing a user's motion using a mobile terminal, collects information on the screen and the application at the time the user performed the operation, and the recognized user's motion and collected It is an object of the present invention to provide an apparatus and method for operating a mobile terminal using motion recognition to control an application and a screen installed on the mobile terminal based on the information.

전술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 동작 인식을 이용한 이동 단말의 조작 장치는, 사용자 동작 인식 기준이 되는 기준 센서 값을 저장하고 있는 동작 패턴 데이터베이스와; 이동 단말에 내장되어 사용자의 동작에 따라 센서 값을 생성하는 동작 인식 센서로부터 수집한 센서 값에 의거하여 사용자 동작을 인식하는 동작 인식부와; 사용자가 동작을 수행한 시점의 화면과 애플리케이션에 대한 정보를 수집하는 정보 수집부와; 상기 정보 수집부에서 수집된 정보와 상기 동작 인식부에서 인식된 동작에 의거하여 애플리케이션 및 화면을 제어하는 제어부를 포함하여 이루어지는 것이 바람직하다.According to an aspect of the present invention, there is provided an apparatus for operating a mobile terminal using gesture recognition, the apparatus comprising: an operation pattern database storing reference sensor values serving as user gesture recognition criteria; A motion recognition unit embedded in the mobile terminal and recognizing a user motion based on a sensor value collected from a motion recognition sensor generating a sensor value according to a user's motion; An information collector configured to collect information about a screen and an application at the time when a user performs an operation; And a control unit for controlling an application and a screen based on the information collected by the information collecting unit and the operation recognized by the motion recognition unit.

한편, 본 발명의 일 실시예에 따른 동작 인식을 이용한 이동 단말의 조작 방법은, 사용자의 동작에 따라 동작 인식 센서에서 생성하는 센서 값을 수집하는 과정과; 상기 수집된 센서 값을 이용하여 사용자 동작을 인식하는 과정과; 사용자가 동작을 수행한 시점의 화면과 애플리케이션에 대한 정보를 수집하는 과정과; 수집된 정보와 인식된 동작에 의거하여 애플리케이션 및 화면을 제어하는 제어 과정을 포함하여 이루어지는 것이 바람직하다.On the other hand, the operation method of the mobile terminal using the motion recognition according to an embodiment of the present invention, the process of collecting the sensor value generated by the motion recognition sensor according to the user's motion; Recognizing a user's motion by using the collected sensor values; Collecting information about a screen and an application at the time when a user performs an operation; It is preferable to include a control process for controlling the application and the screen based on the collected information and the recognized operation.

본 발명의 동작 인식을 이용한 이동 단말의 조작 장치 및 방법에 따르면, 사용자 동작을 인식하여 이동 단말에 설치되어 있는 애플리케이션 및 화면을 제어함으로써, 애플리케이션 및 화면의 제어를 보다 직관적이고 손쉽게 할 수 있게 된다. 이로 인하여, 사용자의 사용 편의성을 증대시킬 수 있게 되고, 사용자의 기기 조작에 대한 부담감을 줄여 줄 수 있게 된다.According to the operation device and method of the mobile terminal using the motion recognition of the present invention, by controlling the application and the screen installed in the mobile terminal by recognizing the user's motion, it becomes possible to control the application and the screen more intuitively and easily. As a result, the user's ease of use can be increased, and the burden on the user's operation of the device can be reduced.

또한, 사용자의 간단한 동작으로 애플리케이션 및 화면을 제어할 수 있기 때문에 사용자가 어떠한 상황에 처해 있더라도 이동 단말을 안정적으로 조작하여 원하는 동작을 수행할 수 있게 된다. In addition, since the application and the screen can be controlled by a simple operation of the user, it is possible to stably operate the mobile terminal to perform a desired operation even in any situation.

도 1은 본 발명의 일 실시예에 따른 동작 인식을 이용한 이동 단말의 조작 장치의 구성을 개략적으로 보인 도면.
도 2 내지 도 14는 본 발명의 일 실시예에 따른 인식된 사용자 동작에 따라 제공되는 화면을 예시적으로 보인 도면.
도 15는 본 발명의 일 실시예에 따른 동작 인식을 이용한 이동 단말의 조작 방법을 설명하기 위한 처리도.1 is a view schematically showing the configuration of an operating device of a mobile terminal using gesture recognition according to an embodiment of the present invention.
2 to 14 exemplarily illustrate screens provided according to a recognized user action according to an embodiment of the present invention.
15 is a flowchart illustrating a method of operating a mobile terminal using gesture recognition according to an embodiment of the present invention.

이하에서는 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따른 동작 인식을 이용한 이동 단말의 조작 장치 및 방법에 대해서 상세하게 설명한다.Hereinafter, with reference to the accompanying drawings will be described in detail with respect to the operation device and method of a mobile terminal using the motion recognition according to a preferred embodiment of the present invention.

도 1은 본 발명의 일 실시예에 따른 동작 인식을 이용한 이동 단말의 조작 장치의 구성을 개략적으로 보인 도이다.1 is a view schematically illustrating a configuration of an operating device of a mobile terminal using gesture recognition according to an embodiment of the present invention.

도 1에서, 동작 패턴 데이터베이스(10)는 사용자 동작을 인식하는 기준이 되는 기준 센서 값을 저장하고 있다.In FIG. 1, the operation pattern database 10 stores a reference sensor value serving as a reference for recognizing a user's motion.

동작 인식 센서(20)는 사용자가 이동 단말에 행하는 동작을 입력받는 것으로, 이동 단말의 적소에 내장되어 사용자가 동작을 취하면 그 크기, 방향, 힘 등을 인식하여 센서 값을 생성하고, 생성된 센서 값을 동작 인식부(30)로 전달한다.The motion recognition sensor 20 receives an operation that the user performs on the mobile terminal. When the user takes an action, the motion recognition sensor 20 generates a sensor value by recognizing its size, direction, and force. The sensor value is transmitted to the motion recognition unit 30.

전술한, 동작 인식 센서(20)로는 지자기 센서, 자이로 센서(각속도 센서), 가속도 센서, 중력 센서, 적외선 센서 등이 사용될 수 있으며, 이 밖에도 사용자 동작을 인식할 수 있는 모든 센서가 사용될 수 있다.As described above, the motion recognition sensor 20 may be a geomagnetic sensor, a gyro sensor (angular velocity sensor), an acceleration sensor, a gravity sensor, an infrared sensor, etc. In addition, any sensor capable of recognizing a user's motion may be used.

한편, 동작 인식부(30)는 데이터 전처리부(33) 및 동작 결정부(35)를 포함하여 이루어져, 이동 단말에 내장되어 있는 동작 인식 센서(20)로부터 수집한 센서 값에 의거하여 사용자 동작을 인식한다.Meanwhile, the motion recognition unit 30 includes a data preprocessor 33 and an operation determination unit 35 to perform a user motion based on sensor values collected from the motion recognition sensor 20 embedded in the mobile terminal. Recognize.

데이터 전처리부(33)는 동작 인식 센서(20)로부터 수집된 센서 값에 포함되어 있는 노이즈 등을 제거하는 전처리 과정을 수행한다.The data preprocessor 33 performs a preprocessing process to remove noise and the like included in the sensor values collected from the motion recognition sensor 20.

동작 결정부(35)는 데이터 전처리부(33)에서 전처리된 센서 값으로 동작 패턴 데이터베이스(10)를 검색하여 사용자가 수행한 동작을 결정한다.The operation determiner 35 searches the operation pattern database 10 using the sensor values preprocessed by the data preprocessor 33 to determine an operation performed by the user.

전술한 바와 같은 동작 인식부(30)에서 인식되는 사용자 동작은 회전(rotating), 기울이기(tilting), 두드리기(tapping) 등이 될 수 있으며, 본 발명의 실시예에서는 이를 기준으로 설명을 진행한다. 그러나, 사용자 동작이 이에 한정되는 것은 아니다.The user's motions recognized by the motion recognition unit 30 as described above may be rotating, tilting, tapping, and the like, which will be described in the embodiments of the present invention. . However, user operation is not limited thereto.

한편, 정보 수집부(40)는 사용자가 동작을 수행한 시점의 화면과 애플리케이션에 대한 정보(예를 들어, 사용자가 동작을 수행한 시점에 활성화되어 있는 애플리케이션의 이름, 구동중인 기능 모드, 디스플레이되어 있는 화면 정보 등)를 수집한다.On the other hand, the information collecting unit 40 is displayed on the screen when the user performed the operation and information about the application (for example, the name of the application that is active when the user performed the operation, the running function mode, is displayed Screen information, etc.).

동작 제어 데이터베이스(60)는 각 애플리케이션의 기능 및 화면별로 사용자 동작에 따른 동작 제어 정보를 저장하고 있다.The motion control database 60 stores motion control information according to a user motion for each function and screen of each application.

예를 들어, 바탕 화면이 디스플레이되어 있는 상태에서 사용자 동작이 감지되는 경우, 감지된 사용자 동작에 따라 어떤 애플리케이션이 구동되어야 하는 지에 대한 정보와 감지된 사용자 동작에 따라 어떤 화면이 제공되어야 하는 지에 대한 정보가 저장되어 있고, 각 애플리케이션의 메뉴 화면이 디스플레이되어 있는 상태에서 사용자 동작이 감지되는 경우, 감지된 사용자 동작에 따라 어떤 기능 모드가 구동되어야 하는 지에 대한 정보가 저장되어 있고, 애플리케이션의 기능 모드가 구동되고 있는 상태에서 사용자 동작이 감지되는 경우, 감지된 사용자 동작에 따라 어떤 화면이 제공되어야 하는 지에 대한 정보가 저장되어 있다.For example, if a user motion is detected while the desktop is displayed, information about which application should be run according to the detected user motion and information about which screen should be provided according to the detected user motion. Is stored, and when a user action is detected while the menu screen of each application is displayed, information on which function mode should be driven according to the detected user action is stored, and the function mode of the application is driven. When the user's motion is detected in the current state, information about which screen should be provided according to the detected user's motion is stored.

제어부(50)는 정보 수집부(40)에서 수집된 정보와 동작 인식부(30)에서 인식된 동작에 의거하여 애플리케이션 및 화면을 제어하되, 동작 제어 데이터베이스(60)를 참조하여 애플리케이션 및 화면을 제어한다.The controller 50 controls the application and the screen based on the information collected by the information collecting unit 40 and the operation recognized by the motion recognition unit 30, but controls the application and the screen with reference to the motion control database 60. do.

전술한, 제어부(50)는 동작 인식부(30)에서 인식된 동작이 회전 동작에 해당하면, 사용자가 이동 단말을 예를 들어 시계 방향으로 90°, 시계 반대 방향으로 90° 회전하는 회전 각도에 따라 애플리케이션 및 화면을 제어하고, 동작 인식부(30)에서 인식된 동작이 기울이기 동작에 해당하면, 사용자가 이동 단말을 예를 들어 뒤로 45°, 앞으로 45° 기울이는 기울기에 따라 애플리케이션 및 화면을 제어하며, 동작 인식부(30)에서 인식된 사용자 동작이 두드리기 동작에 해당하면, 두드리는 위치(상, 하, 좌, 우), 강도, 횟수, 간격 등에 따라 서로 다른 동작으로 인식하여 애플리케이션 및 화면을 제어한다.As described above, when the motion recognized by the motion recognition unit 30 corresponds to a rotational motion, the controller 50 is configured to rotate the mobile terminal at a rotational angle of 90 ° clockwise and 90 ° counterclockwise, for example. Control the application and the screen, and if the motion recognized by the motion recognition unit 30 corresponds to the tilting motion, the user controls the application and the screen according to the tilt of tilting the mobile terminal by 45 ° and 45 ° forward, for example. If the user's motion recognized by the motion recognition unit 30 corresponds to the tapping motion, the application and the screen are controlled by recognizing different motions according to the tapping position (up, down, left, right), intensity, frequency, interval, and the like. do.

전술한 제어부(50)는 도 2에 도시하는 바와 같이, 복수의 애플리케이션 아이콘이 배열되어 있는 메뉴 화면이 디스플레이되어 있는 상태에서 사용자 동작이 감지되면, 감지된 사용자 동작에 따라 복수의 애플리케이션 아이콘 중에서 어느 하나를 선택하여 실행시킨다.As illustrated in FIG. 2, when the user's motion is detected while the menu screen on which the plurality of application icons are arranged is displayed, the controller 50 may select one of the plurality of application icons according to the detected user's motion. Select to execute.

예를 들어, 메뉴 화면에 6개의 애플리케이션 아이콘이 디스플레이되고, 시계 방향으로 90°, 시계 반대 방향으로 90° 즉, 0°~180° 사이의 회전 각도에 대해서만 인식하여 제어를 수행한다고 했을 때, 1°~30°는 애플리케이션 A, 31°~60°는 애플리케이션 B, 61°~90°는 애플리케이션 C, 91°~120°는 애플리케이션 D, 121°~150°는 애플리케이션 E, 151°~180°는 애플리케이션 F에 할당되어, 사용자가 이동 단말을 시계 방향으로 45° 회전시킨 뒤 이를 일정시간 유지하면, 사용자 회전 동작에 따라 애플리케이션 E를 선택하여 실행시키고, 사용자가 이동 단말을 시계 반대 방향으로 45° 회전시킨 뒤 이를 일정시간 유지하면, 사용자 회전 동작에 따라 애플리케이션 B를 선택하여 실행시킨다. 또는 사용자의 두드리기 동작에 따라 사용자가 이동 단말을 연속 두 번 두드리면 애플리케이션 B를 실행시키고, 이동 단말을 연속 세 번 두드리면 애플리케이션 C를 실행시킨다.For example, if six application icons are displayed on the menu screen, and the control is performed by recognizing only the rotation angle between 90 ° clockwise and 90 ° counterclockwise, that is, 0 ° to 180 °, 1 ° A to 30 ° is Application A, 31 ° to 60 ° is Application B, 61 ° to 90 ° is Application C, 91 ° to 120 ° is Application D, 121 ° to 150 ° is Application E, and 151 ° to 180 ° is Assigned to application F, if the user rotates the mobile terminal 45 ° clockwise and maintains it for a certain time, the user selects and executes application E according to the user rotation operation, and the user rotates the mobile terminal 45 ° counterclockwise. If you keep it for a certain time, application B is selected and executed according to the user's rotation. Alternatively, when the user taps the mobile terminal twice in succession according to the tapping operation of the user, the application B is executed, and when the user taps the mobile terminal three times in succession, the application C is executed.

또한, 제어부(50)는 도 3에 도시하는 바와 같이 복수의 애플리케이션 아이콘이 배열되어 있는 메뉴 화면이 디스플레이되어 있는 상태에서 사용자 동작이 감지되면, 감지된 사용자 동작에 따라 복수의 애플리케이션 아이콘 중에서 어느 하나를 선택하여 하이라이트 표시한다.In addition, when a user operation is detected while a menu screen on which a plurality of application icons are arranged is displayed as illustrated in FIG. 3, the controller 50 may select one of the plurality of application icons according to the detected user operation. Select it to highlight it.

예를 들어, 사용자의 회전 동작에 따라 감지된 회전 각도가 1°~30°사이인 경우에는 애플리케이션 A를 하이라이트 표시하고, 31°~60°사이에서는 애플리케이션 B를, 61°~90°사이에서는 애플리케이션 C를, 91°~120°사이에서는 애플리케이션 D를, 121°~150°사이에서는 애플리케이션 E를, 151°~180°사이에서는 애플리케이션 F를 하이라이트 표시한다. 또는 사용자의 두드리기 동작에 따라 사용자가 이동 단말을 한 번씩 두드릴 때마다 애플리케이션 아이콘을 순차적으로 하이라이트 표시한다.For example, if the detected rotation angle is between 1 ° and 30 °, highlight Application A, and between 31 ° and 60 °, use Application B, and between 61 ° and 90 °. Highlight C, Application D between 91 ° and 120 °, Application E between 121 ° and 150 °, and Application F between 151 ° and 180 °. Alternatively, the application icon is sequentially highlighted whenever the user taps the mobile terminal once according to the tapping operation of the user.

또한, 제어부(50)는 도 4에 도시하는 바와 같이 어느 하나의 애플리케이션 아이콘이 하이라이트 표시된 상태에서 사용자 동작이 감지되면, 감지된 사용자 동작에 따라 하이라이트 표시되어 있는 애플리케이션을 실행시킨다.In addition, as shown in FIG. 4, if a user action is detected while any application icon is highlighted, the controller 50 executes an application that is highlighted according to the detected user action.

예를 들어, 애플리케이션 A가 하이라이트 표시된 상태에서 사용자가 이동 단말을 두드리면, 애플리케이션 A를 실행시킨다.For example, if a user taps on a mobile terminal while application A is highlighted, it launches application A.

또한, 제어부(50)는 도 5에 도시하는 바와 같이 복수의 기능 모드를 제공하는 애플리케이션의 메뉴 화면이 디스플레이되어 있는 상태에서 사용자 동작이 감지되면, 감지된 사용자 동작에 따라 복수의 기능 모드 중에서 어느 하나를 선택하여 실행시킨다.In addition, when the user's motion is detected while the menu screen of the application providing the plurality of function modes is displayed as illustrated in FIG. 5, the controller 50 may select any one of the plurality of function modes according to the detected user's motion. Select to execute.

예를 들어, 애플리케이션 A의 메뉴 화면에 4개의 애플리케이션 아이콘이 디스플레이되어 있을 때, 1°~45°는 기능 모드 1, 46°~90°는 기능 모드 2, 91°~135°는 기능 모드 3, 136°~180°는 기능 모드 4에 할당되어, 사용자가 이동 단말을 시계 방향으로 30° 회전시킨 뒤 이를 일정시간 유지하면, 사용자 회전 동작에 따라 기능 모드 3을 선택하여 실행시키고, 사용자가 이동 단말을 시계 반대 방향으로 30° 회전시킨 뒤 이를 일정시간 유지하면, 사용자 회전 동작에 따라 기능 모드 2를 선택하여 실행시킨다. 또는 사용자의 두드리기 동작에 따라 사용자가 이동 단말을 연속 두 번 두드리면 기능 모드2를 실행시키고, 이동 단말을 연속 세 번 두드리면 기능 모드 3을 실행시킨다.For example, when four application icons are displayed on the menu screen of Application A, 1 ° to 45 ° is in function mode 1, 46 ° to 90 ° is in function mode 2, 91 ° to 135 ° is in function mode 3, 136 ° ~ 180 ° is assigned to function mode 4, if the user rotates the mobile terminal 30 ° clockwise and maintains it for a certain time, the user selects and executes the function mode 3 according to the user rotation operation, the user Rotate 30 ° counterclockwise and keep it for a while. Then, select Function Mode 2 according to the user's rotation. Alternatively, when the user taps the mobile terminal twice in succession according to the tapping operation of the user, the function mode 2 is executed, and when the user taps the mobile terminal three times in succession, the function mode 3 is executed.

또한, 제어부(50)는 도 6에 도시하는 바와 같이 복수의 기능 모드를 제공하는 애플리케이션의 메뉴 화면이 디스플레이되어 있는 상태에서 사용자 동작이 감지되면, 감지된 사용자 동작에 따라 복수의 기능 모드 중에서 어느 하나를 선택하여 하이라이트 표시한다.In addition, when the user's motion is detected while the menu screen of the application providing the plurality of function modes is displayed as illustrated in FIG. 6, the controller 50 may select one of the plurality of function modes according to the detected user's motion. Select to highlight it.

예를 들어, 사용자의 기울이기 동작에 따라 감지된 기울기 각도가 46°~68°사이인 경우에는 기능 모드 1을 하이라이트 표시하고, 69°~90°사이에서는 기능 모드 2를, 91°~113°사이에서는 기능 모드 3을, 114°~135°사이에서는 기능 모드 4를 하이라이트 표시한다. 또는 사용자의 두드리기 동작에 따라 사용자가 이동 단말을 한 번씩 두드릴 때마다 기능 모드를 순차적으로 하이라이트 표시한다.For example, if the detected tilt angle is between 46 ° and 68 ° according to the user's tilting motion, highlight Function Mode 1, and between 69 ° and 90 °, select Function Mode 2 from 91 ° to 113 °. Highlights Function Mode 3 between 114 ° and 135 ° between 114 ° and 135 °. Alternatively, the function mode is sequentially highlighted whenever the user taps the mobile terminal once according to the tapping operation of the user.

또한, 제어부(50)는 도 7에 도시하는 바와 같이 복수의 기능 모드를 제공하는 애플리케이션의 메뉴 화면에서 어느 하나의 기능 모드가 하이라이트 표시된 상태에서 사용자 동작이 감지되면, 감지된 사용자 동작에 따라 하이라이트 표시되어 있는 기능 모드를 실행시킨다.In addition, as shown in FIG. 7, if a user operation is detected while one function mode is highlighted on a menu screen of an application providing a plurality of function modes, the controller 50 displays a highlight according to the detected user action. Run the function mode.

예를 들어, 애플리케이션 A의 기능 모드 2가 하이라이트 표시된 상태에서 사용자가 이동 단말을 두드리면, 기능 모드 2를 실행시킨다.For example, when the user taps on the mobile terminal while the function mode 2 of the application A is highlighted, the function mode 2 is executed.

또한, 제어부(50)는 도 8에 도시하는 바와 같이 복수의 기능 모드를 제공하는 애플리케이션의 어느 한 기능 모드가 구동되고 있는 상태에서 사용자 동작이 감지되면, 감지된 사용자 동작에 따라 해당 애플리케이션의 나머지 기능 모드 중에서 어느 하나를 선택하여 실행시킨다.In addition, as shown in FIG. 8, if a user's motion is detected while a function mode of an application providing a plurality of function modes is being driven, the controller 50 may perform the remaining functions of the application according to the detected user's motion. Select one of the modes to run.

예를 들어, 애플리케이션 A의 기능 모드 2가 구동되고 있는 상태에서 사용자가 이동 단말의 오른쪽 측면을 두드리면 기능 모드 3이 실행되어 화면에 디스플레이되고, 기능 모드 2가 구동되고 있는 상태에서 사용자가 이동 단말의 왼쪽 측면을 두드리면 기능 모드 1이 실행되어 화면에 디스플레이된다.For example, when the user taps the right side of the mobile terminal while the function mode 2 of the application A is running, the function mode 3 is executed and displayed on the screen. Tap on the left side to enter Function Mode 1 and display it on the screen.

또한, 제어부(50)는 도 9에 도시하는 바와 같이 복수의 애플리케이션이 동시에 활성화되어 있는 상태에서 사용자 동작이 감지되면, 감지된 사용자 동작에 따라 포어그라운드 모드로 동작중인 애플리케이션의 동작 모드를 백그라운드 모드로 전환하고, 백그라운드 모드로 동작중인 애플리케이션 중에서 어느 하나(예를 들어, 우선 순위가 높은 애플리케이션)를 포어그라운드 모드로 전환한다.In addition, as shown in FIG. 9, if a user motion is detected while a plurality of applications are simultaneously activated, the controller 50 changes the operation mode of the application operating in the foreground mode to the background mode according to the detected user motion. And switch any one of the applications running in the background mode (for example, a high priority application) to the foreground mode.

예를 들어, 애플리케이션 A, 애플리케이션 C, 애플리케이션 F가 동시에 활성화되어 있고, 애플리케이션 A가 포어그라운드 모드로 동작중일 때, 사용자가 이동 단말의 오른쪽 측면을 두드리면 포어그라운드 모드로 동작중인 애플리케이션 A의 동작 모드를 백그라운드 모드로 전환하고, 백그라운드 모드로 동작중인 애플리케이션 C를 포어그라운드 모드로 전환한다.For example, when application A, application C, and application F are active at the same time and application A is operating in the foreground mode, when the user taps the right side of the mobile terminal, the operation mode of the application A operating in the foreground mode is changed. Switch to background mode, and switch application C running in background mode to foreground mode.

또한, 제어부(50)는 도 10에 도시하는 바와 같이 복수의 애플리케이션 아이콘이 배열되어 있는 메뉴 화면이 디스플레이되어 있는 상태에서 사용자 동작이 감지되면, 감지된 사용자 동작에 따라 복수의 애플리케이션 아이콘이 디스플레이되어 있는 화면을 상, 하, 좌, 우 방향 중에서 어느 한 방향으로 스크롤하여 화면 전환한다.Also, as shown in FIG. 10, if a user action is detected while a menu screen on which a plurality of application icons are arranged is displayed, the controller 50 displays a plurality of application icons according to the detected user action. Scrolls the screen in one of the up, down, left, and right directions to switch the screen.

예를 들어, 복수의 애플리케이션 아이콘이 배열되어 있는 메뉴 화면이 디스플레이되어 있는 상태에서 사용자가 이동 단말을 뒤로 기울이면 메뉴 화면을 위로 스크롤하고, 사용자가 이동 단말을 앞으로 기울이면 메뉴 화면을 아래로 스크롤한다.For example, when the user tilts the mobile terminal backward while the menu screen on which a plurality of application icons are arranged is displayed, the menu screen scrolls up, and when the user tilts the mobile terminal forward, the menu screen scrolls down. .

또한, 제어부(50)는 도 11에 도시하는 바와 같이 복수의 기능 모드를 제공하는 애플리케이션의 메뉴 화면이 디스플레이되어 있는 상태에서 사용자 동작이 감지되면, 감지된 사용자 동작에 따라 복수의 기능 모드가 디스플레이되어 있는 화면을 상, 하, 좌, 우 방향 중에서 어느 한 방향으로 스크롤하여 화면 전환한다.In addition, when the user's motion is detected while the menu screen of the application providing the plurality of function modes is displayed as illustrated in FIG. 11, the controller 50 displays the plurality of function modes according to the detected user's motion. Scrolls the existing screen in any of the up, down, left, and right directions to switch the screen.

예를 들어, 애플리케이션 A의 메뉴 화면이 디스플레이되어 있는 상태에서 사용자가 이동 단말을 뒤로 기울이면 메뉴 화면을 위로 스크롤하고, 사용자가 이동 단말을 앞으로 기울이면 메뉴 화면을 아래로 스크롤한다.For example, when the user tilts the mobile terminal backward while the menu screen of the application A is displayed, the user scrolls the menu screen upward, and when the user tilts the mobile terminal forward, the menu screen scrolls down.

또한, 메시지 목록이나 사진 목록이 디스플레이되어 있는 상태에서 사용자가 이동 단말을 뒤로 기울이면 메시지나 사진 목록을 위로 스크롤하고, 사용자가 이동 단말을 앞으로 기울이면 메시지나 사진 목록을 아래로 스크롤한다.Also, when the user tilts the mobile terminal backward while the message list or the photo list is displayed, the user scrolls up the message or photo list, and when the user tilts the mobile terminal forward, the user scrolls the message or photo list down.

또한, 제어부(50)는 도 12 내지 도 14에 도시하는 바와 같이 복수의 화면을 제공하는 기능 모드가 구동되고 있는 상태에서 사용자 동작이 감지되면, 감지된 사용자 동작에 따라 이전 화면 또는 다음 화면으로 화면 전환한다.12 to 14, when the user's motion is detected while the function mode of providing a plurality of screens is driven, the controller 50 returns to the previous or next screen according to the detected user's motion. Switch.

예를 들어, 복수 개로 분할되어 있는 바탕 화면이 디스플레이되어 있는 상태에서 사용자가 이동 단말의 오른쪽 측면을 두드리면 오른쪽에 위치한 바탕 화면으로 넘겨져 화면 전환되고, 왼쪽 측면을 두드리면 왼쪽에 위치한 바탕 화면으로 넘겨져 화면 전환되며, 메시지가 디스플레이되어 있는 상태에서 사용자가 이동 단말의 오른쪽 측면을 두드리면 현재 디스플레이되어 있는 메시지 바로 전에 수신한 메시지를 디스플레이하고, 왼쪽 측면을 두드리면 현재 디스플레이되어 있는 메시지 바로 다음에 수신한 메시지를 디스플레이하며, 사진이 디스플레이되어 있는 상태에서 사용자가 이동 단말의 오른쪽 측면을 두드리면 현재 디스플레이되어 있는 사진 전에 찍은 사진을 디스플레이하고, 왼쪽 측면을 두드리면 현재 디스플레이되어 있는 사진 다음에 찍은 사진을 디스플레이한다.For example, when the desktop is divided into multiple screens and the user taps the right side of the mobile terminal, the user is turned over to the right desktop and the left side is switched to the left desktop. If the user taps the right side of the mobile terminal while the message is displayed, the message received immediately before the currently displayed message is displayed. If the user taps the left side, the received message is displayed immediately after the currently displayed message. , While the picture is displayed, the user taps on the right side of the mobile terminal to display the picture taken before the currently displayed picture, and tapping on the left side takes the picture after the currently displayed picture. Displays the picture.

이상의 실시예에서는 사용자의 회전 동작이나 기울이기 동작, 두드리기 동작 중에서 감지된 어느 하나의 동작에 따라 애플리케이션 및 화면을 제어하였으나, 회전 동작과 두드리기 동작, 기울이기 동작과 두드리기 동작 등을 복합적으로 인식하여 애플리케이션 및 화면을 제어할 수도 있다.In the above embodiments, the application and the screen are controlled according to any one of the user's rotation motion, tilt motion, and tap motion. However, the application may be recognized by combining the rotation motion, the tap motion, the tilt motion, and the tap motion. And screen control.

예를 들어, 메뉴 화면이 디스플레이되어 있는 상태에서 사용자가 이동 단말을 시계 방향으로 45° 회전시킨 뒤 이동 단말의 오른쪽 측면을 두드리면, 사용자의 회전 동작과 두드리기 동작에 따라 애플리케이션 B를 실행시킨다.For example, when the user rotates the mobile terminal 45 ° clockwise and then taps the right side of the mobile terminal while the menu screen is displayed, the application B is executed according to the rotation operation and the tapping operation of the user.

또한, 바탕 화면이 디스플레이되어 있는 상태에서 사용자가 이동 단말을 뒤로 기울인 뒤 이동 단말의 상단을 두드리면, 사용자의 기울이기 동작과 두드리기 동작에 따라 메뉴 화면을 디스플레이할 수도 있다.In addition, when the user tilts the mobile terminal backwards and taps the upper end of the mobile terminal while the desktop screen is displayed, the menu screen may be displayed according to the tilting operation and the tapping operation of the user.

또한, 제어부(50)는 현재 디스플레이되어 있는 화면이 어떤 화면이든지 간에 사용자가 회전 동작이나 기울이기 동작, 두드리기 동작을 기설정된 횟수 이상 반복하면, 그에 대응되는 특정 기능이나 특정 애플리케이션을 실행한다.In addition, the controller 50 executes a specific function or a specific application corresponding to the screen when the user repeatedly rotates, tilts, or taps a predetermined number of times, no matter what screen is currently displayed.

또한, 제어부(50)는 음성 호가 수신되는 경우, 사용자 동작에 따라 호 연결을 수락하거나 거절하고, 현재 구동중인 애플리케이션을 사용자 동작에 따라 종료시킬 수도 있다.In addition, when a voice call is received, the controller 50 may accept or reject a call connection according to a user operation and terminate the currently running application according to a user operation.

예를 들어, 수신되는 전화가 있을 때, 사용자가 이동 단말을 한 번 두드리면 호 연결을 수락하여 상대방과 통화를 수행할 수 있도록 하고, 사용자가 이동 단말을 연속 두 번 두드리면 호 연결을 거절한다. 그리고, 애플리케이션 A가 구동되고 있는 상태에서 사용자가 이동 단말을 두 번 연속 두드리면 애플리케이션 A의 구동을 종료시킨다.For example, when there is an incoming call, when the user taps the mobile terminal once, the user accepts the call connection to make a call with the other party, and when the user taps the mobile terminal twice consecutively, the call connection is rejected. Then, when the user taps the mobile terminal twice consecutively while the application A is being driven, the driving of the application A is terminated.

도 15는 본 발명의 일 실시예에 따른 동작 인식을 이용한 이동 단말의 조작 방법을 설명하기 위한 처리도이다.15 is a flowchart illustrating an operation method of a mobile terminal using gesture recognition according to an embodiment of the present invention.

우선, 동작 인식부(30)는 사용자의 동작에 따라 동작 인식 센서(20)에서 생성하는 센서 값을 수집한 후(S10), 수집된 센서 값을 이용하여 사용자 동작을 인식한다(S20).First, the motion recognition unit 30 collects sensor values generated by the motion recognition sensor 20 according to the user's motion (S10), and then recognizes the user's motion by using the collected sensor values (S20).

상기한 과정 S20에서 동작 인식부(30)는 동작 인식 센서(20)로부터 수집된 센서 값으로 동작 패턴 데이터베이스(10)를 검색하여 사용자가 수행한 동작을 인식하되, 동작 인식부(30)에서 인식되는 사용자 동작은 회전, 기울이기, 두드리기 등이 될 수 있다.In the process S20, the motion recognition unit 30 searches for the motion pattern database 10 with the sensor values collected from the motion recognition sensor 20 to recognize the motion performed by the user, but recognizes it in the motion recognition unit 30. The user action may be rotation, tilting, tapping, and the like.

이후에는, 사용자가 동작을 수행한 시점의 화면과 애플리케이션에 대한 정보(예를 들어, 사용자가 동작을 수행한 시점에 활성화되어 있는 애플리케이션의 이름, 구동중인 기능 모드, 디스플레이되어 있는 화면 정보 등)를 수집한다(S30).Thereafter, information about the screen and the application at the time when the user performs the operation (for example, the name of the application that is active at the time when the user performs the operation, the function mode in operation, and the displayed screen information) is displayed. Collect (S30).

그리고, 상기한 과정 S20에서 인식된 사용자 동작과 상기한 과정 S30을 통해 수집된 정보에 의거하여 제어부(50)는 애플리케이션 및 화면을 제어한다(S40).Then, the controller 50 controls the application and the screen based on the user operation recognized in the process S20 and the information collected through the process S30 (S40).

상기한 과정 S40에서 제어부(50)는 상기한 과정 S20에서 인식된 사용자 동작과 상기한 과정 S30을 통해 수집된 정보로 동작 제어 데이터베이스(60)를 검색한 후, 검색 결과에 의거하여 애플리케이션 및 화면을 제어한다.In step S40, the control unit 50 searches the motion control database 60 with the user action recognized in step S20 and the information collected through step S30, and then displays the application and the screen based on the search result. To control.

상기한 과정 S40에서 복수의 애플리케이션 아이콘이 배열되어 있는 메뉴 화면이 디스플레이되어 있는 상태에서 사용자 동작이 감지되면, 제어부(50)는 감지된 사용자 동작에 따라 복수의 애플리케이션 아이콘 중에서 어느 하나를 선택하여 실행시키거나 하이라이트 표시한다.If a user operation is detected while a menu screen on which a plurality of application icons are arranged is displayed in step S40, the controller 50 selects and executes one of the plurality of application icons according to the detected user operation. Or highlight it.

또한, 상기한 과정 S40에서 어느 하나의 애플리케이션 아이콘이 하이라이트 표시된 상태에서 사용자 동작이 감지되면, 제어부(50)는 감지된 사용자 동작에 따라 하이라이트 표시되어 있는 애플리케이션을 실행시킨다.In addition, if a user action is detected while any one application icon is highlighted in step S40, the controller 50 executes the application that is highlighted according to the detected user action.

또한, 상기한 과정 S40에서 복수의 기능 모드를 제공하는 애플리케이션의 메뉴 화면이 디스플레이되어 있는 상태에서 사용자 동작이 감지되면, 제어부(50)는 감지된 사용자 동작에 따라 복수의 기능 모드 중에서 어느 하나를 선택하여 실행시키거나 하이라이트 표시한다.In addition, if a user action is detected while the menu screen of the application providing the plurality of function modes is displayed in step S40, the controller 50 selects one of the plurality of function modes according to the detected user action. To run or highlight it.

또한, 상기한 과정 S40에서 어느 하나의 기능 모드가 하이라이트 표시된 상태에서 사용자 동작이 감지되면, 제어부(50)는 감지된 사용자 동작에 따라 하이라이트 표시되어 있는 기능 모드를 실행시킨다.In addition, when a user operation is detected in a state in which any one of the function modes is highlighted in step S40, the controller 50 executes the highlighted function mode according to the detected user operation.

또한, 상기한 과정 S40에서 애플리케이션의 어느 한 기능 모드가 구동되고 있는 상태에서 사용자 동작이 감지되면, 제어부(50)는 감지된 사용자 동작에 따라 해당 애플리케이션의 나머지 기능 모드 중에서 어느 하나를 선택하여 실행시킨다.In addition, if a user operation is detected while a function mode of the application is being driven in step S40, the controller 50 selects and executes any one of the remaining function modes of the application according to the detected user operation. .

또한, 상기한 과정 S40에서 복수의 애플리케이션이 동시에 활성화되어 있는 상태에서 사용자 동작이 감지되면, 제어부(50)는 감지된 사용자 동작에 따라 포어그라운드 모드로 동작중인 애플리케이션의 동작 모드를 백그라운드 모드로 전환하고, 백그라운드 모드로 동작중인 애플리케이션 중에서 어느 하나(예를 들어, 우선 순위가 높은 애플리케이션)를 포어그라운드 모드로 전환한다.In addition, if a user operation is detected while a plurality of applications are simultaneously activated in step S40, the controller 50 switches the operation mode of the application operating in the foreground mode to the background mode according to the detected user operation. In the background mode, any one of applications running in a high priority mode (eg, a high priority application) is switched to the foreground mode.

본 발명의 동작 인식을 이용한 이동 단말의 조작 장치 및 방법은 전술한 실시예에 국한되지 않고 본 발명의 기술 사상이 허용하는 범위 내에서 다양하게 변형하여 실시할 수 있다.The apparatus and method for operating a mobile terminal using motion recognition according to the present invention can be variously modified and implemented within the scope of the technical idea of the present invention without being limited to the above-described embodiment.

10. 동작 패턴 데이터베이스, 20. 동작 인식 센서,
30. 동작 인식부, 33. 데이터 전처리부,
35. 동작 결정부, 40. 정보 수집부,
50. 제어부, 60. 동작 제어 데이터베이스10. motion pattern database, 20. motion recognition sensor,
30. Motion recognition unit, 33. Data preprocessor,
35. operation determining unit, 40. information collecting unit,
50. control unit, 60. motion control database

Claims (24)

사용자 동작 인식 기준이 되는 기준 센서 값을 저장하고 있는 동작 패턴 데이터베이스와;
이동 단말에 내장되어 사용자의 동작에 따라 센서 값을 생성하는 동작 인식 센서로부터 수집한 센서 값에 의거하여 사용자 동작을 인식하는 동작 인식부와;
사용자가 동작을 수행한 시점의 화면과 애플리케이션에 대한 정보를 수집하는 정보 수집부와;
상기 정보 수집부에서 수집된 정보와 상기 동작 인식부에서 인식된 동작에 의거하여 애플리케이션 및 화면을 제어하는 제어부를 포함하여 이루어지되,
상기 제어부는,
복수의 애플리케이션 아이콘이 배열되어 있는 메뉴 화면이 디스플레이되어 있는 상태에서 사용자 동작이 감지되면, 감지된 사용자 동작에 따라 복수의 애플리케이션 아이콘 중에서 어느 하나를 선택하여 하이라이트 표시하는 동작 인식을 이용한 이동 단말의 조작 장치.An operation pattern database storing a reference sensor value serving as a user motion recognition criterion;
A motion recognition unit embedded in the mobile terminal and recognizing a user motion based on a sensor value collected from a motion recognition sensor generating a sensor value according to a user's motion;
An information collector configured to collect information about a screen and an application at the time when a user performs an operation;
It includes a control unit for controlling the application and the screen based on the information collected by the information collecting unit and the operation recognized by the motion recognition unit,
The control unit,
When a user's motion is detected while a menu screen on which a plurality of application icons are arranged is displayed, an operation apparatus of a mobile terminal using gesture recognition for selecting and highlighting any one of a plurality of application icons according to the detected user's motion . 제 1항에 있어서, 상기 동작 인식부는,
상기 동작 인식 센서로부터 수집된 센서 값을 전처리하는 데이터 전처리부와;
전처리된 센서 값으로 상기 동작 패턴 데이터베이스를 검색하여 사용자가 수행한 동작을 결정하는 동작 결정부를 포함하여 이루어지는 것을 특징으로 하는 동작 인식을 이용한 이동 단말의 조작 장치.The method of claim 1, wherein the gesture recognition unit,
A data preprocessor configured to preprocess the sensor values collected from the motion recognition sensor;
And an operation determiner configured to determine an operation performed by a user by searching the operation pattern database using a preprocessed sensor value. 제 1항 또는 제 2항에 있어서, 상기 동작 인식 센서는,
지자기 센서, 자이로 센서(각속도 센서), 가속도 센서, 중력 센서, 적외선 센서 중에서 적어도 어느 하나를 포함하여 이루어지는 것을 특징으로 하는 동작 인식을 이용한 이동 단말의 조작 장치.The method of claim 1 or 2, wherein the motion recognition sensor,
At least one of a geomagnetic sensor, a gyro sensor (angular velocity sensor), an acceleration sensor, a gravity sensor, and an infrared sensor. 제 1항에 있어서, 각 애플리케이션의 기능 및 화면별로 사용자 동작에 따른 동작 제어 정보를 저장하고 있는 동작 제어 데이터베이스를 더 포함하여 이루어지는 것을 특징으로 하는 동작 인식을 이용한 이동 단말의 조작 장치.The apparatus of claim 1, further comprising an operation control database that stores operation control information according to a user's operation for each function and screen of each application. 삭제delete 삭제delete 제 1항에 있어서, 상기 제어부는,
어느 하나의 애플리케이션 아이콘이 하이라이트 표시된 상태에서 사용자 동작이 감지되면, 감지된 사용자 동작에 따라 하이라이트 표시된 애플리케이션을 실행시키는 것을 특징으로 하는 동작 인식을 이용한 이동 단말의 조작 장치.The apparatus of claim 1,
And when a user's motion is detected while one of the application icons is highlighted, executing the highlighted application according to the detected user's motion. 제 1항에 있어서, 상기 제어부는,
복수의 기능 모드를 제공하는 애플리케이션의 메뉴 화면이 디스플레이되어 있는 상태에서 사용자 동작이 감지되면, 감지된 사용자 동작에 따라 복수의 기능 모드 중에서 어느 하나를 선택하여 실행시키는 것을 특징으로 하는 동작 인식을 이용한 이동 단말의 조작 장치.The apparatus of claim 1,
When a user's motion is detected while a menu screen of an application providing a plurality of function modes is displayed, movement using motion recognition may be performed by selecting one of a plurality of function modes according to the detected user's motion. The operating device of the terminal. 제 1항에 있어서, 상기 제어부는,
복수의 기능 모드를 제공하는 애플리케이션의 메뉴 화면이 디스플레이되어 있는 상태에서 사용자 동작이 감지되면, 감지된 사용자 동작에 따라 복수의 기능 모드 중에서 어느 하나를 선택하여 하이라이트 표시하는 것을 특징으로 하는 동작 인식을 이용한 이동 단말의 조작 장치.The apparatus of claim 1,
When the user's motion is detected while the menu screen of the application providing the plurality of function modes is displayed, the user may select one of the plurality of function modes and highlight the selected function according to the detected user's motion. Operation apparatus of the mobile terminal. 제 1항 또는 제 9항에 있어서, 상기 제어부는,
복수의 기능 모드를 제공하는 애플리케이션의 메뉴 화면에서 어느 하나의 기능 모드가 하이라이트 표시된 상태에서 사용자 동작이 감지되면, 감지된 사용자 동작에 따라 하이라이트 표시된 기능 모드를 실행시키는 것을 특징으로 하는 동작 인식을 이용한 이동 단말의 조작 장치.The method of claim 1 or 9, wherein the control unit,
When a user's motion is detected while a function mode is highlighted on a menu screen of an application providing a plurality of function modes, movement using motion recognition is executed according to the detected user's motion. The operating device of the terminal. 제 1항에 있어서, 상기 제어부는,
복수의 기능 모드를 제공하는 애플리케이션의 어느 한 기능 모드가 구동되고 있는 상태에서 사용자 동작이 감지되면, 감지된 사용자 동작에 따라 나머지 기능 모드 중에서 어느 하나를 선택하여 실행시키는 것을 특징으로 하는 동작 인식을 이용한 이동 단말의 조작 장치.The apparatus of claim 1,
When a user's motion is detected while a function mode of an application providing a plurality of function modes is running, the user may select one of the remaining function modes according to the detected user's motion and execute the motion recognition. Operation apparatus of the mobile terminal. 제 1항에 있어서, 상기 제어부는,
복수의 애플리케이션이 동시에 활성화되어 있는 상태에서 사용자 동작이 감지되면, 감지된 사용자 동작에 따라 포어그라운드 모드로 동작중인 애플리케이션의 동작 모드를 백그라운드 모드로 전환하고, 백그라운드 모드로 동작중인 애플리케이션 중에서 어느 하나를 포어그라운드 모드로 전환하는 것을 특징으로 하는 동작 인식을 이용한 이동 단말의 조작 장치.The apparatus of claim 1,
When a user motion is detected while a plurality of applications are active at the same time, according to the detected user motion, the operation mode of the application operating in the foreground mode is changed to the background mode, and any one of the applications running in the background mode is forked. Operating device for a mobile terminal using the motion recognition, characterized in that switching to the ground mode. 제 1항에 있어서, 상기 제어부는,
복수의 애플리케이션 아이콘이 배열되어 있는 메뉴 화면이 디스플레이되어 있는 상태에서 사용자 동작이 감지되면, 감지된 사용자 동작에 따라 복수의 애플리케이션 아이콘이 디스플레이되어 있는 화면을 상, 하, 좌, 우 방향 중에서 어느 한 방향으로 스크롤하여 화면 전환하는 것을 특징으로 하는 동작 인식을 이용한 이동 단말의 조작 장치.The apparatus of claim 1,
When a user's motion is detected while the menu screen on which a plurality of application icons are arranged is displayed, the screen on which the plurality of application icons are displayed according to the detected user's motion is selected from one of up, down, left, and right directions. And an apparatus for operating a mobile terminal using motion recognition, wherein the screen is switched to the screen. 제 1항에 있어서, 상기 제어부는,
복수의 기능 모드를 제공하는 애플리케이션의 메뉴 화면이 디스플레이되어 있는 상태에서 사용자 동작이 감지되면, 감지된 사용자 동작에 따라 복수의 기능 모드가 디스플레이되어 있는 화면을 상, 하, 좌, 우 방향 중에서 어느 한 방향으로 스크롤하여 화면 전환하는 것을 특징으로 하는 동작 인식을 이용한 이동 단말의 조작 장치.The apparatus of claim 1,
When a user's motion is detected while the menu screen of an application that provides a plurality of function modes is displayed, the screen displaying the plurality of function modes is displayed in one of up, down, left, and right directions according to the detected user's motion. A device for operating a mobile terminal using motion recognition, characterized by scrolling in a direction to switch screens. 제 1항에 있어서, 상기 제어부는,
복수의 화면을 제공하는 기능 모드가 구동되고 있는 상태에서 사용자 동작이 감지되면, 감지된 사용자 동작에 따라 이전 화면 또는 다음 화면으로 화면 전환하는 것을 특징으로 하는 동작 인식을 이용한 이동 단말의 조작 장치.The apparatus of claim 1,
When a user motion is detected while a function mode for providing a plurality of screens is being driven, the operation apparatus of the mobile terminal using motion recognition, wherein the screen is switched to the previous screen or the next screen according to the detected user motion. 제 1항에 있어서, 상기 사용자 동작은,
회전(rotating), 기울이기(tilting), 두드리기(tapping) 중에서 어느 하나에 해당하는 것을 특징으로 하는 동작 인식을 이용한 이동 단말의 조작 장치.The method of claim 1, wherein the user action,
Operating apparatus of a mobile terminal using motion recognition, characterized in that any one of the rotating (rotating), tilting (tapping), tapping (tapping). 제 1항에 있어서, 상기 제어부는,
인식된 사용자 동작이 두드리기 동작에 해당하면, 두드리는 위치, 강도, 횟수, 간격에 따라 서로 다른 동작으로 인식하여 애플리케이션 및 화면을 제어하는 것을 특징으로 하는 동작 인식을 이용한 이동 단말의 조작 장치.The apparatus of claim 1,
If the recognized user motion corresponds to the tapping motion, the operation device of the mobile terminal using the motion recognition according to the tapping position, the strength, the number of times, the interval is recognized as a different motion to control the application and the screen. 제 1항에 있어서, 상기 제어부는,
복수의 사용자 동작에 의거하여 애플리케이션 및 화면을 제어하는 것을 특징으로 하는 동작 인식을 이용한 이동 단말의 조작 장치.The apparatus of claim 1,
An apparatus for operating a mobile terminal using motion recognition, characterized in that for controlling an application and a screen based on a plurality of user motions. 사용자의 동작에 따라 동작 인식 센서에서 생성하는 센서 값을 수집하는 과정과;
상기 수집된 센서 값을 이용하여 사용자 동작을 인식하는 과정과;
사용자가 동작을 수행한 시점의 화면과 애플리케이션에 대한 정보를 수집하는 과정과;
수집된 정보와 인식된 동작에 의거하여 애플리케이션 및 화면을 제어하는 제어 과정을 포함하여 이루어지되,
상기 제어 과정은,
복수의 애플리케이션 아이콘이 배열되어 있는 메뉴 화면이 디스플레이되어 있는 상태에서 사용자 동작이 감지되면, 감지된 사용자 동작에 따라 복수의 애플리케이션 아이콘 중에서 어느 하나를 선택하여 하이라이트 표시하는 과정으로 이루어지는 동작 인식을 이용한 이동 단말의 조작 방법.Collecting sensor values generated by a motion recognition sensor according to a user's motion;
Recognizing a user's motion by using the collected sensor values;
Collecting information about a screen and an application at the time when a user performs an operation;
Including the control process for controlling the application and the screen based on the collected information and the recognized action,
The control process,
When a user's motion is detected while a menu screen on which a plurality of application icons are arranged is displayed, the mobile terminal using motion recognition includes selecting and highlighting any one of the plurality of application icons according to the detected user's motion. Operation method. 삭제delete 제 19항에 있어서, 상기 제어 과정은,
어느 하나의 애플리케이션 아이콘이 하이라이트 표시된 상태에서 사용자 동작이 감지되면, 감지된 사용자 동작에 따라 하이라이트 표시된 애플리케이션을 실행시키는 과정을 더 포함하여 이루어지는 것을 특징으로 하는 동작 인식을 이용한 이동 단말의 조작 방법.The method of claim 19, wherein the control process,
If a user action is detected while one of the application icons is highlighted, executing the highlighted application according to the detected user action. 제 19항에 있어서, 상기 제어 과정은,
복수의 기능 모드를 제공하는 애플리케이션의 메뉴 화면이 디스플레이되고 있는 상태에서 사용자 동작이 감지되면, 감지된 사용자 동작에 따라 복수의 기능 모드 중에서 어느 하나를 선택하여 하이라이트 표시하는 과정을 포함하여 이루어지는 것을 특징으로 하는 동작 인식을 이용한 이동 단말의 조작 방법.The method of claim 19, wherein the control process,
If a user action is detected while a menu screen of an application providing a plurality of function modes is being displayed, selecting and highlighting any one of the plurality of function modes according to the detected user action is included. A method of operating a mobile terminal using gesture recognition. 제 19항 또는 제 22항에 있어서, 상기 제어 과정은,
복수의 기능 모드를 제공하는 애플리케이션의 메뉴 화면에서 어느 하나의 기능 모드가 하이라이트 표시된 상태에서 사용자 동작이 감지되면, 감지된 사용자 동작에 따라 하이라이트 표시된 기능 모드를 실행시키는 과정을 더 포함하여 이루어지는 것을 특징으로 하는 동작 인식을 이용한 이동 단말의 조작 방법.The method of claim 19 or 22, wherein the control process,
If a user operation is detected in a state in which one function mode is highlighted on a menu screen of an application providing a plurality of function modes, the method further comprises executing the highlighted function mode according to the detected user action. A method of operating a mobile terminal using gesture recognition. 제 19항에 있어서, 상기 제어 과정은,
복수의 애플리케이션이 동시에 활성화되어 있는 상태에서 사용자 동작이 감지되면, 감지된 사용자 동작에 따라 포어그라운드 모드로 동작중인 애플리케이션의 동작 모드를 백그라운드 모드로 전환하고, 백그라운드 모드로 동작중인 애플리케이션 중에서 어느 하나를 포어그라운드 모드로 전환하는 과정을 포함하여 이루어지는 것을 특징으로 하는 동작 인식을 이용한 이동 단말의 조작 방법.The method of claim 19, wherein the control process,
When a user motion is detected while a plurality of applications are active at the same time, according to the detected user motion, the operation mode of the application operating in the foreground mode is changed to the background mode, and any one of the applications running in the background mode is forked. A method of operating a mobile terminal using gesture recognition, comprising the step of switching to the ground mode.
KR1020110096770A 2011-09-26 2011-09-26 Apparatus and method for operating of mobile device using gesture recognition KR101256917B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110096770A KR101256917B1 (en) 2011-09-26 2011-09-26 Apparatus and method for operating of mobile device using gesture recognition

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110096770A KR101256917B1 (en) 2011-09-26 2011-09-26 Apparatus and method for operating of mobile device using gesture recognition

Publications (2)

Publication Number Publication Date
KR20130032994A KR20130032994A (en) 2013-04-03
KR101256917B1 true KR101256917B1 (en) 2013-04-25

Family

ID=48435591

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110096770A KR101256917B1 (en) 2011-09-26 2011-09-26 Apparatus and method for operating of mobile device using gesture recognition

Country Status (1)

Country Link
KR (1) KR101256917B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102097637B1 (en) * 2013-10-21 2020-04-06 엘지전자 주식회사 Control apparatus of mobile terminal and method thereof
KR101480655B1 (en) * 2013-12-26 2015-01-09 현대자동차주식회사 User interface apparatus using speaker and method thereof
KR101626489B1 (en) 2014-11-12 2016-06-13 엘지전자 주식회사 Mobile terminal and method for controlling the same
KR102103735B1 (en) 2014-11-21 2020-04-23 에스케이텔레콤 주식회사 Correction mehtod for motion recognition in correction system of motion recognition

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100061259A (en) * 2008-11-28 2010-06-07 삼성전자주식회사 Input device for portable device and method thereof
KR20120024247A (en) * 2010-09-06 2012-03-14 삼성전자주식회사 Method for operating a mobile device by recognizing a user gesture and the mobile device thereof

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100061259A (en) * 2008-11-28 2010-06-07 삼성전자주식회사 Input device for portable device and method thereof
KR20120024247A (en) * 2010-09-06 2012-03-14 삼성전자주식회사 Method for operating a mobile device by recognizing a user gesture and the mobile device thereof

Also Published As

Publication number Publication date
KR20130032994A (en) 2013-04-03

Similar Documents

Publication Publication Date Title
JP5790203B2 (en) Information processing apparatus, information processing method, program, and remote operation system
KR101540169B1 (en) Method and device for switching application program of touch screen terminal
US20220197458A1 (en) Portable terminal device
KR100876754B1 (en) Portable electronic apparatus for operating mode converting
RU2666236C2 (en) Method of block display operation and terminal therefor
KR101880968B1 (en) Method arranging user interface objects in touch screen portable terminal and apparatus therof
KR100678963B1 (en) Portable device and operation method comprising input button to enable revolution
CN106775313A (en) Split screen method of controlling operation thereof and mobile terminal
CN104516583B (en) Input unit and its control method, information processing unit
KR101413286B1 (en) Electronic device and apparatus and method for unlocking the electronic device
JP6002688B2 (en) GUI providing method and apparatus for portable terminal
KR20140017429A (en) Method of screen operation and an electronic device therof
KR20110037657A (en) Method for providing gui by using motion and display apparatus applying the same
US20230017694A1 (en) Method and apparatus for controlling interface display, device, and storage medium
KR20100013683A (en) Contents navigation apparatus and method thereof and telematics terminal using the same
CN104199604A (en) Electronic device with touch display screen and information processing method thereof
CN102640102A (en) Information processing device, information processing method and program
US20110209090A1 (en) Display device
JP6508122B2 (en) Operation input device, portable terminal and operation input method
CN105824693B (en) A kind of control method that multitask is shown and mobile terminal
KR101256917B1 (en) Apparatus and method for operating of mobile device using gesture recognition
KR101530546B1 (en) Input Device For Portable Device And Method thereof
JP6691426B2 (en) Mobile terminal
KR101725253B1 (en) Portable terminal having mouse function
KR20140138101A (en) Mobile terminal based on 3D function key and Method for converting of display 3D function key

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160401

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170403

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180409

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190415

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200224

Year of fee payment: 8