WO2012093779A2 - User terminal supporting multimodal interface using user touch and breath and method for controlling same - Google Patents

User terminal supporting multimodal interface using user touch and breath and method for controlling same Download PDF

Info

Publication number
WO2012093779A2
WO2012093779A2 PCT/KR2011/009607 KR2011009607W WO2012093779A2 WO 2012093779 A2 WO2012093779 A2 WO 2012093779A2 KR 2011009607 W KR2011009607 W KR 2011009607W WO 2012093779 A2 WO2012093779 A2 WO 2012093779A2
Authority
WO
WIPO (PCT)
Prior art keywords
user
touch
breathing
command
input
Prior art date
Application number
PCT/KR2011/009607
Other languages
French (fr)
Korean (ko)
Other versions
WO2012093779A3 (en
Inventor
최종명
Original Assignee
목포대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 목포대학교산학협력단 filed Critical 목포대학교산학협력단
Publication of WO2012093779A2 publication Critical patent/WO2012093779A2/en
Publication of WO2012093779A3 publication Critical patent/WO2012093779A3/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Definitions

  • the present invention relates to a multi-modal interface supporting user terminal and a control method thereof, and more particularly, to a plurality of input devices (touch screen and microphone) without using multi-touch in a small terminal (cell phone, PDA, PMP, pad, etc.).
  • the present invention relates to a multi-modal interface supporting user terminal using a user touch and breathing to support a convenient user command input similarly to a multi-touch using a multi-touch and a control method thereof.
  • the user interface using a multi-touch gesture is very convenient, but there is a problem that you must always use two hands.
  • smartphones and pads iPad, Galaxy, etc.
  • smartphones and pads that support touch screens and multi-touch inputs can use commands such as zooming in, zooming out, and moving screen contents when controlling applications. Enter through For example, in the case of Apple's iPhone, attaching two fingers to the touchscreen and spreading them apart enlarges the screen.
  • Virtual thumb is a method of placing a finger on the touch screen so that a virtual finger appears at the corresponding position. That is, the user may use the multi-touch gesture function by using the virtual finger and the real finger.
  • the virtual thumb has the advantage of providing the function of a multi-touch gesture with one finger, but the user has to press the touch screen once to create a mask and to perform a gesture using a finger once again.
  • an aspect of the present invention is to provide a multi-modal interface supporting user terminal using a user touch and blowing and a control method thereof.
  • a method of controlling a user terminal using a multi-modal interface using a user touch and breathing comprising: receiving a user touch, receiving a user's breath, and the user's touch and the Performing a user command corresponding to a user's breathing.
  • the method may further include detecting the user blowing type, and the user command may correspond to the user blowing type.
  • the detection of the user's breathing type may be performed based on at least one of the intensity and the number of times of the user's blowing.
  • the user command may correspond to a combination of the user wearing form and the user touch position.
  • the user command is a command to rotate the screen counterclockwise.
  • the user command rotates the screen clockwise. It may be a command.
  • the rotation angle of the screen may increase according to the intensity or frequency of the user breathing.
  • the performing of the user command in the method may be performed when the user input is made within a predetermined time after the user touch input.
  • a computer readable medium records a program for causing a computer to execute any one of the above methods.
  • a multi-modal interface supporting user terminal using user touch and breathing includes a touch input unit for receiving a user touch, a breath input unit for receiving user breath, and a user corresponding to the user touch and the user's breath It includes a control unit for performing a command.
  • the control unit may detect the user's blowing type, and the user command may correspond to the user's blowing type.
  • FIG. 1 is a conceptual diagram illustrating a user command input through a multi-modal interface of a user terminal according to an embodiment of the present invention.
  • FIG. 2 is a block diagram showing the configuration of a user terminal according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a user blowing form input to a user terminal according to an embodiment of the present invention.
  • FIG. 4 is a flowchart provided to explain a control method of a user terminal according to an exemplary embodiment of the present invention.
  • 5A and 5B are views illustrating a location of a user touch input to a user terminal according to an embodiment of the present invention.
  • FIG. 1 is a conceptual diagram illustrating a user command input through a multi-modal interface of a user terminal according to an embodiment of the present invention.
  • the multi-modal interface refers to an input method using multiple input devices (touch screen, microphone, etc.) at the same time.
  • the user terminal 20 may turn on the user 13 for a predetermined time. Wait for input.
  • the user terminal 20 detects a user's blowing type and performs an operation accordingly.
  • the user terminal 20 performs an operation according to the touch input.
  • the user's wear type may be detected only when the user's finger 11 is in contact with the touch input unit 21 and the corresponding operation may be performed.
  • FIG. 2 is a block diagram showing the configuration of a user terminal according to an embodiment of the present invention.
  • the user terminal 20 may include a touch input unit 21, a breath input unit 22, a display unit 23, a storage unit 24, and a controller 25.
  • a touch input unit 21 may include a touch input unit 21, a breath input unit 22, a display unit 23, a storage unit 24, and a controller 25.
  • a controller 25 may include a touch input unit 21, a breath input unit 22, a display unit 23, a storage unit 24, and a controller 25.
  • the touch input unit 21 receives a user input by contact.
  • the touch input unit 21 may be disposed on the display unit 23 to identify a position where the user's finger is in contact with and transmit the touch input to the control unit 25.
  • the touch input unit 21 may be implemented in any manner such as capacitive and resistive.
  • the breath input unit 22 receives a user input by blowing the user.
  • the breathing input unit 22 may transmit information on a user's breathing form to the controller 25.
  • the input unit 22 may be implemented as a micro.
  • the microphone vibrates by a sound caused by a user's breath, and can output an electrical signal according to the vibration.
  • the electrical signal output from the microphone may have a different shape according to the intensity and frequency of the user's breath, and may correspond to the user's breath.
  • the display unit 23 performs a function of displaying various information related to the operation of the user terminal 20 on the screen.
  • the display unit 23 may be implemented as a liquid crystal display (LCD) panel, organic light emitting diodes (OLED) panel, or the like.
  • the storage unit 24 stores various data and programs related to the operation of the user terminal 20 and performs a function of providing the data according to a request of the controller 25.
  • the storage unit 24 may be implemented as a storage medium such as a RAM, a ROM, a hard disk, or the like.
  • the control unit 25 controls the overall operation of the user terminal 20, and in particular, the control unit 25 according to the present invention corresponds to a user touch input by the touch input unit 21 and the breath input unit 22 and the user's breath Run the user command.
  • the control unit 25 may detect a user's breathing pattern and perform a user command accordingly.
  • the user's breathing pattern may be detected by analyzing the intensity of the user's breath or the number of user's breaths.
  • FIG. 3 is a diagram illustrating a user blowing form input to a user terminal according to an embodiment of the present invention.
  • the user's breathing form is a form in which the user blows the blowing hardly once (A), the blowing blows the long blowing (B), the blowing blows twice hardly (C) or the blowing while the middle of the blowing is continued.
  • the second blowing may be divided into other forms according to the shape (D) or the like, depending on the intensity of the user's breathing or the number of user's breaths. 3 is merely an example, and various other forms may be used.
  • FIG. 4 is a flowchart provided to explain a control method of a user terminal according to an exemplary embodiment of the present invention.
  • the controller 25 waits for a user input for a predetermined time (S420).
  • the waiting time may be set by default by the user terminal manufacturer or the multi-modal interface application producer according to the present invention or set by the user.
  • the user terminal 20 may be implemented to perform the operations of steps S420 to S440 when the user input is input while the user touch input is input.
  • the control unit 25 detects the input user's blowing type (S430).
  • the user's breathing pattern may be classified into other forms and detected according to the intensity of the user's breath or the number of user's breaths.
  • the controller 25 performs a user command corresponding to the detected user blowing type (S440). For example, when the blowing form A is detected among the user blowing forms illustrated in FIG. 3, the screen is enlarged, when the blowing form B is detected, the screen is moved, and the blowing form C is detected. If the screen is reduced, the screen may be reduced, and if the blowing type D is detected, the screen may be rotated.
  • the user command performed according to the type of wearing is merely an example, and may be implemented to perform other user commands, and a user wearing type other than the illustrated type may also be used.
  • control unit 25 may perform a user command according to the user touch input (S450).
  • the user command may be implemented to correspond to a combination of a user's wearing form and a user's touch position.
  • a user command corresponding to a combination of a user's wearing type and a user's touch position will be described with reference to FIG. 5.
  • 5 (a) and 5 (b) are diagrams provided to explain the rotation of a screen when a user inputs a user input according to a user touch position according to an embodiment of the present invention.
  • the user terminal 20 may rotate the screen in a counterclockwise direction (L).
  • the user terminal 20 may rotate the screen clockwise.
  • the rotation angle of the screen may be increased according to the intensity or frequency of user's breathing. For example, if user touch is input while the user touch position Ptouch is left (or right) at the center of the screen, the screen is rotated more counterclockwise (or clockwise) in proportion to the intensity of the user's breath. Can be implemented.
  • Embodiments of the invention include a computer readable medium containing program instructions for performing various computer-implemented operations.
  • This medium records a program for executing a control method of a multi-modal interface supporting user terminal utilizing user touch and breath described so far.
  • the media may include, alone or in combination with the program instructions, data files, data structures, and the like. Examples of such media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CDs and DVDs, floppy disks and program commands such as magnetic-optical media, ROM, RAM, flash memory, and the like.
  • Hardware devices configured to store and perform such operations.
  • the medium may be a transmission medium such as an optical or metal wire, a waveguide, or the like including a carrier wave for transmitting a signal specifying a program command, a data structure, and the like.
  • program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the user terminal in a small computer system such as a mobile phone, PDA, tablet pad, etc., the user terminal can be held with one hand and the other hand can freely provide a function similar to a multi-touch gesture through user breathing.
  • the user can control the user terminal through a function similar to a multi-touch gesture with only one hand, and at the same time, the other hand has an advantage of being able to do other work.
  • a user who is uncomfortable with one hand has an advantage of controlling the user terminal similarly to a multi-touch gesture.

Abstract

The present invention relates to a user terminal supporting a multimodal interface using the touch and the breath of a user, and to a method for controlling same. The user terminal, according to the present invention, is the user terminal supporting the multimodal interface using the touch and the breath of the user comprising: a touch input unit for receiving a touch input by the user; a breath input unit for receiving a breath input by the user; and a control unit for executing a user command, which corresponds to the touch and the breath of the user, thereby enabling the user to use only one hand to control the user terminal through a function similar to a multi-touch gesture, and use the other hand for another task.

Description

사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말과 그 제어 방법Multi-modal interface support user terminal using user touch and breath and its control method
본 발명은 멀티 모달 인터페이스 지원 사용자 단말과 그 제어 방법에 관한 것으로, 보다 상세하게는 소형 단말기(핸드폰, PDA, PMP, 패드 등)에서 멀티 터치를 사용하지 않고, 여러 개의 입력 장치(터치스크린과 마이크)를 이용해서 멀티 터치와 유사하게 편리한 사용자 명령어 입력을 지원할 수 있게 하는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말과 그 제어 방법에 관한 것이다.The present invention relates to a multi-modal interface supporting user terminal and a control method thereof, and more particularly, to a plurality of input devices (touch screen and microphone) without using multi-touch in a small terminal (cell phone, PDA, PMP, pad, etc.). The present invention relates to a multi-modal interface supporting user terminal using a user touch and breathing to support a convenient user command input similarly to a multi-touch using a multi-touch and a control method thereof.
터치 스크린의 멀티 터치 기술을 애플이 아이폰에 적용하면서 스마트폰에서 사용자 인터페이스에 획기적인 변화와 발전이 있었다. 예를 들어 사용자는 화면을 확대하기 위해서 터치 스크린에 손가락 두 개를 대고 펼치는 동작을 하면 확대가 이루어지고, 역으로 손가락 두 개를 대고 오므리는 동작을 취하면 화면이 축소되는 사용자 인터페이스가 개발되었다. 이러한 제스처를 통한 사용자 인터페이스는 사용자가 직감적으로 쉽게 배우고 편리하게 사용할 수 있기 때문에 스마트폰 시장에서 아이폰의 시장 점유율에 지대한 영향을 미쳤다.With Apple's application of touchscreen multi-touch technology to the iPhone, significant changes and advances have been made in the user interface on smartphones. For example, a user interface has been developed in which a user pushes two fingers apart on the touch screen to enlarge the screen and enlarges the screen, and conversely, a user pinchs two fingers apart to reduce the screen. The user interface through these gestures has a great impact on the iPhone's market share in the smartphone market because the user can intuitively learn and use it conveniently.
그런데 멀티 터치 제스처를 활용한 사용자 인터페이스는 매우 편리하지만 항상 두 손을 사용해야 한다는 문제점이 있다. 현재 터치스크린과 멀티 터치 입력을 지원하는 스마트폰, 패드(아이패드, 갤럭시 등) 등은 응용프로그램을 제어할 때 화면 내용의 확대, 축소, 이동 등의 명령을 터치스크린에서 두 개 이상의 손가락 동작을 통해서 입력한다. 예를 들어, 애플사의 아이폰의 경우에 두 개 손가락을 터치스크린에 붙이고, 두 손가락을 벌리면, 화면이 확대된다. By the way, the user interface using a multi-touch gesture is very convenient, but there is a problem that you must always use two hands. Currently, smartphones and pads (iPad, Galaxy, etc.) that support touch screens and multi-touch inputs can use commands such as zooming in, zooming out, and moving screen contents when controlling applications. Enter through For example, in the case of Apple's iPhone, attaching two fingers to the touchscreen and spreading them apart enlarges the screen.
그러나 대부분의 사용자들이 핸드폰을 한 손을 이용해서 사용하는 경향이 있다. 예를 들어 한 손으로 핸드폰을 쥐고, 핸드폰을 쥔 손의 엄지 손가락으로 제스처를 사용하는 경향이 많다. 그런데 멀티 터치 제스처를 사용하기 위해서는 한 손으로는 핸드폰을 들고, 다른 손의 두 개 손가락으로 핸드폰에 제스처를 취해야 한다. 따라서 두 손이 모두 자유로운 경우에는 불편함이 덜하겠지만, 핸드폰을 쥐고 있지 않은 다른 손에 짐이 있거나 또는 한 손이 불편한 경우에는 여러 개의 손가락을 사용하는 멀티 터치 기반의 사용자 인터페이스를 사용하기 곤란한 문제점이 있었다.However, most users tend to use their phones with one hand. For example, you tend to hold your phone with one hand and use gestures with the thumb of your hand. However, in order to use a multi-touch gesture, one hand must hold the mobile phone and two fingers of the other hand must gesture to the mobile phone. Therefore, if both hands are free, it will be less inconvenient, but if there is a load on the other hand that does not hold the mobile phone, or one hand is inconvenient, it is difficult to use a multi-touch based user interface using multiple fingers. there was.
한편 이러한 멀티 터치 제스처의 문제점을 해결하기 위해서 개발된 버추얼 썸(Virtual Thumb) 기술이 있다. 버추얼 썸은 터치 스크린에 한 손가락을 대면 해당 위치에 가상의 손가락이 나타나도록 하는 방법이다. 즉 사용자는 가상 손가락과 실제 손가락을 이용해서 멀티 터치 제스처 기능을 사용할 수 있다. 그런데 버추얼 썸은 한 개의 손가락으로 멀티 터치 제스처의 기능을 제공할 수 있는 장점은 있으나, 사용자가 일단 터치 스크린을 눌러서 마스크를 만들고 다시 한번 손가락을 이용해서 제스처를 수행해야 하는 번거로움이 있다.Meanwhile, there is a virtual thumb technology developed to solve the problem of the multi-touch gesture. Virtual thumb is a method of placing a finger on the touch screen so that a virtual finger appears at the corresponding position. That is, the user may use the multi-touch gesture function by using the virtual finger and the real finger. By the way, the virtual thumb has the advantage of providing the function of a multi-touch gesture with one finger, but the user has to press the touch screen once to create a mask and to perform a gesture using a finger once again.
따라서 본 발명이 이루고자 하는 기술적 과제는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말과 그 제어 방법을 제공하는 것이다.Accordingly, an aspect of the present invention is to provide a multi-modal interface supporting user terminal using a user touch and blowing and a control method thereof.
이러한 기술적 과제를 이루기 위한 본 발명의 한 실시예에 따른 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말 제어 방법은 사용자 터치를 입력받는 단계, 사용자 입김을 입력받는 단계, 그리고 상기 사용자 터치 및 상기 사용자 입김에 대응되는 사용자 명령을 수행하는 단계를 포함한다.According to an aspect of the present invention, there is provided a method of controlling a user terminal using a multi-modal interface using a user touch and breathing, the method comprising: receiving a user touch, receiving a user's breath, and the user's touch and the Performing a user command corresponding to a user's breathing.
상기 방법은, 상기 사용자 입김 형태를 검출하는 단계를 더 포함하고, 상기 사용자 명령은 상기 사용자 입김 형태에 대응될 수 있다.The method may further include detecting the user blowing type, and the user command may correspond to the user blowing type.
상기 사용자 입김 형태 검출은 상기 사용자 입김의 강도 및 횟수 중 적어도 하나에 기초하여 수행될 수 있다.The detection of the user's breathing type may be performed based on at least one of the intensity and the number of times of the user's blowing.
상기 사용자 명령은 상기 사용자 입김 형태 및 상기 사용자 터치 위치의 조합에 대응될 수 있다.The user command may correspond to a combination of the user wearing form and the user touch position.
상기 사용자 터치 위치가 화면의 중심에서 좌측인 경우 상기 사용자 명령은 화면을 시계 반대 방향으로 회전하는 명령이고, 상기 사용자 터치 위치가 화면의 중심에서 우측인 경우 상기 사용자 명령은 화면을 시계 방향으로 회전하는 명령일 수 있다.When the user touch position is left from the center of the screen, the user command is a command to rotate the screen counterclockwise. When the user touch position is right from the center of the screen, the user command rotates the screen clockwise. It may be a command.
상기 사용자 입김의 강도 또는 횟수에 따라 상기 화면의 회전 각도가 커질 수 있다.The rotation angle of the screen may increase according to the intensity or frequency of the user breathing.
상기 방법에서 상기 사용자 명령을 수행하는 단계는 상기 사용자 입김 입력이 상기 사용자 터치 입력 후 소정 시간 이내에 이루어진 경우 수행될 수 있다.The performing of the user command in the method may be performed when the user input is made within a predetermined time after the user touch input.
본 발명의 다른 실시예에 따른 컴퓨터로 읽을 수 있는 매체는 상기한 방법 중 어느 하나를 컴퓨터에 실행시키기 위한 프로그램을 기록한다.A computer readable medium according to another embodiment of the present invention records a program for causing a computer to execute any one of the above methods.
본 발명의 한 실시예에 따른 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말은 사용자 터치를 입력받는 터치입력부, 사용자 입김을 입력받는 입김입력부, 그리고 상기 사용자 터치 및 상기 사용자 입김에 대응되는 사용자 명령을 수행하는 제어부를 포함한다.According to an embodiment of the present invention, a multi-modal interface supporting user terminal using user touch and breathing includes a touch input unit for receiving a user touch, a breath input unit for receiving user breath, and a user corresponding to the user touch and the user's breath It includes a control unit for performing a command.
상기 제어부는 상기 사용자 입김 형태를 검출하고, 상기 사용자 명령은 상기 사용자 입김 형태에 대응될 수 있다.The control unit may detect the user's blowing type, and the user command may correspond to the user's blowing type.
도 1은 본 발명의 일 실시예에 따른 사용자 단말의 멀티 모달 인터페이스를 통한 사용자 명령 입력을 예시한 개념도이다.1 is a conceptual diagram illustrating a user command input through a multi-modal interface of a user terminal according to an embodiment of the present invention.
도 2는 본 발명의 일 실시예에 따른 사용자 단말의 구성을 나타낸 블록도이다.2 is a block diagram showing the configuration of a user terminal according to an embodiment of the present invention.
도 3은 본 발명의 일 실시예에 따른 사용자 단말에 입력되는 사용자 입김 형태를 예시한 도면이다.3 is a diagram illustrating a user blowing form input to a user terminal according to an embodiment of the present invention.
도 4는 본 발명의 일 실시예에 따른 사용자 단말의 제어 방법을 설명하기 위해 제공되는 흐름도이다.4 is a flowchart provided to explain a control method of a user terminal according to an exemplary embodiment of the present invention.
도 5a 및 도 5b는 본 발명의 일 실시예에 따른 사용자 단말에 입력되는 사용자 터치의 위치를 예시한 도면이다.5A and 5B are views illustrating a location of a user touch input to a user terminal according to an embodiment of the present invention.
이하 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention.
도 1은 본 발명의 일 실시예에 따른 사용자 단말의 멀티 모달 인터페이스를 통한 사용자 명령 입력을 예시한 개념도이다.1 is a conceptual diagram illustrating a user command input through a multi-modal interface of a user terminal according to an embodiment of the present invention.
여기서, 멀티모달(multi-modal) 인터페이스란 여러 개의 입력 장치(터치스크린과 마이크 등)를 동시에 사용하는 입력 방법을 나타낸다.Here, the multi-modal interface refers to an input method using multiple input devices (touch screen, microphone, etc.) at the same time.
도 1을 참고하면, 사용자(10)가 사용자 단말(20)을 잡고 있는 손의 손가락(11)을 터치입력부(21)에 접촉하면, 사용자 단말(20)은 소정 시간 동안 사용자 입김(13)이 입력되는 것을 대기한다. 사용자 입김(13)이 입력되면 사용자 단말(20)은 사용자 입김 형태를 검출하고 그에 따른 동작을 수행한다. 한편 소정 시간 동안 사용자 입김 입력이 없으면 사용자 단말(20)은 터치 입력에 따른 동작을 수행한다. 실시예에 따라서는 사용자 손가락(11)이 터치입력부(21)에 접촉된 상태에서만 사용자 입김 형태를 검출하고 그에 따른 동작을 수행하도록 구현할 수도 있다. 그러면 도 2를 참고하여 본 발명의 일 실시예에 따른 사용자 단말에 대해 보다 자세히 설명한다.Referring to FIG. 1, when the user 10 contacts the touch input unit 21 with the finger 11 of the hand holding the user terminal 20, the user terminal 20 may turn on the user 13 for a predetermined time. Wait for input. When the user blowing 13 is input, the user terminal 20 detects a user's blowing type and performs an operation accordingly. On the other hand, if there is no user input input for a predetermined time, the user terminal 20 performs an operation according to the touch input. According to an exemplary embodiment, the user's wear type may be detected only when the user's finger 11 is in contact with the touch input unit 21 and the corresponding operation may be performed. Next, a user terminal according to an exemplary embodiment of the present invention will be described in detail with reference to FIG. 2.
도 2는 본 발명의 일 실시예에 따른 사용자 단말의 구성을 나타낸 블록도이다.2 is a block diagram showing the configuration of a user terminal according to an embodiment of the present invention.
도 2를 참고하면, 본 발명의 일 실시예에 따른 사용자 단말(20)은 터치입력부(21), 입김입력부(22), 표시부(23), 저장부(24), 제어부(25)를 포함할 수 있다.Referring to FIG. 2, the user terminal 20 according to an embodiment of the present invention may include a touch input unit 21, a breath input unit 22, a display unit 23, a storage unit 24, and a controller 25. Can be.
터치입력부(21)는 접촉에 의한 사용자 입력을 수신한다. 터치입력부(21)는 표시부(23)의 위에 배치되어 사용자의 손가락이 접촉된 위치를 확인하여 제어부(25)에 전달할 수 있다. 터치입력부(21)는 정전식, 저항식 등 어떠한 방식으로 구현되어도 무방하다.The touch input unit 21 receives a user input by contact. The touch input unit 21 may be disposed on the display unit 23 to identify a position where the user's finger is in contact with and transmit the touch input to the control unit 25. The touch input unit 21 may be implemented in any manner such as capacitive and resistive.
입김입력부(22)는 사용자 입김에 의한 사용자 입력을 수신한다. 입김입력부(22)는 사용자 입김 형태에 대한 정보를 제어부(25)에 전달할 수 있다. 이를 위해 입김입력부(22)는 마이크로 구현될 수 있다. 마이크는 사용자 입김으로 인한 소리에 의해서 진동판이 진동하고 이 진동에 따라서 전기 신호를 출력할 수 있다. 마이크에서 출력되는 전기 신호는 사용자 입김의 강도 및 횟수에 따라 다른 형태를 가질 수 있으며, 사용자 입김 형태에 대응될 수 있다.The breath input unit 22 receives a user input by blowing the user. The breathing input unit 22 may transmit information on a user's breathing form to the controller 25. To this end, the input unit 22 may be implemented as a micro. The microphone vibrates by a sound caused by a user's breath, and can output an electrical signal according to the vibration. The electrical signal output from the microphone may have a different shape according to the intensity and frequency of the user's breath, and may correspond to the user's breath.
표시부(23)는 사용자 단말(20)의 동작과 관련된 각종 정보를 화면에 표시하는 기능을 수행한다. 표시부(23)는 LCD(liquid crystal display) 패널, OLED(Organic Light Emitting Diodes) 패널 등으로 구현될 수 있다.The display unit 23 performs a function of displaying various information related to the operation of the user terminal 20 on the screen. The display unit 23 may be implemented as a liquid crystal display (LCD) panel, organic light emitting diodes (OLED) panel, or the like.
저장부(24)는 사용자 단말(20)의 동작과 관련된 각종 데이터 및 프로그램을 저장하고 제어부(25)의 요청에 따라 제공하는 기능을 수행한다. 저장부(24)는 램(RAM), 롬(ROM), 하드디스크(HARDDISK) 등의 저장매체로 구현될 수 있다.The storage unit 24 stores various data and programs related to the operation of the user terminal 20 and performs a function of providing the data according to a request of the controller 25. The storage unit 24 may be implemented as a storage medium such as a RAM, a ROM, a hard disk, or the like.
제어부(25)는 사용자 단말(20)의 전체적인 동작을 제어하며, 특히 본 발명에 따른 제어부(25)는 터치입력부(21)와 입김입력부(22)에 의해 입력되는 사용자 터치 및 사용자 입김에 대응되는 사용자 명령을 수행한다. 보다 자세하게는 제어부(25)는 사용자 입김 형태를 검출하고 그에 따라 사용자 명령을 수행할 수 있는데, 사용자 입김 형태는 사용자 입김의 강도 또는 사용자 입김의 횟수 등을 분석하여 검출될 수 있다.The control unit 25 controls the overall operation of the user terminal 20, and in particular, the control unit 25 according to the present invention corresponds to a user touch input by the touch input unit 21 and the breath input unit 22 and the user's breath Run the user command. In more detail, the control unit 25 may detect a user's breathing pattern and perform a user command accordingly. The user's breathing pattern may be detected by analyzing the intensity of the user's breath or the number of user's breaths.
이하 도 3을 참고하여 사용자 입김 형태 검출에 대해 설명한다.Hereinafter, detection of a user's breathing form will be described with reference to FIG. 3.
도 3은 본 발명의 일 실시예에 따른 사용자 단말에 입력되는 사용자 입김 형태를 예시한 도면이다.3 is a diagram illustrating a user blowing form input to a user terminal according to an embodiment of the present invention.
도 3을 참고하면, 사용자 입김 형태는 사용자가 입김을 한 번 세게 부는 형태(A), 입김을 길게 부는 형태(B), 입김을 세게 두 번 부는 형태(C) 또는 입김을 중간을 이어지게 하면서 세게 두 번 부는 형태(D) 등으로, 사용자 입김의 강도 또는 사용자 입김의 횟수 등에 따라 다른 형태로 구분될 수 있다. 도 3에 예시된 사용자 입김 형태는 예시일 뿐이며 그 외에 다양한 형태가 이용될 수 있음은 물론이다.Referring to FIG. 3, the user's breathing form is a form in which the user blows the blowing hardly once (A), the blowing blows the long blowing (B), the blowing blows twice hardly (C) or the blowing while the middle of the blowing is continued. The second blowing may be divided into other forms according to the shape (D) or the like, depending on the intensity of the user's breathing or the number of user's breaths. 3 is merely an example, and various other forms may be used.
도 4는 본 발명의 일 실시예에 따른 사용자 단말의 제어 방법을 설명하기 위해 제공되는 흐름도이다.4 is a flowchart provided to explain a control method of a user terminal according to an exemplary embodiment of the present invention.
도 4를 참고하면, 먼저 터치입력부(21)에 사용자 터치 입력이 입력되면(S410-Y), 제어부(25)는 미리 정해진 시간 동안 사용자 입김 입력을 대기한다(S420). 단계(S420)에서 대기 시간은 사용자 단말 제조사 또는 본 발명에 따른 멀티모달 인터페이스 애플리케이션 제작자에 의해 디폴트로 설정되거나 사용자에 의해 설정되도록 구현될 수도 있다. 한편 대기 시간이 없거나 '0'으로 설정된 경우에는 사용자 터치 입력이 입력되는 동안 사용자 입김이 입력되어야 아래 단계(S420 ~ S440)의 동작을 사용자 단말(20)이 수행하도록 구현될 수도 있다.Referring to FIG. 4, first, when a user touch input is input to the touch input unit 21 (S410 -Y), the controller 25 waits for a user input for a predetermined time (S420). In step S420, the waiting time may be set by default by the user terminal manufacturer or the multi-modal interface application producer according to the present invention or set by the user. On the other hand, if there is no waiting time or is set to '0', the user terminal 20 may be implemented to perform the operations of steps S420 to S440 when the user input is input while the user touch input is input.
대기 시간 동안 입김입력부(22)에 사용자 입김 입력이 입력되면(S420-Y), 제어부(25)는 입력된 사용자 입김 형태를 검출한다(S430). 사용자 입김 형태는 사용자 입김의 강도 또는 사용자 입김의 횟수 등에 따라 다른 형태로 구분되어 검출될 수 있다.When the user's blowing input is input to the blowing input unit 22 during the waiting time (S420-Y), the control unit 25 detects the input user's blowing type (S430). The user's breathing pattern may be classified into other forms and detected according to the intensity of the user's breath or the number of user's breaths.
다음으로 제어부(25)는 검출된 사용자 입김 형태에 대응되는 사용자 명령을 수행한다(S440). 예를 들어, 도 3에서 예시한 사용자 입김 형태 중에서 입김 형태(A)가 검출된 경우 화면 확대를 수행하고, 입김 형태(B)가 검출된 경우 화면 이동을 수행하며, 입김 형태(C)가 검출된 경우 화면 축소를 수행하고, 입김 형태(D)가 검출된 경우 화면 회전을 수행하도록 구현할 수 있다. 여기서 입김 형태에 따라 수행되는 사용자 명령은 예시일 뿐이며 다른 사용자 명령이 수행되도록 구현될 수 있고, 아울러 예시된 형태 이외의 사용자 입김 형태가 이용될 수도 있다.Next, the controller 25 performs a user command corresponding to the detected user blowing type (S440). For example, when the blowing form A is detected among the user blowing forms illustrated in FIG. 3, the screen is enlarged, when the blowing form B is detected, the screen is moved, and the blowing form C is detected. If the screen is reduced, the screen may be reduced, and if the blowing type D is detected, the screen may be rotated. Here, the user command performed according to the type of wearing is merely an example, and may be implemented to perform other user commands, and a user wearing type other than the illustrated type may also be used.
한편 대기 시간 동안 입김입력부(22)에 사용자 입김 입력이 입력되지 않으면(S420-N), 제어부(25)는 사용자 터치 입력에 따른 사용자 명령을 수행할 수 있다(S450).On the other hand, if the user input input is not input to the input unit 22 during the waiting time (S420-N), the control unit 25 may perform a user command according to the user touch input (S450).
한편 실시예에 따라 사용자 명령을 사용자 입김 형태 및 사용자 터치 위치의 조합에 대응되도록 구현될 수도 있다. 이하에서 도 5를 참고하여 사용자 명령을 사용자 입김 형태 및 사용자 터치 위치의 조합에 대응되도록 구현하는 예에 대해 설명한다.Meanwhile, according to an exemplary embodiment, the user command may be implemented to correspond to a combination of a user's wearing form and a user's touch position. Hereinafter, an example of implementing a user command corresponding to a combination of a user's wearing type and a user's touch position will be described with reference to FIG. 5.
도 5(a) 및 도 5(b)는 본 발명의 일 실시예에 따른 사용자 터치 위치에 따라 사용자 입김 입력 시 화면의 회전을 설명하기 위해 제공되는 도면이다.5 (a) and 5 (b) are diagrams provided to explain the rotation of a screen when a user inputs a user input according to a user touch position according to an embodiment of the present invention.
도 5(a)를 참고하면, 사용자 터치 위치(Ptouch)가 화면의 중심에서 좌측인 상태에서 사용자 입김이 입력되면 사용자 단말(20)은 화면을 시계 반대 방향(L)으로 회전시킬 수 있다.Referring to FIG. 5A, when a user input is input while the user touch position Ptouch is left from the center of the screen, the user terminal 20 may rotate the screen in a counterclockwise direction (L).
도 5(b)를 참고하면, 사용자 터치 위치(Ptouch)가 화면의 중심에서 우측인 상태에서 사용자 입김이 입력되면 사용자 단말(20)은 화면을 시계 방향(R)으로 회전시킬 수 있다.Referring to FIG. 5B, when the user input is input while the user touch position Ptouch is right from the center of the screen, the user terminal 20 may rotate the screen clockwise.
한편 사용자 입김의 강도 또는 횟수에 따라 화면의 회전 각도가 커지도록 구현할 수도 있다. 예컨대 사용자 터치 위치(Ptouch)가 화면의 중심에서 좌측인 상태(또는 우측인 상태)에서 사용자 입김이 입력되면, 사용자 입김의 강도에 비례하여 화면이 시계 반대 방향(또는 시계 방향)으로 더 많이 회전하도록 구현할 수 있다. Meanwhile, the rotation angle of the screen may be increased according to the intensity or frequency of user's breathing. For example, if user touch is input while the user touch position Ptouch is left (or right) at the center of the screen, the screen is rotated more counterclockwise (or clockwise) in proportion to the intensity of the user's breath. Can be implemented.
또한 사용자 입김 1회 당 화면이 회전하는 각도를 설정해놓고 그에 따라 화면을 회전시킬 수 있다. 예컨대 사용자 입김 1회 당 화면 회전 각도가 10°로 설정된 경우에 사용자 입김이 5회 입력되면 화면을 50°회전하도록 구현할 수도 있다.You can also set the angle at which the screen is rotated per user breath and rotate the screen accordingly. For example, when the screen rotation angle is set to 10 ° per user breathing, if the user breathing is input 5 times, the screen may be rotated by 50 °.
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 지금까지 설명한 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말의 제어 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 또는 이러한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.Embodiments of the invention include a computer readable medium containing program instructions for performing various computer-implemented operations. This medium records a program for executing a control method of a multi-modal interface supporting user terminal utilizing user touch and breath described so far. The media may include, alone or in combination with the program instructions, data files, data structures, and the like. Examples of such media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CDs and DVDs, floppy disks and program commands such as magnetic-optical media, ROM, RAM, flash memory, and the like. Hardware devices configured to store and perform such operations. Alternatively, the medium may be a transmission medium such as an optical or metal wire, a waveguide, or the like including a carrier wave for transmitting a signal specifying a program command, a data structure, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.Although the preferred embodiments of the present invention have been described in detail above, the scope of the present invention is not limited thereto, and various modifications and improvements of those skilled in the art using the basic concepts of the present invention defined in the following claims are also provided. It belongs to the scope of rights.
본 발명에 의하면, 핸드폰, PDA, 태블릿 패드 등의 소형 컴퓨터 시스템에서 한 손으로 사용자 단말을 쥐고 다른 손은 자유로운 상태에서 사용자 입김을 통해 멀티 터치 제스처와 유사한 기능을 제공할 수 있다. According to the present invention, in a small computer system such as a mobile phone, PDA, tablet pad, etc., the user terminal can be held with one hand and the other hand can freely provide a function similar to a multi-touch gesture through user breathing.
따라서 사용자는 한 손만으로 사용자 단말을 멀티 터치 제스처와 유사한 기능을 통해 제어하면서, 동시에 다른 손은 다른 일을 할 수 있는 장점이 있다. 한편 한 손이 불편한 사용자도 멀티 터치 제스처와 유사하게 사용자 단말을 제어할 수 있는 장점이 있다.Therefore, the user can control the user terminal through a function similar to a multi-touch gesture with only one hand, and at the same time, the other hand has an advantage of being able to do other work. On the other hand, a user who is uncomfortable with one hand has an advantage of controlling the user terminal similarly to a multi-touch gesture.

Claims (15)

  1. 사용자 터치를 입력받는 단계,Receiving a user touch,
    사용자 입김을 입력받는 단계, 그리고Receiving user input, and
    상기 사용자 터치 및 상기 사용자 입김에 대응되는 사용자 명령을 수행하는 단계;Performing a user command corresponding to the user touch and the user's breath;
    를 포함하는 것을 특징으로 하는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말 제어 방법.Multi-modal interface support user terminal control method using a user touch and breathing comprising a.
  2. 제 1 항에 있어서,The method of claim 1,
    상기 사용자 입김 형태를 검출하는 단계를 더 포함하고,Detecting the user's breathing pattern;
    상기 사용자 명령은 상기 사용자 입김 형태에 대응되는 것을 특징으로 하는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말 제어 방법.The user command is a multi-modal interface support user terminal control method using a user touch and the breathing, characterized in that corresponding to the user blowing type.
  3. 제 2 항에 있어서,The method of claim 2,
    상기 사용자 입김 형태 검출은 상기 사용자 입김의 강도 및 횟수 중 적어도 하나에 기초하여 수행되는 것을 특징으로 하는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말 제어 방법.The method of controlling a user's blowing type is performed based on at least one of the strength and the number of the user's blowing type.
  4. 제 2 항에 있어서,The method of claim 2,
    상기 사용자 명령은 상기 사용자 입김 형태 및 상기 사용자 터치 위치의 조합에 대응되는 것을 특징으로 하는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말 제어 방법.And the user command corresponds to a combination of the user's wearing type and the user's touch position.
  5. 제 1 항에 있어서,The method of claim 1,
    상기 사용자 터치 위치가 화면의 중심에서 좌측인 경우 상기 사용자 명령은 화면을 시계 반대 방향으로 회전하는 명령이고,When the user touch position is left from the center of the screen, the user command is a command to rotate the screen counterclockwise.
    상기 사용자 터치 위치가 화면의 중심에서 우측인 경우 상기 사용자 명령은 화면을 시계 방향으로 회전하는 명령인 것을 특징으로 하는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말 제어 방법.And the user command is a command to rotate the screen in a clockwise direction when the user touch position is right from the center of the screen.
  6. 제 5 항에 있어서,The method of claim 5,
    상기 사용자 입김의 강도 또는 횟수에 비례하여 상기 화면의 회전 각도가 커지는 것을 특징으로 하는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말 제어 방법.And a rotation angle of the screen increases in proportion to the intensity or frequency of the user's breathing.
  7. 제 1 항에 있어서,The method of claim 1,
    상기 사용자 명령을 수행하는 단계는,Performing the user command,
    상기 사용자 입김 입력이 상기 사용자 터치 입력 후 소정 시간 이내에 이루어진 경우 수행되는 것을 특징으로 하는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말 제어 방법.The method of controlling a user terminal using a multi-modal interface using user touch and breathing, wherein the user input is performed within a predetermined time after the user touch input.
  8. 컴퓨터에 제1항 내지 제7항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체.A computer-readable medium having recorded thereon a program for causing a computer to execute the method of any one of claims 1 to 7.
  9. 사용자 터치를 입력받는 터치입력부,Touch input unit for receiving a user touch,
    사용자 입김을 입력받는 입김입력부, 그리고Breath input unit for receiving the user input, and
    상기 사용자 터치 및 상기 사용자 입김에 대응되는 사용자 명령을 수행하는 제어부Control unit for performing a user command corresponding to the user touch and the user breathing
    를 포함하는 것을 특징으로 하는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말.Multi-modal interface support user terminal utilizing a user touch and breathing comprising a.
  10. 제 9 항에 있어서,The method of claim 9,
    상기 제어부는 상기 사용자 입김 형태를 검출하고,The controller detects the user's breathing pattern,
    상기 사용자 명령은 상기 사용자 입김 형태에 대응되는 것을 특징으로 하는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말.The user command is a multi-modal interface support user terminal using a user touch and the breathing, characterized in that corresponding to the user blowing type.
  11. 제 10 항에 있어서,The method of claim 10,
    상기 사용자 입김 형태 검출은 상기 사용자 입김의 강도 및 횟수 중 적어도 하나에 기초하여 수행되는 것을 특징으로 하는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말.The user breathing type detection is performed based on at least one of the intensity and the number of the user breathing multi-modal interface support user terminal using the user touch and the breathing.
  12. 제 10 항에 있어서,The method of claim 10,
    상기 사용자 명령은 상기 사용자 입김 형태 및 상기 사용자 터치 위치의 조합에 대응되는 것을 특징으로 하는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말.The user command is a multi-modal interface support user terminal utilizing a user touch and the breathing, characterized in that corresponding to the combination of the user-input form and the user touch position.
  13. 제 9 항에 있어서,The method of claim 9,
    상기 사용자 터치 위치가 화면의 중심에서 좌측인 경우 상기 사용자 명령은 화면을 시계 반대 방향으로 회전하는 명령이고,When the user touch position is left from the center of the screen, the user command is a command to rotate the screen counterclockwise.
    상기 사용자 터치 위치가 화면의 중심에서 우측인 경우 상기 사용자 명령은 화면을 시계 방향으로 회전하는 명령인 것을 특징으로 하는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말.And the user command is a command to rotate the screen in a clockwise direction when the user touch position is right from the center of the screen.
  14. 제 13 항에 있어서,The method of claim 13,
    상기 사용자 입김의 강도 또는 횟수에 비례하여 상기 화면의 회전 각도가 커지는 것을 특징으로 하는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말.The user terminal and the multi-modal interface support using the breathing, characterized in that the rotation angle of the screen increases in proportion to the number or the number of the user breathing.
  15. 제 9 항에 있어서,The method of claim 9,
    상기 제어부는,The control unit,
    상기 사용자 입김 입력이 상기 사용자 터치 입력 후 소정 시간 이내에 이루어진 경우 상기 사용자 명령을 수행하는 것을 특징으로 하는 사용자 터치와 입김을 활용한 멀티 모달 인터페이스 지원 사용자 단말.When the user input input is made within a predetermined time after the user touch input, the multi-modal interface support user terminal using the user touch and breathing, characterized in that for performing the user command.
PCT/KR2011/009607 2011-01-04 2011-12-14 User terminal supporting multimodal interface using user touch and breath and method for controlling same WO2012093779A2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110000496A KR101242481B1 (en) 2011-01-04 2011-01-04 Multimodal Interface Support User Device Using User Touch and Breath, and Control Method Thereof
KR10-2011-0000496 2011-01-04

Publications (2)

Publication Number Publication Date
WO2012093779A2 true WO2012093779A2 (en) 2012-07-12
WO2012093779A3 WO2012093779A3 (en) 2012-09-07

Family

ID=46457787

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/009607 WO2012093779A2 (en) 2011-01-04 2011-12-14 User terminal supporting multimodal interface using user touch and breath and method for controlling same

Country Status (2)

Country Link
KR (1) KR101242481B1 (en)
WO (1) WO2012093779A2 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9304583B2 (en) 2008-11-20 2016-04-05 Amazon Technologies, Inc. Movement recognition as input mechanism
CN105812506A (en) * 2014-12-27 2016-07-27 深圳富泰宏精密工业有限公司 Operation mode control system and method
US9483113B1 (en) 2013-03-08 2016-11-01 Amazon Technologies, Inc. Providing user input to a computing device with an eye closure
US9832452B1 (en) 2013-08-12 2017-11-28 Amazon Technologies, Inc. Robust user detection and tracking
US11199906B1 (en) * 2013-09-04 2021-12-14 Amazon Technologies, Inc. Global user input management

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19832729B4 (en) * 1998-07-21 2007-09-06 Schaeffler Kg Synchronous body with integrated pressure piece or locking element
KR101984583B1 (en) * 2012-08-22 2019-05-31 엘지전자 주식회사 Mobile terminal and method for controlling the same
CN109981887B (en) * 2019-02-19 2021-09-07 合肥京东方光电科技有限公司 Method, device, medium and electronic equipment for controlling power-on state of terminal screen

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006204877A (en) * 2005-04-13 2006-08-10 Nintendo Co Ltd Game program and game device
US20090244003A1 (en) * 2008-03-26 2009-10-01 Pierre Bonnat Method and system for interfacing with an electronic device via respiratory and/or tactual input
KR20100077982A (en) * 2008-12-29 2010-07-08 엘지전자 주식회사 Terminal and method for controlling the same
KR20100128265A (en) * 2010-11-17 2010-12-07 표현숙 User interface for small devices using multi-modal interface of finger touch and breath input

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006204877A (en) * 2005-04-13 2006-08-10 Nintendo Co Ltd Game program and game device
US20090244003A1 (en) * 2008-03-26 2009-10-01 Pierre Bonnat Method and system for interfacing with an electronic device via respiratory and/or tactual input
KR20100077982A (en) * 2008-12-29 2010-07-08 엘지전자 주식회사 Terminal and method for controlling the same
KR20100128265A (en) * 2010-11-17 2010-12-07 표현숙 User interface for small devices using multi-modal interface of finger touch and breath input

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9304583B2 (en) 2008-11-20 2016-04-05 Amazon Technologies, Inc. Movement recognition as input mechanism
US9483113B1 (en) 2013-03-08 2016-11-01 Amazon Technologies, Inc. Providing user input to a computing device with an eye closure
US9832452B1 (en) 2013-08-12 2017-11-28 Amazon Technologies, Inc. Robust user detection and tracking
US11199906B1 (en) * 2013-09-04 2021-12-14 Amazon Technologies, Inc. Global user input management
CN105812506A (en) * 2014-12-27 2016-07-27 深圳富泰宏精密工业有限公司 Operation mode control system and method

Also Published As

Publication number Publication date
KR101242481B1 (en) 2013-03-13
KR20120079285A (en) 2012-07-12
WO2012093779A3 (en) 2012-09-07

Similar Documents

Publication Publication Date Title
WO2012093779A2 (en) User terminal supporting multimodal interface using user touch and breath and method for controlling same
KR101995278B1 (en) Method and apparatus for displaying ui of touch device
WO2014065499A1 (en) Edit providing method according to multi-touch-based text block setting
KR102545602B1 (en) Electronic device and operating method thereof
WO2014084633A1 (en) Method for displaying applications and electronic device thereof
WO2016017972A1 (en) Electronic device and method for displaying user interface thereof
WO2012060589A2 (en) Touch control method and portable terminal supporting the same
WO2013100720A1 (en) Multitasking method and apparatus of user device
WO2013032234A1 (en) Method of providing of user interface in portable terminal and apparatus thereof
WO2011083962A2 (en) Method and apparatus for setting section of a multimedia file in mobile device
WO2014107005A1 (en) Mouse function provision method and terminal implementing the same
WO2012108620A2 (en) Operating method of terminal based on multiple inputs and portable terminal supporting the same
CN110007996B (en) Application program management method and terminal
WO2015030526A1 (en) Method and apparatus for providing multiple applications
CN106371900B (en) Data processing method and device for realizing asynchronous call
WO2014025131A1 (en) Method and system for displaying graphic user interface
KR102521192B1 (en) Electronic apparatus and operating method thereof
KR20150069801A (en) Method for controlling screen and electronic device thereof
WO2021104163A1 (en) Icon arrangement method and electronic device
CN110928461A (en) Icon moving method and electronic equipment
WO2022105425A1 (en) Display method, electronic device, and readable storage medium
WO2014129787A1 (en) Electronic device having touch-sensitive user interface and related operating method
WO2011090302A2 (en) Method for operating a personal portable device having a touch panel
CN110244884B (en) Desktop icon management method and terminal equipment
WO2018084684A1 (en) Method for controlling execution of application on electronic device using touchscreen and electronic device for the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11854563

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase in:

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11854563

Country of ref document: EP

Kind code of ref document: A2