WO2013191491A1 - Touch sensing apparatus and touch sensing method - Google Patents

Touch sensing apparatus and touch sensing method Download PDF

Info

Publication number
WO2013191491A1
WO2013191491A1 PCT/KR2013/005461 KR2013005461W WO2013191491A1 WO 2013191491 A1 WO2013191491 A1 WO 2013191491A1 KR 2013005461 W KR2013005461 W KR 2013005461W WO 2013191491 A1 WO2013191491 A1 WO 2013191491A1
Authority
WO
WIPO (PCT)
Prior art keywords
vibration
touch
user terminal
mobile terminal
sensing device
Prior art date
Application number
PCT/KR2013/005461
Other languages
French (fr)
Korean (ko)
Inventor
원광연
황성재
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020120066225A external-priority patent/KR101402535B1/en
Priority claimed from KR1020120110731A external-priority patent/KR101442341B1/en
Priority claimed from KR1020130029743A external-priority patent/KR101404922B1/en
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Publication of WO2013191491A1 publication Critical patent/WO2013191491A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01L—MEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L1/00—Measuring force or stress, in general
    • G01L1/10—Measuring force or stress, in general by measuring variations of frequency of stressed vibrating elements, e.g. of stressed strings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04105—Pressure sensors for measuring the pressure or force exerted on the touch surface without providing the touch position

Definitions

  • An object of the present invention is to provide a touch sensing device and a method for sensing a user's touch and a touch pressure strength by using a device provided in a mobile terminal.
  • Touch screen means that if a person's hand or an object touches a character or a specific location on the screen (screen) without using a keyboard, the input screen can be input directly on the screen so that the location can be detected and processed by the stored software. It refers to a screen that can be received, and is widely used as an input screen of a mobile terminal such as a mobile phone or a computer.
  • the touch screen is generally divided into a pressure sensitive type and a capacitive type (capacitive type), and the pressure sensitive type has an advantage that there is no limitation on the input device by detecting a pressure change on the touch screen.
  • the capacitive type senses a touch by using a minute current flowing through the body, and has the advantage of multi-touch and quick response.
  • the capacitive touch screens commercialized so far cannot distinguish the pressure (intensity) to touch, only the on-off type touch control is possible. Furthermore, in the conventional touch input strength measurement, the touch intensity is measured according to the contact between the touch pad and the electrode, but in this case, a problem of deterioration of image quality due to the spaced space between the touch pad and the electrode layer occurs.
  • Korean Patent Laid-Open Publication No. 10-2009-0127544 provides a technique for measuring a touch time by measuring a contact time using an acceleration sensor and summing dispersion values of signal information of the acceleration sensor during the measured time.
  • the above technique is a method of summing signal information of all measured acceleration sensors, when the actual vibration is caused by external vibration (for example, in a bus) rather than by human touch, There is a problem that all the sensor signal information is added to the intensity of the touch input. In addition, there is a limit that it is not possible to determine the act of changing the pressure after the touch.
  • the present invention can have the same effect only by the vibration motor / microphone and software provided in the existing device without having hardware such as a pressure sensor, and can recognize the touch behavior in all parts to which vibration is transmitted as well as the touch screen area. It is an object of the present invention to provide a new interaction method and apparatus for controlling a terminal in such a manner.
  • the present invention can also sense the contact strength to the user terminal only by the device provided in the existing equipment without having hardware such as a pressure sensor, and furthermore, the terminal area, for example, the touch screen area that is not provided with a touch sensor
  • the present invention provides a method, apparatus, and application method of contact strength sensing of a user terminal, which can recognize a contact strength of an external object (for example, a user's hand) with respect to the user terminal.
  • a touch sensing device of a mobile terminal comprising: a vibration generating unit for vibrating the mobile terminal; Vibration energy measuring unit for measuring the vibration energy generated by the vibration operation of the mobile terminal; And a touch pressure intensity measuring unit which measures the touch pressure intensity based on the change amount of the vibration energy when the vibration energy is changed by the user touch.
  • the vibration energy measuring unit measures the vibration energy based on the sound generated by the vibration operation of the mobile terminal.
  • the vibration energy measuring unit includes a microphone for measuring a sound generated by the vibration operation of the mobile terminal; And a frequency spectrum analyzer configured to analyze the frequency spectrum of the sound and calculate vibration energy.
  • the vibration energy measuring unit measures vibration energy based on the amount of movement change generated by the vibration operation of the mobile terminal.
  • the vibration energy measuring unit includes a motion sensor for sensing the movement of the mobile terminal by the vibration operation of the mobile terminal; And a motion change amount analyzing unit configured to calculate vibration energy from the motion change amount of the mobile terminal.
  • the vibration generating unit is characterized in that the vibration motor.
  • a contact strength sensing device of a user terminal As a means for solving the above problems, a contact strength sensing device of a user terminal according to an embodiment of the present invention, a vibration generating unit for vibrating the user terminal; Vibration variable measuring unit for generating a vibration variable, generated in accordance with the absorption of the vibration by the external object in contact with the user terminal vibrating by the vibration generating unit; And a contact strength determiner for determining a contact strength of the external object with respect to the user terminal according to the vibration variable measured by the vibration variable measurer.
  • the vibration parameter measuring unit is one of a motion sensor such as an acceleration sensor, a geomagnetic sensor, and a gyroscope (rotation) sensor provided in the user terminal.
  • a motion sensor such as an acceleration sensor, a geomagnetic sensor, and a gyroscope (rotation) sensor provided in the user terminal.
  • the vibration variable is a variable that may vary from the contact strength of the external object in contact with the user terminal.
  • the vibration variable is one or more of vibration energy, vibration distance, vibration speed, vibration acceleration.
  • the external object may be a skin of a person who comes into contact with the user terminal.
  • the vibration absorption of the external object is characterized in that it depends on the contact strength.
  • the contact strength sensing method of the user terminal As a means for solving the above problem, the contact strength sensing method of the user terminal according to another embodiment of the present invention, the external object in contact with the user terminal from the vibration variable caused by absorbing the vibration generated in the user terminal The contact strength between the external object and the user terminal is determined.
  • the vibration variable is one or more of vibration energy, vibration distance, vibration speed, vibration acceleration.
  • the touch intensity sensing method of the user terminal may include detecting a vibration variable after absorbing vibration of an external object in contact with the user terminal; And determining the contact strength with respect to the user terminal from the vibration variable.
  • the vibration variable is a variable measured by an acceleration sensor provided in the user terminal.
  • the vibration variable is a variable that may vary from the contact strength of the external object in contact with the user terminal.
  • a user terminal control method the step of measuring the vibration variable from the vibration occurring in the user terminal; Detecting a change in the vibration variable resulting from vibration absorption of an external object in contact with the user terminal; Determining a contact strength with respect to the user terminal from the detected change in the vibration variable; And performing a predetermined control command stored in the user terminal from the determined contact strength.
  • the vibration variable is a variable that may vary from the contact strength of the external object in contact with the user terminal.
  • the performing of the predetermined control command may include: comparing the determined contact strength with a predetermined contact strength; Determining a predetermined contact strength matching the determined contact strength; And performing a control command assigned to the matched preset contact strength.
  • another embodiment of the present invention is a user terminal control device, the sensing unit for sensing the vibration of the user terminal; And a controller configured to determine a control command for the user terminal according to the vibration change pattern for the user terminal.
  • the vibration change pattern is determined according to a combination of at least one of the touch intensity, the number of touches, and the touch period of the external object with respect to the user terminal.
  • the external object is a human hand.
  • the user terminal controller includes a motion sensor, and the vibration intensity is calculated as a motion coefficient of the user terminal sensed by the motion sensor.
  • the motion sensor of the user terminal control device any one or a combination of two or more of a gyroscope, an acceleration sensor, a camera, a geomagnetic sensor.
  • the stronger the touch intensity of the external object the lower the vibration intensity. .
  • the present invention provides a touch sensing method that can have a large effect at low cost because it can have the same effect only with the vibration motor / microphone and software provided in the existing equipment without having a hardware such as a pressure sensor.
  • the input range is not limited to a specific position.
  • the touch sensitive area of the present invention can extend beyond the touch screen area to the entire mobile device.
  • 1 relates to a touch sensing device according to an embodiment of the present invention.
  • FIG. 2 is a view for explaining a touch sensing method according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a sound measured according to an embodiment of the present invention.
  • FIG. 5 is a view for explaining a touch sensing method according to another embodiment of the present invention.
  • FIG. 6 is a diagram illustrating an application example of a mobile terminal of a touch sensing device according to an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a display example of user touch pressure strength according to an exemplary embodiment of the present invention.
  • FIG. 8 is a diagram showing an example of display of user touch pressure strength according to another embodiment of the present invention.
  • 1 relates to a touch sensing device according to an embodiment of the present invention.
  • the touch sensing device 100 of the present invention is a vibration generating unit 110 for vibrating the mobile terminal at a predetermined vibration frequency, vibration energy measurement for measuring the vibration energy generated by the vibration operation of the mobile terminal
  • the touch sensor 130 may include a touch sensing controller 130 that measures the touch pressure intensity based on the vibration energy change amount.
  • the touch sensing device 100 is provided in a mobile terminal such as a smart phone or a tablet PC to measure whether the user touches or presses hard on the mobile terminal.
  • the vibration generating unit 110 may be implemented as a vibration motor already provided in the mobile terminal. That is, the vibration motor provided in the mobile terminal is recycled to generate vibrations required for the touch pressure intensity measurement operation.
  • the vibration energy measuring unit 120 measures the vibration energy based on the sound generated by the vibration operation of the mobile terminal, and for this purpose, the microphone 121 measuring the sound generated by the vibration operation of the mobile terminal, and a microphone. It may be configured to include a frequency spectrum analyzer 122 for analyzing the frequency spectrum of the sound measured by the 121 to calculate the vibration energy.
  • vibration energy is indirectly measured through sound energy, and based on this, whether a user touches or touch pressure strength can be detected.
  • the touch sensing controller 130 presets and stores a minimum vibration energy change amount (that is, a threshold value) for detecting a user touch and information for converting the vibration energy change amount into a touch pressure intensity change amount in advance. Then, the vibration energy change amount is calculated while monitoring the sound measured by the vibration energy measurement unit 120, and the vibration energy change amount and the threshold value are compared and analyzed to determine whether the user touches. In addition, when the occurrence of the user touch is confirmed, the amount of change in the sound energy based on the converted information is converted into the touch pressure intensity to notify the user.
  • a minimum vibration energy change amount that is, a threshold value
  • FIG. 2 is a view for explaining a touch sensing method according to an embodiment of the present invention.
  • the touch sensing apparatus 100 vibrates the mobile terminal (S11), and measures sound generated by vibration of the mobile terminal (S12).
  • the sound energy After acquiring sound energy by analyzing the frequency spectrum of the measured sound (S13), the sound energy is changed by comparing the previously obtained sound energy with the currently obtained sound energy (S14). In this case, the sound energy may be calculated from the sum of the sound energy for each frequency.
  • step S14 if the sound energy has changed more rapidly than the threshold compared to the previous, it is determined that the user is touching the mobile terminal (S15).
  • the sound energy change amount is calculated by comparing the sound energy before the touch and the sound energy after the touch, and the touch pressure intensity is calculated from the sound energy change amount by referring to the preset conversion information (S16).
  • FIG. 3 is a diagram illustrating a sound measured according to an embodiment of the present invention.
  • the sound frequency spectrum is gradually changed according to the strength of the pressure of the user touching the mobile terminal. That is, it can be seen that sound energy decreases as the user touch pressure intensity on the mobile terminal increases.
  • the present invention when the mobile device vibrates, the physical vibration is transmitted and absorbed through the user's body (especially the skin) according to the intensity of the user's grip gesture or touch gesture. This is due to the phenomenon of reduced energy. Accordingly, in the present invention, it is possible to check whether the user touches the mobile terminal and how hard the user is holding or pressing the mobile terminal. In addition, the present invention may be to measure the vibration energy based on the movement of the mobile terminal instead of the sound generated by the vibration operation of the mobile terminal.
  • FIG. 4 is a view illustrating a touch sensing device according to another embodiment of the present invention, wherein the vibration energy measuring unit 140 of FIG. 4 is operated by the vibration operation of the mobile terminal instead of the microphone 121 and the frequency spectrum analyzer 122.
  • the vibration energy measuring unit 140 of FIG. 4 is operated by the vibration operation of the mobile terminal instead of the microphone 121 and the frequency spectrum analyzer 122.
  • a motion sensor 141 for sensing the movement of the mobile terminal
  • a motion variation analyzer 142 for calculating vibration energy from the movement of the mobile terminal, based on the movement of the mobile terminal generated by the vibration operation of the mobile terminal As can be seen from the vibration energy.
  • the motion sensor 141 may be implemented as a motion sensor already provided in the mobile terminal, such as an acceleration sensor, a gyroscope, a compass sensor, and the like.
  • a separate motion sensor can be additionally provided.
  • FIG. 5 is a view for explaining a touch sensing method according to another embodiment of the present invention, which is a method for measuring the touch pressure intensity based on a mobile movement.
  • the touch sensing apparatus 100 vibrates the mobile terminal (S21), and then senses the movement of the mobile terminal through the motion sensor (S22).
  • the sound energy may be calculated by collecting and accumulating the amount of motion generated during the predetermined period.
  • step S24 if the movement energy has changed more rapidly than the threshold compared to the previous, it is determined that the user is touching the mobile terminal (S25).
  • the movement energy change amount is converted into the touch pressure intensity and output by referring to the preset conversion information (S26).
  • FIG. 6 is a diagram illustrating an application example of a mobile terminal of a touch sensing device according to an embodiment of the present invention.
  • the mobile terminal is configured as shown in FIG. 2 or FIG. 4 to determine whether the user touches, the touch sensing device 100 capable of sensing the touch pressure strength, and the touch sensing device 100 according to a user's request.
  • the controller 200 may be configured to perform the touch sensing operation, and notify the user of the touch sensing result using the touch screen 300, the speaker 400, and the like.
  • the mobile terminal utilizes the touch sensing device 100 as one sensing device to sense whether the user touches or the touch pressure intensity, and then the sensing result is transmitted to the user through the touch screen 300 and the speaker 400.
  • the user's touch pressure intensity may be displayed in text form, or may be displayed in graphic form as shown in FIG. 8.
  • the graphic display position may be determined and changed according to the touch position value obtained through the touch screen 300.
  • the mobile terminal may adjust the speaker volume by using the touch pressure intensity sensing result of the touch sensing device 100, or answer the call without using a button input operation by using a user's touch (for example, a touch or a ⁇ gesture).
  • the touch sensing device 100 may be utilized as a user interface device.
  • the degree of vibration absorption depends on the grabbing force (ie, contact strength). Sensing the contact strength for the terminal.
  • the contact strength means a force applied to the user terminal by an external object contacting the user terminal such as a mobile phone.
  • FIG. 9 is a block diagram of a contact strength sensing device according to an embodiment of the present invention.
  • the contact strength sensing apparatus 100 may include a vibration generator 110 for vibrating a user terminal at a preset vibration frequency and a variable extracted from vibration of the user terminal. From the vibration variable measuring unit 120 for measuring the vibration variable) and the changed vibration variable generated in accordance with the absorption of the vibration by the external object in contact with the user terminal, the contact strength of the object to the user terminal The contact strength determining unit 130 to determine.
  • the touch sensing device 100 may be provided in a user terminal such as a smart phone, a tablet PC, and the like to determine whether the user is touching the user terminal with what strength.
  • the vibration part when a part of the user's body (for example, an external object such as a finger) comes into contact with a user terminal where vibration is occurring, the vibration part is transmitted or absorbed to the user's body, so-called vibration absorption. ), And the degree of vibration absorption by the external object depends on the contact strength between the external object and the user terminal.
  • a part of the user's body for example, an external object such as a finger
  • the vibration variable that is varied by the absorption of vibration by an external object is extracted through a vibration measuring unit such as an acceleration sensor, and the contact strength is inferred from the change of the vibration parameter to determine it. That is, the vibration variable in the present invention may be changed when the terminal vibration is absorbed in the skin of a person such as energy, vibration distance, vibration speed, vibration acceleration, and the like. Any vibration variable extracted from the vibration may be the vibration variable. Can be
  • the force (contact strength) applied to the user terminal may be measured by a vibration variable such as a spatial displacement of the user terminal measured by the acceleration sensor, which may be distinguishable from the reading data of the acceleration sensor. It appears as a difference.
  • the acceleration sensor recognizes the data differently, and the pattern depends on the force holding the user terminal. You can see the pattern. Therefore, the present invention can measure the contact strength in the entire area of the terminal using only the software for measuring the degree of vibration absorption. Therefore, the contact strength sensing method and apparatus according to the present invention has an advantage that the entire terminal can be sensed only by software without a separate hardware configuration.
  • the present invention has a big difference in the method of recognizing the pressure of the prior art
  • the prior art was a method of obtaining the touch strength by providing a hardware in which the resistance is variable according to the pressing pressure in a portion of the mobile device, the present invention is constant Vibration is applied to the device, and the vibration absorbed in accordance with the applied pressure is sensed by the acceleration sensor, and then the contact strength is obtained therefrom. Therefore, there is no need to use a separate hardware, there is an advantage that can quickly calculate the strength of the contact pressure quickly and simply.
  • the vibration variables obtainable from the vibration absorption described in FIG. 2 are not only spatial displacements of these terminals, but also any vibration variables that can be varied from the vibration absorption (this is another method by another sensor. May be sensed) is within the scope of the present invention.
  • vibration displacement spatial and temporal
  • speed may be the vibration variables.
  • 11 to 13 are photographs of a case in which the user grips the user terminal weakly, if the user grips it with a moderate force, according to the contact strength sensing method according to the present invention.
  • the red circle size represents the intensity of the contact pressure determined from the vibration parameter, and it can be seen that the red circle size of Figs. 11 to 13 is consistent with the actual grip force. In particular, it can be seen from FIGS. 3 to 5 that effective touch intensity detection is possible even when the user touches only the back and side surfaces without touching the touch screen.
  • the vibration variable Vmotion2 at time 2 was obtained as in Equation 1 below.
  • V motion2 (
  • X, Y, Z means X, Y, Z axis and gradually acc1 and acc2 are measured values from the acceleration sensor.
  • acc2 is the value at time 2
  • acc1 is the sensor value at time 1 measured 50ms before acc2.
  • the value was increased to a level that can be distinguished.
  • the grip on the Z axis has the largest difference according to the force, which is determined by the position of the linear motor moving along the Z axis.
  • the algorithm for obtaining the vibration variable is not limited to the above equation, and any algorithm may be used as long as it uses only the z-axis or the motion change such as the absolute value of the change in the x, y, z three-dimensional vector, which is included in the present invention.
  • the present invention provides a contact strength sensing method for determining the contact strength between the external object and the user terminal from the vibration variable as the external object in contact with the user terminal absorbs the vibration generated in the user terminal through the above-described device. .
  • the contact strength sensing method may include detecting a vibration variable from vibrations generated in a user terminal (S110); After the vibration absorption of the external object in contact with the user terminal, the changed vibration variable is detected (S120); And determining a contact strength with respect to the user terminal from the changed vibration parameter (S130).
  • the vibration variable is a variable measured by an acceleration sensor provided in a user terminal.
  • the displacement in each axis may be the vibration variable. Since the vibration variable and the change in the vibration variable according to the vibration absorption are the same as described above, they will be omitted below.
  • the present invention provides a method of utilizing the touch strength sensed in the above-described manner as a control command signal of the terminal. That is, the terminal control method according to the present invention takes a method of controlling the terminal according to the strength of the contact with the vibrating terminal.
  • 15 is a flowchart illustrating a method for controlling a user terminal according to an embodiment of the present invention.
  • a vibration variable is detected (S210); Determining a contact intensity with respect to the user terminal from the vibration variable (S220); And performing a preset control command S230 stored in the user terminal from the determined contact strength.
  • the vibration variable extracted from the vibration before the vibration absorption is detected before the step S210, it can be used as a reference value for the vibration parameter change.
  • control command according to the contact strength determined as the vibration variable may be stored in advance in the terminal storage unit.
  • control command corresponding to the matched contact intensity is matched by matching the actually determined contact intensity with the stored control command. This is done.
  • 16 to 19 are diagrams illustrating an example of use of a user terminal including a contact strength sensing device according to an embodiment of the present invention.
  • the user may receive a call received by vibration through the gesture of firmly grasping the vibrating user terminal (FIGS. 16 and 17) or photograph by a camera provided in the terminal (FIG. 18). And 19).
  • various control commands for the terminal can be performed, all of which are within the scope of the present invention.
  • the gesture can be recognized even when it is in various objects such as inside a pocket or a bag.
  • the mobile phone when the call is received it can be rejected by simply pressing on the user's pocket.
  • This can be especially useful for rejecting ringtones that suddenly come from the same space as a meeting.
  • the vibration to convey the information that the phone is coming can be reused, which can alleviate the battery problem caused by the vibration, and can preset various patterns to the pressing gestures (such as Morse code, pressing strength, repetition numbers, rhythm, etc.). So you can send different rejection messages to the caller. (E.g. during a meeting, driving, eating, etc.)
  • 20 to 22 are diagrams illustrating an example of controlling a terminal according to a vibration change pattern according to an embodiment of the present invention.
  • the user when the phone comes in the vibration mode, the user briefly holds the user terminal twice (pattern A of FIG. 21). Accordingly, the user terminal can automatically send a message to the sender that it is difficult to answer the call.
  • a vibration change pattern such as a pattern D is formed. Accordingly, the telephone call mode may proceed.
  • various holding patterns that can be identified in the user terminal and various control command signals corresponding thereto can be stored in the user terminal in advance, thereby extending the range of the automatic control command in the terminal.
  • FIG. 23 is a flowchart illustrating a method for controlling a user terminal according to an embodiment of the present invention.
  • a method of controlling a user terminal may include: sensing vibration of the user terminal (S220); And determining a control command for the user terminal according to the sensed vibration change pattern of the user terminal (S230). That is, in the present invention, the pattern of the gesture of the user holding the user terminal appears as a vibration change pattern, and the user terminal is controlled according to the displayed vibration change pattern.
  • the vibration change pattern may be determined according to at least one combination of at least one of touch, strength, and number of touches of an external object contacting the user terminal, as described above with reference to FIG. 2.
  • FIG. 24 is a detailed diagram of a method for controlling a user terminal according to another embodiment of the present invention, in which a control command for the user terminal is determined according to a vibration change pattern of the user terminal.
  • a vibration change generated by a touch between the user terminal and an external object is recognized.
  • the vibration change may be recognized according to the change in the sensing value obtained by the acceleration sensor.
  • a control command matched to the vibration change pattern is determined according to the recognized pattern of vibration change (S320).
  • the vibration change is a method in which the vibration intensity is greatly reduced in proportion to the touch intensity by an external object such as a hand.
  • the present invention is applicable to an electronic device having a touch screen, industrial applicability is recognized.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

The present invention relates to a touch sensing apparatus and a touch sensing method. The touch sensing apparatus comprises: a vibration generation unit for vibrating a mobile terminal; a vibration energy measurement unit for measuring vibration energy generated by a vibration operation of the mobile terminal; and a touch pressure intensity measurement unit for measuring the intensity of touch pressure on the basis of a change in the vibration energy when the vibration energy is changed by the touch of a user. Thus, the present invention can sense the touch state of a user and the intensity of touch pressure by utilizing a unit included in a mobile device, and can recognize touch actions in all parts through which vibrations can be transferred as well as a touch screen area.

Description

터치 센싱 장치 및 방법Touch sensing device and method
본 발명은 모바일 단말에 구비된 장치를 활용하여 사용자 터치 여부, 터치 압력 세기를 센싱할 수 있도록 하는 터치 센싱 장치 및 방법을 제공하고자 한다.An object of the present invention is to provide a touch sensing device and a method for sensing a user's touch and a touch pressure strength by using a device provided in a mobile terminal.
터치스크린이란 키보드를 사용하지 않고 화면(스크린)에 나타난 문자나 특정 위치에 사람의 손 또는 물체가 닿으면, 그 위치를 파악하여 저장된 소프트웨어에 의해 특정 처리를 할 수 있도록, 화면에서 직접 입력자료를 받을 수 있게 한 화면을 말하며, 휴대전화, 컴퓨터 등의 모바일 단말의 입력 스크린으로 널리 활용되고 있다. 터치스크린은 일반적으로 감압식과 정전식(정전용량식)으로 나뉘는데, 감압식은 터치화면에 압력변화를 감지하는 방식으로 입력장치에 제한이 없다는 장점이 있다. 정전용량식은 신체에 흐르는 미세한 전류를 이용하여 터치를 감지하는 방식으로, 멀티터치가 가능하고, 반응이 빠르다는 장점이 있다. 하지만, 현재까지 상용화된 정전용량식 터치스크린은 터치하는 압력(강도)를 구분할 수 없기 때문에, 온-오프 방식의 터치 제어만 가능하였다. 더 나아가, 종래의 터치입력 강도 측정은 터치 패드와 전극과의 접촉에 따라 터치 강도를 측정하였으나, 이 경우 터치 패드와 전극층 사이의 이격된 공간에 따른 화질 저하 문제가 발생한다. Touch screen means that if a person's hand or an object touches a character or a specific location on the screen (screen) without using a keyboard, the input screen can be input directly on the screen so that the location can be detected and processed by the stored software. It refers to a screen that can be received, and is widely used as an input screen of a mobile terminal such as a mobile phone or a computer. The touch screen is generally divided into a pressure sensitive type and a capacitive type (capacitive type), and the pressure sensitive type has an advantage that there is no limitation on the input device by detecting a pressure change on the touch screen. The capacitive type senses a touch by using a minute current flowing through the body, and has the advantage of multi-touch and quick response. However, since the capacitive touch screens commercialized so far cannot distinguish the pressure (intensity) to touch, only the on-off type touch control is possible. Furthermore, in the conventional touch input strength measurement, the touch intensity is measured according to the contact between the touch pad and the electrode, but in this case, a problem of deterioration of image quality due to the spaced space between the touch pad and the electrode layer occurs.             
반면, 대한민국 공개특허 10-2009-0127544호는 가속도 센서를 이용한 접촉 시간을 측정하고, 상기 측정된 시간 동안의 가속도 센서의 신호 정보의 분산값을 합산하여, 터치 강도를 측정하는 기술을 제공한다. 하지만, 상기 기술은 측정된 모든 가속도 센서의 신호 정보를 합산하는 방식이므로, 실제 진동이 사람의 터치행위가 아닌, 외부의 진동으로부터 발생한 경우(예를 들면 버스를 탄 경우) 외부 진동에 따라 발생하는 센서 신호 정보가 모두 터치입력의 강도로 합산되는 문제가 있다. 또한 터치 이후에 압력을 변화시키는 행위를 판별하지 못한다는 한계가 있다.On the other hand, Korean Patent Laid-Open Publication No. 10-2009-0127544 provides a technique for measuring a touch time by measuring a contact time using an acceleration sensor and summing dispersion values of signal information of the acceleration sensor during the measured time. However, since the above technique is a method of summing signal information of all measured acceleration sensors, when the actual vibration is caused by external vibration (for example, in a bus) rather than by human touch, There is a problem that all the sensor signal information is added to the intensity of the touch input. In addition, there is a limit that it is not possible to determine the act of changing the pressure after the touch.
더 나은 사용자 경험을 위해 더 높은 입력 해상도가 요구되고 있으며, 특히 터치스크린 환경에서는 압력인식에 대한 관심이 증대되고 있다. 하지만 더 이상 물리적인 버튼을 휴대전화와 같은 모바일 단말에 구비시키는 것이 어려워지는 상황에서, 휴대전화에 구빈된 기존의 컴포넌트를 다양한 방식으로 활용하여 이 목적을 이루는 것이 절실하다.Higher input resolutions are required for a better user experience, and pressure awareness is increasing, especially in touchscreen environments. However, in the situation where it is difficult to equip a mobile terminal such as a mobile phone with a physical button anymore, it is urgent to achieve this purpose by utilizing existing components used in the mobile phone in various ways.
더 높은 입력해상도를 위해서는 새로운 하드웨어를 구비해야 하는 문제점이 있었다. 또한 현재의 모바일 기기에서는 인터렉션 영역이 터치 스크린 내로 제한되어있는 문제점이 있었다.There is a problem in that new hardware must be provided for higher input resolution. In addition, the current mobile device has a problem that the interaction area is limited within the touch screen.
따라서 기존에 구비된 센서만을 가지고도 압력의 세기를 측정할 수 있는 방법, 모바일 기기의 상호작용 영역을 확장할 수 있는 방법이 필요하게 되었다. Therefore, there is a need for a method capable of measuring the strength of pressure even with a sensor provided in advance and a method of extending the interaction range of a mobile device.
이에 본 발명에서는 압력센서와 같은 하드웨어를 구비하지 않고도 기존기기에 구비된 진동모터/마이크와 소프트웨어만으로 동일한 효과를 가질 수 있고, 터치스크린 영역뿐 아니라 진동이 전달되는 모든 부위에서 터치 행위를 인식할 수 있는 방법으로 단말을 제어하는 새로운 인터렉션 방법 및 장치를 제공하고자 한다. Therefore, the present invention can have the same effect only by the vibration motor / microphone and software provided in the existing device without having hardware such as a pressure sensor, and can recognize the touch behavior in all parts to which vibration is transmitted as well as the touch screen area. It is an object of the present invention to provide a new interaction method and apparatus for controlling a terminal in such a manner.
본 발명은 또한 압력센서와 같은 하드웨어를 구비하지 않고도 기존기기에 구비된 장치 만으로도 사용자 단말에 대한 접촉 강도를 센싱할 수 있고, 더 나아가 터치 센서가 구비되지 않는 단말 영역, 예를 들어 터치 스크린 영역 외 영역에서도 사용자 단말에 대한 외부 오브젝트(예를 들어 사용자 손)의 접촉 강도를 인식할 수 있는, 사용자 단말의 접촉 강도 센싱 방법, 장치 및 그 응용방법을 제공하는 것이다.The present invention can also sense the contact strength to the user terminal only by the device provided in the existing equipment without having hardware such as a pressure sensor, and furthermore, the terminal area, for example, the touch screen area that is not provided with a touch sensor The present invention provides a method, apparatus, and application method of contact strength sensing of a user terminal, which can recognize a contact strength of an external object (for example, a user's hand) with respect to the user terminal.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면, 모바일 단말의 터치 센싱 장치에 있어서, 상기 모바일 단말을 진동시키는 진동 발생부; 상기 모바일 단말의 진동 동작에 의해 발생되는 진동 에너지를 측정하는 진동 에너지 측정부; 및 사용자 터치에 의해 진동 에너지가 변화하는 경우, 진동 에너지 변화량에 기반하여 터치 압력 세기를 측정하는 터치 압력 세기 측정부를 포함하는 터치 센싱 장치를 제공한다. As a means for solving the above problems, according to an embodiment of the present invention, a touch sensing device of a mobile terminal, comprising: a vibration generating unit for vibrating the mobile terminal; Vibration energy measuring unit for measuring the vibration energy generated by the vibration operation of the mobile terminal; And a touch pressure intensity measuring unit which measures the touch pressure intensity based on the change amount of the vibration energy when the vibration energy is changed by the user touch.
상기 진동 에너지 측정부는 상기 모바일 단말의 진동 동작에 의해 발생되는 소리를 기반으로 진동 에너지로 측정하는 것을 특징으로 한다. The vibration energy measuring unit measures the vibration energy based on the sound generated by the vibration operation of the mobile terminal.
상기 진동 에너지 측정부는 상기 모바일 단말의 진동 동작에 의해 발생되는 소리를 측정하는 마이크; 및 상기 소리의 주파수 스펙트럼을 분석하여 진동 에너지를 산출하는 주파수 스펙트럼 분석부를 포함하는 것을 특징으로 한다. The vibration energy measuring unit includes a microphone for measuring a sound generated by the vibration operation of the mobile terminal; And a frequency spectrum analyzer configured to analyze the frequency spectrum of the sound and calculate vibration energy.
상기 진동 에너지 측정부는 상기 모바일 단말의 진동 동작에 의해 발생되는 움직임 변화량을 기반으로 진동 에너지로 측정하는 것을 특징으로 한다. The vibration energy measuring unit measures vibration energy based on the amount of movement change generated by the vibration operation of the mobile terminal.
상기 진동 에너지 측정부는 상기 모바일 단말의 진동 동작에 의한 상기 모바일 단말의 움직임을 센싱하는 움직임 센서; 및 상기 모바일 단말의 움직임 변화량으로부터 진동 에너지를 산출하는 움직임 변화량 분석부를 포함하는 것을 특징으로 한다. 상기 진동 발생부는 진동 모터인 것을 특징으로 한다. The vibration energy measuring unit includes a motion sensor for sensing the movement of the mobile terminal by the vibration operation of the mobile terminal; And a motion change amount analyzing unit configured to calculate vibration energy from the motion change amount of the mobile terminal. The vibration generating unit is characterized in that the vibration motor.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따른 사용자 단말의 접촉 강도 센싱 장치는, 상기 사용자 단말을 진동시키는 진동 발생부; 상기 진동 발생부에 의하여 진동하는 사용자 단말과 접촉하는 외부 오브젝트에 의한 상기 진동의 흡수에 따라 발생하는, 진동 변수를 측정하는 진동변수 측정부; 및 상기 진동변수 측정부에 의하여 측정된 진동변수에 따라 사용자 단말에 대한 상기 외부 오브젝트의 접촉 강도를 결정하는 접촉강도 결정부를 포함하는 것을 특징으로 한다. As a means for solving the above problems, a contact strength sensing device of a user terminal according to an embodiment of the present invention, a vibration generating unit for vibrating the user terminal; Vibration variable measuring unit for generating a vibration variable, generated in accordance with the absorption of the vibration by the external object in contact with the user terminal vibrating by the vibration generating unit; And a contact strength determiner for determining a contact strength of the external object with respect to the user terminal according to the vibration variable measured by the vibration variable measurer.
상기 진동 변수 측정부는 상기 사용자 단말에 구비된 가속도 센서, 지자기 센서, 자이로스코프(회전) 센서와 같은 움직임 센서의 하나인 것을 특징으로 한다. The vibration parameter measuring unit is one of a motion sensor such as an acceleration sensor, a geomagnetic sensor, and a gyroscope (rotation) sensor provided in the user terminal.
상기 진동 변수는 상기 사용자 단말과 접촉하는 외부 오브젝트의 접촉 강도로부터 가변될 수 있는 변수인 것을 특징으로 한다. The vibration variable is a variable that may vary from the contact strength of the external object in contact with the user terminal.
상기 진동 변수는 진동 에너지, 진동 거리, 진동 속도, 진동 가속도 중 어느 하나 이상인 것을 특징으로 한다. The vibration variable is one or more of vibration energy, vibration distance, vibration speed, vibration acceleration.
상기 외부 오브젝트는 상기 사용자 단말과 접촉하는 사람의 피부인 것을 특징으로 한다. The external object may be a skin of a person who comes into contact with the user terminal.
상기 외부 오브젝트에 대한 진동 흡수는 상기 접촉 강도에 따라 달라지는 것을 특징으로 한다. The vibration absorption of the external object is characterized in that it depends on the contact strength.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 다른 실시 형태에 따른 사용자 단말의 접촉 강도 센싱 방법은, 상기 사용자 단말과 접촉하는 외부 오브젝트가 상기 사용자 단말에서 발생하는 진동을 흡수함에 따른 진동 변수로부터 상기 외부 오브젝트와 상기 사용자 단말 간의 접촉 강도를 결정하는 것을 특징으로 한다. 상기 진동 변수는 진동 에너지, 진동 거리, 진동 속도, 진동 가속도 중 어느 하나 이상인 것을 특징으로 한다. As a means for solving the above problem, the contact strength sensing method of the user terminal according to another embodiment of the present invention, the external object in contact with the user terminal from the vibration variable caused by absorbing the vibration generated in the user terminal The contact strength between the external object and the user terminal is determined. The vibration variable is one or more of vibration energy, vibration distance, vibration speed, vibration acceleration.
상기 사용자 단말의 접촉 강도 센싱 방법은, 상기 사용자 단말과 접촉하는 외부 오브젝트의 진동흡수 후의 진동 변수가 검출되는 단계; 및 상기 진동 변수로부터 상기 사용자 단말에 대한 접촉 강도가 결정되는 단계를 포함하는 것을 특징으로 한다. The touch intensity sensing method of the user terminal may include detecting a vibration variable after absorbing vibration of an external object in contact with the user terminal; And determining the contact strength with respect to the user terminal from the vibration variable.
상기 진동 변수는 상기 사용자 단말에 구비된 가속도 센서에 의하여 측정되는 변수인 것을 특징으로 한다. The vibration variable is a variable measured by an acceleration sensor provided in the user terminal.
상기 진동 변수는 상기 사용자 단말과 접촉하는 외부 오브젝트의 접촉 강도로부터 가변될 수 있는 변수인 것을 특징으로 한다. 상기 과제를 해결하기 위한 수단으로서, 본 발명의 또 다른 실시 형태에 따른 사용자 단말 제어방법은, 사용자 단말에서의 발생하는 진동으로부터 진동 변수가 측정되는 단계; 상기 사용자 단말과 접촉하는 외부 오브젝트의 진동흡수로부터 발생하는, 상기 진동 변수의 변화가 검출되는 단계; 상기 검출된 진동 변수의 변화로부터 상기 사용자 단말에 대한 접촉 강도가 결정되는 단계; 및 상기 결정된 접촉 강도로부터 상기 사용자 단말에 저장된 기설정된 제어 명령이 수행되는 단계를 포함하는 것을 특징으로 한다. The vibration variable is a variable that may vary from the contact strength of the external object in contact with the user terminal. As a means for solving the above problems, a user terminal control method according to another embodiment of the present invention, the step of measuring the vibration variable from the vibration occurring in the user terminal; Detecting a change in the vibration variable resulting from vibration absorption of an external object in contact with the user terminal; Determining a contact strength with respect to the user terminal from the detected change in the vibration variable; And performing a predetermined control command stored in the user terminal from the determined contact strength.
상기 진동 변수는 상기 사용자 단말과 접촉하는 외부 오브젝트의 접촉 강도로부터 가변될 수 있는 변수인 것을 특징으로 한다. The vibration variable is a variable that may vary from the contact strength of the external object in contact with the user terminal.
상기 기설정된 제어명령이 수행되는 단계는, 상기 결정된 접촉 강도와, 기설정된 접촉 강도가 비교되는 단계; 상기 결정된 접촉 강도에 매칭되는 기설정된 접촉강도가 결정되는 단계; 및 상기 매칭되는 기설정된 접촉강도에 할당된 제어명령이 수행되는 단계를 포함하는 것을 특징으로 한다. The performing of the predetermined control command may include: comparing the determined contact strength with a predetermined contact strength; Determining a predetermined contact strength matching the determined contact strength; And performing a control command assigned to the matched preset contact strength.
상기 과제를 해결하기 위하여, 본 발명의 또 다른 일 실시예는 사용자 단말 제어장치로서, 상기 사용자 단말의 진동을 센싱하는 센싱부; 및 상기 사용자 단말에 대한 진동 변화 패턴에 따라 상기 사용자 단말에 대한 제어명령을 결정하는 제어부를 포함하는 것을 특징으로 하는 사용자 단말 제어장치를 제공한다. 본 발명의 일 실시예에서, 상기 진동 변화 패턴은 상기 사용자 단말에 대한 외부 오브젝트의 터치 강도, 터치 횟수 및 터치 주기 중 적어도 어느 하나 이상의 조합에 따라 결정된다. 본 발명의 일 실시예에서, 상기 외부 오브젝트는 사람 손이다. 본 발명의 일 실시예에서, 상기 사용자 단말 제어장치는 움직임 센서를 포함하며, 상기 진동 세기는 상기 움직임 센서에 의하여 센싱되는 사용자 단말의 움직임 계수로 계산된다. 본 발명의 일 실시예에서, 상기 사용자 단말 제어장치의 움직임 센서는, 자이로 스코프, 가속도 센서, 카메라, 지자기 센서 중 어느 하나 또는 둘 이상의 조합이다. 본 발명의 일 실시예에서, 상기 외부 오브젝트의 터치 강도가 강할수록, 상기 진동 세기는 감소한다. . In order to solve the above problems, another embodiment of the present invention is a user terminal control device, the sensing unit for sensing the vibration of the user terminal; And a controller configured to determine a control command for the user terminal according to the vibration change pattern for the user terminal. In one embodiment of the present invention, the vibration change pattern is determined according to a combination of at least one of the touch intensity, the number of touches, and the touch period of the external object with respect to the user terminal. In one embodiment of the invention, the external object is a human hand. In an embodiment of the present invention, the user terminal controller includes a motion sensor, and the vibration intensity is calculated as a motion coefficient of the user terminal sensed by the motion sensor. In one embodiment of the present invention, the motion sensor of the user terminal control device, any one or a combination of two or more of a gyroscope, an acceleration sensor, a camera, a geomagnetic sensor. In one embodiment of the present invention, the stronger the touch intensity of the external object, the lower the vibration intensity. .
본 발명에서는 압력센서와 같은 하드웨어를 구비하지 않고도 기존기기에 구비된 진동모터/마이크와 소프트웨어만으로 동일한 효과를 가질 수 있어 적은 비용으로 큰 효과를 볼 수 있는 터치 센싱 방법을 제공하고 있다. The present invention provides a touch sensing method that can have a large effect at low cost because it can have the same effect only with the vibration motor / microphone and software provided in the existing equipment without having a hardware such as a pressure sensor.
본 발명은 모바일 기기 전체의 진동을 이용하므로, 입력 범위가 특정 위치에 한정되지 아니한다. 그 결과, 본 발명의 터치 감지 영역은 터치 스크린 영역을 벗어나, 모바일 장치 전체로 확장될 수 있게 된다. Since the present invention uses the vibration of the entire mobile device, the input range is not limited to a specific position. As a result, the touch sensitive area of the present invention can extend beyond the touch screen area to the entire mobile device.
도1은 본 발명의 일 실시예에 따른 터치 센싱 장치에 관한 것이다. 1 relates to a touch sensing device according to an embodiment of the present invention.
도2은 본 발명의 일 실시예에 따른 터치 센싱 방법을 설명하기 위한 도면이다. 2 is a view for explaining a touch sensing method according to an embodiment of the present invention.
도3은 본 발명의 일 실시예에 따라 측정된 소리를 도시한 도면이다. 3 is a diagram illustrating a sound measured according to an embodiment of the present invention.
도4는 본 발명의 다른 실시예에 따른 터치 센싱 장치에 관한 것이다. 4 relates to a touch sensing device according to another embodiment of the present invention.
도5는 본 발명의 다른 실시예에 따른 터치 센싱 방법을 설명하기 위한 도면이다. 5 is a view for explaining a touch sensing method according to another embodiment of the present invention.
도6는 본 발명의 일 실시예에 따른 터치 센싱 장치의 모바일 단말의 적용예를 도시한 도면이다. 6 is a diagram illustrating an application example of a mobile terminal of a touch sensing device according to an embodiment of the present invention.
도7는 본 발명의 일 실시예에 따른 사용자 터치 압력 세기의 표시예를 도시한 도면이다. 7 is a diagram illustrating a display example of user touch pressure strength according to an exemplary embodiment of the present invention.
도8은 본 발명의 다른 실시예에 따른 사용자 터치 압력 세기의 표시예를 도시한 도면이다. 8 is a diagram showing an example of display of user touch pressure strength according to another embodiment of the present invention.
이하 첨부된 도면을 참조하여 본 발명에 대해 구체적으로 살펴보기로 한다. Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
다만, 본 발명을 설명함에 있어, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다. 용어가 동일하더라도 표시하는 부분이 상이하면 도면 부호가 일치하지 않음을 미리 말해두는 바이다.However, in describing the present invention, when it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted. Even if the terms are the same, if the displayed portions are different, it is to be noted that the reference numerals do not match.
그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 설정된 용어들로서 이는 실험자 및 측정자와 같은 사용자의 의도 또는 관례에 따라 달라질 수 있으므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.The terms to be described below are terms set in consideration of functions in the present invention, and may be changed according to a user's intention or custom such as an experimenter and a measurer, and the definitions should be made based on the contents throughout the present specification.
본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. A singular expression includes a plural expression unless the context clearly indicates otherwise.
다르게 정의되지 않는 하, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.
이하 첨부된 도면을 참조하여 본 발명에 대해 구체적으로 설명하기로 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다. Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. In the following description of the present invention, the same reference numerals are used for the same elements in the drawings and redundant descriptions of the same elements will be omitted.
도1은 본 발명의 일 실시예에 따른 터치 센싱 장치에 관한 것이다. 1 relates to a touch sensing device according to an embodiment of the present invention.
도1을 참고하면, 본 발명의 터치 센싱 장치(100)는 기 설정된 진동 주파수로 모바일 단말을 진동시키는 진동 발생부(110), 모바일 단말의 진동 동작에 의해 발생되는 진동 에너지를 측정하는 진동 에너지 측정부(120), 및 사용자 터치에 의해 진동 에너지가 변화하는 경우, 진동 에너지 변화량에 기반하여 터치 압력 세기를 측정하는 터치 센싱 제어부(130)를 포함하여 구성될 수 있다. Referring to Figure 1, the touch sensing device 100 of the present invention is a vibration generating unit 110 for vibrating the mobile terminal at a predetermined vibration frequency, vibration energy measurement for measuring the vibration energy generated by the vibration operation of the mobile terminal When the vibration energy is changed by the unit 120 and the user touch, the touch sensor 130 may include a touch sensing controller 130 that measures the touch pressure intensity based on the vibration energy change amount.
상기 터치 센싱 장치(100)는 스마트 폰, 태블릿 PC 등과 같이 모바일 단말에 구비되어, 사용자가 해당 모바일 단말을 터치하는 지 또는 얼마나 세게 누르는 지에 대해 측정하도록 한다. The touch sensing device 100 is provided in a mobile terminal such as a smart phone or a tablet PC to measure whether the user touches or presses hard on the mobile terminal.
본 발명은 진동이 발생하고 있는 모바일 단말에 사용자의 신체 일부(예를 들어, 손가락)가 터치되는 경우, 진동 일부가 사용자 신체에 전달 및 흡수되어 진동 에너지가 감소되는 현상을 이용하는 데, 이러한 경우 터치 감지 영역이 터치 스크린 영역을 벗어나, 모바일 장치 전체로 확장될 수 있다. 즉, 본 발명에서는 사용자가 터치 스크린뿐 만 아니라 장치 뒷면, 또는 장치 모서리 등을 터치하더라도, 진동 에너지 변화 현상을 이용하여 사용자 터치 여부, 터치 압력 세기를 측정할 수 있게 된다. 계속하여, 상기 진동 발생부(110)는 모바일 단말에 이미 구비된 진동 모터로 구현될 수 있다. 즉, 모바일 단말에 구비된 진동 모터를 재활용하여 터치 압력 세기 측정 동작에 필요한 진동을 발생하도록 한다. 물론, 모바일 단말에 진동 모터가 없는 경우에 별도의 진동 모터를 추가 구비할 수 있음은 당연하다. 상기 진동 에너지 측정부(120)는 모바일 단말의 진동 동작에 의해 발생되는 소리를 기반으로 진동 에너지로 측정하며, 이를 위해 모바일 단말의 진동 동작에 의해 발생되는 소리를 측정하는 마이크(121), 및 마이크(121)를 통해 측정된 소리의 주파수 스펙트럼을 분석하여 진동 에너지를 산출하는 주파수 스펙트럼 분석부(122)를 포함하여 구성될 수 있다. According to the present invention, when a part of a user's body (for example, a finger) is touched by a mobile terminal generating vibration, a part of the vibration is transmitted to and absorbed by the user's body to reduce vibration energy. The sensing area may extend beyond the touch screen area to the entire mobile device. That is, in the present invention, even if the user touches not only the touch screen but also the back of the device or the corner of the device, the user can measure whether the user touches or the touch pressure intensity by using the vibration energy change phenomenon. Subsequently, the vibration generating unit 110 may be implemented as a vibration motor already provided in the mobile terminal. That is, the vibration motor provided in the mobile terminal is recycled to generate vibrations required for the touch pressure intensity measurement operation. Of course, when there is no vibration motor in the mobile terminal it is natural that a separate vibration motor can be additionally provided. The vibration energy measuring unit 120 measures the vibration energy based on the sound generated by the vibration operation of the mobile terminal, and for this purpose, the microphone 121 measuring the sound generated by the vibration operation of the mobile terminal, and a microphone. It may be configured to include a frequency spectrum analyzer 122 for analyzing the frequency spectrum of the sound measured by the 121 to calculate the vibration energy.
모바일 단말이 진동하는 경우, 진동에 의한 소리가 필연적으로 발생하게 되는 데, 이때의 진동 소리도 사용자 터치 여부, 터치 압력 세기에 따라 변화되는 특징을 가진다. 이에 본 발명에서는 소리 에너지를 통해 진동 에너지를 간접 측정하고, 이를 기반으로 사용자 터치 여부, 터치 압력 세기를 검출할 수 있도록 한다. When the mobile terminal vibrates, a sound due to vibration inevitably occurs, and the vibration sound at this time is also changed according to whether the user touches or the touch pressure intensity. Accordingly, in the present invention, vibration energy is indirectly measured through sound energy, and based on this, whether a user touches or touch pressure strength can be detected.
상기 터치 센싱 제어부(130)는 사용자 터치를 감지하기 위한 최소 진동 에너지 변화량(즉, 문턱값), 그리고 진동 에너지 변화량을 터치 압력 세기 변화량으로 환산하기 위한 정보를 사전에 설정 및 저장한다. 그리고, 진동 에너지 측정부(120)를 통해 측정되는 소리를 모니터링하면서 진동 에너지 변화량을 산출하고, 진동 에너지 변화량과 상기 문턱값을 비교 분석하여 사용자 터치 여부를 결정한다. 또한, 사용자 터치 발생이 확인되면, 상기 환산 정보를 기준으로 소리 에너지 변화량을 터치 압력 세기로 환산하여 사용자에게 통보한다. The touch sensing controller 130 presets and stores a minimum vibration energy change amount (that is, a threshold value) for detecting a user touch and information for converting the vibration energy change amount into a touch pressure intensity change amount in advance. Then, the vibration energy change amount is calculated while monitoring the sound measured by the vibration energy measurement unit 120, and the vibration energy change amount and the threshold value are compared and analyzed to determine whether the user touches. In addition, when the occurrence of the user touch is confirmed, the amount of change in the sound energy based on the converted information is converted into the touch pressure intensity to notify the user.
도2은 본 발명의 일 실시예에 따른 터치 센싱 방법을 설명하기 위한 도면이다. 2 is a view for explaining a touch sensing method according to an embodiment of the present invention.
먼저, 사용자에 의해 터치 센싱 동작이 요청되면, 터치 센싱 장치(100)는 모바일 단말을 진동시킨 후(S11), 모바일 단말의 진동에 의해 발생되는 소리를 측정한다(S12). First, when a touch sensing operation is requested by the user, the touch sensing apparatus 100 vibrates the mobile terminal (S11), and measures sound generated by vibration of the mobile terminal (S12).
그리고 측정된 소리의 주파수 스펙트럼을 분석하여 소리 에너지를 획득한 후(S13), 이전에 획득된 소리 에너지와 현재 획득된 소리 에너지를 비교하여 소리 에너지가 변화했는지 확인한다(S14). 이때, 소리 에너지는 주파수별 소리 에너지를 모두 합한 값으로부터 산출될 수 것이다. After acquiring sound energy by analyzing the frequency spectrum of the measured sound (S13), the sound energy is changed by comparing the previously obtained sound energy with the currently obtained sound energy (S14). In this case, the sound energy may be calculated from the sum of the sound energy for each frequency.
단계 S14의 확인 결과, 소리 에너지가 이전에 비해 문턱치 이상으로 급격히 변화되었으면, 사용자가 모바일 단말을 터치하고 있다고 판단한다(S15). As a result of checking in step S14, if the sound energy has changed more rapidly than the threshold compared to the previous, it is determined that the user is touching the mobile terminal (S15).
그리고 터치 전 소리 에너지와 터치 후 소리 에너지를 비교하여 소리 에너지 변화량을 계산한 후, 기 설정된 환산 정보를 참고하여 소리 에너지 변화량으로부터 터치 압력 세기를 산출한다(S16). The sound energy change amount is calculated by comparing the sound energy before the touch and the sound energy after the touch, and the touch pressure intensity is calculated from the sound energy change amount by referring to the preset conversion information (S16).
도3은 본 발명의 일 실시예에 따라 측정된 소리를 도시한 도면이다. 3 is a diagram illustrating a sound measured according to an embodiment of the present invention.
도3을 참고하면, 사용자가 모바일 단말을 터치하는 압력의 세기에 따라 소리 주파수 스펙트럼이 점차 변화됨을 알 수 있다. 즉, 모바일 단말에 대한 사용자 터치 압력 세기가 증가할수록 소리 에너지가 감소됨을 알 수 있다. Referring to FIG. 3, it can be seen that the sound frequency spectrum is gradually changed according to the strength of the pressure of the user touching the mobile terminal. That is, it can be seen that sound energy decreases as the user touch pressure intensity on the mobile terminal increases.
이는 앞서 설명한 바와 같이, 모바일 기기가 진동할 때, 사용자의 쥠 제스처(grip gesture) 또는 터치 제스처(touch gesture)의 강도에 따라 물리적 진동이 사용자의 신체(특히, 피부)를 통해 전달, 흡수되어 소리 에너지가 감소되는 현상에 의한 것이다. 이에 본 발명에서는 이러한 현상을 이용하여 사용자가 모바일 단말을 터치하는 지, 얼마나 세게 모바일 단말을 잡거나 누르고 있는지를 확인할 수 있게 된다. 더하여, 본 발명에서는 모바일 단말의 진동 동작에 의해 발생되는 소리 대신에 모바일 단말의 움직임을 기반으로 진동 에너지로 측정하도록 할 수도 있을 것이다. As described above, when the mobile device vibrates, the physical vibration is transmitted and absorbed through the user's body (especially the skin) according to the intensity of the user's grip gesture or touch gesture. This is due to the phenomenon of reduced energy. Accordingly, in the present invention, it is possible to check whether the user touches the mobile terminal and how hard the user is holding or pressing the mobile terminal. In addition, the present invention may be to measure the vibration energy based on the movement of the mobile terminal instead of the sound generated by the vibration operation of the mobile terminal.
도4는 본 발명의 다른 실시예에 따른 터치 센싱 장치에 관한 것으로, 도4의 진동 에너지 측정부(140)는 마이크(121) 및 주파수 스펙트럼 분석부(122) 대신에 모바일 단말의 진동 동작에 의한 상기 모바일 단말의 움직임을 센싱하는 움직임 센서(141)와 모바일 단말의 움직임으로부터 진동 에너지를 산출하는 움직임 변화량 분석부(142)를 포함하여, 모바일 단말의 진동 동작에 의해 발생되는 모바일 단말의 움직임을 기반으로 진동 에너지로 측정함을 알 수 있다. 4 is a view illustrating a touch sensing device according to another embodiment of the present invention, wherein the vibration energy measuring unit 140 of FIG. 4 is operated by the vibration operation of the mobile terminal instead of the microphone 121 and the frequency spectrum analyzer 122. Including a motion sensor 141 for sensing the movement of the mobile terminal and a motion variation analyzer 142 for calculating vibration energy from the movement of the mobile terminal, based on the movement of the mobile terminal generated by the vibration operation of the mobile terminal As can be seen from the vibration energy.
이때, 상기 움직임 센서(141)는 가속도 센서(accelerator), 자이로스코프(gyroscope), 콤파스 센서(compass) 등과 같이 모바일 단말에 이미 구비된 움직임 센서로 구현될 수 있다. 물론, 모바일 단말에 움직임 센서가 없는 경우에 별도의 움직임 센서를 추가 구비할 수 있음은 당연하다.In this case, the motion sensor 141 may be implemented as a motion sensor already provided in the mobile terminal, such as an acceleration sensor, a gyroscope, a compass sensor, and the like. Of course, if there is no motion sensor in the mobile terminal it is natural that a separate motion sensor can be additionally provided.
도5는 본 발명의 다른 실시예에 따른 터치 센싱 방법을 설명하기 위한 도면으로, 이는 모바일 움직임을 기반으로 터치 압력 세기를 측정하기 위한 방법이다. 5 is a view for explaining a touch sensing method according to another embodiment of the present invention, which is a method for measuring the touch pressure intensity based on a mobile movement.
먼저, 사용자에 의해 터치 센싱 동작이 요청되면, 터치 센싱 장치(100)는 모바일 단말을 진동시킨 후(S21), 움직임 센서를 통해 모바일 단말의 움직임을 센싱한다(S22). First, when a touch sensing operation is requested by the user, the touch sensing apparatus 100 vibrates the mobile terminal (S21), and then senses the movement of the mobile terminal through the motion sensor (S22).
모바일 단말의 움직임을 추적하여 움직임 에너지를 산출한 후(S23), 이전에 획득된 움직임 에너지와 현재 획득된 움직임 에너지를 비교하여 움직임 에너지 변화 여부를 확인한다(S24). 이때, 소리 에너지는 소정 기간 동안 발생된 움직임량을 수집 및 누적함으로써 산출될 수 것이다. After calculating the motion energy by tracking the movement of the mobile terminal (S23), it is checked whether the motion energy changes by comparing the previously obtained motion energy with the currently obtained motion energy (S24). In this case, the sound energy may be calculated by collecting and accumulating the amount of motion generated during the predetermined period.
단계 S24의 확인 결과, 움직임 에너지가 이전에 비해 문턱치 이상으로 급격히 변화되었으면, 사용자가 모바일 단말을 터치하고 있다고 판단한다(S25). As a result of checking in step S24, if the movement energy has changed more rapidly than the threshold compared to the previous, it is determined that the user is touching the mobile terminal (S25).
그리고 터치 전 움직임 에너지와 터치 후 움직임 에너지를 비교하여 움직임 에너지 변화량을 계산한 후, 기 설정된 환산 정보를 참고하여 움직임 에너지 변화량을 터치 압력 세기로 환산 및 출력한다(S26). After calculating the movement energy change by comparing the movement energy before the touch and the movement energy after the touch, the movement energy change amount is converted into the touch pressure intensity and output by referring to the preset conversion information (S26).
도6는 본 발명의 일 실시예에 따른 터치 센싱 장치의 모바일 단말의 적용예를 도시한 도면이다. 6 is a diagram illustrating an application example of a mobile terminal of a touch sensing device according to an embodiment of the present invention.
도6에서와 같이, 모바일 단말은 도2 또는 도4와 같이 구성되어 사용자의 터치 여부, 터치 압력 세기를 센싱할 수 있는 터치 센싱 장치(100), 그리고 사용자 요청에 따라 터치 센싱 장치(100)를 이용한 터치 센싱 동작을 수행하고, 터치 센싱 결과를 터치 스크린(300), 스피커(400) 등을 이용해 사용자에게 알려주는 제어부(200)를 포함하여 구성될 수 있다. As shown in FIG. 6, the mobile terminal is configured as shown in FIG. 2 or FIG. 4 to determine whether the user touches, the touch sensing device 100 capable of sensing the touch pressure strength, and the touch sensing device 100 according to a user's request. The controller 200 may be configured to perform the touch sensing operation, and notify the user of the touch sensing result using the touch screen 300, the speaker 400, and the like.
즉, 모바일 단말은 터치 센싱 장치(100)를 하나의 센싱 장치로써 활용하여 사용자의 터치 여부, 터치 압력 세기를 센싱한 후, 센싱 결과를 터치 스크린(300), 스피커(400) 등을 통해 사용자에게 시청각적으로 통보할 수 있다. 예를 들어, 도7에서와 같이 사용자 터치 압력 세기를 텍스트 형태로 보여 줄 수 있으며, 도8에서와 같이 그래픽 형태로 보여줄 수도 있을 것이다. 이때, 그래픽 표시 위치는 터치 스크린(300)을 통해 획득된 터치 위치값에 따라 결정 및 가변될 수 있을 것이다. That is, the mobile terminal utilizes the touch sensing device 100 as one sensing device to sense whether the user touches or the touch pressure intensity, and then the sensing result is transmitted to the user through the touch screen 300 and the speaker 400. You can report audio-visually. For example, as shown in FIG. 7, the user's touch pressure intensity may be displayed in text form, or may be displayed in graphic form as shown in FIG. 8. In this case, the graphic display position may be determined and changed according to the touch position value obtained through the touch screen 300.
또한, 모바일 단말은 터치 센싱 장치(100)의 터치 압력 세기 센싱 결과를 이용하여 스피커 볼륨을 조절하거나, 사용자 터치 여부(예를 들어, 터치 또는 쥠 제스처)를 이용하여 버튼 입력 동작 없이 전화를 받을 수 있도록 하는 등, 터치 센싱 장치(100)를 사용자 인터페이스 장치로도 활용할 수 있도록 한다. In addition, the mobile terminal may adjust the speaker volume by using the touch pressure intensity sensing result of the touch sensing device 100, or answer the call without using a button input operation by using a user's touch (for example, a touch or a 쥠 gesture). For example, the touch sensing device 100 may be utilized as a user interface device.
본 발명의 또 다른 일 실시예는 진동하는 단말을 사용자가 잡는 경우, 잡는 힘(즉, 접촉 강도)에 따라 진동 흡수(Vibration absorption 혹은 Vibration damping, 흡진동)의 정도가 달라지는 점을 이용하여, 사용자 단말에 대한 접촉 강도를 센싱한다. 여기에서 접촉 강도라함은 휴대전화 등과 같은 사용자 단말과 접촉하는 외부 오브젝트가 상기 사용자 단말에 가하는 힘을 의미한다. According to another embodiment of the present invention, when the user catches a vibrating terminal, the degree of vibration absorption (Vibration absorption or Vibration damping) depends on the grabbing force (ie, contact strength). Sensing the contact strength for the terminal. Herein, the contact strength means a force applied to the user terminal by an external object contacting the user terminal such as a mobile phone.
도 9는 본 발명의 일 실시예에 따른 접촉 강도 센싱 장치의 블록도이다. 9 is a block diagram of a contact strength sensing device according to an embodiment of the present invention.
도 9를 참고하면, 본 발명의 일 실시예에 따른 접촉 강도 센싱 장치(100)는, 기 설정된 진동 주파수로 사용자 단말을 진동시키는 진동 발생부(110), 상기 사용자 단말의 진동으로부터 추출되는 변수(이하 진동 변수)를 측정하는 진동 변수 측정부(120), 및 상기 사용자 단말과 접촉하는 외부 오브젝트에 의한 상기 진동의 흡수에 따라 발생하는 변화된 진동 변수로부터, 상기 사용자 단말에 대한 상기 오브젝트의 접촉 강도를 결정하는 접촉강도 결정부(130)를 포함한다. Referring to FIG. 9, the contact strength sensing apparatus 100 according to an embodiment of the present invention may include a vibration generator 110 for vibrating a user terminal at a preset vibration frequency and a variable extracted from vibration of the user terminal. From the vibration variable measuring unit 120 for measuring the vibration variable) and the changed vibration variable generated in accordance with the absorption of the vibration by the external object in contact with the user terminal, the contact strength of the object to the user terminal The contact strength determining unit 130 to determine.
본 발명에 따른 상기 터치 센싱 장치(100)는 스마트 폰, 태블릿 PC 등과 같이 사용자 단말에 구비되어, 사용자가 해당 사용자 단말을 어느 정도의 강도로 터치하고 있는지를 판단할 수 있다. The touch sensing device 100 according to the present invention may be provided in a user terminal such as a smart phone, a tablet PC, and the like to determine whether the user is touching the user terminal with what strength.
즉, 본 발명은 진동이 발생하고 있는 사용자 단말에 사용자의 신체 일부(예를 들어, 손가락과 같은 외부 오브젝트)가 접촉하는 경우, 상기 진동 일부는 사용자 신체에 전달/흡수되는 소위 진동 흡수(Vibration Absorption)이 발생하고, 상기 외부 오브젝트에 의한 진동 흡수의 정도는 상기 외부 오브젝트와 사용자 단말 간의 접촉 강도에 의존하는 점에 주목하였다. That is, according to the present invention, when a part of the user's body (for example, an external object such as a finger) comes into contact with a user terminal where vibration is occurring, the vibration part is transmitted or absorbed to the user's body, so-called vibration absorption. ), And the degree of vibration absorption by the external object depends on the contact strength between the external object and the user terminal.
본 발명에서 외부 오브젝트에 의한 진동 흡수에 의하여 가변되는 진동변수를 가속도 센서 등과 같은 진동 측정부를 통하여 추출하고, 상기 진동 변수의 변화로부터 접촉 강도를 유추하여, 결정한다. 즉, 본 발명에서의 진동 변수는 에너지, 진동 거리, 진동 속도, 진동 가속도 등과 같이 사람의 피부 등에서 단말 진동이 흡수되는 경우, 변화될 수 있는 것으로, 진동으로부터 추출 가능한 임의의 모든 변수가 상기 진동 변수가 될 수 있다. In the present invention, the vibration variable that is varied by the absorption of vibration by an external object is extracted through a vibration measuring unit such as an acceleration sensor, and the contact strength is inferred from the change of the vibration parameter to determine it. That is, the vibration variable in the present invention may be changed when the terminal vibration is absorbed in the skin of a person such as energy, vibration distance, vibration speed, vibration acceleration, and the like. Any vibration variable extracted from the vibration may be the vibration variable. Can be
도 10은 접촉 강도와 이에 대한 진동 흡수를 측정한, 가속도 센서(Accelerometer)의 분석 결과이다.10 is an analysis result of an accelerometer measuring contact strength and vibration absorption thereof.
도 10을 참조하면, 사용자 단말에 인가되는 힘(접촉 강도)는 가속도 센서에 의하여 측정되는 사용자 단말의 공간상 변위와 같은 진동 변수에 의하여 측정될 수 있으며, 이는 결국 가속도 센서의 리딩 데이터의 구분가능한 차이로 나타난다. 예를 들어 도 2 에서 강하게 쥐는 hard press와 약하게 쥐는 light press, 그리고 단말을 놓는 release 시, 가속도 센서가 인식하는 데이터는 상이하게 나타나며, 그 패턴은 사용자 단말을 쥐는 힘에 따라 달라지며, 강도별로 유사한 패턴을 보이는 것을 알 수 있다. 따라서, 본 발명은 이러한 진동 흡수의 정도를 측정하는 소프트웨어만을 이용하여 단말의 전체 영역에서의 접촉 강도를 측정할 수 있다. 따라서, 본 발명에 따른 접촉 강도 센싱 방법 및 장치는, 별도의 하드웨어 구성없이 소프트웨어 만으로 단말 전체를 센싱할 수 있다는 장점이 있다. 즉, 본 발명은 종래 기술의 압력을 인식하는 방법에서 큰 차이가 있는데, 종래 기술은 누르는 압력에 따라 저항이 가변되는 하드웨어를 모바일 기기의 일부분에 구비하여 터치 강도를 구하는 방식이었지만, 본 발명은 일정 진동을 기기에 인가하고, 가해지는 압력에 따라 흡수되는 진동을 가속도 센서로 센싱한 후, 이로부터 접촉 강도를 구한다. 따라서, 별도 하드웨어를 사용할 필요가 없으며, 빠르고 간단하게 접촉 압력의 강도를 빠르게 계산할 수 있다는 장점이 있다. Referring to FIG. 10, the force (contact strength) applied to the user terminal may be measured by a vibration variable such as a spatial displacement of the user terminal measured by the acceleration sensor, which may be distinguishable from the reading data of the acceleration sensor. It appears as a difference. For example, in FIG. 2, the hard press, the light press, and the release release the terminal, the acceleration sensor recognizes the data differently, and the pattern depends on the force holding the user terminal. You can see the pattern. Therefore, the present invention can measure the contact strength in the entire area of the terminal using only the software for measuring the degree of vibration absorption. Therefore, the contact strength sensing method and apparatus according to the present invention has an advantage that the entire terminal can be sensed only by software without a separate hardware configuration. That is, the present invention has a big difference in the method of recognizing the pressure of the prior art, the prior art was a method of obtaining the touch strength by providing a hardware in which the resistance is variable according to the pressing pressure in a portion of the mobile device, the present invention is constant Vibration is applied to the device, and the vibration absorbed in accordance with the applied pressure is sensed by the acceleration sensor, and then the contact strength is obtained therefrom. Therefore, there is no need to use a separate hardware, there is an advantage that can quickly calculate the strength of the contact pressure quickly and simply.
본 발명에 있어서, 도 2에서 설명하는 진동 흡수로부터 얻을 수 있는 진동 변수는 이러한 단말의 공간상 변위뿐만 아니라, 진동흡수로부터 가변될 수 있는 임의의 모든 진동 변수(이것은 또 다른 센서에 의하여 또 다른 방식으로 센싱될 수도 있다)가 본 발명의 범위에 속한다. 예를 들어, 진동 변위(공간상, 시간상), 속도, 진동 에너지 등이 상기 진동 변수가 될 수 있다. In the present invention, the vibration variables obtainable from the vibration absorption described in FIG. 2 are not only spatial displacements of these terminals, but also any vibration variables that can be varied from the vibration absorption (this is another method by another sensor. May be sensed) is within the scope of the present invention. For example, vibration displacement (spatial and temporal), speed, vibration energy, etc. may be the vibration variables.
도 11 내지 13은 본 발명에 따른 접촉 강도 센싱 방법에 따라, 사용자 단말을 사용자가 약하게 쥐는 경우, 중간 힘으로 쥐는 경우, 세게 쥐는 경우의 사진이다. 11 to 13 are photographs of a case in which the user grips the user terminal weakly, if the user grips it with a moderate force, according to the contact strength sensing method according to the present invention.
도 11 내지 13에서 적색 원 크기는 진동 변수로부터 결정되는 접촉 압력의 강도를 나타내는데, 도 11 내지 13의 적색 원 크기는 실제 쥐는 힘과 일치하는 것을 알 수 있다. 특히 터치 스크린에 대한 터치 없이도 뒷면과 옆면만을 사용자가 터치하는 경우에도, 효과적인 터치 강도 검출이 가능하다는 것을 상기 도 3 내지 5로부터 알 수 있다. In Figs. 11 to 13, the red circle size represents the intensity of the contact pressure determined from the vibration parameter, and it can be seen that the red circle size of Figs. 11 to 13 is consistent with the actual grip force. In particular, it can be seen from FIGS. 3 to 5 that effective touch intensity detection is possible even when the user touches only the back and side surfaces without touching the touch screen.
본 발명의 일실시 예에서는 시간 2 에서의 진동 변수(Vmotion2)를 하기의 수학식1과 같이 구하였다.In an embodiment of the present invention, the vibration variable Vmotion2 at time 2 was obtained as in Equation 1 below.
[수학식 1][Equation 1]
Vmotion2=(|Xacc2-Xacc1|+|Yacc2-Yacc1|+|Zacc2-Zacc1|)×100V motion2 = (| X acc2 -X acc1 | + | Y acc2 -Y acc1 | + | Z acc2 -Z acc1 |) × 100
상시 식에서 X, Y, Z는 X, Y, Z축을 의미하며 아래 점차 acc1과 acc2는 가속도 센서로부터의 측정된 값이다. 이때 acc2 는 특정 시간 2에서의 값이고, acc1는 acc2보다 50ms 전에 측정된 시간 1에서의 센서 값이다. 또한, 상기 식에서의 50ms동안의 센싱값 차이에 100을 곱하여 구분 가능한 수준으로 그 값을 증대시켰다. In the formula, X, Y, Z means X, Y, Z axis and gradually acc1 and acc2 are measured values from the acceleration sensor. Where acc2 is the value at time 2 and acc1 is the sensor value at time 1 measured 50ms before acc2. In addition, by multiplying the difference in sensing value for 50ms in the above expression by 100, the value was increased to a level that can be distinguished.
상기 식과 도 10의 결과를 참조하면, Z축에서의 쥐는 힘에 따른 차이가 가장 컸는데, 이것은 Z축을 따라 움직이는 선형 모터의 위치로부터 기인하는 것으로 판단된다. (이때, 진동 변수를 구하는 알고리즘은 상기 식에 국한되는 것은 아니며 z축만 사용하거나 x,y,z 3차원 벡터의 변화 절대값 등 움직임 변화를 판단하는 것이라면 모두 사용할 수 있으며 이는 본 발명에 포함된다.)Referring to the above equation and the results of FIG. 10, the grip on the Z axis has the largest difference according to the force, which is determined by the position of the linear motor moving along the Z axis. (At this time, the algorithm for obtaining the vibration variable is not limited to the above equation, and any algorithm may be used as long as it uses only the z-axis or the motion change such as the absolute value of the change in the x, y, z three-dimensional vector, which is included in the present invention. )
본 발명은 상술한 장치를 통하여 사용자 단말과 접촉하는 외부 오브젝트가 상기 사용자 단말에서 발생하는 진동을 흡수함에 따른 진동 변수로부터 상기 외부 오브젝트와 상기 사용자 단말 간의 접촉 강도를 결정하는 접촉 강도 센싱 방법을 제공한다. The present invention provides a contact strength sensing method for determining the contact strength between the external object and the user terminal from the vibration variable as the external object in contact with the user terminal absorbs the vibration generated in the user terminal through the above-described device. .
도 14는 상술한 방법을 구현하기 위한 구체적인 일 실시예의 단계도이다.14 is a flowchart of one specific embodiment for implementing the above-described method.
도 14를 참조하면, 상기 접촉 강도 센싱 방법은, 사용자 단말에서의 발생하는 진동으로부터 진동 변수가 검출되는 단계(S110); 상기 사용자 단말과 접촉하는 외부 오브젝트의 진동흡수 후, 변화된 진동 변수가 검출되는 단계(S120); 및 상기 변화된 진동 변수로부터 상기 사용자 단말에 대한 접촉 강도가 결정되는 단계(S130)를 포함한다. Referring to FIG. 14, the contact strength sensing method may include detecting a vibration variable from vibrations generated in a user terminal (S110); After the vibration absorption of the external object in contact with the user terminal, the changed vibration variable is detected (S120); And determining a contact strength with respect to the user terminal from the changed vibration parameter (S130).
본 발명의 일 실시예에서 상기 진동 변수는 사용자 단말에 구비된 가속도 센서에 의하여 측정되는 변수로서, 3축 센서인 경우, 각 축에서의 변위가 상기 진동 변수가 될 수 있다. 상기 진동 변수와, 진동 흡수에 따른 진동 변수의 변화 등은 상술한 바와 같으니 이하 생략한다. In one embodiment of the present invention, the vibration variable is a variable measured by an acceleration sensor provided in a user terminal. In the case of a 3-axis sensor, the displacement in each axis may be the vibration variable. Since the vibration variable and the change in the vibration variable according to the vibration absorption are the same as described above, they will be omitted below.
본 발명은 상술한 방식으로 센싱된 접촉 강도를, 단말의 제어 명령 신호로 활용하는 방법을 제공한다. 즉, 본 발명에 따른 단말 제어방법은, 진동하는 단말에 대한 접촉 강도에 따라 단말을 제어하는 방식을 취한다. The present invention provides a method of utilizing the touch strength sensed in the above-described manner as a control command signal of the terminal. That is, the terminal control method according to the present invention takes a method of controlling the terminal according to the strength of the contact with the vibrating terminal.
도 15는 본 발명의 일 실시예에 따른 사용자 단말 제어방법의 단계도이다.15 is a flowchart illustrating a method for controlling a user terminal according to an embodiment of the present invention.
도 15를 참조하면, 진동하는 사용자 단말과 접촉하는 외부 오브젝트의 진동흡수 후 진동 변수가 검출되는 단계(S210); 상기 진동 변수로부터 상기 사용자 단말에 대한 접촉 강도가 결정되는 단계(S220); 및 상기 결정된 접촉 강도로부터 상기 사용자 단말에 저장된 기설정된 제어 명령(S230)이 수행되는 단계를 포함한다. 본 발명의 또 다른 일 실시예에서, 상기 진동흡수 전 진동으로부터 추출된 진동 변수가, 상기 단계 S210 이전 먼저 검출되어, 상기 진동 변수 변화를 위한 참고값으로 사용될 수 있다. Referring to FIG. 15, after the vibration absorption of the external object in contact with the vibrating user terminal, a vibration variable is detected (S210); Determining a contact intensity with respect to the user terminal from the vibration variable (S220); And performing a preset control command S230 stored in the user terminal from the determined contact strength. In another embodiment of the present invention, the vibration variable extracted from the vibration before the vibration absorption is detected before the step S210, it can be used as a reference value for the vibration parameter change.
여기에서 상기 진동 변수로 결정되는 접촉 강도에 따른 제어명령은 미리 단말 저장부에 저장될 수 있으며, 이 경우, 실제 결정된 접촉 강도와 상기 저장된 제어명령을 매칭시켜, 매칭된 접촉강도에 대응하는 제어명령이 수행된다. Herein, the control command according to the contact strength determined as the vibration variable may be stored in advance in the terminal storage unit. In this case, the control command corresponding to the matched contact intensity is matched by matching the actually determined contact intensity with the stored control command. This is done.
도 16 내지 19는 본 발명의 일 실시예에 따른 접촉 강도 센싱 장치를 포함하는 사용자 단말의 사용예를 나타내는 도면이다.16 to 19 are diagrams illustrating an example of use of a user terminal including a contact strength sensing device according to an embodiment of the present invention.
도 16 내지 19를 참조하면, 사용자는 진동하는 사용자 단말을 세게 쥐는 제스쳐를 통하여, 진동으로 착신되는 통화를 수신하거나(도 16 및 17), 단말에 구비된 카메라로 촬영을 할 수 있다(도 18 및 19). 이 외에도 진동시 단말을 쥐거나 태핑하는 제스쳐로서, 단말에 대한 다양한 제어명령을 수행할 수 있으며, 이는 모두 본 발명의 범위에 속한다. Referring to FIGS. 16 to 19, the user may receive a call received by vibration through the gesture of firmly grasping the vibrating user terminal (FIGS. 16 and 17) or photograph by a camera provided in the terminal (FIG. 18). And 19). In addition, as a gesture of holding or tapping the terminal when vibrating, various control commands for the terminal can be performed, all of which are within the scope of the present invention.
이러한 제스쳐는 사용자의 신체가 직접적으로 닿아야 인식되는 터치 스크린과 달리, 옷 주머니 내부나 가방등과 같은 다양한 물체 내에 있을때에도 인식 가능하므로 더욱 다양한 활용이 가능하다. 특히 일실시 예에서, 사용자 주머니 내에 휴대폰이 위치해 있는 경우 전화가 왔을 때 간단하게 사용자 주머니 위를 누르는 제스쳐를 통해 전화를 거부할 수 있다. 특히 미팅과 같은 공간에서 갑자기 오는 벨소리를 거부할 때 유용하게 사용할 수 있다. 이러한 시나리오에서는 전화가 왔다는 정보를 전달하기 위한 진동을 재사용 하게 되므로, 진동으로 인한 배터리 문제를 완화 할 수 있으며 다양한 패턴을 미리 설정하여 누르는 제스쳐( 모르스 부호와 같이 누르는 강도, 반복숫자, 리듬 등 ) 에 따라 전화를 건 사람에게 각기 다른 거부 메시지를 보낼 수 있다. (예를 들어, 미팅중, 운전중, 식사중 등 )Unlike the touch screen which is recognized only when the user's body touches directly, the gesture can be recognized even when it is in various objects such as inside a pocket or a bag. In particular, in one embodiment, when the mobile phone is located in the user's pocket, when the call is received it can be rejected by simply pressing on the user's pocket. This can be especially useful for rejecting ringtones that suddenly come from the same space as a meeting. In such a scenario, the vibration to convey the information that the phone is coming can be reused, which can alleviate the battery problem caused by the vibration, and can preset various patterns to the pressing gestures (such as Morse code, pressing strength, repetition numbers, rhythm, etc.). So you can send different rejection messages to the caller. (E.g. during a meeting, driving, eating, etc.)
도 20 내지 22는 본 발명의 일 실시예에 따른 진동 변화 패턴에 따라 단말을 제어하는 예를 설명하는 도면이다.20 to 22 are diagrams illustrating an example of controlling a terminal according to a vibration change pattern according to an embodiment of the present invention.
도 20을 참조하면, 진동모드로 전화가 온 경우, 사용자는 짧게 사용자 단말을 두 번 쥐게 된다(도 21의 패턴 A). 이에 따라 상기 사용자 단말에서는 전화를 받기 어렵다는 메시지를 송신자에게 자동으로 보낼 수 있다. Referring to FIG. 20, when the phone comes in the vibration mode, the user briefly holds the user terminal twice (pattern A of FIG. 21). Accordingly, the user terminal can automatically send a message to the sender that it is difficult to answer the call.
도 21을 참조하면, 패턴 C와 같이 휴대전화를 일정 시간 이상 강하게 쥐는 경우, 메시지를 보내지 않고 바로 수신을 거절하게 된다. Referring to FIG. 21, when the mobile phone is strongly held for a predetermined time as in the pattern C, the reception is immediately rejected without sending a message.
도 22를 참조하면, 휴대전화를 쥔 손에 압력을 준 상태에서, 그 압력을 매우 짧은 시간동안 변화시키면 (강, 약, 강, 약.. ) 패턴(D)와 같은 진동 변화 패턴이 형성되며, 이에 따라 전화통화 모드가 진행될 수 있다.Referring to FIG. 22, when a pressure is applied to a hand holding a mobile phone, when the pressure is changed for a very short time (strong, weak, strong, weak), a vibration change pattern such as a pattern D is formed. Accordingly, the telephone call mode may proceed.
본 발명은 사용자 단말에서 식별될 수 있는 다양한 홀딩 패턴과, 이에 대응되는 다양한 제어 명령 신호를 사용자가 미리 사용자 단말에 저장시켜 놓을 수 있으며, 이로써 단말에서의 자동 제어 명령 범위를 확장시킬 수 있다. According to the present invention, various holding patterns that can be identified in the user terminal and various control command signals corresponding thereto can be stored in the user terminal in advance, thereby extending the range of the automatic control command in the terminal.
도 23은 본 발명의 일 실시예에 따른 사용자 단말 제어방법의 단계도이다.23 is a flowchart illustrating a method for controlling a user terminal according to an embodiment of the present invention.
도 23을 참조하면, 본 발명의 일 실시예에 따른 사용자 단말 제어방법은, 상기 사용자 단말의 진동이 센싱되는 단계(S220); 및 상기 센싱된 사용자 단말의 진동변화 패턴에 따라 상기 사용자 단말에 대한 제어명령이 결정되는 단계(S230)를 포함한다. 즉, 본 발명은 사용자 단말을 사용자가 쥐는 제스쳐의 패턴이 진동 변화 패턴으로 나타나며, 상기 나타난 진동 변화 패턴에 따라 사용자 단말을 제어한다. 본 발명의 일 실시예에서, 상기 진동변화 패턴은 상기 사용자 단말과 접촉하는 외부 오브젝트의 터치 여부, 강도 및 회수 중 적어도 어느 하나 이상의 조합에 따라 결정될 수 있으며, 이는 도 2 등에서 설명한 바와 같다. Referring to FIG. 23, a method of controlling a user terminal according to an embodiment of the present invention may include: sensing vibration of the user terminal (S220); And determining a control command for the user terminal according to the sensed vibration change pattern of the user terminal (S230). That is, in the present invention, the pattern of the gesture of the user holding the user terminal appears as a vibration change pattern, and the user terminal is controlled according to the displayed vibration change pattern. In one embodiment of the present invention, the vibration change pattern may be determined according to at least one combination of at least one of touch, strength, and number of touches of an external object contacting the user terminal, as described above with reference to FIG. 2.
도 24는 본 발명의 또 다른 일 실시예에 따른 사용자 단말 제어방법의 단계도로서, 상기 싱된 사용자 단말의 진동변화 패턴에 따라 상기 사용자 단말에 대한 제어명령이 결정되는 단계의 상세 단계도이다.FIG. 24 is a detailed diagram of a method for controlling a user terminal according to another embodiment of the present invention, in which a control command for the user terminal is determined according to a vibration change pattern of the user terminal.
도 24를 참조하면, 상기 방법은 상기 센싱된 사용자 단말의 진동변화 패턴에 따라 상기 사용자 단말에 대한 제어명령이 결정되는 단계에서, 먼저 상기 사용자 단말과 외부 오브젝트간의 터치에 따라 발생하는 진동 변화가 인식된다(S310). 본 발명의 일 실시예에서 상기 진동 변화는 가속도 센서에 의하여 획득되는 센싱값의 변화에 따라 인식될 수 있다. 이후, 상기 인식된 진동 변화의 패턴에 따라 상기 진동 변화 패턴에 매칭된 제어명령이 결정된다(S320). 본 발명의 일 실시예에서 상기 진동 변화는 손과 같은 외부 오브젝트에 의한 터치 강도에 비례하여 진동 세기가 크게 감소하는 방식이다. Referring to FIG. 24, in the method of determining a control command for the user terminal according to the sensed vibration change pattern of the user terminal, first, a vibration change generated by a touch between the user terminal and an external object is recognized. (S310). In one embodiment of the present invention, the vibration change may be recognized according to the change in the sensing value obtained by the acceleration sensor. Thereafter, a control command matched to the vibration change pattern is determined according to the recognized pattern of vibration change (S320). In one embodiment of the present invention, the vibration change is a method in which the vibration intensity is greatly reduced in proportion to the touch intensity by an external object such as a hand.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 한다. As described above, although the present invention has been described by way of limited embodiments and drawings, the present invention is not limited to the above-described embodiments, which can be variously modified and modified by those skilled in the art to which the present invention pertains. Modifications are possible. Accordingly, the spirit of the invention should be understood only by the claims set out below.
본 발명은 터치스크린을 구비한 전자기기에 적용가능하므로, 산업상 이용가능성이 인정된다. Since the present invention is applicable to an electronic device having a touch screen, industrial applicability is recognized.

Claims (15)

  1. 모바일 단말의 터치 센싱 장치에 있어서,In the touch sensing device of a mobile terminal,
    상기 모바일 단말을 진동시키는 진동 발생부;A vibration generator for vibrating the mobile terminal;
    상기 모바일 단말의 진동 동작에 의해 발생되는 진동 에너지를 측정하는 진동 에너지 측정부; 및Vibration energy measuring unit for measuring the vibration energy generated by the vibration operation of the mobile terminal; And
    사용자 터치에 의해 진동 에너지가 변화하는 경우, 진동 에너지 변화량에 기반하여 터치 압력 세기를 측정하는 터치 압력 세기 측정부를 포함하는 터치 센싱 장치.When the vibration energy is changed by the user touch, the touch sensing device including a touch pressure intensity measuring unit for measuring the touch pressure intensity based on the vibration energy change amount.
  2. 제1항에 있어서, 상기 진동 에너지 측정부는According to claim 1, wherein the vibration energy measuring unit
    상기 모바일 단말의 진동 동작에 의해 발생되는 소리를 기반으로 진동 에너지로 측정하는 것을 특징으로 하는 터치 센싱 장치.Touch sensing device, characterized in that for measuring the vibration energy based on the sound generated by the vibration operation of the mobile terminal.
  3. 제2항에 있어서, 상기 진동 에너지 측정부는According to claim 2, wherein the vibration energy measuring unit
    상기 모바일 단말의 진동 동작에 의해 발생되는 소리를 측정하는 마이크; 및A microphone for measuring sound generated by the vibration operation of the mobile terminal; And
    상기 소리의 주파수 스펙트럼을 분석하여 진동 에너지를 산출하는 주파수 스펙트럼 분석부를 포함하는 것을 특징으로 하는 터치 센싱 장치.And a frequency spectrum analyzer configured to analyze the frequency spectrum of the sound and calculate vibration energy.
  4. 제1항에 있어서, 상기 진동 에너지 측정부는According to claim 1, wherein the vibration energy measuring unit
    상기 모바일 단말의 진동 동작에 의해 발생되는 움직임 변화량을 기반으로 진동 에너지로 측정하는 것을 특징으로 하는 터치 센싱 장치.Touch sensing device, characterized in that for measuring the vibration energy on the basis of the amount of movement change generated by the vibration operation of the mobile terminal.
  5. 제4항에 있어서, 상기 진동 에너지 측정부는The vibration energy measuring unit of claim 4, wherein
    상기 모바일 단말의 진동 동작에 의한 상기 모바일 단말의 움직임을 센싱하는 움직임 센서; 및A motion sensor for sensing a movement of the mobile terminal due to the vibration operation of the mobile terminal; And
    상기 모바일 단말의 움직임 변화량으로부터 진동 에너지를 산출하는 움직임 변화량 분석부를 포함하는 것을 특징으로 하는 터치 센싱 장치.And a movement variation analysis unit for calculating vibration energy from the movement variation of the mobile terminal.
  6. 제1항에 있어서, 상기 진동 발생부는According to claim 1, wherein the vibration generating unit
    진동 모터인 것을 특징으로 하는 터치 센싱 장치.Touch sensing device, characterized in that the vibration motor.
  7. 제 1항 내지 제 6항 중 어느 한 항에 따른 터치 센싱 장치를 포함하는 모바일 단말. A mobile terminal comprising a touch sensing device according to any one of claims 1 to 6.
  8. 제 7항에 있어서, 상기 모바일 단말은The method of claim 7, wherein the mobile terminal
    제 1항 내지 제 6항 중 어느 한 항에 따른 터치 센싱 장치에 의하여 검출된 터치 여부 및 터치 세기에 따라. 상기 모바일 단말에 대한 제어 명령을 수행하는 제어부를 더 포함하는 것을 특징으로 하는 모바일 단말.According to whether the touch detected by the touch sensing device according to any one of claims 1 to 6 and the touch intensity. The mobile terminal further comprises a control unit for performing a control command for the mobile terminal.
  9. 사용자 단말의 접촉 강도 센싱 장치에 있어서,In the contact strength sensing device of the user terminal,
    상기 사용자 단말을 진동시키는 진동 발생부;A vibration generator for vibrating the user terminal;
    상기 진동 발생부에 의하여 진동하는 사용자 단말과 접촉하는 외부 오브젝트에 의한 상기 진동의 흡수에 따라 발생하는, 진동 변수를 측정하는 진동변수 측정부; 및 Vibration variable measuring unit for generating a vibration variable, generated in accordance with the absorption of the vibration by the external object in contact with the user terminal vibrating by the vibration generating unit; And
    상기 진동변수 측정부에 의하여 측정된 진동변수에 따라 사용자 단말에 대한 상기 외부 오브젝트의 접촉 강도를 결정하는 접촉강도 결정부를 포함하는 것을 특징으로 하는 사용자 단말의 접촉 강도 센싱 장치.And a contact strength determiner for determining a contact strength of the external object with respect to the user terminal according to the vibration variable measured by the vibration variable measurer.
  10. 제 9항에 있어서, The method of claim 9,
    상기 진동 변수 측정부는 상기 사용자 단말에 구비된 가속도 센서, 지자기 센서, 자이로스코프(회전) 센서와 같은 움직임 센서의 하나인 것을 특징으로 하는 사용자 단말의 접촉 강도 센싱 장치.The vibration variable measuring unit is a touch intensity sensing device of the user terminal, characterized in that one of the movement sensor, such as an acceleration sensor, a geomagnetic sensor, a gyroscope (rotation) sensor provided in the user terminal.
  11. 제 9항에 있어서, The method of claim 9,
    상기 진동 변수는 상기 사용자 단말과 접촉하는 외부 오브젝트의 접촉 강도로부터 가변될 수 있는 변수인 것을 특징으로 하는 사용자 단말의 접촉 강도 센싱 장치.The vibration variable is a touch intensity sensing device of the user terminal, characterized in that a variable that can be varied from the contact strength of the external object in contact with the user terminal.
  12. 제 9항에 있어서, The method of claim 9,
    상기 진동 변수는 진동 에너지, 진동 거리, 진동 속도, 진동 가속도 중 어느 하나 이상인 것을 특징으로 하는 사용자 단말의 접촉 강도 센싱 장치.The vibration variable is a touch strength sensing device of the user terminal, characterized in that any one or more of vibration energy, vibration distance, vibration speed, vibration acceleration.
  13. 제 9항에 있어서, The method of claim 9,
    상기 외부 오브젝트는 상기 사용자 단말과 접촉하는 사람의 피부인 것을 특징으로 하는 사용자 단말의 접촉 강도 센싱 장치.And the external object is a skin of a person in contact with the user terminal.
  14. 제 9항에 있어서, The method of claim 9,
    상기 외부 오브젝트에 대한 진동 흡수는 상기 접촉 강도에 따라 달라지는 것을 특징으로 하는 사용자 단말의 접촉 강도 센싱 장치.Absorption of the vibration to the external object is a touch intensity sensing device of the user terminal, characterized in that depending on the contact strength.
  15. 제 9항 내지 제 14항 중 어느 한 항에 따른 사용자 단말의 접촉 강도 센싱 장치를 포함하는 사용자 단말.A user terminal comprising a contact strength sensing device of the user terminal according to any one of claims 9 to 14.
PCT/KR2013/005461 2012-06-20 2013-06-20 Touch sensing apparatus and touch sensing method WO2013191491A1 (en)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR1020120066225A KR101402535B1 (en) 2012-06-20 2012-06-20 Apparatus and method for touch sensing
KR10-2012-0066225 2012-06-20
KR10-2012-0110731 2012-10-05
KR1020120110731A KR101442341B1 (en) 2012-10-05 2012-10-05 Method and apparatus for sending touch strength on user terminal and method for controlling user terminal using the same
KR1020130029743A KR101404922B1 (en) 2013-03-20 2013-03-20 Apparatus and method for controlling user terminal using absorption
KR10-2013-0029743 2013-03-20

Publications (1)

Publication Number Publication Date
WO2013191491A1 true WO2013191491A1 (en) 2013-12-27

Family

ID=49769023

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/005461 WO2013191491A1 (en) 2012-06-20 2013-06-20 Touch sensing apparatus and touch sensing method

Country Status (1)

Country Link
WO (1) WO2013191491A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016200164A1 (en) * 2015-06-09 2016-12-15 한양대학교 산학협력단 Tactile recognition system and database building method therefor
GB2541807A (en) * 2015-08-25 2017-03-01 Arm Ip Ltd Methods for determining when a device is worn by a user
WO2017065321A1 (en) * 2015-10-12 2017-04-20 주식회사 네오펙트 Initial configuration system, initial configuration method and initial configuration program for attachment location of measurement sensor device
CN108475116A (en) * 2016-01-08 2018-08-31 富士通株式会社 The driving method of electronic equipment and electronic equipment

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020075283A (en) * 2001-03-23 2002-10-04 세이코 엡슨 가부시키가이샤 Coordinate input device detecting touch on board associated with liquid crystal display, and electronic device therefor
KR20050029093A (en) * 2003-09-19 2005-03-24 주식회사 벨웨이브 Apparatus and method for operating adaptive portable terminal having different input and output events based on users personality
KR20080050042A (en) * 2006-12-01 2008-06-05 삼성전자주식회사 Method and for analyzing circumstance of a device and device using the same
KR101117289B1 (en) * 2010-08-23 2012-03-20 한국과학기술원 Method and device for estimating touch pressure using image, recording medium for the same, and mobile device comprising the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020075283A (en) * 2001-03-23 2002-10-04 세이코 엡슨 가부시키가이샤 Coordinate input device detecting touch on board associated with liquid crystal display, and electronic device therefor
KR20050029093A (en) * 2003-09-19 2005-03-24 주식회사 벨웨이브 Apparatus and method for operating adaptive portable terminal having different input and output events based on users personality
KR20080050042A (en) * 2006-12-01 2008-06-05 삼성전자주식회사 Method and for analyzing circumstance of a device and device using the same
KR101117289B1 (en) * 2010-08-23 2012-03-20 한국과학기술원 Method and device for estimating touch pressure using image, recording medium for the same, and mobile device comprising the same

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016200164A1 (en) * 2015-06-09 2016-12-15 한양대학교 산학협력단 Tactile recognition system and database building method therefor
US11288501B2 (en) 2015-06-09 2022-03-29 Iucf-Hyu (Industry-University Cooperation Foundation Hanyang University) Tactile perception system and method of building a database thereof
GB2541807A (en) * 2015-08-25 2017-03-01 Arm Ip Ltd Methods for determining when a device is worn by a user
GB2541678B (en) * 2015-08-25 2017-09-27 Arm Ip Ltd Methods for determining when a device is worn by a user
GB2541807B (en) * 2015-08-25 2017-11-15 Arm Ip Ltd Methods for determining when a device is worn by a user
US10902100B2 (en) 2015-08-25 2021-01-26 Arm Ip Limited Methods for determining when a device is worn by a user
WO2017065321A1 (en) * 2015-10-12 2017-04-20 주식회사 네오펙트 Initial configuration system, initial configuration method and initial configuration program for attachment location of measurement sensor device
US10314522B2 (en) 2015-10-12 2019-06-11 Neofect Co., Ltd. System, method, and program for initializing attachment location of measurement sensor
US11051721B2 (en) 2015-10-12 2021-07-06 Neofect Co., Ltd. System, method, and program for initializing attachment location of measurement sensor
CN108475116A (en) * 2016-01-08 2018-08-31 富士通株式会社 The driving method of electronic equipment and electronic equipment
CN108475116B (en) * 2016-01-08 2021-06-22 富士通株式会社 Electronic device and driving method of electronic device

Similar Documents

Publication Publication Date Title
KR101310969B1 (en) Method and for analyzing circumstance of a device and device using the same
WO2014135023A1 (en) Man-machine interaction method and system of intelligent terminal
WO2013191491A1 (en) Touch sensing apparatus and touch sensing method
CN108287611B (en) Screen touch response method, terminal and computer storage medium
CN104598076B (en) Touch information screen method and device
CN109994111B (en) Interaction method, interaction device and mobile terminal
CN110139018B (en) Camera control module, camera movement control method and terminal
JP2008503816A (en) Electronic device control
CN104765461B (en) A kind of control method and electronic equipment
WO2021129745A1 (en) Touch key, control method and electronic device
CN111899545B (en) Driving reminding method and device, storage medium and mobile terminal
CN105045430B (en) Touch detecting apparatus, touch detecting method and electronic equipment
CN111459330B (en) Electronic equipment and pressure key operation method
WO2019047862A1 (en) Fingerprint acquisition method and terminal device and storage medium
CN108802835B (en) Wireless charging detection method and device, mobile terminal and wireless charging system
CN107466387B (en) Method and device for detecting touch mode
CN108108113B (en) Webpage switching method and device
WO2016175579A1 (en) User interface control using impact gestures
CN107066090B (en) Method for controlling fingerprint identification module and mobile terminal
CN111182215B (en) Power supply device of separable camera module
CN108762553B (en) Touch information processing method and device, storage medium and electronic device
CN110764650A (en) Key trigger detection method and electronic equipment
WO2014171568A2 (en) Method and apparatus of detecting touch using sound, and device using same
KR101442341B1 (en) Method and apparatus for sending touch strength on user terminal and method for controlling user terminal using the same
CN114279425A (en) Compass precision improving method, terminal and computer readable storage medium

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13806820

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13806820

Country of ref document: EP

Kind code of ref document: A1