KR102039002B1 - Device and Method for detecting tactile sense - Google Patents

Device and Method for detecting tactile sense Download PDF

Info

Publication number
KR102039002B1
KR102039002B1 KR1020180006265A KR20180006265A KR102039002B1 KR 102039002 B1 KR102039002 B1 KR 102039002B1 KR 1020180006265 A KR1020180006265 A KR 1020180006265A KR 20180006265 A KR20180006265 A KR 20180006265A KR 102039002 B1 KR102039002 B1 KR 102039002B1
Authority
KR
South Korea
Prior art keywords
tactile
medium
action
tactile input
array
Prior art date
Application number
KR1020180006265A
Other languages
Korean (ko)
Other versions
KR20190087892A (en
Inventor
최지웅
김경수
장재은
임성호
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020180006265A priority Critical patent/KR102039002B1/en
Publication of KR20190087892A publication Critical patent/KR20190087892A/en
Application granted granted Critical
Publication of KR102039002B1 publication Critical patent/KR102039002B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06K9/00201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06K9/6267—

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Human Computer Interaction (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Manipulator (AREA)
  • Force Measurement Appropriate To Specific Purposes (AREA)

Abstract

본 발명의 바람직한 일 실시예로서, 촉감검출장치는 멀티어레이촉감센서로 매질 표면을 스캐닝하여 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 실시간으로 수신하여 촉감입력신호의 값이 기설정된값을 초과하는 경우 촉감입력이 존재하는 것으로 판단하며, 촉감입력을 기학습된 매질별 임계값에 따라 분류하여 출력하는 것을 특징으로 하낟.As a preferred embodiment of the present invention, the tactile detection device scans the surface of a medium with a multi-array tactile sensor and receives the position coordinates of n * m tactile sensors and n * m tactile input signals corresponding thereto in real time to provide a tactile input. When the value of the signal exceeds the predetermined value, it is determined that the tactile input exists, and the tactile input is classified and output according to the threshold value for each previously learned medium.

Description

촉감검출장치 및 방법{Device and Method for detecting tactile sense}Device and method for detecting tactile sense

본 발명은 촉감검출장치에 관한 것이다. 보다 상세히, 복수의 방법으로 매질 표면을 센싱하여 적어도 하나의 매질을 검출하는 촉감검출장치에 관한 것이다.The present invention relates to a tactile detection device. More particularly, the present invention relates to a tactile detection device for detecting at least one medium by sensing a surface of the medium by a plurality of methods.

햅틱은 힘, 진동 및 모션들과 같은 햅틱 피드백 효과(즉, "햅틱 효과")들을 사용자에게 적용함으로써 사용자의 터치 감을 이용하는 촉각 및 힘 피드백 기술이다. 모바일 디바이스들, 터치스크린 디바이스들 및 개인용 컴퓨터들과 같은 디바이스들은 햅틱 효과들을 생성하도록 구성될 수 있다. 일반적으로, 햅틱 효과들을 생성할 수 있는 내장된 하드웨어(예를 들어, 액추에이터)에 대한 호출(call)들은 디바이스의 운영 체제(OS) 내에 프로그램되어 있을 수 있다. 이러한 호출들은 어떤 햅틱 효과를 재생할지 지정한다. 예를 들어, 사용자가 예컨대, 버튼, 터치스크린, 레버, 조이스틱, 휠, 또는 소정의 다른 컨트롤을 이용하여 디바이스와 상호작용할 때, 디바이스의 OS는 재생 커맨드를 제어 회로를 통해 내장된 하드웨어에 송신할 수 있다. 그 후, 내장된 하드웨어는 사용자에 의해 인식되는 적절한 햅틱 효과를 생성한다.Haptics are tactile and force feedback techniques that utilize the user's touch feeling by applying haptic feedback effects (ie, "haptic effects") to the user, such as forces, vibrations, and motions. Devices such as mobile devices, touchscreen devices and personal computers can be configured to generate haptic effects. In general, calls to embedded hardware (eg, actuators) that can generate haptic effects may be programmed into the device's operating system (OS). These calls specify which haptic effect to play. For example, when a user interacts with the device using, for example, a button, touchscreen, lever, joystick, wheel, or some other control, the OS of the device may send a playback command to the embedded hardware through the control circuitry. Can be. The embedded hardware then creates an appropriate haptic effect that is recognized by the user.

모바일 폰, 스마트폰, 카메라 폰, 카메라, 개인 휴대 단말기("PDA")(personal digital assistant)들과 같은 휴대용/모바일 전자 디바이스들은 전형적으로, 디바이스들에 대해 발생하는 소정 이벤트들을 사용자에게 경고하는 출력 메커니즘들을 포함한다. 예를 들어, 셀 폰(cell phone)은 통상적으로 착신 전화 콜 이벤트를 사용자에게 들을 수 있게 통지하기 위한 스피커를 포함한다. 일부 모바일 디바이스에서, 운동감각 피드백(예컨대, 활성력(active force) 및 저항력 피드백) 및/또는 촉각 피드백(예컨대, 진동, 질감, 및 열)이 또한 사용자에게 제공될 수 있다.Portable / mobile electronic devices such as mobile phones, smartphones, camera phones, cameras, personal digital assistants ("PDAs") typically output an output to alert the user of certain events occurring on the devices. Mechanisms. For example, a cell phone typically includes a speaker for notifying the user of an incoming phone call event. In some mobile devices, kinesthetic feedback (eg, active force and resistive feedback) and / or tactile feedback (eg, vibration, texture, and heat) may also be provided to the user.

KR 10-1791927KR 10-1791927 KR 10-2017-0098681KR 10-2017-0098681

1. Zheng, Haitian, et al. "Deep learning for surface material classification using haptic and visual information." IEEE Transactions on Multimedia 18.12 (2016): 2407-2416.1. Zheng, Haitian, et al. "Deep learning for surface material classification using haptic and visual information." IEEE Transactions on Multimedia 18.12 (2016): 2407-2416. 2. Fishel, Jeremy A., and Gerald E. Loeb. "Bayesian exploration for intelligent identification of textures." Frontiers in neurorobotics 6 (2012).2. Fishel, Jeremy A., and Gerald E. Loeb. "Bayesian exploration for intelligent identification of textures." Frontiers in neurorobotics 6 (2012). 3. Strese, Matti, et al. "Multimodal feature-based surface material classification." IEEE transactions on haptics (2017).3. Strese, Matti, et al. "Multimodal feature-based surface material classification." IEEE transactions on haptics (2017).

종래에는 햅틱센서 또는 이미지센서를 이용하여 정해진 시간에 입력되는 촉감에 대해 구분하는 방법을 개시하고 있으나, 임의의 시간에 인식되는 촉감에 대해서는 검출방안이 없는 문제가 있다. 또한 기존 기술의 경우 단일 매질에 대한 촉감 구분은 로봇 손에 구현되어 동작 될 경우 천, 나무, 플라스틱, 그리고 금속과 같은 단일 매질을 구분하는데 효과적으로 사용이 가능하다. 하지만, 일상생활에서 접하는 물체들은 대부분 복합 매질로 구성되어 있어 기존의 기술로는 구체적인 물체의 정보를 얻는데 한계가 있었다. Conventionally, a method of distinguishing the touch input at a predetermined time using a haptic sensor or an image sensor is disclosed, but there is a problem in that there is no detection method for the touch sensed at an arbitrary time. In addition, in the case of the existing technology, the tactile division of a single medium can be effectively used to distinguish a single medium such as cloth, wood, plastic, and metal when it is implemented and operated in a robot hand. However, most of the objects encountered in daily life are composed of complex media, so the existing technology has a limitation in obtaining information of concrete objects.

본 발명의 바람직한 일 실시예에서는 임의의 시간에 입력되는 촉감을 인식하고 구분하며, 또한 단일 매질의 촉감만이 아니라 복수 매질의 촉감을 분류하는 방법을 제시하고자 한다. In an exemplary embodiment of the present invention, a method for recognizing and distinguishing a touch input at any time and classifying the touch of a plurality of media as well as the touch of a single medium is provided.

또한 본 발명의 바람직한 일 실시예에서는 복수 매질의 촉감을 분류하며, 서로 다른 매질의 영역이 어떻게 구분되어 있는지를 나타내는 공간적 정보를 인식하는 방법을 제공하고자 한다.In addition, a preferred embodiment of the present invention is to provide a method for classifying the touch of a plurality of media, and recognize the spatial information indicating how the regions of different media are divided.

본 발명의 바람직한 일 실시예로서, 촉감검출장치는 n*m 개(n,m 은 임의의 자연수)의 촉감센서로 구성된 멀티어레이촉감센서로 매질 표면을 스캐닝하여 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 실시간으로 수신하는 촉감입력수신부; 상기 촉감입력신호의 값이 기설정된값을 초과하는 경우 촉감입력이 존재하는 것으로 판단하며, 해당 촉감입력신호가 상기 매질 표면의 어느 위치에서 발생되었는지 검출하는 촉감신호검출부; 상기 촉감입력이 존재하는 것으로 판단되면 상기 촉감입력을 기학습된 매질별 임계값에 따라 분류하여 출력하는 촉감분류부;를 포함하며, 상기 촉감입력수신부는 상기 매질 표면을 제 1 액션 및 제 2 액션을 통해 스캐닝을 수행하는 것을 특징으로 한다.As a preferred embodiment of the present invention, the tactile detection device is a multi-array tactile sensor composed of n * m tactile sensors (n, m is any natural number) to scan the surface of a medium to position coordinates of n * m tactile sensors. And a tactile input receiver for receiving n * m tactile input signals corresponding thereto in real time; A tactile signal detection unit that determines that a tactile input exists when the value of the tactile input signal exceeds a preset value, and detects at which position on the surface of the medium the tactile input signal is generated; And a tactile classification unit for classifying and outputting the tactile input according to the previously learned threshold values for the media, when the tactile input is determined. The tactile input receiving unit includes a first action and a second action. Scanning is performed through.

바람직하게, 상기 제 1 액션은 두드리기 동작, 상기 제 2 액션은 문지르기 동작인 것을 특징으로 한다. Preferably, the first action is a tapping operation, and the second action is a rubbing operation.

바람직하게, 상기 멀티어레이촉감센서는 동시에 복수의 매질로부터 촉감입력신호를 입력받을 수 있는 것을 특징으로 한다. 멀티어레이촉감센서를 구성하는 n*m 개의 촉감센서 각각은 시간에 따라 상기 매질 표면상에서의 위치 및 해당 위치에서 검출한 촉감입력신호를 포함한 n*m 개의 시계열 데이터를 전송하는 것을 특징으로 한다.Preferably, the multi-array tactile sensor is characterized in that it is possible to receive a tactile input signal from a plurality of media at the same time. Each of the n * m tactile sensors constituting the multi-array tactile sensor transmits n * m time series data including a position on the surface of the medium and a tactile input signal detected at the corresponding position over time.

본 발명의 바람직한 일 실시예로서, 상기 촉감신호검출부는 상기 매질 표면을 상기 제 1 액션을 통해 스캐닝하고, 상기 n*m 개의 촉감센서에서 수신한 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 매핑하며, 또한 상기 매질 표면을 상기 제 2 액션을 통해 스캐닝하고, 상기 n*m 개의 촉감센서에서 수신한 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 매핑하며, 상기 매질 표면의 위치좌표를 기준으로 상기 제 1 액션을 통해 획득한 촉감입력신호와 상기 제 2 액션을 통해 획득한 촉감입력신호를 매핑하는 것을 특징으로 한다. In a preferred embodiment of the present invention, the tactile signal detection unit scans the surface of the medium through the first action, and corresponds to the position coordinates of the n * m tactile sensors received from the n * m tactile sensors and corresponding thereto. n * m tactile input signals are mapped, and the surface of the medium is scanned through the second action, and position coordinates of n * m tactile sensors received by the n * m tactile sensors and n * corresponding thereto The m touch input signals are mapped, and the tactile input signals acquired through the first action and the tactile input signals obtained through the second action are mapped based on the position coordinates of the surface of the medium.

본 발명의 또 다른 바람직한 일 실시예로서, 촉감검출방법은 촉감입력수신부에서 n*m 개의 촉감센서로 구성된 멀티어레이촉감센서로 매질 표면을 스캐닝하여 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 실시간으로 수신하는 단계; 촉감신호검출부에서 상기 촉감입력신호의 값이 기설정된값을 초과하는 경우 촉감입력이 존재하는 것으로 판단하며, 해당 촉감입력신호가 상기 매질 표면의 어느 위치에서 발생되었는지 검출하는 단계; 촉감분류부에서 상기 촉감입력이 존재하는 것으로 판단되면 상기 촉감입력을 기학습된 매질별 임계값에 따라 분류하여 출력하는 단계;를 포함하며, 상기 촉감입력수신부는 상기 매질 표면을 제 1 액션 및 제 2 액션을 통해 스캐닝을 수행하는 것을 특징으로 한다.As another preferred embodiment of the present invention, the tactile detection method is a multi-array tactile sensor composed of n * m tactile sensors in the tactile input receiver to scan the surface of the medium and the position coordinates of the n * m tactile sensors and the corresponding receiving n * m tactile input signals in real time; Determining, by the tactile signal detector, that a tactile input exists when the value of the tactile input signal exceeds a preset value, and detecting at which position of the surface of the medium the tactile input signal is generated; And when the tactile classification unit determines that the tactile input exists, classifying and outputting the tactile input according to a threshold value for each previously learned medium, wherein the tactile input receiving unit outputs the surface of the medium to the first action and the first. The scanning may be performed through two actions.

본 발명의 바람직한 일 실시예에서는 임의의 시간에 입력되는 촉감을 인식하고 구분하며, 또한 단일 매질의 촉감만이 아니라 복수 매질의 촉감을 분류하는 효과가 있다. 특히, 일상생활에서 접하는 물체들은 대부분 복합 매질로 구성되어 있으며, 각 제품마다 매질들이 조합된 구조도 달라 그 정보를 모두 얻을 수 있는 효과가 있다.In a preferred embodiment of the present invention, it is possible to recognize and distinguish the touch input at any time, and to classify the touch of a plurality of media as well as the touch of a single medium. In particular, the objects encountered in daily life are mostly composed of a composite medium, the structure of the combination of media for each product is different, there is an effect that can obtain all the information.

또한 본 발명의 바람직한 일 실시예에서멀티 어레이 촉감 센서를 이용해 공간적인 신호를 측정하여 두 가지 이상이 복합적으로 존재하는 촉감을 구분할 수 있고, 또한 각 촉감 매질이 어떠한 구조로 구분이 되어 있는지도 추정 할 수 있는 효과가 있다.In addition, in a preferred embodiment of the present invention by using a multi-array tactile sensor can measure the spatial signal to distinguish the two or more complex tactile sense, it is also possible to estimate what structure each tactile medium is divided into It has an effect.

도 1 은 본 발명의 바람직한 일 실시예로서, 촉감검출장치의 내부 구성도를 도시한다.
도 2(a) 및 (b)는 본 발명의 바람직한 일 실시예로서, 촉감검출장치에서 매질표면의 스캐닝을 수행하는 예를 도시한다.
도 3 은 본 발명의 바람직한 일 실시예로서, 촉감검출장치의 멀티어레이촉감센서에서 수신하는 복수의 채널 신호의 예를 도시한다.
도 4 는 본 발명의 바람직한 일 실시예로서, 촉감검출장치에서 촉감신호를 인식하고 분류하여 촉감 분류결과를 출력한 일 예를 도시한다. 1 is a view illustrating an internal configuration of a tactile detection device as a preferred embodiment of the present invention.
2 (a) and 2 (b) show an example of performing scanning of a surface of a medium in a tactile detection device as a preferred embodiment of the present invention.
3 illustrates an example of a plurality of channel signals received by the multi-array tactile sensor of the tactile detection device according to one preferred embodiment of the present invention.
4 illustrates an example in which a tactile signal is recognized and classified by the tactile detection device to output a tactile classification result according to an exemplary embodiment of the present invention.

이하, 본 발명의 바람직한 실시예를 첨부도면을 참조로 상세하게 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1 은 본 발명의 바람직한 일 실시예로서, 촉감검출장치의 내부 구성도를 도시한다. 1 is a view illustrating an internal configuration of a tactile detection device as a preferred embodiment of the present invention.

촉감검출장치(100)는 촉감입력수신부(110), 촉감신호검출부(120) 및 촉감분류부(130)를 포함한다. 촉감입력수신부(110)는 매질표면을 스캐닝하여 획득하는 촉감입력(S110) 또는 임의의 시간에 간헉적으로 획득하는 비의도적촉감입력(S112)를 수신할 수 있다. 비의도적촉감입력(S112)의 예로는 로봇 팔을 구동 중 의도하지 않게 매질과 접촉하는 등의 예를 포함하며, 본 발명에서는 멀티어레이촉감센서(210)에서 수신된 센서값을 제 1 액션 또는 제 2 액션 값 중 하나로 분류하여 매핑한다.The tactile detection device 100 includes a tactile input receiver 110, a tactile signal detector 120, and a tactile classification unit 130. The tactile input receiver 110 may receive a tactile input S110 obtained by scanning a surface of the medium or an unintentional tactile input S112 obtained at an arbitrary time. Examples of the unintentional tactile input S112 include an example of inadvertently contacting a medium while driving the robot arm, and in the present invention, the sensor value received from the multi-array tactile sensor 210 is used as the first action or first. 2 Classify one of the action values and map it.

촉감입력수신부(110)는 n*m 개(n,m 은 임의의 자연수)의 촉감센서로 구성된 멀티어레이촉감센서로 매질 표면을 스캐닝하여 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 실시간으로 수신한다. The tactile input receiver 110 is a multi-array tactile sensor composed of n * m tactile sensors (n and m are arbitrary natural numbers) and scans the surface of the medium to detect position coordinates of n * m tactile sensors and corresponding n * m. Receive m tactile input signals in real time.

촉감입력수신부(110)는 제 1 액션 및 제 2 액션을 통해 매질 표면을 스캐닝할 수 있다. 제 1 액션은 3차원 형태의 액션이고, 제 2 액션은 2차원 형태의 액션일 수 있다. 또한, 제 1 액션은 촉감 매질의 강도를 측정하는 액션이고, 제 2 액션은 매질의 거칠기를 측정하는 액션일 수 있다. 본 발명의 바람직한 일 실시예로서, 제 1 액션은 두드리기, 제 2 액션은 문지르기일 수 있다. 도 2 (a) 내지 (b)는 촉감입력수신부(110)에서 매질 표면을 스캐닝 하는 일 예를 도시한다. The tactile input receiver 110 may scan the surface of the medium through the first action and the second action. The first action may be a three-dimensional action, and the second action may be a two-dimensional action. In addition, the first action may be an action for measuring the strength of the tactile medium, and the second action may be an action for measuring the roughness of the medium. In one preferred embodiment of the present invention, the first action may be a tap and the second action may be a rub. 2 (a) to 2 (b) show an example of scanning the surface of the medium in the tactile input receiver 110.

도 2(a)는 로봇의 팔(200)에 부착된 멀티어레이촉감센서(210)에서 매질표면(220)을 두드리기(S230) 방식으로 스캐닝하는 일 예를 나타낸다. 두드기리 동작은 센서를 매질 표면 위에서 누르는 동작을 통해 매질 표면의 강도를 측정하는 동작이다. 이때 매질 표면의 전영역에서의 강도를 측정하기 위해 행렬형 멀티 어레이 센서의 두드리기 동작을 평면좌표 상으로 이동하면서 여러 번 수행하여 촉감 매질의 강도를 모두 측정할 수 있다. 2 (a) shows an example of scanning the surface 220 by tapping (S230) in the multi-array tactile sensor 210 attached to the arm 200 of the robot. Tapping is a measure of the strength of the surface of the medium by pressing the sensor onto the surface of the medium. At this time, in order to measure the strength of the entire surface of the medium surface, the tapping operation of the matrix type multi-array sensor may be performed several times while moving on the plane coordinates to measure the strength of the tactile medium.

도 2(b)는 문지르기(S240) 방식으로 스캐닝하는 일 예를 도시한다. 문지르기 동작은 멀티어레이촉감센서(210)를 매질 표면의 일 지점에서 다른 지점으로 이동하면서 매질 표면의 전체 영역을 스캔하는 동작으로 매질의 거칠기를 측정할 수 있다. Figure 2 (b) shows an example of scanning by rubbing (S240) method. The rubbing operation may measure the roughness of the medium by moving the multi-array tactile sensor 210 from one point of the medium surface to another point to scan the entire area of the medium surface.

본 발명의 바람직한 일 실시예에서, 멀티어레이촉감센서(210)는 두드리기(S230) 또는 문지르기(S240)를 수행하는 경우, 멀티어레이촉감센서(210)를 구성하는 n*m 개의 센서 각각이 매질표면과 터치되는 위치와, 해당 위치에서 수신한 촉감입력 데이터값을 실시간으로 수신한다. 본 발명의 바람직한 일 실시예로서, 멀티어레이촉감센서(210)는 매질표면의 위치에 따라 동시에 복수의 매질을 검출할 수 있다. 도 2b를 참고하면, 매질표면(220)이 제 1 매질(221)과 제 2 매질(222)로 구성되어 있는 경우, 멀티어레이촉감센서(210)는 제 1 매질(221)과 제 2매질(222)의 경계점을 문지르거나 또는 두드리는 경우 동시에 제 1 매질(221)과 제 2매질(222)을 검출할 수 있다. In a preferred embodiment of the present invention, when the multi-array tactile sensor 210 performs tapping (S230) or rubbing (S240), each of the n * m sensors constituting the multi-array tactile sensor 210 is a medium It receives the position touched with the surface and the tactile input data value received at the position in real time. As a preferred embodiment of the present invention, the multi-array tactile sensor 210 can detect a plurality of media at the same time according to the position of the surface of the medium. Referring to FIG. 2B, when the medium surface 220 includes the first medium 221 and the second medium 222, the multi-array tactile sensor 210 may include the first medium 221 and the second medium ( The first medium 221 and the second medium 222 may be detected at the same time when rubbing or tapping the boundary point of the 222.

촉감신호검출부(120)는 촉감입력신호의 값이 기설정된값을 초과하는 경우 촉감입력이 존재하는 것으로 판단하며, 해당 촉감입력신호가 매질 표면(도 2, 220)의 어느 위치에서 발생되었는지 검출한다. The tactile signal detector 120 determines that a tactile input exists when the value of the tactile input signal exceeds a preset value, and detects at which position on the surface of the medium (FIGS. 2 and 220) the corresponding tactile input signal exists. .

촉감신호검출부(120)는 매질 표면을 제 1 액션을 통해 스캐닝하고, n*m 개의 촉감센서에서 수신한 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 매핑하며, 또한 매질 표면을 제 2 액션을 통해 스캐닝하고, n*m 개의 촉감센서에서 수신한 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 매핑하며, 매질 표면의 위치좌표를 기준으로 제 1 액션을 통해 획득한 촉감입력신호와 상기 제 2 액션을 통해 획득한 촉감입력신호를 매핑한다. 또한 비의도적 촉감입력신호가 검출되는 경우, 검출된 비의도적촉감입력신호를 더 매핑할 수 있다.The tactile signal detection unit 120 scans the surface of the medium through a first action, and maps position coordinates of n * m tactile sensors received from n * m tactile sensors and n * m tactile input signals corresponding thereto. Also, the surface of the medium is scanned through the second action, and the position coordinates of the n * m tactile sensors received from the n * m tactile sensors and the corresponding n * m tactile input signals are mapped, and the position of the medium surface is mapped. The tactile input signal acquired through the first action and the tactile input signal obtained through the second action are mapped based on the coordinates. In addition, when an unintentional tactile input signal is detected, the detected unintentional tactile input signal may be further mapped.

촉감신호검출부(120)는 촉감입력신호의 값이 기설정된값을 초과하는 경우 촉감입력이 존재하는 것으로 판단한다. 도 3 을 참고하면, 촉감검출장치는 멀티어레이촉감센서에서 n*m개의 채널 신호를 실시간으로 수신한다. The tactile signal detection unit 120 determines that the tactile input exists when the value of the tactile input signal exceeds a preset value. Referring to FIG. 3, the tactile detection device receives n * m channel signals in real time from a multi-array tactile sensor.

도 3을 참고하면, 멀티어레이촉감센서(310)는 촉각 매질1(301) 및 촉각 매질2(302)로 구성된 매질 표면(300)을 문지르기 방식으로 스캐닝하면서, n*m 개의 채널 신호(S330)를 실시간으로 발생시키며, 촉감신호검출부(120)에서는 n*m개의 채널 신호를 수신한다. Referring to FIG. 3, the multi-array tactile sensor 310 scans the surface 300 of the tactile medium 1 301 and the tactile medium 2 302 by rubbing the n * m channel signals S330. ) Is generated in real time, and the tactile signal detection unit 120 receives n * m channel signals.

촉감신호검출부(120)는 수신한 채널 신호가 기설정된 임계값을 초과하는 구간(S340)을 검출한다. 촉감신호검출부(120)는 다양한 매질에 대해 기학습된 임계값을 기저장하고 있을 수 있다. 기학습된 임계값은 제 1 임계값, 제 2 임계값, 제 3 임계값 등일 수 있으며, 각각의 임계값은 일정 범위 이내이거나, 일정 범위 초과이거나, 일정 값 이상이거나, 일정 값 이하 등으로 설정될 수 있다. 촉감신호검출부(120)는 다양한 임계값이 있는 경우, 임계값과 교차점(341, 342, 343, 344, 345, 346)을 추출하여 촉감입력감지구간(S340)을 설정할 때 참고할 수 있다. 촉감입력감지구간(S340)은 일 예로, 최초의 임계값과 교차점(341)부터 마지막 임계값과의 교차점(346) 구간을 설정할 수 있다. The tactile signal detector 120 detects a section S340 in which the received channel signal exceeds a preset threshold. The tactile signal detector 120 may prestore threshold values previously learned for various media. The pre-learned threshold may be a first threshold, a second threshold, a third threshold, and the like, and each threshold may be set within a certain range, above a certain range, above a certain value, below a certain value, or the like. Can be. When there are various thresholds, the tactile signal detection unit 120 may refer to when setting the tactile input sensing interval S340 by extracting the thresholds and the intersections 341, 342, 343, 344, 345, and 346. For example, the tactile input detection section S340 may set an intersection point 346 between the first threshold value and the intersection point 341 to the last threshold value.

촉감신호검출부(120)는 수신한 채널 신호가 기설정된 임계값을 초과하는지 판단하기 위하여, n*m 개의 센서로부터 실시간으로 입력되는 시계열데이터를 실시간으로 모니터링한다. The tactile signal detection unit 120 monitors in real time the time series data input from the n * m sensors in real time in order to determine whether the received channel signal exceeds a preset threshold.

본 발명의 바람직한 일 실시예로서, 촉감신호검출부(120)는 두드리기 동작의 경우 아래의 수식을 통해 촉감입력의 존재를 판단할 수 있다. In a preferred embodiment of the present invention, the tactile signal detection unit 120 may determine the presence of the tactile input through the following equation in the case of the tapping operation.

Figure 112018005868943-pat00001
, 이 경우 k는 n보다 작은 수이며, 신호의 변화에 민감하게 반응하고, 노이즈 효과를 상쇄 할 수 있는 특정 윈도우 값을 나타낸다. 샘플링 주파수를 고려하여, 일 예로 샘플링 주파수의 반 또는 그보다 작은 수를 고려한다. 이 값은 센서의 민감도와 노이즈 정도에 따라 유동적으로 바뀔 수 있다. 이렇게 구해진 두드리기에 대한 특이값
Figure 112018005868943-pat00002
을 특정 임계값과 비교를 하여 임계값을 초과하였을 시에 촉감이 입력되었음을 인지할 수 있다. 임계값은 촉감 입력이 없을 때의 특이값 검출값 hb에 조절값 α를 곱한값 α*hb을 사용한다.
Figure 112018005868943-pat00001
In this case, k is a number smaller than n, and represents a specific window value that is sensitive to the change in the signal and can cancel the noise effect. In consideration of the sampling frequency, for example, consider half or less of the sampling frequency. This value can be changed flexibly depending on the sensitivity of the sensor and the noise level. Singular value for the tap thus obtained
Figure 112018005868943-pat00002
By comparing with a specific threshold value it can be recognized that the touch is input when the threshold value is exceeded. The threshold value is a value α * h b obtained by multiplying the control value α by the singular value detection value h b when there is no tactile input.

본 발명의 바람직한 일 실시예로서, 촉감신호검출부(120)는 문지르기 동작의 경우 아래의 수식을 통해 촉감입력의 존재를 판단할 수 있다. rx(n)은 특이값을 나타낸다. As a preferred embodiment of the present invention, the tactile signal detection unit 120 may determine the presence of the tactile input through the following equation in the case of a rubbing operation. r x (n) represents a singular value.

Figure 112018005868943-pat00003
, 이 경우 임계값은 두드리기 동작과 비슷하게 문지르기 동작이 없고, 입력이 없을 때 특이값 검출값 rb에 조절값 β를 곱한값 β*rb을 이용한다.
Figure 112018005868943-pat00003
In this case, the threshold value is similar to the tapping operation, and there is no rubbing operation. When there is no input, the singular value detection value r b is multiplied by the adjustment value β and β * r b is used.

본 발명의 바람직한 일 실시예로서, 촉감신호검출부(120)는 두드리기와 문지르기에 대한 촉감 입력 검출의 시작지점은 n*m 개의 모든 채널에서 임계값을 넘기는 채널이 한 개 이상 존재하는 경우, 해당 시간을 검출 시작 시점으로 고려하고, 촉각 입력 검출의 종료시점은 n*m 개의 모든 채널에서 촉감입력이 사라지는 시점으로 설정할 수 있다. As a preferred embodiment of the present invention, the tactile signal detection unit 120 is the starting point of the tactile input detection for tapping and rubbing is the time when at least one channel that exceeds the threshold value in all the n * m channels, May be considered as the detection start time, and the end time of the tactile input detection may be set to the time when the tactile input disappears in all n * m channels.

촉감분류부(130)는 촉감신호검출부(120)에서 촉감입력이 존재하는 것으로 판단되면 촉감입력을 기학습된 매질별 임계값에 따라 분류하여 출력한다. 도 4 는 본 발명의 바람직한 일 실시예로서, 촉감검출장치에서 촉감신호를 인식하고 분류하여 촉감 분류결과를 출력한 일 예를 도시한다. When the tactile classification unit 130 determines that the tactile input is present in the tactile signal detector 120, the tactile classification unit 130 classifies the tactile input according to the previously learned threshold values for the medium. 4 illustrates an example in which a tactile signal is recognized and classified by the tactile detection device to output a tactile classification result according to an exemplary embodiment of the present invention.

본 발명의 바람직한 일 실시예로서, 촉감분류부(130)는 촉감검출부(120)에서 매질 표면의 좌표마다 n*m개의 센서로부터 두드리기 또는 문지르기 동작을 통해 획득한 센서데이터를 매핑한 데이터를 재조합하여 촉감 분류를 수행한다. In a preferred embodiment of the present invention, the tactile classification unit 130 recombines data obtained by mapping the sensor data obtained by tapping or rubbing from n * m sensors for each coordinate of the surface of the medium in the tactile detection unit 120. Perform tactile classification.

촉감분류부(130)는 딥러닝의 기본구조에서 컨볼류션 뉴럴 네트워크를 활용한 디컨볼루션(440)을 기본으로 동작하도록 구현된다. 먼저 두드리기 동작(S430)과 문지르기 동작(S440)에 의해 각각 공간적으로 재조합된 데이터를 바탕으로 딥러닝기술의 컨볼루션 필터를 이용하여 다음 레이어를 구성한다. The tactile classification unit 130 is implemented to operate based on the deconvolution 440 utilizing the convolutional neural network in the basic structure of deep learning. First, a next layer is configured by using a convolution filter of deep learning technology based on spatially recombined data by tapping operation S430 and rubbing operation S440.

두드리기와 문지르기의 입력 크기는 검출된 시계열 신호의 크기에 따라 달라지나 컨볼루션 레이어(430)의 크기 및 구조는 동일한 크기로 한다. 그 후, 평탄화(flatten)을 통해(431) 컨볼루션 레이어(430)의 각 노드를 평탄화시키고, 완전히 연결된 레이어(fully connected layer)(431)를 통과시킨다. 이 경우에도, 두드리기와 문지르기의 완전히 연결된 레이어(fully connected layer)(431) 구조와 크기를 동일하게 한다. 그 후 두드리기와 문지르기의 뉴럴 네트워크를 통합하여 하나의 완전히 연결된 레이어(fully connected layer)(432) 구조와 같은 구조로 연결한 후, 두드리기와 문지르기에 각각 사용하였던 컨볼루션 레이어와 같은 구조를 연결한다(440). The input size of tapping and rubbing depends on the size of the detected time series signal, but the size and structure of the convolutional layer 430 are the same size. Thereafter, each node of the convolutional layer 430 is flattened through flattening 431 and passed through a fully connected layer 431. In this case, too, the structure and size of the fully connected layer 431 of tapping and rubbing are the same. After that, the neural network of tapping and scrubbing is integrated to form a structure such as one fully connected layer 432 structure, and then to the same convolutional layer used for tapping and rubbing. (440).

촉감분류부(130)는 그 후 기계학습 등을 통해 기학습된 매질 분류 기준에 따라 촉감입력을 분류하여 출력한다(450). 촉감분류부(130)는 촉감입력이 복수의 매질(451, 452)로 분류되는 경우, 각 매질의 영역이 공간적으로 구분되도록 출력한다. 도 4를 참고하면, 제 1 매질(451)과 제 2 매질(452)을 각각 다른 형태로 표현하여 공간적으로 구분되도록 출력하였다. The tactile classification unit 130 then classifies and outputs the tactile input according to the medium classification criteria previously learned through machine learning (450). When the tactile input is classified into a plurality of media 451 and 452, the tactile classification unit 130 outputs the regions of the media so as to be spatially separated. Referring to FIG. 4, the first medium 451 and the second medium 452 are represented in different forms and output so as to be spatially separated.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

Claims (11)

n*m 개(n,m 은 임의의 자연수)의 촉감센서로 구성된 멀티어레이촉감센서로 매질 표면을 스캐닝하여 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 실시간으로 수신하는 촉감입력수신부;
상기 촉감입력신호의 값이 기설정된값을 초과하는 경우 촉감입력이 존재하는 것으로 판단하며, 해당 촉감입력신호가 상기 매질 표면의 어느 위치에서 발생되었는지 검출하는 촉감신호검출부;
상기 촉감입력이 존재하는 것으로 판단되면 상기 촉감입력을 기학습된 매질별 임계값에 따라 분류하여 출력하는 촉감분류부;를 포함하며,
상기 촉감입력수신부는 상기 매질 표면을 제 1 액션 및 제 2 액션을 통해 스캐닝을 수행하고, 상기 촉감분류부는 상기 촉감입력이 복수의 매질로 분류되는 경우, 각 매질의 영역이 공간적으로 구분되도록 출력하는 것을 특징으로 하는 촉감검출장치.Multi-array tactile sensor consisting of n * m tactile sensors (where n and m are arbitrary natural numbers) scans the surface of the medium to detect the position coordinates of n * m tactile sensors and the corresponding n * m tactile input signals in real time Tactile input receiving unit for receiving;
A tactile signal detection unit that determines that a tactile input exists when the value of the tactile input signal exceeds a preset value, and detects at which position on the surface of the medium the tactile input signal is generated;
And a tactile classification unit for classifying and outputting the tactile input according to a threshold value for each previously learned medium when it is determined that the tactile input exists.
The tactile input receiving unit scans the surface of the medium through a first action and a second action, and the tactile classification unit outputs the areas of each medium to be spatially separated when the tactile input is classified into a plurality of mediums. Tactile detection device, characterized in that. 제 1 항에 있어서,
상기 제 1 액션은 두드리기 동작, 상기 제 2 액션은 문지르기 동작인 것을 특징으로 하는 촉감검출장치. The method of claim 1,
Wherein the first action is a tapping operation, and the second action is a rubbing operation. 제 1 항에 있어서, 상기 멀티어레이촉감센서는
동시에 복수의 매질로부터 촉감입력신호를 입력받을 수 있는 것을 특징으로 하는 촉감검출장치. The method of claim 1, wherein the multi-array tactile sensor
And a haptic input signal from a plurality of media at the same time. 제 1 항에 있어서, 상기 촉감신호검출부는
상기 매질 표면을 상기 제 1 액션을 통해 스캐닝하고, 상기 n*m 개의 촉감센서에서 수신한 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 매핑하며
또한 상기 매질 표면을 상기 제 2 액션을 통해 스캐닝하고, 상기 n*m 개의 촉감센서에서 수신한 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 매핑하며,
상기 매질 표면의 위치좌표를 기준으로 상기 제 1 액션을 통해 획득한 촉감입력신호와 상기 제 2 액션을 통해 획득한 촉감입력신호를 매핑하는 것을 특징으로 하는 촉감검출장치. The method of claim 1, wherein the tactile signal detection unit
Scanning the surface of the medium through the first action and mapping position coordinates of n * m tactile sensors received from the n * m tactile sensors and n * m tactile input signals corresponding thereto;
In addition, the surface of the medium is scanned through the second action, and the position coordinates of the n * m tactile sensors received from the n * m tactile sensors and n * m tactile input signals corresponding thereto are mapped,
And a tactile input signal acquired through the first action and a tactile input signal obtained through the second action based on the position coordinates of the surface of the medium. 제 1 항에 있어서, 상기 멀티어레이촉감센서를 구성하는
n*m 개의 촉감센서 각각은 시간에 따라 상기 매질 표면상에서의 위치 및 해당 위치에서 검출한 촉감입력신호를 포함한 n*m 개의 시계열 데이터를 전송하는 것을 특징으로 하는 것을 특징으로 하는 촉감검출장치. The method of claim 1, wherein the multi-array tactile sensor
and each n * m tactile sensor transmits n * m time series data including a position on the surface of the medium and a tactile input signal detected at the corresponding position over time. 제 5 항에 있어서, 상기 촉감분류부는
상기 멀티어레이촉감센서를 구성하는 n*m 개의 시계열데이터 출력으로부터 적어도 하나 이상의 매질을 분류하는 것을 특징으로 하는 촉감검출장치. The method of claim 5, wherein the tactile classification unit
And at least one medium is classified from n * m time series data outputs constituting the multi-array tactile sensor. 제 1 항에 있어서, 상기 멀티어레이촉감센서는
로봇 손가락에 부착되는 것을 특징으로 하는 촉감검출장치. The method of claim 1, wherein the multi-array tactile sensor
Tactile detection device, characterized in that attached to the robot finger. 제 1 항에 있어서, 상기 촉감신호검출부는
상기 멀티어레이촉감센서에서 감지된 임의의 시간의 비의도촉감입력신호가 기설정된값을 초과하는 경우 촉감입력이 존재하는 것으로 판단하는 비의도촉감신호검출부;를 더 포함하는 것을 특징으로 하는 촉감검출장치. The method of claim 1, wherein the tactile signal detection unit
And an unintentional tactile signal detection unit that determines that a tactile input exists when the unintentional tactile input signal detected by the multi-array tactile sensor exceeds a preset value. Detection device. 삭제delete 제 1 항에 있어서,
상기 제 1 액션은 상기 매질 표면의 강도를 측정하는 액션이고, 제 2 액션은 상기 매질 표면의 거칠기를 측정하는 액션인 것을 특징으로 하는 촉감검출장치. The method of claim 1,
Wherein the first action is an action of measuring the strength of the surface of the medium, and the second action is an action of measuring the roughness of the surface of the medium. 촉감입력수신부에서 n*m 개의 촉감센서로 구성된 멀티어레이촉감센서로 매질 표면을 스캐닝하여 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 실시간으로 수신하는 단계;
촉감신호검출부에서 상기 촉감입력신호의 값이 기설정된값을 초과하는 경우 촉감입력이 존재하는 것으로 판단하며, 해당 촉감입력신호가 상기 매질 표면의 어느 위치에서 발생되었는지 검출하는 단계;
촉감분류부에서 상기 촉감입력이 존재하는 것으로 판단되면 상기 촉감입력을 기학습된 매질별 임계값에 따라 분류하여 출력하는 단계;를 포함하며,
상기 촉감입력수신부는 상기 매질 표면을 제 1 액션 및 제 2 액션을 통해 스캐닝을 수행하고,
상기 촉감분류부는 상기 촉감입력이 복수의 매질로 분류되는 경우, 각 매질의 영역이 공간적으로 구분되도록 출력하는 것을 특징으로 하는 촉감검출방법. Scanning the surface of the medium with a multi-array tactile sensor composed of n * m tactile sensors at the tactile input receiver to receive the position coordinates of the n * m tactile sensors and n * m tactile input signals corresponding thereto in real time;
Determining, by the tactile signal detector, that a tactile input exists when the value of the tactile input signal exceeds a preset value, and detecting at which position of the surface of the medium the tactile input signal is generated;
And classifying and outputting the tactile input according to a threshold value for each previously learned medium when the tactile classification unit determines that the tactile input exists.
The tactile input receiver performs scanning of the medium surface through a first action and a second action,
The tactile classification unit, when the tactile input is classified into a plurality of media, the tactile classification method outputs the regions of each medium to be spatially separated.
KR1020180006265A 2018-01-17 2018-01-17 Device and Method for detecting tactile sense KR102039002B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180006265A KR102039002B1 (en) 2018-01-17 2018-01-17 Device and Method for detecting tactile sense

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180006265A KR102039002B1 (en) 2018-01-17 2018-01-17 Device and Method for detecting tactile sense

Publications (2)

Publication Number Publication Date
KR20190087892A KR20190087892A (en) 2019-07-25
KR102039002B1 true KR102039002B1 (en) 2019-10-31

Family

ID=67468678

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180006265A KR102039002B1 (en) 2018-01-17 2018-01-17 Device and Method for detecting tactile sense

Country Status (1)

Country Link
KR (1) KR102039002B1 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102529082B1 (en) * 2021-04-22 2023-05-03 재단법인대구경북과학기술원 Method and apparatus for tactile sensing
KR102542481B1 (en) * 2021-04-29 2023-06-12 재단법인대구경북과학기술원 Method, apparatus and system for reproducing tactile sense

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101452343B1 (en) * 2014-05-02 2014-10-22 박준호 Wearable device

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160071264A (en) * 2014-12-11 2016-06-21 엘지전자 주식회사 Mobile terminal and control method thereof
KR102073227B1 (en) * 2014-09-25 2020-02-04 한국과학기술원 Apparatus for providing tactile touch service
US9881467B2 (en) 2016-02-22 2018-01-30 Immersion Corporation Haptic effects conflict avoidance
KR101791927B1 (en) 2016-06-10 2017-11-01 인천대학교 산학협력단 Method and apparatus for estimating roughness of skin surface for haptic feedback apparatus based on perceptual analysis

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101452343B1 (en) * 2014-05-02 2014-10-22 박준호 Wearable device

Also Published As

Publication number Publication date
KR20190087892A (en) 2019-07-25

Similar Documents

Publication Publication Date Title
CN104956292B (en) The interaction of multiple perception sensing inputs
KR102344581B1 (en) System for detecting and characterizing inputs on a touch sensor
US11237660B2 (en) Electronic device response to force-sensitive interface
KR101932210B1 (en) Method, system for implementing operation of mobile terminal according to touching signal and mobile terminal
US10019100B2 (en) Method for operating a touch sensitive user interface
KR101442936B1 (en) User interface methods and systems for providing force-sensitive input
US20180173364A1 (en) Touch-sensitive button with two levels
CN105339877B (en) Finger detection on the touch screen of mobile device
US5912659A (en) Graphics display pointer with integrated selection
KR101835188B1 (en) Using pressure differences with a touch-sensitive display screen
US20150301684A1 (en) Apparatus and method for inputting information
US20110003550A1 (en) Tactile input for accessories
EP3612917B1 (en) Force-sensitive user input interface for an electronic device
EP1686778A1 (en) Motion-based sound setting apparatus and method and motion-based sound generating apparatus and method
US10782821B2 (en) Method of classifying a finger touch in respect of finger pressure and fingerprint sensing system
CN102016765A (en) Method and system of identifying a user of a handheld device
WO2009155981A1 (en) Gesture on touch sensitive arrangement
WO2006044815A1 (en) Finger sensing device for navigation and related methods
CN105814524A (en) Object detection in optical sensor systems
KR102039002B1 (en) Device and Method for detecting tactile sense
US11695865B2 (en) Control of a user device under wet conditions
WO2011146503A1 (en) Control system and method using an ultrasonic area array
TWI711963B (en) Method and system for estimating finger movement with selection of navigation subareas
CN104407774A (en) Screen switching equipment and method as well as mobile terminal
US20230401886A1 (en) Touch sensing in non-capacitive touch modes

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right