KR102039002B1 - Device and Method for detecting tactile sense - Google Patents
Device and Method for detecting tactile sense Download PDFInfo
- Publication number
- KR102039002B1 KR102039002B1 KR1020180006265A KR20180006265A KR102039002B1 KR 102039002 B1 KR102039002 B1 KR 102039002B1 KR 1020180006265 A KR1020180006265 A KR 1020180006265A KR 20180006265 A KR20180006265 A KR 20180006265A KR 102039002 B1 KR102039002 B1 KR 102039002B1
- Authority
- KR
- South Korea
- Prior art keywords
- tactile
- medium
- action
- tactile input
- array
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
-
- G06K9/00201—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
-
- G06K9/6267—
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Human Computer Interaction (AREA)
- Life Sciences & Earth Sciences (AREA)
- Multimedia (AREA)
- Artificial Intelligence (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- User Interface Of Digital Computer (AREA)
- Manipulator (AREA)
- Force Measurement Appropriate To Specific Purposes (AREA)
Abstract
본 발명의 바람직한 일 실시예로서, 촉감검출장치는 멀티어레이촉감센서로 매질 표면을 스캐닝하여 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 실시간으로 수신하여 촉감입력신호의 값이 기설정된값을 초과하는 경우 촉감입력이 존재하는 것으로 판단하며, 촉감입력을 기학습된 매질별 임계값에 따라 분류하여 출력하는 것을 특징으로 하낟.As a preferred embodiment of the present invention, the tactile detection device scans the surface of a medium with a multi-array tactile sensor and receives the position coordinates of n * m tactile sensors and n * m tactile input signals corresponding thereto in real time to provide a tactile input. When the value of the signal exceeds the predetermined value, it is determined that the tactile input exists, and the tactile input is classified and output according to the threshold value for each previously learned medium.
Description
본 발명은 촉감검출장치에 관한 것이다. 보다 상세히, 복수의 방법으로 매질 표면을 센싱하여 적어도 하나의 매질을 검출하는 촉감검출장치에 관한 것이다.The present invention relates to a tactile detection device. More particularly, the present invention relates to a tactile detection device for detecting at least one medium by sensing a surface of the medium by a plurality of methods.
햅틱은 힘, 진동 및 모션들과 같은 햅틱 피드백 효과(즉, "햅틱 효과")들을 사용자에게 적용함으로써 사용자의 터치 감을 이용하는 촉각 및 힘 피드백 기술이다. 모바일 디바이스들, 터치스크린 디바이스들 및 개인용 컴퓨터들과 같은 디바이스들은 햅틱 효과들을 생성하도록 구성될 수 있다. 일반적으로, 햅틱 효과들을 생성할 수 있는 내장된 하드웨어(예를 들어, 액추에이터)에 대한 호출(call)들은 디바이스의 운영 체제(OS) 내에 프로그램되어 있을 수 있다. 이러한 호출들은 어떤 햅틱 효과를 재생할지 지정한다. 예를 들어, 사용자가 예컨대, 버튼, 터치스크린, 레버, 조이스틱, 휠, 또는 소정의 다른 컨트롤을 이용하여 디바이스와 상호작용할 때, 디바이스의 OS는 재생 커맨드를 제어 회로를 통해 내장된 하드웨어에 송신할 수 있다. 그 후, 내장된 하드웨어는 사용자에 의해 인식되는 적절한 햅틱 효과를 생성한다.Haptics are tactile and force feedback techniques that utilize the user's touch feeling by applying haptic feedback effects (ie, "haptic effects") to the user, such as forces, vibrations, and motions. Devices such as mobile devices, touchscreen devices and personal computers can be configured to generate haptic effects. In general, calls to embedded hardware (eg, actuators) that can generate haptic effects may be programmed into the device's operating system (OS). These calls specify which haptic effect to play. For example, when a user interacts with the device using, for example, a button, touchscreen, lever, joystick, wheel, or some other control, the OS of the device may send a playback command to the embedded hardware through the control circuitry. Can be. The embedded hardware then creates an appropriate haptic effect that is recognized by the user.
모바일 폰, 스마트폰, 카메라 폰, 카메라, 개인 휴대 단말기("PDA")(personal digital assistant)들과 같은 휴대용/모바일 전자 디바이스들은 전형적으로, 디바이스들에 대해 발생하는 소정 이벤트들을 사용자에게 경고하는 출력 메커니즘들을 포함한다. 예를 들어, 셀 폰(cell phone)은 통상적으로 착신 전화 콜 이벤트를 사용자에게 들을 수 있게 통지하기 위한 스피커를 포함한다. 일부 모바일 디바이스에서, 운동감각 피드백(예컨대, 활성력(active force) 및 저항력 피드백) 및/또는 촉각 피드백(예컨대, 진동, 질감, 및 열)이 또한 사용자에게 제공될 수 있다.Portable / mobile electronic devices such as mobile phones, smartphones, camera phones, cameras, personal digital assistants ("PDAs") typically output an output to alert the user of certain events occurring on the devices. Mechanisms. For example, a cell phone typically includes a speaker for notifying the user of an incoming phone call event. In some mobile devices, kinesthetic feedback (eg, active force and resistive feedback) and / or tactile feedback (eg, vibration, texture, and heat) may also be provided to the user.
종래에는 햅틱센서 또는 이미지센서를 이용하여 정해진 시간에 입력되는 촉감에 대해 구분하는 방법을 개시하고 있으나, 임의의 시간에 인식되는 촉감에 대해서는 검출방안이 없는 문제가 있다. 또한 기존 기술의 경우 단일 매질에 대한 촉감 구분은 로봇 손에 구현되어 동작 될 경우 천, 나무, 플라스틱, 그리고 금속과 같은 단일 매질을 구분하는데 효과적으로 사용이 가능하다. 하지만, 일상생활에서 접하는 물체들은 대부분 복합 매질로 구성되어 있어 기존의 기술로는 구체적인 물체의 정보를 얻는데 한계가 있었다. Conventionally, a method of distinguishing the touch input at a predetermined time using a haptic sensor or an image sensor is disclosed, but there is a problem in that there is no detection method for the touch sensed at an arbitrary time. In addition, in the case of the existing technology, the tactile division of a single medium can be effectively used to distinguish a single medium such as cloth, wood, plastic, and metal when it is implemented and operated in a robot hand. However, most of the objects encountered in daily life are composed of complex media, so the existing technology has a limitation in obtaining information of concrete objects.
본 발명의 바람직한 일 실시예에서는 임의의 시간에 입력되는 촉감을 인식하고 구분하며, 또한 단일 매질의 촉감만이 아니라 복수 매질의 촉감을 분류하는 방법을 제시하고자 한다. In an exemplary embodiment of the present invention, a method for recognizing and distinguishing a touch input at any time and classifying the touch of a plurality of media as well as the touch of a single medium is provided.
또한 본 발명의 바람직한 일 실시예에서는 복수 매질의 촉감을 분류하며, 서로 다른 매질의 영역이 어떻게 구분되어 있는지를 나타내는 공간적 정보를 인식하는 방법을 제공하고자 한다.In addition, a preferred embodiment of the present invention is to provide a method for classifying the touch of a plurality of media, and recognize the spatial information indicating how the regions of different media are divided.
본 발명의 바람직한 일 실시예로서, 촉감검출장치는 n*m 개(n,m 은 임의의 자연수)의 촉감센서로 구성된 멀티어레이촉감센서로 매질 표면을 스캐닝하여 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 실시간으로 수신하는 촉감입력수신부; 상기 촉감입력신호의 값이 기설정된값을 초과하는 경우 촉감입력이 존재하는 것으로 판단하며, 해당 촉감입력신호가 상기 매질 표면의 어느 위치에서 발생되었는지 검출하는 촉감신호검출부; 상기 촉감입력이 존재하는 것으로 판단되면 상기 촉감입력을 기학습된 매질별 임계값에 따라 분류하여 출력하는 촉감분류부;를 포함하며, 상기 촉감입력수신부는 상기 매질 표면을 제 1 액션 및 제 2 액션을 통해 스캐닝을 수행하는 것을 특징으로 한다.As a preferred embodiment of the present invention, the tactile detection device is a multi-array tactile sensor composed of n * m tactile sensors (n, m is any natural number) to scan the surface of a medium to position coordinates of n * m tactile sensors. And a tactile input receiver for receiving n * m tactile input signals corresponding thereto in real time; A tactile signal detection unit that determines that a tactile input exists when the value of the tactile input signal exceeds a preset value, and detects at which position on the surface of the medium the tactile input signal is generated; And a tactile classification unit for classifying and outputting the tactile input according to the previously learned threshold values for the media, when the tactile input is determined. The tactile input receiving unit includes a first action and a second action. Scanning is performed through.
바람직하게, 상기 제 1 액션은 두드리기 동작, 상기 제 2 액션은 문지르기 동작인 것을 특징으로 한다. Preferably, the first action is a tapping operation, and the second action is a rubbing operation.
바람직하게, 상기 멀티어레이촉감센서는 동시에 복수의 매질로부터 촉감입력신호를 입력받을 수 있는 것을 특징으로 한다. 멀티어레이촉감센서를 구성하는 n*m 개의 촉감센서 각각은 시간에 따라 상기 매질 표면상에서의 위치 및 해당 위치에서 검출한 촉감입력신호를 포함한 n*m 개의 시계열 데이터를 전송하는 것을 특징으로 한다.Preferably, the multi-array tactile sensor is characterized in that it is possible to receive a tactile input signal from a plurality of media at the same time. Each of the n * m tactile sensors constituting the multi-array tactile sensor transmits n * m time series data including a position on the surface of the medium and a tactile input signal detected at the corresponding position over time.
본 발명의 바람직한 일 실시예로서, 상기 촉감신호검출부는 상기 매질 표면을 상기 제 1 액션을 통해 스캐닝하고, 상기 n*m 개의 촉감센서에서 수신한 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 매핑하며, 또한 상기 매질 표면을 상기 제 2 액션을 통해 스캐닝하고, 상기 n*m 개의 촉감센서에서 수신한 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 매핑하며, 상기 매질 표면의 위치좌표를 기준으로 상기 제 1 액션을 통해 획득한 촉감입력신호와 상기 제 2 액션을 통해 획득한 촉감입력신호를 매핑하는 것을 특징으로 한다. In a preferred embodiment of the present invention, the tactile signal detection unit scans the surface of the medium through the first action, and corresponds to the position coordinates of the n * m tactile sensors received from the n * m tactile sensors and corresponding thereto. n * m tactile input signals are mapped, and the surface of the medium is scanned through the second action, and position coordinates of n * m tactile sensors received by the n * m tactile sensors and n * corresponding thereto The m touch input signals are mapped, and the tactile input signals acquired through the first action and the tactile input signals obtained through the second action are mapped based on the position coordinates of the surface of the medium.
본 발명의 또 다른 바람직한 일 실시예로서, 촉감검출방법은 촉감입력수신부에서 n*m 개의 촉감센서로 구성된 멀티어레이촉감센서로 매질 표면을 스캐닝하여 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 실시간으로 수신하는 단계; 촉감신호검출부에서 상기 촉감입력신호의 값이 기설정된값을 초과하는 경우 촉감입력이 존재하는 것으로 판단하며, 해당 촉감입력신호가 상기 매질 표면의 어느 위치에서 발생되었는지 검출하는 단계; 촉감분류부에서 상기 촉감입력이 존재하는 것으로 판단되면 상기 촉감입력을 기학습된 매질별 임계값에 따라 분류하여 출력하는 단계;를 포함하며, 상기 촉감입력수신부는 상기 매질 표면을 제 1 액션 및 제 2 액션을 통해 스캐닝을 수행하는 것을 특징으로 한다.As another preferred embodiment of the present invention, the tactile detection method is a multi-array tactile sensor composed of n * m tactile sensors in the tactile input receiver to scan the surface of the medium and the position coordinates of the n * m tactile sensors and the corresponding receiving n * m tactile input signals in real time; Determining, by the tactile signal detector, that a tactile input exists when the value of the tactile input signal exceeds a preset value, and detecting at which position of the surface of the medium the tactile input signal is generated; And when the tactile classification unit determines that the tactile input exists, classifying and outputting the tactile input according to a threshold value for each previously learned medium, wherein the tactile input receiving unit outputs the surface of the medium to the first action and the first. The scanning may be performed through two actions.
본 발명의 바람직한 일 실시예에서는 임의의 시간에 입력되는 촉감을 인식하고 구분하며, 또한 단일 매질의 촉감만이 아니라 복수 매질의 촉감을 분류하는 효과가 있다. 특히, 일상생활에서 접하는 물체들은 대부분 복합 매질로 구성되어 있으며, 각 제품마다 매질들이 조합된 구조도 달라 그 정보를 모두 얻을 수 있는 효과가 있다.In a preferred embodiment of the present invention, it is possible to recognize and distinguish the touch input at any time, and to classify the touch of a plurality of media as well as the touch of a single medium. In particular, the objects encountered in daily life are mostly composed of a composite medium, the structure of the combination of media for each product is different, there is an effect that can obtain all the information.
또한 본 발명의 바람직한 일 실시예에서멀티 어레이 촉감 센서를 이용해 공간적인 신호를 측정하여 두 가지 이상이 복합적으로 존재하는 촉감을 구분할 수 있고, 또한 각 촉감 매질이 어떠한 구조로 구분이 되어 있는지도 추정 할 수 있는 효과가 있다.In addition, in a preferred embodiment of the present invention by using a multi-array tactile sensor can measure the spatial signal to distinguish the two or more complex tactile sense, it is also possible to estimate what structure each tactile medium is divided into It has an effect.
도 1 은 본 발명의 바람직한 일 실시예로서, 촉감검출장치의 내부 구성도를 도시한다.
도 2(a) 및 (b)는 본 발명의 바람직한 일 실시예로서, 촉감검출장치에서 매질표면의 스캐닝을 수행하는 예를 도시한다.
도 3 은 본 발명의 바람직한 일 실시예로서, 촉감검출장치의 멀티어레이촉감센서에서 수신하는 복수의 채널 신호의 예를 도시한다.
도 4 는 본 발명의 바람직한 일 실시예로서, 촉감검출장치에서 촉감신호를 인식하고 분류하여 촉감 분류결과를 출력한 일 예를 도시한다. 1 is a view illustrating an internal configuration of a tactile detection device as a preferred embodiment of the present invention.
2 (a) and 2 (b) show an example of performing scanning of a surface of a medium in a tactile detection device as a preferred embodiment of the present invention.
3 illustrates an example of a plurality of channel signals received by the multi-array tactile sensor of the tactile detection device according to one preferred embodiment of the present invention.
4 illustrates an example in which a tactile signal is recognized and classified by the tactile detection device to output a tactile classification result according to an exemplary embodiment of the present invention.
이하, 본 발명의 바람직한 실시예를 첨부도면을 참조로 상세하게 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1 은 본 발명의 바람직한 일 실시예로서, 촉감검출장치의 내부 구성도를 도시한다. 1 is a view illustrating an internal configuration of a tactile detection device as a preferred embodiment of the present invention.
촉감검출장치(100)는 촉감입력수신부(110), 촉감신호검출부(120) 및 촉감분류부(130)를 포함한다. 촉감입력수신부(110)는 매질표면을 스캐닝하여 획득하는 촉감입력(S110) 또는 임의의 시간에 간헉적으로 획득하는 비의도적촉감입력(S112)를 수신할 수 있다. 비의도적촉감입력(S112)의 예로는 로봇 팔을 구동 중 의도하지 않게 매질과 접촉하는 등의 예를 포함하며, 본 발명에서는 멀티어레이촉감센서(210)에서 수신된 센서값을 제 1 액션 또는 제 2 액션 값 중 하나로 분류하여 매핑한다.The
촉감입력수신부(110)는 n*m 개(n,m 은 임의의 자연수)의 촉감센서로 구성된 멀티어레이촉감센서로 매질 표면을 스캐닝하여 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 실시간으로 수신한다. The
촉감입력수신부(110)는 제 1 액션 및 제 2 액션을 통해 매질 표면을 스캐닝할 수 있다. 제 1 액션은 3차원 형태의 액션이고, 제 2 액션은 2차원 형태의 액션일 수 있다. 또한, 제 1 액션은 촉감 매질의 강도를 측정하는 액션이고, 제 2 액션은 매질의 거칠기를 측정하는 액션일 수 있다. 본 발명의 바람직한 일 실시예로서, 제 1 액션은 두드리기, 제 2 액션은 문지르기일 수 있다. 도 2 (a) 내지 (b)는 촉감입력수신부(110)에서 매질 표면을 스캐닝 하는 일 예를 도시한다. The
도 2(a)는 로봇의 팔(200)에 부착된 멀티어레이촉감센서(210)에서 매질표면(220)을 두드리기(S230) 방식으로 스캐닝하는 일 예를 나타낸다. 두드기리 동작은 센서를 매질 표면 위에서 누르는 동작을 통해 매질 표면의 강도를 측정하는 동작이다. 이때 매질 표면의 전영역에서의 강도를 측정하기 위해 행렬형 멀티 어레이 센서의 두드리기 동작을 평면좌표 상으로 이동하면서 여러 번 수행하여 촉감 매질의 강도를 모두 측정할 수 있다. 2 (a) shows an example of scanning the
도 2(b)는 문지르기(S240) 방식으로 스캐닝하는 일 예를 도시한다. 문지르기 동작은 멀티어레이촉감센서(210)를 매질 표면의 일 지점에서 다른 지점으로 이동하면서 매질 표면의 전체 영역을 스캔하는 동작으로 매질의 거칠기를 측정할 수 있다. Figure 2 (b) shows an example of scanning by rubbing (S240) method. The rubbing operation may measure the roughness of the medium by moving the multi-array
본 발명의 바람직한 일 실시예에서, 멀티어레이촉감센서(210)는 두드리기(S230) 또는 문지르기(S240)를 수행하는 경우, 멀티어레이촉감센서(210)를 구성하는 n*m 개의 센서 각각이 매질표면과 터치되는 위치와, 해당 위치에서 수신한 촉감입력 데이터값을 실시간으로 수신한다. 본 발명의 바람직한 일 실시예로서, 멀티어레이촉감센서(210)는 매질표면의 위치에 따라 동시에 복수의 매질을 검출할 수 있다. 도 2b를 참고하면, 매질표면(220)이 제 1 매질(221)과 제 2 매질(222)로 구성되어 있는 경우, 멀티어레이촉감센서(210)는 제 1 매질(221)과 제 2매질(222)의 경계점을 문지르거나 또는 두드리는 경우 동시에 제 1 매질(221)과 제 2매질(222)을 검출할 수 있다. In a preferred embodiment of the present invention, when the multi-array
촉감신호검출부(120)는 촉감입력신호의 값이 기설정된값을 초과하는 경우 촉감입력이 존재하는 것으로 판단하며, 해당 촉감입력신호가 매질 표면(도 2, 220)의 어느 위치에서 발생되었는지 검출한다. The
촉감신호검출부(120)는 매질 표면을 제 1 액션을 통해 스캐닝하고, n*m 개의 촉감센서에서 수신한 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 매핑하며, 또한 매질 표면을 제 2 액션을 통해 스캐닝하고, n*m 개의 촉감센서에서 수신한 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 매핑하며, 매질 표면의 위치좌표를 기준으로 제 1 액션을 통해 획득한 촉감입력신호와 상기 제 2 액션을 통해 획득한 촉감입력신호를 매핑한다. 또한 비의도적 촉감입력신호가 검출되는 경우, 검출된 비의도적촉감입력신호를 더 매핑할 수 있다.The tactile
촉감신호검출부(120)는 촉감입력신호의 값이 기설정된값을 초과하는 경우 촉감입력이 존재하는 것으로 판단한다. 도 3 을 참고하면, 촉감검출장치는 멀티어레이촉감센서에서 n*m개의 채널 신호를 실시간으로 수신한다. The tactile
도 3을 참고하면, 멀티어레이촉감센서(310)는 촉각 매질1(301) 및 촉각 매질2(302)로 구성된 매질 표면(300)을 문지르기 방식으로 스캐닝하면서, n*m 개의 채널 신호(S330)를 실시간으로 발생시키며, 촉감신호검출부(120)에서는 n*m개의 채널 신호를 수신한다. Referring to FIG. 3, the multi-array
촉감신호검출부(120)는 수신한 채널 신호가 기설정된 임계값을 초과하는 구간(S340)을 검출한다. 촉감신호검출부(120)는 다양한 매질에 대해 기학습된 임계값을 기저장하고 있을 수 있다. 기학습된 임계값은 제 1 임계값, 제 2 임계값, 제 3 임계값 등일 수 있으며, 각각의 임계값은 일정 범위 이내이거나, 일정 범위 초과이거나, 일정 값 이상이거나, 일정 값 이하 등으로 설정될 수 있다. 촉감신호검출부(120)는 다양한 임계값이 있는 경우, 임계값과 교차점(341, 342, 343, 344, 345, 346)을 추출하여 촉감입력감지구간(S340)을 설정할 때 참고할 수 있다. 촉감입력감지구간(S340)은 일 예로, 최초의 임계값과 교차점(341)부터 마지막 임계값과의 교차점(346) 구간을 설정할 수 있다. The
촉감신호검출부(120)는 수신한 채널 신호가 기설정된 임계값을 초과하는지 판단하기 위하여, n*m 개의 센서로부터 실시간으로 입력되는 시계열데이터를 실시간으로 모니터링한다. The tactile
본 발명의 바람직한 일 실시예로서, 촉감신호검출부(120)는 두드리기 동작의 경우 아래의 수식을 통해 촉감입력의 존재를 판단할 수 있다. In a preferred embodiment of the present invention, the tactile
, 이 경우 k는 n보다 작은 수이며, 신호의 변화에 민감하게 반응하고, 노이즈 효과를 상쇄 할 수 있는 특정 윈도우 값을 나타낸다. 샘플링 주파수를 고려하여, 일 예로 샘플링 주파수의 반 또는 그보다 작은 수를 고려한다. 이 값은 센서의 민감도와 노이즈 정도에 따라 유동적으로 바뀔 수 있다. 이렇게 구해진 두드리기에 대한 특이값 을 특정 임계값과 비교를 하여 임계값을 초과하였을 시에 촉감이 입력되었음을 인지할 수 있다. 임계값은 촉감 입력이 없을 때의 특이값 검출값 hb에 조절값 α를 곱한값 α*hb을 사용한다. In this case, k is a number smaller than n, and represents a specific window value that is sensitive to the change in the signal and can cancel the noise effect. In consideration of the sampling frequency, for example, consider half or less of the sampling frequency. This value can be changed flexibly depending on the sensitivity of the sensor and the noise level. Singular value for the tap thus obtained By comparing with a specific threshold value it can be recognized that the touch is input when the threshold value is exceeded. The threshold value is a value α * h b obtained by multiplying the control value α by the singular value detection value h b when there is no tactile input.
본 발명의 바람직한 일 실시예로서, 촉감신호검출부(120)는 문지르기 동작의 경우 아래의 수식을 통해 촉감입력의 존재를 판단할 수 있다. rx(n)은 특이값을 나타낸다. As a preferred embodiment of the present invention, the tactile
, 이 경우 임계값은 두드리기 동작과 비슷하게 문지르기 동작이 없고, 입력이 없을 때 특이값 검출값 rb에 조절값 β를 곱한값 β*rb을 이용한다. In this case, the threshold value is similar to the tapping operation, and there is no rubbing operation. When there is no input, the singular value detection value r b is multiplied by the adjustment value β and β * r b is used.
본 발명의 바람직한 일 실시예로서, 촉감신호검출부(120)는 두드리기와 문지르기에 대한 촉감 입력 검출의 시작지점은 n*m 개의 모든 채널에서 임계값을 넘기는 채널이 한 개 이상 존재하는 경우, 해당 시간을 검출 시작 시점으로 고려하고, 촉각 입력 검출의 종료시점은 n*m 개의 모든 채널에서 촉감입력이 사라지는 시점으로 설정할 수 있다. As a preferred embodiment of the present invention, the tactile
촉감분류부(130)는 촉감신호검출부(120)에서 촉감입력이 존재하는 것으로 판단되면 촉감입력을 기학습된 매질별 임계값에 따라 분류하여 출력한다. 도 4 는 본 발명의 바람직한 일 실시예로서, 촉감검출장치에서 촉감신호를 인식하고 분류하여 촉감 분류결과를 출력한 일 예를 도시한다. When the
본 발명의 바람직한 일 실시예로서, 촉감분류부(130)는 촉감검출부(120)에서 매질 표면의 좌표마다 n*m개의 센서로부터 두드리기 또는 문지르기 동작을 통해 획득한 센서데이터를 매핑한 데이터를 재조합하여 촉감 분류를 수행한다. In a preferred embodiment of the present invention, the
촉감분류부(130)는 딥러닝의 기본구조에서 컨볼류션 뉴럴 네트워크를 활용한 디컨볼루션(440)을 기본으로 동작하도록 구현된다. 먼저 두드리기 동작(S430)과 문지르기 동작(S440)에 의해 각각 공간적으로 재조합된 데이터를 바탕으로 딥러닝기술의 컨볼루션 필터를 이용하여 다음 레이어를 구성한다. The
두드리기와 문지르기의 입력 크기는 검출된 시계열 신호의 크기에 따라 달라지나 컨볼루션 레이어(430)의 크기 및 구조는 동일한 크기로 한다. 그 후, 평탄화(flatten)을 통해(431) 컨볼루션 레이어(430)의 각 노드를 평탄화시키고, 완전히 연결된 레이어(fully connected layer)(431)를 통과시킨다. 이 경우에도, 두드리기와 문지르기의 완전히 연결된 레이어(fully connected layer)(431) 구조와 크기를 동일하게 한다. 그 후 두드리기와 문지르기의 뉴럴 네트워크를 통합하여 하나의 완전히 연결된 레이어(fully connected layer)(432) 구조와 같은 구조로 연결한 후, 두드리기와 문지르기에 각각 사용하였던 컨볼루션 레이어와 같은 구조를 연결한다(440). The input size of tapping and rubbing depends on the size of the detected time series signal, but the size and structure of the
촉감분류부(130)는 그 후 기계학습 등을 통해 기학습된 매질 분류 기준에 따라 촉감입력을 분류하여 출력한다(450). 촉감분류부(130)는 촉감입력이 복수의 매질(451, 452)로 분류되는 경우, 각 매질의 영역이 공간적으로 구분되도록 출력한다. 도 4를 참고하면, 제 1 매질(451)과 제 2 매질(452)을 각각 다른 형태로 표현하여 공간적으로 구분되도록 출력하였다. The
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.
Claims (11)
상기 촉감입력신호의 값이 기설정된값을 초과하는 경우 촉감입력이 존재하는 것으로 판단하며, 해당 촉감입력신호가 상기 매질 표면의 어느 위치에서 발생되었는지 검출하는 촉감신호검출부;
상기 촉감입력이 존재하는 것으로 판단되면 상기 촉감입력을 기학습된 매질별 임계값에 따라 분류하여 출력하는 촉감분류부;를 포함하며,
상기 촉감입력수신부는 상기 매질 표면을 제 1 액션 및 제 2 액션을 통해 스캐닝을 수행하고, 상기 촉감분류부는 상기 촉감입력이 복수의 매질로 분류되는 경우, 각 매질의 영역이 공간적으로 구분되도록 출력하는 것을 특징으로 하는 촉감검출장치.Multi-array tactile sensor consisting of n * m tactile sensors (where n and m are arbitrary natural numbers) scans the surface of the medium to detect the position coordinates of n * m tactile sensors and the corresponding n * m tactile input signals in real time Tactile input receiving unit for receiving;
A tactile signal detection unit that determines that a tactile input exists when the value of the tactile input signal exceeds a preset value, and detects at which position on the surface of the medium the tactile input signal is generated;
And a tactile classification unit for classifying and outputting the tactile input according to a threshold value for each previously learned medium when it is determined that the tactile input exists.
The tactile input receiving unit scans the surface of the medium through a first action and a second action, and the tactile classification unit outputs the areas of each medium to be spatially separated when the tactile input is classified into a plurality of mediums. Tactile detection device, characterized in that.
상기 제 1 액션은 두드리기 동작, 상기 제 2 액션은 문지르기 동작인 것을 특징으로 하는 촉감검출장치. The method of claim 1,
Wherein the first action is a tapping operation, and the second action is a rubbing operation.
동시에 복수의 매질로부터 촉감입력신호를 입력받을 수 있는 것을 특징으로 하는 촉감검출장치. The method of claim 1, wherein the multi-array tactile sensor
And a haptic input signal from a plurality of media at the same time.
상기 매질 표면을 상기 제 1 액션을 통해 스캐닝하고, 상기 n*m 개의 촉감센서에서 수신한 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 매핑하며
또한 상기 매질 표면을 상기 제 2 액션을 통해 스캐닝하고, 상기 n*m 개의 촉감센서에서 수신한 n*m개의 촉감센서의 위치좌표와 그에 대응하는 n*m개의 촉감입력신호를 매핑하며,
상기 매질 표면의 위치좌표를 기준으로 상기 제 1 액션을 통해 획득한 촉감입력신호와 상기 제 2 액션을 통해 획득한 촉감입력신호를 매핑하는 것을 특징으로 하는 촉감검출장치. The method of claim 1, wherein the tactile signal detection unit
Scanning the surface of the medium through the first action and mapping position coordinates of n * m tactile sensors received from the n * m tactile sensors and n * m tactile input signals corresponding thereto;
In addition, the surface of the medium is scanned through the second action, and the position coordinates of the n * m tactile sensors received from the n * m tactile sensors and n * m tactile input signals corresponding thereto are mapped,
And a tactile input signal acquired through the first action and a tactile input signal obtained through the second action based on the position coordinates of the surface of the medium.
n*m 개의 촉감센서 각각은 시간에 따라 상기 매질 표면상에서의 위치 및 해당 위치에서 검출한 촉감입력신호를 포함한 n*m 개의 시계열 데이터를 전송하는 것을 특징으로 하는 것을 특징으로 하는 촉감검출장치. The method of claim 1, wherein the multi-array tactile sensor
and each n * m tactile sensor transmits n * m time series data including a position on the surface of the medium and a tactile input signal detected at the corresponding position over time.
상기 멀티어레이촉감센서를 구성하는 n*m 개의 시계열데이터 출력으로부터 적어도 하나 이상의 매질을 분류하는 것을 특징으로 하는 촉감검출장치. The method of claim 5, wherein the tactile classification unit
And at least one medium is classified from n * m time series data outputs constituting the multi-array tactile sensor.
로봇 손가락에 부착되는 것을 특징으로 하는 촉감검출장치. The method of claim 1, wherein the multi-array tactile sensor
Tactile detection device, characterized in that attached to the robot finger.
상기 멀티어레이촉감센서에서 감지된 임의의 시간의 비의도촉감입력신호가 기설정된값을 초과하는 경우 촉감입력이 존재하는 것으로 판단하는 비의도촉감신호검출부;를 더 포함하는 것을 특징으로 하는 촉감검출장치. The method of claim 1, wherein the tactile signal detection unit
And an unintentional tactile signal detection unit that determines that a tactile input exists when the unintentional tactile input signal detected by the multi-array tactile sensor exceeds a preset value. Detection device.
상기 제 1 액션은 상기 매질 표면의 강도를 측정하는 액션이고, 제 2 액션은 상기 매질 표면의 거칠기를 측정하는 액션인 것을 특징으로 하는 촉감검출장치. The method of claim 1,
Wherein the first action is an action of measuring the strength of the surface of the medium, and the second action is an action of measuring the roughness of the surface of the medium.
촉감신호검출부에서 상기 촉감입력신호의 값이 기설정된값을 초과하는 경우 촉감입력이 존재하는 것으로 판단하며, 해당 촉감입력신호가 상기 매질 표면의 어느 위치에서 발생되었는지 검출하는 단계;
촉감분류부에서 상기 촉감입력이 존재하는 것으로 판단되면 상기 촉감입력을 기학습된 매질별 임계값에 따라 분류하여 출력하는 단계;를 포함하며,
상기 촉감입력수신부는 상기 매질 표면을 제 1 액션 및 제 2 액션을 통해 스캐닝을 수행하고,
상기 촉감분류부는 상기 촉감입력이 복수의 매질로 분류되는 경우, 각 매질의 영역이 공간적으로 구분되도록 출력하는 것을 특징으로 하는 촉감검출방법. Scanning the surface of the medium with a multi-array tactile sensor composed of n * m tactile sensors at the tactile input receiver to receive the position coordinates of the n * m tactile sensors and n * m tactile input signals corresponding thereto in real time;
Determining, by the tactile signal detector, that a tactile input exists when the value of the tactile input signal exceeds a preset value, and detecting at which position of the surface of the medium the tactile input signal is generated;
And classifying and outputting the tactile input according to a threshold value for each previously learned medium when the tactile classification unit determines that the tactile input exists.
The tactile input receiver performs scanning of the medium surface through a first action and a second action,
The tactile classification unit, when the tactile input is classified into a plurality of media, the tactile classification method outputs the regions of each medium to be spatially separated.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180006265A KR102039002B1 (en) | 2018-01-17 | 2018-01-17 | Device and Method for detecting tactile sense |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180006265A KR102039002B1 (en) | 2018-01-17 | 2018-01-17 | Device and Method for detecting tactile sense |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190087892A KR20190087892A (en) | 2019-07-25 |
KR102039002B1 true KR102039002B1 (en) | 2019-10-31 |
Family
ID=67468678
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180006265A KR102039002B1 (en) | 2018-01-17 | 2018-01-17 | Device and Method for detecting tactile sense |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102039002B1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102529082B1 (en) * | 2021-04-22 | 2023-05-03 | 재단법인대구경북과학기술원 | Method and apparatus for tactile sensing |
KR102542481B1 (en) * | 2021-04-29 | 2023-06-12 | 재단법인대구경북과학기술원 | Method, apparatus and system for reproducing tactile sense |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101452343B1 (en) * | 2014-05-02 | 2014-10-22 | 박준호 | Wearable device |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20160071264A (en) * | 2014-12-11 | 2016-06-21 | 엘지전자 주식회사 | Mobile terminal and control method thereof |
KR102073227B1 (en) * | 2014-09-25 | 2020-02-04 | 한국과학기술원 | Apparatus for providing tactile touch service |
US9881467B2 (en) | 2016-02-22 | 2018-01-30 | Immersion Corporation | Haptic effects conflict avoidance |
KR101791927B1 (en) | 2016-06-10 | 2017-11-01 | 인천대학교 산학협력단 | Method and apparatus for estimating roughness of skin surface for haptic feedback apparatus based on perceptual analysis |
-
2018
- 2018-01-17 KR KR1020180006265A patent/KR102039002B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101452343B1 (en) * | 2014-05-02 | 2014-10-22 | 박준호 | Wearable device |
Also Published As
Publication number | Publication date |
---|---|
KR20190087892A (en) | 2019-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN104956292B (en) | The interaction of multiple perception sensing inputs | |
KR102344581B1 (en) | System for detecting and characterizing inputs on a touch sensor | |
US11237660B2 (en) | Electronic device response to force-sensitive interface | |
KR101932210B1 (en) | Method, system for implementing operation of mobile terminal according to touching signal and mobile terminal | |
US10019100B2 (en) | Method for operating a touch sensitive user interface | |
KR101442936B1 (en) | User interface methods and systems for providing force-sensitive input | |
US20180173364A1 (en) | Touch-sensitive button with two levels | |
CN105339877B (en) | Finger detection on the touch screen of mobile device | |
US5912659A (en) | Graphics display pointer with integrated selection | |
KR101835188B1 (en) | Using pressure differences with a touch-sensitive display screen | |
US20150301684A1 (en) | Apparatus and method for inputting information | |
US20110003550A1 (en) | Tactile input for accessories | |
EP3612917B1 (en) | Force-sensitive user input interface for an electronic device | |
EP1686778A1 (en) | Motion-based sound setting apparatus and method and motion-based sound generating apparatus and method | |
US10782821B2 (en) | Method of classifying a finger touch in respect of finger pressure and fingerprint sensing system | |
CN102016765A (en) | Method and system of identifying a user of a handheld device | |
WO2009155981A1 (en) | Gesture on touch sensitive arrangement | |
WO2006044815A1 (en) | Finger sensing device for navigation and related methods | |
CN105814524A (en) | Object detection in optical sensor systems | |
KR102039002B1 (en) | Device and Method for detecting tactile sense | |
US11695865B2 (en) | Control of a user device under wet conditions | |
WO2011146503A1 (en) | Control system and method using an ultrasonic area array | |
TWI711963B (en) | Method and system for estimating finger movement with selection of navigation subareas | |
CN104407774A (en) | Screen switching equipment and method as well as mobile terminal | |
US20230401886A1 (en) | Touch sensing in non-capacitive touch modes |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right |