KR101702066B1

KR101702066B1 - Apparatus and Rendering Method for Haptic Button Click

Info

Publication number: KR101702066B1
Application number: KR1020150137111A
Authority: KR
Inventors: 장태정; 이현식; 임영현
Original assignee: 강원대학교 산학협력단
Priority date: 2015-09-25
Filing date: 2015-09-25
Publication date: 2017-02-02

Abstract

The present invention relates to a button click haptic apparatus which includes a display unit which outputs a soft button, a touch sensor which is arranged on the display unit, detects a touch input on a touch surface, and outputs 2D position information, a load measuring unit which measures a pressure load on the touch surface of the touch sensor, a touch providing unit which vibrates the display unit, a memory which stores rendering data for providing the touch when the soft button is pressed, and a control unit which drives the touch providing unit based on pressing position information of a finger from the touch sensor, pressure load information from the load measuring unit, and the rendering data stored in the memory unit. Accordingly, the present invention can make a user feel click feeling which is similar to a hard button when the soft button is pressed.

Description

버튼 클릭 햅틱 장치 및 렌더링 방법{Apparatus and Rendering Method for Haptic Button Click}Technical Field [0001] The present invention relates to a haptic device and a rendering method,

본 발명은 터치 센서를 구비한 디스플레이 기술에 관한 것으로서, 특히 소프트 버튼 클릭에 대한 실감 효과를 제공하는 장치 및 방법에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a display technology having a touch sensor, and more particularly, to an apparatus and method for providing a realistic effect on a soft button click.

휴대 전화나 게임기 등의 휴대 단말, 계산기, 매표기 등의 정보 기기, 전자 렌지, 텔레비전, 조명기구 등의 가전제품, 산업용 기기 등에는 사용자에 의한 입력 조작을 받아들이는 조작부나 스위치 등의 입력 장치로서 터치 패널이나 터치 스위치 등의 터치 센서를 갖추는 입력 장치가 널리 사용되고 있다.2. Description of the Related Art As an input device such as an operation unit or a switch that accepts an input operation by a user, an electronic device such as a portable terminal such as a cellular phone or a game machine, an information device such as a calculator, An input device equipped with a touch sensor such as a panel or a touch switch is widely used.

터치 센서를 갖춘 입력 장치는 다수의 기계적 키 버튼들(key buttons)(이하 '하드 버튼'으로 기재함)을 구비한 통상의 휴대 단말용 키 패드(keypad)와는 달리, 소프트 버튼들(soft buttons)을 제공하기 때문에 클릭감이 없어 키 입력 오류가 빈번하게 발생된다. 그러므로, 사용자에게 동일한 위치를 수회 터치하여 반복 입력해야 하는 불편을 줄 수 있다.Unlike a conventional keypad for a portable terminal equipped with a plurality of mechanical key buttons (hereinafter referred to as a " hard button "), an input device having a touch sensor has soft buttons, So that key input errors occur frequently because there is no click feeling. Therefore, it is inconvenient that the user repeatedly touches the same position several times.

이를 방지하기 위해 터치 입력시 특정 소리를 출력시키거나, 해당 입력 위치에 대응해 디스플레이되고 있는 소프트 버튼의 색상과 같은 디스플레이 상태를 변경해, 청각이나 시각에 의해 입력 조작을 확인할 수 있도록 하는 방안이 제안되었다.In order to prevent this, there has been proposed a method of outputting a specific sound at the time of touch input or changing the display state such as the color of the soft button displayed corresponding to the input position so that the input operation can be confirmed by auditory or visual .

그러나, 청각 피드백의 경우는 소음 환경하에서의 확인이 곤란하며, 사용 기기가 매너 모드에서 이용되는 경우는 적용할 수 없고, 시각 피드백의 경우는 사용자가 손가락으로 입력하는 경우에 디스플레이되는 소프트 버튼의 사이즈가 작으면, 소프트 버튼이 손가락에 의해 차단되므로, 디스플레이 상태의 변화를 확인할 수 없는 경우가 있다.However, in the case of auditory feedback, it is difficult to confirm under a noisy environment, and it is not applicable when the used device is used in the silent mode. In the case of visual feedback, the size of the soft button displayed when the user inputs with the finger is If it is small, the soft button is blocked by the finger, so that the change of the display state may not be confirmed.

이에 더 나아가 버튼 클릭 실감을 구현하기 위해, 사용자가 손가락 등으로 터치 센서에 접촉할 때 진동 피드백을 발생시킴으로써, 사용자가 키 입력을 인지할 수 있도록 하는 진동모터를 이용한 햅틱 피드백 방법이 제안된 바 있다.A haptic feedback method using a vibration motor that allows a user to recognize a key input by generating vibration feedback when a user touches the touch sensor with a finger or the like has been proposed in order to further realize the click feeling of a button .

그런데, 종래의 햅틱 피드백 방법은 입력 정확성을 개선하기 위해 단순히 보조적 역할로만 사용되어 임의의 진동 패턴으로 터치 센서를 진동시키는 것에 지나지 않는다. 즉, 종래의 햅틱 피드백 방법은 실제로 하드 버튼을 수직으로 누르는 것과 같은 느낌까지는 제공하고 있지 않다. 이는 이러한 실제로 하드 버튼을 수직으로 누르는 것과 같은 미세한 진동감을 실제와 비슷하게 구현하는 것이 용이하지 않기 때문이다.However, the conventional haptic feedback method is merely used as an auxiliary function in order to improve the input accuracy, so that the touch sensor is oscillated with an arbitrary vibration pattern. That is, the conventional haptic feedback method does not actually provide a feeling of pushing the hard button vertically. This is because it is not easy to realize a slight vibration feeling like pushing the hard button in the vertical direction.

또한, 대부분의 모바일 기기들은 진동 구동기로 진동 모터만을 사용하기 때문에 주파수가 정해져 있어 실제 하드 버튼을 가압할 때 느껴지는 섬세하고 다양한 패턴의 진동을 표현하기에는 부적합하다.In addition, since most mobile devices use vibration motors as vibration actuators, they are not suitable for expressing vibrations of delicate and various patterns that are felt when pressing the actual hard buttons due to the fixed frequency.

본 발명은 소프트 버튼을 누를 때, 하드 버튼을 누를 때와 마찬가지로 수직 방향으로의 힘 센싱 및 진동 발생에 의해 실제 버튼을 누를 때와 비슷한 클릭감을 느낄 수 있도록 하는 버튼 클릭 햅틱 장치 및 렌더링 방법을 제공한다. The present invention provides a button click haptic device and a rendering method that allow a user to feel a clicking feeling similar to the pressing of an actual button due to force sensing and vibration generation in the vertical direction as when a soft button is pressed .

본 발명은 버튼 클릭 햅틱 장치로, 소프트 버튼을 출력하는 디스플레이부와, 상기 디스플레이부 상에 배치되어 터치면에 대한 터치 입력을 검출하고, 이차원의 위치 정보를 출력하는 터치 센서와, 상기 터치 센서의 터치면에 대한 가압 하중을 측정하는 하중 측정부와, 상기 디스플레이부를 진동시키는 촉감 제공부와, 상기 소프트 버튼을 가압할 때 촉감을 제공하기 위한 렌더링 데이터를 저장하는 메모리와, 상기 터치 센서로부터의 손가락의 가압 위치 정보, 상기 하중 측정부로부터의 가압 하중 정보 및 상기 메모리부 내에 저장된 렌더링 데이터에 기반하여 상기 촉감 제공부를 구동하는 제어부를 포함한다.The present invention relates to a button click haptic device, comprising: a display unit for outputting a soft button; a touch sensor disposed on the display unit for detecting a touch input to a touch surface and outputting two-dimensional position information; A memory for storing rendering data for providing tactile feeling when the soft button is pressed; a memory for storing fingerprint data of the finger from the touch sensor; And a controller for driving the tactile feedback unit based on the pressing position information of the tactile sensor, the pressing load information from the load measuring unit, and the rendering data stored in the memory unit.

본 발명은 소프트 버튼을 출력하는 디스플레이부와, 상기 디스플레이부 상에 배치되어 터치면에 대한 터치 입력을 검출하고, 이차원의 위치 정보를 출력하는 터치 센서를 포함하는 장치에서의 버튼 클릭 햅틱 렌더링 방법으로, 상기 터치면의 가압 하중을 측정하여 가압 하중이 렌더링 가압 임계치 이상인지를 판단하는 단계와, 상기 측정된 가압 하중이 상기 렌더링 가압 임계치 이상인 경우, 제1 렌더링 진동 패턴 신호를 출력하는 단계를 포함한다.The present invention relates to a button click haptic rendering method in a device including a display unit for outputting soft buttons and a touch sensor disposed on the display unit for detecting a touch input to a touch surface and outputting two-dimensional position information Determining whether a pressing load is greater than or equal to a rendering pressure threshold by measuring a pressing load on the touch surface, and outputting a first rendering vibration pattern signal when the measured pressing load is greater than or equal to the rendering pressure threshold value .

본 발명은 버튼 클릭 햅틱 렌더링 데이터 획득 방법으로, 하드 버튼을 가압할 때 손가락에 의한 가압 하중을 측정하는 단계와, 상기 측정된 가압 하중의 시간에 따른 변화 그래프를 생성하는 단계와, 상기 변화 그래프로부터 상기 하드 버튼을 가압할 때 가압 하중에 저항하는 스프링의 측정 가압 임계치와, 상기 가압 하중이 측정 가압 임계치 이상일 때의 촉감인 제1 측정 진동 패턴과, 상기 하드 버튼을 가압 해제할 때 가압 하중에 저항하는 스프링의 측정 가압 해제 임계치와, 상기 가압 하중이 측정 가압 해제 임계치 이하일 때 촉감인 제2 측정 진동 패턴을 포함하는 측정 데이터를 추출하는 단계와, 상기 측정 데이터를 가공하여 렌더링 데이터를 생성하는 단계를 포함한다.A method of acquiring button click haptic rendering data, comprising the steps of: measuring a pressing load by a finger when pressing a hard button; generating a graph of a change over time of the measured pressing load; A first measurement vibration pattern which is a touch when the pressing load is greater than or equal to a measurement pressure threshold value and a second measurement vibration pattern which is a resistance against a pressing load when the hard button is released, Extracting measurement data including a measured depressurization threshold value of the spring and a second measured vibration pattern that is tactile when the depressurized load is equal to or lower than the measured depressurization threshold value; and generating the rendering data by processing the measured data .

본 발명은 소프트 버튼을 누를 때, 하드 버튼을 누를 때와 마찬가지로 수직 방향으로의 힘 센싱 및 진동 발생에 의해 실제 버튼을 누를 때와 비슷한 클릭감을 느낄 수 있도록 한다.As in the case of pressing the hard button, when the soft button is pressed, the force sensing and the vibration are generated in the vertical direction, so that a click feeling similar to that when the actual button is pressed can be felt.

도 1은 본 발명의 일 실시 예에 따른 버튼 클릭 렌더링 데이터 획득 방법을 설명하기 위한 순서도이다.
도 2는 버튼 클릭시 가압 하중의 시간에 따른 변화 그래프의 일 예를 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 제1 렌더링 진동 패턴 또는 제2 렌더링 진동 패턴을 획득하기 위한 단계를 설명하기 위한 순서도이다.
도 4는 본 발명의 일 실시 예에 따른 그래프에서 추출된 진동 패턴으로부터 가공된 제1 렌더링 진동 패턴을 획득하는 과정을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 버튼 클릭 햅틱 장치의 구성도이다.
도 6은 본 발명의 일 실시 예에 따른 버튼 클릭 햅틱 렌더링 방법을 설명하기 위한 순서도이다. FIG. 1 is a flowchart illustrating a method for acquiring button click rendering data according to an embodiment of the present invention. Referring to FIG.
FIG. 2 is a graph showing an example of a graph of a change in pressure load with time when a button is clicked. FIG.
3 is a flowchart for explaining steps for obtaining a first rendering vibration pattern or a second rendering vibration pattern according to an embodiment of the present invention.
FIG. 4 is a view for explaining a process of obtaining a processed first rendering vibration pattern from a vibration pattern extracted from a graph according to an embodiment of the present invention.
5 is a configuration diagram of a button click haptic device according to an embodiment of the present invention.
6 is a flowchart illustrating a button-click haptic rendering method according to an embodiment of the present invention.

이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시 예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to embodiments of the present invention, examples of which are illustrated in the accompanying drawings, wherein like reference numerals refer to the like elements throughout.

본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시 예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

명세서 전반에 걸쳐 사용되는 용어들은 본 발명 실시 예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 발명의 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.The terms used throughout the specification are defined in consideration of the functions in the embodiments of the present invention and can be sufficiently modified according to the intentions and customs of the user or the operator. It should be based on the contents of.

본 발명은 소프트 버튼을 누를 때, 하드 버튼을 누를 때와 마찬가지로 수직 방향으로의 힘 센싱 및 진동 발생에 의해 실제 버튼을 누를 때와 비슷한 클릭감을 느낄 수 있도록 하는 버튼 클릭 햅틱 장치 및 방법을 제공한다. 즉, 손가락 등의 가압 대상에 대해서, "티킹(ticking)"와 같은 클릭 촉감을 제공하여, 사용자가 체감하는 조작감을 향상시키고자 한다. The present invention provides a button click haptic device and method that allows a user to feel a clicking feeling similar to the pressing of an actual button by generating force sensing and vibration in a vertical direction as when a soft button is pressed. That is, a click feeling such as "ticking" is provided for a finger or the like to be pressed so as to improve the operation feeling of the user.

이를 위해, 본 발명에서는 클릭 촉감을 느끼게 하는 중요한 요소인 하드 버튼을 클릭할 때 손가락을 통해 전달되는 미세한 힘(Force)의 변화를 실제로 측정한 결과를 이용하여 버튼 클릭 렌더링 데이터를 획득하는 방법과, 획득된 버튼 클릭 렌더링 데이터를 이용해 소프트 버튼에 대한 버튼 클릭 실감을 제공하는 방법을 제공한다.To this end, in the present invention, there is provided a method of acquiring button click rendering data using a result of actually measuring a change in a minute force transmitted through a finger when a hard button is clicked, And provides a button click feeling for the soft button using the obtained button click rendering data.

우선, 버튼 클릭 렌더링 데이터를 획득하는 기술에 대해서 도 1 내지 도 4를 참조하여 설명하기로 한다. First, a technique of acquiring button click rendering data will be described with reference to Figs. 1 to 4. Fig.

도 1은 본 발명의 일 실시 예에 따른 버튼 클릭 렌더링 데이터 획득 방법을 설명하기 위한 순서도이다.FIG. 1 is a flowchart illustrating a method for acquiring button click rendering data according to an embodiment of the present invention. Referring to FIG.

도 1을 참조하면, 버튼 클릭 렌더링 데이터 획득 방법은 하드 버튼을 가압할 때 손가락에 의한 가압 하중을 측정하는 단계(S110)와, 측정된 가압 하중의 시간에 따른 변화 그래프를 생성하는 단계(S120)와, 변화 그래프로부터 하드 버튼을 가압할 때 가압 하중에 저항하는 스프링의 측정 가압 임계치와, 가압 하중이 측정 가압 임계치 이상일 때의 촉감인 제1 측정 진동 패턴과, 하드 버튼을 가압 해제할 때 가압 하중에 저항하는 스프링의 측정 가압 해제 임계치와, 가압 하중이 측정 가압 해제 임계치 이하일 때의 촉감인 제2 측정 진동 패턴을 포함하는 측정 데이터를 추출하는 단계(S130)와, 측정 데이터를 가공하여 렌더링 데이터를 생성하는 단계(S140)를 포함한다. Referring to FIG. 1, a button click rendering data acquisition method includes a step S110 of measuring a pressing load by a finger when pressing a hard button, a step S120 of generating a change graph according to a time of the measured pressing load, A measurement pressure threshold value of a spring that resists pressure load when the hard button is pressed from the change graph, a first measurement vibration pattern which is a touch when the pressure load is equal to or higher than the measurement pressure threshold value, (S130) of extracting measurement data including a measurement pressure release threshold value of the spring which resists the spring and a second measurement vibration pattern which is a touch when the pressure load is equal to or lower than the measurement pressure release threshold value; (S140). &Lt; / RTI >

우선, S110에서 하드 버튼을 가압할 때 손가락에 의한 가압 하중을 측정하기 위해, 본 발명에서는 하드 버튼 클릭에 따른 힘(Force)의 변화 측정을 위해 샘플링이 빠르고(1000Hz 이상), 측정 데이터를 컴퓨터에 저장할 수 있는 힘 센서(Force Sensor)를 이용한다. 여기서, 버튼을 누를 힘 센서(Force Sensor)의 끝 부분은 손가락의 하드 버튼에 접촉하는 부분과 유사한 모양으로 제작된 것이 바람직하다. First, in order to measure the pressing load by the finger when pressing the hard button in S110, in the present invention, sampling is fast (1000 Hz or more) for measuring the change of the force due to the hard button click, Use a force sensor that can be stored. Here, the end portion of the force sensor to which the button is pressed is preferably formed in a shape similar to a portion contacting the hard button of the finger.

그리고, S120에서 생성된 가압 하중의 시간에 따른 변화 그래프를 도 2를 참조하여 살펴보기로 한다. A graph of the change in pressure load generated in S120 with time will be described with reference to FIG.

도 2는 버튼 클릭시 가압 하중의 시간에 따른 변화 그래프의 일 예를 도시한 도면이다. FIG. 2 is a graph showing an example of a graph of a change in pressure load with time when a button is clicked. FIG.

도 2를 참조하면, ⓐ는 하드 버튼을 가압할 때 가압 하중에 저항하는 스프링의 측정 가압 임계치이고, ⓑ는 가압 하중이 측정 가압 임계치 ⓐ 이상일 때의 제1 측정 진동 패턴이고, ⓒ는 하드 버튼을 가압 해제할 때 가압 하중에 저항하는 스프링의 측정 가압 해제 임계치이고, ⓓ는 가압 하중이 측정 가압 해제 임계치 이하일 때의 제2 측정 진동 패턴이다. Referring to FIG. 2, reference symbol A denotes a measured pressure threshold value of a spring which resists pressing load when pressing a hard button, reference symbol b denotes a first measured vibration pattern when the pressing load is equal to or higher than a measured pressure threshold value a, Is a measurement pressure release threshold value of a spring that resists a pressure load when releasing pressure, and d is a second measured vibration pattern when the pressure load is equal to or lower than the measurement pressure release threshold value.

여기서, "가압 하중이 측정 가압 임계치 이상일 때"라는 의미는 엄밀히 따져볼 때, 가압 하중이 연속적으로 측정 가압 임계치 이상이라는 의미는 아닐 수 있다. 즉, 도 2의 ⓑ에 도시된 바와 같이 가압 하중이 측정 가압 임계치 ⓐ보다 이상인 순간 이후에, 가압 하중이 측정 가압 임계치 ⓐ보다 적게 측정되는 순간도 있을 수 있다. 그러나, 본 발명에서는 설명의 편의를 위해 ⓑ에 도시된 바와 같이 제1 진동 패턴에 대한 구간을 "가압 하중이 측정 가압 임계치 이상일 때"라고 표현하기로 한다. 그러나, 이는 설명의 편의를 위한 것일 뿐, 전술한 바와 같이 그 의미가 이에 한정되는 것은 아니다. 이는 "가압 하중이 측정 가압 해제 임계치 이하일 때", "가압 하중이 렌더링 가압 임계치 이하일 때" 또는 "가압 하중이 렌더링 가압 해제 임계치 이하일 때"를 해석함에도 동일하게 적용될 수 있음을 밝혀둔다.Here, "when the pressing load is greater than or equal to the measured pressing threshold" means not strictly speaking that the pressing load is continuously higher than the measured pressing threshold. That is, as shown in (b) of FIG. 2, there may be a moment at which the pressing load is measured to be less than the measurement pressure threshold value a, after the moment when the pressing load is greater than or equal to the measured pressing threshold value a. However, in the present invention, for convenience of description, the section for the first vibration pattern is expressed as "when the pressing load is equal to or greater than the measurement pressure threshold value" However, this is merely for convenience of explanation, and the meaning is not limited thereto as described above. It should be noted that this can be equally applied to "when the pressing load is below the measuring pressure release threshold", "when the pressing load is below the rendering pressure threshold" or "when the pressing load is below the rendering pressure release threshold".

여기서, ⓐ의 측정 가압 임계치, ⓑ의 제1 측정 진동 패턴, ⓒ의 측정 가압 해제 임계치 및 ⓓ의 제2 측정 진동 패턴은 그래프에서 추출된 가공되지 않은 측정 데이터이고, 본 발명에서는 후술되는 단계들을 통해 ⓐ, ⓑ, ⓒ, ⓓ의 측정 데이터들을 가공하여 렌더링 데이터를 생성한다. Here, the measured pressure threshold value of a, the first measured vibration pattern of b, the measured pressure release threshold value of c and the second measured vibration pattern of d are unprocessed measurement data extracted from the graph, and in the present invention, The measurement data of ⓐ, ⓑ, ⓒ, ⓓ are processed to generate rendering data.

즉, 도면에는 도시되어 있지 않지만, 도 1의 렌더링 데이터를 생성하는 단계(S140)는 그래프로부터 추출된 측정 가압 임계치 또는 측정 해제 임계치를 소정 크기로 조절하여 렌더링 가압 임계치 또는 렌더링 가압 해제 임계치를 생성하는 단계를 더 포함할 수 있다. That is, although not shown in the drawing, the step of generating the rendering data of FIG. 1 (S140) may adjust the measurement pressure threshold or the measurement release threshold extracted from the graph to a predetermined size to generate a rendering pressure threshold or rendering depression threshold Step < / RTI >

다음으로, 도 1의 렌더링 데이터를 생성하는 단계(S140)는 제1 렌더링 진동 패턴 또는 제2 렌더링 진동 패턴을 획득하기 위해 ⓑ의 제1 측정 진동 패턴 또는 ⓓ의 제2 측정 진동 패턴을 가공하는 부가적인 단계들을 더 포함한다. 이에 대해서는 도 3 및 도 4를 참조하여 설명하기로 한다. Next, the step of generating the rendering data (S140) of Fig. 1 includes a step of processing the first measured vibration pattern of b or the second measured vibration pattern of d to obtain the first rendered vibration pattern or the second rendered vibration pattern Gt; steps. &Lt; / RTI > This will be described with reference to FIGS. 3 and 4. FIG.

도 3은 본 발명의 일 실시 예에 따른 제1 렌더링 진동 패턴 또는 제2 렌더링 진동 패턴을 생성하기 위한 단계들을 설명하기 위한 순서도이고, 도 4는 본 발명의 일 실시 예에 따른 그래프에서 추출된 측정 진동 패턴으로부터 가공된 제1 렌더링 진동 패턴을 생성하는 과정을 설명하기 위한 도면이다. 여기서, 도 4에 도시된 ⓑ의 제1 측정 진동 패턴을 가공하여 제1 렌더링 진동 패턴을 획득하는 과정은 ⓓ의 제2 측정 진동 패턴의 가공하여 제2 렌더링 진동 패턴을 획득하는 과정에 그대로 적용될 수 있으므로, 제2 렌더링 진동 패턴을 생성하는 과정을 설명하기 위한 도면은 생략하기로 한다. FIG. 3 is a flowchart illustrating steps for generating a first rendering vibration pattern or a second rendering rendering pattern according to an embodiment of the present invention. FIG. FIG. 5 is a diagram for explaining a process of generating a first rendering vibration pattern processed from a vibration pattern. FIG. Here, the process of obtaining the first rendered vibration pattern by processing the first measured vibration pattern shown in FIG. 4 may be directly applied to the process of acquiring the second rendered vibration pattern by processing the second measured vibration pattern of Therefore, illustration for explaining the process of generating the second rendering vibration pattern will be omitted.

도 3을 참조하면, 렌더링 데이터를 생성하는 단계(S140)는 제1 렌더링 진동 패턴 또는 제2 렌더링 진동 패턴을 획득하기 위해, 제1 측정 진동 패턴 또는 제2 측정 진동 패턴의 극소값 부분을 연결하는 곡선을 생성하는 단계(S310)와, 제1 측정 진동 패턴 또는 제2 측정 진동 패턴에서 생성된 곡선을 감한 펄스들을 생성하는 단계(S320)와, 펄스들의 크기를 변환하는 단계(S330)을 포함한다. Referring to FIG. 3, the step of generating the rendering data (S140) includes a step of generating a first rendering vibration pattern or a second rendering vibration pattern by using a curve connecting the minima of the first measurement vibration pattern or the second measurement vibration pattern A step S310 of generating pulses by subtracting a curve generated in the first measurement vibration pattern or a second measurement vibration pattern S320 and a step S330 of converting the magnitudes of the pulses.

제1 측정 진동 패턴의 일 예가 도 4의 (a)에 도시되어 있고, S310에서 제1 측정 진동 패턴의 극소값 부분을 연결하는 곡선의 일 예가 도 4의 (b)에 도시되어 있다. 그리고, S320에서 제1 측정 진동 패턴에서 생성된 곡선을 감한 펄스들의 예가 도 4의 (c)에 도시되어 있는데, 이는 도 4의 (a)에서 (b)를 빼 준 결과이다. 그러나, 이는 일 실시 예일 뿐, 본 발명은 이에 한정되지 않는다. 예컨대, s310을 생략하고 도 4의 (a)에 도시된 측정 진동 패턴에서 일정 값을 동일하게 빼주는 것으로 대신할 수도 있다.One example of the first measured vibration pattern is shown in FIG. 4A, and an example of a curve connecting the minimum value portion of the first measured vibration pattern at S310 is shown in FIG. 4B. An example of pulses obtained by subtracting the curve generated in the first measured vibration pattern in S320 is shown in FIG. 4C, which is a result obtained by subtracting (b) from FIG. 4 (a). However, this is only an embodiment, and the present invention is not limited thereto. For example, it is possible to omit s310 and to subtract a constant value from the measured vibration pattern shown in Fig. 4 (a).

(c)에 도시된 펄스들은 손가락 끝에 전달하게 되는 진동 패턴이라 볼 수 있는데, 이와 유사한 촉감을 구현하기 위해 진동 구동 IC에 입력해야 하는 신호의 크기가 이 펄스들의 크기에 정확히 비례하는 것은 아닐 수 있다. 예컨대, 크기가 너무 작은 펄스는 그 크기를 증가시키거나, 크기가 너무 큰 펄스는 그 크기를 감소시킬 필요도 있을 수 있다. 따라서, S330에서 도 4의 (c)에 도시된 펄스를 (d)와 같은 크기 변환기를 통과시켜 (e)에 도시된 펄스들과 같이 그 크기를 변환시킬 수 있다. 이와 같은 (e)에 도시된 펄스들은 렌더링 데이터로 사용될 수 있다.(c) can be regarded as a vibration pattern to be transmitted to the fingertip. In order to realize similar touch, the magnitude of the signal to be input to the vibration driving IC may not be precisely proportional to the magnitude of these pulses . For example, a pulse that is too small may increase its size, or a pulse that is too large may need to be reduced in size. Therefore, at S330, the pulse shown in FIG. 4C can be passed through a magnitude converter such as (d) to change its magnitude like the pulses shown in (e). The pulses shown in (e) may be used as rendering data.

부가적으로, 렌더링 데이터를 생성하는 단계(S140)는 제1 렌더링 진동 패턴 또는 제2 렌더링 진동 패턴을 획득하기 위해, 크기가 변환된 펄스들에서 소정값 이상인 부분의 신호는 극대값으로 변환하고, 소정값 이하인 신호는 극소값으로 변환하여 구형파를 생성하는 단계(S340)을 더 포함할 수 있다. 즉, 도 4의 (e)에 도시된 펄스들은 렌더링 데이터인 제2 렌더링 진동 패턴으로 사용될 수 있으나, 진동 구동 IC의 특성을 고려하거나, 촉감을 좀 더 강하게 하기 위해 (e)에 도시된 펄스들은 (e)에 도시된 수평 점선과 같이 소정값을 기준으로 그 값보다 큰 신호는 그 펄스의 극대값으로, 그리고 그보다 작은 신호는 0으로 변환되어 도 4에 도시된 (f)와 같은 구형파 신호로 변경될 수도 있다. In addition, the step of generating the rendering data (S140) may convert the signal of the portion of the magnitude-converted pulses greater than the predetermined value to the maximum value to obtain the first rendering vibration pattern or the second rendering vibration pattern, And generating a square wave by converting the signal having a value smaller than the predetermined value to a minimum value (S340). In other words, the pulses shown in FIG. 4E can be used as the second rendering vibration pattern which is the rendering data, but in order to consider the characteristics of the vibration driving IC or to make the touch more intense, the pulses shown in (e) a signal having a value larger than a predetermined value such as a horizontal dotted line shown in (e) is converted to a maximum value of the pulse, and a signal smaller than the maximum value is converted to 0 to be changed to a square wave signal as shown in (f) .

부가적으로, 렌더링 데이터를 생성하는 단계(S140)는 제1 렌더링 진동 패턴 또는 제2 렌더링 진동 패턴을 획득하기 위해, 생성된 구형파에 포함된 펄스들 각각을 상기 펄스보다 폭이 작은 복수의 펄스들로 분할하는 단계(S360)를 더 포함한다. 즉, 도 4의 (f)에 도시된 펄스 신호들은 렌더링 데이터인 제2 렌더링 진동 패턴으로 사용될 수도 있으나, 한 개의 펄스 폭이 너무 넓으면 디스플레이 장치에서 진동의 실제 느낌이 별로 크지 않을 수 있다. 따라서, 도 4의 (f)에 도시된 펄스들 각각을 펄스 폭이 상대적으로 작은 복수의 펄스들로 분할하여 도 4의 (g)에 도시된 좀 더 강한 진동 패턴을 생성할 수도 있다. In addition, the step of generating the rendering data (S140) may further include the step of generating each of the pulses included in the generated square wave by using a plurality of pulses having a smaller width than the pulse to obtain the first rendering vibration pattern or the second rendering vibration pattern, (S360). &Lt; / RTI > In other words, although the pulse signals shown in FIG. 4F may be used as the second rendering vibration pattern, which is rendering data, if the width of one pulse is too wide, the actual feeling of vibration in the display device may not be very large. Therefore, each of the pulses shown in FIG. 4 (f) may be divided into a plurality of pulses having a relatively small pulse width to generate the stronger vibration pattern shown in FIG. 4 (g).

도 4의 (c)나 (e), (f)나 (g)에 도시된 진동 패턴들 모두 렌더링 데이터인 제2 렌더링 진동 패턴으로 선택적으로 이용될 수 있다. 또한, 본 발명에 따라, (g)에 도시된 펄스들은 다시 변형되어 렌더링 데이터로 이용될 수도 있다. All of the vibration patterns shown in (c), (e), (f) and (g) of FIG. 4 can be selectively used as the second rendering vibration pattern. Further, according to the present invention, the pulses shown in (g) may be transformed again and used as rendering data.

도 4의 (h)는 (g)의 각 펄스를 사인 파형으로 변형하여, 실제로 진동 구동 IC를 통해 구현한 것을 오실로스코프를 통해 관찰된 것이다. 진동 구동 IC 중에는 플러스와 마이너스 양쪽 전압 출력이 가능하거나 또는 적당한 플러스 값을 기준으로 플러스 범위 내에서 상하 양 방향의 출력이 가능한 것이 있으므로 (c)나 (e), (f)나 (g) 모두 양 극성의 펄스 혹은 파형으로 만들어 사용할 수도 있다. (i)는 (h)의 결과를 양 극성의 펄스로 구현해본 것을 오실로스코프를 통해 관찰된 것이다. FIG. 4 (h) is a waveform obtained by modifying each pulse of FIG. 4 (g) into a sinusoidal waveform and actually implementing it through the oscillation drive IC, through the oscilloscope. (C) Both (e), (f) and (g) are positive (positive) and positive (positive) Polarity pulse or waveform. (i) shows the result of (h) implemented with a pulse of both polarities through an oscilloscope.

다음으로, 전술한 바와 같은 방법으로 획득된 버튼 클릭 렌더링 데이터를 적용하여 소프트 버튼 클릭시 실감을 제공하는 장치 및 방법에 대해서 도 5 및 도 6을 참조하여 설명하기로 한다. Next, an apparatus and method for providing click feeling by clicking the soft button by applying the button click rendering data obtained by the above-described method will be described with reference to FIG. 5 and FIG.

도 5는 본 발명의 일 실시 예에 따른 버튼 클릭 햅틱 장치의 구성도이다. 5 is a configuration diagram of a button click haptic device according to an embodiment of the present invention.

도 5를 참조하면, 버튼 클릭 햅틱 장치는 디스플레이부(510), 터치 센서(520), 하중 측정부(530), 촉감 제공부(540), 메모리부(550) 및 전체의 동작을 제어하는 제어부(560)를 포함한다.5, the button click haptic device includes a display unit 510, a touch sensor 520, a load measuring unit 530, a tactile feedback unit 540, a memory unit 550, and a control unit (560).

디스플레이부(510) 상에 배치된 터치 센서(520)는 터치면에 대한 손가락 등의 터치 대상에 의한 터치 입력을 검출하고, 저항막 방식, 정전 용량 방식, 광학식 등의 터치 위치(손가락 등의 가압 대상의 가압 위치)의 이차원의 위치 정보를 출력하는 공지의 방식일 수 있다. The touch sensor 520 disposed on the display unit 510 detects a touch input by a touch object such as a finger with respect to a touch surface and detects a touch position such as resistance film type, A pressing position of the object) based on the two-dimensional position information.

하중 측정부(530)은 터치 센서(520)의 터치면에 대한 손가락 등의 가압 대상의 가압 하중을 측정하는데, 예를 들면, 스트레인 게이지 센서나 압전 소자 등의 하중에 대해서 선형으로 반응하는 소자를 이용하거나 FSR(Force Sensing Register) 등 비선형으로 반응하는 소자인 경우 측정값을 보상하여 선형화하는 단계를 추가하여 구성된다. 촉감 제공부(540)은 디스플레이부(510)을 진동시키는데, 촉감 제공부(540)에서 진동 구동을 위해 사용되는 진동 구동기로는 예를 들면, 진동 모터, 보이스 코일, LRA(Linear Resonant Actuator), Piezo 등 압전 구동기 등으로 구현될 수 있다.The load measuring unit 530 measures the pressing load of the object to be pressed such as a finger or the like with respect to the touch surface of the touch sensor 520. For example, the load measuring unit 530 may be a device that reacts linearly with the load of a strain gauge sensor, And a step of compensating and linearizing the measured value in the case of a nonlinearly responsive device such as a FSR (Force Sensing Register). The tactile feedback unit 540 vibrates the display unit 510. The tactile feedback unit 540 may include a vibration motor, a voice coil, an LRA (Linear Resonant Actuator) A piezo actuator such as a piezo actuator, or the like.

디스플레이부(510)는 소프트 버튼을 디스플레이하는데, 예를 들면, 액정 디스플레이 패널이나 유기 EL 디스플레이 패널 등을 이용해 구성한다. 디스플레이부(510)에 출력된 소프트 버튼에 대한 터치 입력은 터치 센서(520)로부터 출력되는 위치 정보에 근거해 제어부(560)에 의해 검출된다. 여기서, 소프트 버튼은 실제로 존재하는 하드 버튼을 평면상에 구현한 형태일 수 있고, 예컨대 키보드나, 일명 '똑딱이'로 불리우는 전원 스위치 등일 수 있다. 또한, 소프트 버튼은 실제로 존재하지 않은 가상 버튼일 수도 있다. 또한, 이러한 소프트 버튼은 시각적으로 입체감이 느껴질 수 있도록 생성될 수도 있다. The display unit 510 displays soft buttons, for example, a liquid crystal display panel or an organic EL display panel. The touch input for the soft button output to the display unit 510 is detected by the control unit 560 based on the position information output from the touch sensor 520. [ Here, the soft button may be a form in which a hard button actually exists is implemented on a plane, and may be a power switch, for example, a keyboard or a so-called 'ticker'. In addition, the soft button may be a virtual button that does not actually exist. In addition, such a soft button may be generated so that a three-dimensional sensation can be visually perceived.

메모리부(550)는 촉감 제공부(540)의 구동 신호 정보, 및 가압 위치에 대응하는 촉감 제공을 위한 각종 정보를 저장하며, 예를 들면, 휘발성 또는 불휘발성 메모리일 수 있다. 본 발명에 따라, 메모리부(550)는 소프트 버튼을 가압할 때 촉감을 제공하기 위한 렌더링 데이터를 저장하는데, 여기서 렌더링 데이터는 가압 인식의 기준값인 렌더링 가압 임계치와, 가압 하중이 렌더링 가압 임계치 이상일 때의 촉감인 제1 렌더링 진동 패턴을 포함할 수 있다. 또한 부가적으로, 렌더링 데이터는 가압 해제의 기준값인 렌더링 가압 해제 임계치와, 가압 하중이 렌더링 가압 해제 임계치 이하일 때의 촉감인 제2 렌더링 진동 패턴을 더 포함할 수 있다. The memory unit 550 stores driving signal information of the tactile feedback unit 540 and various information for providing tactile sense corresponding to the pressing position, and may be, for example, a volatile or nonvolatile memory. According to the present invention, the memory unit 550 stores rendering data for providing a tactile feeling when pressing the soft button, wherein the rendering data includes a rendering pressure threshold that is a reference value of the pressure recognition and a rendering threshold value when the pressing load is equal to or higher than the rendering pressure threshold A first rendering vibrate pattern that is tactile to the user. In addition, the rendering data may further include a rendering depressurization threshold, which is a reference value of depressurization, and a second rendering vibrate pattern, which is tactile when the depressurization load is below the depressurization threshold of rendering.

여기서, 소프트 버튼이 실제로 존재하는 하드 버튼을 평면상에 구현한 형태일 경우, 렌더링 데이터는 가압시 측정된 측정 데이터 또는 측정 데이터를 가공한 생성한 데이터일 수 있다. 또한, 소프트 버튼이 존재하지 않는 가상 버튼일 경우, 렌더링 데이터는 가상 버튼의 형태에 상응하도록 가상으로 생성된 데이터일 수 있다.Here, in the case where the hard button in which the soft button actually exists is implemented on a plane, the rendering data may be the measurement data measured at the time of pressurization or the generated data obtained by processing the measurement data. Also, in the case of a virtual button having no soft button, the rendering data may be data that is virtually generated so as to correspond to the type of the virtual button.

제어부(560)는, 예를 들면 CPU 등과 같은 것으로, 터치 센서(520)로부터의 가압 위치 정보, 하중 측정부(540)로부터의 가압 하중 정보, 및 메모리부(550) 내에 저장된 렌더링 데이터에 기반하여 촉감 제공부(540)의 구동을 제어한다. 즉, 제어부(560)는 하중 측정부(540)에 의해 측정된 가압 하중이 렌더링 가압 임계치 이상인 경우, 상기 제1 렌더링 진동 패턴 신호로 촉감 제공부(530)를 구동한다. The control unit 560 may be a CPU or the like and may be configured to select one or more pieces of information based on the pressing position information from the touch sensor 520, the pressing load information from the load measuring unit 540, and the rendering data stored in the memory unit 550 Thereby controlling the driving of the tactile sensor 540. That is, the control unit 560 drives the tactile feedback unit 530 with the first rendering vibration pattern signal when the pressing load measured by the load measuring unit 540 is equal to or higher than the rendering pressure threshold value.

부가적으로, 제어부(560)는 하중 측정부(540)에 의해 측정된 가압 하중이 상기 렌더링 가압 해제 임계치 이하인 경우, 제2 렌더링 진동 패턴 신호로 촉감 제공부(530)를 구동한다. In addition, the control unit 560 drives the tactile feedback unit 530 with the second rendering vibration pattern signal when the pressing load measured by the load measuring unit 540 is equal to or lower than the rendering pressure release threshold value.

여기서, 소프트 버튼의 형태에 따라, 렌더링 가압 임계치 이상인 경우 제1 렌더링 진동 패턴 신호를 출력하는 동작 및 렌더링 가압 해제 임계치 이하인 경우, 제2 렌더링 진동 패턴 신호를 출력하는 동작이 다양한 방식으로 선택되어 수행될 수 있다. 즉, 두 동작들이 순차적으로 수행되거나, 둘 중 하나의 동작만 수행되거나, 하나의 동작이 반복되어 수행될 수 있다. 일 예로, 일반적인 키보드 형태의 소프트 버튼일 경우, 두 동작이 순차적으로 수행될 수 있다. 다른 예로, 소프트 버튼이 '전원 스위치'와 같이 돌출된 부분을 누르면 들어가고 회복되지 않거나, 누르면 들어갔다가 다시 한 번 눌러야 나오는 버튼 등 구현한 것일 경우, 렌더링 가압 임계치 이상인 경우 제1 렌더링 진동 패턴 신호를 출력하는 동작만이 수행될 수 있다. 또 다른 예로, 소프트 버튼이 다단 형태를 갖는 가상 버튼일 경우, 렌더링 가압 임계치 이상인 경우 제1 렌더링 진동 패턴 신호를 출력하는 동작이 수회 반복 수행될 수도 있다. Here, depending on the type of the soft button, the operation of outputting the first rendering vibration pattern signal when the rendering pressure threshold value is equal to or higher than the rendering pressure threshold value and the operation of outputting the second rendering rendering pattern signal are performed in a variety of ways . That is, the two operations may be performed sequentially, only one of the operations may be performed, or one operation may be repeated. For example, in the case of a soft button of the general keyboard type, the two operations can be sequentially performed. As another example, if the soft button is implemented by pushing a protruding portion such as a 'power switch', or if the button is not restored, or is pressed when the button is pressed and then pressed again, the first rendering vibration pattern signal is outputted Only the operation of performing the above operation can be performed. As another example, when the soft button is a virtual button having a multi-stage shape, the operation of outputting the first rendering vibration pattern signal may be repeated a plurality of times when the rendering pressure threshold is equal to or higher than the rendering pressure threshold.

이때, 제어부(560)는 촉감 제공부(530)에서 실제로 측정된 진동 주파수 혹은 그 이상 주파수의 진동을 구현할 수 있어야 하나, 그러하지 못할 경우 더 낮은 주파수로 유사하게 구현할 수도 있다. 또한, 실제로 측정된 진동의 세기를 구현할 수 있어야 하지만 느낌을 축소하여 표현할 수도 있다.At this time, the controller 560 should be able to implement the vibration of the vibration frequency actually measured by the tactile feedback unit 530 or the vibration of the vibration frequency. In addition, although it is necessary to be able to implement the intensity of the actually measured vibration, the feeling may be reduced.

또한, 제어부(530)는 하중 측정부(540)에 의해 측정된 가압 하중이 렌더링 가압 임계치 이상인 경우, 사용자 입력 정보에 따른 프로그램 동작, 즉 문자 출력, 화면 상의 아이템(item) 선택 또는 이동 등의 프로그램 동작을 수행한다. 예를 들어, 메시지 전송 애플리케이션(application)이 실행되고 있고, 사용자가 디스플레이부(510) 상에 표시된 문자표의 'A'라는 소프트 버튼(soft button)을 클릭한 경우에, 메시지 전송 애플리케이션은 이러한 키 입력 이벤트(event)에 해당하는 프로그램 동작, 즉 메시지 입력 창에 'A'라는 문자를 표시한다.When the pressing load measured by the load measuring unit 540 is equal to or higher than the rendering pressure threshold value, the control unit 530 displays a program operation corresponding to the user input information, that is, a character output, And performs an operation. For example, when a message transmission application is running and the user clicks a soft button labeled 'A' in the character table displayed on the display unit 510, The program operation corresponding to the event, that is, the letter 'A' is displayed on the message input window.

또한, 제어부(530)는 하중 측정부(540)에 의해 측정된 가압 하중이 렌더링 가압 임계치 이상인 경우, 터치 센서(520)로부터 출력된 위치 정보에 상응하는 소프트 버튼이 디스플레이부(510)에서 구별 표시되도록 하고, 하중 측정부(540)에 의해 측정된 가압 하중이 렌더링 가압 해제 임계치 이하인 경우, 터치 센서(520)로부터 출력된 위치 정보에 상응하는 소프트 버튼이 디스플레이부(510)에서 원 상태와 동일하게 표시되도록 제어한다. When the pressing load measured by the load measuring unit 540 is equal to or higher than the rendering pressure threshold value, the control unit 530 displays a soft button corresponding to the position information output from the touch sensor 520 on the display unit 510 And the soft button corresponding to the position information output from the touch sensor 520 is displayed on the display unit 510 in the same manner as the circular state when the pressing load measured by the load measuring unit 540 is equal to or lower than the rendering pressure release threshold Is displayed.

도 6은 본 발명의 일 실시 예에 따른 버튼 클릭 햅틱 렌더링 방법을 설명하기 위한 순서도이다. 6 is a flowchart illustrating a button-click haptic rendering method according to an embodiment of the present invention.

우선, 도면에는 도시되어 있지 않지만, 제어부(560)는 터치 센서(520)로부터의 위치 정보(가압 대상의 가압 위치)의 입력을 검출하고, 터치면에 손가락 등의 가압 대상이 접촉한 것을 검출한다. First, although not shown in the drawing, the control unit 560 detects the input of the position information (pressing position of the pressing object) from the touch sensor 520 and detects that the pressing object such as a finger touches the touch surface .

그러면, 제어부(560)는 메모리부(550)로부터 렌더링 가압 임계치를 취득하고, 하중 측정부(530)로부터 입력되는 가압 하중이 렌더링 가압 임계치를 넘어서는지를 판단한다(S610). Then, the control unit 560 acquires the rendering pressure threshold from the memory unit 550 and determines whether the pressure load input from the load measuring unit 530 exceeds the rendering pressure threshold (S610).

S610의 판단 결과, 가압 하중이 렌더링 가압 임계치 이상일 경우, 제어부(560)는 메모리부(550)를 참조하여 제1 렌더링 진동 패턴 신호로 촉감 제공부(540)를 구동한다(S620). 이때, 제어부(530)는 사용자 입력 정보에 따른 프로그램 동작, 즉 문자 출력, 화면 상의 아이템(item) 선택 또는 이동 등의 프로그램 동작을 수행한다. 예를 들어, 메시지 전송 애플리케이션(application)이 실행되고 있고, 사용자가 디스플레이부(510) 상에 표시된 문자표의 'A'라는 소프트 버튼(soft button)을 클릭한 경우에, 메시지 전송 애플리케이션은 이러한 키 입력 이벤트(event)에 해당하는 프로그램 동작, 즉 메시지 입력 창에 'A'라는 문자를 표시한다. 또한, 제어부(530)는 터치 센서(520)로부터 출력된 위치 정보에 상응하는 소프트 버튼이 디스플레이부(510)에서 구별 표시되도록 할 수 있다. If it is determined in operation S610 that the pressing load is equal to or larger than the rendering pressure threshold value, the controller 560 refers to the memory unit 550 and drives the tactile feedback unit 540 with the first rendering vibration pattern signal in operation S620. At this time, the controller 530 performs a program operation such as character output, item selection or movement on the screen according to user input information. For example, when a message transmission application is running and the user clicks a soft button labeled 'A' in the character table displayed on the display unit 510, The program operation corresponding to the event, that is, the letter 'A' is displayed on the message input window. In addition, the controller 530 may cause the display unit 510 to distinguish the soft buttons corresponding to the position information output from the touch sensor 520.

그런 후, 제어부(560)는 메모리부(550)로부터 렌더링 가압 해제 임계치를 취득하고, 하중 측정부(530)로부터 입력되는 가압 하중이 렌더링 가압 임계치를 넘어서는지를 판단한다(S630). Then, the control unit 560 obtains the rendering depressurization threshold from the memory unit 550 and determines whether the pressure load inputted from the load measuring unit 530 exceeds the rendering pressure threshold value (S630).

S630의 판단 결과, 가압 하중이 렌더링 가압 해제 임계치 이하일 경우, 제어부(560)는 메모리부(550)를 참조하여 제2 렌더링 진동 패턴을 취득하고, 제2 렌더링 진동 패턴 신호로 촉감 제공부(540)를 구동한다(S640). 이때, 제어부(560)는 터치 센서(520)로부터 출력된 위치 정보에 상응하는 소프트 버튼이 디스플레이부(510)에서 원 상태와 동일하게 표시되도록 할 수 있다.If it is determined in step S630 that the pressing load is equal to or smaller than the rendering pressure release threshold value, the control unit 560 acquires the second rendering vibration pattern with reference to the memory unit 550, (S640). At this time, the control unit 560 may display the soft button corresponding to the position information outputted from the touch sensor 520 on the display unit 510 in the same manner as in the original state.

여기서, 소프트 버튼의 형태에 따라, 렌더링 가압 임계치 이상인 경우 제1 렌더링 진동 패턴 신호를 출력하는 단계(S610, S620) 및 렌더링 가압 해제 임계치 이하인 경우, 제2 렌더링 진동 패턴 신호를 출력하는 단계(S630, S640)가 다양한 방식으로 선택되어 수행될 수 있다. 즉, 단계(S610, S620) 및 단계(S630, S640)가 순차적으로 수행되거나, 둘 중 하나만 수행되거나, 하나가 반복되어 수행될 수 있다. 일 예로, 일반적인 키보드 형태의 소프트 버튼일 경우, 단계(S610, S620) 및 단계(S630, S640)가 순차적으로 수행될 수 있다. 다른 예로, 소프트 버튼이 '전원 스위치'와 같이 돌출된 부분을 누르면 들어가고 회복되지 않거나, 누르면 들어갔다가 다시 한 번 눌러야 나오는 버튼 등 구현한 것일 경우, 렌더링 가압 임계치 이상인 경우 제1 렌더링 진동 패턴 신호를 출력하는 단계(S610, S620)만이 수행될 수 있다, 또 다른 예로, 소프트 버튼이 다단 형태를 갖는 가상 버튼일 경우, 렌더링 가압 임계치 이상인 경우 제1 렌더링 진동 패턴 신호를 출력하는 단계(S610, S620)이 수회 반복 수행될 수도 있다.(S610, S620) outputting a first rendering vibration pattern signal when the rendering pressure threshold is equal to or greater than the rendering pressure threshold, and outputting a second rendering rendering pattern signal when the rendering depression threshold is less than the rendering depression threshold, S640) may be selected and performed in various ways. That is, the steps S610 and S620 and the steps S630 and S640 may be performed sequentially, either one of them may be performed, or one of them may be repeatedly performed. For example, in the case of a soft button of the general keyboard type, steps S610 and S620 and steps S630 and S640 may be sequentially performed. As another example, if the soft button is implemented by pressing a protruding portion such as a 'power switch', or if the button is not restored, or is pressed when the button is pressed and then pressed again, the first rendering vibration pattern signal is outputted Step S610 and step S620 of outputting the first rendering vibration pattern signal if the soft button is a virtual button having a multi-stage shape, when the rendering pressure is equal to or higher than the rendering pressure threshold value, It may be repeated several times.

본 발명의 버튼 클릭 햅틱 렌더링 방법 및 버튼 클릭 햅틱 렌더링 데이터 획득 방법이 하드웨어, 소프트웨어(즉, 프로그램), 또는 이들의 조합의 형태로 구현될 수 있음은 자명하다. 이러한 프로그램은 컴퓨터와 같은 기계가 읽을 수 있는 휘발성 또는 비휘발성 기록 매체에 저장될 수 있고, 이러한 기록매체는 ROM 등과 같은 저장 장치, RAM, 메모리 칩, 집적 회로 등과 같은 메모리, CD, DVD, 자기 디스크, 자기 테이프 등과 같은 광학 또는 자기 기록 매체일 수 있다. 즉, 본 발명의 버튼 클릭 햅틱 렌더링 방법 및 버튼 클릭 햅틱 렌더링 데이터 획득 방법은 이를 실현하기 위한 코드들을 포함하는 프로그램의 형태로 구체화될 수 있다. 더 나아가서, 이러한 프로그램은 유선 또는 무선으로 전파되는 통신 신호와 같이 임의의 매체를 통해 전기적으로 전달될 수 있고, 본 발명은 이와 균등한 것들을 포함한다.It is obvious that the button click haptic rendering method and the button click haptic rendering data acquisition method of the present invention can be implemented in the form of hardware, software (i.e., program), or a combination thereof. Such a program may be stored in a machine-readable volatile or non-volatile recording medium such as a computer, and the recording medium may be a memory such as a RAM, a memory chip, an integrated circuit or the like, a CD, a DVD, , A magnetic tape, or the like. That is, the button click haptic rendering method and the button click haptic rendering data acquisition method of the present invention can be embodied in the form of a program including codes for realizing the button click haptic rendering data. Furthermore, such a program may be electrically transmitted through any medium, such as a communication signal propagated by wire or wireless, and the present invention includes equivalents thereof.

Claims

소프트 버튼을 출력하는 디스플레이부와,
상기 디스플레이부 상에 배치되어 터치면에 대한 터치 입력을 검출하고, 이차원의 위치 정보를 출력하는 터치 센서와,
상기 터치 센서의 터치면에 대한 가압 하중을 측정하는 하중 측정부와,
상기 디스플레이부를 진동시키는 촉감 제공부와,
상기 소프트 버튼을 가압할 때 촉감을 제공하기 위한 렌더링 데이터를 저장하는 메모리부와,
상기 터치 센서로부터의 손가락의 가압 위치 정보, 상기 하중 측정부로부터의 가압 하중 정보 및 상기 메모리부 내에 저장된 렌더링 데이터에 기반하여 상기 촉감 제공부를 구동하는 제어부를 포함하되,
상기 소프트 버튼이 실제로 존재하는 하드 버튼을 평면상에 구현한 형태일 경우, 상기 렌더링 데이터는 가압시 측정된 가압 하중의 시간에 따른 변화 그래프로부터 추출된 상기 하드 버튼을 가압할 때 가압 하중에 저항하는 스프링의 측정 가압 임계치와, 상기 가압 하중이 측정 가압 임계치 이상일 때의 촉감인 제1 측정 진동 패턴과, 상기 하드 버튼을 가압 해제할 때 가압 하중에 저항하는 스프링의 측정 가압 해제 임계치와, 상기 가압 하중이 측정 가압 해제 임계치 이하일때 촉감인 제2 측정 진동 패턴을 포함하는 측정 데이터를 가공하여 생성된 데이터이되, 상기 측정 가압 임계치 또는 측정 가압 해제 임계치를 소정 크기로 조절하여 렌더링 가압 임계치 또는 렌더링 가압 해제 임계치가 생성되고,
상기 소프트 버튼이 실제로 존재하지 않는 가상 버튼일 경우, 상기 렌더링 데이터는 상기 가상 버튼의 형태에 상응하도록 가상으로 생성된 데이터임을 특징으로 하는 버튼 클릭 햅틱 장치.
A display unit for outputting a soft button,
A touch sensor disposed on the display unit for detecting a touch input to the touch surface and outputting two-dimensional position information;
A load measuring unit for measuring a pressing load on the touch surface of the touch sensor;
A tactile sensor for vibrating the display unit,
A memory unit for storing rendering data for providing touch when pressing the soft button,
And a control unit for driving the tactile feedback unit based on finger pressing position information from the touch sensor, pressing load information from the load measuring unit, and rendering data stored in the memory unit,
Wherein the rendering button includes a hard button on which the soft button is physically present, the rendering data being generated by pressing the hard button extracted from the graph of change in pressure over time measured at the time of pressing, A first measurement vibration pattern which is a touch when the pressing load is equal to or higher than the measurement pressure threshold value and a measurement pressure release threshold value of the spring which resists the pressing load when the hard button is released, And the second pressure value is the data generated by processing the measurement data including the second measured vibration pattern which is tactile when the measurement pressure release threshold value is less than or equal to the measurement pressure release threshold value, Is generated,
Wherein when the soft button is a virtual button that does not actually exist, the rendering data is virtually generated data corresponding to the type of the virtual button.

제1 항에 있어서, 상기 렌더링 데이터는
가압 인식의 기준값인 렌더링 가압 임계치와, 상기 가압 하중이 상기 렌더링 가압 임계치 이상일 때의 촉감인 제1 렌더링 진동 패턴을 포함하고,
상기 제어부는
상기 하중 측정부에 의해 측정된 가압 하중이 상기 렌더링 가압 임계치 이상인 경우, 상기 제1 렌더링 진동 패턴으로 상기 촉감 제공부를 구동함을 특징으로 하는 버튼 클릭 햅틱 장치.
2. The method of claim 1,
A rendering pressure threshold value which is a reference value of pressure recognition and a first rendering vibration pattern which is a touch when the pressing load is equal to or higher than the rendering pressure threshold value,
The control unit
And the tactile feedback unit is driven by the first rendering vibration pattern when the pressing load measured by the load measuring unit is equal to or greater than the rendering pressing threshold value.

제 1항 또는 제2 항에 있어서,
상기 렌더링 데이터는
가압 해제의 기준값인 렌더링 가압 해제 임계치와, 상기 가압 하중이 렌더링 가압 해제 임계치 이하일 때의 촉감인 제2 렌더링 진동 패턴을 더 포함하고,
상기 제어부는
상기 하중 측정부에 의해 측정된 가압 하중이 상기 렌더링 가압 해제 임계치 이하인 경우, 상기 제2 렌더링 진동 패턴으로 상기 촉감 제공부를 구동함을 특징으로 하는 버튼 클릭 햅틱 장치.
3. The method according to claim 1 or 2,
The rendering data
A rendering depressurization threshold value that is a reference value of depressurization and a second rendering vibration pattern that is a touch when the depressurization load is equal to or lower than a rendering depressurization threshold value,
The control unit
And the tactile feedback unit is driven by the second rendering vibration pattern when the pressing load measured by the load measuring unit is equal to or smaller than the rendering pressure release threshold value.

제3 항에 있어서, 상기 제어부는
상기 하중 측정부에 의해 측정된 가압 하중이 렌더링 가압 임계치 이상인 경우, 상기 터치 센서로부터 출력된 위치 정보에 상응하는 소프트 버튼이 상기 디스플레이부에서 구별 표시되도록 하고,
상기 하중 측정부에 의해 측정된 가압 하중이 렌더링 가압 해제 임계치 이하인 경우, 상기 터치 센서로부터 출력된 위치 정보에 상응하는 소프트 버튼이 디스플레이부에서 원 상태와 동일하게 표시되도록 제어함을 특징으로 하는 버튼 클릭 햅틱 장치.
4. The apparatus of claim 3, wherein the control unit
A soft button corresponding to the position information output from the touch sensor is distinguishably displayed on the display unit when the pressing load measured by the load measuring unit is equal to or greater than the rendering pressure threshold value,
And controls the soft button corresponding to the position information output from the touch sensor to be displayed on the display unit in the same manner as the original state when the pressing load measured by the load measuring unit is lower than the rendering pressure release threshold value Haptic device.

제 1항에 있어서, 상기 렌더링 데이터는
제1 렌더링 진동 패턴 또는 제2 렌더링 진동 패턴을 획득하기 위해, 상기 제1 측정 진동 패턴 또는 제2 측정 진동 패턴의 극소값 부분을 연결하는 곡선을 생성하고, 상기 제1 측정 진동 패턴 또는 제2 측정 진동 패턴에서 생성된 곡선을 감하여 펄스들을 생성하고, 상기 펄스들의 크기를 변환함을 특징으로 하는 버튼 클릭 햅틱 장치.
2. The method of claim 1,
Generating a curve connecting minima of the first measured vibration pattern or the second measured vibration pattern to obtain a first rendered vibration pattern or a second rendered vibration pattern; Generating a pulse by subtracting a curve generated in the pattern, and converting the size of the pulse.

제 5항에 있어서, 상기 렌더링 데이터는
상기 제1 렌더링 진동 패턴 또는 제2 렌더링 진동 패턴을 획득하기 위해, 상기 크기가 변환된 펄스들에서 소정값 이상인 부분의 신호는 극대값으로 변환하고, 소정값 이하인 신호는 극소값으로 변환하여 구형파를 생성함을 특징으로 하는 버튼 클릭 햅틱 장치.
6. The method of claim 5,
In order to obtain the first rendering vibration pattern or the second rendering rendering pattern, a signal of a portion having a magnitude greater than a predetermined value in the converted pulses is converted into a maximum value, and a signal having a predetermined value or less is converted into a minimum value to generate a square wave And a button-click haptic device.

소프트 버튼을 출력하는 디스플레이부와, 상기 디스플레이부 상에 배치되어 터치면에 대한 터치 입력을 검출하고, 이차원의 위치 정보를 출력하는 터치 센서를 포함하는 장치에서의 버튼 클릭 햅틱 렌더링 방법에 있어서,
상기 터치면의 가압 하중을 측정하여 가압 하중이 렌더링 가압 임계치 이상인지를 판단하는 단계와,
상기 측정된 가압 하중이 상기 렌더링 가압 임계치 이상인 경우, 제1 렌더링 진동 패턴 신호를 출력하는 단계를 포함하되,
상기 소프트 버튼이 실제로 존재하는 하드 버튼을 평면상에 구현한 형태일 경우, 상기 렌더링 데이터는 가압시 측정된 가압 하중의 시간에 따른 변화 그래프로부터 추출된 상기 하드 버튼을 가압할 때 가압 하중에 저항하는 스프링의 측정 가압 임계치와, 상기 가압 하중이 측정 가압 임계치 이상일 때의 촉감인 제1 측정 진동 패턴과, 상기 하드 버튼을 가압 해제할 때 가압 하중에 저항하는 스프링의 측정 가압 해제 임계치와, 상기 가압 하중이 측정 가압 해제 임계치 이하일때 촉감인 제2 측정 진동 패턴을 포함하는 측정 데이터를 가공하여 생성된 데이터이되, 상기 측정 가압 임계치 또는 측정 가압 해제 임계치를 소정 크기로 조절하여 렌더링 가압 임계치 또는 렌더링 가압 해제 임계치가 생성되고,
상기 소프트 버튼이 실제로 존재하지 않는 가상 버튼일 경우, 상기 렌더링 데이터는 상기 가상 버튼의 형태에 상응하도록 가상으로 생성된 데이터임을 특징으로 하는 버튼 클릭 햅틱 렌더링 방법.
And a touch sensor disposed on the display unit for detecting a touch input to the touch surface and outputting two-dimensional position information, the method comprising the steps of:
Measuring a pressing load on the touch surface to determine whether the pressing load is equal to or higher than a rendering pressure threshold value;
And outputting a first rendering vibration pattern signal when the measured pressing load is greater than or equal to the rendering pressure threshold,
Wherein the rendering button includes a hard button on which the soft button is physically present, the rendering data being generated by pressing the hard button extracted from the graph of change in pressure over time measured at the time of pressing, A first measurement vibration pattern which is a touch when the pressing load is equal to or higher than the measurement pressure threshold value and a measurement pressure release threshold value of the spring which resists the pressing load when the hard button is released, And the second pressure value is the data generated by processing the measurement data including the second measured vibration pattern which is tactile when the measurement pressure release threshold value is less than or equal to the measurement pressure release threshold value, Is generated,
Wherein when the soft button is a virtual button that does not actually exist, the rendering data is data virtually generated corresponding to the shape of the virtual button.

제 7항에 있어서,
상기 터치면의 가압 하중을 측정하여 가압 하중이 렌더링 가압 해제 임계치 이하인지를 판단하는 단계와,
상기 측정된 가압 하중이 상기 렌더링 가압 해제 임계치 이하일 경우, 제2 렌더링 진동 패턴 신호를 출력하는 단계를 포함함을 특징으로 하는 버튼 클릭 햅틱 렌더링 방법.
8. The method of claim 7,
Measuring a pressing load on the touch surface to determine whether a pressing load is equal to or lower than a rendering pressure release threshold value;
And outputting a second rendering vibration pattern signal when the measured pressing load is less than the rendering pressure release threshold value.

제8 항에 있어서,
상기 측정된 가압 하중이 렌더링 가압 임계치 이상인 경우, 상기 터치 센서로부터 출력된 위치 정보에 상응하는 소프트 버튼을 구별 표시하는 단계와,
상기 측정된 가압 하중이 렌더링 가압 해제 임계치 이하인 경우, 상기 터치 센서로부터 출력된 위치 정보에 상응하는 소프트 버튼을 원 상태와 동일하게 표시하는 단계를 더 포함함을 특징으로 하는 버튼 클릭 햅틱 렌더링 방법.
9. The method of claim 8,
Displaying the soft button corresponding to the position information output from the touch sensor when the measured pressing load is equal to or greater than the rendering pressure threshold;
Further comprising the step of displaying the soft button corresponding to the position information output from the touch sensor in the same manner as in the original state when the measured pressing load is equal to or lower than the rendering pressure release threshold value.

삭제delete

하드 버튼을 가압할 때 손가락에 의한 가압 하중을 측정하는 단계와,
상기 측정된 가압 하중의 시간에 따른 변화 그래프를 생성하는 단계와,
상기 변화 그래프로부터 상기 하드 버튼을 가압할 때 가압 하중에 저항하는 스프링의 측정 가압 임계치와, 상기 가압 하중이 측정 가압 임계치 이상일 때의 촉감인 제1 측정 진동 패턴과, 상기 하드 버튼을 가압 해제할 때 가압 하중에 저항하는 스프링의 측정 가압 해제 임계치와, 상기 가압 하중이 측정 가압 해제 임계치 이하일때 촉감인 제2 측정 진동 패턴을 포함하는 측정 데이터를 추출하는 단계와,
상기 측정 데이터를 가공하여 렌더링 데이터를 생성하는 단계를 포함하되,
상기 렌더링 데이터를 생성하는 단계는
상기 측정 가압 임계치 또는 측정 가압 해제 임계치를 소정 크기로 조절하여 렌더링 가압 임계치 또는 렌더링 가압 해제 임계치를 생성하는 단계를 더 포함함을 특징으로 하는 버튼 클릭 햅틱 렌더링 데이터 획득 방법.
Measuring a pressing load by a finger when pressing the hard button,
Generating a change graph of the measured pressure load over time;
A first measurement vibration pattern which is a touch when the pressing load is greater than or equal to a measurement pressure threshold value and a second measurement vibration pattern which is a touch when the pressing force is greater than or equal to a measurement pressure threshold value; Extracting measurement data including a measurement pressure release threshold value of the spring against the pressure load and a second measurement vibration pattern which is tactile when the pressure load is equal to or lower than the measurement pressure release threshold value;
And processing the measurement data to generate render data,
The step of generating the rendering data
And generating a rendering pressure threshold value or a rendering pressure release threshold value by adjusting the measurement pressure threshold value or the measurement pressure release threshold value to a predetermined size.

제11 항에 있어서, 상기 렌더링 데이터를 생성하는 단계는
제1 렌더링 진동 패턴 또는 제2 렌더링 진동 패턴을 획득하기 위해,
상기 제1 측정 진동 패턴 또는 제2 측정 진동 패턴의 극소값 부분을 연결하는 곡선을 생성하는 단계와,
상기 제1 측정 진동 패턴 또는 제2 측정 진동 패턴에서 생성된 곡선을 감하여 펄스들을 생성하는 단계와,
상기 펄스들의 크기를 변환하는 단계를 포함함을 특징으로 하는 버튼 클릭 햅틱 렌더링 데이터 획득 방법.
12. The method of claim 11, wherein generating the rendering data comprises:
In order to obtain the first rendering vibration pattern or the second rendering vibration pattern,
Generating a curve connecting the minima of the first measured vibration pattern or the second measured vibration pattern;
Generating pulses by subtracting a curve generated from the first measured vibration pattern or the second measured vibration pattern;
And converting the magnitudes of the pulses.

제12 항에 있어서, 상기 렌더링 데이터를 셍성하는 단계는
상기 제1 렌더링 진동 패턴 또는 제2 렌더링 진동 패턴을 획득하기 위해,
상기 크기가 변환된 펄스들에서 소정값 이상인 부분의 신호는 극대값으로 변환하고, 소정값 이하인 신호는 극소값으로 변환하여 구형파를 생성하는 단계를 더 포함함을 특징으로 하는 버튼 클릭 햅틱 렌더링 데이터 획득 방법.
13. The method of claim 12, wherein the step of rendering the rendering data comprises:
In order to obtain the first rendering vibration pattern or the second rendering vibration pattern,
Further comprising the step of converting a signal of a portion having a magnitude greater than a predetermined value to a maximum value and converting a signal having a predetermined value or less to a minimum value to generate a square wave.

제12 항에 있어서, 상기 렌더링 데이터를 생성하는 단계는
상기 제1 렌더링 진동 패턴 또는 제2 렌더링 진동 패턴을 획득하기 위해,
상기 변환된 펄스들 각각을 상기 펄스보다 폭이 작은 복수의 펄스들로 생성하는 단계를 더 포함함을 특징으로 하는 버튼 클릭 햅틱 렌더링 데이터 획득 방법. 13. The method of claim 12, wherein generating the rendering data comprises:
In order to obtain the first rendering vibration pattern or the second rendering vibration pattern,
And generating each of the converted pulses as a plurality of pulses having a smaller width than the pulse.