KR102357599B1

KR102357599B1 - Portable electronic device

Info

Publication number: KR102357599B1
Application number: KR1020140164156A
Authority: KR
Inventors: 손지은; 최용균; 윤승환
Original assignee: 엘지디스플레이 주식회사
Priority date: 2014-11-24
Filing date: 2014-11-24
Publication date: 2022-02-03
Also published as: KR20160062248A

Abstract

본 발명은 사용자 및 환경에 최적화되는 촉감을 구현할 수 있는 휴대용 전자 기기 및 이의 구동 방법을 제공하는 것으로, 본 발명에 따른 휴대용 전자 기기는 터치 패널에 대한 사용자 터치에 따라 햅틱 전극에 햅틱 신호를 공급하는 터치 구동부, 및 상기 햅틱 신호에 따른 촉감에 의해 발생되는 휴대용 전자 기기의 햅틱 리액션을 센싱하여 햅틱 리액션 데이터를 생성하는 센서를 포함하며, 상기 터치 구동부는 상기 센서로부터 제공되는 햅틱 리액션 데이터에 따라 상기 햅틱 신호를 생성하여 상기 햅틱 전극에 공급하는 햅틱 구동부를 포함하고, 상기 센서는 상기 휴대용 전자 기기의 기본 센서인 가속도 센서, 자이로 센서, 포스 센서 중 어느 하나를 이용하여 상기 휴대용 전자 기기의 햅틱 리액션을 센싱하고, 상기 햅틱 구동부는, 상기 햅틱 리액션 데이터를 기반으로 햅틱 신호의 세기 정보를 설정하여 메모리에 저장하고, 상기 메모리에 저장되어 있는 상기 햅틱 신호의 세기 정보를 이용하여 상기 햅틱 리액션 데이터에 따라 상기 햅틱 신호를 생성할 수 있다.The present invention provides a portable electronic device capable of realizing a tactile sense optimized for a user and environment and a driving method thereof, wherein the portable electronic device according to the present invention supplies a haptic signal to a haptic electrode according to a user's touch on a touch panel. a touch driver, and a sensor for generating haptic reaction data by sensing a haptic reaction of a portable electronic device generated by tactile sense according to the haptic signal, wherein the touch driver includes the haptic reaction data provided from the sensor. and a haptic driver that generates a signal and supplies it to the haptic electrode, wherein the sensor senses the haptic reaction of the portable electronic device using any one of an acceleration sensor, a gyro sensor, and a force sensor, which are basic sensors of the portable electronic device. and the haptic driver sets intensity information of a haptic signal based on the haptic reaction data and stores it in a memory, and uses the intensity information of the haptic signal stored in the memory to determine the haptic reaction data according to the haptic reaction data. signal can be generated.

Description

휴대용 전자 기기{PORTABLE ELECTRONIC DEVICE}Portable electronic device {PORTABLE ELECTRONIC DEVICE}

본 발명은 휴대용 전자 기기에 관한 것으로, 보다 구체적으로는, 사용자 및 환경에 최적화되는 촉감을 구현할 수 있는 휴대용 전자 기기에 관한 것이다.The present invention relates to a portable electronic device, and more particularly, to a portable electronic device capable of realizing a tactile sense optimized for a user and environment.

최근 휴대용 전자 기기들은 터치 패널을 입력 수단으로 채용하고 있다. 상기 터치 패널은 액정 표시 장치, 전계 방출 표시 장치, 플라즈마 표시 장치, 전계 발광 표시 장치, 전기 영동 표시 장치, 및 유기 발광 표시 장치 등의 영상 표시 장치에 설치되어 사용자가 표시 장치를 보면서 손가락이나 펜 등으로 화면과 직접 접촉하여 정보를 입력하는 입력 장치의 한 종류이다.Recently, portable electronic devices employ a touch panel as an input means. The touch panel is installed in an image display device such as a liquid crystal display device, a field emission display device, a plasma display device, an electroluminescence display device, an electrophoretic display device, and an organic light emitting display device, so that a user can use a finger or a pen while viewing the display device. It is a type of input device that inputs information through direct contact with the screen.

터치 패널은 터치 감지 방식에 따라, 저항 방식, 정전 용량 방식, 적외선 감지 방지 등으로 구분될 수 있는데, 최근에는 제조 방식의 편이성 및 센싱 감도 등에서 장점을 갖는 정전 용량 방식이 주목 받고 있다. 정전 용량 방식의 터치 패널은 상호 정전 용량(mutual capacitance) 방식과 자기 정전 용량(self capacitance) 방식으로 구분된다. 상호 정전 용량 방식의 터치 패널은 자기 정전 용량 방식에 비하여 멀티-터치 입력을 구현이 가능하다는 장점이 있다.A touch panel can be divided into a resistive type, a capacitive type, and infrared sensing prevention according to a touch sensing method. Recently, a capacitive type having advantages in manufacturing method convenience and sensing sensitivity, etc. is attracting attention. The capacitive touch panel is divided into a mutual capacitance method and a self capacitance method. The mutual capacitance type touch panel has the advantage of being able to implement multi-touch input compared to the self capacitance type touch panel.

최근에는 터치 기술과 더불어 전계(또는 마찰력)를 이용하여 사람의 피부에 전기적인 촉감 자극을 제공하는 햅틱(haptic) 기술이 발달되고 있다. 이러한 햅틱 기술이 적용된 디스플레이 장치는 햅틱 전극에 햅틱 신호를 인가하여 인체의 촉감 수용기(tangoreceptor)를 자극하는 인력(attractive force)을 발생함으로써 사용자의 촉감을 자극하고, 이를 통해 사용자가 터치 및 터치의 질감(texture)을 인지할 수 있도록 한다.Recently, along with touch technology, a haptic technology for providing electrical tactile stimulation to human skin using an electric field (or frictional force) has been developed. The display device to which such a haptic technology is applied stimulates the user's touch by applying a haptic signal to the haptic electrode to generate an attractive force that stimulates a tangoreceptor of the human body, and through this, the user can use the touch and the texture of the touch. (texture) to be recognized.

종래의 햅틱 기술이 적용된 휴대용 전자 기기는 특정 영상에 대한 사용자 터치 영역을 기반으로 사용자 터치 영역에 대해 미리 설정된 햅틱 신호를 생성하여 햅틱 전극에 공급함으로써 사용자에게 촉감을 구현한다. 이때, 사용자의 촉감 인지 수준은 사용자 및 주변 환경, 예를 들어 손가락의 습도, 온도, 손가락 각질의 두께 등에 의해 변화될 수 있다.A portable electronic device to which a conventional haptic technology is applied realizes tactile sensation to a user by generating a haptic signal preset for the user's touch area based on the user's touch area for a specific image and supplying it to the haptic electrode. In this case, the user's tactile perception level may be changed by the user and the surrounding environment, for example, humidity, temperature, and thickness of the keratin of the finger.

그러나, 종래의 휴대용 전자 기기는 사용자 및 주변 환경에 상관없이 미리 설정된 햅틱 신호를 이용한 촉감을 구현하기 때문에 사용자 및 주변 환경에 최적화되는 촉감을 구현할 수 없다는 문제점이 있다.However, since the conventional portable electronic device implements a tactile sense using a preset haptic signal regardless of the user and the surrounding environment, there is a problem in that the tactile sense optimized for the user and the surrounding environment cannot be realized.

본 발명은 전술한 문제점을 해결하고자 안출된 것으로, 사용자 및 환경에 최적화되는 촉감을 구현할 수 있는 휴대용 전자 기기를 제공하는 것을 기술적 과제로 한다.The present invention has been devised to solve the above problems, and it is a technical task to provide a portable electronic device capable of realizing a tactile sense optimized for a user and environment.

전술한 기술적 과제를 달성하기 위한 본 발명에 따른 휴대용 전자 기기는 디스플레이 패널, 상기 디스플레이 패널 상에 배치된 복수의 송신 라인과 복수의 수신 라인을 갖는 터치 패널, 터치 모드시 상기 터치 패널에 대한 사용자 터치에 따른 상기 복수의 수신 라인의 정전 용량 변화를 감지하여 터치 센싱 데이터를 생성하고 햅틱 모드시 터치 영역에 포함된 송신 라인 및 수신 라인 중 적어도 하나인 햅틱 전극에 햅틱 신호를 공급하는 터치 구동부, 및 상기 햅틱 신호에 따른 촉감에 의해 발생되는 휴대용 전자 기기의 햅틱 리액션(Haptic reaction)을 센싱하여 햅틱 리액션 데이터를 생성하는 센서를 포함하며, 상기 터치 구동부는 상기 센서로부터 제공되는 햅틱 리액션 데이터에 따라 상기 햅틱 신호를 생성하여 상기 햅틱 전극에 공급하는 햅틱 구동부를 포함하고, 상기 센서는 상기 휴대용 전자 기기의 기본 센서인 가속도 센서, 자이로 센서, 포스 센서 중 어느 하나를 이용하여 상기 휴대용 전자 기기의 햅틱 리액션을 센싱하고, 상기 햅틱 구동부는, 상기 햅틱 리액션 데이터를 기반으로 햅틱 신호의 세기 정보를 설정하여 메모리에 저장하고, 상기 메모리에 저장되어 있는 상기 햅틱 신호의 세기 정보를 이용하여 상기 햅틱 리액션 데이터에 따라 상기 햅틱 신호를 생성할 수 있다.A portable electronic device according to the present invention for achieving the above technical problem is a display panel, a touch panel having a plurality of transmission lines and a plurality of reception lines disposed on the display panel, and a user touch on the touch panel in a touch mode A touch driver for generating touch sensing data by sensing a change in capacitance of the plurality of receiving lines according to and a sensor for generating haptic reaction data by sensing a haptic reaction of a portable electronic device generated by a tactile sense according to a haptic signal, wherein the touch driver includes the haptic signal according to the haptic reaction data provided from the sensor. and a haptic driving unit that generates and supplies the haptic electrode, wherein the sensor senses a haptic reaction of the portable electronic device using any one of an acceleration sensor, a gyro sensor, and a force sensor, which are basic sensors of the portable electronic device, , the haptic driver sets intensity information of a haptic signal based on the haptic reaction data and stores it in a memory, and the haptic signal according to the haptic reaction data using the intensity information of the haptic signal stored in the memory can create

전술한 기술적 과제를 달성하기 위한 본 발명에 따른 휴대용 전자 기기는 디스플레이 패널, 상기 디스플레이 패널 상에 배치된 복수의 송신 라인과 복수의 수신 라인을 갖는 터치 패널, 상기 터치 패널 상에 배치되고 햅틱 전극을 갖는 햅틱 패널, 상기 터치 패널에 대한 사용자 터치에 따른 상기 복수의 수신 라인의 정전 용량 변화를 감지하여 터치 센싱 데이터를 생성하는 터치 구동부, 햅틱 신호를 생성하여 상기 햅틱 전극에 공급하는 햅틱 구동부, 및 상기 햅틱 신호에 따른 촉감에 의해 발생되는 휴대용 전자 기기의 햅틱 리액션(Haptic reaction)을 센싱하여 햅틱 리액션 데이터를 생성하는 센서를 포함하며, 상기 햅틱 구동부는 상기 센서로부터 제공되는 햅틱 리액션 데이터에 따라 상기 햅틱 신호를 생성하여 상기 햅틱 전극에 공급하고, 상기 센서는 상기 휴대용 전자 기기의 기본 센서인 가속도 센서, 자이로 센서, 포스 센서 중 어느 하나를 이용하여 상기 휴대용 전자 기기의 햅틱 리액션을 센싱하고, 상기 햅틱 구동부는, 상기 햅틱 리액션 데이터를 기반으로 햅틱 신호의 세기 정보를 설정하여 메모리에 저장하고, 상기 메모리에 저장되어 있는 상기 햅틱 신호의 세기 정보를 이용하여 상기 햅틱 리액션 데이터에 따라 상기 햅틱 신호를 생성할 수 있다.A portable electronic device according to the present invention for achieving the above technical problem is a display panel, a touch panel having a plurality of transmission lines and a plurality of reception lines disposed on the display panel, and a haptic electrode disposed on the touch panel a haptic panel having a haptic panel, a touch driving unit generating touch sensing data by sensing changes in capacitance of the plurality of reception lines according to a user's touch on the touch panel, a haptic driving unit generating a haptic signal and supplying it to the haptic electrodes, and the and a sensor for generating haptic reaction data by sensing a haptic reaction of a portable electronic device generated by a tactile sense according to a haptic signal, wherein the haptic driver includes the haptic signal according to the haptic reaction data provided from the sensor. is generated and supplied to the haptic electrode, the sensor senses a haptic reaction of the portable electronic device using any one of an acceleration sensor, a gyro sensor, and a force sensor, which are basic sensors of the portable electronic device, and the haptic driving unit , It is possible to set the intensity information of a haptic signal based on the haptic reaction data and store it in a memory, and generate the haptic signal according to the haptic reaction data using the intensity information of the haptic signal stored in the memory. .

삭제delete

상기 과제의 해결 수단에 의하면, 본 발명은 촉감 구현시 센서에 의해 센싱되는 햅틱 리액션 데이터에 따라 햅틱 신호의 세기를 설정하거나 조절함으로써 사용자 또는 주변 환경에 따라 사용자 손가락에 인지되는 촉감의 편차를 최소화할 수 있다.According to the means for solving the above problem, the present invention minimizes the deviation of the sense of touch perceived by the user's finger according to the user or the surrounding environment by setting or adjusting the intensity of the haptic signal according to the haptic reaction data sensed by the sensor when realizing the sense of touch. can

또한, 본 발명은 휴대용 전자 기기에 기본적으로 탑재되는 센서를 이용하여 햅틱 신호의 세기를 설정하거나 조절하기 때문에 부품 추가로 인한 원가를 상승시키지 않는다.In addition, since the present invention sets or adjusts the intensity of a haptic signal using a sensor that is basically installed in a portable electronic device, the cost due to the addition of parts does not increase.

위에서 언급된 본 발명의 효과 외에도, 본 발명의 다른 특징 및 이점들이 이하에서 기술되거나, 그러한 기술 및 설명으로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.In addition to the effects of the present invention mentioned above, other features and advantages of the present invention will be described below or will be clearly understood by those of ordinary skill in the art from such description and description.

도 1은 본 발명의 제 1 예에 따른 휴대용 전자 기기를 개략적으로 나타내는 블록도이다.
도 2는 도 1에 도시된 터치 패널의 전극 구조를 개략적으로 나타내는 도면이다.
도 3은 도 1에 도시된 터치 구동부를 설명하기 위한 블록도이다.
도 4는 본 발명에 따른 햅틱 신호를 나타내는 파형도이다.
도 5는 본 발명의 제 2 예에 따른 휴대용 전자 기기를 설명하기 위한 도면이다.
도 6은 본 발명의 제 1 예에 따른 휴대용 전자 기기의 구동 방법을 설명하기 위한 순서도이다.
도 7은 본 발명의 제 2 예에 따른 휴대용 전자 기기의 구동 방법을 설명하기 위한 순서도이다.
도 8은 본 발명의 제 3 예에 따른 휴대용 전자 기기의 구동 방법을 설명하기 위한 순서도이다.
도 9는 본 발명의 제 4 예에 따른 휴대용 전자 기기의 구동 방법을 설명하기 위한 순서도이다.
도 10은 본 발명에 따른 휴대용 전자 기기에서, 센서에서 출력되는 햅틱 리액션 데이터를 나타내는 파형도이다.1 is a block diagram schematically showing a portable electronic device according to a first example of the present invention.
FIG. 2 is a diagram schematically illustrating an electrode structure of the touch panel shown in FIG. 1 .
FIG. 3 is a block diagram illustrating the touch driver illustrated in FIG. 1 .
4 is a waveform diagram illustrating a haptic signal according to the present invention.
5 is a view for explaining a portable electronic device according to a second example of the present invention.
6 is a flowchart illustrating a method of driving a portable electronic device according to a first example of the present invention.
7 is a flowchart illustrating a method of driving a portable electronic device according to a second example of the present invention.
8 is a flowchart illustrating a method of driving a portable electronic device according to a third example of the present invention.
9 is a flowchart illustrating a method of driving a portable electronic device according to a fourth example of the present invention.
10 is a waveform diagram illustrating haptic reaction data output from a sensor in a portable electronic device according to the present invention.

본 명세서에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다. The meaning of the terms described in this specification should be understood as follows.

단수의 표현은 문맥상 명백하게 다르게 정의하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "제 1", "제 2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. "포함하다" 또는 "가지다" 등의 용어는 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. "적어도 하나"의 용어는 하나 이상의 관련 항목으로부터 제시 가능한 모든 조합을 포함하는 것으로 이해되어야 한다. 예를 들어, "제 1 항목, 제 2 항목 및 제 3 항목 중에서 적어도 하나"의 의미는 제 1 항목, 제 2 항목 또는 제 3 항목 각각 뿐만 아니라 제 1 항목, 제 2 항목 및 제 3 항목 중에서 2개 이상으로부터 제시될 수 있는 모든 항목의 조합을 의미한다. "상에"라는 용어는 어떤 구성이 다른 구성의 바로 상면에 형성되는 경우뿐만 아니라 이들 구성들 사이에 제3의 구성이 개재되는 경우까지 포함하는 것을 의미한다.The singular expression is to be understood as including the plural expression unless the context clearly defines otherwise, and the terms "first", "second", etc. are used to distinguish one element from another, The scope of rights should not be limited by these terms. It should be understood that terms such as “comprise” or “have” do not preclude the possibility of addition or existence of one or more other features or numbers, steps, operations, components, parts, or combinations thereof. The term “at least one” should be understood to include all possible combinations of one or more related items. For example, the meaning of “at least one of the first, second, and third items” means that each of the first, second, or third items as well as two of the first, second and third items It means a combination of all items that can be presented from more than one. The term “on” is meant to include not only cases in which a certain component is formed directly above another component, but also a case in which a third component is interposed between these components.

이하에서는 본 발명에 따른 휴대용 전자 기기 및 이의 구동 방법의 바람직한 예를 첨부된 도면을 참조하여 상세히 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.Hereinafter, a preferred example of a portable electronic device and a driving method thereof according to the present invention will be described in detail with reference to the accompanying drawings. In adding reference numerals to components of each drawing, the same components may have the same reference numerals as much as possible even though they are indicated in different drawings. In addition, in describing the present invention, if it is determined that a detailed description of a related known configuration or function may obscure the gist of the present invention, the detailed description may be omitted.

도 1은 본 발명의 제 1 예에 따른 휴대용 전자 기기를 개략적으로 나타내는 블록도이고, 도 2는 도 1에 도시된 터치 패널의 전극 구조를 개략적으로 나타내는 도면이며, 도 3은 도 1에 도시된 터치 구동부를 설명하기 위한 블록도이다.1 is a block diagram schematically showing a portable electronic device according to a first example of the present invention, FIG. 2 is a diagram schematically showing an electrode structure of the touch panel shown in FIG. 1, and FIG. It is a block diagram for explaining the touch driving unit.

도 1 내지 도 3을 참조하면, 본 발명의 제 1 예에 따른 휴대용 전자 기기는 디스플레이 패널(100), 터치 패널(200), 호스트 제어부(300), 디스플레이 구동부(400), 센서(500), 및 터치 구동부(600)를 포함한다. 또한, 본 발명의 제 1 예에 따른 휴대용 전자 기기는 당업계에 공지된 주변 모듈, 예를 들어 도시하지 않은 통신 모듈, 카메라 모듈, 오디오 재생 모듈, 동영상 재생 모듈, 전원 모듈, 입/출력 모듈, 및 멀티미디어 모듈 등과 같은 주변 모듈을 더 포함할 수 있으며, 이러한 주변 모듈에 대한 설명은 생략하기로 한다.1 to 3 , the portable electronic device according to the first example of the present invention includes a display panel 100 , a touch panel 200 , a host controller 300 , a display driver 400 , a sensor 500 , and a touch driver 600 . In addition, the portable electronic device according to the first example of the present invention includes a peripheral module known in the art, for example, a communication module not shown, a camera module, an audio playback module, a video playback module, a power supply module, an input/output module, and a peripheral module such as a multimedia module, etc., a description of the peripheral module will be omitted.

상기 디스플레이 패널(100)은 게이트 라인과 데이터 라인에 의해 정의되는 화소 영역마다 형성된 복수의 화소를 포함한다. 복수의 화소 각각은 디스플레이 구동부(400)로부터 공급되는 신호에 응답하여 소정의 영상을 표시한다. 이러한 복수의 화소를 포함하는 디스플레이 패널(100)은 당업계에 공지된 액정 디스플레이 패널 또는 유기 발광 디스플레이 패널로서, 이에 대한 구체적인 설명은 생략하기로 한다.The display panel 100 includes a plurality of pixels formed for each pixel area defined by a gate line and a data line. Each of the plurality of pixels displays a predetermined image in response to a signal supplied from the display driver 400 . The display panel 100 including such a plurality of pixels is a liquid crystal display panel or an organic light emitting display panel known in the art, and a detailed description thereof will be omitted.

상기 터치 패널(200)은 복수의 송신 라인(Tx1 ~ Txn) 및 복수의 수신 라인(Rx1 ~ Rxm)을 포함한다.The touch panel 200 includes a plurality of transmission lines Tx1 to Txn and a plurality of reception lines Rx1 to Rxm.

상기 복수의 송신 라인(Tx1 ~ Txn)은 터치 패널(200) 상에 제 1 방향(Y)을 따라 미리 설정된 간격을 가지도록 나란하게 마련된다. 상기 복수의 송신 라인(Tx1 ~ Txn) 각각은 상기 제 1 방향(Y)과 교차하는 제 2 방향(X)을 따라 미리 설정된 간격을 가지도록 배치된 복수의 터치 구동 전극(212), 및 복수의 터치 구동 전극(212) 사이사이를 전기적으로 연결하는 복수의 제 1 브릿지(212a)를 포함하여 이루어질 수 있다. 여기서, 상기 터치 구동 전극(212)은 다각 형태, 예를 들어 마름모 형태의 평면을 가질 수 있다. 상기 제 1 브릿지(212a)는 인접한 터치 구동 전극(212)을 전기적으로 연결한다. 이러한 상기 복수의 송신 라인(Tx1 ~ Txn) 각각은 터치 구동부(600)와 개별적으로 연결되며, 햅틱 신호에 따라 인력을 발생하여 사용자 손가락에 촉감을 제공하는 햅틱 전극으로도 사용된다.The plurality of transmission lines Tx1 to Txn are provided in parallel on the touch panel 200 to have a preset interval along the first direction Y. Each of the plurality of transmission lines Tx1 to Txn includes a plurality of touch driving electrodes 212 arranged to have a preset interval along a second direction X crossing the first direction Y, and a plurality of touch driving electrodes 212 . A plurality of first bridges 212a electrically connecting the touch driving electrodes 212 to each other may be included. Here, the touch driving electrode 212 may have a polygonal plane, for example, a rhombus shape. The first bridge 212a electrically connects the adjacent touch driving electrodes 212 to each other. Each of the plurality of transmission lines Tx1 to Txn is individually connected to the touch driving unit 600 and is also used as a haptic electrode that generates an attractive force according to a haptic signal to provide tactile sensation to a user's finger.

상기 복수의 수신 라인(Rx1 ~ Rxm)은 터치 패널(200) 상에 상기 제 2 방향(X)을 따라 미리 설정된 간격을 가지도록 나란하게 마련된다. 상기 복수의 수신 라인(Rx1 ~ Rxm) 각각은 상기 제 1 방향(Y)을 따라 미리 설정된 간격을 가지도록 배치된 복수의 터치 센싱 전극(214), 및 복수의 터치 센싱 전극(214) 사이사이를 연결하는 복수의 제 2 브릿지(214a)를 포함하여 이루어질 수 있다. 여기서, 상기 터치 센싱 전극(214)은 상기 터치 구동 전극(212)과 동일한 평면 형태를 가지며, 상기 터치 구동 전극(212) 사이사이에 배치된다. 이에 따라, 복수의 터치 구동 전극(212)과 복수의 터치 센싱 전극(214)은 체크 무늬 형태로 배치되게 된다. 상기 제 2 브릿지(214a)는 상기 제 1 브릿지(212a)와 교차하도록 마련되어 인접한 터치 센싱 전극(214)을 전기적으로 연결한다. 이러한 복수의 수신 라인(Rx1 ~ Rxm) 각각은 터치 구동부(600)와 개별적으로 연결되며, 상기 복수의 송신 라인(Tx1 ~ Txn)과 함께 햅틱 신호에 따라 인력을 발생하여 사용자 손가락에 촉감을 제공하는 햅틱 전극으로도 사용될 수도 있다.The plurality of reception lines Rx1 to Rxm are provided on the touch panel 200 in parallel to have a preset interval along the second direction X. Each of the plurality of reception lines Rx1 to Rxm includes a plurality of touch sensing electrodes 214 arranged to have a preset interval along the first direction Y, and a space between the plurality of touch sensing electrodes 214 . It may include a plurality of second bridges 214a for connecting them. Here, the touch sensing electrode 214 has the same planar shape as the touch driving electrode 212 and is disposed between the touch driving electrodes 212 . Accordingly, the plurality of touch driving electrodes 212 and the plurality of touch sensing electrodes 214 are arranged in a checkered pattern. The second bridge 214a is provided to cross the first bridge 212a to electrically connect the adjacent touch sensing electrodes 214 to each other. Each of the plurality of receiving lines (Rx1 to Rxm) is individually connected to the touch driving unit 600, and generates an attractive force according to a haptic signal together with the plurality of transmission lines (Tx1 to Txn) to provide tactile sensation to the user's finger. It can also be used as a haptic electrode.

상기 복수의 송신 라인(Tx1 ~ Txn)과 상기 복수의 수신 라인(Rx1 ~ Rxm)은 절연체층(또는 유전체층)을 사이에 두고 서로 교차하도록 마련된다. 이에 따라, 상기 절연층은 인접한 터치 구동 전극(212)과 터치 센싱 전극(214) 사이에 상호 정전 용량(mutual capacitance)(Cm)을 형성한다. 상기 상호 정전 용량(Cm)은 터치 패널(200)에 대한 사용자 터치를 센싱하는 터치 센서의 역할을 한다.The plurality of transmission lines Tx1 to Txn and the plurality of reception lines Rx1 to Rxm are provided to cross each other with an insulator layer (or dielectric layer) interposed therebetween. Accordingly, the insulating layer forms a mutual capacitance (Cm) between the adjacent touch driving electrode 212 and the touch sensing electrode 214 . The mutual capacitance Cm serves as a touch sensor that senses a user's touch on the touch panel 200 .

상기 복수의 송신 라인(Tx1 ~ Txn)과 상기 복수의 수신 라인(Rx1 ~ Rxm) 각각은 마름모 형태의 전극(212, 314)을 포함하여 이루어지는 것으로 설명하였지만, 이에 한정되지 않고, 전극(212, 314) 없이 바(bar) 형태로 마련될 수 있으며, 나아가 터치 패널(200)은 당업계에서 공지된 상호 정전 용량 방식의 터치 패널의 구조를 가질 수 있다.Although it has been described that each of the plurality of transmission lines Tx1 to Txn and the plurality of reception lines Rx1 to Rxm includes the rhombic electrodes 212 and 314, the present invention is not limited thereto, and the electrodes 212 and 314 are not limited thereto. ) may be provided in the form of a bar, and further, the touch panel 200 may have a structure of a mutual capacitance type touch panel known in the art.

이와 같은, 상기 터치 패널(200)은, 디스플레이 패널(100)의 상면에 배치되거나 직접적으로 부착될 수 있다. 예를 들어, 상기 디스플레이 패널(100)이 상부 편광 필름을 포함하는 액정 디스플레이 패널(또는 유기 발광 디스플레이 패널)일 경우, 상기 터치 패널(200)은 상부 편광 필름 상에 배치되거나 상부 기판과 상부 편광 필름 사이에 배치될 수 있다.As such, the touch panel 200 may be disposed on or directly attached to the upper surface of the display panel 100 . For example, when the display panel 100 is a liquid crystal display panel (or organic light emitting display panel) including an upper polarizing film, the touch panel 200 is disposed on an upper polarizing film or an upper substrate and an upper polarizing film can be placed between them.

상기 호스트 제어부(300)는 외부로부터 입력되는 영상 소스 데이터(Idata)를 기반으로 프레임 단위의 영상 데이터(RGB)와 타이밍 동기 신호(TSS)를 생성하여 디스플레이 구동부(400)에 공급한다.The host controller 300 generates image data RGB and a timing synchronization signal TSS in units of frames based on the image source data Idata input from the outside, and supplies them to the display driver 400 .

상기 호스트 제어부(300)는 터치 구동부(600)로부터 제공되는 터치 센싱 데이터(Dtouch)를 기반으로 사용자 터치 영역에 대한 터치 영역 데이터(TAD)를 산출하고, 산출된 터치 영역 데이터(TAD)에 연계되는 응용 프로그램을 실행한다.The host controller 300 calculates the touch area data TAD for the user's touch area based on the touch sensing data Dtouch provided from the touch driver 600 , and is linked to the calculated touch area data TAD. Run the application.

상기 호스트 제어부(300)는 상기 터치 영역 데이터(TAD)에 기초하여 영상 소스 데이터(Idata)로부터 햅틱 객체(또는 특정 영상)에 대응되는 햅틱 객체 데이터(HOD)를 추출하고, 추출된 햅틱 객체 데이터(HOD)를 터치 구동부(600)에 제공한다. 여기서, 한 프레임의 영상 소스 데이터(Idata)는 디스플레이 패널(100)에 표시되는 프레임 영상에 대한 영상 데이터, 및 상기 프레임 영상에 포함되어 있는 햅틱 객체에 대한 햅틱 객체 데이터(HOD)로 이루어질 수 있다. 이에 따라, 상기 호스트 제어부(300)는 프레임 단위의 영상 소스 데이터(Idata)에 포함된 햅틱 객체 데이터(HOD)에서, 상기 터치 영역 데이터(TAD)에 대응되는 사용자 터치 영역의 햅틱 객체 데이터(HOD)를 추출하고, 추출된 햅틱 객체 데이터(HOD)를 터치 구동부(600)에 제공한다.The host controller 300 extracts haptic object data HOD corresponding to a haptic object (or a specific image) from image source data Idata based on the touch area data TAD, and extracts the extracted haptic object data ( HOD) is provided to the touch driver 600 . Here, the image source data Idata of one frame may include image data for a frame image displayed on the display panel 100 and haptic object data HOD for a haptic object included in the frame image. Accordingly, in the haptic object data HOD included in the image source data Idata in units of frames, the host controller 300 controls the haptic object data HOD of the user's touch area corresponding to the touch area data TAD. , and provides the extracted haptic object data HOD to the touch driver 600 .

상기 디스플레이 구동부(400)는 호스트 제어부(300)로부터 공급되는 영상 데이터(RGB)와 타이밍 동기신호(TSS)를 이용하여 영상 데이터(RGB)에 대응되는 데이터 신호를 각 화소에 공급함으로써 디스플레이 패널(100)에 소정의 영상을 표시한다. 예를 들어, 디스플레이 구동부(400)는 호스트 제어부(300)로부터 공급되는 타이밍 동기신호(TSS)를 이용하여 게이트 제어 신호와 데이터 제어 신호를 생성함과 아울러 영상 데이터(RGB)를 정렬하여 화소 데이터를 생성하는 타이밍 컨트롤러(미도시), 게이트 제어 신호에 따라 게이트 신호를 생성하여 복수의 게이트 라인에 순차적으로 고급하는 게이트 구동 회로부, 및 데이터 제어 신호에 따라 화소 데이터를 데이터 신호로 변환하여 데이터 라인에 공급하는 데이터 구동 회로부(미도시)를 포함할 수 있다.The display driver 400 supplies a data signal corresponding to the image data RGB to each pixel by using the image data RGB and the timing synchronization signal TSS supplied from the host controller 300 to provide the display panel 100 . ) to display a predetermined image. For example, the display driver 400 generates a gate control signal and a data control signal using the timing synchronization signal TSS supplied from the host controller 300 , and aligns the image data RGB to generate pixel data. A timing controller (not shown) that generates a gate signal, a gate driving circuit unit that generates a gate signal according to a gate control signal and sequentially advances it to a plurality of gate lines, and converts pixel data into a data signal according to the data control signal and supplies it to the data line and a data driving circuit unit (not shown).

상기 센서(500)는 디스플레이 패널(100)의 주변 하부, 또는 디스플레이 패널(100)을 수납하는 하우징(미도시)의 내부 수납 공간에 배치된다. 상기 센서(500)는 햅틱 신호에 따라 햅틱 전극과 사용자 손가락 사이의 인력(또는 마찰력)에 의해 발생되는 휴대용 전자 기기의 상태 변화에 따른 햅틱 리액션(Haptic reaction)을 센싱하여 햅틱 리액션 데이터(Rdata)를 생성한다. 여기서, 상기 햅틱 리액션은 햅틱 전극과 사용자 손가락 사이의 인력(또는 마찰력)에 의해 발생되는 휴대용 전자 기기의 진동, 기울기, 마찰력, 또는 가압력 등의 상태 변화가 될 수 있다. 이러한 센서(500)는 가속도 센서(acceleration sensor), 자이로 센서(gyro sensor), 또는 포스 센서(force sensor)일 수 있다.The sensor 500 is disposed in a lower peripheral portion of the display panel 100 or in an internal storage space of a housing (not shown) accommodating the display panel 100 . The sensor 500 senses a haptic reaction according to a change in state of the portable electronic device generated by the attractive force (or friction force) between the haptic electrode and the user's finger according to the haptic signal to generate haptic reaction data (Rdata). create Here, the haptic reaction may be a state change such as vibration, tilt, frictional force, or pressing force of the portable electronic device generated by the attractive force (or frictional force) between the haptic electrode and the user's finger. The sensor 500 may be an acceleration sensor, a gyro sensor, or a force sensor.

상기 터치 구동부(600)는 호스트 제어부(300)의 모드 제어에 따라 터치 모드와 햅틱 모드로 구동된다.The touch driver 600 is driven in a touch mode and a haptic mode according to the mode control of the host controller 300 .

상기 터치 모드시, 터치 구동부(600)는 상기 복수의 송신 라인(Tx1 ~ Txn)에 순차적으로 터치 구동 펄스(TDP)를 공급하고, 상기 복수의 수신 라인(Rx1 ~ Rxm)을 통해 터치 패널(200)에 대한 사용자 터치에 따른 터치 센서(Cm)의 정전 용량 변화를 감지하여 터치 센싱 데이터(Dtouch)를 생성해 호스트 제어부(300)에 제공한다.In the touch mode, the touch driving unit 600 sequentially supplies a touch driving pulse TDP to the plurality of transmission lines Tx1 to Txn, and the touch panel 200 through the plurality of reception lines Rx1 to Rxm. ) detects a change in capacitance of the touch sensor Cm according to a user's touch to generate touch sensing data Dtouch and provides it to the host controller 300 .

상기 햅틱 모드시, 터치 구동부(600)는 호스트 제어부(300)로부터 공급되는 터치 영역 데이터(TAD)와 햅틱 객체 데이터(HOD)를 기반으로 햅틱 신호(HS)를 생성하고, 상기 복수의 송신 라인(Tx1 ~ Txn) 중 사용자 터치 영역에 포함되는 적어도 하나의 송신 라인을 선택함과 아울러 선택된 송신 라인에 상기 햅틱 신호(HS)를 공급하고, 센서(500)로부터 공급되는 상기 햅틱 리액션 데이터(Rdata)에 따라 송신 라인으로 공급되는 햅틱 신호(HS)의 세기를 유지시키거나 조절한다. 이에 따라, 사용자 터치 영역에는 해당 송신 라인에 공급되는 햅틱 신호(HS)에 의해 인력이 발생되고, 이로 인하여 사용자는 자신의 손가락 상태와 주변 환경에 최적화된 촉감을 인지하게 된다.In the haptic mode, the touch driving unit 600 generates a haptic signal HS based on the touch area data TAD and the haptic object data HOD supplied from the host control unit 300, and the plurality of transmission lines ( Tx1 to Txn), at least one transmission line included in the user touch area is selected, the haptic signal HS is supplied to the selected transmission line, and the haptic reaction data Rdata supplied from the sensor 500 is Accordingly, the intensity of the haptic signal HS supplied to the transmission line is maintained or adjusted. Accordingly, an attractive force is generated in the user's touch area by the haptic signal HS supplied to the corresponding transmission line, whereby the user perceives a tactile sense optimized for the state of his or her finger and the surrounding environment.

일 예에 따른 터치 구동부(600)는 타이밍 발생부(610), 구동 펄스 공급부(620), 햅틱 구동부(630), 채널 선택부(640), 센싱부(650), 및 터치 데이터 처리부(660)를 포함한다. 이러한 구성을 갖는 터치 구동부(600)는 하나의 ROIC(Readout Integrated Circuit) 칩으로 집적화될 수 있다. 다만, 터치 데이터 처리부(660)의 경우, ROIC 칩에 집적되지 않고 호스트 제어부(300)에 내장될 수 있다.The touch driver 600 according to an example includes a timing generating unit 610 , a driving pulse supply unit 620 , a haptic driving unit 630 , a channel selection unit 640 , a sensing unit 650 , and a touch data processing unit 660 . includes The touch driver 600 having such a configuration may be integrated into one readout integrated circuit (ROIC) chip. However, in the case of the touch data processing unit 660 , it may be embedded in the host control unit 300 instead of being integrated in the ROIC chip.

상기 타이밍 발생부(610)는 호스트 제어부(300)로부터 공급되는 터치 모드에 따른 모드 신호(MS)에 응답하여 터치 구동부(600)의 터치 센싱 구동을 위한 터치 타이밍 신호와 채널 선택 신호(CSS)를 발생한다. 또한, 타이밍 발생부(610)는 호스트 제어부(300)로부터 공급되는 햅틱 모드에 따른 모드 신호(MS)에 응답하여 터치 구동부(600)의 햅틱 구동을 위한 햅틱 타이밍 신호를 발생함과 아울러 호스트 제어부(300)로부터 공급되는 터치 영역 데이터(TAD)에 대응되는 채널 선택 신호(CSS)를 발생한다.The timing generator 610 generates a touch timing signal and a channel selection signal CSS for driving the touch sensing of the touch driver 600 in response to a mode signal MS according to the touch mode supplied from the host controller 300 . Occurs. In addition, the timing generator 610 generates a haptic timing signal for haptic driving of the touch driver 600 in response to the mode signal MS according to the haptic mode supplied from the host controller 300, and the host controller ( A channel selection signal CSS corresponding to the touch area data TAD supplied from 300 is generated.

상기 구동 펄스 공급부(620)는 상기 타이밍 발생부(610)로부터 공급되는 터치 타이밍 신호에 응답하여 터치 구동 펄스(TDP)를 생성하고, 생성된 터치 구동 펄스(TDP)를 채널 선택부(640)를 통해 복수의 송신 라인(Tx1 ~ Txn)에 순차적으로 공급한다. 여기서, 상기 터치 구동 펄스(TDP)는 터치 센서(Cm)의 충전양을 많게 하여 센싱 감도를 높이기 위하여 복수의 펄스로 이루어질 수 있다.The driving pulse supply unit 620 generates a touch driving pulse TDP in response to the touch timing signal supplied from the timing generating unit 610 , and applies the generated touch driving pulse TDP to the channel selector 640 . is sequentially supplied to the plurality of transmission lines (Tx1 to Txn) through the Here, the touch driving pulse TDP may be formed of a plurality of pulses in order to increase the sensing sensitivity by increasing the charging amount of the touch sensor Cm.

일 예에 따른 햅틱 구동부(630)는 상기 호스트 제어부(300)로부터 공급되는 햅틱 객체 데이터(HOD)에 대응되는 햅틱 신호(HS)를 생성하여 햅틱 전극에 공급한 후, 센서(500)로부터 공급되는 상기 햅틱 리액션 데이터(Rdata)에 기초하여 햅틱 신호(HS)의 세기 정보를 설정하여 메모리에 저장하고, 사용자 터치가 발생될 때 마다 메모리에 저장되어 있는 설정된 햅틱 신호(HS)의 세기 정보를 기반으로 햅틱 신호(HS)를 생성하여 햅틱 전극에 공급함으로써 사용자 또는 주변 환경에 따라 사용자 손가락에 인지되는 촉감의 편차를 최소화한다. 예를 들어, 햅틱 신호(HS)의 세기를 설정하는데 있어서, 상기 햅틱 구동부(630)는 상기 햅틱 객체 데이터(HOD)에 대응되는 세기의 햅틱 신호(HS)를 햅틱 전극에 공급한 다음, 센서(500)로부터 제공되는 상기 햅틱 리액션 데이터(Rdata)로부터 촉감 세기를 예상하고, 예상된 촉감 세기가 상기 햅틱 객체 데이터(HOD)에 대해 미리 설정된 기준 촉감 세기와 동일하도록 햅틱 신호의 세기 정보를 생성하여 메모리에 저장할 수 있다.The haptic driver 630 according to an example generates a haptic signal HS corresponding to the haptic object data HOD supplied from the host controller 300 and supplies it to the haptic electrode, and then supplies it to the haptic electrode. Based on the haptic reaction data Rdata, the intensity information of the haptic signal HS is set and stored in the memory, and whenever a user touch occurs, based on the intensity information of the set haptic signal HS stored in the memory By generating the haptic signal HS and supplying it to the haptic electrode, the deviation of the sense of touch perceived by the user's finger according to the user or the surrounding environment is minimized. For example, in setting the intensity of the haptic signal HS, the haptic driver 630 supplies the haptic signal HS of the intensity corresponding to the haptic object data HOD to the haptic electrode, and then the sensor ( 500), the tactile intensity is predicted from the haptic reaction data Rdata, and the intensity information of the haptic signal is generated so that the expected tactile intensity is the same as the reference tactile intensity preset for the haptic object data HOD. can be stored in

일 예에 따른 햅틱 구동부(630)는 햅틱 제어부(631), 햅틱 신호 생성부(633), 및 메모리(635)를 포함한다.The haptic driver 630 according to an example includes a haptic controller 631 , a haptic signal generator 633 , and a memory 635 .

상기 메모리(635)에는 프레임 영상에 포함되어 있는 햅틱 객체별 햅틱 객체 데이터(HOD)에 대한 햅틱 파형 정보와 세기 정보를 포함하는 햅틱 신호 정보(HSI)가 맵핑된 제 1 룩-업 테이블이 저장되어 있다. 이러한 상기 메모리(635)는 상기 햅틱 구동부(630)의 내부, 터치 구동부(600)의 내부 또는 외부에 구비될 수 있다.The memory 635 stores a first look-up table to which haptic signal information (HSI) including haptic waveform information and intensity information for haptic object data (HOD) for each haptic object included in the frame image is mapped. have. The memory 635 may be provided inside the haptic driving unit 630 , inside or outside the touch driving unit 600 .

일 예에 따른 햅틱 제어부(631)는 상기 호스트 제어부(300)로부터 공급되는 햅틱 객체 데이터(HOD)에 대응되는 햅틱 신호 정보(HSI)를 생성하여 햅틱 신호 생성부(633)에 제공한다. 예를 들어, 상기 햅틱 제어부(631)는 상기 메모리(635)에 저장되어 있는 제 1 룩-업 테이블에서 햅틱 객체 데이터(HOD)에 대응되는 햅틱 신호 정보(HSI)이 햅틱 파형 정보와 햅틱 신호의 세기 정보를 추출하여 햅틱 신호 생성부(633)에 제공한다.The haptic controller 631 according to an example generates haptic signal information HSI corresponding to the haptic object data HOD supplied from the host controller 300 and provides it to the haptic signal generator 633 . For example, in the first look-up table stored in the memory 635 , the haptic control unit 631 may include haptic signal information (HSI) corresponding to haptic object data (HOD) of haptic waveform information and a haptic signal. The intensity information is extracted and provided to the haptic signal generator 633 .

상기 햅틱 파형의 세기 정보는 햅틱 신호의 초기 설정 과정을 통해 설정되어 상기 메모리(635)에 저장되어 있다. 예를 들어, 햅틱 신호의 초기 설정 과정에 있어서, 일 예에 따른 햅틱 제어부(631)는 상기 햅틱 객체 데이터(HOD)를 기반으로 하는 햅틱 신호(HS)에 따라 발생되는 촉감에 의해 상기 센서(500)로부터 공급되는 상기 햅틱 리액션 데이터(Rdata)로부터 촉감 세기를 예상하여 예상 촉감 세기를 산출하고, 산출된 예상 촉감 세기가 상기 햅틱 객체 데이터(HOD)에 대해 미리 설정된 기준 촉감 세기와 동일하도록 햅틱 파형의 세기 정보를 설정하고, 설정된 햅틱 파형의 세기 정보를 상기 제 1 룩-업 테이블에 매핑되어 있는 햅틱 신호 정보(HSI)에 포함된 햅틱 파형의 세기 정보로 갱신한다.The intensity information of the haptic waveform is set through an initial setting process of the haptic signal and stored in the memory 635 . For example, in the initial setting process of the haptic signal, the haptic control unit 631 according to an example uses a tactile sense generated according to the haptic signal HS based on the haptic object data HOD by the sensor 500 ) to estimate the tactile intensity from the haptic reaction data Rdata supplied from The intensity information is set, and the set intensity information of the haptic waveform is updated with intensity information of the haptic waveform included in the haptic signal information (HSI) mapped to the first look-up table.

일 예에 따른 햅틱 신호 생성부(633)는 상기 햅틱 제어부(631)로부터 제공되는 햅틱 신호 정보(HSI)에 기초하여 햅틱 신호(HS)를 생성하고, 생성된 햅틱 신호(HS)를 채널 선택부(640)에 공급한다. 예를 들어, 상기 햅틱 신호 생성부(633)는 사인 파형, 삼각 파형, 구형 파형, 펄스 파형, 및 톱니 파형 중에서 햅틱 신호 정보(HSI)에 포함된 햅틱 파형 정보에 해당되는 적어도 하나를 참조 파형을 이용하여 햅틱 기본 파형을 생성하고, 햅틱 신호 정보(HSI)에 포함된 햅틱 파형의 세기 정보에 따라 상기 햅틱 기본 파형의 세기를 설정하여 햅틱 신호(HS)를 생성할 수 있다.The haptic signal generation unit 633 according to an example generates a haptic signal HS based on the haptic signal information HSI provided from the haptic control unit 631 and selects the generated haptic signal HS by a channel selection unit. (640). For example, the haptic signal generator 633 may refer to at least one corresponding to haptic waveform information included in the haptic signal information (HSI) from among a sine waveform, a triangular waveform, a square waveform, a pulse waveform, and a sawtooth waveform. The haptic basic waveform is generated using the haptic signal information HSI, and the intensity of the haptic basic waveform is set according to the intensity information of the haptic waveform included in the haptic signal information HSI to generate the haptic signal HS.

다른 예에 따른 햅틱 구동부(630)는, 도 4의 제 1 기간(T1)에서와 같이, 상기 호스트 제어부(300)로부터 공급되는 햅틱 객체 데이터(HOD)에 대응되는 햅틱 신호(HS)를 생성하여 햅틱 전극에 공급한 후, 도 4의 제 2 기간(T2)에서와 같이, 센서(500)로부터 공급되는 상기 햅틱 리액션 데이터(Rdata)에 기초하여 햅틱 전극에 공급되는 햅틱 신호(HS)의 세기를 실시간으로 조절한다. 예를 들어, 상기 햅틱 구동부(630)는 상기 햅틱 객체 데이터(HOD)에 대응되는 세기의 햅틱 신호(HS)를 햅틱 전극에 공급한 다음, 센서(500)로부터 제공되는 상기 햅틱 리액션 데이터(Rdata)로부터 촉감 세기를 예상하고, 예상된 촉감 세기가 상기 햅틱 객체 데이터(HOD)에 대해 미리 설정된 기준 촉감 세기와 동일하도록 햅틱 전극에 공급되는 햅틱 신호(HS)의 세기를 실시간으로 조절함으로써 사용자 또는 주변 환경에 따라 사용자 손가락에 인지되는 촉감의 편차를 최소화한다.The haptic driver 630 according to another example generates a haptic signal HS corresponding to the haptic object data HOD supplied from the host controller 300 as in the first period T1 of FIG. 4 , After supplying to the haptic electrode, as in the second period T2 of FIG. 4 , the intensity of the haptic signal HS supplied to the haptic electrode is measured based on the haptic reaction data Rdata supplied from the sensor 500 . Adjust in real time. For example, the haptic driver 630 supplies a haptic signal HS of an intensity corresponding to the haptic object data HOD to a haptic electrode, and then the haptic reaction data Rdata provided from the sensor 500 . The user or the surrounding environment by predicting the tactile intensity from Accordingly, the deviation of the sense of touch perceived by the user's finger is minimized.

다른 예에 따른 햅틱 구동부(630)의 메모리(635)에는 프레임 영상에 포함되어 있는 햅틱 객체별 햅틱 객체 데이터(HOD)에 대한 햅틱 파형 정보와 세기 정보를 포함하는 햅틱 신호 정보(HSI)가 맵핑된 제 1 룩-업 테이블, 및 상기 햅틱 세기 편차에 대한 촉감 조절 데이터(HAD)가 맵핑된 제 2 룩-업 테이블이 저장되어 있다.In the memory 635 of the haptic driver 630 according to another example, haptic signal information (HSI) including haptic waveform information and intensity information for haptic object data (HOD) for each haptic object included in the frame image is mapped. A first look-up table and a second look-up table to which tactile adjustment data HAD for the haptic intensity deviation are mapped are stored.

다른 예에 따른 햅틱 구동부(630)의 햅틱 제어부(631)는 상기 호스트 제어부(300)로부터 공급되는 햅틱 객체 데이터(HOD)를 기반으로 햅틱 신호 정보(HSI)를 생성하여 햅틱 신호 생성부(633)에 제공한 후, 상기 센서(500)로부터 공급되는 상기 햅틱 리액션 데이터(Rdata)를 기반으로 촉감 조절 데이터(HAD)를 생성하여 햅틱 신호 생성부(633)에 제공한다. 즉, 상기 햅틱 제어부(631)는 상기 메모리(635)에 저장되어 있는 제 1 룩-업 테이블에서 햅틱 객체 데이터(HOD)에 대응되는 햅틱 파형 정보와 그의 세기 정보를 포함하는 햅틱 신호 정보(HSI)를 추출하여 햅틱 신호 생성부(633)에 제공한다. 또한, 상기 햅틱 제어부(631)는 상기 센서(500)로부터 공급되는 상기 햅틱 리액션 데이터(Rdata)로부터 촉감 세기를 예상하여 예상 촉감 세기를 산출하고, 산출된 예상 촉감 세기가 상기 햅틱 객체 데이터(HOD)에 대해 미리 설정된 기준 촉감 세기와 동일하도록 햅틱 전극에 공급되는 햅틱 신호(HS)의 세기를 실시간으로 조절하기 위한 햅틱 조절 데이터(HAD)를 생성하여 햅틱 신호 생성부(633)에 제공한다. The haptic control unit 631 of the haptic driving unit 630 according to another example generates haptic signal information (HSI) based on the haptic object data (HOD) supplied from the host control unit 300 to generate a haptic signal generation unit 633 . After providing the tactile control data (HAD) based on the haptic reaction data (Rdata) supplied from the sensor 500, it is provided to the haptic signal generator 633 . That is, the haptic control unit 631 includes haptic waveform information corresponding to the haptic object data HOD and intensity information thereof in the first look-up table stored in the memory 635 haptic signal information (HSI). is extracted and provided to the haptic signal generator 633 . In addition, the haptic control unit 631 calculates an expected tactile intensity by estimating the tactile intensity from the haptic reaction data Rdata supplied from the sensor 500, and the calculated expected tactile intensity is the haptic object data (HOD). The haptic adjustment data HAD for adjusting the intensity of the haptic signal HS supplied to the haptic electrode in real time to be the same as the preset reference tactile intensity is generated and provided to the haptic signal generator 633 .

예를 들어, 다른 예에 따른 햅틱 제어부(631)는 상기 예상 촉감 세기가 상기 기준 촉감 세기와 동일하거나 미리 설정된 기준 편차 범위 이내일 경우, 상기 햅틱 전극에 공급되는 햅틱 신호(HS)의 세기를 조절하기 위한 햅틱 조절 데이터(HAD)를 생성하지 않거나, 햅틱 신호(HS)의 세기를 유지시키기 위한 햅틱 조절 데이터(HAD)를 생성한다. 반면에, 상기 햅틱 제어부(631)는 상기 예상 촉감 세기가 상기 기준 촉감 세기와 동일하거나 미리 설정된 기준 편차 범위를 벗어날 경우, 상기 예상 촉감 세기와 상기 기준 촉감 세기 간의 햅틱 세기 편차를 산출하고, 제 2 룩-업 테이블에서 상기 햅틱 세기 편차에 따른 햅틱 조절 데이터(HAD)를 추출하여 햅틱 신호 생성부(633)에 제공한다. 여기서, 햅틱 조절 데이터(HAD)는 상기 햅틱 세기 편차에 따라 햅틱 전극에 공급되는 햅틱 신호의 세기를 감소시키거나 증가시켜 예상 촉감 세기가 기준 촉감 세기와 동일한 값을 가지도록 사전 실험을 통해 설정될 수 있다.For example, the haptic controller 631 according to another example may adjust the intensity of the haptic signal HS supplied to the haptic electrode when the expected tactile intensity is the same as the reference tactile intensity or is within a preset reference deviation range. It does not generate haptic adjustment data HAD for performing the haptic adjustment, or generates haptic adjustment data HAD for maintaining the strength of the haptic signal HS. On the other hand, when the expected tactile intensity is the same as the reference tactile intensity or is out of a preset reference deviation range, the haptic controller 631 calculates a haptic intensity deviation between the expected tactile intensity and the reference tactile intensity, and a second The haptic adjustment data HAD according to the haptic intensity deviation is extracted from the look-up table and provided to the haptic signal generator 633 . Here, the haptic adjustment data (HAD) may be set through a pre-experiment so that the expected tactile intensity has the same value as the reference tactile intensity by decreasing or increasing the intensity of the haptic signal supplied to the haptic electrode according to the haptic intensity deviation. have.

다른 예에 따른 햅틱 구동부(630)의 햅틱 신호 생성부(633)는, 도 4의 제 1 기간(T1)에서와 같이, 상기 햅틱 제어부(631)로부터 제공되는 햅틱 신호 정보(HSI)에 기초하여 햅틱 신호(HS)를 생성하고, 생성된 햅틱 신호(HS)를 채널 선택부(640)에 공급한 다음, 도 4의 제 2 기간(T2)에서와 같이, 상기 햅틱 제어부(631)로부터 제공되는 햅틱 조절 데이터(HAD)에 따라 채널 선택부(640)로 공급되는 햅틱 신호(HS)의 세기를 조절한다. 예를 들어, 상기 햅틱 신호 생성부(633)는 사인 파형, 삼각 파형, 구형 파형, 펄스 파형, 및 톱니 파형 중에서 햅틱 신호 정보(HSI)에 포함된 햅틱 파형 정보에 해당되는 적어도 하나를 참조 파형으로 선택하고, 햅틱 신호 정보(HSI)에 포함된 햅틱 파형의 세기 정보에 따라 참조 파형의 세기를 설정하여 햅틱 신호(HS)를 생성할 수 있다. 또한, 상기 햅틱 신호 생성부(633)는 햅틱 조절 데이터(HAD)에 기초한 진폭 변조 방식에 따라 햅틱 신호(HS)의 세기를 조절할 수 있다. 여기서, 햅틱 신호 생성부(633)는 햅틱 조절 데이터(HAD)에 따라 햅틱 신호(HS)의 주파수도 함께 조절할 수 있지만, 이 경우 햅틱 신호(HS)의 주파수가 변경되어 상기 햅틱 객체에 대해 설정된 촉감과 다른 촉감이 사용자에게 전달될 수 있기 때문에 햅틱 신호 생성부(633)는 상기 햅틱 신호(HS)의 세기만을 조절한다.As in the first period T1 of FIG. 4 , the haptic signal generating unit 633 of the haptic driving unit 630 according to another example is based on the haptic signal information (HSI) provided from the haptic control unit 631 . After generating a haptic signal HS, and supplying the generated haptic signal HS to the channel selector 640, as in the second period T2 of FIG. The intensity of the haptic signal HS supplied to the channel selector 640 is adjusted according to the haptic adjustment data HAD. For example, the haptic signal generator 633 uses at least one corresponding to haptic waveform information included in the haptic signal information (HSI) from among a sine wave, a triangular waveform, a square wave, a pulse waveform, and a sawtooth waveform as a reference waveform. The haptic signal HS may be generated by selecting and setting the intensity of the reference waveform according to intensity information of the haptic waveform included in the haptic signal information HSI. Also, the haptic signal generator 633 may adjust the intensity of the haptic signal HS according to an amplitude modulation method based on the haptic adjustment data HAD. Here, the haptic signal generator 633 may also adjust the frequency of the haptic signal HS according to the haptic adjustment data HAD, but in this case, the frequency of the haptic signal HS is changed and the sense of touch set for the haptic object is changed. Since a different tactile sense may be transmitted to the user, the haptic signal generator 633 adjusts only the intensity of the haptic signal HS.

상기 채널 선택부(640)는 상기 복수의 송신 라인(Tx1 ~ Txn) 각각과 개별적으로 연결되고, 상기 구동 펄스 공급부(620)와 햅틱 구동부(630)에 연결됨으로써 채널 선택 신호(CSS)에 해당되는 송신 라인(Tx1 ~ Txn)을 구동 펄스 공급부(620) 또는 햅틱 구동부(630)에 연결한다. 이러한 채널 선택부(640)는 구동 펄스 공급부(620)로부터 공급되는 터치 구동 펄스(TDP)를 터치 모드에 따른 채널 선택 신호(CSS)에 해당하는 송신 라인(Tx1 ~ Txn)으로 전달한다. 그리고, 채널 선택부(640)는 햅틱 구동부(630)로부터 공급되는 햅틱 신호(HS)를 햅틱 모드에 따른 채널 선택 신호(CSS)에 해당하는 송신 라인으로 전달한다. 이와 같은, 상기 채널 선택부(640)는 복수의 멀티플렉서를 포함하여 구성될 수 있다.The channel selection unit 640 is individually connected to each of the plurality of transmission lines Tx1 to Txn, and is connected to the driving pulse supply unit 620 and the haptic driving unit 630 to correspond to the channel selection signal CSS. The transmission lines Tx1 to Txn are connected to the driving pulse supply unit 620 or the haptic driving unit 630 . The channel selection unit 640 transmits the touch driving pulse TDP supplied from the driving pulse supply unit 620 to the transmission lines Tx1 to Txn corresponding to the channel selection signal CSS according to the touch mode. In addition, the channel selection unit 640 transmits the haptic signal HS supplied from the haptic driver 630 to a transmission line corresponding to the channel selection signal CSS according to the haptic mode. As such, the channel selector 640 may include a plurality of multiplexers.

상기 센싱부(650)는 상기 복수의 수신 라인(Rx1 ~ Rxm) 각각에 연결된다. 이러한 센싱부(650)는 타이밍 발생부(610)의 샘플링 신호에 응답하여 상기 복수의 수신 라인(Rx1 ~ Rxm) 각각을 통해 해당 터치 센서(Cm)의 정전 용량 변화량을 센싱하여 센싱 신호를 생성하고, 생성된 센싱 신호를 아날로그-디지털 변환하여 터치 센싱 데이터(Dtouch)를 생성한다.The sensing unit 650 is connected to each of the plurality of reception lines Rx1 to Rxm. The sensing unit 650 senses the amount of change in capacitance of the corresponding touch sensor Cm through each of the plurality of receiving lines Rx1 to Rxm in response to the sampling signal of the timing generating unit 610 to generate a sensing signal and , analog-digital conversion of the generated sensing signal to generate touch sensing data (Dtouch).

상기 터치 데이터 처리부(660)는 상기 센싱부(650)로부터 입력되는 터치 센싱 데이터(Dtouch)를 수신하여 내부 메모리에 차례대로 저장하고, 타이밍 발생부(610)의 터치 레포트 신호에 응답하여 내부 메모리에 저장된 터치 센싱 데이터(Dtouch)를 호스트 제어부(300)로 전송한다.The touch data processing unit 660 receives the touch sensing data Dtouch input from the sensing unit 650 and sequentially stores them in the internal memory, and in response to the touch report signal of the timing generating unit 610 in the internal memory. The stored touch sensing data Dtouch is transmitted to the host controller 300 .

상기 호스트 제어부(300)는 상기 터치 데이터 처리부(660)로부터 전송되는 터치 센싱 데이터(Dtouch)를 수신하고, 수신된 터치 센싱 데이터(Dtouch)와 설정된 문턱값과 비교하여 문턱값보다 큰 센싱 데이터를 이용하여 터치 유무 및 터치 좌표를 산출한다. 그리고, 상기 호스트 제어부(300)는 터치 센싱 데이터(Dtouch)가 발생된 터치 센싱 전극(214)의 위치 정보(Y 좌표)와 구동된 터치 구동 전극(212)의 위치 정보(X 좌표)에 기초하여 터치 좌표(XY 좌표)를 산출하고, 터치 좌표에 연계되는 응용 프로그램을 실행한다. 또한, 상기 호스트 제어부(300)는 산출된 터치 좌표에 대응되는 터치 영역 데이터(TAD)를 생성하여 터치 구동부(600)에 제공한다.The host control unit 300 receives the touch sensing data Dtouch transmitted from the touch data processing unit 660, compares the received touch sensing data Dtouch with a set threshold, and uses the sensing data larger than the threshold. to calculate the presence/absence of touch and touch coordinates. In addition, the host control unit 300 is configured based on the location information (Y coordinate) of the touch sensing electrode 214 from which the touch sensing data Dtouch is generated (Y coordinate) and location information (X coordinate) of the driven touch driving electrode 212 . Calculating the touch coordinates (XY coordinates), and executing the application program linked to the touch coordinates. In addition, the host controller 300 generates touch area data TAD corresponding to the calculated touch coordinates and provides it to the touch driver 600 .

이와 같은, 본 발명의 제 1 예에 따른 휴대용 전자 기기는 햅틱 객체에 대한 사용자 터치시 햅틱 객체에 대응되는 햅틱 신호를 생성하여 촉감을 구현하고, 촉감 구현시 센서(500)에 의해 센싱되는 햅틱 리액션 데이터(Rdata)에 따라 햅틱 신호를 조절함으로써 사용자 또는 주변 환경에 따라 사용자 손가락에 인지되는 촉감의 편차를 최소화할 수 있다. 또한, 본 발명은 휴대용 전자 기기에 기본적으로 탑재되는 센서를 이용하여 햅틱 신호의 세기를 설정하거나 조절하기 때문에 부품 추가로 인한 원가를 상승시키지 않는다.As described above, the portable electronic device according to the first example of the present invention implements a touch by generating a haptic signal corresponding to the haptic object when the user touches the haptic object, and a haptic reaction sensed by the sensor 500 when the touch is implemented. By adjusting the haptic signal according to the data Rdata, it is possible to minimize the deviation of the tactile sense perceived by the user's finger according to the user or the surrounding environment. In addition, since the present invention sets or adjusts the intensity of a haptic signal using a sensor that is basically installed in a portable electronic device, the cost due to the addition of parts does not increase.

도 5는 본 발명의 제 2 예에 따른 휴대용 전자 기기를 설명하기 위한 도면이다.5 is a view for explaining a portable electronic device according to a second example of the present invention.

도 5를 참조하면, 본 발명의 제 2 예에 따른 휴대용 전자 기기는 디스플레이 패널(100), 터치 패널(200), 호스트 제어부(300), 디스플레이 구동부(400), 센서(500), 터치 구동부(600), 햅틱 패널(700), 및 햅틱 구동부(800)를 포함한다. 또한, 본 발명의 제 2 예에 따른 휴대용 전자 기기는 당업계에 공지된 주변 모듈, 예를 들어 도시하지 않은 통신 모듈, 카메라 모듈, 오디오 재생 모듈, 동영상 재생 모듈, 전원 모듈, 입/출력 모듈, 및 멀티미디어 모듈 등과 같은 주변 모듈을 더 포함할 수 있으며, 이러한 주변 모듈에 대한 설명은 생략하기로 한다.Referring to FIG. 5 , the portable electronic device according to the second example of the present invention includes a display panel 100 , a touch panel 200 , a host controller 300 , a display driver 400 , a sensor 500 , and a touch driver ( 600 ), a haptic panel 700 , and a haptic driving unit 800 . In addition, the portable electronic device according to the second example of the present invention includes peripheral modules known in the art, for example, a communication module not shown, a camera module, an audio playback module, a video playback module, a power module, an input/output module, and a peripheral module such as a multimedia module, etc., a description of the peripheral module will be omitted.

상기 디스플레이 패널(200)와 터치 패널(200) 및 디스플레이 구동부(400)는 전술한 본 발명의 제 1 예와 동일하므로 이에 대한 중복 설명은 생략하기로 한다.Since the display panel 200, the touch panel 200, and the display driving unit 400 are the same as those of the first example of the present invention, a redundant description thereof will be omitted.

상기 햅틱 패널(700)은 상기 터치 패널(200) 상에 배치되어 사용자 터치 영역에 인력을 발생시켜 사용자 손가락에 촉감을 제공한다. 일 예에 따른 햅틱 패널(700)은 투명 베이스 기판(710), 투명 베이스 기판(710) 상에 마련된 햅틱 전극(720), 및 햅틱 전극(720)을 덮는 보호 필름(730)을 포함할 수 있다.The haptic panel 700 is disposed on the touch panel 200 to generate an attractive force in the user's touch area to provide tactile sensation to the user's finger. The haptic panel 700 according to an example may include a transparent base substrate 710 , a haptic electrode 720 provided on the transparent base substrate 710 , and a protective film 730 covering the haptic electrode 720 . .

상기 햅틱 전극(720)은 투명 베이스 기판(710)의 상면 전체에 마련될 수 있다. 다른 예에 따른 햅틱 전극(720)은 터치 패널(300)의 송신 라인과 나란한 방향을 따라 일정한 간격을 갖는 복수의 제 1 햅틱 전극 패턴, 및 터치 패널(300)의 수신 라인과 나란한 방향을 따라 일정한 간격을 갖는 복수의 제 2 햅틱 전극 패턴을 포함할 수도 있다.The haptic electrode 720 may be provided on the entire upper surface of the transparent base substrate 710 . The haptic electrode 720 according to another example includes a plurality of first haptic electrode patterns having regular intervals in a direction parallel to the transmission line of the touch panel 300 , and a plurality of first haptic electrode patterns in a direction parallel to the reception line of the touch panel 300 . It may include a plurality of second haptic electrode patterns having intervals.

상기 보호 필름(730)은 햅틱 전극(720)을 덮는 절연체의 역할을 한다.The protective film 730 serves as an insulator covering the haptic electrode 720 .

상기 호스트 제어부(300)는 햅틱 모드에 따른 모드 신호(MS)와 햅틱 객체 데이터(HOD)를 햅틱 구동부(800)에 제공하는 것을 제외하고는 전술한 본 발명의 제 1 예와 동일하므로, 이에 대한 중복 설명은 생략하기로 한다.Since the host control unit 300 is the same as the first example of the present invention described above except for providing the mode signal MS and the haptic object data HOD according to the haptic mode to the haptic driver 800, A duplicate description will be omitted.

상기 센서(500)는 상기 햅틱 리액션 데이터(Rdata)를 햅틱 구동부(800)에 제공하는 것을 제외하고는 전술한 본 발명의 제 1 예와 동일하므로, 이에 대한 중복 설명은 생략하기로 한다.Since the sensor 500 is the same as the first example of the present invention described above except for providing the haptic reaction data Rdata to the haptic driving unit 800, a redundant description thereof will be omitted.

상기 터치 구동부(600)는 호스트 제어부(300)로부터 공급되는 터치 모드에 따른 모드 신호(MS)에 응답하여, 상기 복수의 송신 라인(Tx1 ~ Txn)에 순차적으로 터치 구동 펄스(TDP)를 공급하고, 상기 복수의 수신 라인(Rx1 ~ Rxm)을 통해 터치 패널(200)에 대한 사용자 터치에 따른 터치 센서(Cm)의 정전 용량 변화를 감지하여 터치 센싱 데이터(Dtouch)를 생성해 호스트 제어부(300)에 제공한다. 일 예에 따른 터치 구동부(600)는 도 3에 도시된 구성 중에서 타이밍 발생부(610), 구동 펄스 공급부(620), 센싱부(650), 및 터치 데이터 처리부(660)를 포함하여 구성된다.The touch driving unit 600 sequentially supplies a touch driving pulse TDP to the plurality of transmission lines Tx1 to Txn in response to a mode signal MS according to the touch mode supplied from the host control unit 300 and , a change in capacitance of the touch sensor Cm according to a user's touch on the touch panel 200 is sensed through the plurality of receiving lines Rx1 to Rxm to generate touch sensing data Dtouch, and the host control unit 300 provided to The touch driving unit 600 according to an example includes a timing generating unit 610 , a driving pulse supplying unit 620 , a sensing unit 650 , and a touch data processing unit 660 among the components shown in FIG. 3 .

상기 타이밍 발생부(610)는 호스트 제어부(300)로부터 공급되는 터치 모드에 따른 모드 신호(MS)에 응답하여 터치 구동부(600)의 터치 센싱 구동을 위한 터치 타이밍 신호를 발생한다.The timing generator 610 generates a touch timing signal for driving the touch sensing of the touch driver 600 in response to the mode signal MS according to the touch mode supplied from the host controller 300 .

상기 구동 펄스 공급부(620)는 상기 타이밍 발생부(610)로부터 공급되는 터치 타이밍 신호에 응답하여 터치 구동 펄스(TDP)를 생성하고, 생성된 터치 구동 펄스(TDP)를 복수의 송신 라인(Tx1 ~ Txn)에 순차적으로 공급한다.The driving pulse supply unit 620 generates a touch driving pulse TDP in response to the touch timing signal supplied from the timing generating unit 610 , and transmits the generated touch driving pulse TDP to a plurality of transmission lines Tx1 to Txn) sequentially.

상기 센싱부(650)는 상기 복수의 수신 라인(Rx1 ~ Rxm) 각각을 통해 해당 터치 센서(Cm)의 정전 용량 변화량을 센싱하여 센싱 신호를 생성하고, 생성된 센싱 신호를 아날로그-디지털 변환하여 터치 센싱 데이터(Dtouch)를 생성한다.The sensing unit 650 senses an amount of change in capacitance of the corresponding touch sensor Cm through each of the plurality of receiving lines Rx1 to Rxm to generate a sensing signal, and analog-digitally converts the generated sensing signal to touch Generates sensing data (Dtouch).

상기 터치 데이터 처리부(660)는 상기 센싱부(650)로부터 입력되는 터치 센싱 데이터(Dtouch)를 수신하여 내부 메모리에 차례대로 저장하고, 타이밍 발생부(610)의 터치 레포트 신호에 응답하여 내부 메모리에 저장된 터치 센싱 데이터(Dtouch)를 호스트 제어부(300)로 전송한다. 이에 따라, 상기 호스트 제어부(300)는 상기 터치 데이터 처리부(660)로부터 전송되는 터치 센싱 데이터(Dtouch)를 수신하고, 수신된 터치 센싱 데이터(Dtouch)를 기반으로 터치 좌표를 산출하고, 터치 좌표에 연계되는 응용 프로그램을 실행한다.The touch data processing unit 660 receives the touch sensing data Dtouch input from the sensing unit 650 and sequentially stores them in the internal memory, and in response to the touch report signal of the timing generating unit 610 in the internal memory. The stored touch sensing data Dtouch is transmitted to the host controller 300 . Accordingly, the host control unit 300 receives the touch sensing data Dtouch transmitted from the touch data processing unit 660, calculates touch coordinates based on the received touch sensing data Dtouch, and Execute the associated application.

상기 햅틱 구동부(800)는 상기 호스트 제어부(300)로부터 공급되는 햅틱 객체 데이터(HOD)와 센서(500)로부터 공급되는 상기 햅틱 리액션 데이터(Rdata)를 기반으로 햅틱 신호(HS)의 세기를 재설정하거나 조절하여 상기 햅틱 패널(700)의 햅틱 전극(730)에 공급한다. 일 예에 따른 햅틱 구동부(800)는 햅틱 제어부(631), 햅틱 신호 생성부(633), 및 메모리(635)를 포함한다. 이러한 구성을 갖는 햅틱 구동부(800)는 햅틱 신호(HS)를 상기 햅틱 패널(700)의 햅틱 전극(720)에 공급하는 것을 제외하고는 전술한 본 발명의 제 1 예와 동일하므로, 이에 대한 중복 설명은 생략하기로 한다.The haptic driver 800 resets the intensity of the haptic signal HS based on the haptic object data HOD supplied from the host controller 300 and the haptic reaction data Rdata supplied from the sensor 500 or It is adjusted and supplied to the haptic electrode 730 of the haptic panel 700 . The haptic driver 800 according to an example includes a haptic controller 631 , a haptic signal generator 633 , and a memory 635 . The haptic driving unit 800 having such a configuration is the same as the first example of the present invention described above except for supplying the haptic signal HS to the haptic electrode 720 of the haptic panel 700. A description will be omitted.

이와 같은, 본 발명의 제 2 예에 따른 휴대용 전자 기기는 본 발명의 제 1 예에 따른 휴대용 전자 기기와 동일한 효과를 제공할 수 있다.As described above, the portable electronic device according to the second example of the present invention can provide the same effects as the portable electronic device according to the first example of the present invention.

한편, 전술한 본 발명의 제 1 및 제 2 예에 따른 휴대용 전자 기기에 대한 설명에서는, 영상 소스 데이터(Idata)에 포함된 햅틱 객체 데이터 중에서 터치 영역에 해당되는 햅틱 객체에 대응되는 햅틱 신호를 생성하여 촉감을 구현하는 것으로 설명하였지만, 이에 한정되지 않고, 본 발명의 변형 예에 따른 휴대용 전자 기기는 미리 설정된 햅틱 신호를 생성하여 터치 영역을 촉감을 구현할 수도 있다. 즉, 본 발명의 변형 예에 따른 휴대용 전자 기기는 햅틱 객체 데이터를 포함하지 않는 일반 영상에 대해 사용자 터치가 발생될 때 마다 메모리에 저장되어 있는 설정된 햅틱 신호(HS)의 세기 정보를 기반으로 미리 설정된 햅틱 신호(HS)를 생성하여 햅틱 전극에 공급함으로써 사용자 또는 주변 환경에 따라 사용자 손가락에 인지되는 촉감의 편차를 최소화한다.Meanwhile, in the description of the portable electronic device according to the first and second examples of the present invention, a haptic signal corresponding to the haptic object corresponding to the touch area is generated from among the haptic object data included in the image source data Idata. Although it has been described that the tactile sense is implemented in this way, the present invention is not limited thereto, and the portable electronic device according to a modified example of the present invention may implement a tactile sense in the touch area by generating a preset haptic signal. That is, the portable electronic device according to the modified example of the present invention is preset based on intensity information of the set haptic signal HS stored in the memory whenever a user touch is generated with respect to a general image that does not include haptic object data. By generating the haptic signal HS and supplying it to the haptic electrode, the deviation of the sense of touch perceived by the user's finger according to the user or the surrounding environment is minimized.

일 예로서, 변형 예에 따른 햅틱 구동부(630, 800)는 사용자 터치시 미리 설정된 햅틱 신호를 생성하여 햅틱 전극에 공급하여 터치 영역에 촉감을 발생하고, 센서(500)로부터의 햅틱 리액션 데이터(Rdata)를 기반으로 예상 촉감 세기를 산출하고, 산출된 예상 촉감 세기를 미리 설정된 기준 촉감 세기로 변경하기 위한 햅틱 신호의 세기 정보를 설정하여 메모리에 저장한 다음, 사용자 터치가 발생될 때 마다 메모리에 저장되어 있는 햅틱 신호의 세기 정보에 대응되는 세기를 갖는 햅틱 신호를 생성하여 터치 영역에 촉감을 발생한다.As an example, the haptic drivers 630 and 800 according to the modified example generate a preset haptic signal when the user touches it, supply it to the haptic electrode to generate a sense of touch in the touch area, and haptic reaction data (Rdata) from the sensor 500 . ( A haptic signal having an intensity corresponding to the intensity information of the haptic signal is generated to generate a sense of touch in the touch area.

다른 예로서, 또 변형 예에 따른 햅틱 구동부(630, 800)는 사용자 터치시 미리 설정된 햅틱 신호를 생성하여 햅틱 전극에 공급하여 터치 영역에 촉감을 발생하고, 센서(500)로부터의 햅틱 리액션 데이터(Rdata)를 기반으로 예상 촉감 세기를 산출하고, 산출된 예상 촉감 세기를 미리 설정된 기준 촉감 세기로 변경하기 위한 촉감 조절 데이터(HAD)를 생성하고, 생성된 촉감 조절 데이터(HAD)에 따라 햅틱 전극에 공급되는 햅틱 신호의 세기를 조절한다.As another example, the haptic driving units 630 and 800 according to the modified example generate a preset haptic signal when the user touches it and supply it to the haptic electrode to generate a sense of touch in the touch area, and haptic reaction data from the sensor 500 ( Rdata), calculate the expected tactile intensity, generate tactile control data (HAD) for changing the calculated expected tactile intensity to a preset reference tactile intensity, and apply the haptic electrode according to the generated tactile control data (HAD). Adjusts the intensity of the supplied haptic signal.

결과적으로, 본 발명의 변형 예에 따른 휴대용 전자 기기는 본 발명의 제 1 또는 제 2 예에 따른 휴대용 전자 기기와 동일한 효과를 제공할 수 있다.As a result, the portable electronic device according to the modified example of the present invention can provide the same effects as the portable electronic device according to the first or second example of the present invention.

도 6은 본 발명의 제 1 예에 따른 휴대용 전자 기기의 구동 방법을 설명하기 위한 순서도이다.6 is a flowchart illustrating a method of driving a portable electronic device according to a first example of the present invention.

도 6을 도 1 또는 도 5와 결부하여 발명의 제 1 예에 따른 휴대용 전자 기기의 구동 방법을 설명하면 다음과 같다.A method of driving a portable electronic device according to a first example of the present invention will be described in conjunction with FIG. 6 and FIG. 1 or FIG. 5 .

먼저, 햅틱 신호(HS)를 생성하여 햅틱 전극에 공급하여 햅틱 전극에 촉감을 발생시킨다(S110).First, a haptic signal HS is generated and supplied to the haptic electrode to generate a sense of touch in the haptic electrode (S110).

이어, 상기 햅틱 전극에 발생되는 촉감에 따른 휴대용 전자 기기의 햅틱 리액션을 센싱하여 햅틱 리액션 데이터(Rdata)를 생성한다(S120).Next, the haptic reaction data Rdata is generated by sensing the haptic reaction of the portable electronic device according to the tactile sense generated by the haptic electrode (S120).

이어, 상기 햅틱 리액션 데이터(Rdata)를 기반으로 햅틱 신호의 세기 정보를 설정하여 메모리에 저장한다(S130). 예를 들어, S130 단계는 상기 햅틱 리액션 데이터(Rdata)를 기반으로 예상 촉감 세기를 산출하는 단계, 산출된 예상 촉감 세기를 미리 설정된 기준 촉감 세기로 변경하기 위한 상기 햅틱 신호의 세기 정보를 설정하는 단계, 및 설정된 햅틱 신호의 세기 정보를 메모리에 저장하는 단계를 포함할 수 있다.Next, the intensity information of the haptic signal is set based on the haptic reaction data Rdata and stored in the memory (S130). For example, step S130 may include calculating an expected tactile intensity based on the haptic reaction data Rdata, and setting intensity information of the haptic signal to change the calculated expected tactile intensity to a preset reference tactile intensity. , and storing the set intensity information of the haptic signal in a memory.

이어, 터치 패널(200)에 대한 사용자 터치를 센싱하여 터치 센싱 데이터(Dtouch)를 생성하고, 터치 센싱 데이터(Dtouch)를 기반으로 터치 영역을 산출한다(S140).Next, a user's touch on the touch panel 200 is sensed to generate touch sensing data Dtouch, and a touch area is calculated based on the touch sensing data Dtouch (S140).

이어, 상기 메모리에 저장되어 있는 햅틱 신호의 세기 정보를 기반으로 햅틱 신호(HS)를 생성한다(S150).Next, a haptic signal HS is generated based on the intensity information of the haptic signal stored in the memory (S150).

이어, 상기 S150 단계에서 생성된 햅틱 신호(HS)를 상기 터치 영역에 대응되는 햅틱 전극에 공급하여 상기 터치 영역에 촉감을 발생시킨다(S160).Next, the haptic signal HS generated in step S150 is supplied to a haptic electrode corresponding to the touch area to generate a sense of touch in the touch area (S160).

이와 같은, 발명의 제 1 예에 따른 휴대용 전자 기기의 구동 방법은 상기 S110 단계 내지 S130 단계와 같은 햅틱 신호의 초기 설정 과정을 통해 햅틱 신호의 세기 정보를 설정하여 메모리에 저장한 다음, 초기 설정 이후에 터치 패널(200)에 대한 사용자 터치시 마다 메모리에서 햅틱 객체의 세기 정보를 추출하여 햅틱 신호를 생성하여 터치 영역에 촉감을 발생시킴으로써 사용자 또는 주변 환경에 따라 사용자 손가락에 인지되는 촉감의 편차를 최소화할 수 있다. 여기서, 상기 초기 설정 과정은 하루에 한번 또는 한달에 한번 등과 같은 미리 설정된 주기 마다 또는 사용자 설정에 의해 수행될 수 있다.As described above, in the method of driving a portable electronic device according to the first example of the present invention, the intensity information of the haptic signal is set through the initial setting process of the haptic signal, such as in steps S110 to S130, and stored in a memory, and then after the initial setting Each time the user touches the touch panel 200, the intensity information of the haptic object is extracted from the memory to generate a haptic signal to generate a tactile sense in the touch area, thereby minimizing the deviation of tactile sense perceived by the user's finger according to the user or surrounding environment. can do. Here, the initial setting process may be performed at every preset cycle such as once a day or once a month or by a user setting.

도 7은 본 발명의 제 2 예에 따른 휴대용 전자 기기의 구동 방법을 설명하기 위한 순서도이다.7 is a flowchart illustrating a method of driving a portable electronic device according to a second example of the present invention.

도 7을 도 1 또는 도 5와 결부하여 발명의 제 2 예에 따른 휴대용 전자 기기의 구동 방법을 설명하면 다음과 같다.A method of driving a portable electronic device according to a second example of the present invention will be described in connection with FIG. 7 and FIG. 1 or FIG. 5 .

먼저, 터치 패널(200)에 대한 사용자 터치를 센싱하여 터치 센싱 데이터(Dtouch)를 생성하고, 터치 센싱 데이터(Dtouch)를 기반으로 터치 영역을 산출함과 아울러 입력되는 영상 소스 데이터(Idata)에 포함된 햅틱 객체 데이터 중에서 상기 터치 영역에 해당되는 햅틱 객체의 햅틱 객체 데이터(HOD)를 추출한다(S210)First, a user's touch on the touch panel 200 is sensed to generate touch sensing data Dtouch, and a touch area is calculated based on the touch sensing data Dtouch and included in the input image source data Idata. Haptic object data (HOD) of a haptic object corresponding to the touch area is extracted from the obtained haptic object data (S210)

이어, 상기 추출된 햅틱 객체 데이터(HOD)에 대응되는 햅틱 신호를 생성하여 터치 영역에 포함된 햅틱 전극에 공급함으로써 터치 영역에 촉감을 발생시킨다(S220).Next, a haptic signal corresponding to the extracted haptic object data (HOD) is generated and supplied to a haptic electrode included in the touch area to generate a sense of touch in the touch area ( S220 ).

이어, 상기 햅틱 전극에 발생되는 촉감에 따른 휴대용 전자 기기의 햅틱 리액션을 센싱하여 햅틱 리액션 데이터(Rdata)를 생성한다(S230).Next, the haptic reaction data Rdata is generated by sensing the haptic reaction of the portable electronic device according to the tactile sense generated by the haptic electrode (S230).

이어, 상기 햅틱 리액션 데이터(Rdata)를 기반으로 햅틱 신호의 세기 정보를 설정하여 메모리에 저장한다(S240). 예를 들어, 상기 S240 단계는 상기 햅틱 리액션 데이터(Rdata)를 기반으로 예상 촉감 세기를 산출하는 단계, 산출된 예상 촉감 세기를 미리 설정된 기준 촉감 세기로 변경하기 위한 상기 햅틱 신호의 세기 정보를 설정하는 단계, 및 설정된 햅틱 신호의 세기 정보를 메모리에 저장하는 단계를 포함할 수 있다.Next, the intensity information of the haptic signal is set based on the haptic reaction data Rdata and stored in the memory (S240). For example, the step S240 may include calculating an expected tactile intensity based on the haptic reaction data Rdata, and setting intensity information of the haptic signal for changing the calculated expected tactile intensity to a preset reference tactile intensity. and storing the set intensity information of the haptic signal in a memory.

이어, 터치 패널(200)에 대한 사용자 터치를 센싱하여 터치 센싱 데이터(Dtouch)를 생성하고, 터치 센싱 데이터(Dtouch)를 기반으로 터치 영역을 산출한다(S250).Next, a user's touch on the touch panel 200 is sensed to generate touch sensing data Dtouch, and a touch area is calculated based on the touch sensing data Dtouch (S250).

이어, 입력되는 영상 소스 데이터(Idata)에 포함된 햅틱 객체 데이터 중에서 상기 터치 영역에 해당되는 햅틱 객체의 햅틱 객체 데이터(HOD)를 추출한다(S260).Next, from among the haptic object data included in the input image source data Idata, haptic object data HOD of a haptic object corresponding to the touch area is extracted (S260).

이어, 상기 메모리에 저장되어 있는 햅틱 신호의 세기 정보를 기반으로 햅틱 신호(HS)를 생성한다(S270).Next, a haptic signal HS is generated based on the intensity information of the haptic signal stored in the memory (S270).

이어, 상기 S270 단계에서 생성된 햅틱 신호(HS)를 상기 터치 영역에 대응되는 햅틱 전극에 공급하여 상기 터치 영역에 촉감을 발생시킨다(S280).Next, the haptic signal HS generated in step S270 is supplied to a haptic electrode corresponding to the touch area to generate a sense of touch in the touch area (S280).

이와 같은, 발명의 제 2 예에 따른 휴대용 전자 기기의 구동 방법은 상기 S210 단계 내지 S240 단계와 같은 햅틱 신호의 초기 설정 과정을 통해 영상 소스 데이터(Idata)에 포함된 햅틱 객체 데이터 중에서 상기 터치 영역에 해당되는 햅틱 객체별로 햅틱 신호의 세기 정보를 설정하여 메모리에 저장한 다음, 초기 설정 이후에 터치 패널(200)에 대한 사용자 터치시 마다 메모리에서 상기 터치 영역에 해당되는 햅틱 객체의 세기 정보를 추출하여 햅틱 신호를 생성하여 터치 영역에 촉감을 발생시킴으로써 사용자 또는 주변 환경에 따라 사용자 손가락에 인지되는 촉감의 편차를 최소화할 수 있다. 여기서, 상기 초기 설정 과정은 하루에 한번 또는 한달에 한번 등과 같은 미리 설정된 주기 마다 또는 사용자 설정에 의해 수행될 수 있다.As described above, in the method of driving a portable electronic device according to the second example of the present invention, the haptic object data included in the image source data Idata is applied to the touch area through the initial setting process of the haptic signal as in steps S210 to S240. After setting the intensity information of the haptic signal for each corresponding haptic object and storing it in the memory, every time the user touches the touch panel 200 after the initial setting, the intensity information of the haptic object corresponding to the touch area is extracted from the memory. By generating a haptic signal to generate a tactile sense in the touch area, it is possible to minimize the deviation of tactile sense perceived by the user's finger according to the user or the surrounding environment. Here, the initial setting process may be performed at every preset cycle such as once a day or once a month or by a user setting.

도 8은 본 발명의 제 3 예에 따른 휴대용 전자 기기의 구동 방법을 설명하기 위한 순서도이다.8 is a flowchart illustrating a method of driving a portable electronic device according to a third example of the present invention.

도 8을 도 1 또는 도 5와 결부하여 발명의 제 3 예에 따른 휴대용 전자 기기의 구동 방법을 설명하면 다음과 같다.A method of driving a portable electronic device according to a third example of the present invention will be described in connection with FIG. 8 and FIG. 1 or FIG. 5 .

먼저, 터치 패널(200)에 대한 사용자 터치를 센싱하여 터치 센싱 데이터(Dtouch)를 생성하고, 터치 센싱 데이터(Dtouch)를 기반으로 터치 영역을 산출한다(S310).First, a user's touch on the touch panel 200 is sensed to generate touch sensing data Dtouch, and a touch area is calculated based on the touch sensing data Dtouch (S310).

이어, 미리 설정된 설정된 햅틱 신호(HS)를 생성한다(S320).Next, a preset haptic signal HS is generated ( S320 ).

이어, 상기 S320 단계에서 생성된 햅틱 신호(HS)를 상기 터치 영역에 대응되는 햅틱 전극에 공급하여 상기 터치 영역에 촉감을 발생시킨다(S330).Next, the haptic signal HS generated in step S320 is supplied to a haptic electrode corresponding to the touch area to generate a sense of touch in the touch area (S330).

이어, 상기 햅틱 전극에 발생되는 촉감에 따른 휴대용 전자 기기의 햅틱 리액션을 센싱하여 햅틱 리액션 데이터(Rdata)를 생성한다(S340).Next, the haptic reaction data Rdata is generated by sensing the haptic reaction of the portable electronic device according to the tactile sense generated by the haptic electrode (S340).

이어, 상기 햅틱 리액션 데이터(Rdata)를 기반으로 햅틱 전극에 공급되는 햅틱 신호의 세기를 조절한다(S350).Next, the intensity of the haptic signal supplied to the haptic electrode is adjusted based on the haptic reaction data Rdata (S350).

예를 들어, 상기 S350 단계는 상기 햅틱 리액션 데이터(Rdata)를 기반으로 예상 촉감 세기를 산출하고, 산출된 예상 촉감 세기와 미리 설정된 기준 촉감 세기 간의 햅틱 세기 편차를 산출하는 단계(S350-1), 및 상기 햅틱 세기 편차에 기초하여 상기 S320 단계에서 생성된 햅틱 신호(HS)의 세기를 조절하는 단계(S350-2)를 포함할 수 있다.For example, in the step S350, calculating an expected tactile intensity based on the haptic reaction data Rdata, and calculating a haptic intensity deviation between the calculated expected tactile intensity and a preset reference tactile intensity (S350-1); and adjusting the intensity of the haptic signal HS generated in step S320 based on the haptic intensity deviation ( S350 - 2 ).

그리고, 상기 S350-2 단계는 상기 햅틱 세기 편차와 미리 설정된 기준 편차 범위를 비교하는 단계(S350-21), 상기 햅틱 세기 편차가 상기 기준 편차 범위 이내일 경우(S350-21의 "Yes"), 상기 S320 단계에서 생성된 햅틱 신호(HS)를 상기 터치 영역에 대응되는 햅틱 전극에 공급하여 상기 터치 영역에 촉감을 발생시킴으로써 상기 햅틱 전극에 공급되는 상기 햅틱 신호의 세기를 유지시킨다(S320, S330). 반면에, 상기 햅틱 세기 편차가 상기 기준 편차 범위를 초과할 경우(S350-21의 "No"), 상기 햅틱 세기 편차에 대응되는 촉감 조절 데이터(HAD; 도 3 또는 도 5 참조)를 생성하고(S350-22), 상기 촉감 조절 데이터(HAD)에 따라 상기 햅틱 전극에 공급되는 상기 햅틱 신호의 세기를 조절한다(S350-23).In the step S350-2, comparing the haptic intensity deviation with a preset reference deviation range (S350-21), if the haptic intensity deviation is within the reference deviation range (“Yes” in S350-21), The intensity of the haptic signal supplied to the haptic electrode is maintained by supplying the haptic signal HS generated in step S320 to a haptic electrode corresponding to the touch region to generate a sense of touch in the touch region (S320, S330). . On the other hand, when the haptic intensity deviation exceeds the reference deviation range (“No” in S350-21), tactile control data (HAD; refer to FIG. 3 or 5) corresponding to the haptic intensity deviation is generated ( S350-22), the intensity of the haptic signal supplied to the haptic electrode is adjusted according to the tactile control data HAD (S350-23).

그런 다음, 사용자 터치가 완료될 때까지 상기 S320 단계 내지 S350 단계를 반복적으로 수행한다.Then, steps S320 to S350 are repeatedly performed until the user touch is completed.

이와 같은, 발명의 제 3 예에 따른 휴대용 전자 기기의 구동 방법은 센서(500)로부터 제공되는 상기 햅틱 리액션 데이터(Rdata)를 기반으로 햅틱 전극에 공급되는 햅틱 신호의 세기를 실시간으로 조절함으로써 사용자 또는 주변 환경에 따라 사용자 손가락에 인지되는 촉감의 편차를 최소화할 수 있다.As described above, in the method of driving a portable electronic device according to the third example of the present invention, the user or the user or It is possible to minimize the deviation of the sense of touch perceived by the user's finger according to the surrounding environment.

도 9는 본 발명의 제 4 예에 따른 휴대용 전자 기기의 구동 방법을 설명하기 위한 순서도이다.9 is a flowchart illustrating a method of driving a portable electronic device according to a fourth example of the present invention.

도 9를 도 1 또는 도 5와 결부하여 발명의 제 4 예에 따른 휴대용 전자 기기의 구동 방법을 설명하면 다음과 같다.A method of driving a portable electronic device according to a fourth example of the present invention will be described in conjunction with FIG. 9 and FIG. 1 or FIG. 5 .

먼저, 터치 패널(200)에 대한 사용자 터치를 센싱하여 터치 센싱 데이터(Dtouch)를 생성하고, 터치 센싱 데이터(Dtouch)를 기반으로 터치 영역을 산출한다(S410).First, a user's touch on the touch panel 200 is sensed to generate touch sensing data Dtouch, and a touch area is calculated based on the touch sensing data Dtouch (S410).

이어, 입력되는 영상 소스 데이터(Idata)에 포함된 햅틱 객체 데이터 중에서 상기 터치 영역에 해당되는 햅틱 객체의 햅틱 객체 데이터(HOD)를 추출한다(S420).Next, haptic object data HOD of a haptic object corresponding to the touch area is extracted from the haptic object data included in the input image source data Idata ( S420 ).

이어, 상기 추출된 햅틱 객체 데이터(HOD)에 대응되는 햅틱 신호를 생성한다(S430). 예를 들어, S430 단계는 메모리에서 상기 햅틱 객체의 햅틱 객체 데이터(HOD)에 대응되는 햅틱 신호 정보(HSI)를 추출하고, 상기 햅틱 신호 정보(HSI)에 따라 햅틱 객체 데이터(HOD)에 대응되는 햅틱 기본 파형과 세기를 갖는 햅틱 신호(HS)를 생성할 수 있다. Next, a haptic signal corresponding to the extracted haptic object data HOD is generated (S430). For example, in step S430, haptic signal information (HSI) corresponding to haptic object data (HOD) of the haptic object is extracted from the memory, and haptic object data (HOD) corresponding to the haptic signal information (HSI) is extracted according to the haptic signal information (HSI). A haptic signal HS having a haptic basic waveform and intensity may be generated.

이어, 상기 S430 단계에서 생성된 햅틱 신호를 터치 영역에 포함된 햅틱 전극에 공급하여 터치 영역에 촉감을 발생시킨다(S440).Next, the haptic signal generated in step S430 is supplied to the haptic electrode included in the touch area to generate a sense of touch in the touch area (S440).

이어, 상기 햅틱 전극에 발생되는 촉감에 따른 휴대용 전자 기기의 햅틱 리액션을 센싱하여 햅틱 리액션 데이터(Rdata)를 생성한다(S450).Next, the haptic reaction data Rdata is generated by sensing the haptic reaction of the portable electronic device according to the tactile sense generated by the haptic electrode (S450).

이어, 상기 햅틱 리액션 데이터(Rdata)를 기반으로 햅틱 전극에 공급되는 햅틱 신호의 세기를 조절한다(S460).Next, the intensity of the haptic signal supplied to the haptic electrode is adjusted based on the haptic reaction data Rdata (S460).

예를 들어, 상기 S460 단계는 상기 햅틱 리액션 데이터(Rdata)를 기반으로 예상 촉감 세기를 산출하고, 산출된 예상 촉감 세기와 미리 설정된 기준 촉감 세기 간의 햅틱 세기 편차를 산출하는 단계(S460-1), 및 상기 햅틱 세기 편차에 기초하여 상기 S430 단계에서 생성된 햅틱 신호(HS)의 세기를 조절하는 단계(S460-2)를 포함할 수 있다.For example, in step S460, calculating an expected tactile intensity based on the haptic reaction data Rdata, and calculating a haptic intensity deviation between the calculated expected tactile intensity and a preset reference tactile intensity (S460-1); and adjusting the intensity of the haptic signal HS generated in step S430 based on the haptic intensity deviation ( S460 - 2 ).

그리고, 상기 S460-2 단계는 상기 햅틱 세기 편차와 미리 설정된 기준 편차 범위를 비교하는 단계(S460-21), 상기 햅틱 세기 편차가 상기 기준 편차 범위 이내일 경우(S460-21의 "Yes"), 상기 S320 단계에서 생성된 햅틱 신호(HS)를 상기 터치 영역에 대응되는 햅틱 전극에 공급하여 상기 터치 영역에 촉감을 발생시킴으로써 상기 햅틱 전극에 공급되는 상기 햅틱 신호의 세기를 유지시킨다(S430, S440). 반면에, 상기 햅틱 세기 편차가 상기 기준 편차 범위를 초과할 경우(S460-21의 "No"), 상기 햅틱 세기 편차에 대응되는 촉감 조절 데이터(HAD; 도 3 또는 도 5 참조)를 생성하고(S460-22), 상기 촉감 조절 데이터(HAD)에 따라 상기 햅틱 전극에 공급되는 상기 햅틱 신호의 세기를 조절한다(S460-23).In step S460-2, comparing the haptic intensity deviation with a preset reference deviation range (S460-21), if the haptic intensity deviation is within the reference deviation range (“Yes” in S460-21), The intensity of the haptic signal supplied to the haptic electrode is maintained by supplying the haptic signal HS generated in step S320 to the haptic electrode corresponding to the touch region to generate a sense of touch in the touch region (S430, S440). . On the other hand, when the haptic intensity deviation exceeds the reference deviation range (“No” in S460-21), tactile control data (HAD; see FIG. 3 or 5) corresponding to the haptic intensity deviation is generated ( S460-22), the intensity of the haptic signal supplied to the haptic electrode is adjusted according to the tactile control data HAD (S460-23).

그런 다음, 사용자 터치가 완료될 때까지 상기 S430 단계 내지 S460 단계를 반복적으로 수행한다.Then, steps S430 to S460 are repeatedly performed until the user touch is completed.

이와 같은, 발명의 제 4 예에 따른 휴대용 전자 기기의 구동 방법은 상기 터치 영역에 해당되는 햅틱 객체에 대응되는 햅틱 신호를 통해 터치 영역에 촉감을 발생하고, 센서(500)로부터 제공되는 상기 햅틱 리액션 데이터(Rdata)를 기반으로 햅틱 전극에 공급되는 햅틱 신호의 세기를 실시간으로 조절함으로써 사용자 또는 주변 환경에 따라 사용자 손가락에 인지되는 촉감의 편차를 최소화할 수 있다.As described above, in the method of driving a portable electronic device according to the fourth example of the present invention, a touch is generated in a touch area through a haptic signal corresponding to a haptic object corresponding to the touch area, and the haptic reaction is provided from the sensor 500 . By adjusting the intensity of the haptic signal supplied to the haptic electrode in real time based on the data Rdata, it is possible to minimize the deviation of the sense of touch perceived by the user's finger according to the user or the surrounding environment.

도 10은 본 발명에 따른 휴대용 전자 기기에서, 센서에서 출력되는 햅틱 리액션 데이터를 나타내는 파형도이다.10 is a waveform diagram illustrating haptic reaction data output from a sensor in a portable electronic device according to the present invention.

도 10의 제 1 기간(T1)에서 알 수 있듯이, 초기의 햅틱 신호에 의해 발생되는 촉감에 따라 센서에 의해 측정되는 햅틱 리액션 데이터 값은 사용자 및/또는 주변 환경에 따라 기준 값(Vref)보다 작게 된다.As can be seen in the first period T1 of FIG. 10 , the haptic reaction data value measured by the sensor according to the tactile sense generated by the initial haptic signal is smaller than the reference value Vref according to the user and/or the surrounding environment. do.

반면에, 도 10의 제 2 기간(T2)에서 알 수 있듯이, 본 발명은 햅틱 리액션 데이터에 따라 햅틱 신호의 세기가 조절되고, 이로 인하여 조절된 햅틱 신호에 의해 발생되는 촉감에 따라 센서에 의해 측정되는 햅틱 리액션 데이터 값은 기준 값(Vref)과 동일한 값을 갖게 된다.On the other hand, as can be seen in the second period T2 of FIG. 10 , in the present invention, the intensity of the haptic signal is adjusted according to the haptic reaction data, and accordingly, the intensity of the haptic signal is measured by the sensor according to the sense of touch generated by the adjusted haptic signal. The resulting haptic reaction data value has the same value as the reference value Vref.

따라서, 본 발명은 촉감에 따라 센서에 의해 측정되는 햅틱 리액션 데이터에 기초하여 햅틱 신호의 세기를 설정(또는 조절)함으로써 사용자 또는 주변 환경에 따라 사용자 손가락에 인지되는 촉감의 편차를 최소화할 수 있다.Accordingly, according to the present invention, by setting (or adjusting) the intensity of a haptic signal based on the haptic reaction data measured by the sensor according to the tactile sense, it is possible to minimize the deviation of the tactile sense perceived by the user's finger according to the user or the surrounding environment.

이상과 같은, 본 발명에 따른 휴대용 전자 기기는 사용자 터치에 따른 촉감을 제공할 수 있는 이동 통신 단말기, 모바일 폰, 스마트 폰, 전자 수첩, 전자 책, PMP(Portable Multimedia Player), 네비게이션, UMPC(Ultra Mobile PC), 또는 태블릿 PC(Personal Computer)가 될 수 있다.As described above, the portable electronic device according to the present invention is a mobile communication terminal, mobile phone, smart phone, electronic notebook, e-book, PMP (Portable Multimedia Player), navigation, UMPC (Ultra) capable of providing a tactile sense according to a user's touch. Mobile PC), or tablet PC (Personal Computer).

이상에서 설명한 본 발명은 전술한 실시 예 및 첨부된 도면에 한정되는 것이 아니고, 본 발명의 기술적 사항을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다. 그러므로, 본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The present invention described above is not limited to the above-described embodiments and the accompanying drawings, and it is common in the technical field to which the present invention pertains that various substitutions, modifications and changes are possible without departing from the technical matters of the present invention. It will be clear to those who have the knowledge of Therefore, the scope of the present invention is indicated by the following claims, and all changes or modifications derived from the meaning and scope of the claims and their equivalent concepts should be construed as being included in the scope of the present invention.

100: 디스플레이 패널 200: 터치 패널
300: 호스트 제어부 400: 디스플레이 구동부
500: 센서 600: 터치 구동부
630, 800: 햅틱 구동부 700: 햅틱 패널100: display panel 200: touch panel
300: host control unit 400: display driving unit
500: sensor 600: touch driving unit
630, 800: haptic driving unit 700: haptic panel

Claims

사용자 터치에 따른 촉감을 제공하는 휴대용 전자 기기에 있어서,
디스플레이 패널;
상기 디스플레이 패널 상에 배치된 복수의 송신 라인과 복수의 수신 라인을 갖는 터치 패널;
터치 모드시 상기 터치 패널에 대한 사용자 터치에 따른 상기 복수의 수신 라인의 정전 용량 변화를 감지하여 터치 센싱 데이터를 생성하고, 햅틱 모드시 터치 영역에 포함된 송신 라인 및 수신 라인 중 적어도 하나인 햅틱 전극에 햅틱 신호를 공급하는 터치 구동부; 및
상기 햅틱 신호에 따른 촉감에 의해 발생되는 휴대용 전자 기기의 햅틱 리액션(Haptic reaction)을 센싱하여 햅틱 리액션 데이터를 생성하는 센서를 포함하며,
상기 터치 구동부는 상기 센서로부터 제공되는 햅틱 리액션 데이터에 따라 상기 햅틱 신호를 생성하여 상기 햅틱 전극에 공급하는 햅틱 구동부를 포함하고,
상기 센서는 상기 휴대용 전자 기기의 기본 센서인 가속도 센서, 자이로 센서, 포스 센서 중 어느 하나를 이용하여 상기 휴대용 전자 기기의 햅틱 리액션을 센싱하고,
상기 햅틱 구동부는,
상기 햅틱 리액션 데이터를 기반으로 햅틱 신호의 세기 정보를 설정하여 메모리에 저장하고, 상기 메모리에 저장되어 있는 상기 햅틱 신호의 세기 정보를 이용하여 상기 햅틱 리액션 데이터에 따라 상기 햅틱 신호를 생성하는, 휴대용 전자 기기.A portable electronic device that provides a tactile sense according to a user's touch, comprising:
display panel;
a touch panel having a plurality of transmission lines and a plurality of reception lines disposed on the display panel;
In the touch mode, a change in capacitance of the plurality of reception lines according to a user's touch on the touch panel is sensed to generate touch sensing data, and in the haptic mode, a haptic electrode which is at least one of a transmission line and a reception line included in the touch area. a touch driver for supplying a haptic signal to the device; and
and a sensor for generating haptic reaction data by sensing a haptic reaction of a portable electronic device generated by a tactile sense according to the haptic signal,
The touch driver includes a haptic driver that generates the haptic signal according to the haptic reaction data provided from the sensor and supplies it to the haptic electrode,
The sensor senses a haptic reaction of the portable electronic device using any one of an acceleration sensor, a gyro sensor, and a force sensor, which are basic sensors of the portable electronic device,
The haptic driving unit,
A portable electronic that sets intensity information of a haptic signal based on the haptic reaction data and stores it in a memory, and generates the haptic signal according to the haptic reaction data using the intensity information of the haptic signal stored in the memory device.

사용자 터치에 따른 촉감을 제공하는 휴대용 전자 기기에 있어서,
디스플레이 패널;
상기 디스플레이 패널 상에 배치된 복수의 송신 라인과 복수의 수신 라인을 갖는 터치 패널;
상기 터치 패널 상에 배치되고 햅틱 전극을 갖는 햅틱 패널;
상기 터치 패널에 대한 사용자 터치에 따른 상기 복수의 수신 라인의 정전 용량 변화를 감지하여 터치 센싱 데이터를 생성하는 터치 구동부;
햅틱 신호를 생성하여 상기 햅틱 전극에 공급하는 햅틱 구동부; 및
상기 햅틱 신호에 따른 촉감에 의해 발생되는 휴대용 전자 기기의 햅틱 리액션(Haptic reaction)을 센싱하여 햅틱 리액션 데이터를 생성하는 센서를 포함하며,
상기 햅틱 구동부는 상기 센서로부터 제공되는 햅틱 리액션 데이터에 따라 상기 햅틱 신호를 생성하여 상기 햅틱 전극에 공급하고,
상기 센서는 상기 휴대용 전자 기기의 기본 센서인 가속도 센서, 자이로 센서, 포스 센서 중 어느 하나를 이용하여 상기 휴대용 전자 기기의 햅틱 리액션을 센싱하고,
상기 햅틱 구동부는,
상기 햅틱 리액션 데이터를 기반으로 햅틱 신호의 세기 정보를 설정하여 메모리에 저장하고, 상기 메모리에 저장되어 있는 상기 햅틱 신호의 세기 정보를 이용하여 상기 햅틱 리액션 데이터에 따라 상기 햅틱 신호를 생성하는, 휴대용 전자 기기.A portable electronic device that provides a tactile sense according to a user's touch, comprising:
display panel;
a touch panel having a plurality of transmission lines and a plurality of reception lines disposed on the display panel;
a haptic panel disposed on the touch panel and having a haptic electrode;
a touch driving unit generating touch sensing data by sensing a change in capacitance of the plurality of reception lines according to a user's touch on the touch panel;
a haptic driver that generates a haptic signal and supplies it to the haptic electrode; and
and a sensor for generating haptic reaction data by sensing a haptic reaction of a portable electronic device generated by a tactile sense according to the haptic signal,
The haptic driver generates the haptic signal according to the haptic reaction data provided from the sensor and supplies it to the haptic electrode;
The sensor senses a haptic reaction of the portable electronic device using any one of an acceleration sensor, a gyro sensor, and a force sensor, which are basic sensors of the portable electronic device,
The haptic driving unit,
A portable electronic that sets intensity information of a haptic signal based on the haptic reaction data and stores it in a memory, and generates the haptic signal according to the haptic reaction data using the intensity information of the haptic signal stored in the memory device.

삭제delete

제 1 항 또는 제 2 항에 있어서,
상기 햅틱 구동부는,
상기 햅틱 리액션 데이터를 기반으로 예상 촉감 세기를 산출하고, 산출된 예상 촉감 세기를 미리 설정된 기준 촉감 세기로 변경하기 위한 상기 햅틱 신호의 세기 정보를 설정하여 상기 메모리에 저장하는, 휴대용 전자 기기.3. The method of claim 1 or 2,
The haptic driving unit,
A portable electronic device comprising: calculating an expected tactile intensity based on the haptic reaction data; setting intensity information of the haptic signal for changing the calculated expected tactile tactile intensity to a preset reference tactile intensity; and storing the haptic signal intensity information in the memory.

제 1 항 또는 제 2 항에 있어서,
상기 터치 센싱 데이터를 기반으로 터치 영역을 산출하고, 입력되는 영상 소스 데이터에 포함된 햅틱 객체 데이터 중에서 상기 터치 영역에 해당되는 햅틱 객체의 햅틱 객체 데이터를 추출하는 호스트 제어부를 더 포함하며,
상기 햅틱 구동부는,
상기 햅틱 리액션 데이터를 기반으로 예상 촉감 세기를 산출하고, 산출된 예상 촉감 세기를 미리 설정된 기준 촉감 세기로 변경하기 위한 상기 햅틱 신호의 세기 정보를 설정하여 상기 메모리에 저장하고,
상기 햅틱 객체의 햅틱 객체 데이터에 대응되는 상기 햅틱 기본 파형을 생성하고, 상기 사용자 터치가 발생될 때 마다 상기 메모리에 저장되어 있는 상기 햅틱 신호의 세기 정보에 따라 상기 햅틱 기본 파형의 세기를 조절하여 상기 햅틱 신호를 생성하는, 휴대용 전자 기기.3. The method of claim 1 or 2,
A host controller for calculating a touch area based on the touch sensing data and extracting haptic object data of a haptic object corresponding to the touch area from among haptic object data included in the input image source data,
The haptic driving unit,
Calculating an expected tactile intensity based on the haptic reaction data, setting and storing intensity information of the haptic signal for changing the calculated expected tactile intensity to a preset reference tactile intensity, and storing it in the memory;
The haptic basic waveform corresponding to the haptic object data of the haptic object is generated, and the intensity of the haptic basic waveform is adjusted according to the intensity information of the haptic signal stored in the memory whenever the user touch is generated. A portable electronic device that generates a haptic signal.

제 1 항 또는 제 2 항에 있어서,
상기 햅틱 구동부는,
제 1 기간 동안 상기 햅틱 신호를 상기 햅틱 전극에 공급하고,
상기 제 1 기간 이후의 제 2 기간 동안 상기 햅틱 리액션 데이터를 기반으로 예상 촉감 세기를 산출하고, 산출된 예상 촉감 세기를 미리 설정된 기준 촉감 세기로 변경하기 위한 촉감 조절 데이터를 상기 메모리에 저장되어 있는 상기 햅틱 신호의 세기 정보로부터 추출하여, 상기 촉감 조절 데이터에 따라 상기 햅틱 전극에 공급되는 햅틱 신호의 세기를 조절하고,
상기 햅틱 신호의 세기 정보는, 상기 예상 촉감 세기와 상기 기준 촉감 세기 간의 편차에 대한 상기 촉감 조절 데이터가 맵핑된 룩-업 테이블을 포함하는, 휴대용 전자 기기.3. The method of claim 1 or 2,
The haptic driving unit,
supplying the haptic signal to the haptic electrode for a first period;
For a second period after the first period, an expected tactile intensity is calculated based on the haptic reaction data, and tactile control data for changing the calculated expected tactile intensity to a preset reference tactile intensity is stored in the memory. extracting the intensity information of the haptic signal and adjusting the intensity of the haptic signal supplied to the haptic electrode according to the tactile control data;
The intensity information of the haptic signal includes a look-up table in which the tactile control data for a deviation between the expected tactile intensity and the reference tactile intensity is mapped.

제 1 항 또는 제 2 항에 있어서,
상기 터치 센싱 데이터를 기반으로 터치 영역을 산출하고, 입력되는 영상 소스 데이터에 포함된 햅틱 객체 데이터 중에서 상기 터치 영역에 해당되는 햅틱 객체의 햅틱 객체 데이터를 추출하는 호스트 제어부를 더 포함하며,
상기 햅틱 구동부는,
제 1 기간 동안 메모리에 저장되어 있는 상기 햅틱 객체의 햅틱 객체 데이터에 대응되는 상기 햅틱 신호를 생성하여 상기 햅틱 전극에 공급하고,
상기 제 1 기간 이후의 제 2 기간 동안 상기 햅틱 리액션 데이터를 기반으로 예상 촉감 세기를 산출하고, 산출된 예상 촉감 세기를 미리 설정된 기준 촉감 세기로 변경하기 위한 촉감 조절 데이터를 상기 메모리에 저장되어 있는 햅틱 신호의 세기 정보로부터 추출하여, 상기 촉감 조절 데이터에 따라 상기 햅틱 전극에 공급되는 햅틱 신호의 세기를 조절하고,
상기 햅틱 신호의 세기 정보는, 상기 예상 촉감 세기와 상기 기준 촉감 세기 간의 편차에 대한 상기 촉감 조절 데이터가 맵핑된 룩-업 테이블을 포함하는, 휴대용 전자 기기.3. The method of claim 1 or 2,
A host controller for calculating a touch area based on the touch sensing data and extracting haptic object data of a haptic object corresponding to the touch area from among haptic object data included in the input image source data,
The haptic driving unit,
generating the haptic signal corresponding to the haptic object data of the haptic object stored in the memory for a first period and supplying it to the haptic electrode;
For a second period after the first period, an expected tactile intensity is calculated based on the haptic reaction data, and haptic control data for changing the calculated expected tactile intensity to a preset reference tactile intensity is stored in the memory. extracting the signal strength information and adjusting the strength of the haptic signal supplied to the haptic electrode according to the tactile control data;
The intensity information of the haptic signal includes a look-up table in which the tactile control data for a deviation between the expected tactile intensity and the reference tactile intensity is mapped.

삭제delete