WO2012108611A1 - 다중 터치입력 처리 장치 - Google Patents

다중 터치입력 처리 장치 Download PDF

Info

Publication number
WO2012108611A1
WO2012108611A1 PCT/KR2011/008755 KR2011008755W WO2012108611A1 WO 2012108611 A1 WO2012108611 A1 WO 2012108611A1 KR 2011008755 W KR2011008755 W KR 2011008755W WO 2012108611 A1 WO2012108611 A1 WO 2012108611A1
Authority
WO
WIPO (PCT)
Prior art keywords
touch
coordinates
signal
point
contact
Prior art date
Application number
PCT/KR2011/008755
Other languages
English (en)
French (fr)
Inventor
김용철
Original Assignee
주식회사 알엔디플러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020110012049A external-priority patent/KR101057620B1/ko
Application filed by 주식회사 알엔디플러스 filed Critical 주식회사 알엔디플러스
Publication of WO2012108611A1 publication Critical patent/WO2012108611A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Definitions

  • the present invention relates to a touch input device, and more particularly, to a device for improving the processing capability of multi-writing and multi-touch gestures by tracking and processing a rule of multi-coordinates in a multi-touch technology.
  • the technical problem to be achieved by the present invention is to solve the disadvantages of the prior art as a technique for tracking and processing the trajectories of the multi-coordinate in the multi-touch technology in the touch input device apparatus for improving the processing ability of multi-writing and multi-touch gestures, etc. To provide.
  • the present invention can process coordinates that are multi-touched in a multi-touch input device, measure and process multi-touch coordinates continuously, and measure and process continuous coordinates when an intersection occurs in the multi-touch input. It is an object of the present invention to provide a device capable of handling a case where the number of touch points is changed during multi-touch coordinate measurement.
  • Multi-touch input processing apparatus for achieving the above object
  • At least one transmission module for transmitting a touch measurement signal including at least one pulse, at least one reception module for receiving the touch measurement signal transmitted from the transmission module, and a touch measurement signal received at the at least one reception module
  • a control unit for calculating the coordinates of the touch point from the control unit;
  • a touch panel configured to receive a touch input from a user.
  • the transmitting module includes an amplifier for amplifying a pulse touch signal, an analog switch for controlling the output of the pulse touch signal amplified by the amplifier; And a transmitting device for transmitting an output signal of the analog switch to a touch area.
  • the receiving module may include a receiving element receiving a touch measurement signal transmitted from the transmitting module and a signal processing filter for removing an external interference signal among the signals received from the receiving element; And a comparator comparing the output signal of the signal processing filter with a reference signal and outputting the digital signal.
  • the receiving module further includes a reference clock generator, a logic calculator, and a digital counter operator, and ANDs the signal output from the comparator and the reference clock output from the reference clock generator to filter the signal through a digital counter operator.
  • the reference clock is counted to convert the size of the received signal to digital.
  • the signal processing filter may include a first operation amplifier which is a power supply line for receiving power, a reception port transistor for receiving a signal including a touch signal, an analog switch, and a low pass filter for removing external noise signals; And a second operational amplifier for amplifying the output signal of the first operational amplifier.
  • a first operation amplifier which is a power supply line for receiving power
  • a reception port transistor for receiving a signal including a touch signal, an analog switch, and a low pass filter for removing external noise signals
  • a second operational amplifier for amplifying the output signal of the first operational amplifier.
  • control unit is a microprocessor for managing the devices included in the multi-touch input processing device, an ID management unit for managing the ID for the multi-touch area touched by the user through the touch panel, received through the receiving module
  • ID management unit for managing the ID for the multi-touch area touched by the user through the touch panel, received through the receiving module
  • a touch calculator configured to calculate an attribute of a touch point from the touch measurement signal, and a filter manager configured to manage the order of the signal processing filter included in the receiving module according to a touch coordinate determination time;
  • storage unit for storing parameter values applied to devices included in the multi-touch input processing device.
  • the storage unit may display report ID, which is an information processing unit, a status value of a touch state of a touch point, a coordinate of a touch point, a size of a touch area, and a continuity of values of each touch point as data transmitted to information processing of a touch point.
  • Contact ID can be stored and
  • the filter manager may set the order of the signal processing filter to match the touch coordinate determination time, and initialize the signal processing filter when the contact ID is 0 by matching the contact ID of each touch coordinate with each filter.
  • the touch calculator may select only a section in which the magnitude of the touch measurement signal received from the receiving module is smaller than a threshold value, and calculate the size of the coordinates and the touch area based on probability distribution. Comparing the coordinates to further calculate the movement direction of the touch coordinates, and the storage unit further stores the movement direction of the coordinates.
  • the ID management unit allocates a contact ID to the touch point
  • the storage unit stores the coordinates of the measured touch point, the touch area, and the contact ID
  • the touch operation unit receives the received after a predetermined time elapses.
  • the new touch coordinates and the size of the touch area are calculated from the touch measurement signal received through the module, and the minimum distance coordinates and the maximum distance coordinates are recognized as continuous coordinates based on the touch coordinates measured at the previous time.
  • the coordinates of the measured touch point, the touch area and the movement direction of the coordinates and the contact ID are stored, and the new touch coordinates and the size and movement of the new touch coordinates and the touch area from the touch measurement signal received through the receiving module after a certain time has elapsed. Calculates the direction, and recognizes touch coordinates having the same movement direction as the touch coordinates measured at the previous time point as successive coordinates to inherit the previous Contact ID,
  • the new touch coordinates and the size of the touch area are calculated from the touch measurement signal received through the receiving module, and the number of touch coordinates measured after a certain time elapses is measured at a previous time point. If it is less than the number of coordinates, each of the coordinates of the minimum distance based on the touch coordinates measured at the previous time point is recognized as a continuous point of the touch coordinates at the previous time point to inherit the Contact ID. Set the touch up status and remove the contact ID from the storage.
  • each of the coordinates of the minimum distance based on the touch coordinates measured at the previous time point is a continuation of the touch coordinates at the previous time point. It recognizes the point to inherit the Contact ID, and recognizes each coordinate of the maximum distance as new additional coordinates based on the touch coordinates measured at the previous time point, and assigns each Contact ID. Characterized in that for storing the contact ID.
  • the multi-touch input processing apparatus and method according to the present invention having the configuration as described above can improve the processing capability of multi-writing and multi-touch gestures by the technology of tracking and processing the trajectory of the multi-coordinate in the touch input device.
  • FIG. 1 is a schematic configuration diagram of a multi-point measuring device according to an embodiment of the present invention.
  • FIG. 2 is a view illustrating attenuation of a touch measurement signal in a region touched by a user in a multi-touch input device according to the present invention.
  • FIG. 3 is a diagram illustrating a virtual image generated when a multi-touch is performed in a multi-touch input device according to the present invention.
  • FIG. 4 is a state diagram of processing comfort of a multi-touch point in the multi-touch input device according to the present invention.
  • FIG 5 illustrates a change in contact ID and state of a point touched by a multi-touch in the multi-touch input device according to the present invention.
  • FIG. 6 illustrates a change in contact ID and state when the first touch is stopped and the second touch is continuous in the multi-touch input device according to the present invention.
  • FIG. 7 is an example for explaining a principle of distinguishing a virtual image when a touch coordinate measured after a predetermined time increases from the first measured touch coordinate in the multi-touch input device according to the present invention.
  • FIG. 8 is an example for explaining a principle of distinguishing a virtual image when one touch coordinate is removed from two initial touch coordinates including the virtual image in the multi-touch input device according to the present invention.
  • FIG. 9 is an example for explaining a principle of classifying a virtual image by a distance and a direction of touch coordinates in a vector format in a multi-touch input device according to the present invention.
  • 10 is an example for processing the continuous coordinates using the characteristics of inertia in the multi-touch input device according to the present invention.
  • 11 is an example of a data format for managing touch coordinates in a multi-touch input device according to the present invention.
  • FIG. 12 is a detailed configuration diagram of a call module in a multi-touch input device according to the present invention.
  • FIG. 13 is a detailed configuration diagram of a signal processing filter in a multi-touch input device according to the present invention.
  • FIG. 14 is a detailed configuration diagram of a controller in a multi-touch input device according to the present invention.
  • Y-axis transmission module 141 Y-axis transmission module driver
  • control unit 210 originating module
  • first first touch point 750 continuous first touch point
  • first second touch point 850 continuous first touch point
  • first first touch point 920 continuous first touch point
  • transmission module 1201 pulse generator
  • analog signal switch 1340 first operational amplifier
  • control unit 1410 microprocessor
  • filter management unit 1450 storage unit
  • FIG. 1 is a schematic block diagram of a multi-touch input device according to an embodiment of the present invention.
  • Multi-touch input device is the X-axis receiving module (110, 120), X-axis receiving module driver (111, 121), Y-axis receiving module (130, 140), Y-axis receiving driver (131, 141 and the controller 230.
  • the X-axis receiving and receiving module 110 and 120 and the Y-axis receiving and receiving module 130 and 140 may be configured to include a predetermined number of one infrared generating unit and one infrared receiving unit.
  • the X / Y axis transmission module drivers 121 and 141 drive the touch measurement signal generator described in FIG. 12 arranged on the X / Y axis to radiate the touch measurement signal, for example, an infrared signal to the touch panel, and the X / Y axis Receiving module drivers 111 and 131 drive X / Y-axis receiving modules 110 and 130 arranged on the X / Y-axis, specifically the X / Y-axis transmitting module by driving the touch measurement signal receiving unit described in detail with reference to FIG. An infrared signal emitted from the 120 and 140 and an external signal such as sunlight are received.
  • the infrared signal is exemplified as the touch measurement signal, it should be noted that the RF signal and the LED emission signal may also be used as the touch measurement signal.
  • FIG. 1 illustrates a structure in which an outgoing module and a receiving module are arranged to face each other, that is, a structure in which only one outgoing module is arranged on one side and only a receiving module is arranged on the other side, but both sides are alternately arranged as necessary. Note that it is possible to arrange in.
  • the controller 150 processes the infrared signals received from the X-axis receiving module 110 and the Y-axis receiving module 130 to calculate the coordinates of the touched point on the touch panel by the user.
  • the diameter of the touched point may be calculated as an example of the size of the touched point as well as the coordinates of the x-axis and the y-axis.
  • FIG. 2 is a view illustrating attenuation of a touch measurement signal in a region touched by a user in a multi-touch input device according to the present invention.
  • the touch measurement signal emitted by each transmission module 210 is measured by P n at the reception module 220.
  • n is the sequence number index of the receiving module.
  • the infrared signal emitted from the transmitting module 210 is received by the receiving module 220.
  • the infrared signal emitted from the transmitting module 210 may emit a finger or an object.
  • the infrared signal received by the reception module 220 located in the area 230 that is covered by the user's finger or an object among the infrared signals received by the reception module 220 becomes relatively small.
  • the coordinates of the touch area on the touch panel and the size of the touch area may be extracted by extracting a serial number of the receiving module 220 having a signal having a size smaller than a predetermined threshold T among the infrared signals received by the receiving module 220. Can be calculated.
  • x m and y m ' are called coordinate values of the maximum value of the touch area among the receiving modules, and x n and y n' are called coordinate values of the minimum value of the touch area, respectively, and x ev and y ev are calculated by probability. Let be the coordinates of the actual touch point.
  • X ev (k) and Y ev (k) are obtained by the above equation.
  • the minimum value of is expressed as (0,0) and the maximum value as resolution (800,600).
  • the x-axis diameter r xev and the y-axis diameter r yev of the touched area are given as follows.
  • K denotes an integer between 1 and the maximum multi-touch value set in the storage unit to be described below, where 1 means that one point is touched, and when 2 or more, it means multiple touches.
  • FIG. 3 is a diagram illustrating a virtual image generated when a multi-touch is performed in a multi-touch input device according to the present invention.
  • the coordinate measurement in the touch input device using the XY Project type is accompanied by a virtual image on the same axis as the area to be touched.
  • an infrared signal received by the receiving module 310 in areas A and B touched by the user has a small value, and areas C and D on the same axis as A and B are also received.
  • the value of ⁇ has a small value, but becomes a virtual image, which is not actually touched, but is inevitably generated in the multi-touch input device. This virtual image makes it difficult to accurately track the coordinates of the touch point in the multi-touch device.
  • Tracking of the multi-touch coordinates according to an embodiment of the present invention is described with reference to FIGS. 4 to 9 using the state of the touch point.
  • Figure 4 is a state of processing the comfort of the multi-touch point in the multi-touch input device according to the present invention nx (number of center coordinates of the multi-point touch calculated by the scan of the X-axis) ny (calculated by the scan of the y-axis) The number of center coordinates of the multi-point touch) and B (x, y) (the touch areas of the respective multi-touch points including the virtual image) are respectively defined.
  • FIG 5 illustrates a change in contact ID and state of a point touched by a multi-touch in the multi-touch input device according to the present invention.
  • FIG. 6 illustrates a change in contact ID and state when the first touch is stopped and the second touch is continuous in the multi-touch input device according to the present invention.
  • FIG. 7 is an example for explaining a principle of distinguishing a virtual image when a touch coordinate measured after a predetermined time increases from the first measured touch coordinate in the multi-touch input device according to the present invention.
  • FIG. 8 is an example for explaining a principle of distinguishing a virtual image when one touch coordinate is removed from two initial touch coordinates including the virtual image in the multi-touch input device according to the present invention.
  • FIG. 9 is an example for explaining a principle of classifying a virtual image by a distance and a direction of touch coordinates in a vector format in a multi-touch input device according to the present invention.
  • state 1 is a state in which N points are touched in FIG. 4, if a first touch (recognition as a reference touch point) is made, the advantage is stored in the memory.
  • an arbitrary contact ID1 is given to the information memory of the corresponding corresponding touch point, the coordinates x [n] and y [n] are given, and the touch point is in a touch-down state (that is, being touched).
  • N MAX (nx, ny), and the maximum value of nx and ny is actually calculated as the maximum possible touch point.
  • the control state is changed to state 2 when N is N> 1.
  • the maximum touch coordinate index NMax nx + ny is stored in Pmax.
  • the number of coordinates of four points, including the virtual images 720 and 730, occurs in the case of two points.
  • the distance of each point is measured by using the Pythagorean principle as shown in FIG. 9 based on the reference point (740 of FIG. 7) stored at the first t (i). It is determined as a continuous point of the reference point and assigns contact ID 1 and coordinates and touch state information given in state 1.
  • the second point is to select the coordinate where the distance of the touch point is farthest from the reference point, assign and assign a unique Contact ID that does not overlap with Contact ID 2, as in t (i + 1) in Figure 5.
  • the coordinates are stored in the storage unit with the values x [n + 1], y [m + 1] and the touch-down state.
  • State 3 is a state in which N + 1 points are touched, and when two touch points are continuous, the continuous coordinates are defined as t (740 in FIG. 7) based on the reference point (740 in FIG. 7) of t (i + 1) as shown in FIG. At i + 2), the points at the touch distance (including the virtual image) minimum distance are determined as continuous points, and the points at the maximum distance are determined as the second continuous points at t (i + 1).
  • the multi-touch point information is inherited at t (i + 1), respectively, and the coordinates are changed to the final measured coordinate values.
  • the maximum touch coordinate index NMax nx + ny is stored in Pmax.
  • State 4 is a state where intersection occurs at N + 1 points, and when nx and ny do not have the same value when measuring a multipoint trajectory of two or more points, it is determined as an intersection state of multiple points. That is, as shown in FIG. 10, a rule measuring or not determining a coordinate due to the intersection of points occurs due to the virtual image.
  • the present invention uses the principle of touch inertia in order to solve such an inability to determine the rule. That is, the touch path follows the law of motion, and the movement of points moves according to the characteristics of inertia. Since the measurement of the touch trace using the characteristics of inertia is described in detail below, a detailed description thereof will be omitted.
  • State 5 is a state in which the touch point is reduced.
  • FIG. 5 illustrates a case in which the first touch points are continuous and the second touch is continuous
  • FIG. 6 illustrates a process in which the second touch is removed.
  • the first touch is continuous and the second touch is continuous, but the first touch is continuous.
  • State 6 is a state in which the touch is terminated.
  • N MAX (nx, ny) is 0, all coordinates of the touch points existing on the touch surface are lost, so all touch points are set to touch up. Initialize both storage and filter.
  • N MAX (nx, ny)
  • NMax nx + ny of each point in state 1, state 2, state 3, state 4 and state 5.
  • 10 is an example for processing the continuous coordinates using the characteristics of inertia in the multi-touch input device according to the present invention.
  • the intersection is made and the coordinate of the touch point consecutive to the measured touch point 1010 is 1070.
  • the minimum distance measurement theoretically has a high frequency when the touch point 1050 becomes the minimum length. Therefore, if the touch point coordinates that are continuous at the touch point 1010 at the intersection are measured as 1050, it is not intended to move when the object is touched. Does not cause hungry.
  • the touch path tries to move the trend of the moving direction further according to the law of inertia
  • the continuous coordinate of the touch point coordinate 1010 is selected as the touch point 1050
  • a negative sign is generated when the moving direction of the touch is measured as shown in FIG.
  • the touch point 1070 is selected, the continuous coordinates are determined by selecting a case in which the movement of the touch is a plus sign, that is, the same continuous direction of movement, thereby expressing a natural human touch behavior.
  • Touch point 1010 and touch point 1040 are actual touch points, and touch point 1020 and touch point 1030 correspond to a virtual image.
  • Touch point 1060 and touch point 1070 are the actual touch points after the two points intersect, and their direction of travel coincides with touch point 1010 and touch point 1040. That is, when an intersection arises, the continuous path
  • the position of the values of x [n] and y [m] at t (i + 2) is a touch in which x [n] and y [m + 1] are continuous at the time t (i + n-1) after the crossing. Judging by the coordinates.
  • t (i + 2) is continuous at x [n] and y [m]
  • x [n] and y [m] is selected at t (i + n-1)
  • the direction of movement will be reversed.
  • the movement direction at the crossing of the y-axis is obtained in the same direction.
  • the trajectory of the touch point is dominantly moved by inertia according to the inertia, so if an intersection occurs, the coordinate movement is always at t (i + 2) and t (i + n-1) based on the coordinate where the intersection occurs. Coordinates moving in the same direction are judged as continuous coordinates.
  • the maximum touch coordinate index NMax nx + ny is stored in Pmax.
  • 11 is an example of a data format for managing touch coordinates in a multi-touch input device according to the present invention.
  • Report ID is a value defined for information processing, and each set of coordinates is basically a touch state (Up, down). , move), etc., status values, coordinates and diameter sizes of the corresponding touch points are set independently.
  • Contact ID which means that the values of each touch point are continuous, has a unique value that does not overlap when stored in the storage unit.
  • the number of valid coordinates valid for the storage unit and the maximum number of contacts for setting the maximum possible memory size when transmitting more coordinates than the memory may be included.
  • each coordinate is filtered with low pass digital (LPF), and each coordinate can be processed with its own filter.
  • the order of the filter is set to match the scan time of the touch, and the process of initializing the filter when the contact ID is 0 (the point is removed) by connecting the contact ID and the filter of each coordinate. . Therefore, in the case of the multi-point processing of the infrared touch, the coordinates corresponding to the filter must be accurately calculated, and therefore, since the touch state available to the user is provided, each successive coordinate must be calculated according to the state of the present invention. If the contact ID is 0, this means that the coordinates of the point are not determined to be valid.
  • FIG. 12 is a detailed configuration diagram of a transmitting module and a receiving module in a multi-touch input device according to the present invention.
  • the transmitting module 1200 includes an amplifying amplifier 1201 for amplifying the touch measuring signal, a transmitting analog switch 1202 for controlling the output of the touch measuring signal, and a touch measuring signal generator 1203 for transmitting touch measuring signals such as infrared signals. ).
  • the reception module 1210 is configured to remove external interference signals in addition to the touch measurement signal receiver 1211, the reception signal analog switch 1212, and the touch measurement signal transmitted from the transmission module, which receive a touch measurement signal such as an infrared signal. And a comparator 1214 for outputting a digital signal by comparing the signal output from the signal processing filter 1213 and the signal processing filter 1213 with the reference voltage REF.
  • TR denotes an outgoing analog switch control signal for controlling transmission of a touch measurement signal
  • RCV denotes a received analog switch control signal for controlling reception of a touch measurement signal
  • CLR denotes a control signal for initializing a value of a digital counter
  • DATA denotes a digital The output value of the counter.
  • the discrete operator 1220 ANDs the output signal of the reference clock CLK and the comparator.
  • the digital counter 1230 counts the number of discrete clocks.
  • the signal output from the comparator 1214 sums up the reference clock with AND logic and counts the frequency of the reference clock CLK when the magnitude of the infrared signal is greater than the reference voltage REF through the digital counter 1230. The magnitude of the received light is converted to digital.
  • FIG. 13 is a detailed configuration diagram of a signal processing filter in a multi-touch input device according to the present invention.
  • the signal processing filter includes a power signal line 1310, an infrared receiver port transistor 1320, an analog signal switch 1330, and a first operational amplifier 1340 for supplying power to the signal processing filter. And a second operational amplifier 1350.
  • the embodiment of the present invention is characterized by the function of amplifying only the infrared signal through the arrangement of each component, the description of the function of each component will be omitted.
  • the signal processing filter should have no phase shift when the filter is applied, and provides a filter function that depends on the amplification ratio of each frequency signal without changing the phase.
  • the signal amplified by the first operational amplifier 1340 is the same as the following equation and primarily blocks external infrared signals such as sunlight or light.
  • a combination of R4 and C2 constitutes a low pass filter.
  • the signal amplified by the second operational amplifier 1350 secondarily provides a filter function as in the following equation.
  • FIG. 14 is a detailed configuration diagram of a controller in a multi-touch input device according to the present invention.
  • the controller 1400 of the multi-touch input device provides a microprocessor 1410 for managing devices included in the multi-touch input processing device and an ID for a multi-touch area touched by a user through the touch panel.
  • the ID manager 1430 managing the touch operator 1420 that calculates the touch point property from the touch measurement signal received through the receiving module, and the order of the signal processing filter included in the receiving module at the touch coordinate determination time.
  • the apparatus may further include a filter manager 1440 correspondingly managing and a storage unit 1450 in which parameter values applied to devices included in the multi-touch input processing apparatus are stored.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 터치 입력장치 중 멀티 터치 기술에서 다중 좌표의 괘적을 추적하고 처리하는 기술로 다중 판서 및 멀티 제스쳐 등의 처리 능력을 향상시키는 장치 및 방법에 관한 것으로 적어도 하나 이상의 펄스를 포함하는 터치 측정 신호를 송출하는 적어도 하나 이상의 발신 모듈, 상기 발신 모듈에서 송출된 상기 터치 측정 신호를 수신하는 적어도 하나 이상의 수신 모듈, 상기 적어도 하나 이상의 수신 모듈에서 수신된 터치 측정 신호로부터 터치 지점의 좌표를 연산하는 제어부 및 사용자로부터 터치 입력을 입력받는 터치 패널을 포함하는 것을 특징으로 한다.

Description

다중 터치입력 처리 장치
본 발명은 터치 입력장치에 관한 것으로, 터치 입력장치에서 멀티 터치 기술에서 다중 좌표의 괘적을 추적하고 처리하는 기술로 다중 판서 및 멀티 터치 제스쳐 등의 처리 능력을 향상시키는 장치에 관한 것이다.
일반적으로 종래에는 멀티 터치가 어려우며, 특히 다중 좌표의 괘적을 추적하고 처리하는 기술이 전무하였다.
또한, 다중 판서 및 멀티 터치 제스쳐 등의 처리 능력을 향상 시키는 것은 매우 어려운 문제였다.
본 발명이 이루고자 하는 기술적 과제는 종래의 단점을 해결하고자 하는 것으로 터치 입력장치에서 멀티 터치 기술에서 다중 좌표의 괘적을 추적하고 처리하는 기술로서 다중 판서 및 멀티 터치 제스쳐 등의 처리 능력을 향상시키는 장치를 제공하는 것이다.
구체적으로 본 발명은 다중 터치입력 장치에서 다중 터치되는 좌표를 처리하고, 다중 터치 좌표를 연속적으로 측정하고 처리할 수 있으며, 다중 터치 입력에 교차점이 발생한 경우의 연속되는 좌표를 측정하고 처리할 수 있으며 다중 터치 좌표 측정 시 터치 지점의 개수가 변경되는 경우의 처리할 수 있는 장치를 제공하는 것이다.
상기와 같은 과제를 달성하기 위한 본 발명에 따른 다중 터치입력 처리 장치는,
적어도 하나 이상의 펄스를 포함하는 터치 측정 신호를 송출하는 적어도 하나 이상의 발신 모듈, 상기 발신 모듈에서 송출된 상기 터치 측정 신호를 수신하는 적어도 하나 이상의 수신 모듈, 상기 적어도 하나 이상의 수신 모듈에서 수신된 터치 측정 신호로부터 터치 지점의 좌표를 연산하는 제어부; 및 사용자로부터 터치 입력을 입력받는 터치 패널을 포함하며,
상기 발신 모듈은 펄스 터치 신호를 증폭하는 증폭기, 상기 증폭기에서 증폭된 펄스 터치 신호의 출력을 제어하는 아날로그 스위치; 및 상기 아날로그 스위치의 출력신호를 터치 영역으로 송출하는 발신 소자를 더 포함할 수 있으며,
상기 수신 모듈은 상기 발신 모듈에서 송출된 터치 측정 신호를 수신하는 수신 소자, 상기 수신 소자로부터 수신된 신호 중 외부 간섭 신호를 제거하기 위한 신호 처리용 필터; 및 상기 신호 처리용 필터의 출력 신호와 기준 신호를 비교하여 디지털 신호로 출력하는 비교기를 더 포함하는 것을 특징으로 한다.
한편 상기 수신 모듈은 기준 클럭 발생부, 로직 연산부, 디지털 카운터 연산기를 더 포함하여, 상기 비교기에서 출력되는 신호와 기준 클럭 발생부에서 출력된 기준 클럭과 AND합산하여 디지털 카운터 연산기를 통해 신호 처리용 필터를 통해 출력된 터치 신호의 크기가 기준 신호보다 클 때 기준 클럭을 카운트하여 수신 신호의 크기를 디지털로 변환할 수 있으며,
상기 신호 처리용 필터는 전원을 입력받는 전원 신호선, 터치 신호를 포함하는 신호를 수신하는 수신 포트 트랜지스터와 아날로그 스위치, 외부의 잡음 신호를 제거하기 위한 저역 필터인 제1연산 앰프; 및 제1연산 앰프의 출력 신호를 증폭하는 제2연산 앰프를 포함할 수 있다.
다른 한편으로 상기 제어부는 상기 다중 터치입력 처리 장치에 포함된 장치들을 관리하는 마이크로프로세서, 상기 터치 패널을 통해 사용자에 의해 터치되는 다중 터치 영역에 대한 아이디를 관리하는 아이디 관리부, 상기 수신 모듈을 통해 수신된 터치 측정 신호로부터 터치 지점의 속성을 연산하는 터치 연산부, 상기 수신 모듈에 포함된 신호 처리용 필터의 차수를 터치 좌표 결정 시간에 상응하여 관리하는 필터 관리부; 및 상기 다중 터치입력 처리 장치에 포함된 장치들에 적용되는 파라미터 값들이 저장되는 저장부를 더 포함할 수 있으며,
상기 저장부에는 터치 지점의 정보 처리에 전달되는 데이터로서 정보 처리 단위인 Report ID, 터치 지점의 터치 상태의 상태값, 터치 지점의 좌표, 터치 영역의 크기 및 각 터치 지점의 값들의 연속성을 표시하는 Contact ID가 포함되어 저장될 수 있고,
상기 필터 관리부는 신호 처리용 필터의 차수를 터치 좌표 결정 시간과 일치되게 설정하고 각각의 터치 좌표의 Contact ID와 각각의 필터를 대응시켜 Contact ID가 0인 경우 상기 신호 처리용 필터를 초기화할 수 있으며,
상기 터치 연산부는 수신 모듈에서 수신된 터치 측정 신호의 크기가 임계값보다 작은 구간만을 선택한 후 확률 분포에 의하여 좌표와 터치 영역의 크기를 계산할 수 있으며, 이전 시점에서의 터치 좌표와 임의의 시간 후의 터치 좌표를 비교하여 터치 좌표의 이동 방향을 더 계산하고, 상기 저장부는 상기 좌표의 이동 방향을 더 저장하는 것을 특징으로 한다.
또한 상기 아이디 관리부는 상기 터치 지점에 대하여 Contact ID를 할당하고, 상기 저장부는 상기 측정된 터치 지점의 좌표와 터치 영역과 상기 Contact ID를 저장하며, 상기 터치 연산부는 임의의 시간이 경과된 후 상기 수신 모듈을 통해 수신된 터치 측정 신호로부터 새로운 터치 좌표와 터치 영역의 크기를 계산하며, 이전 시점에서 측정된 터치 좌표를 기준으로 최소 거리의 좌표와 최대 거리의 좌표를 연속된 좌표로 인식하여 이전Contact ID를 상속하도록 하고,
측정된 터치 지점의 좌표와 터치 영역 및 좌표의 이동방향과 상기 Contact ID를 저장하며, 임의의 시간이 경과된 후 상기 수신 모듈을 통해 수신된 터치 측정 신호로부터 새로운 터치 좌표와 터치 영역의 크기 및 이동 방향을 계산하고, 이전 시점에서 측정된 터치 좌표와 동일한 이동 방향을 가지는 터치 좌표를 연속되는 좌표로 인식하여 이전 Contact ID를 상속하도록 하며,
임의의 시간이 경과된 후 상기 수신 모듈을 통해 수신된 터치 측정 신호로부터 새로운 터치 좌표와 터치 영역의 크기를 계산하며, 임의의 시간이 경과된 후 측정된 터치 좌표의 개수가 이전 시점에서 측정된 터치 좌표의 개수보다 적은 경우, 이전 시점에서 측정된 터치 좌표를 기준으로 최소 거리의 좌표 각각을 이전 시점의 터치 좌표의 연속되는 점으로 인식하여 Contact ID를 상속하도록 하며, 유효하지 않은 터치 좌표의 상태는 터치업 상태로 지정하고 저장부에서 해당 Contact ID를 제거하며,
임의의 시간이 경과된 후 측정된 터치 좌표의 개수가 이전 시점에서 측정된 터치 좌표의 개수보다 많은 경우, 이전 시점에서 측정된 터치 좌표를 기준으로 최소 거리의 좌표 각각을 이전 시점의 터치 좌표의 연속되는 점으로 인식하여 Contact ID를 상속하도록 하며, 이전 시점에서 측정된 터치 좌표를 기준으로 최대 거리의 좌표 각각을 새로운 추가 좌표로 인식하여 각각 Contact ID를 할당하며, 저장부는 상속된 Contact ID와 새로 할당된 Contact ID를 저장하는 것을 특징으로 한다.
상기와 같은 구성을 가지는 본 발명에 따른 다중 터치입력 처리 장치 및 방법은 터치 입력장치에서 다중 좌표의 괘적을 추적하고 처리하는 기술로 다중 판서 및 멀티 터치 제스쳐 등의 처리 능력을 향상 시킬 수 있다.
도 1은 본 발명의 실시예에 따른 다점 측정 장치의 개략적인 구성도이다.
도 2는 본 발명에 따른 다중 터치입력 장치에서 사용자에 의해 터치되는 영역에서 터치 측정 신호가 감쇄되는 것을 나타내는 도면이다.
도 3은 본 발명에 따른 다중 터치입력 장치에서 다중 터치되는 경우 허상이 발생되는 것을 보여주는 도면이다.
도 4는 본 발명에 따른 다중 터치입력 장치에서 다중 터치되는 지점의 쾌적을 처리하는 상태도이다.
도 5는 본 발명에 따른 다중 터치입력 장치에서 다중 터치되는 지점의 Contact ID와 상태의 변화를 예시한 것이다.
도 6은 본 발명에 따른 다중 터치입력 장치에서 제1터치는 중단되고 제2터치가 연속되는 경우 Contact ID와 상태의 변화를 예시한 것이다.
도 7은 본 발명에 따른 다중 터치입력 장치에서 최초의 측정되는 터치 좌표보다 임의의 시간 후에 측정되는 터치 좌표가 증가되는 경우 허상을 구분하는 원리를 설명하기 위한 예이다.
도 8은 본 발명에 따른 다중 터치입력 장치에서 허상이 포함된 두 개의 최초 터치 좌표에서 하나의 터치 좌표가 제거되는 경우 허상을 구분하는 원리를 설명하기 위한 예이다.
도 9는 본 발명에 따른 다중 터치입력 장치에서 벡터 형식으로 터치 좌표의 거리와 방향에 의해 허상을 구분하는 원리를 설명하기 위한 예이다.
도 10은 본 발명에 따른 다중 터치입력 장치에서 관성의 특성을 이용하여 연속 좌표를 처리하기 위한 예이다.
도 11은 본 발명에 다중 터치입력 장치에서 터치 좌표를 관리하기 위한 데이터 형식의 일 예이다.
도 12는 본 발명에 따른 다중 터치입력 장치에서 발신 모듈의 세부적인 구성도이다.
도 13은 본 발명에 따른 다중 터치입력 장치에서 신호 처리용 필터의 세부적인 구성도이다.
도 14는 본 발명에 따른 다중 터치입력 장치에서 제어부의 세부적인 구성도이다.
<부호의 설명>
110: X축 수신 모듈 111: X축 수신부 드라이버
120: X축 발신 모듈 121: X축 발신부 드라이버
130: Y축 수신 모듈 131: Y축 수신부 드라이버
140: Y축 발신 모듈 141: Y축 발신부 드라이버
150: 제어부 210: 발신 모듈
220: 수신 모듈 230: 터치 영역
310: 수신 모듈 320: 발신 모듈
710: 새로운 제2터치 지점 720, 730: 허상
740: 최초 제1터치 지점 750: 연속 제1터치 지점
810: 최초 제1 터치 지점 820, 830: 허상
840: 최초 제2터치 지점 850: 연속 제1터치 지점
910: 최초 제1터치 지점 920: 연속 제1터치 지점
930, 940: 허상 950: 새로운 제2터치 지점
1010: 최초 제1터치 지점 1040: 최초 제2터치 지점
1020, 1030, 1050, 1080: 허상 1060: 연속 제2터치 지점
1070: 연속 제1터치 지점
1200: 발신 모듈 1201: 펄스 발생부
1202: 발신 아날로그 스위치 1203: 적외선 발생부
1210: 수신 모듈 1211: 적외선 수신부
1212: 수신 아날로그 스위치 1213: 신호 처리용 필터
1214: 비교기
1220: 이산 연산기 1230: 디지털 카운터기
1310: 전원 신호선 1320: 적외선 수신 포트 트랜지스터
1330: 아날로그 신호 스위치 1340: 제1연산 앰프
1350: 제2연산 앰프
1400: 제어부 1410: 마이크로프로세서
1420: 터치 연산부 1430: 아이디 관리부
1440: 필터 관리부 1450: 저장부
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 실시예에 따른 다중터치 입력 장치의 개략적인 구성도이다.
본 발명의 실시예에 따른 다중 터치입력 장치는 X축 수발신 모듈(110, 120), X축 수발신 모듈 드라이버(111, 121), Y축 수발신 모듈(130, 140), Y축 수발신 드라이버(131, 141) 및 제어부(230)를 포함한다.
도 1에 도시된 바와 같이, X축 수발신 모듈(110, 120) 및 Y축 수발신 모듈(130, 140)은 하나의 적외선 발생부와 하나의 적외선 수신부를 일정 개수 포함하여 구성될 수 있다.
X/Y축 발신 모듈 드라이버(121, 141)는 X/Y축에 배열된 도 12에서 설명되는 터치 측정신호 발생부를 구동하여 터치 측정신호, 일 예로 적외선 신호를 터치 패널로 방사하고 X/Y축 수신 모듈 드라이버(111, 131)는 X/Y축에 배열된 X/Y축 수신 모듈(110, 130) 구체적으로 구체적으로 도 12에서 설명되는 터치 측정신호 수신부를 구동하여 X/Y축 발신 모듈(120, 140)에서 방사된 적외선 신호와 태양광 등의 외부 신호 등을 수신한다.
상기에서 터치 측정 신호로 적외선 신호가 예시되어 있으나 RF신호 및 엘이디 발광 신호 역시 터치 측정 신호로 사용될 수 있음에 유의하여야 한다.
도 1에서는 발신 모듈과 수신 모듈이 대향하여 배치되는 구조이나 즉, 일측에는 발신 모듈만 배열하고 다른 일측에는 수신 모듈만 배열하는 구조가 예시되어 있으나, 필요에 따라 발신 모듈과 수신 모듈을 교대로 양측에 배열하는 것도 가능함에 유의하여야 한다.
제어부(150)는 X축 수신 모듈(110) 및 Y축 수신 모듈(130)로부터 수신한 적외선 신호를 처리하여 사용자에 의해 터치 패널 상의 터치되는 지점의 좌표를 계산한다. 상기에서 터치되는 지점에 특성으로는 x축 과 y축의 좌표 뿐만 아니라 터치되는 지점의 크기 일 예로 지름도 계산할 수 있다.
도 2는 본 발명에 따른 다중 터치입력 장치에서 사용자에 의해 터치되는 영역에서 터치 측정 신호가 감쇄되는 것을 나타내는 도면이다.
도 2에서 각각의 발신 모듈(210)에서 방사된 터치 측정 신호는 수신 모듈(220)에서 Pn으로 측정된다. 여기서 n은 수신 모듈의 순서 번호 인덱스이다.
발신 모듈(210)에서 방사된 적외선 신호 즉, 터치 측정 신호는 수신 모듈(220)에서 수신되는데, 사용자가 터치패널을 터치하는 경우 발신 모듈(210)에서 방사된 적외선 신호는 사용자의 손가락이나 물체 등에 의해 가려지게 되고 수신 모듈(220)에서 수신되는 적외선 신호 중 사용자의 손가락이나 물체 등에 가려지는 영역(230)에 위치한 수신 모듈(220)의 수신되는 적외선 신호는 상대적으로 매우 작아지게 된다.
수신 모듈(220)에서 수신되는 적외선 신호 중 소정의 임계값 T보다 작은 크기의 신호를 가지는 수신 모듈(220)의 일련번호를 추출하여 터치 패널 상의 터치 영역의 좌표와 터치 영역의 크기 일 예로, 지름을 계산할 수 있다.
구체적으로 xm, ym’ 각각 수신 모듈 중 터치 영역의 최대값의 좌표값이라 하고, xn, yn’ 을 각각 터치 영역의 최소값의 좌표값이라 하며 xev, yev를 확률에 의해 계산되는 실제 터치 지점의 좌표라 하자.
사용자의 손가락 또는 물체 등의 의해 수신 모듈(220)에서 수신된 적외선 신호의 크기가 임계값보다 작은 구간(x축은 n에서 m, y축은 n’에서 m’)에서 확률 분포에 의한 터치 지점의 좌표는 아래의 식에 의해서 계산된다.
Figure PCTKR2011008755-appb-I000001
여기서 n, n’, m, m’은 LED의 번호에 대한 좌표로서 xn = L*n과 같은 형태로 정의하고 이때 논리 좌표는 L = W/h이다. W는 65536과 같은 화면상의 최대 좌표(예를 들어 800 × 600 등의 LCD 화면의 픽셀 수를 의미함)이고 h는 X축 또는 Y축 각각의 LED개수를 의미한다.
예를 들어, H=800픽셀/100개의 X축 수신 모듈와 L=600픽셀/60개의 Y축 수신 모듈수가 얻어진 경우, Xev(k)와 Yev(k)은 상기 수학식에 의해서 얻어지는데 좌표의 최소값은 (0,0)에서 최대값은 해상도 (800,600)로 표현되어 진다.
이때 터치 되는 영역의 x축 지름 rxev와 y축 지름 ryev은 아래와 같이 주어진다.
Figure PCTKR2011008755-appb-I000002
상기에서 k는 1과 하기에서 설명하는 저장부에 설정된 최대 다중 터치값 사이의 정수로 1인 경우 한점이 터치되는 것을 의미하며 2이상인 경우 다중 터치되는 것을 의미한다.
도 3은 본 발명에 따른 다중 터치입력 장치에서 다중 터치되는 경우 허상이 발생되는 것을 보여주는 도면이다.
도 3에서 보는 바와 같이 XY의 Project형식에 의한 터치 입력 장치에서의 좌표 측정에는 터치되는 영역과 같은 축상으로 허상이 동반된다.
도 3을 참고하면, 사용자에 의해 터치되는 영역인 A와 B에서 수신 모듈(310)에 수신되는 적외선 신호는 작은 값을 가지게 되며 A와 B와 동일 축상에 있는 C와 D영역 역시 수신되는 적외선 신호의 값은 작은 값을 가지게 되나 실제로는 터치되지 않은 영역인 허상이 되는데 다중터치 입력 장치에서는 필연적으로 발생된다. 이 허상에 의해서 다중터치 장치에서 터치 지점의 좌표를 정확히 추적하는 것이 곤란해진다.
본 발명의 일 실시 예에 따른 다중터치 좌표의 추적은 터치 지점의 상태를 이용하는 것으로 도 4 내지 도 9에 의하여 설명된다.
도 4는 본 발명에 따른 다중 터치입력 장치에서 다중 터치되는 지점의 쾌적을 처리하는 상태도로 nx(X축의 스켄에 의해서 계산되는 다점 터치의 중심좌표의 개수)를 ny(y축의 스켄에 의해서 계산되는 다점 터치의 중심좌표의 개수), B(x,y)(허상을 포함한 각각 다중 터치 지점의 터치 영역)을 각각 정의한다.
도 5는 본 발명에 따른 다중 터치입력 장치에서 다중 터치되는 지점의 Contact ID와 상태의 변화를 예시한 것이다.
도 6은 본 발명에 따른 다중 터치입력 장치에서 제1터치는 중단되고 제2터치가 연속되는 경우 Contact ID와 상태의 변화를 예시한 것이다.
도 7은 본 발명에 따른 다중 터치입력 장치에서 최초의 측정되는 터치 좌표보다 임의의 시간 후에 측정되는 터치 좌표가 증가되는 경우 허상을 구분하는 원리를 설명하기 위한 예이다.
도 8은 본 발명에 따른 다중 터치입력 장치에서 허상이 포함된 두 개의 최초 터치 좌표에서 하나의 터치 좌표가 제거되는 경우 허상을 구분하는 원리를 설명하기 위한 예이다.
도 9는 본 발명에 따른 다중 터치입력 장치에서 벡터 형식으로 터치 좌표의 거리와 방향에 의해 허상을 구분하는 원리를 설명하기 위한 예이다.
먼저 도 4에서 상태 1을 N점이 터치되고 있는 상태라 할 때, 최초의 1점에 대한 터치(참조 터치점으로 인식)가 이루어지면, 이점을 메모리에 저장한다.
도 5에서 t(i)에서 고유 해당 터치 점의 정보 메모리에 임의의 Contact ID1를 부여하고, 좌표 x[n], y[n]을 부여하고 터치 지점은 터치 다운 상태(즉, 터치되고 있음)로 설정한다.
터치 지점의 증가는 N = MAX(nx, ny)로 nx와 ny중 최대값이 실제로 가능한 최대 터치 지점으로 계산되며 2점의 경우 N이 N > 1경우로 상태 2로 제어 상태를 변경한다.
여기서, 최대 터치 좌표 인덱스 NMax= nx+ny를 Pmax에 저장한다.
상태 2는 터치 지점이 증가한 상태로 이전 시점보다 터치 지점이 증가되는 경우 상태1에서 저장된 Pmax와 NMax를 비교하여 두개의 값이 같지 않으면 새로운 좌표를 다시 측정하고, Pmax= NMax로 설정한다.
일 예로 도 7에서와 같이 2점의 경우 허상(720, 730)을 포함하여 4점의 좌표의 경우의 수가 발생한다. 터치 지점의 괘적의 분리는 우선 최초 t(i)에서 저장된 참조점(도 7의 740)을 기준으로 도면 9에서와 같이 피타고라스의 원리를 이용하여 각 점의 거리를 측정하여, 최소거리의 점을 참조점의 연속점으로 판정하고 상태 1에서 부여된 Contact ID 1과 좌표 및 터치 상태 정보를 할당한다.
다른 두번째 점은 터치점의 거리가 참조점에서 가장 먼거리의 좌표를 선택하고, 도면 5에서 t(i+1)에서와 같이 Contact ID 2와 중복되지 않는 고유Contact ID를 할당하고 할당하고, 좌표를 값 x[n+1], y[m+1]과 터치 다운 상태로 좌표를 저장부에 저장한다.
상태 3은 N+1점이 터치되고 있는 상태로, 2점의 터치가 연속되는 경우, 연속 좌표는 도면 5에서와 같이 t(i+1)의 참조점(도 7의 740)을 기준으로 t(i+2)시 각각 터치 지점(허상을 포함하여) 최소 거리에 있는 점을 연속점으로 판단하고, 최대 거리에 존재하는 점을 t(i+1)에서의 두번째 연속점으로 판단한다.
각각이 연속점을 판단한 후, t(i+1)에서 다중 터지 지점 정보는 각각 상속되고, 좌표를 최종 측정된 좌표값으로 변경한다. 여기서, 최대 터치 좌표 인덱스 NMax= nx+ny를 Pmax에 저장한다.
상태 4는 N+1점에서 교차가 발생한 상태로 2점 이상의 다점의 괘적의 측정 시, nx와 ny가 같은 값을 가지고 있지 않는 경우 다점의 교차 상태로 판단한다. 즉, 도 10에서와 같이 허상에 의해서 점의 교차에 의한 좌표의 괘적 측정 또는 판단 불가 상태가 발생한다.
이 같은 괘적의 판단 불가를 해결하기 위해서 본 발명은 터치 관성의 원리를 이용한다. 즉, 터치 괘적은 운동의 법칙에 따르고, 점의 이동은 관성의 특성대로 이동한다. 관성의 특성을 이용한 터치 괘적의 측정은 하기에서 자세히 설명되므로 여기에서는 자세한 설명은 생략한다.
상태 5는 터치 지점이 축소되는 상태이다.
도 5에서 t(i+n+1)에서 측정된 좌표 개수가 t(i+n)에서 측정된 좌표의 개수보다 줄어든 경우 터치의 상태는 N = MAX(nx, ny)가 다시 1점으로 줄어드는 경우의 상태를 의미한다. 터치 지점의 축소 상태는 터치 지점의 증가 상태 시와 다르게 t(i+n)에서 측정된 좌표를 기준으로 t(i+n+1)에서 이미 측정된 좌표를 기준으로 도면 9에서와 같이 각각 거리를 계산하여 계산한 거리에서 최소값을 선택하여 연속되는 점으로 판단하고, 유효하지 않는 터치의 점은 터치업 상태(즉, 터치가 이루어지지 않은 상태)로 지정하고 해당하는 Count ID는 저장부에서 제거하고 필터는 초기화한다.
도 5는 첫번째 터치 점이 연속되는 경우와 두번째 터치가 연속되다 두번째 터치가 제거되는 과정을 설명하고 있으며, 도면 6은 첫번째 터치가 연속되다가 두번째 터치는 연속되나, 첫번째 터치가 연속되지 않는 상태의 터치의 과정을 설명한다.
도 8은 멀티 터치에서 싱글 터치로 될 대 좌표 개수의 변화를 나타내는 것으로 여기서 마찬가지로 최대 터치 좌표 인덱스 NMax= nx+ny를 Pmax로 하여 저장부에 저장한다.
상태 6은 터치 종료되는 상태로, N = MAX(nx,ny)의 값이 0인 경우, 터치면에 존재하는 터치 지점의 좌표는 모두 없어진 상태이므로 모든 터치 지점의 상태는 터치 업으로 설정하고, 저장부와 필터를 모두 초기화한다.
상기에서 설명한 바와 같이 본 발명에서 멀티 터치의 좌표 괘적 측정은 상태1, 상태 2, 상태 3, 상태 4, 상태 5에 각 점의 조건 N = MAX(nx,ny)와 NMax= nx+ny를 측정을 통해 각각의 제어상태를 이동하며, 각각의 제어상태에서 인간의 터치 상태를 가장 자연스럽게 괘적을 축적하여 다점 좌표의 처리를 가능하게 한다.
도 10은 본 발명에 따른 다중 터치입력 장치에서 관성의 특성을 이용하여 연속 좌표를 처리하기 위한 예이다.
최초 시간에 측정된 터치 지점의 좌표가 1010이라면, 교차가 이루어 지고 측정된 실제 터치지점 1010에 연속되는 터치 지점의 좌표는 1070이다.
그러나 최소 거리 측정으로는 이론적으로 터치 지점 1050이 최소 길이가 되는 경우의 빈도가 높으므로 교차 시 터치 지점 1010에 연속되는 터치 지점 좌표를 1050로 측정하면 터치에 물체가 터치된 상태로 이동일 때 의도하지 않는 괘적이 발생한다.
한편 터치 괘적은 관성의 법칙에 의해서 이동방향의 경향을 더욱 움직이려고 하기 때문에 터치 지점 좌표 1010의 연속좌표를 터치 지점 1050으로 선택하면, 도면 9에서와 같이 터치의 이동 방향을 측정하면 마이너스 부호가 발생하지만, 터치 지점 1070을 선택하면 터치의 이동이 플러스 기호, 즉 연속되는 같은 진행 방향인 경우를 선택하는 방법으로 연속좌표를 결정하면 자연스러운 인간의 터치 행위를 표현하게 된다.
이를 자세히 설명하면 상기 상태 4에서 설명한 바와 같이 터치 지점의 교차가 발생한 경우, 터치 괘적의 운동 특성 즉, 관성의 원리를 이용하여 터치 괘적을 추적하는 원리를 설명한다.
터치 지점 1010과 터치 지점 1040은 실제 터치 지점이고 터치 지점 1020, 터치 지점 1030은 허상에 해당한다. 터치 지점 1060과 터치 지점 1070은 두점이 교차후의 실제 터치 지점이고, 이것의 진행 방향은 터치 지점 1010과 터치 지점 1040과 일치한다. 즉, 교점이 발생하면, 연속되는 괘적은 진행 방향이 같은 방향이 되는 점을 선택하여 설정한다.
구체적으로 t(i+2)에서 x[n], y[m]의 값의 위치는 교차후의 시간 t(i+n-1)에서 x[n], y[m+1]가 연속되는 터치 좌표로 판단한다. 즉, t(i+2)에서 x[n], y[m]에서 연속되면, t(i+n-1)에서 x[n], y[m]을 선택하면, 이동 방향이 반대로 되지만, x[n], y[m+1]에서 y축의 교차 시 이동 방향은 같은 방향으로 얻어진다.
결과적으로 터치 지점의 궤적은 사람에 의해서 관성에 따라 지배적으로 이동하기 때문에 교차가 발생하면 교차가 발생하는 좌표를 기준으로 t(i+2)과 t(i+n-1)에서 좌표이동은 항상 같은 방향으로 이동하는 좌표를 연속좌표로 판단한다.
여기서, 최대 터치 좌표 인덱스 NMax= nx+ny를 Pmax에 저장한다.
도 11은 본 발명에 다중 터치입력 장치에서 터치 좌표를 관리하기 위한 데이터 형식의 일 예이다.
본 발명의 상태 제어를 통해 결정되는 좌표들을 정보처리 장치에 전달하는 데이터의 형식의 예시로써, Report ID는 정보처리를 위해 정의된 값이고, 각각의 좌표들의 집합은 기본적으로 터치 상태(Up, down, move)등의 상태를 나타내는 상태값, 해당 터치 지점의 좌표와 지름 크기가 각각 독립적으로 설정된다.
또한 각 터치 지점의 값들이 연속되는 것을 의미하는 Contact ID는 저장부에 저장 시 중복되지 않는 고유값을 가진다. 또한 저장부에 유효한 실제 좌표들의 갯수와 메모리 보다 많은 좌표의 전송 시 최대 가능한 메모리의 크기를 설정하는 최대 Contact 개수를 포함할 수 있다.
적외선 터치의 경우 각 좌표는 로우 패스 디지털(LPF)로 필터 되고, 각 좌표는 각각의 필터를 가지고 처리될 수 있다. 필터의 차수는 터치의 좌표 결정 시간 (Scan time)과 일치하게 설정하고, 각각의 좌표의 Contact ID와 필터를 연결하여 Contact ID가 0 인 경우(점이 제거되는 경우) 필터를 초기화하는 과정을 포함한다. 따라서 적외선 터치의 다점 처리의 경우 필터에 해당하는 좌표를 정확하게 산출하여야, 사용자가 사용 가능한 터치 상태를 제공하기 때문에 본 발명의 상태에 따라 정확하게 처리되어 각각의 연속되는 좌표가 산출되어야 한다. 여기서 Contact ID가 0인 경우 점의 좌표를 유효한 좌표로 판단하지 않는 경우를 의미한다.
도 12는 본 발명에 따른 다중 터치입력 장치에서 발신 모듈 및 수신 모듈의 세부적인 구성도이다.
발신 모듈(1200)은 터치 측정 신호를 증폭하는 증폭 앰프(1201), 터치 측정 신호의 출력을 제어하는 발신 아날로그 스위치(1202) 및 적외선 신호 등의 터치 측정 신호를 전송하는 터치 측정신호 발생부(1203)를 포함한다.
수신 모듈(1210)은 적외선 신호 등의 터치 측정 신호를 수신하는 터치 측정신호 수신부(1211), 수신 신호 아날로그 스위치(1212), 발신 모듈로부터 송출된 터치 측정 신호 외에 외부의 다른 간섭 신호를 제거하기 위한 신호 처리용 필터(1213) 및 신호 처리용 필터(1213)에서 출력된 신호와 기준 전압(REF)를 비교하여 디지털 신호를 출력하는 비교기(1214)를 포함한다.
도 12에서 TR은 터치 측정 신호의 발신을 제어하는 발신 아날로그 스위치 제어신호, RCV는 터치 측정 신호의 수신을 제어하는 수신 아날로그 스위치 제어 신호, CLR는 디지털 카운터의 값을 초기화하는 제어 신호, DATA는 디지털 카운터의 출력값을 의미한다.
이산 연산기(1220)는 기준 클럭(CLK)과 비교기의 출력 신호를 AND연산한다. 디지털 카운터기(1230)는 이산 연산된 클럭의 개수를 카운트한다.
비교기(1214)에서 출력되는 신호는 기준 클럭를 AND 로직으로 합산한 후 이 주파수를 디지털 카운터기(1230)를 통해서 적외선 신호의 크기가 기준 전압(REF)보다 클 때 기준 클럭(CLK)의 개수를 카운트하여 수신광의 크기를 디지털로 변환하게 된다.
도 13은 본 발명에 따른 다중 터치입력 장치에서 신호 처리용 필터의 세부적인 구성도이다.
본 발명의 실시예에 따른 신호 처리용 필터는 신호 처리용 필터에 전원을 공급하는 전원 신호선(1310), 적외선 수신 포트 트랜지스터(1320), 아날로스 신호 스위치(1330), 제1연산 앰프(1340) 및 제2연산 앰프(1350)를 포함한다.
본 발명의 실시예는 각 구성요소의 배치를 통해 적외선 신호만을 증폭하는 기능에 특징이 있으므로 각각의 구성요소의 기능 설명은 생략하기로 한다.
신호 처리용 필터는 필터를 적용할 때 위상 변동이 없어야 하는데 위상의 변동없이 주파수 신호별 증폭율에 의존하는 필터 기능을 제공한다.
제1연산 앰프(1340)에 의해서 증폭되는 신호는 다음의 수학식과 같고 일차적으로 햇빛이나 전등 등의 외부 적외선 신호를 차단한다.
Figure PCTKR2011008755-appb-I000003
R4와 C2를 조합으로 저역 필터를 구성한다.
제2연산 앰프(1350)에 의해서 증폭되는 신호는 2차적으로 다음의 수학식과 같이 필터 기능을 제공한다.
Figure PCTKR2011008755-appb-I000004
도 14는 본 발명에 따른 다중 터치입력 장치에서 제어부의 세부적인 구성도이다.
본 발명에 따른 다중 터치입력 장치의 제어부(1400)는 상기 다중 터치입력 처리 장치에 포함된 장치들을 관리하는 마이크로프로세서(1410)와 상기 터치 패널을 통해 사용자에 의해 터치되는 다중 터치 영역에 대한 아이디를 관리하는 아이디 관리부(1430)와 상기 수신 모듈을 통해 수신된 터치 측정 신호로부터 터치 지점의 속성을 연산하는 터치 연산부(1420)와 상기 수신 모듈에 포함된 신호 처리용 필터의 차수를 터치 좌표 결정 시간에 상응하여 관리하는 필터 관리부(1440) 및 상기 다중 터치입력 처리 장치에 포함된 장치들에 적용되는 파라미터 값들이 저장되는 저장부(1450)를 더 포함한다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (13)

  1. 적어도 하나 이상의 펄스를 포함하는 터치 측정 신호를 송출하는 적어도 하나 이상의 발신 모듈;
    상기 발신 모듈에서 송출된 상기 터치 측정 신호를 수신하는 적어도 하나 이상의 수신 모듈;
    다중 터치입력 처리 장치에 포함된 장치들을 관리하는 마이크로프로세서와 터치 패널을 통해 사용자에 의해 터치되는 다중 터치 영역에 대한 아이디를 관리하는 아이디 관리부와 상기 수신 모듈을 통해 수신된 터치 측정 신호로부터 터치 영역의 좌표, 크기 또는 좌표의 이동 방향 중 적어도 하나를 연산하는 터치 연산부와 상기 수신 모듈에 포함된 신호 처리용 필터의 차수를 터치 좌표 결정 시간에 상응하여 관리하는 필터 관리부 및 다중 터치입력 처리 장치에 포함된 장치들에 적용되는 파라미터 값들이 저장되는 저장부를 더 포함하여 상기 적어도 하나 이상의 수신 모듈에서 수신된 터치 측정 신호로부터 터치 지점의 좌표를 연산하는 제어부; 및
    사용자로부터 터치 입력을 입력받는 터치 패널을 포함하는 것을 특징으로 하는 다중 터치입력 처리 장치.
  2. 제1항에 있어서,
    상기 발신 모듈은 터치 측정 신호를 증폭하는 증폭 앰프;
    상기 증폭 앰프에서 증폭된 터치 측정 신호의 출력을 제어하는 발신 아날로그 스위치; 및
    상기 발신 아날로그 스위치의 출력신호를 터치 영역으로 송출하는 터치 측정신호 발생부를 더 포함하는 것을 특징으로 하는 다중 터치입력 처리 장치.
  3. 제1항에 있어서,
    상기 수신 모듈은 상기 발신 모듈에서 송출된 터치 측정 신호를 수신하는 터치 측정신호 수신모듈;
    상기 터치 측정신호 수신모듈에서 수신된 신호 중 소정 신호만을 선택적으로 출력하는 수신 신호 아날로그 스위치;
    상기 수신 신호 아날로그 스위치에 의해 선택적으로 출력되는 터치 측정신호 수신모듈로부터 수신된 신호 중 외부 간섭 신호를 제거하기 위한 신호 처리용 필터; 및
    상기 신호 처리용 필터의 출력 신호와 기준 신호를 비교하여 디지털 신호로 출력하는 비교기를 더 포함하는 것을 특징으로 하는 다중 터치입력 처리 장치.
  4. 제3항에 있어서,
    상기 수신 모듈은 이산 연산기, 디지털 카운터기를 더 포함하여,
    상기 비교기에서 출력되는 신호와 기준 클럭과 AND합산하여 디지털 카운터기를 통해서 신호 처리용 필터를 통해 출력된 터치 신호의 크기가 기준 신호보다 클 때 기준 클럭을 카운트하여 수신 신호의 크기를 디지털로 변환하는 것을 특징으로 하는 다중 터치입력 처리 장치.
  5. 제3항에 있어서,
    상기 신호 처리용 필터는 전원을 입력받는 전원 신호선;
    터치 신호를 포함하는 신호를 수신하는 수신 포트 트랜지스터와 아날로그 스위치;
    외부의 잡음 신호를 제거하기 위한 저역 필터인 제1연산 앰프; 및
    제1연산 앰프의 출력 신호를 증폭하는 제2연산 앰프를 포함하는 것을 특징으로 하는 다중 터치입력 처리 장치.
  6. 제1항에 있어서,
    상기 저장부에는 터치 지점의 정보 처리에 전달되는 데이터로서 정보 처리 단위인 Report ID, 터치 지점의 터치 상태의 상태값, 터치 지점의 좌표, 터치 영역의 크기 및 각 터치 지점의 값들의 연속성을 표시하는 Contact ID가 포함되어 저장되는 것을 특징으로 하는 다중 터치입력 처리 장치.
  7. 제6항에 있어서,
    상기 필터 관리부는 신호 처리용 필터의 차수를 터치 좌표 결정 시간과 일치되게 설정하고 각각의 터치 좌표의 Contact ID와 각각의 필터를 대응시켜 Contact ID가 0인 경우 상기 신호 처리용 필터를 초기화하는 것을 특징으로 하는 다중 터치입력 처리 장치.
  8. 제1항에 있어서,
    상기 터치 연산부는 수신 모듈에서 수신된 터치 측정 신호의 크기가 임계값보다 작은 구간만을 선택한 후 확률 분포에 의하여 하기의 식에 의하여 좌표와 터치 영역의 크기를 계산하는 것을 특징으로 하는 다중 터치입력 처리 장치.
    Figure PCTKR2011008755-appb-I000005
    여기서 n, n’, m, m’은 터치 측정 신호가 임계값보다 작은 구간의 발신 모듈의 번호이며, Pi는 터치 측정 신호의 세기이며, xev(k)와 yev(k)는 터치 지점의 좌표값이며, k는 터치 지점의 일련번호이고, rev(k)는 터치 영역의 지름이다.
  9. 제8항에 있어서,
    상기 터치 연산부는 이전 시점에서의 터치 좌표와 임의의 시간 후의 터치 좌표를 비교하여 터치 좌표의 이동 방향을 더 계산하고,
    상기 저장부는 상기 좌표의 이동 방향을 더 저장하는 것을 특징으로 하는 다중 터치입력 처리 장치.
  10. 제8항에 있어서,
    상기 아이디 관리부는 상기 터치 지점에 대하여 Contact ID를 할당하고,
    상기 저장부는 상기 측정된 터치 지점의 좌표와 터치 영역과 상기 Contact ID를 저장하며,
    상기 터치 연산부는 임의의 시간이 경과된 후 상기 수신 모듈을 통해 수신된 터치 측정 신호로부터 새로운 터치 좌표와 터치 영역의 크기를 계산하며, 이전 시점에서 측정된 터치 좌표를 기준으로 최소 거리의 좌표와 최대 거리의 좌표를 연속된 좌표로 인식하여 이전Contact ID를 상속하도록 하는 것을 특징으로 하는 다중 터치입력 처리 장치.
  11. 제9항에 있어서,
    상기 아이디 관리부는 상기 터치 지점에 대하여 Contact ID를 할당하고,
    상기 저장부는 상기 측정된 터치 지점의 좌표와 터치 영역 및 좌표의 이동방향과 상기 Contact ID를 저장하며,
    상기 터치 연산부는 임의의 시간이 경과된 후 상기 수신 모듈을 통해 수신된 터치 측정 신호로부터 새로운 터치 좌표와 터치 영역의 크기 및 이동 방향을 계산하고, 이전 시점에서 측정된 터치 좌표와 동일한 이동 방향을 가지는 터치 좌표를 연속되는 좌표로 인식하여 이전 Contact ID를 상속하도록 하는 것을 특징으로 하는 다중 터치입력 처리 장치.
  12. 제8항에 있어서,
    상기 터치 연산부는 임의의 시간이 경과된 후 상기 수신 모듈을 통해 수신된 터치 측정 신호로부터 새로운 터치 좌표와 터치 영역의 크기를 계산하며,
    임의의 시간이 경과된 후 측정된 터치 좌표의 개수가 이전 시점에서 측정된 터치 좌표의 개수보다 적은 경우,
    이전 시점에서 측정된 터치 좌표를 기준으로 최소 거리의 좌표 각각을 이전 시점의 터치 좌표의 연속되는 점으로 인식하여 Contact ID를 상속하도록 하며, 유효하지 않은 터치 좌표의 상태는 터치업 상태로 지정하고 저장부에서 해당 Contact ID를 제거하는 것을 특징으로 하는 다중 터치입력 처리 장치.
  13. 제8항에 있어서,
    상기 터치 연산부는 임의의 시간이 경과된 후 상기 수신 모듈을 통해 수신된 터치 측정 신호로부터 새로운 터치 좌표와 터치 영역의 크기를 계산하며,
    임의의 시간이 경과된 후 측정된 터치 좌표의 개수가 이전 시점에서 측정된 터치 좌표의 개수보다 많은 경우,
    이전 시점에서 측정된 터치 좌표를 기준으로 최소 거리의 좌표 각각을 이전 시점의 터치 좌표의 연속되는 점으로 인식하여 Contact ID를 상속하도록 하며, 이전 시점에서 측정된 터치 좌표를 기준으로 최대 거리의 좌표 각각을 새로운 추가 좌표로 인식하여 각각 Contact ID를 할당하며,
    저장부는 상속된 Contact ID와 새로 할당된 Contact ID를 저장하는 것을 특징으로 하는 다중 터치입력 처리 장치.
PCT/KR2011/008755 2011-02-10 2011-11-16 다중 터치입력 처리 장치 WO2012108611A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020110012049A KR101057620B1 (ko) 2010-02-10 2011-02-10 다중 터치입력 처리 장치
KR10-2011-0012049 2011-02-10

Publications (1)

Publication Number Publication Date
WO2012108611A1 true WO2012108611A1 (ko) 2012-08-16

Family

ID=46639744

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/008755 WO2012108611A1 (ko) 2011-02-10 2011-11-16 다중 터치입력 처리 장치

Country Status (1)

Country Link
WO (1) WO2012108611A1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100782431B1 (ko) * 2006-09-29 2007-12-05 주식회사 넥시오 적외선 터치스크린의 다점 좌표인식방법 및 접점면적인식방법
KR20090002537A (ko) * 2007-07-02 2009-01-09 (주)나노티에스 터치 좌표인식 방법 및 이를 수행하기 위한 터치스크린장치
KR100901971B1 (ko) * 2008-11-07 2009-06-10 김용철 적외선 터치 스캐닝 모듈
KR20100058397A (ko) * 2008-11-24 2010-06-03 김용철 적외선 터치 입력 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100782431B1 (ko) * 2006-09-29 2007-12-05 주식회사 넥시오 적외선 터치스크린의 다점 좌표인식방법 및 접점면적인식방법
KR20090002537A (ko) * 2007-07-02 2009-01-09 (주)나노티에스 터치 좌표인식 방법 및 이를 수행하기 위한 터치스크린장치
KR100901971B1 (ko) * 2008-11-07 2009-06-10 김용철 적외선 터치 스캐닝 모듈
KR20100058397A (ko) * 2008-11-24 2010-06-03 김용철 적외선 터치 입력 장치

Similar Documents

Publication Publication Date Title
WO2021112406A1 (en) Electronic apparatus and method for controlling thereof
WO2013055137A1 (ko) 이벤트 기반 비전 센서를 이용한 동작 인식 장치 및 방법
WO2011013976A2 (en) Method and apparatus for controlling electronic device using user interaction
WO2014157855A1 (en) Display method and apparatus for diversely displaying an object according to scroll speed
WO2015005606A1 (en) Method for controlling chat window and electronic device implementing the same
WO2012141352A1 (en) Gesture recognition agnostic to device orientation
WO2010024516A2 (en) Apparatus and method of obtaining depth image
WO2010053305A2 (ko) 적외선 터치 스캐닝 모듈
WO2020251288A1 (ko) 터치 장치 및 이의 터치 검출 방법
WO2019066273A1 (ko) 전자칠판 및 그 제어방법
WO2012005429A1 (en) Touch sensing panel and touch sensing device for detecting multi-touch signal
WO2014189275A1 (en) Apparatus and method of recognizing external device in a communication system
WO2016060458A1 (en) Remote controller apparatus and control method thereof
WO2017142161A1 (ko) 터치 일체형 투명 지문인식 센서
WO2015084034A1 (ko) 이미지들을 표시하기 위한 방법 및 장치
WO2015064923A1 (en) Electronic apparatus and method of recognizing a user gesture
WO2018124823A1 (en) Display apparatus and controlling method thereof
WO2012115296A1 (en) Mobile terminal and method of controlling the same
WO2016035940A1 (en) Display device and method of controlling therefor
WO2014104726A1 (ko) 원 포인트 터치를 이용한 사용자 인터페이스 제공 방법 및 이를 위한 장치
WO2011065680A2 (en) Managing multimedia contents using general objects
WO2012108611A1 (ko) 다중 터치입력 처리 장치
WO2019135512A1 (ko) 디스플레이장치 및 그 제어방법
KR101057620B1 (ko) 다중 터치입력 처리 장치
WO2018070657A1 (en) Electronic apparatus, and display apparatus

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11857998

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 11857998

Country of ref document: EP

Kind code of ref document: A1