KR101352264B1 - 멀티 터치 감지방법 및 장치 - Google Patents

멀티 터치 감지방법 및 장치 Download PDF

Info

Publication number
KR101352264B1
KR101352264B1 KR1020080129572A KR20080129572A KR101352264B1 KR 101352264 B1 KR101352264 B1 KR 101352264B1 KR 1020080129572 A KR1020080129572 A KR 1020080129572A KR 20080129572 A KR20080129572 A KR 20080129572A KR 101352264 B1 KR101352264 B1 KR 101352264B1
Authority
KR
South Korea
Prior art keywords
touch
image sensor
coordinate value
touch point
image
Prior art date
Application number
KR1020080129572A
Other languages
English (en)
Other versions
KR20100070841A (ko
Inventor
최종성
장형욱
이상래
한재정
배상혁
유병천
손민호
Original Assignee
엘지디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지디스플레이 주식회사 filed Critical 엘지디스플레이 주식회사
Priority to KR1020080129572A priority Critical patent/KR101352264B1/ko
Priority to CN2009101683724A priority patent/CN101751177B/zh
Priority to US12/585,110 priority patent/US8269740B2/en
Publication of KR20100070841A publication Critical patent/KR20100070841A/ko
Application granted granted Critical
Publication of KR101352264B1 publication Critical patent/KR101352264B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0428—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by sensing at the edges of the touch surface the interruption of optical paths, e.g. an illumination plane, parallel to the touch surface which may be virtual
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04808—Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명은 멀티 터치 감지방법에 관한 것으로, 제1 이미지 센서쌍 사이에 존재하는 제1 데드존의 좌표값과 제2 이미지 센서쌍 사이에 존재하는 제2 데드존의 좌표값을 메모리에 저장하는 제1 단계; 상기 제1 이미지 센서쌍에 의해 얻어진 이미지들로부터 터치점의 좌표값을 계산하는 제2 단계; 상기 제2 이미지 센서쌍에 의해 얻어진 이미지들로부터 상기 터치점의 좌표값을 계산하는 제3 단계; 상기 터치점의 좌표값과 상기 데드존들의 좌표값들을 비교하여 상기 터치점이 속한 데드존의 위치를 판단하는 제4 단계; 상기 터치점의 좌표값이 상기 제1 데드존에 속하면 상기 제3 단계에서 계산된 좌표값을 선택하는 제5 단계; 및 상기 터치점의 좌표값이 상기 제2 데드존에 속하면 상기 제2 단계에서 계산된 좌표값을 선택하는 제6 단계를 포함한다.

Description

멀티 터치 감지방법 및 장치{APPARATUS AND METHOD FOR SENSING MULITI-TOUCH}
본 발명은 표시장치에 관한 것으로 특히, 데드존(Dead zone)의 터치 인식률과 정확도를 높이고 허상을 제거하도록 한 멀티 터치 감지방법 및 장치에 관한 것이다.
터치패널은 일반적으로 표시장치 상에 부착되어 손이나 펜과 접촉되는 터치지점에서 전기적인 특성이 변하여 그 터치지점을 감지하는 유저 인터페이스의 하나로써 그 응용범위가 소형 휴대용 단말기, 사무용기기 등으로 확대되고 있다. 이러한 터치패널은 두 개 이상의 멀티 터치가 동시에 발생되면 오동작되거나 미리 설정된 프로그램에 의해 어느 하나를 선택할 수 있다.
기존 터치패널에서 멀티 터치 인식의 한계를 극복하기 위하여, 최근에는 다수의 터치를 동시에 인식하는 멀티 터치 인식장치가 개발되고 있다.
최근 개발되고 있는 멀티 터치 인식장치에는 센서들의 위치와 터치 인식 알 고리즘에 따라 터치 인식률이 현저히 떨어지고 정확도가 떨어지는 데드존(Dead zone)이 존재한다. 또한, 멀티 터치 인식장치는 멀티 터치시에 실제 터치 물체의 그림자 효과로 인하여 허상이 발생될 수 있는데, 이러한 허상의 좌표를 실제 터치 위치의 좌표로 오인식할 수 있다.
따라서, 본 발명의 목적은 상기 종래 기술의 문제점들을 해결하고자 안출된 발명으로써 데드존의 터치 인식률과 정확도를 높이고 허상을 제거하도록 한 멀티 터치 감지방법 및 장치에 관한 것이다.
상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 멀티 터치 감지방법은 제1 이미지 센서쌍 사이에 존재하는 제1 데드존의 좌표값과 제2 이미지 센서쌍 사이에 존재하는 제2 데드존의 좌표값을 메모리에 저장하는 제1 단계; 상기 제1 이미지 센서쌍에 의해 얻어진 이미지들로부터 터치점의 좌표값을 계산하는 제2 단계; 상기 제2 이미지 센서쌍에 의해 얻어진 이미지들로부터 상기 터치점의 좌표값을 계산하는 제3 단계; 상기 터치점의 좌표값과 상기 데드존들의 좌표값들을 비교하여 상기 터치점이 속한 데드존의 위치를 판단하는 제4 단계; 상기 터치점의 좌표값이 상기 제1 데드존에 속하면 상기 제3 단계에서 계산된 좌표값을 선택하는 제5 단계; 및 상기 터치점의 좌표값이 상기 제2 데드존에 속하면 상기 제2 단계에서 계산된 좌표값을 선택하는 제6 단계를 포함한다.
본 발명의 실시예에 따른 멀티 터치 감지방법는 터치면의 모서리 근방에 설치되는 제1 및 제2 이미지 센서쌍; 상기 제1 이미지 센서쌍 사이에 존재하는 제1 데드존의 좌표값과 제2 이미지 센서쌍 사이에 존재하는 제2 데드존의 좌표값을 저장한 메모리; 및 상기 제1 이미지 센서쌍에 의해 얻어진 이미지들로부터 터치점의 좌표값과, 상기 제2 이미지 센서쌍에 의해 얻어진 이미지들로부터 상기 터치점의 좌표값을 계산하고, 상기 터치점의 좌표값과 상기 데드존들의 좌표값들을 비교하고 그 비교 결과 상기 터치점이 속한 데드존의 위치를 판단하여 상기 터치점의 좌표값이 상기 제1 데드존에 속하면 상기 제2 이미지 센서쌍에 의해 얻어진 이미지들로부터 계산된 좌표값을 선택하는 반면, 상기 터치점의 좌표값이 상기 제2 데드존에 속하면 상기 제1 이미지 센서쌍에 의해 얻어진 이미지들로부터 계산된 좌표값을 선택하는 멀티터치 프로세서를 구비한다.
상술한 바와 같이, 본 발명의 실시예에 따른 멀티 터치 감지방법 및 장치는 터치점이 속한 터치면의 위치를 판단하고 그 터치점의 위치가 어느 한 이미지 센서쌍의 데드존에 속하면 다른 이미지 센서쌍으로부터 획득된 좌표값을 선택하여 데드존의 터치 인식률과 정확도를 높이고 이미지 센서쌍으로부터 획득된 실제/허상 터치점들의 각도와 다른 이미지 센서에 의해 미리 획득된 실제 터치점들의 각도를 비 교하여 그 차이가 작은 터치점들을 선택하여 허상의 터치점들을 제거할 수 있다.
이하, 도 1 내지 도 16을 참조하여 본 발명의 바람직한 실시예들에 대하여 설명하기로 한다.
도 1 내지 도 4c를 참조하면, 본 발명의 실시예에 따른 멀티 터치 감지장치는 터치&표시 일체화모듈(20), 터치&표시 일체화모듈(20)을 제어하고 터치 위치 각각의 좌표를 계산하는 콘트롤보드(30), 및 콘트롤보드(30)에 타이밍신호와 함께 표시될 데이터(RGB)를 공급하기 위한 시스템(40)을 구비한다.
터치&표시 일체화모듈(20)은 화상이 표시되는 화소어레이(10A)가 형성된 표시패널(10)과, 표시패널(10)의 데이터라인들(D1 내지 Dm)에 데이터전압을 공급하기 위한 소스 드라이버(11)와, 표시패널(10)의 게이트라인들(또는 스캔라인, G1 내지 Gn)에 스캔펄스를 공급하기 위한 게이트 드라이버(12)와, 화소어레이 상에 존재하는 터치면(10A)의 세 모서리 근방들에 배치된 이미지 센서들(SS1~SS3)을 구비한다.
표시패널(10)은 액정 표시장치(Liquid Crystal Display), 전계 방출 표시장치(Field Emission Display), 플라즈마 디스플레이 패널(Plasma Display Panel), 및 무기 전계발광소자와 유기발광다이오드소자(Organic Light Emitting Diode, OLED)를 포함한 전계발광소자(Electroluminescence Device, EL) 등의 평판 표시장치로 구현될 수 있다. 이하에서, 표시패널(10)의 일예로써 액정표시패널을 예시하였지만 표시패널(10)은 이에 한정되지 않고 상기 평판 표시장치의 어떠한 표시패널 로도 구현될 수 있다.
표시패널(10)은 박막트랜지스터(Thin Film Transistor: 이하, "TFT"라 함) 기판과 컬러필터 기판을 포함한다. TFT 기판과 컬러필터 기판 사이에는 액정층이 형성된다. TFT 기판 상에는 하부 유리기판 상에 데이터라인들(D1 내지 Dm)과 게이트라인들(G1 내지 Gn)이 상호 직교되도록 형성되고 데이터라인들(D1 내지 Dm)과 게이트라인들(G1 내지 Gn)에 의해 정의된 셀영역들에 액정셀들(Clc)이 매트릭스 형태로 배치된다. 데이터라인들(D1 내지 Dm)과 게이트라인들(G1 내지 Gn)의 교차부에 형성된 TFT는 게이트라인(G1 내지 Gn)으로부터의 스캔펄스에 응답하여 데이터라인들(D1 내지 Dm)을 경유하여 공급되는 데이터전압을 액정셀(Clc)의 화소전극에 전달하게 된다. 이를 위하여, TFT의 게이트전극은 게이트라인(G1 내지 Gn)에 접속되며, 소스전극은 데이터라인(D1 내지 Dm)에 접속된다. TFT의 드레인전극은 액정셀(Clc)의 화소전극에 접속된다. 화소전극과 대향하는 공통전극에는 공통전압(Vcom)이 공급된다.
컬러필터 기판은 상부 유리기판 상에 형성된 블랙매트릭스, 컬러필터를 포함한다. 공통전극은 TN(Twisted Nematic) 모드와 VA(Vertical Alignment) 모드와 같은 수직전계 구동방식에서 상부 유리기판 상에 형성되며, IPS(In Plane Switching) 모드와 FFS(Fringe Field Switching) 모드와 같은 수평전계 구동방식에서 화소전극과 함께 하부 유리기판 상에 형성된다.
도 3에서, 도면부호 'Cst'는 스토리지 커패시터(Storage Capacitor)이다. 스토리지 커패시터(Cst)는 게이트라인과 액정셀(Clc)의 화소전극의 중첩으로 형성 될 수 있고, 또한, 별도의 공통라인과 화소전극의 중첩으로 형성될 수도 있다.
표시패널(10)의 액정모드는 전술한 TN 모드, VA 모드, IPS 모드, FFS 모드뿐 아니라 어떠한 액정모드로도 구현될 수 있다. 또한, 표시패널(10)은 투과형 액정표시장치, 반투과형 액정표시장치, 반사형 액정표시장치 등 어떠한 형태로도 구현될 수 있다. 투과형 액정표장치와 반투과형 액정표시장치에서는 도면에서 생략된 백라이트 유닛이 필요하다.
소스 드라이버(11)는 다수의 소스 드라이브 집적회로(Integrated Circuit, IC)를 포함하여 콘트롤보드(30)로부터 입력되는 디지털 비디오 데이터(RGB)를 콘트롤보드(30)의 제어 하에 정극성 또는 부극성 아날로그 감마보상전압으로 변환하고, 그 아날로그 감마보상전압을 아날로그 데이터전압으로써 데이터라인들(D1 내지 Dm)에 공급한다.
게이트 드라이버(12)는 다수의 게이트 드라이브 IC를 포함하며, 콘트롤보드(30)의 제어 하에 게이트라인들(G1 내지 Gn)에 순차적으로 스캔펄스를 공급한다.
소스 드라이브 IC들과 게이트 드라이브 IC들은 테이프 캐리어 패키지(Tape Carrier Package, TCP)를 이용한 테이프 오토메이티트 본딩(Tape Automated Bonding, TAB)이나 칩온글라스(Chip on glass, COG) 방식으로 표시패널(10)의 하부 유리기판에 형성된 데이터/게이트 신호선 패드들에 접속될 수 있다. 게이트 드라이브(12)의 게이트 드라이브 IC들은 표시패널(10)의 TFT 어레이 제조공정에서 그 TFT 어레이와 동시에 하부 유리기판에 형성될 수 있다.
이미지 센서들(SS1~SS3)은 CMOS(Complementary Metal Oxide Semiconductor) 센서를 이용한 카메라들 구현될 수 있고 표시패널(10)의 화소 어레이 상에 존재하는 터치면(10A)의 세 모서리 근방에 배치된다. 이미지 센서들(SS1~SS3) 각각은 터치면(10A)과, 그 터치면(10A)으로부터 일정한 높이까지의 이미지를 촬상한다. 이미지 센서들(SS1~SS3)로 사용되는 CMOS 센서는 최소 320×240 화소에서 1280×1024 화소의 해상도를 필요로 한다. 이미지 센서들(SS1~SS3) 각각으로부터 촬상된 터치 이미지는 콘트롤보드(30)에 공급된다. 이미지 센서들(SS1~SS3)의 각각의 렌즈 화각(또는 시야각, Lens angle of view)은 대략 80°~90°이다. 이미지 센서들(SS1~SS3)의 감도록 높이기 위하여 터치면(10A)의 가장자리에는 하나 이상의 적외선 광원이 배치될 수 있다. 적외선 광원은 터치면(10A) 상에 적외선을 조사한다. 두 개의 이미지 센서들이 터치점들을 바라보는 각도의 연장선들의 교차점에서 터치점들의 좌표가 계산된다. 따라서, 이미지 센서들(SS1~SS3)은 최소 2 개의 이미지 센서를 포함할 수 있으나, 후술하는 바와 같이 하나의 이미지 센서쌍만으로 터치점들을 인식하면 데드존 내의 터치인식을 보상할 수 없고 허상을 제거할 수 없기 때문에 적어도 3 개 이상의 이미지 센서들을 포함하여야 한다. 이미지 센서들(SS1~SS3)은 데드존의 터치좌표값을 제거하고 허상의 좌표를 제거하고 또한, 이미지 센서 수를 줄이기 위하여 제1 이미지 센서쌍(SS1 및 SS2)과, 제2 이미지 센서쌍(SS1 및 SS3)으로 구성된다. 제1 및 제2 이미지 센서쌍들(SS1 및 SS2, SS1 및 SS3)은 제1 이미지 센서(SS1)를 공유한다. 제3 이미지 센서(SS3)는 제1 이미지 센서(SS1)와 이미지 센서쌍을 형성하여 데드존의 좌표값을 제거하는 역할과 함께, 허상을 제거하기 위하여 제1 이미지 센서쌍(SS1, SS2)으로부터 획득된 터치점들과 비 교할 실제 터치점들의 각도값을 획득하는 역할을 겸한다. 이미지 센서들(SS1~SS3)의 배치는 도 1 및 도 2에 한정되는 것이 아니라 도 4a 내지 4c와 같이 터치면(10A)의 네 모서리들 중에서 세 모서리 근방에 배치되는 조건 하에서 다양하게 변형될 수 있다.
콘트롤보드(30)는 가요성인쇄회로(Flexible Printed Circuit, FPC)와 커넥터를 통해 소스 드라이버(11)와 게이트 드라이버(12)에 접속된다. 콘트롤보드(30)는 타이밍 콘트롤러(31)와 멀티터치 프로세서(32)를 포함한다.
타이밍 콘트롤러(31)는 수직/수평 동기신호(V,H)와 클럭(CLK)을 이용하여 게이트 드라이버(12)의 동작 타이밍을 제어하기 위한 게이트 타이밍 제어신호와, 소스 드라이버(11)의 동작 타이밍을 제어하기 위한 데이터 타이밍 제어신호를 발생한다. 또한, 타이밍 콘트롤러(31)는 시스템(40)으로부터 입력되는 디지털 비디오 데이터(RGB)를 소스 드라이버(11)에 공급한다.
멀티터치 프로세서(32)는 도 5 내지 도 16과 같은 멀티터치 인식 알고리즘을 이용하여 이미지 센서들(SS1~SS3)이 바라보는 터치점들 각각의 각도를 계산하고, 그 각도에 기초하여 이미지 센서쌍들(SS1 및 SS2, SS1 및 SS3)과 터치점들의 연장선들에 존재하는 교차점 위치의 xy 좌표값을 계산한다. 그리고 멀티터치 프로세서(32)는 이미지 센서쌍들 각각에 의해 획득된 동일 터치점들의 xy 좌표값들 중에서 데드존 밖의 xy 좌표값들을 선택하고 터치점들 중에서 허상을 제거한다. 멀티터치 프로세서(32)는 데드존 내의 터치 좌표값들과 허상의 좌표값들을 제거하는 과정을 거쳐 최종 획득된 터치점들의 좌표 데이터(Txy)를 시스템(40)에 공급한다. 멀티터치 프로세서(32)는 수직/수평 동기신호(V,H)와 클럭(CLK) 등의 타이밍신호를 타이밍 콘트롤러(31)와 공유하므로 타이밍 콘트롤러(31)와 동기되어 동작한다. 따라서, 타이밍 콘트롤러(31)와 멀티터치 프로세서(32)가 동기므로 표시패널(10)에 표시되는 배경 이미지와 터치 이미지가 합성된 이미지의 표시와, 터치점들의 좌표계산처리가 동기될 수 있다.
시스템(40)은 응용프로그램이 내장된 메모리, 응용프로그램을 실행시키기 위한 중앙처리장치(Central Processing Unit), 및 배경이미지와 터치이미지를 합성하고 그 합성 데이터의 신호보간처리와 해상도변환 등을 처리하는 그래픽처리회로를 포함한다. 시스템(40)은 멀티터치 프로세서(32)로부터의 좌표 데이터(Txy)를 입력받아 그 좌표 데이터의 좌표값에 연계된 응용프로그램을 실행시킨다. 예를 들면, 터치지점의 좌표에 특정 프로그램의 아이콘이 있다면 시스템(40)은 메모리에서 그 프로그램을 로딩하여 실행시킨다. 또한, 시스템(40)은 배경이미지와 터치이미지를 합성하여 액정표시패널(10)에 표시하고자 하는 디지털 비디오 데이터(RGB)를 발생한다. 이 시스템(40)은 개인용 컴퓨터(PC)로 구현될 수 있으며, 직렬 혹은 범용직렬버스(Universal Serial Bus, USB) 인터페이스를 통해 멀티터치 프로세서(32)로부터 좌표 데이터들(Txy)을 수신한다.
도 5는 멀티터치 프로세서(32)에서 실행되는 멀티터치 인식 알고리즘의 제어수순을 단계적으로 나타내는 흐름도이다.
도 5를 참조하면, 멀티터치 프로세서(32)는 이미지 센서들(SS1~SS3)에 의해 촬영된 이미지를 입력받아, 윈도우(Window) 처리를 통해 유효 터치영역의 이미지를 추출한다.(S1 및 S2) 이미지 센서들(SS1~SS3)에 의해 촬영된 이미지는 도 6과 같이 터치면(10A)과 그 위 공간의 이미지를 포함한다. 멀티터치 프로세서(32)는 이미지 센서들(SS1~SS3) 각각으로부터 획득된 이미지로부터 터치면(10A) 근방의 유효 터치영역 이미지(빗금친부분)를 윈도우 처리를 통해 선택한다. 윈도우 처리는 입력 이미지신호에 대하여 서브-매트릭스(Sub-matrix) 연산을 통해 필요한 이미지만을 추출하는 이미지추출기법을 이용할 수 있다.
멀티터치 프로세서(32)는 윈도우 처리에 의해 추출된 유효 터치영역 이미지에 포함된 RGB 데이터를 수학식 1과 같은 방법을 이용하여 그레이정보(Gray)로 변환한다.(S3)
계조정보(Gray scale intensity)=pR+qG+sB
여기서, 'p', 'q', 's'는 서로 다른 값을 갖는 상수이다.
멀티터치 프로세서(32)는 S4 단계로부터 산출된 그레이 정보(Gray scale intensity)를 소정의 임계값과 비교한다. 멀티터치 프로세서(32)는 임계값 이상의 그레이 정보를 백색 데이터(White data)로 변환하고, 임계치 미만의 데이터들을 블랙 데이터(Black data)로 변환한다(S4). 도 7은 S1 내지 S4 단계를 거쳐 획득된 터치 이미지의 일예를 보여 주는 것으로, 그 이미지에서 화이트 이미지는 터치 물체의 이미지이고 블랙 이미지는 터치 물체 이외의 배경 이미지이다. 이어서, 멀티터치 프로세서(32)는 터치점들 각각을 구분하기 위하여 도 8과 같이 터치점들 각각에 대하여 식별코드(ID)를 부여한다.(S5)
이어서, 멀티터치 프로세서(32)는 도 9와 같이 이미지 센서쌍들로부터 획득된 이미지로부터 이미지 센서와 터치점들이 이루는 각도와, 그 각도에 근거하여 터치점들 각각의 xy 좌표값을 계산한 다음, 데드존(DZ)의 터치 좌표값과 허상(MP)의 좌표값을 제거한다.(S6)
도 9를 참조하면, 멀티터치 프로세서(32)는 제1 이미지 센서쌍(SS1, SS2)으로부터 획득된 이미지들로부터 터치점들 각각에 대하여 이미지 센서들이 바라보는 각도를 계산하고, 제2 이미지 센서쌍(SS1, SS3)으로부터 획득된 이미지들로부터 터치점들 각각에 대하여 이미지 센서들이 바라보는 각도를 계산한다.(S81, S83) 터치점과 이미지 센서가 이루는 각도(θ)는 아래의 수학식 2와 같이 도 7의 이미지에서 터치물체의 위치(Ptouch)를 이미지의 가로너비(L)로 나눈 값에 이미지 센서의 화각(또는 시야각, θview)을 곱한 값으로 계산될 수 있다.
Figure 112008087177338-pat00001
S82 및 S84 단계에서, 멀티터치 프로세서(32)는 아래의 수학식 3과 같은 삼각함수를 이용한 삼각 측량법으로 터치점들 각각의 xy 좌표값을 산출한다.(S82, S84) 수학식 3은 하나의 터치점을 2차원 xy 좌표 값으로 계산하기 위한 계산식으로써 도 10과 같이 이미지 센서쌍(SS1, SS2), S81 및 S84 단계에서 구해진 터치점과 이미지 센서 사이의 각도(A, B), 이미지 센서와 터치점들 사이의 거리(a, b, c) 를 함수로 한다. 터치위치와 카메라들 사이의 각도 C는 "C=180-각도A-각도B"로 산출된다.
Figure 112008087177338-pat00002
S82 및 S84 단계에서, 구해진 터치점들 각각에는 데드존(DZ)의 좌표값들과 허상(MP)의 좌표값들이 포함될 수 있다. 멀티터치 프로세서(32)는 S85 내지 S92 단계의 알고리즘을 처리하여 데드존(DZ)과 허상(MP)의 좌표값들을 제거한다. 이러한 방법을 설명하기에 앞서, 도 11 내지 도 14b를 결부하여 허상(MP)과 데드존(DZ)에 대하여 설명하기로 한다.
도 11과 같이 터치면(10A) 상에 두 개의 실제 터치점(RP1, RP2)이 존재한다면, 그 터치점들(RP1, RP2)과 이미지 센서들(SS1, SS2)의 연장선에는 실제 터치점들의 교차점들 이외에 허상의 가상 터치점들(MP1, MP2)이 존재한다. 도 12a는 제1 이미지 센서(SS1)로부터 획득된 이미지를 도시한 것이고, 도 12b는 제2 이미지 센서(SS2)로부터 획득된 이미지를 도시한 것이다. S81 내지 S84 단계는 실제 터치점 들(RP1, RP2)과 허상의 가상 터치점들(MP1, MP2)를 구분하지 않고 4 개의 터치점들 각각에 대한 xy 좌표값들을 산출한다. 본 발명과 같이 두 개의 이미지 센서쌍을 구성하기 위하여 3 개의 이미지 센서들(SS1 내지 SS3)을 터치면(10A)의 세 모서리들에 배치하고 터치면(10A) 상에 두 개의 실제 터치점이 입력되면, 도 13과 같이 실제 터치점들 이외에 제1 이미지 센서쌍(SS1, SS2)이 바라보는 허상의 가장 터치점쌍과, 제2 이미지 센서쌍(SS1, SS3)이 바라보는 허상의 가장 터치점쌍들이 나타난다. 터치면(10A)에 하나의 터치점 즉, 싱글 터치가 입력되면 이미지 센서들과 그 싱글 터치점(single touch point)의 연장선에서 교차점이 하나만 존재하므로 허상이 나타나지 않는다. 따라서, 멀티터치 프로세서(32)는 S81 내지 S84 단계에서 산출된 터치점의 좌표가 하나이면 S86 내지 S88 단계에서 허상의 터치점 제거없이 데드존의 좌표값만을 제거한다.
데드존(DZ)은 이미지 센서쌍 사이의 각도가 작은 부분에 존재하며 터치 정확도가 현저히 떨어진다. 도 14a 및 도 14b는 터치인식이 가능한 점들을 보여 주는 시뮬레이션 화면들로써, 데드존들(DZ12, DZ13)에서는 터치인식이 가능한 점들의 밀도가 현저히 작은 것을 확인할 수 있다. 도 14a는 터치면(10A)의 하단에 존재하는 제1 이미지 센서쌍(SS1, SS2) 사이의 제1 데드존(DZ12)을 보여 주며, 도 14b는 터치면(10A)의 일측 가장자리에 존재하는 제2 이미지 센서쌍(SS1, SS3) 사이의 제2 데드존(DZ13)을 보여 준다.
제1 이미지 센서쌍(SS1, SS2) 사이의 제1 데드존(DAZ12)은 제2 이미지 센서쌍(SS1, SS3)에서 바라 볼 때 도 14b와 같이 터치점 인식률이 높은 영역이며, 제2 이미지 센서쌍(SS1, SS3) 사이의 제2 데드존(DAZ13)은 제1 이미지 센서쌍(SS1, SS2)에서 바라 볼 때 도 14a와 같이 터치점 인식률이 높은 영역이다. 멀티터치 프로세서(32)는 데드존들(DZ12, DZ13)의 좌표값들을 미리 저장하고 있다.
멀티터치 프로세서(32)는 싱글 터치가 입력될 때 그 싱글 터치점과 데드존(DZ12, DZ13) 좌표값을 비교하여 싱글 터치점이 데드존 영역 내에 위치하는 것으로 판단되면, 그 싱글 터치점이 어느 데드존에 속하는가를 판단한다.(S85 및 S86) 그 결과, 싱글 터치점이 제2 데드존(DZ13)에 속하면, 멀티터치 프로세서(32)는 제1 이미지 센서쌍(SS1, SS2)으로부터 산출된 좌표값을 출력한다.(S87) 싱글 터치점이 제1 데드존(DZ12)에 속하면, 멀티터치 프로세서(32)는 제2 이미지 센서쌍(SS1, SS3)으로부터 산출된 좌표값을 출력한다.(S88) 따라서, 멀티터치 프로세서(32)는 두 개의 이미지 센서쌍(SS1 및 SS2, SS1 및 SS3) 중에서 터치 정확도가 높은 이미지 센서쌍으로부터 획득된 좌표값을 선택함으로써 터치면(10A)에서 데드존(DZ12, DZ13)의 영향을 받지 않는 터치점의 좌표값을 선택할 수 있다.
멀티터치 프로세서(32)는 멀티 터치가 입력될 때 그 멀티 터치점들 중에서 허상을 제거한 후에, 데드존의 좌표값을 제거한다.(S85, S89~S92) 허상 제거 알고리즘(S89)에 대하여, 도 15 및 도 16을 결부하여 설명하기로 한다.
도 15 및 도 16을 참조하면, 멀티터치 프로세서(32)는 제3 이미지 센서(SS3)와 2 개의 실제 터치점들(RP1, RP2)이 이루는 2 개의 각도들을 계산하고 그 각도값들을 메모리에 저장한다.(S151) 멀티터치 프로세서(32)는 제1 및 제2 이미지 센서들(SS1, SS2)과 실제 터치점들(RP1, RP2)이 이루는 각도들을 계산하고 그 각도값들 로부터 실제 터치점들(RP1, RP2)과 허상의 가상 터치점들(MP1, MP2)의 좌표값들을 계산한다.(S152, S153) 그리고 멀티터치 프로세서(32)는 S152 단계에서 계산된 좌표값들 각각에 대하여 제3 이미지 센서(SS3)와의 각도를 계산하여 4 개의 각도값들을 산출한다.(S154) 마지막으로, 멀티터치 프로세서(32)는 S151 단계에서 미리 계산되어 저장된 제3 이미지 센서(SS3)와 실제 터치점들(RP1, RP2)이 이루는 2 개의 각도값들과 S154 단계에서 계산된 4 개의 각도값들을 비교하여 그 차이가 작은 좌표값들을 선택한다.(S155) 한편, 각도 및 좌표값 연산은 이미 S81 내지 S84 단계에서 처리되었다. 따라서, 멀티터치 프로세서(32)는 S81 내지 S84 단계에서 계산된 각도 및 좌표값들을 메모리에 저장하고 S151 내지 S154 단계의 연산처리를 할 필요가 없다.
S154에서 계산된 터치점들은 실제 터치점들(RP1, RP2)허상의 가상 터치점들(MP1, MP2)의 각도값들을 포함하고 있고, 이러한 각도값들 중에서 실제 터치점들(RP1, RP2)의 각도값들이 도 16과 같이 S155 단계에서 미리 계산된 2 개의 실제 터치점들의 각도값과의 차이가 작다. 따라서, 멀티터치 프로세서(32)는 S151 내지 S155 단계를 포함한 허상 제거 알고리즘을 이용하여 허상의 터치점들을 제거할 수 있다.
멀티터치 프로세서(32)는 멀티 터치 입력시에 S89의 허상 제거 알고리즘을 이용하여 허상을 제거한 후에 실제 터치점들(RP1, RP2)의 좌표값과 데드존(DZ12, DZ13)의 좌표값들을 비교하여 실제 터치점들(RP1, RP2)이 데드존(DZ12, DZ13) 내에 위치하는 것으로 판단되면, 그 터치점들이 어느 데드존에 속하는가를 판단한 다.(S90) 그 결과, 터치점들(RP1, RP2)의 제2 데드존(DZ13)에 속하면, 멀티터치 프로세서(32)는 제1 이미지 센서쌍(SS1, SS2)으로부터 산출된 좌표값을 출력한다.(S91) 터치점들(RP1, RP2)이 제1 데드존(DZ12)에 속하면, 멀티터치 프로세서(32)는 제2 이미지 센서쌍(SS1, SS3)으로부터 산출된 좌표값을 출력한다.(S92) 따라서, 멀티터치 프로세서(32)는 멀티 터치 입력시에 허상을 제거하고 남은 실제 터치점들의 좌표값들 중에서 터치 정확도가 높은 좌표값을 선택함으로써 터치면(10A)에서 데드존(DZ12, DZ13)의 영향을 받지 않는 좌표값들을 선택할 수 있다.
전술한 실시예는 허상과 데드존 좌표값을 제거하기 위하여 2 개의 이미지 센서쌍을 구성하기 위하여 3 개의 이미지 센서를 중심으로 설명하였지만 3 개 이상의 이미지 센서들로 구성될 수도 있다. 예를 들어, 이미지 센서들을 4 개로 구성하여 그 센서들을 터치면(10A)의 4 모서리에 하나씩 배치하면 허상을 검출하기 위한 이미지 센서들의 개수가 그 만큼 증가하여 상기한 허상 제거 알고리즘을 이용하여 그 이미지 센서들로부터 얻어진 각도값들을 비교함으로서 더 정확하게 허상을 제거할 수 있고 데드존 영향도 더 줄일 수 있다.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의해 정하여 져야만 할 것이다.
도 1은 본 발명의 실시예에 따른 멀티 터치 감지장치를 보여 주는 블록도이다.
도 2는 도 1에 도시된 멀티 터치 감지장치를 상세히 보여 주는 블록도이다.
도 3은 도 2에 도시된 표시패널의 화소 어레이 일부를 등가적으로 나타내는 회로도이다.
도 4a 내지 도 4c는 이미지 센서들의 다양한 실시예들을 보여 주는 도면들이다.
도 5는 본 발명의 실시예에 따른 멀티 터치 감지방법의 제어수순을 단계적으로 보여 주는 흐름도이다.
도 6은 윈도우 처리를 설명하기 위한 도면.
도 7은 이미지 센서로부터 획득된 이미지의 예를 보여 주는 도면이다.
도 8은 터치점들의 IC 부여 예를 보여 주는 도면이다.
도 9는 도 5에서 S6 단계의 제어 수순을 상세히 보여 주는 흐름도이다.
도 10은 삼각 측량법을 설명하기 위한 도면.
도 11 내지 도 13은 허상의 예를 보여 주는 도면들이다.
도 14a 및 도 14b는 데드존을 보여 주는 도면들이다.
도 15는 도 9에서 S89 단계의 제어 수순을 상세히 보여 주는 흐름도이다.
도 16은 허상 제거 원리를 도식적으로 보여 주는 도면이다.
< 도면의 주요 부분에 대한 부호의 설명 >
10 :표시패널 10A : 터치면
20 : 터치&표시 일체화모듈 30 : 콘트롤보드
32 : 멀티터치 프로세서 40 : 시스템
SS1~SS3 : 이미지 센서

Claims (10)

  1. 제1 이미지 센서쌍 사이에 존재하는 제1 데드존의 좌표값과 제2 이미지 센서쌍 사이에 존재하는 제2 데드존의 좌표값을 메모리에 저장하는 제1 단계;
    상기 제1 이미지 센서쌍에 의해 얻어진 이미지들로부터 터치점의 좌표값을 계산하는 제2 단계;
    상기 제2 이미지 센서쌍에 의해 얻어진 이미지들로부터 상기 터치점의 좌표값을 계산하는 제3 단계;
    상기 터치점의 좌표값과 상기 데드존들의 좌표값들을 비교하여 상기 터치점이 속한 데드존의 위치를 판단하는 제4 단계;
    상기 터치점의 좌표값이 상기 제1 데드존에 속하면 상기 제3 단계에서 계산된 좌표값을 선택하는 제5 단계; 및
    상기 터치점의 좌표값이 상기 제2 데드존에 속하면 상기 제2 단계에서 계산된 좌표값을 선택하는 제6 단계를 포함하는 것을 특징으로 하는 멀티 터치 감지방법.
  2. 제 1 항에 있어서,
    상기 제1 이미지 센서쌍은 제1 및 제2 이미지 센서를 포함하고,
    상기 제2 이미지 센서쌍은 상기 제1 이미지 센서와 제3 이미지 센서를 포함하는 것을 특징으로 하는 멀티 터치 감지방법.
  3. 제 1 항에 있어서,
    상기 제1 및 제2 단계의 계산 결과 상기 제1 및 제2 이미지 센서쌍의 이미지들로부터 계산된 좌표값이 하나만 존재하면, 상기 제3 내지 제6 단계를 처리하는 것을 특징으로 하는 멀티 터치 감지방법.
  4. 제 2 항에 있어서,
    상기 제1 및 제2 단계의 계산 결과 상기 제1 및 제2 이미지 센서쌍의 이미지들로부터 계산된 좌표값이 복수개 존재하는 것으로 판단되면, 상기 좌표값들 중에서 허상의 좌표값들을 제거하는 단계를 더 포함하고;
    상기 허상을 제거한 후에 상기 제3 내지 제6 단계를 처리하는 것을 특징으로 하는 멀티 터치 감지방법.
  5. 제 4 항에 있어서,
    상기 허상의 좌표값들을 제거하는 단계는,
    상기 제3 이미지 센서에 의해 얻어진 이미지로부터 상기 터치점들의 각도값들을 계산하여 상기 메모리에 저장하는 단계;
    상기 제2 단계에서 계산된 좌표값들과 상기 제3 이미지 센서가 이루는 각도값들을 계산하는 단계; 및
    상기 메모리에 저장된 터치점들의 각도값들을 상기 좌표값들과 상기 제3 이미지 센서가 이루는 각도값들과 비교하여 그 차이가 작은 터치점들을 선택하는 단계를 포함하는 것을 특징으로 하는 멀티 터치 감지방법.
  6. 터치면의 모서리 근방에 설치되는 제1 및 제2 이미지 센서쌍;
    상기 제1 이미지 센서쌍 사이에 존재하는 제1 데드존의 좌표값과 제2 이미지 센서쌍 사이에 존재하는 제2 데드존의 좌표값을 저장한 메모리; 및
    상기 제1 이미지 센서쌍에 의해 얻어진 이미지들로부터 터치점의 좌표값과, 상기 제2 이미지 센서쌍에 의해 얻어진 이미지들로부터 상기 터치점의 좌표값을 계산하고, 상기 터치점의 좌표값과 상기 데드존들의 좌표값들을 비교하고 그 비교 결과 상기 터치점이 속한 데드존의 위치를 판단하여 상기 터치점의 좌표값이 상기 제1 데드존에 속하면 상기 제2 이미지 센서쌍에 의해 얻어진 이미지들로부터 계산된 좌표값을 선택하는 반면, 상기 터치점의 좌표값이 상기 제2 데드존에 속하면 상기 제1 이미지 센서쌍에 의해 얻어진 이미지들로부터 계산된 좌표값을 선택하는 멀티터치 프로세서를 구비하는 것을 특징으로 하는 멀티 터치 감지장치.
  7. 제 6 항에 있어서,
    상기 제1 이미지 센서쌍은 제1 및 제2 이미지 센서를 포함하고,
    상기 제2 이미지 센서쌍은 상기 제1 이미지 센서와 제3 이미지 센서를 포함하는 것을 특징으로 하는 멀티 터치 감지장치.
  8. 제 6 항에 있어서,
    상기 멀티터치 프로세서는,
    상기 제1 이미지 센서쌍에 의해 얻어진 이미지들로부터 터치점의 좌표값과, 상기 제2 이미지 센서쌍에 의해 얻어진 이미지들로부터 상기 터치점의 좌표값을 계산한 결과 상기 좌표값이 하나만 존재하면, 상기 터치점의 좌표값과 상기 데드존들의 좌표값들을 비교하고 그 비교 결과 상기 터치점이 속한 데드존의 위치를 판단하여 상기 터치점의 좌표값이 상기 제1 데드존에 속하면 상기 제2 이미지 센서쌍에 의해 얻어진 이미지들로부터 계산된 좌표값을 선택하는 반면, 상기 터치점의 좌표값이 상기 제2 데드존에 속하면 상기 제1 이미지 센서쌍에 의해 얻어진 이미지들로부터 계산된 좌표값을 선택하는 것을 특징으로 하는 멀티 터치 감지장치.
  9. 제 7 항에 있어서,
    상기 멀티터치 프로세서는,
    상기 제1 이미지 센서쌍에 의해 얻어진 이미지들로부터 터치점의 좌표값과, 상기 제2 이미지 센서쌍에 의해 얻어진 이미지들로부터 상기 터치점의 좌표값을 계산한 결과 상기 좌표값이 복수 개 존재하면, 상기 좌표값들 중에서 허상의 좌표값들을 제거하는 것을 특징으로 하는 멀티 터치 감지장치.
  10. 제 9 항에 있어서,
    상기 멀티터치 프로세서는,
    상기 제3 이미지 센서에 의해 얻어진 이미지로부터 상기 터치점들의 각도값들을 계산하여 상기 메모리에 저장하고,
    상기 제1 이미지 센서쌍에 의해 얻어진 이미지들로부터 터치점의 좌표값들과상기 제3 이미지 센서가 이루는 각도값들을 계산하며,
    상기 메모리에 저장된 터치점들의 각도값들을 상기 좌표값들과 상기 제3 이미지 센서가 이루는 각도값들과 비교하여 그 차이가 작은 터치점들을 선택하는 것을 특징으로 하는 멀티 터치 감지장치.
KR1020080129572A 2008-12-18 2008-12-18 멀티 터치 감지방법 및 장치 KR101352264B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020080129572A KR101352264B1 (ko) 2008-12-18 2008-12-18 멀티 터치 감지방법 및 장치
CN2009101683724A CN101751177B (zh) 2008-12-18 2009-08-31 液晶显示器
US12/585,110 US8269740B2 (en) 2008-12-18 2009-09-03 Liquid crystal display

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080129572A KR101352264B1 (ko) 2008-12-18 2008-12-18 멀티 터치 감지방법 및 장치

Publications (2)

Publication Number Publication Date
KR20100070841A KR20100070841A (ko) 2010-06-28
KR101352264B1 true KR101352264B1 (ko) 2014-01-17

Family

ID=42265298

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080129572A KR101352264B1 (ko) 2008-12-18 2008-12-18 멀티 터치 감지방법 및 장치

Country Status (3)

Country Link
US (1) US8269740B2 (ko)
KR (1) KR101352264B1 (ko)
CN (1) CN101751177B (ko)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9471170B2 (en) 2002-11-04 2016-10-18 Neonode Inc. Light-based touch screen with shift-aligned emitter and receiver lenses
US8902196B2 (en) * 2002-12-10 2014-12-02 Neonode Inc. Methods for determining a touch location on a touch screen
US9063614B2 (en) 2009-02-15 2015-06-23 Neonode Inc. Optical touch screens
CN102053757B (zh) * 2009-11-05 2012-12-19 上海精研电子科技有限公司 一种红外触摸屏装置及其多点定位方法
KR101018397B1 (ko) * 2010-09-27 2011-02-28 김길선 멀티 터치에서 발생하는 허상의 제거가 가능한 적외선 터치스크린 장치
TWI443557B (zh) * 2010-09-30 2014-07-01 Wintek Corp 觸控面板資料傳輸方法
CN102004585B (zh) * 2010-11-15 2013-04-03 广东威创视讯科技股份有限公司 一种触摸屏多区域识别方法
US9417754B2 (en) 2011-08-05 2016-08-16 P4tents1, LLC User interface system, method, and computer program product
KR101395991B1 (ko) * 2011-09-01 2014-05-19 엘지디스플레이 주식회사 터치센서를 가지는 표시장치와 그의 터치성능 향상방법
WO2013169849A2 (en) 2012-05-09 2013-11-14 Industries Llc Yknots Device, method, and graphical user interface for displaying user interface objects corresponding to an application
EP2847661A2 (en) 2012-05-09 2015-03-18 Apple Inc. Device, method, and graphical user interface for moving and dropping a user interface object
AU2013259637B2 (en) 2012-05-09 2016-07-07 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
WO2013169843A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for manipulating framed graphical objects
WO2013169865A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
WO2013169845A1 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for scrolling nested regions
CN109298789B (zh) 2012-05-09 2021-12-31 苹果公司 用于针对激活状态提供反馈的设备、方法和图形用户界面
CN107977084B (zh) 2012-05-09 2021-11-05 苹果公司 用于针对在用户界面中执行的操作提供触觉反馈的方法和装置
WO2013169875A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for displaying content associated with a corresponding affordance
AU2013259606B2 (en) 2012-05-09 2016-06-02 Apple Inc. Device, method, and graphical user interface for displaying additional information in response to a user contact
CN104487928B (zh) 2012-05-09 2018-07-06 苹果公司 用于响应于手势而在显示状态之间进行过渡的设备、方法和图形用户界面
WO2013169842A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for selecting object within a group of objects
WO2013169851A2 (en) 2012-05-09 2013-11-14 Yknots Industries Llc Device, method, and graphical user interface for facilitating user interaction with controls in a user interface
KR101308098B1 (ko) * 2012-06-01 2013-09-12 장진영 적외선 터치스크린의 멀티 터치 포인트 검출방법
US9164625B2 (en) 2012-10-14 2015-10-20 Neonode Inc. Proximity sensor for determining two-dimensional coordinates of a proximal object
US9921661B2 (en) 2012-10-14 2018-03-20 Neonode Inc. Optical proximity sensor and associated user interface
US10282034B2 (en) 2012-10-14 2019-05-07 Neonode Inc. Touch sensitive curved and flexible displays
US9207800B1 (en) 2014-09-23 2015-12-08 Neonode Inc. Integrated light guide and touch screen frame and multi-touch determination method
CN105264479B (zh) 2012-12-29 2018-12-25 苹果公司 用于对用户界面分级结构进行导航的设备、方法和图形用户界面
EP2939095B1 (en) 2012-12-29 2018-10-03 Apple Inc. Device, method, and graphical user interface for moving a cursor according to a change in an appearance of a control icon with simulated three-dimensional characteristics
AU2013368443B2 (en) 2012-12-29 2016-03-24 Apple Inc. Device, method, and graphical user interface for transitioning between touch input to display output relationships
EP2939096B1 (en) 2012-12-29 2019-08-28 Apple Inc. Device, method, and graphical user interface for determining whether to scroll or select contents
WO2014105275A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for forgoing generation of tactile output for a multi-contact gesture
WO2014105279A1 (en) 2012-12-29 2014-07-03 Yknots Industries Llc Device, method, and graphical user interface for switching between user interfaces
CN104375698A (zh) * 2014-07-17 2015-02-25 深圳市钛客科技有限公司 一种触控设备
CN104375697A (zh) * 2014-07-17 2015-02-25 深圳市钛客科技有限公司 一种移动设备
CN104571731B (zh) 2015-02-16 2017-06-09 京东方科技集团股份有限公司 触摸面板和显示装置
US9990107B2 (en) 2015-03-08 2018-06-05 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US10048757B2 (en) 2015-03-08 2018-08-14 Apple Inc. Devices and methods for controlling media presentation
US9632664B2 (en) 2015-03-08 2017-04-25 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10095396B2 (en) 2015-03-08 2018-10-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US9645732B2 (en) 2015-03-08 2017-05-09 Apple Inc. Devices, methods, and graphical user interfaces for displaying and using menus
US9785305B2 (en) 2015-03-19 2017-10-10 Apple Inc. Touch input cursor manipulation
US9639184B2 (en) 2015-03-19 2017-05-02 Apple Inc. Touch input cursor manipulation
US20170045981A1 (en) 2015-08-10 2017-02-16 Apple Inc. Devices and Methods for Processing Touch Inputs Based on Their Intensities
US10152208B2 (en) 2015-04-01 2018-12-11 Apple Inc. Devices and methods for processing touch inputs based on their intensities
CN104866138B (zh) * 2015-05-13 2019-07-12 科世达（上海）管理有限公司 一种检测触控位置的方法及装置
US10346030B2 (en) 2015-06-07 2019-07-09 Apple Inc. Devices and methods for navigating between user interfaces
US10200598B2 (en) 2015-06-07 2019-02-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9860451B2 (en) 2015-06-07 2018-01-02 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US9891811B2 (en) 2015-06-07 2018-02-13 Apple Inc. Devices and methods for navigating between user interfaces
US9830048B2 (en) 2015-06-07 2017-11-28 Apple Inc. Devices and methods for processing touch inputs with instructions in a web page
US9880735B2 (en) 2015-08-10 2018-01-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10416800B2 (en) 2015-08-10 2019-09-17 Apple Inc. Devices, methods, and graphical user interfaces for adjusting user interface objects
US10235035B2 (en) 2015-08-10 2019-03-19 Apple Inc. Devices, methods, and graphical user interfaces for content navigation and manipulation
US10248308B2 (en) 2015-08-10 2019-04-02 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
CN110232299A (zh) * 2018-03-05 2019-09-13 上海箩箕技术有限公司 液晶显示模组
KR20220098024A (ko) 2019-12-31 2022-07-08 네오노드, 인크. 비 접촉식 터치 입력 시스템
KR20230074269A (ko) 2020-09-30 2023-05-26 네오노드, 인크. 광학 터치 센서

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070119375A (ko) * 2006-06-15 2007-12-20 (주)나노터치시스템 터치 좌표 인식 방법과 이를 수행하기 위한 터치 스크린장치
US20080068352A1 (en) 2004-02-17 2008-03-20 Smart Technologies Inc. Apparatus for detecting a pointer within a region of interest
KR100829172B1 (ko) 2006-02-20 2008-05-13 호감테크놀로지(주) 적외선 터치스크린 장치 및 적외선 터치스크린의 터치점의좌표 산출 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007021537B4 (de) * 2006-12-13 2020-01-02 Lg Display Co., Ltd. Displayeinheit mit Mehrfachberührungs-Erkennungsfunktion
TWI339808B (en) * 2007-09-07 2011-04-01 Quanta Comp Inc Method and system for distinguishing multiple touch points
CN201084128Y (zh) * 2007-09-30 2008-07-09 成都吉锐触摸技术股份有限公司 图像定位触摸装置
KR101365776B1 (ko) * 2008-04-08 2014-02-20 엘지디스플레이 주식회사 멀티 터치 시스템 및 그 구동 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080068352A1 (en) 2004-02-17 2008-03-20 Smart Technologies Inc. Apparatus for detecting a pointer within a region of interest
KR100829172B1 (ko) 2006-02-20 2008-05-13 호감테크놀로지(주) 적외선 터치스크린 장치 및 적외선 터치스크린의 터치점의좌표 산출 방법
KR20070119375A (ko) * 2006-06-15 2007-12-20 (주)나노터치시스템 터치 좌표 인식 방법과 이를 수행하기 위한 터치 스크린장치

Also Published As

Publication number Publication date
CN101751177A (zh) 2010-06-23
KR20100070841A (ko) 2010-06-28
CN101751177B (zh) 2012-07-04
US20100156825A1 (en) 2010-06-24
US8269740B2 (en) 2012-09-18

Similar Documents

Publication Publication Date Title
KR101352264B1 (ko) 멀티 터치 감지방법 및 장치
KR101374104B1 (ko) 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법
US10152156B2 (en) Touch sensor integrated type display device
JP5770819B2 (ja) タッチスクリーン一体型表示装置
US10222898B2 (en) Display device with touch detection function and display system
US10078393B2 (en) Touch detection device, display device with touch detection function, and cover member
CN107015697B (zh) 显示装置
US9645639B2 (en) Apparatus and method for driving touch sensor
KR101733728B1 (ko) 터치스크린 일체형 표시장치
CN109685020B (zh) 整合型触控显示装置及其驱动方法
US10754471B2 (en) Touch sensing device and image display device using the same
KR102325806B1 (ko) 표시장치 및 그 구동 방법
KR101330471B1 (ko) 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법
KR101723879B1 (ko) 터치스크린 일체형 표시장치
KR101407290B1 (ko) 멀티 터치인식 기능을 가지는 표시장치와 그 구동방법
KR101720997B1 (ko) 터치스크린 일체형 표시장치
EP2447811B1 (en) Infrared sensor module, touch sensing method thereof, and auto calibration method applied to the same
KR101633097B1 (ko) 멀티 터치 감지방법 및 장치
KR102010796B1 (ko) 터치 인식 장치 및 터치 인식 방법
KR101549246B1 (ko) 멀티터치 시스템과 그 구동방법
KR101818548B1 (ko) 터치스크린 일체형 표시장치 및 터치 집적회로
JP2009042297A (ja) 液晶表示装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161214

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171218

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181226

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20191212

Year of fee payment: 7