KR101761543B1 - 터치 센서 및 터치 센서의 구동 방법 및 표시 장치 - Google Patents

터치 센서 및 터치 센서의 구동 방법 및 표시 장치 Download PDF

Info

Publication number
KR101761543B1
KR101761543B1 KR1020100080623A KR20100080623A KR101761543B1 KR 101761543 B1 KR101761543 B1 KR 101761543B1 KR 1020100080623 A KR1020100080623 A KR 1020100080623A KR 20100080623 A KR20100080623 A KR 20100080623A KR 101761543 B1 KR101761543 B1 KR 101761543B1
Authority
KR
South Korea
Prior art keywords
transistor
touch panel
area
input
image
Prior art date
Application number
KR1020100080623A
Other languages
English (en)
Other versions
KR20110020742A (ko
Inventor
무네히로 고즈마
Original Assignee
가부시키가이샤 한도오따이 에네루기 켄큐쇼
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 한도오따이 에네루기 켄큐쇼 filed Critical 가부시키가이샤 한도오따이 에네루기 켄큐쇼
Publication of KR20110020742A publication Critical patent/KR20110020742A/ko
Application granted granted Critical
Publication of KR101761543B1 publication Critical patent/KR101761543B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416Control or interface arrangements specially adapted for digitisers
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412Digitisers structurally integrated in a display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

터치 센서, 터치 패널, 및 그들을 갖는 장치에 있어서, 입력 및 비입력의 판정을 정확하게 행하고, 오동작을 방지하는 것을 목적으로 한다. 또한, 판정의 응답 속도를 향상시키는 것을 목적으로 한다.
복수의 화소에 포토 센서를 갖는 터치 패널과, 화상 처리부를 갖고, 상기 포토 센서는 상기 터치 패널과 대상물의 접촉 화상을 생성하고, 상기 화상 처리부는 상기 접촉 화상의 색 정보로부터 접촉 부분의 면적을 산출하고, 상기 면적에 의거하여 상기 터치 패널에 대한 입력 및 비입력의 판정을 행한다.

Description

터치 센서 및 터치 센서의 구동 방법 및 표시 장치{TOUCH SENSOR AND METHOD FOR DRIVING THE SAME AND DISPLAY DEVICE}
기술 분야는, 터치 센서에 관한 것이다. 또한, 터치 센서를 표시부에 구비한 터치 패널, 및 터치 패널을 갖는 표시 장치에 관한 것이다.
근년, 액정 디스플레이나 EL(일렉트로 루미네선스) 디스플레이의 시장이 확대됨으로써, 패널에 대한 부가 가치의 중요성이 증대되고 있다. 그 중에서도, 유저 인터페이스(user interface)로서 터치 센서를 표시부에 구비한 터치 패널이 주목을 받고, 휴대형 게임기 등의 모바일 기기에 도입되는 것이 진행되고 있다.
또한, 지문 인증 장치 등의 표시부를 필수로 하지 않는 장치에도, 터치 센서를 탑재하여, 본인 인증을 행하는 기술이 제안되고 있다.
예를 들어, 터치 패널에 있어서는, 표시부의 화소 내에 포토 센서를 배치하고, 표시 화면에 대한 입사 광을 포토 센서로 검출함으로써, 정보의 입력을 가능하게 한 것이 개발되고 있다(예를 들어, 특허 문헌 1 참조).
이와 같은 종류의 포토 센서를 구비한 터치 패널에서는, 화소 내에 포토 센서로서 예를 들어 포토 다이오드를 배치하고, 표시 화면 위에 투영된 손 가락이나 물체 등의 섀도(shadow)로 인한 광량의 변화를 포토 다이오드로 검출하는 기술이나, 라이트 펜 등의 발광하는 물체로부터의 광 조사로 인한 광량의 변화를 포토 다이오드로 검출하는 기술이 제안되고 있다.
특개2004-318819호 공보
터치 센서, 터치 패널, 및 그들을 사용한 장치에 있어서, 입력의 검출을 정확하게 행하고, 오동작(誤動作)을 방지하는 것을 목적의 하나로 한다.
또한, 입력의 검출에 필요한 시간을 단축하는 것을 목적의 하나로 한다.
터치 센서의 일 형태는, 포토 센서를 구비한 입력부를 갖고, 입력부에 대상물이 접촉하였을 때, 대상물의 색깔이 변화되는 것을 이용하여, 터치 센서에 대한 입력을 검출하는 것을 특징으로 한다.
검출 원리는, 예를 들어, 대상물을 사람의 손 가락으로 한 경우, 입력부에 대한 접촉에 따라, 개인적인 차이는 있지만, 접촉한 부분의 손 가락의 색깔이 접촉하기 전의 적색으로부터 분홍색 또는 백색으로 변화되는 것을 이용하는 것이다.
구체적으로는, 포토 센서에 있어서 손 가락의 화상을 생성하고, 생성한 화상의 색 정보를 화상 처리에 의하여 분석함으로써, 접촉 부분의 면적을 산출하고, 그 면적 정보에 의거하여 터치 센서에 대한 입력을 검출하는 것이다.
상기 터치 센서는, 입력부를 터치 패널로 함으로써, 표시 장치에 응용할 수도 있다.
본 발명의 일 형태는, 복수의 화소에 포토 센서를 갖는 터치 패널과, 화상 처리부를 갖고, 포토 센서는 터치 패널과 대상물의 접촉 화상을 생성하고, 화상 처리부는 접촉 화상의 색 정보로부터 접촉 부분의 면적을 산출하고, 면적에 의거하여 터치 패널에 대한 입력을 검출하는 표시 장치이다. 접촉 화상은, 터치 패널과 대상물의 접촉 후의 화상을 가리킨다.
또한, 본 발명의 다른 일 형태는, 복수의 화소에 포토 센서를 갖는 터치 패널과, 입력 처리부와 응답 처리부를 구비한 화상 처리부를 갖고, 포토 센서는 터치 패널과 대상물의 접촉 화상을 생성하고, 입력 처리부는 접촉 화상의 색 정보로부터 접촉 부분의 면적을 산출하고, 응답 처리부는 면적에 의거하여 터치 패널에 대한 입력을 검출하는 표시 장치이다.
또한, 본 발명의 다른 일 형태는, 복수의 화소에 포토 센서를 갖는 터치 패널과, 입력 처리부와 응답 처리부를 구비한 화상 처리부를 갖고, 포토 센서는 터치 패널과 대상물의 접촉 화상을 생성하고, 입력 처리부는 접촉 화상의 색 정보에 대하여, RGB 값으로부터 HSV 값으로의 변환 처리와, 2치화 처리와, 노이즈 제거 처리(노이즈 필터 처리라고도 함)와, 라벨링(labeling) 처리를 행하고, 접촉 부분의 면적을 산출하고, 응답 처리부는 면적에 의거하여 터치 패널에 대한 입력을 검출하는 표시 장치이다.
또한, 면적에 대하여 임계 값을 설정하고, 면적과 임계 값의 비교에 의하여 터치 패널에 대한 입력을 검출하여도 좋다. 면적이 임계 값을 초과한 경우에 입력되었다고 판정되고, 면적이 임계 값 이하의 경우에 입력되지 않았다고 판정된다. 면적이 임계 값 이상의 경우에 입력되었다고 판정하고, 임계 값 미만의 경우에 입력되지 않았다고 판정하여도 좋다.
또한, 면적에 대하여 복수의 임계 값을 설정하고, 면적과 임계 값의 비교에 의하여 터치 패널에 대한 입력의 검출을 다단계로 행하여도 좋다.
또한, 화상 처리의 다른 형태로서, 터치 패널과 대상물의 접촉 전후의 화상에 대하여, 색 정보의 변화량을 분석함으로써, 접촉 부분의 면적을 산출하는 구성으로 하여도 좋다.
터치 센서, 터치 패널, 그들을 사용한 장치에 있어서, 입력의 검출을 정확하게 행하고, 오동작을 방지할 수 있다.
또한, 화상 처리를 효율 좋게 행하고, 입력의 검출에 필요한 시간을 단축할 수 있다.
도 1은 터치 패널의 구성을 설명하는 도면.
도 2는 터치 패널의 구성을 설명하는 도면.
도 3은 터치 패널의 구성을 설명하는 도면.
도 4는 타이밍 차트.
도 5는 터치 패널의 단면도.
도 6은 터치 패널의 단면도.
도 7은 터치 패널의 단면도.
도 8은 화상 처리를 설명하는 도면.
도 9a 및 도 9b는 화상 처리를 설명하는 도면.
도 10a 및 도 10b는 화상 처리를 설명하는 도면.
도 11a 및 도 11b는 화상 처리를 설명하는 도면.
도 12a 내지 도 12d는 전자 기기를 설명하는 도면.
도 13은 전자 기기를 설명하는 도면.
실시형태에 대하여 도면을 참조하여 이하에 설명한다. 다만, 본 발명은 이하의 설명에 한정되지 않고, 본 발명의 취지 및 그 범위에서 일탈하지 않고 그 형태 및 상세한 사항을 다양하게 변경할 수 있다는 것은, 당업자라면 용이하게 이해된다. 따라서, 본 발명은, 이하에 나타낸 실시형태의 기재 내용에 한정하여 해석되는 것은 아니다. 또한, 이하에 설명하는 발명의 구성에 있어서, 동일 부분 또는 같은 기능을 갖는 부분에는, 동일 부호를 다른 도면간에서 공통으로 사용하고, 그 반복 설명은 생략한다.
(실시형태 1)
실시형태 1에서는, 도 1을 사용하여, 터치 패널을 갖는 표시 장치와 그 구동 방법을 설명한다.
도 1은, 터치 패널을 갖는 표시 장치의 블록도의 일례이다.
표시 장치(111)는, 터치 패널(100), 입력 처리부(113), 응답 처리부(114)를 갖는 화상 처리부(112), 및 화상 합성부(115)를 구비한다. 여기서 나타낸 표시 장치의 구성은 일례이며, 이것에 한정되지 않는다.
터치 패널(100)은, 매트릭스 형상으로 배치된 복수의 화소(104)를 갖고, 각 화소(104)에는 표시 소자(105) 및 포토 센서(106)가 배치되어 있다. 포토 센서(106)는, 포토 다이오드 등의 수광 소자이다. 또한, 포토 센서(106)는 화소(104) 외에 형성하여도 좋다. 또한, 포토 센서(106)의 개수는, 표시 소자(105)의 개수와 상이하여도 좋다.
본 실시형태에서는, 터치 패널(100)에 접촉하는 대상물이 사람의 손 가락인 경우를 예로 설명하지만, 사람의 손 가락에 한정되지 않는다.
터치 패널(100)에 손 가락이 접촉할 때, 각 화소(104)에 형성된 포토 센서(106)에 의하여, 터치 패널(100)을 주사하고, 받은 광을 전기 신호로 변환하여, 터치 패널(100)과 손 가락의 접촉 화상을 생성한다. 생성된 접촉 화상은, 화상 처리부(112)의 입력 처리부(113)에 입력된다. 또한, 포토 센서(106)가 받은 광은, 표시 장치의 내부(백 라이트 등)로부터 발해지고, 대상물로 반사된 것, 외광(外光) 등이 대상물에 의하여 반사된 것, 대상물 자체로부터 발해진 것, 또는 외광 등이 대상물로 차단된 것 등이다.
입력 처리부(113)는, 입력된 접촉 화상의 색깔을 판별하고, 접촉 화상의 색 정보로부터 접촉 부분의 면적을 산출한다. 산출된 면적은, 응답 처리부(114)에 송신된다. 면적과 입력압이 비례 관계에 있음으로써, 면적에 의거하여 용이하게 입력을 검출하는 것이 가능하다. 나중의 처리에 있어서, 면적을 기초로 하여 산출한 입력압을 이용하여도 좋고, 그 경우에는 입력압을 산출하는 회로를 형성하면 좋다.
응답 처리부(114)는, 산출된 면적에 대하여 소정의 임계 값을 설정하고, 면적이 임계 값을 초과한 경우에 입력되었다고 판정하고, 면적이 임계 값 이하의 경우에는 입력되지 않았다고 판정한다. 또한, 응답 처리부(114)는 자동으로 임계 값을 설정하는 기능을 가져도 좋다.
입력되었다고 판정된 경우, 응답 처리부(114)는 입력된 것을 나타내는 응답 화상을 생성하고, 화상 합성부(115)에 출력한다.
화상 합성부(115)는, 응답 화상과, 터치 패널(100)에 표시된 화상을 중첩시켜 합성 화상을 생성하고, 터치 패널(100)에 출력한다.
그리고, 터치 패널(100)은 합성 화상을 표시함으로써, 입력된 것을 전달한다. 반드시 응답 화상, 합성 화상을 생성할 필요는 없고, 음성이나 램프 등에 의하여 입력·비입력을 전달하여도 좋다. 또한, 합성 화상을 생성하지 않고, 합성 화상만을 터치 패널(100)에 출력하여도 좋다. 응답 화상, 합성 화상을 생성하지 않을 경우는, 화상 합성부(115)를 형성하지 않아도 좋다.
또한, 응답 처리부(114)에 있어서, 입력되지 않았다고 판정된 경우, 입력되지 않았다고 전달하는 처리를 행하여도 좋다.
상술한 바와 같이, 본 실시형태의 터치 패널은, 포토 센서 및 화상 처리에 의하여 입력을 정확하게 판정할 수 있고, 오동작을 방지할 수 있다.
또한, 본 실시형태에서는, 터치 패널에 대하여 설명하였지만, 표시를 행하지 않는 구성으로 하여도 좋다. 그 경우, 포토 센서를 갖는 터치 센서를 입력부에 형성하고, 본 실시형태에서 설명한 화상 처리부의 분석에 의하여 입력의 검출을 행한다.
본 실시형태는, 다른 실시형태와 적절히 조합하여 실시할 수 있다.
(실시형태 2)
본 실시형태에서는, 화상 처리 및 응답 처리의 일례에 대하여 도 1, 도 8 내지 도 11b를 사용하여 설명한다. 대상물의 화상을 생성하는 단계까지는, 실시형태 1과 마찬가지므로 여기서는 생략한다. 본 실시형태에서는, 대상물을 손 가락으로 하고, 터치 패널에 접촉한 후의 손 가락 화상에 대한 처리를 행한다. 다만, 대상물은 손 가락에 한정되지 않는다.
생성된 화상은, 도 1에 있어서의 화상 처리부(112)의 입력 처리부(113)에 있어서 처리된다. 입력 처리부(113)의 블록도의 일례를 도 8에 도시한다.
입력 처리부(113)에서는, 터치 패널(100)로부터 화상이 입력되고, HSV 변환 처리(801), 2치화 처리(802), 노이즈 필터 처리(803), 라벨링 처리(804), 면적·위치 정보 산출 처리(805), 특징량 추출 처리(806)를 행하고, 응답 처리부(114)에 출력된다. 이하, 각 처리의 자세한 내용에 대하여 설명한다.
우선, HSV 변환 처리(801)를 행한다. 입력된 화상에 대하여 R(적색), G(녹색), B(청색) 각색의 성분의 휘도 값을 추출한다.
그리고, 추출된 RGB의 색 정보를, 색상(H: Hue), 채도(S: Saturation), 명도(V: Value)의 3개의 성분으로 이루어지는 HSV를 기준으로 한 색 정보로 변환한다. 색상(0 이상 360 미만의 실수(實數))은 색깔의 종류, 채도(0 이상 1 이하의 실수)는 색깔의 선명도, 명도(0 이상 1 이하의 실수)는 색깔의 밝기를 나타내는, HSV를 기준으로 함으로써, 화상의 색조를 검출할 수 있으므로, RGB보다 정확한 입력의 검출을 행할 수 있다. 다만, HSV로의 변환을 행하지 않고, RGB인 채 화상 처리를 행하거나, 또는 HSV 이외의 포맷(format)으로 변환하여 화상 처리를 행할 수도 있다.
RGB로부터 HSV로의 변환은 이하와 같이 행해진다.
추출된 RGB의 휘도 값이 (R, G, B)로 표시되고, 그 중 최대 값: MAX, 최소 값: MIN인 것으로 한다(R, G, B는 각각 0 이상 1 이하의 실수로 한다).
MAX= R일 때는, (수식 1): H=60×(G-B)/(MAX-MIN)+0으로 산출된다.
또한, MAX= G일 때는, (수식 2): H=60×(B-R)/(MAX-MIN)+120으로 산출된다.
또한, MAX= B일 때는, (수식 3): H=60×(R-G)/(MAX-MIN)+240으로 산출된다.
또한, (수식 4): S=(MAX-MIN)/MAX이고, (수식 5): V=MAX이다.
또한, H가 음(負)의 값을 취하는 경우는, H+360으로서 산출한다.
일례로서, (R, G, B)=(1, 0, 0)로 표현되는 적색의 경우는, MAX=R=1, MIN=0이며 (수식 1)이 적용되고, H=60×(0-0)/(1-0)+0=0이 된다. 또한, (수식 4)로 S=(1-0)/1=1이고, (수식 5)로 V=1이 된다. 즉, (H, S, V)=(0, 1, 1)로 변환된다. 이 값을 보면, 적색 중에서도 가장 선명하고, 또 가장 밝은 색조를 갖는 것을 알 수 있다.
다른 예로서, (R, G, B)=(1, 1, 0)로 표현되는 황색의 경우는, MAX=RorG=1, MIN=0이고, (수식 1) 또는 (수식 2)가 적용된다. (수식 1)을 적용하는 경우는, H=60×(1-0)/(1-0)+0=60, (수식 2)를 적용하는 경우는, H=60×(0-1)/(1-0)+120=60이며, 둘 다 같은 값이 된다. 또한, (수식 4)로 S=(1-0)/1=1이고, (수식 5)로 V=1이 된다. 즉, (H, S, V)=(60, 1, 1)로 변환된다.
본 실시형태에서는, 이와 같은 RGB로부터 HSV로의 색 정보의 변환을 행하고, HSV 값을 사용하여 화상 처리를 행한다.
이후의 처리에서는, H는 0부터 359까지의 정수(整數) 값을 취한다.
또한, S, V는 변환시에 0으로부터 1까지의 실수로 표현되지만, 데이터를 용이하게 취급하기 위하여 수치(數値) 범위를 255배로 함으로써, S, V가 취할 수 있는 값을 새로 0으로부터 255까지의 정수 값으로 정의한다.
다만, 정수 값의 정의로 최대 값을 255로 한정할 필요는 없다. 또한, 다시 정의하지 않아도 처리할 수 있다.
다음에, HSV 값으로 변환된 화상은, 2치화 처리(802)가 행해진다.
2치화 처리(802)는 HSV 값에 임계 값 조건을 설정한 후에, 각 화소의 HSV 값을 임계 값에 의하여 2분할하는 처리이고, 화상 내의 모든 화소에 대하여 화소 단위로 실시된다.
구체적으로는, 임계 값에 의하여 2분할된 각 화소의 HSV 값은 1 비트(0 또는 1)의 2치 변수로 표시된다.
예를 들어, 2치 변수가 1일 경우는, HSV 값이 임계 값 조건을 만족시키는 것을 나타내고, 2치 변수가 0일 경우는 HSV 값이 임계 값 조건을 만족시키지 않는 것을 나타낸다. 또한, 2치 변수의 표현은, 0과 1을 바꿔도 좋다.
구체적으로 2치화 처리는, 색상(H), 채도(S), 명도(V)의 각 성분을 조건 값으로 사용하여 실행된다.
색상(H), 채도(S), 명도(V)의 각 임계 값을 설정함으로써, 추출하고자 하는 영역을 한정한다.
각 임계 값은, 인식해야 할 대상물만을 추출할 수 있는 값으로 설정하는 것이 바람직하다.
우선, 색상(H)은 색깔의 종류를 나타내므로 대상물의 색깔이 특정의 색깔이면, 특정의 색깔만을 추출할 수 있는 조건을 색상(H)의 임계 값으로 선택하면 좋다.
다만, 특히 색깔의 한정이 없으면, 색상(H)의 임계 값을 설정할 필요는 없다.
또한, 채도(S)는 색깔의 선명도를 나타내므로, 대상물의 선명도가 특정의 선명도라면, 특정의 선명도만을 추출할 수 있는 조건을 채도(S)의 임계 값으로 선택하면 좋다.
다만, 특히 선명도에 대한 한정이 없으면, 채도(S)의 임계 값을 설정할 필요는 없다.
또한, 명도(V)는 색깔의 밝기를 나타내므로, 대상물의 밝기가 특정의 밝기라면, 특정의 밝기만을 추출할 수 있는 조건을 명도(V)의 임계 값으로 선택하면 좋다.
다만, 특히 밝기에 대한 한정이 없으면, 명도(V)의 임계 값을 설정할 필요는 없다.
손 가락의 색상(H)은, 대략 0으로부터 30의 적색의 범위에 포함되므로, 적색을 추출하는 임계 값을 설정한다.
손 가락의 채도(S)는, 주변 광의 밝기에 의존하여 포토 센서가 생성하는 손 가락의 화상도 변화되기 때문에, 주변 광의 영향을 받는다. 그래서, 주변 광의 강도에 따라 임계 값을 설정한다.
마찬가지로 손 가락의 명도(V)는 주변 광의 밝기에 의존하여 포토 센서가 생성하는 손 가락의 화상도 변화되기 때문에, 주변 광의 영향을 받는다. 그래서, 주변 광의 강도에 따라 임계 값을 설정한다.
각 임계 값의 범위는, 화상 전체의 HSV 각종의 히스토그램(Histogram)을 이용하고, 히스토그램의 화소 값의 분포 경향에 의거하여 자동으로 설정할 수도 있다.
이후의 2치화 처리의 설명에서는, 2치 변수는 임계 값의 조건을 만족시키는 경우에 1로 하고, 임계 값의 조건을 만족시키지 않는 경우에 0으로 한다.
일례로서, 화상 내의 화소 값이 색상(H)>200, 채도(S)>150, 명도(V)>100인 영역을 남기는 경우를 도 9a 및 도 9b에 도시한다.
도 9a는, 화상의 일부이고, 각 화소의 색상(H), 채도(S), 명도(V)의 값을 표기한다.
또한, 도 9b는 도 9a에 도시하는 화상을, 임계 값의 조건인 색상(H)>200, 채도(S)>150, 명도(V)>100에 따라, 2치 변수로 변환한 값을 표기한다.
예를 들어, 도 9a에 있어서 화소(901)는 (H, S, V)=(250, 200, 200)이고, 임계 값의 조건인 색상(H)>200, 채도(S)>150, 명도(V)>100을 만족시키기 때문에, 도 9b에 있어서의 처리 후의 화소(901)의 2치 변수는 1이 된다.
한편, 화소(902)는 (H, S, V)=(250, 50, 34)이고, 조건을 만족시키지 않기 때문에, 처리 후의 화소(902)의 2치 변수는 0이 된다.
마찬가지로 모든 화소에 대하여 2치화 처리를 행한다. 여기서는, H, S, V 모두에 대하여 임계 값을 설정하였지만, 2개 이하로 하여도 좋다.
도 9a 및 도 9b에 도시하는 바와 같이, 2치화 처리를 행함으로써, 화상 처리에 필요한 색 정보를 1 비트로 압축하여, 데이터 양을 대폭으로 삭감할 수 있게 된다.
또한, 데이터 양이 삭감됨으로써, 이후의 화상 처리 회로의 규모를 삭감할 수 있다.
다음에, 2치화 처리된 화상은, 노이즈 필터 처리(803)가 행해진다(도 8 참조).
노이즈 필터 처리는, 화상 내에 포함되는 노이즈 화상을 제거하는 동작이고, 화상 내의 모든 화소에 대하여 화소 단위로 실시된다.
미디언 필터 처리의 결과는, 대상이 되는 화소 및 그 근방의 복수의 화소에 있어서의, 화소 값의 분포로부터 산출한다.
여기서는, 일반적으로 미디언 필터(Median Filter)라고 불리는 노이즈 필터 처리를 사용한다.
이하에 미디언 필터의 동작을 도 10a 및 도 10b를 사용하여 설명한다.
도 10a에 도시하는 화소 값을 갖는 화상에 대하여, 미디언 필터로 처리한 결과를 도 10b에 도시한다.
우선, 미디언 필터의 최초의 단계로서, 대상이 되는 화소를 중심으로 하여 3×3의 영역 내의 화소의 값이 입력된다. 3×3의 영역에 한정되지 않고, 5×5 등으로 하여도 좋다.
다음의 단계로서, 3×3의 영역 내의 9개의 화소의 입력 값을 소트 처리에 의하여 오름차순 또는 내림차순으로 하고, 늘어 놓은 9개의 입력 값의 중앙 값을 처리 결과로서 출력한다.
예를 들어, 도 10a의 화소(1001)에 대하여 미디언 필터에 의한 처리를 행한다. 화소(1001)를 중심으로 한 3×3의 영역(1002)에 존재하는 화소의 수치는, {0,1,1,1,1,0,1,1,0}이고, 오름차순으로 늘어 놓으면, {0,0,0,1,1,1,1,1,1}이 된다. 오름차순의 결과를 보면, 중앙 값은 1이므로, 도 10b에 도시하는 바와 같이, 처리 후의 화소(1001)의 수치는 1이 된다.
또한, 도 10a의 화소(1003)에 대하여 미디언 필터에 의한 처리를 행한다. 화소(1003)를 중심으로 한 3×3의 영역(1004)에 존재하는 화소의 수치는, {0,0,1,1,1,0,0,0,0}이고, 오름차순으로 늘어 놓으면, {0,0,0,0,0,0,1,1,1}이 된다. 오름차순의 결과를 보면, 중앙 값은 0이므로, 도 10b에 도시하는 바와 같이, 처리 후의 화소(1003)의 수치는 0이 된다.
마찬가지로, 각 화소에 대하여 처리를 행한다. 반드시 입력 값의 중앙 값을 출력할 필요는 없고, 4번째 또는 6번째의 값을 출력하고, 필터 처리의 정밀도를 조정하여도 좋다.
또한, 도 10a에 있어서, 외주에 위치하는 화소는, 미디언 필터에 필요한 3×3의 영역이 존재하지 않으므로, 처리는 행해지지 않고, 그대로의 데이터가 출력된다. 외주에 위치되는 화소는, 예를 들어 도 10a의 1열째, 6열째, 1행째, 6행째에 있는 화소(20화소분)이다.
미디언 필터는, 작은 노이즈를 제거하는 것에 특히 유효하다.
또한, 고립된 노이즈는 후의 라벨링 처리의 대상이 되므로, 미디언 필터에 의하여 노이즈를 제거함으로써 라벨링 처리의 횟수를 경감할 수 있다.
노이즈 필터 처리는, 미디언 필터 이외에도 복수의 처리 방법이 있고, 다른 처리 방법을 적용하여도 좋다.
다음에, 노이즈 필터 처리를 행한 화상에 대하여, 라벨링 처리를 행한다.
라벨링 처리는, 화상 내의 일부분의 영역을 그룹화하는 수법으로서 사용된다. 그룹화함으로써, 나중의 처리를 그룹 단위로 행할 수 있다.
본 실시형태에서는, 라벨링 처리는 임의의 위치에 있는 화소에 대하여, 상기 화소와 상기 화소 근방의 복수의 화소 값을 비교하여, 화소 데이터가 동일한 화소에 동일 라벨 값(영역 번호)을 붙이는 동작이고, 화소 내의 모든 화소에 대하여, 화소 단위로 실시된다.
라벨링 처리의 대상이 되는 화상은, 2치 변수로 구성되어 있고, 0 또는 1로 표현된다.
우선, 2치 변수가 0의 화소는, 라벨 값을 0으로 하고, 그룹화를 행하지 않는다.
한편, 2치 변수가 1의 화소는, 라벨 값 1 이상의 정수 값을 부여하고, 같은 라벨 값끼리의 화소를 그룹화한다.
2치 변수가 1의 화소에 라벨 값을 부여하는 조건은 이하의 3점을 들 수 있다.
제 1 조건으로서, 인접 화소가 존재하지 않는 경우, 또는 인접 화소의 라벨 값이 0의 경우, 또는 인접 화소의 라벨 값이 부여되지 않는 경우에, 새로 라벨 값을 부여한다.
제 2 조건으로서, 라벨 값이 부여되지 않고, 또 인접 화소의 어느 하나에 1 이상의 라벨 값이 부여되는 경우는, 상기 인접 화소와 같은 라벨 값을 부여한다.
제 3 조건으로서, 인접 화소가 상이한 적어도 2 이상의 라벨 값을 갖는 경우, 최소의 라벨 값과 같은 값을 부여한다.
여기서 인접 화소란, 하나의 화소와 접하는 8방향의 화소를 가리킨다.
라벨링 처리의 구체적인 동작에 대하여, 도 11a 및 도 11b를 사용하여 설명한다.
도 11a는, 라벨링 처리 전의 화상이고, 각 화소는 2치 변수로 표현된다.
도 11a의 화상의 왼쪽 위에서 화소를 주사하고, 1화소씩 라벨 값을 부여한다. 도 11b는 라벨링 처리 후의 화상이다. 라벨링 처리의 과정을 나타내는 도면은 생략한다.
우선, 화소(1101)는 2치 변수가 0이다. 그래서, 라벨 값은 0으로 한다. 이 후의 2치 변수가 0의 화소 처리에 대해서는, 마찬가지로 라벨 값은 0으로 한다.
다음에, 화소(1102)는 2치 변수가 1이다. 화소(1102)를 처리할 때에는, 인접 화소가 라벨 값 0, 또는 부여되지 않으므로, 상술한 제 1 조건에 따라, 새로 라벨 값 1이 부여된다.
다음에 화소(1102)의 오른쪽에 인접하는 화소(1103)는, 2치 변수가 1이다. 화소(1103)를 처리할 때에는, 화소(1103)의 인접 화소는 화소(1102)가 라벨 값 1을 갖고, 그 이외의 인접 화소가 라벨 값 0, 또는 부여되지 않는다. 즉, 화소(1103)는, 1 이상의 라벨 값이 부여되는 화소(1102)가 인접되어 있으므로, 상술한 제 2 조건에 따라, 화소(1102)의 라벨 값과 같은 라벨 값 1이 할당된다.
마찬가지로, 화소군(1104)의 각 화소에 대하여, 라벨 값 1이 할당된다.
또한, 도 11a에 있어서, 2치 변수가 1의 화소(1105)는, 인접 화소가 라벨 값 0, 또는 부여되지 않으므로, 상술한 제 1 조건에 따라, 새로 라벨 값이 부여된다. 여기서, 이미 화소군(1104)의 각 화소에 라벨 값 1이 부여되므로, 화소(1105)는 라벨 값 2가 부여된다.
마찬가지로, 화소군(1106)의 각 화소에 대하여, 라벨 값 2가 부여된다.
또한, 화소군(1107)의 각 화소에 대해서도, 마찬가지의 방법에 의하여, 라벨 값 3이 부여된다.
상술한 바와 같이, 라벨 값이 부여됨으로써, 같은 라벨 값끼리의 화소를 그룹화할 수 있다. 그룹화함으로써, 나중의 처리는 라벨 값의 지정에 의하여 영역의 선택을 행할 수 있고, 화상의 분리나 부분적인 합성 등의 화상의 가공이 매우 용이하게 된다.
다음에, 라벨 값을 부여한 화상에 대하여, 면적·위치 정보 산출 처리(805)를 행한다(도 8 참조).
면적 정보는, 같은 라벨 값을 갖는 화소 수를 카운트함으로써 얻을 수 있다. 또한, 위치 정보는 면적의 중심 위치이므로, 같은 라벨 값을 갖는 화소의 좌표 위치와, 같은 라벨 값을 갖는 화소의 면적에 의거하여 산출할 수 있다.
또한, 면적 정보는 인식해야 할 화상인지 불필요한 화상인지를 판별하기 위하여, 유효적으로 기능한다. 불필요한 화상으로서는, 화상 처리의 과정으로 노이즈가 되는 화상의 일부분 또는 전체 부분을 들 수 있다. 노이즈는, 인식해야 할 화상보다 면적이 작다는 특징을 가지므로, 면적에 임계 값을 설정하고, 임계 값을 초과하는 면적을 갖는 것을 선택함으로써, 노이즈를 제거할 수 있다.
다음에, 라벨 값을 부여한 화상에 대하여, 특징량 추출 처리를 행하여도 좋다.
특징량이란, 예를 들어 원형도(圓形度) 등, 수치로 표현할 수 있는 화상의 특징을 가리킨다.
또한, 원형도는 화상이 어느 만큼 원형(圓形)에 가까운지를 수치로 표현한 것이다.
예를 들어, 손 가락으로 패널 표면을 누른 경우, 손 가락의 접촉 부분은 원형에 가까운 형상이 된다.
원형도를 임계 값으로 하여 화상에 줌으로써, 손 가락의 검출 정밀도의 향상을 도모할 수 있다.
면적의 임계 값 조건과 함께, 특징량의 임계 값 조건을 설정함으로써, 검출 정밀도를 높일 수 있다.
다만, 특징량 추출 처리는 행하지 않아도 좋고, 그 경우, 면적 정보 및 위치 정보가 출력된다.
입력 처리부(113)는, 얻어진 화상의 면적 정보 및 위치 정보를 응답 처리부(114)로 출력한다(도 1, 도 8 참조).
응답 처리부(114)는, 면적 정보 및 위치 정보에 의거하여 입력의 판정을 행하고, 결과를 터치 패널(100)에 피드 백(feedback)하는 기능을 갖는다.
응답 처리의 예로서, 오입력(誤入力) 방지 기능에 대하여 설명한다.
오입력 방지 기능은, 의도하지 않게 터치 패널에 접촉한 경우에 비입력이라고 판정하는 기능이다.
의도하지 않게 터치 패널에 접촉한 경우는, 손 가락으로 눌러 가압하는 동작이 아니라, 손 가락이 접촉되는 동작이기 때문에, 검출되는 손 가락의 면적은 작은 값이 된다.
그래서, 면적에 대한 임계 값을 설정하고, 면적과 임계 값의 비교에 의하여 손 가락으로 누르는 동작인지, 의도하지 않게 손 가락이 접촉되는 동작인지를 판정할 수 있다.
예로서, 도 11b의 면적 정보로 입력을 판정하는 경우에 대하여 설명한다.
도 11b에 있어서, 화소군(1104)의 위치를 손 가락으로 누르는 동작이 있고, 화소군(1106) 및 화소군(1107)의 위치에 의도하지 않게 손 가락이 접촉되는 동작이 있다고 가정한다.
화소군(1104)의 면적은 12, 화소군(1106)의 면적은 4, 화소군(1107)의 면적은 9이기 때문에, 예를 들어, 면적의 임계 값을 10으로 설정하고, 각 면적과 임계 값을 비교한다.
화소군(1104)의 면적은 임계 값을 초과하므로, 손 가락으로 누르는 동작이라고 판정할 수 있다. 그리고, 화소군(1106) 및 화소군(1107)의 면적은 임계 값 이하이므로 의도하지 않게 손 가락이 접촉되는 동작이라고 판정할 수 있다.
따라서, 손 가락으로 누르는 동작의 경우에 입력되었다고 판정할 수 있고, 의도하지 않게 손 가락이 접촉되는 동작의 경우에는 입력되지 않았다고 판정할 수 있다.
또한, 도 11b에 있어서 임계 값을 8로 한 경우는, 화소군(1104) 및 화소군(1107)의 2점에 입력이 있고, 화소군(1106)은, 입력되지 않았다고 판정된다. 이것을 응용하면, 입력 개소가 복수 있는 경우에도 입력을 검출할 수 있게 되어 터치 패널의 기능을 향상시킬 수 있다.
또한, 면적에 대하여 복수의 임계 값을 설정하고, 면적과 임계 값을 비교함으로써, 터치 패널에 대한 입력의 검출을 다단계로 행하여도 좋다.
예를 들어, 제 1 임계 값 및 제 2 임계 값의 2개의 임계 값을 설정하였을 때는, 면적이 제 1 임계 값 이하의 경우에 입력되지 않았다고 판정되고, 제 1 임계 값을 초과하고, 또 제 2 임계 값 이하의 경우에 약하게 입력되었다고 판정되고, 제 2 임계 값을 초과한 경우에 강하게 입력되었다고 판정된다.
이와 같이, 복수의 임계 값을 설정하고, 다단계로 검출을 행함으로써, 입력의 검출을 더욱 정밀도 좋게 행할 수 있다.
이 다단계의 검출을 도 11b의 면적 정보에 응용하고, 제 1 임계 값을 8로 하고, 제 2 임계 값을 10으로 한 경우, 화소군(1104) 및 화소군(1107)의 2점에 입력을 검출할 뿐만이 아니라, 입력의 강약에 대해서도 검출 할 수 있어 터치 패널의 기능을 더욱 향상시킬 수 있다.
응답 처리부(114)는, 응답 화상을 패널에 표시하기 위하여 입력 처리부(113)에서 얻어진 정보에 의거하여 응답 화상을 생성한다.
예를 들어, 위치 정보에 의거하여 손 가락이 접촉된 장소에 ○표시를 표시하는 처리를 들 수 있다.
또한, 스위치 화상을 표시해 두고, 스위치 화상의 위치에서 손 가락의 위치 정보가 얻어진 경우, 스위치를 눌러진 것으로 간주할 수 있다. 터치 패널(100)에서 스위치를 전환할 수 있게 된다.
화상 합성부(115)는, 터치 패널(100)에 표시되는 화상과, 응답 처리부(114)로 생성된 응답 화상을 겹친 합성 화상을 생성하는 기능을 갖는다.
화상 합성부(115)로부터 출력된 합성 화상은, 터치 패널(100)에 입력되어 합성 화상이 표시된다.
또한, 반드시 응답 화상을 생성할 필요는 없고, 음성이나 램프 등에 의하여 입력·비입력을 전달하여도 좋다. 응답 화상을 생성하지 않는 경우는, 화상 합성부(115)를 형성하지 않아도 좋다.
본 실시형태는, 다른 실시형태와 적절히 조합하여 실시할 수 있다.
(실시형태 3)
다음에, 터치 패널의 자세한 회로 구성에 대하여, 그 일례를 도 1 내지 도 4를 참조하여 설명한다.
도 1에 있어서, 터치 패널(100)은 화소 회로(101), 표시 소자 제어 회로(102) 및 포토 센서 제어 회로(103)를 갖는다. 화소 회로(101)는 행렬 방향으로 매트릭스 형상으로 배치된 복수의 회로(104)를 갖는다. 각각의 화소(104)는 표시 소자(105)와 포토 센서(106)를 갖는다.
표시 소자(105)는 박막 트랜지스터(Thin Film Transistor: TFT), 유지 용량, 액정층을 갖는 액정 소자 등을 갖는다. 박막 트랜지스터는 유지 용량에 전하가 주입되거나 또는 전하가 배출되는 것을 제어하는 기능을 갖는다. 유지 용량은 액정층에 인가하는 전압에 상당하는 전하를 유지하는 기능을 갖는다. 액정층에 전압을 인가함으로써, 편광 방향이 변화되는 것을 이용하여, 액정층을 투과하는 광의 명암(계조)을 만듦으로써, 화상 표시가 실현된다. 액정층을 투과하는 광에는 광원(백 라이트)에 의하여 액정 표시 장치의 뒷면으로부터 조사되는 광을 사용한다.
또한, 컬러 화상 표시를 행하는 데에는, 예를 들어, 컬러 필터를 사용하는 방식, 소위 컬러 필터 방식을 사용하면 좋다. 이것은, 액정층을 투과한 광이 컬러 필터를 투과함으로써 특정의 색깔(예를 들어, 적색(R), 녹색(G), 청색(B))의 계조를 만들 수 있다. 여기서, 컬러 필터 방식을 사용할 때, 적색(R), 녹색(G), 청색(B) 중의 어느 색을 발광하는 기능을 갖는 화소(104)를 각각 R화소, G화소, B화소라고 부르기로 한다.
또한, 표시 소자(105)가 액정 소자를 갖는 경우에 대하여 설명하지만, 발광 소자 등의 다른 소자를 가져도 좋다. 발광 소자는 전류 또는 전압에 의하여 휘도가 제어되는 소자이고, 구체적으로는 발광 다이오드, OLED(Organic Light Emitting Diode) 등을 들 수 있다.
포토 센서(106)는 포토 다이오드 등, 수광함으로써 전기 신호를 발신하는 기능을 갖는 소자와, 박막 트랜지스터를 갖는다. 또한, 포토 센서(106)는 백 라이트로부터의 광이 손 가락 등의 대상물에 조사되었을 때의 반사 광을 수광하여, 대상물의 화상을 생성한다.
표시 소자 제어 회로(102)는 표시 소자(105)를 제어하기 위한 회로이고, 비디오 데이터 신호선 등의 신호선("소스 신호선"이라고 함)을 통하여 표시 소자(105)에 신호를 입력하는 표시 소자 구동 회로(107)와, 주사선("게이트 신호선"이라고 함)을 통하여 표시 소자(105)에 신호를 입력하는 표시 소자 구동 회로(108)를 갖는다. 예를 들어, 주사선 측의 표시 소자 구동 회로(108)는, 특정의 행에 배치된 화소가 갖는 표시 소자를 선택하는 기능을 갖는다. 또한, 신호선 측의 표시 소자 구동 회로(107)는, 선택된 행의 화소가 갖는 표시 소자에 임의의 전위를 주는 기능을 갖는다. 또한, 주사선 측의 표시 소자 구동 회로(108)에 의하여 고전위가 인가된 표시 소자에서는, 박막 트랜지스터가 도통 상태가 되고, 신호선 측의 표시 소자 구동 회로(107)에 의하여 인가되는 전하가 공급된다.
포토 센서 제어 회로(103)는 포토 센서(106)를 제어하기 위한 회로이고, 포토 센서 출력 신호선, 포토 센서 기준 신호선 등의 신호선 측의 포토 센서 판독 회로(109)와, 주사선 측의 포토 센서 구동 회로(110)를 갖는다. 예를 들어, 주사선 측의 포토 센서 구동 회로(110)는 특정의 행에 배치된 화소가 갖는 포토 센서(106)를 선택하는 기능을 갖는다. 또한, 신호선 측의 포토 센서 판독 회로(109)는, 선택된 행의 화소가 갖는 포토 센서(106)의 출력 신호를 추출하는 기능을 갖는다. 또한, 신호선 측의 포토 센서 판독 회로(109)는, 아날로그 신호인 포토 센서(106)의 출력을, OP 앰프를 사용하여 아날로그 신호인 채 터치 패널 외부로 추출하는 구성, 또는 A/D 변환 회로를 사용하여 디지털 신호로 변환한 후에 터치 패널 외부로 추출하는 구성을 생각할 수 있다.
화소(104)의 회로도에 대하여 도 2를 사용하여 설명한다. 화소(104)는 트랜지스터(201), 유지 용량(202), 및 액정 소자(203)를 갖는 표시 소자(105)와, 포토 다이오드(204), 트랜지스터(205), 및 트랜지스터(206)를 갖는 포토 센서(106)를 갖는다.
트랜지스터(201)는, 게이트가 게이트 신호선(207)에 전기적으로 접속되고, 소스 또는 드레인의 한쪽이 비디오 데이터 신호선(210)에 전기적으로 접속되고, 소스 또는 드레인의 다른 쪽이 유지 용량(202)의 한쪽의 전극과 액정 소자(203)의 한쪽의 전극에 전기적으로 접속되어 있다. 유지 용량(202)의 다른 쪽의 전극과 액정 소자(203)의 다른 쪽의 전극은, 일정한 전위로 유지된다. 액정 소자(203)는, 한 쌍의 전극과, 상기 한 쌍의 전극 사이에 액정층을 포함하는 소자이다.
트랜지스터(201)는, 게이트 신호선(207)에 "High"(고전위)가 인가되면, 비디오 데이터 신호선(210)의 전위를 유지 용량(202)과 액정 소자(203)에 인가한다. 유지 용량(202)은, 인가된 전위를 유지한다. 액정 소자(203)는, 인가된 전위에 의하여 광의 투과율을 변경한다.
포토 다이오드(204)는, 한쪽의 전극이 포토 다이오드 리셋 신호선(208)에 전기적으로 접속되고, 다른 쪽의 전극이 트랜지스터(205)의 게이트에 전기적으로 접속되어 있다. 트랜지스터(205)는, 소스 또는 드레인의 한쪽이 포토 센서 기준 신호선(212)에 전기적으로 접속되고, 소스 또는 드레인의 다른 쪽이 트랜지스터(206)의 소스 또는 드레인의 한쪽에 전기적으로 접속되어 있다. 트랜지스터(206)는, 게이트가 게이트 신호선(209)에 전기적으로 접속되고, 소스 또는 드레인의 다른 쪽이 포토 센서 출력 신호선(211)에 전기적으로 접속되어 있다.
다음에, 포토 센서 판독 회로(109)의 구성에 대하여 도 3을 사용하여 설명한다. 도 3에 있어서, 화소 1열 분의 포토 센서 판독 회로(300)는, p형 TFT(301)와 유지 용량(302)을 갖는다. 또한, 포토 센서 판독 회로(300)는 상기 화소 열의 포토 센서 출력 신호선(211), 프리 차지 신호선(303)이다.
포토 센서 판독 회로(300)에서는, 화소 내에 있어서의 포토 센서의 동작에 앞서, 포토 센서 출력 신호선의 전위를 기준 준위로 설정한다. 도 3에서는 프리 차지 신호선(303)을 "Low"(저전위)로 함으로써, 포토 센서 출력 신호선(211)을 기준 전위인 고전위로 설정할 수 있다. 또한, 유지 용량(302)은 포토 센서 출력 신호선(211)의 기생 용량이 큰 경우에는, 특별히 형성하지 않아도 좋다. 또한, 기준 전위를 저전위로 하는 구성도 가능하다. 이 경우, n형 TFT를 사용함으로써, 프리 차지 신호선(303)을 "High"로 함으로써, 포토 센서 출력 신호선(211)을 기준 전위인 저전위로 설정할 수 있다.
다음에, 본 터치 패널에 있어서의 포토 센서의 판독 동작에 대하여, 도 4의 타이밍 차트를 사용하여 설명한다. 도 4에 있어서, 신호(401) 내지 신호(404)는 도 2에 있어서의 포토 다이오드 리셋 신호선(208)의 전위, 트랜지스터(206)의 게이트가 접속된 게이트 신호선(209)의 전위, 트랜지스터(205)의 게이트가 접속된 게이트 신호선(213)의 전위, 포토 센서 출력 신호선(211)의 전위에 상당한다. 또한, 신호(405)는 도 3에 있어서의 프리 차지 신호선(303)의 전위에 상당한다.
시각 A에 있어서, 포토 다이오드 리셋 신호선(208)의 전위(신호(401))를 전위 "High"로 하면, 포토 다이오드(204)가 도통되고, 트랜지스터(205)의 게이트가 접속된 게이트 신호선(213)의 전위(신호(403))가 전위 "High"가 된다. 또한, 프리 차지 신호선(303)의 전위(신호(405))를 전위 "Low"로 하면, 포토 센서 출력 신호선(211)의 전위(신호(404))는 전위 "High"로 프리 차지된다.
시각 B에 있어서, 포토 다이오드 리셋 신호선(208)의 전위(신호(401))를 전위 "Low"로 하면, 포토 다이오드(204)의 오프 전류에 의하여, 트랜지스터(205)의 게이트가 접속된 게이트 신호선(213)의 전위(신호(403))가 저하되기 시작한다. 포토 다이오드(204)는 광이 조사되면, 오프 전류가 증대되므로 조사되는 광의 양에 따라 트랜지스터(205)의 게이트가 접속된 게이트 신호선(213)의 전위(신호(403))는 변화된다. 즉, 트랜지스터(205)의 소스와 드레인 사이의 전류가 변화된다.
시각 C에 있어서, 게이트 신호선(209)의 전위(신호(402))를 전위 "Hight"로 하면, 트랜지스터(206)가 도통되고, 포토 센서 기준 신호선(212)과 포토 센서 출력 신호선(211)이 트랜지스터(205)와 트랜지스터(206)를 통하여 도통된다. 그러면, 포토 센서 출력 신호선(211)의 전위(신호(404))는 저하되기 시작한다. 또한, 시각 C 이전에 프리 차지 신호선(303)의 전위(신호(405))는 "Low"로 하고, 포토 센서 출력 신호선(211)의 프리 차지를 끝낸다. 여기서, 포토 센서 출력 신호선(211)의 전위(신호(404))가 저하되는 속도는 트랜지스터(205)의 소스와 드레인 사이의 전류에 의존한다. 즉, 포토 다이오드(204)에 조사되는 광의 양에 따라 변화된다.
시각 D에 있어서, 게이트 신호선(209)의 전위(신호(402))를 전위 "Low"로 하면, 트랜지스터(206)가 차단되고, 포토 센서 출력 신호선(211)의 전위(신호(404))는 시각 D 이후 일정 값이 된다. 여기서, 일정 값이 되는 값은, 포토 다이오드(204)에 조사되는 광의 양에 따라 변화한다. 따라서, 포토 센서 출력 신호선(211)의 전위를 취득함으로써, 포토 다이오드(204)에 조사되는 광의 양을 알 수 있다.
본 실시형태는 다른 실시형태와 적절히 조합하여 실시할 수 있다.
(실시형태 4)
본 실시형태에서는, 실시형태 1 내지 실시형태 3에서 설명한 터치 패널의 구조에 대하여, 도 5 및 도 6을 사용하여 설명한다. 본 실시형태에 있어서, 터치 패널은 포토 센서와 표시 소자를 갖는다. 표시 소자는, 액정 소자나 발광 소자를 갖는다.
도 5는, 실시형태 1 내지 실시형태 3에서 설명한 터치 패널에 있어서, 표시 소자가 액정 소자를 갖는 액정 표시 장치의 단면의 일례를 도시하는 도면이다. 백 라이트로부터의 광이 대상물인 손 가락(2035)에 있어서 반사하여, 포토 센서(2003)에 조사되는 상태를 도시한다. 대상물은 손 가락에 한정되지 않는다.
기판(2000)으로서는, 유리 기판 또는 석영 기판 등의 투광성 기판을 사용한다. 기판(2000) 위에는, 박막 트랜지스터(2001), 박막 트랜지스터(2002) 및 포토 센서(2003)가 형성되어 있다. 포토 센서(2003)는, n형 반도체층(2010), i형 반도체층(2011) 및 p형 반도체층(2012)이 순차적으로 적층되어 형성되어 있다. n형 반도체층(2010)은, 일 도전형을 부여하는 불순물 원소(예를 들어, 인)를 포함한다. i형 반도체층(2011)은 진성 반도체이다. p형 반도체층(2012)은 일 도전형을 부여하는 불순물 원소(예를 들어, 붕소)를 포함한다.
도 5에서는, 박막 트랜지스터(2001) 및 박막 트랜지스터(2002)로서 톱 게이트형의 박막 트랜지스터를 사용하였지만, 이것에 한정되지 않는다. 박막 트랜지스터(2001) 및 박막 트랜지스터(2002)로서 보텀 게이트형의 박막 트랜지스터를 사용하여도 좋다. 또한, 포토 센서(2003)는, n형 반도체층(2010), i형 반도체층(2011) 및 p형 반도체층(2012)을 갖는 구성으로 하지만, 이것에 한정되지 않는다.
본 실시형태에서는, 박막 트랜지스터(2001) 및 박막 트랜지스터(2002)의 반도체층에 결정성 반도체층을 사용할 수 있다. 예를 들어, 다결정 실리콘을 사용할 수 있다. 그러나, 이것에 한정되지 않고, 박막 트랜지스터(2001) 및 박막 트랜지스터(2002)의 반도체층에, 비정질 실리콘, 미결정 실리콘, 단결정 실리콘, 펜타센 등의 유기 반도체, 또는 산화물 반도체 등을 사용하여도 좋다. 또한, 기판(2000) 위에 단결정 실리콘을 사용한 반도체층을 형성하는 경우는, 표면으로부터 소정의 깊이에 손상 영역이 형성된 단결정 실리콘 기판과 기판(2000)을 접합하고, 상기 손상 영역에서 단결정 실리콘 기판을 분리함으로써 형성할 수 있다. 또한, 산화물 반도체로서는, 인듐, 갈륨, 알루미늄, 아연 및 주석 중에서 선택된 원소의 복합 산화물을 사용할 수 있다.
절연층(2004)은, 박막 트랜지스터(2001) 및 박막 트랜지스터(2002) 위를 덮어 형성되어 있다. 절연층(2004) 위에는, 절연층(2005)이 형성되고, 절연층(2005) 위에는 절연층(2006)이 형성되어 있다. 화소 전극(2007)은 절연층(2006) 위에 형성되고, 포토 센서(2003)와 하부 전극(2008)은 절연층(2005) 위에 형성되어 있다. 하부 전극(2008)에 의하여, 절연층(2005)에 형성된 개구부를 통하여, 포토 센서(2003)와 박막 트랜지스터(2001)가 전기적으로 접속된다.
또한, 대향 기판(2020)에는, 대향 전극(2021), 컬러 필터층(2022) 및 오버 코트층(2023)이 형성되어 있다. 대향 기판(2020)과 기판(2000)은 씰재에 의하여 고정되고, 스페이서(2025)에 의하여 기판 간격이 대략 일정하게 유지되어 있다. 화소 전극(2007)과 대향 전극(2021)이 액정층(2024)을 사이에 끼움으로써 액정 소자를 구성하고 있다.
컬러 필터층(2022)은, 도 5에 도시하는 바와 같이 포토 센서(2003)와 화소 전극(2007)의 양쪽과 중첩하도록 형성하여도 좋다.
또한, 포토 센서(2003)는, 도 5에 도시하는 바와 같이 박막 트랜지스터(2002)의 게이트 전극(2013)과 중첩되어 있고, 박막 트랜지스터(2002)의 신호선(2014)과도 중첩하도록 형성하면 좋다.
본 실시형태의 액정 표시 장치에는, 백 라이트가 설치되어 있다. 도 5에서는, 백 라이트는 기판(2000) 측에 설치되고, 화살표(2036)로 나타낸 방향으로 광이 조사되고 있다. 백 라이트로서는, 냉음극관(Cold-Cathode Fluorescent Lamp: CCFL) 또는 백색의 발광 다이오드를 사용할 수 있다. 백색의 발광 다이오드는, 냉음극관보다도 밝기의 조정 범위가 넓기 때문에 바람직하다.
또한, 포토 센서(2003)를 예를 들어 구동 회로부에도 설치함으로써 외광을 검출하여, 사용 환경에 따른 표시가 가능하게 되도록 백 라이트의 밝기(휘도)를 조절할 수도 있다.
또한, 백 라이트는 상술한 구성에 한정되지 않는다. 예를 들어, R, G, B의 발광 다이오드(LED)를 사용하여 백 라이트를 구성하여도 좋고, R, G, B의 LED 백 라이트를 순차적으로 점등시켜, 필드 시퀀셜 방식으로 컬러 표시하여도 좋다. 이 경우에는 컬러 필터층은 불필요하다.
여기서, 도 5에 도시하는 액정 표시 장치의 제작 방법의 일례에 대하여 간단하게 설명한다.
우선, 활성층으로서 결정성 반도체층을 갖는 톱 게이트 구조의 박막 트랜지스터를 제작한다. 여기서는 게이트 전극(2013)을 갖는 박막 트랜지스터(2002)와, 포토 센서(2003)와 전기적으로 접속되는 박막 트랜지스터(2001)를 동일 기판 위에 형성한다. 각각의 트랜지스터로서, n형 박막 트랜지스터 또는 p형 박막 트랜지스터를 사용할 수 있다. 또한, 이들 트랜지스터와 동일 공정으로 유지 용량을 형성할 수 있다. 또한, 유지 용량은, 반도체층을 하부 전극으로 하고, 용량 배선을 상부 전극으로 하고, 박막 트랜지스터(2001) 및 박막 트랜지스터(2002)의 게이트 절연막과 동일 공정으로 형성되는 절연막을 유전체로 하면 좋다.
또한, 박막 트랜지스터의 층간 절연층의 하나인 절연층(2004)에는 콘택트 홀이 형성되고, 각각의 박막 트랜지스터의 반도체층과 전기적으로 접속되는 소스 전극 및 드레인 전극, 또는 상방의 배선과 접속되는 접속 전극을 형성한다. 또한, 포토 센서(2003)와 전기적으로 접속되는 박막 트랜지스터(2001)의 신호선도 동일 공정으로 형성된다. 박막 트랜지스터(2002)의 신호선(2014)도 동일 공정으로 형성된다.
다음에, 신호선(2014)을 덮는 절연층(2005)을 형성한다. 또한, 본 실시형태에서는, 투과형의 액정 표시 장치를 예로서 나타내고 있으므로, 절연층(2005)에는, 가시광을 투과할 수 있는 절연성 재료를 사용한다. 다음에, 절연층(2005)에 콘택트 홀을 형성하고, 절연층(2005) 위에 하부 전극(2008)을 형성한다.
그리고, 하부 전극(2008)의 적어도 일부와 중첩하도록 포토 센서(2003)를 형성한다. 하부 전극(2008)은, 포토 센서(2003)와, 박막 트랜지스터(2001)를 전기적으로 접속시키는 전극이다. 포토 센서(2003)는, n형 반도체층(2010), i형 반도체층(2011) 및 p형 반도체층(2012)이 순차적으로 적층되어 형성된다. 본 실시형태에서는, 플라즈마 CVD법을 사용함으로써, 인을 포함하는 미결정 실리콘에 의하여 n형 반도체층(2010)을 형성하고, 비정질 실리콘에 의하여 i형 반도체층(2011)을 형성하고, 붕소를 포함하는 미결정 실리콘에 의하여 p형 반도체층(2012)을 형성한다.
다음에, 포토 센서(2003)를 덮는 절연층(2006)을 형성한다. 투과형의 액정 표시 장치의 경우는, 절연층(2006)에 가시광을 투과할 수 있는 절연성 재료를 사용한다. 그 후, 절연층(2006)에 콘택트 홀을 형성하고, 절연층(2006) 위에 화소 전극(2007)을 형성한다. 화소 전극(2007)과 동일한 층에 의하여 배선을 형성한다. 그 배선은, 포토 센서(2003)의 상부 전극인 p형 반도체층(2012)과 전기적으로 접속된다.
다음에, 절연층(2006) 위에 스페이서(2025)를 형성한다. 도 5에서는, 스페이서(2025)로서 기둥 형상 스페이서(포스트 스페이서)를 형성하지만, 구형 스페이서(비드 스페이서)를 사용하여도 좋다.
다음에, 액정층(2024)으로서 TN 액정 등을 사용하는 경우에는, 화소 전극(2007) 위에 배향막을 도포하고, 러빙 처리를 행한다.
한편으로, 대향 기판(2020) 위에는 컬러 필터층(2022), 오버 코트층(2023), 대향 전극(2021)을 형성하고, 대향 전극(2021) 위에 배향막을 도포하고, 러빙 처리를 행한다.
그 후, 기판(2000)의 배향막이 도포된 면과, 대향 기판(2020)의 배향막이 도포된 면을 씰재에 의하여 서로 접합한다. 이들 기판 사이에는 액정 적하법 또는 액정 주입법에 의하여 액정을 배치하여, 액정층(2024)을 형성한다.
또한, 액정층(2024)은, 배향막을 사용하지 않는 블루상을 표시하는 액정을 사용하여 형성하여도 된다. 블루상은, 액정상의 하나로서, 콜레스테릭 액정을 승온해 가면, 콜레스테릭상에서 등방상으로 전이하기 직전에 발현되는 상이다. 블루상은, 좁은 온도 범위에서 밖에 발현되지 않기 때문에, 액정층(2024)에 적용하는 데에는, 온도 범위를 개선하기 위하여, 5wt% 이상의 키랄(chiral)제를 혼합시킨 액정 조성물을 사용한다. 블루상을 나타내는 액정과 키랄제를 포함하는 액정 조성물은, 응답 속도가 10μs 내지 100μs로 짧고, 광학적으로 등방성이기 때문에, 배향 처리가 불필요하고, 시야각 의존성이 작다.
다음에, 실시형태 1 및 실시형태 2에서 설명한 터치 패널에 있어서, 표시 소자가 발광 소자를 갖는 일렉트로 루미네선스 표시 장치(이하, "EL 표시 장치"라고 함)에 대하여 설명한다.
도 6은, 상기 터치 패널에 있어서, 발광 소자로서 EL 소자(예를 들어, 유기 EL 소자, 무기 EL 소자 또는 유기물 및 무기물을 포함하는 EL 소자)를 사용한 EL 표시 소자의 단면의 일례를 도시하는 도면이다. EL 소자(2127)로부터 발해진 광이 대상물인 손 가락(2135)으로 반사되어, 포토 센서(2103)에 조사되는 상태를 나타낸다. 대상물은 손 가락에 한정되지 않는다.
도 6에 있어서, 기판(2100) 위에는, 박막 트랜지스터(2101), 박막 트랜지스터(2102) 및 포토 센서(2103)가 형성된다. 포토 센서(2103)는, n형 반도체층(2110), i형 반도체층(2111) 및 p형 반도체층(2112)이 적층되어 형성되어 있다. 기판(2100)은, 씰재에 의하여 대향 기판(2120)에 고정되어 있다.
절연층(2104)은, 박막 트랜지스터(2101) 및 박막 트랜지스터(2102) 위를 덮어 형성되어 있다. 절연층(2104) 위에는, 절연층(2105)이 형성되고, 절연층(2105) 위에는 절연층(2106)이 형성되어 있다. EL 소자(2127)는 절연층(2106) 위에 형성되고, 포토 센서(2103)는 절연층(2105) 위에 형성되어 있다. 포토 센서(2103)의 n형 반도체층(2110)에 의하여, 절연층(2105)에 형성된 개구부를 통하여 포토 센서(2103)와 박막 트랜지스터(2101)가 전기적으로 접속되어 있다.
또한, 센서용 배선(2109)에 의하여, p형 반도체층(2112)과 다른 배선이 전기적으로 접속되어 있다.
EL 소자(2127)는, 화소 전극(2123), 발광층(2124), 대향 전극(2125)이 적층되어 형성되어 있다. 또한, 뱅크(2126)에 의하여 인접하는 화소끼리의 발광층이 구획되어 있다.
박막 트랜지스터(2101) 및 박막 트랜지스터(2102)로서, n형 박막 트랜지스터 또는 p형 박막 트랜지스터를 사용할 수 있다. 화소 전극(2123)이 음극으로서 기능하는 경우는, 전류의 방향을 고려하여 화소 전극(2123)과 전기적으로 접속하는 박막 트랜지스터(2102)를 n형 박막 트랜지스터로 하는 것이 바람직하다. 또한, 화소 전극(2123)이 양극으로서 기능하는 경우는, 박막 트랜지스터(2102)를 p형 박막 트랜지스터로 하는 것이 바람직하다.
또한, 본 실시형태는, 다른 실시형태와 적절히 조합할 수 있다.
(실시형태 5)
본 실시형태에서는, 터치 패널의 구조에 대하여 실시형태 4와는 다른 구조를 채용한 경우를, 도 7을 사용하여 설명한다.
도 7에서는, 기판(2200)과 대향 기판(2220) 사이에 포토 센서(2201), 박막 트랜지스터(2202), 및 액정 소자 또는 발광 소자를 포함하는 층(2224)이 형성되어 있다. 포토 센서(2201)는, n형 영역(2210), i형 영역(2211), 및 p형 영역(2212)을 포함하는 반도체층을 갖는다.
실시형태 4와 달리, 포토 센서(2201)는 박막 트랜지스터(2202)와 같은 층에 형성되어 있다. 또한, 포토 센서(2201)는 n형 영역(2210), i형 영역(2211), 및 p형 영역(2212)이 하나의 반도체층 내에 형성된 구조를 갖는다.
도 7의 구조를 채용함으로써, 포토 센서(2201) 및 박막 트랜지스터(2202)의 반도체층을 동일 공정에서 형성할 수 있게 되고, 공정수를 삭감할 수 있다.
포토 센서(2201) 및 박막 트랜지스터(2202)의 반도체층에 결정성 반도체층을 사용할 수 있다. 예를 들어, 다결정 실리콘을 사용할 수 있다. 그러나, 이것에 한정되지 않고, 포토 센서(2201) 및 박막 트랜지스터(2202)의 반도체층에, 비정질 실리콘, 미결정 실리콘, 단결정 실리콘, 펜타센 등의 유기 반도체, 또는 산화물 반도체 등을 사용하여도 좋다.
또한, 기판(2200) 위에 단결정 실리콘을 사용한 반도체층을 형성하는 경우는, 표면으로부터 소정의 깊이에 손상 영역이 형성된 단결정 실리콘 기판과 기판(2200)을 접합하고, 상기 손상 영역에서 단결정 실리콘 기판을 분리함으로써 형성할 수 있다. 단결정 실리콘을 사용한 경우, 포토 센서(2201)의 전하 축적 능력이 극히 높게 되므로, 포토 센서(2201)를 소형화하고 화소의 개구율을 크게 할 수 있다.
또한, 산화물 반도체로서는, 인듐, 갈륨, 알루미늄, 아연 및 주석 등 중에서 선택된 원소의 복합 산화물을 사용할 수 있다.
또한, 포토 센서(2201)의 반도체층의 막 두께를 박막 트랜지스터(2202)의 막 두께보다 두껍게 형성함으로써, 포토 센서(2201)의 전하 축적 능력을 향상시킬 수 있고, 단결정 실리콘을 사용한 경우에 특히 유효하다.
또한, 포토 센서(2201)의 반도체층과 박막 트랜지스터(2202)의 반도체층을 상이한 재료를 사용하여 형성하여도 좋다.
본 실시형태는 다른 실시형태와 적절히 조합하여 실시할 수 있다.
(실시형태 6)
본 실시형태에서는, 터치 센서 또는 터치 패널을 사용한 전자 기기의 일례에 대하여, 도 12a 내지 도 12d를 사용하여 설명한다.
도 12a는, 표시 장치이고, 퍼스널 컴퓨터용, TV방송 수신용, 광고 표시용 등의 모든 정보 표시용 표시 장치가 포함된다. 도 12b는 휴대 정보 단말이다. 도 12c는, 현금 자동 입출금기(ATM)이다. 도 12d는 휴대형 게임기이다. 도 12a 내지 도 12d의 전자 기기의 표시부(5001 내지 5004)에 본 발명의 일 형태에 따른 터치 패널을 사용할 수 있다. 또한, 도 12a 내지 도 12d의 전자 기기의 인증부(5005 내지 5008)에 본 발명의 일 형태에 따른 터치 센서를 사용할 수 있다.
본 실시형태는 다른 실시형태와 적절히 조합하여 실시할 수 있다.
(실시형태 7)
본 실시형태에서는, 터치 센서 또는 터치 패널을 사용한 전자 기기의 일례에 대하여, 도 13을 사용하여 설명한다.
도 13은 라이팅 보드(Writing Board, 칠판, 화이트 보드(White Board) 등)이다. 본체(9001)의 라이팅부(9101)에 본 발명의 일 형태에 따른 터치 패널(또는 터치 센서)을 설치할 수 있다.
여기서, 라이팅부(9101)의 표면에는, 마커 등을 사용하여 자유롭게 기입할 수 있다.
또한, 정착제(定着劑)가 포함되지 않는 마커 등을 사용하면, 문자를 용이하게 지울 수 있다.
또한, 마커의 잉크를 지우기 쉽게 하기 위하여, 라이팅부(9101)의 표면은 충분한 평활성을 가지면 좋다.
예를 들어, 라이팅부(9101)의 표면이 유리 기판 등이라면 평활성은 충분하다.
또한, 라이팅부(9101)의 표면에 투명한 합성 수지 시트 등을 접착시켜도 좋다.
합성 수지로서는, 예를 들어, 아크릴 등을 사용하면 바람직하다. 이 경우, 합성 수지 시트 표면을 평활하게 해 두면 바람직하다.
또한, 라이팅부(9101)가 특정의 표시를 행할 때, 표면에 그림이나 문자를 기재할 수 있다. 그리고, 라이팅부(9101)는, 기재된 그림이나 문자와 표시된 화상을 합성할 수 있다.
또한, 포토 센서를 사용하므로, 기재한 후, 시간이 경과한 경우의 언제라도 검출이 가능하지만, 저항막 방식, 정전 용량 방식 등을 사용한 경우, 기재와 동시에 밖에 검출할 수 없다.
본 실시형태는 다른 실시형태와 적절히 조합하여 실시할 수 있다.
100: 터치 패널 101: 화소 회로
102: 표시 소자 제어 회로 103: 포토 센서 제어 회로
104: 화소 105: 표시 소자
106: 포토 센서 107: 표시 소자 구동 회로
108: 표시 소자 구동 회로 109: 포토 센서 판독 회로
110: 포토 센서 구동 회로 111: 표시 장치
112: 화상 처리부 113: 입력 처리부
114: 응답 처리부 115: 화상 합성부

Claims (17)

  1. 터치 센서에 있어서:
    복수의 포토 센서를 갖는 입력부와;
    화상 처리부를 포함하고,
    상기 복수의 포토 센서 중 하나는 대상물이 상기 입력부와 접촉하는 부분의 접촉 화상을 생성하고,
    상기 화상 처리부는 상기 접촉 화상의 색 정보로부터 접촉 부분의 면적을 산출하고,
    상기 화상 처리부는 상기 면적에 의거하여 상기 입력부에 대한 입력을 검출하고,
    임계 값은 상기 면적에 대하여 설정되고, 터치 패널에 대한 입력은 상기 면적과 상기 임계 값을 비교한 결과에 의하여 검출되고,
    상기 복수의 포토 센서의 각각은 제 1 트랜지스터, 제 2 트랜지스터, 및 포토다이오드를 포함하고,
    상기 포토다이오드의 전극들의 한쪽은 포토 다이오드 리셋 신호선에 전기적으로 접속되고, 상기 포토다이오드의 상기 전극들의 다른 쪽은 상기 제 1 트랜지스터의 게이트에 전기적으로 접속되고,
    상기 제 1 트랜지스터의 소스 및 드레인의 한쪽은 포토 센서 기준 신호선에 전기적으로 접속되고, 상기 제 1 트랜지스터의 소스 및 드레인의 다른 쪽은 상기 제 2 트랜지스터의 소스 및 드레인의 한쪽에 전기적으로 접속되는, 터치 센서.
  2. 삭제
  3. 삭제
  4. 표시 장치에 있어서:
    포토 센서를 갖는 복수의 화소를 포함하는 터치 패널과;
    화상 처리부를 포함하고,
    상기 복수의 화소 중 하나에서의 상기 포토 센서는 상기 터치 패널이 대상물에 접촉된 부분의 접촉 화상을 생성하고,
    상기 화상 처리부는 상기 접촉 화상의 색 정보로부터 접촉 부분의 면적을 산출하고,
    상기 화상 처리부는 상기 면적에 의거하여 상기 터치 패널에 대한 입력을 검출하고,
    임계 값은 상기 면적에 대하여 설정되고, 상기 터치 패널에 대한 입력은 상기 면적과 상기 임계 값을 비교한 결과에 의하여 검출되고,
    상기 복수의 포토 센서의 각각은 제 1 트랜지스터, 제 2 트랜지스터, 및 포토다이오드를 포함하고,
    상기 포토다이오드의 전극들의 한쪽은 포토 다이오드 리셋 신호선에 전기적으로 접속되고, 상기 포토다이오드의 상기 전극들의 다른 쪽은 상기 제 1 트랜지스터의 게이트에 전기적으로 접속되고,
    상기 제 1 트랜지스터의 소스 및 드레인의 한쪽은 포토 센서 기준 신호선에 전기적으로 접속되고, 상기 제 1 트랜지스터의 소스 및 드레인의 다른 쪽은 상기 제 2 트랜지스터의 소스 및 드레인의 한쪽에 전기적으로 접속되는, 표시 장치.
  5. 삭제
  6. 삭제
  7. 표시 장치에 있어서:
    포토 센서를 갖는 복수의 화소를 포함하는 터치 패널과;
    입력 처리부와 응답 처리부를 포함하는 화상 처리부를 포함하고,
    상기 복수의 화소 중 하나에서의 상기 포토 센서는 상기 터치 패널이 대상물에 접촉된 부분의 접촉 화상을 생성하고,
    상기 입력 처리부는 상기 접촉 화상의 색 정보로부터 접촉 부분의 면적을 산출하고,
    상기 응답 처리부는 상기 면적에 의거하여 상기 터치 패널에 대한 입력을 검출하고,
    임계 값은 상기 면적에 대하여 설정되고, 상기 터치 패널에 대한 입력은 상기 면적과 상기 임계 값을 비교한 결과에 의하여 검출되고,
    상기 복수의 포토 센서의 각각은 제 1 트랜지스터, 제 2 트랜지스터, 및 포토다이오드를 포함하고,
    상기 포토다이오드의 전극들의 한쪽은 포토 다이오드 리셋 신호선에 전기적으로 접속되고, 상기 포토다이오드의 상기 전극들의 다른 쪽은 상기 제 1 트랜지스터의 게이트에 전기적으로 접속되고,
    상기 제 1 트랜지스터의 소스 및 드레인의 한쪽은 포토 센서 기준 신호선에 전기적으로 접속되고, 상기 제 1 트랜지스터의 소스 및 드레인의 다른 쪽은 상기 제 2 트랜지스터의 소스 및 드레인의 한쪽에 전기적으로 접속되는, 표시 장치.
  8. 삭제
  9. 삭제
  10. 표시 장치에 있어서:
    포토 센서를 갖는 복수의 화소를 포함하는 터치 패널과;
    입력 처리부와 응답 처리부를 포함하는 화상 처리부를 포함하고,
    상기 복수의 화소 중 하나에서의 상기 포토 센서는 상기 터치 패널이 대상물에 접촉된 부분의 접촉 화상을 생성하고,
    상기 입력 처리부는, 상기 접촉 화상의 색 정보에 대하여 RGB 값으로부터 HSV 값으로의 변환 처리, 2치화 처리, 노이즈 제거 처리, 및 라벨링(labeling) 처리를 행하여 접촉 부분의 면적을 산출하고,
    상기 응답 처리부는 상기 면적에 의거하여 상기 터치 패널에 대한 입력을 검출하고,
    임계 값은 상기 면적에 대하여 설정되고, 상기 터치 패널에 대한 입력은 상기 면적과 상기 임계 값을 비교한 결과에 의하여 검출되고,
    상기 복수의 포토 센서의 각각은 제 1 트랜지스터, 제 2 트랜지스터, 및 포토다이오드를 포함하고,
    상기 포토다이오드의 전극들의 한쪽은 포토 다이오드 리셋 신호선에 전기적으로 접속되고, 상기 포토다이오드의 상기 전극들의 다른 쪽은 상기 제 1 트랜지스터의 게이트에 전기적으로 접속되고,
    상기 제 1 트랜지스터의 소스 및 드레인의 한쪽은 포토 센서 기준 신호선에 전기적으로 접속되고, 상기 제 1 트랜지스터의 소스 및 드레인의 다른 쪽은 상기 제 2 트랜지스터의 소스 및 드레인의 한쪽에 전기적으로 접속되는, 표시 장치.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 삭제
  15. 삭제
  16. 제 1 항에 있어서,
    입력압은 상기 면적으로부터 산출되는, 터치 센서.
  17. 제 4 항, 제 7 항 및 제 10 항 중 어느 한 항에 있어서,
    입력압은 상기 면적으로부터 산출되는, 표시 장치.
KR1020100080623A 2009-08-24 2010-08-20 터치 센서 및 터치 센서의 구동 방법 및 표시 장치 KR101761543B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009193248 2009-08-24
JPJP-P-2009-193248 2009-08-24

Publications (2)

Publication Number Publication Date
KR20110020742A KR20110020742A (ko) 2011-03-03
KR101761543B1 true KR101761543B1 (ko) 2017-07-26

Family

ID=43604960

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100080623A KR101761543B1 (ko) 2009-08-24 2010-08-20 터치 센서 및 터치 센서의 구동 방법 및 표시 장치

Country Status (5)

Country Link
US (1) US9542022B2 (ko)
JP (3) JP5619521B2 (ko)
KR (1) KR101761543B1 (ko)
CN (1) CN101996006B (ko)
TW (1) TWI498786B (ko)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100957947B1 (ko) * 2008-01-09 2010-05-13 삼성모바일디스플레이주식회사 광센서 및 그를 이용한 평판표시장치
JP5484109B2 (ja) * 2009-02-09 2014-05-07 三菱電機株式会社 電気光学装置
JP5612323B2 (ja) * 2010-01-28 2014-10-22 株式会社ジャパンディスプレイ 画像表示装置の駆動方法
US9030425B2 (en) * 2011-04-19 2015-05-12 Sony Computer Entertainment Inc. Detection of interaction with virtual object from finger color change
TW201246038A (en) * 2011-05-09 2012-11-16 yu-xiang Zheng Position determination device and method using optical communication in in-cell touch control
TWI480794B (zh) * 2011-07-10 2015-04-11 Compal Electronics Inc 訊息顯示方法與電子裝置
JP6028320B2 (ja) 2011-10-12 2016-11-16 富士ゼロックス株式会社 接触検出装置、記録表示装置、及びプログラム
KR101493557B1 (ko) 2011-12-09 2015-02-16 엘지디스플레이 주식회사 터치센서를 가지는 표시장치와 그의 터치 데이터 처리방법
KR101493558B1 (ko) 2011-12-22 2015-02-16 엘지디스플레이 주식회사 터치센서를 가지는 표시장치 및 그의 터치 좌표 데이터 전송방법
JP5978660B2 (ja) * 2012-03-06 2016-08-24 ソニー株式会社 情報処理装置及び情報処理方法
FR2989483B1 (fr) * 2012-04-11 2014-05-09 Commissariat Energie Atomique Dispositif d'interface utilisateur a electrodes transparentes
US9916793B2 (en) * 2012-06-01 2018-03-13 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device and method of driving the same
TWI480786B (zh) * 2012-06-26 2015-04-11 Himax Tech Ltd 觸控裝置及其觸控點偵測方法
US9047500B2 (en) * 2012-08-13 2015-06-02 Palo Alto Research Center Incorporated Integrated thin film imager for bright field, dark field, and frustrated total internal reflection imaging
FR2995419B1 (fr) 2012-09-12 2015-12-11 Commissariat Energie Atomique Systeme d'interface utilisateur sans contact
FR2996933B1 (fr) 2012-10-15 2016-01-01 Isorg Appareil portable a ecran d'affichage et dispositif d'interface utilisateur
CN103885644A (zh) * 2012-12-21 2014-06-25 北京汇冠新技术股份有限公司 一种提高红外触摸屏触摸精度的方法及其***
CN103150063A (zh) * 2013-04-09 2013-06-12 北京紫霄科技有限公司 一种基于lcd的光学多点触控设备
TWI573056B (zh) 2015-05-29 2017-03-01 錼創科技股份有限公司 觸控感測顯示裝置
CN108369465B (zh) 2015-12-08 2021-10-12 株式会社半导体能源研究所 触摸面板、触摸面板的指令输入方法及显示***
CN105867696B (zh) * 2016-06-03 2020-11-17 京东方科技集团股份有限公司 一种触控显示面板、柔性显示面板以及显示装置
CN106326845B (zh) * 2016-08-15 2017-08-11 京东方科技集团股份有限公司 指纹识别单元及制作方法、阵列基板、显示装置及指纹识别方法
CN106709455B (zh) * 2016-12-23 2020-06-30 张一帆 一种支持全屏光学指纹传感器的显示屏及其制作方法
JP6565951B2 (ja) * 2017-02-09 2019-08-28 トヨタ自動車株式会社 画像領域抽出方法および画像領域抽出プログラム
JP2019012216A (ja) * 2017-06-30 2019-01-24 コネクテックジャパン株式会社 表示装置およびこれの製造方法
KR102422074B1 (ko) * 2017-08-14 2022-07-19 삼성디스플레이 주식회사 표시장치
CN108169916A (zh) * 2018-02-09 2018-06-15 厦门盈趣科技股份有限公司 一种led点阵可控背光看板
US20190280051A1 (en) * 2018-03-09 2019-09-12 Int Tech Co., Ltd. Electroluminescent display integrated with touch sensor and method of forming the same
WO2020031018A1 (ja) * 2018-08-09 2020-02-13 株式会社半導体エネルギー研究所 入出力装置、情報処理装置
CN110112199B (zh) * 2018-08-10 2021-04-16 友达光电股份有限公司 影像感测显示装置以及影像处理方法
CN109166892B (zh) * 2018-08-30 2022-11-25 京东方科技集团股份有限公司 Oled显示基板及其制造方法、oled显示面板
CN108846392B (zh) * 2018-08-31 2022-08-19 京东方科技集团股份有限公司 光学指纹识别单元及其制造方法、显示面板和识别指纹的方法
KR102554262B1 (ko) * 2018-12-28 2023-07-11 엘지디스플레이 주식회사 구동 회로, 디스플레이 패널 및 디스플레이 장치
JP7431178B2 (ja) * 2019-01-25 2024-02-14 株式会社半導体エネルギー研究所 機能パネル
WO2020229909A1 (ja) * 2019-05-10 2020-11-19 株式会社半導体エネルギー研究所 表示装置、及び電子機器
CN110287842B (zh) * 2019-06-17 2021-08-10 Oppo广东移动通信有限公司 指纹扫描方法及相关产品
CN113471249A (zh) * 2020-03-31 2021-10-01 华为技术有限公司 一种显示组件、显示装置和指纹识别方法
TWI773353B (zh) * 2021-06-01 2022-08-01 和碩聯合科技股份有限公司 電子裝置
CN114816130B (zh) * 2022-06-29 2022-09-20 长沙朗源电子科技有限公司 电子白板的书写识别方法、***、存储介质和电子白板

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003075135A (ja) * 2001-08-31 2003-03-12 Nec Corp 指紋画像入力装置および指紋画像による生体識別方法
JP2003346162A (ja) * 2002-05-28 2003-12-05 Japan Science & Technology Corp 手の画像認識による入力システム
JP2007128497A (ja) 2005-10-05 2007-05-24 Sony Corp 表示装置および表示方法

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04278627A (ja) 1991-03-06 1992-10-05 Oki Electric Ind Co Ltd タッチパネル装置
JPH1028777A (ja) 1996-07-18 1998-02-03 Sega Enterp Ltd コントローラ
US7751600B2 (en) 2000-04-18 2010-07-06 Semiconductor Energy Laboratory Co., Ltd. System and method for identifying an individual
JP2001350586A (ja) 2000-06-09 2001-12-21 Keio Gijuku 位置入力装置
US7430025B2 (en) 2000-08-23 2008-09-30 Semiconductor Energy Laboratory Co., Ltd. Portable electronic device
US6747290B2 (en) 2000-12-12 2004-06-08 Semiconductor Energy Laboratory Co., Ltd. Information device
US6668661B2 (en) * 2001-03-15 2003-12-30 Ram Consulting, Inc. Pressure distribution image analysis process
US7535454B2 (en) 2001-11-01 2009-05-19 Immersion Corporation Method and apparatus for providing haptic feedback
KR20090096559A (ko) 2001-11-01 2009-09-10 임머숀 코퍼레이션 촉각을 제공하기 위한 방법 및 장치
DE60307077T2 (de) 2002-03-13 2007-03-01 O-Pen Aps Berührungs-pad und verfahren zum betreiben des berührungs-pads
JP4304927B2 (ja) * 2002-07-16 2009-07-29 ソニー株式会社 固体撮像素子及びその製造方法
US20040040800A1 (en) 2002-07-31 2004-03-04 George Anastas System and method for providing passive haptic feedback
JP3799308B2 (ja) * 2002-08-02 2006-07-19 Nec液晶テクノロジー株式会社 液晶表示装置
WO2004042685A2 (en) 2002-11-01 2004-05-21 Immersion Corporation System and method for providing passive haptic feedback
AU2003267170A1 (en) 2002-11-01 2004-06-07 Immersion Corporation Method and apparatus for providing haptic feedback
WO2004081956A2 (en) 2003-03-12 2004-09-23 O-Pen Aps A multitasking radiation sensor
JP2006523869A (ja) 2003-03-12 2006-10-19 オー−プン・アンパルトセルスカブ 放射線を放射する要素の位置を測定するシステム及び方法
US7626575B2 (en) * 2003-03-28 2009-12-01 Samsung Electronics Co., Ltd. Light pen
JP4257221B2 (ja) 2003-03-31 2009-04-22 東芝松下ディスプレイテクノロジー株式会社 表示装置および情報端末装置
JP4574158B2 (ja) * 2003-10-28 2010-11-04 株式会社半導体エネルギー研究所 半導体表示装置及びその作製方法
JP2005275644A (ja) 2004-03-24 2005-10-06 Sharp Corp 液晶表示装置
JP4469680B2 (ja) * 2004-08-10 2010-05-26 東芝モバイルディスプレイ株式会社 光入力機能付き表示装置
US7602380B2 (en) 2004-08-10 2009-10-13 Toshiba Matsushita Display Technology Co., Ltd. Display device with optical input function
JP4351599B2 (ja) 2004-09-03 2009-10-28 パナソニック株式会社 入力装置
US7800594B2 (en) 2005-02-03 2010-09-21 Toshiba Matsushita Display Technology Co., Ltd. Display device including function to input information from screen by light
CN101241411B (zh) * 2005-02-03 2010-06-02 东芝松下显示技术有限公司 包括通过光线从屏幕输入信息的功能的显示器
US7645478B2 (en) * 2005-03-31 2010-01-12 3M Innovative Properties Company Methods of making displays
US8270753B2 (en) * 2005-06-14 2012-09-18 Nikon Corporation Image processing device, computer program product, and image processing method to restore signals in a saturated area
EP1998374A3 (en) 2005-09-29 2012-01-18 Semiconductor Energy Laboratory Co, Ltd. Semiconductor device having oxide semiconductor layer and manufacturing method thereof
JP2007194958A (ja) 2006-01-19 2007-08-02 Matsushita Electric Ind Co Ltd 入力装置および携帯端末装置
KR101452675B1 (ko) 2006-06-09 2014-10-22 애플 인크. 터치 스크린 액정 디스플레이
US8243027B2 (en) 2006-06-09 2012-08-14 Apple Inc. Touch screen liquid crystal display
CN104965621B (zh) 2006-06-09 2018-06-12 苹果公司 触摸屏液晶显示器及其操作方法
WO2007146780A2 (en) 2006-06-09 2007-12-21 Apple Inc. Touch screen liquid crystal display
KR101062042B1 (ko) 2006-06-09 2011-09-02 애플 인크. 터치 스크린 액정 디스플레이
JP2008097172A (ja) 2006-10-10 2008-04-24 Sony Corp 表示装置および表示方法
US20080167526A1 (en) 2007-01-08 2008-07-10 Crank Justin M Non-Occlusive, Laterally-Constrained Injection Device
WO2008126768A1 (ja) * 2007-04-09 2008-10-23 Sharp Kabushiki Kaisha 表示装置
JP4897596B2 (ja) * 2007-07-12 2012-03-14 ソニー株式会社 入力装置、記憶媒体、情報入力方法及び電子機器
JP5567770B2 (ja) 2007-09-21 2014-08-06 株式会社ジャパンディスプレイ 表示装置及び表示装置の製造方法
US20090167723A1 (en) * 2007-12-31 2009-07-02 Wah Yiu Kwong Input devices
TWM343209U (en) * 2008-05-23 2008-10-21 Forworld Electronics Co Ltd Touch panel display device
JP5028337B2 (ja) * 2008-05-30 2012-09-19 キヤノン株式会社 画像処理装置、画像処理方法、プログラム、及び記憶媒体
KR20100038046A (ko) 2008-10-02 2010-04-12 가부시키가이샤 한도오따이 에네루기 켄큐쇼 터치 패널 및 터치 패널의 구동방법
TWI585955B (zh) 2008-11-28 2017-06-01 半導體能源研究所股份有限公司 光感測器及顯示裝置
US8179463B1 (en) * 2009-05-19 2012-05-15 On Semiconductor Trading Ltd. Image sensor with shared node
US8274489B2 (en) * 2009-09-17 2012-09-25 Himax Technologies Limited Readout apparatus and multi-channel readout apparatus for touch panel

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003075135A (ja) * 2001-08-31 2003-03-12 Nec Corp 指紋画像入力装置および指紋画像による生体識別方法
JP2003346162A (ja) * 2002-05-28 2003-12-05 Japan Science & Technology Corp 手の画像認識による入力システム
JP2007128497A (ja) 2005-10-05 2007-05-24 Sony Corp 表示装置および表示方法

Also Published As

Publication number Publication date
TWI498786B (zh) 2015-09-01
JP6088081B2 (ja) 2017-03-01
US20110043473A1 (en) 2011-02-24
JP2015015043A (ja) 2015-01-22
JP2011070658A (ja) 2011-04-07
TW201115437A (en) 2011-05-01
JP2016095886A (ja) 2016-05-26
US9542022B2 (en) 2017-01-10
CN101996006B (zh) 2015-03-11
CN101996006A (zh) 2011-03-30
JP5619521B2 (ja) 2014-11-05
KR20110020742A (ko) 2011-03-03

Similar Documents

Publication Publication Date Title
KR101761543B1 (ko) 터치 센서 및 터치 센서의 구동 방법 및 표시 장치
CN105867696B (zh) 一种触控显示面板、柔性显示面板以及显示装置
US11132526B2 (en) Fingerprint recognition panel, fingerprint recognition method and display device
CN108538206B (zh) 显示面板和显示装置
US8665223B2 (en) Display device and method providing display contact information based on an amount of received light
TWI534683B (zh) 觸摸面板,顯示裝置及電子裝置
CN101183185B (zh) 显示设备
CN109471490B (zh) 嵌设有指纹感测器的平板显示器及其形成方法
US8988405B2 (en) Display device and semiconductor device
CN109472185B (zh) 嵌设有指纹感测器的平板显示器及其形成方法
US20110141151A1 (en) Display device having optical sensors
US11249598B2 (en) Integrated fingerprint detection touch control display apparatus and integrated method of fingerprint detection, touch control, and image display
JP2008083675A (ja) マルチタッチ感知機能を有する液晶表示装置とその駆動方法
EP4102493A1 (en) Display device and operating method therefor
CN1751284A (zh) 交互式显示***
CN110969146B (zh) 指纹识别组件、显示基板、显示面板和指纹识别方法
US9965070B2 (en) System and method for detecting the position of an actuation member on a display screen
CN104375720B (zh) 触摸屏装置
CN208044629U (zh) 指纹识别面板及显示装置
WO2021051276A1 (en) Photo-sensing detection apparatus, display apparatus, method of fingerprint detection, and method of operating display apparatus
KR20090095375A (ko) 터치스크린 장치
WO2019033352A1 (zh) 显示模组及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant