KR101547703B1 - 촬상 장치, 표시 촬상 장치, 전자기기 및 물체의 검출 방법 - Google Patents

촬상 장치, 표시 촬상 장치, 전자기기 및 물체의 검출 방법 Download PDF

Info

Publication number
KR101547703B1
KR101547703B1 KR1020097024306A KR20097024306A KR101547703B1 KR 101547703 B1 KR101547703 B1 KR 101547703B1 KR 1020097024306 A KR1020097024306 A KR 1020097024306A KR 20097024306 A KR20097024306 A KR 20097024306A KR 101547703 B1 KR101547703 B1 KR 101547703B1
Authority
KR
South Korea
Prior art keywords
image pickup
imaging
photoelectric conversion
light
charge
Prior art date
Application number
KR1020097024306A
Other languages
English (en)
Other versions
KR20110001853A (ko
Inventor
츠토무 하라다
요시하루 나카지마
미치루 센다
카즈노리 야마구치
미츠루 타테우치
료이치 츠자키
토시카즈 마에카와
Original Assignee
가부시키가이샤 재팬 디스프레이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가부시키가이샤 재팬 디스프레이 filed Critical 가부시키가이샤 재팬 디스프레이
Publication of KR20110001853A publication Critical patent/KR20110001853A/ko
Application granted granted Critical
Publication of KR101547703B1 publication Critical patent/KR101547703B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04101—2.5D-digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface and also measures the distance of the input means within a short range in the Z direction, possibly with a separate measurement setup
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/141—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element
    • G09G2360/142—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light conveying information used for selecting or modulating the light emitting or modulating element the light being detected by light detection means within each pixel

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Liquid Crystal (AREA)
  • Position Input By Displaying (AREA)
  • Studio Devices (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

제조 비용을 억제하면서, 사용 상황에 의하지 않고 물체를 안정하게 검출하는 것이 가능한 촬상 장치를 제공한다. I/O 디스플레이 패널(20)에 의해 근접물체에 대해 백라이트(15)로부터의 조사광을 조사시키고 있을 때에, 이 조사광에 의한 반사광(Lon)과 환경광(외광)(LO)의 합산광량(合算光量)에 응하여, 각 촬상 화소(33)에 충전전하를 축적시킨다. 또한, 상기 조사광이 조사되지 않을 때에, 환경광(LO)의 광량에 응하여, 각 촬상 화소(33)로부터 방전전하를 방출시킨다. 이로써, 각 촬상 화소(33)로부터 얻어지는 촬상 신호에서는, 환경광(LO)에 의한 성분이 공제되기 때문에, 환경광(LO)의 영향을 받지 않고서, 근접물체의 물체 정보가 취득 가능해진다. 또한, 수광 드라이브 회로(13)에서, 촬상 신호로부터 촬상 화상을 생성할 때에 필요한 프레임 메모리(13A)가, 종래로부터도 적어도 되게 된다.
촬상 장치, 물체의 검출

Description

촬상 장치, 표시 촬상 장치, 전자기기 및 물체의 검출 방법{IMAGING APPARATUS, DISPLAYING/IMAGING APPARATUS, ELECTRONIC APPARATUS AND METHOD FOR DETECTING OBJECT}
본 발명은, 패널에 접촉 또는 근접하는 물체의 위치 등의 정보를 취득하는 촬상 장 치 및 표시 촬상 장치, 그와 같은 표시 촬상 장치를 구비한 전자기기, 및 그와 같은 정보를 취득하기 위한 물체의 검출 방법에 관한 것이다.
종래로부터, 표시 장치의 표시면에 접촉 또는 근접하는 물체의 위치 등을 검출하는 기술이 알려져 있다. 그 중에서도 대표적으로 일반적으로 널리 보급되어 있는 기술로서, 터치 패널을 구비한 표시 장치를 들 수 있다.
이 터치 패널도 여러가지 타입의 것이 존재하지만, 일반적으로 보급되어 있는 것으로서, 정전용량을 검지하는 타입의 것을 들 수 있다. 이 타입의 것은, 손가락으로 터치 패널에 접촉함으로써 패널의 표면 전하의 변화를 포착하여, 물체의 위치 등을 검출하도록 되어 있다. 따라서 이와 같은 터치 패널을 이용함으로서, 유저는 직감적으로 조작하는 것이 가능하다.
또한, 본 출원인은 예를 들면 특허 문헌 1 및 특허 문헌 2에서, 화상을 표시하는 표시 기능과, 물체를 촬상(검출)하는 촬상 기능(검출 기능)을 갖는 표시부(표 시 촬상 패널)를 구비한 표시 장치를 제안하고 있다.
특허 문헌 1 : 특개2004-127272호 공보
특허 문헌 2 : 특개2006-276223호 공보
상기 특허 문헌 1에 기재되어 있는 표시 장치를 이용하면, 예를 들면 표시 촬상 패널상에 손가락 등의 물체를 접촉 또는 근접시킨 경우, 이 물체에서 반사된 표시 촬상 패널로부터의 조사광에 의한 반사광을 이용함응로써, 촬상한 화상에 의거하여 물체의 위치 등을 검출하는 것이 가능하다. 따라서 이 표시 장치를 이용함으로써, 표시 촬상 패널상에 터치 패널 등의 부품을 별도 마련하는 일 없이, 간이한 구성으로 물체의 위치 등을 검출하는 것이 가능해진다.
그러나, 상기한 바와 같이 물체에서 반사된 반사광을 이용하는 경우, 외광(환경광)이나, 수광 소자의 특성 편차 등이 문제가 되는 일이 있다. 구체적으로는, 수광하는 광의 휘도가 외광의 밝기에 응하여 변화하기 때문에, 촬상한 화상에 의거하여 물체의 위치 등을 검출하는 것이 곤란하게 되어 버리는 일이 있다. 또한, 수광 소자의 특성 편차 등이 고정 노이즈가 되어, 역시 촬상한 화상에 의거하여 물체의 위치 등을 검출하는 것이 곤란하게 되어 버리는 일이 있다.
그래서, 상기 특허 문헌 2에서는, 발광 상태에서 얻어진 화상(조사광에 의한 반사광을 이용하여 얻어진 화상)과, 소등 상태에서 얻어진 화상의 차분을 취함에 의해, 상기한 외광이나 고정 노이즈에 의한 영향이 제거되도록 하고 있다.
구체적으로는, 예를 들면 도 55(A)에 단면도로 도시한 바와 같이, 입사하는 외광(환경광)(LO)이 강한 경우에는, 백라이트(105)를 점등시킨 상태에서의 수광 출력 전압(Von101)은, 도 55(B)에 도시한 바와 같이, 표시 에어리어(101)중의 손가락(f)으로 접촉한 개소 이외에서는, 환경광(LO)의 밝기에 대응한 전압치(Va)가 되고, 표시 에어리어(101)중의 손가락(f)으로 접촉한 개소에서는, 그 때에 접촉한 물체(손가락(f))의 표면에서, 백라이트(105)로부터의 조사광(Lon)을 반사시키는 반사율에 대응한 전압치(Vb)로 저하된다. 이에 대해, 백라이트(105)를 소등시킨 상태에서의 수광 출력 전압(Voff101)은, 손가락(f)으로 접촉한 개소 이외에서는, 환경광(LO)의 밝기에 대응한 전압치(Va)가 되는 점은 같지만, 손가락(f)으로 접촉한 개소에서는, 환경광(LO)이 차단된 상태이고, 매우 레벨이 낮은 전압치(Vc)가 된다.
또한, 예를 들면 도 56(A)에 단면도로 도시한 바와 같이, 입사하는 환경광(LO)이 약한(거의 없는) 상태에서는, 백라이트(105)를 점등시킨 상태에서의 수광 출력 전압(Von201)은, 도 56(B)에 도시한 바와 같이, 표시 에어리어(101)중의 손가락(f)으로 접촉한 개소 이외에서는, 환경광(LO)이 없기 때문에 매우 레벨이 낮은 전압치(Vc)가 되고, 표시 에어리어(101)중의 손가락(f)으로 접촉한 개소에서는, 그 때에 접촉한 물체(손가락(f))의 표면에서, 백라이트(105)로부터의 조사광(Lon)을 반사시키는 반사율에 대응한 전압치(Vb)로 상승한다. 이에 대해, 백라이트(105)를 소등시킨 상태에서의 수광 출력 전압(Voff2)은, 손가락(f)으로 접촉한 개소와 그것 이외의 개소의 어느 쪽에서도, 매우 레벨이 낮은 전압치(Vc)인 채로 변화가 없다.
이와 같이 하여, 표시 에어리어(101)중의 손가락(f)이 접촉하지 않은 개소에서는, 환경광(LO)이 있는 경우와 없는 경우에서, 수광 출력 전압이 크게 다르다. 한편, 표시 에어리어(101)중의 손가락(f)이 접촉하고 있는 개소에서는, 환경광(LO)의 유무에 관계없이, 백라이트(105)의 점등시의 전압(Vb)과, 백라이트(105)의 소등시의 전압(Vc)이, 거의 같은 상태가 되어 있다. 따라서, 백라이트(105)의 점등시의 전압과 소등시의 전압의 차분을 검출함에 의해, 전압(Vb)과 전압(Vc)의 차와 같이, 일정 이상의 차가 있는 개소가, 물체가 접촉 또는 근접한 개소라고 판단할 수 있고, 예를 들면 도 57에 도시한 차분 화상(C)과 같이, 외광이나 고정 노이즈의 영향을 받지 않고, 물체의 위치 등을 검출하는 것이 가능해진다고 생각된다.
그런데, 이와 같은 차분 화상(C)을 이용한 물체의 검출 방법에서는, 예를 들면 도 57에 도시한 바와 같이, 백라이트 오프 시의 화상(화상(A))과 백라이트 온 시의 화상(화상(B))의 2매의 화상용의 프레임 메모리 등이 필요하게 되기 때문에, 부품 비용이 증가하여 버리게 된다.
이과 같이 종래의 기술에서는, 제조 비용을 억제하면서, 그 때의 사용 상황에 의하지 않고 패널에 접촉 또는 근접하는 물체를 안정하게 검출하는 것은 곤란하고, 개선의 여지가 있다.
본 발명은 이러한 문제점을 감안하여 이루어진 것으로, 그 목적은, 제조 비용을 억제하면서, 사용 상황에 의하지 않고 물체를 안정하게 검출하는 것이 가능한 촬상 장치, 표시 촬상 장치 및 물체의 검출 방법, 및 그와 같은 표시 촬상 장치를 구비한 전자기기를 제공하는 것에 있다.
본 발명의 촬상 장치는, 복수의 촬상 화소에 의해 구성되고, 근접물체에 대한 조사 광원을 갖는 촬상 패널과, 각 촬상 화소에 대해 촬상 구동을 행함에 의해, 각 촬상 화소로부터 촬상 신호를 취득하는 촬상 구동 수단과, 각 촬상 화소로부터 얻어지는 촬상 신호에 의거한 촬상 화상을 이용하여, 근접물체의 위치, 형상 또는 크기의 적어도 하나를 포함하는 물체 정보를 취득하는 화상 처리 수단을 구비한 것이다. 또한, 상기 촬상 구동 수단은, 조사 광원으로부터 조사광이 조사되고 있을 때에, 이 조사광에 의한 반사광과 환경광의 합산광량에 응하여 각 촬상 화소에 충전전하가 축적됨과 함께, 조사 광원으로부터 조사광이 조사되지 않을 때에, 환경광의 광량에 응하여 각 촬상 화소로부터 방전전하가 방출되도록 촬상 구동을 행함에 의해, 각 촬상 화소로부터 촬상 신호를 취득하도록가 되어 있다. 또한, 「근접물체」란, 문자 그대로 근접하는 물체뿐만 아니라, 접촉 상태에 있는 물체도 포함하는 의미이다.
본 발명의 표시 촬상 장치는, 복수의 표시 화소 및 복수의 촬상 화소에 의해 구성된 표시 촬상 패널과, 각 표시 화소에 대해 표시 구동을 행함에 의해, 화상 표시를 행하는 표시 구동 수단과, 각 촬상 화소에 대해 촬상 구동을 행함에 의해, 각 촬상 화소로부터 촬상 신호를 취득하는 촬상 구동 수단과, 각 촬상 화소로부터 얻어지는 촬상 신호에 의거한 촬상 화상을 이용하여, 근접물체의 위치, 형상 또는 크기의 적어도 하나를 포함하는 물체 정보를 취득하는 화상 처리 수단을 구비한 것이다. 또한, 상기 촬상 구동 수단은, 근접물체에 대해 표시 촬상 패널로부터 조사광이 조사되고 있을 때에, 이 조사광에 의한 반사광과 환경광의 합산광량에 응하여 각 촬상 화소에 충전전하가 축적됨과 함께, 표시 촬상 패널로부터 조사광이 조사되지 않을 때에, 환경광의 광량에 응하여 각 촬상 화소로부터 방전전하가 방출되도록 촬상 구동을 행함에 의해, 각 촬상 화소로부터 촬상 신호를 취득하도록 되어 있다. 또한, 「조사광」이란, 표시 촬상 패널로부터 조사된 표시광뿐만 아니라, 표시 촬상 패널상의 별도 광원(예를 들면, 적외광원 등)으로부터 조사되는 광도 포함하는 의미이다.
본 발명의 전자기기는, 화상 표시 기능 및 촬상 기능을 갖는 상기 표시 촬상 장치를 구비한 것이다.
본 발명의 물체의 검출 방법은, 복수의 촬상 화소에 의해 구성된 촬상 패널에 의해 손 근접물체에 대해 조사광을 조사시키고 있을 때에, 이 조사광에 의한 반사광과 환경광의 합산광량에 응하여 각 촬상 화소에 충전전하를 축적시킴과 함께, 상기 조사광을 조사시키지 않을 때에, 환경광의 광량에 응하여 각 촬상 화소로부터 방전전하를 방출시키도록 하여 각 촬상 화소에 대해 촬상 구동을 행함에 의해, 각 촬상 화소로부터 촬상 신호를 취득하고, 각 촬상 화소로부터 얻어지는 촬상 신호에 의거한 촬상 화상을 이용하여, 근접물체의 위치, 형상 또는 크기의 적어도 하나를 포함하는 물체 정보를 취득하도록 한 것이다.
본 발명의 촬상 장치, 표시 촬상 장치, 전자기기 및 물체의 검출 방법에서는, 촬상 패널 또는 표시 촬상 패널에 의해 근접물체에 대해 조사광이 조사되고 있을 때에, 이 조사광에 의한 반사광과 환경광의 합산광량에 응하여, 각 촬상 화소에 충전전하가 축적된다. 또한, 상기 조사광이 조사되지 않을 때에, 환경광의 광량에 응하여 각 촬상 화소로부터 방전전하가 방출된다. 이로써, 각 촬상 화소로부터 촬상 신호가 얻어진다. 그리고, 각 촬상 화소로부터 얻어지는 촬상 신호에 의거한 촬상 화상을 이용하여, 근접물체의 위치, 형상 또는 크기의 적어도 하나를 포함하는 물체 정보가 얻어진다. 이로써, 각 촬상 화소로부터 얻어지는 촬상 신호에서는, 환경광에 의한 성분이 공제되기 때문에, 그와 같은 환경광의 영향을 받지 않고, 근접물체의 물체 정보의 취득이 가능하게 된다. 또한, 충전전하의 축적 동작과 방전전하의 방출 동작에 의거하여 촬상 화소마다 촬상 신호가 얻어지기 때문에, 촬상 신호로부터 촬상 화상을 생성할 때에 필요한 프레임 메모리 등이, 종래보다도 적어도 되게 된다.
본 발명의 촬상 장치, 표시 촬상 장치, 전자기기 또는 물체의 검출 방법에 의하면, 촬상 패널 또는 표시 촬상 패널에 의해 근접물체에 대해 조사광을 조사시키고 있을 때에, 이 조사광에 의한 반사광과 환경광의 합산광량에 응하여 각 촬상 화소에 충전전하를 축적시킴과 함께, 상기 조사광을 조사시키지 않을 때에, 환경광의 광량에 응하여 각 촬상 화소로부터 방전전하를 방출시키도록 하여, 각 촬상 화소로부터 촬상 신호를 취득하도록 하였기 때문에, 환경광의 영향을 받지 않고서 근접물체의 물체 정보를 취득할 수 있음과 함께, 촬상 신호로부터 촬상 화상을 생성할 때에 필요한 프레임 메모리 등이, 종래로부터도 적어도 되게 된다. 따라서, 제조 비용을 억제하면서, 사용 상황에 의하지 않고서 물체를 안정하게 검출하는 것이 가능해진다.
도 1은 본 발명의 한 실시의 형태에 관한 표시 촬상 장치의 구성을 도시하는 블록도.
도 2는 도 1에 도시한 I/O 디스플레이 패널의 구성례를 도시하는 블록도.
도 3은 도 2에 도시한 표시 에어리어(센서 에어리어) 내의 화소 배치예를 도시하는 평면도.
도 4는 도 3에 도시한 화소 배치에서의 수광부와 신호선과의 접속 관계의 한 예를 도시하는 평면 모식도.
도 5는 실시의 형태에 관한 수광부의 구성례를 도시하는 회로도.
도 6은 도 3에 도시한 화소 배치에서의 수광부와 신호선과의 접속 관계의 상세를 도시하는 모식도.
도 7은 실시의 형태에 관한 표시 촬상 장치에서의 촬상 동작의 한 예를 도시하는 타이밍 파형도.
도 8은 도 7에 도시한 촬상 동작의 상세를 설명하기 위한 타이밍 파형도.
도 9는 도 7 및 도 8에 도시한 촬상 동작할 때의 차지 동작 및 디스차지 동작에 관해 설명하기 위한 회로도.
도 10은 도 8에 도시한 SW 제어 신호 및 백라이트 상태의 상세를 설명하기 위한 타이밍 파형도.
도 11은 비교예에 관한 촬상 동작에 관해 설명하기 위한 특성도.
도 12는 도 11에 도시한 촬상 동작에 관해 설명하기 위한 모식도.
도 13은 비교예에 관한 촬상 동작에 관해 설명하기 위한 다른 특성도.
도 14는 비교예에 관한 촬상 동작에 관해 설명하기 위한 다른 특성도.
도 15는 본 발명의 변형례 1에 관한 수광부의 구성례를 도시하는 회로도.
도 16은 변형례 1에 관한 표시 에어리어(센서 에어리어) 내의 수광부와 신호선과의 접속 계의 상세를 도시하는 모식도.
도 17은 변형례 1에 관한 촬상 동작할 때의 차지 동작 및 디스차지 동작에 관해 설명하기 위한 회로도.
도 18은 변형례 1에 관한 촬상 동작할 때의 SW 제어 신호 및 백라이트 상태에 관해 설명하기 위한 타이밍 파형도.
도 19는 본 발명의 변형례 1에 관한 다른 수광부의 구성례를 도시하는 회로도.
도 20은 본 발명의 변형례 2에 관한 수광부의 구성례를 도시하는 회로도.
도 21은 변형례 2에 관한 촬상 동작에 관해 설명하기 위한 타이밍 파형도.
도 22는 변형례 2에 관한 촬상 동작할 때의 차지 동작 및 디스차지 동작에 관해 설명하기 위한 회로도.
도 23은 변형례 2에 관한 촬상 동작할 때의 SW 제어 신호 및 백라이트 상태에 관해 설명하기 위한 타이밍 파형도.
도 24는 본 발명의 변형례 3에 관한 표시 에어리어(센서 에어리어) 내의 수광부의 구성례를 도시하는 회로도.
도 25는 광전변환 소자에서의 온 동작 영역 및 오프 동작 영역에 관해 설명하는 기 위한 도면.
도 26은 변형례 3에 관한 광전변환 소자에서의 온 동작 영역 및 오프 동작 영역에 관해 설명하기 위한 도면.
도 27은 변형례 3에 관한 촬상 동작에 관해 설명하기 위한 타이밍 파형도.
도 28은 변형례 3에 관한 광전변환 소자에서의 온 동작 및 오프 동작에 관해 상세에 설명하기 위한 타이밍 파형도.
도 29는 변형례 3에 관한 촬상 동작할 때의 차지 동작 및 디스차지 동작에 관해 설명하기 위한 회로도.
도 30은 본 발명의 변형례 4에 관한 표시 에어리어(센서 에어리어) 내의 수광부의 구성례를 도시하는 회로도.
도 31은 변형례 4에 관한 광전변환 소자에서의 온 동작 영역 및 오프 동작 영역에 관해 설명하기 위한 도면.
도 32는 변형례 4에 관한 광전변환 소자에서의 온 동작 영역 및 오프 동작 영역에 관해 설명하기 위한 도면.
도 33은 변형례 4에 관한 촬상 동작에 관해 설명하기 위한 타이밍 파형도.
도 34는 변형례 4에 관한 광전변환 소자에서의 온 동작 및 오프 동작에 관해 상세에 설명하기 위한 타이밍 파형도.
도 35는 변형례 4에 관한 촬상 동작할 때의 차지 동작 및 디스차지 동작에 관해 설명하기 위한 회로도.
도 36은 본 발명의 변형례 5에 관한 표시 에어리어(센서 에어리어) 내의 수광부의 구성례를 도시하는 회로도.
도 37은 변형례 5에 관한 광전변환 소자에서의 온 동작 영역 및 오프 동작 영역에 관해 설명하기 위한 도면.
도 38은 변형례 5에 관한 광전변환 소자에서의 온 동작 영역 및 오프 동작 영역에 관해 설명하기 위한 도면.
도 39는 변형례 5에 관한 광전변환 소자에서의 온 동작 영역 및 오프 동작 영역에 관해 설명하기 위한 도면.
도 40은 변형례 5에 관한 광전변환 소자에서의 온 동작 영역 및 오프 동작 영역에 관해 설명하기 위한 도면.
도 41은 변형례 5에 관한 촬상 동작에 관해 설명하기 위한 타이밍 파형도.
도 42는 변형례 5에 관한 광전변환 소자에서의 온 동작 및 오프 동작에 관해 상세히 설명하기 위한 타이밍 파형도.
도 43은 변형례 5에 관한 촬상 동작할 때의 차지 동작 및 디스차지 동작에 관해 설명하기 위한 회로도.
도 44는 본 발명의 변형례 6에 관한 표시 에어리어(센서 에어리어) 내의 수광부의 구성례를 도시하는 회로도.
도 45는 도 44에 도시한 표시 에어리어(센서 에어리어) 내의 화소 배치예를 도시하는 평면도.
도 46은 본 발명에 의한 촬상 결과(손가락끝 추출 처리의 결과)를 이용한 애플리케이션의 한 예에 관해 설명하기 위한 도면.
도 47은 본 발명에 의한 촬상 결과(손가락끝 추출 처리의 결과)를 이용한 애플리케이션의 한 예에 관해 설명하기 위한 도면.
도 48은 본 발명에 의한 촬상 결과(손가락끝 추출 처리의 결과)를 이용한 애 플리케이션의 한 예에 관해 설명하기 위한 도면.
도 49는 본 발명에 의한 촬상 결과(손가락끝 추출 처리의 결과)를 이용한 애플리케이션의 한 예에 관해 설명하기 위한 도면.
도 50은 본 발명의 표시 촬상 장치의 적용례 1의 외관을 도시하는 사시도.
도 51의 (A)는 적용례 2의 표측에서 본 외관을 도시하는 사시도, (B)는 이측에서 본 외관을 도시하는 사시도.
도 52는 적용례 3의 외관을 도시하는 사시도.
도 53은 적용례 4의 외관을 도시하는 사시도.
도 54의 (A)는 적용례 5의 연 상태의 정면도, (B)는 그 측면도, (C)는 닫은 상태의 정면도, (D)는 좌측면도, (E)는 우측면도, (F)는 상면도, (G)는 하면도.
도 55는 종래의 표시 촬상 장치에 의한 촬상 동작(차분 화상 손가락끝 추출 처리)의 한 예를 도시하는 특성도.
도 56은 종래의 표시 촬상 장치에 의한 촬상 동작(차분 화상 손가락끝 추출 처리)의 다른 예를 도시하는 특성도.
도 57은 종래의 표시 촬상 장치에 의한 촬상 동작(차분 화상 손가락끝 추출 처리)에 관해 설명 하기 위한 사진도.
이하, 본 발명을 실시하기 위한 최선의 형태(이하, 단지 실시의 형태라고 한다)에 관해, 도면을 참조하여 상세히 설명한다.
도 1은, 본 발명의 한 실시의 형태에 관한 표시 촬상 장치의 전체 구성을 도 시하는 것이다. 이 표시 촬상 장치는, I/O 디스플레이 패널(20)과, 백라이트(15)와, 표시 드라이브 회로(12)와, 수광 드라이브 회로(13)와, 화상 처리부(14)와, 애플리케이션 프로그램 실행부(11)를 구비하고 있다.
I/O 디스플레이 패널(20)은, 복수의 화소가 전면(全面)에 걸쳐서 매트릭스형상으로 배치된 액정 패널(LCD(Liquid Crystal Display))로 이루어지고, 선순차 동작을 하면서 표시 데이터에 의거한 소정의 도형이나 문자 등의 화상을 표시하는 기능(표시 기능)을 갖음과 함께, 후술하는 바와 같이 이 I/O 디스플레이(20)에 접촉 또는 근접하는 물체(근접물체)를 촬상하는 기능(촬상 기능)을 갖는 것이다. 또한, 백라이트(15)는, 예를 들면 복수의 발광 다이오드가 배치되어 이루어지는 I/O 디스플레이 패널(20)의 표시 및 검출용의 광원이고, 후술하는 바와 같이 I/O 디스플레이(20)의 동작 타이밍에 동기한 소정의 타이밍에서, 고속으로 온·오프 동작을 행하도록 되어 있다.
표시 드라이브 회로(12)는, I/O 디스플레이 패널(20)에서 표시 데이터에 의거한 화상이 표시되도록(표시 동작을 행하도록), 이 I/O 디스플레이 패널(20)의 구동을 행하는(선순차 표시 동작의 구동을 행하는) 회로이다.
수광 드라이브 회로(13)는, I/O 디스플레이 패널(20)의 각 화소로부터 수광 신호(촬상 신호)가 얻어지도록(물체를 촬상하도록), 이 I/O 디스플레이 패널(20)의 구동을 행하는(선순차 촬상 동작의 구동을 행하는) 회로이다. 또한, 각 화소로부터의 수광 신호는, 예를 들면 프레임 단위로 프레임 메모리(13A)에 축적되고, 촬상 화상으로서 화상 처리부(14)에 출력되도록 되어 있다.
화상 처리부(14)는, 수광 드라이브 회로(13)로부터 출력되는 촬상 화상에 의거하여 소정의 화상 처리(연산 처리)를 행하고, I/O 디스플레이(20)에 접촉 또는 근접하는 물체에 관한 물체 정보(위치 좌표 데이터, 물체의 형상이나 크기에 관한 데이터 등)를 검출하고, 취득하는 것이다. 또한, 이 검지하는 처리의 상세에 관해서는 후술한다.
애플리케이션 프로그램 실행부(11)는, 화상 처리부(14)에 의한 검지 결과에 의거하여 소정의 애플리케이션 소프트웨어에 응한 처리를 실행하는 것이고, 예를 들면 검지한 물체의 위치 좌표를 표시 데이터에 포함하도록 하고, I/O 디스플레이 패널(20)상에 표시시키는 것 등을 들 수 있다. 또한, 이 애플리케이션 프로그램 실행부(11)에서 생성되는 표시 데이터는, 표시 드라이브 회로(12)에 공급되도록 되어 있다.
다음에, 도 2를 참조하여, I/O 디스플레이 패널(20)의 상세 구성례에 관해 설명한다. 이 I/O 디스플레이 패널(20)은, 표시 에어리어(센서 에어리어)(21)와, 표시용 H드라이버(22)와, 표시용 V드라이버(23)와, 센서 판독용 H드라이버(25)와, 센서용 V드라이버(24)를 갖고 있다.
표시 에어리어(센서 에어리어)(21)는, 백라이트(15)로부터의 광을 변조하여 조사광(표시광과, 예를 들면 적외광원 등(도시 생략)에 의한 검출용의 조사광을 포함하는 것. 이하 마찬가지)을 출사함과 함께 이 에어리어에 접촉 또는 근접하는 물체를 촬상하는 영역이고, 발광 소자(표시 소자)인 액정 소자와, 후술하는 수광 소자(촬상 소자)가, 각각 매트릭스형상으로 배치되어 있다.
표시용 H드라이버(22)는, 표시 드라이브 회로(12)로부터 공급되는 표시 구동용의 표시 신호 및 제어 클록에 의거하여, 표시용 V드라이버(23)와 함께 표시 에어리어(21) 내의 각 화소의 액정 소자를 선순차 구동하는 것이다.
센서 판독용 H드라이버(25)는, 센서용 V드라이버(24)와 함께 센서 에어리어(21) 내의 각 화소의 수광 소자를 선순차 구동하고, 수광 신호를 취득하는 것이다. 또한, 이들 센서 판독용 H드라이버(25) 및 센서용 V드라이버(24)는, 상세는 후술하지만, 근접물체에 대해 I/O 디스플레이 패널(20)로부터 조사광이 조사되고 있을 때에, 이 조사광에 의한 반사광과 환경광의 합산광량에 응하여 각 화소에 충전전하가 축적됨과 함께, I/O 디스플레이 패널(20)로부터 조사광이 조사되지 않을 때에, 환경광의 광량에 응하여 각 화소로부터 방전전하가 방출되도록 촬상 구동을 행함에 의해, 각 화소로부터 촬상 신호(수광 신호)를 취득하도록 되어 있다.
다음에, 도 3 내지 도 6을 참조하여, 표시 에어리어(21)에서의 각 화소의 상세 구성례에 관해 설명한다.
우선, 예를 들면 도 3에 도시한 바와 같이, 화소(31)는, 표시 화소(표시부)(31RGB)와, 촬상 화소(수광부)(33)와, 이 촬상 화소(33)용의 배선이 형성된 배선부(32)로 구성되어 있다. 또한, 표시 화소(31RGB)는, 적색(R)용의 표시 화소(31R)와, 녹색(G)용의 표시 화소(31G)와, 청색(B)용의 표시 화소(31B)로 구성되어 있다. 이들 표시 화소(31RGB), 촬상 화소(33) 및 배선부(32)는 각각, 표시 에어리어(21)(센서 에어리어)상에서 매트릭스형상으로 나열하여 배치되어 있다. 또한, 촬상 화소(33)와, 이 촬상 화소(33)를 촬상 구동하기 위한 배선부(32)가, 일정 주 기로 서로 분리 배치되어 있다. 이와 같은 배치에 의해, 촬상 화소(32) 및 배선부(33)로 이루어지는 센서 에서리어를 표시 화소(31RGB)에 대해 극히 인식하기 어렵게 됨과 함께, 표시 화소(31RGB)에서의 개구율 저감이 최소한으로 억제되도록 되어 있다. 또한, 배선부(32)를, 표시 화소(31RGB)의 개구에 기여하지 않는 영역(예를 들면, 블랙 매트릭스로 차광된 영역이나 반사 영역 등)에 배치하도록 하면, 표시 품위를 떨어뜨리는 일 없이 수광 회로를 배치하는 것이 가능해진다. 또한, 각 촬상 화소(수광부)(33)에는, 상세는 후술하지만, 예를 들면 도 4에 도시한 바와 같이, 리셋 신호선(Reset_1 내지 Reset_n) 및 리드 신호선(Read_1 내지 Read_n)이, 수평 라인 방향에 따라 접속되도록 되어 있다.
또한, 예를 들면 도 5에 도시한 바와 같이, 각 수광부(33)는, 수광 광량에 응한 전하를 발생시키는 수광 소자로서의 광전변환 소자(PD1)와, 용량 소자로서의 콘덴서(C1)와, 4개의 스위칭 소자(SW11 내지 SW14)와, 3개의 트랜지스터(Tr1 내지 Tr3)를 포함하여 구성되어 있다. 광전변환 소자(PD1)는, 콘덴서(C1)에 대한 충전전하 및 방전전하를 각각 공통으로 발생시키는 것이고, 예를 들면 포토 다이오드나 포토트랜지스터 등에 의해 구성되어 있다. 여기서는, 광전변환 소자(PD1)는, 애노드(p형 반도체 영역 내에 형성), 캐소드(n형 반도체 영역 내에 형성) 및 게이트(예를 들면, 진성(眞性) 반도체 영역 내에 형성)를 갖는 PIN형의 포토 다이오드에 의해 구성되어 있고, 후술하는 변형례에 관한 광전변환 소자에 관해서도 마찬가지이다. 또한, 트랜지스터(Tr1 내지 Tr3)는 각각, 예를 들면 박막 트랜지스터(TFT ; Thin Film Transistor) 등에 의해 구성되어 있다. 이 수광부(33)에서는, 스위칭 소 자(SW11)의 일단이 전원(VDD)에 접속되고, 타단이 스위칭 소자(SW13)의 일단 및 광전변환 소자(PD1)의 캐소드 및 게이트에 접속되어 있다. 또한, 스위칭 소자(SW12)의 일단이 접지(VSS)에 접속되고, 타단이 스위칭 소자(SW14)의 일단 및 광전변환 소자(PD1)의 애노드에 접속되어 있다. 또한, 스위칭 소자(SW13, SW14)의 타단끼리는 각각, 접속점(P1)을 통하여, 콘덴서(C1)의 일단, 트랜지스터(Tr1)의 드레인 및 트랜지스터(Tr2)의 게이트에 접속되어 있다. 콘덴서(C1)의 타단은, 접지(VSS)에 접속되어 있다. 또한, 트랜지스터(Tr1)의 게이트는 리셋 신호선(Reset)에 접속되고, 소스는 리셋 전원(Vrst)에 접속되어 있다. 또한, 트랜지스터(Tr2)의 소스는 전원(VDD)에 접속되고, 드레인은 트랜지스터(Tr3)의 드레인에 접속되어 있다. 또한, 트랜지스터(Tr3)의 게이트는 리드 신호선(Read)에 접속되고, 소스는 판독선(41)에 접속되어 있다. 또한, 충전용 스위칭 소자로서 기능하는 스위칭 소자(SW11, SW14)에 의해, 충전전하를 콘덴서(C1)에 축적시키기(차지시키기) 위한 충전 회로가 구성되어 있다. 또한, 방전용 스위칭 소자로서 기능하는 스위칭 소자(SW12, SW13)에 의해, 방전전하를 콘덴서(C1)로부터 방출시키기(디스차지시키기) 위한 방전 회로가 구성되어 있다. 이와 같은 구성에 의해, 상세는 후술하지만, 광전변환 소자(PD1)에서 발생한 충전전하가 충전용의 스위칭 소자(SW11, SW14)를 통하여 콘덴서(C1)에 축적됨과 함께, 광전변환 소자(PD1)에서 발생한 방전전하가 방전용의 스위칭 소자(SW12, SW13)를 통하여 콘덴서(C1)로부터 방출되도록, 상기 충전 회로 및 방전 회로 내의 스위칭 소자(SW11 내지 SW14)가 각각 촬상 구동되고, 각 수광부(촬상 화소)(33)로부터 촬상 신호가 얻어지도록 되어 있다. 이름, 상기한 리셋 전원(Vrst) 의 전압(각 수광부(33)에서 콘덴서(C1)에 축적된 전하를 전부 방출시키기 위한 리셋 전압)은, 전원 전압(VDD)과 접지 전압(VSS) 사이의 임의의 전압으로 설정 가능하게 되어 있다.
또한, 도 5에서 설명한 수광부(촬상 화소)(33) 내의 회로 부분, 표시 화소(31RGB), 리셋 신호선(Reset), 리드 신호선(Read), 판독선(41), 전원 라인(VDD), 접지 라인(VSS) 및 리셋 전압 라인(Vrst), 및, 스위칭 신호(SW11, S14)를 스위칭 제어하기 위한 SW 제어 신호가 공급되는 SW 제어 라인(Sa) 및 스위칭 신호(SW12, S13)를 스위칭 제어하기 위한 SW 제어 신호가 공급되는 SW 제어 라인(Sb)은 각각, 표시 에어리어(센서 에어리어)(21)에서, 예를 들면 도 6에 도시한 바와 같이 배치되어 있다.
다음에, 본 실시의 형태의 표시 촬상 장치의 동작에 관해 상세히 설명한다.
우선, 이 표시 촬상 장치에 의한 화상의 표시 동작 및 물체의 촬상 동작의 개요에 관해 설명한다..
이 표시 촬상 장치에서는, 애플리케이션 프로그램 실행부(11)로부터 공급되는 표시 데이터에 의거하여, 표시용 드라이브 회로(12)에서 표시용의 구동 신호가 생성되고, 이 구동 신호에 의해, I/O 디스플레이(20)에 대해 선순차 표시 구동이 이루어지고, 화상가 표시된다. 또한, 이 때 백라이트(15)도 표시 드라이브 회로(12)에 의해 구동되고, I/O 디스플레이(20)와 동기한 점등·소등 동작이 이루어진다.
여기서, I/O 디스플레이 패널(20)에 접촉 또는 근접하는 물체(예를 들면, 손 가락끝 등)가 있는 경우, 수광 드라이브 회로(13)에 의한 선순차 수광 구동에 의해, 이 I/O 디스플레이 패널(20)에서의 각 촬상 화소(33)에서 그 물체가 촬상되고, 각 촬상 화소(32)로부터의 촬상 신호가 수광 드라이브 회로(13)에 공급된다. 수광 드라이브 회로(13)에서는, 1프레임분의 촬상 화소(33)의 촬상 신호가 축적되고, 촬상 화상으로서 화상 처리부(14)에 출력된다..
그리고 화상 처리부(14)에서는, 이 촬상 화상에 의거하여, 이하 설명하는 소정의 화상 처리(연산 처리)가 행하여짐에 의해, I/O 디스플레이(20)에 접촉 또는 근접하는 물체에 관한 물체 정보(위치 좌표 데이터, 물체의 형상이나 크기에 관한 데이터 등)가 얻어진다.
다음에, 도 7 내지 도 14를 참조하여, 본 실시의 형태의 촬상 동작의 상세, 및 화상 처리부(14)에 의한 I/O 디스플레이(20)에 접촉 또는 근접하는 물체(손가락끝 등의 근접물체)의 추출 처리(손가락끝 추출 처리)에 관해 설명한다. 여기서, 도 7은, 본 실시의 형태의 촬상 동작의 한 예를 타이밍 파형도로 도시한 것이고, (A) 내지 (D)는, 리셋 신호 전압(V(Reset_1), V(Reset_2), V(Reset_3), V(Reset_n))을, (E) 내지 (H)는, 리드 신호 전압(V(Read_1), V(Read_2), V(Read_3), V(Read_n))을, (I)는, 스위칭 소자(SW11, SW14)의 제어 신호(SW 제어 신호(Sa))를, (J)는, 스위칭 소자(SW12, SW13)의 제어 신호(SW 제어 신호(Sb))를, 각각 나타내고 있다. 또한, 도 8은, 도 7에 도시한 촬상 동작의 상세(하나의 수광 소자(31)에서의 촬상 동작)를 타이밍 파형도로 도시한 것이고, (A)는, 리셋 신호 전압(V(Reset))을, (B)는, 리드 신호 전압(V(Read))을, (C), (D)는, SW 제어 신호(Sa, Sb)를, (E)는, 접속 점(P1)의 전위(축적 전위)(VP1)를, (F)는, 판독 라인(41)의 전위(판독 전압)(V41)을, 각각 나타내고 있다. 또한, 도 11 내지 도 14는, 비교예에 관한 종래의 촬상 동작에 관해 설명하기 위한 특성도 및 모식도이다.
우선, 예를 들면 도 7에 도시한 바와 같이, 리셋 신호 전압(V(Reset_1), V(Reset_2), V(Reset_3), V(Reset_n)) 및 리드 신호 전압(V(Read_1), V(Read_2), V(Read_3), V(Read_n))은 각각, 선순차 동작에 의해 H(하이)상태가 된다. 각 수평 라인상의 수광부(33)에서는, 리셋 신호 전압(V(Reset))이 H상태가 되고 나서 리드 신호 전압(V(Read))이 H상태가 되기까지의 기간이, 상세는 후술하지만, 노광 기 사이로 된다. 또한, 이와 같은 리셋 신호 전압(V(Reset)) 및 리드 신호 전압(V(Read))의 선순차 동작에 동기하여 백라이트(15)의 ON 상태 및 OFF 상태가 교대로 전환되도록 되어 있음과 함께, 이 백라이트(15)의 ON·OFF 상태의 전환 동작에 동기하여, SW 제어 신호(Sa, Sb)가 각각 H(하이)상태가 되고, 스위칭(SW11 내지 SW14)이 각각 온 상태가 되도록 되어 있다. 또한, 이들 SW 제어 신호(Sa)와 SW 제어 신호(Sb)은, 서로 교대로 H상태가 되도록 되어 있다. 구체적으로는, 백라이트(15)가 ON 상태일 때에는, SW 제어 신호(Sa)가 H상태가 됨과 함께 SW 제어 신호(Sb)가 L(로우)상태가 되고, 백라이트(15)가 OFF 상태일 때에는, SW 제어 신호(Sa)가 L상태가 됨과 함께, SW 제어 신호(Sb)가 H상태가 된다.
이 때, 하나의 수광 소자(31)에서의 촬상 동작은, 예를 들면 도 8에 도시한 바와 같이 된다. 즉, 우선, 타이밍(t10)에서 리셋 신호 전압(V(Reset))이 H상태가 되면, 트랜지스터(Tr1)가 온 상태가 됨에 의해, 접속점(P1)의 전위(VP1)(축적 전 위)가, 임의로 설정된 리셋 전압(Vrst)(여기서는, Vrst=VSS)으로 리셋된다.
다음에 타이밍(t11 내지 t12)의 기간에서는, 백라이트(15)가 ON 상태가 됨과 함께, SW 제어 신호(Sa)가 H상태가 되고, SW 제어 신호(Sb)가 L상태가 됨에 의해, 콘덴서(C1)에의 충전전하의 축적 동작(차지 동작)이, 표시 구동할 때의 수평 기간(백라이트(15)의 ON·OFF의 전환 동작)과 동기하여 이루어진다. 구체적으로는, 예를 들면 도 9(A)에 도시한 바와 같이, 충전용의 스위칭 소자(SW11, SW14)가 온 상태가 됨과 함께, 방전용의 스위칭 소자(SW12, SW13)가 오프 상태가 된다. 이로써, 백라이트(15)로부터의 조사광에 의한 근접물체에서의 반사광(Lon)과 외광(환경광)(LO)의 합산광량에 응하여, 도면중에 도시한 충전전류(I11)의 경로에 의해 콘덴서(C1)에 충전전하가 축적되고, 축적 전위(VP1)가 상승한다.
다음에 타이밍(t12 내지 t13)의 기간에서는, 백라이트(15)가 OFF 상태가 됨과 함께, SW 제어 신호(Sa)가 L상태가 되고, SW 제어 신호(Sb)가 H상태가 됨에 의해, 콘덴서(C1)로부터의 방전전하의 방출 동작(디스차지 동작)이, 표시 구동할 때의 수평 기간(백라이트(15)의 ON·OFF의 전환 동작)과 동기하여 이루어진다. 구체적으로는, 예를 들면 도 9(B)에 도시한 바와 같이, 충전용의 스위칭 소자(SW11, SW14)가 오프 상태가 됨과 함께, 방전용의 스위칭 소자(SW12, SW13)가 온 상태가 된다. 이로써, 외광(환경광)(LO)의 광량에 응하여, 도면중에 도시한 방전전류(I12)의 경로에 의해 콘덴서(C1)로부터 방전전하가 방출되고, 축적 전위(VP1)가 하강한다.
그리고, 이와 같은 충전전하의 축적 동작과 방전전하의 방출 동작이, 타이 밍(t14)까지(노광 기간의 사이) 복수회 전환되고, 그 후, 그 동안에 콘덴서(C1)에 축적된 전하가, 촬상 신호로서 판독된다. 구체적으로는, 타이밍(t14)에서 리드 신호 전압(V(Read))이 H상태가 됨에 의해, 트랜지스터(Tr3)가 온 상태가 되고, 타이밍(t15 내지 t16)의 기간에서, 축적 전위(VP1)의 전압이 판독선(41)으로부터 판독된다. 이와 같이 하여, 충전전하의 축적 동작과 방전전하의 방출 동작이 복수회 전환된 후에 촬상 신호가 판독됨에 의해, 노광 기간이 길어지기 때문에, 도 8(E)에 도시한 바와 같이, 촬상 신호의 신호 성분(축적 전위(VP1))이 증대하도록 되어 있다. 또한, 여기서 얻어진 촬상 신호는 아날로그 값이기 때문에, 수광 드라이브 회로(13)에서 A/D(아날로그/디지털) 변환이 이루어지다. 또한, 그 후는 타이밍(t16)에서 리셋 신호 전압(V(Reset))이 H상태가 됨에 의해, 이후는 타이밍(t10 내지 t16)과 마찬가지의 동작이 반복되게 된다.
또한, SW 제어 신호(Sa)가 H상태가 되는 기간과 SW 제어 신호(Sb)가 H상태가 되는 기간은, 보다 상세하게는, 예를 들면 도 10에 도시한 바와 같이 서로 겹쳐지지 않게 되어 있고(논 오버랩 기간이 설정되어 있고), 이로써, 수광부(33)에서의 리크 전류의 발생이 회피되도록 되어 있다.
다음에, 화상 처리부(14)에서는, 수광 드라이브 회로(13)에서 생성된 1프레임분의 촬상 화상의 중심(重心)을 판정하는 연산 처리가 이루어지고, 접촉(근접) 중심(中心)의 특정(特定)이 행하여진. 그리고, 근접물체의 검출 결과가 화상 처리부(14)로부터 애플리케이션 프로그램 실행부(11)에 출력되고, 화상 처리부(14)에 의한 손가락끝 추출 처리가 종료가 된다.
이와 같이 하여, 본 실시의 형태의 손가락끝 추출 처리에서는, I/O 디스플레이 패널(20)에 의해, 근접물체에 대해 백라이트(15)로부터의 조사광이 조사되고 있을 때에, 이 조사광에 의한 반사광(Lon)과 환경광(외광)(LO)의 합산광량에 응하여, 각 촬상 화소(33)에 충전전하가 축적된다. 또한, 상기 조사광이 조사되지 않을 때에, 환경광(LO)의 광량에 응하여, 각 촬상 화소(33)로부터 방전전하가 방출된다. 이로써, 각 촬상 화소(33)로부터 촬상 신호가 얻어진다. 그리고, 각 촬상 화소(33)로부터 얻어지는 촬상 신호에 의거한 촬상 화상을 이용하여, 화상 처리부(14)에서, 근접물체의 위치, 형상 또는 크기의 적어도 하나를 포함하는 물체 정보가 얻어진다. 이로써, 각 촬상 화소(33)로부터 얻어지는 촬상 신호에서는, 환경광(LO)에 의한 성분이 공제되기 때문에, 그와 같은 환경광(LO)의 영향을 받지 않고서, 근접물체의 물체 정보의 취득이 가능해진다.
또한, 충전전하의 축적 동작과 방전전하의 방출 동작에 의거하여, 촬상 화소(33)마다 촬상 신호가 얻어지기 때문에, 수광 드라이브 회로(13)에서, 촬상 신호로부터 촬상 화상를 생성할 때에 필요한 프레임 메모리(13A)가, 종래(예를 들면 도 58에 도시한 바와 같이, 백라이트 off 시의 화상(화상(A))과, 백라이트 ON 시의 화상(화상(B))의 2장의 화상용의 프레임 메모리가 필요해진다)보다도 적어도 되게 된다.
또한, 이 손가락끝 추출 처리에서는, I/O 디스플레이 패널(20)의 표시 에어리어(21)상에 동시에 배치된 복수의 접촉 또는 근접하는 물체에 대해서도 마찬가지로, 각각의 물체에 관한 위치, 형상 또는 크기 등의 물체 정보가 취득 가능하게 되 어 있다.
또한, 도 11 및 도 12에 도시한 비교예(예를 들면 도 57, 58에 도시한 종래의 손가락끝 추 출처리)에서는, 도 11중의 화살표로 도시한 바와 같이, I/O 디스플레이 패널(20)의 표시 에러리어(21)상에서 근접물체가 이동하고 있는 경우, 이하와 같은 문제가 생긴다. 즉, 씨 때의 사용 상황하에서는, 예를 들면 도 12에 도시한 바와 같이, 백라이트 오프 상태에서 얻어진 화상(A101)과, 백라이트 온 상태에서 얻어진 화상(B101) 사이에는, 시간차(時間差)가 존재한다. 따라서 예를 들면 도 11에 도시한 바와 같이 I/O 디스플레이 패널(20)상에서 근접물체가 고속으로 이동하고 있는 경우 등에는, 이 시간차 때문에, 화상(A101)에서의 수광 출력 신호(Voff(A101))와 화상(B101)에서의 수광 출력 신호(Von(B101)) 사이에서, 근접물체에 대응하는 부분에 위치 어긋남이 생기고 있다. 그리고 이와 같은 위치 때문에, 이들 2개의 화상(A101, B101)의 차분 화상(C101)(=B101-A101) 및 그 수광 검출 신호 V(C101)(=Von(B101)-Voff(A101))에서, 도 11 및 도 12에 도시한 바와 같이, 근접물체의 위치에 대응하는 본래의 신호 외에, 다른 위치에 거짓신호(僞信號)(F101)가 생겨 버리고 있다. 따라서, 이 비교예에 관한 손가락끝 추출 처리에서는, 이과 같은 거짓신호(F101)의 존재에 의해, 근접물체를 안정하게 검출하는 것이 곤란하게 되어 버리는 경우가 있다. 또한, 이 거짓신호는, 근접물체의 움직임이 빠를 때에 발생하는 면적이 커지고, 또한 외광이 강할수록, 거짓신호도 강해지는 경향이 있다.
이에 대해 본 실시의 형태에서는, 상기한 바와 같이, 적어도 예를 들면 근접 물체가 I/0 디스플레이 패널(20)상에서 움직이고 있는 경우 등에는, 각 촬상 화소(33)에서, 충전전하가 축적됨과 함께 방전전하가 방출되도록 촬상 구동이 이루어짐에 의해, 각 촬상 화소(33)로부터 촬상 신호가 취득되고, 이와 같은 촬상 신호에 의거한 촬상 화상를 이용하여, 근접물체의 물체 정보가 취득되도록 되어 있다. 따라서 예를 들면 백라이트(15)의 ON/OFF 상태의 전환 주기를 극히 짧게 설정함에 의해, 그이군 우나 전환 주기의 동안에, 근접물체가 I/O 디스플레이 패널(20)의 표시 에어리어(21)상에서 움직이고 있는 경우라도, 그 이동 거리가 극히 짧아지기 때문에, 거짓신호의 발생이 최소한으로 억제된다(또는 회피된다).
또한, 도 13 및 도 14에 도시한 비교예(예를 들면 도 57, 58에 도시한 종래의 손가락끝 추 출처리)에서는, 이하와 같은 문제도 생기는 경우가 있다. 즉, 실제의 I/O 디스플레이 패널(20)에서의 각 촬상 화소에서는, 광에 대한 축적 용량은 유한하다. 여기서, 예를 들면 도 13(A), (B)에 도시한 바와 같이, 외광(LO)의 광량이 크고, 축적 용량 한계보다도 더욱 전하가 유입하여 오는 경우, 근접물체가 손가락(f) 등인 경우, 도면중의 수광 출력 신호(Von301, Voff301)로 각각 나타낸 바와 같이, 손가락(f)의 그림자의 부분 등은 축적 용량을 초과하지 않기 때문에, 근접물체의 검출이 가능하게 되어 있다. 한편, 도 14(A), (B)에 도시한 바와 같이에, 근접물체가 펜(ob1) 등의 매우 가늘은 물체인 경우나, 근접물체가 I/O 디스플레이 패널(20)로부터 떨어져 있는 경우 등에는, 도면중의 수광 출력 신호(Von401, Voff401) 및 부호 P401로 각각 나타낸 바와 같이, 펜(ob1)의 그림자의 부분 등이, 축적 용량을 초과하여 높은 레벨에 달하여 버리는 일이 있다. 이와 같은 경우, 수 광 출력 신호(Von401, V0f401)의 차분(差分) 신호가 촬상 화소의 축적 용량을 초과하여 버려서, 차분 결과를 이용하여 근접물체를 검출할 수가 없게 되어 버린다.
이에 대해 본 실시의 형태에서는, 노광 시간에 관계없이 외광(LO)의 성분은 항상 제거되고 있기 때문에, 어떤 외광 조건이라도, 유한한 축적 용량을 외광(LO)의 성분이 완전히 사용하여 버리는 것이 회피 가능해진다(백라이트(15)의 ON·OFF 상태의 전환 주기에 의해, 1회의 충전 동작 및 방전 동작에 의해 축적되는 용량이 정해진다).
이상과 같이 본 실시의 형태에서는, I/O 디스플레이 패널(20)에 의해 근접물체에 대해 백라이트(15)로부터의 조사광을 조사시키고 있을 때에, 이 조사광에 의한 반사광(Lon)과 환경광(외광)(LO)의 합산광량에 응하여 각 촬상 화소(33)에 충전전하를 축적시킴과 함께, 상기 조사광이 조사되지 않을 때에, 환경광(LO)의 광량에 응하여 각 촬상 화소(33)로부터 방전전하를 방출시키도록 하여, 각 촬상 화소(33)로부터 촬상 신호를 취득하도록 하였기 때문에, 각 촬상 화소(33)로부터 얻어지는 촬상 신호에서는 환경광(LO)에 의한 성분이 공제되기 때문에, 그와 같은 환경광(LO)의 영향을 받지 않고, 근접물체의 물체 정보를 취득하는 것이 가능해진다. 또한, 충전전하의 축적 동작과 방전전하의 방출 동작에 의거하여, 촬상 화소(33)마다 촬상 신호를 취득하도록 하였기 때문에, 수광 드라이브 회로(13)에서, 촬상 신호로부터 촬상 화상을 생성할 때에 필요한 프레임 메모리(13A)가, 종전보다도 적어도 되게 된다(차분 검출용의 프레임 메모리가 불필요하게 된다). 따라서, 제조 비용을 억제하면서, 사용 상황에 의하지 않고 물체를 안정하게 검출하는 것이 가능하 게 된다.
구체적으로는, 각 촬상 화소(수광부)(33)에서, 광전변환 소자(PD1)가 충전전하 및 방전전하를 각각 공통으로 발생시키는 것임과 함께, 이 광전변환 소자(PD1)에서 발생한 충전전하가 충전용의 스위칭 소자(SW11, SW14)를 통하여 콘덴서(C1)에 축적됨과 함께, 광전변환 소자(PD1)에서 발생한 방전전하가 방전용의 스위칭 소자(SW12, SW13)를 통하여 콘덴서(C1)로부터 방출되도록 하였기 때문에, 상기한 바와 같은 효과를 얻는 것이 가능해진다.
또한, 충전전하의 축적 동작(차지 동작) 및 방전전하의 방출 동작(디스차지 동작)이 각각, 표시 구동할 때의 수평 기간과 동기하고 있도록 하였기 때문에, 커플링 노이즈를 저감하는 것이 가능해진다.
또한, 충전전하의 축적 동작과 방전전하의 방출 동작이 복수회 전환된 후에 얻어진 촬상 신호에 의거하여 물체 정보를 취득하도록 하였기 때문에, 노광 기간을 길게 할 수 있고, 촬상 신호의 신호 성분(축적 전위(VP1))을 증대시켜서 검출 감도를 향상시키는 것이 가능해짐과 함께, 노광 시간을 자유롭게 설정할 수 있기 때문에, S/N비를 높이는 것이 가능해진다.
또한, 예를 들면 백라이트(15)의 ON/OFF 상태의 전환 주기를 극히 짧게 설정함에 의해, 근접물체가 I/O 디스플레이 패널(20)의 표시 에어리어(21)상에서 움직이고 있는 경우라도, 거짓신호의 발생을 최소한으로 억제할(또는 회피할) 수가 있고, 검출 감도를 더욱 향상시키는 것이 가능해진다. 또한, 고속의 백라이트(15)의 ON/OFF 상태의 전환 주기와 동기하여 차분 처리가 행하여지기 때문에, 이동물체에 대한 검출을 용이하게 하는 것이 가능해진다.
또한, 각 촬상 화소(33) 내의 콘덴서(C1)에서는, 반사광(Lon)에 의한 전하만이 축적되기 때문에, 촬상 신호에 대한 A/D 변환시에, 외광(LO) 등의 대응에 필요없는 레인지를 설정할 필요가 없고(A/D 변환기의 비트 길이(워드 길이(語長))를 유효하게 활용할 수가 있고), 이용 효율을 향상시키는 것이 가능해진다(S/N비를 향상시키는 것이 가능해진다).
또한, 본 실시의 형태에 의한 촬상 구동에 의하면, 온도 변화에 의한 암전류 성분도 제거하는 것이 가능해진다.
또한, 촬상 신호를 판독할 때에, 종래는, 고속으로 판독함에 의해 조금이라도 이동물체에의 추종을 좋게 하고 있던 것에 대해, 본 실시의 형태에서는, 판독 속도와 이 동물체에의 추종성을 완전히 독립으로 할 수가 있다. 따라서 노광 시간을 자유롭게 설정할 수 있기 때문에, 수광 감도에의 요구를 종래로부터도 완화할 수 있음과 함께, 판독 속도를 느리게 설정하는 것도 가능해진다.
또한, 본 실시의 형태의 수광부(33)에서는, 백라이트(15)를 OFF 상태로 함과 함께 충전전하의 축적 동작만을 행하도록 하면, 외광(LO)을 이용한 그림자 검출을 행하는 것도 가능하다.
이하, 본 발명의 변형례를 몇가지 들어서 설명한다. 또한, 상기 실시의 형태에서의 구성 요소와 동일한 것에는 동일한 부호를 붙이고, 적절히 설명을 생략한다.
[변형례 1]
도 15는, 변형례 1에 관한 수광부(수광부(33A))의 회로 구성을 도시한 것이다. 이 수광부(촬상 화소)(33A)는, 상기 실시의 형태에서 설명한 수광부(33)와는 달리, 2 개의 광전변환 소자(PD21, PD22)와, 2개의 스위칭 소자(SW21, SW22)를 포함하여 구성되어 있다. 구체적으로는, 광전변환 소자(PD21)의 캐소드 및 게이트가 전원(VDD)에 접속되고, 애노드가 스위칭 소자(SW21)의 일단에 접속되어 있다. 또한, 광전변환 소자(PD22)의 애노드가 접지(VSS)에 접속되고, 캐소드 및 게이트가 스위칭 소자(SW22)의 일단에 접속되어 있다. 또한, 스위칭 소자(SW21, SW22)의 타단끼리는, 접속점(P1)에 접속되어 있다. 또한, 이 수광부(33A)는, 표시 에러리어(센서 에어리어)(21A)에서, 상기 실시의 형태와 마찬가지로 예를 들면 도 16에 도시한 바와 같이, 촬상 화소(33A)와, 이 촬상 화소(33A)를 촬상 구동하기 위한 배선부(32)가, 서로 분리 배치되어 있다. 또한, 다른 회로 구성은 수광부(33)와 같기 때문에, 설명을 생략한다.
또한, 이 수광부(33A)에서는, 광전변환 소자(PD21)가, 충전전하를 발생시키기 위한 광전변환 소자로서 기능함과 함께, 광전변환 소자(PD22)가, 방전전하를 발생시키기 위한 광전변환 소자로서 기능하고 있다. 또한, 스위칭 소자(SW21)가 충전용의 스위칭 소자로서 기능함과 함께, 스위칭 소자(SW22)가 방전용의 스위칭 소자로서 기능하고 있다. 이로써, 예를 들면 도 17(A)에 도시한 바와 같이, 광전변환 소자(PD21)에서 발생한 충전전하(반사광(Lon) 및 외광(LO)의 합산광량에 의거한 것)가 충전용의 스위칭 소자(SW21)를 통하여 콘덴서(C1)에 축적됨과 함께, 예를 들면 도 17(B)에 도시한 바와 같이, 광전변환 소자(PD22)에서 발생한 방전전하(외 광(LO)의 광량에 의거한 것)가 방전용의 스위칭 소자(SW22)를 통하여 콘덴서(C1)로부터 방출되도록, 촬상 구동이 이루어지게 되어 있다.
이와 같이 하여 본 변형례에서도, 상기 실시의 형태와 같은 촬상 동작에 의해, 마찬가지로 손가락끝 추출 처리가 이루어진다. 이로써 본 변형례에서도, 제조 비용을 억제하면서, 사용 상황에 의하지 않고 물체를 안정하게 검출하는 것이 가능해진다.
또한, 광전변환 소자(PD21)의 캐소드 또는 광전변환 소자(PD22)의 애노드의 한쪽이 전원(VDD) 또는 접지(VSS)와 항상 접속되어 있는 상태가 되기 때문에, 스위칭 소자(SW21, SW22)의 온·오프 시에 생기는 커플링 노이즈를 저감하는 것이 가능해진다.
또한, 수광부(33A) 내의 스위칭 소자가 2개로 끝나기(상기 실시의 형태의 수광부(33)에서는, 4개의 스위칭 소자(SW11 내지 SW14)가 필요) 때문에, SW 제어 신호(Sa, Sb)의 신호선에서의 배선 용량을 저감하고, 저소비 전력화도 도모할 수 있다.
또한, 본 변형례의 수광부(33A)에서는, 상기 실시의 형태의 수광부(33)와는 달리, 리크 전류의 발생 경로가 없기 때문에, 예를 들면 도 18에 도시한 바와 같이, SW 제어 신호(Sa)가 H상태가 되는 기간과 SW 제어 신호(Sb)가 H상태가 되는 기간 사이에서, 서로 겹쳐져도 좋게 된다(논 오버랩 기간이 설정되어 있지 않다).
또한, 본 변형례에서는, 예를 들면 도 19에 도시한 수광부(촬상 화소)(33B)와 같이, 스위칭 소자(SW21, SW22)의 오프 상태시에 기생 용량에 축적되는 전하를 제거하기 위한 스위칭 소자(SW23, SW24)를 마련하도록 하는 것이 바람직하다. 구체적으로는, 스위칭 소자(SW23)는, 광전변환 소자(PD21)의 애노드 및 스위칭 소자(SW21)의 일단과, 접지(VSS) 사이에 마련되어 있다. 또한, 스위칭 소자(SW24)는, 광전변환 소자(PD22)의 캐소드 및 스위칭 소자(SW22)의 일단과, 전원(VDD) 사이에 마련되어 있다.
[변형례 2]
도 20은, 변형례 2에 관한 수광부(수광부(33C))의 회로 구성을 도시한 것이다. 이 수광부(촬상 화소)(33C)는, 2개의 광전변환 소자(PD31, PD32)와, 4개의 스위칭 소자(SW31 내지 SW34)를 포함하여 구성되어 있다. 구체적으로는, 스위칭 소자(SW31, SW33)의 일단끼리가 전원(VDD)에 접속되고, 스위칭 소자(SW31)의 타단이 광전변환 소자(PD31)의 캐소드 및 게이트에 접속되고, 스위칭 소자(SW33)의 타단이 콘덴서(C1)의 일단 및 스위칭 소자(SW34)의 일단에 접속되어 있다. 또한, 광전변환 소자(PD31)의 애노드가, 콘덴서(C1)의 타단, 광전변환 소자(PD32)의 캐소드 및 게이트, 및 접속점(P1)에 접속되어 있다. 또한, 광전변환 소자(PD32)의 애노드가 스위칭 소자(SW32)의 일단에 접속되어 있다. 또한, 스위칭 소자(SW32, SW34)의 타단끼리는, 접지(VSS)에 접속되어 있다. 또한, 다른 회로 구성은 수광부(33, 33A)와 같기 때문에, 설명을 생략한다.
이 수광부(33C)에서는, 예를 들면 도 21에 도시한 바와 같이, 스위칭 소자(SW31 내지 SW34)용의 SW 제어 신호(S1 내지 S4), 리드 신호 전압(V(Read)) 및 리셋 신호 전압(V(Reset))에 의해, 도면중의 타이밍(t20 내지 t26)과 같이 하여 촬 상 동작이 이루어진다. 구체적으로는, 예를 들면 도 22(A)에 도시한 바와 같이, 광전변환 소자(PD31)에서 발생한 충전전하(반사광(Lon) 및 외광(LO)의 합산광량에 의거한 것)가 충전용의 스위칭 소자(SW31, SW34)를 통하여 콘덴서(C1)에 축적됨과 함께, 예를 들면 도 22(B)에 도시한 바와 같이, 광전변환 소자(PD32)에서 발생한 방전전하(외광(LO)의 광량에 의거한 것)가 방전용의 스위칭 소자(SW32, SW33)를 통하여 콘덴서(C1)로부터 방출되도록, 촬상 구동이 이루어지게 되어 있다. 또한, 이 때, 콘덴서(C1)의 일단측이, 충전전하의 축적시와 방전전하의 방출시에 있어서, 스위칭 소자(SW33) 또는 스위칭 소자(SW34)를 통하여, 전원(VDD) 또는 접지(VSS)에 교대로 접속되도록 되어 있다.
이와 같이 하여 본 변형례에서도, 상기 실시의 형태와 같은 촬상 동작에 의해, 마찬가지로 손가락끝 추출 처리가 이루어진다. 이로써 본 변형례에서도, 제조 비용을 억제하면서, 사용 상황에 의하지 않고 물체를 안정하게 검출하는 것이 가능해진다.
또한, 콘덴서(C1)의 일단측이, 충전전하의 축적시와 방전전하의 방출시에 있어서, 스위칭 소자(SW33) 또는 스위칭 소자(SW34)를 통하여 전원(VDD) 또는 접지(VSS)에 교대로 접속되도록 하였기 때문에, 리셋 전압을 임의로 입력하는 일 없이게, 광전변환 소자(PD31, PD32)의 양단에 걸리는 전압을 거의 (VDD-VSS)로 할 수가 있고, 리셋 신호선을 삭감하는 것이 가능해진다.
또한, 본 변형례의 수광부(33C)에서도, 상기 실시의 형태의 수광부(33)와 마찬가지로 리크 전류의 발생을 회피하기 위해, 예를 들면 도 23에 도시한 바와 같 이, SW 제어 신호(Sa)가 H상태가 되는 기간과 SW 제어 신호(Sb)가 H상태가 되는 기간이 서로 겹쳐지지 않도록(논 오버랩 기간이 설정되도록) 하는 것이 바람직하다.
[변형례 3]
도 24는, 변형례 3에 관한 수광부(수광부(33D))의 회로 구성을 도시한 것이다. 이 수광부(촬상 화소)(33D)는, 2개의 광전변환 소자(PD41(제 1의 광전변환 소자), PD42(제 2의 광전변환 소자))를 포함하여 구성되어 있다. 구체적으로는, 광전변환 소자(PD41)는, 캐소드가 전원(VDD)에 접속되고, 애노드가 광전변환 소자(PD42)의 캐소드 및 접속점(P1)에 접속되고, 게이트가 신호선(φ1)에 접속되어 있다. 또한, 광전변환 소자(PD42)는, 애노드가 접지(VSS)에 접속되고, 게이트가 신호선(φ2)에 접속되어 있다. 즉, 이 수광부(33D)에는, 지금까지 설명한 수광부(33, 33A 내지 C)와는 달리, 스위칭 소자가 마련되어 있지 않은 한편, 광전변환 소자(PD41, PD42)의 게이트 전위가 신호선(φ1, φ2)에 의해 제어되도록 되어 있다. 또한, 다른 회로 구 성은 수광부(33) 등과 같기 때문에, 설명을 생략한다.
본 변형례(및 후술하는 변형례 4, 5)에서는, 지금까지 설명한 스위칭 소자를 이용한 전류 경로의 변환 동작 대신에, 광전변환 소자 자체를 온 동작 영역과 오프 동작 영역으로 전환함에 의해, 전류 경로의 변환 동작을 행하고 있다. 구체적으로는, 광전변환 소자(PD41)에서의 캐소드와 게이트 사이의 전위 관계와, 광전변환 소자(PD42)에서의 애노드와 게이트 사이의 전위 관계를 각각 변화시킴에 의해, 이들 광전변환 소자(PD41, PD42)를 개별적으로 온·오프 상태로 설정하도록 되어 있다.
여기서, 예를 들면 도 25(A)에 도시한 바와 같이, 광전변환 소자(PD41, PD42)의 애노드 전위을 Vp, 캐소드 전위를 Vn, 게이트 전위를 Vg, 캐소드로부터 애노드에 흐르는 광전류를 Inp로 하면, 광전변환 소자(PD41, PD42)에서의 I-V 특성은, 예를 들면 도 25(B)에 도시한 바와 같이 표시된다. 즉, 게이트 전위(게이트 전압)(Vg)를 변화시킨 때, Vp<Vg<Vn의 전압 영역은, 광전변환 소자(PD41, PD42)가 온 상태가 되는 온 동작 영역(α)이 된다. 한편, Vn<Vg의 전압 영역은, 광전변환 소자(PD41, PD42)가 오프 상태가 되는 오프 동작 영역(β1)이 됨과 함께, Vg<Vp의 전압 영역도, 광전변환 소자(PD41, PD42)가 오프 상태가 되는 오프 동작 영역(β2)이 된다. 이와 같이 하여, 광전변환 소자(PD41)에서의 캐소드와 게이트 사이의 전위 관계와, 광전변환 소자(PD42)에서의 아 노드와 게이트 사이의 전위 관계를 각각 변화시킴에 의해, 이들 광전변환 소자(PD41, PD42)에서의 광전변환 효율을 변화시킬 수 있다. 따라서 책 변형례(및 후술하는 변형례 4, 5)에서는, 이와 같은 광전변환 효율의 변화를 적극적으로 이용하여, 광전변환 소자(PD41, PD42)를 개별적으로 온·오프 상태로 설정하고 있다.
구체적으로는, 본 변형례에서는, 우선, 도 24에 도시한 바와 같이, 광전변환 소자(PD41)에서의 캐소드 전위를 전원(VDD)에 고정함과 함께, 광전변환 소자(PD42)에서의 애노드 전위를 접지(VSS)에 고정하고 있다. 또한, 도 24 및 도 26(A) 내지 (C)에 도시한 바와 같이, 이들의 광전변환 소자(PD41, PD42)에서의 게이트 전압(Vg)을, 신호선(φ1, φ2)에 의해 각각 개별적으로 변화시키고 있다. 구체적으로는, 광전변환 소자(PD41)의 게이트 전압(Vg)을, 신호선(φ1)의 전위(V(φ1))에 의해, Vg11와 Vg12 사이에서 교대로 변화시키고 있다(도 26(C)중의 화살표(P41) 참조 ; Vg12<Vg11). 또한, 광전변환 소자(PD42)의 게이트 전압(Vg)을, 신호선(φ2)의 전위(V(φ2))에 의해, Vg21와 Vg22 사이에서 교대로 변화시키고 있다(도 26(C)중의 화살표(P42) 참조 ; Vg22<Vg21). 이로써, 예를 들면 도 26(C)중의 동작점(P41on, P41off)으로 도시한 바와 같이, 신호선(φ1)의 전위(V(φ1))에 의해, 광전변환 소자(PD41)의 온·오프 상태가 임의로 설정 가능하게 되어 있다. 또한, 예를 들면 도 26(C)중의 동작점(P42on, P42off)으로 도시한 바와 같이, 신호선(φ2)의 전위(V(φ2))에 의해, 광전변환 소자(PD42)의 온·오프 상태가 임의로 설정 가능하게 되어 있다.
본 변형례의 수광부(33D)에서는, 예를 들면 도 27(A) 내지 (F) 및 도 28(A) 내지 (C)에 도시한 바와 같이, 리셋 신호 전압(V(Reset)), 리드 신호 전압(V(Read)), 신호선(φ1, φ2)의 전위(V(φ1), V(φ2)) 및 리셋 전원(Vrst) 등에 의해, 도면중의 타이밍과 같이 하여 촬상 동작이 이루어진다. 여기서, β10, β20은 각각, 광전변환 소자(PD41, PD42)에서의 온 동작 영역부터 오프 동작 영역으로 천이 영역을 나타내고 있다.
구체적으로는, 예를 들면 도 29(A)에 도시한 바와 같이, 광전변환 소자(PD41)에서 발생한 충전전하(반사광(Lon) 및 외광(LO)의 합산광량에 의거한 것)가, 이 광전변환 소자(PD41)가 온 상태가 됨과 함께 광전변환 소자(PD42)가 오프 상태가 됨에 의해, 도면중의 전류 경로(I41)에 의해 콘덴서(C1)에 축적된다. 또한, 예를 들면 도 29(B)에 도시한 바와 같이, 광전변환 소자(PD42)에서 발생한 방전전하(외광(LO)의 광량에 의거한 것)가, 이 광전변환 소자(PD42)가 온 상태가 됨과 함 께 광전변환 소자(PD41)가 오프 상태가 됨에 의해, 도면중의 전류 경로(I42)에 의해 콘덴서(C1)로부터 방출된다. 또한, 광전변환 소자(PD41, PD42)가 오프 상태일 때에도 흐르는 전류는 0이 아니기 때문에, 정확하게는, 온 상태가 되어 있는 광전변환 소자와, 오프 상태가 되어 있는 광전변환 소자의 전류차에 의해 충전 또는 방전이 이루어진다.
이와 같이 하여 본 변형례에서도, 상기한 바와 같은 촬상 동작에 의해, 제조 비용을 억제하면서, 사용 상황에 의하지 않고 물체를 안정하게 검출하는 것이 가능해진다.
또한, 본 변형례에서도, 리크 전류의 발생을 회피하기 위해, 도 27중에 도시한 바와 같이, 신호선(φ1)의 전위(V(φ1))가 H상태가 되는 기간과 신호선(φ2)의 전위(V(φ2))가 H상태가 되는 기간이, 서로 겹쳐지지 않도록(논 오버랩 기간이 설정되도록) 하는 것이 바람직하다. 또한, PIN 다이오드 그 자체를 온·오프시키는 경우에는, 관통 전류가 거의 흐르지 않기 때문에, 논 오버랩 기간은 마련하지 않아도 좋지만, 마련하여도 문제는 없다.
[변형례 4]
도 30은, 변형례 4에 관한 수광부(수광부(33E))의 회로 구성을 도시한 것이다. 이 수광부(촬상 화소)(33E)는, 2개의 광전변환 소자(PD51(제 1의 광전변환 소자), PD52(제 2의 광전변환 소자))를 포함하여 구성되어 있다. 구체적으로는, 광전변환 소자(PD51)는, 캐소드가 신호선(φ1)에 접속되고, 애노드가 광전변환 소자(PD52)의 캐소드 및 접속점(P1)에 접속되고, 게이트가 전원(VDD)에 접속되어 있 다. 또한, 광전변환 소자(PD52)는, 애노드가 신호선(φ2)에 접속되고, 게이트가 접지(VSS)에 접속되어 있다. 즉, 이 수광부(33E)에서는, 상기 변형례 3의 수광부(33D)와는 달리, 광전변환 소자(PD51, PD52)의 게이트 전위가 전원(VDD) 또는 접지(VSS)에 의해 고정되는 한편, 광전변환 소자(PD51)의 캐소드 전위 및 광전변환 소자(PD52)의 애노드 전위가 신호선(φ1, φ2)에 의해 제어되도록 되어 있다. 또한, 다른 회로 구성은 수광부(33D)와 같기 때문에, 설명을 생략한다.
본 변형례에서는, 우선, 도 30에 도시한 바와 같이, 광전변환 소자(PD51)에서의 게이트 전위을 전원(VDD)에 고정함과 함께, 광전변환 소자(PD52)에서의 게이트 전위를 접지(VSS)에 고정하고 있다. 또한, 도 30 및 도 31(A) 내지 (C)에 도시한 바와 같이, 광전변환 소자(PD51)에서의 캐소드 전압(Vn)을, 신호선(φ1)에 의해 변화시키고 있다. 구체적으로는, 광전변환 소자(PD51)의 캐소드 전압(Vn)을, 신호선(φ1)의 전위(V(φ1))에 의해, Vn1와 Vn2 사이에서 교대로 변화시키고 있다(도 31(C)중의 화살표(P51) 참조 ; Vn2<Vn1). 이로써, 예를 들면 도 31(C)에 도시한 바와 같이, Vn=Vn1일 때와 Vn=Vn2일 때에서는, 온 동작 영역(α) 및 오프 동작 영역(β1)의 전압 범위가 서로 다르게 된다(도면중의 온 동작 영역(α1, α2) 및 오프 동작 영역(β11, β21) 참조). 따라서, 이와 같은 광전변환 효율의 변화를 적극적으로 이용함에 의해, 도면중의 동작점(P51on, P51off)으로 도시한 바와 같이, 신호선(φ1)의 전위(V(φ1))에 의해, 광전변환 소자(PD51)의 온·오프 상태가 임의로 설정 가능하게 되어 있다. 또한, 도 30 및 도 32(A) 내지 (C)에 도시한 바와 같이, 광전변환 소자(PD52)에서의 애노드 전압(Vp)을, 신호선(φ2)에 의해 변화시키고 있 다. 구체적으로는, 광전변환 소자(PD52)의 애노드 전압(Vp)을, 신호선(φ2)의 전위(V(φ2))에 의해, VP1와 Vp2 사이에서 교대로 변화시키고 있다(도 3 2(C)중의 화살표(P52) 참조 ; Vp2<VP1). 이로써, 예를 들면 도 32(C)에 도시한 바와 같이, Vp=VP1일 때와 Vp=Vp2일 때에서는, 온 동작 영역(α) 및 오프 동작 영역(β2)의 전압 범위가 서로 다르게 된다(도면중의 온 동작 영역(α1, α2) 및 오프 동작 영역(β12, β22) 참조). 따라서 이와 같은 광전변환 효율의 변화를 적극적으로 이용함에 의해, 도면중의 동작점(P52on, P52off)으로 도시한 바와 같이, 신호선(φ2)의 전위(V(φ2))에 의해, 광전변환 소자(PD52)의 온·오프 상태가 임의로 설정 가능하게 되어 있다.
본 변형례의 수광부(33E)에서는, 예를 들면 도 33(A) 내지 (F) 및 도 34(A) 내지 (C)에 도시한 바와 같이, 리셋 신호 전압(V(Reset)), 리드 신호 전압(V(Read)), 신호선(φ1, φ2)의 전위(V(φ1), V(φ2)) 및 리셋 전원(Vrst) 등에 의해, 도면중의 타이밍과 같이 하여 촬상 동작이 이루어진다. 여기서, β120, β210은 각각, 광전변환 소자(PD51 PD52)에서의 온 동작 영역으로부터 오프 동작 영역으로의 천이 영역을 나타내고 있다.
구체적으로는, 예를 들면 도 35(A)에 도시한 바와 같이, 광전변환 소자(PD51)에서 발생한 충전전하(반사광(Lon) 및 외광(LO)의 합산광량에 의거한 것)가, 이 광전변환 소자(PD51)가 온 상태가 됨과 함께 광전변환 소자(PD52)가 오프 상태가 됨에 의해, 도면중의 전류 경로(I51)에 의해 콘덴서(C1)에 축적된다. 또한, 예를 들면 도 35(B)에 도시한 바와 같이, 광전변환 소자(PD52)에서 발생한 방전전 하(외광(LO)의 광량에 의거한 것)가, 이 광전변환 소자(PD52)가 온 상태가 됨과 함께 광전변환 소자(PD51)가 오프 상태가 됨에 의해, 도면중의 전류 경로(I52)에 의해 콘덴서(C1)로부터 방출된다. 또한, 광전변환 소자(PD51, PD52)가 오프 상태일 때에도 흐르는 전류는 0이 아니기 때문에, 정확하게는, 온 상태가 되어 있는 광전변환 소자와, 오프 상태가 되어 있다 광전변환 소자의 전류차에 의해 충전 또는 방전이 이루어진다.
이와 같이 하여 본 변형례에서도, 상기한 바와 같은 촬상 동작에 의해, 제조 비용을 억제하면서, 사용 상황에 의하지 않고 물체를 안정하게 검출하는 것이 가능해진다.
[변형례 5]
도 36은, 변형례 5에 관한 수광부(수광부(33F))의 회로 구성을 도시한 것이다. 이 수광부(촬상 화소)(33F)는, 2개의 광전변환 소자(PD61(제 1의 광전변환 소자), (PD62)(제 2의 광전변환 소자))와, 5개의 트랜지스터(Tr1 내지 Tr3, Tr61)(N채널 트랜지스터), Tr62(P 채널 트랜지스터))와, 4개의 용량 소자(C61A, C61B, C62A C62B)를 포함하여 구성되어 있다. 구체적으로는, 광전변환 소자(PD61)는, 캐소드가 신호선(φ1) 및 트랜지스터(Tr61)의 소스에 접속되고, 애노드가 광전변환 소자(PD62)의 캐소드 및 접속점(P1)에 접속되고, 게이트가 트랜지스터(Tr61)의 드레인 및 용량 소자(C61A, C61B)의 일단에 접속되어 있다. 또한, 트랜지스터(Tr61)의 게이트는 용량 소자(C61A)의 타단 및 리셋선(Reset1)(지금까지 설명한 리셋선(Reset)에 대응)에 접속되어 있다. 한편, 광전변환 소자(PD62)는, 애노드가 신호 선(φ2) 및 트랜지스터(Tr62)의 소스에 접속되고, 게이트가 트랜지스터(Tr62)의 드레인 및 용량 소자(C62A, C62B)의 일단에 접속되어 있다. 또한, 트랜지스터(Tr62)의 게이트는 용량 소자(C61A)의 타단 및 리셋선(Reset2)의 반전 신호에 접속되어 있다. 또한, 용량 소자(C61B, C62B)의 타단끼리는 전원(VDD)에 접속되어 있다. 즉, 이 수광부(33F)에서는, 상기 변형례 4의 수광부(33E)와는 달리, 광전변환 소자(PD61, PD62)의 게이트 전위가 고정되지 않고, 프리차지 기간 후부터 판독 기간까지의 동안(충전전하의 축적시 및 방전전하의 방출시에 있어서), 하이 임피던스 상태가 되어 있다. 또한, 다른 회로 구성은 수광부(33E)와 같기 때문에, 설명을 생략한다.
본 변형례에서는, 우선, 도 37(A), (B)에서 모식적으로 도시한 바와 같이, 광전변환 소자(PD61)에서의 캐소드 전위(Vn)를, 신호선(φ1)에 의해 변화시키고 있다. 그리고, 광전변환 소자(PD61)에서의 게이트 전압(Vg1)을, 트랜지스터(Tr61)에 의해 구성되는 스위칭 소자(SW61)를 통하여 신호선(φ1)과 게이트 전극 사이를 온·오프 시킴에 의해, 변화시키고 있다. 구체적으로는, 도 37 및 도 38(A), (B)에 도시한 바와 같이, 광전변환 소자(PD61)에서의 캐소드 전위(Vn)를, 신호선(φ1)의 전위(V(φ1))에 의해, Vn1와 Vn2 사이에서 교대로 변화시키고 있다(도 38(A)중의 화살표(P611) 참조 ; Vn2<Vn1). 이 때, 스위칭 소자(SW61)를 온 상태로 함에 의해, 광전변환 소자(PD61)의 게이트 전압(Vg1)을 Vn1로 리셋시킨 후, 스위칭 소자(SW61)를 오프 상태로 한다. 그리고, 그 후에 Vn=Vn2가 되면, 도 38(B)의 C-V 특성에 도시한 바와 같이, 광전변환 소자(PD61)의 게이트 전압(Vg)은, 게이트·캐소드 사이 의 커플링 용량에 기인하여 내려감과 함께, 이 커플링 용량이 커지는 동작점(Vg=Vg12)에서 멈추게 된다. 즉, 광전변환 소자(PD61)에서의 게이트 전압(Vg1)이, Vg11와 Vg12 사이에서 교대로 변화하게 된다(도 38(A)중의 화살표(P612) 참조 ; Vg12<Vg11). 이와 같이 하여, 예를 들면 도 38(A)에 도시한 바와 같이, Vn=Vn1일 때와 Vn=Vn2일 때에서는, 온 동작 영역(α) 및 오프 동작 영역(β1)의 전압 범위가 서로 다르게 된다(도면중의 온 동작 영역(α1, α2) 및 오프 동작 영역(β11, β21) 참조). 따라서 이와 같은 광전변환 효율의 변화를 적극적으로 이용함에 의해, 도 38(A), (B)중의 동작점(P61on, P61on)으로 도시한 바와 같이, 신호선(φ1)의 전위(V(φ1)) 및 스위칭 소자(SW61)의 동작에 의해, 광전변환 소자(PD61)의 온·오프 상태가 임무 뜻로 설정 가능하게 되어 있다.
한편, 본 변형례에서는 또한, 도 39(A), (B)에서 모식적으로 도시한 바와 같이, 광전변환 소자(PD62)에서의 애노드 전위(Vp)를, 신호선(φ2)에 의해 변화시키고 있다. 그리고, 광전변환 소자(PD62)에서의 게이트 전압(Vg2)을, 트랜지스터(Tr62)에 의해 구성되는 스위칭 소자(SW62)를 통하여 신호선(φ2)과 게이트 전극 사이를 온·오프 시킴에 의해, 변화시키고 있다. 구체적으로는, 도 39 및 도 40(A), (B)에 도시한 바와 같이에, 광전변환 소자(PD62)에서의 애노드 전위(Vp)를, 신호선(φ2)의 전위(V(φ2))에 의해, VP1와 Vp2 사이에서 교대로 변화시키고 있다(도 40(A)중의 화살표(P621) 참조 ; Vp2<VP1). 이 때, 스위칭 소자(SW62)를 온 상태로 함에 의해, 광전변환 소자(PD62)의 게이트 전압(Vg2)을 Vp2로 리셋시킨 후, 스위칭 소자(SW62)를 오프 상태로 한다. 그리고, 그 후에 Vp=VP1가 되면, 도 40(B) 의 C-V 특성에 도시한 바와 같이, 광전변환 소자(PD62)의 게이트 전압(Vg)은, 게이트·애노드 사이의 커플링 용량에 기인하고 내려감과 함께, 이 커플링 용량이 커지는 동작점(Vg=Vg21)으로 멈추게 된다. 즉, 광전변환 소자(PD62)에서의 게이트 전압(Vg1)이, Vg21와 Vg22 사이에서 교대로 변화하게 된다(도 40(A)중의 화살표(P622) 참조 ; Vg22<Vg21). 이와 같이 하여, 예를 들면 도 40(A)에 도시한 바와 같이, Vp=VP1일 때와 Vp=Vp2일 때에서는, 온 동작 영역(α) 및 오프 동작 영역(β2)의 전압 범위가 서로에 다르게 된다(도면중의 온 동작 영역(a1, a2) 및 오프 동작 영역(β21, β22) 참조). 따라서 이와 같은 광전변환 효율의 변화를 적극적으로 이용함에 의해, 도 40(A), (B)중의 동작점(P62on, P62off)으로 도시한 바와 같이, 신호선(φ2)의 전위(V(φ2)) 및 스위칭 소자(SW62)의 동작에 의해, 광전변환 소자(PD62)의 온·오프 상태가 임의로 설정 가능하게 되어 있다.
본 변형례의 수광부(33F)에서는, 예를 들면 도 41(A) 내지 (G) 및 도 42(A) 내지 (C)에 도시한 바와 같이, 리셋 신호 전압(V(Reset_1), V(Reset_2)), 리드 신호 전압(V(Read)), 신호선(φ1, φ2)의 전위(V(φ1), V(φ2)) 및 리셋 전원(Vrst) 등에 의해, 도면중의 타이밍과 같이 하여 촬상 동작이 이루어진다.
구체적으로는, 예를 들면 도 43(A)에 도시한 바와 같이, 광전변환 소자(PD61)에서 발생한 충전전하(반사광(Lon) 및 외광(LO)의 합산광량에 의거한 것)가, 이 광전변환 소자(PD61)가 온 상태가 됨과 함께 광전변환 소자(PD62)가 오프 상태가 됨에 의해, 도면중의 전류 경로(I61)에 의해 콘덴서(C1)에 축적된다. 또한, 예를 들면 도 43(B)에 도시한 바와 같이, 광전변환 소자(PD62)에서 발생한 방전전 하(외광(LO)의 광량에 의거한 것)가, 이 광전변환 소자(PD62)가 온 상태가 됨과 함께 광전변환 소자(PD61)가 오프 상태가 됨에 의해, 도면중의 전류 경로(I62)에 의해 콘덴서(C1)로부터 방출된다. 또한, 광전변환 소자(PD61, PD62)가 오프 상태일 때에도 흐르는 전류는 0이 아니기 때문에, 정확하게는, 온 상태가 되어 있는 광전변환 소자와, 오프 상태가 되어 있다 광전변환 소자의 전류차에 의해 충전 또는 방전이 이루어진다.
이와 같이 하여 본 변형례에서도, 상기한 바와 같은 촬상 동작에 의해, 제조 비용을 억제하면서, 사용 상황에 의하지 않고 물체를 안정하게 검출하는 것이 가능해진다.
[변형례 6]
도 44는, 변형례 6에 관한 표시 에어리어(표시 에어리어(센서 에어리어)(21C)) 내의 수광부(수광부(33A1, 33A2))의 회로 구성을 도시한 것이다. 이 표시 에어리어(21C)에서는, 촬상 화소(수광부)가, 반사광(Lon) 및 환경광(LO)을 광전변환 소자(PD21, PD22)에 대해 차단하기 위한 차광부(341, 342)를 포함하는 촬상 화소(수광부)(33A1)와, 그와 같은 차광부를 포함하지 않는 촬상 화소(수광부)(33A2)에 의해 구성되어 있다. 또한, 수광부(33A1, 33A2)에서의 차광부 이외의 회로 구성은, 상기 변형례 1에서 설명한 수광부(33A)와 같기 때문에, 설명을 생략한다.
또한, 이들의 수광부(촬상 화소)(33A1, 33A2)에서도, 표시 에어리어(센서 에어리어)(21C)에서, 예를 들면 도 45에 도시한 바와 같이, 촬상 화소(33A1, 33A2)와, 이들 촬상 화소(33A1, 33A2)를 촬상 구동하기 위한 배선부(32)가, 서로 분리 배치되어 있다.
본 변형례에서는, 촬상 화소(33A1)에 의해 얻어지는 촬상 신호(판독선(411)으로부터 판독되는 촬상 신호)와, 촬상 화소(33A2)에 의해 얻어지는 촬상 신호(판독선(412)으로부터 판독된 촬상 신호)라는 차분 신호에 의거하여, 물체 정보가 취득되도록 되어 있다.
이와 같이 하여 본 변형례에서도, 상기 실시의 형태와 같은 촬상 동작에 의해, 마찬가지로 손가락끝 추출 처리가 이루어진다. 이로써 본 변형례에서도, 제조 비용을 억제하면서, 사용 상황에 의하지 않고 물체를 안정하게 검출하는 것이 가능해진다.
또한, 촬상 화소(수광부)가, 차광부(341, 342)를 포함하는 촬상 화소(수광부)(33A1)와, 그와 같은 차광부를 포함하지 않는 촬상 화소(수광부)(33A2)에 의해 구성되어 있음과 함께, 촬상 화소(33A1)에 의해 얻어지는 촬상 신호와 촬상 화소(33A2)에 의해 얻어지는 촬상 신호의 차분 신호에 의거하여 물체 정보를 취득하도록 하였기 때문에, I/O 디스푸레이 패널(20) 내에서 생기는 전압 경사 등의 영향이나, 표시계의 구동으로부터 혼입되는 노이즈 성분 등를 제거하는 것이 가능해지고, S/N비를 개선하는 것이 가능해진다.
또한, 본 변형례에서는, 2종류의 수광부(33A1, 33A2)가 각각, 변형례 1에 관한 수광부(33A)의 회로 구성에 의거한 것인 경우로 설명하였지만, 그와 같은 2종류의 수 광부가, 상기 실시의 형태의 수광부(33)나, 상기 변형례 2 내지 5에 관한 수광부(33B 내지 33F)의 회로 구성에 의거한 것이라도 좋다.
(애플리케이션 프로그램의 실행례)
다음에, 도 46 내지 도 49를 참조하여, 지금까지 설명한 손가락끝 추출 처리에 의해 검출된 물체의 위치 정보 등을 이용한, 애플리케이션 프로그램 실행부(11)에 의한 애플리케이션 프로그램 실행례에 관해, 몇가지 설명한다.
우선, 도 46(A)에 도시한 예는, I/O 디스플레이 패널(20)의 표면을 손가락끝(61)으로 접촉하여, 그 접촉한 개소의 궤적을 묘화 라인(611)으로서 화면에 표시시키도록 한 예이다.
또한, 도 46(B)에 도시한 예는, 손의 형태를 이용한 제스쳐 인식의 것이다. 구체 적으로는, I/O 디스플레이 패널(20)에 접촉한(또는 근접한) 손(62)의 형상을 인식 하여, 그 인식한 손의 형태를 화상으로서 표시시키고, 그 표시 오브젝트의 이동(621)으로, 어떠한 처리를 행하도록 한 것이다.
또한, 도 47에 도시한 예는, 쥔 상태의 손(63A)으로부터, 편 상태의 손(63B)으로 변화시켜서, 각각의 상태의 손의 접촉 또는 근접을 I/O 디스플레이 패널(20)에서 화상 인식시켜서, 그 화상 인식에 의거한 처리를 실행시키도록 한 것이다. 이들의 인식에 의거하여 처리를 행함으로써, 예를 들면 줌 인 등의 지시를 행할 수가 있다. 또한, 이와 같은 지시를 할 수 있음으로서, 예를 들면 I/O 디스플레이 패널(20)을 퍼스널 컴퓨터 장치에 접속하여, 그 컴퓨터 장치상에서 커맨드를 전환하고 있는 조작 등을, 이들의 화상 인식으로, 보다 자연스러운 형태로 입력할 수 있다.
또한, 예를 들면 도 48에 도시한 바와 같이, I/O 디스플레이 패널(20)을 복 수대 준비하고, 그 복수대의 I/O 디스플레이 패널을 어떠한 전송 수단으로 접속함으로써, 접촉 또는 근접을 검출한 화상을, 상대의 I/O 디스플레이 패널에 전송하여 표시시켜서, 양 디스플레이 패널을 조작하는 유저 사이에서 커뮤니케이션을 취하도록 하여도 좋다. 즉, 도 48에 도시한 바와 같이, 2개의 I/O 디스플레이 패널을 준비하ㅇ여, 한쪽의 패널에서 화상 인식한 손(65)의 손모양을 상대에게 송신하고, 다른쪽의 패널에 손모양(642)을 표시시키거나, 다른쪽의 패널을 손(64)으로 접촉하여 표시된 궤적(641)을, 상대의 패널에 보내여 표시시키는 등의 처리가 가능해진다. 이와 같이 하여, 묘화하고 있는 상태가 동화(動畵)로 전달되고, 손으로 쓴 문자나 도형 등을 상대에게 보냄으로써, 새루운 커뮤니케이션 툴의 가능성이 있다. 이와 같은 예로서는, 예를 들면, I/O 디스플레이 패널(20)을 휴대 전화 단말의 표시 패널에 적용하는 등이 상정된다.
또한, 예를 들면 도 49에 도시한 바와 같이, 붓(66)을 사용하여 I/O 디스플레이 패널(20)의 표면에서 문자를 쓰도록 접촉시켜서, 그 붓(66)이 접촉한 개소를 I/O 디스푸레이 패널(20)에 화상(661)으로서 표시시킴으로써, 붓에 의한 손으로 쓰는 입력이 가능해진다. 이 경우에는, 붓이 세밀한 터치까지 인식하여 실현하는 것이 가능하다. 종래의 손으로 씀의 인식인 경우에는, 예를 들면 일부의 디지타이저에서, 특수한 펜의 기울기를 전계 검출로 실현하고 있지만, 본 예에서는, 진짜의 붓의 접촉면 그 자체를 검지함에 의해, 보다 현실적인 감각으로 정보 입력을 행할 수 있다.
(모듈 및 적용례)
다음에, 도 50 내지 도 54를 참조하여, 상기 실시의 형태 및 변형례에서 설명한 표시 촬상 장치의 적용례에 관해 설명한다. 상기 실시의 형태 등의 표시 촬상 장치는, 텔레비전 장치, 디지털 카메라, 노트형 퍼스널 컴퓨터, 휴대 전화 등의 휴대 단말 장치 또는 비디오 카메라 등, 외부로부터 입력된 영상 신호 또는 내부에서 생성한 영상 신호를, 화상 또는 영상으로서 표시하는 모든 분야의 전자기기에 적용하는 것이 가능하다.
(적용례 1)
도 50은, 상기 실시의 형태 등의 표시 촬상 장치가 적용되는 텔레비전 장치의 외관을 도시한 것이다. 이 텔레비전 장치는, 예를 들면, 프런트 패널(511) 및 필터 유리(512)를 포함하는 영상 표시 화면부(510)를 갖고 있고, 이 영상 표시 화면부(510)는, 상기 실시의 형태 등에 관한 표시 촬상 장치에 의해 구성되어 있다.
(적용례 2)
도 51은, 상기 실시의 형태 등의 표시 촬상 장치가 적용되는 디지털 카메라의 외관을 도시한 것이다. 이 디지털 카메라는, 예를 들면, 플래시용의 발광부(521), 표시부(522), 메뉴 스위치(523) 및 셔터 버튼(524)을 갖고 있고, 그 표시부(522)는, 상기 실시의 형태 등에 관한 표시 촬상 장치에 의해 구성되어 있다.
(적용례 3)
도 52는, 상기 실시의 형태 등의 표시 촬상 장치가 적용되는 노트형 퍼스널 컴퓨터의 외관을 도시한 것이다. 이 노트형 퍼스널 컴퓨터는, 예를 들면, 본체(531), 문자 등의 입력 조작을 위한 키보드(532) 및 화상을 표시하는 표시 부(533)를 갖고 있고, 그 표시부(533)는, 상기 실시의 형태 등에 관한 표시 촬상 장치에 의해 구성되어 있다.
(적용례 4)
도 53은, 상기 실시의 형태 등의 표시 촬상 장치가 적용되는 비디오 카메라의 외관을 도시한 것이다. 이 비디오 카메라는, 예를 들면, 본체부(541), 이 본체부(541)의 전방 측면에 마련된 피사체 촬영용의 렌즈(542), 촬영시의 스타트/스톱 스위치(543) 및 표시부(544)를 갖고 있고, 그 표시부(544)는, 상기 실시의 형태 등에 관한 표시 촬상 장치에 의해 구성되어 있다.
(적용례 5)
도 54는, 상기 실시의 형태 등의 표시 촬상 장치가 적용되는 휴대 전화기의 외관을 도시한 것이다. 이 휴대 전화기는, 예를 들면, 상측 몸체(710)와 하측 몸체(720)를 연결부(힌지부)(730)로 연결한 것이고, 디스플레이(740), 서브디스플레이(750), 픽처 라이트(760) 및 카메라(770)를 갖고 있다. 그 디스플레이(740) 또는 서브디스플레이(750)는, 상기 실시의 형태 등에 관한 표시 촬상 장치에 의해 구성되어 있다.
이상, 실시의 형태, 변형례 및 적용례를 들어서 본 발명을 설명하였지만, 본 발명은 이들의 실시의 형태 등으로 한정되는 것이 아니고, 여러가지의 변형이 가능하다.
예를 들면, 상기 실시의 형태 등에서는, 백라이트(15)를 구비한 액정 패널로 이루어지는 I/O 디스플레이 패널의 경우로 설명하였지만, 표시용의 백라이트가 검 출용 조명을 겸하여도 좋고, 검출 전용의 조명을 마련하여도 좋다. 또한, 검출용 조명으로 마련하는 경우에는, 가시광 영역 이외의 파장 영역의 광(예를 들면, 적외광)을 이용하는 것이 보다 바람직하다.
또한, 상기 실시의 형태 등에서는, 예를 들면 도 7에 도시한 바와 같이, 백라이트(15)에서의 1회의 ON 기간 또는 OFF 기간에서, 1라인분의 수광부(촬상 화소)에 대해 리셋 동작 또는 판독 동작을 행하는 경우(고주파의 백라이트의 명멸 동작을 행하는 경우)에 관해 설명하였지만, 이 경우로는 한정되지 않는다. 즉, 예를 들면, 백라이트(15)에서의 1회의 ON 기간 또는 OFF 기간에서, 복수 라인분의 수광부(촬상 화소)에 대해 리셋 동작 또는 판독 동작을 행하도록(저주파의 백라이트의 명멸 동작을 행한다) 하여도 좋다.
또한, 상기 실시의 형태 등에서는, I/O 디스플레이 패널(20)에서, 표시 소자가 액품 소자임과 함께 수광 소자를 별개로 마련하는 경우에서 설명하였지만, 예를 들면 유기 EL(Electro Luminescence) 소자와 같이, 발광 동작과 수광 동작을 시분할로 행하는 것이 가능한 발광수광 소자(표시 촬상 소자)에 의해, I/O 디스플레이 패널을 구성하도록 하여도 좋다. 또한, 이 경우의 표시광이 출사되지 않는 기간이란, 표시 촬상 소자에 의한 발광 동작이 이루어지지 않는 기간이 된다.
또한, 상기 실시의 형태 등에서는, 복수의 표시 소자와 복수의 촬상 소자를 포함하는 표시 촬상 패널(I/O 디스플레이 패널(20))을 갖는 표시 촬상 장치에 관해 설명하였지만, 본 발명은, 표시 소자를 마련하지 않고, 복수의 촬상 소자를 포함하는 촬상 패널을 갖도록 한 촬상 장치에도 적용하는 것이 가능하다.
본 발명은 제조 비용을 억제하면서 사용 상황에 의하지 않고 물체를 안정하게 검출하는 것이 가능한 촬상 장치, 표시 촬상 장치 및 물체의 검출 방법, 및 그와 같은 표시 촬상 장치를 구비한 전자기기를 제공한다.

Claims (28)

  1. 복수의 촬상 화소에 의해 구성되고, 근접물체에 대한 조사 광원을 갖는 촬상 패널과,
    각 촬상 화소에 대해 촬상 구동을 행함에 의해, 각 촬상 화소로부터 촬상 신호를 취득하는 촬상 구동 수단과,
    각 촬상 화소로부터 얻어지는 촬상 신호에 의거한 촬상 화상을 이용하여, 상기 근접물체의 위치, 형상 또는 크기의 적어도 하나를 포함하는 물체 정보를 취득하는 화상 처리 수단을 구비하고,
    상기 촬상 구동 수단은, 상기 조사 광원으로부터 조사광이 조사되고 있을 때에, 이 조사광에 의한 반사광과 환경광의 합산광량에 응하여 각 촬상 화소에 충전전하가 축적됨과 함께, 상기 조사 광원으로부터 조사광이 조사되지 않을 때에, 환경광의 광량에 응하여 각 촬상 화소로부터 방전전하가 방출되도록 촬상 구동을 행함에 의해, 각 촬상 화소로부터 촬상 신호를 취득하고,
    각 촬상 화소가,
    수광 광량에 응한 전하를 발생시키는 광전변환 소자와,
    용량 소자와,
    상기 충전전하를 상기 용량 소자에 축적시키기 위한 충전 회로와,
    상기 방전전하를 상기 용량 소자로부터 방출시키기 위한 방전 회로를 포함하여 구성되고,
    상기 촬상 구동 수단은, 상기 충전 회로 및 상기 방전 회로에 대해 촬상 구동을 행함에 의해, 각 촬상 화소로부터 촬상 신호를 취득하는 것을 특징으로 하는 촬상 장치.
  2. 삭제
  3. 제 1항에 있어서,
    상기 광전변환 소자가, 상기 충전전하 및 상기 방전전하를 각각 공통으로 발생시키는 것이고,
    상기 충전 회로가 충전용 스위칭 소자를 포함함과 함께, 상기 방전 회로가 방전용스위칭 소자를 포함하고,
    상기 촬상 구동 수단은, 상기 광전변환 소자에서 발생한 충전전하가 상기 충전용 스위칭 소자를 통하여 상기 용량 소자에 축적됨과 함께, 상기 광전변환 소자에서 발생한 방전전하가 상기 방전용 스위칭 소자를 통하여 상기 용량 소자로부터 방출되도록, 상기 충전용 스위칭 소자 및 상기 방전용 스위칭 소자에 대해 촬상 구동을 행하는 것을 특징으로 하는 촬상 장치.
  4. 제 3항에 있어서,
    상기 촬상 구동 수단은, 상기 충전용 스위칭 소자의 온 상태 기간과 상기 방 전용 스위칭 소자의 온 상태 기간이 서로 겹쳐지지 않도록, 촬상 구동을 행하는 것을 특징으로 하는 촬상 장치.
  5. 제 1항에 있어서,
    상기 광전변환 소자가, 상기 충전전하를 발생시키는 제 1의 광전변환 소자와, 상기 방전전하를 발생시키는 제 2의 광전변환 소자에 의해 구성되고,
    상기 충전 회로가 충전용 스위칭 소자를 포함함과 함께, 상기 방전 회로가 방전용스위칭 소자를 포함하고,
    상기 촬상 구동 수단은, 상기 제 1의 광전변환 소자에서 발생한 충전전하가 상기 충전용 스위칭 소자를 통하여 상기 용량 소자에 축적됨과 함께, 상기 제 2의 광전변환 소자에서 발생한 방전전하가 상기 방전용 스위칭 소자를 통하여 상기 용량 소자로부터 방출되도록, 상기 충전용 스위칭 소자 및 상기 방전용 스위칭 소자에 대해 촬상 구동을 행하는 것을 특징으로 하는 촬상 장치.
  6. 제 5항에 있어서,
    상기 촬상 구동 수단은, 상기 용량 소자의 일단측이, 상기 충전전하의 축적시와 상기 방전전하의 방출시에 있어서, 전원 또는 접지에 교대로 접속되도록, 상기 충전용 스위칭 소자 및 상기 방전용 스위칭 소자에 대해 촬상 구동을 행하는 것을 특징으로 하는 촬상 장치.
  7. 제 6항에 있어서,
    상기 촬상 구동 수단은, 상기 충전용 스위칭 소자의 온 상태 기간과 상기 방전용 스위칭 소자의 온 상태 기간이 서로 겹쳐지지 않도록, 촬상 구동을 행하는 것을 특징으로 하는 촬상 장치.
  8. 제 1항에 있어서,
    상기 광전변환 소자가, 상기 충전전하를 발생시키는 제 1의 광전변환 소자와, 상기 방전전하를 발생시키는 제 2의 광전변환 소자에 의해 구성되고,
    상기 제 1 및 제 2의 광전변환 소자가 각각, 애노드 전극, 캐소드 전극 및 게이트 전극을 갖는 PIN형의 포토 다이오드에 의해 구성되고,
    상기 촬상 구동 수단은,
    상기 제 1의 광전변환 소자에서의 캐소드 전극과 게이트 전극 사이의 전위 관계와, 상기 제 2의 광전변환 소자에서의 애노드 전극과 게이트 전극 사이의 전위 관계를 각각 변화시킴에 의해, 상기 제 1 및 제 2의 광전변환 소자를 개별적으로 온·오프 상태로 설정함과 함께,
    상기 제 1의 광전변환 소자에서 발생한 충전전하가, 이 제 1의 광전변환 소자가 온 상태가 됨과 함께 상기 제 2의 광전변환 소자가 오프 상태가 됨에 의해 상기 용량 소자에 축적되는 한편, 상기 제 2의 광전변환 소자에서 발생한 방전전하가, 이 제 2의 광전변환 소자가 온 상태가 됨과 함께 상기 제 1의 광전변환 소자가 오프 상태가 됨에 의해 상기 용량 소자로부터 방출되도록, 상기 제 1 및 제 2의 광전변환 소자에 대해 촬상 구동을 행하는 것을 특징으로 하는 촬상 장치.
  9. 제 8항에 있어서,
    상기 촬상 구동 수단은,
    상기 제 1의 광전변환 소자에서의 캐소드 전극의 전위 및 상기 제 2의 광전변환 소자에서의 애노드 전극의 전위를 각각 개별적으로 고정함과 함께,
    상기 제 1 및 제 2의 광전변환 소자에서의 게이트 전극의 전위를 각각 개별적으로 변화시킴에 의해, 상기 제 1 및 제 2의 광전변환 소자를 개별적으로 온·오프 상태로 설정하는 것을 특징으로 하는 촬상 장치.
  10. 제 8항에 있어서,
    상기 촬상 구동 수단은, 상기 제 1의 광전변환 소자에서의 캐소드 전극의 전위 및 상기 제 2의 광전변환 소자에서의 애노드 전극의 전위를 각각 개별적으로 변화시킴에 의해, 상기 제 1 및 제 2의 광전변환 소자를 개별적으로 온·오프 상태로 설정하는 것을 특징으로 하는 촬상 장치.
  11. 제 10항에 있어서,
    상기 촬상 구동 수단은, 상기 제 1 및 제 2의 광전변환 소자에서의 게이트 전극의 전위를 각각 개별적으로 고정하는 것을 특징으로 하는 촬상 장치.
  12. 제 10항에 있어서,
    상기 촬상 구동 수단은, 상기 제 1 및 제 2의 광전변환 소자에서의 게이트 전극의 전위를 각각, 상기 충전전하의 축적시 및 상기 방전전하의 방출시에 있어서 하이 임피던스 상태로 설정하는 것을 특징으로 하는 촬상 장치.
  13. 제 1항에 있어서,
    상기 촬상 화소가,
    상기 반사광 및 상기 환경광을 차단하는 차광부를 포함하는 제 1의 촬상 화소와,
    상기 차광부를 포함하지 않는 제 2의 촬상 화소에 의해 구성되고,
    상기 화상 처리 수단은, 상기 제 1의 촬상 화소에 의해 얻어지는 촬상 신호와 상기 제 2의 촬상 화소에 의해 얻어지는 촬상 신호의 차분 신호에 의거하여, 상기 물체 정보를 취득하는 것을 특징으로 하는 촬상 장치.
  14. 제 1항에 있어서,
    상기 화상 처리 수단은, 상기 충전전하의 축적 동작과 상기 방전전하의 방출 동작이 복수회 전환된 후에 얻어진 촬상 신호에 의거하여, 상기 물체 정보를 취득하는 것을 특징으로 하는 촬상 장치.
  15. 제 1항에 있어서,
    각 촬상 화소에 축적된 전하를 전부 방출시키기 위한 초기화 전압이, 전원 전압과 접지 전압 사이의 임의의 전압인 것을 특징으로 하는 촬상 장치.
  16. 제 1항에 있어서,
    상기 촬상 패널에서 각 촬상 화소가 매트릭스형상으로 배치되고,
    상기 촬상 구동 수단은, 각 촬상 화소에 대해 순차적으로 촬상 구동을 행하는 것을 특징으로 하는 촬상 장치.
  17. 제 1항에 있어서,
    상기 촬상 패널에서, 상기 촬상 화소와, 이 촬상 화소를 촬상 구동하기 위한 배선이, 서로 분리 배치되어 있는 것을 특징으로 하는 촬상 장치.
  18. 제 1항에 있어서,
    상기 촬상 구동 수단은, 상기 근접물체가 상기 촬상 패널상에서 울직이고 있을 때에, 상기 충전전하가 축적됨과 함께 상기 방전전하가 방출되도록 촬상 구동을 행함에 의해, 각 촬상 화소로부터 촬상 신호를 취득하는 것을 특징으로 하는 촬상 장치.
  19. 제 1항에 있어서,
    상기 화상 처리 수단은, 상기 촬상 패널상에 동시에 위치하는 복수의 근접물체에 대해, 상기 물체 정보를 각각 취득하는 것을 특징으로 하는 촬상 장치.
  20. 복수의 표시 화소 및 복수의 촬상 화소에 의해 구성된 표시 촬상 패널과,
    각 표시 화소에 대해 표시 구동을 행함에 의해, 화상 표시를 행하는 표시 구동 수단과,
    각 촬상 화소에 대해 촬상 구동을 행함에 의해, 각 촬상 화소로부터 촬상 신호를 취득하는 촬상 구동 수단과,
    각 촬상 화소로부터 얻어지는 촬상 신호에 의거한 촬상 화상을 이용하여, 근접물체의 위치, 형상 또는 크기의 적어도 하나를 포함하는 물체 정보를 취득하는 화상 처리 수단을 구비하고,
    상기 촬상 구동 수단은, 상기 근접물체에 대해 상기 표시 촬상 패널로부터 조사광이 조사되고 있을 때에, 이 조사광에 의한 반사광과 환경광의 합산광량에 응하여 각 촬상 화소에 충전전하가 축적됨과 함께, 상기 표시 촬상 패널로부터 조사광이 조사되지 않을 때에, 환경광의 광량에 응하여 각 촬상 화소로부터 방전전하가 방출되도록 촬상 구동을 행함에 의해, 각 촬상 화소로부터 촬상 신호를 취득하고,
    각 촬상 화소가,
    수광 광량에 응한 전하를 발생시키는 광전변환 소자와,
    용량 소자와,
    상기 충전전하를 상기 용량 소자에 축적시키기 위한 충전 회로와,
    상기 방전전하를 상기 용량 소자로부터 방출시키기 위한 방전 회로를 포함하여 구성되고,
    상기 촬상 구동 수단은, 상기 충전 회로 및 상기 방전 회로에 대해 촬상 구동을 행함에 의해, 각 촬상 화소로부터 촬상 신호를 취득하는 것을 특징으로 하는 표시 촬상 장치.
  21. 제 20항에 있어서,
    상기 충전전하의 축적 동작 및 상기 방전전하의 방출 동작이 각각, 상기 표시 구동할 때의 수평 기간과 동기하고 있는 것을 특징으로 하는 표시 촬상 장치.
  22. 제 21항에 있어서,
    상기 화상 처리 수단은, 상기 충전전하의 축적 동작과 상기 방전전하의 방출 동작이 복수회 전환된 후에 얻어진 촬상 신호에 의거하여, 상기 물체 정보를 취득하는 것을 특징으로 하는 표시 촬상 장치.
  23. 제 20항에 있어서,
    상기 표시 구동 수단은, 상기 화상 처리 수단에 의해 얻어진 물체 정보에 의거하여 표 시 구동을 행함에 의해, 이 물체 정보를 상기 표시 촬상 패널에 표시시키는 것을 특징으로 하는 표시 촬상 장치.
  24. 삭제
  25. 제 20항에 있어서,
    상기 표시 화소 및 상기 촬상 화소가, 발광 동작 및 수광 동작을 시분할로 행하는 것이 가능한 복수의 표시 촬상 소자를 포함하여 구성되어 있는 것을 특징으로 하는 표시 촬상 장치.
  26. 삭제
  27. 화상 표시 기능 및 촬상 기능을 갖는 표시 촬상 장치를 구비하고,
    상기 표시 촬상 장치는,
    복수의 표시 화소 및 복수의 촬상 화소에 의해 구성된 표시 촬상 패널과,
    각 표시 화소에 대해 표시 구동을 행함에 의해, 화상 표시를 행하는 표시 구동 수단과,
    각 촬상 화소에 대해 촬상 구동을 행함에 의해, 각 촬상 화소로부터 촬상 신호를 취득하는 촬상 구동 수단과,
    각 촬상 화소로부터 얻어지는 촬상 신호에 의거한 촬상 화상을 이용하여, 근접물체의 위치, 형상 또는 크기의 적어도 하나를 포함하는 물체 정보를 취득하는 화상 처리 수단을 가지며,
    상기 촬상 구동 수단은, 상기 근접물체에 대해 상기 표시 촬상 패널로부터 조사광이 조사되고 있을 때에, 이 조사광에 의한 반사광과 환경광의 합산광량에 응하여 각 촬상 화소에 충전전하가 축적됨과 함께, 상기 표시 촬상 패널로부터 조사광이 조사되지 않을 때에, 환경광의 광량에 응하여 각 촬상 화소로부터 방전전하가 방출되도록 촬상 구동을 행함에 의해, 각 촬상 화소로부터 촬상 신호를 취득하고,
    각 촬상 화소가,
    수광 광량에 응한 전하를 발생시키는 광전변환 소자와,
    용량 소자와,
    상기 충전전하를 상기 용량 소자에 축적시키기 위한 충전 회로와,
    상기 방전전하를 상기 용량 소자로부터 방출시키기 위한 방전 회로를 포함하여 구성되고,
    상기 촬상 구동 수단은, 상기 충전 회로 및 상기 방전 회로에 대해 촬상 구동을 행함에 의해, 각 촬상 화소로부터 촬상 신호를 취득하는 것을 특징으로 하는 전자기기.
  28. 복수의 촬상 화소에 의해 구성된 촬상 패널에 의해 근접물체에 대해 조사광을 조사시키고 있을 때에, 이 조사광에 의한 반사광과 환경광의 합산광량에 응하여 각 촬상 화소에 충전전하를 축적시킴과 함께, 상기 조사광을 조사시키지 않을 때에, 환경광의 광량에 응하여 각 촬상 화소로부터 방전전하를 방출시키도록 하여 각 촬상 화소에 대해 촬상 구동을 행함에 의해, 각 촬상 화소로부터 촬상 신호를 취득하는 촬상 구동 단계와,
    각 촬상 화소로부터 얻어지는 촬상 신호에 의거한 촬상 화상을 이용하여, 상기 근접물체의 위치, 형상 또는 크기의 적어도 하나를 포함하는 물체 정보를 취득하는 물체 정보 취득 단계를 포함하고,
    각 촬상 화소가,
    수광 광량에 응한 전하를 발생시키는 광전변환 소자와,
    용량 소자와,
    상기 충전전하를 상기 용량 소자에 축적시키기 위한 충전 회로와,
    상기 방전전하를 상기 용량 소자로부터 방출시키기 위한 방전 회로를 포함하여 구성되고,
    상기 촬상 구동 단계는, 상기 충전 회로 및 상기 방전 회로에 대해 촬상 구동을 행함에 의해, 각 촬상 화소로부터 촬상 신호를 취득하는 것을 특징으로 하는 물체의 검출 방법.
KR1020097024306A 2008-03-24 2009-03-18 촬상 장치, 표시 촬상 장치, 전자기기 및 물체의 검출 방법 KR101547703B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2008-076281 2008-03-24
JP2008076281 2008-03-24
PCT/JP2009/055328 WO2009119417A1 (ja) 2008-03-24 2009-03-18 撮像装置、表示撮像装置、電子機器および物体の検出方法

Publications (2)

Publication Number Publication Date
KR20110001853A KR20110001853A (ko) 2011-01-06
KR101547703B1 true KR101547703B1 (ko) 2015-08-26

Family

ID=41113614

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020097024306A KR101547703B1 (ko) 2008-03-24 2009-03-18 촬상 장치, 표시 촬상 장치, 전자기기 및 물체의 검출 방법

Country Status (7)

Country Link
US (2) US9063613B2 (ko)
EP (1) EP2151740B1 (ko)
JP (1) JP5291090B2 (ko)
KR (1) KR101547703B1 (ko)
CN (1) CN101689083B (ko)
TW (1) TWI423086B (ko)
WO (1) WO2009119417A1 (ko)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009119417A1 (ja) * 2008-03-24 2009-10-01 ソニー株式会社 撮像装置、表示撮像装置、電子機器および物体の検出方法
KR101319346B1 (ko) 2009-09-15 2013-10-16 엘지디스플레이 주식회사 광센싱 방식의 터치 패널 내장형 액정 표시 장치 및 이의 구동 방법
US9335854B2 (en) 2009-09-30 2016-05-10 Sharp Kabushiki Kaisha Display device
CN102597922B (zh) * 2009-09-30 2014-12-17 夏普株式会社 显示装置
JP5510998B2 (ja) * 2009-11-13 2014-06-04 株式会社ジャパンディスプレイ センサ装置、センサ素子の駆動方法、入力機能付き表示装置および電子機器
JP5721994B2 (ja) 2009-11-27 2015-05-20 株式会社ジャパンディスプレイ 放射線撮像装置
JP5464583B2 (ja) * 2009-11-27 2014-04-09 株式会社ジャパンディスプレイ センサ装置、センサ素子の駆動方法、入力機能付き表示装置および電子機器
KR101784676B1 (ko) 2010-03-08 2017-10-12 가부시키가이샤 한도오따이 에네루기 켄큐쇼 반도체 장치 및 그 제조방법
US9064460B2 (en) * 2010-05-20 2015-06-23 Sharp Kabushiki Kaisha Display device with touch sensor including photosensor
JP5749975B2 (ja) * 2010-05-28 2015-07-15 株式会社半導体エネルギー研究所 光検出装置、及び、タッチパネル
JP5516145B2 (ja) * 2010-06-30 2014-06-11 セイコーエプソン株式会社 光学式検出装置、表示装置及び電子機器
US8605059B2 (en) * 2010-07-02 2013-12-10 Semiconductor Energy Laboratory Co., Ltd. Input/output device and driving method thereof
WO2012014864A1 (ja) * 2010-07-27 2012-02-02 シャープ株式会社 表示装置
WO2012014865A1 (ja) * 2010-07-27 2012-02-02 シャープ株式会社 表示装置およびその駆動方法
TWI416387B (zh) * 2010-08-24 2013-11-21 Au Optronics Corp 觸控面板
US20150022754A1 (en) * 2013-07-19 2015-01-22 Google Inc. Configurations for tileable display apparatus with multiple pixel arrays
JP6247530B2 (ja) * 2013-12-27 2017-12-13 キヤノン株式会社 撮像装置
US10990148B2 (en) * 2015-01-05 2021-04-27 Synaptics Incorporated Central receiver for performing capacitive sensing
TWI660165B (zh) * 2018-05-14 2019-05-21 和碩聯合科技股份有限公司 檢測系統及檢測方法
CN114187870B (zh) * 2020-09-14 2023-05-09 京东方科技集团股份有限公司 光电检测电路及其驱动方法、显示装置及其制作方法
TWI753634B (zh) * 2020-10-30 2022-01-21 胡厚飛 毛筆分類之測定方法
CN112530375B (zh) * 2020-12-02 2022-01-11 福州京东方光电科技有限公司 一种显示装置的驱动方法、显示装置及存储介质
JP2022190312A (ja) * 2021-06-14 2022-12-26 セイコーエプソン株式会社 表示装置及び表示装置の制御方法
CN115394244B (zh) * 2022-10-28 2023-01-24 惠科股份有限公司 显示驱动电路、显示驱动方法和显示装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3275579B2 (ja) * 1994-10-24 2002-04-15 日産自動車株式会社 イメージセンサ
JP3521187B2 (ja) 1996-10-18 2004-04-19 株式会社東芝 固体撮像装置
JP3471201B2 (ja) 1997-09-05 2003-12-02 株式会社東芝 撮像モジュール、および撮像装置
US6798446B2 (en) * 2001-07-09 2004-09-28 Logitech Europe S.A. Method and system for custom closed-loop calibration of a digital camera
JP3800052B2 (ja) * 2001-08-20 2006-07-19 ソニー株式会社 静止画像撮像装置及び方法
US7053967B2 (en) 2002-05-23 2006-05-30 Planar Systems, Inc. Light sensitive display
JP4200435B2 (ja) * 2002-09-10 2008-12-24 ソニー株式会社 情報処理装置および方法、記録媒体、並びにプログラム
US7233354B2 (en) * 2002-10-11 2007-06-19 Hewlett-Packard Development Company, L.P. Digital camera that adjusts resolution for low light conditions
JP4323772B2 (ja) * 2002-10-31 2009-09-02 キヤノン株式会社 固体撮像装置、カメラ及びカメラ制御システム
JP4489608B2 (ja) * 2004-03-31 2010-06-23 富士フイルム株式会社 ディジタル・スチル・カメラ，画像再生装置および顔画像表示装置ならびにそれらの制御方法
JP2005303081A (ja) * 2004-04-13 2005-10-27 Matsushita Electric Ind Co Ltd 光センサーおよび固体撮像装置
US7593593B2 (en) * 2004-06-16 2009-09-22 Microsoft Corporation Method and system for reducing effects of undesired signals in an infrared imaging system
JP4072732B2 (ja) * 2004-10-29 2008-04-09 ソニー株式会社 入出力装置および方法、記録媒体、並びにプログラム
JP2006276223A (ja) * 2005-03-28 2006-10-12 Sony Corp 表示装置及び表示方法
JP2007011228A (ja) * 2005-07-04 2007-01-18 Toshiba Matsushita Display Technology Co Ltd 平面表示装置
JP4618026B2 (ja) 2005-07-12 2011-01-26 ソニー株式会社 表示装置及び表示および受光を行う表示装置を用いた検出方法
JP4810936B2 (ja) * 2005-09-01 2011-11-09 ソニー株式会社 表示装置及び表示方法
TW200720829A (en) * 2005-11-25 2007-06-01 Altek Corp Photographic apparatus of sensible environment parameters
JP2007206192A (ja) 2006-01-31 2007-08-16 Toshiba Matsushita Display Technology Co Ltd 表示装置
TWI280409B (en) * 2006-04-14 2007-05-01 Asustek Comp Inc Reflective photo device, an electronic apparatus with a built-in camera using the device for providing colorimeter and ambient light sensor functions and its method
US8610670B2 (en) * 2006-08-31 2013-12-17 Japan Display West Inc. Imaging and display apparatus, information input apparatus, object detection medium, and object detection method
US8674949B2 (en) * 2007-02-20 2014-03-18 Japan Displays Inc. Liquid crystal display apparatus
WO2009119417A1 (ja) * 2008-03-24 2009-10-01 ソニー株式会社 撮像装置、表示撮像装置、電子機器および物体の検出方法
WO2012014864A1 (ja) 2010-07-27 2012-02-02 シャープ株式会社 表示装置

Also Published As

Publication number Publication date
JP5291090B2 (ja) 2013-09-18
US9063613B2 (en) 2015-06-23
US20150301689A1 (en) 2015-10-22
CN101689083B (zh) 2013-01-02
KR20110001853A (ko) 2011-01-06
WO2009119417A1 (ja) 2009-10-01
CN101689083A (zh) 2010-03-31
EP2151740B1 (en) 2017-05-10
JPWO2009119417A1 (ja) 2011-07-21
EP2151740A4 (en) 2015-05-06
TW201007527A (en) 2010-02-16
EP2151740A1 (en) 2010-02-10
US20100128004A1 (en) 2010-05-27
US9405406B2 (en) 2016-08-02
TWI423086B (zh) 2014-01-11

Similar Documents

Publication Publication Date Title
KR101547703B1 (ko) 촬상 장치, 표시 촬상 장치, 전자기기 및 물체의 검출 방법
KR101534588B1 (ko) 표시 촬상장치, 및 물체의 검출 방법
TWI439904B (zh) 感測器裝置、驅動感測器元件之方法、具有輸入功能之顯示裝置及電子單元
US8514201B2 (en) Image pickup device, display-and-image pickup device, and electronic device
JP5481127B2 (ja) センサ素子およびその駆動方法、センサ装置、ならびに入力機能付き表示装置および電子機器
US8188987B2 (en) Display and imaging apparatus and object detecting method
TWI437472B (zh) 感測器裝置，驅動感測器元件之方法，具有輸入功能之顯示裝置及電子單元
JP5093523B2 (ja) 撮像装置、表示撮像装置および撮像処理装置
TWI437473B (zh) 感測器裝置，感測器元件之驅動方法，具有輸入功能之顯示裝置及電子裝置
TW200809733A (en) Display apparatus and electronic device
Tanaka et al. The technologies of in‐cell optical touch panel with novel input functions

Legal Events

Date Code Title Description
N231 Notification of change of applicant
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
GRNT Written decision to grant