JP2009009098A

JP2009009098A - Display device and detecting method

Info

Publication number: JP2009009098A
Application number: JP2008097167A
Authority: JP
Inventors: Ryoichi Nozawa; 陵一野澤
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2007-05-25
Filing date: 2008-04-03
Publication date: 2009-01-15
Anticipated expiration: 2028-04-03
Also published as: JP5181792B2; CN101311784B; CN101311784A

Abstract

PROBLEM TO BE SOLVED: To discriminate touch operation to a display panel 100. SOLUTION: An optical sensor 130R in a pixel 110 allows incidence of light from the driver's seat side, and an optical sensor 130L allows incidence of light from the front passenger's seat side. When a detected object such as a finger contacts the display panel 100, an R-image detected by the optical sensor 130R and an L-image detected by the optical sensor 130L are shifted by a parallax portion but almost overlapped. If the R-image and L-image are smaller than a preset threshold in consideration of parallax, touch operation is discriminated. COPYRIGHT: (C)2009,JPO&INPIT

Description

本発明は、光量検出によって被検出物が表示画面にタッチしたか否か等を検出する技術に関する。 The present invention relates to a technique for detecting whether or not an object to be detected has touched a display screen by detecting the amount of light.

近年、液晶パネルのような表示装置の画素内に光センサを配置させ、光により表示画面から情報の入力を可能にしたものが開発されている。この表示装置の画素内における光センサは、例えばフォトダイオードとキャパシタとを有し、フォトダイオードでの受光量に応じてキャパシタの電荷量を変化させ、キャパシタの両端の電圧を検出することによって、当該光センサの受光量を検出する構成となっている。
このような構成において、指が表示画面にタッチしたか否かの判別精度や、座標位置の算出精度を高めるために、撮影された画像のエッジを検出するとともに、当該エッジ画像を用いて物体が表示画面にタッチしたか否かを判別する技術が提案されている（例えば特許文献１参照）。
特開２００６−２４４４４６号公報 In recent years, an optical sensor has been developed in which a light sensor is arranged in a pixel of a display device such as a liquid crystal panel, and information can be input from a display screen by light. The photosensor in the pixel of this display device has, for example, a photodiode and a capacitor, changes the amount of charge of the capacitor according to the amount of light received by the photodiode, and detects the voltage across the capacitor, thereby It is configured to detect the amount of light received by the optical sensor.
In such a configuration, in order to improve the accuracy of determining whether or not the finger touches the display screen and the accuracy of calculating the coordinate position, the edge of the captured image is detected, and the object is detected using the edge image. A technique for determining whether or not a display screen has been touched has been proposed (see, for example, Patent Document 1).
JP 2006-244446 A

しかしながら、上記技術では、パネル面にタッチしたときに指が膨らんだ状態を検出して、タッチ操作がなされたと判別するので、指以外の弾力性のない被検出物のタッチを判別することができない。
本発明は、このような事情に鑑みてなされたもので、その目的の一つは、弾力性のない被検出物が表示画面にタッチしたか否かを検出することが可能な表示装置および検出方法を提供することにある。 However, in the above technique, it is determined that the finger has swollen when the panel surface is touched, and it is determined that the touch operation has been performed. Therefore, it is not possible to determine the touch of a non-elastic object to be detected other than the finger. .
The present invention has been made in view of such circumstances, and one of its purposes is a display device capable of detecting whether or not a non-elastic object to be detected touches the display screen, and detection. It is to provide a method.

上記目的を達成するために本発明に係る表示装置は、画像を表示画面に表示する複数の表示画素と、前記表示画素に応じて設けられ、各々が入射光量を検出する第１および第２光センサと、前記第１光センサに、第１方向からの光を入射させ、前記第２光センサに、前記第１方向とは異なる第２方向からの光を入射させる光学部材と、前記第１センサ及び第２センサを用いて第１期間にそれぞれ検出した第１検出結果及び第２検出結果を記憶する記憶回路と、前記第１期間の後の第２期間に、前記第１センサ及び第２センサを用いてそれぞれ第３検出結果及び第４検出結果を検出した後、前記第３検出結果を前記第１検出結果と比較し、前記第４検出結果を第２検出結果と比較する比較回路と、この比較結果に基づいて、被検出物が表示画面にタッチしたか否かを判別する判別回路と、を具備することを特徴とする。本発明によれば、被検出物が表示画面にタッチしたのを第１および第２センサの検出結果から判別する。
本発明において、光学部材として遮光部材やレンズ層などが適用可能である。ここで、光学部材として遮光部材を用いる場合、当該光学部材は、前記第２方向から前記第１光センサに入射する光を遮るとともに、前記第１方向から前記第２光センサに入射する光を遮る構成が好ましい。さらに、前記遮光部材は、前記第１および第２光センサの隣接境界において開口する開口部を有する構成としても良く、特に、前記表示画素の視認または背面方向からみたときに、前記第１および第２光センサに対する前記遮光部材の開口部の中心線は、前記第１および第２光センサの隣接境界線に一致した構成とするのが好ましい。
また、本発明において、前記複数の表示画素の間を遮光するブラックマトリクスを有し、前記ブラックマトリクスが前記遮光部材を兼用する構成としても良い。
一方、光学部材としてレンズ層を用いる場合、当該レンズ層は、前記第１および第２光センサの入射側に設けられ、前記入射側に凸のレンズ層である構成が好ましい。これにより光センサの検出精度を向上させることが可能となる。 In order to achieve the above object, a display device according to the present invention includes a plurality of display pixels that display an image on a display screen, and first and second lights that are provided in accordance with the display pixels and each detect an incident light amount. A sensor, an optical member that causes light from a first direction to enter the first photosensor, and an optical member that causes light from a second direction different from the first direction to enter the second photosensor; and the first A storage circuit for storing the first detection result and the second detection result detected in the first period using the sensor and the second sensor, respectively, and the first sensor and the second sensor in the second period after the first period. A comparison circuit for detecting the third detection result and the fourth detection result using a sensor, comparing the third detection result with the first detection result, and comparing the fourth detection result with the second detection result; Based on the comparison result, the detected object is displayed on the display screen. Characterized by comprising a determination circuit for determining whether or not touched, the. According to the present invention, it is determined from the detection results of the first and second sensors that the detected object has touched the display screen.
In the present invention, a light shielding member, a lens layer, or the like is applicable as the optical member. Here, when a light blocking member is used as the optical member, the optical member blocks light incident on the first optical sensor from the second direction and transmits light incident on the second optical sensor from the first direction. A blocking configuration is preferred. Further, the light shielding member may be configured to have an opening that opens at an adjacent boundary of the first and second photosensors. In particular, when the display pixel is viewed or viewed from the back side, the first and first light sensors The center line of the opening of the light shielding member with respect to the two-light sensor is preferably configured to coincide with the adjacent boundary line of the first and second light sensors.
In the present invention, a black matrix that shields light between the plurality of display pixels may be provided, and the black matrix may also serve as the light shielding member.
On the other hand, when a lens layer is used as the optical member, it is preferable that the lens layer is provided on the incident side of the first and second photosensors and is a convex lens layer on the incident side. As a result, the detection accuracy of the optical sensor can be improved.

なお、本発明は、表示装置のみならず、表示装置の検出方法としても概念することが可能である。検出方法として概念する場合、前記第１光センサにより検出される像と前記第２光センサにより検出される像とが接近する場合であって像の移動速度が異なるとき、移動速度の小さい方の像を検出した光センサの入射方向から被検出物が接近している判別しても良いし、前記第１光センサにより検出される像と前記第２光センサにより検出される像との距離が予め定められた閾値よりも小さくなったときに、被検出物が表示画面にタッチしたと判別しても良い。 Note that the present invention can be conceptualized not only as a display device but also as a detection method for a display device. In the case of a concept as a detection method, when the image detected by the first photosensor and the image detected by the second photosensor are close to each other and the moving speed of the images is different, the smaller moving speed is used. It may be determined that the detection object is approaching from the incident direction of the optical sensor that detected the image, or the distance between the image detected by the first optical sensor and the image detected by the second optical sensor is When it becomes smaller than a predetermined threshold value, it may be determined that the detected object has touched the display screen.

以下、本発明の実施形態について図面を参照して説明する。
この実施形態に係る表示装置は、例えばカー・ナビゲーション・システムの表示部分であり、車両のダッシュボード中央に配置するものである。なお、この説明において運転席側および助手席側は、車両の進行方向に向かって右側を運転席側（左側を助手席側）とした右ハンドル車を基準としている。このため、逆に表示装置からみると、左側が運転席側（右側が助手席側）となる。 Embodiments of the present invention will be described below with reference to the drawings.
The display device according to this embodiment is, for example, a display part of a car navigation system, and is arranged at the center of a dashboard of a vehicle. In this description, the driver seat side and the passenger seat side are based on a right-hand drive vehicle in which the right side is the driver seat side (the left side is the passenger seat side) in the traveling direction of the vehicle. For this reason, when viewed from the display device, the left side is the driver seat side (the right side is the passenger seat side).

図１は、この表示装置１の構成を示す図である。なお、カー・ナビゲーション・システムのうち、表示および入力以外の構成については、本発明とは直接関係しないので省略している。
この図に示されるように、表示装置１は、制御回路１０、Ｙドライバ１２、Ｘドライバ１４、Ｙドライバ１６、読出回路１８、判別回路２０および表示パネル１００を有する。
このうち、表示パネル１００では、画素１１０がマトリクス状に配列している。 FIG. 1 is a diagram showing a configuration of the display device 1. In the car navigation system, configurations other than display and input are omitted because they are not directly related to the present invention.
As shown in FIG. 1, the display device 1 includes a control circuit 10, a Y driver 12, an X driver 14, a Y driver 16, a readout circuit 18, a determination circuit 20, and a display panel 100.
Among these, in the display panel 100, the pixels 110 are arranged in a matrix.

ここで、画素１１０について、図２を参照して説明する。
画素１１０は、実際には、図１に示されるようにマトリクス状に配列するが、図２は、マトリクス状に配列する画素のうち、任意の１つの画素を抜き出して示すものである。
なお、マトリクス状の配列において、走査線１１２がＸ方向に延在して１行分の画素１１０で共用され、データ線１１４がＹ方向に延在して１列分で共用されている。同様に、制御線１４２、１４３がＸ方向に延在して１行分で共用され、読出線１４４Ｒ、１４４Ｌの対がＹ方向に延在して１列分で共用されている。 Here, the pixel 110 will be described with reference to FIG.
The pixels 110 are actually arranged in a matrix as shown in FIG. 1, but FIG. 2 shows an arbitrary pixel extracted from the pixels arranged in a matrix.
In the matrix arrangement, the scanning lines 112 extend in the X direction and are shared by the pixels 110 for one row, and the data lines 114 extend in the Y direction and are shared by one column. Similarly, control lines 142 and 143 extend in the X direction and are shared by one row, and pairs of readout lines 144R and 144L extend in the Y direction and are shared by one column.

図２に示されるように、画素１１０は、表示系１２０と、光センサ１３０Ｒ、１３０Ｌとに分かれている。
このうち、表示系（表示画素）１２０は、ｎチャネル型のトランジスタ１２２と液晶素子１２４と蓄積容量１２６とを有する。トランジスタ１２２のゲート電極は走査線１１２に接続され、ソース電極がデータ線１１４に接続され、ドレイン電極は液晶素子１２４の一端たる画素電極と蓄積容量１２６の一端とに共通接続されている。液晶素子１２４の他端は、電圧Ｖcomに保たれるとともに、各画素１１０にわたって共通接続されたコモン電極１２８である。
なお、本実施形態では、蓄積容量１２６の他端についても、各画素１１０について電圧Ｖcomに保たれているので、電気的にみてコモン電極１２８に共通接続されているものとして扱っている。 As shown in FIG. 2, the pixel 110 is divided into a display system 120 and optical sensors 130R and 130L.
Among these, the display system (display pixel) 120 includes an n-channel transistor 122, a liquid crystal element 124, and a storage capacitor 126. The gate electrode of the transistor 122 is connected to the scanning line 112, the source electrode is connected to the data line 114, and the drain electrode is commonly connected to the pixel electrode which is one end of the liquid crystal element 124 and one end of the storage capacitor 126. The other end of the liquid crystal element 124 is a common electrode 128 that is maintained at the voltage Vcom and is commonly connected across the pixels 110.
In the present embodiment, since the other end of the storage capacitor 126 is also maintained at the voltage Vcom for each pixel 110, it is handled as being commonly connected to the common electrode 128 from the electrical viewpoint.

液晶素子１２４は、透過型であり、周知のように、トランジスタ１２２のドレイン電極に接続された画素電極と各画素１１０にわたって共通なコモン電極とで液晶を挟持して、画素電極とコモン電極とで保持された電圧の実効値に応じた透過率となる。
このような液晶素子１２４において、走査線１１２がしきい値以上の電圧に相当するＨレベルになると、トランジスタ１２２がオン状態となって、データ線１１４に供給された電圧が画素電極に印加される。このため、走査線１１２がＨレベルとなったときに、データ線１１４を階調に応じた電圧にすると、液晶素子１２４には、当該階調に応じた電圧と電圧Ｖcomとの差電圧が書き込まれる。なお、走査線１１２がＬレベルになると、トランジスタ１２２がオフするが、液晶素子１２４に書き込まれた差電圧は、液晶素子１２４自体の電圧保持性および並列接続された蓄積容量１２６によって保持されるので、液晶素子１２４は、保持した差電圧に応じた透過率となる。 The liquid crystal element 124 is a transmissive type, and as is well known, a liquid crystal is sandwiched between a pixel electrode connected to the drain electrode of the transistor 122 and a common electrode common to each pixel 110, and the pixel electrode and the common electrode The transmittance corresponds to the effective value of the held voltage.
In such a liquid crystal element 124, when the scanning line 112 becomes H level corresponding to a voltage equal to or higher than a threshold value, the transistor 122 is turned on, and the voltage supplied to the data line 114 is applied to the pixel electrode. . Therefore, when the data line 114 is set to a voltage corresponding to the gradation when the scanning line 112 becomes H level, a voltage difference between the voltage corresponding to the gradation and the voltage Vcom is written in the liquid crystal element 124. It is. Note that when the scanning line 112 becomes L level, the transistor 122 is turned off, but the difference voltage written in the liquid crystal element 124 is held by the voltage holding property of the liquid crystal element 124 itself and the storage capacitor 126 connected in parallel. The liquid crystal element 124 has a transmittance corresponding to the held differential voltage.

光センサ１３０Ｒ、１３０Ｌの電気的な構成は互いに共通である。このため、光センサ１３０Ｒを例にとって説明すると、当該光センサ１３０Ｒは、トランジスタ１３１、１３２、１３３と、ｐｉｎ型の光ダイオード１３４と、センサ容量１３５とを有する。トランジスタ１３１は、センサ容量１３５に電圧をプリチャージさせるものであり、そのゲート電極は制御線１４２に接続され、そのソース電極は電圧Ｐreを給電する給電線に接続され、そのドレイン電極は光ダイオード１３４のカソード、センサ容量１３５の一端およびトランジスタ１３２のゲート電極にそれぞれ接続されている。光ダイオード１３４とセンサ容量１３５とは、トランジスタ１３１のドレイン電極（トランジスタ１３２のゲート電極）と、電圧基準の接地電位Ｇndとの間で並列接続されている。トランジスタ１３２のソース電極は電位Ｇndに接地され、そのドレイン電極は、読み出し用のトランジスタ１３３のソース電極に接続されている。トランジスタ１３３のゲート電極は制御線１４３に接続され、そのドレイン電極は読出線１４４Ｒに接続されている。 The electrical configurations of the optical sensors 130R and 130L are common to each other. Therefore, the optical sensor 130R will be described as an example. The optical sensor 130R includes transistors 131, 132, and 133, a pin type photodiode 134, and a sensor capacitor 135. The transistor 131 precharges the voltage to the sensor capacitor 135, its gate electrode is connected to the control line 142, its source electrode is connected to a power supply line that supplies the voltage Pre, and its drain electrode is the photodiode 134. Are connected to the cathode of the transistor, one end of the sensor capacitor 135, and the gate electrode of the transistor 132. The photodiode 134 and the sensor capacitor 135 are connected in parallel between the drain electrode of the transistor 131 (the gate electrode of the transistor 132) and the voltage-referenced ground potential Gnd. The source electrode of the transistor 132 is grounded to the potential Gnd, and the drain electrode thereof is connected to the source electrode of the reading transistor 133. The gate electrode of the transistor 133 is connected to the control line 143, and the drain electrode thereof is connected to the readout line 144R.

ここで、光ダイオード１３４の受光層は、トランジスタ１２２、１３１、１３２、１３３の能動層と同層で形成されている。詳細には、光ダイオード１３４は、ｐ層、ｉ層、ｎ層からなるｐｉｎ構造を有するが、これらの層は、トランジスタ１２２、１３１、１３２、１３３の能動層と同層で形成されている。これにより、トランジスタ１２２の形成工程により、トランジスタ１３１、１３２、１３３および光ダイオード１３４も併せて形成することが可能となる。 Here, the light receiving layer of the photodiode 134 is formed in the same layer as the active layers of the transistors 122, 131, 132, and 133. Specifically, the photodiode 134 has a pin structure including a p layer, an i layer, and an n layer. These layers are formed in the same layer as the active layers of the transistors 122, 131, 132, and 133. Thus, the transistors 131, 132, 133, and the photodiode 134 can be formed together by the formation process of the transistor 122.

光センサ１３０Ｒにおいて、まず、制御線１４２がＨレベルになると、トランジスタ１３１がオンするので、センサ容量１３５に電圧Ｐreがプリチャージされる。制御線１４２がＬレベルになってトランジスタ１３１がオフすると、光ダイオード１３４には、入射光量が多くなるにつれて逆バイアス方向にリーク電流が多く流れるので、センサ容量１３５の保持電圧がプリチャージ電圧Ｐreから減少する。詳細には、センサ容量１３５の一端は、光ダイオード１３４のリーク電流が少なければほぼプリチャージ電圧Ｐreを維持し、リーク電流が多くなるにつれて電圧ゼロに近づく。
このとき、読出線１４４Ｒを所定電圧にプリチャージした後、制御線１４３をＨレベルにすると、トランジスタ１３３がオンするので、トランジスタ１３２のドレイン電極が読出線１４４Ｒに接続される。光ダイオード１３４への入射光量が少なく、センサ容量１３５の一端がほぼプリチャージ電圧Ｐreに保たれているのであれば、トランジスタ１３２がほぼオン状態となるので、読出線１４４Ｒはプリチャージ電圧から電圧ゼロに向かって急激に変化する。一方、光ダイオード１３４への入射光量が多く、センサ容量１３５の一端がリーク電流によってほぼ電圧ゼロであれば、トランジスタ１３２がほぼオフ状態になるので、読出線１４４Ｒはプリチャージ電圧からほとんど変化しない。 In the optical sensor 130R, first, when the control line 142 becomes H level, the transistor 131 is turned on, so that the voltage Pre is precharged in the sensor capacitor 135. When the control line 142 becomes L level and the transistor 131 is turned off, a leak current flows in the photodiode 134 in the reverse bias direction as the amount of incident light increases. Therefore, the holding voltage of the sensor capacitor 135 is changed from the precharge voltage Pre. Decrease. Specifically, one end of the sensor capacitor 135 maintains the precharge voltage Pre if the leakage current of the photodiode 134 is small, and approaches zero as the leakage current increases.
At this time, when the control line 143 is set to the H level after precharging the read line 144R to a predetermined voltage, the transistor 133 is turned on, so that the drain electrode of the transistor 132 is connected to the read line 144R. If the amount of light incident on the photodiode 134 is small and one end of the sensor capacitor 135 is kept substantially at the precharge voltage Pre, the transistor 132 is almost turned on, so that the readout line 144R is zero from the precharge voltage. It changes rapidly toward. On the other hand, if the amount of light incident on the photodiode 134 is large and the voltage at one end of the sensor capacitor 135 is substantially zero due to the leakage current, the transistor 132 is almost turned off, so that the readout line 144R hardly changes from the precharge voltage.

したがって、制御線１４２をＨレベルからＬレベルとし、その後、制御線１４３をＨレベルにしたときに、読出線１４４Ｒがプリチャージ電圧から変化するか否かによって、制御線１４２（１４３）と読出線１４４Ｒとの交差に対応する光センサ１３０Ｒに対して入射光量が多いか、少ないかを判別することができる。
なお、ここでは光センサ１３０Ｒについて説明しているが、光センサ１３０Ｌについても同様である。すなわち、制御線１４２をＨレベルからＬレベルとし、その後、制御線１４３をＨレベルにしたときに、読出線１４４Ｌがプリチャージ電圧から変化するか否かによって、制御線１４２（１４３）と読出線１４４Ｌとの交差に対応する光センサ１３０Ｌに対して入射光量が多いか、少ないかを判別することができる。 Therefore, when the control line 142 is changed from the H level to the L level and then the control line 143 is changed to the H level, the control line 142 (143) and the read line depend on whether or not the read line 144R changes from the precharge voltage. Whether the amount of incident light is large or small with respect to the optical sensor 130R corresponding to the intersection with 144R can be determined.
Here, the optical sensor 130R is described, but the same applies to the optical sensor 130L. That is, when the control line 142 is changed from the H level to the L level and then the control line 143 is changed to the H level, the control line 142 (143) and the read line depend on whether or not the read line 144L changes from the precharge voltage. Whether the amount of incident light is large or small with respect to the optical sensor 130L corresponding to the intersection with 144L can be determined.

図２において、走査線１１２、制御線１４２、１４３は、すべての異なる場合について説明したが、一部を兼用することが可能である。同様に、データ線１１４、電圧Ｐreの給電線は、すべて異なる場合について説明したが、一部を兼用することが可能である。
また、実施形態では、１つの表示系１２０に対して１組の光センサ１３０Ｒ、１３０Ｌを有する構成としているが、例えば４つの表示系１２０に対して１組の光センサ１３０Ｒ、１３０Ｌというように、例えば複数個の表示系に対して１組としても良いし、また、２つの表示系１２０に対して１組の光センサ１３０Ｒ、１３０Ｌを設けても良い。 In FIG. 2, the scanning lines 112 and the control lines 142 and 143 have been described for all different cases, but some of them can also be used. Similarly, the case where the data line 114 and the power supply line of the voltage Pre are all different has been described, but a part of them can also be used.
In the embodiment, one display system 120 has one set of optical sensors 130R and 130L. For example, four display systems 120 have one set of optical sensors 130R and 130L. For example, one set may be provided for a plurality of display systems, or one set of optical sensors 130R and 130L may be provided for two display systems 120.

説明を図１に戻すと、制御回路１０は、Ｙドライバ１２、Ｘドライバ１４、Ｙドライバ１６および読出回路１８を制御するものである。
Ｙドライバ１２は、制御回路１０による制御にしたがって、表示パネル１００における走査線１１２を順番に選択して、選択した走査線にＨレベルとし、それ以外の走査線をＬレベルとするものである。Ｘドライバ１４は、選択された走査線に位置する画素１１０の階調に応じた電圧を、データ線１１４に印加するものである。
なお、Ｘドライバ１４は、図示省略した上位制御回路から表示すべき画像信号の供給を受け、これを表示に適合させた電圧に変換してデータ線に供給する。 Returning to FIG. 1, the control circuit 10 controls the Y driver 12, the X driver 14, the Y driver 16, and the readout circuit 18.
The Y driver 12 sequentially selects the scanning lines 112 in the display panel 100 according to the control by the control circuit 10, sets the selected scanning lines to the H level, and sets the other scanning lines to the L level. The X driver 14 applies a voltage corresponding to the gradation of the pixel 110 located on the selected scanning line to the data line 114.
The X driver 14 receives an image signal to be displayed from a host control circuit (not shown), converts it into a voltage adapted for display, and supplies it to the data line.

Ｙドライバ１６は、制御回路１０による制御にしたがって、表示パネル１００における制御線１４２をＨレベルからＬレベルとした後、対をなす制御線１４３をＨレベルとする動作を、画素１１０の１行ずつ順番に実行するものである。
検出回路を兼用する読出回路１８は、各列の読出線１４４Ｒ、１４４Ｌをプリチャージした後に電圧を読み出して、読み出した電圧がプリチャージ電圧から変化したか否かを検出するものである。詳細には、読出回路１８は、読出線の電圧がプリチャージ電圧から電圧ゼロに変化すれば、当該読出線の列と、Ｙドライバ１６において制御対象となっている行とで規定される画素の光センサへの入射光量が多いと検出し、読出線の電圧がプリチャージ電圧から変化しなければ、当該読出線の列と制御対象となっている行とで規定される画素の光センサへの入射光量が少ないと検出する。 The Y driver 16 changes the control line 142 in the display panel 100 from the H level to the L level according to the control of the control circuit 10 and then sets the paired control lines 143 to the H level for each row of the pixels 110. They are executed in order.
The readout circuit 18 also serving as a detection circuit reads out the voltage after precharging the readout lines 144R and 144L in each column, and detects whether or not the readout voltage has changed from the precharge voltage. Specifically, when the voltage of the readout line changes from the precharge voltage to the voltage zero, the readout circuit 18 detects the pixel defined by the column of the readout line and the row to be controlled by the Y driver 16. If the amount of light incident on the photosensor is detected to be large, and if the voltage of the readout line does not change from the precharge voltage, the pixel to the photosensor of the pixel defined by the column of the readout line and the row to be controlled is detected. Detects when the amount of incident light is small.

したがって、走査線１１２を順番に選択するとともに、選択された走査線に位置する画素の階調に応じた電圧をデータ線１１４に印加することにより、表示系１２０の液晶素子１２４に当該階調に応じた電圧を保持させることができる。
一方、制御線１４２、１４３を順番に一対（行）ずつ制御するとともに、各行の制御の都度、各列の読出線１４４Ｒ、１４４Ｌの電圧変化を判別することにより、光センサへの入射光量の大小を、全画素分について検出することができる。
なお、制御線１４２、１４３を１行目から最終行目まで制御するのに要する期間をセンサフレーム期間と称する。この実施形態では、走査線１１２と、制御線１４２・１４３とは、別個独立させているので、センサフレームの期間は、画像の表示に要する垂直走査期間とは無関係である。 Accordingly, the scanning lines 112 are selected in order, and a voltage corresponding to the gradation of the pixel located on the selected scanning line is applied to the data line 114, whereby the liquid crystal element 124 of the display system 120 is adjusted to the gradation. The corresponding voltage can be held.
On the other hand, the control lines 142 and 143 are controlled in pairs (rows) in order, and the amount of light incident on the optical sensor is determined by determining the voltage change of the readout lines 144R and 144L in each column for each row control. Can be detected for all pixels.
A period required to control the control lines 142 and 143 from the first line to the last line is referred to as a sensor frame period. In this embodiment, since the scanning line 112 and the control lines 142 and 143 are separately provided, the period of the sensor frame is independent of the vertical scanning period required for displaying an image.

判別回路２０は、光センサ１３０Ｒ、１３０Ｌの検出結果の全画素分について数フレームの期間分記憶するとともに、その記憶内容から後述する手順にしたがって表示パネル１００への操作状態を判別するものである。したがって、判別回路２０は、記憶回路、比較回路の機能も兼用することになる。 The discriminating circuit 20 stores all the pixels detected by the optical sensors 130R and 130L for a period of several frames, and discriminates the operation state of the display panel 100 from the stored contents according to a procedure described later. Therefore, the determination circuit 20 also functions as a storage circuit and a comparison circuit.

図３は、表示パネル１００の上方向を紙面上方向として背面方向（観察方向の反対側）からみたときに、画素１１０のマトリクス配列に対する遮光部材（ブラックマトリクス）の配置を示す平面図である。この図では、表示パネル１００の背面方向（すなわち、後述する図６の下側）からみているので、左側が運転席側となり、右側が助手席側となる。なお、観察側からみたときは、図３において左右反転となる。
図１や図３に示されるように、画素１１０は、縦および横方向に連続して配置したマトリクス配列となっている。
ここで、１つの画素１１０についての表示系１２０は矩形形状であり、また、光センサ１３０Ｒ、１３０Ｌの１組は、表示系１２０の下方において横方向に並んで配列している。 FIG. 3 is a plan view showing the arrangement of the light shielding members (black matrix) with respect to the matrix arrangement of the pixels 110 when viewed from the back direction (opposite to the observation direction) with the upper direction of the display panel 100 as the upper direction on the paper surface. In this figure, since it is seen from the back direction of the display panel 100 (that is, the lower side of FIG. 6 described later), the left side is the driver seat side and the right side is the passenger seat side. In addition, when viewed from the observation side, the left and right are reversed in FIG.
As shown in FIGS. 1 and 3, the pixels 110 have a matrix arrangement arranged continuously in the vertical and horizontal directions.
Here, the display system 120 for one pixel 110 has a rectangular shape, and one set of the optical sensors 130 R and 130 L is arranged in the horizontal direction below the display system 120.

遮光部材１５０は、図３においてハッチングで付されているように配置している。すなわち、遮光部材１５０は、表示系１２０の形状に合わせた開口部１５２と、光センサ１３０Ｒ、１３０Ｌに合わせた矩形形状の開口部１５４とを有している。図３において、光センサ１３０Ｒ、１３０Ｌが交互に配置されている。そして、図３の左より光センサ１３０Ｒ、１３０Ｌの順に並ぶ箇所では、光センサ１３０Ｒと１３０Ｌに跨るように遮光部材１５０が設けられている。一方、図３の左より光センサ１３０Ｌ、１３０Ｒの順に並ぶ箇所では、光センサ１３０Ｌと１３０Ｒに跨るように開口部１５４が設けられている。ここで、図３のように、同じ画素１１０における光センサ１３０Ｒ、１３０Ｌの境界と、遮光部材１５０における矩形形状の中心線１３８とが一致するように、遮光部材１５０が設けられる。また、遮光部材１５０は、同じ画素１１０に含まれる光センサ１３０Ｒ、１３０Ｌの境界線を含むように開口する開口部１５４を有し、隣接する画素１１０における光センサ１３０Ｌ、１３０Ｒの境界を遮光する構成となっていてもよい。 The light shielding member 150 is arranged as hatched in FIG. That is, the light shielding member 150 has an opening 152 that matches the shape of the display system 120 and a rectangular opening 154 that matches the optical sensors 130R and 130L. In FIG. 3, the optical sensors 130R and 130L are alternately arranged. And in the location which arranges in order of optical sensor 130R, 130L from the left of FIG. 3, the light shielding member 150 is provided so that optical sensor 130R and 130L may be straddled. On the other hand, an opening 154 is provided so as to straddle the optical sensors 130L and 130R at the positions where the optical sensors 130L and 130R are arranged in this order from the left in FIG. Here, as illustrated in FIG. 3, the light shielding member 150 is provided so that the boundary between the optical sensors 130 R and 130 L in the same pixel 110 and the rectangular center line 138 in the light shielding member 150 coincide with each other. The light shielding member 150 has an opening 154 that opens so as to include the boundary lines of the optical sensors 130R and 130L included in the same pixel 110, and blocks the boundaries of the optical sensors 130L and 130R in the adjacent pixels 110. It may be.

図４は、表示パネル１００の上方向を紙面手前方向として表示パネル１００の断面構成を示す図である。遮光部材１５０は、この図に示されるように、光センサ１３０Ｒ、１３０Ｌよりも観察側に設けられるので、光センサ１３０Ｒは、運転席側に向かって開口し、助手席側に向かう方向が遮光され、反対に、光センサ１３０Ｌは、助手席側に向かって開口し、運転席側に向かう方向が遮光される。このため、光センサ１３０Ｒは、助手席側方向からの光を入射せずに、運転席側方向からの光を入射し、光センサ１３０Ｌは、運転席側方向からの光を入射せずに、助手席側方向からの光を入射する。
なお、光センサ１３０Ｒへの入射光線の延長線は運転席に集約され、光センサ１３０Ｌへの入射光線の延長線は助手席に集約されるようにするため、光センサ１３０Ｒ、１３０Ｌのピッチｐや、光センサに対する遮光部材１５０の開口部の幅Ｗを、表示パネル１００の中央から両端に向かうにつれて変化させても良い。
また、本実施形態のように液晶素子１２４を透過型とする場合や、後述する半透過半反射型とする場合、バックライトにより照射された光が液晶素子１２４を透過する。このときに、バックライトによる照射光がトランジスタ１２４の能動層および光ダイオード１３４の受光層に入射しないように、上記遮光部材１５０とは異なる層による遮光膜が、能動層（受光層）とバックライトとの間に設けられる。 FIG. 4 is a diagram showing a cross-sectional configuration of the display panel 100 with the upper direction of the display panel 100 as the front side of the drawing. As shown in this figure, the light shielding member 150 is provided closer to the observation side than the optical sensors 130R and 130L. Therefore, the optical sensor 130R opens toward the driver's seat and is shielded in the direction toward the passenger seat. On the other hand, the optical sensor 130L opens toward the passenger seat, and the direction toward the driver seat is shielded from light. For this reason, the light sensor 130R does not enter the light from the passenger seat side direction but the light from the driver seat side direction, and the light sensor 130L does not enter the light from the driver seat side direction. Incident light from the passenger side.
In addition, the extension line of the incident light beam to the optical sensor 130R is concentrated in the driver's seat, and the extension line of the incident light beam to the optical sensor 130L is concentrated in the passenger seat, so that the pitch p of the optical sensors 130R and 130L The width W of the opening of the light shielding member 150 relative to the optical sensor may be changed from the center of the display panel 100 toward both ends.
Further, when the liquid crystal element 124 is a transmissive type as in the present embodiment or a semi-transmissive / semi-reflective type, which will be described later, light emitted from the backlight is transmitted through the liquid crystal element 124. At this time, a light-shielding film made of a layer different from the light-shielding member 150 serves as an active layer (light-receiving layer) and a backlight so that irradiation light from the backlight does not enter the active layer of the transistor 124 and the light-receiving layer of the photodiode 134. Between.

次に、このような光センサ１３０Ｒ、１３０Ｌを用いて、表示パネル１００への操作を検出する原理について説明する。図６は、表示パネル１００の上方からみたときに、指のような被検出物を球体として、その接近を示す図であり、図７は、その接近における光量変化を示す図である。
まず、比較的外部が明るい状態において、表示パネル１００から運転席側・助手席側にかけて指のような被検出物が存在するとき、当該被検出物の影が生じ、すなわち背景に対して暗くなる部分が生じて、光センサ１３０Ｒ、１３０Ｌによって検出される。一方、夜間やトンネル走行などのように比較的外部が暗い場合、バックライト（図示省略）による照射光が被検出物で反射して、光センサ１３０Ｒ、１３０Ｌに入射するので、被検出物による像は、背景に対して逆に明るくなる。
このため、外部が明るい場合にも暗い場合にも、光量が背景部分と比較して減少・増加した部分のうち、光センサ１３０Ｒにより特定されるものをＲ像、光センサ１３０Ｌにより特定されるものをＬ像として扱えば良いことになる。 Next, the principle of detecting an operation on the display panel 100 using such optical sensors 130R and 130L will be described. FIG. 6 is a diagram showing the approach when the object to be detected such as a finger is a sphere when viewed from above the display panel 100, and FIG. 7 is a diagram showing a change in the amount of light in the approach.
First, when a detection object such as a finger is present from the display panel 100 to the driver seat side / passenger seat side in a relatively bright exterior, a shadow of the detection object is generated, that is, dark with respect to the background. A portion occurs and is detected by the optical sensors 130R, 130L. On the other hand, when the outside is relatively dark, such as at night or when traveling in a tunnel, the light emitted from the backlight (not shown) is reflected by the detected object and enters the optical sensors 130R and 130L. Becomes brighter against the background.
Therefore, regardless of whether the outside is bright or dark, the portion specified by the optical sensor 130R among the portions where the amount of light is decreased or increased compared to the background portion is specified by the R image and the optical sensor 130L. Can be treated as an L image.

次に、図６に示されるように、被検出物が助手席側から表示パネル１００に接近する場合に、当該指が（ａ）、（ｂ）、（ｃ）の地点を経る、と考えられる。この場合に、光センサ１３０Ｒにより特定されるＲ像、および、光センサ１３０Ｌにより特定されるＬ像は、図７の（ａ）、（ｂ）、（ｃ）で示されるようなものとなることが考えられる。
すなわち、被検出物が表示パネル１００に接近するにつれて、Ｒ像とＬ像とは互いに近づき、被検出物が表示パネル１００に触れた状態に至ると、Ｒ像とＬ像とはほぼ重なる、と考えられる。
ここで、被検出物が表示パネル１００に助手席側から接近する場合であれば、Ｒ像とＬ像との移動速度を比較したとき、Ｒ像の移動速度の方がＬ像の移動速度よりも大きくなると考えられる。反対に、図示はしていないが、被検出物が表示パネル１００に運転席側から接近する際にＲ像とＬ像との移動速度を比較したとき、Ｌ像の移動速度の方がＲ像の移動速度よりも大きくなると考えられる。
また、図６（ｂ）から（ｄ）までに示されるように、被検出物が表示パネル１００に対して等距離を保った状態で平行移動したとき、図８に示されるように、Ｒ像、Ｌ像も移動するが、Ｒ像とＬ像との距離は一定値を保ち変化しない、と考えられる。 Next, as shown in FIG. 6, when the detected object approaches the display panel 100 from the passenger seat side, it is considered that the finger passes through the points (a), (b), and (c). . In this case, the R image specified by the optical sensor 130R and the L image specified by the optical sensor 130L are as shown in (a), (b), and (c) of FIG. Can be considered.
That is, as the detected object approaches the display panel 100, the R image and the L image approach each other, and when the detected object comes into contact with the display panel 100, the R image and the L image substantially overlap. Conceivable.
Here, if the object to be detected approaches the display panel 100 from the passenger seat side, the moving speed of the R image is higher than the moving speed of the L image when the moving speeds of the R image and the L image are compared. Is also expected to grow. On the contrary, although not shown, when the movement speed of the R image and the L image is compared when the object to be detected approaches the display panel 100 from the driver's seat side, the movement speed of the L image is higher than that of the R image. It is thought that it becomes larger than the moving speed.
Also, as shown in FIGS. 6B to 6D, when the object to be detected is translated while maintaining an equal distance from the display panel 100, an R image is obtained as shown in FIG. The L image also moves, but it is considered that the distance between the R image and the L image remains constant and does not change.

なお、光センサ１３０Ｒ、１３０Ｌが検出する光の入射方向は互いに異なり、また、遮光部材１５０と光センサ１３０Ｒ、１３０Ｌとの距離は、遮光部材１５０と表示パネル１００の表面（タッチ面）との距離と比較して極めて小さい。このため、光センサ１３０Ｒ、１３０Ｌとでは一種の視差が生じて、被検出物が表示パネル１００に触れた状態にあっても、Ｒ像とＬ像とが完全に重なることはない。
例えば、実際の表示パネル１００において、画素１１０の配列ピッチを４０μｍとしたとき、光センサ１３０Ｒ、１３０Ｌのピッチｐは２０μｍとなる。このとき、図４に示されるように、液晶層の厚み（光センサと遮光部材との距離）ｄを５μｍ、観察側基板の厚さＤをその１００倍の５００μｍとしたとき、パネル表面に被検出物が位置しているときのＲ像とＬ像との視差ｑはセンサピッチｐの１００倍の２０００μｍとなる。
このため、Ｒ像とＬ像とがずれていても、その差が２０００μｍ程度以内であれば、被検出物が表示パネル１００に触れた状態にある、と判別して良いことになる。 The incident directions of light detected by the optical sensors 130R and 130L are different from each other, and the distance between the light shielding member 150 and the optical sensors 130R and 130L is the distance between the light shielding member 150 and the surface (touch surface) of the display panel 100. Is extremely small compared to For this reason, a kind of parallax occurs between the optical sensors 130R and 130L, and the R image and the L image do not completely overlap even when the object to be detected touches the display panel 100.
For example, in the actual display panel 100, when the arrangement pitch of the pixels 110 is 40 μm, the pitch p of the optical sensors 130R and 130L is 20 μm. At this time, as shown in FIG. 4, when the thickness d of the liquid crystal layer (distance between the optical sensor and the light shielding member) d is 5 μm and the thickness D of the observation side substrate is 100 times 500 μm, the surface of the panel is covered. The parallax q between the R image and the L image when the detection object is located is 2000 μm, which is 100 times the sensor pitch p.
For this reason, even if the R image and the L image are misaligned, if the difference is within about 2000 μm, it can be determined that the detected object is in contact with the display panel 100.

図５は、この検出手順を具体的に示すフローチャートである。
判別回路２０は、まず、光センサ１３０Ｒ、１３０Ｌの検出結果を全画素分について取得したとき、ステップＳａ１において、当該検出結果を、次回のステップＳａ１を実行するときの比較のために記憶するとともに、１センサフレーム期間前に取得した検出結果を読み出し、今回と前回とを比較して、状態変化が発生しているか否かを判別する。なお、光センサ１３０Ｒ、１３０Ｌの検出結果を全画素分について取得するとしたが、全ての画素でなくてもよい。
ステップＳａ１がはじめて実行される場合には、１センサフレーム期間前に取得した結果が記憶されていないので、１センサフレーム分記憶してから上記判別を行うものとする。 FIG. 5 is a flowchart specifically showing this detection procedure.
First, when the detection results of the optical sensors 130R and 130L are acquired for all the pixels, the determination circuit 20 stores the detection results for comparison in the next execution of the step Sa1 in step Sa1. The detection result acquired before one sensor frame period is read, and this time is compared with the previous time to determine whether or not a state change has occurred. Note that the detection results of the optical sensors 130R and 130L are acquired for all pixels, but not all the pixels may be acquired.
When step Sa1 is executed for the first time, since the result obtained before one sensor frame period is not stored, the above determination is made after storing for one sensor frame.

変化していないと判別すれば、「Ｎｏ」となって、１センサフレーム期間が経過したときの次回に備える。一方、変化していると判別すれば「Ｙｅｓ」となって、処理手順は、ステップＳａ２に移行する。
なお、このステップＳａ１の実行タイミングは、光センサ１３０Ｒ、１３０Ｌの検出結果を全画素分について取得したときである。したがって、本実施形態では、ステップＳａ１は、センサフレームの期間周期で実行される。 If it is determined that there is no change, “No” is set, and the next time when one sensor frame period elapses is prepared. On the other hand, if it is determined that the change has occurred, “Yes” is set, and the processing procedure proceeds to step Sa2.
The execution timing of step Sa1 is when the detection results of the optical sensors 130R and 130L are acquired for all pixels. Therefore, in the present embodiment, step Sa1 is executed in the period period of the sensor frame.

判別回路２０は、ステップＳａ１において判別した状態変化がＲ像またはＬ像の移動であるか否かを判別する（ステップＳａ２）。
ここで、状態変化がＲ像またはＬ像の移動でなければ、それは指等の被検出物の動きに以外による状態変化である。このため、判別回路２０は、判別結果を「Ｎｏ」として、１センサフレーム期間が経過したときの次回に備える。
一方、ステップＳａ２において状態変化がＲ像またはＬ像の移動であるとき、判別回路２０は、判別結果を「Ｙｅｓ」として、Ｒ像およびＬ像の同士の距離が、前回と比較して変化したか否かを判別する（ステップＳａ３）。 The determination circuit 20 determines whether or not the state change determined in step Sa1 is the movement of the R image or the L image (step Sa2).
Here, if the state change is not the movement of the R image or the L image, it is a state change due to other than the movement of the detection object such as a finger. For this reason, the determination circuit 20 prepares for the next time when one sensor frame period has elapsed with the determination result set to “No”.
On the other hand, when the state change is the movement of the R image or the L image in step Sa2, the determination circuit 20 sets the determination result to “Yes” and the distance between the R image and the L image has changed compared to the previous time. Whether or not (step Sa3).

Ｒ像およびＬ像の同士の距離が変化していなければ、すなわち一定であれば、図８の（ｂ）から（ｄ）に示したように、それは、指が表示パネル１００に対して等距離を保った状態で平行移動したときの動作であるから、判別回路２０は、判別結果を「Ｎｏ」であるとして、１センサフレーム期間が経過したときの次回に備える。
一方、ステップＳａ３においてＲ像およびＬ像の同士の距離が変化していると判別すれば、判別回路２０は、さらに、当該距離の変化が縮小方向であるか否かを（ステップＳａ４）。 If the distance between the R image and the L image does not change, that is, if the distance is constant, as shown in FIGS. 8B to 8D, it means that the finger is equidistant from the display panel 100. Therefore, the determination circuit 20 assumes that the determination result is “No” and prepares for the next time when one sensor frame period elapses.
On the other hand, if it is determined in step Sa3 that the distance between the R image and the L image has changed, the determination circuit 20 further determines whether or not the change in the distance is in the reduction direction (step Sa4).

当該距離の変化が縮小方向になければ、すなわち拡大であれば、それは、指（被検出物）が表示パネル１００から離れる動作である。このため、判別回路２０は、ステップＳａ４における判別結果が「Ｎｏ」として、ステップＳａ６において被検出物が表示パネル１００から離反する動作であると判別し、この後、１センサフレーム期間が経過したときの次回に備える。
一方、当該距離の変化が縮小方向にあれば、それは、指が表示パネル１００に接近する動作である。このため、判別回路２０は、ステップＳａ４における判別結果が「Ｙｅｓ」として、ステップＳａ５において被検出物が表示パネル１００に接近する動作であると判別し、さらに、ステップＳａ７において、Ｌ像の移動距離がＲ像の移動距離と比較して小さいか否かを判別する。
なお、本実施形態では、指が表示パネル１００から離反する動作であると判別したとき（ステップＳａ６）または指が表示パネル１００に接近する動作であると判別したときに、その判別のみでは、なんら制御を実行しないが、例えば、表示画面を変更するような制御を実行させても良い。 If the change in the distance is not in the reduction direction, that is, if it is an enlargement, it is an operation in which the finger (detected object) moves away from the display panel 100. For this reason, the determination circuit 20 determines that the determination result in step Sa4 is “No”, and in step Sa6, the detection object is determined to move away from the display panel 100. Thereafter, when one sensor frame period has elapsed. Prepare for the next time.
On the other hand, if the change in the distance is in the reduction direction, it is an operation in which the finger approaches the display panel 100. Therefore, the determination circuit 20 determines that the determination result in step Sa4 is “Yes”, and in step Sa5, determines that the object to be detected is an operation to approach the display panel 100. Further, in step Sa7, the moving distance of the L image Is smaller than the moving distance of the R image.
In the present embodiment, when it is determined that the finger is moving away from the display panel 100 (step Sa6) or when it is determined that the finger is moving toward the display panel 100, the determination is not enough. Although control is not executed, for example, control that changes the display screen may be executed.

Ｌ像の移動距離がＲ像の移動距離よりも小さければ、それは、被検出物が助手席側から接近していることを示している。このため、判別回路２０は、判別結果を「Ｙｅｓ」として、ステップＳａ８において被検出物が助手席側から接近している旨を判別する。
一方、Ｌ像の移動距離がＲ像の移動距離よりも小さくなければ、それは、被検出物が運転席側から接近してことを示している。このため、判別回路２０は、判別結果を「Ｎｏ」として、ステップＳａ９において被検出物が運転席側から接近している旨を判別する。 If the moving distance of the L image is smaller than the moving distance of the R image, it indicates that the detected object is approaching from the passenger seat side. For this reason, the determination circuit 20 sets the determination result to “Yes”, and determines in step Sa8 that the detected object is approaching from the passenger seat side.
On the other hand, if the moving distance of the L image is not smaller than the moving distance of the R image, it indicates that the detected object is approaching from the driver's seat side. Therefore, the determination circuit 20 sets the determination result to “No”, and determines in step Sa9 that the detected object is approaching from the driver's seat side.

そして、ステップＳａ８またはＳａ９の後、判別回路２０は、図７（ｃ）に示されるようなＲ像とＬ像との距離ｎが視差を考慮して予め設定した閾値よりも小さいか否かを判別する（ステップＳａ１０）。Ｒ像およびＬ像の距離が閾値よりも小さければ、判別回路２０は、ステップＳａ１１において、被検出物が表示パネル１００にタッチしたものと判別して、所定の制御を実行する。例えば、判別回路２０は、例えばタッチされたと判別すると、Ｒ像の重心とＬ像の重心との中間座標を、タッチ中心座標として算出し、その座標と、タッチ操作された旨とをカー・ナビゲーション・システムを上位制御回路に通知する。
これにより、当該タッチ操作に合わせた処理が実行される。なお、このタッチ操作に合わせた処理としては、例えば、表示画面を切り替える、映像・ラジオなどの制御する、タッチ操作がなされた座標がアイコン表示位置に一致していれば、当該アイコンに応じた処理を実行する、などが考えられる。ステップＳａ１１の後、処理手順がステップＳａ１に戻り、センサフレーム期間が経過したときの次回の判別に備える。
一方、Ｒ像とＬ像との距離が閾値以上であれば、被検出物が表示パネル１００に接近するものの、表示パネルに未だタッチしていないことを意味する。このため、判別回路２０は、１センサフレーム期間が経過したときの次回に備える。
このように、判別回路２０は、光センサ１３０Ｒ、１３０Ｌの検出結果が全画素分について取得される毎に、ステップＳａ１〜Ｓａ１１の処理を繰り返し実行する。 Then, after step Sa8 or Sa9, the determination circuit 20 determines whether or not the distance n between the R image and the L image as shown in FIG. 7C is smaller than a preset threshold value in consideration of parallax. Determination is made (step Sa10). If the distance between the R image and the L image is smaller than the threshold value, the determination circuit 20 determines in step Sa11 that the detected object has touched the display panel 100, and executes predetermined control. For example, if the discrimination circuit 20 discriminates that the touch has been made, for example, an intermediate coordinate between the centroid of the R image and the centroid of the L image is calculated as the touch center coordinate, and the car navigation indicates the coordinates and the touch operation. -Notify the system to the host control circuit.
Thereby, the process according to the said touch operation is performed. In addition, as the processing according to the touch operation, for example, when the coordinates of the touch operation performed by switching the display screen, controlling video / radio, etc., coincide with the icon display position, the processing corresponding to the icon is performed. Can be considered. After step Sa11, the processing procedure returns to step Sa1 to prepare for the next determination when the sensor frame period has elapsed.
On the other hand, if the distance between the R image and the L image is equal to or greater than the threshold value, it means that the object to be detected approaches the display panel 100 but has not yet touched the display panel. For this reason, the determination circuit 20 prepares for the next time when one sensor frame period has elapsed.
In this manner, the determination circuit 20 repeatedly executes the processes of steps Sa1 to Sa11 each time the detection results of the optical sensors 130R and 130L are acquired for all pixels.

このようなステップＳａ１〜Ｓａ１１の処理において、運転席側および助手席側に着座している者が表示パネル１００に対して指等を接近させると、ステップＳａ１〜Ｓａ４の判別結果がいずれも「Ｙｅｓ」となる。さらに、助手席側からの接近であれば、ステップＳａ７の判別結果が「Ｙｅｓ」となり、運転席側からの接近であれば、ステップＳａ７の判別結果が「Ｎｏ」となる。そして、指等が表示パネル１００に触れる程度にまで近づくと、ステップＳａ１０の判別結果が「Ｙｅｓ」となり、近づいていなければ、ステップＳａ１０の判別結果が「Ｎｏ」となる。
なお、なんら動作をしなければ、あるいは、接近または離反動作を停止するなどして、１センサフレーム前と状態変化がなければ、ステップＳａ１の判別結果が「Ｎｏ」となる。また、なんらかの動作をしても、表示パネル１００に対して等距離を保った状態で指等をパネル面に対して平行移動したとき、ステップＳａ３の判別結果が「Ｎｏ」となる。
さらに、状態変化があっても、Ｒ像およびＬ像の距離が拡大する方向に変化していれば、指等が表示パネル１００から離れる動作であるとして判別される（ステップＳａ５）。
また、ここでは、Ｒ像、Ｌ像の距離変化を判別対象としているが、この距離変化は、１センサフレーム前との比較において求めるものであるから、Ｒ像、Ｌ像の移動速度を検出していることと実質的に等しい。したがって、Ｒ像、Ｌ像の移動速度を直接求めて、比較対象としても良い。 In such a process of steps Sa1 to Sa11, when a person sitting on the driver's seat side and the passenger seat side brings a finger or the like closer to the display panel 100, the determination results of steps Sa1 to Sa4 are all “Yes”. " Furthermore, if the approach is from the passenger seat side, the determination result in Step Sa7 is “Yes”, and if the approach is from the driver seat side, the determination result in Step Sa7 is “No”. When the finger or the like approaches the display panel 100, the determination result in step Sa10 is “Yes”. If not, the determination result in step Sa10 is “No”.
It should be noted that if no action is taken, or if the state does not change from one sensor frame before, for example, the approach or separation action is stopped, the determination result in step Sa1 is “No”. Even if any operation is performed, when the finger or the like is moved parallel to the panel surface while keeping the same distance from the display panel 100, the determination result in step Sa3 is “No”.
Furthermore, even if there is a change in state, if the distance between the R image and the L image changes in the direction of increasing, it is determined that the operation is such that the finger or the like moves away from the display panel 100 (step Sa5).
Here, the change in the distance between the R image and the L image is targeted for discrimination. However, since this change in distance is obtained in comparison with one sensor frame before, the moving speed of the R image and the L image is detected. Is substantially equivalent to Therefore, the moving speed of the R image and the L image may be directly obtained and used as a comparison target.

このように本実施形態では、光センサ１３０ＲによるＲ像および光センサ１３０ＬによるＬ像の時間的な変化によって、いずれの方向から指等が接近・離反しているのかを検出している。さらに、Ｒ像とＬ像との距離が閾値よりも小さくなったとときに、タッチ操作がなされたと判別しているので、被検出物の弾力性は必要でない。このため、本実施形態では、硬質のタッチペンなどによるタッチ操作についても判別が可能である。 As described above, in this embodiment, it is detected from which direction the finger or the like is approaching / separating from the temporal change of the R image by the optical sensor 130R and the L image by the optical sensor 130L. Furthermore, since it is determined that the touch operation has been performed when the distance between the R image and the L image becomes smaller than the threshold value, the elasticity of the detected object is not necessary. For this reason, in this embodiment, it is also possible to determine a touch operation with a hard touch pen or the like.

なお、本実施形態では、１画素において光センサ１３０Ｒ、１３０Ｌの１組を設けているが、タッチ時における画像のエッジの広がりは無関係であるので、光センサの配列密度は、それほど要求されない。このため、上述したように、複数画素に対して１組の割合で光センサ１３０Ｒ、１３０Ｌを設けても良い。また、１センサフレームにおいて、一部の画素についてのみ、光センサ１３０Ｒ、１３０Ｌの検出結果を取得するようにしても良い。 In this embodiment, one set of the optical sensors 130R and 130L is provided in one pixel. However, since the spread of the edge of the image at the time of touch is irrelevant, the arrangement density of the optical sensors is not so required. For this reason, as described above, the optical sensors 130R and 130L may be provided at a rate of one set for a plurality of pixels. In addition, the detection results of the optical sensors 130R and 130L may be acquired for only some pixels in one sensor frame.

また、上述したように本実施形態では、指等の接近・離反のみならず、表示パネル１００に対して等距離を保った状態での平行移動を検出することができる。詳細には、上記ステップＳａ３における判別結果が「Ｎｏ」となって、その状態が所定のセンサフレーム数だけ連続したときに、指等が表示パネル１００に対して等距離を保った状態で平行移動したことを検出することができる。さらに、そのＬ像、Ｒ像における移動方向、移動量を求めて、指等の平行移動方向、移動量も検出することができる。
このため、表示する画像を、検出した平行移動の操作、および、平行移動量に応じて変更制御、例えば地図画像やメニュー画面のスクロール方向、スクロール量を制御しても良い。 Further, as described above, in the present embodiment, not only the approaching / separating of a finger or the like, but also a parallel movement in a state where the display panel 100 is kept at an equal distance can be detected. Specifically, when the determination result in step Sa3 is “No” and the state continues for a predetermined number of sensor frames, the finger or the like moves parallel to the display panel 100 at an equal distance. Can be detected. Further, the movement direction and movement amount of the L image and R image can be obtained, and the parallel movement direction and movement amount of the finger or the like can also be detected.
For this reason, the image to be displayed may be changed according to the detected parallel movement operation and the parallel movement amount, for example, the scroll direction and the scroll amount of the map image or the menu screen may be controlled.

実施形態では、光センサ１３０Ｒに対して、助手席側に向かう方向からの光を遮断し、運転席側の方向からの光を入射させ、光センサ１３０Ｌに対して、運転席側方向からの光を遮断し、助手席側の方向からの光を入射させる機能を実現する光学部材の一例として、遮光部材１５０を例示したが、同様な機能は、遮光部材１５０以外であっても実現することができる。例えば、遮光部材１５０に代えて、図９に示されるようにレンズ層１６０を用いても実現することができる。ここで、レンズ層１６０は、図において上に凸であって紙面垂直方向に延在する断面半円筒形状のレンズを、光センサ１３０Ｒ、１３０Ｌの１列毎に配置したレンチキュラーレンズ１６０ａと、層部分１６０ｂとを含む。ここで、各レンズにおいて最も突出すべき部分が平面的に形成されており、この平面部分が表示パネル１００を構成する観察側の透明基板１０２に接触している。なお、透明基板１０２における接触面のうち、レンチキュラーレンズ１６０ａとの間隙が層部分１６０ｂであり、その屈折率は、レンチキュラーレンズ１６０ａを構成する材質の屈折率よりも低くなるように設定されている。
このようなレンズ層１６０によれば、レンチキュラーレンズ１６０ａにおいて突出すべき部分が平面的に形成されているので、層の厚みを小さくすることができる上に、光センサ１３０Ｒに対して運転席側の方向からの光をより多く光センサ１３０に入射させ、光センサ１３０Ｌに対して助手席側の方向からの光をより多く入射させることができるので、検出感度を向上させることも可能となる。
なお、図９に示されるように、図３において開口部１５４に対応する部分は、レンズ形状にする必要がなく、平坦部にしてもよい。すなわち、図９において、光センサ１３０Ｒ、１３０Ｌが交互に配置されている。そして、図９の左より光センサ１３０Ｒ、１３０Ｌの順に並ぶ箇所では、レンズ形状が設けられている。一方、図９の左より光センサ１３０Ｌ、１３０Ｒの順に並ぶ箇所では、光センサ１３０Ｌと１３０Ｒに跨るように平坦部が設けられている。光センサ１３０Ｌもしくは光センサ１３０Ｒとの位置関係により、この平坦部に対応する箇所に入射する光は、その光の方向が制限される。また、図９の左より光センサ１３０Ｒ、１３０Ｌの順に並ぶ箇所では、レンズにより光の方向が制限される。 In the embodiment, the light from the direction toward the passenger seat is blocked with respect to the optical sensor 130R, the light from the direction toward the driver's seat is incident, and the light from the direction toward the driver's seat is input to the optical sensor 130L. The light shielding member 150 is illustrated as an example of the optical member that realizes the function of blocking the light and allowing the light from the direction of the passenger seat to be incident. it can. For example, instead of the light shielding member 150, the lens layer 160 can be used as shown in FIG. Here, the lens layer 160 includes a lenticular lens 160a in which a lens having a semi-cylindrical cross section that is convex upward in the drawing and extends in the direction perpendicular to the paper surface is arranged for each row of the optical sensors 130R and 130L, and a layer portion. 160b. Here, the most protruding portion of each lens is formed in a planar manner, and this planar portion is in contact with the observation-side transparent substrate 102 constituting the display panel 100. Of the contact surface in the transparent substrate 102, the gap with the lenticular lens 160a is the layer portion 160b, and the refractive index thereof is set to be lower than the refractive index of the material constituting the lenticular lens 160a.
According to such a lens layer 160, the portion to be projected in the lenticular lens 160a is formed in a planar manner, so that the thickness of the layer can be reduced and the driver side of the optical sensor 130R can be reduced. Since more light from the direction can be incident on the optical sensor 130 and more light from the direction of the passenger seat can be incident on the optical sensor 130L, detection sensitivity can be improved.
As shown in FIG. 9, the portion corresponding to the opening 154 in FIG. 3 does not need to be a lens shape, and may be a flat portion. That is, in FIG. 9, the optical sensors 130R and 130L are alternately arranged. And the lens shape is provided in the location which arranges in order of the optical sensors 130R and 130L from the left of FIG. On the other hand, a flat portion is provided so as to straddle the optical sensors 130L and 130R at the positions where the optical sensors 130L and 130R are arranged in this order from the left in FIG. Due to the positional relationship with the optical sensor 130L or the optical sensor 130R, the direction of the light entering the portion corresponding to the flat portion is limited. In addition, in the places where the optical sensors 130R and 130L are arranged in order from the left in FIG. 9, the direction of light is limited by the lens.

実施形態における光ダイオード１３４の受光層については、アモルファスシリコン層で形成しても良い。詳細には、光ダイオードの第１電極を、トランジスタ１３１等のソース・ドレイン電極と同層で形成し、光ダイオードの受光層を第１電極の上に設けたアモルファスシリコン層で形成し、光ダイオードの第２電極を、画素電極と同層で形成して、第１電極、受光層、第２電極を縦方向（基板垂直方向）に揃えて設けても良い。このような光ダイオードは、受光層となるアモルファスシリコン層を追加するのみで形成することが可能となる。 The light receiving layer of the photodiode 134 in the embodiment may be formed of an amorphous silicon layer. Specifically, the first electrode of the photodiode is formed in the same layer as the source / drain electrodes of the transistor 131 and the like, and the light receiving layer of the photodiode is formed of an amorphous silicon layer provided on the first electrode. The second electrode may be formed in the same layer as the pixel electrode, and the first electrode, the light receiving layer, and the second electrode may be provided so as to be aligned in the vertical direction (substrate vertical direction). Such a photodiode can be formed only by adding an amorphous silicon layer as a light receiving layer.

実施形態において、遮光部材１５０については、ブラックマトリクスで兼用した構成としたが、液晶素子１２４を反射型または半透過半反射型とする場合には、反射層をパターニングして用いても良い。 In the embodiment, the light shielding member 150 is configured to be used as a black matrix. However, when the liquid crystal element 124 is a reflective type or a transflective type, a reflective layer may be patterned and used.

さらに、表示系１２０を１種類のみとしたが、運転席側方向にのみ例えばナビゲーション画像を表示させるものと、助手席側方向にのみ他の画像を表示させるものとの２種類用意して、それぞれ異なる画像を表示させても良い。
ここで、運転席側方向と助手席側方向とで異なる画像を表示させる場合に、助手席側からタッチ操作がなされたと判別したとき、運転席側方向の画像の変更を禁止して、助手席側方向の画像だけを変更し、反対に、運転席側からタッチ操作がなされたと判別したとき、助手席側方向の画像の変更を禁止して、運転席側方向の画像だけを変更する構成が好ましい。このような構成によれば、タッチ操作をした者への画像だけが変更制御されるので、タッチ操作がなされた方向と変更制御される画像との食い違いを防止することが可能となる。
また、画素の配列はいわゆる１行において半画素分シフトさせたモザイク配列として、表示解像度を改善しても良い。 Furthermore, although only one type of display system 120 is provided, two types are prepared, for example, a navigation image is displayed only in the driver's seat side direction, and another image is displayed only in the passenger seat side direction, Different images may be displayed.
Here, when displaying different images in the driver's seat direction and the passenger's seat direction, if it is determined that a touch operation has been performed from the passenger seat side, the change of the driver's seat direction image is prohibited, and the passenger seat A configuration in which only the image in the direction of the driver's seat is changed while only the image in the direction of the driver's side is changed when it is determined that the touch operation has been performed from the driver's seat side and the image in the direction of the passenger seat is prohibited is changed preferable. According to such a configuration, only the image for the person who performed the touch operation is controlled to be changed, so that it is possible to prevent a discrepancy between the direction in which the touch operation is performed and the image subjected to the change control.
Further, the display resolution may be improved by using a mosaic arrangement in which the pixel arrangement is shifted by half a pixel in one row.

なお、上述した実施形態では、指等が表示パネル１００に触れた状態と同視できる場合にタッチ操作がなされたと判断したが、閾値を若干大きくして、ある程度まで至近距離に達した段階で、すなわち、いずれかの方向からの指等が接近したことを検出した段階でタッチ操作がなされたと判断しても良い。
また、上述した実施形態では、表示パネル１００を液晶表示装置として説明したが、他の表示装置、例えば有機ＥＬ装置や、プラズマディスプレイ装置などにおいて、各画素に同様な光センサ１３０Ｒ、１３０Ｌを組み込むことによって、同様に接近方向およびタッチ操作を検出することが可能である。
表示装置を適用した電子機器機としては、上述したカー・ナビゲーション・システムのほかにも、携帯電話機や、デジタルスチルカメラや、テレビ、ビューファインダ型、モニタ直視型のビデオテープレコーダ、カーナビゲーション装置、ページャ、電子手帳、電卓、ワードプロセッサ、ワークステーション、テレビ電話、ＰＯＳ端末などのように、タッチ操作を検出する必要のある機器等などが挙げられる。 In the above-described embodiment, it is determined that the touch operation has been performed when the finger or the like can be seen as touching the display panel 100. However, the threshold value is slightly increased and the closest distance is reached to some extent, that is, Alternatively, it may be determined that a touch operation has been performed when it is detected that a finger or the like from any direction has approached.
In the above-described embodiment, the display panel 100 is described as a liquid crystal display device. However, in other display devices such as an organic EL device and a plasma display device, the same optical sensors 130R and 130L are incorporated in each pixel. It is possible to detect the approach direction and the touch operation in the same manner.
In addition to the car navigation system described above, the electronic device machine to which the display device is applied includes a mobile phone, a digital still camera, a TV, a viewfinder type, a monitor direct view type video tape recorder, a car navigation device, Examples of such devices include a pager, an electronic notebook, a calculator, a word processor, a workstation, a videophone, and a POS terminal, which need to detect a touch operation.

本発明の実施形態に係る表示装置の構成を示す図である。It is a figure which shows the structure of the display apparatus which concerns on embodiment of this invention. 同表示装置の画素の一例を示す図である。It is a figure which shows an example of the pixel of the display apparatus. 同表示装置における画素と遮光部材との配置を示す図である。It is a figure which shows arrangement | positioning of the pixel and light-shielding member in the display apparatus. 同表示装置における光学的な経路を示す図である。It is a figure which shows the optical path | route in the display apparatus. 同表示装置における操作検出を示すフローチャートである。It is a flowchart which shows the operation detection in the display apparatus. 同表示装置における操作検出を示す図である。It is a figure which shows the operation detection in the display apparatus. 同表示装置における操作検出を示す図である。It is a figure which shows the operation detection in the display apparatus. 同表示装置における操作検出を示す図である。It is a figure which shows the operation detection in the display apparatus. 同表示装置における光センサとレンズ層と位置関係を示す図である。It is a figure which shows the positional relationship with the optical sensor and lens layer in the display apparatus.

符号の説明Explanation of symbols

１０…制御回路、１２、１６…Ｙドライバ、１４…Ｘドライバ、１８…読出回路、２０…判別回路、１１０…画素、１１２…走査線、１１４…データ線、１２０…表示系、１２４…液晶素子、１３０Ｒ、１３０Ｌ…光センサ、１３４…光ダイオード、１４２、１４３…制御線、１４４Ｒ、１４４Ｌ…読出線、１５０…遮光部材 DESCRIPTION OF SYMBOLS 10 ... Control circuit 12, 16 ... Y driver, 14 ... X driver, 18 ... Reading circuit, 20 ... Discrimination circuit, 110 ... Pixel, 112 ... Scan line, 114 ... Data line, 120 ... Display system, 124 ... Liquid crystal element , 130R, 130L ... optical sensor, 134 ... photodiode, 142, 143 ... control line, 144R, 144L ... readout line, 150 ... light shielding member

Claims

画像を表示画面に表示する複数の表示画素と、
前記表示画素に応じて設けられ、各々が入射光量を検出する第１および第２光センサと、
前記第１光センサに、第１方向からの光を入射させ、前記第２光センサに、前記第１方向とは異なる第２方向からの光を入射させる光学部材と、
前記第１センサ及び第２センサを用いて第１期間にそれぞれ検出した第１検出結果及び第２検出結果を記憶する記憶回路と、
前記第１期間の後の第２期間に、前記第１センサ及び第２センサを用いてそれぞれ第３検出結果及び第４検出結果を検出した後、前記第３検出結果を前記第１検出結果と比較し、前記第４検出結果を第２検出結果と比較する比較回路と、
この比較結果に基づいて、被検出物が表示画面にタッチしたか否かを判別する判別回路と、
を具備することを特徴とする表示装置。 A plurality of display pixels for displaying an image on a display screen;
First and second photosensors provided according to the display pixels, each for detecting the amount of incident light;
An optical member for causing light from a first direction to be incident on the first photosensor and for allowing light from a second direction different from the first direction to be incident on the second photosensor;
A storage circuit for storing a first detection result and a second detection result detected in the first period using the first sensor and the second sensor, respectively;
After detecting the third detection result and the fourth detection result using the first sensor and the second sensor, respectively, in the second period after the first period, the third detection result is used as the first detection result. A comparison circuit for comparing and comparing the fourth detection result with the second detection result;
Based on this comparison result, a determination circuit for determining whether or not the detected object has touched the display screen,
A display device comprising:

前記光学部材は、前記第２方向から前記第１光センサに入射する光を遮るとともに、前記第１方向から前記第２光センサに入射する光を遮る遮光部材である
ことを特徴とする請求項１に記載の表示装置。 The optical member is a light blocking member that blocks light incident on the first photosensor from the second direction and blocks light incident on the second photosensor from the first direction. The display device according to 1.

前記遮光部材は、前記第１および第２光センサの隣接境界において開口する開口部を有する
ことを特徴とする請求項２に記載の表示装置。 The display device according to claim 2, wherein the light shielding member has an opening that opens at an adjacent boundary of the first and second photosensors.

前記表示画素の視認または背面方向からみたときに、前記第１および第２光センサに対する前記遮光部材の開口部の中心線は、前記第１および第２光センサの隣接境界線に一致している
ことを特徴とする請求項３に記載の表示装置。 The center line of the opening of the light blocking member with respect to the first and second photosensors coincides with the adjacent boundary line of the first and second photosensors when viewed from the viewing or back direction of the display pixel. The display device according to claim 3.

前記複数の表示画素の間を遮光するブラックマトリクスを有し、
前記ブラックマトリクスが前記遮光部材を兼用する
ことを特徴とする請求項２に記載の表示装置。 A black matrix that shields light between the plurality of display pixels;
The display device according to claim 2, wherein the black matrix also serves as the light shielding member.

前記光学部材は、前記第１および第２光センサの入射側に設けられ、前記入射側に凸のレンズ層である
ことを特徴とする請求項１に記載の表示装置。 The display device according to claim 1, wherein the optical member is a lens layer that is provided on an incident side of the first and second photosensors and is convex on the incident side.

画像を表示画面に表示する複数の表示画素と、
前記表示画素に対応して設けられ、各々が入射光量をそれぞれ検出する第１および第２光センサと、
前記第１光センサに、第１方向からの光を入射させ、前記第２光センサに、前記第１方向とは異なる第２方向からの光を入射させる光学部材と、
を有し、
第１期間において、前記第１センサ及び第２センサを用いてそれぞれ検出した第１検出結果及び第２検出結果を記憶し、
前記第１期間の後の第２期間に、前記第１センサ及び第２センサを用いてそれぞれ第３検出結果及び第４検出結果を検出した後、前記第３検出結果を前記第１検出結果と比較し、前記第４検出結果を第２検出結果と比較し、
この比較結果に基づいて、被検出物が表示画面にタッチしたか否かを判別する
ことを特徴とする表示装置の検出方法。 A plurality of display pixels for displaying an image on a display screen;
First and second photosensors provided corresponding to the display pixels, each detecting an incident light amount;
An optical member for causing light from a first direction to be incident on the first photosensor and for allowing light from a second direction different from the first direction to be incident on the second photosensor;
Have
Storing a first detection result and a second detection result respectively detected using the first sensor and the second sensor in the first period;
After detecting the third detection result and the fourth detection result using the first sensor and the second sensor, respectively, in the second period after the first period, the third detection result is used as the first detection result. Comparing, comparing the fourth detection result with the second detection result,
A method for detecting a display device, comprising: determining whether an object to be detected has touched a display screen based on the comparison result.

前記第１乃至４検出結果に基づいて、前記第１光センサにより検出される像と前記第２光センサにより検出される像とが接近していると判断した場合には、
前記第３検出結果を第１検出結果と比較した際に、前記第１光センサにより検出される像の移動速度を求め、
前記第４検出結果を第２検出結果と比較した際に、前記第２光センサにより検出される像の移動速度を求め、
前記第１光センサにより検出される像の移動速度が前記第２光センサにより検出される像の移動速度よりも小さい場合には、第１方向から被検出物が接近していると判別し、
前記第２光センサにより検出される像の移動速度が前記第１光センサにより検出される像の移動速度よりも小さい場合には、第２方向から被検出物が接近していると判別する
ことを特徴とする請求項７に記載の表示装置の検出方法。 When it is determined that the image detected by the first photosensor and the image detected by the second photosensor are close to each other based on the first to fourth detection results,
When the third detection result is compared with the first detection result, the moving speed of the image detected by the first photosensor is obtained,
When the fourth detection result is compared with the second detection result, the moving speed of the image detected by the second photosensor is obtained.
When the moving speed of the image detected by the first photosensor is smaller than the moving speed of the image detected by the second photosensor, it is determined that the detection object is approaching from the first direction;
When the moving speed of the image detected by the second photosensor is smaller than the moving speed of the image detected by the first photosensor, it is determined that the detection object is approaching from the second direction. The method for detecting a display device according to claim 7.

前記第１光センサにより検出される像と前記第２光センサにより検出される像との距離が予め定められた閾値よりも小さくなったときに、被検出物が表示画面にタッチしたと判別する
ことを特徴とする請求項７に記載の表示装置の検出方法。 When the distance between the image detected by the first optical sensor and the image detected by the second optical sensor is smaller than a predetermined threshold, it is determined that the detected object has touched the display screen. The method for detecting a display device according to claim 7.

画像を表示画面に表示する複数の表示画素と、
前記表示画素に対応して設けられ、各々が入射光量をそれぞれ検出する第１および第２光センサと、
前記第１光センサに、第１方向からの光を入射させ、前記第２光センサに、前記第１方向とは異なる第２方向からの光を入射させる光学部材と、
を有し、
第１期間において、前記第１センサ及び第２センサを用いてそれぞれ検出した第１検出結果及び第２検出結果を記憶し、
前記第１期間の後の第２期間に、前記第１センサ及び第２センサを用いてそれぞれ第３検出結果及び第４検出結果を検出した後、前記第３検出結果を前記第１検出結果と比較し、前記第４検出結果を第２検出結果と比較し、
この比較結果に基づいて、被検出物の接近、離反、あるいは平行移動のいずれかであるかを判別する
ことを特徴とする表示装置の検出方法。 A plurality of display pixels for displaying an image on a display screen;
First and second photosensors provided corresponding to the display pixels, each detecting an incident light amount;
An optical member for causing light from a first direction to be incident on the first photosensor and for allowing light from a second direction different from the first direction to be incident on the second photosensor;
Have
Storing a first detection result and a second detection result respectively detected using the first sensor and the second sensor in the first period;
After detecting the third detection result and the fourth detection result using the first sensor and the second sensor, respectively, in the second period after the first period, the third detection result is used as the first detection result. Comparing, comparing the fourth detection result with the second detection result,
A method for detecting a display device, comprising: discriminating whether the detected object is approaching, separating, or translating based on the comparison result.