CN1768322A - 显示装置及信息终端装置 - Google Patents

Abstract

本发明有关的液晶显示装置，具有排列设置信号线及扫描线的像素阵列部分(1)、驱动信号线的信号线驱动电路(2)、驱动扫描线的扫描线驱动电路(3)、将来自传感器的摄像数据串行输出的信号处理输出电路(4)、同步信号发生电路(5)。由于在使手指接的或接触像素阵列部分(1)时，检测摄像数据的黑白变化，而且考虑到周围的亮度，来确定手指坐标位置，因此周围无论亮暗，都能够高精度地检测坐标位置。另外，在进行坐标检测时，由于不是检测全部像素的摄像数据，而且沿信号线方向及扫描线方向都每隔多个像素检测摄像数据，因此能够缩短坐标检测所需要的时间。

Description

显示装置及信息终端装置

技术领域

本发明涉及具有图像取入功能的显示装置及信息终端装置。

背景技术

正提出一种在显示装置本身设置坐标输入功能的技术，以代替鼠标等坐标指示构件。例如，已经知道有在显示装置的表面配置压敏式触摸屏的结构、以及在显示装置的背面配置电磁感应图形输入板的结构。压敏式触摸屏是将带有由透明电极材料形成的透明电极图形的两块透明平板隔开规定间隔对置，仅在用手指等按压的部分使电极图形相互之间接触，使该电极图形的电阻值变化，从而计算用手指等按压的部分的坐标。电磁感应图形输入板是从配置在显示装置背面的专用图形输入板输出规定的电磁波，在具有谐振电路的专用笔接近显示装置表面时，用图形输入板接受从专用笔的谐振电路发出的电磁波，利用规定的方法计算该位置的坐标。都可用于便携式个人计算机及手机(参照特开平8-254682号公报及特开平7-225371号公报)。

但是，以往的带坐标输入功能的显示装置难以小型化，多数装置的重量也重。另外，与通常的显示装置相比，由于成本相当高，再加上结构复杂，因此存在容易损坏等维修方面的问题。另外，还迫切要求不会因各种各样的干扰而产生误动作。

发明内容

本发明正是鉴于这些方面而提出的，其目的在于提供能够小型化及低价格、并能够从高精度进行坐标检测的显示装置及信息终端装置。

本发明一形态有关的显示装置，能够检测出用人手或指示构件指示显示画面规定地方，具有：在纵横排列设置的信号线及扫描线的各交点附近形成的显示元件；与所述显示元件的各显示元件相对应设置的、在显示画面上利用所述显示元件显示规定的显示图像的状态下拍摄各自规定范围的入射光的摄像单元；以及根据拍摄图像检测与拍摄时的显示图像相关性强的部分、作为利用手或指示构件在显示画面上的指示装置的定位检测手段。

另外，本发明一形态有关的显示装置，能够检测出用人手或指示构件指示显示画面任意地方，具有：在纵横排列设置的信号线与扫描线的各交点附近形成的显示文件；拍摄各自在规定范围的入射光的摄像单元；每隔多条信号线设置的、向对应的多条信号线供给显示用像素数据的D/A变换电路；在所述D/A变换电路依次对多条信号线供给像素数据的期间、利用没有供给像素数据的信号线从像素输出所述摄像单元的摄像数据的放大电路；将从像素输出的摄像数据进行串行变换并输出的信号处理输出电路；以及根据所述摄像数据检测利用手或指示构件在显示画面上的指示位置的定位检测手段。

附图说明

图1所示为液晶显示装置一实施形态的简要构成方框图。

图2为像素阵列部分1的一个像素部分的详细电路图。

图3为玻璃基板上的一个像素部分的布局图。

图4为图像取入方法的说明图。

图5为沿水平方向相邻配置的四个像素等效电路图。

图6为图5的处理动作时序图。

图7为图6的详细时序图。

图8A～8D所示为用于手指触模像素阵列部分1的表面的前后用传感器的取入图像的图。

图9为计算手指的指示坐标的处理顺序流程图。

图10为画面坐标的说明图。

图11所示为信号处理输出电路4的内部结构一个例子的方框图。

图12所示为信号处理输出电路4或控制器6进行的手指坐标检测处理的流程图。

图13A～13D所示为拍摄图像的一个例子的图。

图14A～14E所示为拍摄图像取决于手指与像素阵列部分1的距离而变化的情况的图。

图15所示为实施形态2的动作时序图。

图16所示为在手指坐标检测时周期性地仅改变画面的按钮显示区r1及r2的辉度的例子的图。

图17为手机等附属吊带上安装的柔性指示构件的图。

图18所示为在显示帧期间的间隔设置手指坐标检测期间的例子的动作时序图。

图19为玻璃基板上具有用低温多晶硅TFT技术而形成的电路的显示装置简要构成图。

图20所示为在显示帧的间隔***一个空白帧及两个摄像帧的例子的图。

图21所示为在显示帧的间隔***一个空白帧及一个摄像帧的例子的图。

图22所示为干扰光的入射状况的图。

图23所示为使用图21的图形拍摄的拍摄图像的图。

图24所示为使用多个特殊图形进行拍摄的例子的图。

图25A～25B所示为使用图24的特殊图形进行拍摄而得到的拍摄图像的图。

图26所示为使用黑与白的方格花纹进行拍摄、而在下一个拍摄帧使用红与黑的方格花纹进行拍摄的例子的图。

图27A～27B所示为使用图26的图形拍摄的拍摄图像的图。

图28所示为仅选择按钮使特殊图形显示的例的图。

图29所示为干扰光的入射状况的图。

图30所示为选择按钮的拍摄结果的图。

图31所示为使指示构件的表面形成特殊图形的例子的图。

图32所示为接触前的接触面积的图。

图33所示为接触后的接触面积的图。

图34所示为拍摄帧的格子状态图形的图。

图35A及图35B所示为指示构件的变形例的图。

具体实施方式

以下，参照附图具体说明本发明有关的显示装置及信息终端装置。下面对于液晶显示装置进行说明，作为本发明有关的显示装置及信息终端装置的一个例子。

(第1实施形态)

第1实施形态的液晶显示装置是在各像素配置进行图像取入的传感器。将利用ITO等透明电极材料形成公共电极的对置基板，隔开规定间隔(约5微米)配置在LCD基板上，在它们之间注入液晶材料，以规定的方法封接，再在两基板的外侧粘贴使用偏光板。

图1所示为液晶显示装置一实施形态的简要构成方框图。图1的液晶显示装置，具有：信号线及扫描排列设置的像素阵列部分1、驱动信号线的信号线驱动电路2、驱动扫描线的扫描线驱动电路3、将来自传感器的摄像数据串行输出的信号处理输出电路4、同步信号发生电路5、以及控制器6，该控制器6从CPU接受数字像素数据，以规定的时序向信号线驱动电路供给数字像素数据，同时进行摄像数据的处理。

像素阵列部分1是在LCD基本上采用低温多晶硅TFT(Thin FilmTransistor，薄膜晶体管)形成的。另外，信号线驱动电路2、扫描线驱动电路3、信号处理输出电路4及同步信号发生电路5的至少一部分也用低温多晶硅TFT在LCD基板上形成。控制器6可以形成或安装在LCD基板上，也可以设置在别的基板上。

像素阵列部分1具有水平方向320像素×垂直方向240像素的显示分辨率。信号线的总数是320条，扫描线的总数是240条。各像素是正方形，没有滤色片。配置在LCD基板背面的未图示的背光源具有至少以红、绿、蓝发光的LED。

根据写入辅助电容Cs的电压，能够从白到黑以64级灰度改变液晶显示。它与同步，通过点亮背光源，使其发出红、绿、蓝的某一种光，可进行各种颜色的64级灰度显示，即进行所谓场顺序驱动。

在信号线驱动电路2的内部，以每四条信号线有一个的比例，一个设置80个DAC20。信号线驱动电路2在显示期间中，将一个水平期间一分四，将四条信号线作为一组，各组都是一条一条驱动信号线。将从外部IC以规定周期输入的数字像素数据变换为适于液晶驱动的模拟像素电压，依次驱动四条信号线。

扫描线驱动电路3具有80级的移位寄存器11、三选一电路12、电平移位器13、多路选通器(MUX电路)14、缓冲器15。

三选一译码器12从相邻的的三条扫描线中选择某一条。因而，三选一译码器12能够每隔三条驱动240条扫描线。通过进行这样的扫描线的驱动方法，能够在短时间内检测整个画面的平均灰度(白像素数相对于单元像素数的比例)。即，由于每隔三条驱动扫描线，读出与该扫描线相对应的传感器的摄像结果，来计算平均灰度，并根据该计算结果，决定是读出剩余的传感器的摄像结果，还是改变摄像条件来重新拍摄，因此不会无用地取入不符合摄像条件的摄像数据。通过这样，能够缩短到在最终显示摄像结果的时间，而且能够减少输出摄像数据用的功耗。

信号处理输出电路4具有预充电电路16、四条信号线输出中选择一条的四选一译码器17、将四选一译码器17的输出移位的移位寄存器18、以及与移位寄存器18的输出连接的输出缓冲器19。输出缓冲器19由串级连接的多个反相器构成，各反相器根据输出负载慢慢扩大沟道宽度。与移位时钟同步，将移位寄存器18的规定节点上依次出现的摄像数据放大，向外部送出。

图2是像素阵列部分1的一个像素部分的详细电路图，图3是玻璃基板上的一个像素部分的布局图。如图2所示，一个像素具有像素TFT31、控制辅助电容Cs是否存储电荷的显示控制TFT32、拍摄各自在规定范围的入射光的图像取入传感器33、存储传感器33的摄像结果的电容C1(以下也称为传感器电容)、存储与电容C1的存储电荷相对应的二值数据的SRAM34、以及对电容C1存储初始电荷用的初始化用TFT35。SRAM34具有串级连接的两个反相器，能够将电容C1的电位二值化，或者在TFT35及TFT36同时导通时连接成环状，以保持二值化的数据。

这里，利用根据辅助电容Cs存储的电荷所决的像素电极电位、与对置基本上形成的公共电极的电位之差，来控制夹在它们之间的液晶层的透射率，从而对各像素的辉度进行灰度控制。

在图2中表示每个像素设置一个传感器33的例子，但传感器33的数量没有特别限制。每一个像素的传感器33的数量越增加，则越能够提高图像取入的分辨率。

在进行电容C1的初始化时，使像素TFT31及初始化用TFT35导通。在将设定显示元件辉度用的模拟像素电压(模拟像素数据)写入辅助电容Cs时，使像素TFT31及显示控制TFT32导通。在进行SRAM34的数据保持(刷新)时，使初始化用TFT35及SRAM34内的数据保持用TFT36都导通。在对信号线供给SRAM34中存储的摄像数据时，使像素TFT31及数据保持用TFT36都导通。

本实施形态的显示装置可以进行通常的显示动作，也可以进行与扫描器相同的图像取入。再有，也可以读取因用户手指等慢慢接近而产生的手指影子或手指肚产生的反射光、或者因光笔接近而产生的明亮部分或投影图形，用于检测指示坐标。在进行通常的显示动作时，TFT35及36设定为断开状态，在SRAM34中不存储有效数据。在这种情况下，对信号线供给来自信号线驱动电路2的信号线电压，进行与该信号线电压相对应的显示。

另一方面，在进行图像取入时，如图4所示，在LCD基板1的上面一侧配置图像取入对象物体(例如纸面)37，来自背光源38的光通过对置基板39及LCD基板1向纸面37照射。被纸面37原射的光用LCD基板1上的传感器33接受，进行图像取入。

这里，配置在拍摄对象一侧的玻璃基板及偏光板最好尽可能要薄。传感器与拍摄对象的最短距离(即传感器基板的厚度与粘贴在传感器基板上的偏光板等光学薄膜等的厚度之和)为小于等于0.3mm，最好合计为小于等于0.2mm左右。这是由于纸面一般多数为漫反射面，使照射光大量慢射。若拍摄对象一侧的玻璃基板厚，则传感器受光部与纸面的距离增大，因而漫反射光容易进入相邻图像的传感器，往往导致取入图像模糊。另外，内装传感器的阵列基板1如图4所示，最好侧置在正面一侧。这是由于若配置在背面一侧(背光源一侧)，则手指的反射光要通过液晶层到达传感器，因此光量将降低。

取入图像数据存入图2所示的SRAM34之后，通过信号线送往未图示的LCDC。该LCDC接受从本实施形态的显示装置输出的数字信号，进行数据的重新排列及去除数据中的噪声等的运算处理。

在进行人的手指等比像素间距(几百微米左右)要大的物体的坐标检测时，不一定必须以高分辨率进行图像取入。因此，在本实施形态中，沿行(水平)方向每四条信号线进行图像取入，沿列(垂直)方向每三条扫描线进行图像取入。

图5为沿水平方向相邻配置的四个像素(像素n、像素(n+1)、像素(n+2)、像素(n+3)的等效电路图。其特征在于，控制线中对每行可以驱动Gate线及CRT，对每列可以驱动SFB及PCC。另外，在SRAM的输出部分设置栅极TFT。对于图5的四个像素供给来自同一个DAC20的模拟像素电压。另外，在图5的四个像素中，从信号处理输出电路4仅输出一个像素(最左侧的像素)的摄像数据。即，四个像素中输出摄像数据的仅是像素n。虽然也可以输出其它像素的摄像数据，但因此要浪费多余的时间。另外，不限定于四个像素中从哪一个写入模拟像素电压，从哪一个像素输出摄像数。也可以对每行适当地调换顺序。在计算光笔或手指等比像素间距要大的物体的指示坐标方向没有大的区别。另外，在本例中，所示的例子是从模拟像素电压的写入结束的像素输出传感器的例子，但也可以反过来，采用先输出传感器的数据、然后写入模拟像素电压的结构等各种变形。在将水平期间分割为多个期间、而一个DAC依次驱动信号线的结构中，一条条信号线为了显示所占用的期间短，什么也没有写入的时间长。宗旨在于将该长时间用于传感器的数据输出。

以下说明图5的四个像素中对像素n的数字像素数据的写入结束、而对像素(n+1)的数字像素数据正写入中的情况的动作。在这种情况下，在像素n中，使图2的信号PCC(n)为低电平，使信号SFB(n)为高电平，一面保持辅助电容Cs的电位，一面从SRAM34向信号线n写入数字像素数据。

通过这样，在像素n中，对辅助内容Cs不进行写入，从SRAM34经由数据保持用TFT36，向信号线n输出用SRAM34保持的摄像数据。

另外，在像素(n+1)中，使信号PCC(n+1)为高电平，使信号SFB(n+1)为低电平，将信号线(n+1)上的数字像素数据写入辅助电容Cs。因此，在像素(n+1)中，从SRAM34不会向信号线(n+1)输出摄像数据，而由DAC20驱动的信号线电压被取入辅助电容Cs。

另外，在像素(n+2)中，在使信号PCC(n+2)为高电平、使信号SFB(n+2)为低电平的状态下，等待从信号线(n+2)向辅助电容Cs写入。另外，在像素(n+3)中，在使信号PCC(n+3)为高电平、使信号SFB(n+3)为低电平的状态下，等待从信号线(n+3)向辅助电容Cs写入。

图6为图5的处理动作时序图，图7为详细时序图。首先，在时刻t1，开始对像素n写入数字像素数据。然后，在时刻t2，在像素(n+1)中开始写入数字像素数据，同时暂时使CRT(m)及SFB(n)都为高电平，将电容C1的电位二值化后的数据存入SRAM34后，将像素n的摄像数据向信号线n输出。在光笔接近该像素时或手指接近该像素时，显示装置的各像素所发的光在手指表面进行反应，在该像素的光传感器产生光泄漏，其结果电容C1的电位降低。利用SRAM34的二值化动作，在数字信号变为低电平信号后，向信号线n输出。另外，在没有因光笔或手指表面产生的反射光射到的像素的情况下，电容C1的电位不降低，二值化动作后作为高电平信号输出。然后，在时刻t3，像素(n+2)开始写入数字像素数据，同时信号线上的像素n的摄像数据在信号处理输出电路4内被锁存，在这之后对移位寄存器18进行写入，然后从移位寄存器18串行输出摄像输出。

然后，一到时刻t6，像素(n+3)开始写入数字像数数据。然后，一到时刻t7，在将信号PCC设定为低电平后，在时刻t8进行传感器电容(电容C1)是预充电。然后再进行动作，使得将一帧以后传感器电容的电位是否降低的情况利用SRAM34二值化后输出。

本实施形态对于列(垂直)方向在扫描线驱动电路3内设置多路选通器，在进行红、绿、蓝的各一个画面的显示之间进行三次隔行扫描驱动。所谓隔行扫描驱动，不是从第1行起依次进行扫描，而是指跳过数地进行扫描。为了计算手指等的指示坐标，将三行合起来看作为一行也没有关系。在连续数行中，只要根据某一行的摄像数据进行计算就足够了。于是，垂直方向的坐标在一个画面的显示期间计算三次。若考虑在红、绿、蓝的三个画面中，则计算九次。

另外，显示一个画面用的隔行扫描驱动不限定于三次。若减少移位寄存器数，增加多路选通器，则能够增加一帧期间中的扫描数。就能够跟踪光笔或手指等的更快的运动。反之，或增加移位寄存器数，减少多路选通器，则位置精度提高。

图8(a)及图8(b)所示为用手指触摸像素阵列部分1的表面的前后用传感器取入的图像。在室内等那样周围不太明亮的场合，用手指触摸前，由于在像素阵列部分1的附近没有使来自像素阵列部分1的光反射的物体，因此如图8(a)所示，取入图像全部为黑。若用手指触摸或使手指靠近像素阵列部分1，则如图8(b)所示，仅仅成为手指影子部分的传感器取入图像成为白色。

这样，若手指靠近，则由于取入图中产生黑白的明暗，因此利用摄像数据的值来检测黑白的边界部分，从而能够正确特定画面上的手指位置。

但是，由于手指轮廓附近遮住了外来光，像素阵列部分1的发光的反射减弱，因此变黑。因而，最好将黑色部分包围的白色部分的中心部分作为手指的指示坐标。

另外，在室外等周围明亮的场所，在手指没有触摸时，由于外来光而使传感器有反应，几乎全部成为接近白色的状态。在该状态下，若使手指靠近，则手指遮住外来光，产生阴影，如图8(c)所示，能够得到仅仅手指部分为黑色的摄像数据。然后，若使手指触摸像素阵列部分1，则如图8(d)所示，手指接触面将来自像素阵列部分1的发光进行反射，变成白色。但是，由于在手指边界附近遮住外来光，像素阵列部分1的发光的反射也减弱，因此变黑。因而，为了求出用手指指示的坐标，最好求出用黑色部分包围的白色部分的中心部分。

图9所示为计算手指指示坐标的处理顺序一个例子的流程图。该流程图利用信号处理输出电路4或控制器6来执行。首先，在一个画面大小的传感器取入图像中，判定黑的比例是否多于白的比例(步骤S1)。在黑的比例较多时，判断为周围暗，将摄像数据从黑突然变为白的区域的前端部分坐标作为的手指触模的指示坐标(步骤S2)。

另一方面，在白的比例多于黑的比例时，判断为周围亮，将从白变为黑的区域内的白的部分的中心坐标作为手指触摸的指示坐标(步骤S3)。

下面详细叙述手指触摸的指示坐标的计算方法。该计算最好在阵列基板上进行。其理由是由于，若用外部IC进行该计算，则必须从阵列基板输出全部含金量纱的黑白数据，不仅增大功耗，而且坐标检测也花费时间。

作为一个例子，说明320×240点的所谓QVGA面板。设各像素的坐标为(x，y)。这里，x为1，1，…，319，y为0，1，…，239。

图10所示的手指指示坐标(Ex，Ey)可用式(1)求出。

$\mathrm{Ex}=\frac{\underset{y=0}{\overset{239}{\mathrm{\Σ}}}\underset{x=0}{\overset{319}{\mathrm{\Σ}}}\mathrm{xL}(x,y)}{\underset{y=0}{\overset{239}{\mathrm{\Σ}}}\underset{x=0}{\overset{319}{\mathrm{\Σ}}}L(x,y)}$ $\mathrm{Ey}=\frac{\underset{y=0}{\overset{239}{\mathrm{\Σ}}}\underset{x=0}{\overset{319}{\mathrm{\Σ}}}\mathrm{yL}(x,y)}{\underset{y=0}{\overset{239}{\mathrm{\Σ}}}\underset{x=0}{\overset{319}{\mathrm{\Σ}}}L(x,y)}\·\·\·\left(1\right)$

式(1)的分母的∑L(x，y)为白像素的总数。

另外，手指的面积(Vx，Vy)可用式(2)求出。

$\mathrm{Vx}=\frac{\underset{y=0}{\overset{239}{\mathrm{\Σ}}}\underset{x=0}{\overset{319}{\mathrm{\Σ}}}{(x-\mathrm{Ex})}^{2}L(x,y)}{\underset{y=0}{\overset{239}{\mathrm{\Σ}}}\underset{x=0}{\overset{319}{\mathrm{\Σ}}}L(x,y)}$ $\mathrm{Vy}=\frac{\underset{y=0}{\overset{239}{\mathrm{\Σ}}}\underset{x=0}{\overset{319}{\mathrm{\Σ}}}{(y-\mathrm{Ey})}^{2}L(x,y)}{\underset{y=0}{\overset{239}{\mathrm{\Σ}}}\underset{x=0}{\overset{319}{\mathrm{\Σ}}}L(x,y)}\·\·\·\left(2\right)$

在本实施形态中，沿信号线方向将像素阵列部分1一分为8，计算手指指示坐标。在这种情况下，摄像数据的一个画面部分的相加值W可用式(3)表示，指示坐标的x坐标Ex可用式(4)表示。

$W=\underset{y=0}{\overset{239}{\mathrm{\Σ}}}\underset{x=0}{\overset{319}{\mathrm{\Σ}}}L(x,y)\·\·\·\left(3\right)$

$\mathrm{Ex}=\frac{1}{W}\underset{y=0}{\overset{239}{\mathrm{\Σ}}}\underset{x=0}{\overset{319}{\mathrm{\Σ}}}\mathrm{xL}(x,y)$

$=\frac{1}{W}\underset{y=0}{\overset{239}{\mathrm{\Σ}}}\underset{x=0}{\overset{39}{\mathrm{\Σ}}}(\mathrm{xL}(x,y)+(40+x)L(40+x,y)+\·\·\·+(280+x)L(280+x,y)$

$=\frac{1}{W}\underset{y=0}{\overset{239}{\mathrm{\Σ}}}(\underset{x=0}{\overset{39}{\mathrm{\Σ}}}(\mathrm{xL}(x,y)+\mathrm{xL}(40+x,y)+\·\·\·+\mathrm{xL}(280+x,y)+40\·\underset{x=0}{\overset{39}{\mathrm{\Σ}}}L(40+x,y)$

$+\·\·\·+280\·\underset{x=0}{\overset{39}{\mathrm{\Σ}}}L(280+x,y))$

…(4)

这里，如式(5)那样来设定。

$X_0\left(y\right)=\underset{x=0}{\overset{39}{\mathrm{\Σ}}}\mathrm{xL}(x,y),$ $X_1\left(y\right)=\underset{x=0}{\overset{39}{\mathrm{\Σ}}}\mathrm{xL}(40+x,y),\·\·\·,$ $X_7\left(y\right)=\underset{x=0}{\overset{39}{\mathrm{\Σ}}}\mathrm{xL}(280+x,y)$

$W_0\left(y\right)=\underset{x=0}{\overset{39}{\mathrm{\Σ}}}L(x,y),$ $W_1\left(y\right)=\underset{x=0}{\overset{39}{\mathrm{\Σ}}}L(40+x,y),$ $\·\·\·,W_7\left(y\right)=\underset{x=0}{\overset{39}{\mathrm{\Σ}}}L(280+x,y)$

…(5)

这时，式(4)就变成式(6)。

$\mathrm{Ex}=$ $\frac{1}{W}\underset{y=0}{\overset{239}{\mathrm{\Σ}}}(X_0\left(y\right)+X_1\left(y\right)+\·\·\·+X_7\left(y\right)+40W_1\left(y\right)+\·\·\·+280W_7\left(y\right))\·\·\·\left(6\right)$

式(6)中的W可用式(7)表示。

$W=\underset{y=0}{\overset{239}{\mathrm{\Σ}}}(W_0\left(y\right)+W_1\left(y\right)+\·\·\·+W_y\left(y\right)\·\·\·\left(7\right)$

同样，Ey如式(8)所示。

$E_y=\frac{1}{W}\underset{y=0}{\overset{239}{\mathrm{\Σ}}}\underset{x=0}{\overset{319}{\mathrm{\Σ}}}\mathrm{yL}(x,y)=\frac{1}{W}\underset{y=0}{\overset{239}{\mathrm{\Σ}}}y(W_0\left(y\right)+W_1\left(y\right)+\·\·\·+W_7\left(y\right))\·\·\·\left(8\right)$

上述的坐标计算是利用信号处理输出电路4或控制器6来进行。图11所示为用信号处理输出电路4进行坐标计算时的信号处理输出电路4的内部结构一个例子的方框图。图11的内部结构代替图1的预充电电路16、四选一译码器17、移位寄存器18及输出缓冲器19。

图11的信号处理输出电路4具有进行式(5)运算的串级连接的n个DSP41、存储用DSP41计算的Xi(y)(0≤i≤7)的寄存器42、存储用DSP41计算的Wi(y)(0≤i≤7)的寄存器43、进行式(9)运算的DSP44、进行式(10)运算的DSP45、寄存器X(y)、寄存器W(y)、进行式(11)运算的DSP46、进行式(12)运算的DSP47、以及进行式(13)运算的DSP48。

X(y)＝X₀(y)+X₁(y)+…+X₇(y)+40·W₁(y)+…+280·W₇(y)…(9)

W(y)＝W₀(y)+W₁(y)+…+W₇(y)   …(10)

$E_x\·W=\underset{y=0}{\overset{239}{\mathrm{\Σ}}}X\left(y\right)\·\·\·\left(11\right)$

$E_y\·W=\underset{y=0}{\overset{239}{\mathrm{\Σ}}}W\left(y\right)\·\·\·\left(12\right)$

$W=\underset{y=0}{\overset{239}{\mathrm{\Σ}}}W\left(y\right)\·\·\·\left(13\right)$

这些电路最好采用低温多晶硅TFT技术等，内装在LCD基板1上。与将整个画面的位图全部交给外部IC的结构相比，仅将式(11)、式(12)、式(13)的积和运算的结果交给外部IC的结构校为有利。这是由于，最终的坐标计算虽让外部IC来做，但为此交给外部IC的数据量越少，则在坐标检测所要的时间及功耗方面越有利。另外，连式(1)及式(2)的计算也在LCD基板1上来进行是不利的。这是由于，式(1)及式(2)的“作法”用的电路一般较复杂，使得LCD基本中不是显示区的边框区域(这里形成运算电路)增大。LCD基板1上的处理最好限于式(11)、式(12)、式(13)那样的“每行进行并能够依次相加的积和运算”。“根据全部像素的数据进行的除去”那样的复杂计算最好用控制器6等的外部半导体来进行。另外，式(11)、(12)、(13)的右边不是全部数据输出才开始能够计算的量，而是每次各行数据输出，就能够计算右边。这样，若不等到全部数据输出，就平行进行计算，则具有的优点是能够缩短数据输出后到确定坐标为止的时间，另外具有的优点是，作为进行计算用的硬件，可以采用动作速度较慢的由低温多晶硅TFT构成的电路。这样，在本实施形态的具有图像取入功能的液晶显示装置中，由于检测使手指接近或接触像素阵列部分1时的摄像数据的黑白变化，而且还考虑到周围的亮度，来确定手指坐标位置，因此周围不管是亮还是暗，都能够高精度检测坐标装置。

另外，在进行坐标检测时，由于不是检测全部像素的摄像数据，而是沿信号线方向及扫描线方向都是每隔多个像素来检测摄像数据，因此能够缩短坐标检测所需要的时间。

另外，计算坐标位置的摄像数据也可以是对拍摄图像进行噪声去除或特定形状(识别手指或指示构件用的形状)检测等的图像处理后的摄像数据(处理图像)。通过这样，能够提高检测精度。

传感器的密度也可以不是像素∶传感器＝1∶1，而是每十个像素有一个传感器。另外，传感器也可以仅配置在显示区的最外周。

在上述的实施形态中，主要说明的是将本发明用于液晶显示装置的例子，但本发明也可以适用于具有图像取入功能的所有种类的平面显示装置。

(第2实施形态)

第2实施形态是根据连续拍摄的两幅拍摄图像的差分图像来进行手指坐标检测。

图12所示为信号处理输出电路4或控制器6进行的手指坐标检测处理的流程图，图13所示为拍摄图像的一个例子。首先，在背光源点亮的状态下进行一帧图像的拍摄，将其拍摄结果(以下为第1图像)存入未图示的存储装置(步骤S11)。

拍摄图像中如图13(a)所示，与背光源的点亮及熄灭无关，包含因干扰而产生的白色部分，在背光源点亮的状态下，如图13(b)所示，能够得到包含手指产生的白色部分及干扰光产生的白色部分的图像。

然后，在背光源熄灭的状态下，进行一帧图像的拍摄，将其拍摄结果(以下为第2图像)存入未图示的存储装置(步骤S12)。在背光源熄灭的状态下，如图13(c)所示，手指产生的白色部分不存在，但能够得到包含干扰光产生的白色部分的图像。

然后，检测第1与第2图像之差分(以下为差分图像)(步骤S13)。例如，若设拍摄结果是白的时候为1，是黑的时候为0，则两个图像都为相同颜色时，差分为零，若第1图像为1，而第2图像为0，则差分为1。通过取第1与第2图像之差分，如图13(d)所示，能够得到没有干扰光产生的白色部分的差分图像。

然后，用上述的式(1)与式(2)，计算差分图像的中心坐标及直径(步骤S14)。

然后，判定差分图像的直径是否急剧增大(步骤S15)。图14所示为拍摄图像取决于手指与像素阵列部分1的距离而变化的情况。图14(a)所示为手指为像素阵列部分1的距离的概念图，图14(b)、图14(c)、图14(d)、图14(e)分别表示以距离＝5mm、距离＝2mm、距离＝0mm、距离＝0mm使手指按压像素阵列部分1的情况。在距离＝5mm及2mm时，来自手指肚的反射光几乎没有到达像素阵列部分1的传感器。一到达距离＝0mm，则仅来自手指肚的反射光输入传感器的部分变白。在将手指压紧时，该白部分的面积增大。

因此，在图12的步骤S14中，在判定为差分图像的直径急剧增大时，可以判别为手指确实与像素阵列部分1接触。在这种情况下，将差分图像的中心坐标作为手指接触位置(步骤S16)，返回步骤S11的处理。另一方面，在步骤S15中判定为差分图像的直径没有急剧增大时，判断为手指没有接触，返回步骤S11的处理。

图15为第2实施形态的动作时序图。如图15所示，设置通常显示期间t1及手指坐标检测期间t2。通常显示期间不进行手指坐标检测。该期间从信号线驱动电路2对各信号线供给显示用模拟电压，利用扫描线驱动电路3按规定顺序驱动各行的扫描线。以一秒钟50次(50Hz即20msec)的周期反复显示画面。

手指坐标检测期间一面进行显示，一面进行手指坐标检测。具体来说，每一帧重复背光源的点亮与熄灭。因此，用户看起来好像画面在闪烁，可以告知用户是手指坐标检测期间。闪烁的频率在50Hz以上，有时变得“画面一闪一闪”，使用户感到不舒服。在那样的情况下，最好使闪烁频率在15Hz左右以下。

在一帧期间(20ms)内，实际上有驱动扫描线并将图像信号写入像素的显示期间(16msec)、以及写完最后一行以后到开始写下一帧为止的消陷期间(4msec)。在消隐期间，从像素内的传感器进行数据输出，同时为了下一帧的摄像，对各像素的传感器电容进行预充电。该数据输出有对传感器电容的预充电在每一帧都进行。

在手指坐标检测期间内，如图15所示，使背光源周期性地点亮及熄灭，按图12的顺序反复检测差分图像。

这样，在第2实施形态中，由于根据使背光源点亮状态下的拍摄图像与熄灭状态下的拍摄图像之差分图像，检测手指接触位置，因此不会受到干扰光的影响，能够以高精度检测手指接触位置。

(第3实施形态)

在上述的第2实施形态中，说明的是在于指坐标检测期间内使背光源点亮及熄灭的例子，但也可以保持点亮背光源的状态不变，而改变像素阵列部分1的整个颜色来检测差分图像。

更具体来说，是在手指坐标检测期间内每进行一次一帧图像的拍摄，使整个像素部分1进行黑显示。然后，利用进行黑显示与不进行黑显示时的拍摄图像之差分，来检测差分图像。若使整个像素阵列部分1进行黑显示，则由于没有来自像素阵列部分1的光照射手指肚，因此没有来自手指肚的反射光输入传感器，能够与第2实施例同样进行手指坐标检测。

这样，在第3实施形态中，由于不使背光源点亮及熄灭就可完成，因此能够简化背光源的控制，力图提高背光源的寿命。

再有，为了取得差分图像，也可以考虑采用各种各样的两种显示。总而言之，在第1显示中，由于指等指示构件产生的指示部分在拍摄图像中“白”较多，而在第2显示中“黑”较多(即拍摄对比度高)，只要是这样的两种显示即可。这最好考虑到传感器的光谱特性及指示构件的反射特性等进行优化。

(第4实施形态)

在第2及第3实施形态中，所示的是在手指坐标检测时使像素阵列部分1的整个辉度周期性地变化的例子，但也可以只改变一部分画面区域的辉度。

已知有一种采用触摸屏方式的显示装置，它在画面上显示按钮，用于指触模该按钮。在本实施形态中采用这样的触摸屏时，在手指坐标检测时就不需要改变整个画面的辉度，而只要仅改变按钮显示区的辉度即可。

因此，在本实施形态中，如图16所示，在手指坐标检测时仅周期性地改变画面的按钮显示区r1及r2的辉度。更具体来说，背光源保持点亮的状态不变，每一帧使与按钮显示区相对应的像素的颜色显示黑色。进行手指坐标检测的顺序仍可以照原样利用图12的流程图。

这样，第4实施形态在于坐标检测时，由于仅改变按钮显示区的辉度，因此能够减轻手指坐标检测时的画面重写处理的负担。

另外，按钮部分的显示可能有各种变形，总而方之，只要拍摄对比度高的两种显示即可，这与第3实施形态的末尾所述的相同。

(第5实施形态)

第5实施形态是采用人的手段以外的指示构件来指定特定位置的情况。

人的手指表面的颜色及手指的粗细因人而异，另外还有时戴了手套，检测灵敏度有可能因人或因时而变动。

因此，考虑用球状的柔性指示构件来按压像素阵列部分1，以指示特定位置。在手机等采用本实施形态的显示装置的情况下，如图17所示，只要在手机等附属的吊带上安装上述的指示构件50即可。

这种指示构件最好进行涂装，使其反射率例如大于等于50％，最好接近100％。这里的所谓反射率，是以涂布硫酸钡等所制成的标准白板的反射率为基准。作为指示构件的例子，可以采用印相纸或高质量纸等作为指示构件。另外，也可以是如图35A或图35B那样蒸镀了铝等的镜子那样的表面(镜面反射面)。在这种情况下，同于与纸不同，其表面不是漫反射面，因此拍摄图像不容易模糊，能够进行高精度的位置检测。为了防止显示面上划伤显示装置，最好配置丙烯保护板。或者，最好进行传感器容易检测图像用的涂装。另外，通过选择柔性材质，在稍微按压像素阵列部分1时，由于接触面积就扩大，因此作为传感器的图像能够确实检测出。

这样，在第5实施形态中，由于使用指示构件来指定像素阵列部分1上的特定位置，因此与手指表面的颜色及手指的粗细等无关，能够进行手指坐标检测，提高手指坐标检测的精度。

另外，最好将指示构件的表面如图31所示形成方格花纹等特殊图形。这是由于，拍摄结果中能够检测出方格花纹的部分可判断为指示位置。在将它用力按压显示面时的接触面就从图32的状态变为图33那样增大接触面积。通过这样，方格花纹的面积占有拍摄图像的比例增大。只要将它判断触击即可。另外，特殊图形可以是花纹，也可以是形状。再有，在指示构件中也可以内装LED等未图示的光源，在指示构件接触显示面时，使其投影达到传感器能够读取的程度的花纹。另外，指示构件的接触面积在用户按压显示面时应该有某种程度地增大，但若过于软，则直径增加100％以上，反而使用的感觉会不好。

(第6实施形态)

通常，背光源是使用荧光管，但在手指坐标检测期间内反复使背光源点亮及熄灭时，最好采用响应速度快的LED作为背光源的光源。在这种情况下，可以在整个像素阵列部分1均匀设置多个LED，也可以在像素阵列部分1的端部配置一人或少量的LED。

或者，背光源也可以在手指坐标检测时始终保持点亮状态，而利用与背光源分开的其它光源进行手指坐标检测。这种其它光源最好是LED、EL(Electroluminescence，电致发光)或红外光源。

另外，也可以如图18的动作时序图所示，在显示帧期间的间隔设置手指坐标检测期间时，任意改变手指坐标检测期间内的背光源点亮期间与熄灭期间的宽度。通过这样，能够进行相位检波，改善拍摄图像的S/N比。即，背光源的点亮及熄灭对于拍摄图像中的手指等反射光部分的影响最大。在该部分中，背光源点亮时，与白色对应的数据增多，而在背光源不点亮时，与黑色对应的数据增多。其它的部分由于取决于外来光等周围光，因此最能够跟踪背光源点亮及熄灭的部分可以判断为是利用手指等指示的指示位置。

(第7实施形态)

第7实施形态是在通常的显示帧的间隔***摄像用的帧(摄像帧)，根据连续拍摄的两帧拍摄图像之差分图像，进行手指坐标检测。

图19是具有在玻璃基板(Glass substrate)51上采用低温多晶硅TFT技术形成的电路、外部控制器6、主装置52的显示装置的简要构成图。在玻璃基板51上，形成像素阵列部分1、信号线驱动电路2、扫描线驱动电路3、信号处理输出电路4、传感器控制器53及A/D变换器54等。控制器6除了将显示数据供给玻璃基板51以外，还根据玻璃基板51的信号处理输出电路4输出的图像数据，判定手指指示的坐标及有关触击(利用的指的点击动作)指示。

在不接受手指输入的通常显示中，以帧频50Hz从控制器6将显示数据供给玻璃基板51。在接受手指输入的状态下，如图20所示，在显示帧的间隔***摄像用的三帧F1、F2、F3。这些帧中的一帧是空白帧F1，剩下的两帧是摄像帧F3。

在空白帧F1中，使显示变为白光显示。经常使用的扭曲向列液晶的响应速度由于较慢，为20ms左右，因此若立刻拍摄，则由于显示帧的图像作为余像保留，因此除了手指反射光以外，还保留白的部分，这成为坐标运算出错的原因。为避免这种情况，设置空白帧F1。

摄像帧F2及F3中的一帧是白光，另一帧是黑光。这里的黑光不是写入黑作为显示数据，而是通过背光源熄灭来实现。若这样，则即使液晶的响应慢，也能够迅速进行黑显示。使用背光源点亮时的拍摄图像及背光源熄灭时的拍摄图像，由控制器6进行除去干扰光的坐标运算。这是采用与第2实施形态相同的方法进行。

这样，在第7实施形态中，由于在显示帧与摄像帧之间设置空白帧因此摄像帧不受显示帧的余像的影响，拍摄图像的质量提高。另外，由于设置两幅摄像帧，因此能够确实除去干扰光。

(第8实施形态)

第8实施形态是将在通常的显示帧的间隔设置的摄像帧采用特殊图形，不需要两幅摄像结果的差分运算。

在不接受手指输入的通常显示中，以帧频50Hz从控制器6将显示数据供给玻璃基板。在接受手指输入的状态下，如图21所示，在显示帧的间隔***摄像用的两帧F4、F5。这些帧中的一帧是空白帧F4，另一帧是摄像帧F5。

在空白帧F4中，使显示空为特殊显示。在本例中，采用方框花纹图形。经常使用的扭曲向列液晶的响应速度由于较慢，为10ms左右，因此若立即拍摄，则由于显示帧的图像作为余像保留，因此除了手指反射光以外，还保留白的部分，这成为坐标运算出错的原因。为避免这种情况，设置空白帧F4。

摄像帧F5是保持背光源点亮状态不变的方格花纹显示。如图22所示，在不仅手指触摸液晶显示面、而且干扰光(太阳光或荧光灯)入射显示面的状况下，成问题的是能否正确计算手指坐标。在这种情况下，由于显示面上显示方框花纹，因此从液晶显示面发出的光具有方格花纹。这利用手指反射后，则方格花纹被液晶显示装置内装的传感器33读取。

另一方面，干扰光与液晶显示面的亮度无关。图22的状况下的拍摄结果如图23所示，仅仅是用手指触摸的区域成为方格花纹，干扰光入射的部分成为白色。因而，控制器6只要从液晶显示装置输出的摄像数据中，检索成为黑白方格花纹的部分，计算其中心坐标即可。另外，在进行触击检测的情况也相同，只要计算具有方格花纹部分的直径，在直径突变时看作为触击即可。

另外，若特殊图形的重复周期(在本例中是黑白方格花纹的粗细)过小，则拍摄图像中特殊图形被破坏(模糊)，住往不能识别干扰光及由指示构件产生的反射光。特别是在用没有微透镜等光学***的显示装置进行读取时，在手指触击显示面的状态下，很难识别比手指与光传感器之间的距离60更细的方格花纹。反之，若方格花纹过粗，则在计算手指中心位置时的精度变差。因此，方框花纹的黑或白的图形的宽度最小值要大于d0，最好是d0的2倍至5倍左右。在实施形态中，由于玻璃基板的厚度为0.4mm，偏光板等光学薄膜的厚度为0.2mm，因此d0＝0.4+0.2＝0.6mm。黑白方格花纹采用将1.2mm见方的白正方形与1.2mm见方的黑正方形组合的图形。

摄像帧用的特殊图形可以有各种变形。也可以是图34所示那样的格子。在方格花纹中每单位面积的白像素数与黑像素数相等，与此不同的时，格子中的白像素数增多。由于特殊图形中每单位面积的白像素数比黑像素越多时，照射手指或指示构件的光量越多，被手指或指示构件反射而入射传感器的光量越增加，因此能够以更短时间进行检测。另一方面，若使白像素的比例极端增大，则干扰光与指示构件的反射光的识别能力降低。每单位面积的白像素/黑像素之比最好为2～9的范围。

在图34中，若设黑像素的宽度为a，白像素的宽度为b，传感器与拍摄对象物体最接近时的间隔为d0，则必须满足以下的式(14)～(16)。

$2\≤\frac{a}{d0}\≤5\·\·\·\left(14\right)$

$2\≤\frac{b}{d0}\≤5\·\·\·\left(15\right)$

$2\≤\frac{{(a+b)}^2-a^2}{a^2}\≤9\·\·\·\left(16\right)$

式(14)及式(15)表示将黑像素或白像素的宽度用d0除的值设定为2～5。2～5是通过实验得到的经验值。式(6)表示将每单位面积的白像素的面积比例设定为2～9。2～9是通过实验得到的经验值。

另外，特殊图形所用的颜色不限定于白和黑。只要是拍摄对比度高的两种颜色即可，最好考虑到传感器的光谱特性及指示构件的反射特性等进行优化。考虑到有时外来光呈现特殊图形入射显示面，最好采用难以用外来光构成的图形。另外，不限于单一图形。也可以预先准备若干个摄像帧用的特殊图形并组合使用。

图24所示为使用多个特殊图形进行拍摄的例子。在图24中，显示方框花纹将拍摄，从摄像结果中检索方框花纹图形部分。在下一个摄像帧中显示纵条纹图形并拍摄，从摄像结果中检索纵条纹图形部分。

图25所示为使用图24的特殊图形进行拍摄而得到的拍摄图像，图25(a)所示为使用方格花纹图形时的拍摄图像，图25(b)所示为使用纹条纹图形时的拍摄图像。如图25所示，在近似相同位置检测出方格花纹图形部分与纵条纹图形部分时，判断为手指坐标。如果，仅仅是某一方，则判断为例如运气不好是纵条纹的干扰光入射的。这样，能够提高手指的识别力。通过这样，能够进一步降低因干扰光而引起的误动作的概率。

特殊图形的颜色也可以是黑与白的组合以外的颜色。也可以如图26所示，例如用黑与白的方格花纹图形进行拍摄，在下一个摄像帧中，用红与黑的方框花纹图形进行拍摄。由于用低温多晶硅工艺形成的光电二极管对红色的灵敏度比较低，因此用黑与白的方格花纹图形的拍摄结果如图27(a)那样方格花纹清楚，而用红与黑的方格花纹图形的拍摄结果如图27(b)那样方框花纹模糊。另外，即使特殊图形的颜色改变，外来干扰光的影响也不变，其理由是如图4所示，由于在正面一侧配置内装传感器33的阵列基板，因此即使液晶显示变化，但到达传感器33的信号也不变化。顺便提一下，在背面一侧(背光源一侧)配置内装传感器33的阵列基板时，由于外来光在到达传感器之前通过液晶层，因此受到显示产生的影响，有难以与手指的反射光加以区别的问题。这样，可以有各种变形，宗旨在于在拍摄结果中，将与拍摄时的显示条件相对应的部分作为手指，将不相对应的部分作为干扰。

(第9实施形态)

第9实施形态是如图28所示，是在显示帧的一部分显示指示手指输入位置的图形(选择扫钮等)。选择按钮等部分成为特殊图形。在本例中，设为方格花纹图形。若这样，则由于控制器6只要对选择按钮的显示区进行图像数据的分析即可，因此处理能够高速化。另外，能够进一步减少因干扰而产生的误动作的概率。

本装置产生误动作的主要原因有两种情况，(1)是有方格花纹的干扰光，(2)是该干扰光入射选择按钮。由于加上(2)的要求，比第7实施例不同，不需要在显示间的间隔***摄像用的特殊图形。由于控制器的动作比较简单，因此控制器的门数可以减少，能够降低控制器的价格。

在不接受手指输入的通常显示中，以帧频50Hz从控制器6将显示数据供给玻璃基板。这时，不需要特意显示开关等。在接受手指输入的状态下，如图28所示，在显示帧的任意位置上显示选择按钮。选择按钮的显示区采用特殊图形。在本例中，设为方格花纹图形。

如图29所示，在显示面上显示任意图形及纵向排列的三个开关，考虑用手指选择从上向下的第2个选择按钮、而干扰光入射从上向下的第3个选择按钮的情况。图30为从拍摄图像中仅排出选择按钮的图像。最上面的开关由于是黑的，因此能够判断为未被选择。从上向下仅第3个开关由于是白的，因此能够判断为外来光干扰所致。从上向下第2个开关由于有方格花纹图形，因此能够判断为由于指选择的开关。这样，能够区别手指产生的指示及干扰光。

另外，特殊图形不限于方格花纹图形，可以有种种变形。特别图形的颜色有考虑有各种各样。总而言之，最好考虑到传感器的光谱特性及指示构件的反射特性等，将摄像对比度高的颜色加以组合。构成图形的线段的粗细与第8实施形态相同。

第1～第9实施形态都能与众所周知的“从拍摄图像去除噪声的手段”、“从拍摄图像中检索及抽取特殊图形的手段”等组合使用。

工业上的实用性

根据本发明，由于根据用摄像单元拍摄的二值数据及周围的亮度，检测手或指示构件的指示位置，因此周围无论亮暗，都能够进行高精度的检测。

Claims (30)

1.一种显示装置，能够检测出用人手或指示构件指示显示画面规定地方，其特征在于，包括：

在纵横排列设置的信号线及扫描线的各交点附近形成的显示元件；

与所述显示元件的各显示元件相对应设置的、在显示画面上利用所述显示元件显示规定的显示图像的状态下拍摄各自规定范围的入射光的摄像单元；以及

根据拍摄图像，检测与拍摄时的显示图像相关性强的部分作为利用手或指示构件在显示画面上的指示位置的定位检测手段。

2.如权利要求1所述的显示装置，其特征在于，

所述显示元件在所述拍摄时，错开时间显示拍摄对比度高的两种显示图像，

所述摄像单元在所述两种显示图像分别显示时，分别一个个地进行拍摄。

3.如权利要求2所述的显示装置，其特征在于，

所述两种显示图像是互相显示辉度差大的显示图像。

4.如权利要求3所述的显示装置，其特征在于，

所述两种显示图像的一种显示图像是背光源熄灭状态下的显示图像。

5.如权利要求3所述的显示装置，其特征在于，

具有通过以规定周期交替进行显示辉度高的状态下的拍摄及低的状态下的拍摄，进行相位检波的显示控制电路。

6.如权利要求2所述的显示装置，其特征在于，

所述两种显示图像是包含所述摄像单元的灵敏度高的颜色的显示图像、以及包含所述摄像单元的灵敏度低的颜色的显示图像。

7.如权利要求2所述的显示装置，其特征在于，

所述显示元件从画面闪烁达到人能够识别的程度的周期，切换所述两种显示图像。

8.如权利要求1所述的显示装置，其特征在于，

所述两种显示图像分别是至少两种颜色以规定间隔及规定比例组合的图形的图像。

9.如权利要求8所述的显示装置，其特征在于，

所述图形包含拍摄对比度高的两种颜色。

10.如权利要求9所述的显示装置，其特征在于，

所述两种颜色的显示面积的比例是所述摄像单元灵敏度高的颜色一方较多。

11.如权利要求8所述的显示装置，其特征在于，

所述图形的最小线段是大于等于所述摄像单元与所述指示位置的最小间隔。

12.如权利要求11所述的显示装置，其特征在于，

所述显示元件在拍摄时显示多种显示形态的显示图像，

所述摄像单元对所述多种显示形态的显示图像分别进行拍摄，

所述定位检测手段检测所有显示形态的拍摄图像的相关性高的部分，作为所述指示位置。

13.如权利要求1所述的显示装置，其特征在于，

在连续的显示帧期间的间隔，设置摄像帧期间，

所述显示元件进行与所述显示帧期间相对应的显示、以及与所述摄像帧期间相对应的显示，

所述摄像单元仅在所述摄像帧期间进行摄像处理。

14.如权利要求13所述的显示装置，其特征在于，

所述显示元件在从所述显示帧期间的显示切换为所述摄像帧期间的显示时，进行补偿所述显示元件的响应性用的、与空白帧相对应的显示。

15.如权利要求1所述的显示装置，其特征在于，

具有生成表示用手或指示构件应指示的地方的指示图像的指示图像生成手段，

所述显示元件在画面上显示所述指示图像。

16.如权利要求1所述的显示装置，其特征在于，包括：

具有所述摄像单元及所述显示元件的第1基板、以及

与所述第1基板对置的第2基板，

所述第1基板配置在比所述第2基板更靠近观察者一侧。

17.一种信息终端装置，具有内装图像取入传感器的显示装置，其特征在于，包括：

具有在所述图像取入传感器的拍摄图像中能够识别的表面形态、并用按压显示画面则接触面积增大的柔性材料形成的便携式吊带；以及

在将所述吊带按压在显示画面的任意位置的状态下、根据所述图像取入传感器得到的拍摄图像，检测按压所述吊带的位置的位置检测手段。

18.如权利要求17所述的信息终端装置，其特征在于，

所述柔性材料是反射率大于等于50％、而且一按压显示面就使接触面积增大的材料。

19.如权利要求18所述的信息终端装置，其特征在于，

所述柔性材料的表面带有所述图像取入传感器容易读取的花样。

20.如权利要求18所述的信息终端装置，其特征在于，

所述柔性材料具有将所述图像取入传感器容易读取的花样向显示面投影的光源。

21.如权利要求17所述的信息终端装置，其特征在于，

所述柔性材料是按压显示面就使接触面积增大、而且内部具有使来自所述显示装置的光反射的镜面的透明柔性材料。

22.一种显示装置，能够检测出用人手或指示构件指示显示画面任意地方，其特征在于，包括：在纵横排列设置的信号线与扫描线的各交点附近形成的显示元件；

拍摄各自在规定范围的入射光的摄像单元；

每隔多条信号线设置的、向对应的多条信号线供给显示用像素数据的D/A变换电路；

在所述D/A变换电路依次对多条信号线供给像素数据的期间、利用没有供给像素数据的信号线，从像素输出所述摄像单元的摄像数据的放大电路；以及

根据所述摄像数据检测，利用手或指示构件在显示画面上的指示位置的定位检测手段。

23.如权利要求22所述的显示装置，其特征在于，

所述定位检测手段根据所述D/A变换电路供给像素数据的多条信号线中、与某一条信号线连接的像素内的摄像数据，检测指出位置。

24.如权利要求22所述的显示装置，其特征在于，

所述定位检测手段根据相邻的多条扫描线中、与一条扫描线连接的像素内的摄像数据，检测指示位置。

25.如权利要求22所述的显示装置，其特征在于，

所述定位检测手段在所述摄像单元每次进行拍摄时，就检测表示指示位置的图像，在该图像的直径成为最大时，判断为用手或指示构件用力按压显示面。

26.如权利要求22所述的显示装置，其特征在于，

所述定位检测手段包含：

将每条扫描线的像素数据逐次相加的多个积和运算、以及

将这些积和运算的和为分子中分母进行的除法运算。

27.如权利要求26所述的显示装置，其特征在于，具有

在与所述显示元件同一基板上形成的、进行所述积和运算的第1运算电路；以及

在与所述显示元件不同的半导体基板上形成的、进行所述除法运算的第2运算电路。

28.如权利要求22所述的显示装置，其特征在于，

所述定位检测手段在设显示画面沿信号线方向的像素数为X、沿扫描线方向的像素数为Y、任意像素(x，y)(这里0≤x≤X而且0≤y≤Y)的摄像数据为L(x，y)时，

用式(17)求出所述手或指示构件的中心坐标(Ex，Ey)，而且用式(18)求出所述手或指示构件的x方向及y方向的宽度(Vx，Vy)，

$\mathrm{Ex}=\frac{\underset{y=0}{\overset{239}{\mathrm{\Σ}}}\underset{x=0}{\overset{319}{\mathrm{\Σ}}}\mathrm{xL}(x,y)}{\underset{y=0}{\overset{239}{\mathrm{\Σ}}}\underset{x=0}{\overset{319}{\mathrm{\Σ}}}L(x,y)}$ $\mathrm{Ey}=\frac{\underset{y=0}{\overset{239}{\mathrm{\Σ}}}\underset{x=0}{\overset{319}{\mathrm{\Σ}}}\mathrm{yL}(x,y)}{\underset{y=0}{\overset{239}{\mathrm{\Σ}}}\underset{x=0}{\overset{319}{\mathrm{\Σ}}}L(x,y)}\·\·\·\left(17\right)$

$\mathrm{Vx}=\frac{\underset{y=0}{\overset{239}{\mathrm{\Σ}}}\underset{x=0}{\overset{319}{\mathrm{\Σ}}}{(x-\mathrm{Ex})}^{2}L(x,y)}{\underset{y=0}{\overset{239}{\mathrm{\Σ}}}\underset{x=0}{\overset{319}{\mathrm{\Σ}}}L(x,y)}$ $\mathrm{Vy}=\frac{\underset{y=0}{\overset{239}{\mathrm{\Σ}}}\underset{x=0}{\overset{319}{\mathrm{\Σ}}}{(y-\mathrm{Ey})}^{2}L(x,y)}{\underset{y=0}{\overset{239}{\mathrm{\Σ}}}\underset{x=0}{\overset{319}{\mathrm{\Σ}}}L(x,y)}\·\·\·\left(18\right)$

29.如权利要求28所述的显示装置，其特征在于，

所述摄像数据是图像处理过的拍摄图像。

30.一种显示装置，能够检测出用人手或指示构件指示显示画面任意地方其特征在于，包括：

在纵横排列设置的信号线与扫描线的各交点附近形成的显示元件；

拍摄各自在规定范围的入射光的摄像单元；

存储与所述摄像单元拍摄的图像相对应的二值数值的二值数据存储单元；以及

根据所述二值数据的逻辑变化的地方及周围的亮度、检测利用手或指示构件在显示画面上的指示位置的定位检测手段。

Images