CN101821703A - 通过受抑全内反射的多点触摸感测 - Google Patents

通过受抑全内反射的多点触摸感测 Download PDF

Info

Publication number
CN101821703A
CN101821703A CN200880110302A CN200880110302A CN101821703A CN 101821703 A CN101821703 A CN 101821703A CN 200880110302 A CN200880110302 A CN 200880110302A CN 200880110302 A CN200880110302 A CN 200880110302A CN 101821703 A CN101821703 A CN 101821703A
Authority
CN
China
Prior art keywords
optical waveguide
light
multiple point
point touching
covering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200880110302A
Other languages
English (en)
Inventor
杰斐逊·Y·汉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Perceptive Pixel Inc
Original Assignee
Perceptive Pixel Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US11/833,908 external-priority patent/US8441467B2/en
Application filed by Perceptive Pixel Inc filed Critical Perceptive Pixel Inc
Publication of CN101821703A publication Critical patent/CN101821703A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04104—Multi-touch detection in digitiser, i.e. details about the simultaneous detection of a plurality of touching locations, e.g. multiple fingers or pen and finger
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04108—Touchless 2D- digitiser, i.e. digitiser detecting the X/Y position of the input means, finger or stylus, also when it does not touch, but is proximate to the digitiser's interaction surface without distance measurement in the Z direction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04109—FTIR in optical digitiser, i.e. touch detection by frustrating the total internal reflection within an optical waveguide due to changes of optical properties or deformation at the touch location

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明提供了基于受抑全内反射的高分辨率、可扩展的多点触摸感测显示***和处理，其采用：光波导，用于接收诸如红外光的光，所述光受到全内反射；和图像感测器，用于检测逸出光波导的光，光逸出光波导是由于用户接触导致全内反射受抑而引起的。光波导在被安装有柔性表面覆层时提供了优异的感测性能，以及其它益处和特性。所描述的该***和处理提供了由于逸出整个光波导的受抑全内反射的连续的成像而产生的真实多点触摸(多个输入)和高时空分辨能力。除了其它特性和益处之外，该***和处理还可扩展到大型装置。

Description

通过受抑全内反射的多点触摸感测
技术领域
本发明涉及用于实现基于受抑全内反射(frustrated total internal reflection)的高分辨率多点触摸感测(multi-touch sensing)的技术。
背景技术
对于单点接触，触摸感测不足为奇。触摸感测技术中的一类是采用受抑全内反射(FTIR)。当光遇到到具有较低折射率的介质的界面时(例如从玻璃到空气)，光发生一定程度的折射，折射的程度取决于光的入射角度，并且超过一定的临界角，光受到全内反射(TIR)。光纤、导光管(light pipe)、和其它光波导依靠这种现象以非常少的损耗有效地传输光。然而，界面处的另一种材料可以抑制这种全内反射，相反导致光从那里逸出波导。
受抑全内反射是公知的并且至少自20世纪60年代以来就已经在生物测量领域(biometrics community)中被用于成像指纹纹线(fingerprint ridge)。1965年出版的White的美国专利3,200,701(通过引用将该专利合并于此)描述了使用FTIR来以光学方式检测皮肤表面的纹线图案。
1972年出版的Johnson等人的美国专利3,673,327(通过引用将该专利合并于此)公开了触摸驱动(touch actuable)装置的早期版本，其中，二进制设备检测通过平板(platen)波导的光由于手指接触而引起的衰减。
1974年出版的Mueller的美国专利3,846,826(通过引用将该专利合并于此)描述了允许用户使用任意形态(free-form)的物体比如刷子、尖笔(styli)和手指在独立的显示器上“描画(paint)”的成像触摸感测器。在该装置中，来自CRT的飞点(flying spot)的光从大型棱镜的表面被全内反射并聚焦到单个的光电检测器(photo detector)上，从而产生被接触区域的更新位图。在1985年，这种方法在光学反转配置方面被更新，以视频照相机和宽光源代替CRT和光电检测器，如以下文献中所描述的那样：Greene，R.“The drawing Prism：AVersatile Graphic Input Device，”Proceedings of the 12th Annual Conference onComputer Graphics and Interactive Techniques SIGGRAPH’85，ACM Press，NewYork，NY，103-110(1985)，该文献通过引用合并于此。
Mallos的美国专利4,346,376(通过引用将该专利合并于此)公开了基于CRT的触摸感测器，用单薄的平板波导代替了笨重的棱镜，并通过检测被与光接触的物体散射的光来工作。更多最近的指纹感测器利用这种方法，如以下文献中所描述的那样：Fujieda，I.，Haga，H.，“Fingerprint Input based onScattered-Light Detection”，Applied optics-IP，36，35，9152-9156(1997)，该文献通过引用合并于此。
自1984年以来，机器人技术领域(robotics community)也已经在用于机器人夹持器(robot gripper)的触觉感测器的构建中利用这个方法，但带有柔性的表面覆盖层(compliant surface overlay)。很多公布包括：Mott，D.H.，Lee，M.H.，and Nicholls，H.，“An Experimental Very High Resolution Tactile SensorArray，”Robot Sensors Vol.2：Tactile and Non-Vision，Pugh，A.，Ed.Springer-Verlag，Berlin，179-188(1986)；Tanie，K.，Komoriya，K.，Kaneko，M.，Tachis，S.，and Fujikava，A.，“A High Resolution Tactile Sensor，”Robot SensorsVol.2：Tactile and Non-Version，Pugh，A.，Ed.Springer-Verlag，Berlin，189-198(1986)；以及White的美国专利4,668,861，所述文献中的每一个通过引用合并于此。
通过利用柔性的(compliant)表面覆盖层，通常通过气隙(air-gap)与波导隔离的结构化的弹性覆膜(structured flexible membrane)，当被按压时，与波导产生光接触。Kasday的美国专利4,484,179，(通过引用将该专利合并于此)，在触敏显示器的上下文中公开了这种方法。
一种用于同时感测多点的接触或采用基于非FTIR方法的多点触摸感测的相当直接的方法是利用多个感测器，每个感测器感测各自的接触点。例如，Tactex Control Inc.拥有一行阵列感测器用作地板感测器、安全装置和其它应用。作为另一个例子，the publication Lee，S.，Buxton，W.，and Smith，K.C.，“AMulti-Touch Three Dimensional Touch-Sensitive Tablet，”Proceedings of theSIGCHI Conference on Human Factors in Computing Systems(San Francisco，California，United States)，CHI’85.ACM Press，New York，NY，21-25(1985)(该文献通过引用被合并于此)，描述了以矩阵布局布置的感测器的使用，其中有源元件设置在每个节点上(比如二极管、三极管)。
多点触摸感测可以通过采用感测元件的无源矩阵，例如力敏电阻器(FSR)，来实现，如在以下文献中讨论的那样，Hillis，W.D.，“A High ResolutionImaging Touch Sensor，”InternationalJournal of Robotics Research，pages 1，2，33-44(1982)，该文献通过引用合并于此。Nicol等人的美国专利4,134,063(通过引用将该专利合并于此)，公开了用于此目的的电容性电极的使用。并且最近在以下文献中进行了讨论，Rekimoto，J.，“SmartSkin：An Infrastructureof Freehand Manipulation on Interactive Surfaces，”Proceedings of the SIGCHIConference on Human Factors in Computing Systems，CHI’02，ACM Press，NewYork，NY，113-120(2002)，该文献通过引用合并于此。Fingerworks iGesturePad是另一个采用电容感测器的无源矩阵的装置的例子。Westerman等人的美国专利6,323,846(通过引用将该专利合并于此)，公开了另外的在多点触摸表面***中使用这样的阵列的例子。这样的***，虽然没有采用多个有源感测器的***复杂，但是仍然必需很多电连接，因此不利地将其应用限制为需要相对低的分辨率的使用(比如，低于100x100)。此外，这样的***在视觉上不透明(visually opaque)，因此如果要与图形显示器集成，则需要顶端投影(top-projection)。
视频照相机的使用已经被建议用来以高速率获取高分辨率数据集。然而，这些基于机器视觉(machine vision)的技术相当不精确并且不能确定是否已经进行了真实的触摸接触，这种不一致(disparity)令用户可能十分烦恼。新近的方法包括从强度估计深度，如在以下文献中讨论的那样，Matsushita，N.andRekimoto，J.，“HoloWall：Designing a Finger，Hand，Body，and Object SensitiveWall，”Proceedings of the 10th Annual ACM Symposium on User InterfaceSoftware and Technology(Banff，Alberta，Canada，October  14-17，1997)，UIST’97，ACM Press，New York，NY，209-210(1997)；从立体(stereo)估计深度，如在以下文献中公开的那样，Wilson，A.D.，“TouchLight：An Imaging TouchScreen and Display for Gesture-Based Interaction，”Proceedings of the 6thInternational Conference on Multimodal Interfaces(State College，PA，USA，October 13-15，2004)，ICMI’04 ACM Press，New York，NY，69-76(2004)；Malik，S.and Laszlo，J.，“Visual Touchpad：A Two-Handed GesturalInput Device，”Proceedings of the 6th International Conference on Multimodal Interfaces(StateCollege，PA，USA，October 13-15，2004)，ICMI’04，ACM Press，New York，NY，289-296(2004)；以及跟踪嵌入在可变形的基底中的标记(marker)，如在以下文献中公开的那样，Kamiyama，K.，Vlack，K.，Mizota，T.，Kajimoto，H.，Kawakami，N.，and Tachi，S.，“Vision-Based Sensor for Real-Time Measuring of SurfaceTraction Fields，”IEEE Comput.Graph.Appl.25，1(Jan.2005)，68-75。这些文献中的每一个通过引用合并于此。
阐明各种交互技术的补充的公布包括：Buxton，W.，Hill，R.，and Rowley，P.，“Issues and Techniques in Touch-Sensitive Tablet Input，”Proceedings of the12th Annual Conference on Computer Graphics and Interactive TechniquesSIGGRAPH’85，ACM Press，New York，NY，215-224(1985)；Dietz，P.and Leigh，D.，“DiamondTouch：A Multi-User Touch Technology，”Proceedings of the 14thAnnual ACM Symposium on User Interface Software and Technology(Orlando，Florida，November 11-14，2001)，UIST’01.ACM Press，New York，NY，219-226(2001)；Westerman，W.，Elias，J.G.，and Hedge，A.，“Multi-Touch：A NewTactile 2-D Gesture Interface for Human-Computer Interaction，”Proceedings ofthe Human Factors and Ergonomics Society 45th Annual Meeting(Minneapolis/St.Paul，MN，Oct.2001)，632-636(2001)；以及Wu，M.and Balakrishnan，R.，“Multi-Finger and Whole Hand Gestural Interaction Techniques for Multi-UserTabletop Displays，”Proceeding of 16th Annual ACM Symposium on UserInterface Software and Technology(Vancouver，Canada，November 02-05，2003)，UIST’03，ACM Press，New York，NY，193-202(2003)，上述文献中的每一个通过引用合并于此。
发明内容
鉴于前述情况，可见在多点触摸感测领域仅有有限的发展。因此，仍然存在对相对简单、便宜和可扩展(scalable)的多点触摸感测器的需求。
因此，本发明的目的是提供用于提供高分辨率的多点触摸感测的相对简单、便宜和可扩展的多点触摸感测***/处理(process)，。
本发明进一步的目的是提供基于受抑全内反射的多点触摸感测***/处理。
根据本发明，多点触摸感测***包含光波导，该光波导具有足够引起在预定方向接收的至少一个波长(比如，窄带波长)的光在光波导中受到全内反射的折射率。该***包括具有被设置为与光波导的第一面相邻并隔开的第一表面的柔性层，而柔性层在被按压时可充分变形、以允许柔性层的第一表面的部分接触光波导。柔性层的第一表面具有充分近似于光波导的折射率的折射率，以使得在柔性层的第一表面接触光波导时引起一些受到全内反射的光散射并逸出光波导。图像感测器检测从光波导逸出的一些光。
根据本发明的另一个实施例，多点触摸感测***包括光波导，和直接与光波导的第一面耦接的柔性层，其中柔性层和光波导具有充分近似的折射率，因此光波导在预定方向上接收的至少一个波长在光波导和柔性层内受到全内反射。该***还包括直接耦接到柔性层的包层(cladding layer)。包层具有比柔性层折射率的足够低的折射率，以使得包层的形变引起一些受到全内反射的光散射和逸出柔性层和光波导。图像感测器检测一些从柔性层和光波导逸出的光。
根据本发明的另一个实施例，一种多点触摸感测***包括柔性光波导，该柔性光波导具有足够引起在预定方向上接收的至少一个波长的光在所述柔性光波导内受到全内反射的折射率，该***还包括包层，其直接与所述柔性光波导的第一面耦接。该包层具有比所述柔性光波导的折射率足够低的折射率以使得所述包层的形变引起受到全内反射的一些光散射并逸出柔性光波导。图像感测器检测一些逸出所述柔性光波导的光。
对于这些实施例中的每个实施例，本发明包括许多方面、特征和变型。这些方面和特征中的一些总结如下。
作为本发明的一个方面，柔性层具有关联的滤光器(light filter)，用于所述过滤所述至少一个波长的光。
作为本发明的另一个方面，通过多点触摸感测***的用户的手指按压柔性层的第二表面，柔性层可变形。
作为本发明的另一个方面，图像感测器光学地设置成接收自光波导的第二个面逸出的光。
作为这一方面的特征，光学地设置在光波导的第二面和图像感测器之间的带通滤波器基本上仅允许所述波长的光从光波导通过到达图像感测器。
作为本发明的另一个方面，图像感测器是平板图像感测器，例如TFT(薄膜晶体管)图像感测器。
作为本发明的另一个方面，平板图像感测器是楔形光学照相机。
作为本发明的另一个方面，***包括直对着光波导的一边设置的光源，用于发出被光波导接收的光。
作为本发明的另一个方面，光波导可以是复合组件。作为这一方面的具体的特征，光波导包括被处理为带有柔性层的非柔性的光波导。
作为本发明的另一个方面，该***包括用于朝着光波导的第二面投影视频图像的后投影仪。可见光基本上可透过柔性层和光波导，以使得显示的视频图像通过这些层可看到。
作为这个方面的特征，设置在柔性层的漫射器(diffuser)漫射所投影的视频图像。
作为这个方面的另一个特征，柔性层自身被设计为漫射所投影的视频图像。
作为本发明的另一个方面，该***包括所述波长的光不可透过的薄膜，该薄膜被设置在柔性层上。前投影仪将视频图像投影到薄膜上。
作为本发明的另一个方面，***包括设置在光波导的第二面上的液晶显示(LCD)面板，用于在朝向柔性层的方向上显示视频图像，可见光基本上可透过柔性层和光波导，以使得所显示的视频图像通过这些层可看到。
作为这一方面的特征，多个发射源给LCD面板提供背光，背光漫射器被设置在LCD面板和发射源之间。
作为这一方面的另一特征，薄型的楔型背光单元为LCD面板提供背光。
作为这一特征的一个特征，图像感测器是楔形光学照相机。
作为为这一方面的另一特征，多个光源被提供作为LCD面板的背光，而且背光漫射器被设置在LCD面板和光源之间，图像感测器是楔形光学照相机。
作为这一方面的另一个特征，LCD面板被设置在从光波导逸出的光到图像感测器的光学路径中，所述波长的光可透过LCD面板，以使得LCD面板不会阻止逸出光波导的光到达图像感测器。
作为本发明的另一个方面，该***包括设置在光波导的第二面上的液晶显示(LCD)/光学感测面板，用于在朝向柔性层的方向上显示视频图像，图像感测器是LCD/光学感测面板的光学感测元件。
作为本发明的另一个方面，该***包括设置在光波导的第二面上的具有集成的感测器的有源矩阵OLED，用于在朝向柔性层的方向上显示视频图像，图像感测器为具有集成的感测器的有源矩阵OLED的集成的感测器。
作为本发明的另一个方面，该***包括耦接到柔性层的弹性OLED
(FOLED)，用于在朝向多点触摸感测***的用户的方向上显示视频图像。FOLED足够柔韧以便在被按压时使柔性层变形，从面使柔性层接触光波导。
作为本发明的另一个方面，该***包括设置在柔性层上的双面FOLED，其具有用于在朝向多点触摸感测***的用户的方向上显示视频图像的发射层和用于在朝向该用户方向上感测逸出光波导的一些光的感测层。双面FOLED足够柔韧以便在被按压时使柔性层变形，从而使柔性层接触光波导。图像感测器与FOLED的感测层相对应。
作为本发明的另一个方面，该***包括耦接到柔性层的弹性LCD和弹性背光的组合，用于在朝向多点触摸感测***的用户的方向上显示视频图像。弹性LCD和弹性背光的组合足够柔韧以便在被按压时使柔性层变形，从而使柔性层接触光波导。
作为本发明的另一个方面，该***包括耦接到柔性层的弹性LCD，用于在朝向多点触摸感测***的用户的方向上显示视频图像。光源使可见光穿过柔性层指向弹性LCD，柔性层漫射所述可见光。
作为这一方面的特征，弹性LCD包括集成的感测器，用于在朝向用户的方向上感测逸出光波导的至少一些光，而且图像感测器与集成在弹性LCD中的感测器相对应。
作为本发明的另一方面，所述波长的光是红外光，而且图像感测器检测红外光。该***还包括第二图像感测器，用于检测穿过光波导和柔性层的视觉信息。第二图像感测器被配备为不检测打算提供给第一感测器的逸出光波导的光。
作为该方面的一个特征，第二图像感测器能够感测超出柔性层的区域。
作为本发明的另一方面，该***合并了自动校准***。具体来说，自动校准***把红外触摸图像坐标系精确地配准(register)到绘图(显示的)坐标系。
本发明还包括许多方法实施例。根据本发明的方法实施例，一种多点接触感测方法包括在光波导内全内反射至少一个波长的至少一些光；充分按压具有被设置为与光波导的第一面相邻并且隔开的第一表面的柔性层，以引起柔性层的第一表面的部分接触光波导的第一面，具有充分近似于光波导的折射率的折射率的柔性层的第一表面在其接触光波导时引起一些受到全内反射光散射并逸出光波导；以及感测逸出光波导的至少一些光。
根据本发明的另一个方法实施例，一种多点触摸感测方法包括在光波导和柔性层内全内反射至少一个波长的至少一些光，该柔性层直接耦接到光波导的第一面；使直接耦接到柔性层并且具有比柔性层的折射率足够低的折射率包层变形，以使得一些受到全内反射的光散射并逸出柔性层和光波导；以及感测逸出光波导和柔性层的至少一些光。
根据本发明的另一个方法实施例，一种多点触摸感测方法包括在柔性光波导内全内反射至少一个波长的至少一些光；使直接耦接到柔性光波导并具有比柔性光波导的折射率足够低的折射率包层变形，以使得一些受到全内反射的光散射并逸出柔性光波导；以及感测逸出柔性光波导的至少一些光。
对于上述总结的方法实施例中的每个实施例，这样的实施例包括多个方面、特征和变形。以上结合***实施例总结的那些方面和特征也同样适用于在此描述的方法。
本发明附加的目的、特征、方面和有益效果讨论如下，而其他目的、有益效果和特征对本领域的普通技术人员将变得显而易见。
附图说明
如下的详细描述，作为示例给出而并非试图仅将本发明限定于此，结合附图将会最佳地理解下面的描述，其中：
图1A-1D示出了根据本发明的多点触摸感测的几个例子；
图2是根据本发明的FTIR触摸感测器的简化示意图，该FTIR触摸感测器合并了非漫射型具有微观结构折射率匹配的柔性层；
图2A是根据本发明的采用平板(flat)图像感测器的FTIR触摸感测器的简化示意图；图2B是可以在本发明中采用的楔型照相机的示意图；图2C是根据本发明的光波导的示意图，该光波导为复合组件(compound component)；
图3是根据本发明的另一个实施例的FTIR触摸感测器的示意图，该FTIR触摸感测器合并了带包层的折射率匹配的柔性层；
图4是根据本发明的另一个实施例的FTIR触摸感测器的示意图，该FTIR触摸感测器合并了直接设置在支撑基底上的带包层的高折射率柔性波导；
图5示出了根据本发明的多点触摸后投影***的示意图；
图6示出了根据本发明的多点触摸前投影***的示意图；
图7A和7B是根据本发明的多点触摸***的示意图，该多点触摸***采用不同柔性层设计并且包括有源矩阵LCD(AMLCD)；
图7C、7D和7E是示出了采用LCD显示器的另外的多点触摸***的示意图；
图8示意性图示了利用有源LCD面板的多点触摸***，该有源LCD面板包含光学感测元件；
图9示意性图示了采用弹性OLED(FOLED)的多点触摸***；
图10示意性图示了采用弹性OLED的多点触摸***，该弹性OLED的其中一面用作发射显示器，而另一面用作图像感测器；
图11示意性图示了采用弹性LCD的多点触摸***；
图12示意性图示了采用弹性LCD和作为背光漫射器(backlight diffuser)的柔性层的多点触摸***；
图13示意性图示了采用弹性LCD的多点触摸***，该弹性LCD包含集成的感测器；
图14是采用了用于非FTIR感测的附加感测器的多点触摸感测***的示意图；和
图15是根据本发明合并了自动校准***的多点触摸感测***的示意图；
具体实施方式
多点触摸感测使得用户可以一次用多于一个的手指与***相互，如在和弦和双手操作中那样。多点触摸感测可以同时容纳多个用户，这对诸如交互墙和桌面的较大的共享显示***特别有用。附图中的图1A至图1D示出了本发明的多点触摸感测的几个简单的例子。
根据本发明的多点触摸感测是基于受抑全内反射(FTIR)。FTIR感测技术能够以高的时空分辨率获取真实的触摸图像信息，可扩展到大型装置，并且非常适合与多种显示技术一起使用。当光遇到到具有较低折射率的介质的界面时(例如从玻璃到空气)，光发生一定程度的折射，折射的程度取决于光的入射角度，并且超过一定的临界角，光受到全内反射(TIR)。但是，如果另一种材料被放置在界面处，则全内反射则受抑制，从而导致光逸出波导。由于在本领域公知并理解FTIR的概念，所以除了理解本发明所必需的内容之外，在此省略对FTIR的更多技术描述。
本发明的许多实施例及其变型描述如下。出于此目的，术语“一个实施例”、“另一个实施例”、“第二实施例”、“第三实施例”、“一种变型”、“另一种变型”等被使用只是为了方便地将一种结构、过程、***等与另一种结构、过程、***等区别开，而不是用来指明相对的重要性或差异量或其他量化特性或对比特征，除非在此另外明确说明。此外，术语“第一(first)”、“第二(second)”、“主(primary)”、“次(secondary)”等用来将一种组件、元件、物体、步骤、过程、活动(activity)或事物(thing)与另一个区别开，而不是用来指明时间上的相对的位置或排列，除非在此另外明确说明。
用于FTIR触摸感测器的非漫射型具有微观结构的折射率匹配的柔性层 (Non-Diffusive，Micro-Structured Index-Matched Compliant layer)(柔性层设计 类型1)
附图2是根据本发明的第一实施例的多点触摸感测***10的简化了的示意图。如图示，多点触摸感测***10(或者，为了方便，称为“感测器10”或“***10”)包括光波导12、光源14、柔性层16和图像感测器20(有时也称为“成像感测器”或“成像照相机”)，以及其他要描述的组件。
光源14优选为红外(IR)发射器，例如包括多个高功率红外LED的IR发射器。光源14被直对着光波导12的抛光的一边设置，以便可以最大程度地耦合进入全内反射。例如，光源14可以提供880nm波长上460mW的光输出，尽管其他光输出可以被采用。
光波导12可以是丙烯酸薄片(sheet ofacrylic)，其边缘已经被抛光得很光亮，但是也可以利用其他适合的材料。在一个制造的样机的例子中，四分之一英寸(6.44mm)厚的丙烯酸薄片被用作光波导，该丙烯酸薄片面积为16英寸乘12英寸(406mm×305mm)。普通玻璃通常不是优选的，因此其光透射能力差。然而，可以采用较透明的玻璃配方(例如“water white”，BK-7硼硅酸盐玻璃等)。虽然较贵，但是这样的玻璃在结构上更坚硬些，而且远不如丙烯酸容易被划伤。
自光源14发射的光在光波导12内受到全内反射，因此使光被截留在光波导12内。当一个物体被与光波导12相接触地放置时，全内反射受抑制，因此导致一些光散射(“散射光”)而且逸出光波导12，如图2中箭头“a”所示。在不存在柔性层16的情况下，手指可以直接接触光波导12以引起一些光散射，如下述文献中所描述的那样，美国专利公布No.2008/0029691(‘691公布)，公布于2008年2月7日，该文献通过引用合并于此。‘691公布，以及其中公开和要求保护的发明一起转让给本发明的受让人。
根据图2所示的实施例，多点感测***0包括设置在光波导12一面的柔性层16。由于柔性层的微观结构，小的空气隙24正好被保留在这两个组件之间。柔性层16可以被定制浇铸或蚀刻到柔性塑料(compliant plastic)或其他材料的一层上或者以其他任何适合的方式制成。当压力施加于柔性层16时(例如，如图2所示通过手指26)，柔性层16或在其与波导12相邻的表面上的材料具有与波导12的折射率充分近似(“基本上近似”)的折射率，以便当向柔性层16施加压力时(例如，通过手指26，如图2中所示)最大程度地耦合。柔性层16的微小区域16a与波导12接触以保持空气隙24。优选地，区域16a足够小并且足够稀疏，从而不会淹没(swamp)期望的信号(即，在柔性层16的静止没有被按压的状态期间，最小化散射光的量)。优选地，选择或制造有图案(pattern)的柔性层，这样FTIR响应的量取决于作用在其上的外力或压力的量。波长选择(wavelength-selective)滤波器薄膜层18(此处也称为“IR滤波器”)优选地设置在柔性层16上，如图2所示，以消除，或至少最小化背景照明的影响。具体来说，IR滤波器18至少滤除由光源14发射的光的频率。
可见光基本上可透过如图2所示的包含柔性层16和波导12以及IR滤波器18的叠层(stack)，因此该叠层与直观(direct view)显示器(例如LCD)一起使用是非常理想的，但是也可以通过将柔性层的外表面处理为漫射的或者通过添加适当的漫射器(diffuser)来与后投影一起使用，如下面描述的某些实施例中所讨论的那样。
在图2的实施例中，具有适合的镜头(例如广角或移轴镜头(a wide angle orshift lens))的红外图像感测器20被相对于波导垂直地安装并且检测通过波导的散射的光。优选地，图像感测器安装有带通滤波器22，该带通滤波器与光源14的输出相匹配，以最小化光噪声。图像感测器20可以是不同的类型，例如CCD、CMOS。
该散射光也可以由薄的或平的图像感测器30感测，例如图2A中示意性示出的。也可以采用楔形光学(wedge-optic)照相机，例如在2006年Boucal等人的下述公布中所描述的照相机：“Wedge Displays as Cameras，”SIDInternational Symposium Digest of Technical Papers，37(2).pp.1999-2002(“Boucal’06”)。Boucal′06通过引用合并于此。楔形光学照相机32示意性图示在图2B中。然而，仍然可以利用TFT(薄膜晶体管)光电二极管/光电晶体管阵列。在以上和以下描述的布置的每一个中，可以采用适当的附加光学器件以使散射光改变方向，从而使这里描述的一个或多个的感测装置能够被设置在相对于光导的另一位置(例如与IR发射器相邻)。
图2C示意性图示了根据本发明的光波导，该光波导是复合组件，如图示，其包含被处理为具有柔性光波导层34的非柔性光波导层36。两个层34和36共同起光波导的作用。在另一个变型中，层34可以是非柔性的，但具有其他有益的特性。可以理解，在此处描述的某种显示装置/***中，在光波导上采用粘合的(bonded)柔性层可以有助于FTIR。各个实施例中的每一个的其他器件，比如柔性层16(图2)，也可以是复合组件。
图像感测器20(或感测器30或楔型照相机32或其他感测器类型)的输出可以提供给适合的计算机(未示出)或能够处理各种公知的图像处理操作的其他电子装置，所述图像处理操作比如对于每一视频帧的校正(rectification)、背景减除(background subtraction)、噪声去除和分析。然后，可以采用公知的视觉跟踪(vision tracking)技术以将视频序列转换成离散的触摸事件和笔画(stroke)。以640×480分辨率(相当于精度大于1mm2)、每秒60帧、8比特单色(monochrome)捕捉光的图像照相机适合多种多点触摸感测应用。当然，可以采用具有更高分辨率的，不同帧捕捉速率和/或其他特性的成像照相机。由适合的计算***来执行处理。
根据本发明的多点触摸感测提供了全部的成像触摸信息而没有闭塞(occlusion)或者不明确(ambiguity)问题。触摸感测是零外力(zero-force)和真实的，即其精确地将触摸与非常轻微的悬停(hover)区分开。本发明的多点触摸感测***能够以高时空分辨率采样。该多点触摸感测***可扩展到相对大的表面，比如象墙一样大的触摸显示器，尽管对于多点触摸感测***覆盖相对大的区域应当考虑包括照相机分辨率和照明量的各种因素。
带包层(cladded)并且折射率匹配的柔性层(柔性层设计类型2)
图3示出根据本发明的另一个实施例的多点触摸感测***40的简化的示意图。透明的柔性材料(例如光学粘合剂(optical adhesive))作为柔性层42，该柔性材料与波导44折射率匹配而且直接施加到波导44。在交互表面上折射率较低的包层46被设置在柔性层42上。包层的形变引起光反射并散射出该叠层。如图2中实施例所示，可以采用不同类型的感测器，比如平板图像感测器或楔型照相机。
直接放置在支撑基底上的带包层的高折射率柔性波导(柔性层设计类型 3)
图4示出根据本发明的另一个实施例的多点触摸感测***40的简化的示意图。在这个实施例中，柔性波导52作为波导和柔性层二者工作。柔性波导52由基底54支撑而且由折射率高于基底的透明的材料(clear material)组成。设置在柔性波导52的交互表面的包层56具有低于波导的折射率(例如PET)。当包层56变形时，如图4所示，光反射或散射出该叠层。
有利的是，在图4示出的实施例中，对由光源(IR发射器58)发射的光，基底54不需要作为波导工作，这样，基底54可以由各种各样的材料组成，并且具有各种各样的光学特性。根据本发明的一个特征，基底54可以是现有的显示组件的一部分，例如LCD显示器或在零售环境中的店面橱窗(storefrontwindow)。在这样的情况中，柔性波导52和包层56(和，可选地，IR滤波器60)可以就地(in-situ)应用到现有的基底54。
如上所述，图2、3、4示意性图示了根据本发明的多点触摸感测***的不同的实施例/变型。出于方便，图2所示的实施例此后称为柔性层设计类型1；图3所示的实施例此后称为柔性层设计类型2；图4所示的实施例此后称为柔性层设计类型3。而且，针对这些实施例的每一个，可用采用不同类型的感测***/过程。具体来说，图2、2A和2B示意性图示了三种不同类型的图像感测器：(1)采用适当镜头的图像感测器20；(2)平板图像感测器30；和(3)楔形光学照相机32。可以采用其他类型的感测***/过程，包括TFT光电二极管阵列或在此没有明确的其他适合的平板图像感测器类型。
每一个实施例(包括柔性层设计类型1、类型2和类型3，如上所述)采用了至少包括光波导的多种组件。如此处提到的，这样的组件中的一个或多个可以是复合组件，在具体的变型中，柔性光波导可以是被处理为带有柔性层的(非柔性)光波导，共同起光波导作用。可以理解，具有这样的柔性层的光波导有利于FTIR。
下述实施例属于多点触摸***，其包括或合并在不同类型的显示装置/***内。除非另外指出，这样描述的实施例中的每一个可以连同在此描述的柔性层设计类型(即类型1、2、3)中的任何一个一起使用。此外，除非另外指出，这样描述的实施例中的每一个可以使用任何一种感测***/方法(例如图像感测器20、平板图像感测器30、楔形光学照相机32等)。此外，除非另外指出，这样描述的实施例中的每一个可以使用任何其他类型的显示方法(如果适合的话)，或者一个都不用。仅为方便起见，描述如下的图5-6和8-13，示意性示出了采用柔性层设计类型1的各种实施例。
多点触摸后投影***
图5示出了根据本发明的多点触摸后投影***70的简化示意图。投影仪72被设置在该叠层(即，柔性层、波导等)的观看/接触面之后，漫射器薄膜(diffuser film)74被设置在IR滤波器76上(或设置在柔性层78或包层46和56上-图3和图4)。可替代地，省略漫射器薄膜74并且柔性层78(或柔性波导)被制造成能产生期望的漫射特性。在多点触摸感测***中采用后投影在‘691公布文件中进一步描述。由于后投影仪的使用，最好不采用TFT图像感测器，除非这样的感测器被设计为不妨碍视频投影。这个实施例以及各种其他实施例的优点是在显示和交互表面之间具有零视差(zero disparity)。
多点触摸前投影***
前投影在空间成问题的许多环境中仍然有用。图6是根据本发明的多点触摸前投影***80的示意图。***80包括前投影仪82、设置在柔性层86上的不透红外光(infrared-opaque)的薄膜(阻挡层84)和在阻挡层84上的任何适合的前投影层(投影屏幕88)，连同先前描述的多点触摸感测器的组件(例如波导、柔性层)。由于前投影，所以该叠层显然不需要在视觉上透明，不透红外光的薄膜是首选的而且比IR滤波器(例如图5中所示的IR滤波器76)有效得多。如前面提到的，可以采用不同类型的图像感测器。
合并了有源矩阵液晶显示器的多点触摸***
图7A和7B是根据本发明的分别采用柔性层设计类型1和3，而且包括有源矩阵LCD(AMLCD)的多点触摸***的示意图。首先参考图7A，多点触摸***100采用了设置在波导104后面的有源LCD面板102。在图7A的实施例中，采用了柔性层设计类型1，该柔性层设计类型1包括柔性层104、以及设置在波导104和柔性层106之间的空气隙108、和IR滤波器110。漫射器112被设置为与LCD面板102的背面相邻(最好是接触)；以及诸如LED的多个发射源(背光114)，均匀分布在漫射器112之后。可以采用不同类型的图像感测器。
在图7B所示的实施例中，多点接触***120采用设置在柔性层设计类型3后面的LCD面板122，其中包层126被设置在柔性波导124上。如图7A中实施例所示，漫射器132被设置为与LCD面板122背面相邻，而且多个发射源(背光134)均匀分布在漫射器132的后面。
根据本发明，图7A和7B所示的实施例可以被应用到典型的、现有的、现货供应(off-the-shelf)类型、通常是非柔性的LCD。这样的LCD通常可透过红外波长，因此，本发明的成像感测器适合被设置在有源LCD层的后面而不需要改动LCD层。更宽泛地说，LCD可以被适当设置在光波导和图像感测器之间的(红外光的)光学路径中。如果需要的话，将现有LCD的背光单元(BLU)修改为靠着LCD面板的背面包括上述漫射器(例如漫射器112、134)而且适合的发射源被设置在漫射器的后面。
图7C、7D和7E示出了采用LCD显示器的本发明的另外的、示范性的组合。图7C是***130的示意图，该***包括设置在LCD132a上的FTIR感测叠层131(使用上述实施例中的任意之一)以及薄型的(thin-profile)楔形背光单元133。图像感测由直观视频照相机134a实现。
图7D是***135的示意图，该***类似于图7C所示的***130，但是采用楔形光学照相机用于图像感测。图7E示出了类似于***130的另一个***137，但是取代利用楔形背光单元，采用漫射器138和光源139直接对LCD进行背部照明。
合并了光学感测AMLCD/AMOLED的多点触摸***
图8示意性图示了利用有源矩阵LCD 142的多点触摸***140，该有源矩阵LCD 142在LCD面板内包括附加的光学感测元件(出于方便，此处称为“LCD/光学感测面板”)。实质上在面板自身上包括平板照相机的LCD面板是已知的。LCD面板内的感测器平常用来可视地感测触摸，通常是通过阴影(shadow)。请参见例如以下文献，“Active Matrix LCD with Integrated OpticalTouch Screen”，Willem den Boer、Adi Abileah、Pat Green、Terrance Larsson、Scott Robinson and Tiny Nguyen，SID Symposium Digest 34，1494(2003)，该文献通过引用包括于此。
然而，图8所示的本发明的多点触摸***140不是利用感测器直接感测触摸，即通过阴影或其他直接成像，而是集成在此描述的FTIR技术与LCD显示器，使得LCD显示器内的感测器被用来感测从光波导逸出的光。非漫射柔性层144叠放在IR激励(IR-pumped)波导146上，该IR激励波导被设置于LCD面板142上。LCD背光单元(BLU)148被设置在LCD面板之后，而没有在背光单元之后(或之前)设置附加的图像感测器。对于典型的、现货供应的带有集成光电感测器(photosensor)的LCD面板，没有必要改动LCD面板的背光单元。优选地，LCD上的感测元件单独安装有IR滤波器(作为LCD滤色器阵列的一部分)。
在图8所示的实施例的变型中，可以取代图8所示的LCD面板，而采用具有集成的感测器的有源矩阵OLED。
具有弹性(flexible)显示器的多点触摸***
图9示意性图示了采用弹性OLED 162(也称为“FOLED”)的多点触摸***160。弹性OLED通常制作在塑料基底上，这样能够在外力下充分变形。弹性OLED已公知，如以下文献中所讨论的那样，G.Gustafssson，Y.Gao，G.M.Treacy，F.Klavetter，N.Colaneri，A.J.Heeger，Flexible light-emitting diodes madefrom soluble conducting polymers，Nature 1992，357，477，该文献通过引用合并于此。根据图9中所示的实施例，FOLED 162直接设置在柔性层164上。当接触时，外力通过该弹性显示器(即，FOLED 162)传递至柔性层164。通常，该显示器可透过IR，因此不需要IR滤波器。如果不是这样，则可选地可以将不透光的阻挡物设置在该显示器之后。类似于其他多个实施例，图像感测器168被设置在波导166之后以检测散射光。FOLED 162最好是足够柔软，以使其在期望的触觉灵敏度下变形。图9的实施例的优点在于在显示和交互表面之间具有零视差。
根据本发明，各种其他弹性类型的显示器可以取代弹性OLED而被采用。例如，可以利用所谓的“eInk”显示器，其在下述文献中被讨论：Huitema，H.E.A.；Gelinck，G.H.；van der Putten，J.B.P.H.；Kuijk，K.E.；Hart，C.M.；Cantatore，E.；Herwig，P.T.；van Breemen，A.J.J.M.：de Leeuw，D.M.“Plastictransistors in active-matrix displays”Nature 2001，414，(6864)，599，该文献通过引用合并于此。可以利用其他弹性发射或反射显示器(例如电泳的、电致的)。
具有“双面弹性OLED”的多点触摸***
图10示意性示出多点触摸***180，该多点触摸***180采用了集成到同一基底上或背对背层叠(laminated back to back)的两个弹性层，其中两个层都是有源的。具体来说，一层可以是反射FOLED(发射层)，而另一层可以是弹性TFT光电二极管阵列(感测层)。出于方便，背对背结合的两个弹性层此处称为双面FOLED，在图10中示为元件182。FOLED一般已经制作成每一像素集成有感测元件，通常用于跟踪发射组件的老化，这样的元件通常叠放在像素的下方。这些感测元件通常屏蔽基底下方的光学信号。
在图10所示的实施例中，双面FOLED 182具有显示面182a和制作在其反面的光学感测阵列182b，因此其能够感测入射该面上的光学信号。双面FOLED 182设置在柔性表面184上，该柔性表面被设置在IR激励的波导186之上。
当柔性层184接触波导186时，由于某外力施加到双面FOLED 182上，散射光(在图10中由箭头b代表)通过柔性层184逸出，而且被光学感测面182b接收，由此被双面FOLED 182感测到。在图10的实施例中，不需要附加的图像感测器。此外，不需要IR滤波器。
具有弹性LCD的多点触摸***
图11示意性图示了采用弹性LCD 202的多点触摸***200，该弹性LCD202足够柔韧以使其在手指的触摸下变形。在足够柔韧的塑料基底上开发的LCD已公知，比如下述文件所公开的那样：“Active Matrix Displays Made withPrinted Polymer Thin Film Transistors，”H.Sirringhaus，S.E.Burns，C.Kuhn，K.Jacobs，J.D.MacKenzie，M.Etchells，K.Chalmers，P.Devine，N.Murton，N.Stone，D.Wilson，P.Cain，T.Brown，A.C.Arais，J.Mills，R.H.Friend PlasticLogic Limited，该文献通过引用合并于此。由于包括弹性LCD在内的LCD是不发射性的，因此图11包括薄的弹性背光204，该背光204被设置在本发明的FTIR感测器的弹性LCD 202和柔性层206之间。类似于其他多个实施例，图像感测器210被设置在波导208的后面以检测散射光。
具有弹性LCD和作为背光漫射器的柔性层的多点触摸***
图12是类似于图11的实施例的多点触摸***220的示意图，具有弹性LCD 222和IR滤波器223，而柔性层224用作LCD的漫射背光单元和设置在IR激励波导226上的柔性表面。从设置在波导226后面的背光228输出的可见光(例如LED阵列)指向柔性层224，该柔性层224最好具有很强的漫射特性，进而作为弹性LCD 222的背光单元。
具有集成的感测器的弹性LCD的多点触摸***
图13示意性图示了采用了包含集成的感测器的弹性LCD 242的多点触摸***240。
在图13所示的实施例中，弹性LCD 242被设置在柔性层244上，该柔性层被设置在IR激励的波导246之上。发射源(背光248)被分布在波导246的后面。
柔性层244在被按下时接触波导246，由此产生的散射光(由图13中箭头“c”表示)通过柔性层244逸出，而且被集成在弹性LCD 242中的感测器感测到。图13所示的实施例中不需要附加的图像感测器或IR滤波器。
具有附加感测能力/使用次(secondary)图像感测器的手势(Gesture)和基 准(Fiducial)感测的多点触摸感测***
根据本发明，此处描述的各种实施例可以可选地包括附加的图像感测器用于观察其他视觉信息(而不是此处描述的由触摸引起的FTIR)，诸如手的姿势、“悬停”信息、物体(object)上的基准标记(fiducial maker)或记号(token)、或其他视觉可辨认的元素。图14是采用附加的感测器262(此处也称作“次图像感测器”)的多点触摸感测***260的示意图。图14还示出了具有先前描述的柔性层设计类型3(参考图4所描述的)的多点触摸***。然而，此处描述的其他的柔性层设计可以与用于检测其他视觉信息的次图像感测器一起采用。此外，根据本发明的具有附加的感测能力的多点感测***可以包括或合入在此处描述的任何显示装置，只要次图像感测器能够成像/感测***接触表面上方的(即，未经过上述IR滤波器滤波的)元素(例如手指)，并且最好也不检测来自主(primary)FTIR图像感测器的信号。
诸如图14所示的次图像感测器262最好安装有具有波长不同于用于FTIR***的带通滤波器的波长的带通滤波器。与次图像感测器的带通滤波器的波长相匹配的附加的光源264帮助该并行感测***在主感测器没有正在感测触摸时除了其他事物以外还感测悬停的手指或物体。次图像感测器的多种应用包括确定每个触摸区域的身份(identity)(例如手的每个指头的…大拇指、食指等)，辨认手或其他物体的位置/方向/姿势，和识别/辨认其他视觉元素和/或动作。
合并了自动校准***的多点触摸***
在此处描述的各种实施例中，(主)图像感测器(例如图2所示图像感测器22)可以配备有与IR发射器(例如光源14)相匹配的带通滤波器(例如滤波器22)。根据本发明，这样的各种实施例可以包括自动校准***，如图15示意性所示的***280。如图示，带通滤波器(可转换带宽的滤波器282)被安装在机械的滤波器固定器上，该带通滤波器在计算机的控制下可操作，从而被移进或移出(如箭头“d”所表示)光学路径。通常，滤波器是用来防止照相机(图像感测器284)看到从例如投影仪288输出的而且显示在显示器290上的图形图像。当滤波器282被移出光学路径，图像感测器284(连同图像感测器284的输出的适当信号处理一起)根据本发明可操作用于将红外触摸图像坐标系精确地配准(register)到绘图坐标系。从绘图坐标系到红外图像的配准如下执行。滤波器被移出光学路径，计算机被指示发出一个点(基准)以便以图形方式输出在显示器上。这个点被图像感测器感测到，并且其坐标被记录。对屏幕表面上的多个其他点重复该过程(例如屏幕的四个角)，用于构建绘图坐标系和图像感测坐标系之间的几何映射。可以通过对屏幕上的每一点穷尽地完成，或可以通过将数学模型适配较稀疏的一组对应点来更有效地完成。一旦这个映射被计算出，来自图像感测器的所有触摸感测器数据被校正为绘图坐标系。
作为图15所示自动校准***的另一个特征，图像感测器284还可以被利用到几何对准的多个重叠图像投影，比如当合并了多个投影仪的较大的***被使用时。
附加的变型和特征
在此描述的各种实施例中，IR发射器可以是脉冲调制的而且同步于图像感测器的快门，从而有利于减少图像感测器接收到周围环境的光线数量。如果期望，可以以较亮的强度来脉冲调制光源，以提高***的信噪比。
在此描述的各种实施例中，“IR”发射器可以选为近UV(near-UV)波长的。在这样的变型中，先前适合于IR的组件被用于此替代(alternate)波段的组件取代，特别是由于UV具有相当的破坏性。对于UV，由于UV的伤害性，必须进行特殊的额外的考虑以保护用户免受偏离的辐射。有利的是，与这里的各种实施例中描述的柔性层相关联的滤波器，过去常用来保护感测器免受背景信号干扰，也可以被用于保护用户免受从光波导散射的UV光的伤害。
此外，可以采用多个图像感测器以感测由触摸引起的FTIR效应，通常允许相对较大的多点触摸***的实现。图像感测器可以沿单一轴、多个轴、沿栅格***或其他适合的方式彼此间隔开。
在另一个变型中，两个或多个光的波长，优选为红外光，被光源输出，并且采用多个图像感测器以检测不同的波长。例如，采用两套LED来激励波导，一个例如是880nm，而另一个例如是950nm。于是，每个图像感测器成像不同的波长。可以采用不同波长的滤波器达到此目的。作为有用的可选的特征，必须通过***的两个图像感测器(在具体的时间和地点)接收光，从而断定在那一时间/地点按压(depression)(即FTIR响应)的发生。可以采用公知的处理方法来处理这种情况下的两个视频流。因此，通过采用多个波长和多个图像感测器，FTIR响应进一步从背景光中区分出来。此外，如果没有使用柔性表面，通过辨认特定于人类手指的每个波长的强度的比率，可以将活动的手指从隐约的指印残留中区分出来。可以采用三个或更多的波长。
在某些实施例中，柔性层可以由各种塑料薄膜和其他材料制成。柔性层也可以包含多种材料的复合物，通常每种材料会贡献一个或多个下面期望的特性：i)光学FTIR性能；ii)红外屏蔽以减少来自外部环境光线的干扰；iii)防眩光(anti-glare)以提高显示器的可见度；iv)人类用户的触觉“感觉”(包括但不限于诸如摩擦等方面)；v)耐用性—最好是在该领域中可更换的硬壳(hardcoat)层。可以通过使用公知的折射率匹配的光学粘结剂将所采用的各种层彼此粘附。作为包含多种材料的复合物的柔性表面的另一个例子，叠层包括(1)橡胶薄层；(2)具有金属涂层的薄膜PET膜(聚对苯二甲酸乙二醇酯)；和(3)被处理为具有不光滑表面的薄PET膜。橡胶薄层提供用于FTIR，以及触觉响应和感觉。具有金属涂层的薄膜PET膜反射/吸收周围的红外光。被处理为具有不光滑表面的薄PET膜提供了一个舒适的表面，在其上用户的一个或更多个手指能够轻松地滑移，而且更耐磨损。
在此描述的某些实施例的另一个变型中，接触表面是不平坦的，即非平面的。比如，接触表面可以是凹形的、凸形的或其他非平坦设计。接触表面可以是球形的。
已经在本发明的若干实施例及其变型的上下文中描述了本发明。然而，应该理解，在不背离本发明的精神的情况下，可以采用本领域的技术人员所知晓的其他权宜手段。

Claims (143)

1.一种多点触摸感测***，包括：
光波导，具有足够引起在预定方向上接收的至少一个波长的光在该光波导中受到全内反射的折射率，所述光波导具有第一面和第二面；
柔性层，具有被放置为与所述光波导的第一面相邻并隔开的第一表面，所述柔性层在被按压时可充分变形以允许所述柔性层的第一表面的部分接触所述光波导，并且所述柔性层的第一表面具有充分近似于所述光波导的折射率的折射率，以便当所述柔性层的第一表面接触所述光波导时引起受到全内反射的一些光散射并逸出所述光波导；和
图像感测器，适配为检测至少一些从所述光波导逸出的光。
2.如权利要求1所述的多点触摸感测***，其中，所述柔性层具有关联的用于过滤所述至少一个波长的光的滤光器。
3.如权利要求1所述的多点触摸感测***，其中，通过由所述多点触摸感测***的用户的手指按压所述柔性层的第二表面，所述柔性层可变形。
4.如权利要求1所述的多点触摸感测***，其中，所述图像感测器被光学地设置为接收从所述光波导的第二面逸出的光。
5.如权利要求4所述的多点触摸感测***，还包括带通滤波器，其被光学地设置在所述光波导的第二面和所述图像感测器之间，用于基本上仅允许所述至少一个波长的光从所述光波导通过到达所述图像感测器。
6.如权利要求1所述的多点触摸感测***，其中，所述图像感测器是平板图像感测器。
7.如权利要求1所述的多点触摸感测***，其中，所述图像感测器是楔形光学照相机。
8.如权利要求1所述的多点触摸感测***，还包括直对着所述光波导一边设置的光源，用于发出所述至少一个波长并被所述光波导在至少所述预定的方向上接收的光。
9.如权利要求1所述的多点触摸感测***，其中，所述光波导是复合组件，包括非柔性光波导层和设置在所述非柔性光波导层上的柔性光波导层，所述柔性光波导层设置在所述光波导的第一面上使得所述柔性层被设置成与所述光波导的柔性光波导层相邻。
10.如权利要求1所述的多点触摸感测***，还包括后投影仪，用于朝向所述光波导的第二面投影视频图像，并且其中，可见光基本上可透过所述柔性层和所述光波导从而通过所述柔性层和所述光波导可看到显示的视频图像。
11.如权利要求10所述的多点触摸感测***，还包括设置在所述柔性层上的漫射器，用于漫射朝向所述光波导的第二面投影的视频图像。
12.如权利要求10所述的多点触摸感测***，其中，所述柔性层适配为漫射朝向所述光波导的第二面投影的视频图像。
13.如权利要求1所述的多点触摸感测***，还包括设置在所述柔性层的所述至少一个波长的光不可透过的薄膜和用于将视频图像投影在所述薄膜上的前投影仪。
14.如权利要求1所述的多点触摸感测***，还包括设置在所述光波导的第二面上的液晶显示(LCD)面板，用于在朝向所述柔性层的方向上显示视频图像，其中，可见光基本上可透过所述柔性层和所述光波导从而通过所述柔性层和所述光波导可看到显示的视频图像。
15.如权利要求14所述的多点触摸感测***，还包括多个发射源，用于提供背光给所述LCD面板；和设置在所述LCD面板和所述多个发射源之间的背光漫射器。
16.如权利要求14所述的多点触摸感测***，还包括薄型的楔形背光单元，用于给所述LCD面板提供背光。
17.如权利要求16所述的多点触摸感测***，其中，所述图像感测器是楔形光学照相机。
18.如权利要求14所述的多点触摸感测***，还包括用于给所述LCD面板提供背光的多个光源和设置在所述LCD面板和所述多个光源之间的背光漫射器，其中所述图像感测器是楔形光学照相机。
19.如权利要求14所述的多点触摸感测***，其中，所述LCD面板被设置在所述至少一些从所述光波导逸出到所述图像感测器的光的光学路径内，并且所述至少一个波长的光可透过所述LCD面板，所以所述LCD面板不会阻止逸出所述光波导的所述至少一个波长的光到达所述图像感测器。
20.如权利要求1所述的多点触摸感测***，还包括设置在所述光波导的第二面的液晶显示(LCD)/光学感测面板，用于在朝向所述柔性层的方向上显示视频图像，所述图像感测器对应于所述LCD/光学感测面板的光学感测元件。
21.如权利要求1所述的多点触摸感测***，还包括设置在所述光波导的第二面上的具有集成的感测器的有源矩阵OLED，用于在朝向所述柔性层的方向上显示视频图像，所述图像感测器对应于所述具有集成的感测器的有源矩阵OLED的集成的感测器。
22.如权利要求1所述的多点触摸感测***，还包括与所述柔性层耦接的弹性OLED(FOLED)，用于在朝向所述多点触摸感测***的用户的方向上显示视频图像，所述FOLED足够柔韧以便在被按压时使所述柔性层变形，从而使所述柔性层接触所述光波导。
23.如权利要求1所述的多点触摸感测***，还包括设置在所述柔性层上双面FOLED，其具有：用于在朝向所述多点触摸感测***的用户的方向上显示视频图像的发射层和用于在朝向用户的方向上感测一些从所述光波导逸出的光的感测层，所述双面FOLED足够柔韧以便在被按压时使所述柔性层变形，从而使所述柔性层接触所述光波导，所述图像感测器对应于所述FOLED的感测层。
24.如权利要求1所述的多点触摸感测***，还包括弹性LCD和弹性背光的组合，耦接到所述柔性层，用于在朝向所述多点触摸感测***的用户的方向上显示视频图像，所述弹性LCD和弹性背光的组合足够柔韧以便在被按压时使所述柔性层变形，从而使所述柔性层接触所述光波导。
25.如权利要求1所述的多点触摸感测***，还包括耦接到所述柔性层的弹性LCD，用于在朝向所述多点触摸感测***的用户的方向上显示视频图像；和光源，用于使可见光通过所述柔性层指向所述弹性LCD，所述柔性层适配为漫射所述可见光。
26.如权利要求25所述的多点触摸感测***，其中，所述弹性LCD包括集成的感测器，用于在朝向所述用户的方向上感测至少一些从所述光波导逸出的光，并且所述图像感测器对应于集成在所述弹性LCD中的感测器。
27.如权利要求1所述的多点触摸感测***，其中，所述至少一个波长的光是红外光并且所述图像感测器适配为检测红外光；而所述***还包括第二图像感测器，用于检测通过所述光波导和所述柔性层的视觉信息，所述第二图像感测器适配为不检测由所述图像感测器检测的光。
28.如权利要求27所述的多点触摸感测***，其中，所述第二图像感测器能够感测超出所述柔性层的区域。
29.一种多点触摸感测***，包括：
具有第一面和第二面的光波导；
柔性层，直接与所述光波导的第一面耦接，所述柔性层和所述光波导具有基本近似的折射率以使得由所述光波导在预定方向上接收的至少一个波长的光在所述光波导和所述柔性层内受到全内反射；
包层，直接与所述柔性层耦接，并具有比所述柔性层的折射率足够低的折射率以使得所述包层的形变引起受到全内反射的一些所述光散射并逸出所述柔性层和所述光波导；和
图像感测器，适配为检测至少一些从所述柔性层和所述光波导逸出的光。
30.如权利要求29所述的多点触摸感测***，其中，所述包层具有相关联的滤光器，用于过滤所述至少一个波长的光。
31.如权利要求29所述的多点触摸感测***，其中，通过多点触摸***的用户的手指按压所述包层的表面，所述包层可变形。
32.如权利要求29所述的多点触摸感测***，其中，所述图像感测器被光学地设置为接收从所述光波导的第二面逸出的光。
33.如权利要求32所述的多点触摸感测***，还包括光学地设置在所述光波导的第二面和所述图像感测器之间的带通滤波器；和用于基本上仅允许所述至少一个波长的光从所述光波导通过到达所述图像感测器。
34.如权利要求29所述的多点触摸感测***，其中所述图像感测器是平板图像感测器。
35.如权利要求29所述的多点触摸感测***，其中，所述图像感测器是楔形光学照相机。
36.如权利要求29所述的多点触摸感测***，还包括直对着所述光波导一边设置的光源，用于发出所述至少一个波长并被所述光波导在至少所述预定的方向上接收的光。
37.如权利要求29所述的多点触摸感测***，其中，所述光波导是复合组件，其包括非柔性光波导层和设置在所述非柔性光波导层上的柔性光波导层，所述柔性光波导层被设置在所述光波导的第一面，以使得所述柔性层耦接到所述光波导的柔性光波导层。
38.如权利要求29所述的多点触摸感测***，还包括后投影仪，用于朝向所述光波导的第二面投影视频图像，其中，可见光基本上可透过所述包层、所述柔性层和所述光波导以使得通过所述包层、所述柔性层和所述光波导可看到所显示的视频图像。
39.如权利要求38所述的多点触摸感测***，还包括设置在所述包层上的漫射器，用于漫射朝向所述光波导的第二面投影的所述视频图像。
40.如权利要求38所述的多点触摸感测***，其中所述柔性层适配为漫射朝向所述光波导的第二面投影的所述视频图像。
41.如权利要求29所述的多点触摸感测***，还包括设置在所述包层上的所述至少一个波长的光不可透过的薄膜和用于将视频图像投影在所述薄膜上的前投影仪。
42.如权利要求29所述的多点触摸感测***，还包括设置在所述光波导的第二面上的液晶显示(LCD)面板，用于在朝向所述包层的方向上显示视频图像，其中，可见光基本上可透过所述包层、所述柔性层和所述光波导，以使得通过所述包层、所述柔性层和所述光波导可看到所显示的视频图像。
43.如权利要求42所述的多点触摸感测***，还包括多个用于提供背光给所述LCD面板的发射源和设置在所述LCD面板和所述多个发射源之间的背光漫射器。
44.如权利要求42所述的多点触摸感测***，还包括薄型的楔形背光单元，用于提供背光给所述LCD面板。
45.如权利要求44所述的多点触摸感测***，其中，所述图像感测器是楔形光学照相机。
46.如权利要求42所述的多点触摸感测***，还包括多个用于提供背光给所述LCD面板的光源和设置在所述LCD面板和所述多个光源之间的背光漫射器，其中所述图像感测器是楔形光学照相机。
47.如权利要求42所述的多点触摸感测***，其中，所述LCD面板被设置在所述至少一些从所述光波导逸出到所述图像感测器的光的光学路径内，而所述至少一个波长的光可透过所述LCD面板，使得所述LCD面板不会阻止所述逸出光波导的所述至少一个波长的光到达图像感测器。
48.如权利要求29所述的多点触摸感测***，还包括设置在所述光波导的第二面上的液晶显示(LCD)/光学感测面板，用于在朝向所述包层的方向上显示视频图像，所述图像感测器对应于所述LCD/光学感测面板的光学感测元件。
49.如权利要求29所述的多点触摸感测***，还包括设置在所述光波导的所述第二面上的具有集成的感测器的有源矩阵OLED，用于在朝向所述包层方向上显示视频图像，所述图像感测器对应于具有集成的感测器的所述有源OLED的集成的感测器。
50.如权利要求29所述的多点触摸感测***，还包括与所述包层耦接的弹性OLED(FOLED)，其用于在朝向所述多点触摸感测***的用户的方向上显示视频图像，所述FOLED足够柔韧以便在被按压时使所述包层变形。
51.如权利要求29所述的多点触摸感测***，还包括设置在所述包层上双面FOLED，该双面FOLED具有用于在朝向所述多点触摸感测***的用户的方向上显示视频图像的发射层和用于在朝向所述用户的方向上感测一些从所述光波导和所述柔性层逸出的光的感测层，所述双面FOLED足够柔韧以便在被按压时使所述包层变形，并且所述图像感测器对应于所述FOLED的感测层。
52.如权利要求29所述的多点触摸感测***，还包括弹性LCD和弹性背光的组合，与所述包层耦接，用于在朝向所述多点触摸感测***的用户的方向上显示视频图像，所述组合足够柔韧以便在被按压时使所述包层变形。
53.如权利要求29所述的多点触摸感测***，还包括与所述包层耦接的弹性LCD，用于在朝向所述多点触摸感测***的用户的方向上显示视频图像；和光源，用于使可见光通过所述包层指向所述弹性LCD，所述包层适配为漫射所述可见光。
54.如权利要求53所述的多点触摸感测***，其中，所述弹性LCD包括集成的感测器，用于在朝向所述用户方向上感测至少一些从所述柔性层和所述光波导逸出的光，所述图像感测器对应于集成在所述弹性LCD中的感测器。
55.如权利要求29所述的多点触摸感测***，其中，所述至少一个波长的光是红外光并且所述图像感测器适配为检测红外光；所述***还包括第二图像感测器，用于检测通过所述光波导、所述柔性层和所述包层的视觉信息，所述第二图像感测器适配为不检测由所述图像感测器检测的光。
56.如权利要求55所述的多点触摸感测***，其中，所述第二图像感测器能够感测超出所述包层的区域。
57.一种多点触摸感测***，包括：
柔性光波导，具有足够引起在预定方向上接收的至少一个波长的光在所述柔性光波导内受到全内反射的折射率，所述柔性光波导具有第一面和第二面；
包层，直接与所述柔性光波导的第一面耦接，并具有比所述柔性光波导的折射率足够低的折射率以使得所述包层的形变引起受到全内反射的一些光散射并逸出柔性光波导；和
图像感测器，适配为检测至少一些逸出所述柔性光波导的光。
58.如权利要求57所述的多点触摸感测***，其中，所述包层具有相关联的滤光器，用于过滤所述至少一个波长的光。
59.如权利要求57所述的多点触摸感测***，其中，通过多点触摸***的用户的手指按压所述包层的表面，所述包层可变形。
60.如权利要求57所述的多点触摸感测***，其中，所述图像感测器被光学地设置为接收从所述柔性光波导的第二面逸出的光。
61.如权利要求60所述的多点触摸感测***，还包括光学地设置在所述柔性光波导的第二面和所述图像感测器之间的带通滤波器；和用于基本上仅允许所述至少一个波长的光从所述柔性光波导通过到达所述图像感测器。
62.如权利要求57所述的多点触摸感测***，其中，所述图像感测器是平板图像感测器。
63.如权利要求57所述的多点触摸感测***，其中，所述图像感测器是楔形光学照相机。
64.如权利要求57所述的多点触摸感测***，还包括直对着所述柔性光波导一边设置的光源，用于发出所述至少一个波长并被所述柔性光波导在至少所述预定的方向上接收的光。
65.如权利要求57所述的多点触摸感测***，其中，所述柔性光波导由设置在另一个装置中的基底支撑。
66.如权利要求57所述的多点触摸感测***，其中，所述柔性光波导是复合组件，包括非柔性光波导层和设置在所述非柔性光波导层上的柔性光波导层，所述柔性光波导层被设置在所述柔性光波导的第二面上以使得所述包层与所述柔性光波导层耦接。
67.如权利要求57所述的多点触摸感测***，还包括后投影仪，用于朝向所述柔性光波导的第二面投影视频图像，并且其中，可见光基本上可透过所述包层和所述柔性光波导以使得通过所述包层和所述柔性光波导可看到所显示的视频图像。
68.如权利要求67所述的多点触摸感测***，还包括设置在所述包层上的漫射器，用于漫射朝向所述柔性光波导的第二面投影的视频图像。
69.如权利要求67所述的多点触摸感测***，其中，所述柔性光波导适配为朝向所述柔性光波导的第二面投影的视频图像。
70.如权利要求57所述的多点触摸感测***，还包括设置在所述包层上的所述至少一个波长的光不可透过的薄膜和用于将视频图像投影在所述薄膜上的前投影仪。
71.如权利要求57所述的多点触摸感测***，还包括设置在所述柔性光波导的第二面的液晶显示(LCD)面板，用于在朝向所述包层的方向上显示视频图像，并且其中，可见光基本上可透过所述包层和所述柔性光波导以使得通过所述包层和所述柔性光波导可看到所显示的视频图像。
72.如权利要求71所述的多点触摸感测***，还包括多个发射源，用于提供背光给所述LCD面板，和设置在所述LCD面板和所述多个发射源之间的背光漫射器。
73.如权利要求71所述的多点触摸感测***，还包括薄型的楔形背光单元，用于给所述LCD面板提供背光。
74.如权利要求73所述的多点触摸感测***，其中所述图像感测器是楔形光学照相机。
75.如权利要求71所述的多点触摸感测***，还包括用于给所述LCD面板提供背光的多个光源和设置在所述LCD面板和所述多个光源之间的背光漫射器，其中所述图像感测器是楔形光学照相机。
76.如权利要求71所述的多点触摸感测***，其中，所述LCD面板被设置在所述至少一些逸出所述柔性光波导的光到所述图像感测器的光学路径内，并且所述至少一个波长的光可透过所述LCD面板，以使得所述LCD面板不会阻止逸出所述光波导的所述至少一个波长的光到达所述图像感测器。
77.如权利要求57所述的多点触摸感测***，还包括设置在所述柔性光波导的第二面上的液晶显示(LCD)/光学感测面板，用于在朝向所述包层的方向上显示视频图像，所述图像感测器对应于所述LCD/光学感测面板的光学感测元件。
78.如权利要求57所述的多点触摸感测***，还包括设置在所述光波导的第二面上的具有集成的感测器的有源矩阵OLED，用于在朝向所述包层的方向上显示视频图像，所述图像感测器对应于所述具有集成的感测器的所述有源矩阵OLED的集成的感测器。
79.如权利要求57所述的多点触摸感测***，还包括与所述包层耦接的弹性OLED(FOLED)，用于在朝向所述多点触摸感测***的用户的方向上显示视频图像，所述FOLED足够柔韧以便在被用户按压时使所述包层变形。
80.如权利要求57所述的多点触摸感测***，还包括设置在所述包层上的双面FOLED，该双面FOLED具有用于在朝向所述多点触摸感测***的用户的方向上显示视频图像的发射层和用于在朝向所述用户的方向上感测至少一些从所述柔性光波导逸出的光的感测层，所述双面FOLED足够柔韧以便在被按压时使所述包层变形，并且所述图像感测器对应于所述FOLED的感测层。
81.如权利要求57所述的多点触摸感测***，还包括弹性LCD和弹性背光的组合，耦接到所述包层，用于在朝向所述多点触摸感测***的用户的方向上显示视频图像，所述组合足够柔韧以便在被用户按压时使所述包层变形。
82.如权利要求57所述的多点触摸感测***，还包括与所述包层耦接的弹性LCD，用于在朝向所述多点触摸感测***的用户的方向上显示视频图像；和光源，用于使可见光通过所述包层指向所述弹性LCD，所述包层适配为漫射所述可见光。
83.如权利要求82所述的多点触摸感测***，其中，所述弹性LCD包括集成的感测器，用于在朝向所述用户的方向上感测至少一些从所述柔性光波导逸出的光，所述图像感测器对应于集成在所述弹性LCD中的感测器。
84.如权利要求57所述的多点触摸感测***，其中，所述至少一个波长的光是红外光并且所述图像感测器适配为检测红外光；而所述***还包括第二图像感测器，用于检测通过所述柔性光波导和所述包层的视觉信息，所述第二图像感测器适配为不检测由所述图像感测器检测的光。
85.如权利要求84所述的多点触摸感测***，所述第二图像感测器能够感测超出所述包层的区域。
86.一种多点触摸感测方法，包括：
在光波导内全内反射至少一个波长的至少一些光；
充分按压具有被设置为与所述光波导的第一面相邻并隔开的第一表面的柔性层，以引起所述柔性层的所述第一表面的部分与所述光波导的第一面接触，所述柔性层的第一表面具有充分近似于所述光波导的折射率的折射率，当所述柔性层的第一表面接触所述光波导时，引起所述受到全内反射的一些光散射并逸出所述光波导；以及
感测至少一些逸出所述光波导的光。
87.如权利要求86所述的方法，包括过滤通过所述柔性层的所述至少一个波长的光。
88.如权利要求86所述的方法，其中按压所述柔性层包括通过人的手指按压所述柔性层。
89.如权利要求86所述的方法，其中，所述感测包括感测从所述光波导的第二面逸出的光。
90.如权利要求89所述的方法，其中，所述感测包括基本上仅感测所述至少一个波长的光。
91.如权利要求86所述的方法，其中，所述感测由平板图像感测器执行。
92.如权利要求86所述的方法，其中，所述感测由楔形光学照相机执行。
93.如权利要求86所述的方法，包括朝向所述光波导的第二面投影视频图像；以及通过所述柔性层和所述光波导观看所投影的视频图像。
94.如权利要求93所述的方法，包括通过所述柔性层或通过设置在所述柔性层上的漫射器漫射所投影的视频图像。
95.如权利要求86所述的方法，包括通过前投影仪将视频图像投影在设置在所述柔性层上的所述至少一个波长的光不可透过的薄膜上。
96.如权利要求86所述的方法，包括通过设置在所述光波导的第二面上的液晶显示(LCD)面板在朝向所述柔性层的方向上显示视频图像，以及通过所述柔性层和所述光波导观看所显示的视频图像。
97.如权利要求86所述的方法，其中，所述感测包括通过设置在所述光波导的第二面上的液晶显示(LCD)/光学感测面板来感测，所述方法还包括通过所述液晶显示(LCD)/光学感测面板在朝向所述柔性层的方向上显示视频图像。
98.如权利要求86所述的方法，其中，所述感测包括通过设置在所述光波导的第二面上的具有集成的感测器的有源矩阵OLED来感测，所述方法还包括通过所述液晶显示(LCD)/光学感测面板在朝向所述柔性层的方向上显示视频图像。
99.如权利要求86所述的方法，包括通过与所述柔性层耦接的弹性OLED(FOLED)显示视频图像，并使所述FOLED变形以引起所述柔性层被按压，从而导致所述柔性层接触所述光波导。
100.如权利要求86所述的方法，其中，所述感测通过设置在所述柔性层上的双面FOLED的感测层来执行，所述方法还包括通过所述双面FOLED的发射层显示视频图像，并使所述双面FOLED变形以按压所述柔性层，从而导致所述柔性层接触所述光波导。
101.如权利要求86所述的方法，包括通过与所述柔性层耦接的弹性LCD来显示视频图像，并且按压所述弹性LCD从而按压所述柔性层。
102.如权利要求86所述的方法，包括通过与所述柔性层耦接的弹性LCD来显示视频图像，使可见光通过所述柔性层指向所述弹性LCD，并通过所述柔性层漫射所述可见光。
103.如权利要求102所述的方法，其中所述感测由集成在所述弹性LCD中的感测器执行。
104.如权利要求86所述的方法，其中，所述至少一个波长的光是红外光，而感测包括感测红外光；所述方法还包括感测通过所述光波导和所述柔性层的非红外视觉信息。
105.一种多点触摸感测方法，包括：
在光波导和直接与所述光波导的第一面耦接的柔性层内全内反射至少一个波长的至少一些光；
使与所述柔性层直接耦接并具有比所述柔性层的折射率足够低的折射率的包层变形，以引起一些受到全内反射的光散射并逸出所述柔性层和所述光波导；以及
感测至少一些逸出所述光波导和所述柔性层的光。
106.如权利要求105所述的方法，包括过滤通过所述包层的所述至少一个波长的光。
107.如权利要求105所述的方法，其中，使所述包层变形包括通过人的手指按压所述包层。
108.如权利要求105所述的方法，其中，所述感测包括感测从所述光波导的第二面逸出的光。
109.如权利要求108所述的方法，其中，所述感测包括基本上仅感测所述至少一个波长的光。
110.如权利要求105所述的方法，其中，所述感测由平板图像感测器执行。
111.如权利要求105所述的方法，其中，所述感测由楔形光学照相机执行。
112.如权利要求105所述的方法，包括朝向所述光波导的第二面投影视频图像，并通过所述包层、所述柔性层和所述光波导观看所投影的视频图像。
113.如权利要求112所述的方法，包括，通过设置在所述包层上的漫射器或通过所述柔性层漫射所投影的视频图像。
114.如权利要求105所述的方法，其中，包括通过前投影仪将视频图像投影在薄膜上，所述薄膜设置在所述包层上并且所述至少一个波长的光不可透过该薄膜。
115.如权利要求105所述的方法，包括通过设置在所述光波导的第二面上的液晶显示(LCD)面板在朝向所述包层的方向上显示视频图像，并通过所述包层、所述柔性层和所述光波导观看所显示的视频图像。
116.如权利要求105所述的方法，其中，所述感测包括通过设置在所述光波导的第二面的液晶显示(LCD)/光学感测面板来感测，所述方法还包括通过所述液晶显示(LCD)/光学感测面板在朝向所述包层的方向上显示视频图像。
117.如权利要求105所述的方法，其中，所述感测包括通过设置在所述光波导的第二面上的具有集成的感测器的有源矩阵OLED来感测，所述方法还包括通过所述液晶显示(LCD)/光学感测面板在朝向所述包层的方向上显示视频图像。
118.如权利要求105所述的方法，包括通过与所述包层耦接的弹性OLED(FOLED)显示视频图像，以及按压所述FOLED以使所述包层变形。
119.如权利要求105所述的方法，其中，所述感测由设置在包层上的双面FOLED的感测层执行，所述方法还包括通过所述双面FOLED的发射层显示视频图像，并使所述双面FOLED变形以按压所述包层，从而引起所述包层接触所述光波导。
120.如权利要求105所述的方法，包括通过与所述包层耦接的弹性LCD显示视频图像，以及按压所述弹性LCD以使所述包层变形。
121.如权利要求105所述的方法，包括通过与所述包层耦接的弹性LCD显示视频图像，使可见光通过所述包层指向所述弹性LCD，以及通过所述包层漫射所述可见光。
122.如权利要求121所述的方法，其中，所述感测由集成在所述弹性LCD中的感测器执行。
123.如权利要求105所述的方法，其中，所述至少一个波长的光是红外光并且感测包括感测红外光；所述方法还包括感测通过所述光波导、所述柔性层和所述包层的非红外视觉信息。
124.一种多点触摸感测方法，包括：
在柔性光波导内全内反射至少一个波长的至少一些光；
使与所述柔性光波导直接耦接并具有比所述柔性光波导的折射率足够低的折射率的包层变形，以引起一些受到全内反射的光散射并逸出所述柔性光波导；以及
感测至少一些逸出所述柔性光波导的光。
125.如权利要求124所述的方法，包括过滤通过所述包层的所述至少一个波长的光。
126.如权利要求124所述的方法，其中，使所述包层变形包括通过人的手指按压所述包层。
127.如权利要求124所述的方法，其中，所述感测包括感测从所述柔性光波导的第二面逸出的光。
128.如权利要求127所述的方法，其中，所述感测包括基本上仅感测所述至少一个波长的光。
129.如权利要求124所述的方法，其中，所述感测由平板图像感测器执行。
130.如权利要求124所述的方法，其中，所述感测由楔形光学照相机执行。
131.如权利要求124所述的方法，包括通过设置在另一个装置中的基底支撑所述柔性光波导。
132.如权利要求124所述的方法，包括朝向所述柔性光波导的第二面投影视频图像；以及通过所述包层和所述柔性光波导观看所投影的视频图像。
133.如权利要求132所述的方法，还包括通过设置在所述包层上的漫射器或通过所述柔性光波导漫射所投影的视频图像。
134.如权利要求124所述的方法，包括通过前投影仪将视频图像投影在设置在所述包层上的所述至少一个波长的光不可透过的薄膜上。
135.如权利要求124所述的方法，包括通过设置在所述柔性光波导的第二面上的液晶显示(LCD)面板在朝向所述包层的方向上显示视频图像，以及通过所述包层和所述柔性光波导观看所显示的视频图像。
136.如权利要求124所述的方法，其中，所述感测包括通过设置在所述柔性光波导的第二面上的液晶显示(LCD)/光学感测面板来感测，所述方法还包括通过所述液晶显示(LCD)/光学感测面板在朝向所述包层的方向上显示视频图像。
137.如权利要求124所述的方法，其中，所述感测包括通过设置在所述柔性光波导的第二面上的具有集成的感测器的有源矩阵OLED来感测，所述方法还包括通过所述液晶显示(LCD)/光学感测面板在朝向所述包层的方向上显示视频图像。
138.如权利要求124所述的方法，包括通过与所述包层耦接的弹性OLED(FOLED)显示视频图像，以及按压所述FOLED以使所述包层变形。
139.如权利要求124所述的方法，其中，所述感测通过设置在所述包层上的双面FOLED的感测层执行，所述方法还包括通过所述双面FOLED的发射层显示视频图像，以及使所述双面FOLED变形以按压所述包层，从而引起所述包层接触所述光波导。
140.如权利要求124所述的方法，包括通过与所述包层耦接的弹性LCD显示视频图像，以及按压所述弹性LCD以使所述包层变形。
141.如权利要求124所述的方法，包括通过与所述包层耦接的弹性LCD显示视频图像，使可见光通过所述包层指向所述弹性LCD，以及通过所述包层漫射所述可见光。
142.如权利要求141所述的方法，其中，所述感测由集成在所述弹性LCD中的感测器执行。
143.如权利要求124所述的方法，其中，所述至少一个波长的光是红外光并且所述感测包括感测红外光；所述方法还包括感测通过所述柔性光波导和所述包层的非红外视觉信息。
CN200880110302A 2007-08-03 2008-08-04 通过受抑全内反射的多点触摸感测 Pending CN101821703A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US95396607P 2007-08-03 2007-08-03
US11/833,908 2007-08-03
US11/833,908 US8441467B2 (en) 2006-08-03 2007-08-03 Multi-touch sensing display through frustrated total internal reflection
US60/953,966 2007-08-03
PCT/US2008/072164 WO2009020940A2 (en) 2007-08-03 2008-08-04 Multi-touch sensing through frustrated total internal reflection

Publications (1)

Publication Number Publication Date
CN101821703A true CN101821703A (zh) 2010-09-01

Family

ID=40341988

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200880110302A Pending CN101821703A (zh) 2007-08-03 2008-08-04 通过受抑全内反射的多点触摸感测

Country Status (3)

Country Link
EP (1) EP2188701B1 (zh)
CN (1) CN101821703A (zh)
WO (1) WO2009020940A2 (zh)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102253734A (zh) * 2010-03-23 2011-11-23 意法半导体(研发)有限公司 光学导航装置中的或与其相关的改进
CN102419660A (zh) * 2010-09-28 2012-04-18 扬升照明股份有限公司 触控显示装置及其操作方法
CN102609138A (zh) * 2011-02-03 2012-07-25 微软公司 在显示面板中进行触摸压力感测
CN102693046A (zh) * 2011-02-23 2012-09-26 微软公司 互动显示设备中的悬停检测
CN103150062A (zh) * 2012-10-31 2013-06-12 友达光电股份有限公司 触控显示装置
CN103365487A (zh) * 2012-04-10 2013-10-23 扬明光学股份有限公司 触控装置和触控投影***
CN103383610A (zh) * 2012-05-02 2013-11-06 北京通世舟数字科技有限责任公司 一种液晶屏多点触摸方法
CN103425352A (zh) * 2012-05-25 2013-12-04 扬明光学股份有限公司 车用光学式触控装置
CN103677448A (zh) * 2013-12-31 2014-03-26 上海交通大学 基于光栅结构的光波导式触摸屏
CN104020896A (zh) * 2014-05-14 2014-09-03 上海交通大学 基于光栅的光学触控屏
CN104737110A (zh) * 2012-10-26 2015-06-24 高通股份有限公司 用于提供显示器上的红外手势交互的***和方法
CN105102387A (zh) * 2012-11-30 2015-11-25 康宁股份有限公司 用于IR触摸屏应用的低Fe玻璃
CN105526999A (zh) * 2015-12-31 2016-04-27 北京工业职业技术学院 电子皮带秤称重仪表触摸按钮
CN103425352B (zh) * 2012-05-25 2016-11-30 扬明光学股份有限公司 车用光学式触控装置
CN108287632A (zh) * 2018-01-19 2018-07-17 昆山国显光电有限公司 压力触控感测模组和显示装置
CN108664855A (zh) * 2017-03-30 2018-10-16 上海箩箕技术有限公司 指纹成像模组和电子设备
CN109426790A (zh) * 2017-08-31 2019-03-05 上海箩箕技术有限公司 显示模组
CN112639705A (zh) * 2018-09-05 2021-04-09 指纹卡有限公司 光学指纹传感器模块和操作光学指纹传感器模块的方法
CN113157127A (zh) * 2021-02-04 2021-07-23 识瓴电子科技(南通)有限责任公司 智能表面***集成的方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8441467B2 (en) 2006-08-03 2013-05-14 Perceptive Pixel Inc. Multi-touch sensing display through frustrated total internal reflection
US8144271B2 (en) 2006-08-03 2012-03-27 Perceptive Pixel Inc. Multi-touch sensing through frustrated total internal reflection
US8125468B2 (en) 2007-07-30 2012-02-28 Perceptive Pixel Inc. Liquid multi-touch sensor and display device
US8237684B2 (en) * 2008-09-26 2012-08-07 Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. User input device with planar light guide illumination plate
US8487914B2 (en) * 2009-06-18 2013-07-16 Avago Technologies General Ip (Singapore) Pte. Ltd. Optical fingerprint navigation device with light guide film
US8624853B2 (en) 2009-06-01 2014-01-07 Perceptive Pixel Inc. Structure-augmented touch sensing with frustated total internal reflection
WO2010141453A2 (en) 2009-06-01 2010-12-09 Han Jefferson Y Touch sensing
US8736581B2 (en) 2009-06-01 2014-05-27 Perceptive Pixel Inc. Touch sensing with frustrated total internal reflection
CN101937289B (zh) * 2009-06-30 2013-06-05 鸿富锦精密工业（深圳）有限公司 光学触控装置
US8730212B2 (en) * 2009-08-21 2014-05-20 Microsoft Corporation Illuminator for touch- and object-sensitive display
EP2473904A1 (en) * 2009-09-01 2012-07-11 SMART Technologies ULC Interactive input system with improved signal-to-noise ratio (snr) and image capture method
US20120069232A1 (en) * 2010-09-16 2012-03-22 Qualcomm Mems Technologies, Inc. Curvilinear camera lens as monitor cover plate
US8970767B2 (en) 2011-06-21 2015-03-03 Qualcomm Mems Technologies, Inc. Imaging method and system with angle-discrimination layer
ITMI20120813A1 (it) 2012-05-11 2013-11-12 Fond Istituto Italiano Di Tecnologia Dispositivo e processo di rilevazione tattile.
KR102040651B1 (ko) 2016-04-29 2019-11-06 엘지디스플레이 주식회사 광학식 이미지 인식 센서 내장형 평판 표시장치
KR102418802B1 (ko) 2017-05-02 2022-07-11 엘지디스플레이 주식회사 표시장치
EP3717944A4 (en) 2017-11-29 2021-08-11 Cornell University WAVE GUIDE AND ITS SENSOR

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10047920A1 (de) * 2000-09-27 2002-04-18 Siemens Ag Vorrichtung zum Erkennen einer Berührungsposition auf einem Bedienfeld
US6972753B1 (en) * 1998-10-02 2005-12-06 Semiconductor Energy Laboratory Co., Ltd. Touch panel, display device provided with touch panel and electronic equipment provided with display device
US20060227120A1 (en) * 2005-03-28 2006-10-12 Adam Eikman Photonic touch screen apparatus and method of use
CN1922470A (zh) * 2004-02-24 2007-02-28 彩光公司 用于平板显示器的光笔和触摸屏数据输入***和方法
US20070152985A1 (en) * 2005-12-30 2007-07-05 O-Pen A/S Optical touch pad with multilayer waveguide

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4484179A (en) 1980-04-16 1984-11-20 At&T Bell Laboratories Touch position sensitive surface
US4668861A (en) 1984-12-12 1987-05-26 The Regents Of The University Of California Tactile sensor employing a light conducting element and a resiliently deformable sheet
KR100595925B1 (ko) * 1998-01-26 2006-07-05 웨인 웨스터만 수동 입력 통합 방법 및 장치
JP3670896B2 (ja) * 1999-08-06 2005-07-13 日立ソフトウエアエンジニアリング株式会社 電子ボードシステム
DE50308334D1 (de) * 2002-05-07 2007-11-22 Schott Ag Beleuchtungseinrichtung für Schaltflächen
US7598949B2 (en) * 2004-10-22 2009-10-06 New York University Multi-touch sensing light emitting diode display and method for using the same
US20060158437A1 (en) * 2005-01-20 2006-07-20 Blythe Michael M Display device
CN101194222A (zh) * 2005-02-07 2008-06-04 Rpo私人有限公司 包含反射光学元件的波导设计

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6972753B1 (en) * 1998-10-02 2005-12-06 Semiconductor Energy Laboratory Co., Ltd. Touch panel, display device provided with touch panel and electronic equipment provided with display device
DE10047920A1 (de) * 2000-09-27 2002-04-18 Siemens Ag Vorrichtung zum Erkennen einer Berührungsposition auf einem Bedienfeld
CN1922470A (zh) * 2004-02-24 2007-02-28 彩光公司 用于平板显示器的光笔和触摸屏数据输入***和方法
US20060227120A1 (en) * 2005-03-28 2006-10-12 Adam Eikman Photonic touch screen apparatus and method of use
US20070152985A1 (en) * 2005-12-30 2007-07-05 O-Pen A/S Optical touch pad with multilayer waveguide

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JEFFERSON Y. HAN: ""low-cost multi-touch sensing through frustrated total internal reflection"", 《PROCEEDINGS OF THE 18TH ANNUAL ACM SYMPOSIUM ON USER INTERFACE SOFTWARE AND TECHNOLOGY》 *

Cited By (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102253734B (zh) * 2010-03-23 2017-05-10 意法半导体(R&D)有限公司 一种具有成像表面和传感器的类型的成像装置
CN102253734A (zh) * 2010-03-23 2011-11-23 意法半导体(研发)有限公司 光学导航装置中的或与其相关的改进
CN102419660A (zh) * 2010-09-28 2012-04-18 扬升照明股份有限公司 触控显示装置及其操作方法
US9535537B2 (en) 2010-11-18 2017-01-03 Microsoft Technology Licensing, Llc Hover detection in an interactive display device
CN102609138B (zh) * 2011-02-03 2014-12-24 微软公司 在显示面板中进行触摸压力感测
CN102609138A (zh) * 2011-02-03 2012-07-25 微软公司 在显示面板中进行触摸压力感测
CN102693046A (zh) * 2011-02-23 2012-09-26 微软公司 互动显示设备中的悬停检测
CN102693046B (zh) * 2011-02-23 2017-04-12 微软技术许可有限责任公司 互动显示设备中的悬停检测
US9213444B2 (en) 2012-04-10 2015-12-15 Young Optics Inc. Touch device and touch projection system using the same
CN103365487A (zh) * 2012-04-10 2013-10-23 扬明光学股份有限公司 触控装置和触控投影***
CN103365487B (zh) * 2012-04-10 2017-03-01 扬明光学股份有限公司 触控装置和触控投影***
CN103383610A (zh) * 2012-05-02 2013-11-06 北京通世舟数字科技有限责任公司 一种液晶屏多点触摸方法
US9207807B2 (en) 2012-05-25 2015-12-08 Young Optics Inc. Vehicular optical touch apparatus
CN103425352A (zh) * 2012-05-25 2013-12-04 扬明光学股份有限公司 车用光学式触控装置
CN103425352B (zh) * 2012-05-25 2016-11-30 扬明光学股份有限公司 车用光学式触控装置
CN104737110A (zh) * 2012-10-26 2015-06-24 高通股份有限公司 用于提供显示器上的红外手势交互的***和方法
CN103150062A (zh) * 2012-10-31 2013-06-12 友达光电股份有限公司 触控显示装置
CN105102387B (zh) * 2012-11-30 2018-07-20 康宁股份有限公司 用于IR触摸屏应用的低Fe玻璃
CN105102387A (zh) * 2012-11-30 2015-11-25 康宁股份有限公司 用于IR触摸屏应用的低Fe玻璃
CN103677448A (zh) * 2013-12-31 2014-03-26 上海交通大学 基于光栅结构的光波导式触摸屏
CN103677448B (zh) * 2013-12-31 2017-03-22 上海交通大学 基于光栅结构的光波导式触摸屏
CN104020896A (zh) * 2014-05-14 2014-09-03 上海交通大学 基于光栅的光学触控屏
CN104020896B (zh) * 2014-05-14 2018-10-02 上海交通大学 基于光栅的光学触控屏
CN105526999B (zh) * 2015-12-31 2017-12-19 北京工业职业技术学院 电子皮带秤称重仪表触摸按钮
CN105526999A (zh) * 2015-12-31 2016-04-27 北京工业职业技术学院 电子皮带秤称重仪表触摸按钮
CN108664855A (zh) * 2017-03-30 2018-10-16 上海箩箕技术有限公司 指纹成像模组和电子设备
CN109426790A (zh) * 2017-08-31 2019-03-05 上海箩箕技术有限公司 显示模组
CN108287632A (zh) * 2018-01-19 2018-07-17 昆山国显光电有限公司 压力触控感测模组和显示装置
CN112639705A (zh) * 2018-09-05 2021-04-09 指纹卡有限公司 光学指纹传感器模块和操作光学指纹传感器模块的方法
CN112639705B (zh) * 2018-09-05 2023-08-01 指纹卡安娜卡敦知识产权有限公司 光学指纹传感器模块和操作光学指纹传感器模块的方法
CN113157127A (zh) * 2021-02-04 2021-07-23 识瓴电子科技(南通)有限责任公司 智能表面***集成的方法

Also Published As

Publication number Publication date
WO2009020940A3 (en) 2009-04-02
EP2188701A4 (en) 2011-11-09
EP2188701A2 (en) 2010-05-26
EP2188701B1 (en) 2018-04-18
WO2009020940A2 (en) 2009-02-12

Similar Documents

Publication Publication Date Title
CN101821703A (zh) 通过受抑全内反射的多点触摸感测
US8259240B2 (en) Multi-touch sensing through frustrated total internal reflection
US8441467B2 (en) Multi-touch sensing display through frustrated total internal reflection
CN102576265B (zh) 触摸检测
Han Low-cost multi-touch sensing through frustrated total internal reflection
US8619062B2 (en) Touch-pressure sensing in a display panel
JP7022907B2 (ja) 光をカバーガラスに注入するシステム及び方法
KR20090060283A (ko) 좌절형 전반사를 통한 멀티 터치 검출 디스플레이
US9348463B2 (en) Retroreflection based multitouch sensor, method and program
US8736581B2 (en) Touch sensing with frustrated total internal reflection
US20090267919A1 (en) Multi-touch position tracking apparatus and interactive system and image processing method using the same
US9977543B2 (en) Apparatus and method for detecting surface shear force on a display device
US20150346856A1 (en) Touch-sensing lcd panel
TWI571769B (zh) 非接觸輸入裝置及方法
US20140055418A1 (en) Touch display panel and optical touch panel thereof
KR20060135610A (ko) 광 가이드를 사용한 터치 스크린
US20150035799A1 (en) Optical touchscreen
TWI433010B (zh) 光學式觸控顯示裝置
TWI502417B (zh) 觸控顯示裝置及其操作方法
TWI543045B (zh) 觸控裝置和觸控投影系統
KR20100116267A (ko) 터치 패널 및 그를 가지는 터치 표시 장치
TWM557387U (zh) 光學指紋檢測裝置
TWI435249B (zh) 觸控模組及應用其之觸控式顯示器
TWM559452U (zh) 具光學指紋檢測功能的顯示裝置及利用其之資訊處理裝置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C12 Rejection of a patent application after its publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20100901