具体实施方式
本发明的各方面涉及可在各种不同的平台中使用的输入设备,以控制台式或膝上计算机、在白板上书写、在诸如纸张等表面上书写、控制PDA或蜂窝电话、或创建可在各种平台之间移植的墨水。
术语
笔—可包括或不包括储存墨水的能力的任何书写工具。在某些示例中,没有墨水能力的触针可用作依照本发明实施例的笔。
照相机—图像捕捉***。
有源编码—代码在对象或表面中的结合,在对象或表面上,为使用适当的处理算法确定输入设备的位置和/或移动的目的而定位输入设备。
无源编码—使用图像数据来检测输入设备的移动/定位,该图像数据不包括为该目的而结合的代码,这些代码是使用适当的处理算法从在其上移动输入设备的对象或表面上获取的。
输入设备—用于输入可被配置成用于生成并处理信息的信息的设备。
有源输入设备—使用结合在输入设备中的传感器有源地测量信号并生成指示输入设备的定位和/或移动的输入设备。
无源输入设备—使用所结合而非输入设备中的传感器来检测移动的输入设备;
计算设备—台式计算机、膝上计算机、Tablet PCTM、个人数据助理、电话、或包括输入设备的被配置成处理信息的任何设备。
图1示出了可在其中实现本发明的一个合适的计算***环境100的示例。计算***环境100仅为合适的计算环境的一个示例,并非暗示对本发明的使用范围或功能的局限。也不应将计算环境100解释为对示例性操作环境100中示出的任一组件或其组合具有依赖或需求。
本发明可以使用众多其它通用或专用计算***环境或配置来操作。适合使用本发明的众所周知的计算***、环境和/或配置包括但不限于:个人计算机、服务器计算机、手持式或膝上设备、多处理器***、基于微处理器的***、机顶盒、可编程消费者电子设备、网络PC、小型机、大型机、包括任一上述***或设备的分布式计算环境等等。
本发明可在诸如由计算机执行的程序模块等计算机可执行指令的一般上下文环境中描述。一般而言,程序模块包括例程、程序、对象、组件、数据结构等等,执行特定的任务或实现特定的抽象数据类型。本发明也可以在分布式计算环境中实践,其中,任务由通过通信网络连接的远程处理设备来执行。在分布式计算环境中,程序模块可以位于本地和远程计算机存储媒质中,包括存储器存储设备。
参考图1,用于实现本发明的示例***包括以计算机110形式的通用计算设备。计算机110的组件包括但不限于,处理单元120、***存储器130以及将包括***存储器的各类***组件耦合至处理单元120的***总线121。***总线121可以是若干种总线结构类型的任一种,包括存储器总线或存储器控制器、***总线以及使用各类总线体系结构的局部总线。作为示例而非局限,这类体系结构包括工业标准体系结构(ISA)总线、微通道体系结构(MCA)总线、增强ISA(EISA)总线、视频电子技术标准协会(VESA)局部总线以及***部件互连(PCI)总线,也称为Mezzanine总线。
计算机110通常包括各种计算机可读媒质。计算机可读媒质可以是可由计算机110访问的任一可用媒质,包括易失和非易失媒质、可移动和不可移动媒质。作为示例而非局限,计算机可读媒质包括计算机存储媒质和通信媒质。计算机存储媒质包括以用于储存诸如计算机可读指令、数据结构、程序模块或其它数据等信息的任一方法或技术实现的易失和非易失,可移动和不可移动媒质。计算机存储媒质包括但不限于,随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、闪存或其它存储器技术、CD-ROM、数字多功能盘(DVD)或其它光盘存储、磁盒、磁带、磁盘存储或其它磁存储设备、或可以用来储存所期望的信息并可由计算机110访问的任一其它媒质。通信媒质通常在诸如载波或其它传输机制的已调制数据信号中包含计算机可读指令、数据结构、程序模块或其它数据,并包括任一信息传送媒质。术语“已调制数据信号”指以对信号中的信息进行编码的方式设置或改变其一个或多个特征的信号。作为示例而非局限,通信媒质包括有线媒质,如有线网络或直接连线连接,以及无线媒质,如声学、RF、红外和其它无线媒质。上述任一的组合也应当包括在计算机可读媒质的范围之内。
***存储器130包括以易失和/或非易失存储器形式的计算机存储媒质,如ROM 131和RAM 132。基本输入/输出***133(BIOS)包括如在启动时帮助在计算机110内的元件之间传输信息的基本例程,通常储存在ROM 131中。RAM 132通常包含处理单元120立即可访问或者当前正在操作的数据和/或程序模块。作为示例而非局限,图1示出了操作***134、应用程序135、其它程序模块136和程序数据137。
计算机110也可包括其它可移动/不可移动、易失/非易失计算机存储媒质。仅作示例,图1示出了对不可移动、非易失磁媒质进行读写的硬盘驱动器141、对可移动、非易失磁盘152进行读写的磁盘驱动器151以及对可移动、非易失光盘156,如CD ROM或其它光媒质进行读写的光盘驱动器155。可以在示例性操作环境中使用的其它可移动/不可移动、易失/非易失计算机存储媒质包括但不限于,磁带盒、闪存卡、数字多功能盘、数字视频带、固态RAM、固态ROM等等。硬盘驱动器141通常通过不可移动存储器接口,如接口140连接到***总线121,磁盘驱动器151和光盘驱动器155通常通过可移动存储器接口,如接口150连接到***总线121。
图1讨论并示出的驱动器及其关联的计算机存储媒质为计算机110提供了计算机可读指令、数据结构、程序模块和其它数据的存储。例如,在图1中,示出硬盘驱动器141储存操作***144、应用程序145、其它程序模块146和程序数据147。注意,这些组件可以与操作***134、应用程序135、其它程序模块136和程序数据137相同,也可以与它们不同。这里对操作***144、应用程序145、其它程序模块146和程序数据147给予不同的标号来说明至少它们是不同的副本。用户可以通过输入设备,如数码相机(未示出)、键盘162和定位设备161(通常指鼠标、跟踪球或触摸板)向计算机110输入命令和信息。其它输入设备(未示出)可包括操纵杆、游戏垫、圆盘式卫星天线、扫描仪等等。这些和其它输入设备通常通过耦合至***总线的用户输入接口160连接至处理单元120,但是也可以通过其它接口和总线结构连接,如并行端口、游戏端口或通用串行总线(USB)。监视器191或其它类型的显示设备也通过接口,如视频接口190连接至***总线121。除监视器之外,计算机也包括其它***输出设备,如扬声器197和打印机196,通过输出***接口195连接。
在一个实施例中,提供了笔数字化仪163和所附的笔或触针164,以数字地捕捉手画线输入。尽管示出了笔数字化仪163和用户输入接口160之间的直接连接,然而实际上,笔数字化仪163可如本领域中已知的通过并行端口和其它接口以及***总线121直接耦合至处理单元120。此外,尽管示出了数字化仪163与监视器191分离,然而数字化仪163的可用输入区域可与监视器191的显示区域有相同的范围。此外,数字化仪163可以被集成到监视器191中,和可作为叠加和附加到监视器191上的单独的设备存在。
计算机110可以在使用到一个或多个远程计算机,如远程计算机180的逻辑连接的网络化环境中操作。远程计算机180可以是个人计算机、服务器、路由器、网络PC、对等设备或其它公用网络节点,并通常包括许多或所有上述与计算机110相关的元件,尽管在图1中仅示出了存储器存储设备181。图1描述的逻辑连接包括局域网(LAN)171和广域网(WAN)173,但也可包括其它网络。这类网络环境常见于办公室、企业范围计算机网络、内联网以及因特网。
当在LAN网络环境中使用时,计算机110通过网络接口或适配器170连接至LAN 171。当在WAN网络环境中使用时,计算机110通常包括调制解调器172或其它装置,用于通过WAN 173,如因特网建立通信。调制解调器172可以是内置或外置的,通过用户输入接口160和其它合适的机制连接至***总线121。在网络化环境中,描述的与计算机110相关的程序模块或其部分可储存在远程存储器存储设备中。作为示例而非局限,图1示出了远程应用程序驻留在存储器设备181上。可以理解,示出的网络连接是示例性的,也可以使用在计算机之间建立通信的其它装置。
可以理解,示出的网络连接是示例性的,可使用在计算机之间建立通信链路的其它装置。假定存在各种公知技术的任一种,如TCP/IP、以太网、FTP、HTTP等,该***可在客户机—服务器配置中操作,以准许用户从基于web的服务器检索网页。可使用各种常规web浏览器的任一种来显示并操纵网页上的数据。
图2提供了依照本发明的各方面使用的输入设备的一个说明性实施例。下文描述了若干不同的元件和/传感器。各种传感器组合可用于实践本发明的各方面。此外,也可包括另外的传感器,包括磁传感器、加速计、回转仪、麦克风或可对其检测输入设备相对于表面和对象的位置的任何传感器。在图2中,笔201包括墨水盒202、压力传感器203、照相机204、指示元件205、处理器206、存储器207、收发器208、电源209、对接部位(docking station)210、笔帽211和显示屏212。各种组件可在需要时使用例如总线(未示出)电子地耦合。笔201可担当用于各种范围的设备的输入设备,包括台式机、膝上计算机、Tablet PCTM、个人数据助理、电话、或可处理和/或显示信息的任何设备。
输入设备201可包括用于执行标准笔和纸张书写或绘画的墨水盒202。此外,用户可在以笔的典型方式操作设备时用输入设备生成电子墨水。由此,墨水盒202可提供一种用于在纸张上生成手写笔画,同时笔的移动被记录并用于生成电子墨水的舒适、熟悉的媒质。墨水盒202可使用众多已知技术的任一种从孤立的位置移动到书写位置。可选地,墨水盒202可用不包含墨水的盒来替换,如具有圆形帽的塑料盒,但是这将允许用户在不破坏笔和表面的情况下在表面上移动笔。另外,可包括一个和多个指示元件,以通过例如提供以类似于由触针生成方式提供指示输入设备的信号,来帮助检测输入设备的相对移动。可包括压力传感器203,用于指示输入,如当笔被压下并位于一个对象之上时可被指示的输入,由此便于对象的选择或如可通过选择鼠标按钮的输入来获得的指示。可选地,压力传感器203可检测用户用笔画出笔画时的压力,用于改变所生成的电子墨水的宽度。此外,传感器203可触发照相机的操作。在一个替换模式中,照相机204可独立于压力传感器203的设置来操作。
此外,除可担当开关的压力传感器之外,也可包括另外的开关来影响用于控制输入设备的操作的各种设置。例如,可在输入设备的外部提供一个或多个开关,并用于对输入设备通电,以激活照相机或光源,来控制传感器的敏感度或光源的亮度、以不执行到文本的变换的草图模式设置输入设备,以设置该设备内部地储存输入数据、处理并储存输入数据、将输入数据发送到诸如计算设备等处理单元,采用处理单元,输入设备能够传送或控制任何期望的设置。
可包括照相机204,以捕捉笔在其上移动的表面的图像。也可包括指示元件205,以在用作感应***中的触针时增强笔的性能。处理器206可包括用于执行与本发明的各种方面相关联的功能的任何已知的处理器,如下文更详细描述的。类似地,存储器207可包括RAM、ROM或用于储存数据的任何存储设备和/或用于控制设备或处理数据的的软件。输入设备还可包括收发器208。收发器准许与其它设备的信息交换。例如,
(蓝牙)或其它无线技术可用于方便通信。其它设备可包括计算设备,该计算设备可进一步包括输入设备。
可包括电源209,电源可在笔独立于并远离主设备—在其中处理、储存和/或显示数据的设备—来使用时提供电源。电源209可在任意数量的位置上结合进输入设备201中,并在电源可替换时被定位,用于直接替换,或在电源可充电时用于方便其充电。可选地,笔可被耦合到备选电源,如用于电子地将笔201耦合到汽车电池的适配器、连接到壁装电源插座、计算机电源或任一其它电源的充电器。
对接部位链接210可用于在输入设备和诸如外部主计算机等第二设备之间传输信息。对接部位链接210也可包括用于当被附加到对接部位(未示出)或连接到电源时对电源209进行充电的结构。USB或其它连接可以通过对接部位链接或通过一替换端口可移动地将输入设备连接到主计算机。可选地,也可使用硬件连接将笔连接到设备,用于传输和接收数据。在硬布线配置中,对接部位链接可被省略,以有利于将输入设备有线地直接连接到主机。对接部位链接可被省略或用另一***替换,以与另一设备(例如
802.11b)通信。
输入设备201还可包括可移动笔帽211,它可配备用于方便电阻传感的金属笔帽,使得输入设备201可用于例如包括传感板的设备。输入设备201的外壳可由塑料、金属、树脂、其组合、或可向输入设备的组件或整个结构提供保护的任何材料构成。底盘可包括用于电子地屏蔽设备的部分或全部敏感电子组件的金属隔板。输入设备可以是拉长的形状,它可对应于笔的形状。然而,设备可以与其作为输入设备和/或墨水生成设备一致的任何数量的形状来形成。
图3A-3C示出了依照本发明的各方面使用的照相机的三个说明性实施例。如图所示,输入设备201可用于通过使用例如照相机来检测笔的移动以生成电子墨水。可包括照相机304,以捕捉笔在其上移动的表面的图像,并可通过图像分析来检测笔在被扫描的表面上的移动量。移动可与文档相关,并可电子地将电子墨水转换、添加或关联(例如,将输入注释与原始文档分离地储存)到文档。
如图3A所示,在一个实施例中,照相机304包括图像传感器320,它包括,例如,图像传感器元件阵列。例如,照相机可包括具有以32像素×32像素的分辨率扫描1.79mm×1.79mm的正方形区域的能力的CMOS图像传感器。一个这样的图像传感器的最小曝光帧速率可以近似为330Hz,尽管说明性图像传感器可以110Hz的处理速率来操作。所选择的图像传感器可包括说色彩图像传感器、灰度级图像传感器,或可操作来检测超出单个阈值的亮度。然而,照相机及其组件的选择可根据与照相机相关联的期望操作参数、根据诸如性能、成本或其它考虑等考虑来变化,这些考虑由如准确地计算输入设备的位置所需的分辨率等因素所指示的。
光源321可照亮输入设备在其上移动的表面。光源可以例如,包括单个发光二极管(LED)、LED阵列或其它发光设备。光源可产生单色光,包括白光,或可产生多种颜色。单向透视玻璃322可被包括在照相机内,以在需要时引导光。照相机304还可包括一个或多个光学设备323,用于将来自光源321的光聚焦到所扫描的表面324,和/或将从该表面反射的光聚焦到图像传感器320。
如图3A所示,从光源321发射出的光被单向透视玻璃322反射,它是根据入射光(impinging light)的方向反射或发射光的玻璃。然后反射光被引导通过透镜***323,并被发射到下面的反射表面。然后,光从该表面上反射出,通过透镜***323,以穿过玻璃的发射角透过单向透视玻璃322,并入射到传感阵列320上。当然,包括各种各样的组件的照相机可用于捕捉图像数据,包括结合了更少或更多数量组件的照相机。组件排列的变化也可以是无数的。为仅以简化的排列提供一个示例,光源和传感阵列可定位在一起,使得它们都面向从其捕捉图像的表面。在这一情况下,由于不需要照相机内的反射,可从***中移除单向透视玻璃。如图3B所示的,在一个简化的配置中,光源321位于离透镜323和传感器320有一段距离的地方。在另一简化的排列中,如图3C所示,可移除光源,并可由透镜323将从对象表面反射出的环境光聚焦到传感器320上。
由此,结合进照相机的组件或其位置的变化可以与本发明的各方面相一致的方式来采用。例如,照相机和/或墨水盒的放置和/或方向可与图2所示的不同,以允许使用各种各样的照相机和/或墨水配置和方向。例如,照相机304或其组件部分的任一个可位于与为墨水盒所提供的相邻的开口中,而非在如图所示的同一开口中。作为另外的示例,照相机304可位于输入设备的中心,而墨水盒位于照相机的侧面。类似地,光源321可被结合进容纳照相机的剩余部分的结构内,或者一个或多个组件可彼此分离地定位。此外,也可使用光源和/或光学***启用光投影特征,在必要时采用另外的结构和/或软件,或对所示的组件的修改。
在标准的光学设计中,光轴穿过成像传感器中心和透镜FOV(视野)的中央,光轴几乎与输入设备外壳平行。当输入设备与纸张平面垂直时,光学性能最佳,这是由于成像传感器与表面平面平行。然而,用户通常以倾角或仰角来使用笔,并非在90°。因此,投影效果将限制输入设备的使用,输入设备仅在近似90度角度被按住时才能操作。当用户想要在已书写了墨水的区域上书写一些内容时,会产生在已有墨水上书写的问题。需要特殊的处理来解决这些问题,因为迷阵图案会被用户最初所书写的内容所覆盖。一种用于输入设备的视野偏移光学***解决了投影效果,并且IR(红外光)照明解决了在已有墨水上书写的问题。IR照明可用于捕捉被任何非碳内容所覆盖的迷阵图案。
图4示出了输入设备400的成像***的一个实施例。输入设备400可包括一32×32像素的COMS成像传感器410。该***目标可以是迷阵图案平面的5mm×5mm范围。当用户书写或潦草书写时,在输入设备和将笔尖作为支持点的表面之间会存在倾角或仰角。许多用户一般不以90度的角度按住笔。因此,本发明的成像***被设计成满足某一倾角/仰角范围内的足够的成像质量,如50°到90°。表1示出了本发明的一个实施例的透镜要求。
由照相机(32像素×32像素)捕捉的图像的大小 | 由照相机捕捉的表面平面上的区域大小,本申请中称为视野 |
共轭距离 | 小于30mm |
成像平面的失真 | 小于3.5% |
分辨率 | 大于12lp/mm(每毫米的线耦) |
放大率 | 0.385(检测器尺寸/FOV尺寸) |
聚焦深度(DOF) | 65°±15°(以笔尖作为支持点的倾角) |
照明 | 在成像平面内近似均匀 |
表1—成像***的透镜要求
如图4所示,输入设备400可用于与表面平面的可变倾角,因此,在***设计中,示出65°的倾角作为设计角度。以输入设备400的这一姿势,光学***能够更有效地执行。如图4所示,图像传感器410的实际视野440是透镜配置420的整个视野450的一部分,并且在成像***的实际轴和透镜430的主光轴之间有一角度。成像***的轴近似平行于笔的轴,即,成像***的轴应当与表面平面成约65°~70°的角度。
以设计角度,透镜配置420的光轴430垂直于成像平面,而图像传感器410的视野偏离光轴430,如图5所示的。视野中心到光轴的距离约为7.44mm,产生对成像平面约69.5°的倾角。视野偏移设计可降低投影效果,这是由于在标准设计角度条件下,成像平面近似平行于纸张平面,即,当输入设备400以约65°的角度被按住时,投影很小(小于3.5%)。本领域的技术人员应当理解,上文描述的近似65°的示例设计角度仅是一个示例,依照本发明也可使用其它角度。
透镜配置420可以是三元件***,包括二重透镜和单透镜。选择合适的孔隙数,以考虑聚焦深度和图像亮度。整个光学***可使用加利福尼亚州圣地亚哥的ZEMAX设计软件来优化,产生较佳的分辨率以及可接受的失真。
图像质量上的照明效果通常在光学***设计中估计不足。适当的光照情形可提高图像对比度和分辨率,从而改进了***的总体性能。光源可包括单个发光二极管(LED)、LED阵列或其它发光装置。光源可产生白光、单色光或多色光。照明组件还可包括一个或两个光学装置,用于将来自光源的光聚焦到所扫描的表面,并令亮度尽可能地均匀。
图6示出了依照本发明的至少一个实施例的IR LED照明光学***。通过膜层,由两个LED 610发射的光直接被投射到平面表面620。两个LED的照明区域被重叠630,它大于照相机的FOV 640。在一个实施例中,可选择850nm的IR LED 610作为光源。表面620上的照明特征是图案可被非碳墨水覆盖,即,IR LED 610的IR光可穿过墨水层,因此在表面620上书写的墨水不影响由CMOS传感器捕捉的图像。此外,单个光谱可提高图像质量。可在IR LED 610前放置一漫反射膜层,已提高光照的均匀性。FOV由来自两个方向的两个LED 610照明,以获取足够的亮度,并在表面620上尽可能地均匀。
包括透镜、成像传感器和光源的成像***可位于与墨水盒相邻,如图4所示的。具有力敏感(force sensitive)组件和成像***组件的墨水盒可被集成到一机械组件中。来自接触到平面上的笔尖的压力可被用于打开/关闭图像采样,并为数字墨水的恢复提供厚度参考。因此,对于压力敏感组件,一个问题是设计一种有效且健壮的力传递***,它可敏感地检测笔尖压力,并在笔尖移上或移下时自动恢复原状。如图7A所示,力传感***710提供了精度可靠的力传感性能。***710通过不锈钢球720将力直接集中到硅传感元件730。如图7B所示,示出了一种基于具有弹簧的滑块的有效压力传递***。弹簧740用于缓冲压力,并将墨水盒760的位置恢复原状。缓动调制螺钉750用于设置力阈值。螺钉750在滑块770之外的长度可用于确定弹簧740的压缩范围。设计的力范围是0kg到4.5kg。线性操作放大器和12位串行A/D转换器可用于对力进行采样。敏感压力检测和12位精度使输入设备能够记录具有墨水厚度的笔画。表2-8提供了关于本发明的透镜的一个实施例的另外的信息。图8提供了下文表6和7所附的附加信息。
表面光圈 | 105 |
***孔隙玻璃种类射线瞄准 | 图像空间F/#=6.5Schott newchi~1近轴参考,高速缓存 |
X光瞳偏移Y光瞳偏移Z光瞳偏移 | 000 |
变迹有效焦距有效焦距后焦距总径迹 | 统一,因子=0.00000E+005.317697(在***温度和压力的空气中)5.317697(在图像空间中)5.18726227.07951 |
图像空间F/#近轴工作F/#工作F/#图像空间NA对象空间NA光圈半径 | 6.520.1999819.550020.024744920.068920860.3888333 |
近轴图像高度近轴放大率 | 10.5-2.791037 |
入口光瞳直径入口光瞳位置 | 0.81810725.000273 |
出口光瞳直径出口光瞳位置 | 1.083351-21.74014 |
场类型最大场纵波角度放大率场 | 以毫米计算的近轴图像高度10.50.5450.75516355 |
表2—通用透镜数据
# | X值 | Y值 | 权值 |
1 | 0.000000 | 0.000000 | 0.020000 |
2 | 0.000000 | 5.000000 | 1.500000 |
3 | 0.000000 | 7.500000 | 1.000000 |
4 | 0.000000 | 10.000000 | 1.000000 |
5 | 0.000000 | 10.500000 | 1.000000 |
表3—场类型:近轴图像高度(单位:毫米)
# | VDX | VDY | VCX | VCY | VAN |
1 | 0.000000 | 0.000000 | 0.000000 | 0.000000 | 0.000000 |
2 | 0.000000 | 0.000000 | 0.000000 | 0.000000 | 0.000000 |
3 | 0.000000 | 0.000000 | 0.000000 | 0.000000 | 0.000000 |
4 | 0.000000 | 0.000000 | 0.000000 | 0.000000 | 0.000000 |
5 | 0.000000 | 0.000000 | 0.000000 | 0.000000 | 0.000000 |
表4—遮光系数
# | 值 | 权值 |
1 | 0.450000 | 1.000000 |
2 | 0.545000 | 1.000000 |
3 | 0.618000 | 1.000000 |
表5—波长:3单位:微米
表面 | 类型 | 评注 | 半径 | 厚度 | 玻璃 | 直径 | 锥线 |
OBJ | 标准 | | 无穷大 | 0.920734 | | 7.524086 | 0 |
1 | 标准 | | 无穷大 | 0.53 | CBAK6 | 6.477137 | 0 |
2 | 标准 | | 无穷大 | 4.23389 | | 6.125204 | 0 |
3 | 标准 | | 5.931 | 0.7 | CLAF2 | 2.4 | 0 |
4 | 标准 | | -4.36 | 0 | | 2.4 | 0 |
STO | 标准 | | 无穷大 | 0.32 | | 0.7776666 | 0 |
6 | 标准 | | -1.7 | 0.55 | CZF2 | 1.049225 | 0 |
7 | 标准 | | 11.56 | 0.08 | | 2.4 | 0 |
8 | 标准 | | -9.45 | 0.78 | CLAK3 | 1.69666 | 0 |
9 | 标准 | | -1.95 | 19.88562 | | 2.4 | 0 |
IMA | 标准 | | 无穷大 | | | 21.06387 | 0 |
表6—表面数据概要
表面 | 边 |
OBJ | 0.920734 |
1 | 0.530000 |
2 | 4.356554 |
3 | 0.408946 |
4 | 0.168389 |
STO | 0.237029 |
6 | 0.695424 |
7 | -0.020607 |
8 | 0.405197 |
9 | 20.298575 |
IMA | 0.000000 |
表7—边厚度数据
焦距f | 5.52mm |
共轭长度 | 28mm |
F# | 19.5 |
光波长 | 456,546,640nm |
表8—透镜的技术规范
为帮助输入设备的检测和/或定位,在其上定位输入设备的对象表面可包括指示该表面的区域的相对位置的图像数据。在一个示例性实施例中,被扫描的表面可包括主计算机或其它外部计算设备的显示屏,它可对应于台式机、膝上计算机、Tablet PCTM、个人数据助理、电话、数码相机或可显示信息的任何设备的监视器。因此,在Tablet PCTM的屏幕上生成的空白文档或其它图像可包括对应于表示该文档的该部分在整个文档内的相对位置或涉及该文档的其它部分的代码的数据。信息可包括图像,它可包括字母数字字符、编码图案、或可用于指示相对位置的图像数据的任何可辨别的图案。所选择用于指定对象表面内的区域位置的一个或多个图像可取决于结合进照相机中的扫描装置的敏感度,如传感器的像素分辨率,和/或包含在被扫描的表面内的图像数据的像素分辨率。从对象中提取的位置信息然后可被用于跟踪输入设备在对象上的移动。使用该信息,可准确地生成对应于输入设备的移动的电子墨水或其它信息。可使用位置信息来检测图像内影响输入的位置,以及提供输入设备在对象表面上的移动的指示。所得的信息可与文字处理软件交互使用,例如,以生成文档中的变化。
在一个替换实施例中,结合输入设备使用的对象可包括例如在背景中包括位置信息的纸张。位置信息可结合进任何形式的代码、光学表示或可由与输入设备相关联的传感器传感并可用于表示纸张上特定地点的相对位置的其它形式中。
图9示出了一种用于文档位置编码的说明性技术。在该示例中,图像的背景可包括细线,当以大组观看时,可形成类似迷阵的模式。迷阵设计中线的每一分组包括例如具有唯一方向和相对位置的一些细线,该设计可指示迷阵图案的该部分相对于文档的其它部分的位置。已捕捉图像中找到的迷阵图案的解码可依照各种解码模式来执行。在一个实施例中,可解码特定的排列和线的分组,以生成位置信息。在另一实施例中,可通过从对应于采样图案的图像中提取代码,并使用该代码在包含标识该区域的位置的数据的查找表中寻址,来导出已捕捉数据的位置的指示。为说明性目的提供了对采用迷阵图案的编码技术的参考,并且替换的有源编码技术包括但不限于,2002年10月31日提交的名为“有源嵌入式交互代码(Active EmbeddedInteraction Code)”的美国专利申请序列号10/284,412中的视觉编码技术,其内容通过引用结合于此,它也可依照本发明的各方面来使用。
即使缺乏位置代码,可分析由图像传感器捕捉的图像,以确定输入设备在图像捕捉时的位置。可使用连续的图像来计算输入设备在不同时刻的位置。这些信息的相关可产生输入设备在基底上的准确轨迹。使用这一轨迹信息,例如,可生成准确地标识手写笔画的电子墨水。
图10提供了可从其生成电子墨水的轨迹图案的一个说明。在本示例中,首先捕捉的图像可包含指示输入设备在第一时刻t1的第一位置p1的迷阵图案的一部分。下一捕捉的图像可包含已编码图像数据的一部分,在本示例中它是迷阵图案的不同的部分,提供了第二时刻t2的第二位置p2的位置信息。第三捕捉的图像可包含迷阵图案的第三部分,由此指示输入设备在时刻t3的第三位置p3上的定位。使用该数据,三个点可指示从时刻t1到时刻t3的输入设备的轨迹。应用估算由输入设备跟踪的墨水图案的算法,可生成电子墨水。所应用的算法的复杂度可描绘所生成的墨水的准确度。例如,基本的墨水算法可简单地将点与厚度不变的直线相连接。可处理分解先前采样的点的算法、采样之间的时间或指示输入被移动的速度或加速度的其它数据、指示使用的压力的数据、或任何其它相关数据,以提供更准确地表示输入设备的(例如,从其它传感器)实际移动的墨水。
由照相机304执行的光学扫描可生成在不同的时刻确定输入设备的位置所需的数据,并且该信息可用于生成电子墨水。在一个说明性实施例中,在时刻t1捕捉的图像与在时刻t2捕捉的图像的比较可提供指示笔在t1到t2的时间段内从一个点到另一个点的移动的距离的数据。这两个数据点,和/或所移动的相对距离,随后可用于生成输入设备的移动的轨迹,用于生成表示手写笔画的电子墨水。两个或多个图像,或捕捉的图像的部分之间的比较用于计算相对移动,它可用不同的分析来实现。在该情况下,例如,可比较出现在一个以上图像中的特征,并且一个或多个特征在那些图像内从一个位置到另一位置的相对的移动可提供笔移动的准确指示。如果使用了不规则的采样周期,则可修改处理算法来补偿采样周期中的变化,以更准确地指示输入设备的移动与每一移动所需要的实际时间之间的相关性。指示运动速度的信息可帮助生成厚度适当的墨水。
依照这一实施例,输入设备在其上移动的表面可包括计算设备的显示屏、鼠标垫、桌面或可从其提取指示输入设备在该表面上的移动的对象或图像数据的任何非均匀反射表面。可用于处理图像数据的跟踪算法可被修正,或可根据所捕捉的图像的特征而变化。使用简单的跟踪算法,处理器可检测例如桌面的木材中的粒度,并且基于由照相机捕捉的图像序列之间的比较,可使用连续图像内的特定粒度模式的相对位置来确定输入在不同的时刻的位置和/或输入设备在该表面上的相对移动。当图像内的特征较不容易辨别并且图像更均匀时,需要更复杂的跟踪算法。可选的无源编码技术包括但不限于,2002年10月31日提交的名为“无源嵌入式交互代码(Passive Embedded Interaction Code)”的美国专利申请序列号10/284,451中的编码技术,其内容通过引用结合于此,它也可依照本发明的各方面来采用。
图11A示出了依照本发明的一个实施例的***的硬件体系结构。各种实施例中所示的许多相同或相关组件可使用相同的标号来表示。处理器1106可包括用于执行与本发明的各方面相关联的功能的任何已知的处理器。例如,处理器可包括FPSLIC AT94S40,并可由具有AVR核心的FPGA(现场可编程门阵列)构成。该特定设备可包括一20MHz的时钟,并可以20MIPS的速度操作。当然,用于输入设备1101的处理器的选择可用***的成本和/或处理速度要求来描述。如果图像分析可在输入设备中实现,则处理器1106可执行图像分析。可选地,处理可由第二处理器来执行,如结合进设备1101中的数字信号处理器(DSP)。处理器1106还可操作以执行对降低功率消耗关键的步骤,以保存储存在电源1109中的功率,如当输入设备不活动时关闭各种组件,这些步骤可基于指示设备的移动和/或定位的数据。处理器1106还可操作以校准并调节各种组件的性能,例如,包括对光源的亮度或对照相机的传感阵列的敏感度的调节。同样,处理器,或耦合的数字信号处理器,可从多个储存的图像处理算法中选择,并可被控制,以例如依照与设备在其上移动的表面相关联的特征来选择最适合检测移动的图像分析算法。由此,图像处理算法可自动地基于被编程到输入设备中的性能考虑来选择。可选地,可基于由用户例如通过输入设备的力传感器或输入的动作所选择的输入,或基于对应于命令的手写笔画,来控制输入设备,并建立设置。
在一个实施例中,存储器1107可包括一个或多个RAM、ROM、闪存或任何存储器设备,或用于储存数据、储存用于控制设备的软件、或储存用于处理数据的软件。如上所述,表示位置信息的数据可在输入设备1101内处理,并可储存在存储器1107中,用于传输到主计算机1120。可选地,捕捉的图像数据可被缓存在输入设备1101内的存储器1107中,用于传输到主计算设备1120来处理或其它。
收发器,或通信单元,可包括一发送单元和一接收单元。如上所述,被处理成适合生成和/或显示电子墨水或其它的形式的表示输入设备的移动的信息,可被发送到主计算机1120,如先前描述的台式机、膝上计算机、Tablet PC
TM、个人数字助理、电话或用户输入和电子墨水对其有用的其它这类设备。收发器可使用包括
技术的任一无线通信技术与外部设备通信,用于执行短航程的无线通信、红外通信、或者甚至是蜂窝或其它长航程无线技术。可选地,收发器可控制数据在直接链路上到主计算机的传输,如通过USB连接,或间接地通过与对接托架1130的连接。输入设备也可使用专用连接被硬连线到特定的主计算机。收发器也可用于接收信息和/或软件,在一个实施例中,信息和软件可用于提高输入设备的性能。例如,用于更新处理器的控制功能的程序信息可通过先前描述的技术中的任一种来上传。此外,软件也可被发送到输入设备,包括用于分析图像数据和/或用于校准输入设备的软件,可从外部设备下载。
处理器1106可依照一种交互模型来操作。交互模型可以实现为维护一致体验的软件的形式实现,其中,生成电子墨水,而无论该单元执行输入设备功能所对于的外部设备如何。交互模型可处理捕捉的数据,以转换成普遍地适用于任意数量的主机设备的形式,主机设备包括台式机、膝上计算机、Tablet PCTM、个人数字助理、电话机、白板或可通过输入设备储存、显示或记录数据输入的任何设备。处理器1106可识别连接到其上的设备,或表示手写输入的数据所预期的设备,并基于这一识别,选择将输入数据转换成适合所识别的特定设备的形式的处理。在该情况下,到对每一潜在接收设备有用的形式的转换可包含在输入设备内,并可在必要时令其可用。如果设备是无线或直接连接的,则预期接收设备的识别可作为设备之间的通信的结果来实现。可选地,用户可将数据所预期的一个或多个设备的身份直接输入到输入设备中。当然,如果输入设备包括显示器,则可使用适合用于显示器和/或众多其它设备的默认处理算法来处理数据。
图11B示出了依照本发明的至少一个方面的***的另一硬件体系结构。该硬件体系结构可以是一套印刷电路板(PCB)和运行在PCB上的固件。该套PCB的组件可包括双核心体系结构组件1150、另一输入传感器单元1160、图像捕捉单元1170、通信组件1180、音频单元1155、用户接口1190、存储器1186、逻辑控制1187、硬件加速组件1188。本领域的技术人员应当理解,以下板及其描述对本发明并不都是必需的,并且可包括一个或多个组件用于本发明的操作。
双核心体系结构组件1150包括RISC(精简指令集计算机)或GPP(通用处理器)1151,用于运行嵌入式OS(操作***),如Windows
。DSP(数字信号处理器)1152负责运行算法,如图像处理、迷阵图案分析和m阵列解码。两个核心可以是两个不同的芯片,或构建到一个芯片上。MCU/RISC/GPP组件1151可具有同时操作的若干传感器和A/D(模—数转换)芯片。传感器和A/D芯片需要同时被配置并被控制。MCU/RISC/GPP组件1151可处理***控制、计算和通信,因为MCU/RISC/GPP组件1151适用于实时并行计算。MCU/RISC/GPP组件1151的一个示例可包括三个芯片:XCV50CS144—来自加利福尼亚州圣何塞市的Xilinx的FPGA芯片,它具有5万个逻辑门和96个用户IO;XC18V01—来自加利福尼亚州圣何塞市的Xilinx的结构PROM;以及CY62256V—来自加利福尼亚州圣何塞市的CYPRESS的32KX8 SRAM(静态RAM),作为用于计算的缓冲。
DSP(数字信号处理器)组件1152可由两个芯片构成。TMS320VC5510是来自德克萨斯州达拉斯市的德州仪器(TI)的高性能、低功耗的定点DSP芯片。这样的芯片非常适用于移动计算设备。该芯片用于计算,以恢复由用户书写的笔画。DSP组件1152的第二个芯片可以是SST39LF160,它是来自加利福尼亚州桑尼维尔市的SST的16M比特多用途闪存。这一非易失、可靠、压缩的存储芯片可用于储存DSP固件和计算结果。
两个输入单元包括其它用户传感器单元1160和图像捕捉单元1170。这些单元分别生成被输出到双体系结构组件1150的力和图像信号。其它输入传感器单元1160可包括FSL05N2C—来自新泽西州莫里森镇的Honeywell的力传感器芯片1161、MAX4194—来自加利福尼亚州桑尼维尔的MAXIM的检测放大器1163、以及MAX1240—来自加利福尼亚州桑尼维尔的MAXIM的12位串行A/D转换器1162。其它输入传感器单元1160被配置成以12位的精度,达约每秒100K样值的速率传感细微的力变化。需要精确的力数据来指示该输入设备是否被用于书写,或者用户在书写时按压输入设备的用力程度。图像捕捉单元1170可包括MF64285FP—来自日本东京三菱公司的32×32像素图像传感器芯片1171、TLV571—来自德克萨斯州达拉斯的TI的8位A/D转换器1172、以及逻辑控制组件1173。图像捕捉单元1170可以达336fps(帧每秒)的速度来捕捉图像。选择最小的32×32像素分辨率传感器,因为更低的分辨率无法捕捉足够的特征用于处理。图像传感器1171是高速、小尺寸、低功耗的图像传感器。图像捕捉单元1170可包括用于捕捉来自多个区域的图像数据的附加传感器。例如,采用两个图像传感器1171的输入设备可用于白板的操作。一个图像传感器1171可被配置成捕捉表示用户的书写的数据。第二个图像传感器1171可被配置成扫描白板笔的指示符,如条形码。在这一示例中,白板笔的条形码可包括涉及白板笔的色彩和/或厚度的信息。第二个图像传感器1171可捕捉该数据,以识别用户正在使用蓝色的白板笔,以及其厚度为1.5cm。
通信组件1180可包括WML-C09芯片1181和天线。WML-C09芯片1181是来自日本东京MITSUMI的2类
模块。
芯片令输入设备能够以720K bps(比特每秒)或100帧每秒的速度在10米的范围内与主机PC进行通信。
是一种低成本、低功率的电缆替换解决方案,它具有工业范围的支持,适用于本发明。每一
模块被分配一专用和/或唯一的
地址,它可用于识别输入设备本身。通信组件1180可包括USB端口1182和UART组件1183。
电池功率管理组件1185被设计成从供应的锂离子电池生成所有必需的电压,例如,5V、3.3V、2.5V、1.6V。5V供应可由图像传感器1171和力传感器1161使用。2.5V供应可由MCU/RISC/GPP组件1151用于内部电源。1.6V供应可由DSP组件1152用于内部电源。3.3V供应可由其它组件使用,例如用于通信组件1180。功率保存组件1186保存电池功率的可操作使用寿命,充电组件1187对输入设备的电池功率进行充电。也设计了过放电(over-discharge)保护,以防止电池被破坏。电池功率管理组件可包括以下芯片:来自德克萨斯州达拉斯的TI的UCC3952PW-1,以及来自加利福尼亚州桑尼维尔的MAXIM的MAX9402SO8,它们共同实现了过放电保护;来自德克萨斯州达拉斯的TI的TPS60130PWP,用以生成5V的供应输出;来自德克萨斯州达拉斯的TI的TPS62006DGSR,用以生成2.5V的供应输出;来自德克萨斯州达拉斯的TI的TPS62000DGSR,用以生成1.6V的供应输出;以及来自德克萨斯州达拉斯的TI的TP62007DGSR和/或来自德克萨斯州达拉斯的TI的TPS79333,用以生成3.3V的供应输出。
音频单元1155为输入设备提供了音频接口组件。音频单元1155可包括一内建的音频播放器***,如MP3播放器。麦克风1156准许在使用输入设备的同时的语音记录能力。扬声器1157可从各种源输出音频,包括内建和/或外部的MP3播放器、多媒体文件、音频文件、和/或某些其它音频源。蜂鸣器1158可以是对用户的听觉指示器,如非法操作指示器和/或低电池电源指示器。
用户接口单元1190提供了各种用户接口单元,用于与用户之间的通信。电源按钮1191允许用户开启或关闭输入设备,并也可被配置成进入睡眠、等待或低功率模式,以节省电池功率。功能按钮/开关1192可用作到输入设备的命令输入。功能按钮/开关可以是可激励按钮,用于选择应用程序中输入设备用以操作的单元。指示器1193可以是LED(发光二极管)和/或其它用于与用户的可视通信的光学输出。指示器1193可改变颜色、亮度和/或脉冲速率。例如,指示器1193可在输入设备改变到低功率模式时改变颜色。LCD(液晶显示屏)1194可以是向用户输出可视信息的小型显示屏。例如,LCD 1194可在用户界面上通过在显示屏上显示“LOBAT”来指示电源低。笔投影1195准许图像到表面的投影。笔投影1195向输入设备的用户提供了额外的视觉信息。
存储器1186允许任何类型信息的储存,包括力传感器1161和图像传感器1171数据,以及用于用户接口可用以操作的特定应用程序的可操作指令。逻辑控制1187可用于控制***设备。逻辑控制1187可以是FPGA或CPLD(复杂可编程逻辑器件)。硬件加速单元1188可被配置成加速算法,以提高输入设备的计算效率。
如图12所示,除用相同的标号表示的先前描述的组件之外,输入设备1201也可包括一个或多个惯性传感器1215,用于传感笔移动、位置或方向。例如,输入设备1201可包括一回转仪,用于提供表示笔在多个方向上的角速度的数据。输入设备1201可包括一个或多个加速度计,或加速度计组,它们测量笔上的加速度或重力。表示笔移动的数据也可使用一磁传感器来获取,它通过检测地球磁场的度量中的变化来测量笔的移动,本发明中被描述为惯性传感器,因为它基于除图像数据以外的数据来检测输入设备的移动。来自与输入设备结合或结合到输入设备中的惯性传感器(包括回转仪、加速度计、磁传感器、指示元件或用于测量输入设备的移动的任何一个或多个装置)的每一个或任一个的数据可结合来自照相机的数据,用于获取表示输入设备的移动或定位的数据,并由此产生用于生成电子墨水的数据。
如上所述,输入设备在其上定位和/或移动的对象的表面可包括指示该表面中每一区域的位置或相对位置的已编码图像数据。对象可包括诸如膝上计算机等计算设备的显示屏。在一个实施例中,可从存储器中回收文档,并在屏幕上显示。文档中的嵌入,如在背景中,可放置指示该文档的每一区域的位置的已编码信息。例如,文档的背景可包括迷阵图案,该图案的足够大的部分唯一地标识整个文档内的每一区域。输入设备可结合已编码的位置信息一起使用,以在指定的位置向文档添加注释或编辑文档,即使膝上计算机的显示屏不包括用于检测输入设备在屏幕上的移动的传感器。由此,输入设备可担当“有源输入设备”,使得与输入设备相关联的传感器可生成指示该设备的定位或位置的数据。
在一个示例中,结合在输入设备中的图像传感器捕捉表示输入设备在其上定位和/或移动的显示屏的表面的图像数据。传感器捕捉的图像包括指示该输入设备的相对位置的位置代码。当用户在显示的图像上移动时,向所显示的电子文档输入注释和/或对其进行编辑,输入设备生成表示这些输入的信号以及表示文档中结合这些输入的位置的数据。膝上计算机的控制也可使用输入设备来影响,以替换鼠标,或执行其它标准输入功能,包括光标的移动和选择的激活。
输入设备可结合文字处理软件一起使用,以通过例如删除文本并***新文本来编辑文档。为编辑计算设备的屏幕上显示的文档,用户将输入设备定位在屏幕上的期望位置上。为删除文本,用户可将输入设备定位在靠近屏幕之处,并在运动中移动设备,以划掉所显示的文本的图像。通过传感位置代码,可处理图像以确定笔以划动运动的移动,以及表示对应于用户移动输入设备的位置的文本。因此,该输入可用于删除该数据。
接下来,用户可能希望***新文本。以类似的方式,用户可在要***文本的位置上画出用于***文本的一个符号,如“carrot”或颠倒的“V”。用于将输入转换成图像数据和/或命令的处理软件储存在输入设备或主计算机中,它识别该符号为用于输入文本的控制信号。在输入设备的帮助下,用户然后可手写要***的文本。
在一个替换实施例中,用户可添加指示注释所涉及的原始文本的具有高亮的注解。例如,用户可使用显示在屏幕上的下拉菜单或高亮按钮来选择要加亮的文本。下一步,在要选择用于加亮的文本上拖动输入设备。然后,可在显示屏上邻近加亮文本的位置上书写与加亮/选择的文本相关联的评论。当操作完成时,用户可选择完成注释输入所必须的提示。对文档的所有这些修改可使用输入设备来创建,无论显示屏是否包括用于检测输入设备的移动的传感器。
对文档的修改可以图像数据、电子墨水或转换成文本的数据的形式被显示和/或结合进文档中。输入到文本的转换可以对用户不可见的形式发生,使得文本如同它被输入一样出现在屏幕上的文档的显示中。可选地,用户的手写可出现在文档的正文内。为实现编辑的瞬时显示,表示笔的移动和这类编辑的位置的信息可在正在进行的基础上被发送到膝上设备。
在操作中,输入设备捕捉输入设备在其上移动的表面的32×32像素分辨率的图像,以及指示输入设备是否用于书写或用户在书写时按压输入设备的力度的12位精度的力数据。图像和力数据被封装在一起成帧。然后,使用以达100帧每秒的速度无线地发送连续的帧流。输入设备在被加电时启动一自动初始化过程,然后转向工作模式或等待模式。输入设备在运行时依照压力值的放大率来切换模式,即,如果压力值大于给定阈值,则切换到工作模式,否则切换到等待模式。
当在工作模式中操作时,输入设备消耗大约120mA的电流。帧数据在诸如1160等另一输入传感器单元和诸如1170等图像捕捉单元中生成,并被输出到诸如1150等双核心体系结构。双核心体系结构接收图像和力数据,将它们组成帧(图像压缩、CRC编码、加时间戳、帧构造),并将数据发送到诸如1180等通信单元,以与主机PC进行通信。通信单元也提供诸如1183等高速UART,它直接连接到主机PC上的RS-232,用于调试目的。双核心体系结构1150中的操作包括数据帧构造、图像压缩、加时间戳、CRC编码和发送链路控制(通过UART或蓝牙)。
图13是依照本发明的至少一个方面数据通过输入设备的双核心体系结构的说明性流程图。当采集数据时,图像的帧构造和力传感数据在步骤1301发生。数据帧构造可被配置成通过将来自连续数据流的帧仅除以两个“FF”来充分利用有限的
带宽。捕捉的图像和力数据在双核心体系结构中被封装在一起形成数据帧。数据帧1400包括图像数据(原始数据或压缩的数据)、力数据、时间戳、压缩标记1410、CRC编码和帧标记,如图14所示的。
在步骤1302,一种恒定压缩比算法将图像数据从每像素8比特压缩到5或6比特。这一压缩维持了稳定的传输速率。该算法的原理是预测加上非均匀量化。预测公式为:d=a+b-c,其中,d是预测的像素值,a、b和c分别是左、上、左上像素。预测值和真实值之间的余量依照一预定模式来量化,并在双核心体系结构中被储存为一查找表。在步骤1302,可完成图像压缩来充分利用有限的带宽。在步骤1303,对自从开始以来的每一帧递增28位的时间戳,直到特别和/或统一地标识了每一数据帧。在步骤1304,数据帧中的所有数据,除帧标记之外,被传递到一28位CRC编码器。主机PC中的接收器可检查CRC代码,并丢弃错误的帧。CRC代码确保了所有接收的帧数据都是正确的。
在数据流控制期间,在步骤1305,FIFO(先入/先出)提供了2048字节的缓冲器,以平衡数据生成速率和传输速率。该FIFO缓冲器可同时操作。帧数据被放入FIFO中,然后同时被取出。当
链路质量较低时,
组件无法以与数据生成速率一样快的速率来传输帧数据。由此,某些数据必须被丢弃,以保持帧完整性。在步骤1306,流控制器实现自适应传输帧速率控制,以丢弃额外的帧数据。在数据传输过程中,通信单元将帧数据发送到主机PC。如果在步骤1307,
控制器用于无线数据传输,则发生从输入设备到主机PC的蓝牙收发器模块的无线数据传输。可选地,在步骤1308,UART控制器可用于到主机PC的RS-232的接口。在双核心体系结构中实现高速UART核心,以将数据从双核心体系结构传输到主机PC上的RS-232。这一接口可以是用于调试的测试端口。
当在等待模式操作时,输入设备消耗约40mA的电流。电池功率管理组件、其它输入传感器单元和图像捕捉单元可以仍在操作中。双核心体系结构关闭大多数操作,并且仅监控压力值。通信组件在等候模式操作。
如上所述,也可记录键入输入的个人的身份。例如,输入设备可生成标识用户和/或特定输入设备的信息。身份信息可被附加到生成的输入数据。可选地,这一标识信息可作为发送到主机设备的单独的信号来提供。
图14示出了依照本发明的至少一个方面从输入设备发送的说明性数据帧结构。每一输入设备由笔ID(PEN ID)以及
组件的
地址来标识。压缩标记1410保留标识数据帧中的图像数据所起源的输入设备的数据(笔ID)。笔ID对输入设备是专用的。如果缺少用户登录进入***和用户指定的登录名,则先前的输入设备技术就没有对该输入设备专用的标识***。一个输入设备被标识为与相似类型的其它输入设备相同。依照本发明的至少一个方面,压缩标记1410数据的笔ID字段允许多个输入设备同时操作。这一应用在多作者协作时是有用的。本领域的技术人员应当理解,图像数据字段的字节数1024、768和640分别表示没有压缩、压缩到每像素6比特和压缩到每像素5比特时的字节数。
在多用户应用中,若干用户可同时或不同时注释同一文档。主机PC将接收帧数据的序列,而每一输入设备将输出帧数据。通过使用笔ID和/或
地址提取每一输入设备的帧数据,若干输入设备可同时或不同时共同工作,如图15所示的。
技术允许多达七(7)个不同的输入设备由无线数据传输同时标识。如图15所示,输入设备1510、1520和1530的每一个通过
通信组件向主机PC无线地发送捕捉的图像数据。主机PC接收数据帧的帧序列1540-1到1540-n。主机PC可通过使用笔ID字段和/或对应的输入设备1510、1520和1530的蓝牙地址将每一输入设备1510、1520和1530的个别数据帧与数据帧序列相分离。由此,在多用户应用中,不同的注释可在同一文档上出现,并且主机PC可跟踪哪一输入设备1510、1520和1530创建了哪一注释。
尽管上述说明性实施例将输入设备在其上移动的表面标识为膝上设备的显示屏,然而输入设备也可运作以使用结合在设备在其上移动的任何对象的表面中的代码来检测定位。由此,可使用输入设备结合台式机、Tablet PCTM、个人数据助理、电话机或可显示信息的任一设备的监视器来创建结合了位置代码的图像。已编码信息也可被结合到覆盖以上设备显示屏的透明薄片内,或结合到可结合显示屏一起使用的包括保护膜的表面中。
已编码信息也可被结合到诸如纸张等书写表面或书写材料中,以唯一地标识该表面上的位置。例如,位置信息可被结合到纸张的背景中。如上所述,位置信息可包括表示该纸张上的特定地点的相对位置的任何形式的标记或代码。因此,输入设备可结合已编码的纸张一起使用,以记录对应于用户在适当位置的手写的信息。例如,仅配备了输入设备和结合了已编码位置信息的书写表面,当乘坐出租车时,输入设备可用于起草给客户的信件。用输入设备在纸张上书写,通过检测某些时刻输入设备的位置中的变化来识别对应于文本或其它输入信息的姿势。然后输入可被转换程电子墨水或其它电子数据,用于生成对应于那些姿势的信息。输入的转换可如那些输入被生成一样执行,无论是在输入设备中还是由耦合至输入设备的主机计算设备接收。可选地,这一转换可在稍后的时刻执行。例如,使用输入设备生成的信息可储存在存储器中,并被发送到接收方和/或主机计算机,用于稍后时刻的合适的处理。
无论输入是手写字母、符号、单词或其它书写图像,使用输入设备生成的数据可在由位置代码标识的位置上被结合进文档中。由此,即使没有格式化的模板,文档的布局,如先前描述的字母,可使用标识输入信息的文档中位置的位置信息来实现。例如,起草者的地址、接收方的地址、字母的正文体和闭合、以及剩余的成分可输入到纸张上适当的位置。使用由照相机捕捉的已编码位置信息,形成对应于电子文档的内容的单词或其它图形在适当的位置结合。
使用检测的位置信息,输入设备也可与主机计算设备通信,用于输入命令并作出选择等等。当计算设备是便携式照相机或具有web浏览属性的电话时,输入设备可以触针或鼠标的方式来使用,以从显示的按钮或菜单中选择。因此,输入设备可用于激活主机计算机的浏览器,并选择用于检索诸如先前描述文档,甚至是一个远程储存的文档等文件的选项。使用输入设备,用户可选择下载包含用户需要的信息的文件。下一步,用户可输入对通过输入设备下载的文件的注释。这些编辑可被发送到从其下载文件的远程位置,其中,配备了输入设备以执行与远程计算设备的通信。可选地,这些编辑可用于编辑储存在输入设备和/或主机计算设备中的文件,假定输入设备正在与主机计算设备通信。
在另一实施例中,主机计算设备的监视器上显示的文件可以是电子表格,它使用诸如来自华盛顿州雷蒙德市的
公司的EXCEL
TM等电子表格软件来生成。位置代码可用于将位置与电子表格内给定的单元相关联。用户可在屏幕上显示的单元中输入数字条目。在那时,输入设备捕捉与输入设备的位置相关联的图像,并将该信息发送到主机计算设备。例如,位于主机计算设备上,并结合电子表格软件一起工作的处理软件根据所检测的位置代码确定对条目所选择的单元的身份,并相应地修改电子表格文档的内容。
输入设备也可用于回收与特定姿势或姿势组合相关联的图像或其它预储存的信息。例如,输入设备可用于画出处理算法的设备被编程来识别的符号。迷阵图案可用于准确地检测输入设备在图案上的移动,使得与这类移动相关联的特定符号可被检测到。例如,用户可控制输入设备在先前由用户标识的纸张上画出与公司标志相关联的符号。迷阵图案可将对应于字母“M”后紧跟字母“S”的移动的组合标识为指定
公司的标志的条目的指令。结果,这一预储存的信息可通过特定输入序列的输入被输入到文档内。
输入设备也可被用作无源输入设备。在该模式中,输入设备可结合例如使用电阻传感来传感输入设备的移动的计算设备一起使用。当结合诸如Tablet PCTM或个人数据助理等包括用于检测输入设备的移动的传感板的设备一起使用时,输入设备可以触针的方式起作用。使用输入设备,当输入设备在十分接近屏幕的地方定位时,可生成电子墨水或其它图像数据。可以类似的方式输入控制功能。另外,在特定计算设备的监视器上显示的图像也可包括对应于表示文档的该部分的相对位置的代码的数据。使用照相机从对象中提取的位置信息然后可用于跟踪输入设备的移动,作为对使用计算设备的传感器所检测的移动的替代,或被结合到这一移动中。
例如,用户可能希望在诸如Tablet PCTM或个人数据助理等已包括了检测输入设备的定位的能力的便携式计算设备上创建或修改图像。输入设备可仅担当无源输入设备,使得表示输入设备的移动的信息由计算设备来生成。然而,计算设备的传感器可能没有在给定的情况下在用户期望的范围内检测笔的移动的能力。例如,当用户在不稳定的汽车中旅行时,用户输入的准确检测可能被阻碍。当用户通过在计算设备的显示屏表面上移动输入设备来编辑文件时,输入设备可能被推撞,并从传感板移动一显著的距离。由输入设备捕捉的图像数据可用于检测与计算设备的表面保持水平的平面内输入设备的移动,即使由计算设备的传感器生成的信号变得较不准确。即使计算设备的传感器不再能够检测输入设备的移动,图像传感器可产生足够的信息来维持输入设备的移动的准确表示,来反应用户的预期输入。由此,即使当结合包括传感输入设备的移动的能力的计算设备一起使用时,输入设备也可担当无源输入设备或有源输入设备。
输入设备也可与任何纸张、书写表面或其它基底关联使用,以记录对应于用户的手写的信息。再一次,仅配备了输入设备和书写表面,输入设备也可用于起草给客户的信件。在这一情况下,在无源编码的基础上检测姿势,其中,使用除嵌入在基底表面的图像中和/或印刷在该图像上的代码之外来检测输入设备的移动。例如,用户可在平坦的纸张上起草信件。当用户用输入设备书写时,图像传感器捕捉纸张的图像。图像内的对象可被标识,并且其在一系列被捕捉的图像中的移动可指示移动。所传感的对象可包括纸张表面上的人为因素或其它对象,它们可对应于纸张的水印或其它缺陷。可选地,纸张可包括规则的线,它们也可用于计算笔在表面上的移动。即使没有纸张,也可确定输入设备的相对移动。输入设备可在书桌的表面上移动,木材的粒度提供了检测输入设备的相对移动所需的对象。以类似于先前描述的方式,用户可在纸张上,或可在其上光学地检测移动的任何表面上起草信件。输入设备的移动可储存在存储器中和/或转换成表示那些姿势的信息。
在又一实施例中,便携式设备可用作对便携式计算设备的替代。例如,如果一个工程师在去往会见设计团队的其他成员的火车上刚作出了对于公司的起博器相关联的电路故障的解决方案,但是没有膝上计算机或其它计算设备可用,则她可打开其输入设备作为一种合适的替代,以记录其想法。在大多数时间可用时(并且墨水盒被移除或者笔帽在原处),在其面前的椅子的背后,用户写出表示对所讨论的可疑电路问题的修改的草稿。她激活输入设备,将其设置在可用于生成草稿的模式(例如,可包括转换的去激活),并开始起草表示对问题的解决方案的简化设计。输入设备然后可储存表示手写笔画的文件。切换出草稿模式,可在草稿的相关部分的旁边草草地记下注解和引用,并且那些条目被结合到图像文件中。例如,用户可切换到注解模式,其中,可识别对应于字母的姿势。由此,她可连同草稿一起结合她所提议的解决方案的描述。与等待直到到达医学研究中心相反,操作者可选择将示意图发送到设计团队的其他成员,以在安排的会议之前加以完整的考虑。这一传输可以任何数量的方式来实现,包括将修订的文档从输入设备上传到诸如蜂窝电话等便携式无线设备。该信息然后可用于生成诸如VISIOTM文档等图像文件。
一旦被发送到团队的其他成员,对应于示意图草稿的先前描述的文件可在团队成员的主机计算设备的监视器上显示。例如,图像和所附的文本可被呈现在台式机的显示器上。通过将输入设备放置在监视器上显示的文件图像邻近的地方,可向所显示的添加额外的注释。在该情况下,可通过测量对象在由输入设备的光学传感器捕捉的图像内的相对移动来检测输入设备的移动。由输入设备生成的信号可由储存在输入设备中的软件来处理,或可被发送到主机计算设备进行处理。检测的移动的处理可生成电子墨水、文本或表示通过输入设备输入的注解的其它数据。
输入设备可结合具有用于检测输入设备的移动的传感器的计算设备一起使用,即使在缺少位置代码的情况下。例如,输入设备可用作用于在个人数据助理或被设计成与触针一起使用的其它计算设备上生成手写注解的源。因此,尽管正在运行任务,仍可向用户通知,并且用户可希望向已有的“将要完成的列表(to do list)”添加项目。用户检索储存在诸如个人数据助理等主机计算设备上的列表。将输入设备的笔尖定位在个人数据助理的显示屏上,用户能够遍历菜单,并作出选择以检索期望的列表。当呈现了这一列表,用户可在主机设备的屏幕上在已完成的任务描述旁边的空白框中输入复选。输入设备捕捉屏幕的图像,包括对应于该框的数据,并将该数据发送到主机输入设备。使用用于分析图像数据的处理算法,主机计算设备然后检测框的形状,作为可形成条目的对象。为成功地输入复选标记,可处理图像数据以检测笔在框上和框内的移动,其姿势形成了“勾”的已识别形状。主机设备然后修改与该列表相关联的文件,以包括框内复选的表示。将输入设备定位在列表中最后一个项目之后,用户输入描述额外项目的文本。主机设备的传感器检测输入设备的移动,并生成表示那些输入的数据。输入被转换成文本,并连同空框一起向用户显示。
类似地,例如,
Reader的用户,诸如正在阅读所布置小说的学生,可能希望在相关文本的旁边草草地记下注解。显示在便携式主机设备的监视器上的图像可使用输入设备来注释。例如,用户将输入设备定位在诸如Tablet PC
TM等主计算机的监视器上,并在相关文本的旁边输入手写注解。其姿势由主机设备的传感器检测,并作为可被转换成图像数据并在屏幕上显示的电子数据储存。注解可保持手写形式,或可被转换程字母数字字符。如果没有额外功能的激励,如激活所附评论的视图或将输入设备定位在高亮或存在注解的某些其它指示上,则无法看见注解。注解然后可被储存在一个单独的文件中,或连同储存在主计算机中的小说的电子版本的副本一起储存。
在再一实施例中,来自形成输入设备的一部分的附加传感器的信息可用于补充或完全替代其它形式的移动检测。这类附加传感器可检测输入设备的线加速度、角加速度、速度、旋转、压力、倾角、电磁场变化或输入设备的移动或定位的任何传感的指示。这类信息可帮助产生更准确的移动检测。可选地,附加传感器可提供在给定时间的唯一可用的信息。例如,输入设备可用于总体均匀的表面,如空白纸张。在这一情况下,由光学传感器捕捉的图像可能无法提供足够的信息来一致并准确地检测输入设备的移动。如果光学运动检测变得更加困难,比如,如果用于跟踪输入设备的移动的对象变得更难检测,则依照一个用于光学地检测移动的实施例,可使用来自附加传感器的附加信息来提供更细化的运动检测。具体地,用于确定位置和/或移动的一个或多个算法可结合计算,以分解附加信息,并由此在光学运动检测的情况下补充移动和/或位置检测。
如果光学检测无法提供有用的结果,则附加传感器可提供可用于检测移动的唯一信息。例如,如果用户试图在层压的工作台面的均匀白台面上草拟出绘图,则光学传感***可提供表示移动的足够数据。在该情况下,附加传感器可提供足够的信息来生成输入信息的可接受的准确表示。
例如,如果输入设备从被扫描的表面移动一段足够的距离,则光学传感器单元可能无法捕捉所提供的图像的准确表示。在该情况下,来自附加传感器的附加信息可用于补充通过输入设备在其上移动的对象的图像获取的数据。由此,即使输入设备从它在其上移动的显示屏上(z轴)移动了一英寸或更长的距离,则输入设备内的传感器也可提供笔在显示屏平面内的移动的指示,即,水平和垂直方向。
例如,结合膝上计算机一起使用的输入设备位于用户面前的托盘桌上。其背景结合的迷阵图案的文档图像显示在膝上计算机的屏幕上。由用户输入的注释以实心的蓝色墨水显示。当飞机经历颠簸时,“系好安全带”的符号被打开。当用户碰到膝上计算机的键盘并向注解添加了另一单词,他的手快速地从屏幕的表面移开。尽管图像传感器可能尚未准确地检测到形成所显示的迷阵图案的线条,然而x和y轴上的移动已由结合在输入设备中的附加传感器检测到。
图16示出了依照本发明的若干说明性实施例,当在各种环境中使用输入设备创建、发送和编辑文档时,输入设备的使用。以下描述仅为输入设备的使用的一个说明,并非局限本发明的结构或功能。
输入设备1601可用于通过允许在各种各样的环境中创建和/或编辑文档来延长文档的使用寿命,并可与众多设备相关联地使用。使用输入设备1601,可在诸如所示的图形输入板PC(Tablet PC)1603等计算设备的屏幕上电子地创建文档1602。例如,输入设备1601可用于生成文档的手写草稿。当输入设备1601担当用于图形输入板PC 1603的触针时,生成对应于在图形输入板PC 1603的屏幕上输入的信息的电子墨水。电子墨水可被转换程文本形式,并储存在图形输入板PC 1603中。
表示文档的电子墨水可被发送到第二计算设备,如台式PC 1604。在该环境中,可在台式设备的屏幕上使用作为独立输入单元操作的输入设备1601来编辑文档。由于输入设备1601传感所显示的文档图像内的其自己的相对位置,台式设备的屏幕上所输入的编辑可在电子文档1602中反映,即使显示器不包括用于传感输入设备的位置的元件。使用输入设备1601生成的编辑可在生成时被发送到台式PC1604,或可储存在输入设备1601中用于稍后发送到任何PC。编辑可被输入到储存在台式PC 1604中的文档1602的版本中。
创建的文档也可以由诸如连接到台式PC 1604的打印机1605等打印机由硬拷贝的形式输出。文档的硬拷贝1606版本可包括使用例如迷阵图案指定输入设备在文档中的任何位置上的相对位置的信息或代码。硬拷贝可由一个或多个用户标出,这些用户的每一个都具有一输入设备,并且每一用户的编辑由单独的输入设备生成。连同表示编辑的信息一起,也可提供标识用于生成那些编辑的笔的信息。例如,输入可使用诸如应用程序中已知的用于跟踪对文档所作出的变化的有下划线的彩色文本来反映。编辑/输入可从台式PC 1604转发到图形输入板PC 1603,用于结合到该文档中。可选地,编辑可被储存在输入设备1691中,并可在稍后的时刻上传。
文档也可被输出到纸张平面上,或者不包括输入设备的相对位置的指示的任何基底上。再一次,硬拷贝1606可由具有输入设备的一个或多个用户标出,并且每一用户的编辑由输入设备1601生成。在本示例中,笔1601的位置或移动可使用用于光学地传感输入设备1601在纸张上移动的编码技术来确定。如上所述,位置/移动可使用一种比较算法来确定,其中,图像数据的每一帧内的对象的相对位置被检测,并用于确定输入设备1601的移动。所得的编辑可被发送到文档所起源的计算设备,例如,用于原始数据文件的更新。编辑可通过诸如袖珍PC(Pocket PC)1607等计算设备来发送,用于通过无线或有线通信或当将包含编辑的设备对接到计算设备上时发送到目标设备。
电子文档也可被发送到第二计算设备,如所示的图形输入板PC 1603。在该环境中,文档可在图形输入设备1603的屏幕上使用输入设备1601作为简单的触针来编辑。这些输入可从图形输入板PC 1603转发到储存文档的原始副本的计算设备,例如,作为对文档的注释,或作为用于结合到该文档中的编辑。
采用嵌入式交互编码技术,液晶显示器可被转换成数字化仪。每一液晶显示单元的点阵区域可用于嵌入的图案。在一个实施例中,迷阵图案可被嵌入到液晶显示平面的黑色矩阵区域中。在另一实施例中,迷阵图案可被嵌入到光引导平面(lightguide plane)中。迷阵图案的垂直和水平条发射出可由输入设备中的照相机传感器捕捉的光线。采用m阵列解码,提供了唯一且绝对的坐标。由此,输入设备可用作图形输入板PC、袖珍PC、智能电话和/或具有启用了嵌入式交互编码的液晶显示器的任何其它设备的图形输入笔(Tablet Pen)。用户可在众多不同的设备上使用同一输入设备。例如,当被对接到图形输入板PC时,可对输入设备进行充电。这一配置向用户提供了多个选项,而同时仅维持一个必要的输入设备。
本发明的输入设备也可用于稍后的数据的远程存储和传输。本发明的输入设备可在附近没有主机PC的情况下使用。输入设备的处理能力和存储能力可处理由图像传感器捕捉的图像,并储存它们用于稍后的传输。例如,当用户使用输入设备来作笔记和/或注释文档时,笔记和注释可被处理并被无限时间地储存在输入设备中。可选地,数据可立即和/或在稍后的时刻被发送到个人数字助理(PDA),并在PDA上处理和储存。如果PDA具有无线通信能力,则数据可被传输到远程位置的主机PC或服务器。例如,当用户正在旅行时,他们连同输入设备一起带走的笔记和注释可通过其智能电话被发送回他们的主机PC。用户可在飞机上对文档作出注释,并可保存注释,用于稍后,如当飞机着陆时发送到主机PC和/或服务器。
采用投影显示器和嵌入式和/或印刷的元数据,输入设备,如通用计算设备,可令阅读体验变得更交互。例如,华盛顿州雷蒙德市
公司的Office 2000中的智能标签可连同绝对位置一起被嵌入和/或打印到文档上。当用户使用输入设备阅读并注释时,输入设备可检测并解码智能标签,并用投影显示器显示相关的信息。如果在文档上嵌入和/或打印了字典条目,则输入设备也可显示字典查找。类似地,各种信息可被嵌入和/或打印到文档上,如命令和控制信息以及音频信息。输入设备可相应地检测并解码嵌入和/或打印的信息和动作。
智能个人对象技术(SPOT)可被包括在本发明的输入设备内。采用SPOT、嵌入和/或打印的命令和控制信息、以及投影显示器,输入设备可在笔尖上向用户提供最新的信息。例如,对天气预报的请求可被嵌入或打印到打印输出的纸张上。输入设备可解码该请求,并且SPOT可根据用户的当前位置获取天气预报。输入设备可用投影显示器显示纸张上的信息。类似地,也可在笔尖上向用户提供其它种类的信息,如股票报价、体育、新闻和诸如电影时刻表、电视节目表等娱乐信息。
尽管上文的描述和附图使用具体的组件来描述实施例,然而所描述的组件的添加和/或任一组件的移除也落入本发明的范围之内。类似地,可实现输入设备结构内的各个组件的重新布局,而不会对照相机或惯性传感器检测笔的移动并产生电子墨水的准确性产生很大的影响。例如,图像传感器可用用于检测输入设备在其上移动的表面或对象的属性的传感设备来替换或补充。由此,如果在对象的表面上形成了迷阵图案,使得该图案可根据可见光谱之外的能量辐射、发送到对象的这类能量的反射、或其它这类传感技术来检测。表面的任何属性的传感可被检测,并可用于确定输入设备在对象表面上的位置和/或移动。作为另一示例,可采用一种麦克风传感***,使得麦克风检测来自输入设备所定位的对象的声学反射或发射。
上文描述并示出的说明性实施例描述了以笔的形状实现的输入设备。然而,本发明的各方面可适用于任意数量形状和大小的输入设备。
这一输入设备的使用应当启用任何位置上的个人计算。由此,配备了所描述的输入设备的用户可生成或编辑数据文件,而无论他们在何处。可在办公室设置、教室、酒店、搬运过程中、甚至在沙滩上生成、编辑或记录文档和其它信息。
如上所述,该输入设备可包括一合适的显示屏。可选地,可使用主机计算设备的显示屏来审阅所创建的文档和图像。用户可选择在输入诸如文本等信息之前或之后格式化文档,或审阅该文档并对文档的格式作出改变。在上述示例的上下文中,在这一显示屏上察看所创建的文档,用户可在适当的位置上***包括他或她的地址的标题。
尽管使用所附权利要求书定义了本发明,然而这些权利要求是说明性的,因为本发明旨在包括组合或子组合形式的此处所描述的元件和步骤。因此,可以有任意数量的替换组合来定义本发明,它们以各种组合或子组合的形式结合了本说明书的一个或多个单元,包括描述、权利要求书和附图。鉴于本发明的说明书,相关技术领域的技术人员可以清楚,本发明的各方面的替换组合,无论是单独的还是与此处所定义的一个或多个元件或步骤相组合,都可用作本发明的修改或替换,或作为本发明的一部分。本发明的书面描述旨在覆盖所有这样的修改和替换。例如,在各种实施例中,示出了数据的某一顺序。然而,数据的任何重排序也由本发明包括在内。同样,在使用了诸如尺寸(如,以字节或比特)等某些属性单位,也可考虑任何其它单位。