CN107003714A - 从图像开发上下文信息 - Google Patents

从图像开发上下文信息 Download PDF

Info

Publication number
CN107003714A
CN107003714A CN201480083432.1A CN201480083432A CN107003714A CN 107003714 A CN107003714 A CN 107003714A CN 201480083432 A CN201480083432 A CN 201480083432A CN 107003714 A CN107003714 A CN 107003714A
Authority
CN
China
Prior art keywords
data
pad
image
contextual information
touch sensitive
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201480083432.1A
Other languages
English (en)
Other versions
CN107003714B (zh
Inventor
I·阿莫
D·S·德利马
N·P·里昂
A·阿利米安
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hewlett Packard Development Co LP
Original Assignee
Hewlett Packard Development Co LP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Development Co LP filed Critical Hewlett Packard Development Co LP
Publication of CN107003714A publication Critical patent/CN107003714A/zh
Application granted granted Critical
Publication of CN107003714B publication Critical patent/CN107003714B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/48—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus
    • G03B17/54—Details of cameras or camera bodies; Accessories therefor adapted for combination with other photographic or optical apparatus with projector
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00—Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Projection Apparatus (AREA)
  • Position Input By Displaying (AREA)

Abstract

在根据本公开的各方面的示例实现中，一种方法可以包括捕获在触敏垫上或在物理布置于触敏垫上的对象上输入的数据的图像。方法还包括从所捕获的图像提取数据，以及从提取自所捕获的图像的数据开发上下文信息。方法还包括将上下文信息投影到触敏垫上或到对象上。

Description

从图像开发上下文信息
背景技术
许多计算***包括至少一个显示器和至少一个输入设备。显示器可以包括例如监视器、屏幕等。示例输入设备包括鼠标、键盘、触摸垫等。一些计算***包括触敏显示器以既显示计算***的输出又接收物理(例如触摸)输入。
附图说明
以下详细描述参考附图，其中：
图1是示例计算***的示意性透视图；
图2是图1的示例计算***的另一示意性透视图；
图3是图1的示例计算***的示意性侧视图；
图4是图1的示例计算***的示意性正视图；
图5是在示例操作期间的图1的示例计算***的示意性侧视图；
图6是在示例操作期间的图1的示例计算***的示意性正视图；
图7是图1的计算***的示例部分的框图；以及
图8是描绘实现示例的步骤的流程图。
具体实施方式
现在参照附图，图1-6是包括分段引擎170的示例计算***100的示意性视图。在一些示例中，分段引擎170可以基于所捕获的图像而确定表示对象的至少一个外边缘的分段边界，如将进一步描述的。在图1-6的示例中，***100一般包括支撑结构110、计算设备150、投影仪单元180和投影屏幕200。
计算设备150可以包括遵照本文所公开的原理的任何合适的计算设备。如本文所使用的，“计算设备”可以包括电子显示设备、智能电话、平板电脑、芯片集、多合一计算机(例如包括还容纳计算机的(一个或多个)处理资源的显示设备的设备)、台式计算机、笔记本计算机、工作站、服务器、任何其它处理设备或装备或其组合。在该示例中，设备150是多合一计算机，其具有中心轴或中心线155、第一侧或顶侧150A、与顶侧150A轴向相对的第二侧或底侧150B、在侧部150A和150B之间轴向延伸的前侧150C、同样在侧部150A和150B之间轴向延伸并且一般与前侧150C径向相对的后侧150D。显示器152沿前侧150C布置并且定义计算***100的观看表面以显示图像以供***100的用户观看。在本文所描述的示例中，显示器可以包括适合用于显示图像、视频等的任何技术的部件。
在一些示例中，显示器152可以是触敏显示器。在本文所描述的示例中，触敏显示器可以包括例如用于显示图像、视频等的任何合适的技术(例如部件)，并且可以包括用于检测物理接触(例如触摸输入)的任何合适的技术(例如部件)，诸如例如电阻式、电容式、表面声波、红外(IR)、应变仪、光学成像、声学脉冲识别、分散信号感测或单元内***等。在本文所描述的示例中，显示器152可以称为触敏显示器152。设备150还可以包括摄像机154，其可以是例如web(网络)摄像机。在一些示例中，摄像机154可以捕获位于显示器152前方的用户的图像。在一些示例中，设备150还可以包括接收声音输入(例如来自用户的语音输入)的麦克风或其它设备。
在图1-6的示例中，支撑结构110包括底座120、直立构件140和顶部160。底座120包括第一端或前端120A以及第二端或后端120B。底座120可以与支撑表面15接合以支撑***100的部件(例如构件140、单元180、设备150、顶部160等)的至少部分的重量。在一些示例中，底座120可以在***100被配置用于操作时以该方式与支撑表面15接合。在图1-6的示例中，底座120的前端120A包括升高部分122，该升高部分122可以在底座120布置在支撑表面15上时被布置在支撑表面15上方并且与支撑表面15分离(从而创建部分122与表面156之间的空间或空隙)，例如如图2中所图示的。在这样的示例中，投影屏幕200的侧部的部分可以被布置在形成于部分122与表面15之间的空间中(例如被接收在其内)。在这样的示例中，将屏幕200的部分放置在由部分122和表面15创建的空间内可以帮助屏幕200的恰当对准。在其它示例中，其它合适的方法或设备可以用于帮助屏幕200的对准。
直立构件140包括第一端或上端140A、与上端140A相对的第二端或下端140B、在端部140A和140B之间延伸的第一侧或前侧140C，以及与前侧140C相对并且也在端部140A和140B之间延伸的第二侧或后侧140D。构件140的下端140B耦合到底座120的后端120B，使得构件140从支撑表面15大体向上延伸。
顶部160包括第一端或近端160A、与近端160A相对的第二端或远端160B、在端部160A和160B之间延伸的顶表面160C，以及与顶表面160C相对并且也在端部160A和160B之间延伸的底表面160D。顶部160的近端160A耦合到直立构件140的上端140A，使得远端160B从直立构件140的上端140A向外延伸。照此，在图2中所示的示例中，顶部160在端部160A处(而非在端部160B处)被支撑，并且可以在本文中称为悬臂式顶部。在一些示例中，底座120、构件140和顶部160可以单片形成。在其它示例中，底座120、构件140和顶部160中的两个或更多个可以由分离的件形成(即不是单片形成)。
投影屏幕200可以包括中心轴或中心线205、第一侧或前侧200A以及与前侧200A轴向相对的第二侧或后侧200B。在图1-6的示例中，屏幕200可以包括与轴205大体对准的触敏区202。区202可以包括用于检测物理接触(例如触摸输入)的任何合适的技术，如以上所描述的(例如电容式触摸垫)。例如，触敏区202可以包括用于检测(并且在一些示例中追踪)通过用户的一个或多个触摸输入以使得用户能够经由这样的触摸输入与由设备150或另一计算设备执行的软件交互的任何合适的技术。在图1-6的示例中，区202在小于屏幕200的全部上延伸。在其它示例中，区202可以在屏幕200的大体全部上延伸(例如可以大体与屏幕200有共同边界(coterminous))。在本文所描述的示例中，投影屏幕200可以是任何合适的平面对象，诸如垫(例如触敏垫)、桌面、片等。在一些示例中，投影屏幕200可以被水平(或者近似或大体水平)布置。例如，屏幕200可以被布置在支撑表面15上，支撑表面15可以是水平的(或者近似或大体水平的)。
如以上所描述的，屏幕200可以与结构110的底座120对准以帮助屏幕200的恰当对准(例如至少在***100的操作期间)。在图1-6的示例中，屏幕200的后侧200B可以布置在底座120的升高部分122和支撑表面15之间，使得后端200B与底座120的前侧120A对准以帮助屏幕200与***100的其它部件的恰当总体对准(并且特别地，区202的恰当对准)。在一些示例中，屏幕200可以与设备150对准，使得设备150的中心线155与屏幕200的中心线205大体对准。在其它示例中，屏幕200可以不同地与设备150对准。
在一些示例中，屏幕200的区202和设备150可以通信连接(例如电气耦合)到彼此，使得由区202接收的用户输入可以被传送至设备150。区202和设备150可以经由任何合适的有线或无线通信技术或机制(诸如例如WI-FI、BLUETOOTH、超声技术、电气线缆、电气引线、电气导体、具有磁性保持力的电气弹簧加载的弹簧针(pogo pin)等或其组合)与彼此通信。在图1-6的示例中，布置在屏幕200的后侧200B上的暴露的电气接触件可以与底座120的部分122内的对应电气弹簧针引线接合以在***100的操作期间在设备150和区202之间传送信息(例如传递信号)。在这样的示例中，电气接触件可以通过相邻磁体(位于底座120的部分122和表面15之间的空隙中)保持在一起以磁性吸引和(例如机械地)保持沿屏幕200的后侧200B布置的对应含铁和/或磁性材料。
参照图3，投影仪单元180包括外部壳体182以及布置在壳体182内的投影仪组件184。壳体182包括第一端或上端182A、与上端182A相对的第二端或下端182B以及内部腔体183。在图3的示例中，壳体182还包括耦合或安装构件186以与设备150接合并且支撑设备150(例如至少在***100的操作期间)。构件186可以是用于悬挂和支撑任何合适的计算设备150的任何合适的机构或设备，如本文所描述的。例如，构件186可以包括铰链，所述铰链包括旋转轴，使得设备150可以关于旋转轴旋转(例如通过用户)以获得对于观看显示器152期望的角度。在一些示例中，设备150可以永久或半永久地附连到单元180的壳体182。在一些示例中，壳体180和设备150可以整体或单片地形成为单个单元。
参照图4，在一些示例中，当设备150经由安装构件186从结构110悬挂在壳体182上时，投影仪单元180(即壳体182和组件184二者)可以在从前方观看***100(即大体面对布置在设备150的前侧150C上的显示器152)时大体隐藏在设备150背后。此外，如图4中所示，当设备150从结构110悬挂时，如以上所描述的，投影仪单元180(即壳体182和组件184二者)和由此投影的任何图像可以关于设备150的中心线155大体对准或居中(center)。
再次参照图3，投影仪组件184被布置在壳体182的腔体183内，并且包括第一端或上端184A、与上端184A相对的第二端或下端184B。上端184A接近壳体182的上端182A，而下端184B接近壳体182的下端182B。投影仪组件184可以包括用于从计算设备(例如设备150)接收数据和投影与该输入数据对应的(一个或多个)图像(例如离开上端184A)的任何合适的数字光投影仪组件。例如，在一些实现中，投影仪组件184可以包括数字光处理(DLP)投影仪或硅上液晶(LCoS)投影仪，其有利地是具有多个显示分辨率和尺寸能力的紧凑且功率高效的投影引擎，诸如例如具有4∶3纵横比的标准XGA分辨率(1024×768像素)或具有16∶10纵横比的标准WXGA分辨率(1280×800像素)。投影仪组件184还通信连接(例如电气耦合)到设备150以便从其接收数据并且基于所接收的数据而从端部184A产生(例如投影)光和(一个或多个)图像。投影仪组件184可以经由例如任何合适类型的电气耦合或本文所描述的任何其它合适的通信技术或机制而通信连接到设备150。在一些示例中，组件184可以经由(一个或多个)电气导体、WI-FI、BLUETOOTH、光学连接、超声连接或其组合而通信连接到设备150。在图1-6的示例中，设备150通过布置在安装构件186内的电气引线或导体(例如，如以上关于屏幕200和底座120所描述的)而通信连接到组件184，使得当设备150通过构件186从结构110悬挂时，布置在构件186内的电气引线接触布置在设备150上的对应引线或导体。
仍旧参照图3，顶部160还包括折叠反射镜162和传感器束164。反射镜162包括高度反射表面162A，其沿顶部160的底表面160D布置并且被定位成在操作期间朝向屏幕200反射从投影仪组件184的上端184A投影的光、(一个或多个)图像等。反射镜162可以包括任何合适类型的反射镜或反射表面。在图1-6的示例中，折叠反射镜162可以包括标准前表面真空金属化铝涂覆玻璃反射镜，其起作用以将从组件184发射的光向下折叠到屏幕200。在其它示例中，反射镜162可以具有复杂的非球面曲率以充当反射透镜元件以提供附加的聚焦能力或光学校正。
传感器束164包括多个传感器(例如摄像机或其它类型的传感器)以检测、测量或以其它方式获取基于传感器束164和屏幕200之间的区(例如发生在该区中的活动)的状态的数据。传感器束164和屏幕200之间的区的状态可以包括屏幕200上或屏幕200上方的(一个或多个)对象或发生在屏幕200上或附近的(一个或多个)活动。在图3的示例中，束164包括RGB摄像机164A(或另一类型的彩色摄像机164A)、IR摄像机164B、深度摄像机(或深度传感器)164C和环境光传感器164D。
在一些示例中，RGB摄像机164A可以是捕获彩色图像(例如静止图像和视频中的至少一个)的摄像机。在一些示例中，RGB摄像机164A可以是根据RGB颜色模型捕获图像的摄像机，该图像在本文中可以称为“RGB图像”。在一些示例中，RGB摄像机164A可以捕获具有相对高的分辨率(诸如例如在多兆像素(MP)的量级上的分辨率)的图像。作为示例，RGB摄像机164A可以捕获具有14MP的分辨率的彩色(例如RGB)图像。在其它示例中，RBG摄像机164A可以捕获具有不同的分辨率的图像。在一些示例中，RGB摄像机164A可以指向屏幕200，并且可以捕获屏幕200、布置在屏幕200和RGB摄像机164A之间(例如在屏幕200上或上方)的(一个或多个)对象或其组合的(一个或多个)图像。
IR摄像机164B可以是检测摄像机164B的视场中的多个点处的IR光的强度的摄像机。在本文所描述的示例中，IR摄像机164B可以结合***100的IR光投影仪来操作以捕获IR图像。在这样的示例中，每一个IR图像可以包括多个像素，每一个表示在由像素表示的点处检测到的IR光的强度。在一些示例中，***100的顶部160可以包括朝向屏幕200投影IR光的IR光投影仪，并且IR摄像机164B可以指向屏幕200。在这样的示例中，IR摄像机164B可以检测由屏幕200、布置在屏幕200和IR摄像机164B之间(例如在屏幕200上或上方)的(一个或多个)对象或其组合所反射的IR光的强度。在一些示例中，IR摄像机164B可以排他性地检测由IR光投影仪投影的IR光(例如如从屏幕200、(一个或多个)对象等反射的，或直接被接收的)。
深度摄像机164C可以是检测深度摄像机164C的视场中的(一个或多个)对象的部分的(一个或多个)相应距离(或深度)的摄像机((一个或多个)传感器等)。如本文所使用的，由深度摄像机检测的数据可以在本文中称为“距离”或“深度”数据。在本文所描述的示例中，深度摄像机164C可以捕获多像素深度图像(例如深度图)，其中每一个像素的数据表示由像素表示的点处的对象的部分的(从摄像机164C测量的)距离或深度。深度摄像机164C可以使用任何合适的技术来实现，诸如(一个或多个)立体视觉摄像机、具有均匀大量的IR光的单个IR摄像机传感器、具有均匀大量的IR光的双IR摄像机传感器、结构光深度传感器技术、飞行时间(TOF)深度传感器技术或其组合。在一些示例中，深度传感器164C可以指示何时对象(例如三维对象)在屏幕200上。在一些示例中，深度传感器164C可以检测放置在屏幕200上的对象(或其部分)的存在、形状、轮廓、运动和(一个或多个)相应距离中的至少一个。
环境光传感器164D可以被布置成测量在***100周围的环境中的光的强度。在一些示例中，***100可以使用传感器164D的测量来调节***100的其它部件，诸如例如***100的传感器或摄像机(例如摄像机164A-164C)的曝光设定、从***100的光源(例如投影仪组件184、显示器152等)发射的光的强度等。
在一些示例中，传感器束164可以省略传感器164A-164D中的至少一个。在其它示例中，传感器束164可以包括附加于传感器164A-164D或替代于传感器164A-164D中的至少一个的其它(一个或多个)摄像机、(一个或多个)传感器等。例如，传感器束164可以包括用户接口传感器，其包括用于追踪用户输入设备(诸如例如手部、触笔(stylus)、定点设备等)的(一个或多个)任何合适的设备(例如(一个或多个)传感器、(一个或多个)摄像机)。在一些示例中，用户接口传感器可以包括摄像机对，其布置成在用户输入设备被用户关于屏幕200(例如关于屏幕200的区202)移动时对用户输入设备(例如触笔)的位置进行立体追踪。在其它示例中，用户接口传感器可以此外或可替换地包括(一个或多个)IR摄像机或(一个或多个)传感器，其被布置成检测由用户输入设备发射或反射的红外光。
在本文所描述的示例中，束164的传感器164A-164D中的每一个通信连接(例如耦合)到设备150，使得在束164内生成的数据(例如由摄像机捕获的图像)可以被提供给设备150，并且设备150可以向传感器束164的(一个或多个)传感器和(一个或多个)摄像机提供命令。束164的传感器164A-164D可以经由任何合适的有线或无线通信技术或机制(其示例在以上描述)而通信连接到设备150。在图1-6的示例中，电气导体可以从束164按路线(route)通过顶部160、直立构件140和投影仪单元180并且通过布置在安装构件186(如以上描述的)内的引线到设备150中。
参照图5和6，在***100的操作期间，投影仪组件184可以投影可见光187以反射离开反射镜162朝向屏幕200以从而在屏幕200的投影仪显示空间188上显示(一个或多个)可见图像。在图5-6的示例中，空间188可以是大体矩形的，具有长度188L和宽度188W。在一些示例中，长度188L可以为近似16英寸，而宽度188W可以为近似12英寸。在其它示例中，长度188L和宽度188W可以具有不同的值。
在一些示例中，传感器束164的摄像机164A-164C被布置在***100内，使得摄像机164A-164C中的每一个的视场包括屏幕200的空间168，空间168可以与显示空间188的部分或全部重叠，或者可以与显示空间188有共同边界。在本文所描述的示例中，摄像机164A-164C的视场可以说成是包括空间168，尽管有时屏幕200可能至少部分被屏幕200上或上方的(一个或多个)对象遮挡。在这样的示例中，屏幕200上或上方的(一个或多个)对象可以在摄像机164A-164C中的至少一个的视场中。在这样的示例中，传感器束164的传感器可以获取基于传感器束164和屏幕200的空间168之间的区(例如发生在该区中的活动、布置在该区中的(一个或多个)对象)的状态的数据。在一些示例中，空间188和空间168二者与屏幕200的区202重合或对应，使得触敏区202、投影仪组件184和传感器束164的功能全部关于相同的定义区域执行。
现在参照图5-6，设备150可以引导投影仪组件184以将(一个或多个)图像投影到屏幕200的区202上。设备150还可以在显示器152上显示(一个或多个)图像(其可以与由投影仪组件184投影到区202上的(一个或多个)图像相同或不同)。由组件184投影的(一个或多个)图像可以包括由被设备150执行的软件产生的信息和/或图像。在一些示例中，用户可以通过以任何合适的方式(诸如利用用户的手部35(例如经由触摸、敲击、手势或其它触摸输入)、利用触笔25或经由(一个或多个)任何其它合适的用户输入设备)物理接合屏幕200的触敏区202来与投影在区202上和显示在显示器152上的(一个或多个)图像交互。触敏区202可以检测经由与区202的物理接合的这样的交互。而且，在一些示例中，组件184还可以在布置于屏幕200上方的对象(例如手部35，如图5中所示)上(至少部分地)投影(一个或多个)图像。
作为示例，当用户与屏幕200的区202交互(例如利用手部35，如图5中所示)时，触敏区202可以生成触摸输入信息并且通过任何合适的连接(其示例在以上描述)将其提供给设备150。在一些示例中，触摸输入信息可以被提供给在设备150上执行的操作***(OS)，并且还可以由OS传递到在设备150上执行的另一应用(例如程序等)。作为响应，执行OS或应用可以更改由投影仪组件184投影的(一个或多个)图像、显示在显示器152上的(一个或多个)图像或其组合。如本文所使用的，“应用”(或“计算机应用”)是可由处理资源执行的机器可读指令的集合。在一些示例中，用户可以类似地与显示在显示器152(其可以是触敏显示器)上的(一个或多个)图像或设备150的任何其它输入设备(例如键盘、鼠标等)交互。在一些示例中，区202(具有通过组件184投影在其上的(一个或多个)图像)可以充当***100内的第二或可替换触敏显示器。此外，可以通过使用如以上描述的传感器束164的传感器而增强对与显示在区202上的(一个或多个)图像的交互的检测。
在一些示例中，传感器束164的传感器还可以生成***输入，该***输入可以被提供给设备150以供进一步处理。例如，***100可以至少利用束164的(一个或多个)传感器(或摄像机)，并且分段引擎170检测对象(例如用户的手部35或触笔25，如图5中所示)的存在和位置中的至少一个，并且向设备150提供表示检测到的信息的***输入信息。所提供的***输入信息可以被传递至由设备150执行的OS和应用中的至少一个，并且可以更改由***100显示的(一个或多个)图像，如以上关于触摸输入所描述的。例如，束164可以包括布置成执行(例如触笔25的)立体触笔追踪的摄像机或传感器对。在其它示例中，触笔25包括涂覆有红外回射涂层(例如涂料)的尖端26，使得尖端26可以充当红外回射器。在这样的示例中，束164可以包括(一个或多个)IR摄像机(或(一个或多个)传感器)，如以上所描述的，其检测反射离开尖端26的IR光以使得设备150能够在尖端26跨区202移动时追踪尖端26的位置。
在一些示例中，***100可以捕获(一个或多个)二维(2D)图像或创建物理对象的三维(3D)扫描，使得对象的图像或与对象有关的其它信息然后可以投影到区202上以供其进一步使用及操纵。例如，如图6中所示，对象40可以被放置在区202上，使得束164的传感器(例如摄像机164A-164C中的至少一个)可以捕获对象40的图像。在这样的示例中，由束164的传感器捕获的图像可以被提供给设备150(例如OS、应用等)，如以上所描述的。在一些示例中，在接收到所捕获的图像之后，设备150(例如OS、应用等)可以分析所捕获的图像并且利用图像的内容以用于进一步处理，如将进一步描述的。对象40可以是例如书籍、文档、照片或任何其它物理对象。
在一些示例中，一旦(一个或多个)对象由束164的传感器扫描，表示对象的图像的背景就可以被移除(例如经由分段过程)，并且前景对象的所得到的图像或与对象有关的信息可以被投影到区202上(或在显示器152上示出)。在这样的示例中，物理对象(例如对象40)的图像可以被捕获、处理和显示在区202上以快速且容易地创建物理对象的数字版本以允许其进一步操纵，如将进一步描述的。表示被移除的对象40的图像的背景可以对应于屏幕200的至少部分。在一些示例中，分段过程可以包括确定针对在由束164的传感器捕获的图像中表示的对象的分段边界。如本文所使用的，针对在图像中表示的对象的“分段边界”可以是表示图像的哪个(哪些)部分表示对象以及图像的哪个(哪些)部分表示除对象之外的特征(诸如投影屏幕200)的估计的信息。在一些示例中，针对在图像中表示的对象的分段边界可以包括表示如在图像中表示的对象的至少一个外边缘的信息。当执行分段过程时，***100可以使用分段边界来从较大的所捕获的图像(其至少包括投影屏幕200的部分)提取对象的图像。
本文所公开的示例为计算***100提供以下能力：提供针对在投影屏幕200上或在物理布置于屏幕200上的对象上包括或输入的数据的上下文和有意义的信息。通过提供上下文和有意义的信息，***100可以向用户提供交互式反馈。利用经由投影屏幕200的区202和/或计算设备150的显示器152显示和收集信息的能力以及从布置在屏幕200上的物理对象收集信息的能力(例如经由传感器束164)，计算***100的各种方面可以为用户提供交互式体验，如将进一步描述的。
如以上描述的，用户可以以各种方式与***100交互。作为示例，用户可以例如利用用户的手部35或触笔25来与投影在投影屏幕200的区202上的图像交互。此外，传感器束164可以捕获布置在投影屏幕200上的物理对象的图像，诸如来自布置于屏幕200上的书籍的页面。作为示例，计算***100可以提供针对来自投影在区202上(或显示在显示器152上)的图像或来自物理布置在屏幕200上的对象的数据或原始材料的上下文信息。作为示例，***100可以自动尝试理解原始材料(例如提取关键词、字符、数字或字符串)，或者用户可以从原始材料选择要求理解的部分，如将进一步描述的。***100可以提供的上下文信息的示例包括但不限于来自原始材料的关键词的字典定义、语言翻译、关于来自原始材料的关键词或短语的视频和从原始材料提取的数学方程的结果。
上下文信息可以被投影到屏幕上或到对象上。由于上下文信息由***100为用户提供作为补充信息，因此可能不合期望的是利用上下文信息使用户分心，除非用户选择查看上下文信息。作为示例，***100可以投影视觉线索，所述视觉线索指示存在关于投影在区202上或来自物理布置在屏幕200上的对象的原始材料的上下文信息。作为结果，用户可以在适当或方便查看上下文信息时选择视觉线索。
图7是包括分段引擎170的图1的计算***100的部分的框图。特别地，图7图示了计算设备150的示例，其包括分段引擎170并且通信连接到投影仪组件184、传感器束164和投影屏幕200或触敏垫(如以上描述的)。尽管图7中未示出，但是计算设备150还可以通信连接到***100的其它部件，如以上所描述的。
计算设备150(或实现分段引擎170的任何其它计算设备)可以包括至少一个处理资源。在本文所描述的示例中，处理资源可以包括例如一个处理器或多个处理器，其被包括在单个计算设备中或者跨多个计算设备分布。如本文所使用的，“处理器”可以是中央处理单元(CPU)、基于半导体的微处理器、图形处理单元(GPU)、配置成检索和执行指令的现场可编程门阵列(FPGA)、适合于检索和执行存储在机器可读存储介质上的指令的其它电子电路或其组合中的至少一个。
参照图7，计算设备150包括处理资源710，以及包括(例如编码有)指令722、724、726和728的机器可读存储介质720。在一些示例中，存储介质720可以包括附加指令。在其它示例中，本文关于存储介质720描述的指令722、724、726、728和任何其它指令可以被存储在远离计算设备150和处理资源710但是对其可访问的机器可读存储介质上。处理资源710可以读取、解码和执行存储在存储介质720上的指令以实现以下所描述的功能。在其它示例中，存储介质720的任何指令的功能可以以电子电路的形式、以编码在机器可读存储介质上的可执行指令的形式或其组合而实现。机器可读存储介质720可以是非暂时性机器可读存储介质。
在一些示例中，指令可以是安装包的部分，所述安装包当被安装时可以由处理资源710执行。在这样的示例中，机器可读存储介质可以是便携式介质，诸如压缩盘、DVD或闪速驱动器，或者是由可以从其下载和安装安装包的服务器维护的存储器。在其它示例中，指令可以是已经安装在包括处理资源的计算设备(例如设备150)上的一个或多个应用的部分。在这样的示例中，机器可读存储介质可以包括诸如硬驱动器、固态驱动器等之类的存储器。
如本文所使用的，“机器可读存储介质”可以是包含或存储诸如可执行指令、数据等之类的信息的任何电子、磁性、光学或其它物理存储装置。例如，本文所描述的任何机器可读存储介质可以是存储驱动器(例如硬驱动器)、闪速存储器、随机存取存储器(RAM)、任何类型的存储盘(例如压缩盘、DVD等)等中的任何一个或其组合。另外，本文所描述的任何机器可读存储介质可以是非暂时性的。
在图7的示例中，计算***(诸如以上关于图1所描述的计算***100)可以包括计算设备150、投影仪组件184、传感器束164和投影屏幕200(例如触敏垫)。在一些示例中，指令722可以包括用于捕获数据的图像的指令，在触敏垫200上或者在物理布置在垫200上的对象上包括或输入所述数据。对于在垫200上包括或输入的数据，可以由垫200自身捕获。在垫200上包括的数据可以对应于从投影仪组件184投影到垫上的数据。对于在垫200上输入的数据，数据可以以任何合适的方式(诸如利用用户的手部35、利用触笔25或经由任何其它合适的用户输入设备)输入(例如手写)在屏幕200的触敏区202上。作为结果，垫200可以实时捕获在垫200上输入的数据的图像。
对于在物理布置于垫200上的对象(例如对象40)上输入或包括的数据，布置在垫200上方的传感器束164可以捕获对象上的数据的图像。作为示例，为了恰当地捕获布置在垫200上的对象上的数据的图像，对象可以被放置在空间168中，所述空间168对应于传感器束164的视场(例如参见图6)。如以上所描述的，空间188和空间168二者可以与屏幕200的区202重合或对应，使得触敏区202、投影仪组件184和传感器束164的功能全部关于相同的定义区域执行。除了传感器束164之外，***100还可以利用分段引擎170来确定针对表示在由传感器束164捕获的图像中的对象的分段边界，以便恰当地捕获对象上的数据。
指令724可以包括用于从所捕获的图像提取数据的指令。作为示例，对于布置在垫200上的对象(诸如来自书籍的页面)，可以提取来自页面的所捕获的图像的字符，并且所提取的字符可以被转换成机器可读字符，其可以由***100理解以便提供上下文信息，如将进一步描述的。可以从所捕获的图像提取的字符的示例包括但不限于，文本、数字、字符串和数学表达式。在从所捕获的图像提取数据或字符之前，***100可以在所捕获的图像上执行预处理技术，以便改进成功的字符识别的准确度。预处理技术的示例包括但不限于对所捕获的图像进行去扭斜(de-skew)以便使文本(或字符)的行更加水平或竖直、所捕获的图像的二值化、行和字检测、布局分析等。作为示例，用于将所提取的字符转换成机器可读字符的技术包括光学字符识别(OCR)。OCR利用可以涉及像素级的字符/字形的图案匹配或比较从字形提取的特征与字符的矢量式表示的算法。
作为示例，除了从所捕获的图像提取数据之外，***100还可以收集与所提取的数据相关联的元数据。元数据可以包括在垫200上或在物理布置于垫200上的对象上的所提取的数据的定位(例如所提取的数据的x和y坐标)。与所提取的数据相关联的元数据在确定由***100开发(develop)的上下文信息中可以是有帮助的，如将进一步描述的。
指令726可以包括用于从提取自所捕获的图像的数据开发上下文信息的指令。开发上下文信息可以涉及分析和理解所提取的数据，以便向用户提供有意义的信息。上下文信息的示例包括但不限于，字典定义、语言翻译、各种多媒体内容(诸如来自因特网的视频)以及从所捕获的图像提取的数学方程的结果。作为示例，***100可以通过从所提取的数据获得关键词、字符、数字或字符串来自动尝试从提取自所捕获的图像的数据开发上下文信息。然而，在产生与用户相关的上下文信息的努力中，用户可以从针对***100的所提取的数据中选择一部分来开发上下文信息。作为示例，用户可以通过做出触敏垫200上或物理布置于垫200上的对象上的数据的选择来选择该部分。用户可以通过使用用户的手部35、触笔25或任何其它合适的用户输入设备来选择用于开发上下文信息的部分。根据示例，如果数据的选择是投影到垫200上的数据，则垫200自身可以检测由用户做出的选择。然而，如果数据的选择是在对象(例如对象40)上包括的数据，则传感器束164可以检测由用户做出的选择。
如以上所描述的，***100可以收集与所提取的数据相关联的元数据，其包括在垫200上或在对象上的所提取的数据的定位。由用户做出以用于开发上下文信息的选择可以对应于与所提取的数据相关联的元数据。例如，由用户做出的选择的x和y定位可以对应于在垫200上或在对象(例如对象40)上的所提取的数据的部分的x和y定位。基于由用户做出的选择，***100可以确定选择哪些文本或字符以便从选择理解和构建上下文信息。
当用户选择单个项目(例如词语或数学表达式)时，***100可以基于选择构建上下文信息。然而，当用户做出更宽泛的选择(诸如短语或整个文章)时，作为示例，***100可能需要基于自然语言处理算法而构建选择的理解。作为示例，这些算法依赖于通过真实世界文本数据集合的分析的机器学习。通过使用这些算法来处理由用户做出的选择，***100可以从关键词、相关概念或话题、词性标注(例如用于动词、名词等的标识)、文本到语音等构建上下文信息。
一旦开发了上下文信息，指令728可以包括用于将上下文信息投影到触敏垫200上或到物理布置于触敏垫200上的对象上的指令。由于上下文信息由***100为用户提供作为补充信息，因此可能不合期望的是利用上下文信息使用户分心，除非用户选择查看上下文信息。作为示例，***100可以投影视觉线索，所述视觉线索指示存在关于在垫200上包括或输入或来自物理布置在垫200上的对象的原始数据的上下文信息。作为结果，用户可以在适当或方便查看上下文信息时选择视觉线索。作为示例，如果视觉线索被投影到垫200上，则垫200自身可以检测何时视觉线索由用户选择。然而，如果视觉线索被投影到对象(例如对象40)上，则传感器束164可以检测视觉线索由用户选择。作为示例，视觉线索可以被投影在垫200或对象的将不使用户从原始数据分心的区域上。
图8是用于开发上下文信息并且投影上下文信息的示例方法800的流程图。尽管以下参照图1的计算***100描述方法800的执行，但是可以利用用于方法800的执行的其它合适***。此外，方法800的实现不限于这样的示例。
在方法800的805处，***100可以捕获在触敏垫(例如投影屏幕200的触敏区202)上或在物理布置于触敏垫(例如对象40)上的对象上输入的数据的图像。作为示例，***100可以使用垫自身来捕获在垫上输入的数据的图像，并且可以使用传感器束164来捕获在对象上输入的数据的图像。
在810处，***100可以从所捕获的图像提取数据。作为示例，提取数据可以包括从所捕获的图像提取字符，并且将所提取的字符转换成机器可读字符。可以从所捕获的图像提取的字符的示例包括但不限于，文本、数字、字符串和数学表达式。除了提取数据之外，***100还可以收集与所提取的数据相关联的元数据。作为示例，元数据可以包括在触敏垫上或在对象上的所提取的数据的定位。
在815处，***100可以从提取自所捕获的图像的数据开发上下文信息。作为示例，***100可以通过从所提取的数据获得关键词、字符、数字或字符串来自动尝试从提取自所捕获的图像的数据开发上下文信息。作为示例，可以基于由用户在触敏垫上或在对象上做出的数据的选择而开发上下文信息。根据示例，如果数据的选择是投影到垫上的数据，则垫自身可以检测由用户做出的选择。然而，如果数据的选择是包括在对象(例如对象40)上的数据，则传感器束164可以检测由用户做出的选择。作为示例，在垫上或在对象上的数据的选择的定位可以对应于与所提取的数据相关联的元数据。
在820处，***100可以将上下文信息(例如经由投影仪组件184)投影到触敏垫上或到对象上。作为示例，***100可以投影视觉线索，所述视觉线索指示存在关于在垫上包括或输入或来自物理布置在垫上的对象的原始数据的上下文信息。作为结果，用户可以在适当或方便查看上下文信息时选择视觉线索。
尽管图8的流程图示出某些功能的执行的特定次序，但是方法800不限于该次序。例如，在流程图中接连示出的功能可以以不同的次序执行，可以同时或部分同时地执行，或者其组合。在一些示例中，本文关于图8描述的特征和功能可以与本文关于图1-7中的任何一个所描述的特征和功能组合地提供。

Claims (15)

1.一种方法，包括：
捕获在触敏垫上或在物理布置于触敏垫上的对象上输入的数据的图像；
从所捕获的图像提取数据；
从提取自所捕获的图像的数据开发上下文信息；以及
将上下文信息投影到触敏垫上或到对象上。
2.根据权利要求1所述的方法，包括：
收集与所提取的数据相关联的元数据，其中元数据包括在触敏垫上或在对象上的所提取的数据的定位。
3.根据权利要求2所述的方法，其中上下文信息基于由用户在触敏垫上或在对象上做出的数据的选择而开发。
4.根据权利要求3所述的方法，其中在触敏垫上或在对象上的数据的选择的定位对应于与所提取的数据相关联的元数据。
5.根据权利要求1所述的方法，其中提取数据包括：
从所捕获的图像提取字符；以及
将所提取的字符转换成机器可读字符。
6.根据权利要求5所述的方法，其中开发上下文信息包括从机器可读字符选择关键词以用于开发上下文信息。
7.根据权利要求5所述的方法，其中上下文信息基于自然语言处理算法而开发。
8.根据权利要求1所述的方法，其中投影上下文信息包括投影与上下文信息相关联的视觉线索，以用于用户选择和与视觉线索交互以在需要时呈现上下文信息。
9.一种***，包括：
支撑结构，其包括底座、从底座向上延伸的直立构件以及从直立构件向外延伸并且包括折叠反射镜和多个传感器的悬臂式顶部；
可附连到直立构件的投影仪组件；
可附连到投影仪组件的计算设备；以及
通信耦合到计算设备、投影仪要在其上投影图像的触敏垫，其中投影仪向上投影图像以反射离开反射镜并且到垫上，并且其中计算设备使得：
所述多个传感器捕获物理布置于垫上的对象上的数据的图像；
计算设备从所捕获的图像提取数据；
计算设备从提取自所捕获的图像的数据开发上下文信息；以及
投影仪组件将上下文信息投影到垫上或对象上。
10.根据权利要求9所述的***，其中计算设备收集与所提取的数据相关联的元数据，其中元数据包括在触敏垫上或在对象上的所提取的数据的定位。
11.根据权利要求9所述的***，其中上下文信息基于由用户在触敏垫上或在对象上做出的数据的选择而开发。
12.根据权利要求11所述的***，其中由用户在垫上做出的数据的选择要由垫检测，并且由用户在对象上做出的数据的选择要由所述多个传感器检测。
13.一种非暂时性机器可读存储介质，其包括可由计算***的处理资源执行的指令，所述计算***包括触敏垫、在垫上投影图像的投影仪组件以及布置在垫上方并且指向垫的多个传感器，所述指令可执行以：
捕获在垫上或在物理布置于垫上的对象上输入的数据的图像；
从所捕获的图像提取数据；
从提取自所捕获的图像的数据开发上下文信息；以及
将上下文信息投影到垫上或到对象上。
14.根据权利要求13所述的存储介质，其中所述指令可执行以提取数据包括：
从所捕获的图像提取字符；以及
将所提取的字符转换成机器可读字符。
15.根据权利要求14所述的存储介质，其中所述指令可执行以开发上下文信息包括从机器可读字符选择关键词以用于开发上下文信息。
CN201480083432.1A 2014-09-12 2014-09-12 从图像开发上下文信息 Active CN107003714B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2014/055392 WO2016039769A1 (en) 2014-09-12 2014-09-12 Developing contextual information from an image

Publications (2)

Publication Number Publication Date
CN107003714A true CN107003714A (zh) 2017-08-01
CN107003714B CN107003714B (zh) 2020-08-11

Family

ID=55459385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480083432.1A Active CN107003714B (zh) 2014-09-12 2014-09-12 从图像开发上下文信息

Country Status (5)

Country Link
US (1) US10444894B2 (zh)
EP (1) EP3191918B1 (zh)
CN (1) CN107003714B (zh)
TW (1) TWI566126B (zh)
WO (1) WO2016039769A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021120420A1 (zh) * 2019-12-16 2021-06-24 成都极米科技股份有限公司 阅读辅助方法、装置及电子设备

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120042288A1 (en) * 2010-08-16 2012-02-16 Fuji Xerox Co., Ltd. Systems and methods for interactions with documents across paper and computers
CN103294260A (zh) * 2012-04-02 2013-09-11 微软公司 触敏用户界面
US20130329247A1 (en) * 2012-06-08 2013-12-12 Pfu Limited Image processing apparatus and image processing method
CN103827744A (zh) * 2011-08-02 2014-05-28 惠普发展公司，有限责任合伙企业 投影捕捉***和方法
US20140168267A1 (en) * 2012-12-18 2014-06-19 Samsung Electronics Co., Ltd. Augmented reality system and control method thereof
CN104024936A (zh) * 2011-07-29 2014-09-03 惠普发展公司，有限责任合伙企业 投影捕获***，程序和方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0622722B1 (en) 1993-04-30 2002-07-17 Xerox Corporation Interactive copying system
US7398201B2 (en) * 2001-08-14 2008-07-08 Evri Inc. Method and system for enhanced data searching
US20030200078A1 (en) 2002-04-19 2003-10-23 Huitao Luo System and method for language translation of character strings occurring in captured image data
US7710391B2 (en) 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US20050078092A1 (en) 2003-10-08 2005-04-14 Clapper Edward O. Whiteboard desk projection display
US20060234784A1 (en) 2004-12-21 2006-10-19 Silviu Reinhorn Collapsible portable display
US20080191864A1 (en) 2005-03-31 2008-08-14 Ronen Wolfson Interactive Surface and Display System
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
US20080018591A1 (en) 2006-07-20 2008-01-24 Arkady Pittel User Interfacing
US8726178B2 (en) * 2006-11-10 2014-05-13 Ricoh Company, Ltd. Device, method, and computer program product for information retrieval
US8199117B2 (en) 2007-05-09 2012-06-12 Microsoft Corporation Archive for physical and digital objects
US20110047459A1 (en) * 2007-10-08 2011-02-24 Willem Morkel Van Der Westhuizen User interface
US8121640B2 (en) 2009-03-19 2012-02-21 Microsoft Corporation Dual module portable devices
TW201115252A (en) 2009-10-26 2011-05-01 Avermedia Information Inc Document camera with image-associated data searching and displaying function and method applied thereto
US8941620B2 (en) * 2010-01-06 2015-01-27 Celluon, Inc. System and method for a virtual multi-touch mouse and stylus apparatus
US9665258B2 (en) 2010-02-05 2017-05-30 Smart Technologies Ulc Interactive input system displaying an e-book graphic object and method of manipulating a e-book graphic object
TWI423096B (zh) 2010-04-01 2014-01-11 Compal Communication Inc 具可觸控投影畫面之投影系統
US9489040B2 (en) 2010-07-19 2016-11-08 Smart Technologies Ulc Interactive input system having a 3D input space
US8736583B2 (en) 2011-03-29 2014-05-27 Intel Corporation Virtual links between different displays to present a single virtual object
CN103703763B (zh) 2011-07-29 2018-02-27 惠普发展公司，有限责任合伙企业 视觉分层的***和方法
US8842057B2 (en) 2011-09-27 2014-09-23 Z124 Detail on triggers: transitional states
US10146407B2 (en) * 2013-05-02 2018-12-04 Adobe Systems Incorporated Physical object detection and touchscreen interaction
US9965038B2 (en) * 2014-03-21 2018-05-08 Dell Products L.P. Context adaptable projected information handling system input environment

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120042288A1 (en) * 2010-08-16 2012-02-16 Fuji Xerox Co., Ltd. Systems and methods for interactions with documents across paper and computers
CN104024936A (zh) * 2011-07-29 2014-09-03 惠普发展公司，有限责任合伙企业 投影捕获***，程序和方法
CN103827744A (zh) * 2011-08-02 2014-05-28 惠普发展公司，有限责任合伙企业 投影捕捉***和方法
CN103294260A (zh) * 2012-04-02 2013-09-11 微软公司 触敏用户界面
US20130329247A1 (en) * 2012-06-08 2013-12-12 Pfu Limited Image processing apparatus and image processing method
US20140168267A1 (en) * 2012-12-18 2014-06-19 Samsung Electronics Co., Ltd. Augmented reality system and control method thereof

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021120420A1 (zh) * 2019-12-16 2021-06-24 成都极米科技股份有限公司 阅读辅助方法、装置及电子设备

Also Published As

Publication number Publication date
TWI566126B (zh) 2017-01-11
EP3191918A1 (en) 2017-07-19
CN107003714B (zh) 2020-08-11
EP3191918A4 (en) 2018-04-18
EP3191918B1 (en) 2020-03-18
US10444894B2 (en) 2019-10-15
US20170285850A1 (en) 2017-10-05
TW201614429A (en) 2016-04-16
WO2016039769A1 (en) 2016-03-17

Similar Documents

Publication Publication Date Title
US10324563B2 (en) Identifying a target touch region of a touch-sensitive surface based on an image
US10156937B2 (en) Determining a segmentation boundary based on images representing an object
US10268277B2 (en) Gesture based manipulation of three-dimensional images
US10003777B2 (en) Projection screen for specularly reflecting light
US10379680B2 (en) Displaying an object indicator
US10664090B2 (en) Touch region projection onto touch-sensitive surface
US10725586B2 (en) Presentation of a digital image of an object
US10481733B2 (en) Transforming received touch input
KR20150108570A (ko) 투영 객체 인식을 통한 미러 디스플레이 기반 증강 현실 영상 서비스 장치 및 방법
CN107079126A (zh) 图像投影
US20120201417A1 (en) Apparatus and method for processing sensory effect of image data
CN107077196A (zh) 识别触敏表面上的对象
CN107045384A (zh) 使用深度数据的姿势控制
CN107003714A (zh) 从图像开发上下文信息

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant