CN113950822A - 实体活动表面的虚拟化 - Google Patents

Abstract

用于实体活动场景虚拟化的多种实施方式包括一种方法，所述方法包括捕获包括交互式练习册的视频流，该交互式练习册包括交互区域，识别交互式练习册，基于交互式练习册的标识确定虚拟页面，显示体现虚拟模板的图形用户界面，检测交互式练习册的交互区域上的交互，基于交互区域中的交互生成虚拟批注，并更新图形用户界面以包括虚拟批注。

Description

实体活动表面的虚拟化

技术领域

本公开涉及一种计算设备。

背景技术

计算设备通常用于协助教学指引。这些计算设备可以运行特定的学习程序，这些学习程序让学生或儿童能够在他们与计算设备上的程序交互时学习。这些计算设备通常能够在学生输入不同的答案时快速提供反馈。然而，在计算设备上运行的这些特定学习程序是有限的，因为它们是静态且执行相同的程序。这使得针对不同学生的定制学习有所限制。此外，学习机会有限，因为学生只能从程序中学习，并且无法使用有形对象完全交互。

活页练习册(worksheet)、练习册(workbook)和其他实体教学工具已被教师用来以指导学生学习以及在他们自己的活页练习册中解题。通过填写并完成活页练习册时在填写并完成活页练习册，活页练习册为学生提供了有形和可触及的学习媒介。但是，活页练习册是有局限性的，因为在活页练习册稍后被批改之前不会给予反馈，并且在完成活页练习册与有关每个题是否正确的反馈之间存在脱离。

目前尝试将活页练习册的实体学习体验与计算机上运行的程序进行组合的解决方案受限于非常具体的程序和客户定制活页练习册，往往难以同步一起使用。此外，目前的这些解决方案没有显示被广泛采用，因为它们使用起来并不直观，并且往往设置和运行的时间比没有计算设备的情况下手工做活页练习册更长。这些现有解决方案不能直观地将数字信息体验与实体信息体验结合在一起。

发明内容

根据本公开主题的一个创新方面，描述一种用于实体活动表面的虚拟化方法。在示例实施方式中，一种方法包括使用与计算设备相关联的视频捕获设备来捕获实体活动场景的视频流，该视频流包括交互式练习册(interactive sheet)，该交互式练习册包括交互区域；使用该计算设备的处理器，识别该交互式练习册；使用该计算设备的处理器，基于该交互式练习册的标识来确定虚拟模板；在该计算设备的显示器上显示体现该虚拟模板的图形用户界面；使用该计算设备的处理器,检测该交互式练习册的该交互区域上的交互；使用该计算设备的处理器，基于在该交互式练习册上检测的交互来生成虚拟批注；以及在该计算设备的显示器上更新该图形用户界面以包括虚拟批注。

实施方式可以包括以下特征中的一者或多者。在该方法中，该交互还可以包括用户在该交互区域中形成的标记。该方法可以包括：使用该计算设备的处理器，检测由用户在该交互区域中形成的标记；以及使用该计算设备的处理器，确定该标记是否与该交互区域的预期标记匹配。该方法可以包括：响应于该标记与该交互区域的预期标记匹配，生成正确答案批注并在该图形用户界面上呈示该正确答案批注；以及响应于该标记与该交互区域的预期标记不匹配，生成不正确答案批注并在该图形用户界面上呈示不正确答案批注。该不正确答案批注包括提供正确答案批注的步骤的图形表示。该交互区域上的交互是交互区域上的标记，并且其中该虚拟批注是该标记的虚拟表示。显示体现该虚拟模板的图形用户界面还可以包括：使用该计算设备的处理器，确定该交互式练习册在实体活动场景中的位置；使用该计算设备的处理器，使用交互式练习册在该实体活动场景中的位置，将该虚拟模板与该交互式练习册对齐；并且使用该计算设备的处理器，在该图形用户界面中显示对齐的虚拟模板。将该虚拟模板与交互式练习册对齐基于预期交互区域在该虚拟模板中的映射将该交互区域在该交互式练习册上所处的位置告知该计算设备的处理器。显示体现该虚拟模板的图形用户界面还可以包括：使用该计算设备的处理器，检测该交互式练习册的交互区域中的颜色；使用在交互区域中检测到的颜色作为虚拟模板的对应区域的颜色，确定该虚拟模板的颜色调整；以及以该虚拟模板的对应区域的检测的颜色，在图形用户界面中显示虚拟模板。

一个通用方面包括，该实体活动表面可视化***还包括被耦合用于与计算设备通信的视频捕获设备，该视频捕获设备适于捕获实体活动场景的视频流，该视频流包括交互式练习册，该交互式练习册包括交互区域；耦合到该计算设备的检测器，该检测器适于识别该交互式练习册和该交互式练习册的交互区域上的交互；该计算设备的处理器，该处理器适于基于该交互式练习册的标识确定虚拟模板，并基于该交互区域中检测到的交互，生成虚拟批注；以及耦合到该计算设备的显示器，该显示器适于显示体现该虚拟模板的图形用户界面，并更新该图形用户界面以包括虚拟批注。

实施方式可以包括以下特征中的一者或多者。在该实体活动表面可视化***中，该交互还可以包括用户在该交互区域中形成的标记。该检测器还被配置成检测用户在该交互区域中形成的标记，其中该处理器还被配置成确定该标记是否与该交互区域的预期标记匹配。该实体活动表面可视化***可以包括：响应于该标记与该交互区域的预期标记匹配，该处理器还被配置成生成正确答案批注并在该图形用户界面上呈示该正确答案批注；以及响应于该标记与该交互区域的预期标记不匹配，该处理器还被配置成生成不正确答案批注并在该图形用户界面上呈示不正确答案批注。该不正确答案批注包括提供正确答案批注的步骤的图形表示。该交互区域上的交互是交互区域上的标记，并且其中该虚拟批注是该标记的虚拟表示。冒号>该处理器还被配置成确定该交互式练习册在该实体活动场景中的位置，并使用该交互式练习册在该实体活动场景中的位置将虚拟模板与该交互式练习册对齐；以及该显示器还被配置成在图形用户界面中呈示对齐的虚拟模板。当该处理器将该虚拟模板与该交互式练习册对齐时，该处理器基于预期交互区域在该虚拟模板中的映射，识别该交互区域在该交互式练习册上所处的位置。冒号>该处理器还被配置成检测该交互式练习册的交互区域中的颜色，并使用该交互区域中检测到的颜色作为该虚拟模板的对应区域的颜色来确定该虚拟模板的颜色调整；以及该显示器还被配置成以该虚拟模板的对应区域的检测的颜色，在图形用户界面中显示虚拟模板。

一个通用方面包括，该方法包括使用与计算设备相关联的视频捕获设备来捕获实体活动场景的视频流，该视频流包括交互式练习册，该交互式练习册包括可视标记和一个或多个交互区域；使用该计算设备的处理器检测来自该视频流的可视标记；使用该计算设备的处理器，识别所检测到的可视标记；使用该计算设备的处理器，基于所识别的可视标记来检索虚拟模板；使用该计算设备的处理器，将该虚拟模板与该交互式练习册的位置对齐；基于虚拟模板的对齐，使用该计算设备的处理器从虚拟模板确定一个或多个交互区域的预期位置；使用该计算设备的处理器，使用该一个或多个交互区域的预期位置，检测该交互式练习册上的一个或多个交互区域中的交互；使用该计算设备的处理器,识别该一个或多个交互区域中的交互；使用该计算设备的处理器，基于该交互的标识，生成虚拟批注；以及在该计算设备的显示器上，显示包含该虚拟模板和该虚拟批注的图形用户界面。实施方式可以包括以下特征中的一者或多者。在该方法中，该交互是用户在该一个或多个交互区域中形成的标记。

本文件中描述的这些方面和其他方面中一者或多者的其他实施方式包括被配置成用于执行在计算机存储设备上编码的这些方法的动作的对应***、装置和计算机程序。上文和其他实施方式在本文件通篇阐明的许多方面是有利的。此外，应当理解，在本公开中使用的语言主要是为了可读性和指导性目的而选择的，而不是为了限制在本文公开的主题的范围。

附图说明

本公开是通过举例而非限制的方式在附图中进行图示的，在这些附图中相似的引用数字用于指代相似的元件。

图1A-1D是实体活动表面的可视化的示例配置。

图2是图示用于可视化实体活动表面的示例计算机***的框图。

图3是图示示例计算设备的框图。

图4是用于可视化实体活动表面的示例方法的流程图。

图5A-5E是实体活动表面的可视化的另一个示例配置。

具体实施方式

图1A-1D是实体活动表面上交互式练习册116的虚拟化的示例配置。图1A是可以用于包括交互式练习册116的实体活动场景中的多种活动的示例配置100。正如所描述的，配置100部分地包括有形的实体活动表面(未示出)，交互式练习册116可以被定位(例如，搁置、放置、绘制、创建、建模、构建、投影等)于该表面上；以及计算设备104，该计算设备配备有或以其他方式耦合到视频捕获设备110(未示出),该视频捕获设备被配置成为捕获包括交互式练习册116的实体活动场景的活动表面的视频。在一些实施方式中，摄像器适配器108可以被用于重定向视频捕获设备110的视场，如本文其他地方所述。在又一些实施方式中，视频捕获设备110的视场可以被定向朝向交互式练习册116，而不使用摄像器适配器108。计算设备104包括能够显示基于交互式练习册116的虚拟模板112的创新软件和/或硬件。虚拟模板112可以包含批注，例如虚拟提示120和/或虚拟元件122。

虽然该平台所在的活动表面被描绘为如图1中大致水平的，但应该理解，该活动表面可以是垂直的或定位在适合于用户进行交互的任何其他角度。该活动表面可以具有任何颜色、图案、纹理和表面形态。例如，活动表面可以是大致平坦的或本质上是脱节/不连续的。活动表面的非限制性示例包括桌子、书桌、柜台、地面、墙壁、白板、黑板、定制表面、用户的膝面等。

在一些实施方式中，活动表面可以被预先配置成与交互式练***物体，例如一张纸，来自练***板电脑等。在又一些实施方式中，交互式练习册116可以被配置成用于创建和/或绘制，例如记事本、白板或绘图板。在一些实施方式中，交互式练习册116可以是可重复使用的并且一个或多个交互区域118可以作为交互式练习册116的多个部分或区域存在。这些交互区域118可以是计算设备104上运行的活动应用214可预期要出现的标记或其他物理对象所在的区域。在一些实施方式中，这些交互区域118可以被形成在或印制到交互式练习册116上，而在又一些实施方式中，可以由用户操控交互区域118，以使得例如一个或多个交互区域118被移除、擦除、隐藏等

在一些实施方式中，交互式练习册116可以包括交互区域118，该交互区域包括交互式练习册116的一部分。在一些实施方式中，交互区域118可以向用户告知预期发生交互的位置，例如书写答案、圈入对象、绘制图片等。在一些实施方式中，交互区域118可以例如通过创建方框或其他形状并强调交互区域118的边缘，例如通过创建对比色、点划线等而对于用户可见。在一些实施方式中，交互区域118可以是可被计算设备104检测到的，以及计算设备104可以被配置成使用图像处理技术来分析交互区域以检测交互区域118中的交互。在一些实施方式中，交互区域118的边缘可以对于用户130是不可见的，并且交互式练习册116或虚拟模板112可以告知用户130应该在哪里执行交互。例如，交互式练习册116可以是数学练习册，并且交互区域118可以包括与虚拟模板112中的虚拟提示120相关联的不同数学等式。在一些实施方式中，交互区域118可以在由视频捕获设备110捕获的交互式练习册116的静态图像或视频流中被识别出，并且活动应用214可以基于已与交互式练习册116相关联的虚拟模板112，预期交互区域118在交互式练习册116上的位置，正如本文其他位置描述的。

在一些实施方式中，交互式练习册116可以包括可视标记符124。可视标记符124可以包括由计算设备104可检测到的图形元素，并且表示交互式练习册116的多种识别特征。例如，交互式练习册116可以是与特定虚拟模板112相关联的特定数学练习册，并且每个交互式练习册116可以具有对于交互式练习册116是唯一且与相关联的虚拟模板112匹配的不同可视标记符124。计算设备104能够检测可视标记符124并且使用可视标记符124确定交互式练习册116的标识。计算设备104可以然后检索与交互式练习册116的标识相关联的虚拟模板112，并在计算设备104的显示屏幕上自动呈示虚拟模板112，而无需用户130执行任何输入。

在一些实施方式中，交互式练习册116可以与支架106集成，该支架支撑计算装置104，或者可以与支架106分开但是可被邻近于支架106放置。在一些情况中，包括交互式练习册116的实体活动场景上的交互区域的大小可以由视频捕获设备110(未示出)的视场界定，并且可以由适配器108和/或通过调整视频捕获设备110的位置来调适。在附加示例中，交互式练习册116可以是投影到活动表面102或第二计算设备(未示出)上的光投影(例如，图案、上下文、形状等)，该第二计算设备上可以显示数字内容且被第一计算设备104的视频捕获设备110捕获。

在一些实施方式中，示例配置100中包括的计算设备104可以位于表面上或以其他形式靠近该表面。计算设备104可以向用户130提供用于显示虚拟模板112的虚拟入口。例如，计算设备104可以放置在用户130前面的桌子上，这样用户130能够容易地查看计算设备104，同时与交互式练***板电脑、膝上型电脑、台式机、上网本、电视机、机顶盒、媒体流式传输设备、便携式媒体播放器、导航设备、个人数字助理等。

计算设备104包括或者以其他方式(例如，经由无线或有线连接)耦合到用于捕获实体活动场景的视频流的视频捕获设备110(本文也称为摄像器)。如图1A-1D所示，视频捕获装置110可以是配备有适配器108的前置摄像器，该适配器调适摄像器110的视场以便至少包括交互式练习册116。为清晰起见，在某些实施方式中，由视频捕获设备110捕获的活动表面的实体活动场景在本文中也可互换地称为活动表面或活动场景。

如图1A-1D所示，计算设备104和/或视频捕获装置110可以由支架106定位和/或支撑。例如，支架106可以将计算设备104的显示器定位于对于用户查看和交互是最优的位置，而该用户同时可能正在形成有形界面对象120和/或正在与实体环境(交互式练习册116)交互，例如在大致垂直的位置，使得用户130可以处于计算设备104的前面，因为计算设备104位于实体活动表面上。支架106可以被配置成位于活动表面102上并接纳和稳定地保持计算设备104，因此计算设备104在使用期间保持静止。

在一些实施方式中，交互式练习册116可以配合未定位在支架106这的和/或使用适配器108的计算设备104一起使用。用户130可以定位和/或固定住计算设备104，使得前置摄像器或后置摄像器可以捕获交互式练习册116，然后可以基于交互式练习册116的捕获在计算设备104的显示器上呈示虚拟模板112。在又一些实施方式中，计算设备104和支架106可以集成到单个外壳(未示出)中并且在一些实施方式中可以是还可包括摄像器适配器108的单个设备，而在又一些实施方式中，视频捕获设备110可以被定向朝向实体活动表面而不使用摄像器适配器108。

在一些实施方式中，适配器108将计算设备104的视频捕获设备110(例如，前置摄像器、后置摄像器)以基本上仅捕获交互式练习册116，虽然许多进一步的实施方式也是可能的且可设想的。例如，摄像器适配器108可以将前置摄像器的视场分为两个场景。在这种具有两种场景的示例中，视频捕获设备110捕获包括活动表面一部分的实体活动场景，并且能够在实体活动场景的任一部分中捕获交互区域118和/或交互式练习册116。在另一示例中，摄像器适配器108可以将计算设备(未示出)的后置摄像器重定向为朝向计算设备104的前侧以便捕获位于计算设备104前方的活动表面102的实体活动场景。在一些实施方式中，摄像器适配器108可以界定正在捕获的场景的一个或多个侧边(例如，上边、左边、右边、具有下方开口)。在一些实施方式中，摄像器适配器108可以分拆前置相机的视场以捕获实体活动场景和用户130与交互式练习册116交互的视图。在一些实施方式中，如果用户130同意涉及隐私的这种分拆画面的记录，则教师能够通过查看同时包含交互式练习册116的第一视频流和用户130的第二视频流远程验证学生没有在作弊或遵循指令。例如，用户可以填写数学练习册，而拆分画面可以向如老师或家长显示拆分画面，表明用户正在自己回答提问，而非从他人那里获得帮助。在又一些实施方式中，拆分画面可以帮助实现实时交互，例如，辅导老师在远程辅导且能够在画面一部分中看到用户130以及在另一部分中看到交互式练习册116。辅导老师能够看到用户脸上疑惑的表情，并且能够刚好看到用户在交互式练习册116上“卡壳”的位置，则辅导该用户。

用于计算设备104的适配器108和支架106可以包括用于固位(例如，接纳、固定、夹持等)计算设备104的边缘以覆盖摄像器110的至少一部分的槽。适配器108可以包括至少一个光学元件(例如，反射镜)以使摄像器110的视场朝向活动表面。计算设备104可以被布置且接纳于支架106顶侧中形成的尺寸兼容的槽中。该槽可以至少部分地向下延伸到支架106的本体中成一定角度使得当计算设备104固定在该槽中时，使其向后倾斜以方便其一个或多个用户查看和使用。支架106可以包括形成为垂直于该槽并与该槽交叉的沟道。该沟道可以被配置成在适配器108不使用时接收和固定该适配器。例如，适配器108可以具有锥形形状，该形状与支架106的沟道兼容并配置成可容易地置于支架106的沟道中。在一些情况中，该沟道可以将适配器108以磁性方式固定就位，以防止适配器108容易地被震出沟道。支架106可以沿水平轴拉长，以防止计算装置104在搁置在大致水平的活动表面(例如，桌子)上时翻倒。支架106可以包括用于接插计算设备104的电缆的沟道。电缆可以被配置成向计算设备104提供电力和/或可以用作与其他计算设备，例如膝上型电脑或其他个人计算机的通信链路。

在一些实施方式中，适配器108可以包括一个或多个光学元件，例如反射镜和/或透镜，以调适视频捕获设备110的标准视场。例如，适配器108可以包括一个或多个反射镜和透镜以重定向和/或修改从活动表面反射到视频捕获设备110中的光。作为示例，适配器108可以包括角度设为将从计算设备104前方的活动表面102反射的光重定向到计算设备104的前置摄像器的反射镜。作为另一示例，许多无线手持设备包括相对于计算设备104的显示器具有固定视线的前置摄像器。适配器108可以通过摄像器110可拆卸地连接到该设备，以增强摄像器110的视线，由此该摄像器能够捕获活动表面(例如，桌面等)。一些实施方式中的反射镜和/或透镜可以是抛光的或激光质量玻璃。在其他示例中，这些反射镜和/或透镜可以包括作为反射元件的第一表面。第一表面可以是能够重定向光而无需透过反射镜和/或透镜的玻璃的涂层/薄膜。在备选例中，反射镜和/或透镜的第一表面可以是涂层/薄膜，以及第二表面可以是反射元件。在该示例中，光穿过涂层两次，然而，由于涂层相对于玻璃极其薄，因此与常规反射镜相比，失真效应被减轻。该反射镜以有成本效益的方式减小了常规反射镜的失真效应。

在另一个示例中，适配器108可以包括一系列光学元件，这些光学元件将从计算设备104前方的活动表面发射出的光绕回到计算设备104的后置摄像器中，以便能够被捕获。适配器108还可以调适视频捕获设备110的视场的一部分(例如，前置摄像器)而保持视场的其余部分不变，从而可以通过视频捕获设备110捕获多个场景。适配器108还可以包括被配置成提供不同效果的光学元件，例如使视频捕获设备110能够捕获活动表面102的更大部分。例如，适配器108可以包括凸面镜，该凸面镜提供鱼眼效果以捕获比视频捕获设备110的标准配置所能捕获的更大活动表面部分。

在一些实施方式中，视频捕获设备110可以是与计算设备104分开的单独单元，并且可以是可被定位来捕获活动表面102或者如上所述可以被适配器108调适成捕获活动表面102。在这些实施方式中，视频捕获设备110可以经由有线或无线连接通信上耦合到计算设备104，以便向其提供正在捕获的视频流。

如图1A中的示例配置100所示，可以将交互式练习册116定位在视频捕获设备110的视场内。交互式练习册116可以包括可视标记器124和一个或多个交互区域118。在该示例中，交互式练习册116是练习册或书籍的页面，但是对于交互式练习册116也设想其他配置。如图所示，可视标记符124可以位于交互式练习册116的顶部，并且可视标记符124可以包括可被计算设备104检测到的唯一性图形元素，例如页码、产品编号、QR码、唯一性图形代码等和/或可被计算设备104检测到的图形。在一些实施方式中，检测引擎212可以被编程为查看在被检测的交互式练习册116中预期有可视标记符124所在的特定区域，例如练习册的顶部、练习册的侧边等。这是有利的，因为这使得检测引擎212能够快速检测到可视标记符124，而无需将检测到的对象(例如交互式练习册116)的每个部分与识别数据库进行比较，并且减少了处理时间。在该示例中，图形表示指示交互式练习册116的类型的横幅内的图形代码。在一些实施方式中，交互式练习册116还可以包括图形元件126，该图形元件告知交互式练习册的边界，例如围绕交互式练习册116的边线。

在图1所描绘的示例中，交互式练习册116包括三个不同的交互区域118，这些交互区域代表对虚拟提问120的三种不同的可能答案。计算设备104预期用户要在交互区域118中和/或周围与交互式练习册116交互。通过预测用户将执行交互所在的区域，计算设备104可以靶向交互区域118进行图像处理，而不是处理整个视频流，从而提高图像处理的速度。

在图1A的示例中，用户可以将交互式练习册116放置在计算设备104前方的实体活动表面上。计算设备104可以将交互式练习册116识别为特定数学练习册，用户将在其中与呈示三种不同数学等式的三个不同交互区域118a-118c交互。计算设备104可以使用交互式练习册116的标识来检索与交互式练习册116相关联的虚拟模板112并且可以在计算设备104的显示器上显示虚拟模板112。在该示例中，虚拟模板112可以包括指导用户130如何完成练习册的虚拟提问120。虚拟提问130可以是向用户130呈示以供用户130回答的问题。该问题可以适合于不同的年龄级别，例如句子适合于年龄大些的用户130或形状适合于可能没有准备好阅读和/或理解完整文字提示的年龄小些的用户130。在一些实施方式中，虚拟提问120可以是与用户130交互的虚拟人物角色或化身并且可以使用音频输出来说出问题而不是在显示屏上显示问题。在又一些实施方式中，该提问可以替代地和/或附加地被呈示在交互式练习册116上，使得用户130能够独立于计算设备104完成练习册。用户可以通过与交互式练习册116的交互区域118交互来回答虚拟提问120。在该示例中，虚拟提问120是要求用户从交互式练习册116上呈示的选项中“找到所有得25的等式”。交互式练习册116包括具有等式“5x5”的交互区域118a、具有等式“2x5”的交互区域118b以及具有等式“20+5”的交互区域118c。

在图1B中描述的示例配置150中，用户130可以通过与表示等式“20+5”的交互区域118c交互128a来回答虚拟提问120。交互128a可以是围绕交互区域118c绘制的圆圈。备选地，在其他实施方式中，交互128可以是由用户130且在预期的交互区域118内形成的任何类型的标记，例如，勾选标记、圆圈、书写的答案、区域填充、画线/圆圈连接两个不同的区域、通过手指/书写工具触控、将对象置于区域中、设为某种颜色、形状等。

在图1C中的示例配置160中，计算设备104可以检测用户130在交互式练习册116上的交互128a，并在虚拟模板中呈示虚拟批注132a。在一些实施方式中，虚拟批注132a可以向用户130提供反馈，使得答案正确或不正确、有关下一步的提示、剔除其他选项、奖励可视化，例如角色在虚拟游戏中前进、添加到虚拟模板的图形元素，例如将颜色添加到交互式练习册116中正在被着色的角色等。在该示例中，虚拟批注132a可以覆盖与交互区域118c相关联的正确虚拟元件122c，并且向用户告知它们正确地回答了虚拟提问120。

在图1D中的示例配置170中，当用户130继续回答虚拟提问120时，用户130则可以执行另一个交互128b以选择交互区域118a。计算设备104可以例如通过检测预期的交互区域118a中的标记，检测选择答案“5x5”的交互128b，并且生成覆盖虚拟元件122a的虚拟批注132b以便告知用户130交互128b是正确的。一旦用户完成了交互式练习册116，在该示例中，可以出现虚拟奖励134，向用户130指示练习册已完成。在此示例中，虚拟奖励134可以包括语句“干得漂亮！100％”，其向用户130指示回答正确。虚拟奖励134也可以是听觉提问，基于正确回答游戏元件向前进等。如本示例中所示，用户130可以在交互式练习册116上填写工练习册，并且当用户回答时，虚拟模板112可以包括指导、提问、提示、奖励等，以鼓励用户130继续完成练习册以及如果用户130不能回答时给予辅助。

在其他实施方式中，如教师的用户130可以例如通过创建练习册并将该练习册的上传到服务器进行存储和/或添加交互区域来创建定制交互式练习册116。例如，教师可以上传pdf并在练习册中定义他们预期学生在填写练习册时执行交互所在的交互区域118。服务器可以接收这些练习册并在软件中识别这些交互区域以获得虚拟模板112。然后，服务器可以提供练习册的可打印版本，或者直接存储基于练习册的虚拟页面。在一些实施方式中，服务器可以添加可视标记符124，该可视标记符可被包含在交互式练习册116的打印版本中，这样能够对定制交互式练习册116进行编目并且与相关联的虚拟模板112一起存储。之后，学生可以将教师创建的练习册的放在计算设备104前方，并且计算设备104可以检索和显示虚拟模板112以供学生在学生完成练习册时进行交互。这样能够实现简易指导流程。教师只需向学生提供交互式练习册116，并且软件检索虚拟模板112并运行内容而无需额外的设置。

图2是图示用于实体活动场景的虚拟化的示例计算机***200的框图。所示的***200包括计算设备104a...104n(也单独称为及通称为104)，并且服务器202a...202n(也单独称为及通称为202)，其经由网络206通信上耦合，以便彼此交互。例如，计算设备104a...104n可以分别经由信号线208a...208n耦合到网络206，并且可以被用户130a...130n(也单独称为及通称为130)访问。服务器202a...202n可以分别经由信号线204a...204n耦合到网络206。在引用数字中使用命名规则“a”和“n”表示具有该命名规则的任何数量的这些元件均可以被包括在***200中。

网络206可以包括任何数量的网络和/或网络类型。例如，网络206可以包括但不限于一个或多个局域网(LAN)、广域网(例如，因特网)、虚拟专用网络(VPN)、移动(蜂窝)网络、无线广域网(WWANS)、

网络、

通信网络、点对点网络、可以供多个设备进行通信的其他互连数据路径及其多种组合等。

计算设备104a...104a(也单独称为及通称为104)的计算设备是具有数据处理和通信能力的计算设备。例如，计算设备104可以包括处理器(例如，虚拟的、物理的等)、存储器、电源、网络接口和/或其他软件和/或硬件组件，例如前置和/或后置摄像器、显示器、图形处理器、无线收发器、键盘、摄像器、传感器、固件、操作***、驱动程序、多种物理连接接口(例如，USB、HDMI等)。计算设备104a...104n可以使用无线和/或有线连接耦合经由网络206彼此耦合及通信以及与***200的另一个实体耦合及通信。虽然图2中描述两个或更多个计算设备104，但是***200可以包括任何数量的计算设备104。另外，计算设备104a...104n可以是相同或不同类型的计算设备。

如图2所示，计算设备104a...104n中的一者或多者可以包括摄像器110、检测引擎212和活动应用214。计算设备104和/或摄像器110中的一者或多者也可以配备有适配器108，如本文其他地方所讨论的。检测引擎212能够检测和/或识别交互式练习册116上的交互的执行和/或位置(例如，在摄像器110的视场内的活动表面上)。检测引擎212能够检测交互式练习册116的位置和朝向，检测用户130如何形成和/或操控交互，并与活动应用214协作以通过检测交互并在虚拟模板112中生成虚拟批注132，向用户130提供丰富的虚拟体验。

在一些实施方式中，检测引擎212处理由摄像器110捕获的视频以检测可视标记符124和其他元件以识别交互式练习册116。活动应用214能够确定虚拟页面并生成虚拟化。下面至少参考图3更详细地描述计算设备104的附加结构和功能。

服务器202可以各包括具有数据处理、存储和通信能力的一个或多个计算设备。例如，服务器202可以包括一个或多个硬件服务器、服务器阵列、存储设备和/或***等和/或可以是集中式的或分布式的/基于云的。在一些实施方式中，服务器202可以包括一个或多个虚拟服务器，其在主机服务器环境中运行并且通过抽象层(例如，虚拟机管理器)访问主机服务器的物理硬件，包括例如处理器、存储器、存储装置、网络接口等。

服务器202可以包括可被服务器202的一个或多个计算机处理器操作以提供多种计算功能、服务和/或资源以及向计算设备104发送数据和从计算设备接收数据的软件应用。例如，软件应用可以提供用于如下目的功能：因特网搜索；社交联网；基于web网站的电子邮件；发布博客；微博；照片管理；视频、音乐和多媒体托管、分发和共享；商业服务；新闻和媒体分发；用户账户管理；或上述服务的任何组合。应当理解，服务器202不限于提供上述服务，并且可以包括其他网络可访问的服务。

应当理解，图2中所示的***200是作为示例提供的，并且可设想多种不同的***环境和配置且均落在在本公开的范围内。例如，各种功能可以从服务器移动到客户端或反之，并且一些实施方式可以包括更多或更少的计算设备、服务和/或网络，并且可以在客户端或服务器端实现多种功能。此外，***200的多种实体可以被集成到单个计算设备或***中或附加的计算设备或***等中。

图3是示例计算设备104的框图。如图所示，计算设备104可以包括处理器312、存储器314、通信单元316、显示器320、摄像器110和输入设备318，它们通过通信总线308通信上耦合。然而，应当理解，计算设备104不限于此并且可以包括其他元件，包括例如参考图1A-1D和图2中的计算设备104所讨论的那些。

处理器312可以通过执行多种输入/输出、逻辑和/或数学运算来执行软件指令。处理器312具有处理数据信号的多种计算架构，包括例如复杂指令集计算机(CISC)架构、精简指令集计算机(RISC)架构和/或实现指令集组合的架构。处理器312可以是物理的和/或虚拟的，并且可以包括单个核或多个处理单元和/或核。

存储器314是非瞬态计算机可读介质，其被配置成存储数据和向计算设备104的其他元件提供对数据的访问。在一些实施方式中，存储器314可以存储可被处理器312执行的指令和/或数据。例如，存储器314可以存储检测引擎212、活动应用214和摄像器驱动程序306。存储器314还能够存储其他指令和数据，包括例如操作***、硬件驱动程序、其他软件应用、数据等。存储器314可以耦合到总线308以与处理器312和计算设备104的另一个元件进行通信。

通信单元316可以包括用于与网络206和/或其他设备实现有线和/或无线连接的一个或多个接口设备(I/F)。在一些实施方式中，通信单元316可以包括用于发送和接收无线信号的收发器。例如，通信单元316可以包括用于与网络206通信以及使用近距离(例如，

NFC等)连接与附近设备通信的无线电收发器。在一些实施方式中，通信单元316可以包括用于与其他设备实现有线连接的端口。例如，通信单元316可以包括CAT-5接口、Thunderbolt^TM接口、FireWire^TM接口、USB接口等。

显示器320可以显示由计算设备104输出的电子图像和数据以呈示给用户130。显示器320可以包括任何常规显示设备、监视器或屏幕，包括例如有机发光二极管(OLED)显示器、液晶显示器(LCD)等。在一些实施方式中，显示器320可以是能够从用户130的一个或多个手指接收输入的触摸屏显示器。例如，显示器320可以是能够检测和解释与显示表面的多点接触的电容式触摸屏显示器。在一些实施方式中，计算设备104可以包括图形适配器(未示出)，用于渲染和输出图像和数据以便在显示器320上呈示。图形适配器(未示出)可以是单独的处理设备，包括单独的处理器和存储器(未示出)，或者可以与处理器312和存储器314集成。

输入设备318可以包括用于将信息输入到计算设备104的任何设备。在一些实施方式中，输入设备318可以包括一个或多个***设备。例如，输入设备318可以包括键盘(例如，QWERTY键盘)、指示设备(例如，鼠标或触摸板)、麦克风、摄像器等。在一些实施方式中，输入设备318可以包括能够从用户130的一个或多个手指接收输入的触摸屏显示器。例如，可以集成输入设备318和显示器320的功能，并且计算设备104的用户130可以通过使用一个或多个手指接触显示器320的表面来与计算设备104交互。在该示例中，用户130可以使用手指接触显示器320的键盘区域中触摸屏显示器320上模拟(即，虚拟或软)键盘交互。

检测引擎212可以包括检测器304。元件212和304可以通过总线308和/或处理器312彼此通信上耦合和/或通信上耦合到计算设备104的另一个元件214、306、310、314、316、318、320和/或110。在一些实施方式中，元件212和304中的一者或多者是处理器312可执行以提供其功能的指令集。在一些实施方式中，元件212和304中的一者或多者被存储在计算设备104的存储器314中，并且可以被处理器312访问和执行以提供其功能。在任何前述实施方式中，这些组件212和304可以适于与处理器312和计算设备104的其他元件协作和通信。

检测器304包括用于处理由摄像器110捕获的视频流以检测交互、交互式练习册116和/或包括在视频流中的可视标记符124的软件/或逻辑。在一些实施方式中，检测器304可以识别与有形界面对象、标记或其他批注和/或交互式练习册116上包括的可视标记符124相关的线段、轮廓线、不同颜色的像素。在一些实施方式中，检测器304可以检测照明环境，并且可以将交互式练习册116上检测到的多种颜色调整与预期颜色的虚拟模板112进行匹配，正如本文其他地方所述。照明环境可以包括阴影、手、修改的颜色等。在一些实施方式中，检测器304可以耦合到摄像器110、相机驱动器306和/或存储器314并从其中接收视频流。在一些实施方式中，检测器304可以处理视频流的图像以确定与有形界面对象相关的线段的位置信息和/或与交互相关联的交互式练习册116上的有形界面对象的形成(例如，这些线段在2D或3D空间中的位置和/或朝向)，然后分析视频流中包括的线段的特征以确定线段的标识和/或附加属性。

在一些实施方式中，检测器304可以使用可视标记符124来识别交互式练习册116的多个部分，例如页面的角落等。检测器304可以执行直线检测算法和刚性变换以解释交互式练习册116上的变形和/或弯曲。在一些实施方式中，检测器304可以将检测到的线段的特征与可能包含参考对象的解释的参考页面进行匹配，以便确定交互式练习册116中的线段和/或预期的对象的边界。在一些实施方式中，检测器304可以考虑检测到的线段和/或轮廓线中的间隙和/或孔，并且可以被配置成生成掩模以填充间隙和/或孔。

在一些实施方式中，检测器304可以通过识别其轮廓线来识别线。检测器304还可以识别线的多种属性，例如颜色、对比色、深度。纹理等。在一些实施方式中，检测器304可以使用线和线属性的描述，通过将描述和属性与对象数据库进行比较并识别最接近的匹配来识别对象、标记或交互。

在一些实施方式中，检测器304可以基于检测到的交互式练习册116对虚拟模板112进行颜色调整。例如，检测器304可以在虚拟模板112上识别不同的预期的颜色，并且可以识别视频流中与交互式练习册116的区域对应的所接收的颜色。这样使检测器304能够识别这些颜色可以通过不同外部参数来改变或影响，例如交互式练习册116上的照明效果。例如，检测器304可以基于模板识别交互式练习册116中预期为白色的部分，并且将检测为白色的颜色用于虚拟模板112上显示的任何内容。该过程使得检测器304能够评估和匹配交互式练习册116的真实颜色，而无需更改亮度调整或对比度调整。相反，检测器304可以从交互式练习册116的预期区域中识别每种颜色并且在显示虚拟模板112时使用这些识别的颜色。在又一些实施方式中，检测器304和/或校准器302还可以执行附加的图像处理以从交互式练习册116的捕获视频流中移除照明和变形。

检测器304可以经由总线308耦合到存储装置310以存储、检索和以其他方式操控存储在其中的数据。例如，检测器304可以查询存储装置310以获取与其已经确定存在于交互式练习册116中的任何线段相匹配的数据。在所有上文描述中，检测器304可以将检测到的图像发送到检测引擎212并且检测引擎212可以执行上述特征。

检测器304能够处理视频流以检测交互式练习册116与交互区域118之间的交互。在一些实施方式中，检测器304可以被配置成理解对象之间的关系方面并且基于关系方面确定交互。例如，检测器304可以被配置成识别与交互式练习册116中存在的一个或多个有形界面对象相关的交互，并且活动应用214可以基于多个有形界面对象与交互式练习册116的其他元件之间的关系方面来确定例行程序。

检测器304能够处理视频流以检测如用户的手130或其他对象对交互式练习册116中一个区域的遮挡。检测器304可以比较在定义的时间段内不同时间捕获的视频流的不同帧并且确定对象是否在遮挡交互式练习册116的一部分。检测器304可以通过识别两个帧之间的差异并基于虚拟模板112来确定哪些帧不包括交互式练习册116的预期部分，以便确定对象是否在遮挡交互式练习册116的一部分。检测器304还可以被配置成基于检测到的遮挡来创建掩膜层并忽略交互式练习册116中被遮挡的部分，同时还显示与交互区域118中的标记相关的任何检测到的变化。掩膜层可以使得检测器304能够以基本实时的方式在虚拟模板112上显示更新的批注，而无需等待遮挡视频捕获设备110的视场一部分的对象移开。

活动应用214包括用于识别交互式练习册116、呈示虚拟模板112、检测与交互式练习册116的交互以及生成虚拟批注132以在检测到交互时显示的软件和/或逻辑。活动应用214可以经由处理器312和/或总线308耦合到检测器304以接收信息。例如，用户130可以画出由练习册上的字母中组成的单词，并且活动应用214可以基于特定交互式练习册116的标识和基于虚拟提问120的预期答案确定这些字母形成什么单词并确定该单词是否正确。

在一些实施方式中，活动应用214可以通过搜索与交互区域118中检测到的交互兼容的虚拟对象和/或例行程序的数据库来检测交互和/或例行程序。在一些实施方式中，活动应用214可以访问存储在计算设备104的存储装置310中的虚拟对象或虚拟模板112的数据库。在又一些实施方式中，活动应用214可以访问服务器202以搜索虚拟对象和/或虚拟模板112和/或例行程序。在一些实施方式中，用户130可以预定义虚拟模板112以包括在数据库中。

在一些实施方式中，活动应用214可以将虚拟模板112和/或作虚拟化强化为例行程序的一部分。例如，活动应用214可以作为执行例行程序的一部分显示视觉增强。视觉增强可以包括添加颜色、额外的虚拟化、背景风景等。在又一些实施方式中，视觉增强可以包括使虚拟化或虚拟批注132移动或与虚拟模板112中的另一个虚拟化(未示出)和/或虚拟元件122交互。在一些实施方式中，活动应用214可以提示用户130选择一个或多个增强选项，例如改变颜色、大小、形状等，并且活动应用214可以将所选择的增强选项并入虚拟模板112中。

在一些情况中，实体活动场景中用户130在交互区域118中的交互可以随着用户130交互而渐增地呈示在虚拟模板112中。例如，随着用户在交互式练习册116上导航迷宫时，迷宫的导航可以基本上实时地呈示在虚拟模板中。活动应用214的非限制性示例可以包括视频游戏、学习应用、辅导应用、故事板应用、协作应用、生产力应用等。

摄像器驱动程序306包括可存储在存储器314中且可被处理器312操作以控制/操作摄像器110的软件。例如，摄像器驱动程序306是可被处理器312执行以用于告知摄像器110要捕获并提供视频流和/或静止图像等的软件驱动程序。摄像器驱动程序306能够控制摄像器110的多种特征(例如，闪光灯、光圈、曝光、焦距等)。摄像器驱动程序306可以经由总线308通信上耦合到摄像器110和计算设备104的其他组件，并且这些组件可以经由总线308与摄像器驱动程序306实现接口以使用摄像器110捕获视频和/或静态图像。

如本文别处所讨论的，摄像器110是被配置成捕获至少活动表面102的视频的视频捕获设备。摄像器110可以耦合到总线308以与计算设备104的其他元件进行通信和交互。摄像器110可以包括用于收集光和聚光的透镜、包括用于捕获聚焦的光的像素区域的光传感器和用于基于由像素区域提供的信号生成图像数据的处理器。光传感器可以是任何类型的光传感器，包括电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)传感器，混合CCD/CMOS器件等。摄像器110还可以包括任何常规特征，例如闪光灯，变焦镜头等。摄像器110可以包括用于捕获声音的麦克风(未示出)，或者可以耦合到包括在计算设备104的另一组件中的麦克风和/或直接耦合到总线308。在一些实施方式中，摄像器110的处理器可以经由总线308耦合，以将视频和/或静止图像数据存储在存储器314中和/或将视频和/或静止图像数据提供到计算设备104的其他元件，例如检测引擎212和/或活动应用214。

存储器310是用于存储数据和提供对所存储的数据的访问的信息源，例如如下内容的数据库：可在显示器320上显示的虚拟对象、虚拟页面、虚拟提问和/或虚拟元件、虚拟页面库、用户简档信息、社区开发的交互式练习册116、虚拟例行程序、虚拟增强等、对象数据、校准数据和/或由活动应用214生成、存储和/或检索的任何其他信息。

在一些实施方式中，存储装置310可以被包括在存储器314中或耦合到总线308的另一存储设备中。在一些实施方式中，存储装置310可以是或被包括在分布式数据仓库中，例如基于云的计算和/或数据存储***。在一些实施方式中，存储器310可以包括数据库管理***(DBMS)。例如，DBMS可以是结构化查询语言(SQL)DBMS。例如，存储装置310可以将数据存储在基于对象的数据仓库中或由行和列组成的多维表中，并且可以使用编程操作(例如，SQL查询和语句或类似的数据库操作库)操作，即***、查询、更新和/或删除存储在验证数据仓库106中的数据条目。在本文的他处讨论了存储器310的附加特征、结构、作用和功能。

图4是用于实体活动表面的虚拟化的示例方法400的流程图。在402处，视频捕获设备110可以捕获包括交互式练习册116的实体活动场景的视频流。在一些实施方式中，交互式练习册116可以包括交互区域118，在该交互区域中，用户可以通过与交互区域118交互以形成标记，放置对象等来完成交互式练习册116。在一些实施方案中，交互式练习册116还可以包括用于标识交互式练习册116可视标记符124。

在404处，检测引擎212可以识别交互式练***面相关联。可以相对于页面坐标映射相对于交互式练习册116检测到的附加特征。在一些实施方式中，检测引擎212可以使用基于特征的识别来识别交互式练习册116，其中可以通过对每个练习册是唯一的一组特征来识别图像。基于特征的标识可以包括处理交互式练习册116的图像以识别特征并创建虚拟模板112，例如图像的一次性预处理。然后，当捕获交互式练习册116的未来图像时，在图像中完整地计算这些特征。然后，将该特征与来自已知虚拟页面的所有特征进行匹配，并且如果与虚拟页面存在足够强的匹配，则计算交互式练习册116的位置信息和标识。

备选地，检测引擎212可以使用特征识别，其中可以比较交互式练习册116的一部分上的特征来识别虚拟模板112。例如，每个练习册116的顶部可以包括特征丰富的对比细节，其易于被检测器112检测到，例如如本文他处描述的可视标记符124。基于特征的识别可以寻找对于通用交互式练习册116已知的特征，并且基于匹配该特征来查找交互式练习册116的位置、旋转和/或比例。匹配可以在特定区域中执行，如页面的顶部，以避免用户的手/物体遮挡这些特征的问题。在一些实施方式中，可以使用机器学习来进一步精细化页面的特征与虚拟页面特征的匹配来进行识别。

备选地，检测引擎212可以寻找可视标记符124，例如特定代码，例如交互式练习册116内的QR码或隐藏代码，例如对用户可见但不明显的图形作为代码，例如形成二进制代码、唯一边缘等的交替线或颜色图案。

在406处，活动应用214可以基于交互式练习册的标识来确定虚拟模板112。活动应用214可以检索匹配所检测到的可视标记符124的虚拟模板112。在一些实施方式中，按周期性间隔，检测器304可以搜索更新的可视标记符124，并且如果检测到，则基于新的可视标记符124来加载新的虚拟模板112。例如移动第一交互式练习册116，并且将第二交互式练习册116置于视频捕获设备110的视场中。在408处，活动应用214可以显示体现虚拟模板112的图形用户界面。活动应用214可以显示虚拟模板112，该虚拟模板镜像交互式练习册116中所包括的内容。在又一些实施方式中，可以仅将交互式练习册116的相关部分包括在虚拟模板112中，或者可以随时间推移呈示虚拟模板112的附加部分。这是有利的，因为它限制一次呈示的信息量，并且可以帮助使用户保持集中注意力。在一些实施方式中，虚拟模板112可以包括在虚拟模板112中显示给用户的虚拟提问120和/或虚拟元件122。

在一些实施方式中，可以将交互式练习册116的位置与所呈示的虚拟模板112对齐。例如，用户可以按某种角度而非正直地放置交互式练习册116。然后，活动应用214可以处理成角度放置的交互式练习册116，并且正确地对齐虚拟模板112以便匹配交互区域118。活动应用214可以按照与交互式练习册116的放置相同的角度位置显示虚拟模板112。在又一些实施方式中，即使交互式练习册116成角度或被移动，虚拟模板112仍可以按照居中和/或正直的对齐方式显示。通过将虚拟模板112与交互式练习册116对齐，即使用户不完美地定位交互式练习册116，活动应用程序214仍已将交互式练习册116映射到虚拟模板112，并且可以识别二者之间的对应区域，例如交互区域，而无论交互式练习册116与虚拟模板112是否看上去是否对齐。另外，如果检测器304检测到交互式练习册116的位置的变化，例如用户移动交互式练习册116，则活动应用214可以更新对齐以便仍正确地将多个部分映射到对应区域。

在410处，检测引擎212可以检测交互式练习册116的交互区域118上的交互。在一些实施方式中，交互可以是用户回答虚拟提问120和/或完成交互式练习册116。在又一些实施方式中，用户可以在没有任何虚拟提问120的情况下形成交互。交互可以包括书写单词、字母、图形等来回答问题，从不同答案连线将它们匹配在一起，圈出一组对象来回答问题，在某个区域内涂色，如彩绘书，回答匹配等式，将交互式练习册116上的文本从一种语言转换为虚拟模板112中的另一种语言等。

在412处，活动应用214可以基于交互区域118上检测到的交互来生成虚拟模板132。例如，响应于用户在区域中以某种颜色涂色，活动应用214可以对应地以用户130所使用的颜色基本相似的颜色填充虚拟元件122的一部分。在另一示例中，活动应用214可以显示一系列求解代数方程的步骤，并将那些步骤与用户130书写的步骤进行比较并且识别和标亮显示用户130不同于这些步骤的任何差异所在。在一些实施方式中，活动应用214可以具有预期出现在交互区域118内的一个或多个预期标记。这些预期标记可以作为来自虚拟模板112的元数据或附加信息被包含其中。活动应用214可以将预期标记与包括一个或多个标记的所检测到的交互进行比较，并且确定所检测到的交互是否与任何预期标记匹配。在一些实施方式中，如果检测到的交互在特定阈值内匹配，则可以将所检测到的交互识别为与预期交互的匹配。

在一些实施方式中，检测到的交互可以在低于阈值时匹配预期标记，但是活动应用214可以确定所检测到的交互是预期标记的部分完成。例如，可以提示要求用户在交互式练习册116上描绘字母“A”。用户可以仅描写字母“A”的第一侧，而未完成整个字母。活动应用214能够识别标记的轮廓线和形状的第一部分与预期字母“A”的第一部分匹配，并且可以使用虚拟批注132告知用户仅写完部分，并且要完成描绘。在又一些实施方式中，由用户在交互式页面116上创建的标记可以被矢量化，并且可以将标记的向量版本与来自交互式练习册116的理想和/或预期版本进行比较，以确定它们的匹配度。

在一些实施方式中，活动应用214可以确定标记与预期标记匹配，并且响应于确定标记匹配，活动应用可以显示正确的答案批注或其他图形，以告知用户标记是正确的答案。在一些实施方式中，响应于确定该标记与该交互区域的预期标记不匹配，活动应用214可以生成不正确答案批注并向用户呈示不正确答案批注。不正确答案批注可以告知用户：该答案与预期答案不匹配。在又一些实施方式中，不正确答案批注可以包括其他引导或提示，以引导用户如何获得正确答案，并且可以在图形用户界面中显示附加的虚拟批注，以帮助用户获得正确的答案。在一些实施方式中，检测器304能够检测交互何时改变，例如当用户擦除或移除第一标记并将第二标记放置在同一交互区域中时。检测器304能够屏蔽第一交互中任何多余的底纹或无关标记，从而将显示标记的干净和处理过的第二交互作为虚拟批注132来显示。

在414处，响应于交互式练习册116上检测到的交互，活动应用214可以在图形用户界面中对用户显示虚拟批注。虚拟批注132可以是交互的虚拟标识，如标记的虚拟化、指示选择是正确的图形元件、在屏幕上显示的游戏中的人物角色向前进、指示交互式练习册116中有多少个用户130的多个交互是正确的得分等。在一些实施方式中，人物角色可以具有多种语音提问或预先记录的语句，并且可以基于交互式练习册116上检测到的标记来播放不同的语句。例如，告知向用户标记是否正确，接近正确但是还需要再做点什么等。

在另一实施方式中，交互式练习册116可以是活动练习册，让用户连接点以创建图像或将不同答案匹配在一起。当用户在交互式练习册116上创建标记时，活动应用214可以使得用户的标记连接作为虚拟批注的多个点，以显示虚拟模板112上的标记。在另一示例中，活动练习册可以是用户需要探索通过的迷宫、一组数学等式，例如在显示器上显示提问和在交互式练习册116上选择答案的位置。当用户在交互式练习册116上形成标记和其他交互时，活动应用生成虚拟批注132，该虚拟批注在检测到时基本实时地对应于这些标记和其他交互。

在一些实施方式中，用户130可以在交互式练习册116上回答问题，然后通过轻点计算设备104的屏幕，轻点交互式练习册116的一部分，提供语音提示，如“已完成”，或弹手指等来指示完成。备选地，计算设备104可以实时地跟踪用户的交互，并基于虚拟模板112中包括的细节来确定用户何时完成，例如预期的交互量，持续一段时间没有动作，填充了所有空白区域。在又一些实施方式中，活动应用214可以实时地确定用户是否需要提示，例如非期望的暂停暗示活动214要提供提示。在又一些实施方式中，显示屏可以包括虚拟人物角色，并且基于用户130与交互式练习册116交互的方式，虚拟人物角色可以提供肢体语言提示来引导用户。例如，如果学生乱动而没有回答提问，则虚拟人物角色的眼睛可以潜意识地给予提示，例如指向下一个答案，以提请学生接着完成交互式练习册116。在又一些实施方式中，虚拟模板112的虚拟人物角色或其他元件可以在学生努力时给予鼓励。

在另一示例实施方式中，交互式练习册116可以包括一系列单词，并且虚拟提问可以要求用户130“圈出包含短元音的所有单词”。然后，随着用户130在交互式练习册116上圈出短元音单词，虚拟模板可以提供每个入圈单词是正确的或不正确的指示。

在一些实施方式中，活动应用214可以基于计算设备104前方被识别的交互式练习册116自动地从不同的活动切换。当用户130将交互式练习册116定位于设备104前方时，活动应用识别交互式练习册116，并且显示虚拟页面，而无需额外输入或来自用户130的提示。如果用户切换交互式练习册116或将练习册翻页，则活动应用214将自动显示新的虚拟页面。

再者，随着用户130与交互式练习册116交互，虚拟模板112可以包括附加交互，例如提供附加的口述和可视指令，提供关于主题的附加事实/信息，如果学生正在做的不正确，则提供实时指引。例如，如果用户130正在阅读练习册(交互式练习册116的示例)并且练习册包括术语“磁性”，则响应于该交互，例如用户130将手指放置在该术语附近，则虚拟模板112可以显示“磁性”的定义以及附加的学习资源，例如视频或其他指引。在另一示例中，练习册可以是报纸，并且如果用户轻点报纸上新电影的图像，则活动应用214可以识别有关轻点上下文所对应的报纸中的文字并从因特网检索相关的信息，如电影预告片，以向用户显示。在另一示例中，用户可能使用以中文(或另一种语言)编写的练习册，并且响应轻点练习册的一部分，活动应用214可以翻译点击周围的上下文文本，并提供翻译或其他增强功能。

在一些实施方式中，可检测到的交互包括交互区域118内的标记。例如，书写的标记或区的连接(其中某些实例中算法可以假定线是直的并依据线的连续性来匹配各区，或备选地可以实时地执行线跟踪来匹配起点和终点)。在另一个示例中，交互可以跟随诸如迷宫或字母描摹的路径。在一些实施方式中，跟随路径可以包括检测多个笔划和顺序执行，例如在描摹字体时，并且可以在逻辑层面实施，并且利用机器学***台的沉浸感。在一些实施方式中，交互可以是多个元件的选择，例如元件周围的圆圈或形状或可能相交而进一步粒度化的多个选择。在又一些实施方式中，交互可以是手写字符，并且活动应用214可以确定手写字符的解释，例如在用户写下问题答案的游戏中输出识别的单词或数字。

图5A-5E是实体活动可视化***的另一示例配置。在图5A中，示例性配置500包括计算设备104，该计算设备被定位成查看交互式练习册116。交互式练习册116可以包括一个或多个有形物体504，例如房屋的图片，如示例中所示。交互式练习册116还可以包括可被检测器304检测以识别交互式练习册116的标记124或其他类型的标识符。如图5B中的示例配置506所示，当识别出交互式练习册116的标识时，从存储设备检索与交互式练习册116相关或与之相关联的虚拟模板112，并在显示屏上的图形用户界面中显示。虚拟模板112可以包括在交互式练习册116上进行对应交互时可出现虚拟批注132(未示出)的一个或多个可交互部分。

例如，如图5C中的示例配置508中所示，交互区域118d可以被包括在交互式练习册116上。当用户例如通过对该交互区域118d涂色128c或添加备选标记与该交互区域118d交互时，活动应用214可以处理这些交互和标记128c并显示一个或多个对应的虚拟批注132c。在该示例中，用户对房屋的顶部部分涂色或标记，并且随着用户在交互式练习册116上创建那些标记，对应的虚拟批注132c出现在交互式练习册112的对齐部分上。在一些实施方式中，可以使用图像处理技术来清除标记的颜色和/或形状，以去除由于视频流中捕获的图像的角度导致任何光照效应或变形。如本文他处所描述的，虚拟批注132的颜色可以是基于交互区域118中检测到的颜色或交互式练习册116的另一部分校正的颜色，并且可以将检测到的颜色用于虚拟批注132。

在另一示例配置510中，如图5D所示，用户可以在交互区域118e中形成任何类型的标记作为交互128d。在该示例中，用户可以绘画简笔画人物作为交互128d，并且可以由视频捕获设备110捕获简笔画人物的多个标记，并在虚拟模板112的对应区域中重新创建为虚拟批注132d。在一些实施方式中，即使用户删除或擦除交互区域118e中的标记，活动应用214仍可以保留虚拟批注132d。例如，用户可以擦除简笔画人物并将简笔画人物绘制在交互式练习册116中所示的房屋的窗口中。活动应用214可以对应地删除简笔画人物的虚拟批注132d或者基于正在执行的各种例行程序保留简笔画人物。

在另一示例配置512中，如图5E所示，活动应用214可以显示一个或多个虚拟提问120以告知用户：能够在交互式练习册116上执行的附加交互。在该示例中，虚拟提问120请求用户对交互式练习册116中描绘房屋的对象504“添加烟雾”。当用户在交互式练习册上已创建了交互和标记之前，活动应用214可以附加地显示虚拟批注132e。这样提供用户应该如何在交互区域118中形成其标记的指引和示例。虚拟批注132e可以是活动应用214用于匹配任何交互或标记的预期标记的示例。通过在用户创建自己的标记之前显示这些预期标记，活动应用214能够指引用户，并且在用户卡壳或困惑的情况下给予辅导，正如本文他处所描述的。

本发明技术产生许多优点，包括但不限于，提供低成本的替代方案用于通过重复使用现有硬件(例如，摄像器)并利用创新的轻量级检测和识别算法来融合所有实体和数字介质，开发几乎无限范围的应用，低实现成本，与现有计算设备硬件兼容，以实时方式运行以提供丰富且实时的虚拟体验，同时处理大量(例如，>15、>25、>35等)有形界面对象120和/或交互而不会导致计算设备无法应对，以基本完美的回应度和精度(例如，分别为99％和99.5％)识别有形界面对象120和/或交互(例如，与实体活动场景116交互的魔杖128)，能够调适有形界面对象120中的光照变化和磨损和缺陷，提供位于不同位置的用户之间的协作式有形体验，即使对于年轻用户(例如，3+岁)也能直观地设置和使用，使用起来自然而直观，并且几乎或完全无需对能够处理的有形界面对象120的类型有所限制。

应当理解，上述示例活动是通过图示而非限制来提供的，并且可以预期并涵盖本公开的许多其他实例。在以上描述中，出于解释的目的，阐述许多具体细节以便提供对本公开的透彻理解。然而，应该理解，在没有这些具体细节的情况下可以实施本文所述的技术。再者，以框图形式示出了多种***、设备和结构，以避免使描述模糊不清。例如，多种实施方式被描述为具有具体硬件、软件和用户界面。然而，本公开适用于能够接收数据和命令的任何类型的计算设备，以及提供服务的任何***设备。

在一些情况中，本文提出的多种实施方式可以依据对计算机存储器内的数据位的算法和符号操作来实现。算法在本文中以及通用地视为促成期望的结果的一组自洽的操作。这些操作是需要对物理量进行物理操控的操作。通常，尽管并非一定，但是这些量采用能够存储、传输、组合、比较和以其他方式操控的电信号或磁信号的形式。有时已证明是便利的，主要出于通用的原因，将这些信号称为位、值、元素、符号、字符、术语、数字等。

然而，应该注意，所有这些和类似的术语应与适当的物理量相关，并且仅适用于这些量的便利标签。除非如以下讨论显然明确另行陈述，否则应认识到，在本公开通篇内容中，采用包括“处理”、“计算”、“运算”、“确定”、“显示”等的论述是指操控表示为计算机***的寄存器和存储器中的物理(电子)量的数据和将其转换成相似地表示为计算机***存储器或寄存器或其他此类信息存储、传输或显示设备中的物理量的数据的计算机***或类似电子计算设备的动作和过程。

本文描述的多种实施方式可以涉及用于执行本文操作的装置。该装置可以是专门为所需的目的构造，或者它可以包括由存储在计算机中的计算机程序选择性地激活或重新配置的通用计算机。此类计算机程序可以存储在计算机可读存储介质中，包括但不限于任何类型的磁盘，包括软盘、光盘、CD-ROM和磁盘、只读存储器(ROM)、随机存取存储器(RAM)、EPROM、EEPROM、磁卡或光卡、闪存，包括具有非易失性存储器的USB密钥或任何类型的适合存储电子指令的介质，每个都耦合到计算机***总线。

本文描述的技术可以采用硬件实现、软件实现或包含硬件和软件元件的实现的形式。例如，该技术可以在软件中实现，该软件包括但不限于固件、驻留软件、微码等。再者，该技术可以采用可从计算机可用或计算机可读介质访问的计算机程序产品的形式，从而提供程序代码供计算机或任何指令执行***使用或与之结合来使用。出于描述的目的，可用计算机可读或计算机可读介质可以是任何非瞬态存储装置，其可以包含、存储、传送、传播或传输被指令执行***、装置使用或与之结合来使用的程序。

适用于存储和/或执行程序代码的数据处理***可以包括直接或经由***总线间接耦合到存储器元件的至少一个处理器。这些存储器元件可以包括在程序代码的实际执行期间使用的本地存储器、大容量存储装置和提供至少一些程序代码的临时存储以减少在执行期间必须从大容量存储装置检索代码的次数的高速缓存存储器。输入/输出或I/O设备(包括但不限于键盘、显示器、指向设备等)可以直接或经由中间I/O控制器耦合到***。

网络适配器还可以耦合到***，以使数据处理***能够通过中间私用和/或公共网络耦合到其他数据处理***、存储设备、远程打印机等。无线(例如，WI-FI^TM)收发器、以太网适配器和调制解调器只是网络适配器的若干示例。私用和公共网络可以具有任何数量的配置和/或拓扑。可以使用多种不同的通信协议经由网络在这些设备之间传输数据，包括例如各种因特网层、传输层或应用层协议。例如，数据可以经由使用如下协议的网络来传输：传输控制协议/因特网协议(TCP/IP)、用户数据报协议(UDP)、传输控制协议(TCP)、超文本传输协议(HTTP)、安全超文本传输协议(HTTPS)、动态自适应流式传输HTTP(DASH)、实时流式传输协议(RTSP)、实时传输协议(RTP)和实时传输控制协议(RTCP)、因特网语音协议(VOIP)、文件传输协议(FTP)、WebSocket(WS)、无线访问协议(WAP)、多种消息传输协议(SMS、MMS、XMS、IMAP、SMTP、POP、WebDAV等)或其他已知协议。

最后，本文提出的结构、算法和/或接口与任何具体计算机或其他装置均非固有地相关的。可以将多种通用***与根据本文的教导的程序配合使用，或者证明是便利的，构造更专业的装置来执行所需的方法块。从上面的描述中将显见到用于多种这样***的所需结构。另外，本说明书并非是参考任何具体编程语言来描述的。应当认识到，可以使用多种编程语言来实现如本文所述的说明书的教导。

前文描述是出于说明和描述的目的给出的。这不意味着是穷举的，也无意要将本说明书限制于所公开的具体形式。根据上述教导，许多修改和变化是可能的。本公开的范围无意被该详细描述所限制，而是由本申请的权利要求来限定。正如本领域技术人员应理解的，在不背离其精神或基本特征的情况下，可以其他具体形式来实施本说明书。同样地，模块、例行程序、特征、属性、方法和其他方面的具体命名和划分不是强制性的或重要的，以及实现本说明书或其特征的机构可以具有不同的名称、划分和/或格式。

此外，本公开的模块、例行程序、特征、属性、方法和其他方面可以实现为软件、硬件、固件或前述的任何组合。此外，只要本说明书的元件，例如模块作为软件来实现，则该元件也可以被实现为独立程序、更大程序的一部分、多个单独程序、静态或动态链接库、内核可加载的模块、设备驱动程序和/或以现在或将来已知的任何一种其他方式来实现。另外，本公开绝对不仅限于采用任何具体编程语言或者用于任何具体操作***或环境的实现。因此，本公开理应是说明性的而非限制性的，其主题范围在所附权利要求中提出。

Claims (20)

1.一种方法，包括：

使用与计算设备相关联的视频捕获设备来捕获实体活动场景的视频流，所述视频流包括交互式练习册，所述交互式练习册包括交互区域；

使用所述计算设备的处理器，识别所述交互式练习册；

使用所述计算设备的所述处理器，基于所述交互式练习册的标识来确定虚拟模板；

在所述计算设备的显示器上显示体现所述虚拟模板的图形用户界面；

使用所述计算设备的所述处理器,检测所述交互式练习册的所述交互区域上的交互；

使用所述计算设备的所述处理器，基于在所述交互式区域上检测到的交互来生成虚拟批注；以及

在所述计算设备的所述显示器上更新所述图形用户界面以包括所述虚拟批注。

2.根据权利要求1所述的方法，其中，所述交互还包括由用户在所述交互区域中形成的标记。

3.根据权利要求2所述的方法，还包括：

使用所述计算设备的所述处理器，检测由用户在所述交互区域中形成的标记；以及

使用所述计算设备的所述处理器，确定所述标记是否与所述交互区域的预期标记匹配。

4.根据权利要求3所述的方法，还包括：

响应于所述标记与所述交互区域的所述预期标记匹配，生成正确答案批注并在所述图形用户界面上呈示所述正确答案批注；以及

响应于所述标记与所述交互区域的所述预期标记不匹配，生成不正确答案批注并在所述图形用户界面上呈示所述不正确答案批注。

5.根据权利要求4所述的方法，其中，所述不正确答案批注包括提供所述正确答案批注的步骤的图形表示。

6.根据权利要求5所述的方法，其中，所述交互区域上的所述交互是所述交互区域上的标记，并且其中，所述虚拟批注是所述标记的虚拟表示。

7.根据权利要求1所述的方法，其中，显示体现所述虚拟模板的图形用户界面还包括：

使用所述计算设备的所述处理器，确定所述交互式练习册在所述实体活动场景中的位置；

使用所述计算设备的所述处理器，使用所述交互式练习册在所述实体活动场景中的位置，将所述虚拟模板与所述交互式练习册对齐；以及

使用所述计算设备的所述处理器，在所述图形用户界面中显示对齐的虚拟模板。

8.根据权利要求7所述的方法，其中，将所述虚拟模板与所述交互式练习册对齐基于预期交互区域在所述虚拟模板中的映射将所述交互区域在所述交互式练习册上所处的位置告知所述计算设备的所述处理器。

9.根据权利要求1所述的方法，其中，显示体现所述虚拟模板的图形用户界面还包括：

使用所述计算设备的所述处理器，检测所述交互式练习册的所述交互区域中的颜色；

使用在所述交互区域中检测到的颜色作为所述虚拟模板的对应区域的颜色，确定所述虚拟模板的颜色调整；以及

以所述虚拟模板的所述对应区域的检测的颜色，在所述图形用户界面中显示所述虚拟模板。

10.一种实体活动表面可视化***，包括：

视频捕获设备，所述视频捕获设备被耦合用于与计算设备通信，所述视频捕获设备适于捕获实体活动场景的视频流，所述视频流包括交互式练习册，所述交互式练习册包括交互区域；

检测器，所述检测器耦合到该计算设备，所述检测器适于识别所述交互式练习册和所述交互式练习册的交互区域上的交互；

所述计算设备的处理器，所述处理器适于基于所述交互式练习册的标识确定虚拟模板，并基于所述交互区域中检测到的交互，生成虚拟批注；以及

耦合到所述计算设备的显示器，所述显示器适于显示体现所述虚拟模板的图形用户界面，并更新所述图形用户界面以包括所述虚拟批注。

11.根据权利要求10所述的实体活动表面可视化***，其中，所述交互还包括由用户在所述交互区域中形成的标记。

12.根据权利要求11所述的实体活动表面可视化***，其中，

所述检测器还被配置成检测用户在所述交互区域中形成的标记，其中所述处理器还被配置成确定所述标记是否与所述交互区域的预期标记匹配。

13.根据权利要求12所述的实体活动表面可视化***，还包括：

响应于所述标记与所述交互区域的预期标记匹配，所述处理器还被配置成生成正确答案批注并在所述图形用户界面上呈示所述正确答案批注；以及

响应于所述标记与该交互区域的预期标记不匹配，所述处理器还被配置成生成不正确答案批注并在所述图形用户界面上呈示所述不正确答案批注。

14.根据权利要求13所述的实体活动表面可视化***，其中，所述不正确答案批注包括提供所述正确答案批注的步骤的图形表示。

15.根据权利要求14所述的实体活动表面可视化***，其中，所述交互区域上的所述交互是所述交互区域上的标记，并且其中，所述虚拟批注是所述标记的虚拟表示。

16.根据权利要求10所述的实体活动表面可视化***，其中：

所述处理器还被配置成确定所述交互式练习册在所述实体活动场景中的位置，并使用所述交互式练习册在所述实体活动场景中的位置将所述虚拟模板与所述交互式练习册对齐；以及

所述显示器还被配置成在所述图形用户界面中呈示对齐的虚拟模板。

17.根据权利要求16所述的实体活动表面可视化***，其中，当所述处理器将所述虚拟模板与所述交互式练习册对齐时，所述处理器基于预期交互区域在所述虚拟模板中的映射，识别所述交互区域在所述交互式练习册上所处的位置。

18.根据权利要求10所述的实体活动表面可视化***，其中：

所述处理器还被配置成检测所述交互式练习册的交互区域中的颜色，并使用所述交互区域中检测到的颜色作为所述虚拟模板的对应区域的颜色来确定所述虚拟模板的颜色调整；以及

所述显示器还被配置成以所述虚拟模板的所述对应区域的检测的颜色，在所述图形用户界面中显示所述虚拟模板。

19.一种方法，包括：

使用与计算设备相关联的视频捕获设备来捕获实体活动场景的视频流，所述视频流包括交互式练习册，所述交互式练习册包括可视标记和一个或多个交互区域；

使用所述计算设备的处理器，检测来自所述视频流的可视标记；

使用所述计算设备的所述处理器，识别所检测到的可视标记；

使用所述计算设备的所述处理器，基于所识别的可视标记来检索虚拟模板；

使用所述计算设备的所述处理器，将所述虚拟模板与所述交互式练习册的位置对齐；

基于所述虚拟模板的所述对齐，使用所述计算设备的所述处理器，从所述虚拟模板确定一个或多个交互区域的预期位置；

使用所述计算设备的所述处理器，使用所述一个或多个交互区域的所述预期位置，检测所述交互式练习册上的所述一个或多个交互区域中的交互；

使用该计算设备的处理器,识别该一个或多个交互区域中的交互；

使用所述计算设备的所述处理器，基于所述交互的标识，生成虚拟批注；以及

在所述计算设备的显示器上，显示包含所述虚拟模板和所述虚拟批注的图形用户界面。

20.根据权利要求19所述的方法，其中，所述交互是用户在所述一个或多个交互区域中形成的标记。

Images