CN107615266A - 用于捕获分层屏幕内容的方法 - Google Patents

用于捕获分层屏幕内容的方法 Download PDF

Info

Publication number
CN107615266A
CN107615266A CN201680025488.0A CN201680025488A CN107615266A CN 107615266 A CN107615266 A CN 107615266A CN 201680025488 A CN201680025488 A CN 201680025488A CN 107615266 A CN107615266 A CN 107615266A
Authority
CN
China
Prior art keywords
content layer
capture
layer
content
addition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680025488.0A
Other languages
English (en)
Inventor
D·A·皮加特
C·德林
K·D·威格斯
R·C·E·哈珀姆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Calgary Science Ltd Co
Calgary Scientific Inc
Original Assignee
Calgary Science Ltd Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Calgary Science Ltd Co filed Critical Calgary Science Ltd Co
Publication of CN107615266A publication Critical patent/CN107615266A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G06F40/134—Hyperlinking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及用于捕获通过在客户端设备上执行的客户端应用显示的至少一个内容层的方法。至少一个内容层可通过所述客户端设备显示。可通过激活选择性捕获一个或多个当前显示的内容层的捕获按钮接收捕获所述至少一个内容层的指示。所述内容层可显示远程访问的服务应用、协作会话中的参与者作出的注释、参与者的视频、参与者或其他人之间的聊天界面的显示输出。将与所述一个或多个捕获的内容层相关的缩略图添加至图库。所述客户端设备的用户可点击所述缩略图，以选择、导出或移除捕获的内容。在导出时，所述一个或多个捕获的内容层可合成为可保存于本地或远程位置的图像文件。

Description

用于捕获分层屏幕内容的方法
背景技术
屏幕捕获通常用于演示应用程序的功能，特别是用户可经历的问题或错误，或可用于存档显示输出，以便随后进行检索。通常调用操作***功能来抓取全部屏幕内容，然后转储到图像文件。图像文件保存至单独的剪贴板或捕获文件夹，该捕获必须从该剪贴板或捕获文件夹检索，以供将来使用。然而，该方法可以仅提供出现在显示器上的可见项目副本。另外，捕获整个屏幕或捕获区域必须由用户选择实时定义。此外，常规屏幕捕获功能通常需要多个键盘或鼠标控制步骤。
在另一个环境中，作为宽带和无线网络访问发展和可利用的结果，远程访问应用服务已成为常见的。通常用户将在其中服务或应用在用户之间共享的会话中协作。在此类会话期间，用户可希望捕获在内容层中显示的服务或应用的显示输出，然而由于上述原因捕获客户端设备上的显示信息的选项受到限制且不可改变。
发明内容
本文公开了用于捕获屏幕内容的***和方法。根据本公开的一个方面，存在用于捕获客户端计算设备的用户界面中呈现的屏幕内容的方法。该方法可包括在用户界面中呈现远程访问服务器提供的至少一个内容层，每个内容层对应于可独立捕获的元素；在用户界面中接收捕获至少一个内容层的指示；以及将至少一个内容层捕获至客户端设备上的本地存储装置，每个内容层作为每个捕获指示的独立图像数据层捕获。
根据本公开的另一个方面，存在用于捕获客户端设备的用户界面中呈现的至少一个内容层的方法，其中每个内容层是可独立捕获的元素。该方法包括建立客户端设备和远程访问服务器之间的连接，以创建用户界面；在与用户界面相关的菜单中呈现捕获工具；接收激活捕获工具的指示；以及在收到该指示时，将至少一个内容层捕获至客户端设备上的本地存储装置。每个内容层作为每个指示的独立图像数据层捕获。
在审查以下附图和具体实施方式时，其他***、方法、特征和/或优点将是或可变得对本领域的技术人员显而易见。期望所有此类额外的***、方法、特征和/或优点都包括在该说明书中并且受到所附权利要求书的保护。
附图说明
附图中的部件未必彼此相对按比例绘制。类似的附图编号表示全部多个视图中的对应部分。
图1示出了提供服务应用的远程访问的示例性环境；
图2示出了将客户端(或多个客户端)连接至服务的示例性操作流程；
图3示出了捕获与一个或多个内容层相关的图像数据的示例性操作流程；
图4A和图4B示出了根据图3的操作流程的一个或多个内容层的捕获图像；
图5示出了捕获与一个或多个内容层相关的图像数据和元数据的示例性操作流程；
图6A和图6B示出了根据图5的操作流程捕获的一个或多个内容层的图像和元数据；
图7-12示出了与本公开的示例性使用情况相关的显示内容；
图13A和图13B以及图14A和图14B示出了与本公开的另一个示例性使用情况相关的显示内容；
图15-21示出了与选择性地选择和捕获一个或多个内容层相关的显示内容；以及
图22示出了示例性计算设备。
具体实施方式
除非另有定义，本文所用的所有技术和科学术语具有本领域的普通技术人员通常所理解的相同含义。与本文所述的那些类似或等同的方法和材料可用于本公开的实践或测试。虽然将描述在用户界面中捕获内容层的实现方式，但本领域的技术人员将会明白，实现方式不限于此。
示例性环境
参考图1，其示出了提供服务应用的远程访问的示例性环境100。环境100通常由三个部件组成：一个或多个服务应用102中的至少一个、远程访问服务器104以及在相应的客户端设备107a、107b、107n上执行的一个或多个客户端应用105a、105b、105n。远程访问服务器104和一个或多个服务应用102可在相同的物理计算设备(如，服务器计算机)上执行或可各自在它们自身相应的计算设备上执行。每个可部署于私有云或公共云。客户端设备107a、107b、107n可以是计算设备，诸如桌面计算设备、便携式计算机/笔记本、移动计算设备、智能电话、平板电脑等。
一个或多个服务应用102是已经使用服务API 103将其连接至远程访问服务器104来扩展的应用。服务API 103为一个或多个服务应用102提供许多特征，包括但不限于图像远程处理管道、基于同步事件的状态管理、命令响应API和协作工具。在环境100中，一个或多个服务应用102执行全部应用逻辑，并且负责一个或多个服务应用102(如，用户界面)的呈现显示输出的远程处理，该服务应用为客户端应用105a、105b、105n提供所需的信息，以在其相应的客户端设备107a、107b、107n上创建用户界面。一个或多个服务应用102中的每个的显示输出呈现于相应的“内容层”中，如下文详细描述。
一个或多个服务应用102可通过客户端应用105a、105b、105n访问，该客户端应用可以是例如HTML5兼容的web浏览器或通信网络108上的移动设备(iOS、Android和Flex)上的原生应用。网络108可以是任何类型的网络，例如Internet、Wi-Fi(IEEE 802.11x)、WiMax(IEEE 802.16)、Ethernet、3G、4G、LTE等。相应的客户端API 106a、106b、106n接收和处理一个或多个服务应用102和客户端设备107a、107b、107n上的客户端应用105a、105b、105n的基于同步事件的状态管理远程处理的图像。
远程访问服务器104代理客户端应用105a、105b、105n和一个或多个服务应用102之间的通信。远程访问服务器104提供诸如管理会话、编组从客户端的连接和启动应用实例的特征。远程访问服务器104管理协作会话，这允许两个或更多个用户使用独立客户端(如，107a和107b)查看并且与一个或多个相同的服务应用102交互。远程访问服务器104的示例是可购自加拿大卡尔加里Calgary Scientific,Inc.的PUREWEB。
参考图2，其示出了将客户端(或多个客户端)连接至服务应用的示例性操作流程。在202，客户端(或多个客户端)通过预先确定的统一资源***(URL)连接至远程访问服务器。例如，可将远程访问服务器104的URL输入在客户端设备107a、107b、107n中的一者或多者上执行的客户端应用105a、105b、105n(如，web浏览器)。在204，在服务应用和客户端设备中的一者或多者之间创建会话。
然后，在206，一个或多个服务应用的显示输出位于一个或多个客户端的服务的远程。如上文所述，位于一个或多个服务应用远程的显示输出在客户端应用105a、105b、105n上以用户界面中的内容层显示。在208，在一个或多个客户端接收输入事件。捕获发生在客户端107a、107b、107n上的键盘、鼠标和/或触摸事件并发送至一个或多个服务应用102，它们在该处可映射到由一个或多个服务应用102识别的对应鼠标和键盘事件。
捕获方法
上文介绍了远程访问环境100和一个或多个服务应用的显示输出的远程处理，现在参考图3、图4A和图4B，其示出了本公开的捕获呈现于客户端设备的一个或多个内容层的实现方式的高级操作流程300。在302，至少一个内容层呈现于至少一个或多个客户端的屏幕400上。客户端设备107a、107b、107n中的两者或多者可参与协作会话，其中显示每个客户端的web浏览器402，如与一个或多个服务应用102相关的内容层404。图4A、图4B、图6A、图6B、图7-10和图15-21示出了内容层的示例。一个或多个内容层可包括但不限于一个或多个服务应用102的显示输出(即，内容层404)、其中用户可标记一个或多个服务应用102(内容层412)的显示的用户注释、显示参与协作会话(内容层414)的视频源、聊天窗口(内容层416)等。另外，每个内容层可与内容源，如相应的客户端设备107a、107b、107n中的一者，或一个或多个服务应用102相关。
在304，接收捕获至少一个内容层的指示。任何参与协作会话的客户端均可激活菜单410中的捕获按钮408，以捕获当前显示的内容层中的一者或多者。捕获按钮408可配置为默认捕获全部当前显示的层，或可配置为允许用户选择捕获哪些层。
在流程300中，可出于所需目的，如出于审核信息、出于培训等配置一个或多个待捕获的内容层。在图4A和图4B的示例中，用户可配置捕获仅内容层404(服务应用的输出)、仅内容层412(显示协作会话的一个或多个参与者作出的注释)或它们两者。可以捕获或也可以不捕获包含协作会话中的参与者的视频源的内容层414和/或显示参与者之间的聊天界面的内容层416。因为内容层是可独立捕获的，所以可根据本公开配置用于捕获的内容层404、412、414和416的任何组合。例如，内容层404可被其本身捕获，或内容层404和412可一起导出，和/或内容层404、412和414可一起导出。可通过单击捕获按钮408捕获一个或多个内容层。相似地，如结合图7、图8和图15-21所述，用户可在捕获后处理步骤中配置捕获内容层的选择性导出。
在306，捕获和存储至少一个内容层。根据一些实现方式，每个源可在其自身的层捕获。例如，如图4B所示，内容层414显示协作会话中的参与者，或工具栏窗口418中的聊天窗口层416可呈现于浏览器窗口402中。内容层414和聊天窗口层416可各自与其源(如，相应的客户端设备107a、107b、107n中的一者)相关，并且配置为被捕获使得层与源相关。在306捕获的内容可以捕获内容的串行化表示存储于本地浏览器存储装置中，示例是base64ASCII字符串格式。
此外，当捕获一个或多个内容层时，其他信息可保存至本地浏览器存储装置。这可包括维持层的关系、每个内容层中显示输出的取向的信息(元数据)、临时信息、用户信息、客户端设备信息等等。如果捕获单个内容层(如，内容层404)，则可将以下数据结构保存至本地浏览器存储装置：
·日期
·层1快照数据
·书签URL
书签URL在下文进一步详细讨论。
如果捕获一个以上内容层(如，内容层404、412和414)，则以下数据结构可保存至本地浏览器存储装置，以维持层的层次结构：
·日期
·层
ο层1快照数据
ο层2快照数据
ο层3快照数据
·书签URL
替代地或另外，一个或多个捕获的内容层可存储在客户端设备的别处，或保存在远程访问服务器104，以便随后通过客户端检索。与一个或多个保存的内容层相关的数据可以非结构化数据保存。
在308，将一个或多个捕获的内容层的缩略图添加至图库。例如，一个或多个捕获的内容层的缩略图423A/423B可显示于工具栏窗口418中的图库422中。缩略图423A/423B可从一个或多个内容层合成。
任选地，在310，可接收来自客户端设备的用户的执行操作的指示，诸如从图库选择性导出或移除捕获的图像文件(即，移除功能从浏览器的本地存储装置移除相关的串行化字符串，因此也从图库422移除缩略图423A/423B)。就导出功能而言，一个或多个捕获的内容层可导出至图像文件420，该图像文件从一个或多个内容层合成。图像文件420可本地保存在客户端设备107a、107b、107n上和/或也可上传至基于云的存储装置服务，诸如Dropbox、Amazon S3、Google Drive、Microsoft OneDrive等等。图像文件420也可上传至工作组通信/协作站点，诸如Slack.com。图像文件420可以是任何图像文件格式，诸如但不限于光栅格式诸如JPEG、TIFF、GIF、BMP、PNG和矢量格式诸如CGM、SVG等。导出操作可以例如将图像文件420进一步压缩成zip文件，该zip文件可保存至客户端设备上、网络上用户选择的位置，或保存至云存储装置。在移动设备上，可使用原生app和/或可提供其他保存格式(如，在本地浏览器存储装置上或在客户端设备上捕获图像之后保存至云存储装置服务)。
当捕获层的层次结构时，层的层次结构可在导出至图像文件420时以平面图像合成。另外或替代地，可捕获层的层次结构，并且在随后的时间里，选择性省略或包括某些层，以创建合成图像。该特征可用于排除，例如如果捕获的内容与医学图像查看服务应用相关，研究包括的患者信息。
根据操作流程300，与一个或多个捕获的内容层相关的元数据不与一个或多个捕获的内容层一起保存。此类特征提供了某些安全优点，诸如匿名、遵守美国健康保险携带和责任法案(HIPAA)等。下图5描述了其中可捕获和导出与捕获内容层相关的元数据的实现方式。
参考图5、图6A和图6B，其示出了本公开的实现方式的另一个高级操作流程500。高级操作流程500类似于高级操作流程300，只是还捕获与至少一个内容层相关的元数据。元数据可以是与一个或多个内容层相关的任何信息，诸如患者信息、查看一个或多个内容层的用户/参与者、用于审核跟踪/合规目的的访问信息、一个或多个内容层内图像的取向、会话的时间/日期等。捕获元数据的能力可在配置选项中选择性启用。在流程500中，还保存与至少一个内容层相关的元数据，并且可为所需目的，如审核信息配置参数。
在502，至少一个内容层呈现于一个或多个客户端的屏幕400上，如上文所述。在504，接收捕获至少一个内容层和相关的元数据502的指示。任何参与协作会话的客户端均可激活菜单410中的捕获按钮408，以选择性保存一个或多个当前显示的内容层和相关的元数据中的一者或多者的图像。
在506，捕获和存储至少一个内容层和相关的元数据。如上文所述，除内容层404之外或作为内容层404的代替，浏览器窗口402内的显示内容可包含多个内容层。在508，将一个或多个捕获的层的缩略图添加至图库，如上文所述。可从一个或多个内容层生成缩略图423A/423B。捕获的内容和/或相关的元数据可链接至工具栏窗口418中的图库422中的每个缩略图423A/423B。与一个或多个保存的内容层相关的数据可以非结构化数据保存。
任选地，在510，可从客户端设备的用户接收选择、保存或从图库移除捕获的图像的指示。如图6A所示，捕获内容层404和内容层412并合成为导出的图像文件420。可将相关的元数据放置于图像文件420中或单独的元数据文件602中的适当字段。关于图6B，用户可以仅选择内容层404和412进行导出。因此，仅将内容层404和412合成为图像420，并且仅将与内容层404和412相关的元数据放置于图像文件420中或元数据文件602中的适当字段。因此，未捕获内容层414和416。
如上文所述，图像文件420可以本地存储于相应的客户端设备107a、107b、107n上，或者，图像文件420可保存于远程访问服务器104上，以便随后通过客户端检索。图像文件420也可上传至基于云的存储装置服务或工作组通信/协作站点，如上文所述。另外，层的层次结构可在导出时以平面图像合成。
在一些实现方式中，捕获时一个或多个内容层的取向/透视可保持在合成/导出的图像文件420内的元数据或元数据文件602中，以使得可在随后的时间里恢复取向/透视。例如，可保存捕获时的取向信息并且在访问和重新加载时应用至图像文件420。
因此，如上文所述，捕获功能启用一个或多个内容层的“单击”捕获和保存。此外，使用协作功能，所有参与者，包括仅查看模式中的那些参与者，可捕获当前显示的内容层的层和加载模型的相关注释。捕获方法允许以一步法捕获和保存内容层诸如内容层404、内容层412和相关的元数据以及不存在的不期望元素诸如菜单或工具栏窗口或额外的可见非相关元素。
除上述之外，本公开的屏幕捕获机制不需要外部剪贴板或文件夹，因为查看、捕获和保存功能整合在客户端API应用内，以促进无缝用户体验。另外，不期望的可见信息，诸如操作***窗口、背景、鼠标指针和光标不包括于捕获中，而是仅捕获定义的内容层。另外，捕获显示内容中的所有定义的内容，即使部分不可见。
创建书签
如上文所介绍，缩略图423A/423B可用作从本地存储装置检索一个或多个内容层404、412、414和416(或其他内容层，未示出)和/或恢复会话的“书签”。缩略图423A/423B可包括将用户会话恢复为具体配置和状态的信息。例如，如果服务应用102是医学图像查看应用，则用户能够使用书签返回患者研究中的具体图像，例如关键图像。在一些实现方式中，“书签”可采取在电子邮件中提供给用户的URL链接的形式。
在一些实现方式中，如果图像文件420上传至基于云的存储装置服务或工作组通信/协作站点，则缩略图423A/423B可包括图像文件420的基于云的位置的链接或其他引用，以启用通过点击图库422中的缩略图423A/423B来检索图像文件420。图像文件420的检索将取决于图像文件420的继续(或授权)访问权限以及图像文件420继续存在于基于云的服务。基于云的服务的访问权限机制可用于提供安全层，以防止可访问缩略图链接的人的未授权访问。
以下示例性场景示出了书签功能的用途。第一示例涉及CAD服务应用提供的内容层。此处，用户希望通过点击与上一个捕获相关的缩略图图像恢复上一个版本的模型。在该场景中，捕获数据仍然在本地存储装置中，并且用户希望回滚操作诸如打开、旋转、调整尺寸等等。用户还希望恢复模型作出的丢失标记。此处，用户可点击与更早的捕获相关的缩略图，并且更早的模型将在如进行捕获时其相关的内容层内重新创建。用户可操纵模型并且捕获重新定位的正确视图。
另一个示例是使用导出的图像文件420恢复一个或多个内容层。捕获可以重新导入图库422。当用户点击/选择以重新导入捕获时，***可提示用户图像文件420的位置，位于客户端设备107a、107b、107n本地或位于基于云的存储装置服务。***将导入图像文件420，检索例如模型(如服务应用102是CAD应用)，确定图像文件420中或与图像文件相关的元数据的正确版本以及打开和重新定位进行捕获处的视图。如果用户点击/选择以重新导入捕获，但图像文件420的该版本不存在，则***将在进行捕获并且询问用户选择最接近不存在版本的模型版本时显示版本/日期(或元数据的任何其他信息)。
另一个示例是其中服务应用102是地图应用。创建为保存关于显示地图位置的内容层的捕获的信息的每个数据结构可包括例如位置信息(如纬度/经度坐标)、海拔信息、其他类GPS特征以及在视图的取向上详细描述的透视层。取向信息为如果人站立于数据结构中保存的位置，则指向他/她的方向。这可用书签标记，以使得用户可通过点击图库422中的适当缩略图423迅速返回捕获的地图位置。
在又一个涉及地图应用的示例中，导入图像文件420将产生图库中可用的新缩略图。图像文件420或单独的元数据文件602的书签和位置信息将用于根据特定坐标加载地图服务应用102的适当地图详细信息，并且地图视图将面向透视信息中表示的透视。
除上述之外，操作流程300和500可提供异步协作，其中参与者在不同时间查看一个或多个捕获的内容层。通过异步协作，参与者可在叠加在内容层404上时查看内容层412中的注释。这些层可在图像文件420中一起捕获。在随后的时间里可以不存在注释，因为它们被擦除；然而，参与者或其他用户可通过查看捕获的内容层404和412来查看注释，即使它们在随后的时间里不存在。在其他示例中，可捕获一系列图像文件420，使得每个文件包括显示各个取向的架构模型的图像的内容层404。参与者或其他用户可回看该系列图像文件420，以查看每个图像文件420中示出的模型中各个取向的具***置。异步协作可提供不同级别的访问权限。例如，一个用户仅能够查看CAD模型的合成图像文件420，而为另一个用户提供CAD应用服务的完全访问，以编辑之前捕获的CAD模型。
在其他方面，安全可构建于书签、异步协作中，和/或链接至通过本公开的实现方式所捕获和导出的图像文件420。例如，当用户点击提供给书签的缩略图或链接时，基于云的服务、应用服务102或远程访问服务器104可验证用户，以防止图像文件420中包含的内容的未授权访问。
示例性用户界面
图7-12示出了与本公开的使用情况相关的示例性用户界面。图7-12的显示内容中显示的一个或多个服务应用102的非限制性示例是计算机辅助设计(CAD)应用，诸如Rhino。环境100启用以原生格式在网络诸如Internet上远程查看、编辑和共享CAD模型。在环境100内工作的用户希望以图像文件捕获屏幕信息，以便用于报告或其他文档。
如图7所示，可呈现显示CAD应用的内容层404的初始屏幕400。捕获按钮408呈现于菜单中，使用户能够捕获屏幕400的内容。当例如用户点击关联图标来激活捕获按钮408时，屏幕400的内容，即至少一个内容层被选择性保存至图像文件420。图像文件可以是从屏幕400显示的CAD模型创建的base64字符编码的文件。base64字符编码的文件可保存至客户端浏览器中的本地存储装置。将捕获的图像添加至图库422(参见图8)。捕获工具也可提供例如具有注释(图8中的内容层412)的CAD模型(内容层404)的当前显示内容的保存图像，而不访问原生CAD模型文件格式。换句话讲，CAD文件安全地保留在托管一个或多个应用服务应用102的远程服务器，并且在主机的控制下。
另外或任选地，也可保存关联的元数据以及图像，以创建导出至文档的保存内容的可审核记录。文档可用于审核或合规目的，以显示用户所执行的操作。例如，文档可用于重播会话，以显示所发生的事件。
如图8所示，屏幕400可包括内容层412。协作会话中的参与者可选择捕获内容层404、内容层412等中的一者或多者。创建和保存内容层404和内容层412的合成图像。如图8所示，将合成图像添加至图库422。
如图9所示，可在图库中显示缩略图423A/423B，其中HTML图像标记指向本地存储装置中的串行化字符串。如果内容存储于远程位置，那么缩略图423A/423B也可包含一个或多个捕获的内容层的链接。可选择图像和关联的元数据进行导出(如，以zip文件)或文档创建，如显示图像以及元数据附注的pdf。例如，可生成包含捕获图像和/或元数据的报告。可选择以zip文件导出或删除的图像。如图10所示，在保存选定的图像之后，可提供从图库移除缩略图(及其关联的捕获数据)或保留的选项1002。图11示出了从图库422删除选定的缩略图的另一个选项1004。图12示出了从图库删除缩略图的结果。
图13A和图13B以及图14A和图14B示出了与本公开的另一个使用情况相关的示例性用户界面。在该使用情况中，与图13A和图14A呈现的显示内容相关的用户是协作会话的“主管”，而图13B和图14B是“参与者”。共享选项窗口1302提供给主管，以动态控制其他参与者访问菜单窗口410呈现的菜单项目。例如，在主管选择输入时，允许与图14A相关的参与者访问菜单选项，而与图14B相关的参与者被拒绝访问菜单选项。如图14B所示，参与者能够独立地捕获内容层，如图库422所示。根据一些实现方式，从不允许参与者访问“文件”选项，从而只有主管能够执行文件操作(如，打开、关闭、保存)。
作为上述使用情况的概述，主管可以任何方式自定义菜单，以限制或授权服务应用提供的访问选项。授权或拒绝访问的决定可基于各自协作者的技术水平或能力。例如，对于客户，主管希望显示客户可查看但不能控制的模型。如果协作者是帮助设计模型的同事，则可授权同事完全访问命令，但不能保存或打开文件。另外，可授权所有协作者访问服务，诸如共享或捕获一个或多个内容层。存在许多访问菜单的可能性。
捕获后处理
图15-21示出了启用一个或多个内容层的选择和捕获的显示内容和另外使用情况。图15示出了示例性屏幕400，其中显示了内容层404、捕获按钮408和菜单400。如图16所示，如果用户点击捕获按钮408，则缩略图423A显示于图库422中。缩略图423A表示包含内容层404的捕获内容的图像文件420。参考图17，其示出了示例性捕获后导出操作，其中选择缩略图423A并且呈现捕获导出配置用户界面1701。用户界面1701显示可用的可导出内容层，在该情况下仅显示内容层404(可导出内容层1)。用户界面1701还呈现添加与导出相关的附注的选项，其可包括于例如元数据文件602中或导出的图像文件420内。用户界面1701还可呈现创建捕获内容的书签链接的选项。
图18示出了图17的屏幕400以及额外的内容层414和416。如图19所示，当点击捕获按钮408时，创建包括内容层404、414和416的第二缩略图423B。当选择时，呈现捕获导出配置用户界面1901。用户界面1901显示可用的可导出内容层，其目前包括内容层404、414和416(可导出内容层1、内容层2和内容层3)。如图所示，用户已选择导出全部三个可导出内容层1、2和3，并且创建内容层链接的书签。用户界面1901还呈现“单独保存”的选项，其允许用户将内容层404、414和416中的每个保存为单独的图像文件420。用户界面1901还包括添加与导出相关的附注的选项。
图20示出了图19的屏幕400，然而，用户已选择仅导出内容层1和2。因此，在合成视图中缩略图423B仅显示内容层1和2的图像。如上文所述，可导出内容层的任何组合。此外，在一些实现方式中，可存在受保护且从而不能导出的内容层。在此类实现方式中，用户界面1901可不显示一个或多个非可导出层，或可以灰色显示一个或多个非可导出层，使它们不能被选择。与每个内容层相关的文档对象模型(DOM)可用于表示内容层是否可导出。
图21示出了图200的屏幕400，以及内容层404、414和416的额外的捕获。额外的捕获以缩略图423C和423D表示。如图所示，选择缩略图423C和423D两者进行导出。用户界面1901显示选择缩略图423C和423D两者的可导出内容层。如图所示，用户已选择导出与缩略图423C和423D相关的全部三个可导出内容层1、2和3，以及创建内容层的书签。
图22示出了示例性计算环境，其中可实施示例性实施例和各方面。计算***环境是合适的计算环境的唯一示例，并且不旨在暗示对用途或功能的范围的任何限制。
可使用许多其他通用或专用计算***环境或配置。可能适合使用的熟知的计算***、环境和/或配置的示例包括但不限于个人计算机、服务器、手持式或膝上型设备、多处理器***、基于微处理器的***、网络个人计算机(PC)、小型计算机、大型计算机、嵌入式***、包括任何上述***或设备的分布式计算环境等等。
可使用可执行指令，诸如由计算机执行的程序模块。一般来讲，程序模块包括执行具体任务或实施具体抽象数据类型的例程、程序、对象、部件、数据结构等。可使用其中通过远程处理设备执行任务的分布式计算环境，该远程处理设备通过通信网络或其他数据传输介质连接。在分布式计算环境中，程序模块和其他数据可定位于本地和远程计算机存储介质(包括存储器存储设备)两者中。
参考图22，用于执行本文所述的方面的示例性***包括计算设备，诸如计算设备2200。在其最基本配置中，计算设备2200通常包括至少一个处理单元2202和存储器2204。根据计算设备的具体配置和类型，存储器2204可以是易失性的(诸如随机存取存储器(RAM))、非易失性的(诸如只读存储器(ROM)、快闪存储器等)或其两者的某一组合。图22中以虚线2206示出了该最基本配置。
计算设备2200可具有额外的特征/功能。例如，计算设备2200可包括额外的存储装置(可移除的和/或不可移除的)，包括但不限于磁盘或光盘或磁带。图22以可移除存储装置2208和不可移除存储装置2210示出了此类额外的存储装置。
计算设备2200通常包括许多有形的计算机可读取介质。计算机可读取介质可以是可由设备2200访问的任何可用的有形的介质，并且包括易失性和非易失性介质两者、可移除和不可移除介质两者。
有形的计算机存储介质包括以用于存储信息诸如计算机可读取指令、数据结构、程序模块或其他数据的任何方法或技术实施的易失性和非易失性，以及可移除和不可移除介质。存储器2204、可移除存储装置2208和不可移除存储装置2210均为计算机存储介质的示例。有形的计算机存储介质包括但不限于RAM、ROM、电可擦除可编程只读存储器(EEPROM)、快闪存储器或其他存储器技术、CD-ROM、数字多功能影音光盘(DVD)或其他光存储装置、盒式磁带、磁带、磁盘存储装置或其他磁存储装置设备或可用于存储所需信息并且可被计算设备2200访问的任何其他介质。任何此类计算机存储介质可以是计算设备2200的部分。
计算设备2200可包含允许该设备与其他设备通信的一个或多个通信连接2212。计算设备2200也可具有一个或多个输入设备2214，诸如键盘、鼠标、笔、声音输入设备、触摸式输入设备等。也可包括一个或多个输出设备2216，诸如显示器、扬声器、打印机等。所有这些设备是本领域熟知的，且此处不必大篇幅讨论。
应当理解，本文所述的各种技术可结合硬件或软件或适当地结合它们两者的组合实施。因此，本发明公开的主题的方法和装置，或其某些方面或部分，可采取以有形的介质(诸如软盘、CD-ROM、硬盘驱动器或任何其他机器可读取存储介质)体现的程序代码(即，指令)的形式，其中当程序代码加载并且由机器诸如计算机执行时，机器将是用于实践本发明公开的主题的装置。就程序代码在可编程计算机上执行而言，计算设备通常包括处理器、可由处理器读取的存储介质(包括易失性和非易失性存储器和/或存储元件)、至少一个输入设备和至少一个输出设备。一个或多个程序可实施或利用结合本发明公开的主题描述的方法，例如通过使用应用编程接口(API)、可重用控件等等。此类程序可以与计算机***通信的高级过程化或面向对象程序设计语言实施。然而，如果需要，一个或多个程序可以汇编语言或机器语言实施。在任何情况下，该语言可以是编译或解译语言，并且可与硬件实现方式组合。
虽然主题以结构化特征和/或方法行为所特有的语言进行了描述，但应当理解，所附权利要求书定义的主题未必限于上述具体特征或行为。相反，上述具体特征和行为作为实施权利要求书的示例性形式公开。

Claims (21)

1.一种用于捕获在客户端计算设备的用户界面中呈现的屏幕内容的方法，其包括：
在所述用户界面中呈现远程访问服务器提供的至少一个内容层，每个内容层对应于可独立捕获的元素；
在所述用户界面中接收捕获所述至少一个内容层的指示；以及
将所述至少一个内容层捕获至所述客户端设备上的本地存储装置，每个内容层作为每个捕获指示的独立图像数据层捕获。
2.根据权利要求1所述的方法，还包括作为对所述捕获的响应，将所述捕获的至少一个内容层的缩略图图像显示到所述用户界面中的图库。
3.根据权利要求2所述的方法，还包括接收所述图库中选定的所述缩略图图像，以将所述至少一个捕获的内容层导出至可导出的图像文件。
4.根据权利要求1至3中任一项所述的方法，还包括：
在所述客户端设备的web浏览器中显示所述用户界面；以及
将所述捕获的至少一个内容层捕获至与所述web浏览器相关的所述本地存储装置。
5.根据权利要求1至4中任一项所述的方法，其中所述捕获的至少一个内容层作为串行化数据字符串表示于所述本地存储装置中。
6.根据权利要求1至5中任一项所述的方法，还包括：
在所述用户界面中呈现多个内容层；以及
作为对所述指示的响应，将所述多个内容层捕获至所述本地存储装置。
7.根据权利要求6所述的方法，其中将捕获指示的所述多个捕获的内容层合成为图库中显示的缩略图图像，所述缩略图代表所述捕获指示的所述捕获的多个内容层。
8.根据权利要求6至7中任一项所述的方法，还包括：
接收选定的所述多个捕获的层，以用于将所述选定的层合成为所述缩略图图像。
9.根据权利要求6至8中任一项所述的方法，还包括：
接收选定的所述合成的缩略图，以用于导出所述多个捕获的内容层；以及
将所述多个捕获的内容层合成为可导出的图像文件。
10.根据权利要求6至9中任一项所述的方法，还包括将所述图像文件导出至文档中，以用于生成报告。
11.根据权利要求6至10中任一项所述的方法，其中所述多个内容层中的每个作为单独的串行化数据字符串表示于所述本地存储装置中。
12.根据权利要求6至11中任一项所述的方法，还包括：
配置捕获工具，以捕获所述多个内容层中的选定层；
作为对所述指示的响应，仅捕获所述多个内容层中的所述选定层；以及
将所述多个内容层中的所述选定层捕获至所述本地存储装置。
13.根据权利要求1至12中任一项所述的方法，还包括：
捕获与所述至少一个内容层相关的元数据；
将所述元数据存储于所述本地存储装置中；以及
使所述本地存储装置中的所述元数据与所述至少一个内容层关联。
14.根据权利要求1至13中任一项所述的方法，还包括使书签统一资源***(URL)与所述捕获的至少一个内容层关联，以用于恢复在所述用户界面中的所述至少一个内容层。
15.一种捕获客户端设备的用户界面中呈现的至少一个内容层的方法，每个内容层是可独立捕获的元素，所述方法包括：
建立所述客户端设备和远程访问服务器之间的连接，以创建所述用户界面；
在与所述用户界面相关的菜单中呈现捕获工具；
接收激活所述捕获工具的指示；以及
在收到所述指示时，将所述至少一个内容层捕获至所述客户端设备上的本地存储装置，
其中每个内容层作为每个指示的独立图像数据层捕获。
16.根据权利要求15所述的方法，还包括：
将所述捕获工具配置为选择性捕获多个内容层中的预先确定的层；以及
作为对所述指示的响应，仅捕获所述多个内容层中的所述选定层。
17.根据权利要求15至16中任一项所述的方法，还包括：
捕获与所述至少一个内容层相关的元数据；
将数据结构中的所述元数据存储于所述本地存储装置中；以及
使所述元数据与所述本地存储装置中的所述至少一个内容层关联。
18.根据权利要求15至17中任一项所述的方法，还包括将代表所述捕获的至少一个内容层的缩略图添加至所述用户界面中的图库。
19.根据权利要求18所述的方法，还包括接收选定的所述缩略图，以将所述至少一个内容层导出至图像文件。
20.根据权利要求18至19中任一项所述的方法，还包括：
将所述至少一个内容层合成为图像文件；以及
使所述图像文件可保存于本地或远程存储位置。
21.根据权利要求15至20中任一项所述的方法，其中所述至少一个内容层作为串行化数据字符串保存至所述客户端设备上的所述本地存储装置。
CN201680025488.0A 2015-03-31 2016-03-31 用于捕获分层屏幕内容的方法 Pending CN107615266A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562141112P 2015-03-31 2015-03-31
US62/141,112 2015-03-31
PCT/IB2016/051856 WO2016157128A1 (en) 2015-03-31 2016-03-31 Method for capturing layered screen content

Publications (1)

Publication Number Publication Date
CN107615266A true CN107615266A (zh) 2018-01-19

Family

ID=57004828

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680025488.0A Pending CN107615266A (zh) 2015-03-31 2016-03-31 用于捕获分层屏幕内容的方法

Country Status (6)

Country Link
US (1) US20160291814A1 (zh)
EP (1) EP3278237A4 (zh)
JP (1) JP2018517197A (zh)
CN (1) CN107615266A (zh)
HK (1) HK1251670A1 (zh)
WO (1) WO2016157128A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110347319A (zh) * 2019-06-28 2019-10-18 浙江口碑网络技术有限公司 一种应用内屏幕截图方法及装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11036458B2 (en) * 2015-10-14 2021-06-15 Google Llc User interface for screencast applications
US10237319B2 (en) 2015-10-14 2019-03-19 Google Llc Capture, recording, and streaming of media content
US10884723B2 (en) * 2016-01-21 2021-01-05 Facebook, Inc. Modification of software behavior in run time
US10824594B2 (en) * 2016-11-07 2020-11-03 Qualcomm Incorporated Associating a captured screenshot with application-specific metadata that defines a session state of an application contributing image data to the captured screenshot
US10810278B2 (en) 2017-04-18 2020-10-20 Google Llc Contextual deep bookmarking
WO2019211689A1 (en) * 2018-04-18 2019-11-07 Singhania Harsh Vardhan An improved system and method of receiving, managing, controlling, saving and sharing information content of social media platforms and other applications
CN110196675B (zh) * 2019-04-17 2022-07-15 华为技术有限公司 一种添加批注的方法及电子设备
US11327802B2 (en) * 2019-07-31 2022-05-10 Microsoft Technology Licensing, Llc System and method for exporting logical object metadata
US11481540B2 (en) * 2019-11-19 2022-10-25 Salesforce.Com, Inc. Discrepancy resolution processor and methods for implementing the same
US11276206B2 (en) 2020-06-25 2022-03-15 Facebook Technologies, Llc Augmented reality effect resource sharing
US11265181B1 (en) * 2021-01-30 2022-03-01 Zoom Video Communications, Inc. Multi-point video presentations with live annotation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101395570A (zh) * 2006-04-20 2009-03-25 国际商业机器公司 捕获图像数据
US20110199389A1 (en) * 2008-12-19 2011-08-18 Microsoft Corporation Interactive virtual display system for ubiquitous devices
US20120072833A1 (en) * 2010-09-17 2012-03-22 Samsung Electronics Co., Ltd. Host apparatus and screen capture control method thereof
CN104040946A (zh) * 2011-11-23 2014-09-10 卡尔加里科学公司 用于协作远程应用程序共享和会议的方法和***

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7657837B2 (en) * 2005-04-06 2010-02-02 Ericom Software Ltd. Seamless windows functionality to remote desktop sessions regarding z-order
US7535473B2 (en) * 2005-09-20 2009-05-19 Erdas, Inc. Collaborative environments in a graphical information system
US9195965B2 (en) * 2011-05-06 2015-11-24 David H. Sitrick Systems and methods providing collaborating among a plurality of users each at a respective computing appliance, and providing storage in respective data layers of respective user data, provided responsive to a respective user input, and utilizing event processing of event content stored in the data layers
US9177401B2 (en) * 2012-03-08 2015-11-03 Adobe Systems Incorporated System and method for creating custom composite images from layered images in a client-server environment
US10359909B2 (en) * 2015-03-25 2019-07-23 Adobe Inc. Document layer extraction for mobile devices

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101395570A (zh) * 2006-04-20 2009-03-25 国际商业机器公司 捕获图像数据
US20110199389A1 (en) * 2008-12-19 2011-08-18 Microsoft Corporation Interactive virtual display system for ubiquitous devices
US20120072833A1 (en) * 2010-09-17 2012-03-22 Samsung Electronics Co., Ltd. Host apparatus and screen capture control method thereof
CN104040946A (zh) * 2011-11-23 2014-09-10 卡尔加里科学公司 用于协作远程应用程序共享和会议的方法和***

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110347319A (zh) * 2019-06-28 2019-10-18 浙江口碑网络技术有限公司 一种应用内屏幕截图方法及装置
CN110347319B (zh) * 2019-06-28 2021-04-27 浙江口碑网络技术有限公司 一种应用内屏幕截图方法及装置

Also Published As

Publication number Publication date
JP2018517197A (ja) 2018-06-28
HK1251670A1 (zh) 2019-02-01
EP3278237A1 (en) 2018-02-07
WO2016157128A1 (en) 2016-10-06
US20160291814A1 (en) 2016-10-06
WO2016157128A8 (en) 2017-05-04
EP3278237A4 (en) 2018-11-07

Similar Documents

Publication Publication Date Title
CN107615266A (zh) 用于捕获分层屏幕内容的方法
US11782582B2 (en) Digital processing systems and methods for detectable codes in presentation enabling targeted feedback in collaborative work systems
US10671806B2 (en) Customized customer relationship management platform method and devices
KR102197248B1 (ko) 다른 형태의 정보 공유를 통한 코브라우징의 통합
CN106663175B (zh) 一种用于以协作方式创建文档的方法、计算设备及计算机可读存储介质
US20170257743A1 (en) Populating property values of event objects of an object-centric data model using image metadata
CA2846350C (en) Mobile reports
CN104769636B (zh) 在内容项目的上传网页上提供内容项目操作动作
CN107491296A (zh) 与一个或多个扩展应用程序对接的消息应用程序
CN107408042A (zh) 用于移动应用的高效和直观的数据绑定
US10162807B2 (en) Attachment markup and message transmission
KR102108849B1 (ko) 다수의 사진 공급 스토리용 시스템 및 방법
US20140280490A1 (en) Systems and methods for visual communication
US20150074825A1 (en) System and method for controlling privacy settings of user interface with internet applications
US20130104205A1 (en) Account creating and authenticating method
US9092533B1 (en) Live, real time bookmarking and sharing of presentation slides
US11977714B2 (en) Methods and systems for provisioning a collaborative virtual experience
AU2013234381A1 (en) Data handling system and method
CN109213945A (zh) 基于云的文档的许可管理
CN104184791B (zh) 图像效果提取
US10887551B2 (en) Information processing apparatus, information processing system and information processing method
JP2022506754A (ja) 対話型ｇｐｓ統合３ｄモデル化空間を作成するためのシステムおよび方法
Cohen A practical guide to graphic communication for quality assurance, education, and patient care in echocardiography
JP6435548B2 (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
CN109416698A (zh) 对传播到移动应用的组织链接进行编排

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20180119

RJ01 Rejection of invention patent application after publication