CN114391132A - 电子设备及其屏幕捕获方法 - Google Patents

电子设备及其屏幕捕获方法 Download PDF

Info

Publication number
CN114391132A
CN114391132A CN202080064495.8A CN202080064495A CN114391132A CN 114391132 A CN114391132 A CN 114391132A CN 202080064495 A CN202080064495 A CN 202080064495A CN 114391132 A CN114391132 A CN 114391132A
Authority
CN
China
Prior art keywords
electronic device
screen
block
pattern
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080064495.8A
Other languages
English (en)
Inventor
S.P.托塔
D.P.莫汉蒂
N.普雷
S.莫哈拉纳
M.戈亚尔
R.S.蒙贾尔
D.加格
D.纳加拉朱
K.辛格
C.巴特拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN114391132A publication Critical patent/CN114391132A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19133—Interactive pattern learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/191—Design or setup of recognition systems or techniques; Extraction of features in feature space; Clustering techniques; Blind source separation
    • G06V30/19173—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种用于电子设备中的智能屏幕捕获的方法，包括：由电子设备接收用于捕获显示在电子设备的屏幕上的内容的截屏的用户输入；由电子设备将电子设备的屏幕划分成多个块，多个块中的每个块包括显示在电子设备的屏幕上的相互关联的内容；由电子设备基于多个参数从多个块中识别至少一个块；以及由电子设备显示用于捕获至少一个块的截屏的向导用户界面。

Description

电子设备及其屏幕捕获方法
技术领域
本公开涉及用户界面，更具体地，涉及用于智能屏幕捕获的方法和电子设备。
背景技术
随着技术的不断发展和诸如智能电话之类的电子设备的普及，在电子设备中增加了越来越多的功能。如今，电子设备的用户不可避免地要使用截屏功能。在现有***中，电子设备的用户通过使用电子设备的用户的手势之一、同时按下电子设备的关机按钮和主页按钮、或任何其他组合来捕获完全截屏。此外，一些现有***向电子设备的用户提供了附加功能，诸如捕获完全截屏的部分区域。然而，在现有***中存在一个缺点，对于捕获完全截屏的部分区域，电子设备的用户必须手动地从全屏截屏中裁剪和选择截屏内容。现有***处理速度慢，并且需要电子设备的用户进行手动调整，从而导致用户体验差。在现有***中没有机制来辨识电子设备的用户所需的最重要的块并相应地捕获截屏。
因此，希望解决上述劣势或其他短处，或者至少提供有用的替代方案。
发明内容
技术问题
技术方案
实施例提供了一种装置和方法，用于在电子设备中从截屏或一段时间内的系列截屏中辨识出用户想要的内容(诸如图像、文本、图标和符号)，并且相应地捕获截屏，从而提供更好的用户体验。根据本公开的一方面，提供了一种用于电子设备中的智能屏幕捕获的方法。该方法包括由电子设备接收用于捕获显示在电子设备的屏幕上的内容的截屏的用户输入。此外，该方法包括由电子设备将电子设备的屏幕识别成多个块，其中每个块包括显示在电子设备的屏幕上的相互关联的内容。此外，该方法包括由电子设备基于多个参数从多个块中识别至少一个块。此外，该方法包括由电子设备显示用于捕获至少一个块的截屏的向导用户界面。至少一个块的截屏被存储在电子设备中，并且执行至少一个第二动作，所述至少一个第二动作包括以下各项中的至少一个：在所述至少一个块的截屏上进行编辑和将至少一个块的截屏共享给至少一个第二用户。
根据本公开的一方面，该方法包括基于多个参数从多个块中识别至少一个块，包括：基于多个参数来映射多个块中的每个块以获得每个块的排名，以及从多个块中选择具有最高排名的至少一个块作为用来捕获截屏的至少一个块。多个参数包括以下中的至少一个：块的布局、应用类型、内容类型、应用ID、屏幕ID和用户特定参数，用户特定参数包括特定于内容类型的用户动作的历史、用户的当前地点和用户的浏览模式或历史中的至少一个。至少一个块被突出显示以捕获截屏。基于与电子设备的用户相关联的至少一个动作来修改排名，其中所述至少一个动作包括放大(zoom-in)动作、缩小(zoom-out)动作和滚动动作。多个块包括以下各项中的至少一个：至少一个图像块、至少一个图标块、和至少一个文本块。
根据本公开的一方面，该方法包括将电子设备的屏幕识别成多个块，包括：辨识显示在电子设备的屏幕上的内容，基于该辨识来识别显示在电子设备的屏幕上的内容之间的关系，以及基于显示在电子设备的屏幕上的内容之间的关系来识别电子设备的屏幕。通过每个块的位置、每个块的接近度、和每个块的尺寸中的至少一个来辨识内容。
根据本公开的一方面，该方法包括基于显示在电子设备的屏幕上的内容之间的关系来识别电子设备的屏幕，以获得显示在电子设备的屏幕上的内容的屏幕ID。此外，该方法包括由电子设备基于所识别的电子设备的屏幕来提取屏幕模式。此外，该方法包括由电子设备识别提取的屏幕模式是否与电子设备的至少一个存储的屏幕模式相匹配。此外，该方法包括响应于识别出提取的屏幕模式与至少一个存储的屏幕模式相匹配，将屏幕ID分配给显示在电子设备的屏幕上的内容。此外，该方法包括响应于识别出提取的屏幕模式与至少一个存储的屏幕模式不匹配，将新屏幕ID分配给显示在电子设备的屏幕上的内容，并且将新屏幕ID存储在电子设备中。
根据本公开的一方面，该方法包括识别提取的屏幕模式是否与电子设备的至少一个存储的屏幕模式相匹配，包括：由电子设备通过与至少一个存储的屏幕模式进行比较来接收与提取的屏幕模式相关联的至少一个静态块。此外，该方法包括由电子设备基于块距离分数计算来排列提取的屏幕模式。此外，该方法包括由电子设备针对至少一个静态块和至少一个动态块来计算提取的屏幕模式与存储的屏幕模式中的每一个的逐块差异分数和模式差异分数。此外，该方法包括由电子设备识别模式差异分数是否高于阈值。此外，该方法包括响应于识别出模式差异分数高于阈值，提取的屏幕模式与至少一个存储的屏幕模式相匹配。此外，该方法包括响应于识别出模式差异分数低于阈值，提取的屏幕模式与至少一个存储的屏幕模式不匹配。
根据本公开的一方面，该方法包括由电子设备识别是否从电子设备的用户接收到针对至少一个块的至少一个建议。此外，该方法包括响应于识别出没有从电子设备的用户接收到针对所述至少一个块的至少一个建议，将所述至少一个块的截屏共享给至少一个第二用户。此外，该方法包括响应于识别出从电子设备的用户接收到针对至少一个块的至少一个建议，将至少一个建议块的截屏共享给至少一个第二用户。
实施例提供了用于智能屏幕捕获的电子设备。该电子设备包括与处理器、显示器和存储器耦接的截屏控制器。截屏控制器被配置为接收用于捕获显示在电子设备的屏幕上的内容的截屏的用户输入。此外，截屏控制器被配置为将电子设备的屏幕识别成多个块，其中每个块包括显示在电子设备的屏幕上的相互关联的内容。此外，截屏控制器被配置为基于多个参数从多个块中识别用于捕获截屏的至少一个块。此外，截屏控制器被配置为控制显示器显示用于捕获至少一个块的截屏的向导用户界面。
当结合以下描述和附图考虑时，本文的实施例的这些和其他方面将被更好地明白和理解。然而，应当理解，以下描述虽然指示了优选实施例及其许多具体细节，但是是以说明而非限制的方式给出的。可以在本文的实施例的范围内进行许多改变和修改而不脱离其精神，并且本发明实施例包括所有这样的修改。
附图说明
结合附图，从以下描述中，本公开的某些实施例的上述和/或其他方面、特征和优点将变得更加明显，其中：
图1是根据相关技术的现有***为电子设备提供手动定制截屏的示例图示；
图2A示出了根据实施例的用于智能屏幕捕获的电子设备的框图；
图2B示出了根据实施例的用于智能屏幕捕获的电子设备的框图；
图3A是示出根据实施例的用于电子设备中的智能屏幕捕获的方法的流程图；
图3B、图3C和图3D是示出根据实施例的用于确定提取的屏幕模式是否与电子设备的至少一个存储的屏幕模式相匹配的方法的流程图；
图4A、图4B和图4C是示出根据实施例的用于电子设备中的智能屏幕捕获的各种操作的示例场景；以及
图5是示出根据实施例的用于基于多个参数从多个块中获知用于捕获截屏的最佳块的各种操作的示例场景。
具体实施方式
参考在附图中示出并在以下描述中详细描述的非限制性实施例，更全面地解释本文的实施例及其各种特征和有利细节。省略了对众所周知的组件和处理技术的描述，以免不必要地模糊本文的实施例。此外，本文描述的各种实施例不一定是互斥的，因为一些实施例可以与一个或多个其他实施例组合以形成新的实施例。除非另有说明，否则本文使用的术语“或”是指非排他的或。本文使用的示例仅仅是为了便于理解可以实践本文的实施例的方式，并且进一步使本领域技术人员能够实践本文的实施例。相应地，示例不应被解释为限制本文的实施例的范围。
如本领域中的传统，可以根据执行所描述的一个或多个功能的块来描述和说明实施例。这些块(在本文中可以被称为单元或模块等)在物理上由模拟或数字电路(诸如逻辑门、集成电路、微处理器、微控制器、存储器电路、无源电子组件、有源电子组件、光学组件、硬连线电路等)实施，并且可以可选地由固件驱动。例如，电路可以体现在一个或多个半导体芯片中，或者体现在诸如印刷电路板等的衬底支架上。构成块的电路可以由专用硬件实施，或者由处理器(例如，一个或多个编程的微处理器和相关电路)实施，或者由执行块的一些功能的专用硬件和执行块的其他功能的处理器的组合来实施。在不脱离本发明的范围的情况下，实施例的每个块可以物理地分成两个或更多个相互作用的且分立的块。同样，在不脱离本发明的范围的情况下，实施例的块可以物理地组合成更复杂的块。
附图用于帮助容易地理解各种技术特征，并且应当理解，本文呈现的实施例不受附图的限制。这样，除了在附图中具体阐述的那些之外，本公开还应当被解释为扩展到任何更改、等同和替代。尽管术语第一、第二等在本文中可以用来描述各种元素，但是这些元素不应受这些术语的限制。这些术语通常仅用于区分一个元素与另一元素。
相应地，本文的实施例公开了一种用于电子设备中的智能屏幕捕获的方法。该方法包括由电子设备检测捕获显示在电子设备的屏幕上的内容的截屏的截屏捕获事件。此外，该方法包括由电子设备将电子设备的屏幕划分成多个块，其中每个块包括显示在电子设备的屏幕上的相互关联的内容。此外，该方法包括由电子设备基于多个参数来从多个块中确定用于捕获截屏的至少一个最佳块。此外，该方法包括由电子设备捕获至少一个最佳块的截屏。
现在参考附图，更具体地参考图2至图5，示出了优选实施例。
图1是根据相关技术的现有***为电子设备(100)提供手动定制截屏的示例图示。电子设备(100)可以是例如但不限于智能电话、膝上型计算机、台式计算机、智能手表、智能TV等。
在1处，电子设备(100)的用户在电子设备(100)的视频应用上观看视频。在2处，电子设备(100)的用户使用电子设备(100)的截屏功能。电子设备(100)的用户通过使用电子设备(100)的用户的手势之一、同时按下电子设备(100)的关机按钮和主页按钮、或任何其他组合来捕获完全截屏。此外，电子设备(100)的用户执行以下操作之一：与至少一个第二用户共享捕获的完全截屏，编辑捕获的完全截屏、然后与至少一个第二用户共享，将捕获的完全截屏保存在电子设备(100)中。在3处，电子设备(100)的用户捕获完全截屏的部分区域，电子设备(100)的用户必须手动执行剪切并选择全屏截屏上的截屏内容。因此，现有的方法和***在处理上较慢，并且需要电子设备(100)的用户手动调整，从而导致较差的用户体验。
图2A示出了根据实施例的用于智能屏幕捕获的电子设备的框图。
存储器(110)可以被实现为各种格式的存储器，诸如硬盘驱动器(HDD)、固态驱动器(SSD)、DRAM存储器、SRAM存储器、FRAM存储器或闪存。
具体地，人工智能模型可以被存储在存储器(110)中。这里，可以学习人工智能模型。此外，人工智能模型可以包括用于增加输入图像的分辨率的放大(upscaling)模块。
处理器(130)通常控制电子设备(100)的操作。
根据实施例，处理器(130)可以被实现为数字信号处理器(DSP)、微处理器或时间控制器(TCON)。然而，不限于此，处理器(130)可以包括中央处理单元(CPU)、微控制器单元(MCU)、微处理单元(MPU)、控制器、应用处理器(AP)、通信处理器(CP)或ARM处理器中的至少一个，或者可以由相对应的术语来定义。此外，处理器(130)可以被实现为具有内置处理算法的片上***(SoC)或大规模集成电路(LSI)，或者可以以现场可编程门阵列(FPGA)的形式来实现。
用于智能屏幕捕获的电子设备(100)可以包括存储器(110)和与存储器(110)耦接的处理器(130)。这里，处理器(130)可以接收用于捕获显示在电子设备(100)的屏幕上的内容的截屏的用户输入，将电子设备(100)的屏幕识别成多个块。这里，每个块包括显示在电子设备(100)的屏幕上的相互关联的内容。此外，处理器(130)可以基于多个参数从多个块中识别至少一个块，并且控制显示器(120)来显示用于捕获至少一个块的截屏的向导用户界面。
与存储器(110)耦接的处理器(130)可以接收用于捕获显示在电子设备(100)的屏幕上的内容的截屏的用户输入。此外，处理器(130)可以将电子设备(100)的屏幕识别成多个块。
这里，每个块包括显示在电子设备(100)的屏幕上的相互关联的内容。处理器(130)可以基于多个参数从多个块中识别至少一个块，并且可以控制显示器(120)来显示用于捕获至少一个块的截屏的向导用户界面。
这里，处理器(130)可以基于多个参数来映射多个块中的每个块，以获得每个块的排名，并且可以从多个块中选择具有最高排名的至少一个块作为用来捕获截屏的至少一个块。
这里，多个参数包括以下中的至少一个：块的布局、应用类型、内容类型、应用标识(ID)、屏幕ID和用户特定参数，用户特定参数包括特定于内容类型的用户动作的历史、用户的当前地点、和用户的浏览模式或历史中的至少一个。
此外，处理器(130)可以辨识显示在电子设备(100)的屏幕上的内容，并且可以基于该辨识来识别显示在电子设备(100)的屏幕上的内容之间的关系，并且可以基于显示在电子设备(100)的屏幕上的内容之间的关系来识别电子设备(100)的屏幕。
这里，处理器(130)可以基于显示在电子设备(100)的屏幕上的内容之间的关系来识别电子设备(100)的屏幕，以获得显示在电子设备(100)的屏幕上的内容的屏幕ID。
这里，处理器(130)可以基于所识别的电子设备(100)的屏幕来提取屏幕模式，并且可以识别提取的屏幕模式是否与电子设备(100)的至少一个存储的屏幕模式相匹配，并且可以执行以下操作之一：响应于识别出提取的屏幕模式与至少一个存储的屏幕模式相匹配，将屏幕ID分配给显示在电子设备(100)的屏幕上的内容，以及响应于识别出提取的屏幕模式与至少一个存储的屏幕模式不匹配，将新屏幕ID分配给显示在电子设备(100)的屏幕上的内容，并且将新屏幕ID存储在电子设备(100)中。
这里，处理器(130)可以通过与至少一个存储的屏幕模式进行比较来接收与提取的屏幕模式相关联的至少一个静态块，并且可以基于块距离分数计算来排列提取的屏幕模式，并且可以针对该至少一个静态块和至少一个动态块来计算提取的屏幕模式与存储的屏幕模式中的每一个的逐块差异分数和模式差异分数。
此外，处理器(130)可以识别模式差异分数是否高于阈值，并且可以执行以下操作之一：响应于识别出模式差异分数高于阈值，提取的屏幕模式与至少一个存储的屏幕模式相匹配，以及响应于识别出模式差异分数低于阈值，提取的屏幕模式与至少一个存储的屏幕模式不匹配。
与此同时，处理器(130)可以识别是否从电子设备(100)的用户接收到针对该至少一个块的至少一个建议，并且可以执行以下操作之一：响应于识别出没有从电子设备(100)的用户接收到针对该至少一个块的至少一个建议，将该至少一个块的截屏共享给至少一个第二用户，以及响应于识别出从电子设备(100)的用户接收到针对该至少一个块的至少一个建议，将至少一个建议块的截屏共享给至少一个第二用户。
此外，至少一个块被突出显示以捕获截屏。
与此同时，基于与电子设备(100)的用户相关联的至少一个动作来修改排名，并且至少一个动作包括放大动作、缩小动作和滚动动作。
与此同时，多个块包括以下各项中的至少一个：至少一个图像块、至少一个图标块、和至少一个文本块。
此外，至少一个块的截屏被存储在电子设备(100)中，并且执行至少一个第二动作，并且至少一个第二动作包括以下各项中的至少一个：编辑至少一个块的截屏以及将至少一个块的截屏共享给至少一个第二用户。
与此同时，通过每个块的位置、每个块的接近度、和每个块的尺寸中的至少一个来辨识内容。
图2B示出了根据实施例的用于智能屏幕捕获的电子设备(100)的框图。在实施例中，电子设备(100)包括存储器(110)、显示器(120)、处理器(130)、通信器(140)、应用(150)和截屏控制器(160)。
存储器(110)还存储要由处理器(130)执行的指令。存储器(110)可以包括非易失性存储元件。这种非易失性存储元件的示例可以包括磁性硬盘、光盘、软盘、闪存或各种形式的电可编程存储器(EPROM)或电可擦除可编程存储器(EEPROM)。此外，在一些示例中，存储器(110)可以被认为是非暂时性存储介质。术语“非暂时性”可以指示存储介质不是体现在载波或传播信号中。然而，术语“非暂时性”不应被解释为存储器(110)是不可移动的。在某些示例中，非暂时性存储介质可以存储可随时间变化的数据(例如，在随机存取存储器(RAM)或高速缓存中)。在实施例中，存储器(110)可以是内部存储单元，或者它可以是电子设备(100)的外部存储单元、应用储存库(可互换地用作应用(150))、云存储、或任何其他类型的外部存储。
处理器(130)与存储器(110)、通信器(140)、显示器(120)、应用(150)和截屏控制器(160)进行通信。处理器(130)被配置为执行存储在存储器(110)中的指令以及执行各种过程。应用(150)可以是例如但不限于游戏应用、商业应用、教育应用、生活方式应用、娱乐应用、公用事业应用、旅行应用、健康健身应用、食品应用等。
在实施例中，截屏控制器(160)包括事件检测器(160a)、内容辨识器(160b)、模式匹配器(160c)和推荐区域控制器(160d)。事件检测器(160a)检测用来捕获显示在电子设备(100)的屏幕(即显示器(120))上的内容的截屏的截屏捕获事件。内容辨识器(160b)辨识显示在电子设备(100)的屏幕上的内容。此外，内容辨识器(160b)基于该辨识来确定显示在电子设备(100)的屏幕上的内容之间的关系。此外，内容辨识器(160b)将电子设备(100)的屏幕划分成多个块，其中每个块包括显示在电子设备(100)的屏幕上的相互关联的内容，并且获得显示在电子设备(100)的屏幕上的内容的屏幕ID。多个块包括以下各项中的至少一个：至少一个图像块、至少一个图标块、和至少一个文本块。通过每个块的位置、每个块的接近度、和每个块的尺寸中的至少一个来辨识内容。
模式匹配器(160c)基于电子设备(100)的划分的屏幕来提取屏幕模式。此外，模式匹配器(160c)确定提取的屏幕模式是否与电子设备(100)的至少一个存储的屏幕模式(先前确定的模式被存储在存储器(110)中，以用于将来识别屏幕ID)相匹配。此外，模式匹配器(160c)响应于确定提取的屏幕模式与至少一个存储的屏幕模式相匹配，将屏幕ID分配给显示在电子设备(100)的屏幕上的内容。此外，模式匹配器(160c)响应于确定提取的屏幕模式与至少一个存储的屏幕模式不匹配，将新屏幕ID分配给显示在电子设备(100)的屏幕上的内容，并且将新屏幕ID存储在电子设备(100)中。
此外，模式匹配器(160c)通过与至少一个存储的屏幕模式进行比较来检测与提取的屏幕模式相关联的至少一个静态块。此外，模式匹配器(160c)基于块距离分数计算来排列提取的屏幕模式。此外，模式匹配器(160c)针对该至少一个静态块和至少一个动态块来计算提取的屏幕模式与存储的屏幕模式中的每一个的逐块差异分数和模式差异分数。此外，模式匹配器(160c)确定模式差异分数是否高于阈值。此外，响应于确定模式差异分数高于阈值，提取的屏幕模式与至少一个存储的屏幕模式相匹配，模式匹配器(160c)分配屏幕ID。此外，响应于确定模式差异分数低于阈值，提取的屏幕模式与至少一个存储的屏幕模式不匹配，模式匹配器(160c)分配新屏幕ID。
推荐区域控制器(160d)基于多个参数来映射多个块中的每个块，以获得每个块的排名。多个参数包括以下中的至少一个：块的布局、应用类型、内容类型、应用ID、屏幕ID和用户特定参数，用户特定参数包括特定于内容类型的用户动作的历史、用户的当前地点、和用户的浏览模式或历史中的至少之一。此外，推荐区域控制器(160d)从多个块中选择具有最高排名的至少一个块作为用来捕获截屏的至少一个最佳块。至少一个最佳块被突出显示以捕获截屏。基于与电子设备(100)的用户相关联的至少一个动作来修改排名，其中至少一个动作包括放大动作、缩小动作和滚动动作。
此外，推荐区域控制器(160d)确定是否从电子设备(100)的用户接收到针对至少一个最佳块的至少一个建议。此外，响应于确定没有从电子设备(100)的用户接收到针对至少一个最佳块的至少一个建议，推荐区域控制器(160d)将至少一个最佳块的截屏共享给至少一个第二用户。此外，响应于确定从电子设备(100)的用户接收到针对至少一个最佳块的至少一个建议，推荐区域控制器(160d)将至少一个建议的最佳块的截屏共享给至少一个第二用户。
多个模块组件中的至少一个可以通过AI模型来实施。与AI相关联的功能可以通过存储器(110)和处理器(130)来执行。
处理器(130)可以包括一个或多个处理器。此时，一个或多个处理器可以是通用处理器(诸如中央处理单元(CPU)、应用处理器(AP)等)、仅图形(graphics-only)处理单元(诸如图形处理单元(GPU)、视觉处理单元(VPU))，和/或AI专用处理器(诸如神经处理单元(NPU))。
一个或多个处理器根据存储在非易失性存储器和易失性存储器中的预定义操作规则或人工智能(AI)模型来控制对输入数据的处理。预定义操作规则或人工智能模型是通过训练或学习来提供的。
这里，通过学习来提供意味着，通过将学习过程应用于多个学习数据，形成期望特性的预定义操作规则或AI模型。学习可以在执行根据一个实施例的AI的设备本身中执行，和/或可以通过单独的服务器/***来实施。
AI模型可以由多个神经网络层组成。每层具有多个权重值，并且通过前一层的计算和多个权重的操作来执行层操作。神经网络的示例包括但不限于卷积神经网络(CNN)、深度神经网络(DNN)、递归神经网络(RNN)、受限玻尔兹曼机(RBM)、深度信念网络(DBN)、双向递归深度神经网络(BRDNN)、生成对抗网络(GAN)和深度Q网络。
学习过程是一种使用多个学习数据训练预定目标设备(例如，机器人)以使得、允许或控制目标设备做出确定或预测的方法。学习过程的示例包括但不限于监督学习、无监督学习、半监督学习或强化学习。
虽然图2B示出了电子设备(100)的各种硬件组件，但是应当理解，其他实施例不限于此。在其他实施例中，电子设备(100)可以包括更少或更多数量的组件。此外，组件的标签或名称仅用于说明目的，并不限制本发明的范围。一个或多个组件可以被组合在一起，以执行用于电子设备(100)中的智能屏幕捕获的相同或基本相似的功能。
图3A是示出根据实施例的用于电子设备(100)中的智能屏幕捕获的方法的流程图(S300)。操作(S302-S336)由截屏控制器(160)执行。
在S302处，该方法包括检测用来捕获显示在电子设备(100)的屏幕上的内容的截屏的截屏捕获事件。在S304处，该方法包括辨识显示在电子设备(100)的屏幕上的内容。在S306处，该方法包括基于该辨识来确定显示在电子设备(100)的屏幕上的内容之间的关系。在S308处，该方法包括基于显示在电子设备(100)的屏幕上的内容之间的关系来划分电子设备(100)的屏幕，以获得显示在电子设备(100)的屏幕上的内容的屏幕ID。在S310处，该方法包括基于电子设备(100)的划分的屏幕来提取屏幕模式。
图3B、图3C和图3D是示出根据实施例的用于确定提取的屏幕模式是否与电子设备的至少一个存储的屏幕模式相匹配的方法的流程图。在S312处，该方法包括由电子设备(100)确定提取的屏幕模式是否与电子设备(100)的至少一个存储的屏幕模式相匹配。在S314处，该方法包括响应于确定提取的屏幕模式与至少一个存储的屏幕模式相匹配，将屏幕ID分配给显示在电子设备(100)的屏幕上的内容。在S316处，该方法包括响应于确定提取的屏幕模式与至少一个存储的屏幕模式不匹配，将新屏幕ID分配给显示在电子设备(100)的屏幕上的内容，并且将新屏幕ID存储在电子设备(100)中。在S318处，该方法包括基于多个参数来映射多个块中的每个块，以获得每个块的排名。在S320处，该方法包括确定分配的屏幕ID是否与至少一个最佳块规则(即区域规则)相关联。在S322处，该方法包括响应于确定分配的屏幕ID与至少一个最佳块规则相关联，从多个块中选择具有最高排名的至少一个块作为用来捕获截屏的至少一个最佳块。在S324处，该方法包括响应于确定分配的屏幕ID不与至少一个最佳块规则相关联，选择最大块作为用来捕获截屏的最佳块。
在S326处，该方法包括捕获至少一个最佳块的截屏。在S328处，该方法包括确定是否从电子设备(100)的用户接收到针对至少一个最佳块的至少一个建议(例如，最显著的)。在S330处，该方法包括响应于确定没有从电子设备(100)的用户接收到针对至少一个最佳块的至少一个建议，将至少一个最佳块的截屏共享给至少一个第二用户。在S332处，该方法包括响应于确定从电子设备(100)的用户接收到针对至少一个最佳块的至少一个建议，提取原始截屏的屏幕模式以及提取更新后的建议的区域的屏幕模式。在S334处，该方法包括确定原始截屏的屏幕ID，以及使用更新后的建议的区域的屏幕模式作为推导规则并且存储在电子设备(100)中。在S336处，该方法包括将建议的区域截屏共享给至少一个第二用户。
图3B是示出根据实施例的用于确定提取的屏幕模式是否与电子设备(100)的至少一个存储的屏幕模式相匹配的方法的流程图(S312)。操作(S312a-S312e)由截屏控制器(160)执行。
在S312a处，该方法包括通过与至少一个存储的屏幕模式进行比较来检测与提取的屏幕模式相关联的至少一个静态块。在S312b处，该方法包括基于块距离分数计算来排列提取的屏幕模式。在S312c处，该方法包括针对该至少一个静态块和至少一个动态块来计算提取的屏幕模式与存储的屏幕模式中的每一个的逐块差异分数和模式差异分数。在S312d处，该方法包括确定模式差异分数是否高于阈值。在S312e处，该方法包括当提取的屏幕模式与至少一个存储的屏幕模式相匹配时分配屏幕ID。在312f处，该方法包括当提取的屏幕模式与至少一个存储的屏幕模式不匹配时分配新屏幕ID。
图4A、图4B和图4C是示出根据实施例的用于电子设备(100)中的智能屏幕捕获的各种操作的示例场景。
在402处，电子设备(100)的用户在电子设备(100)的视频应用(150a)上观看视频，并且事件检测器(160a)检测用来捕获显示在电子设备(100)的屏幕上的内容的截屏的截屏捕获事件，截屏捕获事件可以通过接收电子设备(100)的用户的手势输入的至少一个、使用与电子设备(100)相关联的按钮的组合、使用电子设备(100)的至少一个第二应用(150b-150a)的特征和/或功能等等来执行。
在404处，内容辨识器(160b)辨识显示在电子设备(100)的屏幕上的内容。此外，内容辨识器(160b)基于该辨识来确定显示在电子设备(100)的屏幕上的内容之间的关系。此外，内容辨识器(160b)将电子设备的屏幕划分成多个块，其中每个块包括显示在电子设备(100)的屏幕上的相互关联的内容。多个块包括以下各项中的至少一个：至少一个图像块(406)、至少一个文本块(408)和至少一个图标块(410)。通过每个块的位置、每个块的接近度、和每个块的尺寸中的至少一个来辨识内容。
在412处，内容辨识器(160b)确定GUI元素(例如，图像、文本、图标等)与显示在电子设备(100)的屏幕上的每个块之间的关系(语义关系)。图像块(412a)、下面的文本块(412b)和图标(412c)的行在语义上是相关的，因为它们一起出现在由线分隔的屏幕区域中。
模式匹配器(160c)基于电子设备(100)的划分的屏幕来提取屏幕模式。与电子设备(100)的视频应用(150a)相关联的屏幕模式的示例是主屏幕模式(414)、探索屏幕模式(416)、和订户屏幕模式(418)。在屏幕切换期间，每个图标都会发生可见的变化。差异由模式匹配器(160c)检测到。此外，模式匹配器(160c)通过与至少一个存储的屏幕模式进行比较来检测与提取的屏幕模式相关联的至少一个静态块。静态块是对于给定应用(即视频应用(150a))的每个模式(414、416、418)来说坐标相同的块。
此外，模式匹配器(160c)基于块距离分数计算来排列提取的屏幕模式。模式匹配器(160c)计算块距离分数计算。模式匹配器(160c)通过扫描显示在电子设备(100)的屏幕上的每个块，将屏幕模式编码为字符串。例如，BLTBIBTBLLLL。其中，“B”表示块的开始，“T”表示文本块，“I”表示图像块，并且“L”表示图标块。此外，模式匹配器(160c)计算提取的模式的编码字符串与存储的模式的编码字符串之间的距离分数。块距离分数是针对存储的模式中的每一个的最小距离分数。此外，模式匹配器(160c)使用循环移位来排列提取的模式的编码字符串，以匹配基于块距离分数选择的模式。此外，模式匹配器(160c)计算逐块差异分数。
块差异分数＝(第i元素是第一模式的第j块的元素分数-第i元素是第二模式的第j块的元素分数)的总和(1)
其中，元素分数是基于元素类型(即文本、图像、图标)的文本块分数(T分数)或图像块分数(I分数)或图标块分数(L分数)。
此外，模式匹配器(160c)针对至少一个静态块和至少一个动态块来计算提取的屏幕模式与存储的屏幕模式中的每一个的模式差异分数。
模式差异分数＝(α*静态块差异分数之和+β*动态块差异分数之和)(2)
其中，α和β是学习的超参数。
此外，模式匹配器(160c)确定模式差异分数是否高于阈值，并且当模式差异分数高于阈值时分配屏幕ID。基于分配的屏幕ID和与屏幕ID相关联的多个参数，推荐区域控制器(160d)根据表1为多个块中的每个块确定排名(排名规则)。
【表1】
Figure BDA0003545777010000141
此外，推荐区域控制器(160d)从多个块中选择具有最高排名的至少一个块作为用来捕获截屏的至少一个最佳块，规则ID的示例根据表2。
【表2】
规则ID 规则描述
1 仅图像
2 仅文本
3 最大图像块
4 文本居中对齐的图像块
5 居中对齐的块
6 图像后跟文本
7 图像前有文本
8 基于语义(位置、接近度、尺寸)
在420处，示出了推荐区域控制器(160d)从多个块中选择具有最高排名的最大块(默认规则)作为用来捕获截屏的至少一个最佳块的示例场景。在422处，示出了推荐区域控制器(160d)从多个块中选择具有最高排名的中心块作为用来捕获截屏的最佳块的示例场景。最高排名是基于电子设备(100)的用户的滚动动作来确定的，滚动动作将焦点设置在多个块中的特定块上，并且根据规则，推荐区域控制器(160d)选择“文本居中对齐的图像”作为最佳块。居中对齐规则是先前从电子设备(100)的用户对于特定的应用ID(例如，com.video)和屏幕ID(例如，播放视频页面)的使用中获知的。
在424和426处，示出了推荐区域控制器(160d)针对特定的应用ID(例如，com.shop)和屏幕ID(例如，主页)从多个块中选择居中对齐的块/语义关系具有最高排名作为用来捕获截屏的最佳块的示例场景。
图5是示出根据实施例的用于基于多个参数从多个块中获知捕获截屏的最佳块的各种操作的示例场景。
在502处，推荐区域控制器(160d)从多个块中选择具有最高排名的最大块作为用来捕获截屏的最佳块。在504处，推荐区域控制器(160d)从电子设备(100)的用户接收针对至少一个最佳块的至少一个建议(最显著的)。基于建议(例如，裁剪、放大、缩小等)修改最佳块。然后，推荐区域控制器(160d)更新与应用ID、屏幕ID和应用(150)的类型中的至少一个相关联的规则，并且存储在存储器(110)中。此外，修改后的最佳块共享给至少一个第二用户。
特定实施例的前述描述将如此充分地揭示本文实施例的一般性质，以至于其他人可以通过应用当前知识容易地为各种应用修改和/或改写这种特定实施例，而不脱离一般概念，并且因此，这种改写和修改应当并且旨在被理解在所公开实施例的等同物的含义和范围内。应当理解，本文采用的措辞或术语是为了描述的目的，而不是为了限制。因此，虽然已经根据优选实施例描述了本文的实施例，但是本领域技术人员将认识到，可以在本文描述的实施例的精神和范围内进行修改来实践本文的实施例。

Claims (15)

1.一种用于电子设备中的智能屏幕捕获的方法，所述方法包括：
由所述电子设备接收用于捕获显示在所述电子设备的屏幕上的内容的截屏的用户输入，其中所述用户输入由所述电子设备的用户提供；
由所述电子设备将所述电子设备的屏幕划分成多个块，其中所述多个块中的每个块包括显示在所述电子设备的屏幕上的相互关联的内容；
由所述电子设备基于多个参数从所述多个块中识别至少一个块；以及
由所述电子设备显示用于捕获所述至少一个块的截屏的向导用户界面。
2.根据权利要求1所述的方法，其中，基于多个参数从所述多个块中识别至少一个块还包括：
由所述电子设备基于所述多个参数来映射所述多个块中的每个块，以获得每个块的排名；以及
由所述电子设备从所述多个块中选择具有最高排名的至少一个块作为用来捕获所述截屏的至少一个块。
3.根据权利要求1所述的方法，其中，所述多个参数包括以下各项中的至少之一：所述多个块的布局、应用类型、内容类型、应用标识ID、屏幕ID、或用户特定的参数中的至少一个，所述用户特定的参数包括特定于内容类型的用户动作的历史、用户的当前地点、或者用户的浏览模式或历史中的至少一个。
4.根据权利要求1所述的方法，其中，将所述电子设备的屏幕划分成多个块还包括：
由所述电子设备辨识显示在所述电子设备的屏幕上的内容；
由所述电子设备基于所述辨识来识别显示在所述电子设备的屏幕上的内容之间的关系；以及
由所述电子设备基于显示在所述电子设备的屏幕上的内容之间的关系来划分所述电子设备的屏幕。
5.根据权利要求4所述的方法，还包括：
基于划分所述电子设备的屏幕，获得显示在所述电子设备的屏幕上的内容的屏幕标识ID。
6.根据权利要求5所述的方法，其中，获得显示在所述电子设备的屏幕上的内容的屏幕ID还包括：
由所述电子设备基于所述电子设备的划分的屏幕来提取屏幕模式；
由所述电子设备识别提取的屏幕模式是否与所述电子设备的至少一个存储的屏幕模式相匹配；以及
由所述电子设备执行以下操作之一：
基于识别出所述提取的屏幕模式与所述至少一个存储的屏幕模式相匹配，将所述屏幕ID分配给显示在所述电子设备的屏幕上的内容，或者
基于识别出所述提取的屏幕模式与所述至少一个存储的屏幕模式不匹配，将新屏幕ID分配给显示在所述电子设备的屏幕上的内容，并且将所述新屏幕ID存储在所述电子设备中。
7.根据权利要求6所述的方法，其中，识别提取的屏幕模式是否与所述电子设备的至少一个存储的屏幕模式相匹配还包括：
由所述电子设备通过与所述至少一个存储的屏幕模式进行比较来接收与所述提取的屏幕模式相关联的至少一个静态块；
由所述电子设备基于块距离分数计算来排列所述提取的屏幕模式；
由所述电子设备针对所述至少一个静态块和至少一个动态块来计算所述提取的屏幕模式与所述至少一个存储的屏幕模式中的每个存储的屏幕模式的逐块差异分数和模式差异分数；
由所述电子设备识别所述模式差异分数是否高于阈值；以及
由所述电子设备执行以下操作之一：
基于识别出所述模式差异分数高于所述阈值，识别出所述提取的屏幕模式与所述至少一个存储的屏幕模式相匹配，或者
基于识别出所述模式差异分数低于所述阈值，识别出所述提取的屏幕模式与所述至少一个存储的屏幕模式不匹配。
8.根据权利要求1所述的方法，还包括：
由所述电子设备识别是否从所述电子设备的用户接收到针对所述至少一个块的至少一个建议；以及
由所述电子设备执行以下操作之一：
基于识别出没有从所述电子设备的用户接收到针对所述至少一个块的至少一个建议，与至少一个第二用户共享所述至少一个块的截屏，或者
基于识别出从所述电子设备的用户接收到针对所述至少一个块的至少一个建议，与所述至少一个第二用户共享至少一个建议的块的截屏。
9.根据权利要求1所述的方法，其中，所述至少一个块被突出显示以捕获所述截屏。
10.根据权利要求2所述的方法，其中，基于与所述电子设备的用户相关联的至少一个动作来修改所述排名，其中，所述至少一个动作包括放大动作、缩小动作、或滚动动作中的至少一个。
11.根据权利要求1所述的方法，其中，所述多个块包括以下各项中的至少一个：至少一个图像块、至少一个图标块、或至少一个文本块。
12.根据权利要求1所述的方法，其中，所述至少一个块的截屏被存储在所述电子设备中，并且执行至少一个动作，其中，所述至少一个动作包括以下各项中的至少一个：在所述至少一个块的截屏上进行编辑或者与至少一个第二用户共享所述至少一个块的截屏。
13.根据权利要求4所述的方法，其中，所述内容通过每个块的位置、每个块的接近度、或每个块的尺寸中的至少一个来辨识。
14.一种用于智能屏幕捕获的电子设备，所述电子设备包括：
存储器；
显示器；以及
处理器，耦接到所述存储器并且被配置为：
接收用于捕获显示在所述电子设备的屏幕上的内容的截屏的用户输入；
将所述电子设备的屏幕划分成多个块，其中所述多个块中的每个块包括显示在所述电子设备的屏幕上的相互关联的内容；
基于多个参数从所述多个块中识别至少一个块；以及
控制所述显示器来显示用于捕获所述至少一个块的截屏的向导用户界面。
15.根据权利要求14所述的电子设备，其中，所述处理器还被配置为：
基于所述多个参数来映射所述多个块中的每个块，以获得每个块的排名；以及
从所述多个块中选择具有最高排名的至少一个块作为用来捕获所述截屏的至少一个块。
CN202080064495.8A 2019-09-20 2020-09-21 电子设备及其屏幕捕获方法 Pending CN114391132A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IN201941038104 2019-09-20
IN201941038104 2020-09-09
PCT/KR2020/012690 WO2021054794A1 (en) 2019-09-20 2020-09-21 Electronic device and screen capturing method thereof

Publications (1)

Publication Number Publication Date
CN114391132A true CN114391132A (zh) 2022-04-22

Family

ID=74882401

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080064495.8A Pending CN114391132A (zh) 2019-09-20 2020-09-21 电子设备及其屏幕捕获方法

Country Status (4)

Country Link
US (1) US11188359B2 (zh)
EP (1) EP3948506A4 (zh)
CN (1) CN114391132A (zh)
WO (1) WO2021054794A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210045891A (ko) * 2019-10-17 2021-04-27 삼성전자주식회사 전자 장치 및 전자 장치의 화면 캡쳐 운용 방법
CN114820882A (zh) * 2022-04-19 2022-07-29 北京百度网讯科技有限公司 一种图像获取方法、装置、设备及存储介质
CN116048350B (zh) * 2022-07-08 2023-09-08 荣耀终端有限公司 一种截屏方法及电子设备
TWI810101B (zh) * 2022-10-27 2023-07-21 南亞塑膠工業股份有限公司 碟鏈系統
US12045441B1 (en) * 2023-02-28 2024-07-23 Motorola Mobility Llc Automated screen shot capture of primary content

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106468999A (zh) * 2016-09-27 2017-03-01 上海斐讯数据通信技术有限公司 一种截屏方法和***
CN106502533A (zh) * 2016-10-21 2017-03-15 上海与德信息技术有限公司 一种截屏方法及装置
US20170371844A1 (en) * 2015-01-15 2017-12-28 Zte Corporation Method, device and terminal for implementing regional screen capture
CN110009643A (zh) * 2016-05-14 2019-07-12 谷歌有限责任公司 基于捕获内容的截屏图像的像素将显示内容分割成区域

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8812969B2 (en) 2007-03-21 2014-08-19 Ricoh Co., Ltd. Methods for authoring and interacting with multimedia representations of documents
TWI447641B (zh) 2009-03-31 2014-08-01 Ibm 在可攜式裝置上顯示文件之方法與電腦程式產品
WO2010114543A1 (en) * 2009-04-01 2010-10-07 Hewlett-Packard Development Company, L.P. Screen capture
JP2011176748A (ja) 2010-02-25 2011-09-08 Sony Corp 画像処理装置および方法、並びにプログラム
US8816968B2 (en) 2010-10-13 2014-08-26 International Business Machines Corporation Selective monitor control
KR20140007163A (ko) * 2012-07-09 2014-01-17 삼성전자주식회사 모바일 장치에 클립보드 기능을 제공하는 방법 및 장치
CN103473012A (zh) * 2013-09-09 2013-12-25 华为技术有限公司 截屏方法、装置和终端设备
US9582913B1 (en) 2013-09-25 2017-02-28 A9.Com, Inc. Automated highlighting of identified text
US20150205884A1 (en) 2014-01-22 2015-07-23 AI Squared Emphasizing a portion of the visible content elements of a markup language document
KR102212073B1 (ko) * 2014-03-25 2021-02-03 에스케이플래닛 주식회사 화면 부분 캡쳐 방법 및 이를 위한 장치
US9811352B1 (en) 2014-07-11 2017-11-07 Google Inc. Replaying user input actions using screen capture images
US10628009B2 (en) * 2015-06-26 2020-04-21 Rovi Guides, Inc. Systems and methods for automatic formatting of images for media assets based on user profile
US10360473B2 (en) 2017-05-30 2019-07-23 Adobe Inc. User interface creation from screenshots
US11042259B2 (en) * 2019-08-18 2021-06-22 International Business Machines Corporation Visual hierarchy design governed user interface modification via augmented reality

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170371844A1 (en) * 2015-01-15 2017-12-28 Zte Corporation Method, device and terminal for implementing regional screen capture
CN110009643A (zh) * 2016-05-14 2019-07-12 谷歌有限责任公司 基于捕获内容的截屏图像的像素将显示内容分割成区域
CN106468999A (zh) * 2016-09-27 2017-03-01 上海斐讯数据通信技术有限公司 一种截屏方法和***
CN106502533A (zh) * 2016-10-21 2017-03-15 上海与德信息技术有限公司 一种截屏方法及装置

Also Published As

Publication number Publication date
EP3948506A4 (en) 2022-06-01
WO2021054794A1 (en) 2021-03-25
EP3948506A1 (en) 2022-02-09
US20210089334A1 (en) 2021-03-25
US11188359B2 (en) 2021-11-30

Similar Documents

Publication Publication Date Title
CN114391132A (zh) 电子设备及其屏幕捕获方法
US10275022B2 (en) Audio-visual interaction with user devices
JP2022116104A (ja) リアルタイム手書き認識の管理
CN107273019B (zh) 基于协同姿势的输入语言
US20170192500A1 (en) Method and electronic device for controlling terminal according to eye action
CN106293074B (zh) 一种情绪识别方法和移动终端
WO2022105692A1 (zh) 一种手势识别方法及装置
US11709593B2 (en) Electronic apparatus for providing a virtual keyboard and controlling method thereof
CN112114734B (zh) 在线文档的显示方法、装置、终端及存储介质
US9588678B2 (en) Method of operating electronic handwriting and electronic device for supporting the same
CN114402356A (zh) 网络模型的训练方法、图像的处理方法、装置及电子设备
US10146429B2 (en) Character recognition method, apparatus and device
CN106412232A (zh) 一种控制操作界面的缩放方法、装置以及电子设备
CN115943361A (zh) 电子设备及其控制方法
CN114223021A (zh) 电子装置及其处理手写输入的方法
CN114360047A (zh) 举手手势识别方法、装置、电子设备及存储介质
KR102138277B1 (ko) 영상 인식 방법 및 이를 이용하는 장치
CN106201078B (zh) 一种轨迹补全方法和终端
US11308150B2 (en) Mobile device event control with topographical analysis of digital images inventors
CN115253304A (zh) 防作弊方法与电子装置
CN107831896B (zh) 音频信息播放方法、装置、存储介质及电子设备
US9569104B2 (en) Electronic device and scoring system and scoring method using same
US11048356B2 (en) Microphone on controller with touchpad to take in audio swipe feature data
US20240143110A1 (en) Electronic apparatus and method of acquiring touch coordinates thereof
US11675496B2 (en) Apparatus, display system, and display control method

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination