CN114365075A - 用于选择图形对象的方法和对应装置 - Google Patents

用于选择图形对象的方法和对应装置 Download PDF

Info

Publication number
CN114365075A
CN114365075A CN202080062571.1A CN202080062571A CN114365075A CN 114365075 A CN114365075 A CN 114365075A CN 202080062571 A CN202080062571 A CN 202080062571A CN 114365075 A CN114365075 A CN 114365075A
Authority
CN
China
Prior art keywords
selection
computing device
block portion
graphical object
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202080062571.1A
Other languages
English (en)
Other versions
CN114365075B (zh
Inventor
马修·杜兰特
巴蒂斯特·德斯马瑞斯特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MyScript SAS
Original Assignee
MyScript SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MyScript SAS filed Critical MyScript SAS
Publication of CN114365075A publication Critical patent/CN114365075A/zh
Application granted granted Critical
Publication of CN114365075B publication Critical patent/CN114365075B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G06F18/2113—Selection of the most significant subset of features by ranking or filtering the set of features, e.g. using a measure of variance or of feature cross-correlation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/169—Annotation, e.g. comment data or footnotes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/166—Editing, e.g. inserting or deleting
    • G06F40/171—Editing, e.g. inserting or deleting by use of digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/14—Image acquisition
    • G06V30/142—Image acquisition using hand-held instruments; Constructional details of the instruments
    • G06V30/1423—Image acquisition using hand-held instruments; Constructional details of the instruments the instrument generating sequences of position coordinates corresponding to handwriting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Character Discrimination (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种在计算装置上的方法，包括：在显示区域(200)中显示图形对象(OB1‑OB11)，该显示区域包括具有文本对象(OBI、OB2)的结构化文本部分(202)和具有文本或非文本对象(OB5‑OB11)的块部分(BL)；定位起始点(PT1)，从所述起始点开始用户选择手势(GT1)；确定形成选择区域(212)的选择路径(210)；以及选择包含在所述选择区域(212)内的每个图形对象。如果所述起始点位于所述结构化文本部分中，则可以选择第一模式，从而允许在所述显示区域中绘制所述选择路径以选择任何图形对象。如果所述起始点位于所述块部分(BL)中的目标块部分内，则可以选择第二模式，从而将所述选择路径(210)限制在所述目标块部分内。

Description

用于选择图形对象的方法和对应装置
技术领域
本公开总体上涉及能够识别各种图形和文本的用户输入笔迹的计算装置接口领域。特别地，本公开涉及用于检测和处理输入的手写元素的计算装置和对应方法。
背景技术
计算装置在日常生活中变得越来越普遍。它们可以采用各种形式，诸如台式计算机、笔记本电脑、平板计算机、混合计算机(二合一)、电子书阅读器、移动电话、智能手机、可穿戴计算机(包括智能手表、智能眼镜/耳机)、全球定位***(GPS)单元、企业数字助理(EDA)、个人数字助理(PDA)、游戏控制台等。此外，计算装置正在被整合到车辆和设备中，诸如汽车、卡车、农用设备、制造设备、建筑环境控制(例如照明、HVAC)以及家用和商用电器。
每种类型的计算装置都配备有特定的计算资源并用于给定用途。计算装置通常包括至少一个处理元件(诸如中央处理单元(CPU))、某种形式的存储器以及输入和输出装置。计算装置的多样性及其后续使用需要各种输入装置和接口以允许用户与其计算装置交互。
一种此类输入装置是诸如触摸屏或触摸板的触敏表面，其中用户输入通过用户身体部位(例如手指)或仪器(例如笔或触控笔)与触敏表面之间的接触来接收。另一种输入装置是输入表面，其感测用户在输入表面上方做出的手势。再另一种输入装置是位置检测***，其检测触摸或非触摸交互与非触摸物理或虚拟表面的相对位置。
手写识别可以在计算装置中实现以输入和处理由用户手绘或手写的各种类型的图形对象(也称为输入元素)，诸如文本内容(例如，字母数字字符)或非文本内容(例如形状、绘图)。一旦在计算装置上输入，输入元素通常显示为数字墨水并经过手写识别以转换为排版版本。用户手写输入典型地使用实时手写识别***或方法来解释。为此，可以使用在线***(使用基于云的解决方案等执行的识别)或离线***。
用户输入可以是绘图、图示或文本的任何其他内容、非文本或文本和非文本的混合内容。可以根据引导和约束用户输入的引导行(基准行)在结构化文档上进行手写输入。替代地，用户可以在自由模式下手写，即对要遵循的行或要遵守的输入大小(例如在空白页上)没有任何限制。
图1A示出了包括显示装置1的计算装置1的示例，所述显示装置显示由用户使用适当的用户界面手绘或手写的数字墨水图形对象。在当前情况下，计算装置1检测并显示文本内容4和6以及非文本内容8、10和12。这些元素中的每一者都由一个或多个数字墨水笔划形成。如稍后所讨论的，文本和非文本各自可以采用各种形式。图形对象可能包括文本笔迹、图示、音乐注释等……在该示例中，形状8是构成包含文本内容6的容器(框)的矩形等，使得可以一起选择和操纵元素6和8两者。
如前所述，可以对文本输入元素执行手写识别。也可以对非文本输入元素执行手写识别。此外，每个输入元素可以被转换并显示为排版输入元素，如图1B中的该示例所示。
图1A至图1B中描绘的内容仅是示例，并且除了所描绘的那些之外的其他元素或其其他类型或形式可以作为补充或作为替代呈现。
在手写识别应用程序中，通常可以对显示在计算装置上的用户输入执行某种级别的编辑。然而，常规地，此类应用程序在处理编辑功能的能力方面受到限制，并且典型地约束用户采用不反映用户原始意图的行为或接受妥协。结果，一些常规的手写识别应用程序迫使用户导航菜单以选择和编辑墨水元素。
典型地，在常规手写识别应用程序中重新排列文本或非文本墨水输入元素的能力在只有某些操作可用的情况下受到限制，通常涉及用户的复杂的或不自然的操纵。因此，用户通常难以以符合人体工程学且高效的方式编辑文本或非文本上下文。
特别地，当屏幕上显示各种图形对象时，用户通常难以选择图形对象，例如出于编辑的目的。运行手写识别应用程序的计算装置通常不允许简单且直观地选择图形对象。因此，用户难以对显示在屏幕上的文本和非文本内容进行操纵。
需要改进以允许在计算装置上轻松且直观地选择图形对象(文本和/或非文本)。
发明内容
本文中下面描述的本发明的示例提供了用于编辑输入墨水元素的计算装置、方法和对应计算机程序。
根据一个特定方面，本发明提供了一种计算装置，其包括：
-输入表面，所述输入表面用于手绘包括文本和非文本对象的图形对象；
-显示装置，所述显示装置用于在显示区域中以数字墨水显示多个所述图形对象，所述显示区域包括：
ο结构化文本部分，所述结构化文本部分包含根据引导行模式排列的至少一个文本对象，和
ο至少一个块部分，所述至少一个块部分与所述结构化文本部分不同，所述至少一个块部分包含至少一个文本或非文本对象；
-定位模块，所述定位模块用于在所述显示区域中定位起始点，从所述起始点开始用所述输入表面执行的用户选择手势以定义选择区域；以及
-选择模块，所述选择模块用于基于所述用户选择手势确定在所述显示区域中形成所述选择区域的选择路径，并且用于选择至少部分地包含在所述选择区域内的每个图形对象，所述选择模块被配置为根据所述起始点的所述定位进行操作，使得：
ο如果所述起始点位于所述结构化文本部分中，所述选择模块根据第一模式通过允许在所述显示区域中绘制所述选择路径以选择所述结构化文本部分的和所述至少一个块部分的任何图形对象进行操作；并且
ο如果所述起始点位于所述至少一个块部分中的目标块部分内，所述选择模块根据第二模式通过将所述选择路径限制在所述目标块部分内以防止选择所述目标块部分之外的任何图形对象进行操作。
本发明允许在计算装置上以灵活且高效的方式选择和编辑手绘图形对象。两种不同的操作模式是可操作的，以允许用户对其可能希望为任何适当目的(诸如编辑等)而操纵的任何图形对象进行简单且准确的选择。特别地，第一模式允许自由且容易地选择显示区域中呈现的任何图形对象，因为在执行用户选择部分时没有对选择路径施加定位限制。另一方面，第二模式允许在用户选择手势已经开始的特定块部分内进行受限选择，从而即使用户执行的用户选择手势不准确也允许快速选择。
图形对象的选择可以在不需要复杂或难以记住的手势的情况下进行。用户可以容易地记住执行图形对象选择的过程。
在特定实施方案中，在第一模式下，选择模块被配置为选择结构化文本部分内的和所述至少一个块部分内的任何图形对象，所述图形对象至少部分地包含在所述选择区域中。
在特定实施方案中，在第二模式下，选择模块被配置为仅授权选择所述目标块部分内的任何图形对象。
在特定实施方案中，选择模块被配置为确定接合选择路径的起始点和结束点的连接线，从而形成选择区域。
在特定实施方案中，选择模块被配置为：
-在仍在绘制选择路径时检测当前结束点；
-动态地定义接合起始点和当前结束点的连接线；
-确定由选择路径和连接线形成的选择区域；以及
-选择至少部分地包含在所述选择区域中的每个图形对象。
在特定实施方案中，选择路径和连接线在显示装置上由具有预定义笔划宽度的两个相应数字墨水笔划表示，选择区域由选择路径和连接线共同定义，使得所述选择区域包括由选择路径和连接线占据的区域。
在特定实施方案中，选择模块被配置为在第一模式和第二模式下选择在选择区域内呈现的相对比例超过预定阈值的每个图形对象。
在特定实施方案中，显示装置被配置为在绘制选择路径时，为当前由用户选择手势选择的每个图形对象生成视觉反馈。
在特定实施方案中，计算装置包括编辑模块，其用于将由选择模块选择的每个图形对象作为块共同编辑。
在特定实施方案中，用户选择手势是用户的身体部位与输入表面的交互，所述交互导致在显示装置上沿选择路径生成数字墨水笔划。
在特定实施方案中，所述至少一个块部分包括以下各项中的至少一项：
-绘图块部分，其包含至少一个绘图对象；
-数学块部分，其包含表示数学公式的至少一个数学对象；以及
-图示块部分，其包含文本和非文本对象。
在特定实施方案中，计算装置包括存储模块，其用于存储显示区域中呈现的所述图形对象中的每一者的相应排名，所述图形对象的排名根据排名顺序排序，
其中选择模块被配置为：
-确定当前在选择区域内选择的每个图形对象的排名；
-根据所述排名顺序识别具有包括在两个选择的图形对象的相应排名之间的排名的任何尚未选择的图形对象；以及
-将每个识别的图形对象包括到选择中。
在特定实施方案中，结构化文本部分形成具有用于引导文本输入的引导行的显示区域的背景，并且其中至少一个块部分显示在所述背景之上。
本发明还涉及一种由本发明的计算装置实现的对应方法。特别地，本发明涉及一种由计算装置实现的方法，所述方法包括：
-在显示装置的显示区域中以数字墨水显示多个图形对象，所述显示区域包括：
ο结构化文本部分，其包含根据引导行模式排列的至少一个文本对象，和
ο至少一个块部分，其与结构化文本部分不同，其包含至少一个文本或非文本对象；
-在显示区域中定位起始点，从所述起始点开始用输入表面执行的用户选择手势以定义选择区域；
-基于用户选择手势确定在显示区域中形成所述选择区域的选择路径；以及
-选择至少部分地包含在所述选择区域内的每个图形对象；
其中选择路径是根据所述定位的结果确定的，使得：
-如果起始点位于结构化文本部分中，根据第一模式通过允许在显示区域中绘制选择路径以选择结构化文本部分的和所述至少一个块部分的任何图形对象进行操作；并且
-如果起始点位于所述至少一个块部分中的目标块部分内，根据第二模式通过将选择路径限制在所述目标块部分内以防止选择所述目标块部分之外的任何图形对象进行操作。
本文档中定义的与本发明的计算装置相关的各种实施方案以类似的方式适用于本公开的方法、计算机程序和非暂时性计算机可读介质。
对于如在本教导中描述的本发明的方法的每个步骤，计算装置可以包括被配置为执行所述步骤的对应模块。
根据另一方面，本发明涉及一种非暂时性计算机可读介质，其上记录有计算机可读程序代码(或计算机程序)，包括用于执行如本文档中定义的本发明方法的步骤的指令。
本发明的计算机程序可以用任何编程语言表达，并且可以是源代码、目标代码或源代码与目标代码之间的任何中间代码的形式，使得例如以部分编译的形式，或以任何其他适当的形式。
本发明还提供了一种如上所述的计算机程序。
先前提到的非暂时性计算机可读介质可以是能够存储计算机程序的任何实体或装置。例如，记录介质可以包括存储装置(诸如ROM存储器(CD-ROM或在微电子电路中实现的ROM))，或者磁存储装置(例如软盘或硬盘)。
本发明的非暂时性计算机可读介质可以对应于可传输介质(诸如电或光信号)，其可以经由电缆或光缆，或通过无线电或任何其他适当的方式传送。根据本公开的计算机程序尤其可以从互联网或类似的网络下载。
替代地，非暂时性计算机可读介质可以对应于其中加载了计算机程序的集成电路，所述电路适于执行或用于执行本发明的方法。
在特定实施方案中，本发明涉及一种其中体现有计算机可读程序代码的非暂时性计算机可读介质，所述计算机可读程序代码适于被执行以在如本文档中定义的计算装置上实现方法，所述计算装置包括用于执行所述方法的步骤的处理器。
附图说明
本公开的其他特征和优点将从以下参考附图进行的描述中显现，附图示出了不具有限制特征的实施方案。在附图中：
-图1A至图1B表示根据常规布置的计算装置；
-图2是示意性地表示根据本发明特定实施方案的计算装置的框图；
-图3至图4示意性地描绘了根据本发明特定实施方案的图2的计算装置的部件和对应步骤；
-图5是示意性地表示根据本发明特定实施方案的由图2的计算装置实现的模块的框图；
-图6是示意性地表示根据本发明特定实施方案的方法的步骤的流程图；
-图7至图14是根据本发明特定实施方案的图2的计算装置的操作的示意性表示；
-图15是示意性地表示根据本发明特定实施方案的方法的步骤的流程图；以及
-图16至图17是根据本发明特定实施方案的图2的计算装置的操作的示意性表示；以及
-图18至图19示意性地描绘了本发明的特定实施方案中的图形对象。
附图中的部件不一定按比例绘制，而是将重点放在说明本发明的原理上。
为了说明的简单性和清晰性，除非另有说明，否则在所有附图中，将使用相同的参考标记来指代相同或相似的部分。
具体实施方式
在以下详细描述中，通过示例的方式阐述了许多具体细节，以便提供对相关教导的透彻理解。然而，对本领域技术人员应显而易见的是，可以在没有这些细节的情况下实践本教导。在其他情况下，相对简要且不带细节地描述了众所周知的方法、过程和/或部件，以避免不必要地模糊本教导的各方面。
示例性实施方案的以下描述参考附图。以下详细描述不限制本发明。相反，本发明的范围由所附权利要求限定。在如图所示的各种实施方案中，讨论了计算装置、对应方法和对应计算机程序。
在本描述中使用的术语“文本”被理解为涵盖任何书面语言中的所有字符(例如字母数字字符等)及其字符串，以及书面文本中使用的任何符号。
本描述中的术语“非文本”被理解为涵盖自由形式的手写或手绘内容(例如形状、绘图等)和图像数据，以及字符及其字符串，或非文本上下文中使用的符号。非文本内容定义线性或非线性配置的图形或几何形态，包括容器、绘图、常见形状(例如箭头、框等)等。例如，在图示中，文本内容可能包含在称为容器的形状(矩形、椭圆、椭圆形......)中。
此外，这些图示中所示的示例是在从左到右的书面语言上下文中，并且因此对位置的任何引用都可以适于具有不同方向格式的书面语言。
本文描述的各种技术通常涉及在便携式和非便携式计算装置上捕获、处理和管理手绘或手写内容。本文描述的***和方法可以利用对经由诸如触敏屏幕(如稍后讨论)的输入表面输入到计算装置的用户的自然书写和绘图风格的识别。虽然关于使用所谓的在线识别技术识别数字墨水手写输入描述了各种实施方案，但是应理解，可以应用到用于识别的其他形式的输入，诸如涉及远程装置或服务器执行识别的离线识别。
术语“手绘”和“手写”在本文中可互换使用，以定义用户通过使用他们的手(或手指)或输入装置(手持触控笔或数字笔、鼠标......)在输入表面上或用输入表面创建数字内容。本文使用术语“手”等来提供对输入技术的简明描述，然而在该定义中包括使用用户身体的其他部位(诸如脚、嘴和眼睛)进行类似输入。
如下面更详细描述的，本发明的一个方面涉及使用计算装置在显示区域的各个部分中显示图形对象(输入元素)，在显示区域中定位起始点，从所述起始点开始在计算装置上执行以定义选择区域的用户选择手势，以及选择(部分地或全部地)包含在由用户选择手势定义的选择区域中的每个图形对象。更具体地，该选择区域由用户选择手势定义的选择路径形成。以下将描述本发明的其他方面。
图2示出了根据本发明特定实施方案的计算装置100的框图。计算装置(或数字装置)100可以是台式计算机、膝上型计算机、平板计算机、电子书阅读器、移动电话、智能手机、可穿戴计算机、数字手表、交互式白板、全球定位***(GPS)单元、企业数字助理(EDA)、个人数字助理(PDA)、游戏控制台等。计算装置100包括至少一个处理元件的部件、某种形式的存储器以及输入和输出(I/O)装置。部件通过输入和输出(诸如连接器、线路、总线、链接网络或技术人员已知的其他方式)与彼此通信。
更具体地，计算装置100包括至少一个显示装置(或显示器)102，用于从计算装置输出数据，诸如图像、文本和视频。显示装置102可以是任何适当技术(LCD、等离子......)的屏幕等。如下文进一步描述的，显示装置102能够以数字墨水显示图形对象(也称为输入元素)，每个图形对象由至少一个数字墨水笔划形成。
计算装置100还包括用于手绘(或手写)包括文本和非文本对象的图形对象的输入表面104，如下文进一步描述的。输入表面104可以与显示装置102共同定位或与其远程连接。在特定示例中，显示装置102和输入表面104是同一触摸屏的部分。输入表面104可以采用诸如电阻、表面声波、电容、红外网格、红外丙烯酸投影、光学成像、色散信号技术、声脉冲识别或技术人员已知的任何其他适当技术的技术来接收触摸敏感表面或接近敏感表面形式的用户输入。输入表面104可以是由位置检测***监测的非触敏表面。
如图2所示，计算装置100还包括处理器106和存储器108。计算装置100还可以包括一个或多个易失性存储元件(RAM)作为存储器108的一部分或与其分开。
处理器106是用于执行软件(尤其是存储在存储器108中的软件)的硬件装置。处理器108可以是任何定制的或市售的通用处理器、中央处理单元(CPU)、基于半导体的微处理器(以微芯片或芯片组的形式)、微控制器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)或其他可编程逻辑装置，或它们的任何组合，以及更一般地，被设计用于执行技术人员已知的软件指令的任何适当的处理器部件。
根据本公开的特定实施方案，存储器108构成(或包括)非暂时性(或非易失性)计算机可读介质(或记录介质)。存储器108可以包括非易失性存储元件(例如ROM、EPROM、闪存PROM、EEPROM、硬盘驱动器、磁盘或光盘、存储器寄存器、CD-ROM、WORM、DVD等)的任何组合。
存储器108可以远离计算装置100，诸如在可由计算装置100远程访问的服务器或基于云的***处。非易失性存储器108耦合到处理器106，使得处理器106能够从存储器108读取信息和向存储器108写入信息。作为替代，存储器108与计算装置100成一体。
存储器108包括操作***(OS)110和手写应用程序(或计算机程序)112。操作***110控制应用程序112的执行。应用程序112构成(或包括)根据本发明特定实施方案的计算机程序(或计算机可读程序代码)，该计算机程序具有用于实现根据本发明特定实施方案的方法的指令。
应用程序112可以包括用于检测和管理用户使用计算装置100的输入表面104手绘的墨水图形对象的指令。这些手绘墨水图形对象(其可以是文本或非文本)由一个或多个数字墨水笔划形成。
在特定实施方案中，应用程序112可以包括手写识别(HWR)模块(或***)114，用于识别到计算装置100的手写输入，包括手写文本和非文本。HWR 114可以是源程序、可执行程序(目标代码)、脚本、应用程序或具有要执行的指令集的任何其他部件。在图2中描绘的本示例中，应用程序112和HWR模块114被组合在单个应用程序中(HWR模块114是应用程序112的一部分)。替代地，HWR模块114可以是用于与远离计算装置100的手写识别***通信的模块、方法或***，诸如图2中描绘的可由计算装置100通过适当的通信链路远程访问的服务器(或基于云的***)SV1。应用程序112和HWR模块114也可以是存储在计算装置100的存储器108中(或不同存储器中)的单独部件，由此应用程序112和HWR模块114一起操作存储器108中处理和存储的访问信息。
如稍后在附图中所示，在输入表面104上或经由输入表面104输入的笔划被处理器106处理为数字墨水。数字墨水是通过以数字图像格式在这种情况下在显示装置102上呈现手写输入而形成的。
用户可以用手或手指输入笔划，或者用适合与输入表面104一起使用的诸如数字笔或触控笔的一些输入仪器来输入笔划。用户也可以通过在输入表面104上方做出手势(如果正在使用被配置为感测输入表面104附近的运动的装置)或者用计算装置100的***装置(诸如鼠标或操纵杆等)来输入笔划。
每个墨水图形对象(例如字母、符号、单词、形状)由一个或多个此类笔划形成。笔划的特征至少在于笔划起始位置(对应于“落笔”事件)、笔划终止位置(对应于“提笔”事件)以及连接笔划起始位置和笔划终止位置的路径。因为不同的用户可以自然地书写或手绘具有轻微变化的相同对象(例如，字母、形状、符号......)，所以HWR模块114适应其中可以输入每个对象同时仍被识别为正确或预期的对象的各种方式。
图3是HRW模块114以其本地(即，加载在计算装置100上)或远程(即，计算装置100可远程访问)形式执行的识别过程的示例的示意图。然而，其他实现方式也是可能的。
该识别过程包括诸如预处理116、识别118和输出120的阶段(或步骤)。
预处理阶段116处理数字墨水以在识别阶段118期间实现更高的准确性并减少处理时间。该预处理可以包括通过应用尺寸归一化和/或诸如B样条逼近的方法来平滑输入，对连接笔划起始位置和笔划终止位置的路径进行归一化。
然后将预处理的笔划传递到识别阶段118，所述识别阶段处理笔划以识别由此形成的对象。然后将所识别的对象输出120到存储器108并由显示装置102显示为手写输入元素(文本或非文本)的数字墨水或排版墨水版本。
如图4所示，根据特定实施方案，识别118可以包括不同的处理单元和对应步骤。特别地，识别118可以由HWR模块114的分割单元122、识别单元124和语言单元126来执行。为了便于理解本发明，下文描述了这些单元的一些方面。然而，没有提供进一步的细节以避免不必要地模糊本公开。例如，可以在美国专利申请第2017/0109578A1号中找到实现手写识别的示例。
分割单元118可以定义将输入笔划分割成单独的元素假设(例如，字母数字字符、数学运算符、文本字符、各个形状、子表达式)的不同方式，以便形成表达式，例如单词、数学方程式或形状组。例如，分割单元118可以通过对原始输入的连续笔划进行分组来形成元素假设以获得分割图，其中每个节点对应于至少一个元素假设并且其中元素之间的邻接约束由节点连接处理。
识别单元124对由分类器128提取的特征进行分类，并输出具有针对分割图的每个节点的概率或识别分数的元素候选列表。技术人员已知的许多类型的分类器可用于处理识别任务。分类器可以将每个输入元素分类为文本或非文本。
语言单元126使用语言模型(例如，语法或语义)为分割图中的不同路径生成语言含义。语言单元126基于语言信息130检查单元122和124建议的候选。语言信息130可以包括词典，诸如基于文本的词典(正则表达式等)和/或基于形状的词典。语言单元130旨在寻找最佳识别路径。除了词典约束之外，语言单元126可以使用统计信息建模来了解给定的元素序列在指定语言中出现的频率或被具体用户用来评估对分割图的给定路径进行解释的可能性。
手写应用程序112允许以数字墨水形式生成手写或手绘内容(例如，图示、图表、形状、绘图或任何类型的文本和/或非文本)，并使用HWR模块114忠实地识别该内容。
在本实施方案中，计算装置100实现的手写应用程序112包括HWR模块114，用于识别到计算装置100的手写输入，包括手写文本和非文本。然而，应考虑到没有此类HWR模块114的其他实现方式也是可能的。更一般地，本发明的计算装置适合于以任何适当的方式获得、接收或确定根据本发明的方法处理的图形对象(包含文本和/或非文本)。
如下文将更详细描述的，显示装置102适合于在显示区域中以数字墨水显示多个图形对象。具体地，该显示区域可以包括：包含根据引导行模式排列的至少一个文本对象的结构化文本部分，以及与结构化文本部分不同的包含至少一个文本或非文本对象的至少一个块部分。
还如图3所示，存储器108还可以包括数据结构113，所述数据结构包括与使用本发明的方法选择的每个图形对象OB相关的信息，如下文进一步描述的。此外，与显示区域200中呈现的每个图形对象OK的排名RK相关的信息也可以存储在存储器18中。数据结构113和排名RK的性质和用途可以由技术人员适于每个具体实现方式。下面描述了包括数据结构113和排名的特定实施方案，但其他实施方案也是可能的。
在图5所示的特定实施方案中，当运行存储在存储器108中的应用程序112时，处理器106实现多个处理模块，即：定位模块MD2、选择模块MD4，以及可能的编辑模块MD6和/或存储模块MD8。然而，特别是没有编辑模块MD6和/或存储模块MD8的其他实施方案也是可能的。
应用程序112包括配置处理器以实现这些模块以便执行本发明方法的步骤的指令，如稍后在特定实施方案中描述的。
更具体地，定位模块MD2可以被配置为定位显示区域中的起始点，从所述起始点开始用输入表面104执行的用户选择手势(稍后称为GT1)以定义选择区域。
此外，选择模块MD4可以被配置为基于用户选择手势确定在显示区域中形成选择区域的选择路径，并选择至少部分地包含在选择区域内的每个图形对象。
在本实施方案中，选择模块MD4被配置为根据由定位模块MD2确定的起始点的位置，根据第一模式ME1或第二模式ME2进行操作。换言之，模式ME1和ME2是选择模块MD4响应于由定位模块MD2确定的起始点的位置而选择性地可应用的两种不同的选择模式。选择模块MD4因此可以根据用户选择手势开始的位置应用选择模式ME1或选择模式ME2。
下面将在特定实施方案中进一步描述第一模式ME1和第二模式ME2的性质和操作。
一旦做出选择，编辑模块MD6可以被配置为将由选择模块MD4选择的每个图形对象作为块共同编辑。
在特定示例中，存储模块MD8可用于存储与显示装置102上显示的图形对象相关的信息。特别地，存储模块MD8可以存储针对显示区域中呈现的图形对象中的每一者的相应排名RK，这些图形对象的排名RK根据特定排名顺序被排序。选择模块MD4可以考虑图形对象的排名RK以确定哪些图形对象应该被包括在由用户选择手势触发的选择中。
计算装置100的模块MD2至MD8的配置和操作将在下文参考附图描述的特定实施方案中更加明显。应理解，图5所示的模块MD2至MD8仅代表本发明的示例实施方案，其他实现方式也是可能的。
对于本发明的方法的每个步骤，计算装置可以包括被配置为执行所述步骤的对应模块。
根据本发明的特定实施方案，现在参考图6至图17描述由图2至图5中所示的计算装置100实现的方法。更具体地，计算装置100通过执行存储在存储器108中的应用程序112来实现该方法。
设想了一个示例场景，其中手绘(或手写)图形对象OB被输入到计算装置100，然后用户希望选择这些图形对象中的一个或多个，例如以对每个选择的图形对象OB执行一些编辑。在该示例中假设这些图形对象OB是用户在计算装置100上使用输入表面104手绘的。替代地，这些手绘图形对象OB可以由计算装置100以任何合适的方式获得、接收或确定。
在显示步骤S2(图6)中，计算装置100在显示装置102的显示区域200中以数字墨水显示多个图形对象OB。如图7所示，计算装置100可以显示(S2)例如：
-结构化文本部分(或结构化文本块)202，其包含根据引导行模式204排列的至少一个文本对象OB，以及
-至少一个块部分BL，其与结构化文本部分202不同，其包含至少一个文本或非文本对象OB。
一个或多个块部分BL可以具有各种性质。它们可以包括以下各项中的至少一项(或其任意组合)：
-绘图块部分，其包含至少一个绘图对象OB；
-数学块部分，其包含表示数学公式的至少一个数学对象OB；以及
-图示块，其包含文本和非文本对象OB。
如上所述的绘图对象可以是(或包括)照片或图像。
更具体地，如图7所示，假设在该示例中显示装置102在显示区域200中显示(S2)：
-结构化文本部分202，其包含根据引导行模式204排列的两个文本对象OB1和OB2；和
-3个块部分BL1、BL2和BL3(统称为BL)，其与结构化文本部分202不同，其各自包含一个或多个文本和/或非文本对象OB。
部分202、BL1、BL2和BL3中的每一者彼此不同。
当然可以设想其他示例。特别地，如本领域技术人员所理解的，块部分BL的数量和性质可以变化。
如图7所示，结构化文本部分包含两个文本对象OB1和OB2，其分别对应于本示例中的手写词“hello”和“how”。这些文本对象OB1、OB2根据引导行模式204排列。换言之，文本对象OB1、OB2以由引导行模式204定义的结构化格式显示在结构化文本部分202中。引导行模式204包括多个引导行(或基准行)，文本对象OB1、OB2沿所述引导行定位。引导行模式204对结构化文本部分202中显示的文本输入施加位置、取向和大小的约束。引导行模式204还可以定义边距和/或预定的行长度，其强加结构格式中每个文本行的最大长度。
在本示例中，引导行模式204的所有引导行都是平行的并且与相邻引导行相隔恒定的行间距离。然而，应理解，这种基于引导行模式204的结构化格式仅构成实现方式的示例。本领域技术人员可以设想其他引导行模式。
也如图7所示，块部分BL1是数学块部分，其包含表示数学公式(即“5+2＝7”)的数学对象OB5。块部分BL2是图示块部分，其包含包括文本内容(即字符)和非文本内容(即形成容器和箭头的形状)的图示对象OB8。块部分BL3是包含以自由手写格式排列(即，与结构化格式相比，对要遵循的行或要遵守的输入大小(例如，在空白区域上)没有任何限制)的绘图的绘图块部分。在本示例中，该绘图包括两个绘图对象OB10和OB11。
作为普遍规则，本领域技术人员可以根据每个用例来调整显示区域200中显示的手绘输入被定义为图形对象的方式。在本示例中，结构化文本部分202中的每个单词构成不同的图形对象OB，但是在其他级别定义图形对象是可能的(例如，在字符级别或文本行级别的对象定义)。同样，数学块部分BL1中呈现的每个数学字符或符号可以被定义为不同的图形对象OB。这同样适用于块部分BL2和BL3。
在图7所示的本示例中，结构化文本部分202形成具有用于引导文本输入的引导行的显示区域200的背景。块部分BL显示在该背景之上(即，在该背景顶上并与之一起)。然而，其他实现方式也是可能的。
如图8所示，在定位步骤S4(图6)中，计算装置100在显示区域202中定位起始点PT1，从所述起始点开始用输入表面104执行的用户选择手势GT1以定义选择区域(也称为套索外壳)212。换言之，计算装置100检测由用户用输入表面104执行的用户选择手势GT1的起始以定义选择区域212，并定位发起该用户选择手势GT1的起始点(或起点)PT1。
在本示例中，用户选择手势GT1是用户的身体部位(或任何输入工具)与输入表面104的交互，这导致在显示装置上沿选择路径生成数字墨水笔划。当用户在显示区域中绘制选择路径时，该数字墨水的显示提供视觉反馈以帮助他/她。
因此可以在检测到下笔事件(即，用户的身体(或任何适当的输入工具)与输入表面104的接触)时检测到用户选择手势GT1的起始。
更具体地，计算装置100在S4中确定起始点PT1在结构化文本部分202和3个块部分BL1、BL2和BL3之中位于显示区域200的哪个部分(图8)。执行即将发生的用户选择的方式是起始点PT1在显示区域200内的位置的函数。如下文进一步讨论的，一个或多个图形对象OB的选择可以根据第一模式ME1或第二模式ME2来执行，这取决于用户选择手势GT1的起始点PT1的位置。
在确定步骤S6(图6)中，计算装置100因此基于在S4中获得的起始点PT1的位置来确定应用模式ME1和ME2中的哪一个来执行对显示区域200中的至少一个图形对象OB的选择。
如果起始点位于(S4)结构化文本部分202中，则计算装置100选择(S6)第一模式ME1。然而，如果起始点位于(S4)块部分BL中的一个中，则计算装置100选择(S6)第二模式ME1。下面在特定实施方案中对这两种模式ME1和ME2进行更详细的描述。
如图8所示，用输入表面104执行的用户选择手势GT1从起始点PT1开始，以选择显示区域200中的至少一个图形对象OB。实际上，用户在输入表面104上从起始点PT1开始移动接触点(或交互点)以执行用户选择手势GT1。
在这两种模式ME1和ME2中，计算装置100基于用户选择手势GT1并根据在S6中选择的模式ME1和ME2来确定(S7，图6)选择路径210。该选择路径210对应于用户选择手势GT1并在显示区域200中形成选择区域212。该选择路径210的确定可以在用户用输入表面104执行用户选择手势GT1时动态地进行。
为此，计算装置100在S7中确定由用户选择手势GT1定义的选择路径210的结束点PT2随时间的位置。当用户选择手势GT1在进行时，结束点PT2在显示区域200内移动。因此，计算装置100可以动态地确定选择路径210，所述选择路径对应于从起始点PT1开始的由结束点PT2的移动所定义的路径。
当计算装置100分别在第一模式ME1和第二模式ME2下操作时，图6中的选择步骤S7被更具体地称为步骤S8和S9。
如果应用了第一模式ME1(如果起始点位于结构化文本部分202内)，则计算装置100允许(S8，图6)在显示区域200中绘制选择路径210以选择结构化文本部分202的和块部分BL的任何图形对象OB。在另一方面，如果因为起始点位于块部分BL中的目标块部分内而应用了第二模式ME2，则计算装置100将选择路径210限定(S10，图6)在目标块部分内，以防止选择所述目标块部分之外的任何图形对象OB。
换言之，在第一模式ME1中，选择路径210可以由用户跨结构化文本部分202和块部分BL中的任何一者自由地绘制(S8)，以选择图形对象OB1、OB2、OB5、OB8、OB10和OB11中的任何一者。当用户选择手势GT1正在用输入表面104在显示区域200中执行时，计算装置100没有对选择路径施加任何约束。
相比之下，在第二模式ME2下，由用户绘制的选择路径210被计算装置100限制或限定(S10)到一个块部分——所谓的目标块部分——其包含位于步骤S4中的起始点PT1。即使用户选择手势GT1移动到目标块部分BL之外，计算装置100也会将选择路径210约束在目标块部分内，使得不能选择所述目标块部分之外的图形对象OB。在第二模式ME2下，可以因此仅进行对呈现在目标块部分BL内的一个或多个图形对象OB的选择。
在图8至图14所示的示例中，假设用户选择手势GT1的起始点PT1位于结构化文本部分202中。因此，计算装置100选择第一模式ME1(S6)以允许选择一个或多个图形对象OB。
结果，计算装置100根据第一模式ME1操作，从而允许在显示区域200中绘制(S8)选择路径210以选择结构化文本部分200的和3个块部分BL的任何图形对象OB。这意味着如果检测到用户选择手势GT1在块部分BL中的任何一个内移动，则计算装置100确定选择路径210是沿所述块部分BL内的对应路径绘制的。如已经指出的，在第一模式ME1下，对显示区域202内的选择路径210没有施加边界或定位约束。
在本示例中，当计算装置100根据第一模式ME1操作时，用户在输入表面104上随时间应用的接触点的路径与选择路径210相同(或匹配)。
在图8所示的示例中，用户选择手势GT1从位于结构化文本部分202中的起始点PT1移动到块部分BL2中。响应于此，计算装置100根据第一模式ME1将结束点PT2定义为与其对应地移动到块部分BL2中。
如图8所示，在确定步骤S12(图6)中，计算装置100确定由在S6中确定的选择路径形成的选择区域212。在本示例中，在执行用户选择手势GT1时动态地执行该确定S12。然而，仅在用户选择手势GT1完成后才确定选择区域212的其他实现方式是可能的。
更具体地，在确定步骤S12中，计算装置100(即选择模块MD4)确定接合选择路径210的起始点PT1和结束点PT2的连接线214，从而形成选择区域212。在以下示例中，连接线214是直线，但其他实现方式也是可能的。计算装置100因此动态地确定由选择路径210和连接线214定义的选择区域212，同时用户选择手势GT1仍在进行中。
在图15中描绘的特定示例中，计算装置100在用户选择手势GT1仍在绘制选择路径210时检测(S30)当前结束点PT2，动态地定义(S32)接合起始点PT1(在S4中确定)和当前结束点PT2的连接线214，并确定(S34)由选择路径210和连接线214形成的选择区域212。
此外，在选择步骤(S14，图6)中，计算装置100选择至少部分地包含在S12中确定的选择区域212内的每个图形对象OB。因此，计算装置100可以在执行用户选择手势GT1时动态地识别哪些图形对象OB至少部分地被定位在选择区域212内。用户选择手势GT1因此导致选择至少部分地环绕在选择区域212中的每个图形对象OB。
在图8中描绘的示例中，计算装置100检测到(S14)图形对象OB8的一部分被定位在选择区域212内并且因此将图形对象OB8识别为响应于用户选择手势GT1的选择的一部分。
计算装置100还可以生成和存储(S14)数据结构113，所述数据结构包括与用户选择手势GT1当前正在选择的(即，当前是选择的一部分的)每个图形对象OB相关的信息。数据结构113可以例如列出当前是选择的一部分的每个图形对象OB的相应标识符。数据结构可以在用户选择手势GT1随时间进行时动态地更新(从而改变选择区域214)。每个新选择的图形对象OB的标识符例如可以随时间添加到数据结构113内以更新正在做出的选择。
在特定示例中，如果基于选择路径210动态地确定(S12)的选择区域212不再包含所述图形对象OB，则当前作为选择的一部分的图形对象OB可能被取消选择(即从当前选择中移除)。在这种情况下，从数据结构113中移除被取消选择的每个图形对象OB的标识符。
在特定示例中，至少部分地包含在当前选择区域212中(无论其相对比例如何)的每个图形对象OB被包括作为选择的一部分。
在特定示例中，在S14中执行选择使得在选择区域212内呈现的相对比例超过预定阈值的每个图形对象OB被选择。例如，具有定位在当前选择区域212内的至少20％或50％的每个图形对象被包括作为选择的一部分。在这种情况下，如果仅低于预定阈值的图形对象OB的相对较小部分被定位在选择区域212内，则图形对象不包括在选择中。
如图8中的特定示例所示，显示装置102还可以在绘制选择路径210时为当前由用户选择手势GT1选择的每个图形对象OB生成(S16，图6)视觉反馈FB。这种可以是各种形式的视觉反馈可以在用户选择手势GT1仍在执行时(例如在检测到提笔事件之前)识别或突出显示当前选择。例如，每个选择的图形对象OB都改变外观(例如，通过触发颜色变化和/或显示包含每个选择对象的不同边界框)。没有视觉反馈FB的其他实现方式也是可能的。在特定实施方案中，视觉反馈FB在用户选择手势GT1仍在进行中时不被触发，而是仅在检测到(S18)用户选择手势GT1终止时才被触发。
只要用户选择手势GT1在进行中，图形对象选择就可以随时间变化。因此，只要没有检测到(S18)提笔事件，计算装置100就可以根据在步骤S6中选择的模式(即，本示例中的第一模式ME1)随时间重复步骤S7至S14。在本示例中，检测到提笔事件意味着用户用输入表面104终止他/她的用户选择手势GT1。然而，检测用户选择手势GT1终止的其他方式是可能的。例如，可以在检测到选择路径210与其自身相交(即，结束点PT2穿过选择路径210)时检测到用户选择手势GT1的终止。
通过随时间重复步骤S7至S14，计算装置100基于当前选择路径210动态地更新(S12)选择区域212，从而还基于选择区域212更新(S14)图形对象选择。为此，可以更新数据结构113以保持对当前由用户选择手势GT1选择的一个或多个图形对象OB的最新选择。
计算装置100还可以在执行用户选择手势GT1时调整(S18)视觉反馈FB。
如图9至图13所示，计算装置100可以在用户选择手势GT1向前移动时以相同的方式进行。
更具体地，如图9所示，计算装置100例如可以检测到用户选择手势GT1跨块部分BL3继续移动。根据第一模式ME1，计算装置100允许(S8)沿块部分BL3内的对应路径绘制选择路径210。动态地确定(S12)新的选择区域212并且以与先前描述的相同方式更新(S14)选择。
假设在当前情况下图形对象OB10和OB11都不包含在由当前选择路径210现在形成的选择区域212中。因此，计算装置100使选择保持不变(S14)，这意味着只有图形对象OB8是当前选择的一部分。视觉反馈FB因此也保持不变(S16)。
如图10所示，在该示例中，计算装置100检测到用户选择手势GT1跨块部分BL2继续移动。根据第一模式ME1，计算装置100允许(S8)沿块部分BL2内的对应路径绘制选择路径。动态地确定(S12)新的选择区域212并且以与先前描述的相同方式更新(S14)选择。
假设在当前情况下图形对象OB5不包含在由当前选择路径210现在形成的选择区域212中。因此，计算装置100使选择保持不变(S14)，这意味着只有图形对象OB8是当前选择的一部分。视觉反馈FB因此也保持不变(S16)。
如图11的示例所示，现在假设用户选择手势GT1在结构化文本部分202内向前移动。根据第一模式ME1，计算装置100允许(S8)沿结构化文本部分202内的对应路径绘制选择路径。动态地确定(S12)新的选择区域212并且以与先前描述的相同方式更新(S14)选择。
假设在当前情况下选择路径210的结束点PT2被定位成使得现在接合起始点PT1和结束点PT2的连接线214与图形对象OB2相交。结果，在步骤S12中确定的选择区域212部分地包含图形对象OB2，从而导致除了OB8之外还选择(S14)图形对象OB2。换言之，图形对象OB2与OB8一起作为当前选择的一部分被包括在内。相应地更新表示当前选择的数据结构113以包括图形对象OB2的标识符。视觉反馈FB也适于(S16)突出显示图形对象OB2以及OB8。
如图12的示例所示，假设用户选择手势GT1在结构化文本部分202内移动得更远。根据第一模式ME1，计算装置100仍然允许(S8)沿结构化文本部分202内的对应路径绘制选择路径。动态地确定(S12)新的选择区域212并且以与先前描述的相同方式更新(S14)选择。
假设在当前情况下选择路径210的结束点PT2被定位成使得现在接合起始点PT1和结束点PT2的连接线214与图形对象OB1相交。结果，在步骤S12中确定的选择区域212部分地包含图形对象OB1，因此除了OB2和OB8之外，还导致图形对象OB1的选择(S14)。换言之，图形对象OB1与OB2和OB8一起作为当前选择的一部分被包括在内。相应地更新表示当前选择的数据结构113以包括图形对象OB1的标识符。视觉反馈FB也适于(S16)突出显示图形对象OB1以及OB2和OB8。
如图13所示，假设用户选择手势GT1在结构化文本部分202中继续而不影响当前选择，并且然后在检测到(S18，图6)提笔事件(即用户结束他/她与输入表面104的交互)时终止。在本示例中，当用户从表面输入104移开他/她的手指或输入工具时，计算装置100推断选择过程完成(S18)。
一旦用户选择手势GT1被终止，因此对在步骤S14中识别为选择的一部分的每个图形对象OB进行选择。数据结构113可以用于基于每个选择的图形对象OB的相应标识符来识别最终选择。因此，可以对至少一个图形对象OB的选择组执行(S20)任何适当的编辑操作(例如，复制/粘贴、剪切/粘贴、调整大小、移动、文本重排)等。特别地，计算装置100可以将响应于用户选择手势GT1而选择的每个图形对象OB作为单个块共同编辑(S20)。
在图14所示的特定示例中，一旦检测到用户选择手势GT1被终止(S18)，计算装置100还可以在由每个选择的图形对象OB共同形成的全局选择的开始和结束处显示开始光标CS1和结束光标CS2。如前所述，每个图形对象OB的排名RK可以根据特定顺序定义并存储在存储器108中。计算装置100因此可以基于每个选择的图形对象OB的相应排名RK来确定选择中的第一个和最后一个图形对象OB。目前，假设图形对象OB按照如下顺序排名：OB1、OB2、OB5、OB8、OB10和OB11。因此，开始光标CS1可以显示在选择的第一个图形对象(即OB1)附近，并且结束光标CS2可以显示在选择的最后一个图形对象(即OB8)附近。显示光标CS1和CS2有助于用户识别全局选择的开始和结束(例如，在编辑之前)，并且还可以允许通过移动开始光标CS1和/或结束光标CS2在必要时调整全局选择(以添加或移除图形对象)。为此，可以为开始光标和结束光标提供句柄，用户可以在显示区域200内选择和拖动所述句柄以改变全局选择。
如图14中的特定示例所示，一旦检测到(S18)用户选择手势GT1的结束，也可以显示软键盘以允许用户对响应于用户选择手势GT1而选择的每个图形对象OB执行编辑。
应注意，计算装置100可以根据第一模式ME1以相同的方式操作，而不管文本对象OB是否实际上呈现在结构化文本部分202中。在变型中，当在第一模式ME1下执行步骤S7至S14时，在结构文本部分202中不显示文本对象OB。
如上所述，选择模块MD4被配置为根据由定位模块MD2在定位步骤S4(图6)中确定的起始点的位置根据第一模式ME1或第二模式ME2操作。上面参考图8至图14描述了特定示例，其中计算装置100根据第一模式ME1操作，从而允许在显示区域200中绘制选择路径210以选择结构化文本部分202的和块部分BL的任何图形对象OB。在第一模式ME1下，定位在结构化文本部分202内和块部分BL内并且至少部分地包含在所述选择区域中的任何图形对象OB因此可以通过用户选择手势GT1来选择。
现在参考图16至图17描述另一示例，其中计算装置100根据第二模式ME2操作，从而将选择路径210限制在给定的块部分BL(所谓的目标块部分BL)内，用户选择手势GT1在此处开始。因此防止选择所述目标块部分之外的任何图形对象OB。
更具体地，如图16所示，步骤S2、S4和S6的执行方式如前文已经关于图6所述。目前，假设对应于用户用输入表面104执行的用户选择手势GT1的开始的起始点PT1位于块部分BL内，即本示例中的块部分BL2。该块部分BL2构成本发明意义内的目标块部分。在检测到起始点PT1被定位在目标块部分BL2内时，计算装置100选择(S6，图6)第二模式ME2以执行对至少一个图形对象OB的选择。
在确定步骤S8(图6)中，计算装置100然后基于用户选择手势GT1并根据在S6中选择的模式ME2确定选择路径210。如已经描述的，该选择路径210在显示区域200中形成选择区域212。该选择路径210的确定可以在用户用输入表面104执行用户选择手势GT1时动态地进行。
如前面参考第一模式ME1所述，根据第二模式ME2操作的计算装置100确定(S8)由用户选择手势GT1定义的选择路径210的结束点PT2随时间的位置。当用户选择手势GT1在进行时，结束点PT2在显示区域200内移动。因此，计算装置100可以动态地确定选择路径210，所述选择路径对应于从起始点PT1开始的由结束点PT2的移动所定义的路径。
然而，根据选择的第二模式ME2，计算装置100在这种情况下将选择路径210限定(S8，图6)在目标块部分BL2内，以防止选择所述目标块部分BL2之外的任何图形对象OB。
换言之，由用户绘制的选择路径210由计算装置100限制或约束到目标块部分BL2中，所述目标块部分包含位于步骤S4中的起始点PT1。即使用户选择手势GT1移动到目标块部分BL2之外，计算装置100也会将选择路径210封锁在目标块部分BL2内，使得不能选择所述目标块部分之外的图形对象OB。在第二模式ME2下，可以因此仅进行对呈现在目标块部分BL2内的一个或多个图形对象OB(即，该示例中的OB8)的选择。
更具体地，如图16所示，用户可以通过与已经描述的输入表面104交互来执行用户选择手势GT1。在该示例中，该用户交互是在输入表面104上从在S4中检测到的起始点PT1开始的向前移动的接触点(或交互点)PT3。如在图16中可见，当计算装置100根据第二模式ME2操作时，用户在输入表面104上随时间应用的接触点的路径不一定与在S10中确定的选择路径210相同，但是仍然基于用户选择手势GT1确定选择路径210。在图16的示例中，用户选择手势GT1从目标块部分BL2之外的起始点PT1移动，如通过接触点PT3表示的。根据第二模式ME2，计算装置100动态地确定(S10)选择路径210，使得它保持限定在目标块部分BL2内。尽管被限制在目标块部分BL2中，但是选择路径210仍然随时间(在某种程度上)反映用户选择手势GT1(但用户选择手势GT1和选择路径210不相同)。选择路径212由目标块部分BL2的边界引导。
如图16中可见，在检测到用户选择手势GT1从目标块部分BL2移动到结构化文本部分202中时，计算装置100确定选择路径210，所述选择路径在其保持封锁在目标块部分BL2内的程度上大致反映用户选择手势GT1。
在图16所示的本示例中，选择路径210被确定为用户选择手势GT1沿目标块部分BL2的边界的投影，但是其他实施方案也是可能的。当接触点PT3在目标块部分BL2的外部和周围行进时，结束点PT2沿目标块部分BL2的边界对应于接触点PT3移动。
计算装置100然后在第一模式ME1下执行如已参考图8至图13描述的步骤S12至S20。
如已描述的，只要用户选择手势GT1在进行中，图形对象选择可以随时间变化。只要没有检测到(S18)提笔事件，计算装置100因此可以根据在步骤S6中选择的第二模式ME2随时间重复步骤S7至S14。通过重复步骤S7至S14，计算装置100基于当前选择路径210动态地更新(S12)选择区域212，从而还基于选择区域212更新(S14)图形对象选择。为此，可以更新数据结构113以保持对当前由用户选择手势GT1选择的一个或多个图形对象OB的最新选择。
如图17的示例中所示，在检测到用户选择手势GT1继续在结构化文本部分BL2内向前移动并且然后在曲率路径中向后漂移到目标块部分BL2中时，计算装置100动态地绘制(S10)限定在目标块部分BL2内的对应选择路径210，确定(S12)接合选择路径210的结束点PT2和起始点PT1的连接线214，确定(S12)由选择路径210和连接线214形成的选择区域212，并选择(S14)部分地包含在选择区域212内的图形对象OB8。结果，表示对图形对象OB8的选择的视觉反馈被提供在显示装置102上。
在上述实施方案中，在第一模式ME1和第二模式ME2下，在S18中检测到用户选择手势GT1结束之前，执行识别每个选择的图形对象OB的步骤S14(图6)。结果，可以在用户用输入表面104执行用户选择手势GT1时动态地识别(S14)当前选择对象OB。
在变型中，当第二模式ME2被实现(并且可能也在第一模式ME1下)时，识别步骤S14仅在用户选择手势GT1结束时执行。这意味着在第二模式ME2下操作的计算装置100在用户选择手势GT1仍在进行中时没有识别(S14)选择了哪个图形对象OB。正是在检测到(S18)用户选择手势GT1终止时，计算装置100才执行已描述的识别步骤S14。该变型允许节省由随时间(特别是用诸如数学公式、绘图等的图形对象)重复地识别当前选择而引起的资源成本。
此外，如图16的示例中所示，计算装置100可以被配置为基于选择路径210确定选择区域212，即使选择路径210形成直线(即，即使选择路径210与接合起始点PT1和结束点PT2的连接线214相同)。
如图18和图19的示例中所示，选择路径210和连接线214可以在显示区域200中由具有预定义笔划宽度W1(大于零)的两个相应数字墨水笔划表示，选择区域212由选择路径210和连接线214共同定义，使得所述选择区域212包括由选择210路径和连接线214所占据的区域。
例如，如图18所示，在选择路径210从起始点PT1到结束点PT2基本上形成直线的情况下，计算装置100可以在S12(图6)中确定选择区域212由选择路径210所占据的区域A1形成。换言之，选择路径210本身定义了由宽度为W1的数字墨水笔划形成的最小选择区域212。
在图19所示的示例中，选择区域212由以下共同形成：
-选择路径210的区域A2；
-连接线214的区域A8；以及
-由选择路径210和连接线214形成的区域。
在该示例中，S14(图6)中的选择因此基于区域相交(与线相交机制相反)。每个图形对象OB占据的区域也被考虑以在14中确定它是否至少部分地包含在选择区域212内。形成图形对象OB的全部或一部分的每个笔划例如具有宽度W1。目前，笔划220和222因此分别占据区域A6和A10。
因此，该示例中的笔划220在S14(图6)中被确定为选择的一部分，因为它被定位在选择区域212内。另外，笔划222也在S14(图6)中被确定为选择的一部分，因为它部分地包含在形成选择区域212的一部分的区域A8中。换言之，由于笔划214的区域A8和笔划222的区域A10共同共享的区域相交A12而选择笔划222。
如先前在特定实施方案中所描述的，至少部分地被定位在选择区域212内的每个图形对象OB被计算装置100选择作为当前选择的一部分。在特定实施方案中，即使块部分BL是空的(即不包含任何图形对象OB)，则在检测到选择区域212与块部分的边界有相交时仍然选择整个空块部分BL。
本发明允许在计算装置上以灵活和高效的方式选择和编辑手绘图形对象。两种不同的操作模式ME1/ME2是可操作的，以允许用户对其可能希望为任何适当目的(诸如编辑等)而操纵的任何图形对象进行简单且准确的选择。特别地，第一模式ME1允许自由且容易地选择显示区域中呈现的任何图形对象OB，因为在执行用户选择部分时没有对选择路径施加定位限制。另一方面，第二模式ME2允许在用户选择手势已经开始的特定块部分内进行受限选择，从而即使用户执行的用户选择手势不准确也允许快速选择。
图形对象的选择可以在不需要复杂或难以记住的手势的情况下进行。用户可以容易地记住执行图形对象选择的过程。
此外，如前所述，计算装置100可以存储分配给显示区域200中呈现的图形对象OB中的每一者的相应排名RK，这些排名RK根据排名顺序排序(图2)。在特定实施方案中，选择模块MD4被配置为：
-确定在选择区域内当前在S14(图6)中选择的每个图形对象OB的排名；
-根据所述排名顺序识别具有包括在两个选择的图形对象OB的相应排名RK之间的排名RK的任何尚未选择的图形对象OB；以及-将每个已识别的尚未选择的图形对象OB包括到选择中。
计算装置100可以例如基于每个选择的图形对象OB的相应排名RK来确定当前选择中的第一个和最后一个图形对象OB。假设图形对象OB按照以下顺序排名：OB1、OB2、OB5、OB8、OB10和OB11，如果计算装置100检测到图形对象OB1、OB5和OB8被选择，则由此推断出按照预定顺序的第一个和最后一个图形对象分别是OB1和OB8，并且因此将OB2包括在选择中，即使它没有至少部分地包含在选择区域212中。将在排名顺序中具有在两个选择的图形对象之间的排名的任何尚未选择的图形对象添加到选择中，有助于用户选择他/她可能感兴趣的所有图形对象OB。
在特定示例中，每个图形对象OB在显示区域200内以从上到下和从左到右的特定顺序排名。
应注意，在一些替代实现方式中，框中标注的功能可能不按图中标注的顺序出现。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，或者这些框可以以替代顺序执行，这取决于所涉及的功能。
已经在特定实施方案中描述了本发明，很明显，根据所附权利要求的范围，在本领域技术人员的能力范围内，易于进行多种修改和实施方案。特别地，技术人员可以设想落入所附权利要求范围内的本文档中描述的各种实施方案的任何和所有组合和变化。

Claims (15)

1.一种计算装置(100)，其包括：
-输入表面(104)，所述输入表面用于手绘包括文本和非文本对象的图形对象(OB)；
-显示装置(102)，所述显示装置用于在显示区域(200)中以数字墨水显示多个所述图形对象，所述显示区域包括：
o结构化文本部分(202)，所述结构化文本部分包含根据引导行模式排列的至少一个文本对象，和
o至少一个块部分(BL)，所述至少一个块部分与所述结构化文本部分不同，所述至少一个块部分包含至少一个文本或非文本对象；
-定位模块(MD2)，所述定位模块用于在所述显示区域中定位起始点(PT1)，从所述起始点开始用所述输入表面执行的用户选择手势(GT1)以定义选择区域；以及
-选择模块(MD4)，所述选择模块用于基于所述用户选择手势确定在所述显示区域中形成所述选择区域的选择路径(210)，并且用于选择至少部分地包含在所述选择区域内的每个图形对象，所述选择模块被配置为根据所述起始点的所述定位进行操作，使得：
o如果所述起始点位于所述结构化文本部分(202)中，所述选择模块根据第一模式(ME1)通过允许在所述显示区域中绘制所述选择路径以选择所述结构化文本部分的和所述至少一个块部分的任何图形对象进行操作；并且
o如果所述起始点位于所述至少一个块部分中的目标块部分(BL2)内，所述选择模块根据第二模式(ME2)通过将所述选择路径限制在所述目标块部分内以防止选择所述目标块部分之外的任何图形对象进行操作。
2.根据权利要求1所述的计算装置，其中在所述第一模式下，所述选择模块被配置为选择所述结构化文本部分内和所述至少一个块部分内的任何图形对象，所述图形对象至少部分地包含在所述选择区域中。
3.根据权利要求1或2所述的计算装置，其中在所述第二模式下，所述选择模块被配置为仅授权选择所述目标块部分内的任何图形对象。
4.根据权利要求1至3中任一项所述的计算装置，其中所述选择模块(MD4)被配置为确定接合所述选择路径的所述起始点(PT1)和结束点(PT2)的连接线(214)，从而形成所述选择区域。
5.根据权利要求4所述的计算装置，其中所述选择模块(MD4)被配置为：
-在仍在绘制所述选择路径时检测当前结束点；
-动态地定义接合所述起始点和所述当前结束点的所述连接线；
-确定由所述选择路径和所述连接线形成的所述选择区域；以及
-选择至少部分地包含在所述选择区域中的每个图形对象。
6.根据权利要求4或5所述的计算装置，其中所述选择路径(210)和所述连接线(214)在所述显示装置上由具有预定义笔划宽度的两个相应数字墨水笔划表示，所述选择区域(212)由所述选择路径和所述连接线共同定义，使得所述选择区域包括由所述选择路径和所述连接线占据的区域。
7.根据权利要求1至6中任一项所述的计算装置，其中所述选择模块(MD4)被配置为在所述第一模式和所述第二模式下选择在所述选择区域内呈现的相对比例超过预定阈值的每个图形对象(OB)。
8.根据权利要求1至7中任一项所述的计算装置，其中所述显示装置被配置为在绘制所述选择路径时，为当前由所述用户选择手势选择的每个图形对象生成视觉反馈(FB)。
9.根据权利要求1至8中任一项所述的计算装置，其包括编辑模块(MD6)，所述编辑模块用于将由所述选择模块选择的每个图形对象作为块共同编辑。
10.根据权利要求1至9中任一项所述的计算装置，其中所述用户选择手势是用户的身体部位与所述输入表面的交互，所述交互导致在所述显示装置上沿所述选择路径生成数字墨水笔划。
11.根据权利要求1至10中任一项所述的计算装置，其中所述至少一个块部分包括以下各项中的至少一项：
-绘图块部分(BL3)，所述绘图块部分包含至少一个绘图对象；
-数学块部分(BL1)，所述数学块部分包含表示数学公式的至少一个数学对象；以及
-图示块部分(BL3)，所述图示块部分包含文本和非文本对象。
12.根据权利要求1至11中任一项所述的计算装置，其包括存储模块(MD8)，所述存储模块用于存储在所述显示区域中呈现的所述图形对象中的每一者的相应排名(RK)，所述图形对象的所述排名根据排名顺序排序，
其中所述选择模块被配置为：
-确定当前在所述选择区域内选择的每个图形对象的所述排名；
-根据所述排名顺序识别具有包括在两个选择的图形对象的所述相应排名之间的排名的任何尚未选择的图形对象；以及
-将每个识别的图形对象包括到所述选择中。
13.根据权利要求1至12中任一项所述的计算装置，其中所述结构化文本部分形成具有用于引导文本输入的引导行的所述显示区域的背景，并且其中所述至少一个块部分显示在所述背景之上。
14.一种由计算装置(100)实现的方法，其包括：
-在显示装置的显示区域中以数字墨水显示(S2)多个图形对象，所述显示区域包括：
o结构化文本部分，所述结构化文本部分包含根据引导行模式排列的至少一个文本对象，和
o至少一个块部分，所述至少一个块部分与所述结构化文本部分不同，所述至少一个块部分包含至少一个文本或非文本对象；
-在所述显示区域中定位(S4)起始点，从所述起始点开始用输入表面执行的用户选择手势以定义选择区域；
-基于所述用户选择手势确定(S6)在所述显示区域中形成所述选择区域的选择路径；以及
-选择(S14)至少部分地包含在所述选择区域内的每个图形对象；
其中所述选择路径是根据所述定位的结果确定的，使得：
-如果所述起始点位于所述结构化文本部分中，根据第一模式(ME1)通过允许在所述显示区域中绘制所述选择路径以选择所述结构化文本部分的和所述至少一个块部分的任何图形对象进行操作；并且
-如果所述起始点位于所述至少一个块部分中的目标块部分内，根据第二模式(ME2)通过将所述选择路径限制在所述目标块部分内以防止选择所述目标块部分之外的任何图形对象进行操作。
15.一种计算机程序(112)，其包括用于在所述程序由计算机执行时执行权利要求14所述的方法的步骤的指令。
CN202080062571.1A 2019-09-19 2020-09-18 用于选择图形对象的方法和对应装置 Active CN114365075B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19306135.5A EP3796145B1 (en) 2019-09-19 2019-09-19 A method and correspond device for selecting graphical objects
EP19306135.5 2019-09-19
PCT/EP2020/076080 WO2021053130A1 (en) 2019-09-19 2020-09-18 A method and correspond device for selecting graphical objects

Publications (2)

Publication Number Publication Date
CN114365075A true CN114365075A (zh) 2022-04-15
CN114365075B CN114365075B (zh) 2023-07-18

Family

ID=68242589

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080062571.1A Active CN114365075B (zh) 2019-09-19 2020-09-18 用于选择图形对象的方法和对应装置

Country Status (6)

Country Link
US (1) US10996843B2 (zh)
EP (1) EP3796145B1 (zh)
JP (1) JP7388645B2 (zh)
KR (1) KR102677199B1 (zh)
CN (1) CN114365075B (zh)
WO (1) WO2021053130A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3561656A1 (en) * 2018-04-23 2019-10-30 Koninklijke Philips N.V. Precise positioning of a marker on a display
EP3736677A1 (en) * 2019-05-10 2020-11-11 MyScript A method and corresponding device for selecting and editing handwriting input elements
US11631206B2 (en) * 2021-06-10 2023-04-18 Adobe Inc. Glyph selection tool for digital text content
US20230315271A1 (en) * 2022-03-18 2023-10-05 Sony Group Corporation Collaborative whiteboard for meetings
US20230377223A1 (en) * 2022-05-18 2023-11-23 Snap Inc. Hand-tracked text selection and modification
WO2024115177A1 (en) * 2022-12-02 2024-06-06 Myscript Selecting handwritten objects

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1526100A (zh) * 2001-07-12 2004-09-01 IP�����ɷ����޹�˾ 集成电路装置
CN1599899A (zh) * 2001-11-30 2005-03-23 快闪银科技公司 用于具有固定、专用计算元件的自适应集成电路的配置的装置、***及方法
US20090138830A1 (en) * 2005-06-20 2009-05-28 Shekhar Ramachandra Borgaonkar Method, article, apparatus and computer system for inputting a graphical object
US20140143721A1 (en) * 2012-11-20 2014-05-22 Kabushiki Kaisha Toshiba Information processing device, information processing method, and computer program product
US20150278983A1 (en) * 2014-04-01 2015-10-01 Nec Corporation Terminal apparatus, electronic whiteboard system, input assist method for electronic whiteboard, and medium
US20170060819A1 (en) * 2015-08-25 2017-03-02 Myscript System and method of digital note taking

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2749020B2 (ja) 1991-11-14 1998-05-13 日立ソフトウエアエンジニアリング株式会社 ダイアグラム認識システム
EP0667567B1 (en) 1993-12-30 2001-10-17 Xerox Corporation Apparatus and method for supporting the implicit structure of freeform lists, outlines, text, tables, and diagrams in a gesture-based input system and editing system
US5847712A (en) 1995-01-03 1998-12-08 University Of Washington Method and system for generating graphic illustrations according to a stroke texture and a tone
GB9701793D0 (en) 1997-01-29 1997-03-19 Gay Geoffrey N W Means for inputting characters or commands into a computer
CA2392446C (en) 1999-05-27 2009-07-14 America Online Incorporated Keyboard system with automatic correction
US7298903B2 (en) 2001-06-28 2007-11-20 Microsoft Corporation Method and system for separating text and drawings in digital ink
US20030215145A1 (en) 2002-05-14 2003-11-20 Microsoft Corporation Classification analysis of freeform digital ink input
US7330184B2 (en) 2002-06-12 2008-02-12 Smart Technologies Ulc System and method for recognizing connector gestures
US7218779B2 (en) 2003-01-21 2007-05-15 Microsoft Corporation Ink divider and associated application program interface
US7218783B2 (en) 2003-06-13 2007-05-15 Microsoft Corporation Digital ink annotation process and system for recognizing, anchoring and reflowing digital ink annotations
US7616333B2 (en) 2003-08-21 2009-11-10 Microsoft Corporation Electronic ink processing and application programming interfaces
US7631001B2 (en) 2003-08-21 2009-12-08 Microsoft Corporation Electronic ink processing
US7352902B2 (en) 2003-09-24 2008-04-01 Microsoft Corporation System and method for detecting a hand-drawn object in ink input
US7324691B2 (en) 2003-09-24 2008-01-29 Microsoft Corporation System and method for shape recognition of hand-drawn objects
US20050273761A1 (en) 2004-06-07 2005-12-08 The Mathworks, Inc. Freehand system and method for creating, editing, and manipulating block diagrams
US7496232B2 (en) 2004-06-23 2009-02-24 Microsoft Corporation Distinguishing text from non-text in digital ink
US7440616B2 (en) 2004-09-21 2008-10-21 Microsoft Corporation System and method for recognition of a hand-drawn chart in ink input
US7394935B2 (en) 2004-09-21 2008-07-01 Microsoft Corporation System and method for editing a hand-drawn chart in ink input
US7904810B2 (en) 2004-09-21 2011-03-08 Microsoft Corporation System and method for editing a hand-drawn list in ink input
US7512273B2 (en) 2004-10-21 2009-03-31 Microsoft Corporation Digital ink labeling
US7643687B2 (en) 2005-03-18 2010-01-05 Microsoft Corporation Analysis hints
EP1783593A3 (en) 2005-10-07 2012-12-19 Sony Corporation Information processing apparatus with a user interface comprising a touch panel, method and program
US20080195931A1 (en) 2006-10-27 2008-08-14 Microsoft Corporation Parsing of ink annotations
US8014607B2 (en) 2007-03-23 2011-09-06 Palo Alto Research Center Incorporated Method and apparatus for creating and editing node-link diagrams in pen computing systems
US7945097B2 (en) 2007-05-21 2011-05-17 Microsoft Corporation Classifying digital ink into a writing or a drawing
US8718375B2 (en) 2010-12-03 2014-05-06 Massachusetts Institute Of Technology Sketch recognition system
US8782549B2 (en) 2012-10-05 2014-07-15 Google Inc. Incremental feature-based gesture-keyboard decoding
US9171204B2 (en) 2012-12-12 2015-10-27 Qualcomm Incorporated Method of perspective correction for devanagari text
US20140313216A1 (en) 2013-04-18 2014-10-23 Baldur Andrew Steingrimsson Recognition and Representation of Image Sketches
KR102183448B1 (ko) 2013-04-26 2020-11-26 삼성전자주식회사 사용자 단말 장치 및 그 디스플레이 방법
KR102199193B1 (ko) 2014-01-22 2021-01-06 삼성전자주식회사 핸드라이팅 정보 운용 방법 및 이를 지원하는 전자 장치
KR20160062565A (ko) * 2014-11-25 2016-06-02 삼성전자주식회사 디바이스 및 디바이스의 필기 컨텐트 제공 방법
US20170068868A1 (en) 2015-09-09 2017-03-09 Google Inc. Enhancing handwriting recognition using pre-filter classification
US10643067B2 (en) 2015-10-19 2020-05-05 Myscript System and method of handwriting recognition in diagrams
US10248635B2 (en) 2016-02-29 2019-04-02 Myscript Method for inserting characters in a character string and the corresponding digital service
US10802673B2 (en) * 2017-08-11 2020-10-13 Salesforce.Com, Inc. Multi-selection on a chart
KR20190027633A (ko) * 2017-09-07 2019-03-15 엠플레어 주식회사 전자 동화책 콘텐츠 제공 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1526100A (zh) * 2001-07-12 2004-09-01 IP�����ɷ����޹�˾ 集成电路装置
CN1599899A (zh) * 2001-11-30 2005-03-23 快闪银科技公司 用于具有固定、专用计算元件的自适应集成电路的配置的装置、***及方法
CN101482859A (zh) * 2001-11-30 2009-07-15 Qst控股公司 自适应配置***
US20090138830A1 (en) * 2005-06-20 2009-05-28 Shekhar Ramachandra Borgaonkar Method, article, apparatus and computer system for inputting a graphical object
US20140143721A1 (en) * 2012-11-20 2014-05-22 Kabushiki Kaisha Toshiba Information processing device, information processing method, and computer program product
US20150278983A1 (en) * 2014-04-01 2015-10-01 Nec Corporation Terminal apparatus, electronic whiteboard system, input assist method for electronic whiteboard, and medium
US20170060819A1 (en) * 2015-08-25 2017-03-02 Myscript System and method of digital note taking

Also Published As

Publication number Publication date
KR102677199B1 (ko) 2024-06-20
EP3796145B1 (en) 2024-07-03
CN114365075B (zh) 2023-07-18
US10996843B2 (en) 2021-05-04
KR20220061985A (ko) 2022-05-13
WO2021053130A1 (en) 2021-03-25
JP7388645B2 (ja) 2023-11-29
US20210089801A1 (en) 2021-03-25
EP3796145A1 (en) 2021-03-24
JP2022548494A (ja) 2022-11-21

Similar Documents

Publication Publication Date Title
CN114365075B (zh) 用于选择图形对象的方法和对应装置
US10664695B2 (en) System and method for managing digital ink typesetting
CN108369484B (zh) 引导手写图输入的***和方法
JP7105695B2 (ja) デジタルインク対話性のためのシステムおよび方法
CN108475325B (zh) 用于识别手写图连接符的***、方法及计算机可读介质
CN108369637B (zh) 用于美化数字墨水的***和方法
US11687618B2 (en) System and method for processing text handwriting in a free handwriting mode
US11429259B2 (en) System and method for selecting and editing handwriting input elements
EP3491580B1 (en) System and method for beautifying superimposed digital ink
US11393231B2 (en) System and method for text line extraction
US20240134507A1 (en) Modifying digital content including typed and handwritten text
JP7448132B2 (ja) 手書きの構造分解
WO2023170315A1 (en) Merging text blocks
WO2024110354A1 (en) Setting font size in an unconstrained canvas

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant