CN114385284A - 批注的显示方法及电子设备 - Google Patents

Abstract

本申请公开了批注的显示方法及电子设备，涉及电子信息技术领域，能够解决对显示界面上的内容进行批注时，批注与对应内容的错位问题。本申请中，电子设备将用户通过批注图层输入的对界面内容的批注绑定至对应的界面内容并保存该绑定关系，以及根据保存的绑定关系在界面内容对应的位置渲染批注。例如，在显示界面的对应位置显示对应的批注，或者在批注图层上的对应位置显示对应的批注。通过该方案，可以避免在显示界面窗口变化、文字大小、图片大小或内容增删等界面变化时，由于用户输入的批注与显示界面的变化不同步导致的批注与对应显示界面内容的错位的问题。

Description

批注的显示方法及电子设备

本申请要求于2020年10月22日提交国家知识产权局、申请号为202011144234.5、发明名称为“批注的显示方法及电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。

技术领域

本申请实施例涉及电子信息技术领域，尤其涉及批注的显示方法及电子设备。

背景技术

随着触摸屏技术的发展，越来越多的电子设备支持用户对显示界面上的内容作批注。例如支持用户采用触控方式对文字内容进行批注等，即对文字内容手写批注。例如，电子设备可以支持用户采用触控方式对备忘录界面、办公应用等界面上的任意文字内容进行删除、下划线、高亮、圈选以及文字批注等。

以对备忘录界面上的文字内容手写批注为例，为了将批注与备忘录界面上的具体文字内容相关联，作为一种实现方法，电子设备可以通过在备忘录界面上增加手写图层，供用户在手写图层上对对应文字内容作批注。但是，若备忘录窗口发生变化(如大小和/或形状发生变化)、备忘录文字大小发生变化或者文字内容等发生变化，采用上述方法，手写图层中的批注所对应的文字内容会发生错位。

发明内容

本申请提供批注的显示方法及电子设备，能够解决对显示界面上的内容进行批注时，因显示界面窗口变化、文字大小、图片大小或内容增删等界面变化导致的批注与对应内容的错位问题。

为达到上述目的，本申请实施例采用如下技术方案：

第一方面，提供一种批注的显示方法，该方法包括：电子设备在接收到用户的第一操作时，在显示界面上叠加显示批注图层；电子设备接收用户在上述批注图层上的用于批注显示界面上的内容的第二操作；电子设备识别第二操作在显示界面上对应的一个或多个目标，以及确定该一个或多个目标的批注样式；其中，批注样式包括批注类型；电子设备保存第二操作对应的一个或多个目标的批注样式；电子设备根据保存的批注样式，显示显示界面上一个或多个目标对应的批注。

上述第一方面提供的方案，电子设备将用户通过批注图层输入的对界面内容的批注绑定至对应的界面内容并保存该绑定关系，以及根据保存的绑定关系在界面内容对应的位置渲染批注。例如，在显示界面的对应位置显示对应的批注，或者在批注图层上的对应位置显示对应的批注。通过该方案，可以避免在显示界面窗口发生变化、文字大小发生变化、图片大小或者内容等发生变化时，由于用户输入的批注与显示界面的变化不同步，导致的批注与对应显示界面内容的错位的问题。

在一种可能的实现方式中，上述方法还包括：响应于接收到用户的第三操作，电子设备根据保存的上述批注样式，显示显示界面上一个或多个目标对应的批注；其中，用户的第三操作包括以下中的一种或多种：用户改变显示界面窗口大小的操作、用户改变显示界面窗口形状的操作、用户改变显示界面上内容的操作、用户改变显示界面上内容尺寸的操作。本申请提供的方案通过根据保存的批注样式与界面内容的绑定关系在界面内容对应的位置渲染批注，可以避免在显示界面窗口发生变化、文字大小发生变化、图片大小或者内容等发生变化时，由于用户输入的批注与显示界面的变化不同步，导致的批注与对应显示界面内容的错位的问题。

在一种可能的实现方式中，上述电子设备根据保存的批注样式，显示显示界面上一个或多个目标对应的批注，包括：电子设备根据保存的批注样式，显示更新后的显示界面；其中，更新后的显示界面包括一个或多个目标对应的批注。本申请提供的方案支持电子设备根据保存的批注样式与界面内容的绑定关系，在显示界面的对应位置显示对应的批注。

在一种可能的实现方式中，上述电子设备根据保存的批注样式，显示显示界面上一个或多个目标对应的批注，包括：电子设备根据保存的批注样式，在批注图层上显示批注；其中，批注图层上显示的批注与显示界面上的一个或多个目标对应。本申请提供的方案支持电子设备根据保存的批注样式与界面内容的绑定关系，在批注图层上的对应位置显示对应的批注。

在一种可能的实现方式中，上述第二操作在显示界面上对应的一个或多个目标包括一个或多个文字，和/或一个或多个图片。示例性的，本申请中用户输入的批注可以是针对显示界面上的某些文字，也可以是针对显示界面上的某些图片等。

在一种可能的实现方式中，上述批注类型包括以下中的任一种：高亮线、下划线、删除线、圈选、图形标记或文字批注。本申请提供的方案可以支持用户对界面内容的高亮、下划线、删除、圈选、图形标记或文字批注等任意类型的批注。

在一种可能的实现方式中，上述电子设备识别第二操作在显示界面上对应的一个或多个目标，包括：电子设备获取第一坐标信息，第一坐标信息是第二操作对应的操作轨迹在预设坐标系中的坐标信息；电子设备获取第二坐标信息；第二坐标信息是显示界面上的所有内容在预设坐标系中的坐标信息；电子设备确定与第一坐标信息匹配的第二坐标信息对应的一个或多个目标。电子设备通过根据用户输入的第二操作对应的坐标信息与显示界面上界面内容的坐标信息的匹配情况，确定第二操作在显示界面上对应的一个或多个目标，准确度高且易于实现。

在一种可能的实现方式中，在电子设备保存第二操作对应的一个或多个目标的批注样式之前，上述方法还包括：电子设备修正第二操作对应的批注。本申请中，电子设备可以对用户输入的批注进行修正(或美化)，以得到可观性更强的批注，提供用户的使用体验。

在一种可能的实现方式中，上述电子设备修正第二操作对应的批注：包括：电子设备将用户通过第二操作输入的线型修正为对应的标准线型；和/或，电子设备将用户通过第二操作输入的图形修正为对应的标准图形；和/或，电子设备将用户通过第二操作输入的文字批注修正为标准字体文字。示例性的，电子设备可以将用户输入的线型批注修正为对应的标准线性、将用户输入的图形批注修正为对应的标准图形、将用户输入的文字批注修正为标准字体文字，以得到可观性更强的批注，提供用户的使用体验。

在一种可能的实现方式中，上述批注样式还包括高亮线、下划线、删除线、圈选或图形标记的线型，或文字批注与对应目标之间的连接线的线型。

在一种可能的实现方式中，上述批注样式还包括高亮线、下划线、删除线、圈选、图形标记或文字批注与对应目标之间的相对位置。

在一种可能的实现方式中，上述方法还包括：响应于接收到用户的第四操作，电子设备更新所述批注样式；其中，第四操作是用户对通过第二操作输入的批注的编辑操作。本申请提供的方案中，电子设备可以根据用户对批注的编辑操作，实施更新批注样式与界面内容的绑定关系。以便在显示界面发生任何变化时，都可以保证批注与对应显示界面内容不错位。

在一种可能的实现方式中，上述第一操作包括：用户选择虚拟手写笔笔型的操作或用户选择批注款式的操作；其中，上述虚拟手写笔笔型包括虚拟铅笔、虚拟钢笔、虚拟圆珠笔或虚拟马克笔；上述批注款式包括：高亮、下划线、删除、圈选、图形标记或文字批注。

在一种可能的实现方式中，上述第二操作包括用户在一个或多个目标上方、下方、周围或者目标上的滑动操作。

第二方面，提供一种电子设备，该电子设备包括：检测单元、显示单元、处理单元和存储单元；其中，检测单元用于，检测用户的第一操作和第二操作；其中，第一操作用于触发所述显示单元在显示界面上叠加显示批注图层；第二操作是用户在批注图层上的操作；第二操作用于批注显示界面上的内容；处理单元用于，识别第二操作在所显示界面上对应的一个或多个目标，以及确定该一个或多个目标的批注样式；其中，批注样式包括批注类型；存储单元用于，保存第二操作对应的一个或多个目标的批注样式；显示单元还用于，根据保存的批注样式，显示显示界面上一个或多个目标对应的批注。

上述第二方面提供的方案，电子设备将用户通过批注图层输入的对界面内容的批注绑定至对应的界面内容并保存该绑定关系，以及根据保存的绑定关系在界面内容对应的位置渲染批注。例如，在显示界面的对应位置显示对应的批注，或者在批注图层上的对应位置显示对应的批注。通过该方案，可以避免在显示界面窗口发生变化、文字大小发生变化、图片大小或者内容等发生变化时，由于用户输入的批注与显示界面的变化不同步，导致的批注与对应显示界面内容的错位的问题。

在一种可能的实现方式中，上述检测单元还用于，检测用户的第三操作；上述显示单元还用于，响应于检测单元检测到第三操作，根据保存的批注样式，显示显示界面上一个或多个目标对应的批注；其中，用户的第三操作包括以下中的一种或多种：用户改变显示界面窗口大小的操作、用户改变显示界面窗口形状的操作、用户改变显示界面上内容的操作、用户改变显示界面上内容尺寸的操作。本申请提供的方案通过根据保存的批注样式与界面内容的绑定关系在界面内容对应的位置渲染批注，可以避免在显示界面窗口发生变化、文字大小发生变化、图片大小或者内容等发生变化时，由于用户输入的批注与显示界面的变化不同步，导致的批注与对应显示界面内容的错位的问题。

在一种可能的实现方式中，上述显示单元具体用于，根据保存的批注样式，显示更新后的显示界面；其中，所述更新后的显示界面包括上述一个或多个目标对应的批注。本申请提供的方案支持电子设备根据保存的批注样式与界面内容的绑定关系，在显示界面的对应位置显示对应的批注。

在一种可能的实现方式中，上述显示单元具体用于，根据保存的批注样式，在所述图层上显示批注；其中，批注图层上显示的批注与显示界面上的一个或多个目标对应。本申请提供的方案支持电子设备根据保存的批注样式与界面内容的绑定关系，在批注图层上的对应位置显示对应的批注。

在一种可能的实现方式中，上述第二操作在显示界面上对应的一个或多个目标包括一个或多个文字，和/或一个或多个图片。示例性的，本申请中用户输入的批注可以是针对显示界面上的某些文字，也可以是针对显示界面上的某些图片等。

在一种可能的实现方式中，上述批注类型包括以下中的任一种：高亮线、下划线、删除线、圈选、图形标记或文字批注。本申请提供的方案可以支持用户对界面内容的高亮、下划线、删除、圈选、图形标记或文字批注等任意类型的批注。

在一种可能的实现方式中，上述处理单元具体用于，获取第一坐标信息，第一坐标信息是第二操作对应的操作轨迹在预设坐标系中的坐标信息；获取第二坐标信息；第二坐标信息是显示界面上的所有内容在预设坐标系中的坐标信息；确定与第一坐标信息匹配的第二坐标信息对应的一个或多个目标。电子设备通过根据用户输入的第二操作对应的坐标信息与显示界面上界面内容的坐标信息的匹配情况，确定第二操作在显示界面上对应的一个或多个目标，准确度高且易于实现。

在一种可能的实现方式中，上述处理单元还用于，修正第二操作对应的批注。本申请中，电子设备可以对用户输入的批注进行修正(或美化)，以得到可观性更强的批注，提供用户的使用体验。

在一种可能的实现方式中，上述处理单元修正第二操作对应的批注，包括：处理单元将用户通过第二操作输入的线型修正为对应的标准线型；和/或，处理单元将用户通过第二操作输入的图形修正为对应的标准图形；和/或，处理单元将用户通过第二操作输入的文字批注修正为标准字体文字。示例性的，电子设备可以将用户输入的线型批注修正为对应的标准线性、将用户输入的图形批注修正为对应的标准图形、将用户输入的文字批注修正为标准字体文字，以得到可观性更强的批注，提供用户的使用体验。

在一种可能的实现方式中，上述批注样式还包括高亮线、下划线、删除线、圈选或图形标记的线型，或文字批注与对应目标之间的连接线的线型。

在一种可能的实现方式中，上述批注样式还包括高亮线、下划线、删除线、圈选、图形标记或文字批注与对应目标之间的相对位置。

在一种可能的实现方式中，上述检测单元还用于，检测用户的第四操作；其中，第四操作是用户对通过第二操作输入的批注的编辑操作；处理单元还用于，在检测单元检测到第四操作时，更新批注样式。本申请提供的方案中，电子设备可以根据用户对批注的编辑操作，实施更新批注样式与界面内容的绑定关系。以便在显示界面发生任何变化时，都可以保证批注与对应显示界面内容不错位。

在一种可能的实现方式中，上述第一操作包括：用户选择虚拟手写笔笔型的操作或用户选择批注款式的操作；其中，上述虚拟手写笔笔型包括虚拟铅笔、虚拟钢笔、虚拟圆珠笔或虚拟马克笔；上述批注款式包括：高亮、下划线、删除、圈选、图形标记或文字批注。

在一种可能的实现方式中，上述第二操作包括用户在一个或多个目标上方、下方、周围或者目标上的滑动操作。

第三方面，提供一种电子设备，该电子设备包括：一个或多个传感器、显示器、存储器和处理器；其中，存储器包括程序指令代码，当处理器执行所该程序指令代码时，电子设备执行如第一方面中任一种可能的实现方式中的方法。

第四方面，提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机执行指令，该计算机执行指令被处理器执行时实现如第一方面中任一种可能的实现方式中的方法。

第五方面，提供一种芯片***，该芯片***包括处理器、存储器，存储器中存储有指令；所述指令被所述处理器执行时，实现如第一方面中任一种可能的实现方式中的方法。该芯片***可以由芯片构成，也可以包含芯片和其他分立器件。

第六方面，提供一种计算机程序产品，当其在计算机上运行时，使得实现如第一方面中任一种可能的实现方式中的方法。

附图说明

图1为本申请实施例提供的一种电子设备的硬件结构示意图；

图2为本申请实施例提供的一种电子设备的软件结构示意图；

图3为一种常规的渲染文字内容的手写批注的示例图；

图4为本申请实施例提供的几种手写批注示例图；

图5为本申请实施例提供的一种批注的显示方法流程图；

图6为本申请实施例提供的两种用于执行第一操作的界面示例图；

图7为本申请实施例提供的另一种批注的显示方法流程图；

图8为本申请实施例提供的一种电子设备的预设坐标系的示例图；

图9为本申请实施例提供的一种电子设备显示显示界面中一个或多个文字对应的批注的流程图；

图10为本申请实施例提供的三种电子设备渲染手写批注的示例图；

图11为本申请实施例提供的第三种批注的显示方法流程图；

图12为本申请实施例提供的电子设备未修正手写批注和修正手写批注的对比图；

图13为本申请实施例提供的一种电子设备的结构框图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述。其中，在本申请实施例的描述中，除非另有说明，“/”表示或的意思，例如，A/B可以表示A或B；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，在本申请实施例的描述中，“多个”是指两个或多于两个。

以下，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。

本申请实施例提供一种批注的显示方法，该方法应用于对显示界面上的内容的批注的显示过程中。例如，该方法可以用于对显示界面上的文字内容的手写批注的显示过程中。其中，本申请实施例中的手写批注可以包括但不限于用户通过手指在电子设备触摸屏上输入的批注，用户使用触控笔在电子设备触摸屏上输入的批注等。

在本申请实施例中，用于显示显示界面和批注的电子设备可以是具有触摸屏的电子设备。例如，智能手机，上网本、平板电脑、智能手表、智能手环、电话手表、智能相机、掌上电脑、个人计算机(personal computer，PC)、个人数字助理(personal digitalassistant，PDA)、便携式多媒体播放器(portable multimedia player，PMP)、(augmentedreality，AR)/虚拟现实(virtual reality，VR)设备、电视机、投影设备或人机交互场景中的体感游戏机等。或者，电子设备还可以是其他类型或结构的具有触摸屏的电子设备，本申请不限定。

请参考图1，图1以智能手机为例，示出了本申请实施例提供的一种电子设备的硬件结构示意图。如图1所示，电子设备可以包括处理器110，存储器(包括外部存储器接口120和内部存储器121)，通用串行总线(universal serialbus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriberidentificationmodule，SIM)卡接口195等。其中传感器模块180可以包括压力传感器，陀螺仪传感器，气压传感器，磁传感器，加速度传感器，距离传感器，接近光传感器，指纹传感器，温度传感器，触摸传感器，环境光传感器，骨传导传感器等。

可以理解的是，本发明实施例示意的结构并不构成对电子设备的具体限定。在本申请另一些实施例中，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。

处理器110可以包括一个或多个处理单元。例如：处理器110可以包括应用处理器(applicationprocessor，AP)，调制解调处理器，图形处理器(graphics processing unit，GPU)，图像信号处理器(image signal processor，ISP)，飞行控制器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-networkprocessing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。

处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了***的效率。

在本申请实施例中，处理器110可以用于识别接收到的用户第一操作和第二操作在所述显示界面上对应的一个或多个目标，以及确定上述一个或多个目标的批注样式。在一些实施例中，处理器110还可以用于根据接收到的用户的第三操作，支持电子设备根据电子设备保存的批注样式，重新渲染显示界面。

在一些实施例中，处理器110可以包括一个或多个接口。

充电管理模块140用于从充电器接收充电输入。

电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，显示屏194，摄像组件193，和无线通信模块160等供电。

电子设备的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。天线1和天线2用于发射和接收电磁波信号。

移动通信模块150可以提供应用在电子设备上的包括2G/3G/4G/5G等无线通信的解决方案。

调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。

无线通信模块160可以提供应用在电子设备上的包括无线局域网(wirelesslocal area networks，WLAN)(如WiFi网络)，蓝牙BT，全球导航卫星***(globalnavigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。

在一些实施例中，电子设备的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备可以通过无线通信技术与网络以及其他设备通信。

电子设备通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。

显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emittingdiode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emittingdiode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot lightemitting diodes，QLED)等。在一些实施例中，电子设备可以包括1个或N个显示屏194，N为大于1的正整数。

在本申请实施例中，GPU可以用于渲染显示界面，对应的，显示屏194可以用于显示GPU渲染的显示界面。进一步的，GPU还可以用于根据用户的第一操作和第二操作在显示界面上叠加渲染批注图层，对应的，显示屏194还可以用于在显示界面上叠加显示GPU渲染的批注图层。在一些实施例中，GPU还可以用于在接收到用户的第三操作时，根据电子设备保存的批注样式，重新渲染显示界面，对应的，显示屏194还可以用于重新显示GPU重新渲染的显示界面。

电子设备可以通过ISP，摄像组件193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。

外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展电子设备的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。

内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作***，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。处理器110通过运行存储在内部存储器121的指令，和/或存储在设置于处理器中的存储器的指令，执行电子设备的各种功能应用以及数据处理。

电子设备可以通过音频模块170，扬声器170A，受话器170B，麦克风170C以及应用处理器等实现音频功能。例如音乐播放，录音等。关于音频模块170，扬声器170A，受话器170B和麦克风170C的具体工作原理和作用，可以参考常规技术中的介绍。

按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备可以接收按键输入，产生与电子设备的用户设置以及功能控制有关的键信号输入。

需要说明的是，图1所示电子设备包括的硬件模块只是示例性地描述，并不对电子设备的具体结构做出限定。例如，电子设备还可以包括其他功能模块。

示例性的，本申请实施例提供的电子设备的软件***可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构等。例如，该软件***可以包括但不限于塞班(Symbian)、安卓(Android)、Windows、苹果(iOS)、黑莓(Blackberry)、鸿蒙(Harmony)等操作***，本申请不限定。

请参考图2，图2以分层架构的安卓(Android)操作***为例，具体介绍本申请实施例中电子设备的软件结构示意图。分层架构可将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。如图2所示，电子设备的软件结构从上至下可以分为三层：应用程序层(简称应用层)，应用程序框架层(简称框架层)，***库，安卓运行时和内核层(也称为驱动层)。

其中，应用程序层可以包括一系列应用程序包，例如相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息，备忘录，办公以及桌面启动(Launcher)等应用程序。为方便描述，以下将应用程序简称为应用。电子设备上的应用可以是原生的应用(如在电子设备出厂前，安装操作***时安装在电子设备中的应用)，也可以是第三方应用(如用户通过应用商店下载安装的应用)，本申请实施例不予限定。

应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface，API)和编程框架。如图2所示，应用程序框架层可以包括窗口管理服务器(window manager service，WMS)，活动管理服务器(activity manager service，AMS)和输入事件管理服务器(input manager service，IMS)。在一些实施例中，应用程序框架层还可以包括内容提供器，视图***，电话管理器，资源管理器，通知管理器等(图2中未示出)。

其中，WMS承载着和“界面”有关的数据和属性，用于管理和“界面”有关的状态。例如用于管理窗口程序和事件派发。其中，管理窗口程序是指根据应用程序的显示请求在应用服务端和WMS的协助下有序地输出给物理屏幕或其他显示设备。事件派发是指将来自键盘、物理按键、触摸屏、鼠标、轨迹球(TraceBoll)等的用户事件派发给相应的控件或窗口。例如，在本申请实施例中，事件派发可以是指将用户在触摸屏上的第一操作和第二操作对应的用户时间配发给相应的控件或窗口。窗口管理服务器还可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。

AMS用于负责管理Activity，负责***中各组件的启动、切换、调度及应用程序的管理和调度等工作。

IMS可以用于对原始输入事件进行翻译、封装等处理，得到包含更多信息的输入事件，并发送到WMS，WMS中存储有每个应用程序的可点击区域(比如控件)、焦点窗口的位置信息等。因此，WMS可以正确的将输入事件分发到指定的控件或者焦点窗口。例如，在本申请实施例中，WMS可以正确的将用户的第一操作、第二操作或第三操作对应的输入事件分发到例如备忘录的可点击区域。

内核层是硬件和软件之间的层。如图2所示，内核层可以包含显示驱动，输入/输出设备驱动(例如，键盘、触摸屏、耳机、扬声器、麦克风等)以及传感器驱动。在一些实施例中，内核层还可以包含设备节点，摄像头驱动和音频驱动等。用户通过输入设备进行输入操作，内核层可以根据输入操作产生相应的原始输入事件，并存储在设备节点中。输入/输出设备驱动可以检测到用户的输入事件。例如，用户启动应用(如本申请实施例的备忘录应用)的操作，用户在触摸屏上的滑动操作，如本申请实施例中的第一操作、第二操作、第三操作或第四操作。示例性的，上述用户在触摸屏上的滑动操作可以使划线操作、画圈操作或滑动写字操作等。

需要说明的是，图2仅以分层架构的Android***为例，介绍一种电子设备的软件结构示意图。本申请不限定电子设备软件***的具体架构，关于其他架构的软件***的具体介绍，可以参考常规技术。

在本申请实施例中，用户批注的对象可以是任意支持通过批注图层输入批注的显示界面上的内容。例如，用户手写批注的对象可以是任意支持通过批注图层输入手写批注的显示界面上的文字内容。该界面可以是应用界面，也可以是小程序界面，本申请不限定。例如，本申请实施例中用户批注的对象可以是备忘录界面上的文字内容、办公应用(如word、记事本等)界面上的内容(如文字或图片等)等。

示例性的，以显示界面为备忘录界面为例，请参考图3，图3以对备忘录界面上的文字内容手写批注为例，示出了常规的对文字内容的手写批注的显示过程。如图3所示，假设备忘录界面为图3中的(a)所示的界面301，响应于用户对界面301上“备忘录窗口发生变化”共9个字的高亮操作，以及用户对界面301上“批注所对应的文字内容会发生错位”共15个字的下划线操作，备忘录显示图3中的(a)所示的界面302。其中，界面302上显示有用户输入的下划线批注A和高亮批注B。下划线批注A针对文字“批注所对应的文字内容会发生错位”，高亮批注B针对文字“备忘录窗口发生变化”。

具体的，用户对界面301上“备忘录窗口发生变化”共9个字的高亮操作，以及户对界面301上“批注所对应的文字内容会发生错位”共15个字的下划线操作通常是由用户在备忘录界面上叠加显示的批注图层上输入的。例如，批注图层可以由电子设备响应与接收到用户对界面301上的“批注”按钮的点击操作，叠加显示在备忘录界面上。在一些实施例中，如图3中的(a)所示，该批注图层对用户不可见。因此，对于用户来说，就像是在备忘录界面上直接批注一样。

但是，由于上述下划线批注和高亮批注实际上并不是在备忘录界面上直接编辑的，而是在批注图层上编辑的。因此，若发生例如图3中的(b)所示的备忘录界面的窗口缩小的变化，或者发生如图3中的(c)所示的备忘录界面文字变小的变化，或者发生如图3中的(d)所示的备忘录界面文字内容增加的变化，如图3中的(b)中的界面303、图3中的(c)中的界面304和图3中的(d)中的界面305所示，上述批注图层上的下划线批注A和高亮批注B所对应的文字内容发生错位。

为解决上述常规批注显示过程中，因显示界面窗口变化、文字大小、图片大小或内容增删变化等界面变化导致的批注与对应显示界面内容的错位的问题，本申请实施例提供一种批注的显示方法。该方法通过将用户输入的批注绑定至对应的界面内容并保存该绑定关系，使得在显示界面窗口发生变化、文字大小发生变化、图片大小或者内容等发生变化时，可以根据保存的绑定关系重新在界面内容对应的位置渲染批注。通过这样的方法，可以解决批注与对应显示界面内容的错位的问题。

其中，在本申请实施例中，显示界面窗口发生变化可以包括但不限于窗口大小发生变化和窗口形状发生变化。窗口大小发生变化例如窗口由大变小或窗口由小变大。窗口形状发生变化例如窗口由横屏状态变化为竖屏状态，或者窗口由竖屏状态变化为横屏状态，或者窗口由用户操作变化(比如随着用户的拖拽操作从矩形变成正方形)。

需要说明的是，本申请实施例中，图3仅以下划线批注和高亮批注作为示例示出了批注与对应显示界面内容的错位的问题。其中，本申请不限定下划线和高亮线的具体形式，例如下划线和高亮线可以是直线型、波浪线形等。

另外，本申请实施例提供的批注的显示方法中，批注(例如手写批注)可以包括但不限于上述下划线批注和高亮批注。例如，批注还可以包括删除、圈选、图形标记或文字批注等等。本申请不限定批注的具体形式。

示例性的，请参考图4，图4示出了本申请实施例提供的几种对文字内容的手写批注示例图。如图4所示，手写批注可以包括图4所示的下划线批注A和高亮批注B，也可以包括图4所示的删除批注C，圈选标记批注D，图形标记批注E和文字批注F。

需要说明的是，在本申请实施例中，圈选标记除了图4所示的矩形圈选标记D，还可以包括其他各种形式的圈选，例如圆圈圈选，椭圆形圈选或三角形圈选等。图形标记批注除了图4所示的位于备忘录界面文字“文字大小”下方的三角形标记E，还可以包括与备忘录界面的文字内容呈任意相对位置的，任意形状的标记。例如，图形标记可以标记于备忘录界面的文字上方、文字下方或文字上等。例如，图形标记可以是圆形、三角形等。文字批注除了图4所示的位于空白处，并通过连线标记该文字批注所对应的备忘录界面文字内容的文字批注F，还可以包括与备忘录界面文字内容呈任意相对位置，例如位于备忘录界面对应文字上方、下方等位置的文字批注。又如，文字批注还可以位于其他任意距离备忘录界面对应文字内容较远的位置，并通过连线标记该文字批注所对应的备忘录界面的文字内容。本申请不限定手写批注与备忘录界面文字内容的具体相对位置，具体形状等。

另外，需要说明的是，由于本申请实施例中对显示界面上内容的手写批注是用户通过手、触控笔或虚拟手写笔等手动输入的，因此通常难以达到类似计算机画图得到的标准线型或图形，因此，本申请实施例中用户手动输入的线型或图形等批注可以是指接近标准形线型或图形。例如，上述直线可以是接近直线的曲线，上述圆形可以是接近标准圆的类似圆形，上述三角形可以是接近标准三角形的类似三角形。

以下结合具体实施例，以显示界面为备忘录界面为例，对本申请实施例提供的技术方案进行具体阐述。

请参考图5，图5示出了本申请实施例提供的一种手写批注的显示方法。如图5所示，本申请实施例提供的一种手写批注的显示方法可以包括以下步骤S501-S505：

S501、响应于接收到用户的第一操作，电子设备在显示界面上叠加显示批注图层。

其中，第一操作用于触发手动批注。显示界面是任意支持通过批注图层输入批注的应用或小程序的显示界面。如图3中的(a)所示的备忘录界面301。又如办公应用(如word、记事本等)界面等。本申请不限定显示界面对应的具体应用类型。

在本申请实施例中，用户的第一操作可以包括但不限于用户选择虚拟手写笔笔型的操作和用户选择批注款式的操作。虚拟手写笔笔型可以包括但不限于虚拟铅笔、虚拟钢笔、虚拟圆珠笔或虚拟马克笔等。批注款式可以包括不限于高亮、下划线、删除、圈选、图形标记或文字批注等。

请参考图6，图6示出了本申请实施例提供的两种用于执行第一操作的界面示例图。其中，图6中的(a)示出了一种用于选择虚拟手写笔笔型的界面示例图，如图6中的(a)所示，该界面上可以包括用于用户选择马克笔(即虚拟马克笔)、铅笔(即虚拟铅笔)、钢笔(即虚拟钢笔)、圆珠笔(即虚拟圆珠笔)等笔型(即虚拟手写笔笔型)的选项框。图6中的(b)示出了一种用于选择批注款式的界面示例图，如图6中的(b)所示，该界面上可以包括高亮、下划线、删除、圈选、图形标记或文字等批注款式。

其中，图6中的(a)所示的用于选择虚拟手写笔笔型的选择框，或者图6中的(b)所示的用于选择批注款式的选择框可以由电子设备响应于用户点击备忘录界面底部的“批注”按钮的操作，显示在备忘录界面上。

在一些实施例中，用于执行第一操作的界面上还可以显示文字的颜色选项供用户选择，如图6中的(a)和图6中的(b)所示。在另一些实施例中，用于执行第一操作的界面上还可以显示其他选项，如线型(如实线、虚线、点划线等)、线条粗细、线条款式(如直线、曲线等)等选项(图6中的(a)和图6中的(b)未示出)，本申请不限定。

需要说明的是，上述图6中的(a)和图6中的(b)是以电子设备响应于用户点击备忘录界面上的“批注”按钮，弹出虚拟手写笔笔型或批注款式选项框作为示例，本申请实施例不限定虚拟手写笔笔型或批注款式选项框的弹出方式。例如，上述虚拟手写笔笔型或批注款式选项框还可以由电子设备响应于用户在备忘录界面上的预设手势(如“一”字型滑动手势，三指滑动手势，空白处长按手势，空白处双击手势，从触摸屏边缘向内滑动的手势等)，显示在备忘录界面上。又如，上述虚拟手写笔笔型或批注款式选项框还可以始终显示在备忘录界面上，本申请不限定。本申请实施例也不限定虚拟手写笔笔型或批注款式选项框的具体弹出位置。例如，选项框可以位于图6中的(a)或图6中的(b)所示的位置，也可以位于备忘录界面顶部，或者位于备忘录文字内容上方等。

S502、电子设备接收用户在批注图层上的第二操作。第二操作用于批注显示界面上的内容。

通常，第二操作与第一操作具有对应关系。

例如，若第一操作是用户选择虚拟马克笔或者用户选择高亮批注款式的操作，则第二操作通常为用户在选择虚拟马克笔或者选择高亮批注款式之后，在显示界面上的某些内容上的滑动操作。例如，第二操作可以是用户在显示界面上的一个或多个文字上的滑动操作。

又如，若第一操作是用户选择虚拟铅笔、虚拟钢笔、虚拟圆珠笔或用户选择删除批注款式的操作，则第二操作可以为用户在选择虚拟铅笔、虚拟钢笔、虚拟圆珠笔或用户选择删除批注款式之后，在显示界面上的某些内容上的滑动操作，或者用户在显示界面上的某些内容下方的滑动操作，或者用户对显示界面上的某些内容的圈选操作，或者用户在显示界面上的某些内容下方或内容上的图形标记操作，或者用户对显示界面上的某些内容的文字批注操作等。

S503、电子设备识别第二操作在显示界面上对应的一个或多个目标，以及确定一个或多个目标的批注样式；其中，批注样式包括批注类型。

其中，电子设备识别第二操作在显示界面上对应的一个或多个目标，即电子设备识别该第二操作的操作对象。

例如，假设第二操作为用户在选择虚拟马克笔或者选择高亮批注款式之后，在显示界面上的内容上的滑动操作，则第二操作用于高亮内容，第二操作的对象为用户执行第二操作时，与用户滑动轨迹有重合的显示界面上的内容(如一个或多个文字)。例如，第二操作为用户在图8所示备忘录界面上，在备忘录界面上的文字“备忘录窗口发生变化”上的滑动操作，则第二操作的对象为与用户滑动轨迹有重合的显示界面上一个或多个文字，即“备忘录窗口发生变化”共9个字。

又如，假设第二操作为用户在选择虚拟铅笔、虚拟钢笔、虚拟圆珠笔或用户选择删除批注款式之后，在显示界面上的某些内容上的滑动操作，则第二操作用于删除内容，第二操作的对象为用户执行第二操作时，与用户滑动轨迹有重合的显示界面上的内容(如一个或多个文字)。例如，第二操作为用户在图8所示备忘录界面上，在备忘录界面上的文字“备忘录界面上的文字内容”上的滑动操作，第二操作的对象为与用户滑动轨迹有重合的一个或多个文字，即“备忘录界面上的文字内容”共11个字。

又如，假设第二操作为用户在选择虚拟铅笔、虚拟钢笔、虚拟圆珠笔或用户选择删除批注款式之后，在显示界面上的某些内容下方的滑动操作，则第二操作用于下划线内容，第二操作的对象为用户执行第二操作时，位于用户滑动轨迹上方的显示界面上的内容(如一个或多个文字)。例如，第二操作为用户在图8所示备忘录界面上，在备忘录界面上的文字“批注所对应的文字内容会发生错位”下方的滑动操作，第二操作的对象为位于用户滑动轨迹上方的一个或多个文字，即“批注所对应的文字内容会发生错位”共15个字。

又如，假设第二操作为用户在选择虚拟铅笔、虚拟钢笔、虚拟圆珠笔或用户选择删除批注款式之后，用户对显示界面上的某些内容的圈选操作，则第二操作用于圈选内容，第二操作的对象为用户执行第二操作时，位于用户圈选轨迹内部的显示界面上的内容(如一个或多个文字)。例如，第二操作为用户在图8所示备忘录界面上，对备忘录界面上的文字“增加手写图层”的圈选操作，第二操作的对象为位于用户圈选轨迹内部的一个或多个文字，即“增加手写图层”共6个字。

又如，假设第二操作为用户在选择虚拟铅笔、虚拟钢笔、虚拟圆珠笔或用户选择删除批注款式之后，用户在显示界面上的某些内容下方或内容上的图形标记操作，则第二操作用于对内容做图形标记，第二操作的对象为用户执行第二操作时，位于用户标记的图形上方或图形下的显示界面上的内容(如一个或多个文字)。例如，第二操作为用户在图8所示备忘录界面上，在备忘录界面上的文字“文字大小”下方的三角形标记操作，第二操作的对象为位于用户标记的三角形上方的一个或多个文字，即“文字大小”共4个字。

又如，假设第二操作为用户在选择虚拟铅笔、虚拟钢笔、虚拟圆珠笔或用户选择删除批注款式之后，用户对显示界面上的某些内容的文字批注操作，则第二操作用于对内容作文字批注，第二操作的对象为位于文字批注附近(如上方或下方等)，或者通过连线与文字批注关联的显示界面上的内容(如一个或多个文字)。例如，第二操作为用户在图8所示备忘录界面上，在空白处作文字批注，并通过连线与“错位”关联的操作，第二操作的对象为通过连线与文字批注关联的一个或多个文字，即“错位”共2个字。

在一些实施例中，如图7所示，电子设备可以通过以下步骤1-步骤3识别该第二操作对应的一个或多个目标，以及确定一个或多个目标的批注样式(即步骤S503)：

步骤1：电子设备获取第二操作对应的操作轨迹在预设坐标系中的坐标信息(如第一坐标信息)。

其中，预设坐标系可以是电子设备的预设坐标系、世界坐标系或者地面坐标系等，本申请不限定。示例性的，电子设备的预设坐标系可以是电子设备触摸屏对应的二维坐标系。以电子设备是智能手机为例，如图8所示，该二维坐标系可以是智能手机在竖屏状态下，触摸屏朝向用户时，由智能手机左下角为坐标原点O，下侧短边为x轴，左侧长边为y轴组成的坐标系。

对于预设坐标系为图8所示二维坐标系xOy(即由智能手机左下角为坐标原点，下侧短边为x轴，左侧长边为y轴组成的二维坐标系)的情况，第一坐标信息即第二操作对应的操作轨迹在图8所示二维坐标系xOy中的坐标信息。

步骤2：电子设备获取显示界面上所有内容在预设坐标系中的坐标信息(如第二坐标信息)。

示例性的，假设显示界面是图3中的(a)所示的备忘录界面，则电子设备可以根据备忘录界面上所有文字内容的行高、字体大小等参数计算出每一个文字在预设坐标系中的坐标信息。

其中，为了保证操作轨迹与对应文字的准确匹配度，步骤2中的预设坐标系需要与步骤1中使用统一的坐标参照系。例如，若在步骤1中确定的是第二操作对应的操作轨迹在图8所示二维坐标系中的坐标信息，则在步骤2中确定的第二坐标信息是显示界面上所有内容在图8所示二维坐标系中的坐标信息。

以图8所示的备忘录界面和预设坐标系为例，第二坐标信息即备忘录界面上的所有文字内容在图8所示二维坐标系xOy中的坐标信息。

步骤3：电子设备确定与第一坐标信息匹配的第二坐标信息在显示界面上对应的一个或多个目标，以及一个或多个目标的批注样式；其中，批注样式包括批注类型。

其中，在本申请实施例中，“匹配”可以包括但不限于第一坐标信息和第二坐标信息对应的位置有重合，第一坐标信息和第二坐标信息对应的位置具有上下位置关系，第一坐标信息和第二坐标信息对应的位置具有位置包含关系或具有位置连接关系，具体视第一操作选择的虚拟手写笔笔型或批注款式，以及第二操作的操作轨迹而定。

以及，在本申请实施例中，批注类型可以包括但不限于高亮线、下划线、删除线、圈选、图形标记或文字批注等。与第一坐标信息匹配的第二坐标信息在显示界面上对应的一个或多个目标的批注类型也可以根据第一操作结合第二操作的具体情况确定。

例如，在本申请实施例中，不同的虚拟手写笔笔型或不同的批注款式选项可以对应不同的批注类型。示例性的，虚拟铅笔、虚拟钢笔和虚拟圆珠笔可以对应下划线、删除线、圈选、图形标记或文字批注等。虚拟马克笔可以对应高亮线。虚拟铅笔、虚拟钢笔和虚拟圆珠笔具体对应下划线、删除线、圈选、图形标记和文字批注中的哪一种，则需要视用户的第二操作的具体操作轨迹(如操作位置以及输入的线型或图形)而定。

以图8所示的备忘录界面和预设坐标系为例，对于第二操作是用户使用虚拟马克笔或选择高亮批注款式后，在备忘录界面上的文字“备忘录窗口发生变化”上的滑动操作的情况，则电子设备根据第一坐标信息(即用户在备忘录界面上的文字“备忘录窗口发生变化”上的滑动轨迹在预设坐标系中的坐标信息)以及第二坐标信息(即备忘录界面上每一个文字在预设坐标系中的坐标信息)确定第一坐标信息和第二坐标信息对应的位置有重合，更为具体的，第二坐标信息对应的位置位于第一坐标信息对应的位置范围内。在这种情况下，电子设备确定与第一坐标信息匹配的第二坐标信息对应的一个或多个文字是指与第一坐标信息对应的位置有重合的一个或多个文字，即用户在触摸屏上滑过的文字：“备忘录窗口发生变化”。以及，电子设备确定“备忘录窗口发生变化”对应的批注类型为高亮线。

对于第二操作是用户使用虚拟铅笔、虚拟钢笔、虚拟圆珠笔或选择删除批注款式后，在“备忘录界面上的文字内容”上的滑动操作的情况，则电子设备根据第一坐标信息(即用户在备忘录界面上的文字“备忘录界面上的文字内容”上的滑动轨迹在预设坐标系中的坐标信息)以及第二坐标信息(即备忘录界面上每一个文字在预设坐标系中的坐标信息)确定第一坐标信息和第二坐标信息对应的位置有重合，更为具体的，第一坐标信息对应的位置位于第二坐标信息对应的位置范围内。在这种情况下，电子设备确定与第一坐标信息匹配的第二坐标信息对应的一个或多个文字是指与第一坐标信息对应的位置有重合的一个或多个文字，即用户在触摸屏上滑过的文字：“备忘录界面上的文字内容”。以及，电子设备确定“备忘录界面上的文字内容”对应的批注类型为删除线。

对于第二操作是用户使用虚拟铅笔、虚拟钢笔、虚拟圆珠笔或选择下划线批注款式后，在“批注所对应的文字内容会发生错位”下方的滑动操作的情况，则电子设备根据第一坐标信息(即用户在备忘录界面上的文字“批注所对应的文字内容会发生错位”下方的滑动轨迹在预设坐标系中的坐标信息)以及第二坐标信息(即备忘录界面上每一个文字在预设坐标系中的坐标信息)确定第一坐标信息和第二坐标信息对应的位置具有上下位置关系，更为具体的，第一坐标信息对应的位置位于第二坐标信息对应的位置下方预设距离内。在这种情况下，电子设备确定与第一坐标信息匹配的第二坐标信息对应的一个或多个文字是指位于第一坐标信息对应的位置具有上下位置关系的一个或多个文字，即位于用户在触摸屏上的触摸轨迹上方的文字：“批注所对应的文字内容会发生错位”。以及，电子设备确定“批注所对应的文字内容会发生错位”对应的批注类型为下划线。

对于第二操作是用户使用虚拟铅笔、虚拟钢笔、虚拟圆珠笔或选择图形标记批注款式后，在“文字大小”下方的三角形标记操作的情况，则电子设备根据第一坐标信息(即用户在备忘录界面上的文字“文字大小”下方的三角形标记在预设坐标系中的坐标信息)以及第二坐标信息(即备忘录界面上每一个文字在预设坐标系中的坐标信息)确定第一坐标信息和第二坐标信息对应的位置具有上下位置关系，更为具体的，第一坐标信息对应的位置位于第二坐标信息对应的位置下方预设距离内。在这种情况下，电子设备确定与第一坐标信息匹配的第二坐标信息对应的一个或多个文字是指位于第一坐标信息对应的位置具有上下位置关系的一个或多个文字，即位于用户在触摸屏上的图形触摸轨迹上方的文字：“文字大小”。以及，电子设备确定“文字大小”对应的批注类型为图形标记(更为具体的，为三角形标记)。

对于第二操作是用户使用虚拟铅笔、虚拟钢笔、虚拟圆珠笔或选择批注款式后，对“增加手写图层”的圈选操作的情况，则电子设备根据第一坐标信息(即用户在备忘录界面上对文字“增加手写图层”的圈选轨迹在预设坐标系中的坐标信息)以及第二坐标信息(即备忘录界面上每一个文字在预设坐标系中的坐标信息)确定第一坐标信息和第二坐标信息对应的位置具有位置包含关系，更为具体的，第二坐标信息对应的位置位于第一坐标信息对应的位置以内。在这种情况下，电子设备确定与第一坐标信息匹配的第二坐标信息对应的一个或多个文字是指与用户第一坐标信息对应的位置具有位置包含关系的一个或多个文字，即被用户在触摸屏上的触摸轨迹包围的文字：“增加手写图层”。以及，电子设备确定“增加手写图层”对应的批注类型为圈选。

对于第二操作是用户使用虚拟铅笔、虚拟钢笔、虚拟圆珠笔或选择文字批注款式之后，在空白处作文字批注“对应文字发生变化”，并通过连线与“错位”关联的操作的情况，则电子设备根据第一坐标信息(即用于与用户在备忘录界面上的文字批注“对应文字发生变化”关联的连线在预设坐标系中的坐标信息)以及第二坐标信息(即备忘录界面上每一个文字在预设坐标系中的坐标信息)确定第一坐标信息和第二坐标信息对应的位置具有位置连接关系内。在这种情况下，电子设备确定与第一坐标信息匹配的第二坐标信息对应的一个或多个文字是指与用户第一坐标信息对应的位置具有连接关系的一个或多个文字，即用户在触摸屏上输入的文字通过连接线连接的文字：“错位”。以及，电子设备确定“增加手写图层”对应的批注类型为文字批注。

在一些示例中，若电子设备识别并确定第二操作在显示界面上无对应的目标，则电子设备仅保存用户通过第二操作输入的批注，不与显示界面上的内容建立对应关系。

其中，第二操作在显示界面上无对应的目标是指第二操作对应的预设范围内无对应的显示界面的内容。例如，假设第二操作是用户使用虚拟铅笔、虚拟钢笔、虚拟圆珠笔或选择下划线批注款式后的滑动操作，则第二操作在显示界面上无对应的目标是指滑动轨迹上方或下方预设范围内无对应的显示界面的目标。又如，假设第二操作是用户使用虚拟铅笔、虚拟钢笔、虚拟圆珠笔或选择删除批注款式后的滑动操作，则第二操作在显示界面上无对应的目标是指滑动轨迹下无对应的显示界面的目标。又如，假设第二操作是用户使用虚拟马克笔或选择高亮批注款式后的滑动操作，则第二操作在显示界面上无对应的目标是指滑动轨迹下无对应的显示界面的目标。又如，假设第二操作是用户使用虚拟马克笔或选择图形标记批注款式后的图形标记操作，则第二操作在显示界面上无对应的目标是指图形标记上方或下方预设范围内无对应的显示界面的目标。又如，假设第二操作是用户使用虚拟铅笔、虚拟钢笔、虚拟圆珠笔或选择批注款式后的圈选操作，则第二操作在显示界面上无对应的目标是指圈内无对应的显示界面的目标。又如，假设第二操作是用户使用虚拟铅笔、虚拟钢笔、虚拟圆珠笔或选择文字批注款式之后的文字批注操作，则第二操作在显示界面上无对应的目标是指该文字批注未与任何目标相关联，例如未与任何显示界面上的内容通过连接线连接，或者文字批注的预设范围内无任何显示界面上的内容。

在一些实施例中，批注样式还可以包括高亮线、下划线、删除线、圈选或图形标记的线型，或文字批注与对应目标之间的连接线的线型。例如，线型是实线、虚线还是点划线等；线型是直线还是曲线等；以及线型的粗细等。

在一些实施例中，批注样式还可以包括圈选轨迹的形状。例如，圈选轨迹的形状是圆形、矩形还是三角形等。

在一些实施例中，批注样式还可以包括批注与对应目标之间的相对位置。例如，图形标记位于对应目标的上方、下方还是文字上等。又如，文字批注位于对应目标上方、下方等。又如，文字批注在预设坐标系中的位置等。

以图8所示的备忘录界面为例，文字“备忘录窗口发生变化”与高亮线对应，文字“备忘录界面上的文字内容”与删除线对应，“批注所对应的文字内容会发生错位”与下划线对应，“文字大小”与文字下方的三角形标记对应，“增加手写图层”与矩形圈选对应，“错位”与与“错位”通过实心曲线连接的，位于“错位”下方空白处的文字批注“对应文字发生变化”对应。

S504、电子设备保存第二操作对应的一个或多个目标的批注样式。

在一些实施例中，上述批注样式可以独立于显示界面内容对应的文本信息，单独保存在批注内容(即批注图层内容)对应的文本信息中。

在另一些实施例中，上述批注样式可以保存在显示界面内容对应的文本信息中。以超文本标记语言(hyper text markup language，HTML)格式的文本信息为例，以下示出了一种电子设备保存的批注样式示例：

S505、电子设备根据保存的批注样式，显示显示界面上一个或多个目标对应的批注。

示例性的，在电子设备进行界面渲染时，可以根据保存的批注样式，在一个或多个目标的对应位置渲染用户输入的批注。其中，“对应位置”可以根据批注样式表征的批注与显示界面目标之间的相对位置来确定。

以图8所示的备忘录界面为例，电子设备根据保存的批注样式，在文字“批注所对应的文字内容会发生错位”下方渲染下划线，得到下划线批注A；在文字“备忘录窗口发生变化”上渲染高亮线，得到高亮批注B；在文字“备忘录界面上的文字内容”上渲染删除线，得到删除批注C；在文字“增加手写图层”周围渲染矩形圈，得到圈选标记批注D；在文字“文字大小”下方渲染三角形标记，得到图形标记批注E；在文字“错位”下方空白处渲染与文字“错位”通过实心曲线连接的文字批注“对应文字发生变化”，得到文字批注F。

在一些实施例的，电子设备在窗口变化、文字大小、图片大小和/或内容增删等变化时，根据保存的批注样式，显示显示界面上一个或多个目标对应的批注具体可以包括图9所示的步骤A-步骤D：

步骤A、电子设备确定显示界面的窗口变化、文字大小、图片大小或内容增删等变化中的一种或多种。

步骤B、电子设备加载保存的批注样式。

步骤C、电子设备重新计算批注样式对应的显示界面中一个或多个目标的坐标。

步骤D、电子设备渲染显示界面上一个或多个目标对应的批注。

本申请实施例提供的方案，通过将用户输入的批注对应的批注样式绑定至对应的界面内容，以便在显示界面窗口发生变化、文字大小发生变化、图片大小或者内容等发生变化时，根据保存的批注样式与界面内容的绑定关系渲染界面内容对应的批注，而不会因为批注与上述显示界面窗口、文字大小、图片大小或者内容等变化的不同步导致批注与对应显示界面内容的错位的问题。例如，在显示界面窗口发生变化、文字大小发生变化、图片大小或者内容等发生变化时，电子设备可以对应的重新确定批注的显示位置或批注的尺寸等，以与界面内容的对应关系不发生变化。

示例性的，在一些实施例中，假设电子设备接收到用户的第三操作，则响应于接收到用户的第三操作，电子设备根据保存的批注样式，显示显示界面上一个或多个目标对应的批注。其中，用户的第三操作可以包括但不限于以下中的一种或多种：用户改变显示界面窗口大小的操作、用户改变显示界面窗口形状的操作、用户改变显示界面上内容的操作、用户改变显示界面上内容尺寸的操作。

例如，请参考图10，图10以用户对备忘录界面上的文字内容增加手写批注A，批注B，批注C，批注D，批注E和批注F为例，示出本申请实施例提供的几种电子设备渲染手写批注的示例图。

在一种示例中，假设备忘录窗口发生例如图10中的(a)所示界面1001的缩小变化，则智能手机在进行界面渲染时，根据保存的批注样式，适配窗口的大小变化，在文字内容对应位置重新渲染用户的手写批注。具体的，如图10中的(a)所示，基于变化后的窗口大小，在文字“批注所对应的文字内容会发生错位”下方重新渲染下划线；在文字“备忘录窗口发生变化”上重新渲染高亮线；在文字“备忘录界面上的文字内容”上重新渲染删除线；在文字“增加手写图层”周围重新渲染矩形圈选；在文字“文字大小”下方重新渲染三角形标记；在文字“错位”下方空白处重新渲染与文字“错位”通过实心曲线连接的文字批注“对应文字发生变化”。

需要说明的是，本申请图10中的(a)是以备忘录窗口缩小作为示例，对于其他形式的窗口变化，本申请实施例提供的方法同样适用，同样可以解决由于窗口发生变化导致的批注与对应显示界面内容的错位的问题。例如，本申请实施例提供的方法对于例如窗口形状发生变化(如窗口由横屏状态变化为竖屏状态，或者窗口由竖屏状态变化为横屏状态，或者窗口由用户操作变化)的情况同样适用。

在另一种示例中，假设备忘录文字发生例如图10中的(b)所示界面1002的文字大小变化，则智能手机在进行界面渲染时，根据保存的批注样式，适配文字大小的变化，在文字内容对应位置重新渲染用户的手写批注。具体的，如图10中的(b)所示，基于变化后的备忘录文字大小，在文字“批注所对应的文字内容会发生错位”下方重新渲染下划线；在文字“备忘录窗口发生变化”上重新渲染高亮线；在文字“备忘录界面上的文字内容”上重新渲染删除线；在文字“增加手写图层”周围重新渲染矩形圈选；在文字“文字大小”下方重新渲染三角形标记；在文字“错位”下方空白处重新渲染与文字“错位”通过实心曲线连接的文字批注“对应文字发生变化”。

在另一种示例中，假设备忘录文字发生例如图10中的(c)所示界面1003的文字内容增加的变化，则智能手机在进行界面渲染时，根据保存的批注样式，适配新增的文字，在文字内容对应位置重新渲染用户的手写批注。具体的，如图10中的(c)所示，基于增加后的备忘录文字内容，在文字“批注所对应的123456文字内容会发生错位”下方重新渲染下划线；在文字“备忘录窗口abcdef发生变化”上重新渲染高亮线；在文字“备忘录界面上的文字内容”上重新渲染删除线；在文字“增加手写图层”周围重新渲染矩形圈选；在文字“文字大小”下方重新渲染三角形标记；在文字“错位”下方空白处重新渲染与文字“错位”通过实心曲线连接的文字批注“对应文字发生变化”。

其中，图10中的(c)是以智能手机对新增的文字做与相邻文字批注适配的手写批注作为示例，如图10中的(c)所示，智能手机在文字“123456”下方渲染了与周围文字“批注所对应的文字内容会发生错位”批注适配的下划线，在文字“abcdef”上渲染了与周围文字“备忘录窗口发生变化”批注适配的高亮线。在另一些示例中，对于备忘录文字发生例如图10中的(c)所示界面1003的文字内容增加的变化的情况，智能手机还可以在重新渲染界面时，不对文字“123456”和/或文字“abcdef”作手写批注渲染，本申请不作具体限定。

在一些实施例中，电子设备在显示显示界面上一个或多个目标对应的批注时，可以根据保存的批注样式，显示更新后的显示界面。其中，更新后的显示界面包括上述一个或多个目标对应的批注。也就是说，电子设备可以将一个或多个目标对应的批注直接渲染在显示界面上。以显示界面为备忘录界面为例，电子设备可以根据保存在备忘录界面内容对应的文本信息中的批注样式，将一个或多个文字对应的批注直接渲染在备忘录界面上。

在另一些实施例中，电子设备在显示显示界面上一个或多个目标对应的批注时，可以根据保存的批注样式，在批注图层上显示批注。其中，批注图层上显示的上述批注与显示界面上的上述一个或多个目标对应。也就是说，电子设备可以将一个或多个目标对应的批注独立于显示界面，渲染在批注图层上的对应位置。以显示界面为备忘录界面为例，电子设备可以根据独立于备忘录界面内容对应的文本信息单独保存的批注样式，将一个或多个文字对应的批注渲染在批注图层上的对应位置。

进一步的，在一些实施例中，如图11所示，在电子设备执行上述步骤S504之前，本申请实施例提供的手写批注的显示方法还包括步骤S1101：

S1101、电子设备修正第二操作对应的批注。

可以理解，对于本申请实施例中对文字内容的批注是用户通过手、触控笔或虚拟手写笔等手动输入的情况，该批注通常难以达到类似计算机画图得到的标准线型或图形，因此，本申请实施例中用户手动输入的线型或图形等批注通常是指接近标准形线型或图形。

在一些实施例中，电子设备可以通过识别用户通过第二操作输入的线型、图形和文字批注等，将用户输入的线型修正为对应的标准线型，将用户输入的图形修正为对应的标准图形。将用户输入的手写批注修正为标准字体文字。例如，电子设备可以将用户输入的下划线、删除线、高亮线或连接线等线型修正为标准直线。又如，电子设备可以将用户输入的圆形、矩形、圆形或椭圆形等修正为对应的标准圆形、标准矩形、标准圆形或标准椭圆形等。又如，将用户输入的手写批注修正为正楷体文字。

在电子设备执行上述步骤S1101的情况下，图11所示步骤S504具体包括：电子设备保存经过修正的，第二操作对应的一个或多个目标的批注样式。图11所示步骤S505具体包括：电子设备根据保存的经过修正的批注样式，显示显示界面上一个或多个目标对应的批注。

请参考图12，图12示出了本申请实施例提供的电子设备未修正手写批注和修正手写批注的对比图。其中，图12中的(a)示出了一种未经电子设备修正的手写批注示例图。图12中的(b)示出了电子设备修正手写批注的示例图。其中，图12中的(a)所示的手写批注A为用户手写的下划线，且未经过智能手机的修正；图12中的(b)所示的手写批注A'则被智能手机修正为标准直线下划线。图12中的(a)所示的手写批注C为用户手写的删除线，且未经过智能手机的修正；图12中的(b)所示的手写批注C'则被智能手机修正为标准直线删除线。图12中的(a)所示的手写批注D为用户手写的圈选框，且未经过智能手机的修正；图12中的(b)所示的手写批注D'则被智能手机修正为标准矩形圈选框。图12中的(a)所示的手写批注E为用户手写的近似三角形标记，且未经过智能手机的修正；图12中的(b)所示的手写批注E'则被智能手机修正为标准三角形标记。图12中的(a)所示的手写批注F为用户手写批注，且通过用户手写的直线与被标记为类似圆形图标的文字“错位”关联；图12中的(b)所示的手写批注F'则被智能手机修正为正楷体文字，且通过修正后的标准直线与被标记为标准圆形标记的文字“错位”关联。

进一步的，在本申请实施例中，若电子设备接收到用户对通过第二操作输入的批注的编辑操作(如第四操作)，电子设备重新更新该第四操作对应的一个或多个目标的批注样式，以及根据更新后的批注样式，显示显示界面上一个或多个目标对应的批注。其中，第四操作可以包括但不限于用户修改通过第二操作输入的批注的操作，用户删除通过第二操作输入的批注的操作等。

需要说明的是，本申请上述实施例是以显示界面上的内容为文字内容为例，介绍一种批注的显示方法。事实上，本申请实施例提供的一种批注的显示方法对于任何支持通过批注图层输入批注的应用界面的任何内容均适用。例如，显示界面上的内容还可以是图片等其他任何内容。另外，本申请上述实施例是以手写批注为例，介绍一种批注的显示方法。事实上，本申请不限定批注的具体形式。例如，上述文字批注还可以是用户通过虚拟键盘输入的批注。

本申请实施例可以对电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

比如，以采用集成的方式划分各个功能模块的情况下，如图13所示，为本申请实施例提供的一种电子设备的结构框图。该电子设备可以包括检测单元1310、显示单元1320、处理单元1330和存储单元1340。

其中，检测单元1310用于支持电子设备检测用户的第一操作和第二操作；和/或本申请实施例中的其他相关操作。其中，第一操作用于触发显示单元1320在显示界面上叠加显示批注图层；和/或本申请实施例中的其他相关操作。其中，第二操作是用户在批注图层上的操作；第二操作用于批注显示界面上的内容。处理单元1330用于支持电子设备识别第二操作在所显示界面上对应的一个或多个目标，以及确定该一个或多个目标的批注样式；和/或本申请实施例中的其他相关操作。其中，批注样式包括批注类型(如高亮线、下划线、删除线、圈选、图形标记或文字批注等)。存储单元1340用于支持电子设备保存第二操作对应的一个或多个目标的批注样式；和/或本申请实施例中的其他相关操作。显示单元1320用于支持电子设备根据检测单元1310检测到的第一操作在显示界面上叠加显示批注图层。以及，根据保存的批注样式，显示显示界面上一个或多个目标对应的批注；和/或本申请实施例中的其他相关操作。

在一种可选的方式中，当使用软件实现数据传输时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地实现本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘Solid State Disk(SSD))等。

结合本申请实施例所描述的方法或者算法的步骤可以硬件的方式来实现，也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成，软件模块可以被存放于RAM存储器、闪存、ROM存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、移动硬盘、CD-ROM或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器，从而使处理器能够从该存储介质读取信息，且可向该存储介质写入信息。当然，存储介质也可以是处理器的组成部分。处理器和存储介质可以位于ASIC中。另外，该ASIC可以位于电子设备中。当然，处理器和存储介质也可以作为分立组件存在于电子设备中。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

在一种可选的方式中，本申请提供一种芯片***，该芯片***包括处理器、存储器，存储器中存储有指令；当指令被处理器执行时，实现本申请提供的任一种可能的实现方式中的方法。该芯片***可以由芯片构成，也可以包含芯片和其他分立器件。

在本申请所提供的几个实施例中，应该理解到，所揭露的电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是一个物理单元或多个物理单元，即可以位于一个地方，或者也可以分布到多个不同地方。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (17)

1.一种批注的显示方法，其特征在于，所述方法包括：

电子设备在接收到用户的第一操作时，在显示界面上叠加显示批注图层；

所述电子设备接收用户在所述批注图层上的第二操作；所述第二操作用于批注所述显示界面上的内容；

所述电子设备识别所述第二操作在所述显示界面上对应的一个或多个目标，以及确定所述一个或多个目标的批注样式；其中，所述批注样式包括批注类型；

所述电子设备保存所述第二操作对应的一个或多个目标的批注样式；

所述电子设备根据保存的所述批注样式，显示所述显示界面上所述一个或多个目标对应的批注。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

响应于接收到用户的第三操作，所述电子设备根据保存的所述批注样式，显示所述显示界面上所述一个或多个目标对应的批注；

其中，用户的所述第三操作包括以下中的一种或多种：用户改变所述显示界面窗口大小的操作、用户改变所述显示界面窗口形状的操作、用户改变所述显示界面上内容的操作、用户改变所述显示界面上内容尺寸的操作。

3.根据权利要求1或2所述的方法，其特征在于，所述电子设备根据保存的所述批注样式，显示所述显示界面上所述一个或多个目标对应的批注，包括：

所述电子设备根据保存的所述批注样式，显示更新后的显示界面；

其中，所述更新后的显示界面包括所述一个或多个目标对应的批注。

4.根据权利要求1或2所述的方法，其特征在于，所述电子设备根据保存的所述批注样式，显示所述显示界面上所述一个或多个目标对应的批注，包括：

所述电子设备根据保存的所述批注样式，在所述批注图层上显示所述批注；

其中，所述批注图层上显示的所述批注与所述显示界面上的所述一个或多个目标对应。

5.根据权利要求1-4中任一项所述的方法，其特征在于，所述第二操作在所述显示界面上对应的一个或多个目标包括一个或多个文字，和/或一个或多个图片。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述批注类型包括以下中的任一种：高亮线、下划线、删除线、圈选、图形标记或文字批注。

7.根据权利要求1-6中任一项所述的方法，其特征在于，所述电子设备识别所述第二操作在所述显示界面上对应的一个或多个目标，包括：

所述电子设备获取第一坐标信息，所述第一坐标信息是所述第二操作对应的操作轨迹在预设坐标系中的坐标信息；

所述电子设备获取第二坐标信息；所述第二坐标信息是所述显示界面上的所有内容在所述预设坐标系中的坐标信息；

所述电子设备确定与所述第一坐标信息匹配的所述第二坐标信息对应的一个或多个目标。

8.根据权利要求1-7中任一项所述的方法，其特征在于，在所述电子设备保存所述第二操作对应的一个或多个目标的批注样式之前，所述方法还包括：

所述电子设备修正所述第二操作对应的批注。

9.根据权利要求8所述的方法，所述电子设备修正所述第二操作对应的批注：包括：

所述电子设备将用户通过所述第二操作输入的线型修正为对应的标准线型；和/或，

所述电子设备将用户通过所述第二操作输入的图形修正为对应的标准图形；和/或，

所述电子设备将用户通过所述第二操作输入的文字批注修正为标准字体文字。

10.根据权利要求2-9中任一项所述的方法，其特征在于，

所述批注样式还包括所述高亮线、下划线、删除线、圈选或图形标记的线型，或所述文字批注与对应目标之间的连接线的线型。

11.根据权利要求2-10中任一项所述的方法，其特征在于，

所述批注样式还包括所述高亮线、下划线、删除线、圈选、图形标记或文字批注与对应目标之间的相对位置。

12.根据权利要求1-11中任一项所述的方法，其特征在于，所述方法还包括：

响应于接收到用户的第四操作，所述电子设备更新所述批注样式；

其中，所述第四操作是用户对通过所述第二操作输入的批注的编辑操作。

13.根据权利要求1-12中任一项所述的方法，其特征在于，

所述第一操作包括：用户选择虚拟手写笔笔型的操作或用户选择批注款式的操作；

其中，所述虚拟手写笔笔型包括虚拟铅笔、虚拟钢笔、虚拟圆珠笔或虚拟马克笔；所述批注款式包括：高亮、下划线、删除、圈选、图形标记或文字批注。

14.根据权利要求1-13中任一项所述的方法，其特征在于，

所述第二操作包括用户在所述一个或多个目标上方、下方、周围或者目标上的滑动操作。

15.一种电子设备，其特征在于，所述电子设备包括：一个或多个传感器、显示器、存储器和处理器；

其中所述存储器包括程序指令代码，当所述处理器执行所述程序指令代码时，所述电子设备执行如权利要求1-14任一项所述的方法。

16.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机执行指令，所述计算机执行指令被处理电路执行时实现如权利要求1-14中任一项所述的方法。

17.一种计算机程序产品，其特征在于，所述计算机程序产品包括程序指令，所述程序指令被执行时，以实现如权利要求1-14中任一项所述的方法。

Images