CN114077825A - 添加批注的方法、电子设备及相关装置 - Google Patents

添加批注的方法、电子设备及相关装置 Download PDF

Info

Publication number
CN114077825A
CN114077825A CN202010778050.8A CN202010778050A CN114077825A CN 114077825 A CN114077825 A CN 114077825A CN 202010778050 A CN202010778050 A CN 202010778050A CN 114077825 A CN114077825 A CN 114077825A
Authority
CN
China
Prior art keywords
content
annotation
electronic device
layer
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202010778050.8A
Other languages
English (en)
Inventor
肖冬
陈泽曦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202010778050.8A priority Critical patent/CN114077825A/zh
Priority to EP21854351.0A priority patent/EP4180923A4/en
Priority to US18/040,493 priority patent/US20230306192A1/en
Priority to PCT/CN2021/109360 priority patent/WO2022028310A1/zh
Publication of CN114077825A publication Critical patent/CN114077825A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/169Annotation, e.g. comment data or footnotes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842Selection of displayed objects or displayed text elements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/166Editing, e.g. inserting or deleting
    • G06F40/171Editing, e.g. inserting or deleting by use of digital ink
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048Indexing scheme relating to G06F3/048
    • G06F2203/04808Several contacts: gestures triggering a specific function, e.g. scrolling, zooming, right-click, when the user establishes several contacts with the surface simultaneously; e.g. using several fingers or a combination of fingers and pen

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本申请提供一种添加批注的方法、电子设备及相关装置。该方法包括:电子设备在第一区域内显示内容图层中的第一内容,内容图层用于存储电子设备的显示屏可显示的内容。电子设备在第一预设时长范围内接收手指的第一操作和手写笔的第二操作。电子设备响应于第一操作和第二操作,在内容图层上加载批注图层。电子设备响应于手写笔的第三操作,在批注图层中接收手写笔在第一区域中对第一内容输入的第一批注。电子设备响应于第一批注,在第一区域内显示包含有第一批注的第一内容。其中,第一区域为显示屏中可显示的任意一个区域,第一内容在第一区域内显示的位置保持不变。从而,借助手写笔和手指的配合,实现对电子设备所显示的内容进行批注。

Description

添加批注的方法、电子设备及相关装置
技术领域
本申请涉及终端技术领域,尤其涉及一种添加批注的方法、电子设备及相关装置。
背景技术
批注功能作为如平板电脑等电子设备越来越重要的功能之一,已经广泛应用于人们的工作和学习之中,提高了人们的工作和学习的效率。
下面,介绍电子设备实现批注功能的几种相关技术。
相关技术1中,电子设备通过第一应用程序(application,APP)显示内容时,用户需要将第一APP与备忘录APP的分屏设置或者将备忘录APP悬浮设置第一APP的界面上,使得用户能够在备忘录APP中记录批注。
相关技术2中,电子设备通过第一APP显示内容时,用户需要退出第一APP,并打开备忘录APP,使得用户能够在备忘录APP中记录批注。
相关技术3中,电子设备通过第一APP显示内容时,用户需要对电子设备当前显示的内容进行截图操作,并点击截图图片中的编辑操作按钮,使得用户能够在截图图片上进行批注。
综上,上述几种相关技术均可实现电子设备的批注功能。然而,在实现电子设备的批注功能的过程中,相关技术1需要用户执行分屏设置或者悬浮设置的操作,相关技术2需要用户执行退出第一APP的操作,相关技术3需要用户执行截屏等操作,才能够对电子设备所显示的内容做批注,导致用户操作步骤较多,无法直接对所显示的内容进行批注,不利于用户的使用体验。
发明内容
本申请提供了一种添加批注的方法、电子设备及相关装置,可以借助手写笔和手指的配合,实现对电子设备所显示的内容进行批注,降低了用户的操作步骤,提升了用户的使用体验。
第一方面,本申请提供一种添加批注的方法,包括:电子设备在第一区域内显示内容图层中的第一内容,内容图层用于存储电子设备的显示屏可显示的内容;电子设备在第一预设时长范围内接收手指的第一操作和手写笔的第二操作;电子设备响应于第一操作和第二操作,在内容图层上加载批注图层,批注图层用于接收手写笔在显示屏上形成的运动轨迹对应的内容;电子设备响应于手写笔的第三操作,在批注图层中接收手写笔在第一区域中对第一内容输入的第一批注;电子设备响应于第一批注,在第一区域内显示包含有第一批注的第一内容;其中,第一区域为显示屏中可显示的任意一个区域,第一内容在第一区域内显示的位置保持不变。
可以理解的是,显示屏可以包括显示区域和非显示区域,也可以全部包括显示区域。其中,第一区域可以为显示区域的任意一部分区域,也可以为显示区域的全部区域,本申请对此不做限定。
其中,第一操作和第二操作可以包括但不限于如点击、双击、长按、滑动等操作。例如,手指的第一操作可以为大于等于预设数量的手指按压显示屏。手写笔的第二操作可以为手写笔的触碰压力大于等于预设压力且手写笔的触碰时长大于等于预设时长。另外,执行第一操作的手指的手与使用手写笔的手可以为用户的同一只手,也可以为用户的不同手,本申请对此不做限定。第三操作可以理解为用户使用手写笔在显示屏上形成运动轨迹所对应的操作,如手写文字、字母、图案、符号、画线等内容。
通过第一方面提供的添加批注的方法,借助手指和手写笔的配合使用,基于手触信息、笔触信息以及两者分别获取到的时间间隔,快速触发电子设备快速向用户提供批注功能,使得电子设备能够及时添加并显示批注内容,使得电子设备在显示任意内容时均能够完成与用户的批注操作之间的交互。从而,不仅减少了用户的操作步骤,也无需中断电子设备当前所显示内容对应的任务流程,还防止了用户操作时发生误触的问题,丰富了手写笔的应用场景,提升了用户的使用体验,且不受限于电子设备当前显示内容对应的应用是否支持批注功能,均能够实现电子设备的批注功能。
在一种可能的设计中,该方法还包括:电子设备响应于手指的第四操作,在第一区域内显示内容图层中的第二内容,第二内容与第一内容续接,且第一批注不显示在第一区域内;电子设备响应于手指的第五操作,在第一区域内显示包含有第一批注的第三内容,第三内容为内容图层中的内容,且第三内容与第一内容至少部分内容重合。
可以理解的是,第一内容和第二内容相关。在一些实施例中,第一内容和第二内容续接,如第一内容和第二内容存在部分内容重合,或者,第一内容和第二内容的位置相邻且不存在内容重合。在另一些实施例中,第一内容和第二内容的位置不相邻且不存在内容重合。第三内容与第一内容可以完成内容重合,也可以部分内容重合,只需满足显示屏显示第三内容的同时还显示有第一批注即可。
其中,第四操作和第五操作可以包括但不限于如点击、双击、长按、滑动等操作。第四操作用于表示继续浏览与第一内容相关的内容,第五操作用于表示获取第一批注。本申请对第四操作和第五操作的具体实现方式不做限定。
例如,第四操作为手指在显示屏上沿第一方向执行的滑动操作时,第五操作为手指在显示屏上沿第二方向执行的滑动操作。其中,本申请对第一方向和第二方向的具体方向不做限定,且第一方向和第二方向为相反的方向。
又如,第四操作为手指在下一页操作按钮上执行的点击操作时,第五操作为手指在上一页操作按钮上执行的点击操作。或者,第四操作为手指在上一页操作按钮上执行的点击操作时,第五操作为手指在下一页操作按钮上执行的点击操作。其中,上述点击操作操作可以为点击N次,N为正整数。
又如,第四操作为手指在向后拖动快进操作按钮上执行的拖动操作时,第五操作为手指在向前拖动快进操作按钮上执行的拖动操作。或者,第四操作为手指在向前拖动快进操作按钮上执行的拖动操作时,第五操作为手指在向后拖动快进操作按钮上执行的拖动操作。
通过上述可能的设计,电子设备响应于手指的操作,可显示与第一内容相关的内容(如第二内容),使得用户能够继续浏览与第一内容相关的内容。从而,电子设备在实现批注功能的任务流程同时,不会中断电子设备当前所显示内容对应的任务流程。且电子设备响应于手指的操作,还可从与第一内容相关的内容处显示包含有第一批注的第三内容,使得用户能够继续对第一批注进行浏览和/或编辑。从而,电子设备在实现内容显示对应的任务流程的同时,不会中断电子设备实现批注功能的任务流程。由此,电子设备不仅能够同时实现内容显示对应的任务流程与实现批注功能的任务流程,且上述两个任务流程之间相互不影响,方便内容的继续显示以及批注的回看和/或再次编辑,有利于提升用户的使用体验。
在一种可能的设计中,批注图层还用于存储第一批注与第一内容之间的对应关系,内容图层还用于存储第三内容与第一内容之间的对应关系;电子设备在第一区域内显示包含有第一批注的第三内容,包括:电子设备基于第一批注与第一内容之间的对应关系以及第三内容与第一内容之间的对应关系,确定第一批注在第三内容中的第一位置,并在第一区域内显示第三内容,且在第三内容中的第一位置处显示第一批注。由此,电子设备基于手指的操作对应的位置变化,及时且准确地确定显示屏需要显示的第三内容,以及基于第一批注与第一内容的绑定以及第一内容和第二内容之间的对应关系,能够准确地确定第一批注在第三内容中的位置,使得用户能够回看第一批注。
在一种可能的设计中,第一区域内显示的内容类型包括:视频、网页、图片、文档或界面中的任意一种。由此,不受限于第一区域内显示的内容的类型,电子设备便可实现批注功能。且电子设备也受限于第一区域内显示的内容对应的应用,无论该应用是否支持批注功能,电子设备均可实现批注功能。
在一种可能的设计中,在第一区域内显示的内容类型为网页时,第一批注与第一内容之间的对应关系为第一内容在第一内容所在网页中的位置,或者,第一内容与第一内容所在网页中除了第一内容之外的其他内容之间的位置关系。由此,电子设备可采用多种实现方式绑定第一批注与第一内容,有利于用户回看第一批注。
在一种可能的设计中,电子设备在第一区域内显示内容图层中的第二内容之后,方法还包括:电子设备响应于手写笔的第六操作,在批注图层中接收手写笔在第一区域中对第二内容输入的第二批注;电子设备响应于第二批注,在第一区域内显示包含有第二批注的第二内容;其中,第二内容在第一区域内显示的位置保持不变。由此,在内容图层上已加载批注图层的基础上,电子设备继续在批注图层中接收批注,实现对所显示的内容中添加批注的功能,有利于满足用户添加多个批注的使用需求。
其中,第六操作可以理解为用户使用手写笔在显示屏上形成运动轨迹所对应的操作,如手写文字、字母、图案、符号、画线等内容。且第六操作可以与第三操作相同或者不同,本申请对此不做限定。
在一种可能的设计中,该方法包括:电子设备在符合预设的触发条件时,在内容图层上加载批注图层;其中,预设的触发条件包括如下任意一种:手指的数量大于等于预设数量,手写笔的触碰压力大于等于预设压力,以及手写笔的触碰时长大于等于预设时长;手指的触碰位置与手写笔的触碰位置之间的间距小于等于第一预设距离;手指的数量大于等于预设数量,手写笔的触碰压力大于等于预设压力,手写笔的触碰时长大于等于预设时长以及手指的触碰位置与手写笔的触碰位置之间的间距小于等于第一预设距离;或者,手指的数量大于等于预设数量,手写笔的触碰压力大于等于预设压力,手写笔的触碰时长大于等于预设时长以及不同手指之间的间距小于等于第二预设距离。
由此,借助手指和手写笔的配合使用,不仅准确触发电子设备的批注功能,还可避免由于用户的误触操作而触发电子设备的批注功能的问题,提高了用户的使用体验。
在一种可能的设计中,批注图层还用于存储第一批注与第一内容之间的对应关系,内容图层还用于存储第一内容与内容图层中的内容之间的对应关系;电子设备接收第一批注之后,方法还包括:电子设备响应于手写笔的第七操作或手指的第八操作,基于第一批注与第一内容之间的对应关系以及第一内容与内容图层中的内容之间的对应关系,确定内容图层中的第四内容,其中,第四内容与第一内容至少部分内容重合;电子设备按照第一格式,对包含有第一批注的第四内容进行保存,其中,第一格式与第七操作或者第八操作相关。
其中,第七操作和第八操作可以包括但不限于如点击、双击、长按、滑动等操作。例如,第七操作可以为手写笔点击显示屏中用于保存第一批注的控件等。第八操作可以为手指点击显示屏中用于保存第一批注的控件,或者,手指按压显示屏中除了控件之外的空间区域的操作等。另外,第一格式与第七操作或者第八操作相关可以理解为,电子设备在接收到第七操作或者第八操作时,可以按照默认的保存方式,对第一批注与第四内容进行保存。或者,电子设备基于第七操作或者第八操作对应的保存方式,对第一批注与第四内容进行保存。
在一种可能的设计中,第一格式包括:图片格式、可携带文档格式PDF或文本文档TXT格式中的任意一种。由此,电子设备基于用户的意愿,可以采用上述保存格式中的任意一种,将包含有批注内容的显示内容保存在如文件夹、图库或者备忘录等中,便于用户从如文件夹、图库或者备忘录等中再次对第一批注进行浏览和/或编辑。
在一种可能的设计中,批注图层还用于存储第二批注与第二内容之间的对应关系,内容图层还用于存储第二内容与内容图层中的内容之间的对应关系;电子设备接收第二批注之后,方法还包括:电子设备响应于手写笔的第十一操作或手指的第十二操作,基于第二批注与第二内容之间的对应关系以及第二内容与内容图层中的内容之间的对应关系,确定第六内容,其中,第六内容与第二内容至少部分内容重合;电子设备按照第二格式,对包含有第二批注的第六内容进行保存,其中,第二格式与第十一操作或者第十二操作相关。
其中,第十一操作和第十二操作可以包括但不限于如点击、双击、长按、滑动等操作。例如,第十一操作可以为手写笔点击显示屏中用于保存第二批注的控件等。第十二操作可以为手指点击显示屏中用于保存第二批注的控件,或者,手指按压显示屏中除了控件之外的空间区域的操作等。另外,第二格式与第十一操作或者第十二操作相关可以理解为,电子设备在接收到第十一操作或者第十二操作时,可以按照默认的保存方式,对第二批注与第六内容进行保存。或者,电子设备基于第十一操作或者第十二操作对应的保存方式,对第二批注与第六内容进行保存。
在一种可能的设计中,第二格式包括:图片格式、可携带文档格式PDF或文本文档TXT格式中的任意一种。由此,电子设备基于用户的意愿,可以采用上述保存格式中的任意一种,将包含有批注内容的显示内容保存在如文件夹、图库或者备忘录等中,便于用户从如文件夹、图库或者备忘录等中再次对第二批注进行浏览和/或编辑。
在一种可能的设计中,电子设备在内容图层上加载批注图层之后,方法还包括:电子设备在第二预设时长范围内接收手指的第九操作和手写笔的第十操作;电子设备响应于第九操作和第十操作,在第一区域内显示内容图层中的第五内容,第五内容为电子设备响应于第九操作和第十操作之前所显示的内容。
其中,第九操作和第十操作可以包括但不限于如点击、双击、长按、滑动等操作。例如,手指的第九操作可以为大于等于预设数量的手指按压显示屏。手写笔的第十操作可以为手写笔的触碰压力大于等于预设压力且手写笔的触碰时长大于等于预设时长。另外,执行第九操作的手指的手与使用手写笔的手可以为用户的同一只手,也可以为用户的不同手,本申请对此不做限定。
需要说明的是,本申请不限于上述实现方式不再向用户提供电子设备的批注功能。例如,用户可用手指点击显示屏中用于实现上述过程的控件。
在一种可能的设计中,方法还包括:电子设备在符合预设的释放条件时,将批注图层中的内容删除。由此,将与批注图层对应的存储空间挪为他用,有利于节省电子设备的存储空间以及提升电子设备的处理速率。
其中,预设的释放条件可以包括但不限于:批注图层的剩余存储空间是否小于第一预设阈值,批注内容和对应关系的存储时长是否大于预设时长,批注内容和对应关系的存储空间之和是否超过第二预设阈值等。本申请对第一预设阈值、预设时长和第二预设阈值的具体大小不做限定。
第二方面,本申请提供一种通信装置,包括:显示管理器,用于从显示内容存储模块中获取内容图层中的第一内容,内容图层用于存储与电子设备电连接的显示屏可显示的内容,并指示驱动模块驱动显示屏在第一区域内显示第一内容;输入管理器,用于接收第一指令,第一指令用于表示电子设备在第一预设时长范围内接收到手指的第一操作和手写笔的第二操作;窗口管理器,用于响应于第一指令,在内容图层上加载批注图层,并创建手写笔服务缓存模块,批注图层用于接收手写笔在显示屏上形成的运动轨迹对应的内容,手写笔服务缓存模块用于存储批注图层中的内容;输入管理器,还用于接收第二指令,第二指令用于表示电子设备接收到手写笔的第三操作,第二指令中包括批注图层中的第一批注,第一批注为手写笔在第一区域中对第一内容输入的内容;窗口管理器,还用于响应于第二指令,将第一批注存储到手写笔服务缓存模块中;显示管理器,还用于从手写笔服务缓存模块中获取第一批注,并指示驱动模块驱动显示屏在第一区域内显示包含有第一批注的第一内容;其中,第一区域为显示屏中可显示的任意一个区域,第一内容在第一区域内显示的位置保持不变。
在一种可能的设计中,输入管理器,还用于接收第三指令,第三指令用于表示电子设备接收到手指的第四操作;显示管理器,还用于响应于第三指令,从显示内容存储模块中获取内容图层中的第二内容,并指示驱动模块驱动显示屏在第一区域内显示第二内容,第二内容与第一内容续接,且第一批注不显示在第一区域内;输入管理器,还用于接收第四指令,第四指令用于表示电子设备接收到手指的第五操作;显示管理器,还用于响应于第四指令,从显示内容存储模块中获取内容图层中的第三内容,从手写笔服务缓存模块中获取第一批注,并指示驱动模块驱动显示屏在第一区域内显示包含有第一批注的第三内容,第三内容与第一内容至少部分内容重合。
在一种可能的设计中,显示内容存储模块还用于存储第三内容与第一内容之间的对应关系;窗口管理器,还用于响应于第二指令,将第一批注与第一内容之间的对应关系存储在手写笔服务缓存模块中;显示管理器,具体用于从手写笔服务缓存模块中获取第一批注与第一内容之间的对应关系,从显示内容存储模块中获取第三内容与第一内容之间的对应关系,并基于第一批注与第一内容之间的对应关系以及第三内容与第一内容之间的对应关系,确定第一批注在第三内容中的第一位置,并从显示内容存储模块中获取第三内容,从手写笔服务缓存模块中获取第一批注,并指示驱动模块驱动显示屏在第一区域内显示第三内容,且在第三内容中的第一位置处显示第一批注。
在一种可能的设计中,第一区域内显示的内容类型包括:视频、网页、图片、文档或界面中的任意一种。
在一种可能的设计中,在第一区域内显示的内容类型为网页时,第一批注与第一内容之间的对应关系为第一内容在第一内容所在网页中的位置,或者,第一内容与第一内容所在网页中除了第一内容之外的其他内容之间的位置关系。
在一种可能的设计中,输入管理器,还用于接收第五指令,第五指令用于表示电子设备接收到手写笔的第六操作,第五指令中包括批注图层中的第二批注,第二批注为手写笔在第一区域中对第二内容输入的内容;窗口管理器,还用于响应于第五指令,将第二批注存储到手写笔服务缓存模块中;显示管理器,还用于从手写笔服务缓存模块中获取第二批注,并指示驱动模块驱动显示屏在第一区域内显示包含有第二批注的第二内容;其中,第二内容在第一区域内显示的位置保持不变。
在一种可能的设计中,第一指令具体用于表示电子设备在第一预设时长范围内接收到手指的第一操作和手写笔的第二操作符合预设的触发条件;其中,预设的触发条件包括如下任意一种:手指的数量大于等于预设数量,手写笔的触碰压力大于等于预设压力,以及手写笔的触碰时长大于等于预设时长;手指的触碰位置与手写笔的触碰位置之间的间距小于等于第一预设距离;手指的数量大于等于预设数量,手写笔的触碰压力大于等于预设压力,手写笔的触碰时长大于等于预设时长以及手指的触碰位置与手写笔的触碰位置之间的间距小于等于第一预设距离;或者,手指的数量大于等于预设数量,手写笔的触碰压力大于等于预设压力,手写笔的触碰时长大于等于预设时长以及不同手指之间的间距小于等于第二预设距离。
在一种可能的设计中,显示内容存储模块还用于存储第一内容与内容图层中的内容之间的对应关系;窗口管理器,还用于响应于第二指令,将第一批注与第一内容之间的对应关系存储在手写笔服务缓存模块中;输入管理器,还用于接收第六指令,第六指令用于表示电子设备接收到手写笔的第七操作或手指的第八操作;内容提供器,用于响应于第六指令,基于第一批注与第一内容之间的对应关系以及第一内容与内容图层中的内容之间的对应关系,确定内容图层中的第四内容,第四内容与第一内容至少部分内容重合;内容提供器,还用于从显示内容存储模块中获取第四内容,从手写笔服务缓存模块中获取第一批注,并指示驱动模块驱动与电子设备电连接的存储器按照第一格式,对包含有第一批注的第四内容进行保存,其中,第一格式与第七操作或者第八操作相关。
在一种可能的设计中,第一格式包括:图片格式、可携带文档格式PDF或文本文档TXT格式中的任意一种。
在一些实施例中,显示内容存储模块还用于存储第二内容与内容图层中的内容之间的对应关系。窗口管理器,还用于响应于第五指令,将第二批注与第二内容之间的对应关系存储在手写笔服务缓存模块中。输入管理器,还用于接收第八指令,第八指令用于表示电子设备接收到手写笔的第十一操作或手指的第十二操作。内容提供器,用于响应于第八指令,基于第二批注与第二内容之间的对应关系以及第二内容与内容图层中的内容之间的对应关系,确定内容图层中的第六内容,第六内容与第二内容至少部分内容重合。内容提供器,还用于从显示内容存储模块中获取第六内容,从手写笔服务缓存模块中获取第二批注,并指示驱动模块驱动与电子设备电连接的存储器按照第二格式,对包含有第二批注的第六内容进行保存,其中,第二格式与第十一操作或者第十二操作相关。
在一些实施例中,第二格式包括:图片格式、可携带文档格式PDF或文本文档TXT格式中的任意一种。
在一种可能的设计中,输入管理器,还用于接收第七指令,第七指令用于表示电子设备在第二预设时长范围内接收到手指的第九操作和手写笔的第十操作;显示管理器,还用于响应于第七指令,从显示内容存储模块中获取内容图层中第五内容,并指示驱动模块驱动显示屏在第一区域内显示第五内容,第五内容为电子设备响应于第九操作和第十操作之前所显示的内容。
在一种可能的设计中,通信装置还包括:窗口管理器,还用于响应于第七指令,在符合预设的释放条件时,将批注图层中的内容删除,并从内容提供器中删除手写笔服务缓存模块。
上述第二方面以及上述第二方面的各可能的设计中所提供的通信装置,其有益效果可以参见上述第一方面和第一方面的各可能的实施方式所带来的有益效果,在此不再赘述。
第三方面,本申请提供一种电子设备,包括:显示屏、传感器及处理器、存储器;其中,电子设备用于与手写笔电连接,手写笔用于在显示屏上形成运动轨迹;存储器与处理器耦合,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当处理器执行计算机指令时,电子设备执行第一方面及第一方面任一种可能的设计中的添加批注的方法。
其中,本申请对显示屏、传感器、处理器以及存储器的数量和类型等参数不做限定。
第四方面,本申请提供了一种电子设备,包括处理器和存储器。该存储器与处理器耦合,存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当处理器执行计算机指令时,使得电子设备执行第一方面及第一方面任一种可能的设计中的添加批注的方法。
其中,本申请对处理器和存储器的数量和类型等参数不做限定。
第五方面,本申请提供一种电子设备,包括:用于执行第二方面及第二方面任一种可能的设计中的通信装置。
第六方面,本申请提供一种通信***,包括:手写笔和第二方面及第二方面任一种可能的设计中的电子设备,手写笔用于在与电子设备电连接的显示屏上形成运动轨迹。
第七方面,本申请提供一种芯片***,芯片***应用于包括存储器、显示屏和传感器的电子设备;芯片***包括:一个或多个接口电路和一个或者多个处理器;接口电路和处理器通过线路互联;接口电路用于从存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行计算机指令时,电子设备执行第一方面及第一方面任一种可能的设计中的添加批注的方法。
其中,芯片***中可以包括一个芯片,也可以包括多个芯片。在芯片***中包括多个芯片时,本申请对芯片的类型和数量等参数不做限定。
第八方面,本申请提供一种计算机可读存储介质,计算机可读存储介质中存储有指令,当指令在电子设备上运行时,使得电子设备执行第一方面及第一方面任一种可能的设计中的添加批注的方法。
第九方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行第一方面及第一方面任一种可能的设计中的添加批注的方法。
附图说明
图1为本申请一实施例提供的一种电子设备与手写笔的应用场景示意图;
图2A为本申请一实施例提供的一种电子设备的硬件架构图;
图2B为本申请一实施例提供的一种判断电子设备是否符合预设的触发条件的流程框图;
图3为本申请一实施例提供的一种包括***软件架构和对应的硬件组件在内的结构框图;
图4A-图4B为本申请一实施例提供的一种内容图层和批注图层的位置关系示意图;
图5A-图5N为本申请一实施例提供的一种人机交互界面示意图;
图6A-图6D为本申请一实施例提供的一种图片的示意图;
图7A-图7C为本申请一实施例提供的一种人机交互界面示意图;
图8A-图8E为本申请一实施例提供的一种人机交互界面示意图;
图9为本申请一实施例提供的一种添加批注的方法的流程示意图;
图10为本申请一实施例提供的一种添加批注的方法的流程示意图。
具体实施方式
本申请中,“至少一个”是指一个或者多个,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,A和/或B,可以表示:单独存在A,同时存在A和B,单独存在B的情况,其中A,B可以是单数或者复数。字符“/”一般表示前后关联对象是一种“或”的关系。“以下至少一项(个)”或其类似表达,是指的这些项中的任意组合,包括单项(个)或复数项(个)的任意组合。例如,单独a,单独b或单独c中的至少一项(个),可以表示:单独a,单独b,单独c,组合a和b,组合a和c,组合b和c,或组合a、b和c,其中a,b,c可以是单个,也可以是多个。此外,术语“第一”、“第二”仅用于描述目的,而不能理解为指示或暗示相对重要性。
本申请提供一种添加批注的方法,可应用于平板电脑、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer,UMPC)、上网本、个人数字助理(personaldigital assistant,PDA)、手机、可穿戴设备、车载设备、增强现实(augmented reality,AR)/虚拟现实(virtual reality,VR)设备、智能电视等电子设备,本申请对此不做限定。为了便于说明,本申请的电子设备以平板电脑为例进行示意。
本申请中,电子设备100响应于手指触碰显示屏的如点击、双击、长按、滑动等操作,可以检测到手指触碰显示屏产生的信号(如电容值、电阻值等电信号),并获得相应的手触信息。需要说明的是,手指触碰显示屏不等同于用户手掌触碰显示屏,本申请通常可采用触碰区域的面积大小,或者触碰区域的面积大小与形状等方式来区分手指和用户手掌触碰显示屏。在一些实施例中,一般人的大拇指触碰区域的直径大概在7mm到10mm左右,故本申请可将触碰区域的面积大小大于等于30mm对应的触碰操作确定为用户手掌的触碰操作,将触碰区域的面积大小小于30mm对应的触碰操作确定为用户手触的触碰操作。
其中,本申请对手触信息的具体表示内容不做限定。例如,手触信息可以包括但不限于:手指的数量N、不同手指之间的间距M2、手指的触碰压力、手指的触碰时长、手指的触碰面积、手指的触碰形状、手指的触碰位置(即在显示屏中的坐标)等。需要说明的是,用户也可以利用手指在电子设备100的显示屏上书写文字等信息。
如图1所示,电子设备100还可以搭载手写笔200。其中,手写笔200可以为电阻式手写笔、电磁式手写笔或者电容式手写笔,本申请对此不做限定。手写笔200与电子设备100之间可通过蓝牙、Wi-Fi、zigbee等无线通信方式进行通信。为了便于说明,图1中,以电子设备100为平板电脑,且电子设备100与手写笔200通过蓝牙通信为例进行示意。
一方面,电子设备100响应于用户使用手写笔200触碰显示屏的如点击、双击、长按、滑动等操作,可以检测到手写笔200触碰显示屏产生的信号(如电容值、电阻值等电信号),并获得对应的笔触信息。
其中,本申请对笔触信息的具体表示内容不做限定。例如,笔触信息可以包括但不限于:手写笔200的触碰压力F、手写笔200的触碰时长T、手写笔200的触碰频率、手写笔200的触碰面积、手写笔200的触碰形状、手写笔200的触碰位置(即在显示屏中的坐标)等。
另一方面,用户可使用手写笔200在电子设备100的显示屏上执行书写文字、字母、图案、符号、画线等内容的操作,从而电子设备100响应于前述操作,可检测出手写笔200在电子设备100的显示屏上形成的运动轨迹,并识别出手写笔200在电子设备100的显示屏上形成的运动轨迹对应的内容,且能够显示在电子设备100的显示屏103上。另外,电子设备100还可以将手写笔200在电子设备100的显示屏103上形成的运动轨迹对应的内容记录在电子设备100中内容。
综上,电子设备100不仅可以获得手触信息和笔触信息,还可以识别出由手写笔200在显示屏103上形成的运动轨迹对应的内容。并且,电子设备100还可以区分手触信息和笔触信息。
在一些实施例中,手指触碰显示屏产生的信号所位于的频率区段(或者幅值范围等)与手写笔200触碰显示屏产生的信号所位于的频率区段(或者幅值范围等)一般不同。故,电子设备100可以根据信号所位于的频率区段(或者幅值范围等)来确定是手指触碰显示屏产生的信号还是手写笔200触碰显示屏产生的信号,从而确定出是手触信息还是笔触信息。需要说明的是,本申请不限于前述方式来区分手触信息和笔触信息。
并且,电子设备100还可以获取到响应于手指的触发操作与响应于手写笔200的触发操作的时间间隔,该时间间隔用于表示手指的触发操作与手写笔200的触发操作的同步性。其中,本申请对两者的时间间隔的具体表示方式不做限定。例如,该时间间隔可采用电子设备100分别获取手触信息与笔触信息的时间间隔进行表示。
在一些实施例中,该时间间隔可以采用电子设备100基于手指触碰显示屏产生的信号计算得到手触信息的时刻,与电子设备100基于手写笔200触碰显示屏产生的信号计算得到笔触信息的时刻之间的最小差值(或者最大差值或平均值等)的绝对值进行表示。
在另一些实施例中,该时间间隔信息可以采用电子设备100检测到手指触碰显示屏产生的信号的时刻,与电子设备100检测到手写笔200触碰显示屏产生的信号的时刻之间的最小差值(或最大差值或平均值等)的绝对值进行表示。
一般情况下,该绝对值在预设时长范围之外,则表示手指的触发操作与手写笔200的触发操作不同步。该绝对值在预设时长范围之内,则表示手指的触发操作与手写笔200的触发操作同步。其中,本申请对预设时长范围的大小不做限定。
下面,介绍图1所示的电子设备100的一种具体实现方式。
图2A示出了本申请一实施例提供的一种电子设备的硬件架构图。如图2A所示,电子设备100可以包括:触摸传感器101、压力传感器102、显示屏103、触控芯片104、图形处理器(graphics processing unit,GPU)105以及应用处理器(application processor,AP)106。另外,电子设备100还可以包括:存储器107。其中,本申请对存储器107的类型、数量和存储空间大小等参数均不做限定。另外,存储器107可以与应用处理器106集成设置,也可以与应用处理器106分开设置,本申请对此不做限定。
其中,触摸传感器101,也称“触控面板”。触摸传感器101可以设置于显示屏103,由触摸传感器101与显示屏103组成触摸屏,也称“触控屏”。触摸传感器101用于检测作用于其上或附近的触摸操作。触摸传感器101可以将检测到的触摸操作传递给应用处理器106,以确定触摸事件类型。可以通过显示屏103提供与触摸操作相关的视觉输出。在另一些实施例中,触摸传感器101也可以设置于电子设备100的表面,与显示屏103所处的位置不同。
其中,压力传感器102用于感受压力信号,可以将压力信号转换成电信号。在一些实施例中,压力传感器102可以设置于显示屏103。压力传感器102的种类很多,如电阻式压力传感器,电感式压力传感器,电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器102,电极之间的电容改变。电子设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏103,电子设备100根据压力传感器102检测所述触摸操作强度。电子设备100也可以根据压力传感器102的检测信号计算触摸的位置。在一些实施例中,作用于相同触摸位置,但不同触摸操作强度的触摸操作,可以对应不同的操作指令。例如:当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时,执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时,执行新建短消息的指令。
其中,显示屏103用于显示图像,视频等。显示屏103包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display,LCD),有机发光二极管(organic light-emitting diode,OLED),有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的,AMOLED),柔性发光二极管(flex light-emitting diode,FLED),Miniled,MicroLed,Micro-oLed,量子点发光二极管(quantum dotlight emitting diodes,QLED)等。在一些实施例中,电子设备100可以包括1个或N个显示屏103,N为大于1的正整数。
其中,电子设备100通过GPU 105,显示屏103以及应用处理器106等实现显示功能。GPU 105为图像处理的微处理器,连接显示屏103和应用处理器106。GPU 105用于执行数学和几何计算,用于图形渲染。电子设备100可包括一个或多个GPU,其执行程序指令以生成或改变显示信息。
本申请中,触摸传感器101用于检测触碰显示屏103的操作所产生的信号,如手写笔触碰显示屏103的操作所产生的信号(如电容值信号)以及手指触碰显示屏103的操作所产生的信号(如电容值信号),并将触碰显示屏103的操作所产生的信号上传至触控芯片104。
压力传感器102用于检测按压显示屏103的操作所产生的信号,如手写笔按压显示屏103的操作所产生的信号(如电阻值信号)以及手指按压显示屏103的操作所产生的信号(如电阻值信号),并将按压显示屏103的操作所产生的信号上传至触控芯片104。
触控芯片104基于触摸传感器101检测到的信号和压力传感器102检测到的信号,可以确定出手触信息、笔触信息以及获取手触信息的时刻与获取笔触信息的时刻之间的时间间隔,并基于手触信息、笔触信息以及获取手触信息的时刻与获取笔触信息的时刻之间的时间间隔,判断电子设备100是否符合预设的触发条件。
在电子设备100符合预设的触发条件时,电子设备100可以接收手写笔200在显示屏103上形成的运动轨迹,并将识别出的手写笔200在显示屏103上形成的运动轨迹对应的内容显示在显示屏103上。为了便于表述前述内容,本申请采用电子设备100进入批注模式进行举例示意。
在电子设备100不符合预设的触发条件时,电子设备无法在显示屏103上显示手写笔200在显示屏103上形成的运动轨迹对应的内容。例如,电子设备100可以不接收手写笔200在显示屏103上形成的运动轨迹,或者不将识别出的手写笔200在显示屏103上形成的运动轨迹对应的内容显示在显示屏103上。为了便于表述前述内容,本申请采用电子设备100无法进入批注模式进行举例示意。
其中,本申请对预设的触发条件的具体实现方式不做限定。在一些实施例中,在手触信息表示手指有触碰显示屏103,且笔触信息表示手写笔200有触碰显示屏103,以及获取手触信息的时刻与获取笔触信息的时刻之间的时间间隔在预设时长范围之内时,触控芯片104可以确定出电子设备100符合预设的触发条件。
其中,本申请可以采用多种实现方式,确定手触信息是否表示手指有触碰显示屏103。在一种可行的实现方式中,如图2B所示,若手触信息中的手指的数量N大于等于预设数量N1,则说明手触信息表示手指有触碰显示屏103。由此,电子设备100可以准确地确定出手指有触碰显示屏103的操作,避免了由于用户的误触操作而进入电子设备100的批注模式的问题,提高了用户的使用体验。
其中,本申请可以采用多种实现方式,确定笔触信息表示手写笔200有触碰显示屏103。在一种可行的实现方式中,如图2B所示,若笔触信息中的手写笔200的触碰压力F大于等于预设压力F1,以及笔触信息中的手写笔200的触碰时长T大于等于预设时长T1,则说明笔触信息表示手写笔有触碰显示屏103。由此,电子设备100可以准确地确定出用户有手握手写笔200触碰显示屏103的操作,避免了由于手写笔的误触操作而进入电子设备100的批注模式的问题,提高了用户使用手写笔的体验。
另外,在上述预设的触发条件均符合的基础上,继续结合图2B,手触信息中的手指的触碰位置与笔触信息中的手写笔200的触碰位置之间的间距M1小于等于第一预设距离M01,可以准确地确定出用户是采用两只手中的一只手使用手写笔200触碰显示屏103,另一只手的手指触碰显示屏103,从而,电子设备100可以准确确定用户触发电子设备100进入批注模式的实现方式,进一步提高了电子设备100进入批注模式的准确率。
或者,手触信息中的不同手指之间的间距M2小于等于第二预设距离M02,可以准确地确定出用户采用一只手既使用手写笔200触碰显示屏103又使用该只手的手指触碰显示屏103,从而,电子设备100可以准确确定用户触发电子设备100进入批注模式的实现方式,进一步提高了电子设备100进入批注模式的准确率。
另外,上述预设的触发条件还可以用于触发电子设备实现如截图、切换菜单等功能或者调用如录音等应用,本申请不限于触发电子设备进入批注模式。
触控芯片104在确定电子设备100符合预设的触发条件时,可以向应用处理器106发送一指令,该一指令用于通知应用处理器106。其中,本申请对该一指令的具体实现形式不做限定。从而,应用处理器106为电子设备100提供批注功能所需的存储空间和功能服务,以便电子设备100实现批注功能。
在电子设备100符合预设的触发条件时,触控芯片104基于触摸传感器101检测到的信号,确定出手写笔200在显示屏103上形成的运动轨迹,并向应用处理器106发送手写笔200在显示屏103上形成的运动轨迹。应用处理器106识别手写笔200在显示屏103上形成的运动轨迹对应的内容,并通过GPU 105和显示屏103,显示手写笔200在显示屏103上形成的运动轨迹对应的内容。
需要说明的是,除了上述方式之外,触控芯片104也可以将触摸传感器101检测到的信号和压力传感器102检测到的信号传输给应用处理器106,应用处理器106基于触摸传感器101检测到的信号和压力传感器102检测到的信号,确定出手触信息、笔触信息以及获取手触信息的时刻与获取笔触信息的时刻之间的时间间隔,以便基于手触信息、笔触信息以及获取手触信息的时刻与获取笔触信息的时刻之间的时间间隔,判断电子设备100是否符合预设的触发条件。且本申请不限于上述两种实现方式。为了便于说明,本申请以第一种实现方式的描述进行举例示意。
另外,在一些实施例中,电子设备100还可通过两个单独的触控芯片104分别检测手写笔200触碰显示屏103所产生的信号和手指触碰显示屏103所产生的信号。在另一些实施例中,电子设备100还可通过单独的触控芯片104分别检测触摸传感器101检测到的信号和压力传感器102检测到的信号。
电子设备100的软件***可以采用分层架构,事件驱动架构,微核架构,微服务架构,或云架构。本申请对电子设备的操作***的类型不做限定。例如,Android***、Linux***、Windows***、iOS***、鸿蒙操作***(harmony operating system,鸿蒙OS)等。为了便于说明,本申请以分层架构的Android***为例。本申请以分层架构的Android***为例,示例性说明电子设备100的软件结构。
图3示出了本申请提供的一种包括***软件架构和对应的硬件组件在内的结构框图。
分层架构将软件分成若干个层,每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中,将Android***分为五层,从上至下分别为应用程序层,应用程序框架层,安卓运行时(Android runtime)和***库(图3中未进行示意),硬件抽象层(hard abstraction layer,HAL)(图3中未进行示意),以及内核层。
应用程序层可以包括一系列应用程序包。
如图3所示,应用程序包可以包括相机,图库,日历,通话,地图,导航,WLAN,蓝牙,音乐,视频,游戏,购物,出行,即时通信(如短信息)等应用程序。另外,应用程序包还可以包括:主屏幕(即桌面),负一屏,控制中心,通知中心等***应用程序。为了便于说明,图3中,应用程序层以包括桌面应用、浏览器应用和视频应用为例进行示意。
其中,负一屏,又可称为“-1屏”,是指在电子设备的主屏幕向右滑动屏幕,直至滑动至最左侧分屏的用户界面(user interface,UI)。例如,负一屏可以用于放置一些快捷服务功能和通知消息,比如全局搜索、应用程序某个页面的快捷入口(付款码、微信等)、即时信息及提醒(快递信息、支出信息、通勤路况、打车出行信息、日程信息等)及关注动态(足球看台、篮球看台、股票信息等)等。控制中心为电子设备的下拉消息通知栏,即当用户在电子设备上进行向下操作时电子设备所显示出的用户界面。通知中心为电子设备的上拉消息通知栏,即当用户在电子设备上进行向上操作时电子设备所显示出的用户界面。
应用程序框架层为应用程序层的应用程序提供应用编程接口(applicationprogramming interface,API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图3所示,应用程序框架层可以包括输入管理器,窗口管理器,内容提供器,视图***,电话管理器,资源管理器,通知管理器,显示管理器等。为了便于说明,图3中,应用程序框架层以包括输入管理器,窗口管理器,内容提供器,视图***,以及显示管理器为例进行示意。需要说明的是,输入管理器,窗口管理器,内容提供器,视图***,以及显示管理器中的任意两个模块均可以相互调用。
输入管理器用于接收如内核层、硬件抽象层等下层上报的指令或请求。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小,判断是否有状态栏,锁定屏幕,截取屏幕等。
本申请中,窗口管理器用于在电子设备100符合预设的触发条件时,在内容图层上加载批注图层,即批注图层覆盖在内容图层上。
其中,内容图层用于接收存储器107中的显示内容,实现显示内容的渲染。显示内容为可在显示屏103上进行显示的内容。其中,显示内容可以包括但不限于网页、文档、视频、图片等。另外,显示内容也可以包括锁屏APP显示的界面内容,桌面APP显示的界面内容,地图APP显示的界面内容,设置APP显示的界面内容,打车APP显示的界面内容等。显示内容可以预先存储在存储器107中的内容,也可以为电子设备100从显示内容对应的服务器中获取并存储在存储器107中的内容。在一些实施例中,电子设备100可以通过***APP或者第三方APP等应用在显示屏103上显示显示内容。其中,该应用可以支持批注功能,也可以不支持批注功能,本申请对此不做限定。例如。电子设备100的显示屏103可以显示浏览器APP的网页,如新闻资源,也可以播放视频APP中的视频,如网课视频,也可以显示文件夹APP中的文档,如文档、文献或者邮件,也可以为图库APP中的图片。
另外,本申请对显示内容的显示方式不做限定。例如,用户可以通过上下滑动等方式浏览显示屏103上显示的显示内容的全部内容。又如,用户可以通过翻页或者拖动等方式浏览显示屏103上显示的显示内容的全部内容。
其中,批注图层用于接收存储器107中的批注内容。显示屏可以显示批注图层中的内容,也可以显示批注图层中的内容以及与该内容相关的内容,如水印修饰或者LOGO等。批注内容为在电子设备100符合预设的触发条件时,用户使用手写笔200在电子设备100的显示屏103上形成的运动轨迹对应的内容。其中,本申请对批注内容的具体表示内容不做限定。例如,批注内容可以包括但不限于:文字、字母、图案、符号、画线等内容。
需要说明的是,存储器107中与内容图层对应的存储空间与存储器107中与批注图层对应的存储空间分离且相互不干扰,使得用户使用手写笔200输入批注内容时显示屏103仍能继续显示显示内容。
内容提供器用来存放和获取数据,并使这些数据可以被应用程序访问。所述数据可以包括视频,图像,音频,拨打和接听的电话,浏览历史和书签,电话簿等。
本申请中,内容提供器用于提供显示内容和批注内容,内容提供器包括显示内容存储模块和手写笔服务缓存模块。需要说明的是,手写笔服务缓存模块也可以不设置在内容提供器中,可独立设置在应用程序框架层中。
显示内存存储模块对应于存储器107中与内容图层对应的存储空间,显示内容存储模块用于为内容图层提供存储显示内容的存储空间,以便电子设备100实现显示的功能。
手写笔服务缓存模块对应于存储器107中与批注图层对应的存储空间。手写笔服务缓存模块用于为批注图层提供存储批注内容的存储空间,以便电子设备100实现批注功能。例如,手写笔服务缓存模块可存储批注内容,也可以存储存储批注内容以及批注内容与显示内容之间的对应关系等。其中,对应关系可以理解为:电子设备100基于对应关系,可以确定出批注内容在显示内容中的位置,使得电子设备100能够在显示屏103上显示包含有批注内容的显示内容,方便用户浏览。其中,本申请对对应关系的具体实现方式不做限定。在一些实施例中,对应关系可以采用显示内容的位置进行表示。
例如,当显示内容为网页时,对应关系可以采用网页中的内容块的位置进行表示。其中,内容块为网页的最小组成单元。通常,网页的内容基于预设的内容块配置可以划分为一个或者多个内容块,并确定出每个内容块在网页中的位置。
其中,任意一个内容块在网页中的位置可以采用该内容块与其他内容块分别在电子设备100的长度方向和宽度方向上的相对距离进行表示。例如,内容块1在网页中的位置为坐标(X,Y),X表示内容块1的中心位置与内容块2的中心位置在电子设备100的长度方向上相距的距离,Y表示内容块1的中心位置与内容块2的中心位置在电子设备100的宽度方向上相距的距离。
另外,任意一个内容块在网页中的位置也可以采用该内容块的中心位置与网页分别在电子设备100的长度方向和宽度方向上的相对距离进行表示。例如,内容块1在网页中的位置为坐标(X,Y),X表示内容块1的中心位置与网页的一侧边在电子设备100的长度方向上相距的距离,Y表示内容块1的中心位置与网页的顶边在电子设备100的宽度方向上相距的距离。
从而,手写笔服务缓存模块将网页中的内容块的位置作为批注内容与网页之间的对应关系或者批注内容与内容块之间的对应关系进行存储,使得电子设备100基于网页中的内容块的位置确定出批注内容在网页中的位置。
又如,当显示内容为文档时,对应关系可以采用文档中的内容位置进行表示。又如,当显示内容为视频时,对应关系可以采用视频中的帧数和所在帧数对应的帧的画面位置进行表示。又如,当显示内容为图片时,对应关系可以采用图片中的画面位置进行表示。
另外,本申请对批注内容的存储方式不做限定。在一些实施例中,位于显示内容的不同位置处的批注内容,可以采用如编号或标签等方式分开存储在手写笔服务缓存模块中,也可以一起存储在手写笔服务缓存模块中,本申请对此不做限定。需要说明的是,对应关系通常与对应的批注内容共同存储在手写笔服务缓存模块中。电子设备100响应于用户执行退出批注模式的操作,可以电子设备在显示屏103上无法显示手写笔200在显示屏103上形成的运动轨迹对应的内容。例如,电子设备100可以不接收手写笔200在显示屏103上形成的运动轨迹,或者不将识别出的手写笔200在显示屏103上形成的运动轨迹对应的内容显示在显示屏103上。为了便于表述前述内容,本申请采用电子设备100退出批注模式进行举例示意。
在电子设备100退出批注模式后,在手写笔服务缓存模块符合预设的释放条件时,电子设备100可以释放掉手写笔服务缓存模块中的存储内容,即将批注内容和绑定关系删掉。从而,将存储器107中与批注图层对应的存储空间挪为他用,有利于节省存储器107的存储空间以及提升电子设备100的处理速率。
其中,预设的释放条件可以包括但不限于:手写笔服务缓存模块的剩余存储空间是否小于第一预设阈值,批注内容和对应关系的存储时长是否大于预设时长,批注内容和对应关系的存储空间之和是否超过第二预设阈值等。本申请对第一预设阈值、预设时长和第二预设阈值的具体大小不做限定。
在一些实施例中,电子设备100可以基于手写笔服务缓存模块中的对应关系和批注内容,采用图片格式、可携带文档格式(portable document format,PDF)、文本文档TXT格式等对包含有批注内容的显示内容进行保存,如保存在电子设备100的图库、文件夹或者备忘录等中,方便用户浏览和/或编辑批注内容。
另外,手写笔服务缓存模块也可以包含在其他层,如安卓运行时和***库中。视图***包括可视控件,例如显示文字的控件,显示图片的控件等。视图***可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如,包括短信通知图标的显示界面,可以包括显示文字的视图以及显示图片的视图。
本申请中,视图***用于在电子设备100符合预设的触发条件时,在显示屏103上添加一个工具栏,该工具栏用于处理或编辑批注内容的如颜色、粗细等属性参数,方便提醒用户可以在显示屏103上进行批注操作。其中,本申请对工具栏的图标、位置、布局以及功能不做限定。该工具栏的图标可以悬浮显示在显示屏103上,也可以不显示在显示屏103上,实现隐藏设置,以便在用户需要时显示在显示屏103上。
需要说明的是,在用户不需要使用工具栏时,显示屏103上可以不显示工具栏(如隐藏工具栏)。例如,经过预设时长,工具栏仍未被使用,显示屏103上便可不显示工具栏。在用户需要使用工具栏时,显示屏103上可以显示工具栏。例如,显示屏103上可设置有用于展开或隐藏工具栏的操作按钮,电子设备响应于点击该操作按钮的用户操作,可以实现工具栏的显示或者隐藏。
显示管理器用于向内核层传输显示用于显示内容,或者显示内容和批注内容的指令,本申请对该指令的对应关系不做限定。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通,挂断等)。
资源管理器为应用程序提供各种资源,比如本地化字符串,图标,图片,布局文件,视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息,可以用于传达告知类型的消息,可以短暂停留后自动消失,无需用户交互。比如通知管理器被用于告知下载完成,消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在***顶部状态栏的通知,例如后台运行的应用程序的通知,还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息,发出提示音,电子设备振动,指示灯闪烁等。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓***的调度和管理。
核心库包含两部分:一部分是java语言需要调用的功能函数,另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理,堆栈管理,线程管理,安全和异常的管理,以及垃圾回收等功能。
***库可以包括多个功能模块。例如:表面管理器(surface manager),媒体库(media libraries),三维图形处理库(例如:OpenGL ES),2D图形引擎(例如:SGL)等。
表面管理器用于对显示子***进行管理,并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频,视频格式回放和录制,以及静态图像文件等。媒体库可以支持多种音视频编码格式,例如:MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图,图像渲染,合成,和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
硬件抽象层HAL层为操作***软件与硬件组件的接口层,其为上层软件和下层硬件之间的交互提供接口。HAL层将底层硬件抽象为包含相应硬件接口的软件,通过访问HAL层就可以实现对底层硬件设备的设置,例如可以在HAL层使能或禁用相关硬件组件。在一些实施例中,HAL层的核心架构由C++或者C中的至少一项构成。
内核层是硬件和软件之间的层。内核层至少包含显示驱动,摄像头驱动,音频驱动,传感器驱动,触控芯片的驱动和输入(input)***等。为了便于说明,图3中,内核层以包括输入***、触控芯片的驱动、显示驱动以及存储驱动为例进行示意。其中,显示驱动以及存储驱动可共同设置在驱动模块中。
可以理解的是,本申请示意的结构并不构成对电子设备100的具体限定。在另一些实施例中,电子设备100可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件,软件或软件和硬件的组合实现。
结合图3,介绍电子设备100实现本申请的添加批注的方法的具体工作原理。
1、电子设备100进入批注模式
如图3所示,电子设备的显示屏103显示内容图层中的第一内容。其中,第一内容可以为显示内容的部分内容,也可以为显示内容的全部内容。
在手指和手写笔均触碰到显示屏103时,电子设备100的触摸传感器101可以检测到手指的触摸操作而产生的信号以及手写笔的触摸操作而产生的信号,并上报给电子设备100的触控芯片104。电子设备100的压力传感器102可以检测到手指的触摸操作而产生的信号以及手写笔的触摸操作而产生的信号,并上报给电子设备100的触控芯片104。
触控芯片104基于触摸传感器101检测到的信号和压力传感器102检测到的信号,可以确定出手触信息、笔触信息以及获取手触信息的时刻与获取笔触信息的时刻之间的时间间隔,并基于手触信息、笔触信息以及获取手触信息的时刻与获取笔触信息的时刻之间的时间间隔,判断电子设备100是否符合预设的触发条件,以便确定电子设备100是否进入批注模式。
触控芯片104在确定电子设备100符合预设的触发条件时,向内核层的触控芯片的驱动发送一指令,该一指令用于通知应用处理器106。内核层的触控芯片的驱动向内核层的输入***发送该一指令。内核层的输入***向应用程序框架层的输入管理器上报该一指令。其中,前述指令的表示形式可以相同或者不同,本申请对此不做限定。
应用程序框架层的输入管理器调用应用程序框架层的窗口管理器,在内容图层上加载批注图层,即创建手写笔服务缓存模块,为批注图层中的批注内容或者批注内容和对应关系开辟存储空间。
另外,应用程序框架层的输入管理器调用应用程序框架层的视图***,在内容图层上添加一个工具栏,方便提醒用户可以使用手写笔200在显示屏103上进行批注操作,使得用户获知电子设备进入批注模式。
2、电子设备100添加并显示第一批注
在用户使用手写笔200输入第一批注时,批注图层接收第一批注,且手写笔服务缓存模块存储第一批注,或者,第一批注以及第一批注与第一内容之间的对应关系。其中,第一批注与第一内容之间的对应关系的存储可用于实现第一批注的保存。另外,第一批注与第一内容之间的对应关系也可以替换为第一批注与显示内容之间的对应关系,本申请对此不做限定。
应用程序框架层的显示管理器调用应用程序框架层的内容提供器,从显示内容存储模块中获取第一内容,从手写笔服务缓存模块中获取第一批注。且应用程序框架层的显示管理器将一请求传输给内核层的显示驱动,该一请求用于显示包含有第一批注的第一内容,或者显示包含有第一批注和工具栏的图标的第一内容。从而,显示驱动驱动GPU 105和显示屏103显示包含有第一批注的第一内容,或者显示包含有第一批注和工具栏的图标的第一内容。
3、电子设备100保存第一批注
在电子设备100接收到第一批注后,若应用程序框架层的手写笔服务缓存模块中存储有第一批注以及第一批注与第一内容之间的对应关系,则电子设备100可以自动保存包含有第一批注的显示内容,也可以响应于用户执行保存第一批注的操作,保存包含有第一批注的显示内容。其中,此处的显示内容可以为第一内容,也可以为显示内容中与第一内容部分重合或者完全不重合的其他内容,也可以为全部内容。
在一些实施例中,应用程序框架层的内容提供器将一请求通过内核层的存储驱动,该一请求用于保存第一批注。从而,存储驱动驱动存储器107存储包含有第一批注的显示内容。
在另一些实施例中,若用户点击显示屏103上显示用于保存第一批注的保存控件,则触控芯片104将触摸传感器101监测到的点击操作对应的电信号转换为一指令,该一指令用于向应用处理器106通知保存第一批注,并将该一指令传输给内核层的触控芯片的驱动,内核层的触控芯片的驱动将该一指令传输给内核层的输入***,内核层的输入***向应用程序框架层的输入管理器上报该一指令。其中,前述指令的表示形式可以相同或者不同,本申请对此不做限定。
应用程序框架层的输入管理器调用应用程序框架层的内容管理器,将一请求传输给内核层的存储驱动,该一请求用于保存第一批注。从而,存储驱动驱动存储器107存储包含有第一批注的显示内容。
4、电子设备100在显示内容的其余内容上添加并显示第二批注
若显示屏103无法显示显示内容的全部内容,则用户可继续浏览显示屏103所显示的内容图层中的第二内容。其中,第二内容为显示内容的部分内容,且第一批注在显示内容上的位置不包含在第二内容所在的位置区域中。在一些实施例中,第一内容与第二内容可以部分重合或者完全不重合。
在用户使用手写笔200输入第二批注时,批注图层接收第二批注,且手写笔服务缓存模块存储第二批注,或者第二批注以及第二批注与第二内容之间的对应关系。其中,第二批注与第二内容之间的对应关系的存储可用于实现第一批注的保存。另外,第二批注与第二内容之间的对应关系也可以替换为第二批注与显示内容之间的对应关系,本申请对此不做限定。
应用程序框架层的显示管理器调用应用程序框架层的内容提供器,从显示内容存储模块中获取第二内容,从手写笔服务缓存模块中获取第二批注。且应用程序框架层的显示管理器将一请求传输给内核层的显示驱动,该一请求用于显示包含有第二批注的第二内容,或者显示包含有第二批注和工具栏的图标的第二内容。从而,显示驱动驱动GPU 105和显示屏103显示包含有第二批注的第二内容,或者显示包含有第二批注和工具栏的图标的第二内容。
5、电子设备100回看第一批注(本申请提及的回看可以理解为再次浏览)
若电子设备100此时响应于用户执行回看第一批注的操作,则触控芯片104将传感器(即触摸传感器101和/压力传感器102)监测到的回看操作对应的电信号转换为一指令,该一指令用于向应用处理器106通知回看第一批注,并将该一指令传输给内核层的触控芯片的驱动,内核层的触控芯片的驱动将该一指令传输给内核层的输入***,内核层的输入***向应用程序框架层的输入管理器上报该一指令。其中,前述指令的表示形式可以相同或者不同,本申请对此不做限定。
应用程序框架层的显示管理器调用应用程序框架层的内容提供器,从显示内容存储模块中获取第三内容,从手写笔服务缓存模块中获取第一批注。且应用程序框架层的显示管理器将一请求传输给内核层的显示驱动,该一请求用于显示包含有第一批注的第三内容,或者显示包含有第一批注和工具栏的图标的第三内容。其中,第三内容为显示内容的部分内容,且第一批注在显示内容上的位置包含在第三内容所在的位置区域中。在一些实施例中,第三内容可以为第一内容,也可以为第一内容的部分内容和第二内容的部分内容。从而,显示驱动驱动GPU 105和显示屏103显示包含有第一批注的第三内容,或者显示包含有第一批注和工具栏的图标的第三内容。
6、电子设备100保存第二批注
在电子设备100接收到第二批注后,若应用程序框架层的手写笔服务缓存模块中存储有第二批注以及第二批注与第二内容之间的对应关系,则电子设备100可以自动保存包含有第二批注的显示内容,也可以响应于用户执行保存第二批注的操作,保存包含有第二批注的显示内容。其中,此处的显示内容可以为第二内容,也可以为显示内容中与第二内容部分重合的其他内容,也可以为全部内容。
在一些实施例中,应用程序框架层的内容提供器将一请求通过内核层的存储驱动,该一请求用于保存第二批注。从而,存储驱动驱动存储器107存储包含有第二批注的显示内容。
在另一些实施例中,若用户点击显示屏103上显示用于保存第二批注的保存控件,触控芯片104将触摸传感器101监测到的点击操作对应的电信号转换为一指令,该一指令用于向应用处理器106通知保存第一批注和第二批注,或者第二批注,并将该一指令传输给内核层的触控芯片的驱动,内核层的触控芯片的驱动将该一指令传输给内核层的输入***,内核层的输入***向应用程序框架层的输入管理器上报该一指令。其中,前述指令的表示形式可以相同或者不同,本申请对此不做限定。
应用程序框架层的输入管理器调用应用程序框架层的内容提供器,将一请求传输给内核层的存储驱动,该一请求用于保存第一批注和第二批注,或者第二批注。从而,存储驱动驱动存储器107存储包含有第一批注和第二批注的显示内容,或者包含第一批注的显示内容和包含第二批注的显示内容,或者包含有第二批注的显示内容。
7、电子设备100退出批注模式
电子设备100可在进入批注模式之后的任意一个时刻退出批注模式。以电子设备100显示第二内容后退出批注模式为例进行说明。
若用户点击显示屏103上用于不显示批注内容的退出选项,则触控芯片104将触摸传感器101监测到的点击操作对应的电信号转换为一指令,该一指令用于通知应用处理器106不显示批注内容,即退出电子设备100的批注模式,并将该一指令传输给内核层的触控芯片的驱动,内核层的触控芯片的驱动将该一指令传输给内核层的输入***,内核层的输入***向应用程序框架层的输入管理器上报该一指令。其中,前述指令的表示形式可以相同或者不同,本申请对此不做限定。
应用程序框架层的输入管理器调用应用程序框架层的内容提供器,将应用程序框架层的手写笔服务缓存模块中的存储内容全部释放掉,使得电子设备100退出批注模式,则电子设备100无法继续显示手写笔200在显示屏103上形成的运动轨迹对应的内容,且应用程序框架层的输入管理器调用应用程序框架层的显示管理器,将一请求传输给内核层的显示驱动,该一请求用于显示不含有第二批注的第二内容。从而,显示驱动可以驱动GPU 105和显示屏103显示显示内容图层402中的第二内容。另外,手写笔服务缓存模块响应于该一指令,可以在符合预设的释放条件时,释放第一批注和第二批注,或者释放第一批注、第二批注、第一批注与第一内容之间的对应关系以及第二批注与第二内容之间的对应关系。
基于前述内容,结合图4A-图4B,介绍批注图层和内容图层的位置关系。为了便于说明,图4A中,显示内容的全部内容以用户通过上下滑动等方式在显示屏103上进行浏览为例进行示意。图4B中,显示内容的全部内容以用户通过翻页或者拖动等方式在览显示屏103上进行浏览为例进行示意。且图4A和图4B中,方向AA可以理解为:用户沿着方向AA能够观看到显示屏的显示窗口401。
如图4A中的(a)所示,电子设备调用内容图层402中的第一内容,且在显示屏上显示内容图层402中的第一内容。在手指和手写笔均触碰到电子设备的显示屏时,电子设备基于手触信息、笔触信息以及获取手触信息的时刻与获取笔触信息的时刻之间的时间间隔,判断电子设备是否符合预设的预设的触发条件,以便确定电子设备是否进入批注模式。
在确定电子设备符合预设的触发条件时,如图4A中的(b)所示,应用程序框架层的窗口管理器在内容图层402上加载批注图层403,即批注图层403覆盖在内容图层402上,且批注图层403与内容图层402的覆盖区域大小相同。另外,此时应用程序框架层的视图***可在内容图层402上添加工具栏。
在用户使用手写笔输入第一批注404时,如图4A中的(b)所示,批注图层403接收第一批注404,且应用程序框架层的手写笔服务缓存模块对第一批注404以及第一批注404与第一内容的对应关系进行存储。为了便于说明,图4A中的(b),第一批注404采用空心圈为例进行示意,第一批注404与第一内容的对应关系采用虚线框、连接线和空心圈为例进行示意。从而,电子设备的显示屏显示包含有第一批注404的第一内容。
在一些实施例中,若电子设备此时响应于用户执行保存第一批注404的操作,则电子设备将包含有第一批注404的显示内容以图片格式、PDF、TXT格式等保存格式存储在图库、文件夹或者备忘录中,便于用户的再次浏览和/或编辑。
在一些实施例中,用户可继续浏览显示内容的其余内容,如手指沿着方向BB在显示屏103上向下滑动,则如图4A中的(c)所示,内容图层402接收第二内容,且第二内容续接在第一内容之后,批注图层403与内容图层402的覆盖区域大小一起变大且共同向上滑动。从而,电子设备调用内容图层402中的第二内容,且在显示屏上显示内容图层402中的第二内容。
此时,在用户使用手写笔输入第二批注405时,批注图层403接收第二批注405,且应用程序框架层的手写笔服务缓存模块对第二批注405以及第二批注405与第二内容的对应关系进行存储。为了便于说明,图4A中的(c),第二批注405采用空心圈为例进行示意,第二批注405与第二内容的对应关系采用虚线框、连接线和空心圈为例进行示意。从而,电子设备的显示屏显示包含有第二批注405的第二内容。
在一些实施例中,用户可回看第一批注404,如手指沿着与方向BB方向的方向CC在显示屏103上向上滑动,则如图4A中的(d)所示,电子设备调用内容图层402中的第三内容,且批注图层403与内容图层402共同向下滑动且覆盖区域大小保持不变。由于基于第一批注404与第三内容的对应关系,第三内容在显示内容上的位置保持不变,因此,第一批注404在显示内容上的位置保持不变。从而,电子设备的显示屏显示包含有第一批注404的第三内容。
在一些实施例中,若电子设备此时响应于用户执行保存第二批注405的操作,则电子设备将包含有第一批注404和第二批注405,或者第二批注405的显示内容以图片格式、PDF、TXT格式等保存格式存储在图库、文件夹或者备忘录中,便于用户的再次浏览和/或编辑。
在一些实施例中,若电子设备在显示屏显示上第三内容后响应于用户执行不显示批注内容的操作,则如图4A中的(e)所示,电子设备将与批注图层403对应的存储空间中的存储内容全部删除,且内容图层402覆盖区域大小和显示位置均保持不变,从而电子设备退出批注模式,且用户沿着方向AA从显示屏的显示窗口401浏览到内容图层402中的第三内容。
如图4B中的(a)所示,电子设备调用内容图层402中的第一内容,且在显示屏上显示内容图层402中的第一内容。在手指和手写笔均触碰到电子设备的显示屏时,电子设备基于手触信息、笔触信息以及获取手触信息的时刻与获取笔触信息的时刻之间的时间间隔,判断电子设备是否符合预设的预设的触发条件,以便确定电子设备是否进入批注模式。
在确定电子设备符合预设的触发条件时,如图4B中的(b)所示,应用程序框架层的窗口管理器在内容图层402上加载批注图层403,即批注图层403覆盖在内容图层402上,且批注图层403与内容图层402的覆盖区域大小相同。另外,此时应用程序框架层的视图***可在内容图层402上添加工具栏。
在用户使用手写笔输入第一批注404时,如图4B中的(b)所示,批注图层403接收第一批注404,且应用程序框架层的手写笔服务缓存模块对第一批注404以及第一批注404与第一内容的对应关系进行存储。为了便于说明,图4B中的(b),第一批注404采用空心圈为例进行示意,第一批注404与第一内容的对应关系采用虚线框、连接线和空心圈为例进行示意。从而,电子设备的显示屏显示包含有第一批注404的第一内容。
在一些实施例中,若电子设备此时响应于用户执行保存第一批注404的操作,则电子设备将包含有第一批注404的显示内容以图片格式、PDF、TXT格式等保存格式存储在图库、文件夹或者备忘录中,便于用户的再次浏览和/或编辑。
在一些实施例中,用户可继续浏览显示内容的其余内容,如手指在电子设备的显示屏上点击下一页操作按钮或者向后拖动快进操作按钮,则如图4B中的(c)所示,内容图层402接收第二内容,且第二内容续接在第一内容之后,批注图层403与内容图层402的覆盖区域大小保持不变。从而,电子设备调用内容图层402中的第二内容,且在显示屏上显示内容图层402中的第二内容。
此时,在用户使用手写笔输入第二批注405时,批注图层403接收第二批注405,且应用程序框架层的手写笔服务缓存模块对第二批注405以及第二批注405与第二内容的对应关系进行存储。为了便于说明,图4A中的(c),第二批注405采用空心圈为例进行示意,第二批注405与第二内容的对应关系采用虚线框、连接线和空心圈为例进行示意。从而,电子设备的显示屏显示包含有第二批注405的第二内容。
在一些实施例中,用户可回看第一批注404,如手指在显示屏103上点击上一页操作按钮或者向前拖动快进按钮,则如图4A中的(d)所示,电子设备可以调用内容图层402中的第三内容(即此处为第一内容),且批注图层403与内容图层402共同向下滑动且覆盖区域大小保持不变。由于基于第一批注404与第一内容的对应关系,第一内容在显示内容上的位置保持不变,因此,第一批注404在显示内容上的位置保持不变。从而,电子设备的显示屏显示包含有第一批注404的第一内容。
在一些实施例中,若电子设备此时响应于用户执行保存第二批注405的操作,则电子设备将包含有第一批注404和第二批注405,或者第二批注405的显示内容以图片格式、PDF、TXT格式等保存格式存储在图库、文件夹或者备忘录中,便于用户的再次浏览和/或编辑。
在一些实施例中,若电子设备在显示屏上显示第一内容后响应于用户执行不显示批注内容的操作,则如图4A中的(e)所示,电子设备将与批注图层403对应的存储空间中的存储内容全部删除,且内容图层402覆盖区域大小和显示位置均保持不变。从而电子设备退出批注模式,使得用户沿着方向AA从显示屏的显示窗口401浏览到内容图层402中的第一内容。
基于前述描述,结合图5A-图5N,介绍电子设备完成批注功能的具体实现过程。为了便于说明,图5A-图5N中,以电子设备为平板电脑,平板电脑处于横屏状态且显示内容为网页为例进行示意。
图5A-图5N为本申请一实施例提供的一种人机交互界面示意图。
用户使用平板电脑浏览网页,平板电脑的显示屏显示如图5A所示的界面,该界面中至少包括第一内容5011和退出操作按钮502。其中,第一内容5011可以为网页的部分内容,也可以为网页的全部内容。退出操作按钮502用于退出浏览网页所在的界面。
当用户希望在如图5A所示的界面上进行批注操作时,用户的一只手的手指触碰显示屏,与此同时,用户的另一只手使用手写笔触碰显示屏,如图5B所示。或者,用户的一只手使用手写笔触碰显示屏,与此同时,该只手的手指触碰显示屏,如图5C所示。需要说明的是,本申请可设置电子设备响应于图5B所示的触发操作进入批注模式,也可以设置电子设备响应于图5C所示的触发操作进入批注模式,也可以设置电子设备响应于图5B所示的触发操作以及图5C所示的触发操作中的任意一个操作进入批注模式。另外,除了图5B或者图5C所示的触发操作触发电子设备进入批注模式之外,图5B或者图5C所示的触发操作还可以触发电子设备实现如截图、切换菜单等功能或者调用如录音等应用,本申请不限于触发电子设备进入批注模式。
在上述触发操作满足平板电脑进入批注模式的预设条件时,平板电脑进入批注模式,平板电脑的显示屏便显示如图5D所示的界面,该界面中新添加有工具栏503,方便提醒用户可以在显示屏上进行批注操作,即电子设备100进入批注模式。
由此,用户便可使用手写笔在网页中的一个或者多个位置上添加批注内容。其中,本申请对批注内容的具体实现方式不做限定。为了便于说明,本申请以用户在网页中的两个位置分别添加第一批注和第二批注为例进行示意。
用户使用手写笔200在显示屏显示第一内容5011对应的界面上进行批注操作,平板电脑的显示屏便从如图5D所示的界面变为如图5E所示的界面,图5E所示的界面中新增有第一批注。其中,第一批注可参见前述描述,此处不做赘述。例如,图5E中,第一批注可以包括用户圈选内容形成的呈椭圆状图案和文字“重点1”。
如图5F所示,用户可使用手指在显示屏上向下滑动,平板电脑的显示屏便从如图5F所示的界面变为如图5G所示的界面,图5G所示的界面中至少包括第二内容5012,第二内容5012为网页的部分内容。需要说明的是,电子设备100显示屏显示的界面可以根据用户执行滑动操作对应的距离来显示网页中相应位置的内容。故,第二内容5012与第一内容5011可部分内容重合或者可内容完全不重合。为了便于说明,图5G所示的界面中的第二内容5012与第一内容5011的内容完全不重合。另外,第二内容5012与第一内容5011在位置关系上可续接或者间隔,本申请对此也不做限定。
用户使用手写笔200在显示屏显示第二内容5012对应的界面上进行批注操作,平板电脑的显示屏便从如图5G所示的界面变为如图5H所示的界面,图5H所示的界面中新增有第二批注。其中,第二批注可参见前述描述,此处不做赘述。例如,图5H中,第二批注可以包括用户圈选内容形成的呈方形状图案和文字“重点2”。
如图5I所示,用户可使用手指在显示屏上向上滑动,平板电脑的显示屏便从如图5I所示的界面变为如图5J所示的界面,图5J所示的界面中还包括第一批注。从而,方便用户回看第一批注,使得用户能够浏览和编辑第一批注。
综上,电子设备100响应于时间间隔在预设时长范围内的手指的触碰以及手写笔的触碰,可以接收并显示手写笔200在显示屏上形成的运动轨迹对应的内容,即批注内容,实现了电子设备100的批注功能。并且,电子设备100响应于手指执行继续浏览显示内容的操作,可以在显示屏上继续向用户展示显示内容的其他内容,使得批注内容与显示内容的显示相互不影响,提升了用户的批注体验。另外,电子设备100响应于手指回看批注内容的操作,还可以在显示屏上显示包含有批注内容的显示内容,使得用户能够随时回看和编辑已存在的批注内容。另外,电子设备100响应于手写笔保存批注内容的操作,还可以保存包含有批注内容的显示内容。
在电子设备100进入到批注模式之后的任意一个时刻,电子设备100可以向用户提供编辑批注内容的如颜色、粗细等属性参数的功能,使得批注内容的图案更加丰富化,满足用户各种批注需求。另外,电子设备100可以固定批注内容的属性参数,如批注内容的颜色和粗细均固定,提高了电子设备100的处理速率。
下面,以电子设备100显示如图5K所示的界面为例,介绍电子设备100借助工具栏503向用户提供编辑批注内容的属性参数的功能的具体实现过程。
用户使用手写笔200点击如图5K所示的工具栏503,平板电脑的显示屏便显示如图5L所示的界面,该界面用于显示工具栏503的具体功能。例如,图5L中,该界面中包括手写笔工具控件504、保存控件505和退出控件506。其中,手写笔工具控件504用于编辑手写笔200的属性参数,保存控件505用于保存批注内容,退出控件506用于不显示批注内容,即退出电子设备的批注模式。本申请对手写笔工具控件504、保存控件505和退出控件506的图标、位置、布局以及包含的选项类型不做限定。
用户使用手写笔200点击如图5L所示的手写笔工具控件504,平板电脑的显示屏显示如图5M所示的界面,该界面用于显示手写笔工具控件504的具体实现方式。例如,图5M中,该界面中包括退出选项5041、线条粗细选项5042、线条颜色选项5043、橡皮擦选项5044和完成选项5045等,这些选项用于在本次添加批注内容的过程中对批注内容进行编辑。其中,退出选项5041用于退出手写笔工具控件504的界面,线条粗细选项5042用于提供批注内容的粗细选择,线条颜色选项5043用于提供批注内的颜色选择,橡皮擦选项5044用于擦除批注内容,完成选项5045用于完成批注内容的编辑。需要说明的是,本申请不限于上述编辑选项。
从而,电子设备100便可向用户提供用于编辑批注内容的属性参数的各种选项,使得批注内容具备丰富的图案。
在用户添加完批注内容之后,电子设备100还可以保存批注内容。一般情况下,电子设备100可以采用图片格式、PDF、TXT格式等,保存批注内容和显示内容在如图库、文件夹或备忘录中,使得用户能够对包含有批注内容的显示内容进行浏览和/或编辑。在一些实施例中,批注内容与显示内容可以分开存储,也可以存储在一起,具体可结合保存格式等影响因素进行设置。
下面,以电子设备100显示如图5J所示的界面为例,介绍电子设备100借助工具栏503向用户提供保存批注内容的具体实现过程。
用户使用手写笔200点击如图5K所示的工具栏503,平板电脑的显示屏便显示如图5L所示的界面,该界面用于显示工具栏503的具体功能。例如,图5L中,该界面中包括手写笔工具控件504、保存控件505和退出控件506。
用户使用手写笔200点击如图5L所示的保存控件505,平板电脑的显示屏显示如图5N所示的界面,该界面用于显示保存控件505的具体实现方式。例如,图5N中,该界面中包括:备忘录选项5051、生成PDF选项5052、图片选项5053和更多选项5054(图5N中采用三个实心点为例进行示意)等,这些选项用于在电子设备100进入批注模式之后到用户点击保存控件505之前的过程中对批注内容进行保存。其中,备忘录选项5051用于将包含有批注内容的显示内容存储为备忘录的格式,生成PDF选项5052用于将包含有批注内容的显示内容存储为PDF格式,图片选项5053用于将包含有批注内容的显示内容存储为图片格式。需要说明的是,本申请不限于上述保存格式。
其中,本申请对电子设备100保存批注内容和显示内容的策略不做限定。
在一些实施例中,电子设备100保存批注内容的全部和显示内容的全部。以图片格式为例,电子设备100可以保存如图6A所示的图片到如图库或备忘录中。
在另一些实施例中,电子设备100保存批注内容的全部和显示内容的部分。
例如,电子设备100基于批注内容对应于显示内容的位置,将显示内容分成一个或者多个部分与对应的批注内容共同进行保存。
以图片格式为例,电子设备100可以保存如图6B和图6C所示的两张图片到如图库或备忘录中,即电子设备100将第一截取内容以及第一批注共同以图6B所示的图片进行保存,且将第二截取内容以及第二批注共同以图6C所示的图片进行保存。
其中,第一截取内容为从第一批注在显示内容中的位置开始,在显示内容上截取第一预设范围内的内容。第二截取内容为从第二批注在显示内容中的位置开始,在显示内容上截取第二预设范围内的内容。第一预设范围与第二预设范围可以相同或者不同。本申请对第一预设范围和第二预设范围的具体大小不做限定。
或者,以图片格式为例,电子设备100可以保存如图6D所示的图片,即电子设备100从第一批注在显示内容中的位置开始,到第二批注在显示内容中的位置结束,在显示内容上截取第三预设范围内的内容,如电子设备100以图6D所示的图片进行保存。其中,本申请对第三预设范围的具体大小不做限定。
需要说明的是,本申请不限于图6A-图6D所示的图片的保存策略,具体可基于显示屏的尺寸、显示屏的状态以及实际经验值等参数进行设置。另外,电子设备100还可以对保存的图片进行裁剪、渲染等处理。
综上,电子设备100便可基于用户的意愿,对批注内容和显示内容的全部或者部分进行保存,方便用户从电子设备100中回看和/或编辑批注内容和显示内容。
下面,以电子设备100保存了如图6B和图6C所示的两张图片,电子设备100为平板电脑为例,介绍用户在电子设备100的图库中浏览批注内容的具体实现过程。
如图7A所示,用户点击平板电脑的显示屏上的图库APP 701图标,平板电脑的显示屏显示如图7B所示的图库APP 701的界面。例如,图7B中,该界面中包括搜索照片框、所有图片选项以及批注图片选项702。其中,搜索照片框用于搜索图库APP 701中的图片。所有图片选项用于存储平板电脑的所有图片。批注图片选项702用于存储平板电脑处于批注模式下保存的图片。
如图7B所示,用户可使用手写笔200点击批注图片选项702,平板电脑的显示屏显示如图7C所示的批注图片选项702的界面,该界面用于显示批注图片选项702中包含的图片。例如,图7C中,该界面中包括图片7021和图片7022。图片7021为包含有第一批注的图片,图片7022为包含有第二批注的图片。
从而,用户便可浏览到包含有第一批注的图片以及包含有第二批注的图片。另外,该界面还可以包括:如分享、收藏、编辑(如裁剪图片、添加滤镜、重新添加线条等)、删除等功能的选项(图7C中未进行示意),以便用户对各个图片实现相应的功能。
下面,以电子设备100保存了如图6B和图6C所示的两张图片,电子设备100为平板电脑为例,介绍用户在电子设备100的备忘录中浏览和编辑批注内容的具体实现过程。
如图8A所示,用户点击平板电脑的显示屏上的备忘录APP 801图标,平板电脑的显示屏显示如图8B所示的备忘录APP 801的界面,该界面用于显示备忘录APP 801的界面。例如,图8B中,该界面中包括搜索笔记框、批注笔记选项802以及读书笔记选项。其中,搜索笔记框用于搜索备忘录APP 801中的笔记。批注笔记选项802为存储有平板电脑处于批注模式下保存的图片的笔记。读书笔记选项为用户的一个读书笔记。
如图8B所示,用户可使用手写笔200点击批注笔记选项802,平板电脑的显示屏显示如图8C所示的批注笔记选项802的界面,该界面用于显示批注笔记选项802中包含的图片。例如,图8B中,该界面中包括图片8021和图片8022。图片8021为包含有第一批注的图片,图片8022为包含有第二批注的图片。从而,用户便可在图片笔记中浏览到包含有第一批注的图片以及包含有第二批注的图片。
另外,该界面中还包括撤销键入操作按钮803、重复键入操作按钮804、编辑完成操作按钮805以及编辑工具控件806。其中,编辑工具控件806中包括:清单选项807、文本编辑选项808、手写操作选项809、图片选项810和语音选项811。清单选项807用于添加清单,文本编辑选项808用于修改字体的颜色、粗细等属性参数。手写选项809用于编辑批注内容(如添加、修改和删除批注内容)。图片选项810用于添加图片、视频和扫描文件等。语音选项811用于添加语音。
用户点击平板电脑的显示屏上的手写选项809,平板电脑的显示屏显示如图8D所示的界面,该界面用于显示手写选项809的界面。例如,图8D中,该界面中包括笔操作按钮810、橡皮擦操作按钮811、颜色操作按钮812、更多操作按钮813(图8D中采用三个实心点为例进行示意)、隐藏操作按钮814和圆角矩形框815。笔操作按钮810用于表示在笔操作按钮810的图标超出圆角矩形框815时用户可在显示屏上进行批注操作。橡皮擦操作按钮811用于表示在橡皮擦操作按钮811的图标超出圆角矩形框815时用户可在显示屏上对已存在的批注内容进行删除操作。颜色操作按钮812用于表示在颜色操作按钮812的图标被点击时用户可选择批注内容的颜色。更多操作按钮813用于提供其他功能。
用户点击橡皮擦操作按钮811,橡皮擦操作按钮811的图标会超出圆角矩形框815,如图8D所示。从而,用户可采用手写笔200擦除第一批注中的用户圈选内容形成的呈椭圆状图案,平板电脑的显示屏便从如图8D所示的界面变为如图8E所示的界面。从而,用户点击编辑完成操作按钮805便可实现对批注内容编辑的过程。
需要说明的是,除了对批注内容中的部分内容进行删除操作之外,用户还可以为新添加批注内容,也可以为更改已存在批注内容的属性参数等。
从而,用户便可对在图片笔记中包含有第一批注的图片以及包含有第二批注的图片进行再次编辑。
在用户想要显示屏不再显示批注内容,即退出批注模式时,用户可在进入批注模式的任意一个时刻退出批注模式。在一些实施例中,电子设备100可响应于用户使用手写笔200点击如图5L中工具栏503的退出控件506的操作,电子设备100的显示屏便显示当前所显示的内容,不再显示批注内容。
例如,电子设备100的显示屏显示如图5E所示的界面,用户使用手写笔200点击退出控件506,则电子设备100的显示屏显示如图5A或图5B或图5C所示的界面,该界面中包括与图5E所示的界面中的第一内容5011,且该界面中不包含工具栏503图标。另外,该界面中通常不包括第一批注。
又如,电子设备100的显示屏显示如图5H所示的界面,用户使用手写笔200点击退出控件506,则电子设备100的显示屏显示如图5H所示的界面,且该界面中不包含工具栏503图标。另外,该界面中通常不包括第二批注。
又如,电子设备100的显示屏显示如图5J所示的界面,用户使用手写笔200点击退出控件506,则电子设备100的显示屏显示如图5J所示的界面,且该界面中不包含工具栏503图标。另外,该界面中通常不包括第一批注。
基于前述描述,结合图9,对本申请提供的添加批注的方法进行详细介绍。
图9示出了本申请一实施例提供的一种添加批注的方法的流程示意图。如图9所示,本申请的添加批注的方法可以包括:
S11、电子设备在第一区域内显示内容图层中的第一内容。
可以理解的是,显示屏可以包括显示区域和非显示区域,也可以全部包括显示区域。第一区域为显示屏中可显示的任意一个区域。即第一区域可以为显示区域的任意一部分区域,也可以为显示区域的全部区域,本申请对此不做限定。从而,电子设备可以在显示屏的部分显示区域或者全部显示区域中显示内容图层中的第一内容。
其中,内容图层用于存储电子设备的显示屏可显示的内容。内容图层和第一内容的具体实现方式以及电子设备显示第一内容的具体实现方式可参见前述描述,此处不做赘述。
S12、电子设备在第一预设时长范围内接收手指的第一操作和手写笔的第二操作。
其中,第一预设时长范围可参见前文预设时长范围的描述,此处不做赘述。
其中,第一操作和第二操作可以包括但不限于如点击、双击、长按、滑动等操作。例如,手指的第一操作可以为大于等于预设数量的手指按压显示屏。手写笔的第二操作可以为手写笔的触碰压力大于等于预设压力且手写笔的触碰时长大于等于预设时长。另外,执行第一操作的手指的手与使用手写笔的手可以为用户的同一只手,也可以为用户的不同手,本申请对此不做限定。
步骤S12的一种可行的实现方式中,电子设备在第一预设时长范围内接收手指的第一操作和手写笔的第二操作的具体实现过程可以包括:步骤S121-S123。
S121、电子设备响应于手指的第一操作,获取手触信息和第一时刻。第一时刻为电子设备获取手触信息的时刻。
S122、电子设备响应于手写笔的第二操作,获取笔触信息和第二时刻。第二时刻为电子设备获取笔触信息的时刻。
电子设备利用触摸传感器和压力传感器,可以检测手指触碰显示屏产生的信号以及手写笔触碰显示屏产生的信号。
电子设备的触控芯片将接收到的手指触碰显示屏产生的信号以及手写笔触碰显示屏产生的信号处理成手触信息和笔触信息,并得到第一时刻和第二时刻,计算出第一时刻与第二时间之间的时间间隔。
需要说明的是,本申请不限于上述实现方式。另外,电子设备的触控芯片也可以将手指触碰显示屏产生的信号以及手写笔触碰显示屏产生的信号传输给电子设备的应用处理器,应用处理器再将手指触碰显示屏产生的信号以及手写笔触碰显示屏产生的信号处理为手触信息、笔触信息以及得到第一时刻和第二时刻之间的时间间隔。
其中,手触信息和笔触信息的具体实现方式可参见前述描述,第一时刻可参见获取手触信息的时刻的描述,第二时刻可参见获取笔触信息的时刻的描述,此处不做赘述。且电子设备获取触信息和第一时刻的具体实现过程,以及电子设备获取笔触信息和第二时刻的具体实现过程均可参见前述描述,此处也不做赘述。
需要说明的是,本申请对步骤S121和S122的先后顺序不做限定。
S123、电子设备基于手触信息、笔触信息以及第一时刻与第二时间之间的时间间隔,判断电子设备是否符合预设的触发条件,以便确定电子设备是否进入批注模式。
电子设备的触控芯片基于手触信息、笔触信息以及第一时刻与第二时刻之间的时间间隔,可以判断确定电子设备是否符合预设的触发条件,即确定电子设备是否进入批注模式。
其中,第一时刻与第二时间之间的时间间隔的具体实现方式可参见获取手触信息的时刻与获取笔触信息的时刻之间的时间间隔的描述,预设的触发条件具体可参见前文描述,电子设备判断是否符合预设的触发条件的具体实现过程可参见图2B实施例所示的描述,此处不做赘述。
若符合,则执行步骤S13;若不符合,则执行步骤S11,即在电子设备确定电子设备无法进入批注模式时,电子设备的显示屏继续显示第一内容,且无法显示手写笔在显示屏上形成的运动轨迹对应的内容。
S13、电子设备在内容图层上加载批注图层。其中,批注图层用于接收手写笔在显示屏上形成的运动轨迹对应的内容。
在确定电子设备符合预设的触发条件时,电子设备的触控芯片可以向应用处理器发送第一指令,第一指令用于通知应用处理器。应用处理器在接收到第一指令后,通过调用窗口管理器,可以在内容图层上加载一个批注图层。其中,批注图层的具体实现方式可参见前述描述,电子设备在内容图层上加载批注图层可参见前文描述,此处不做赘述。
另外,应用处理器通过调用视图***,还可以将工具栏悬浮设置在显示内容上。应用处理器向GPU发送用于形成工具栏的指令,GPU将用于形成工具栏的图标的数据处理为用于显示工具栏的图标的数据,并向显示屏发送用于显示工具栏的图标的数据,使得显示屏可以显示工具栏的图标。从而,方便用户及时获知电子设备进入批注模式以及通过工具栏中的各个功能处理批注内容。
从而,无论电子设备显示任何内容,电子设备通过响应于时间间隔在第一预设时长范围内的手指的触碰以及手写笔的触碰,均可接收并显示批注内容,实现电子设备的批注功能,无需对显示内容做任何要求,无需考虑显示内容对应的应用是否支持批注功能,也无需要该应用添加适配的接口来接收批注内容,丰富了电子设备的批注功能对应的使用场景,提高了用户的使用体验。
在一种可能的设计中,电子设备响应于第一操作和第二操作,在内容图层上加载批注图层,包括:电子设备在手指的数量大于等于预设数量,手写笔的触碰压力大于等于预设压力,以及手写笔的触碰时长大于等于预设时长时、在手指的触碰位置与手写笔的触碰位置之间的间距小于等于第一预设距离时、在手指的数量大于等于预设数量,手写笔的触碰压力大于等于预设压力,手写笔的触碰时长大于等于预设时长以及手指的触碰位置与手写笔的触碰位置之间的间距小于等于第一预设距离时、或者在手指的数量大于等于预设数量,手写笔的触碰压力大于等于预设压力,手写笔的触碰时长大于等于预设时长以及不同手指之间的间距小于等于第二预设距离时中的任意一种,在内容图层上加载批注图层。由此,借助手指和手写笔的配合使用,不仅准确触发电子设备的批注功能,还可避免由于用户的误触操作而触发电子设备的批注功能的问题,提高了用户的使用体验。
S14、电子设备响应于手写笔的第三操作,在批注图层中接收手写笔在第一区域中对第一内容输入的第一批注。
其中,第三操作可以理解为用户使用手写笔在显示屏上形成运动轨迹所对应的操作,如手写文字、字母、图案、符号、画线等内容。
S151、电子设备响应于第一批注,在第一区域内显示包含有第一批注的第一内容。其中,第一内容在第一区域内显示的位置保持不变。
电子设备的触摸传感器检测到用户使用手写笔触碰显示屏产生的信号,并向触控芯片发送手写笔触碰显示屏产生的信号。触控芯片基于手写笔触碰显示屏产生的信号,确定出手写笔在显示屏上形成的运动轨迹,并向应用处理器发送手写笔在显示屏上形成的运动轨迹。
应用处理器对手写笔在显示屏上形成的运动轨迹进行识别,得到第一批注和第一批注与第一内容之间的对应关系(如采用第一批注在第一内容上的位置表示),并将第一批注传输到批注图层中,且在手写笔服务缓存模块存储第一批注以及第一批注与第一内容之间的对应关系,使得电子设备能够向用户展示包含有第一批注的显示内容。
由于批注图层覆盖在内容图层上,因此,电子设备通过电子设备的GPU和显示屏可以在第一区域内显示包含有第一批注的第一内容,且第一内容在第一区域内的位置保持不变。此处的位置保持不变可以理解为,第一内容中的任意内容在第一区域内对应的位置未发生改变,如第一内容所形成的图案未缩小或未放大,步骤S151与步骤S11-S14的整个过程中第一内容在第一区域内的显示位置保持一致。
其中,第一批注、第一批注与第一内容的对应关系以及手写笔服务缓存模块的具体实现方式可参见前文描述,此处不做赘述。需要说明的是,步骤S151的实现过程可参见前文提及的如图5E所示的界面的举例描述。
在步骤S151之后,用户还可以在电子设备上显示的第一批注进行保存,具体实现过程可参见步骤S152和S153。其中,批注图层还用于存储第一批注与第一内容之间的对应关系,内容图层还用于存储第一内容与内容图层中的内容之间的对应关系。
S152、电子设备响应于手写笔的第七操作或手指的第八操作,基于第一批注与第一内容之间的对应关系以及第一内容与内容图层中的内容之间的对应关系,确定第四内容,其中,第四内容与第一内容至少部分内容重合。
其中,第七操作和第八操作可以包括但不限于如点击、双击、长按、滑动等操作。例如,第七操作可以为手写笔点击显示屏中用于保存第一批注的控件等。第八操作可以为手指点击显示屏中用于保存第一批注的控件,或者,手指按压显示屏中除了控件之外的空间区域的操作等。
S153、电子设备按照第一格式,对包含有第一批注的第四内容进行保存,其中,第一格式与第七操作或者第八操作相关。
电子设备接收第一批注之后,在用户想要保存上述第一批注时,电子设备响应于用户使用手写笔或者手指执行的用于保存第一批注的操作,如用户可点击工具栏中的保存控件,则应用处理器从电子设备的存储器中获取第一批注及第一批注与第一内容之间的对应关系,并基于第一批注与第一内容之间的对应关系以及第一内容在显示内容上的位置,获取第一批注在显示内容上的位置,并基于第一批注在显示内容上的位置,确定出显示内容中与第一批注共同保存的内容,即第四内容。
从而,电子设备基于用户的意愿,采用图片格式、PDF、TXT格式等,对第一批注和显示内容中与第一批注共同保存的内容进行保存,如保存到电子设备的文件夹、图库或者备忘录中,使得用户可从文件夹、图库或者备忘录中找到第一批注进行浏览和编辑。其中,第一批注和显示内容中与第一批注共同保存的内容的保存格式和保存策略可参见前文描述,此处不做赘述。
由此,电子设备基于用户的意愿,可以采用上述保存格式中的任意一种,将包含有批注内容的显示内容保存在如文件夹、图库或者备忘录等中,便于用户从如文件夹、图库或者备忘录等中再次对第一批注进行浏览和/或编辑。
其中,第一格式与第七操作或者第八操作相关可以理解为,电子设备在接收到第七操作或者第八操作时,可以按照默认的保存方式,对第一批注与第四内容进行保存。或者,电子设备基于第七操作或者第八操作对应的保存方式,对第一批注与第四内容进行保存。
需要说明的是,步骤S152和S153为可选的步骤。
S16、电子设备响应于手指的第四操作,在第一区域内显示内容图层中的第二内容,第二内容与第一内容续接,且第一批注不显示在第一区域内。
在用户继续浏览显示内容的其余内容时,电子设备响应于手指执行用于表示继续浏览显示内容的第四操作,如手指在显示屏上沿第一方向执行的滑动操作、手指在下一页操作按钮上执行的点击操作或者手指在向后拖动快进操作按钮上执行的拖动操作等,在显示屏上显示内容图层中的第二内容。
其中,第四操作可以包括但不限于如点击、双击、长按、滑动等操作。第四操作用于表示继续浏览与第一内容相关的内容。本申请对第四操作的具体实现方式不做限定。且第二内容的具体实现方式可参见前述描述。可以理解的是,第一内容和第二内容相关。在一些实施例中,第一内容和第二内容续接,如第一内容和第二内容存在部分内容重合,或者,第一内容和第二内容的位置相邻且不存在内容重合。在另一些实施例中,第一内容和第二内容的位置不相邻且不存在内容重合。第三内容与第一内容可以完成内容重合,也可以部分内容重合,只需满足显示屏显示第三内容的同时还显示有第一批注即可。
其中,本申请对第一方向的具体方向不做限定,可以为电子设备的长度方向或宽度方向。需要说明的是,步骤S16的实现过程可参见前文提及的如图5F所示的界面变为如图5G所示的界面的举例描述。
S17、电子设备响应于手指的第五操作,在第一区域内显示包含有第一批注的第三内容,第三内容为内容图层中的内容,且第三内容与第一内容至少部分内容重合。
在用户想要回看和/或重新编辑第一批注时,电子设备响应于手指执行用于回看第一批注的第五操作,如手指在显示屏上沿第二方向执行的滑动操作、手指在上一页操作按钮上执行的点击操作,或者手指在向前拖动快进操作按钮上执行的拖动操作等,在显示屏显示内容图层中的第三内容,且显示批注图层中的第一批注。从而,方便用户回看和/或重新编辑第一批注。
其中,第五操作可以包括但不限于如点击、双击、长按、滑动等操作。第五操作用于表示获取第一批注。本申请对第五操作的具体实现方式不做限定。
例如,第四操作为手指在显示屏上沿第一方向执行的滑动操作时,第五操作为手指在显示屏上沿第二方向执行的滑动操作。其中,本申请对第一方向和第二方向的具体方向不做限定,且第一方向和第二方向为相反的方向。
又如,第四操作为手指在下一页操作按钮上执行的点击操作时,第五操作为手指在上一页操作按钮上执行的点击操作。或者,第四操作为手指在上一页操作按钮上执行的点击操作时,第五操作为手指在下一页操作按钮上执行的点击操作。其中,上述点击操作操作可以为点击N次,N为正整数。
又如,第四操作为手指在向后拖动快进操作按钮上执行的拖动操作时,第五操作为手指在向前拖动快进操作按钮上执行的拖动操作。或者,第四操作为手指在向前拖动快进操作按钮上执行的拖动操作时,第五操作为手指在向后拖动快进操作按钮上执行的拖动操作。
其中,第二内容的具体实现方式可参见前述描述,此处不做赘述。
需要说明的是,步骤S17为可选的步骤。步骤S17的实现过程可参见前文提及的如图5I所示的界面变为如图5J所示的界面的举例描述。
本申请中,电子设备响应于手指的操作,可显示与第一内容相关的内容(如第二内容),使得用户能够继续浏览与第一内容相关的内容。从而,电子设备在实现批注功能的任务流程同时,不会中断电子设备当前所显示内容对应的任务流程。且电子设备响应于手指的操作,还可从与第一内容相关的内容处显示包含有第一批注的第三内容,使得用户能够继续对第一批注进行浏览和/或编辑。从而,电子设备在实现内容显示对应的任务流程的同时,不会中断电子设备实现批注功能的任务流程。由此,电子设备不仅能够同时实现内容显示对应的任务流程与实现批注功能的任务流程,且上述两个任务流程之间相互不影响,方便内容的继续显示以及批注的回看和/或再次编辑,有利于提升用户的使用体验。
在一些实施例中,批注图层还用于存储第一批注与第一内容之间的对应关系,内容图层还用于存储第三内容与第一内容之间的对应关系。具体地,电子设备基于第一批注与第一内容之间的对应关系以及第三内容与第一内容之间的对应关系,可以确定第一批注在第三内容中的第一位置,并在第一区域内显示第三内容,且在第三内容中的第一位置处显示第一批注。由此,电子设备基于手指的操作对应的位置变化,及时且准确地确定显示屏需要显示的第三内容,以及基于第一批注与第一内容的绑定以及第一内容和第二内容之间的对应关系,能够准确地确定第一批注在第三内容中的位置,使得用户能够回看第一批注。
其中,本申请对第一区域内显示的内容的具体实现方式不做限定。在一些实施例中,第一区域内显示的内容类型包括:视频、网页、图片、文档或界面中的任意一种。由此,不受限于第一区域内显示的内容的类型,电子设备便可实现批注功能。且电子设备也受限于第一区域内显示的内容对应的应用,无论该应用是否支持批注功能,电子设备均可实现批注功能。
在第一区域内显示的内容类型为网页时,第一批注与第一内容之间的对应关系为第一内容在第一内容所在网页中的位置,或者,第一内容与第一内容所在网页中除了第一内容之外的其他内容之间的位置关系。由此,电子设备可采用多种实现方式绑定第一批注与第一内容,有利于用户回看第一批注。
在步骤S16之后,用户还可以在电子设备上继续对显示内容继续进行批注,具体实现过程可参见步骤S181和S182。
S181、电子设备响应于手写笔的第六操作,在批注图层中接收手写笔在第一区域中对第二内容输入的第二批注。
S182、电子设备响应于第二批注,在第一区域内显示包含有第二批注的第二内容。其中,第二内容在第一区域内显示的位置保持不变。
其中,第六操作可以理解为用户使用手写笔在显示屏上形成运动轨迹所对应的操作,如手写文字、字母、图案、符号、画线等内容。且第六操作可以与第三操作相同或者不同,本申请对此不做限定。且第二批注以及第二批注与第二内容的对应关系的具体实现方式可参见前文描述,此处不做赘述。
电子设备在第一区域内显示内容图层中的第二内容之后,电子设备的触摸传感器检测到用户使用手写笔触碰显示屏产生的信号,并向触控芯片发送手写笔触碰显示屏产生的信号。触控芯片基于手写笔触碰显示屏产生的信号,确定出手写笔在显示屏上形成的运动轨迹,并向应用处理器发送手写笔在显示屏上形成的运动轨迹。
应用处理器对手写笔在显示屏上形成的运动轨迹进行识别,得到第二批注和第二批注与第二内容之间的对应关系(如采用第二批注在第二内容上的位置表示),并将第二批注传输到批注图层中,且在手写笔服务缓存模块存储第二批注,或者第二批注以及第二批注与第二内容之间的对应关系,使得电子设备能够向用户展示包含有第二批注的显示内容。由于批注图层覆盖在内容图层上,因此,电子设备通过电子设备的GPU和显示屏可以在第一区域内显示包含有第二批注的第二内容,且第二内容在第一区域内的位置保持不变。此处的位置保持不变可以理解为,第二内容中的任意内容在第一区域内对应的位置未发生改变,如第二内容所形成的图案未缩小或未放大,步骤S181和S182与步骤S16中第二内容在第一区域内的显示位置保持一致。
需要说明的是,步骤S181和S182为可选的步骤。步骤S181和S182的实现过程可参见前文提及的如图5G所示的界面变为如图5H所示的界面的举例描述。
综上,在内容图层上已加载批注图层的基础上,电子设备继续在批注图层中接收批注,实现对所显示的内容中添加批注的功能,有利于满足用户添加多个批注的使用需求。
在步骤S182之后,用户还可以在电子设备上显示的第二批注进行保存,具体实现过程可参见步骤S191和S192。其中,批注图层还用于存储第二批注与第二内容之间的对应关系,内容图层还用于存储第二内容与内容图层中的内容之间的对应关系。
S191、电子设备响应于手写笔的第十一操作或手指的第十二操作,基于第二批注与第二内容之间的对应关系以及第二内容与内容图层中的内容之间的对应关系,确定第六内容,其中,第六内容与第二内容至少部分内容重合。
其中,第十一操作和第十二操作可以包括但不限于如点击、双击、长按、滑动等操作。例如,第十一操作可以为手写笔点击显示屏中用于保存第二批注的控件等。第十二操作可以为手指点击显示屏中用于保存第二批注的控件,或者,手指按压显示屏中除了控件之外的空间区域的操作等。
S192、电子设备按照第二格式,对包含有第二批注的第六内容进行保存,其中,第二格式与第十一操作或者第十二操作相关。
电子设备接收第二批注之后,电子设备响应于用户使用手写笔执行保存第二批注的操作,对包含有第二批注的显示内容进行保存,或者,对包含有第一批注和第二批注的显示内容进行保存,或者,对包含有第一批注的显示内容和包含有第二批注的显示内容分别进行保存。
在用户想要保存上述第二批注时,电子设备响应于用户使用手写笔执行保存第二批注的操作,如用户可点击工具栏中的保存控件,则应用处理器从存储器中获取第二批注及第二批注与第二内容之间的对应关系,或者第一批注及第一批注与第一内容之间的对应关系,以及第二批注及第二批注与第二内容之间的对应关系。
在一些实施例中,应用处理器基于第二批注与第二内容之间的对应关系和第二内容在显示内容上的位置,获取第二批注在显示内容上的位置,并基于第二批注在显示内容上的位置,确定出显示内容中与第二批注共同保存的内容,即第六内容。
从而,电子设备基于用户的意愿,采用图片格式、PDF、TXT格式等第二格式,对第二批注和显示内容中与第二批注共同保存的内容进行保存,如保存到电子设备的文件夹、图库或者备忘录中,使得用户可从文件夹、图库或者备忘录中找到第二批注进行浏览和编辑。其中,第二批注和显示内容中与第二批注共同保存的内容的保存格式和保存策略可参见前文描述,此处不做赘述。
在另一些实施例中,应用处理器还可以基于第二批注与第二内容之间的对应关系和第二内容在显示内容上的位置,确定出显示内容中与第二批注共同保存的内容,并基于第一批注与第一内容之间的对应关系和第一内容在显示内容上的位置,确定出显示内容中与第一批注共同保存的内容。
从而,电子设备基于用户的意愿,采用图片格式、PDF、TXT格式等第二格式,分别对第二批注和显示内容中与第二批注共同保存的内容,以及第一批注和显示内容中与第一批注共同保存的内容进行保存,如保存到电子设备的文件夹、图库或者备忘录中,使得用户可从文件夹、图库或者备忘录中找到第二批注和第一批注进行浏览和编辑。
在另一些实施例中,应用处理器还可以基于第二批注与第二内容之间的对应关系和第二内容在显示内容上的位置,以及第一批注与第一内容之间的对应关系和第一内容在显示内容上的位置,确定出显示内容中与第一批注和第二批注共同保存的内容。
从而,电子设备基于用户的意愿,采用图片格式、PDF、TXT格式等第二格式,分别对第一批注、第二批注以及显示内容中与第一批注和第二批注共同保存的内容的内容进行保存,如保存到电子设备的文件夹、图库或者备忘录中,使得用户可从文件夹、图库或者备忘录中找到第二批注和第一批注进行浏览和编辑。
由此,电子设备基于用户的意愿,可以采用上述保存格式中的任意一种,将包含有批注内容的显示内容保存在如文件夹、图库或者备忘录等中,便于用户从如文件夹、图库或者备忘录等中再次对第一批注进行浏览和/或编辑。
其中,第二格式与第十一操作或者第十二操作相关可以理解为,电子设备在接收到第十一操作或者第十二操作时,可以按照默认的保存方式,对第二批注与第六内容进行保存。或者,电子设备基于第十一操作或者第十二操作对应的保存方式,对第二批注与第六内容进行保存。
需要说明的是,步骤S191和S192为可选的步骤。步骤S191和S192的实现过程可参见前文提及的如图5K、图5L、图5N所示实施例的举例描述。
S1101、电子设备在第二预设时长范围内接收手指的第九操作和手写笔的第十操作。
S1102、电子设备响应于第九操作和第十操作,在第一区域内显示内容图层中的第五内容,第五内容为电子设备响应于第九操作和第十操作之前所显示的内容。
其中,本申请对第二预设时长范围的具体书中不做限定。第二预设时长范围可以与第一预设时长范围相同或者不同。第九操作和第十操作可以包括但不限于如点击、双击、长按、滑动等操作。例如,手指的第九操作可以为大于等于预设数量的手指按压显示屏。手写笔的第十操作可以为手写笔的触碰压力大于等于预设压力且手写笔的触碰时长大于等于预设时长。另外,执行第九操作的手指的手与使用手写笔的手可以为用户的同一只手,也可以为用户的不同手,本申请对此不做限定。
需要说明的是,本申请不限于上述实现方式不再向用户提供电子设备的批注功能。例如,用户可用手指点击显示屏中用于实现上述过程的控件。
本申请中,在电子设备进入批注模式的任意一个时刻,电子设备响应于用户的操作,不再显示手写笔在显示屏上形成的运动轨迹对应的内容(即批注内容),如电子设备无法接收用户使用手写笔在显示屏上形成的运动轨迹,或者不对识别出的手写笔在显示屏上形成的运动轨迹对应的内容进行显示,且电子设备的显示屏上可以显示内容图层中的第五内容。
在一些实施例中,电子设备在符合预设的释放条件时,将批注图层中的内容删除。由此,将与批注图层对应的存储空间挪为他用,有利于节省电子设备的存储空间以及提升电子设备的处理速率。其中,释放条件的具体实现方式可参见前文描述,此处不做赘述。
其中,第五内容可以理解为在电子设备响应于用户执行不显示批注内容的操作之前电子设备所显示的内容,可以为第一内容,也可以为第二内容,也可以为第三内容,也可以为显示内容中的其他内容,本申请对此不做限定。
需要说明的是,步骤S1101和S1102的实现过程可参见前文提及的举例描述。
示例性地,本申请提供一种电子设备。
图10示出了本申请一实施例提供的一种添加批注的方法的流程示意图。如图10所示,本申请的添加批注的方法可以包括:
S101、电子设备在第一区域内显示内容图层中的第一内容,内容图层用于存储电子设备的显示屏可显示的内容。其中,第一区域为显示屏中可显示的任意一个区域。
其中,步骤S101可参见图9所示实施例中的步骤S11的描述,此处不做赘述。
S102、电子设备在第一预设时长范围内接收手指的第一操作和手写笔的第二操作;
其中,步骤S102可参见图9所示实施例中的步骤S12以及S121-S123的描述,此处不做赘述。
S103、电子设备响应于第一操作和第二操作,在内容图层上加载批注图层,批注图层用于接收手写笔在显示屏上形成的运动轨迹对应的内容。
其中,步骤S103可参见图9所示实施例中的步骤S13的描述,此处不做赘述。
S104、电子设备响应于手写笔的第三操作,在批注图层中接收手写笔在第一区域中对第一内容输入的第一批注。
其中,步骤S104可参见图9所示实施例中的步骤S14的描述,此处不做赘述。
S105、电子设备响应于第一批注,在第一区域内显示包含有第一批注的第一内容。其中,第一内容在第一区域内显示的位置保持不变。
其中,步骤S105可参见图9所示实施例中的步骤S151的描述,此处不做赘述。
在一些实施例中,该方法还包括:电子设备响应于手指的第四操作,在第一区域内显示内容图层中的第二内容,第二内容与第一内容续接,且第一批注不显示在第一区域内;电子设备响应于手指的第五操作,在第一区域内显示包含有第一批注的第三内容,第三内容为内容图层中的内容,且第三内容与第一内容至少部分内容重合。
在一些实施例中,批注图层还用于存储第一批注与第一内容之间的对应关系,内容图层还用于存储第三内容与第一内容之间的对应关系;电子设备在第一区域内显示包含有第一批注的第三内容,包括:电子设备基于第一批注与第一内容之间的对应关系以及第三内容与第一内容之间的对应关系,确定第一批注在第三内容中的第一位置,并在第一区域内显示第三内容,且在第三内容中的第一位置处显示第一批注。
在一些实施例中,第一区域内显示的内容类型包括:视频、网页、图片、文档或界面中的任意一种。
在一些实施例中,在第一区域内显示的内容类型为网页时,第一批注与第一内容之间的对应关系为第一内容在第一内容所在网页中的位置,或者,第一内容与第一内容所在网页中除了第一内容之外的其他内容之间的位置关系。
其中,上述过程可参见图9所示实施例中的步骤S16-S17的描述,此处不做赘述。
在一些实施例中,电子设备在第一区域内显示内容图层中的第二内容之后,方法还包括:电子设备响应于手写笔的第六操作,在批注图层中接收手写笔在第一区域中对第二内容输入的第二批注;电子设备响应于第二批注,在第一区域内显示包含有第二批注的第二内容;其中,第二内容在第一区域内显示的位置保持不变。
其中,上述过程可参见图9所示实施例中的步骤S181-S182的描述,此处不做赘述。
在一些实施例中,该方法包括:电子设备在符合预设的触发条件时,在内容图层上加载批注图层;其中,预设的触发条件包括如下任意一种:手指的数量大于等于预设数量,手写笔的触碰压力大于等于预设压力,以及手写笔的触碰时长大于等于预设时长;手指的触碰位置与手写笔的触碰位置之间的间距小于等于第一预设距离;手指的数量大于等于预设数量,手写笔的触碰压力大于等于预设压力,手写笔的触碰时长大于等于预设时长以及手指的触碰位置与手写笔的触碰位置之间的间距小于等于第一预设距离;或者,手指的数量大于等于预设数量,手写笔的触碰压力大于等于预设压力,手写笔的触碰时长大于等于预设时长以及不同手指之间的间距小于等于第二预设距离。
在一些实施例中,批注图层还用于存储第一批注与第一内容之间的对应关系,内容图层还用于存储第一内容与内容图层中的内容之间的对应关系;电子设备接收第一批注之后,方法还包括:电子设备响应于手写笔的第七操作或手指的第八操作,基于第一批注与第一内容之间的对应关系以及第一内容与内容图层中的内容之间的对应关系,确定内容图层中的第四内容,其中,第四内容与第一内容至少部分内容重合;电子设备按照第一格式,对包含有第一批注的第四内容进行保存,其中,第一格式与第七操作或者第八操作相关。
在一些实施例中,第一格式包括:图片格式、可携带文档格式PDF或文本文档TXT格式中的任意一种。
其中,上述过程可参见图9所示实施例中的步骤S152-S153的描述,此处不做赘述。
在一些实施例中,批注图层还用于存储第二批注与第二内容之间的对应关系,内容图层还用于存储第二内容与内容图层中的内容之间的对应关系;电子设备接收第二批注之后,方法还包括:电子设备响应于手写笔的第十一操作或手指的第十二操作,基于第二批注与第二内容之间的对应关系以及第二内容与内容图层中的内容之间的对应关系,确定第六内容,其中,第六内容与第二内容至少部分内容重合;电子设备按照第二格式,对包含有第二批注的第六内容进行保存,其中,第二格式与第十一操作或者第十二操作相关。
在一些实施例中,第二格式包括:图片格式、可携带文档格式PDF或文本文档TXT格式中的任意一种。
其中,上述过程可参见图9所示实施例中的步骤S191-S192的描述,此处不做赘述。
在一些实施例中,电子设备在内容图层上加载批注图层之后,方法还包括:电子设备在第二预设时长范围内接收手指的第九操作和手写笔的第十操作;电子设备响应于第九操作和第十操作,在第一区域内显示内容图层中的第五内容,第五内容为电子设备响应于第九操作和第十操作之前所显示的内容。
在一些实施例中,该方法还包括:电子设备在符合预设的释放条件时,将批注图层中的内容删除。
其中,上述过程可参见图9所示实施例中的步骤S1101-S1102的描述,此处不做赘述。
本申请提供的添加批注的方法,借助手指和手写笔的配合使用,基于手触信息、笔触信息以及两者分别获取到的时间间隔,快速触发电子设备快速向用户提供批注功能,使得电子设备能够及时添加并显示批注内容,使得电子设备在显示任意内容时均能够完成与用户的批注操作之间的交互。从而,不仅减少了用户的操作步骤,也无需中断电子设备当前所显示内容对应的任务流程,还防止了用户操作时发生误触的问题,丰富了手写笔的应用场景,提升了用户的使用体验,且不受限于电子设备当前显示内容对应的应用是否支持批注功能,均能够实现电子设备的批注功能。另外,本申请的电子设备还可以基于用户的意愿,采用图片格式、PDF、TXT格式等保存格式,将包含有批注内容的显示内容保存在如电子设备的文件夹、图库或者备忘录中,便于用户从如文件夹、图库或者备忘录等中再次对批注内容进行浏览和/或编辑辑。
示例性地,本申请提供一种通信装置。本申请的通信装置用于实现上述任一方法实施例中对应于电子设备的硬件和/或软件的操作,该通信装置可以包括:显示管理器、显示内容存储模块、驱动模块、输入管理器以及窗口管理器。其中,显示管理器、显示内容存储模块、驱动模块、输入管理器以及窗口管理器的具体实现方式可参见前文图3的描述,此处不做赘述。
显示管理器,用于从显示内容存储模块中获取内容图层中的第一内容,内容图层用于存储与电子设备电连接的显示屏可显示的内容,并指示驱动模块驱动显示屏在第一区域内显示第一内容。
输入管理器,用于接收第一指令,第一指令用于表示电子设备在第一预设时长范围内接收到手指的第一操作和手写笔的第二操作。
窗口管理器,用于响应于第一指令,在内容图层上加载批注图层,并创建手写笔服务缓存模块,批注图层用于接收手写笔在显示屏上形成的运动轨迹对应的内容,手写笔服务缓存模块用于存储批注图层中的内容。
输入管理器,还用于接收第二指令,第二指令用于表示电子设备接收到手写笔的第三操作,第二指令中包括批注图层中的第一批注,第一批注为手写笔在第一区域中对第一内容输入的内容。
窗口管理器,还用于响应于第二指令,将第一批注存储到手写笔服务缓存模块中。
显示管理器,还用于从手写笔服务缓存模块中获取第一批注,并指示驱动模块驱动显示屏在第一区域内显示包含有第一批注的第一内容。其中,第一区域为显示屏中可显示的任意一个区域,第一内容在第一区域内显示的位置保持不变。
需要说明的是,此处提及的驱动模块至少包括图3实施例所示的显示驱动。
在一些实施例中,输入管理器,还用于接收第三指令,第三指令用于表示电子设备接收到手指的第四操作。显示管理器,还用于响应于第三指令,从显示内容存储模块中获取内容图层中的第二内容,并指示驱动模块驱动显示屏在第一区域内显示第二内容,第二内容与第一内容续接,且第一批注不显示在第一区域内。输入管理器,还用于接收第四指令,第四指令用于表示电子设备接收到手指的第五操作。显示管理器,还用于响应于第四指令,从显示内容存储模块中获取内容图层中的第三内容,从手写笔服务缓存模块中获取第一批注,并指示驱动模块驱动显示屏在第一区域内显示包含有第一批注的第三内容,第三内容与第一内容至少部分内容重合。
需要说明的是,此处提及的驱动模块至少包括图3实施例所示的显示驱动。
在一些实施例中,显示内容存储模块还用于存储第三内容与第一内容之间的对应关系;窗口管理器,还用于响应于第二指令,将第一批注与第一内容之间的对应关系存储在手写笔服务缓存模块中。显示管理器,具体用于从手写笔服务缓存模块中获取第一批注与第一内容之间的对应关系,从显示内容存储模块中获取第三内容与第一内容之间的对应关系,并基于第一批注与第一内容之间的对应关系以及第三内容与第一内容之间的对应关系,确定第一批注在第三内容中的第一位置,并从显示内容存储模块中获取第三内容,从手写笔服务缓存模块中获取第一批注,并指示驱动模块驱动显示屏在第一区域内显示第三内容,且在第三内容中的第一位置处显示第一批注。
需要说明的是,此处提及的驱动模块至少包括图3实施例所示的显示驱动。
在一些实施例中,第一区域内显示的内容类型包括:视频、网页、图片、文档或界面中的任意一种。
在一些实施例中,在第一区域内显示的内容类型为网页时,第一批注与第一内容之间的对应关系为第一内容在第一内容所在网页中的位置,或者,第一内容与第一内容所在网页中除了第一内容之外的其他内容之间的位置关系。
在一些实施例中,输入管理器,还用于接收第五指令,第五指令用于表示电子设备接收到手写笔的第六操作,第五指令中包括批注图层中的第二批注,第二批注为手写笔在第一区域中对第二内容输入的内容。窗口管理器,还用于响应于第五指令,将第二批注存储到手写笔服务缓存模块中。显示管理器,还用于从手写笔服务缓存模块中获取第二批注,并指示驱动模块驱动显示屏在第一区域内显示包含有第二批注的第二内容;其中,第二内容在第一区域内显示的位置保持不变。
需要说明的是,此处提及的驱动模块至少包括图3实施例所示的显示驱动。
在一些实施例中,第一指令具体用于表示电子设备在第一预设时长范围内接收到手指的第一操作和手写笔的第二操作符合预设的触发条件;其中,预设的触发条件包括如下任意一种:手指的数量大于等于预设数量,手写笔的触碰压力大于等于预设压力,以及手写笔的触碰时长大于等于预设时长;手指的触碰位置与手写笔的触碰位置之间的间距小于等于第一预设距离;手指的数量大于等于预设数量,手写笔的触碰压力大于等于预设压力,手写笔的触碰时长大于等于预设时长以及手指的触碰位置与手写笔的触碰位置之间的间距小于等于第一预设距离;或者,手指的数量大于等于预设数量,手写笔的触碰压力大于等于预设压力,手写笔的触碰时长大于等于预设时长以及不同手指之间的间距小于等于第二预设距离。
在一些实施例中,显示内容存储模块还用于存储第一内容与内容图层中的内容之间的对应关系。窗口管理器,还用于响应于第二指令,将第一批注与第一内容之间的对应关系存储在手写笔服务缓存模块中。输入管理器,还用于接收第六指令,第六指令用于表示电子设备接收到手写笔的第七操作或手指的第八操作。内容提供器,用于响应于第六指令,基于第一批注与第一内容之间的对应关系以及第一内容与内容图层中的内容之间的对应关系,确定内容图层中的第四内容,第四内容与第一内容至少部分内容重合。内容提供器,还用于从显示内容存储模块中获取第四内容,从手写笔服务缓存模块中获取第一批注,并指示驱动模块驱动与电子设备电连接的存储器按照第一格式,对包含有第一批注的第四内容进行保存,其中,第一格式与第七操作或者第八操作相关。
需要说明的是,此处提及的驱动模块至少包括图3实施例所示的存储驱动。
在一些实施例中,第一格式包括:图片格式、可携带文档格式PDF或文本文档TXT格式中的任意一种。
在一些实施例中,显示内容存储模块还用于存储第二内容与内容图层中的内容之间的对应关系。窗口管理器,还用于响应于第五指令,将第二批注与第二内容之间的对应关系存储在手写笔服务缓存模块中。输入管理器,还用于接收第八指令,第八指令用于表示电子设备接收到手写笔的第十一操作或手指的第十二操作。内容提供器,用于响应于第八指令,基于第二批注与第二内容之间的对应关系以及第二内容与内容图层中的内容之间的对应关系,确定内容图层中的第六内容,第六内容与第二内容至少部分内容重合。内容提供器,还用于从显示内容存储模块中获取第六内容,从手写笔服务缓存模块中获取第二批注,并指示驱动模块驱动与电子设备电连接的存储器按照第二格式,对包含有第二批注的第六内容进行保存,其中,第二格式与第十一操作或者第十二操作相关。
需要说明的是,此处提及的驱动模块至少包括图3实施例所示的存储驱动。
在一些实施例中,第二格式包括:图片格式、可携带文档格式PDF或文本文档TXT格式中的任意一种。
在一些实施例中,输入管理器,还用于接收第七指令,第七指令用于表示电子设备在第二预设时长范围内接收到手指的第九操作和手写笔的第十操作。显示管理器,还用于响应于第七指令,从显示内容存储模块中获取内容图层中第五内容,并指示驱动模块驱动显示屏在第一区域内显示第五内容,第五内容为电子设备响应于第九操作和第十操作之前所显示的内容。
需要说明的是,此处提及的驱动模块至少包括图3实施例所示的显示驱动。
在一些实施例中,通信装置还包括:窗口管理器,还用于响应于第七指令,在符合预设的释放条件时,将批注图层中的内容删除,并从内容提供器中删除手写笔服务缓存模块。
本申请提供的通信装置,可以用于执行前文实施例中电子设备的技术方案,其实现原理和技术效果类似,其中各个模块的实现的操作可以进一步参考添加批注的方法实施例的相关描述,此处不再赘述。此处的模块也可以替换为部件或者电路。
示例性地,本申请提供一种电子设备,包括:显示屏、传感器及一个或多个处理器、一个或多个存储器;其中,电子设备用于与手写笔电连接,手写笔用于在显示屏上形成运动轨迹;电子设备一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,电子设备执行前文实施例的添加批注的方法。
示例性地,本申请提供一种电子设备,包括一个或多个处理器和一个或多个存储器。该一个或多个存储器与一个或多个处理器耦合,一个或多个存储器用于存储计算机程序代码,计算机程序代码包括计算机指令,当一个或多个处理器执行计算机指令时,使得电子设备执行前文实施例的添加批注的方法。
示例性地,本申请提供一种电子设备,包括:用于执行前文实施例的通信装置。
示例性地,本申请提供一种通信***,包括:手写笔和前文实施例的电子设备,手写笔用于在与电子设备电连接的显示屏上形成运动轨迹。
示例性地,本申请提供一种芯片***,芯片***应用于包括存储器、显示屏和传感器的电子设备;芯片***包括:一个或多个接口电路和一个或者多个处理器;接口电路和处理器通过线路互联;接口电路用于从存储器接收信号,并向处理器发送信号,信号包括存储器中存储的计算机指令;当处理器执行计算机指令时,电子设备执行前文实施例的方法。
其中,芯片***中可以包括一个芯片,也可以包括多个芯片。在芯片***中包括多个芯片时,本申请对芯片的类型和数量等参数不做限定。
示例性地,本申请提供一种计算机可读存储介质,计算机可读存储介质中存储有指令,当指令在电子设备上运行时,使得电子设备执行前文实施例的添加批注的方法。
示例性地,本申请提供一种计算机程序产品,当计算机程序产品在计算机上运行时,使得计算机执行前文实施例的添加批注的方法。
在上述实施例中,全部或部分功能可以通过软件、硬件、或者软件加硬件的组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,DVD)、或者半导体介质(例如,固态硬盘(solidstate disk,SSD))等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,该流程可以由计算机程序来指令相关的硬件完成,该程序可存储于计算机可读取存储介质中,该程序在执行时,可包括如上述各方法实施例的流程。而前述的存储介质包括:ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (27)

1.一种添加批注的方法,其特征在于,包括:
电子设备在第一区域内显示内容图层中的第一内容,所述内容图层用于存储所述电子设备的显示屏可显示的内容;
所述电子设备在第一预设时长范围内接收手指的第一操作和手写笔的第二操作;
所述电子设备响应于所述第一操作和所述第二操作,在所述内容图层上加载批注图层,所述批注图层用于接收所述手写笔在所述显示屏上形成的运动轨迹对应的内容;
所述电子设备响应于所述手写笔的第三操作,在所述批注图层中接收所述手写笔在所述第一区域中对所述第一内容输入的第一批注;
所述电子设备响应于所述第一批注,在所述第一区域内显示包含有所述第一批注的所述第一内容;
其中,所述第一区域为所述显示屏中可显示的任意一个区域,所述第一内容在所述第一区域内显示的位置保持不变。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
所述电子设备响应于所述手指的第四操作,在所述第一区域内显示所述内容图层中的第二内容,所述第二内容与所述第一内容续接,且所述第一批注不显示在所述第一区域内;
所述电子设备响应于所述手指的第五操作,在所述第一区域内显示包含有所述第一批注的第三内容,所述第三内容为所述内容图层中的内容,且所述第三内容与所述第一内容至少部分内容重合。
3.根据权利要求2所述的方法,其特征在于,所述批注图层还用于存储所述第一批注与所述第一内容之间的对应关系,所述内容图层还用于存储所述第三内容与所述第一内容之间的对应关系;
所述电子设备在所述第一区域内显示包含有所述第一批注的第三内容,包括:
所述电子设备基于所述第一批注与所述第一内容之间的对应关系以及所述第三内容与所述第一内容之间的对应关系,确定所述第一批注在所述第三内容中的第一位置,并在所述第一区域内显示所述第三内容,且在所述第三内容中的所述第一位置处显示所述第一批注。
4.根据权利要求1-3任一项所述的方法,其特征在于,
所述第一区域内显示的内容类型包括:视频、网页、图片、文档或界面中的任意一种。
5.根据权利要求4所述的方法,其特征在于,
在所述第一区域内显示的内容类型为网页时,所述第一批注与所述第一内容之间的对应关系为所述第一内容在所述第一内容所在网页中的位置,或者,所述第一内容与所述第一内容所在网页中除了所述第一内容之外的其他内容之间的位置关系。
6.根据权利要求2-5任一项所述的方法,其特征在于,所述电子设备在所述第一区域内显示所述内容图层中的第二内容之后,所述方法还包括:
所述电子设备响应于所述手写笔的第六操作,在所述批注图层中接收所述手写笔在所述第一区域中对所述第二内容输入的第二批注;
所述电子设备响应于所述第二批注,在所述第一区域内显示包含有所述第二批注的所述第二内容;
其中,所述第二内容在所述第一区域内显示的位置保持不变。
7.根据权利要求1-6任一项所述的方法,其特征在于,包括:〃
所述电子设备在符合预设的触发条件时,在所述内容图层上加载所述批注图层;
其中,所述预设的触发条件包括如下任意一种:
所述手指的数量大于等于预设数量,所述手写笔的触碰压力大于等于预设压力,以及所述手写笔的触碰时长大于等于预设时长;
所述手指的触碰位置与所述手写笔的触碰位置之间的间距小于等于第一预设距离;
所述手指的数量大于等于预设数量,所述手写笔的触碰压力大于等于预设压力,所述手写笔的触碰时长大于等于预设时长以及所述手指的触碰位置与所述手写笔的触碰位置之间的间距小于等于第一预设距离;或者,
所述手指的数量大于等于预设数量,所述手写笔的触碰压力大于等于预设压力,所述手写笔的触碰时长大于等于预设时长以及不同手指之间的间距小于等于第二预设距离。
8.根据权利要求1-7任一项所述的方法,其特征在于,所述批注图层还用于存储所述第一批注与所述第一内容之间的对应关系,所述内容图层还用于存储所述第一内容与所述内容图层中的内容之间的对应关系;
所述电子设备接收所述第一批注之后,所述方法还包括:
所述电子设备响应于所述手写笔的第七操作或所述手指的第八操作,基于所述第一批注与所述第一内容之间的对应关系以及所述第一内容与所述内容图层中的内容之间的对应关系,确定所述内容图层中的第四内容,其中,所述第四内容与所述第一内容至少部分内容重合;
所述电子设备按照第一格式,对包含有所述第一批注的所述第四内容进行保存,其中,所述第一格式与所述第七操作或者所述第八操作相关。
9.根据权利要求8所述的方法,其特征在于,
所述第一格式包括:图片格式、可携带文档格式PDF或文本文档TXT格式中的任意一种。
10.根据权利要求1-9任一项所述的方法,其特征在于,所述电子设备在所述内容图层上加载所述批注图层之后,所述方法还包括:
所述电子设备在第二预设时长范围内接收所述手指的第九操作和所述手写笔的第十操作;
所述电子设备响应于所述第九操作和所述第十操作,在所述第一区域内显示所述内容图层中的第五内容,所述第五内容为所述电子设备响应于所述第九操作和所述第十操作之前所显示的内容。
11.根据权利要求10所述的方法,其特征在于,所述方法还包括:
所述电子设备在符合预设的释放条件时,将所述批注图层中的内容删除。
12.一种通信装置,其特征在于,包括:
显示管理器,用于从显示内容存储模块中获取内容图层中的第一内容,所述内容图层用于存储与电子设备电连接的显示屏可显示的内容,并指示驱动模块驱动所述显示屏在第一区域内显示所述第一内容;
输入管理器,用于接收第一指令,所述第一指令用于表示所述电子设备在第一预设时长范围内接收到手指的第一操作和手写笔的第二操作;
窗口管理器,用于响应于所述第一指令,在所述内容图层上加载批注图层,并创建手写笔服务缓存模块,所述批注图层用于接收所述手写笔在所述显示屏上形成的运动轨迹对应的内容,所述手写笔服务缓存模块用于存储批注图层中的内容;
所述输入管理器,还用于接收第二指令,所述第二指令用于表示所述电子设备接收到所述手写笔的第三操作,所述第二指令中包括所述批注图层中的第一批注,所述第一批注为所述手写笔在所述第一区域中对所述第一内容输入的内容;
所述窗口管理器,还用于响应于所述第二指令,将所述第一批注存储到所述手写笔服务缓存模块中;
所述显示管理器,还用于从所述手写笔服务缓存模块中获取所述第一批注,并指示所述驱动模块驱动所述显示屏在所述第一区域内显示包含有所述第一批注的所述第一内容;
其中,所述第一区域为所述显示屏中可显示的任意一个区域,所述第一内容在所述第一区域内显示的位置保持不变。
13.根据权利要求12所述的装置,其特征在于,
所述输入管理器,还用于接收第三指令,所述第三指令用于表示所述电子设备接收到所述手指的第四操作;
所述显示管理器,还用于响应于所述第三指令,从所述显示内容存储模块中获取所述内容图层中的第二内容,并指示所述驱动模块驱动所述显示屏在所述第一区域内显示所述第二内容,所述第二内容与所述第一内容续接,且所述第一批注不显示在所述第一区域内;
所述输入管理器,还用于接收第四指令,所述第四指令用于表示所述电子设备接收到所述手指的第五操作;
所述显示管理器,还用于响应于所述第四指令,从所述显示内容存储模块中获取所述内容图层中的第三内容,从所述手写笔服务缓存模块中获取所述第一批注,并指示所述驱动模块驱动所述显示屏在所述第一区域内显示包含有所述第一批注的所述第三内容,所述第三内容与所述第一内容至少部分内容重合。
14.根据权利要求13所述的装置,其特征在于,所述显示内容存储模块还用于存储所述第三内容与所述第一内容之间的对应关系;所述窗口管理器,还用于响应于所述第二指令,将所述第一批注与所述第一内容之间的对应关系存储在所述手写笔服务缓存模块中;
所述显示管理器,具体用于从所述手写笔服务缓存模块中获取所述第一批注与所述第一内容之间的对应关系,从所述显示内容存储模块中获取所述第三内容与所述第一内容之间的对应关系,并基于所述第一批注与所述第一内容之间的对应关系以及所述第三内容与所述第一内容之间的对应关系,确定所述第一批注在所述第三内容中的第一位置,并从所述显示内容存储模块中获取所述第三内容,从所述手写笔服务缓存模块中获取所述第一批注,并指示所述驱动模块驱动所述显示屏在所述第一区域内显示所述第三内容,且在所述第三内容中的所述第一位置处显示所述第一批注。
15.根据权利要求12-14任一项所述的装置,其特征在于,
所述第一区域内显示的内容类型包括:视频、网页、图片、文档或界面中的任意一种。
16.根据权利要求15所述的装置,其特征在于,
在所述第一区域内显示的内容类型为网页时,所述第一批注与所述第一内容之间的对应关系为所述第一内容在所述第一内容所在网页中的位置,或者,所述第一内容与所述第一内容所在网页中除了所述第一内容之外的其他内容之间的位置关系。
17.根据权利要求13-16任一项所述的装置,其特征在于,所述输入管理器,还用于接收第五指令,所述第五指令用于表示所述电子设备接收到所述手写笔的第六操作,所述第五指令中包括所述批注图层中的第二批注,所述第二批注为所述手写笔在所述第一区域中对所述第二内容输入的内容;
所述窗口管理器,还用于响应于所述第五指令,将所述第二批注存储到所述手写笔服务缓存模块中;
所述显示管理器,还用于从所述手写笔服务缓存模块中获取所述第二批注,并指示所述驱动模块驱动所述显示屏在所述第一区域内显示包含有所述第二批注的所述第二内容;
其中,所述第二内容在所述第一区域内显示的位置保持不变。
18.根据权利要求12-17任一项所述的装置,其特征在于,所述第一指令具体用于表示所述电子设备在第一预设时长范围内接收到手指的第一操作和手写笔的第二操作符合预设的触发条件;
其中,所述预设的触发条件包括如下任意一种:
所述手指的数量大于等于预设数量,所述手写笔的触碰压力大于等于预设压力,以及所述手写笔的触碰时长大于等于预设时长;
所述手指的触碰位置与所述手写笔的触碰位置之间的间距小于等于第一预设距离;
所述手指的数量大于等于预设数量,所述手写笔的触碰压力大于等于预设压力,所述手写笔的触碰时长大于等于预设时长以及所述手指的触碰位置与所述手写笔的触碰位置之间的间距小于等于第一预设距离;或者,
所述手指的数量大于等于预设数量,所述手写笔的触碰压力大于等于预设压力,所述手写笔的触碰时长大于等于预设时长以及不同手指之间的间距小于等于第二预设距离。
19.根据权利要求12-18任一项所述的装置,其特征在于,所述显示内容存储模块还用于存储所述第一内容与所述内容图层中的内容之间的对应关系;所述窗口管理器,还用于响应于所述第二指令,将所述第一批注与所述第一内容之间的对应关系存储在所述手写笔服务缓存模块中;
所述输入管理器,还用于接收第六指令,所述第六指令用于表示所述电子设备接收到所述手写笔的第七操作或所述手指的第八操作;
内容提供器,用于响应于所述第六指令,基于所述第一批注与所述第一内容之间的对应关系以及所述第一内容与所述内容图层中的内容之间的对应关系,确定所述内容图层中的第四内容,所述第四内容与所述第一内容至少部分内容重合;
所述内容提供器,还用于从所述显示内容存储模块中获取所述第四内容,从所述手写笔服务缓存模块中获取所述第一批注,并指示所述驱动模块驱动与所述电子设备电连接的存储器按照第一格式,对包含有所述第一批注的所述第四内容进行保存,其中,所述第一格式与所述第七操作或者所述第八操作相关。
20.根据权利要求19所述的装置,其特征在于,
所述第一格式包括:图片格式、可携带文档格式PDF或文本文档TXT格式中的任意一种。
21.根据权利要求12-20任一项所述的装置,其特征在于,
所述输入管理器,还用于接收第七指令,所述第七指令用于表示所述电子设备在第二预设时长范围内接收到所述手指的第九操作和所述手写笔的第十操作;
所述显示管理器,还用于响应于所述第七指令,从所述显示内容存储模块中获取所述内容图层中第五内容,并指示所述驱动模块驱动所述显示屏在所述第一区域内显示所述第五内容,所述第五内容为所述电子设备响应于所述第九操作和所述第十操作之前所显示的内容。
22.根据权利要求21所述的装置,其特征在于,还包括:
所述窗口管理器,还用于响应于所述第七指令,在符合预设的释放条件时,将所述批注图层中的内容删除,并删除所述手写笔服务缓存模块。
23.一种电子设备,其特征在于,包括:显示屏、传感器及处理器、存储器;所述电子设备用于与手写笔电连接,所述手写笔用于在所述显示屏上形成运动轨迹;所述存储器与所述处理器耦合,所述存储器用于存储计算机程序代码,所述计算机程序代码包括计算机指令,当所述处理器执行所述计算机指令时,所述电子设备执行如权利要求1-11任一项所述的添加批注的方法。
24.一种电子设备,其特征在于,包括:用于执行如权利要求12-22任一项所述的通信装置。
25.一种通信***,其特征在于,包括:手写笔和如权利要求24所述的电子设备,所述手写笔用于在与所述电子设备电连接的显示屏上形成运动轨迹。
26.一种芯片***,其特征在于,所述芯片***应用于包括存储器、显示屏和传感器的电子设备;所述芯片***包括:处理器;当所述处理器执行所述存储器中存储的计算机指令时,所述电子设备执行如权利要求1-11任一项所述的添加批注的方法。
27.一种计算机可读存储介质,所述计算机可读存储介质中存储有指令,其特征在于,当所述指令在电子设备上运行时,使得所述电子设备执行如权利要求1-11任一项所述的添加批注的方法。
CN202010778050.8A 2020-08-05 2020-08-05 添加批注的方法、电子设备及相关装置 Pending CN114077825A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202010778050.8A CN114077825A (zh) 2020-08-05 2020-08-05 添加批注的方法、电子设备及相关装置
EP21854351.0A EP4180923A4 (en) 2020-08-05 2021-07-29 METHOD FOR ADDING ANNOTATIONS, ELECTRONIC DEVICE AND RELATED APPARATUS
US18/040,493 US20230306192A1 (en) 2020-08-05 2021-07-29 Comment adding method, electronic device, and related apparatus
PCT/CN2021/109360 WO2022028310A1 (zh) 2020-08-05 2021-07-29 添加批注的方法、电子设备及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010778050.8A CN114077825A (zh) 2020-08-05 2020-08-05 添加批注的方法、电子设备及相关装置

Publications (1)

Publication Number Publication Date
CN114077825A true CN114077825A (zh) 2022-02-22

Family

ID=80119928

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010778050.8A Pending CN114077825A (zh) 2020-08-05 2020-08-05 添加批注的方法、电子设备及相关装置

Country Status (4)

Country Link
US (1) US20230306192A1 (zh)
EP (1) EP4180923A4 (zh)
CN (1) CN114077825A (zh)
WO (1) WO2022028310A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116011415A (zh) * 2023-03-27 2023-04-25 天津联想协同科技有限公司 文档批注生成方法、装置、网盘及存储介质
CN116188628A (zh) * 2022-12-02 2023-05-30 广东保伦电子股份有限公司 一种自由绘画跨页绘制及显示方法和服务器
TWI829532B (zh) * 2022-03-02 2024-01-11 日商日立製作所股份有限公司 作業記錄取出裝置、作業記錄取出系統

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120154295A1 (en) * 2010-12-17 2012-06-21 Microsoft Corporation Cooperative use of plural input mechanisms to convey gestures
KR20140046557A (ko) * 2012-10-05 2014-04-21 삼성전자주식회사 다점 입력 인식 방법 및 그 단말
US20140267078A1 (en) * 2013-03-15 2014-09-18 Adobe Systems Incorporated Input Differentiation for Touch Computing Devices
US9804707B2 (en) * 2014-09-12 2017-10-31 Microsoft Technology Licensing, Llc Inactive region for touch surface based on contextual information
CN104407793B (zh) * 2014-11-26 2018-03-13 深圳市华星光电技术有限公司 触摸信号处理方法及设备
CN110196675B (zh) * 2019-04-17 2022-07-15 华为技术有限公司 一种添加批注的方法及电子设备

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI829532B (zh) * 2022-03-02 2024-01-11 日商日立製作所股份有限公司 作業記錄取出裝置、作業記錄取出系統
CN116188628A (zh) * 2022-12-02 2023-05-30 广东保伦电子股份有限公司 一种自由绘画跨页绘制及显示方法和服务器
CN116188628B (zh) * 2022-12-02 2024-01-12 广东保伦电子股份有限公司 一种自由绘画跨页绘制及显示方法和服务器
CN116011415A (zh) * 2023-03-27 2023-04-25 天津联想协同科技有限公司 文档批注生成方法、装置、网盘及存储介质
CN116011415B (zh) * 2023-03-27 2023-08-04 天津联想协同科技有限公司 文档批注生成方法、装置、网盘及存储介质

Also Published As

Publication number Publication date
US20230306192A1 (en) 2023-09-28
WO2022028310A1 (zh) 2022-02-10
EP4180923A1 (en) 2023-05-17
EP4180923A4 (en) 2024-01-03

Similar Documents

Publication Publication Date Title
US11775248B2 (en) Systems and methods for initiating and interacting with a companion-display mode for an electronic device with a touch-sensitive display
JP7397881B2 (ja) 複数のアプリケーションウィンドウと対話するためのシステム、方法、及びユーザインタフェース
US10761712B2 (en) Anchoring viewport
US20190018562A1 (en) Device, Method, and Graphical User Interface for Scrolling Nested Regions
US9304668B2 (en) Method and apparatus for customizing a display screen of a user interface
CN108509115B (zh) 页操作方法及其电子装置
EP2847657B1 (en) Device, method, and graphical user interface for displaying additional information in response to a user contact
CN107426403B (zh) 移动终端
US20230297206A1 (en) User interfaces for retrieving contextually relevant media content
WO2022028310A1 (zh) 添加批注的方法、电子设备及相关装置
US8572481B2 (en) Device, method, and graphical user interface for displaying additional snippet content
US20210049321A1 (en) Device, method, and graphical user interface for annotating text
US20150339050A1 (en) Ink for Interaction
EP3156900A1 (en) Content preview
EP3594796A1 (en) Device, method, and graphical user interface for adjusting the appearance of a control
CN114416227A (zh) 窗口切换方法、电子设备及可读存储介质
US20160149838A1 (en) Method of providing message and user device supporting the same
WO2015183533A1 (en) Device, method, and graphical user interface for navigating a content hierarchy
WO2022052677A1 (zh) 界面显示方法及电子设备
EP4092512A1 (en) Dynamic element control method, electronic device and computer-readable storage medium
US20220198123A1 (en) Information processing device and non-transitory computer readable medium
CN115470757A (zh) 一种内容排序方法与终端设备
WO2014103357A1 (ja) 電子機器および入力方法
WO2022252788A1 (zh) 一种控制方法及电子设备
CN116700554B (zh) 信息的显示方法、电子设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination