CN108241480A - 显示内容的批注方法、显示客户端及投屏客户端 - Google Patents

显示内容的批注方法、显示客户端及投屏客户端 Download PDF

Info

Publication number
CN108241480A
CN108241480A CN201810131517.2A CN201810131517A CN108241480A CN 108241480 A CN108241480 A CN 108241480A CN 201810131517 A CN201810131517 A CN 201810131517A CN 108241480 A CN108241480 A CN 108241480A
Authority
CN
China
Prior art keywords
content
picture
display
client
annotation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201810131517.2A
Other languages
English (en)
Inventor
祝枫
董猛
李奕
郑天宇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Wow Hi Network Technology Co Ltd
Original Assignee
Shanghai Wow Hi Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Wow Hi Network Technology Co Ltd filed Critical Shanghai Wow Hi Network Technology Co Ltd
Publication of CN108241480A publication Critical patent/CN108241480A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/20Drawing from basic elements, e.g. lines or circles
    • G06T11/203Drawing of straight lines or curves

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本发明提供了一种显示内容的批注方法、显示客户端及投屏客户端,包括:A:根据显示指令将待显示数据在显示设备上进行显示;B:当接收到批注指令时,获取当前画面帧并将当前画面帧转换为渲染格式以获得内容画布;或者直接将当前画面转换为渲染格式以获得内容画布;C:接收检测到的触摸轨迹并将触摸轨迹在当前内容画布上进行渲染显示以获得批注笔记;D:当接收到恢复指令时,将写画有批注笔记的内容画布以图片格式进行保存获得内容画布图片,并在保存结束后恢复内容的显示。本发明具有以下优点:提供对视频流、文档、网页等显示文件中的画面随时暂停并进行批注的方法,不局限于PPT批注,提高批注写画的灵活性。

Description

显示内容的批注方法、显示客户端及投屏客户端
技术领域
本发明涉及多媒体技术领域,尤其涉及一种显示内容的批注方法、显示客户端及投屏客户端。
背景技术
随着智能手机、平板电脑、网络机顶盒以及智能电视等多媒体设备在家庭的普及,投屏共享技术被越来越多的使用。在同一局域网内,投屏共享技术是将多媒体设备发送端播放的视频数据发送至多媒体设备接收端,多媒体设备接收端在接收到该数据后对其解码并播放。可以方便的实现将手机、平板电脑上播放的视频推送到智能电视、投影仪等大屏扩展播放设备,在手机、平板电脑播放视频的同时,智能电视等大屏设备也可播放与手机一致的视频,既提升了视觉体验,又方便与家人共同观看。此外,随着智能交互触控显示设备的出现,通过交互行为带给人们全新的体验,目前智能触控已普及到会议室、教室等场所,但是,在PPT 播放过程中通常需要对PPT中的内容做批注,现有技术中,无法对投屏内容在显示屏上直接进行批注,导致用户体验感差。
为了解决上述技术问题,人们进行了长期的探索,例如中国专利公开了一种显示内容的批注方法及装置[申请号: CN201710506473.2],显示内容的批注方法用于交互装置,包括:交互装置的主控芯片接收数据源发送的显示数据并进行对应显示;所述交互装置的触摸屏检测到批注对应的触摸轨迹时,所述主控芯片生成带有所述触摸轨迹的透明图层;所述主控芯片将所述透明图层叠加到所述显示数据对应的显示画面上进行同步显示。
上述技术方案实现了通过添加透明图层的方式对投屏内容进行批注,但是仍然存在不足,例如上述方案只能针对PPT内容做批注,无法对视频流中的某一个单独的画面帧做批注,也无法将带批注的画面自动保存等。
发明内容
本发明的目的是针对上述问题,提供一种方法简单,能够实现对显示在显示设备上内容的批注写画操作的显示内容的批注方法;
本发明的另一目的是针对上述技术问题,提供一种基于上述显示内容的批注方法的显示客户端;
本发明的另一目的是针对上述技术问题,提供一种基于上述显示内容的批注方法的投屏客户端。
为达到上述目的,本发明采用了下列技术方案:
本发明的显示内容的批注方法,包括以下方法:
一种显示内容的批注方法,包括以下方法:
A:显示控制模块根据显示指令将待显示数据在显示设备上进行显示;
B:当接收到批注指令时,从显示缓存模块的缓存数据中获取到当前画面帧并将当前画面帧发送给写画批注模块,由写画批注模块将当前画面帧转换为渲染格式并冻结显示在当前页面以获得内容画布;或者由写画批注模块直接将当前画面转换为渲染格式显示在当前页面以获得内容画布;
C:显示控制模块接收显示设备检测到的触摸轨迹并将触摸轨迹发送给写画批注模块,由写画批注模块将触摸轨迹在当前内容画布上进行渲染显示以获得批注笔记;
D:当接收到恢复指令时,将写画有批注笔记的内容画布以图片格式进行保存获得内容画布图片,并在保存结束后恢复内容的显示。
在上述的显示内容的批注方法中,在步骤A中,所述的显示数据包括本显示客户端所在批注装置所具有的本机数据、互联网数据和从外部设备接收到的接收数据,且从外部设备接收到的接收数据包括与本批注装置建立投屏连接的投屏终端设备所发送的投屏内容,与显示客户端所在的控制器的输入接口连接的摄像头所拍摄到的拍摄内容和外部存储设备的存储内容。
在上述的显示内容的批注方法中,所述的投屏内容包括投屏客户端所发送的视频数据、文档数据、图片数据、同屏数据和网页数据,以及投屏客户端所在的投屏终端设备携带的摄像头所拍摄到的实时摄像数据;所述的存储内容包括外部存储设备的存储数据。
在上述的显示内容的批注方法中,本批注装置在显示内容的过程中还执行以下步骤:
当接收到清屏指令时,保存内容画布,结束内容的显示或者将内容的显示进程退出至后台并将空白画布显示在显示设备上供用户进行写画操作,并在接收到恢复显示指令后将用户在空白画布上的写画批注笔记进行保存以获得空白画布图片,同时将退出至后台的显示进程恢复至前台继续显示。
在上述的显示内容的批注方法中,当显示客户端与投屏客户端之间建立有投屏连接关系的时候,显示客户端还执行以下步骤:
将带有批注笔记的内容画布转换为图片格式以获得内容画布图片并将该内容画布图片进行保存,同时将保存的内容画布图片发送给与显示客户端建立投屏连接关系的投屏终端设备;或者,在投屏结束后,将投屏客户端与显示客户端建立投屏连接期间所生成的内容画布图片打包发送给相应的投屏客户端。
在上述的显示内容的批注方法中,将内容画布图片保存为可访问模式以供客户端或服务器访问,且在对内容画布图片进行保存的时候查找是否存在源文件,若存在,则建立内容画布图片与源文件的索引关系。
一种能够对显示内容进行批注的显示客户端,该显示客户端嵌设于批注装置的控制器中,且所述的批注装置包括连接于该控制器且具有触摸功能的显示设备,所述的显示客户端包括显示控制模块、写画批注模块和文件存储读取模块,所述的显示控制模块包括画面帧获取模块,其中,
显示控制模块,用于显示播放内容,以及用于接收显示设备检测到的触摸信息并将触摸信息发送给写画批注模块;
画面帧获取模块,用于在接收到批注指令时获取当前画面帧,并使显示设备冻结在获取到的当前画面帧页面;
写画批注模块,用于将冻结的当前画面帧转换为渲染格式的内容画布,或者直接将当前画面转换为渲染格式的内容画布,实时将接收到的触摸信息对应的触摸轨迹在内容画布上进行渲染渲染显示;
文件存储读取模块:用于存储写画有批注笔记的内容画布图片,以及用于供用户调取所存储的内容画布图片并将调取的内容画布图片显示在显示设备上供用户回顾。
在上述的能够对显示内容进行批注的显示客户端中,所述的显示客户端包括有前后台切换模块,且所述的前后台切换模块用于控制显示设备播放内容或将播放内容隐藏至后台而显示空白画布,以及用于切换写画批注模块至前台以供当前画面帧渲染在写画批注模块的画布层上。
在上述的显示内容的批注方法中,所述的显示客户端包括有用于与投屏客户端建立投屏连接关系并接收投屏客户端的投屏数据的第一投屏控制模块,以及用于将写画有批注笔记的内容画布图片发送给与相应投屏客户端的发送模块;所述的显示控制模块还包括画面流接受模块,其用于接受外部设备发送给显示客户端的画面流,或者接受浏览器中的互联网画面流;
一种能够向显示客户端投屏显示内容的投屏客户端,该投屏客户端嵌设于投屏终端设备中,所述的投屏客户端包括第二投屏控制模块、画布图片接收模块和文件读取管理模块中的任意一种或多种的组合,其中,
第二投屏控制模块,用于向服务器发起对相应的显示客户端的投屏连接请求,并且在建立投屏连接关系后用于向显示客户端发送投屏数据;
画布图片接收模块,用于接收显示客户端发送的内容画布图片;
文件读取管理模块,用于供用户通过该投屏客户端远程获取显示客户端的文件内容
本发明显示内容的批注方法及其装置相较于现有技术具有以下优点:1、能够实现对***示的画面进行写画批注;2、能够对视频流、文档、网页等显示文件中的画面随时暂停并进行单独批注,提高批注写画的灵活性,不局限于PPT批注;3、能够随时对任意画面进行暂停,写画批注,且能够将批注笔迹带画面进行保存;4、将带有批注笔记的画面帧单独保存有利于后续回顾,支持本地和外设客户端读取,有利于后续回顾,提高会议、讲座、课堂等活动的效率;5、直接将选中的画面帧渲染在批注模块的画布层上作为内容画布的背景,不需要新建透明图层,简化流程,节约内存空间。
附图说明
图1是本发明实施例一的方法流程图;
图2是本发明实施例一显示客户端与投屏客户端建立投屏连接关系的方法流程图;
图3是本发明实施例一中执行清屏指令过程中的方法流程图;
图4是本发明实施例二的部分方法流程图;
图5是本发明实施例三的部分方法流程图;
图6是本发明实施例四的结构框图;
图7是本发明实施例五投屏客户端的结构框图。
附图标记:批注装置1;显示客户端11;显示控制模块111;写画批注模块112;文件存储读取模块113;画面帧获取模块114;前后台切换模块115;发送模块116;画面流接受模块117;第一投屏控制模块118;显示设备2;投屏客户端3;第二投屏控制模块31;画布图片接收模块32;文件读取管理模块33。
具体实施方式
虽然流程图将各项操作描述成顺序的处理,但是其中的许多操作可以被并行地、并发地或者同时实施。各项操作的顺序可以被重新安排。当其操作完成时处理可以被终止,但是还可以具有未包括在附图中的附加步骤。处理可以对应于方法、函数、规程、子例程、子程序等等。
这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。当一个单元被称为“连接”或“耦合”到另一单元时,其可以直接连接或耦合到所述另一单元,或者可以存在中间单元。
这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指,否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是,这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在,而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。
以下采用本发明的优选实施例并结合附图,对本发明的技术方案作进一步的描述,但本发明并不限于这些实施例。
实施例一
本实施例可适用于各种显示内容批注的情况,包括各种格式的文件数据和流数据,其中文件数据包括文字、图片、视频、文件和客户端网页等,流数据包括客户端的摄像头正在拍摄的拍摄内容等,该方法主要由采用软件和/或硬件的方式实现,其中软件主要指本发明提供的显示客户端11,该显示客户端11嵌设于批注装置1的控制器中,该批注装置1可集成在任何提供显示内容批注的设备中,例如触摸电子空白等,如图1所示,下面对视频文件、摄像头拍摄的拍摄内容、网页、文件、同屏流数据等同类型的显示内容的批注方法进行具体说明,其包括以下方法:
A:显示控制模块111根据显示指令将待显示数据在显示设备 2上进行显示,显示指令包括选择批注装置1中已有的文件进行显示或将批注装置1与投屏终端设备进行投屏连接,通过投屏终端设备将显示内容投屏到显示设备2上以进行显示,投屏终端设备可以为具有投屏功能的电脑、手机、平板等电子设备;
本实施例中,实现投屏连接的方法有:1、批注装置1与投屏终端设备均连接至同一局域网下并通过miracast同屏连接技术或Airply同屏连接技术将批注装置1与投屏终端设备建立投屏连接关系;其中miracast同屏连接技术和Airply同屏连接技术均为现有技术,在此不进行详述;2、通过分别在批注装置1和投屏终端设备中安装显示客户端11和投屏客户端3,并且建立显示客户端11与投屏客户端3之间的投屏连接关系,本实施例采用以下两种方法建立两个客户端之间的投屏连接关系:2.1显示客户端 11向服务器注册用于配对的ID号和配对码;用户在投屏客户端3 中输入或选择正确的ID号和配对码以向服务器发起配对请求,服务器根据ID号查找批注装置1,并在检测到客户端输入的是正确的配对码后由服务器将连接请求发送给显示客户端11,显示客户端11接收到配对请求后与投屏客户端3建立投屏连接;2.2、如图2所示,显示客户端11向服务器请求一个携带有表示该批注装置1的id的投屏二维码,通过长连接等待投屏客户端3扫描所述的投屏二维码;在投屏客户端3扫描该投屏二维码后通过服务器获得该投屏客户端3的信息并与该投屏客户端3建立投屏连接,具体地,投屏客户端3通过服务器告知显示客户端11连接ID,显示客户端11与投屏客户端3通过websocket进行信令协商,投屏客户端3与显示客户端11开始端到端传输数据。
并且,在检测到与投屏客户端3非正常断开时,显示客户端 11与投屏客户端3均会主动携带对方ID向服务器发起重新连接请求。
B:在内容显示的过程中,用户对显示设备2输入批注指令,该批注指令可以为单击、双击、长按、画圈等方式触摸显示设备 2的显示界面,当接收到前述的批注指令时,显示设备2在播放的过程中会有一个显示缓存模块用于存放正在播放的内容,因为正在摄像头投屏的过程中,显示内容是在发生变化的,所以并不能直接知道用户需要停留的位置,传统的方法是通过截屏的方式截取显示设备2当前显示的内容获获取当前画面,但是对于流动性较强的网页、视频等内容通过这种截屏的方式很容易导致画面模糊等问题,从而达不到理想的显示内容获取效果,而本实施例采用从***显示缓存模块中获取当前画面帧以将当前画面帧提取出来冻结在显示页面上的方式获取显示内容可以保证画面的清晰,并将写画批注模块112切换至前台,将当前画面帧叠加在写画批注模块112的画布层上,由写画批注模块112将当前画面帧转换为可渲染格式以获得以当前画面帧作为画布层背景的内容画布从而进入批注模块,其中的内容画布供用户绘制批注笔记。
C:显示控制模块111接收显示设备2检测到的触摸轨迹并将触摸轨迹发送给写画批注模块112,由写画批注模块112将触摸轨迹在当前内容画布上进行渲染显示获得批注笔迹,此时,显示进程退至后台/暂停;渲染显示的具体方法包括:控制器获取显示设备2输出的用户触摸产生的触摸轨迹,也就是几何路径,然后将该几何路径信息交给写画批注模块112进行渲染以获得批注笔记,这里的渲染是指对触摸轨迹上色,使用户在画面帧上做的批注笔记在该画面帧上显示,此外,上何种颜色有用户自行选择,能够供用户选择不同颜色的手段作为一种公知技术,在此不进行赘述;
D:用户在对当前的画面帧完成批注笔记后,向显示设备2 输入恢复指令并由显示设备2将恢复指令发送给显示客户端11 由显示客户端11将退至后台/暂停的显示进程切换至前台从而恢复显示,该恢复指令可以为在显示界面上单击、双击、长按、画圈,恢复指令与批注指令的操作方式可以相同也可以不同,显示客户端11在接收到恢复指令后将写画有批注笔记的画面帧转换为图片格式以获得内容画布图片并将该内容画布图片进行保存,图片格式包括BMP格式、JPEG格式、JPEG2000格式、TIFF格式、 PNG格式等。批注装置1将同一次开机播放或投屏播放中保存下来的内容画布图片保存在同一个文件夹下,比如,在一次手机投屏中,在该手机开始投屏到结束投屏期间保存的内容画布图片保存在同一个文件夹中,且对内容画布图片进行保存的时候查找是否存在源文件,若存在,则建立内容画布图片与源文件之间的索引关系;此外,在保存结束后,退出批注模式并恢复之前的播放流,用户可以在批注装置1的本地文件中找到被保存下来的做了批注的内容画布图片。
具体地,本实施例的显示数据包括本显示客户端11所在的批注装置1本机所具有的本机数据、互联网数据和从外部设备接收到的接收数据,且从外部设备接收到的接收数据包括与本批注装置1建立投屏连接的投屏终端设备所发送的投屏内容,与显示客户端11所在的控制器的输入接口连接的摄像头所拍摄到的摄像内容和外部存储设备的存储内容,更具体地,本机数据是指存储在批注装置1的本机文件中的数据文件,控制器连接有互联网模块,本装置的***内内置有浏览器,用户可以直接在批注装置1 的浏览器中浏览互联网内容,而这里的互联数据便是指互联网内容中的网络数据;而接收数据可以为图片、视频、网页、office、 word、PPT等文件内容和摄像头实时拍摄的摄像内容。
优选地,如图3所示,本批注装置1在显示内容的过程中还执行以下步骤:
当接收到清屏指令时,保存内容画布,结束内容的显示或者将内容的显示进程退出至后台并将空白画布显示在显示设备2上供用户进行写画操作,至于是前者还是后者,具体根据用户的操作执行,比如用户选择清屏并结束显示的,那么结束内容的显示,如果用户只是选择清屏的,那么就只是将显示内容的显示进程退出至后台并将空白画布显示在显示设备2上,此时,在接收到恢复显示指令后将用户在空白画布上的写画批注笔记进行保存以获得空白画布图片,同时将退出至后台的显示进程恢复至前台继续显示。通过本方法,用户可以随时将显示设备2的显示页面切换为显示内容或者空白画布,空白画布是本批注装置1的自有画布,这里说的是空白画布并不代表就是黑色的画布,也可以为其他颜色,例如藏青色等,用户在进行内容显示的时候,如果需要退出当前显示进程获得空白画布进行写画时就可以通过发出清屏指令切换进入空白画布,同时,在执行清屏指令的过程中,显示客户端11对空白画布中及空白画布中的批注也转换为图片格式的空白画布图片进行保存。其中用户可以通过触摸显示设备2上指定的位置或在显示设备2上进行指定动作的写画来发出清屏指令。
此外,在写批注的过程中难免需要对批注内容进行擦除修改的时候,本实施例中通过以下方法执行擦除动作:
检测显示界面上的触摸信息,当检测到同时存在至少三个且相互距离在预设范围内的触摸点时,将该至少三个触摸点顺滑相连得到触摸环并擦除触摸环内的批注笔记,本实施例采用五个触摸点的方式,相互之间距离的预设范围满足一般人手呈抓握状时各手指相互之间的距离,触摸环为一个经过五指指尖的类圆环,本方式适用于任何批注笔记,不按写画先后顺序删除,也就是说,当用户在显示界面上写画了较多的批注,但是用户需要删除较前面的某个内容时,用户只需要将五个手指呈抓握状覆盖在显示界面上,五个手指均接触于显示界面,显示客户端接收到五个触摸点的触摸信息后,形成一个经过五个触摸点的触摸环,然后将在触摸环内的批注笔记删除,此时,用户的手指就相当于橡皮擦或空白擦,只是,具有更便捷,更卫生、更灵活等方便。
实施例二
如图4所示,本实施例与实施例一类似,不同之处在于,本实施例主要针对单独的图片内容或文字内容,当显示内容为文字、图片等内容时,这些内容直接被叠加在写画批注模块112的画布层上,在进入批注模式的时候不需要切换写画批注模块112至前台,可以直接获取显示的画面然后将显示的画面转换为可渲染格式以获得将当前画面作为背景层的内容画布,用户在该内容画布上,也就是当前画面上操作的批注笔记与在当前画面帧上的一样,在批注结束以后也同样将写画有批注笔记的内容画布转换为图片进行保存,保存结束后图片恢复到没有批注时候的显示。
实施例三
本实施例与实施例一类似,不同之处在于,本实施例中,当显示客户端11与投屏客户端3之间建立有投屏连接关系的时候,显示客户端11还执行以下步骤:
将带有批注笔记的内容画布和空白画布均转换为图片格式以获得内容画布图片和空白画布图片,并将该内容画布图片和空白画布图片进行保存,同时将保存的内容画布图片和空白画布图片发送给与显示客户端11建立投屏连接关系的投屏客户端3;或者,如图5所示,在投屏结束后,将投屏客户端3与显示客户端11 建立投屏连接期间所生成的内容画布图片和空白画布图片打包发送给相应的投屏客户端3供用户随时查看。
实施例四
如图6所示,本实施例公开了一种能够对显示内容进行批注的显示客户端11,该显示客户端11嵌设于批注装置1的控制器中,且所述的批注装置1包括连接于该控制器且具有触摸功能的显示设备2,使显示设备具有触摸功能的结构可以内置于显示设备2中,也可以外置在显示设备2上,例如设置在显示屏前面的触摸屏,当然还可以额外安装在一般的显示设备2上,例如在液晶屏上安装红外触摸框等,所述的显示客户端11包括能够对显示设备上的控制指令和投屏客户端发送的控制指令做出处理和响应的处理模块,该处理模块主要包括显示控制模块111、写画批注模块112和文件存储读取模块113,所述的显示控制模块111包括画面帧获取模块114,其中,
显示控制模块111,用于显示播放内容,以及用于接收显示设备2检测到的触摸信息并将触摸信息发送给写画批注模块112;
画面帧获取模块114,用于在接收到批注指令时获取当前画面帧,并使显示设备2冻结在获取到的当前画面帧页面;
写画批注模块112,用于将冻结的当前画面帧转换为渲染格式的内容画布,或者直接将当前画面转换为渲染格式的内容画布,实时将接收到的触摸信息对应的触摸轨迹在内容画布上进行渲染渲染显示;
文件存储读取模块113:用于存储写画有批注笔记的内容画布图片,以及用于供用户调取所存储的内容画布图片并将调取的内容画布图片显示在显示设备2上供用户回顾。
进一步地,显示客户端11包括有前后台切换模块115,且所述的前后台切换模块115用于控制显示设备2播放内容或将播放内容隐藏至后台而显示空白画布,以及用于切换写画批注模块 112至前台以供当前画面帧渲染在写画批注模块112的画布层上。
更进一步地,所述的显示客户端11包括有用于与投屏客户端 3建立投屏连接关系并接收投屏客户端3的投屏数据的第一投屏控制模块118,以及用于将写画有批注笔记的内容画布图片发送给与相应投屏客户端3的发送模块116;所述的显示控制模块111 还包括画面流接受模块117,其用于接受外部设备发送给显示客户端11的画面流,或者接受浏览器中的互联网画面流等。
实施例五
如图7所示,本实施例公开了一种能够向显示客户端11投屏显示内容的投屏客户端3,该投屏客户端3嵌设于投屏终端设备中,所述的投屏客户端3包括第二投屏控制模块31、画布图片接收模块32和文件读取管理模块33中的任意一种或多种的组合,其中,
第二投屏控制模块31,用于向服务器发起对相应的显示客户端11的投屏连接请求,并且在建立投屏连接关系后用于向显示客户端11发送投屏数据;
画布图片接收模块32,用于接收显示客户端11发送的内容画布图片;
文件读取管理模块33,用于供用户通过该投屏客户端3远程获取显示客户端11的文件内容。
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代,但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。
尽管本文较多地使用了批注装置1;显示客户端11;显示控制模块111;写画批注模块112;文件存储读取模块113;画面帧获取模块114;前后台切换模块115;发送模块116;画面流接受模块117;显示设备2;投屏客户端3;第二投屏控制模块31;画布图片接收模块32;文件读取管理模块33等术语,但并不排除使用其它术语的可能性。使用这些术语仅仅是为了更方便地描述和解释本发明的本质;把它们解释成任何一种附加的限制都是与本发明精神相违背的。

Claims (10)

1.一种显示内容的批注方法,其特征在于,包括以下方法:
A:显示控制模块(111)根据显示指令将待显示数据在显示设备(2)上进行显示;
B:当接收到批注指令时,从显示缓存模块的缓存数据中获取到当前画面帧并将当前画面帧发送给写画批注模块(112),由写画批注模块(112)将当前画面帧转换为渲染格式并冻结显示在当前页面以获得内容画布;或者由写画批注模块(112)直接将当前画面转换为渲染格式显示在当前页面以获得内容画布;
C:显示控制模块(111)接收显示设备(2)检测到的触摸轨迹并将触摸轨迹发送给写画批注模块(112),由写画批注模块(112)将触摸轨迹在当前内容画布上进行渲染显示以获得批注笔记;
D:当接收到恢复指令时,将写画有批注笔记的内容画布以图片格式进行保存获得内容画布图片,并在保存结束后恢复内容的显示。
2.根据权利要求1所述的显示内容的批注方法,其特征在于,在步骤A中,所述的显示数据包括本显示客户端(11)所在批注装置(1)所具有的本机数据、互联网数据和从外部设备接收到的接收数据,且从外部设备接收到的接收数据包括与本批注装置(1)建立投屏连接的投屏终端设备所发送的投屏内容,与显示客户端(11)所在的控制器的输入接口连接的摄像头所拍摄到的摄像内容和外部存储设备的存储内容。
3.根据权利要求2所述的显示内容的批注方法,其特征在于,所述的投屏内容包括投屏客户端(3)所发送的视频数据、文档数据、图片数据、同屏数据和网页数据,以及投屏客户端(3)所在的投屏终端设备携带的摄像头所拍摄到的实时摄像数据;所述的存储内容包括外部存储设备的存储数据。
4.根据权利要求1所述的显示内容的批注方法,其特征在于,本批注装置(1)在显示内容的过程中还执行以下步骤:
当接收到清屏指令时,保存内容画布,结束内容的显示或者将内容的显示进程退出至后台并将空白画布显示在显示设备(2)上供用户进行写画操作,并在接收到恢复显示指令后将用户在空白画布上的写画批注笔记进行保存以获得空白画布图片,同时将退出至后台的显示进程恢复至前台继续显示。
5.根据权利要求4任意一项所述的显示内容的批注方法,其特征在于,当显示客户端(11)与投屏客户端(3)之间建立有投屏连接关系的时候,显示客户端(11)还执行以下步骤:
将带有批注笔记的内容画布转换为图片格式以获得内容画布图片并将该内容画布图片进行保存,同时将保存的内容画布图片发送给与显示客户端(11)建立投屏连接关系的投屏终端设备;或者,在投屏结束后,将投屏客户端(3)与显示客户端(11)建立投屏连接期间所生成的内容画布图片打包发送给相应的投屏客户端(3)。
6.根据权利要求5所述的显示内容的批注方法,其特征在于,将内容画布图片保存为可访问模式以供客户端或服务器访问,且在对内容画布图片进行保存的时候查找是否存在源文件,若存在,则建立内容画布图片与源文件的索引关系。
7.一种能够对显示内容进行批注的显示客户端,其特征在于,该显示客户端(11)嵌设于批注装置(1)的控制器中,且所述的批注装置(1)包括连接于该控制器且具有触摸功能的显示设备(2),所述的显示客户端(11)包括显示控制模块(111)、写画批注模块(112)和文件存储读取模块(113),所述的显示控制模块(111)包括画面帧获取模块(114),其中,
显示控制模块(111),用于显示播放内容,以及用于接收显示设备(2)检测到的触摸信息并将触摸信息发送给写画批注模块(112);
画面帧获取模块(114),用于在接收到批注指令时获取当前画面帧,并使显示设备(2)冻结在获取到的当前画面帧页面;
写画批注模块(112),用于将冻结的当前画面帧转换为渲染格式的内容画布,或者直接将当前画面转换为渲染格式的内容画布,实时将接收到的触摸信息对应的触摸轨迹在内容画布上进行渲染渲染显示;
文件存储读取模块(114):用于存储写画有批注笔记的内容画布图片,以及用于供用户调取所存储的内容画布图片并将调取的内容画布图片显示在显示设备(2)上供用户回顾。
8.根据权利要求7所述的能够对显示内容进行批注的显示客户端(11),其特征在于,所述的显示客户端(11)还包括有前后台切换模块(115),且所述的前后台切换模块(115)用于控制显示设备(2)播放内容或将播放内容隐藏至后台而显示空白画布,以及用于切换写画批注模块(112)至前台以供当前画面帧渲染在写画批注模块(112)的画布层上。
9.根据权利要求8所述的能够对显示内容进行批注的显示客户端(11),其特征在于,所述的显示客户端(11)还包括有用于与投屏客户端(3)建立投屏连接关系并接收投屏客户端(3)的投屏数据的第一投屏控制模块(118),以及用于将写画有批注笔记的内容画布图片发送给与相应投屏客户端(3)的发送模块(116);所述的显示控制模块(111)还包括画面流接受模块(117),其用于接受外部设备发送给显示客户端(11)的画面流,或者接受浏览器中的互联网画面流。
10.一种能够向显示客户端(11)投屏显示内容的投屏客户端(3),其特征在于,该投屏客户端(3)嵌设于投屏终端设备中,所述的投屏客户端(3)包括第二投屏控制模块(31)、画布图片接收模块(32)和文件读取管理模块(33)中的任意一种或多种的组合,其中,
第二投屏控制模块(31),用于向服务器发起对相应的显示客户端(11)的投屏连接请求,并且在建立投屏连接关系后用于向显示客户端(11)发送投屏数据;
画布图片接收模块(32),用于接收显示客户端(11)发送的内容画布图片;
文件读取管理模块(33),用于供用户通过该投屏客户端(3)远程获取显示客户端(11)的文件内容。
CN201810131517.2A 2018-01-24 2018-02-09 显示内容的批注方法、显示客户端及投屏客户端 Pending CN108241480A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2018100664814 2018-01-24
CN201810066481 2018-01-24

Publications (1)

Publication Number Publication Date
CN108241480A true CN108241480A (zh) 2018-07-03

Family

ID=62698744

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810131517.2A Pending CN108241480A (zh) 2018-01-24 2018-02-09 显示内容的批注方法、显示客户端及投屏客户端

Country Status (1)

Country Link
CN (1) CN108241480A (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108958877A (zh) * 2018-08-15 2018-12-07 北京无线电计量测试研究所 一种实时更新采集图像数据的绘图***和方法
CN109145242A (zh) * 2018-10-11 2019-01-04 北京神州泰岳软件股份有限公司 办公文档在线共享方法、***以及计算机可读存储介质
CN109635216A (zh) * 2018-11-27 2019-04-16 浙江万朋教育科技股份有限公司 一种移动终端和浏览器的图片进行同屏批注的方法
CN110058755A (zh) * 2019-04-15 2019-07-26 广州视源电子科技股份有限公司 一种演示文稿交互的方法、装置、终端设备和存储介质
CN110473433A (zh) * 2018-10-26 2019-11-19 珠海中电数码科技有限公司 一种智能保存多媒体教学***及其控制方法
CN110647303A (zh) * 2019-08-30 2020-01-03 北京文渊佳科技有限公司 一种多媒体播放方法、装置、存储介质及电子设备
CN110688190A (zh) * 2019-10-09 2020-01-14 广州视源电子科技股份有限公司 智能交互平板的控制方法和装置
CN110750966A (zh) * 2019-09-30 2020-02-04 广州视源电子科技股份有限公司 一种批注的处理方法、装置、设备及存储介质
WO2020073787A1 (zh) * 2018-10-12 2020-04-16 北京金山办公软件股份有限公司 一种墨迹清除的方法、装置、电子设备及存储介质
TWI692715B (zh) * 2018-11-29 2020-05-01 中華電信股份有限公司 電子系統及其運作方法
CN111199144A (zh) * 2018-10-30 2020-05-26 珠海金山办公软件有限公司 一种文档内容涂改方法、装置、电子设备及可读存储介质
CN111310410A (zh) * 2018-11-23 2020-06-19 广州金山移动科技有限公司 一种显示处理的方法、装置、计算机存储介质及终端
CN112398882A (zh) * 2019-08-12 2021-02-23 久瓴(江苏)数字智能科技有限公司 多屏同步方法、***、装置、计算机设备和存储介质
CN112506462A (zh) * 2021-01-29 2021-03-16 深圳乐播科技有限公司 文档投屏方法及***
CN112559541A (zh) * 2020-12-10 2021-03-26 广州市昊链信息科技股份有限公司 一种单证的审核方法、装置、设备及存储介质
CN112579017A (zh) * 2019-09-30 2021-03-30 广州视源电子科技股份有限公司 一种课件的批注方法、***、设备和存储介质
CN112685997A (zh) * 2020-12-31 2021-04-20 安徽鸿程光电有限公司 批注信息的显示方法、装置、设备及计算机可读存储介质
CN113934876A (zh) * 2021-12-21 2022-01-14 成都泰盟软件有限公司 一种基于Web的作业批改方法、装置及***
CN114089903A (zh) * 2020-07-31 2022-02-25 西安诺瓦星云科技股份有限公司 Led显示屏书写笔迹显示方法、装置及***
US11301200B2 (en) 2018-01-19 2022-04-12 Guangzhou Shiyuan Electronics Co., Ltd. Method of providing annotation track on the content displayed on an interactive whiteboard, computing device and non-transitory readable storage medium
WO2023030377A1 (zh) * 2021-08-31 2023-03-09 华为技术有限公司 一种写画内容显示方法以及相关设备
CN115909342A (zh) * 2023-01-03 2023-04-04 湖北瑞云智联科技有限公司 基于触点运动轨迹的图像标记识别***及方法
CN116301556A (zh) * 2023-05-19 2023-06-23 安徽卓智教育科技有限责任公司 互动白板软件的互动方法、装置、电子设备及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101206640B (zh) * 2006-12-22 2011-01-26 深圳市学之友教学仪器有限公司 用于对便携式电子设备中的电子资料进行批注的方法
KR101311158B1 (ko) * 2013-04-23 2013-09-23 (주)유한프리젠 프리젠테이션 시스템에서 동영상을 이용한 강조 표현 방법
CN103530033A (zh) * 2012-06-29 2014-01-22 三星电子株式会社 用于显示内容的方法和装置
CN105446689A (zh) * 2015-12-16 2016-03-30 广州视睿电子科技有限公司 远程批注同步的方法与***
CN107168674A (zh) * 2017-06-19 2017-09-15 浙江工商大学 投屏批注方法和***
CN107193794A (zh) * 2017-06-28 2017-09-22 广州视源电子科技股份有限公司 显示内容的批注方法和装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101206640B (zh) * 2006-12-22 2011-01-26 深圳市学之友教学仪器有限公司 用于对便携式电子设备中的电子资料进行批注的方法
CN103530033A (zh) * 2012-06-29 2014-01-22 三星电子株式会社 用于显示内容的方法和装置
KR101311158B1 (ko) * 2013-04-23 2013-09-23 (주)유한프리젠 프리젠테이션 시스템에서 동영상을 이용한 강조 표현 방법
CN105446689A (zh) * 2015-12-16 2016-03-30 广州视睿电子科技有限公司 远程批注同步的方法与***
CN107168674A (zh) * 2017-06-19 2017-09-15 浙江工商大学 投屏批注方法和***
CN107193794A (zh) * 2017-06-28 2017-09-22 广州视源电子科技股份有限公司 显示内容的批注方法和装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
CHERRYOREO: "Android实现截屏方式整理(总结)", 《脚本之家》 *

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11301200B2 (en) 2018-01-19 2022-04-12 Guangzhou Shiyuan Electronics Co., Ltd. Method of providing annotation track on the content displayed on an interactive whiteboard, computing device and non-transitory readable storage medium
CN108958877A (zh) * 2018-08-15 2018-12-07 北京无线电计量测试研究所 一种实时更新采集图像数据的绘图***和方法
CN109145242A (zh) * 2018-10-11 2019-01-04 北京神州泰岳软件股份有限公司 办公文档在线共享方法、***以及计算机可读存储介质
WO2020073787A1 (zh) * 2018-10-12 2020-04-16 北京金山办公软件股份有限公司 一种墨迹清除的方法、装置、电子设备及存储介质
CN110473433A (zh) * 2018-10-26 2019-11-19 珠海中电数码科技有限公司 一种智能保存多媒体教学***及其控制方法
CN111199144B (zh) * 2018-10-30 2024-03-26 珠海金山办公软件有限公司 一种文档内容涂改方法、装置、电子设备及可读存储介质
CN111199144A (zh) * 2018-10-30 2020-05-26 珠海金山办公软件有限公司 一种文档内容涂改方法、装置、电子设备及可读存储介质
CN111310410A (zh) * 2018-11-23 2020-06-19 广州金山移动科技有限公司 一种显示处理的方法、装置、计算机存储介质及终端
CN111310410B (zh) * 2018-11-23 2024-03-12 广州金山移动科技有限公司 一种显示处理的方法、装置、计算机存储介质及终端
CN109635216A (zh) * 2018-11-27 2019-04-16 浙江万朋教育科技股份有限公司 一种移动终端和浏览器的图片进行同屏批注的方法
CN109635216B (zh) * 2018-11-27 2022-03-08 浙江万朋教育科技股份有限公司 一种移动终端和浏览器的图片进行同屏批注的方法
TWI692715B (zh) * 2018-11-29 2020-05-01 中華電信股份有限公司 電子系統及其運作方法
CN110058755A (zh) * 2019-04-15 2019-07-26 广州视源电子科技股份有限公司 一种演示文稿交互的方法、装置、终端设备和存储介质
CN112398882A (zh) * 2019-08-12 2021-02-23 久瓴(江苏)数字智能科技有限公司 多屏同步方法、***、装置、计算机设备和存储介质
CN110647303A (zh) * 2019-08-30 2020-01-03 北京文渊佳科技有限公司 一种多媒体播放方法、装置、存储介质及电子设备
CN110647303B (zh) * 2019-08-30 2023-08-25 北京文渊佳科技有限公司 一种多媒体播放方法、装置、存储介质及电子设备
CN112579017A (zh) * 2019-09-30 2021-03-30 广州视源电子科技股份有限公司 一种课件的批注方法、***、设备和存储介质
CN110750966A (zh) * 2019-09-30 2020-02-04 广州视源电子科技股份有限公司 一种批注的处理方法、装置、设备及存储介质
CN112579017B (zh) * 2019-09-30 2024-03-01 广州视源电子科技股份有限公司 一种课件的批注方法、***、设备和存储介质
CN110750966B (zh) * 2019-09-30 2023-09-19 广州视源电子科技股份有限公司 一种批注的处理方法、装置、设备及存储介质
CN110688190A (zh) * 2019-10-09 2020-01-14 广州视源电子科技股份有限公司 智能交互平板的控制方法和装置
CN114089903A (zh) * 2020-07-31 2022-02-25 西安诺瓦星云科技股份有限公司 Led显示屏书写笔迹显示方法、装置及***
CN112559541A (zh) * 2020-12-10 2021-03-26 广州市昊链信息科技股份有限公司 一种单证的审核方法、装置、设备及存储介质
CN112685997A (zh) * 2020-12-31 2021-04-20 安徽鸿程光电有限公司 批注信息的显示方法、装置、设备及计算机可读存储介质
CN112506462B (zh) * 2021-01-29 2021-06-01 深圳乐播科技有限公司 文档投屏方法及***
CN112506462A (zh) * 2021-01-29 2021-03-16 深圳乐播科技有限公司 文档投屏方法及***
WO2023030377A1 (zh) * 2021-08-31 2023-03-09 华为技术有限公司 一种写画内容显示方法以及相关设备
CN113934876B (zh) * 2021-12-21 2022-02-22 成都泰盟软件有限公司 一种基于Web的作业批改方法、装置及***
CN113934876A (zh) * 2021-12-21 2022-01-14 成都泰盟软件有限公司 一种基于Web的作业批改方法、装置及***
CN115909342A (zh) * 2023-01-03 2023-04-04 湖北瑞云智联科技有限公司 基于触点运动轨迹的图像标记识别***及方法
CN116301556A (zh) * 2023-05-19 2023-06-23 安徽卓智教育科技有限责任公司 互动白板软件的互动方法、装置、电子设备及存储介质
CN116301556B (zh) * 2023-05-19 2023-08-11 安徽卓智教育科技有限责任公司 互动白板软件的互动方法、装置、电子设备及存储介质

Similar Documents

Publication Publication Date Title
CN108241480A (zh) 显示内容的批注方法、显示客户端及投屏客户端
CN108459836B (zh) 批注显示方法、装置、设备及存储介质
CN106547469B (zh) 无线触控一体实现方法以及无线触控一体机
US8111408B2 (en) Mobile phone for interacting with underlying substrate
Kohtake et al. InfoStick: an interaction device for Inter-Appliance Computing
CN108616712B (zh) 一种基于摄像头的界面操作方法、装置、设备及存储介质
CN108055559A (zh) 通过移动客户端实现摄像头投屏的方法、投屏装置及***
CN103731645A (zh) 一种基于无线视频传输技术的执法办案***
CN108255970A (zh) 一种视频查找方法、终端及计算机可读存储介质
CN107861670A (zh) 双屏终端的交互显示方法、双屏终端和计算机存储介质
CN108184070A (zh) 一种拍摄方法及终端
US20140092067A1 (en) Information processing method and device for electronic device with touch screen
CN107358227A (zh) 一种标记识别方法、移动终端以及计算机可读存储介质
CN107943390A (zh) 一种文字复制方法及移动终端
CN112312217A (zh) 一种图像编辑方法、装置、计算机设备和存储介质
CN110536006A (zh) 一种对象位置调整方法及电子设备
WO2020238911A1 (zh) 消息发送方法及终端
WO2020235886A1 (en) Bitstream merger and extractor
CN105183269B (zh) 自动辨识游标所在屏幕的方法
CN101452418A (zh) 电脑管理***与方法及其所应用的操控台
CN108255454A (zh) 一种拼接处理器和拼接处理器的可视化交互方法
CN107145278A (zh) 基于移动终端的设备控制方法、装置和移动终端
CN108108079A (zh) 一种图标显示处理方法及移动终端
CN108010106A (zh) 一种图像显示方法、终端及计算机可读存储介质
CN101227553A (zh) 电视***远端直接写屏的方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 211800 12 / F, Kechuang No.1 building, NO.320, pubin Road, Jiangpu street, Pukou District, Nanjing City, Jiangsu Province

Applicant after: Nanjing wahi Network Technology Co., Ltd

Address before: 201620 Shanghai city Songjiang District Wenhui Road No. 1128

Applicant before: Shanghai wow hi Network Technology Co., Ltd.

CB02 Change of applicant information
RJ01 Rejection of invention patent application after publication

Application publication date: 20180703

RJ01 Rejection of invention patent application after publication