CN105808147A - 一种无线复制与扩展显示交互方法及*** - Google Patents

一种无线复制与扩展显示交互方法及*** Download PDF

Info

Publication number
CN105808147A
CN105808147A CN201610303089.8A CN201610303089A CN105808147A CN 105808147 A CN105808147 A CN 105808147A CN 201610303089 A CN201610303089 A CN 201610303089A CN 105808147 A CN105808147 A CN 105808147A
Authority
CN
China
Prior art keywords
display
touch
module
wireless
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201610303089.8A
Other languages
English (en)
Inventor
郭星
刘政怡
李炜
张以文
吴建国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Anhui University
Original Assignee
Anhui University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Anhui University filed Critical Anhui University
Priority to CN201610303089.8A priority Critical patent/CN105808147A/zh
Publication of CN105808147A publication Critical patent/CN105808147A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

本发明为解决不支持Miracast技术的设备之间无线复制与扩展传屏及触控同步问题,提供一种既可实现复制屏幕又可实现扩展屏幕的无线复制与扩展显示交互方法及***。所述***由源端设备、触控显示设备,及由虚拟显示屏模块、模数转换模块、压缩模块、无线通信模块、协议转换模块构成的USB虚拟设备、由所述无线通信模块、解压缩模块、数模转换模块构成的显示交互处理设备组成。通过在源端设备上以硬件方式虚拟一个虚拟显示屏,借助虚拟显示屏与触控显示设备的无线同步显示与触控交互,将触控显示设备作为源端设备的无线复制或扩展显示触控终端。所述虚拟显示屏由源端设备USB接口转标准音视频接口输出源端设备复制或扩展的显示屏音视频信号形成。

Description

一种无线复制与扩展显示交互方法及***
技术领域
本发明涉及人机交互及显示技术领域,特别涉及一种无线复制与扩展显示交互方法及***。
背景技术
无线传屏技术将源端设备屏幕上显示的内容和声音单向地同步到投影仪、电视机等显示端进行展示,却不能将显示端的信号回传到源端设备。为实现显示端触摸数据的回传,申请号201510334863.7“一种无线传屏方法、扩展设备和无线传屏***”提供一种无线传屏方法、扩展设备和无线传屏***,在源端设备外接一个扩展设备,通过扩展设备将源端设备的屏幕显示数据和音频数据以无线的方式发送给触屏显示端进行显示,实现无线传屏功能,并通过无线网络将触屏显示端的触摸数据反馈给源端设备,实现从显示端对源端设备的触摸操作;申请号201210209662.0“具无线传输功能的显示装置及显示装置的无线传输方法”和201310578185.X“一种信息处理方法及电子设备”提供具有触控及无线收送功能的显示装置,可实现无线传屏及触控同步。
所述技术方案均只能实现源端设备屏幕的复制,无法实现屏幕的扩展。在需要屏幕扩展的场合,所述技术方案均失效。例如,在PPT演示中,可以在Windows多屏幕支持下,利用演讲者视图,让源端设备如笔记本电脑显示PPT中的备注信息,而在投影仪上仅显示PPT画面内容,不显示备注信息。然而如果采用无线传屏方式,仅仅是对屏幕的复制,无法启用该功能,更不可能实现触控回传。
201410131173.7“多屏显示方法及多屏显示处理装置”借助Miracast技术将电子设备中并行运行的至少两个任务分别在当前电子设备和另一电子设备上显示并可实现相互控制。由屏幕编码部件将当前电子设备后台运行的应用的图形界面编码为传输流,由无线投屏部件将编码的传输流传输至另一电子设备上。所述技术方案在支持MiracastSource的源端设备和支持MiracastDisplay的显示设备之间通过Wifi直连实现源端设备显示屏的软件式扩展投屏及反向操控。
发明内容
本发明是为解决不支持Miracast技术的设备之间的无线复制与扩展传屏及触控同步问题,提供一种既可实现复制屏幕又可实现扩展屏幕的无线复制与扩展显示交互方法及***。
本发明解决技术问题采用如下技术方案:
本发明一种无线复制与扩展显示交互方法,其特征为:在源端设备上以硬件方式虚拟一个虚拟显示屏,借助虚拟显示屏与触控显示设备的无线同步显示与触控交互,将触控显示设备作为源端设备的无线复制或扩展显示触控终端。
本发明所述无线复制与扩展显示交互方法中以硬件方式虚拟显示屏的方法,其特征为:通过源端设备设置USB接口转标准音视频接口,输出源端设备复制或扩展的显示屏音视频信号,形成虚拟显示屏。
本发明一种无线复制与扩展显示交互***,其特征是由源端设备、包含触控模块的触控显示设备,及由虚拟显示屏模块、模数转换模块、压缩模块、无线通信模块、协议转换模块构成的USB虚拟设备、由所述无线通信模块、解压缩模块、数模转换模块构成的显示交互处理设备组成;所述无线复制与扩展显示交互***通过在源端设备上安装USB虚拟设备,虚拟一个能够实现源端设备显示屏复制或扩展功能的虚拟显示屏,将所述虚拟显示屏的音视频信号无线传输到显示交互处理设备,再显示在触控显示设备上,同时触控模块感应用户在触控显示设备上的触控操作,将触控交互信号无线传回USB虚拟设备,实现触控显示设备与虚拟显示屏的同步显示与交互,从而将触控显示设备作为源端设备的无线复制或扩展显示触控终端。
所述源端设备可以是带USB接口的台式计算机、笔记本电脑。
所述触控显示设备可以是触摸显示屏、配置了触控模块的投影屏幕、软板、白板、黑板、墙面。所述触控模块识别用户在所述触控显示设备上的触控操作,并形成触控交互信号。所述触控操作包括触摸屏点击、激光笔操作、手势操作。
所述虚拟显示屏模块通过USB接口转标准音视频接口对所述源端设备显示屏进行复制或扩展,输出源端设备复制或扩展的显示屏音视频信号,形成虚拟显示屏。
所述模数转换模块将所述源端设备复制或扩展的显示屏音视频信号转换成图像帧和音频帧。
所述压缩模块压缩所述图像帧和音频帧,以便通过无线通信模块实现快速无线传输。
所述无线通信模块将压缩的图像帧和音频帧无线传输至解压缩模块,同时将触控模块获取的触控显示设备上所产生的触控交互信号传回协议转换模块。
所述协议转换模块将所述触控模块形成的触控交互信号转换为HID协议。
所述解压缩模块对从源端设备无线传输来的图像帧和音频帧实现解压缩。
所述数模转换模块将图像帧及音频帧经数模转换,形成音视频信号,传给触控显示设备显示。
与已有技术相比,本发明有益效果体现在:
本发明一种无线复制与扩展显示交互方法及***通过硬件方式将源端设备显示屏的复制或扩展屏幕无线显示在触控显示设备上,并实现触控回传,解决不支持Miracast技术的设备之间的无线复制与扩展传屏及触控同步问题。
附图说明
图1为本发明一种无线复制与扩展显示交互方法示意图。
图2为本发明一种无线复制与扩展显示交互***模块结构图。
图中符号:1源端设备、2触控显示设备、3USB虚拟设备、4显示交互处理设备、11源端设备显示屏、12虚拟显示屏、21触控模块、31虚拟显示屏模块、32模数转换模块、33压缩模块、34无线通信模块、35协议转换模块、41解压缩模块、42数模转换模块。
以下通过具体实施方式,并结合附图对本发明作进一步说明,但本发明的实施方式不限于此。
具体实施方式
本实施例一种无线复制与扩展显示交互方法,参见图1,其特征为:在源端设备1上以硬件方式虚拟一个虚拟显示屏12,借助虚拟显示屏12与触控显示设备2的无线同步显示与触控交互,将触控显示设备2作为源端设备1的无线复制或扩展显示触控终端。
本实施例所述无线复制与扩展显示交互方法中以硬件方式虚拟显示屏的方法,其特征为:通过源端设备1设置USB接口转HDMI/VGA接口,输出源端设备1复制或扩展的显示屏音视频信号,形成虚拟显示屏12。
本实施例一种无线复制与扩展显示交互***,参见图2,其特征是由源端设备1、包含触控模块21的触控显示设备2,及由虚拟显示屏模块31、模数转换模块32、压缩模块33、无线通信模块34、协议转换模块35构成的USB虚拟设备3、由所述无线通信模块34、解压缩模块41、数模转换模块42构成的显示交互处理设备4组成。
所述无线复制与扩展显示交互***通过在源端设备1上安装USB虚拟设备3,虚拟一个能够实现源端设备1显示屏复制或扩展功能的虚拟显示屏12,将所述虚拟显示屏12的音视频信号无线传输到显示交互处理设备4,再显示在触控显示设备2上,同时触控模块21感应用户在触控显示设备2上的触控操作,将触控交互信号无线传回USB虚拟设备3,实现触控显示设备2与虚拟显示屏12的同步显示与交互,从而将触控显示设备2作为源端设备1的无线复制或扩展显示触控终端。
所述源端设备1可以是带USB接口的台式计算机、笔记本电脑,可以有源端设备显示屏11,也可以没有源端设备显示屏11。
所述触控显示设备2可以是触摸显示屏、配置了触控模块21的投影屏幕、软板、白板、黑板、墙面。所述触控模块21识别用户在所述触控显示设备2上的触控操作,并形成触控交互信号。所述触控操作包括触摸屏点击、激光笔操作、手势操作。
所述虚拟显示屏模块31通过USB接口转HDMI/VGA接口对所述源端设备1显示屏进行复制或扩展,输出源端设备1复制或扩展的显示屏音视频信号,形成虚拟显示屏12。
所述模数转换模块32将所述源端设备1复制或扩展的显示屏音视频信号转换成图像帧和音频帧。
所述压缩模块33压缩所述图像帧和音频帧,以便通过无线通信模块34实现快速无线传输。
所述无线通信模块34将压缩的图像帧和音频帧无线传输至解压缩模块41,同时将触控模块21获取的触控显示设备2上所产生的触控交互信号传回协议转换模块35。
所述协议转换模块35将所述触控模块21形成的触控交互信号转换为HID协议。
所述解压缩模块41对从源端设备1无线传输来的图像帧和音频帧实现解压缩。
所述数模转换模块42将图像帧及音频帧经数模转换,形成音视频信号,传给触控显示设备2显示。
本实施例所述无线复制与扩展显示交互方法的具体步骤为:
(1)源端设备1通过USB接口转HDMI/VGA接口,输出源端设备1复制或扩展的显示屏音视频信号,形成虚拟显示屏12。
(2)所述虚拟显示屏12虚拟显示内容通过模数转换模块32转换成图像帧与音频帧。
(3)由压缩模块33对所述图像帧与音频帧进行压缩。
(4)所述经压缩的图像帧与音频帧通过无线通信模块34,传给解压缩模块41,实现解压缩。
(5)经过解压缩处理后的图像帧与音频帧,通过数模转换模块42,转换成音视频信号,传给触控显示设备2显示。
(6)当用户在触控显示设备2上产生触控操作时,触控模块21识别所述触控操作,并将其转换为触控交互信号。
(7)所述触控交互信号经无线通信模块34,传回协议转换模块35,转换为HID协议。
(8)源端设备1识别HID协议规范,同步虚拟显示屏12与触控显示设备2。

Claims (12)

1.本发明一种无线复制与扩展显示交互方法,其特征为:在源端设备(1)上以硬件方式虚拟一个虚拟显示屏(12),借助虚拟显示屏(12)与触控显示设备(2)的无线同步显示与触控交互,将触控显示设备(2)作为源端设备(1)的无线复制或扩展显示触控终端。
2.根据权利要求1所述的无线复制与扩展显示交互方法中以硬件方式虚拟显示屏的方法,其特征为:通过源端设备(1)设置USB接口转标准音视频接口,输出源端设备(1)复制或扩展的显示屏音视频信号,形成虚拟显示屏(12)。
3.本发明一种无线复制与扩展显示交互***,其特征是由源端设备(1)、包含触控模块(21)的触控显示设备(2),及由虚拟显示屏模块(31)、模数转换模块(32)、压缩模块(33)、无线通信模块(34)、协议转换模块(35)构成的USB虚拟设备(3)、由所述无线通信模块(34)、解压缩模块(41)、数模转换模块(42)构成的显示交互处理设备(4)组成;所述无线复制与扩展显示交互***通过在源端设备(1)上安装USB虚拟设备(3),虚拟一个能够实现源端设备(1)显示屏复制或扩展功能的虚拟显示屏(12),将所述虚拟显示屏(12)的音视频信号无线传输到显示交互处理设备(4),再显示在触控显示设备(2)上,同时触控模块(21)感应用户在触控显示设备(2)上的触控操作,将触控交互信号无线传回USB虚拟设备(3),实现触控显示设备(2)与虚拟显示屏(12)的同步显示与交互,从而将触控显示设备(2)作为源端设备(1)的无线复制或扩展显示触控终端。
4.根据权利要求3所述的源端设备(1)可以是带USB接口的台式计算机、笔记本电脑。
5.根据权利要求3所述的触控显示设备(2)可以是触摸显示屏、配置了触控模块(21)的投影屏幕、软板、白板、黑板、墙面;所述触控模块(21)识别用户在所述触控显示设备(2)上的触控操作,并形成触控交互信号;所述触控操作包括触摸屏点击、激光笔操作、手势操作。
6.根据权利要求3所述的虚拟显示屏模块(31)通过USB接口转标准音视频接口对所述源端设备(1)显示屏进行复制或扩展,输出源端设备(1)复制或扩展的显示屏音视频信号,形成虚拟显示屏(12)。
7.根据权利要求3所述的模数转换模块(32)将所述源端设备(1)复制或扩展的显示屏音视频信号转换成图像帧和音频帧。
8.根据权利要求3所述的压缩模块(33)压缩所述图像帧和音频帧,以便通过无线通信模块(34)实现快速无线传输。
9.根据权利要求3所述的无线通信模块(34)将压缩的图像帧和音频帧无线传输至解压缩模块(41),同时将触控模块(21)获取的触控显示设备(2)上所产生的触控交互信号传回协议转换模块(35)。
10.根据权利要求3所述的协议转换模块(35)将所述触控模块(21)形成的触控交互信号转换为HID协议。
11.根据权利要求3所述的解压缩模块(41)对从源端设备(1)无线传输来的图像帧和音频帧实现解压缩。
12.根据权利要求3所述的数模转换模块(42)将图像帧及音频帧经数模转换,形成音视频信号,传给触控显示设备(2)显示。
CN201610303089.8A 2016-05-10 2016-05-10 一种无线复制与扩展显示交互方法及*** Pending CN105808147A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201610303089.8A CN105808147A (zh) 2016-05-10 2016-05-10 一种无线复制与扩展显示交互方法及***

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201610303089.8A CN105808147A (zh) 2016-05-10 2016-05-10 一种无线复制与扩展显示交互方法及***

Publications (1)

Publication Number Publication Date
CN105808147A true CN105808147A (zh) 2016-07-27

Family

ID=56455734

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201610303089.8A Pending CN105808147A (zh) 2016-05-10 2016-05-10 一种无线复制与扩展显示交互方法及***

Country Status (1)

Country Link
CN (1) CN105808147A (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108536410A (zh) * 2018-04-03 2018-09-14 广州视源电子科技股份有限公司 无线传屏方法及***
CN108563391A (zh) * 2018-04-04 2018-09-21 广州视源电子科技股份有限公司 无线传屏触摸回传方法及***
CN108932052A (zh) * 2018-03-29 2018-12-04 北京硬壳科技有限公司 显示设备和显示设备的交互方法
CN109189264A (zh) * 2018-08-21 2019-01-11 广州视源电子科技股份有限公司 智能交互设备及其扩展显示方法、存储介质、处理器
CN109819201A (zh) * 2019-03-08 2019-05-28 厦门亿联网络技术股份有限公司 一种会议用辅流数据传输方法、显示方法、会议***及***设备
CN111352603A (zh) * 2020-03-11 2020-06-30 北京文香信息技术有限公司 一种分屏显示方法、装置、终端及存储介质
CN111913674A (zh) * 2019-05-07 2020-11-10 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、***、终端设备及存储介质
CN112256226A (zh) * 2020-10-22 2021-01-22 广州市金其利信息科技有限公司 一种无线屏幕扩展方法及***
CN111913674B (zh) * 2019-05-07 2024-07-26 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、***、终端设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102681810A (zh) * 2011-01-11 2012-09-19 苹果公司 将图形内容镜像到外部显示器
US20120317295A1 (en) * 2011-06-07 2012-12-13 Cisco Technology, Inc. Distributed Overlay Browser For Transparent Streaming Media Support In Virtualized Desktop Environment
CN105045548A (zh) * 2015-06-16 2015-11-11 广州视睿电子科技有限公司 一种无线传屏方法、扩展设备和无线传屏***
CN105103123A (zh) * 2013-02-28 2015-11-25 苹果公司 用于虚拟显示器的***和方法
CN205670292U (zh) * 2016-05-10 2016-11-02 安徽大学 一种无线复制与扩展显示交互***

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102681810A (zh) * 2011-01-11 2012-09-19 苹果公司 将图形内容镜像到外部显示器
US20120317295A1 (en) * 2011-06-07 2012-12-13 Cisco Technology, Inc. Distributed Overlay Browser For Transparent Streaming Media Support In Virtualized Desktop Environment
CN105103123A (zh) * 2013-02-28 2015-11-25 苹果公司 用于虚拟显示器的***和方法
CN105045548A (zh) * 2015-06-16 2015-11-11 广州视睿电子科技有限公司 一种无线传屏方法、扩展设备和无线传屏***
CN205670292U (zh) * 2016-05-10 2016-11-02 安徽大学 一种无线复制与扩展显示交互***

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108932052A (zh) * 2018-03-29 2018-12-04 北京硬壳科技有限公司 显示设备和显示设备的交互方法
CN108536410A (zh) * 2018-04-03 2018-09-14 广州视源电子科技股份有限公司 无线传屏方法及***
CN108536410B (zh) * 2018-04-03 2021-08-20 广州视源电子科技股份有限公司 无线传屏方法及***
CN108563391A (zh) * 2018-04-04 2018-09-21 广州视源电子科技股份有限公司 无线传屏触摸回传方法及***
WO2019192190A1 (zh) * 2018-04-04 2019-10-10 广州视源电子科技股份有限公司 无线传屏触摸回传方法及***
CN109189264A (zh) * 2018-08-21 2019-01-11 广州视源电子科技股份有限公司 智能交互设备及其扩展显示方法、存储介质、处理器
CN109819201A (zh) * 2019-03-08 2019-05-28 厦门亿联网络技术股份有限公司 一种会议用辅流数据传输方法、显示方法、会议***及***设备
CN111913674A (zh) * 2019-05-07 2020-11-10 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、***、终端设备及存储介质
CN111913674B (zh) * 2019-05-07 2024-07-26 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置、***、终端设备及存储介质
CN111352603A (zh) * 2020-03-11 2020-06-30 北京文香信息技术有限公司 一种分屏显示方法、装置、终端及存储介质
CN112256226A (zh) * 2020-10-22 2021-01-22 广州市金其利信息科技有限公司 一种无线屏幕扩展方法及***

Similar Documents

Publication Publication Date Title
CN105808147A (zh) 一种无线复制与扩展显示交互方法及***
EP3701714B1 (en) Conference system, tool, and peripheral devices
CN205670292U (zh) 一种无线复制与扩展显示交互***
CN108063820B (zh) 一种云会议的投屏同步方法
CN102782641B (zh) 用于控制处于远程显示模式下的多媒体设备的装置和方法
CN102346647A (zh) 投影仪控制方法及***
US10262626B2 (en) Electronic interactive system and setting method thereof
WO2020211437A1 (zh) 传屏方法和多屏互动装置、***
WO2013077524A1 (ko) 사용자 인터페이스 표시 방법 및 그를 이용한 장치
CN103414894A (zh) 一种无线实时传屏设备及方法
CN107333082A (zh) 一种基于USB Type C接口的无线协作***及其实现方法
CN102096469B (zh) 一种多功能手势互动***
CN103428469A (zh) 一种实现视频会议电子白板的方法及***、视频会议装置
CN109753259B (zh) 一种投屏***及控制方法
CN103995567A (zh) 一种双***智能交互一体机及其双***切换实现方法
WO2014023190A1 (zh) 一种模块化电视机
KR101406973B1 (ko) Usb 포트를 구비하고 hdmi 신호와 vga 신호를 선택하여 송수신하는 whdi 무선 송수신장치
CN202126765U (zh) 无线点读互动***
CN215072733U (zh) 解码设备和分布式***
CN211928551U (zh) 一种扩展输出计算机kvm控制设备
US9274692B2 (en) Remote control system for presentation
CN215871615U (zh) 一种led屏控制***
CN101546221A (zh) 数据处理方法、装置和***
WO2019018407A1 (en) TRANSMITTING SUBTITLE DATA FOR WIRELESS DISPLAY
CN109194653A (zh) 一种基于辅助屏的会议平板控制方法和***

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20160727