CN110798708A - 一种vr设备的显示内容的投屏方法、装置与*** - Google Patents
一种vr设备的显示内容的投屏方法、装置与*** Download PDFInfo
- Publication number
- CN110798708A CN110798708A CN201910968604.8A CN201910968604A CN110798708A CN 110798708 A CN110798708 A CN 110798708A CN 201910968604 A CN201910968604 A CN 201910968604A CN 110798708 A CN110798708 A CN 110798708A
- Authority
- CN
- China
- Prior art keywords
- image
- screen display
- display image
- screen
- compressed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 69
- 239000000872 buffer Substances 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 23
- 230000006835 compression Effects 0.000 claims description 21
- 238000007906 compression Methods 0.000 claims description 21
- 230000005540 biological transmission Effects 0.000 claims description 15
- 230000015654 memory Effects 0.000 claims description 12
- 238000004422 calculation algorithm Methods 0.000 claims description 9
- 229910052754 neon Inorganic materials 0.000 claims description 9
- GKAOGPIIYCISHV-UHFFFAOYSA-N neon atom Chemical compound [Ne] GKAOGPIIYCISHV-UHFFFAOYSA-N 0.000 claims description 9
- 230000006837 decompression Effects 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 8
- 230000000694 effects Effects 0.000 abstract description 3
- 238000011161 development Methods 0.000 abstract description 2
- 238000012827 research and development Methods 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 8
- 238000013507 mapping Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000001360 synchronised effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000005291 magnetic effect Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
Abstract
本发明的目的是提供一种VR设备的显示内容被投屏至其他设备的方法、装置与***。VR设备按照预定帧率获取屏幕的当前显示图像；所述VR设备压缩所获取的屏幕显示图像并将经压缩的屏幕显示图像发送至其他设备；所述其他设备接收并解压所述经压缩的屏幕显示图像；所述其他设备呈现解压后的屏幕显示图像。与现有技术相比，本发明实现了VR设备的高清实时投屏功能。这在VR设备的研发阶段，有效提高了开发调试的效率。在对VR设备进行产品演示时，提高了演示的效果，显示清晰且低延迟、无卡顿。
Description
技术领域
本发明涉及VR技术领域，尤其涉及一种VR设备的显示内容被投屏至其他设备的技术。
背景技术
VR(Virtual Reality，虚拟现实)产业发展越来越迅猛，经常需要在大屏幕上展示VR设备的画面。由于VR设备的屏幕分辨率非常高，一般为3840*2160，通过USB或者WIFI传输VR屏幕数据，对传输带宽有较高的要求。
当前的远程投屏显示方案，如360手机助手、应用宝和其他一些Android投屏软件，通常采用了较高的压缩率压缩成视频流再传输。这些使用视频压损并传输的方案会降低画面显示的清晰度，在画面快速切换时甚至会出现马赛克。当VR设备的屏幕旋转时采用视频压缩的方法需要重新初始化视频编码器导致投屏闪现黑屏。有些技术方案的画面延迟非常大，达到500毫秒甚至更高。
还有些远程投屏方案采用adb命令截屏后再传输到PC端，导致帧率较低，这也会影响演示效果。
发明内容
本发明的目的是提供一种VR设备的显示内容被投屏至其他设备的方法、装置与***。
根据本发明的一个方面，提供了一种VR设备的显示内容被投屏至其他设备的方法，其中，该方法包括以下步骤：
VR设备按照预定帧率获取屏幕的当前显示图像；
所述VR设备压缩所获取的屏幕显示图像并将经压缩的屏幕显示图像发送至其他设备；
所述其他设备接收并解压所述经压缩的屏幕显示图像；
所述其他设备呈现解压后的屏幕显示图像。
根据本发明的一个方面，还提供了一种在VR设备端实现的将其显示内容被投屏至其他设备的方法，其中，该方法包括以下步骤：
按照预定帧率获取屏幕的当前显示图像；
压缩所获取的屏幕显示图像并将经压缩的屏幕显示图像发送至其他设备。
根据本发明的一个方面，还提供了一种在其他设备端实现的实时显示VR设备的显示内容的方法，其中，该方法包括以下步骤：
自VR设备接收压缩后的屏幕显示图像，所述屏幕显示图像为由所述VR设备按照预定帧率获取的屏幕的当前显示图像；
解压所述经压缩的屏幕显示图像并呈现解压后的屏幕显示图像。
根据本发明的一个方面，还提供了一种VR设备的显示内容被投屏至其他设备的***，其中，该***包括VR设备和其他设备；
其中，所述VR设备包括：
屏幕捕获装置，用于按照预定帧率获取屏幕的当前显示图像；
图像压缩装置，用于压缩所获取的屏幕显示图像；
图像发送装置，用于将经压缩的屏幕显示图像发送至所述其他设备；
其中，所述其他设备包括：
图像接收装置，用于接收所述VR设备发送的所述经压缩的屏幕显示图像；
图像解压装置，用于解压所述经压缩的屏幕显示图像；
图像渲染装置，用于呈现解压后的屏幕显示图像。
根据本发明的一个方面，还提供了一种在VR设备端实现的将其显示内容被投屏至其他设备的装置，其中，该装置包括：
屏幕捕获装置，用于按照预定帧率获取屏幕的当前显示图像；
图像压缩装置，用于压缩所获取的屏幕显示图像；
图像发送装置，用于将经压缩的屏幕显示图像发送至所述其他设备。
根据本发明的一个方面，还提供了一种在其他设备端实现的实时显示VR设备的显示内容的装置，其中，该装置包括：
图像接收装置，用于自所述VR设备接收压缩后的屏幕显示图像；
图像解压装置，用于解压所述经压缩的屏幕显示图像；
图像渲染装置，用于呈现解压后的屏幕显示图像。
根据本发明的一个方面，还提供了一种VR设备，包括存储器和处理器，其中，所述存储器存储有计算机程序指令，当所述计算机程序指令被所述处理器执行，如前所述的一种在VR设备端实现的将其显示内容被投屏至其他设备的方法被实施。
根据本发明的一个方面，还提供了一种计算机程序产品，其包括计算机程序指令，当所述计算机程序指令被VR设备执行，如前所述的一种在VR设备端实现的将其显示内容被投屏至其他设备的方法被实施。
根据本发明的一个方面，还提供了一种计算机可读存储介质，其存储有计算机程序指令，当所述计算机程序指令被VR设备执行，如前所述的一种在VR设备端实现的将其显示内容被投屏至其他设备的方法被实施。
根据本发明的一个方面，还提供了一种计算机设备，包括存储器和处理器，其中，所述存储器存储有计算机程序指令，当所述计算机程序指令被所述处理器执行，如前所述的一种在其他设备端实现的实时显示VR设备的显示内容的方法被实施。
根据本发明的一个方面，还提供了一种计算机程序产品，其包括计算机程序指令，当所述计算机程序指令被计算机设备执行，如前所述的一种在其他设备端实现的实时显示VR设备的显示内容的方法被实施。
根据本发明的一个方面，还提供了一种计算机可读存储介质，其存储有计算机程序指令，当所述计算机程序指令被计算机设备执行，如前所述的一种在其他设备端实现的实时显示VR设备的显示内容的方法被实施。
与现有技术相比，本发明实现了VR设备的高清实时投屏功能。这在VR设备的研发阶段，有效提高了开发调试的效率。在对VR设备进行产品演示时，提高了演示的效果，显示清晰且低延迟、无卡顿。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示出根据本发明的一个实施例的一种VR设备的显示内容被投屏至其他设备的方法流程图；
图2示出根据本发明的一个实施例的装置示意图，其中具体示出一种VR设备的显示内容被投屏至其他设备的***。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
这里所公开的具体结构和功能细节仅仅是代表性的，并且是用于描述本发明的示例性实施例的目的。但是本发明可以通过许多替换形式来具体实现，并且不应当被解释成仅仅受限于这里所阐述的实施例。
应当理解的是，虽然在这里可能使用了术语“第一”、“第二”等等来描述各个单元，但是这些单元不应当受这些术语限制。使用这些术语仅仅是为了将一个单元与另一个单元进行区分。举例来说，在不背离示例性实施例的范围的情况下，第一单元可以被称为第二单元，并且类似地第二单元可以被称为第一单元。这里所使用的术语“和/或”包括其中一个或更多所列出的相关联项目的任意和所有组合。
应当理解的是，当一个单元被称为“连接”或“耦合”到另一单元时，其可以直接连接或耦合到所述另一单元，或者可以存在中间单元。与此相对，当一个单元被称为“直接连接”或“直接耦合”到另一单元时，则不存在中间单元。应当按照类似的方式来解释被用于描述单元之间的关系的其他词语(例如“处于...之间”相比于“直接处于...之间”，“与...邻近”相比于“与...直接邻近”等等)。
这里所使用的术语仅仅是为了描述具体实施例而不意图限制示例性实施例。除非上下文明确地另有所指，否则这里所使用的单数形式“一个”、“一项”还意图包括复数。还应当理解的是，这里所使用的术语“包括”和/或“包含”规定所陈述的特征、整数、步骤、操作、单元和/或组件的存在，而不排除存在或添加一个或更多其他特征、整数、步骤、操作、单元、组件和/或其组合。
还应当提到的是，在一些替换实现方式中，所提到的功能/动作可以按照不同于附图中标示的顺序发生。举例来说，取决于所涉及的功能/动作，相继示出的两幅图实际上可以基本上同时执行或者有时可以按照相反的顺序来执行。
下面结合附图对本发明作进一步详细描述。
图1示出根据本发明的一个实施例的方法流程图，其具体示出一种VR设备的显示内容被投屏至其他设备的过程。
如图1所示，在步骤S1中，VR设备按照预定帧率获取屏幕的当前显示图像；在步骤S2中，VR设备压缩所获取的屏幕显示图像并将经压缩的屏幕显示图像发送至其他设备；在步骤S3中，其他设备接收并解压经压缩的屏幕显示图像；在步骤S4中，其他设备呈现解压后的屏幕显示图像。
其中，VR设备可以装置并运行一个特定应用来执行上述由VR设备执行的操作；同样地，其他设备也可以装置并运行一个特定应用来执行上述由其他设备执行的操作。前述特定应用典型地如一个程序功能模块，可以表现为一个APP。
在此，其他设备典型地如计算机设备，包括但不限于任何耦合有显示装置的电子设备，其可以通过运行预定程序或指令来执行数值计算和/或逻辑计算等预定处理过程，通常包括处理器与存储器，由处理器执行在存储器中预存的程序指令来执行预定处理过程，或是由ASIC、FPGA、DSP等硬件执行预定处理过程，或是由上述二者组合来实现。计算机设备包括但不限于个人计算机(PC)、笔记本电脑、平板电脑等。
VR设备典型地如VR一体机，具体为具备独立处理器的VR头显(虚拟现实头戴式显示设备)，并具备了独立运算、输入和输出的功能。
参阅图1，在步骤S1中，VR设备按照预定帧率获取屏幕的当前显示图像；在步骤S2中，VR设备压缩所获取的屏幕显示图像并将经压缩的屏幕显示图像发送至其他设备，例如计算机设备。
在此，VR设备对屏幕的当前显示图像的获取可以直接对屏幕图像进行截屏，也可以对视频图像进行采样。
进一步地，VR设备还可以包括两个缓存区：第一缓存区缓存VR设备所获取的屏幕显示图像，第二缓存区缓存VR设备压缩后的屏幕显示图像。
具体地，根据本发明的一个优选实施例，在步骤S1中，VR设备按照预定帧率获取屏幕的当前显示图像并缓存至第一缓存区；在步骤S2中，VR设备从第一缓存区取出缓存的屏幕显示图像并将屏幕显示图像压缩后放入第二缓存区，随后从第二缓存区取出经压缩的屏幕显示图像发送至其他设备。
VR设备端的上述过程可以进一步分为3个线程：
线程1用来获取高分辨率的屏幕显示图像，例如每秒钟获取30帧，将获取的图像数据放入第一缓存区内，并通知线程2处理数据，然后继续获取屏幕显示图像。
线程2用来获取线程1存放的原始图像数据，并采用NEON加速的图像压缩算法将BMP格式的原始图像数据压缩成高质量的JPEG图像数据，存放入第二缓存区内，通知线程3处理压缩后的图像数据。
在此，采用NEON加速的图像压缩算法，可以有效缩短图像压缩的处理时间，同时提高传输图像的帧率(FPS，Frames Per Second)。
线程3用来获取线程2存放的压缩后的屏幕显示图像，并通过预定socket端口传输至远端的其他设备，如PC。
优选地，VR设备还可以判断当前图像与前一帧图像是否一样，如果一样，则不作任何处理并继续获取屏幕显示图像；如果不一样，则压缩当前图像。
具体地，一种实现方式是，VR设备比较前后获取的两个屏幕显示图像，当两者相同时，丢弃在后获取的屏幕显示图像(即当前图像)。然后，VR设备继续获取屏幕显示图像。这样避免传输相同画面至接收端，可有效降低传输带宽的负载。
另一种实现方式是，VR设备比较前后获取的两个屏幕显示图像，当两者不同时，压缩在后获取的屏幕显示图像(即当前图像)。例如，线程1判断当前图像与前一帧图像不一样时，将当前图像数据放入第一缓存区内并通知线程2处理数据，然后继续获取屏幕显示图像；线程2获取线程1存放的原始BMP图像数据，采用NEON加速的图像压缩算法压缩成高质量的JPEG图像数据存放入第二缓存区，并通知线程3处理压缩后的屏幕图像数据。
接下来，在步骤S3中，计算机设备接收并解压经压缩的屏幕显示图像；在步骤S4中，计算机设备呈现解压后的屏幕显示图像。
进一步地，计算机设备还可以包括两个缓存区：第三缓存区缓存计算机设备接收的经压缩的屏幕显示图像，第四缓存区缓存计算机设备解压后的屏幕显示图像。
具体地，根据本发明的一个优选实施例，在步骤S3中，计算机设备从VR设备接收经压缩的屏幕显示图像并缓存至第三缓存区，随后从第三缓存区取出经压缩的屏幕显示图像并解压后存放入第四缓存区；在步骤S4中，计算机设备从第四缓存区取出解压后的屏幕显示图像并在其显示装置中呈现解压后的屏幕显示图像。
计算机设备端的上述过程同样可以进一步分为3个线程：
线程1用来接收VR设备传输过来的经过NEON压缩的屏幕图像数据，并放入第三缓存区，然后通知线程2进行处理。
线程2收到线程1的通知后，从第三缓存区中获取压缩的屏幕图像数据，并进行解压，将解压后的屏幕图像数据放入第四缓存区，然后通知线程3进行处理。
线程3收到线程2的通知后，从第四缓存区中获取解压后的原始屏幕图像数据，并通过GDI(图形设备接口，Graphics Device Interface)绘制到显示装置中的指定窗口。
接收端(计算机设备)收到压缩后的图像数据，对其解压得到原始的高分辨率的BMP屏幕图像数据，然后再通过GDI绘制到相应的窗口上。据此，接收端可根据其显示器分辨率的大小动态调整显示窗口的大小或者全屏显示。
根据本发明，VR设备可以实时捕获其当前显示内容的图像并发送给计算机设备，使得计算机设备可以同步VR设备的当前显示内容。
在此，为减少数据处理量和数据传输量，VR设备可以比较当前捕获图像与上一次捕获图像，当两者相同时，不做处理，也即，仅在VR设备的当前显示内容发生变化时，变化后的显示图像才会通过指定socket端口被同步至计算机设备。VR设备与计算机设备通过TCP连接，可快速将VR的显示内容投屏至计算机设备，实时性较高。
根据本发明的一个实施例，图1所示的过程还可以包括一个步骤S0(未示出)。在步骤S0中，VR设备与其他设备建立TCP连接。
具体地，VR设备与计算机设备之间通过adb端口映射来建立TCP连接。
VR设备与计算机设备通过USB或WIFI连接，并在adb正常工作的情况下，使用adbforward命令进行端口映射。据此，VR设备与计算机设备之间建立TCP连接。随后，VR设备可以通过该TCP连接来与计算机设备之间进行图像传输。
图2示出根据本发明的一个实施例的装置示意图，其具体示出一种VR设备的显示内容被投屏至其他设备的***。
如图1所示，***20包括VR设备21和其他设备(如计算机设备22)，VR设备21进一步包括屏幕捕获装置211、图像压缩装置212和图像发送装置213，计算机设备22进一步包括图像接收装置221、图像解压装置222和图像渲染装置223。
其中，在VR设备21侧，屏幕捕获装置211按照预定帧率获取屏幕的当前显示图像；图像解压装置212压缩屏幕捕获装置211所获取的屏幕显示图像；图像发送装置213将经压缩的屏幕显示图像发送至计算机设备22；随后，在计算机设备22侧，图像接收装置221接收经压缩的屏幕显示图像；图像解压装置222解压所述经压缩的屏幕显示图像；图像渲染装置223呈现解压后的屏幕显示图像。
参阅图2，屏幕捕获装置211按照预定帧率获取屏幕的当前显示图像；图像解压装置212压缩屏幕捕获装置211所获取的屏幕显示图像；图像发送装置213将经压缩的屏幕显示图像发送至计算机设备22，例如计算机设备。
在此，屏幕捕获装置211对屏幕的当前显示图像的获取可以直接对屏幕图像进行截屏，也可以对视频图像进行采样。
进一步地，VR设备21还可以包括两个缓存区：第一缓存区缓存VR设备所获取的屏幕显示图像，第二缓存区缓存VR设备压缩后的屏幕显示图像。
具体地，根据本发明的一个优选实施例，屏幕捕获装置211按照预定帧率获取屏幕的当前显示图像并缓存至第一缓存区；图像压缩装置212从第一缓存区取出缓存的屏幕显示图像并将屏幕显示图像压缩后放入第二缓存区，随后图像发送装置213从第二缓存区取出经压缩的屏幕显示图像发送至计算机设备22。
上述过程可以进一步分为3个线程：
线程1用来获取高分辨率的屏幕显示图像，例如每秒钟获取30帧，将获取的图像数据放入第一缓存区内，并通知线程2处理数据，然后继续获取屏幕显示图像。
线程2用来获取线程1存放的原始图像数据，并采用NEON加速的图像压缩算法将BMP格式的原始图像数据压缩成高质量的JPEG图像数据，存放入第二缓存区内，通知线程3处理压缩后的图像数据。
在此，采用NEON加速的图像压缩算法，可以有效缩短图像压缩的处理时间，同时提高传输图像的帧率(FPS，Frames Per Second)。
线程3用来获取线程2存放的压缩后的屏幕显示图像，并通过预定socket端口传输至远端的其他设备，如PC。
优选地，屏幕捕获装置211或VR设备21的其他装置还可以判断当前图像与前一帧图像是否一样，如果一样，则不作任何处理并继续获取屏幕显示图像；如果不一样，则压缩当前图像。
具体地，一种实现方式是，屏幕捕获装置211比较前后获取的两个屏幕显示图像，当两者相同时，丢弃在后获取的屏幕显示图像(即当前图像)。然后，屏幕捕获装置211继续获取屏幕显示图像。这样可以避免传输相同画面至接收端，可有效降低传输带宽的负载。
另一种实现方式是，屏幕捕获装置211比较前后获取的两个屏幕显示图像，当两者不同时，图像压缩装置212压缩在后获取的屏幕显示图像(即当前图像)。例如，线程1判断当前图像与前一帧图像不一样时，将当前图像数据放入第一缓存区内并通知线程2处理数据，然后继续获取屏幕显示图像；线程2获取线程1存放的原始BMP图像数据，采用NEON加速的图像压缩算法压缩成高质量的JPEG图像数据存放入第二缓存区，并通知线程3处理压缩后的屏幕图像数据。
接下来，图像接收装置221接收经压缩的屏幕显示图像；图像解压装置222解压所述经压缩的屏幕显示图像；图像渲染装置223呈现解压后的屏幕显示图像。
进一步地，计算机设备22还可以包括两个缓存区：第三缓存区缓存计算机设备接收的经压缩的屏幕显示图像，第四缓存区缓存计算机设备解压后的屏幕显示图像。
具体地，根据本发明的一个优选实施例，图像接收装置221从VR设备接收经压缩的屏幕显示图像并缓存至第三缓存区，随后图像解压装置222从第三缓存区取出经压缩的屏幕显示图像并解压后存放入第四缓存区；图像渲染装置223从第四缓存区取出解压后的屏幕显示图像并在其显示装置中呈现解压后的屏幕显示图像。
计算机设备22端的上述过程同样可以进一步分为3个线程：
线程1用来接收VR设备传输过来的经过NEON压缩的屏幕图像数据，并放入第三缓存区，然后通知线程2进行处理。
线程2收到线程1的通知后，从第三缓存区中获取压缩的屏幕图像数据，并进行解压，将解压后的屏幕图像数据放入第四缓存区，然后通知线程3进行处理。
线程3收到线程2的通知后，从第四缓存区中获取解压后的原始屏幕图像数据，并通过GDI(图形设备接口，Graphics Device Interface)绘制到显示装置中的指定窗口。
接收端(计算机设备)收到压缩后的图像数据，对其解压得到原始的高分辨率的BMP屏幕图像数据，然后再通过GDI绘制到相应的窗口上。据此，接收端可根据其显示器分辨率的大小动态调整显示窗口的大小或者全屏显示。
根据本发明，VR设备可以实时捕获其当前显示内容的图像并发送给计算机设备，使得计算机设备可以同步VR设备的当前显示内容。
在此，为减少数据处理量和数据传输量，VR设备21的屏幕捕获装置211可以比较当前捕获图像与上一次捕获图像，当两者相同时，不做处理，也即，仅在VR设备的当前显示内容发生变化时，变化后的显示图像才会通过指定socket端口被同步至计算机设备。
根据本发明的一个实施例，图2所示的VR设备21还包括第一连接装置(未示出)，计算机设备22还包括第二连接装置(未示出)。第一连接装置与第二连接装置在VR设备21与计算机设备22之间建立TCP连接。
具体地，第一连接装置与第二连接装置之间通过adb端口映射来建立TCP连接。
第一连接装置与第二连接装置通过USB或WIFI连接，并在adb正常工作的情况下，使用adb forward命令进行端口映射。据此，VR设备与计算机设备之间建立TCP连接。随后，第一连接装置与第二连接装置可以通过该TCP连接来在VR设备21与计算机设备22之间进行图像传输。
需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。***权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。
Claims (23)
1.一种VR设备的显示内容被投屏至其他设备的方法，其中，该方法包括以下步骤：
VR设备按照预定帧率获取屏幕的当前显示图像；
所述VR设备压缩所获取的屏幕显示图像并将经压缩的屏幕显示图像发送至其他设备；
所述其他设备接收并解压所述经压缩的屏幕显示图像；
所述其他设备呈现解压后的屏幕显示图像。
2.根据权利要求1所述的方法，其中，所述VR设备还包括两个缓存区；
其中，第一缓存区缓存所述VR设备所获取的屏幕显示图像，第二缓存区缓存所述VR设备压缩后的屏幕显示图像。
3.根据权利要求1或2所述的方法，其中，所述其他设备还包括两个缓存区；
其中，第三缓存区缓存所述其他设备接收的所述经压缩的屏幕显示图像，第四缓存区缓存所述其他设备解压后的屏幕显示图像。
4.根据权利要求3所述的方法，其中，所述呈现步骤具体包括：
所述其他设备在指定显示窗口绘制所述解压后的屏幕显示图像。
5.根据权利要求1至4中任一项所述的方法，其中，该方法还包括：
所述VR设备与所述其他设备建立TCP连接来进行图像传输。
6.根据权利要求1至5中任一项所述的方法，其中，所述压缩步骤采用NEON加速的图像压缩算法。
7.一种在VR设备端实现的将其显示内容被投屏至其他设备的方法，其中，该方法包括以下步骤：
按照预定帧率获取屏幕的当前显示图像；
压缩所获取的屏幕显示图像并将经压缩的屏幕显示图像发送至其他设备。
8.根据权利要求7所述的方法，其中，所述压缩步骤还包括：
比较前后获取的两个屏幕显示图像，当两者不同时，压缩在后获取的屏幕显示图像。
9.根据权利要求7所述的方法，其中，所述获取步骤还包括：
比较前后获取的两个屏幕显示图像，当两者相同时，丢弃在后获取的屏幕显示图像。
10.根据权利要求7至9中任一项所述的方法，其中，该方法还包括：
与所述其他设备建立TCP连接来进行图像传输。
11.根据权利要求7至10中任一项所述的方法，其中，所述压缩步骤采用NEON加速的图像压缩算法。
12.一种在其他设备端实现的实时显示VR设备的显示内容的方法，其中，该方法包括以下步骤：
自VR设备接收压缩后的屏幕显示图像，所述屏幕显示图像为由所述VR设备按照预定帧率获取的屏幕的当前显示图像；
解压所述经压缩的屏幕显示图像并呈现解压后的屏幕显示图像。
13.根据权利要求12所述的方法，其中，该方法包括：
与所述VR设备建立TCP连接来进行图像传输。
14.根据权利要求12或13所述的方法，其中，所述压缩采用NEON加速的图像压缩算法。
15.一种VR设备的显示内容被投屏至其他设备的***，其中，该***包括VR设备和其他设备；
其中，所述VR设备包括：
屏幕捕获装置，用于按照预定帧率获取屏幕的当前显示图像；
图像压缩装置，用于压缩所获取的屏幕显示图像；
图像发送装置，用于将经压缩的屏幕显示图像发送至所述其他设备；
其中，所述其他设备包括：
图像接收装置，用于接收所述VR设备发送的所述经压缩的屏幕显示图像；
图像解压装置，用于解压所述经压缩的屏幕显示图像；
图像渲染装置，用于呈现解压后的屏幕显示图像。
16.一种在VR设备端实现的将其显示内容被投屏至其他设备的装置，其中，该装置包括：
屏幕捕获装置，用于按照预定帧率获取屏幕的当前显示图像；
图像压缩装置，用于压缩所获取的屏幕显示图像；
图像发送装置，用于将经压缩的屏幕显示图像发送至所述其他设备。
17.一种在其他设备端实现的实时显示VR设备的显示内容的装置，其中，该装置包括：
图像接收装置，用于自所述VR设备接收压缩后的屏幕显示图像；
图像解压装置，用于解压所述经压缩的屏幕显示图像；
图像渲染装置，用于呈现解压后的屏幕显示图像。
18.一种VR设备，包括存储器和处理器，其中，所述存储器存储有计算机程序指令，当所述计算机程序指令被所述处理器执行，权利要求7至11中任一项所述的方法被实施。
19.一种计算机程序产品，其包括计算机程序指令，当所述计算机程序指令被VR设备执行，权利要求7至11中任一项所述的方法被实施。
20.一种计算机可读存储介质，其存储有计算机程序指令，当所述计算机程序指令被VR设备执行，权利要求7至11中任一项所述的方法被实施。
21.一种计算机设备，包括存储器和处理器，其中，所述存储器存储有计算机程序指令，当所述计算机程序指令被所述处理器执行，权利要求12至14中任一项所述的方法被实施。
22.一种计算机程序产品，其包括计算机程序指令，当所述计算机程序指令被计算机设备执行，权利要求12至14中任一项所述的方法被实施。
23.一种计算机可读存储介质，其存储有计算机程序指令，当所述计算机程序指令被计算机设备执行，权利要求12至14中任一项所述的方法被实施。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910968604.8A CN110798708A (zh) | 2019-10-12 | 2019-10-12 | 一种vr设备的显示内容的投屏方法、装置与*** |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910968604.8A CN110798708A (zh) | 2019-10-12 | 2019-10-12 | 一种vr设备的显示内容的投屏方法、装置与*** |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN110798708A true CN110798708A (zh) | 2020-02-14 |
Family
ID=69439016
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910968604.8A Pending CN110798708A (zh) | 2019-10-12 | 2019-10-12 | 一种vr设备的显示内容的投屏方法、装置与*** |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN110798708A (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170214887A1 (en) * | 2014-05-07 | 2017-07-27 | Remote Xccess, LLC | Camera Headband Device And System With Attachable Apparatus |
| CN107613338A (zh) * | 2017-09-25 | 2018-01-19 | 中兴通讯股份有限公司 | 视频传输方法、服务器、vr播放终端及计算机可读存储介质 |
| CN109218731A (zh) * | 2017-06-30 | 2019-01-15 | 腾讯科技（深圳）有限公司 | 移动设备的投屏方法、装置及*** |
| CN109960449A (zh) * | 2019-03-22 | 2019-07-02 | 深圳前海达闼云端智能科技有限公司 | 一种投屏显示方法及相关装置 |
| CN110221798A (zh) * | 2019-05-29 | 2019-09-10 | 华为技术有限公司 | 一种投屏方法、***及相关装置 |
| CN110224981A (zh) * | 2019-05-05 | 2019-09-10 | 重庆爱奇艺智能科技有限公司 | 一种用于vr一体机和目标连接设备进行互联的方法和装置 |
-
2019
- 2019-10-12 CN CN201910968604.8A patent/CN110798708A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20170214887A1 (en) * | 2014-05-07 | 2017-07-27 | Remote Xccess, LLC | Camera Headband Device And System With Attachable Apparatus |
| CN109218731A (zh) * | 2017-06-30 | 2019-01-15 | 腾讯科技（深圳）有限公司 | 移动设备的投屏方法、装置及*** |
| CN107613338A (zh) * | 2017-09-25 | 2018-01-19 | 中兴通讯股份有限公司 | 视频传输方法、服务器、vr播放终端及计算机可读存储介质 |
| CN109960449A (zh) * | 2019-03-22 | 2019-07-02 | 深圳前海达闼云端智能科技有限公司 | 一种投屏显示方法及相关装置 |
| CN110224981A (zh) * | 2019-05-05 | 2019-09-10 | 重庆爱奇艺智能科技有限公司 | 一种用于vr一体机和目标连接设备进行互联的方法和装置 |
| CN110221798A (zh) * | 2019-05-29 | 2019-09-10 | 华为技术有限公司 | 一种投屏方法、***及相关装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9665332B2 (en) | Display controller, screen transfer device, and screen transfer method | |
| JP6263830B2 (ja) | 圧縮ビデオデータにおいて複数の関心領域の指標を含めるための技術 | |
| US10402940B2 (en) | Method and system for accelerating video preview digital camera | |
| US8463020B1 (en) | Centralized immersive image rendering for thin client | |
| US20030017846A1 (en) | Wireless display | |
| KR101698951B1 (ko) | 복수의 시각적 요소를 가지는 스크린을 공유하는 시스템, 장치, 및 방법 | |
| WO2012079453A1 (zh) | 视频数据处理***及方法、cpu、gpu和视频监控*** | |
| CA2737842C (en) | Remote user interface | |
| CN111625211B (zh) | 一种屏幕投屏方法、装置、安卓设备及显示设备 | |
| US10554989B2 (en) | Efficient encoding of display data | |
| CN105338323A (zh) | 一种视频监控方法及装置 | |
| US20090153434A1 (en) | Display assistant system | |
| US20220058771A1 (en) | Image Processing Method in Remote Control, Device, Apparatus and Program Product | |
| WO2013086530A2 (en) | Method and apparatus for processing partial video frame data | |
| WO2013134936A1 (zh) | 屏幕录制方法、屏幕录制控制方法及装置 | |
| CN110740352B (zh) | 显卡透传环境下基于spice协议的差异图像显示方法 | |
| WO2018032696A1 (zh) | 桌面截屏控制方法及*** | |
| CN110798708A (zh) | 一种vr设备的显示内容的投屏方法、装置与*** | |
| JP2006246110A (ja) | 映像伝送装置およびシステム | |
| US9118955B2 (en) | Stereo image handling device and method | |
| JP2790538B2 (ja) | 双方向簡易動画通信方式 | |
| US20020154889A1 (en) | Video pre-processing/post-processing method for processing video efficiently and pre-processing/post-processing apparatus using the same | |
| CN110519530B (zh) | 基于硬件的画中画显示方法及装置 | |
| CN113852826B (zh) | 图像数据传输方法、装置及*** | |
| CN115623217B (zh) | 一种图像预处理方法、装置及*** |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20200214 |