CN115103175A - 图像传输方法、装置、设备及介质 - Google Patents
图像传输方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN115103175A CN115103175A CN202210812938.8A CN202210812938A CN115103175A CN 115103175 A CN115103175 A CN 115103175A CN 202210812938 A CN202210812938 A CN 202210812938A CN 115103175 A CN115103175 A CN 115103175A
- Authority
- CN
- China
- Prior art keywords
- image
- motion vector
- vector matrix
- virtual reality
- transmitted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 91
- 230000005540 biological transmission Effects 0.000 title claims abstract description 74
- 239000011159 matrix material Substances 0.000 claims abstract description 140
- 230000006835 compression Effects 0.000 claims description 20
- 238000007906 compression Methods 0.000 claims description 20
- 238000004590 computer program Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000012545 processing Methods 0.000 description 29
- 238000010586 diagram Methods 0.000 description 19
- 238000004891 communication Methods 0.000 description 9
- 230000008569 process Effects 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 230000003993 interaction Effects 0.000 description 8
- 230000008447 perception Effects 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000011664 signaling Effects 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 238000004088 simulation Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 230000016776 visual perception Effects 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000008713 feedback mechanism Effects 0.000 description 1
- 239000000835 fiber Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000003032 molecular docking Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 230000008786 sensory perception of smell Effects 0.000 description 1
- 230000014860 sensory perception of taste Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
- H04N19/136—Incoming video signal characteristics or properties
- H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
- H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Processing Or Creating Images (AREA)
Abstract
本申请提供了一种图像传输方法、装置、设备及介质，其中方法应用于终端设备，包括：确定待传输图像的运动矢量矩阵；将运动矢量矩阵发送给虚拟现实设备，以使虚拟现实设备根据运动矢量矩阵和参考图像得到目标图像。本申请能够减少数据传输量，从而减轻网络带宽压力、降低出现网络拥塞的频率，以及减少图像显示的时延，为提升用户使用体验提供了条件。
Description
技术领域
本申请实施例涉及虚拟现实(Virtual Reality，VR)技术领域，尤其涉及一种图像传输方法、装置、设备及介质。
背景技术
VR设备在使用过程中，需要从终端设备(比如计算机等)获取VR图像，并向用户显示该VR图像。因此，如何传输VR图像成为值得关注的问题之一。
目前，终端设备向VR设备传输VR图像时，通常是对VR图像经过压缩后再传输给VR设备，然后VR设备解压并显示该VR图像。例如，如图1所示，终端设备对左眼图像和右眼图像分别进行压缩处理，并通过双通路方式将压缩后的左眼图像和压缩后的右眼图像发送给VR设备，以使VR设备解压并显示左眼图像和右眼图像。又例如，如图2所示，终端设备拼接左眼图像和右眼图像，并对得到的拼接图像进行压缩处理，然后将压缩后的拼接图像发送给VR设备，以使VR设备解压拼接图像，并对拼接图像进行拆分后进行显示操作。
然而，因为图像的数据量巨大，即便是经过压缩编码处理后数据量也在百兆(MB)级，这无疑会增加网络带宽压力和出现网络拥塞的频率，并且还将导致图像显示时延过大的问题。
发明内容
本申请实施例提供一种图像传输方法、装置、设备及介质，能够减少数据传输量，从而减轻网络带宽压力、降低出现网络拥塞的频率，以及减少图像显示的时延，为提升用户使用体验提供了条件。
第一方面，本申请实施例提供了一种图像传输方法，应用于终端设备，所述方法包括：
确定待传输图像的运动矢量矩阵；
将所述运动矢量矩阵发送给虚拟现实设备，以使所述虚拟现实设备根据所述运动矢量矩阵和参考图像得到目标图像。
第二方面，本申请实施例提供了一种图像传输方法，应用于虚拟现实设备，所述方法包括：
接收终端设备发送的运动矢量矩阵；
根据所述运动矢量矩阵和参考图像得到目标图像；
显示所述目标图像。
第三方面，本申请实施例提供了一种图像传输装置，配置于终端设备，包括：
矩阵确定模块，用于确定待传输图像的运动矢量矩阵；
数据发送模块，用于将所述运动矢量矩阵发送给虚拟现实设备，以使所述虚拟现实设备根据所述运动矢量矩阵和参考图像得到目标图像。
第四方面，本申请实施例提供了一种图像传输装置，配置于虚拟现实设备，包括：
数据接收模块，用于接收终端设备发送的运动矢量矩阵；
图像确定模块，用于根据所述运动矢量矩阵和参考图像得到目标图像；
图像显示模块，用于显示所述目标图像。
第五方面，本申请实施例提供了一种电子设备，包括：
处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行第一方面实施例或第二方面实施例所述的图像传输方法。
第六方面，本申请实施例提供了一种计算机可读存储介质，用于存储计算机程序，所述计算机程序使得计算机执行如第一方面实施例或第二方面实施例所述的图像传输方法。
第七方面，本申请实施例提供了一种包含程序指令的计算机程序产品，当所述程序指令在电子设备上运行时，使得所述电子设备执行如第一方面实施例或第二方面实施例所述的图像传输方法。
本申请实施例公开的技术方案，至少具有如下有益效果：
通过终端设备确定待传输图像的运动矢量矩阵，并将得到的运动矢量矩阵发送给虚拟现实设备，以使虚拟现实设备根据该运动矢量矩阵和参考图像得到目标图像。由此，通过向虚拟现实设备发送待传输图像的运动矢量矩阵，使得虚拟现实设备基于该运动矢量和参考图像即可得到对应目标图像，能够减少数据传输量，从而减轻网络带宽压力、降低出现网络拥塞的频率，以及减少图像显示的时延，为提升用户体验提供了条件。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是相关技术的一种图像传输示意图；
图2是相关技术的另一种图像传输示意图；
图3是本申请实施例提供的一种应用场景示意图；
图4是本申请实施例提供的一种图像传输方法的流程示意图；
图5是本申请实施例提供的一种SteamVR平台提供的配置菜单界面示意图；
图6是本申请实施例提供的一种待传输图像的运动矢量矩阵的示意图；
图7是本申请实施例提供的另一种图像传输方法的流程示意图；
图8是本申请实施例提供的一个具体实施例的终端设备与虚拟现实设备进行信令交互的示意图；
图9a是本申请实施例提供的一个左眼图像示意图；
图9b是本申请实施例提供的一个右眼图像示意图；
图9c是本申请实施例提供的一个基于左眼图像和右眼图像得到拼接图像的示意图；
图10是本申请实施例提供的一个终端设备与虚拟现实设备信令交互的完整示意图；
图11是本申请实施例提供的一种图像处理装置的示意性框图；
图12是本申请实施例提供的另一种图像处理装置的示意性框图；
图13是本申请实施例提供的一种电子设备的示意性框图；
图14是本申请实施例提供的电子设备为HMD的示意性框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。根据本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、***、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
本申请适用于终端设备向虚拟现实设备(VR设备)传输图像的场景。考虑到目前终端设备向VR设备传输VR图像时，通常是对VR图像经过压缩后再传输给VR设备，然后VR设备对压缩后的图像进行解压之后进行显示操作。但是，因为VR图像的数据量巨大，即便是经过压缩编码处理后数据量也是在百兆级，这无疑会增加网络带宽压力和出现网络拥塞的频率，并且还会导致图像显示时延过大的问题。因此，本申请设计了一种图像传输方法，通过该方法可以减少数据传输量，从而减轻网络带宽压力、降低出现网络拥塞的频率，以及减少图像显示的延时，为提升用户使用体验提供了条件。
为了便于理解本申请实施例，在描述本申请各个实施例之前，首先对本申请所有实施例中所涉及到的一些概念进行适当的解释说明，具体如下：
1)虚拟现实(Virtual Reality，简称为VR)，创建和体验虚拟世界的技术，计算生成一种虚拟环境，是一种多源信息(本文中提到的虚拟现实至少包括视觉感知，此外还可以包括听觉感知、触觉感知、运动感知，甚至还包括味觉感知、嗅觉感知等)，实现虚拟环境的融合的、交互式的三维动态视景和实体行为的仿真，使用户沉浸到模拟的虚拟现实环境中，实现在诸如地图、游戏、视频、教育、医疗、模拟、协同训练、销售、协助制造、维护和修复等多种虚拟环境的应用。
2)虚拟现实设备(VR设备)，实现虚拟现实效果的终端，通常可以提供为眼镜、头盔式显示器(Head Mount Display，简称为HMD)、隐形眼镜的形态，以用于实现视觉感知和其他形式的感知，当然虚拟现实设备实现的形态不限于此，根据实际需要可以进一步小型化或大型化。
可选的，本申请实施例中记载的虚拟现实设备可以包括但不限于如下几个类型：
2.1)电脑端虚拟现实(PCVR)设备，利用PC端进行虚拟现实功能的相关计算以及数据输出，外接的电脑端虚拟现实设备利用PC端输出的数据实现虚拟现实的效果。
2.2)移动虚拟现实设备，支持以各种方式(如设置有专门的卡槽的头戴式显示器)设置移动终端(如智能手机)，通过与移动终端有线或无线方式的连接，由移动终端进行虚拟现实功能的相关计算，并输出数据至移动虚拟现实设备，例如通过移动终端的APP观看虚拟现实视频。
2.3)一体机虚拟现实设备，具备用于进行虚拟功能的相关计算的处理器，因而具备独立的虚拟现实输入和输出的功能，不需要与PC端或移动终端连接，使用自由度高。
为了清楚说明本申请技术方案，下面对本申请技术方案的应用场景进行说明。应理解的是，本申请技术方案可应用于如下场景，但不限于此：
示例性的，图3是本申请实施例提供的一种应用场景示意图。如图3所示，该应用场景1000中可包括：终端设备100和VR设备200。其中，终端设备100和VR设备200之间可进行通信。例如，终端设备100可向VR设备200传输所需VR图像等。本申请中VR图像可以是VR图片或者VR视频等，本申请对此不做具体限制。
在本申请实施例中，终端设备100可以是任意具有数据处理能力的设备，比如终端设备100可以是但不限于：计算机和服务器等。
在本申请实施例中，VR设备200可以是但不限于：VR一体机、VR眼镜、VR头盔等。
应理解的是，图3所示的终端设备100和VR设备200仅为示意性的。实际上，可根据实际需要进行适应性调整，本申请对其不做具体限制。
在介绍了本申请实施例的应用场景之后，下面结合附图对本申请实施例提供的一种图像传输方法进行详细描述。首先，以终端设备为例对本申请实施例的图像传输方法进行说明
图4是本申请实施例提供的一种图像传输方法的流程示意图。本申请实施例可适用于传输VR图像的场景，该图像传输方法可由图像处理装置来执行，以实现对VR图像传输过程进行控制。该图像传输装置可由硬件和/或软件组成，并可集成于终端设备中。
如图4所示，该图像传输方法可以包括以下步骤：
S101，确定待传输图像的运动矢量矩阵。
S102，将所述运动矢量矩阵发送给虚拟现实设备，以使所述虚拟现实设备根据所述运动矢量矩阵和参考图像得到目标图像。
其中，待传输图像可以是VR图片或VR视频。
目标图像为从终端设备端获取到的待传输图像。
本申请实施例中，参考图像是指画面组(Group of Pictures，简称为GOP)中的内部编码帧，也称之为关键帧，即I帧。通常一个GOP是由一串IBP帧组成，其中I帧是内部编码帧，B帧是双向内插帧，P帧为前向预测帧。简单来说，I帧是一个完整的画面，而P帧和B帧记录的是相对于I帧的变化。即，没有I帧，P帧和B帧就无法解码。
在使用过程中，VR设备需要向用户显示一些VR图像，以使用户能够感受不同的虚拟场景；又或者，用户需要VR设备显示自己想看的VR图像。那么此时VR设备可根据播放需求确定待播放图像标识，并将待播放图像标识发送给终端设备，以使终端设备根据待播放图像标识反馈对应的目标图像。
作为一种可选的实现方式，VR设备还可将待播放图像标识携带在图像获取请求中。然后，将图像获取请求发送给终端设备，以使终端设备知晓VR设备需要获取与待播放图像标识对应的目标图像。
需要说明的是，本申请VR设备发送携带有待播放图像标识的图像获取请求时，可通过预先建立的通信连接实现。其中，预先建立的通信连接可以是无线通信连接或者有线通信连接，本申请对此不做具体限制。
在本申请实施例中，待播放图像是指VR设备即将播放的图像。待播放图像标识可以是任意能够确定待播放图像身份的信息，比如待播放图像名称等，此处对其不做具体限制。虚拟场景可根据VR设备运行的应用程序类型来确定，或者还可以是根据真实环境而虚构的虚拟场景等，本申请对此不做具体限制。
当终端设备接收到VR设备发送的图像获取请求时，通过解析该图像获取请求，以获取图像获取请求携带的待播放图像标识。进而，根据该待播放图像标识从资源库中查找对应的待播放图像，并将待播放图像确定为待传输图像。
作为一种可选的实现方式，本申请资源库可选为Steam平台，并且该Steam平台会对外提供可以获取与左右眼对应图像数据的API接口(Application ProgrammingInterface，应用程序编程接口)，以使用户可以根据需要获取所需的图像数据。目前主流的VR设备都可在Steam平台上对接VR游戏，即利用SteamVR平台进行游戏互动等。例如，如图5所示，SteamVR平台可提供VR视频配置菜单界面，基于该界面用户可从SteamVR平台获取与游戏对应的左右眼图像数据。
基于此，本申请根据该待播放图像标识从资源库中查找对应的待播放图像时，可通过调用SteamVR平台对外供用户获取图像数据的API接口获取待播放图像。
考虑到目前传输VR图像时，终端设备通过对VR图像进行压缩处理得到压缩数据，然后将压缩数据发送给VR设备。但因为图像的数据量巨大，即便是经过压缩编码处理，得到的压缩数据的数据量也在百兆级别。所以传输这种级别的数据无疑会增加网络带宽压力，并且还会增加网络拥塞的频率，进而导致VR设备端图像显示延时过大。
又因为基于图像的运动矢量矩阵不仅可以恢复出完整的图像画面，并且运动矢量矩阵的数据量远小于图像压缩后的数据量。因此，本申请在查找到待传输图像之后，终端设备可确定待传输图像的运动矢量矩阵。然后，向VR设备发送待传输图像的运动矢量矩阵，以使VR设备可根据获取到的运动矢量矩阵和参考图像得到目标图像。
其中，运动矢量(motion vector，简称为MV)是基于运动估计确定出来的一个参数。
运动估计(Motion Estimation)是视频编码和视频处理中广泛使用的一种技术。运动估计的基本思想是将图像序列的每一帧分成许多互不重叠的宏块，并认为宏块内所有象素的位移量都相同，然后对每个宏块到参考帧某一给定特定搜索范围内根据一定的匹配准则找出与当前块最相似的块，即匹配块，匹配块与当前块的相对位移即为运动矢量。其中，参考帧是指IBP编码时所需参考的I帧。
在本申请实施例中，确定待传输图像的运动矢量矩阵时，可通过如下方式实现：
方式一
调用数据获取接口，获取待传输图像的运动矢量矩阵。
其中，数据获取接口，是指NVIDIA(英伟达)关于运动估计(Motion Estmate)的API接口。
示例性的，本申请通过调用该数据获取接口，获取待传输图像的运动矢量矩阵，可通过如下代码实现：
其中，基于上述代码获取到的运动矢量矩阵，可具体参见图6。
方式二
按照预设计算规则，确定待传输图像的运动矢量矩阵。
其中，预设计算规则可以是任意能够确定出运动矢量矩阵的运动估计算法。例如，全搜索法、钻石搜索法、三步搜索法、四步搜索法以及六边形搜索法等，本申请对此不做具体限制。
作为一种可选的实现方式，本申请可利用绝对差和算法(Sum of AbsoluteDifferences，简称SAD算法)，确定待传输图像的运动矢量矩阵。具体确定过程为本领域的常规手段，此处对其不做具体限制。
需要说明的，上述两种方式仅作为对本申请的示例性说明，不作为本申请的具体限制。
作为本申请的一种可选的实现方式，考虑到对数据进行压缩编码处理可减少数据量。因此，本申请在确定出待传输图像的运动矢量矩阵之后，可选的还可以对运动矢量矩阵进行压缩编码处理，得到压缩数据。然后，将压缩数据发送给VR设备，以使VR设备基于该压缩数据和参考图像得到目标图像。从而进一步减少数据传输量，进一步对带宽压力、网络拥塞情况以及图像数据显示延迟等方面进行优化。
考虑到目前终端设备向VR设备传输数据时，可通过双通路传输方式或者单通路传输方式实现，因此本申请也可通过上述方式向VR设备发送用于确定目标图像的相关数据，比如运动矢量矩阵或经过压缩编码处理后的运动矢量矩阵。示例性的，可包括如下几种情况；
情况一
若待传输数据为拼接图像对应的运动矢量矩阵，则按照单通路传输方式，将运动矢量矩阵发送给所述虚拟现实设备。
其中，拼接图像，具体是与待传输数据对应的待传输图像。
也就是说，当待传输图像为拼接图像，即将左眼图像和右眼图像拼接得到的图像时，本申请可按照单通路的传输方式，将确定的运动矢量矩阵发送给虚拟现实设备。
情况二
若待传输数据为左眼图像对应的第一运动矢量矩阵，和右眼图像对应的第二运动矢量矩阵，则按照双通路传输方式，将所述左眼图像对应的第一运动矢量矩阵和所述右眼图像对应的第二运动矢量矩阵发送所述虚拟现实设备。
其中，待传输数据与待传输图像相对应。即，当待传输数据为第一运动矢量矩阵时，待传输图像为获取的左眼图像；相应的，当待传输数据为第二运动矢量矩阵时，待传输图像为获取的右眼图像。
也就是说，当待传输图像为左眼图像和右眼图像时，本申请可按照双通路的传输方式，将左眼图像对应的第一运动矢量矩阵和右眼图像对应的第二运动矢量并行发送给虚拟现实设备。
情况三
若待传输数据为拼接图像对应的运动矢量矩阵，且该运动矢量矩阵经过压缩编码处理，则按照单通路传输方式，将压缩数据发送给所述虚拟现实设备。
情况四
若待传输数据为左眼图像对应的第一运动矢量矩阵，和右眼图像对应的第二运动矢量矩阵，且第一运动矢量矩阵和第二运动矢量矩阵经过压缩编码处理，则按照双通路传输方式，将左眼图像对应的压缩数据和右眼图像对应的压缩数据发送虚拟现实设备。
在本实施例中，向VR设备发送运动矢量矩阵或经过压缩编码后的运动矢量矩阵时，可以是以每一帧待传输图像为单位进行传输，即有多少帧待传输图像就向VR设备发送多少个数据。其中，可以基于预先建立的通信连接向VR设备发送运动矢量矩阵或经过压缩编码后的运动矢量矩阵。
值得注意的是，考虑到参考图像(I帧)是包含完整数据的关键帧图像，如果没有I帧后续VR设备是无法获取到其他帧图像。因此，本申请向VR设备发送图像数据时，传输的首帧图像数据必须是包含完整数据的关键帧图像。在此之后，即除了首帧图像数据之外，后面传输的数据都是确定的运动矢量矩阵，或者是运动矢量矩阵经过压缩编码后的压缩数据，如此一来VR设备根据获取到的运动矢量矩阵或者压缩数据，结合具有完整数据的I帧可以恢复出完整的目标图像，进而可向用户显示该目标图像。
也就是说，VR设备可按照首帧图像+运动矢量矩阵恢复出第二帧图像数据；之后，再以恢复出的第二帧图像数据作为参考图像+第三帧的运动矢量矩阵恢复出第三帧图像数据，以此类推。
本申请提供的图像传输方法，通过终端设备确定待传输图像的运动矢量矩阵，并将得到的运动矢量矩阵发送给虚拟现实设备，以使虚拟现实设备根据该运动矢量矩阵和参考图像得到目标图像。由此，通过向虚拟现实设备发送待传输图像的运动矢量矩阵，使得虚拟现实设备基于该运动矢量和参考图像即可得到对应目标图像，能够减少数据传输量，从而减轻网络带宽压力、降低出现网络拥塞的频率，以及减少图像显示的时延，为提升用户体验提供了条件。
下面结合图7，以VR设备为例对本申请实施例提供的图像传输方法进行说明。
如图7所示，该方法可以包括以下步骤：
S201，接收终端设备发送的运动矢量矩阵。
可选的，本申请可基于与终端设备预先建立的通信连接，接收终端设备发送的运动矢量矩阵。
其中，运动矢量矩阵的确定过程具体参见前述实施例部分，此处对其不做过多赘述。
考虑到对运动矢量矩阵进行压缩编码处理可进一步减少数据传输量，那么本申请接收终端发送的数据可以是经过压缩编码处理后的运动矢量矩阵。其中，经过压缩编码处理后的运动矢量矩阵，可由终端设备对确定的运动矢量矩阵进行压缩编码处理得到。
S202，根据所述运动矢量矩阵和参考图像得到目标图像。
其中，参考图像是画面组中的内部编码帧，也称之为关键帧，即I帧。
可选的，接收到终端设备发送的运动矢量矩阵之后，本申请即可根据之前获取的参考图像和运动矢量矩阵恢复出与运动矢量矩阵对应的目标图像。
其中，基于参考图像和运动矢量矩阵恢复图像，可采用任意恢复算法或规则本申请对此不做具体限制。
考虑到接收到的数据可能是经过压缩编码后的运动矢量矩阵，因此当确定数据为压缩数据时，本申请首先对该压缩数据进行解码处理，得到运动矢量矩阵。然后，再根据运动矢量矩阵和参考图像恢复出与该运动矢量矩阵对应的目标图像。
S203，显示所述目标图像。
可选的，恢复出目标图像之后，本申请可将目标图像推送至屏幕，以使屏幕显示该目标图像。
由于目标图像可以是拼接图像，或者左眼图像和右眼图像，那么当确定目标图像为拼接图像时，本申请显示目标图像之前，需要先对拼接图像进行拆分处理，以得到左眼图像和右眼图像。然后，在将同一时间戳下的左眼图像和右眼图像推送至屏幕，以使屏幕在左屏幕中显示左眼图像，在右屏幕中显示右眼图像。
其中，对拼接图像进行拆分处理，可以是任意拆分算法或规则，本申请对此不做具体限制。
本申请提供的图像传输方法，通过虚拟现实设备接收终端设备发送的运动矢量矩阵，并根据该运动向量矩阵和参考图像得到目标图像，然后显示目标图像。由此，通过向虚拟现实设备发送待传输图像的运动矢量矩阵，使得虚拟现实设备基于该运动矢量和参考图像即可得到对应目标图像，能够减少数据传输量，从而减轻网络带宽压力、降低出现网络拥塞的频率，以及减少图像显示的时延，为提升用户体验提供了条件。
下面通过一个具体实施例，对前述实施例提供的图像传输方法进行具体说明，具体参见图8。图8是本申请实施例提供的一个终端设备与虚拟现实设备进行信令交互的示意图。
假设本申请实施例中，VR设备的数量可为M个，分别为A1、A2、…Am，其中m为大于或等于1的正整数，终端设备为B，那么VR设备与终端设备的交互过程可包括如下步骤：
S301，VR设备A1、A2、…Am向终端设备B发送图像获取请求。
其中，图像获取请求包括待播放图像标识。
S302，终端设备B获取左眼图像和右眼图像，并对左眼图像和右眼图像进行拼接，得到拼接图像。
其中，拼接图像即为待传输图像。
例如，左眼图像如图9a所示，右眼图像如图9b所示，那么对左眼图像和右眼图像进行拼接，得到拼接图像可如图9c所示。
S303，终端设备B确定拼接图像的运动矢量矩阵。
S304，终端设备B分别向VR设备A1、A2、…Am发送运动矢量矩阵。
其中，可通过单通路传输方式，将运动矢量矩阵发送给VR设备A1、A2、…Am。
S305，VR设备A1、A2、…Am接收终端设备B发送的运动矢量矩阵，并根据运动矢量矩阵和参考图像恢复出拼接图像。
其中，拼接图像为VR设备即将显示的目标图像。
S306，VR设备A1、A2、…Am对拼接图像进行拆分处理，得到左眼图像和右眼图像，并在左显示屏中显示左眼图像，在右眼图像中显示右眼图像。
如图10所示，为本申请对终端设备与虚拟现实设备之间的信令交互的整个交互过程示意图。
也就是说，本申请提供的图像传输方法，通过向虚拟现实设备发送待传输图像的运动矢量矩阵，使得虚拟现实设备基于该运动矢量和参考图像即可得到对应目标图像，能够减少数据传输量，从而减轻网络带宽压力、降低出现网络拥塞的频率，以及减少图像显示的时延，为提升用户体验提供了条件。
下面参照附图11，对本申请实施例提出的一种图像处理装置进行具体描述。图11是本申请实施例提供的一种图像处理装置的示意性框图。需要说明的是，本申请图像处理装置配置于终端设备中。
其中，该图像处理装置400包括：矩阵确定模块410和数据发送模块420。
其中，矩阵确定模块410，用于确定待传输图像的运动矢量矩阵；
数据发送模块420，用于将所述运动矢量矩阵发送给虚拟现实设备，以使虚拟现实设备根据所述运动矢量矩阵和参考图像得到目标图像。
本申请实施例的一种可选实现方式，矩阵确定模块410，具体用于：
调用数据获取接口，获取所述待传输图像的运动矢量矩阵；
或者，
按照预设计算规则，确定所述待传输图像的运动矢量矩阵。
本申请实施例的一种可选实现方式，当所述待传输图像为拼接图像，且所述拼接图像为左眼图像和右眼图像拼接得到的时，数据发送模块420，具体用于：
按照单通路传输方式，将所述运动矢量矩阵发送给所述虚拟现实设备。
本申请实施例的一种可选实现方式，当所述待传输图像为左眼图像和右眼图像时，数据发送模块420，具体用于：
按照双通路传输方式，将所述左眼图像对应的第一运动矢量矩阵和所述右眼图像对应的第二运动矢量矩阵发送所述虚拟现实设备。
本申请实施例的一种可选实现方式，装置400，还包括：
压缩处理模块，用于对所述运动矢量矩阵进行压缩编码，得到压缩数据；
相应的，数据发送模块420，具体用于：
将所述压缩数据发送给虚拟现实设备，以使虚拟现实设备根据所述压缩数据和参考图像得到目标图像。
本申请实施例提供的图像处理装置，通过终端设备确定待传输图像的运动矢量矩阵，并将得到的运动矢量矩阵发送给虚拟现实设备，以使虚拟现实设备根据该运动矢量矩阵和参考图像得到目标图像。由此，通过向虚拟现实设备发送待传输图像的运动矢量矩阵，使得虚拟现实设备基于该运动矢量和参考图像即可得到对应目标图像，能够减少数据传输量，从而减轻网络带宽压力、降低出现网络拥塞的频率，以及减少图像显示的时延，为提升用户体验提供了条件。
应理解的是，装置实施例与前述方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，图11所示的装置400可以执行图4对应的方法实施例，并且装置400中的各个模块的前述和其它操作和/或功能分别为了实现图4中的各个方法中的相应流程，为了简洁，在此不再赘述。
上文中结合附图从功能模块的角度描述了本申请实施例的装置400。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本申请实施例中的第一方面方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的第一方面方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述第一方面方法实施例中的步骤。
下面参照附图12，对本申请实施例提出的一种图像处理装置进行具体描述。图12是本申请实施例提供的另一种图像处理装置的示意性框图。需要说明的是，本申请图像处理装置配置于虚拟现实设备中。
其中，该图像处理装置500包括：数据接收模块510、图像确定模块520和图像显示模块530。
其中，数据接收模块510，用于接收终端设备发送的运动矢量矩阵；
图像确定模块520，用于根据所述运动矢量矩阵和参考图像得到目标图像；
图像显示模块530，用于显示所述目标图像。
本申请实施例的一种可选实现方式，参考图像是画面组中的内部编码帧。
本申请实施例的一种可选实现方式，当所述目标图像为拼接图像，且所述拼接图像为左眼图像和右眼图像拼接得到的时，装置500，还包括：
拆分处理模块，用于对所述拼接图像进行拆分处理，得到左眼图像和右眼图像。
本申请实施例的一种可选实现方式，图像显示模块530，具体用于：
显示所述左眼图像和所述右眼图像。
本申请实施例的一种可选实现方式，数据接收模块510，具体用于：
接收所述终端设备发送的压缩数据，所述压缩数据由所述终端设备通过如下操作得到：对所述运动矢量矩阵进行压缩编码，得到压缩数据。
本申请实施例的一种可选实现方式，装置500，还包括：
解码处理模块，用于对所述压缩数据进行解码处理，得到所述运动矢量矩阵。
本申请实施例提供的图像处理装置，通过虚拟现实设备接收终端设备发送的运动矢量矩阵，并根据该运动向量矩阵和参考图像得到目标图像，然后显示目标图像。由此，通过向虚拟现实设备发送待传输图像的运动矢量矩阵，使得虚拟现实设备基于该运动矢量和参考图像即可得到对应目标图像，能够减少数据传输量，从而减轻网络带宽压力、降低出现网络拥塞的频率，以及减少图像显示的时延，为提升用户体验提供了条件。
应理解的是，装置实施例与前述方法实施例可以相互对应，类似的描述可以参照方法实施例。为避免重复，此处不再赘述。具体地，图12所示的装置500可以执行图7对应的方法实施例，并且装置500中的各个模块的前述和其它操作和/或功能分别为了实现图7中的各个方法中的相应流程，为了简洁，在此不再赘述。
上文中结合附图从功能模块的角度描述了本申请实施例的装置500。应理解，该功能模块可以通过硬件形式实现，也可以通过软件形式的指令实现，还可以通过硬件和软件模块组合实现。具体地，本申请实施例中的第一方面方法实施例的各步骤可以通过处理器中的硬件的集成逻辑电路和/或软件形式的指令完成，结合本申请实施例公开的第一方面方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。可选地，软件模块可以位于随机存储器，闪存、只读存储器、可编程只读存储器、电可擦写可编程存储器、寄存器等本领域的成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述第一方面方法实施例中的步骤。
图13是本申请实施例提供的一种电子设备的示意性框图。其中，该电子设备为终端设备或虚拟现实设备。
如图13所示，该电子设备600可包括：
存储器610和处理器620，该存储器610用于存储计算机程序，并将该程序代码传输给该处理器620。换言之，该处理器620可以从存储器610中调用并运行计算机程序，以实现本申请实施例中的图像传输方法。
例如，该处理器620可用于根据该计算机程序中的指令执行上述图像传输方法实施例。
在本申请的一些实施例中，该处理器620可以包括但不限于：
通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(FieldProgrammable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等等。
在本申请的一些实施例中，该存储器610包括但不限于：
易失性存储器和/或非易失性存储器。其中，非易失性存储器可以是只读存储器(Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的RAM可用，例如静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double DataRate SDRAM，DDR SDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DR RAM)。
在本申请的一些实施例中，该计算机程序可以被分割成一个或多个模块，该一个或者多个模块被存储在该存储器610中，并由该处理器620执行，以完成本申请提供的图像传输方法。该一个或多个模块可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述该计算机程序在该电子设备中的执行过程。
如图13所示，该电子设备还可包括：
收发器630，该收发器630可连接至该处理器620或存储器610。
其中，处理器620可以控制该收发器630与其他设备进行通信，具体地，可以向其他设备发送信息或数据，或接收其他设备发送的信息或数据。收发器630可以包括发射机和接收机。收发器630还可以进一步包括天线，天线的数量可以为一个或多个。
应当理解，该电子设备中的各个组件通过总线***相连，其中，总线***除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。
本申请实施例中的，当电子设备为虚拟现实设备，且该虚拟现实设备为HMD时，本申请实施例提供了一种HMD的示意性框图，如图14所示。
如图14所示，该HMD700的主要功能模块可以包括但不限于以下：检测模块710、反馈模块720、传感器730、控制模块740、建模模块750。
其中，检测模块710被配置为使用各种传感器检测用户的操作命令或者手柄发送的指令，并作用于虚拟环境，如跟随用户的视线而不断更新在显示屏上显示的影像，实现用户与虚拟和场景的交互。例如，基于检测到的用户头部的转动方向来不断更新现实内容。
反馈模块720被配置为接收来自传感器的数据，为用户提供实时反馈。例如，反馈模块720可以根据用户操作数据生成反馈指令，并输出该反馈指令。
传感器730一方面被配置为接受来自用户的操作命令，并将其作用于虚拟环境；另一方面被配置为将操作后产生的结果以各种反馈的形式提供给用户。
控制模块740被配置为对传感器和各种输入/输出装置进行控制，包括获得用户的数据如动作、语音等和输出感知数据，如图像、振动、温度和声音等，对用户、虚拟环境和现实世界产生作用。例如，控制模块740可以获取用户手势、语音等。
建模模块750被配置为构造虚拟环境的三维模型，还可以包括三维模型中的声音、触感等各种反馈机制。
应当理解，该HMD700中的各个功能模块通过总线***相连，其中，总线***除包括数据总线之外，还包括电源总线、控制总线和状态信号总线等。
本申请还提供了一种计算机存储介质，其上存储有计算机程序，该计算机程序被计算机执行时使得该计算机能够执行上述方法实施例的方法。
本申请实施例还提供一种包含程序指令的计算机程序产品，当所述程序指令在电子设备上运行时，使得所述电子设备执行上述方法实施例的方法。
当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。该计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行该计算机程序指令时，全部或部分地产生按照本申请实施例该的流程或功能。该计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。该计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，该计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(digital subscriber line，DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。该计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。该可用介质可以是磁性介质(例如，软盘、硬盘、磁带)、光介质(例如数字视频光盘(digital video disc，DVD))、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的***、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，该模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块或组件可以结合或者可以集成到另一个***，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。例如，在本申请各个实施例中的各功能模块可以集成在一个处理模块中，也可以是各个模块单独物理存在，也可以两个或两个以上模块集成在一个模块中。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以该权利要求的保护范围为准。
Claims (16)
1.一种图像传输方法，其特征在于，应用于终端设备，所述方法包括：
确定待传输图像的运动矢量矩阵；
将所述运动矢量矩阵发送给虚拟现实设备，以使所述虚拟现实设备根据所述运动矢量矩阵和参考图像得到目标图像。
2.根据权利要求1所述的方法，其特征在于，确定待传输图像的运动矢量矩阵，包括：
调用数据获取接口，获取所述待传输图像的运动矢量矩阵；
或者，
按照预设计算规则，确定所述待传输图像的运动矢量矩阵。
3.根据权利要求1所述的方法，其特征在于，当所述待传输图像为拼接图像，且所述拼接图像为左眼图像和右眼图像拼接得到的时，所述将所述运动矢量矩阵发送给虚拟现实设备，包括：
按照单通路传输方式，将所述运动矢量矩阵发送给所述虚拟现实设备。
4.根据权利要求1所述的方法，其特征在于，当所述待传输图像为左眼图像和右眼图像时，所述将所述运动矢量矩阵发送给虚拟现实设备，包括：
按照双通路传输方式，将所述左眼图像对应的第一运动矢量矩阵和所述右眼图像对应的第二运动矢量矩阵发送所述虚拟现实设备。
5.根据权利要求1所述的方法，其特征在于，确定待传输图像的运动矢量矩阵之后，还包括：
对所述运动矢量矩阵进行压缩编码，得到压缩数据；
相应的，所述将所述运动矢量矩阵发送给虚拟现实设备，包括：
将所述压缩数据发送给虚拟现实设备，以使虚拟现实设备根据所述压缩数据和参考图像得到目标图像。
6.一种图像传输方法，其特征在于，应用于虚拟现实设备，所述方法包括：
接收终端设备发送的运动矢量矩阵；
根据所述运动矢量矩阵和参考图像得到目标图像；
显示所述目标图像。
7.根据权利要求6所述的方法，其特征在于，参考图像是画面组中的内部编码帧。
8.根据权利要求6所述的方法，其特征在于，当所述目标图像为拼接图像，且所述拼接图像为左眼图像和右眼图像拼接得到的时，所述显示所述目标图像之前，还包括：
对所述拼接图像进行拆分处理，得到左眼图像和右眼图像。
9.根据权利要求8所述的方法，其特征在于，显示所述目标图像，包括：
显示所述左眼图像和所述右眼图像。
10.根据权利要求6所述的方法，其特征在于，还包括：
接收所述终端设备发送的压缩数据，所述压缩数据由所述终端设备通过如下操作得到：对所述运动矢量矩阵进行压缩编码，得到压缩数据。
11.根据权利要求10所述的方法，其特征在于，根据所述运动矢量矩阵和参考图像得到目标图像之前，还包括：
对所述压缩数据进行解码处理，得到所述运动矢量矩阵。
12.一种图像传输装置，其特征在于，配置于终端设备，包括：
矩阵确定模块，用于确定待传输图像的运动矢量矩阵；
数据发送模块，用于将所述运动矢量矩阵发送给虚拟现实设备，以使所述虚拟现实设备根据所述运动矢量矩阵和参考图像得到目标图像。
13.一种图像传输装置，其特征在于，配置于虚拟现实设备，包括：
数据接收模块，用于接收终端设备发送的运动矢量矩阵；
图像确定模块，用于根据所述运动矢量矩阵和参考图像得到目标图像；
图像显示模块，用于显示所述目标图像。
14.一种电子设备，其特征在于，包括：
处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，以执行如权利要求1至11中任一项所述的图像传输方法。
15.一种计算机可读存储介质，其特征在于，用于存储计算机程序，所述计算机程序使得计算机执行如权利要求1至11中任一项所述的图像传输方法。
16.一种包含程序指令的计算机程序产品，其特征在于，当所述程序指令在电子设备上运行时，使得所述电子设备执行如权利要求1至11中任一项所述的图像传输方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210812938.8A CN115103175B (zh) | 2022-07-11 | 2022-07-11 | 图像传输方法、装置、设备及介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210812938.8A CN115103175B (zh) | 2022-07-11 | 2022-07-11 | 图像传输方法、装置、设备及介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115103175A true CN115103175A (zh) | 2022-09-23 |
| CN115103175B CN115103175B (zh) | 2024-03-01 |
Family
ID=83295922
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210812938.8A Active CN115103175B (zh) | 2022-07-11 | 2022-07-11 | 图像传输方法、装置、设备及介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115103175B (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115965616A (zh) * | 2023-01-09 | 2023-04-14 | 北京万里红科技有限公司 | 一种虹膜图像处理方法、装置及电子设备 |
| CN116847127A (zh) * | 2023-08-31 | 2023-10-03 | 元内核(北京)科技有限公司 | 混合图像与加密远程传输***、方法及设备 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4704627A (en) * | 1984-12-17 | 1987-11-03 | Nippon Hoso Kyokai | Stereoscopic television picture transmission system |
| JP2007201938A (ja) * | 2006-01-27 | 2007-08-09 | Fujifilm Corp | 通信端末、通信システムおよび通信方法 |
| JP2009272701A (ja) * | 2008-04-30 | 2009-11-19 | Canon Inc | 動きベクトル探索装置及びその制御方法 |
| US20100309287A1 (en) * | 2009-03-20 | 2010-12-09 | Rodriguez Tony F | 3D Data Representation, Conveyance, and Use |
| US20130215291A1 (en) * | 2012-02-16 | 2013-08-22 | Samsung Electronics Co., Ltd | Apparatus and method for shooting moving picture in camera device |
| US20160198140A1 (en) * | 2015-01-06 | 2016-07-07 | 3DOO, Inc. | System and method for preemptive and adaptive 360 degree immersive video streaming |
| WO2019013415A1 (ko) * | 2017-07-12 | 2019-01-17 | 주식회사 볼트홀 | Vr 콘텐츠에 대한 라이브 스트리밍 방법 및 시스템 |
| CN109510975A (zh) * | 2019-01-21 | 2019-03-22 | 恒信东方文化股份有限公司 | 一种视频图像的提取方法、设备及*** |
| US10914957B1 (en) * | 2017-05-30 | 2021-02-09 | Apple Inc. | Video compression methods and apparatus |
| US20210258555A1 (en) * | 2020-02-14 | 2021-08-19 | Valve Corporation | Motion smoothing in a distributed system |
| CN113473106A (zh) * | 2021-06-18 | 2021-10-01 | 青岛小鸟看看科技有限公司 | 图像传输方法、图像显示及处理设备、及图像传输*** |
| CN113473105A (zh) * | 2021-06-01 | 2021-10-01 | 青岛小鸟看看科技有限公司 | 图像同步方法、图像显示及处理设备、及图像同步*** |
| WO2021249562A1 (zh) * | 2020-06-12 | 2021-12-16 | 华为技术有限公司 | 一种信息传输方法、相关设备及*** |
-
2022
- 2022-07-11 CN CN202210812938.8A patent/CN115103175B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4704627A (en) * | 1984-12-17 | 1987-11-03 | Nippon Hoso Kyokai | Stereoscopic television picture transmission system |
| JP2007201938A (ja) * | 2006-01-27 | 2007-08-09 | Fujifilm Corp | 通信端末、通信システムおよび通信方法 |
| JP2009272701A (ja) * | 2008-04-30 | 2009-11-19 | Canon Inc | 動きベクトル探索装置及びその制御方法 |
| US20100309287A1 (en) * | 2009-03-20 | 2010-12-09 | Rodriguez Tony F | 3D Data Representation, Conveyance, and Use |
| US20130215291A1 (en) * | 2012-02-16 | 2013-08-22 | Samsung Electronics Co., Ltd | Apparatus and method for shooting moving picture in camera device |
| US20160198140A1 (en) * | 2015-01-06 | 2016-07-07 | 3DOO, Inc. | System and method for preemptive and adaptive 360 degree immersive video streaming |
| US10914957B1 (en) * | 2017-05-30 | 2021-02-09 | Apple Inc. | Video compression methods and apparatus |
| WO2019013415A1 (ko) * | 2017-07-12 | 2019-01-17 | 주식회사 볼트홀 | Vr 콘텐츠에 대한 라이브 스트리밍 방법 및 시스템 |
| CN109510975A (zh) * | 2019-01-21 | 2019-03-22 | 恒信东方文化股份有限公司 | 一种视频图像的提取方法、设备及*** |
| US20210258555A1 (en) * | 2020-02-14 | 2021-08-19 | Valve Corporation | Motion smoothing in a distributed system |
| WO2021249562A1 (zh) * | 2020-06-12 | 2021-12-16 | 华为技术有限公司 | 一种信息传输方法、相关设备及*** |
| CN113473105A (zh) * | 2021-06-01 | 2021-10-01 | 青岛小鸟看看科技有限公司 | 图像同步方法、图像显示及处理设备、及图像同步*** |
| CN113473106A (zh) * | 2021-06-18 | 2021-10-01 | 青岛小鸟看看科技有限公司 | 图像传输方法、图像显示及处理设备、及图像传输*** |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115965616A (zh) * | 2023-01-09 | 2023-04-14 | 北京万里红科技有限公司 | 一种虹膜图像处理方法、装置及电子设备 |
| CN115965616B (zh) * | 2023-01-09 | 2023-11-24 | 北京万里红科技有限公司 | 一种虹膜图像处理方法、装置及电子设备 |
| CN116847127A (zh) * | 2023-08-31 | 2023-10-03 | 元内核(北京)科技有限公司 | 混合图像与加密远程传输***、方法及设备 |
| CN116847127B (zh) * | 2023-08-31 | 2023-11-21 | 元内核(北京)科技有限公司 | 混合图像与加密远程传输***、方法及设备 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115103175B (zh) | 2024-03-01 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN115103175B (zh) | 图像传输方法、装置、设备及介质 | |
| US10491711B2 (en) | Adaptive streaming of virtual reality data | |
| CN108139592B (zh) | 缩放相关的方法和装置 | |
| EP3691280B1 (en) | Video transmission method, server, vr playback terminal and computer-readable storage medium | |
| CN107995482B (zh) | 视频文件的处理方法和装置 | |
| CN106576158A (zh) | 沉浸式视频 | |
| JP7267368B2 (ja) | Ｖｒマルチメディアの経験品質を決定するための方法および装置 | |
| US20170195617A1 (en) | Image processing method and electronic device | |
| RU2673560C1 (ru) | Способ и система воспроизведения мультимедийной информации, стандартизированный сервер и терминал прямой трансляции | |
| US20200372687A1 (en) | Augmented reality data dissemination method, system and terminal and storage medium | |
| JP6379107B2 (ja) | 情報処理装置並びにその制御方法、及びプログラム | |
| CN112291590A (zh) | 视频处理方法及设备 | |
| CN112261408B (zh) | 用于头戴显示设备的图像处理方法、装置及电子设备 | |
| CN115150555B (zh) | 视频录制方法、装置、设备及介质 | |
| CN113839829A (zh) | 云游戏延时测试方法、装置、***及电子设备 | |
| CN108683900B (zh) | 一种图像数据处理方法及装置 | |
| US20210099507A1 (en) | Client-end enhanced view prediction for multi-view video streaming exploiting pre-fetched data and side information | |
| US20240013404A1 (en) | Image processing method and apparatus, electronic device, and medium | |
| KR101475936B1 (ko) | 3d 영상 배포 시스템 | |
| CN117641040A (zh) | 视频处理方法、装置、电子设备和存储介质 | |
| CN117115395A (zh) | 虚拟现实与真实场景的融合方法、装置、设备及介质 | |
| CN117369677A (zh) | 光标位置的确定方法、装置、设备及介质 | |
| CN117392047A (zh) | 图像数据处理方法、装置、设备及计算机介质 | |
| CN118018703A (zh) | 对立体视模式进行流化处理的方法、设备及存储介质 | |
| CN117745981A (zh) | 图像生成方法、装置、电子设备和存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |